where when whyは関係副詞でwhichは関係代名詞です。

まず5文型を意識していだだいて、文の構成要素として不可欠な要素はsv svc svo svoo svocです。

ここに修飾語Mは含まれないわけです。なくても文にはなる。

文として成立することを完全文といい、成立してないものを不完全文と言います。

I like the place where I went ■.
s v m s' v'

where は副詞なのでgo there , come here
のように使います。つまりtoがいらんわけです。

I went /to the place. 元の文はこれ

the place where I went. これが関係副詞節

go は自動詞なのでI wentで文が成立してますね

関係代名詞のらwhichは代名詞ていってるくらいなので名詞です。なので
the place which I went toか
the place to which I went

のようにwhichの前にtoがいるのです
（whichはtoの目的語になってます。wentの目的語じゃなくてtoの目的語です。）
I went the placeでは意味わからないので完全文じゃないですね。I went to the placeにならないと意味わかんないですね。

これに対してvisitの場合は関係代名詞のwhichでなくてはダメです。
the place which I visitedです
o s v

visitは他動詞なので目的語がないと生きていけないからです

Whenは時間の修飾語に対して使う関係副詞なので

I like the time when I'm with you.

I'm with you/ at the time.

at the time がwhenになっております。
I'm with youは「君と一緒にいる。」で完全文になってますね

whyも同じくです。