点Qは線分AB上という条件から、Qのx座標をtと置きます。「点○が関数 y=(xの式) 上にある」と言われたら、とりあえずx座標を文字で置いてみるのが定石です。

今回は点Qが直線AB: y=-2x+10 の0≦x≦5の区間にある（それ以外のxだと線分ABの外側になる）ことが分かっています。だから、x座標をtとしたとき y=-2t+10 (ただし0≦t≦5)と表せて、Q(t, -2t+10) となります。

正方形になるという条件を満たすためには、辺の長さが縦と横で等しくなる、つまりOP=PQとなれば良いですね。だから、今からの目標は、tを使ってOPとPQの長さを表すことです。どこにあるかわからない状態では長さを表せないから、わざわざ文字tで置いたわけですね。

OPの長さを知るためにはOとPの座標が、PQの長さを知るためにはPとQの座標が必要です。それぞれ(0,0), (t,0), (t, -2t+10)であるからOP=t, QP=-2t+10です。

したがって、t=-2t+10を満たせば良いことがわかるので、t=10/3となり、
(t, -2t+10)→(10/3, -20/3+10)→(10/3, 10/3)
となります。