回答

xy=(8-3)/6=5/6
x^2-6xy+y^2
=(x-y)^2-4xy
=√2^2-4×5/6
=-4/3
ミスってるかもしれませんが、やり方としてはこうなはずです。

この回答にコメントする
疑問は解決しましたか?