考え方だけまず書きますね。
これでまず考えてみてください。
(1)ABCDが長方形になるように位置しているので、当然ながらACとBDの長さは等しくなります。
つまり、Aのy座標とBのy座標は等しくなりますので、まずはAのy座標求めてください(代入するだけだからすぐ求まりますよね！)。
次に、そのy座標の値を②上に置いて、x座標を知りたいのでこれも代入して求めちゃいましょう。

(2)正方形になるときなので、AC=ABとなりますよね。
ACの長さはもう(1)の計算途中で出てますよね(Aのy座標です)。
ABの長さはBのx座標からAのx座標を引いた値になりますよね。
AC=ABで式を立ててみてください。
答え出るはずです。