αさま
(2) OP=r , OPとx軸の正の方向とのなす角をαとおくと
　rcosα=5 , rsinα=3
求める座標Q(x,y)は
　x=rcos｛α-(π/4)｝=rcosα・(1/√2)+rsinα・(1/√2)=8/√2=4√2
　y=rsin｛α-(π/4)｝=rsinα・(1/√2)-rcosα・(1/√2)=-2/√2=-√2
∴Q(4√2,-√2)　■
あるいは次を公式として暗記することをおすすめします。
(公式)
点P(x,y)を原点を中心にθだけ回転した点Q(X,Y)の座標は
　X=xcosθ-ysinθ
　Y=xsinθ+ycosθ
これを既知とすれば
　X=5・(1/√2)-3・(-1/√2)=8/√2=4√2
　Y=5・(-1/√2)+3・(1/√2)=-2/√2=-√2
∴Q(4√2,-√2)　■
と速攻です。