一直線上で物体が動くときはそのまま数値を代入すればよいですが、一直線上で物体が動かないとき(南向きと東向きは一直線上ではないですよね)はそのまま数値を代入しても、ダメです。また、速度の合成も習ったと思いますが、合成もこのようなことが起きています。

間違わない方法は、私が送った画像のように図を書くことです
相対速度はそれぞれの速度の矢印の頭を揃えて考える
一枚目の例は、一直線上で動いているので、Vab=Vb-Va=(-10)-(+20)=-30
　　　　　　　よって、西向きに30m/sでもよい
二枚目の例は、一直線上で動いていないので、Vba=Va-Vb=20-(+20)=0とはならない。
　　　　　　　正解は三平方の定理よりVba^2=Va^2+Vb^2=20^2+20^2=800
　　　　　　　　　　Vbaの大きさは√800=20√2m/s。向きは、矢印の向きより北西向き