物体が静止しているということは、慣性の法則から物体に加わっている力が釣り合っているということです。
今回の場合、磁石Aに働いているのは重力(5N)と磁石からの力の2つのみです。
そのため、磁石からの力と重力は向きが反対で大きさが等しいということになり、5Nの力で5マスになるというわけです。
確かに、磁石Aをもっと磁石Bに近づけると7Nにもなりますが、その場合、力が釣り合わないため、手を離すとすぐ上に運動を始めてしまうんです。