sit onだと、
onは「〜の上に」っていう意味があるので、テーブルに座る（テーブルにお尻乗っけてる）ことになっちゃいますね。椅子ならsit on the chairで問題ないですけどね！

sit inって表現も使うんですけど、これは大きいソファとかに身体の大部分が収まってる状態を表すのに使います。写真はイメージです。寝そべってなくて普通に座っててもソファならsit inでいいと思います。

sit at the tableは「テーブル（のそば/のあるところらへん）に座る」ってことだと思います。