・I would rather not V → 「Vしたくない」「Vすることは避けたい」という控えめな否定の希望を表す表現。

・have to take them → 「彼ら（またはそれら）を連れて行かなければならない」（have to ~：～しなければならない）

・on the flight → 「飛行機に乗る際に」

この文はこんな感じに分けられます。rather not Vの動詞部分にhave to ~を入れているので、「would rather not have to」という慣用表現というにはすこし違うかなと思います。こんなかんじでどうでしょうか