陸軍大臣、海軍大臣は武官（軍人）がなることになっていたからです。
また、外務大臣も例外はありますけど当時は外交官がなることが一般的でこの３つの大臣に政党員がなることはなかったからです。