すこしまとめると、

倭国は、朝鮮半島南部の鉄資源を確保するために、伽耶諸国と密接な関係をもってた

高句麗が南下政策を進めたため、百済や伽耶諸国とともに高句麗と戦った

しかし百済と新羅は高句麗が南下したために、勢力を南に広げた

百済は伽耶諸国を支配した

伽耶諸国西部に対する支配を百済がもってしまったことで、当時の政治の主導者であった大伴金村は失脚した

つまり、この時代の朝鮮半島への影響力とは、伽耶諸国への影響力ということだったのではないでしょうか？(もし百済と協力していたのなら、大伴金村は失脚しませんし。)