答え 貴族中心の政治に不満を持つ者が増えていったから。

確かにmikuniさんの言う通り平氏は栄華を極めましたが、平氏は必死に農耕をしている農民から贅沢するために農作物を奪い取ったのでそれが怒りをかいました。
源氏はそこに目を付けて貴族や皇族の贅沢を止めるという名目で平氏を倒そうとしました。
最初の方は平氏が優勢でしたが平氏のやり方を嫌う人が次第に源氏に協力して平氏は滅ぼされました。
それだけでなく源氏側の源義経はいろいろな作戦で平氏を翻弄したことも源氏が平氏を滅ぼされた原因の一つです。