教科書にはあまり突っ込んで書かれないけれど、寒冷化が始まるなど環境の変化があり、それに押されるようにして、北方の民族が安住の地を求めて南下、元々そこにあった諸国家と争った為に弱体化/滅亡となります。
争いに国力を奪われると、生産性も下がるし貿易も…などといった複合的な事だと思います。