歴史の苦手な自分の経験からして、
歴史が苦手であれば世界史、日本史どちらも大変だと思います。

世界史に関してはご存知のように、片仮名が多いです。これまでの経験で片仮名を覚えるのが苦であるか否かで負担は大きく変わります（なお、自分は英単語を覚えるのは得意でしたが、世界史用語を覚えるのは苦労しました）
ただし、中学の日本史は忘れていても支障はありません。

日本史は、小中で習った歴史の「何となく」の流れが理解できているかどうかで負担は大きく変わります。高校ではそれを更に深掘りしていく感じです。

また、
世界史は理解までに時間がかかるが、ある時点から伸び始める。日本史は点はすぐに伸びやすいが、時期を重ねるにつれ深掘りしていく必要がある

これらを踏まえて考えてみてください。