結論から言うと文脈で理解するしかありませんが、文構造の捉え方で見えてくることがあります。

of the manって合ってます？
その訳を見る限り、
We sometimes fall in
①with persons who have seen much of the world
and
②with (ofは間違い) the men who in their day, have played a conspicuous role in it
が並列になってるような訳ですね。

だとすれば、personsをthe menと言い換えてるだけなので、but以下は
③but (with persons/the men が省略) who generalize nothing〜
とどちらにでも取れると思うのです。

of the manが正しいのであれば、その訳は文構造を理解するにはあまり役に立たない訳かもしれないです。

We sometimes fall in
①with persons who have seen much of the world
私たちは世の中の多くのことを見てきた人に出くわすことがある

②and (of the men) who, in their day, have played a conspicuous role in it,
（of the menは挿入句的な感じ？ただこの位置に入るのがちょっと変な感じがしますが。the menはpersonsを受けています）
またそのような人のなかで、全盛期には世の中で目覚ましい役割を果たしていた人物にも出くわすことがある

この訳だと、①の範囲のなかで特にすごい人を②として取り上げています。なので、①と②は並列ではありません。
②はあくまで①の補足です。

なので
①（+補足②）と③がbutで対立していると考えることができて
③but (with persons) who generalize nothing〜
と理解できるかもしれません。

ただ、この捉え方をするには②の部分の文構造、特にof the men の位置が気になります。なんか変な感じ