単語の意味というのは、
その単語がもともと持ち合わせている意味だけでなくて、特定の場面で使われるなかで生まれる意味というのがあると思います。

canの場合、もともとの単語の意味は「可能・能力」が一番近いと思います。
ある物事のポテンシャルを持ち合わせている
というような感じです。

それが人間の能力についてではなくて、物事の存在とか発生についてのポテンシャルの話の場合は、「可能性/推定」の意味になります。
ポイントは「推定」の意味は特定の状況でcanが使われた場合だということです。

ちなみに、
ポテンシャルが無いといけないので、完全な想像/推量ではなくて、兆候とか根拠とか証拠とかが多少なりともないと、この意味でcanを使うのはおかしく感じます。

単語の意味として「許可」の意味を持っていると言える助動詞は、どちらかというとcanではなくmayだと思います。
だから、mayは「許可を与える/受ける」というのが不思議じゃない間柄において使うんです。上下関係が明確な、店員とお客様とか、医者と患者とか、あとは知らない人だから気を遣った方がいいかなっていう丁寧語の代わりになったり。

逆に考えると、mayを使うと、上下関係とか気を遣う関係ということが明確になってしまうのです。だから気軽に伝えたい場合にはmayは使えない。
そのときには、canを使って可能の意味から間接的に許可の意味を伝えているのです。
「彼が到着したらすぐに、あなたは【出発できる状況になる】」という感じです。「あなたが【出発する許可を与えます】」ではないんです。
要はcanの「許可」の意味も、そのように解釈できる特定の状況があるんです。

＿彼が到着することは、確定したものとして扱われており、あなたは、自分の意思で出発する事が出来る。
＿つまり、推量する余地がない。

＿日本語の問題だと思います。