観客と言った場合、大抵は複数人ですよね。
audienceという単語はその複数の人間の”集まり”を表す単語です。

複数なことを前提にしてその”複数”（＝人数/数字）がどれだけ大きい（小さい）かをlarge/smallで表している、というのを数の概念を含むから〜という言い方をしているのだと思います。