化学の観点で行きますね。
一般的に有機物とは「炭素C、水素H、酸素O、(たまに窒素Nや硫黄S)などから構成されている、CO₂などの簡単な構造の物質を除いたもの」になります。もっと言うと、Cを骨格として複雑な形をしているもの、です。
これに対して石英や雲母はケイ酸塩化合物で、Cは含まれておらず、また複雑な形でもないので無機物に分類されるのだと思います。