英語っぽく言うと「人にどう思われるかどうかはどうでもいい」と言う意味の I don’t care about what people think と言うのが一番違和感ない言い方だと思います。「人の目」を使う人はあまりいません。