without Ving で 〜無しに という意味があります。

あとwithout は前置詞なので前置詞のあとは名詞が来なくちゃいけないので動詞のsay を動名詞に変える必要があります！

not with は文法的に間違いかと。そういう風には言わないと思います。