確かsayという単語には〜に、の前にいつもtoが必要だった気がします！
he said to me なら⭕ですよ！