両方とも｢夜に｣では無いのですか？　→　その通りです。違いは以下のようになります。

〇 in the night of …(期日)　…の夜に　※通常of＋具体的期日を付けて使います　
例：In the night of December 31, many people sing Auld Lang Syne. 大晦日の夜に多くの人が蛍の光を歌います。

〇 at night(夜に)：in the morning(午前中に)、in the afternoon(午後に)、in the evening(夜に) と一緒に覚えると良いと思います。
※in the evening：(日没から就寝までの)夜に ／ at night(就寝以降の)夜に

参考にしてください。