仮にagainstだとすると、against〜のまとまりが副詞句で「〜に対して」「〜に対峙して」というような意味になると思うんですが、
そういう使い方するときのagainstって、「〜に対(峙)して」いるのは誰なのかというと、基本的には文の主語だと思います。

つまり今回の文だと、
仕事が遅いって言われている彼女自身が、そうやってみんなから言われていることに対(峙)して、いつも締め切り前に仕事を終わらせている
ということになるので、言ってることが矛盾します。いつも締め切り守れるなら、仕事が遅いと言われないと思います。

contrary to〜「〜と違って、〜に反して」の場合は、何がto以下に反しているのかというと、このフレーズが修飾している内容全体だと思います。今回の場合はshe always〜という主節の内容ですね。
彼女はいつも締め切り前に仕事を終わらせている
という内容が、
彼女について周りの人達が言ってること
と反する、というのがcontrary to〜ということです。