be to blameは受動態に見えないけど受動的な意味を表す慣用表現のようですね…

いえ、be to 不定詞自体にに受動的意味はおそらくないと思います。
1．可能「～できる」

2．義務「～すべきだ」

3．予定「～する予定です」

4．意図「～するつもり」

5．運命「～する運命である」

の意味を表すものです。

じゃあなんでこの文が受動的な「責められる」という意味になるのでしょうか？

S is to blame〜「Sは責めを負うべきである」
は、<義務>を表す<be+to不定詞>の用法。
「責められるべきだ」という受け身の意味ではあるが、慣用的にto be blamedでなく、to blameで表す
と参考書に書いてありました。
これに関しては慣用語句として覚えるのがいいと思います！

なるほど！もとはto be blameで[義務]だったんですね！
すっきりしましたありがとうございます！