発音的には「バスティーユ(Bastille)」のほうが近く一般的ですかね。

この頃のフランスは戦争にお金を使いすぎてしまったので税金をかけようとしたところ、平民が反発して議会を成立させました。しかしその議会の人間を国王が弾圧しているという噂が流れたので、政治犯として逮捕された人が収容されていたバスティーユ牢獄が襲われたのです。また、バスティーユ牢獄には武器弾薬が保管されていたので、フランス国軍と戦うため武器を手に入れようと襲った、という説明もなされます。

まとめると、
・国王に反対する議会の人間が捕まえられていたから
・市民たちは武器弾薬を手に入れたかったから
になります。