sushiやtempuraは英語では不加算名詞なので、単語そのものに直接 a や s はつきません。
数えるには
a piece of sushi 寿司一貫/一個の寿司
10 pieces of sushi 寿司十貫/十個の寿司
a piece of tempura 天ぷら一つ/一個の天ぷら
a few pieces of tempura 数個の天ぷら
のようになります。

どの単語が加算名詞で、どれが不加算名詞かは、辞書で確認するのが確実です。同じ名詞でも場合によって加算名詞として a や s がついたり、不加算名詞として扱うものもあるので、疑問に思ったらまずは辞書で調べると良いです。