9π(半径3cmの円の面積)と18π(半球の表面積)を足してから、144πで引くのはなぜダメなのですか。

-(9+18)=-9-18
になり、これだと半球の表面18πを引いてしまっています。足さないといけません。

立体としてみると、母線10cm，半径8cmの円錐から半径3cmの半球を引けば求められますか。

それは体積の話であって、今回求めないといけないのは表面積なので、ダメです。
円錐の表面積から半径3cmの半円の面積を引けば、円錐の表面積から半球の切断面を引いた面積が求まりますよね。出来上がった図形の表面積は、これに半球の表面の面積が加わるので、引くのではなく、それを足さないといけません。

求めないといけないのは、写真のオレンジの部分なので、円錐全体から青いところを引いてから、表面のオレンジのところを足す必要があります。

写真付きでわかりやすかったです！そういうことなのですね。ありがとうございます！