参考・概略です

　 a＋2b＋3c＝17　…　①
　2a－ b－ c＝ 0　…　②
　 a－ b＋ c＝ 1　…　③

　②＋③　　より、3a－2b＝ 1　…　④
　①＋②×3 より、7a－ b＝17　…　⑤

　⑤×2－④ より、11a＝33　で、a＝3

　a＝3を⑤へ代入し、7(3)－b＝17　で、b＝4

　a＝3，b＝4を③へ代入し、(3)－(4)＋c＝1　で、c＝2

①　(3)＋2(4)＋3(2)＝17＝右辺
② 2(3)－ (4)－ (2)＝ 0＝右辺
③　(3)－ (4)＋ (2)＝ 1＝右辺

　★答え【a＝3，b＝4，c＝2】

―――――――――――――――――――――――――――
　[ac＋√{b(c²＋2ab－2c√2ab)}]²－b²√ac　へ代入し

●√部分について
　　√{b(c²＋2ab－2c√2ab)}
　＝√4・√(4＋24－4√12)
　＝2・√(28－2√96)
　＝2・(√24－√4)
　＝2・(2√6－2)
　＝4√6－4

●与式
　＝{6＋(4√6－4)}²－16√6
　＝{4√6＋2}²－16√6
　＝96＋16√6＋4－16√6
　＝100