中新網(wǎng)9月21日電(記者 吳家駒)AI是擊穿網(wǎng)絡(luò)安全的矛？還是守護(hù)網(wǎng)絡(luò)安全的盾？
近日，2025年國(guó)家網(wǎng)絡(luò)安全宣傳周在昆明開(kāi)幕，多位網(wǎng)絡(luò)安全專(zhuān)家在接受中新網(wǎng)采訪時(shí)，談及AI給網(wǎng)絡(luò)安全帶來(lái)的新風(fēng)險(xiǎn)和新機(jī)遇。
360數(shù)字安全集團(tuán)總裁胡振泉認(rèn)為，AI的安全問(wèn)題無(wú)比復(fù)雜，和傳統(tǒng)的網(wǎng)絡(luò)安全問(wèn)題有著非常大的不同，其中包括：AI生成內(nèi)容本身的安全性、AI幻覺(jué)、提示詞注入攻擊等問(wèn)題。
胡振泉進(jìn)一步表示，當(dāng)AI變成智能體后，會(huì)負(fù)責(zé)規(guī)劃很多任務(wù)，而如果AI智能體規(guī)劃的任務(wù)執(zhí)行到很多步后，再發(fā)生錯(cuò)亂、隨意調(diào)度的問(wèn)題，情況將更加復(fù)雜，這是傳統(tǒng)網(wǎng)絡(luò)安全手段無(wú)法解決的問(wèn)題。
天融信科技集團(tuán)助理總裁張博表示，如今一些大模型被攻擊，大模型算法或數(shù)據(jù)發(fā)生泄露，都暴露了大模型在訓(xùn)練、部署、使用等階段，存在著一定的安全風(fēng)險(xiǎn)。同時(shí)，AI降低了網(wǎng)絡(luò)攻擊的門(mén)檻，很多攻擊者會(huì)使用AI，來(lái)提升攻擊的頻度、強(qiáng)度、效率。
奇安信集團(tuán)副總裁李虎也表示，目前已出現(xiàn)許多用于攻擊的AI智能體，甚至已經(jīng)開(kāi)始對(duì)外提供服務(wù)。如果黑客組織使用AI發(fā)起攻擊，成本會(huì)更低，而且更具不可控性?，F(xiàn)在大模型的應(yīng)用越來(lái)越廣泛，涉及社會(huì)生活的方方面面，如果AI的安全性出現(xiàn)問(wèn)題，將產(chǎn)生非常大的危害。
在南方電網(wǎng)公司數(shù)字化部副總經(jīng)理禤亮看來(lái)，AI需要慢慢培育。在培育的過(guò)程中，如果數(shù)據(jù)出現(xiàn)問(wèn)題，一方面可能導(dǎo)致AI智能體的反應(yīng)速度下降，另一方面，可能導(dǎo)致AI作出的判斷存在誤差，這對(duì)電網(wǎng)企業(yè)和新型電力系統(tǒng)來(lái)說(shuō)是致命的。
AI時(shí)代，如何應(yīng)對(duì)網(wǎng)絡(luò)安全挑戰(zhàn)？
張博表示，目前AI賦能網(wǎng)絡(luò)安全，是行業(yè)中非常重要的一個(gè)研究方向，國(guó)內(nèi)外不少安全公司都在探索AI與安全技術(shù)的結(jié)合。例如，把大模型融入到安全設(shè)備中，與安全平臺(tái)和云端安全服務(wù)進(jìn)行聯(lián)動(dòng)，形成端側(cè)云端協(xié)同的基于大模型的智能化運(yùn)營(yíng)體系。
“傳統(tǒng)的網(wǎng)絡(luò)安全軟件由人編寫(xiě)，而大模型的智力超過(guò)人類(lèi)，因此應(yīng)該‘以模制?！?，即用大模型來(lái)解決大模型的安全問(wèn)題?！焙袢J(rèn)為，應(yīng)該有專(zhuān)門(mén)負(fù)責(zé)安全的大模型，來(lái)監(jiān)督做業(yè)務(wù)的大模型，并處理其在做業(yè)務(wù)過(guò)程面臨的一系列安全問(wèn)題，大模型的發(fā)展應(yīng)遵循“安全、向善、可信、可控”的原則。
在李虎看來(lái)，我們可以構(gòu)建大模型的安全“紅域”，把大模型訓(xùn)練、微調(diào)、應(yīng)用等各個(gè)環(huán)節(jié)，都納入到紅域中心統(tǒng)一管控，然后再進(jìn)行區(qū)隔化管理，把每個(gè)區(qū)域分而治之，收縮風(fēng)險(xiǎn)邊界。同時(shí)，我們需要對(duì)大模型的提示詞、標(biāo)注數(shù)據(jù)、知識(shí)庫(kù)數(shù)據(jù)等，進(jìn)行監(jiān)測(cè)和審計(jì)。
禤亮表示，為防止AI在應(yīng)用層面出現(xiàn)偏差，需要有良好的數(shù)據(jù)治理基礎(chǔ)，形成高質(zhì)量的數(shù)據(jù)集。同時(shí)，需要有專(zhuān)門(mén)的團(tuán)隊(duì)負(fù)責(zé)監(jiān)測(cè)AI，并構(gòu)建監(jiān)測(cè)機(jī)制，來(lái)使AI朝著我們希望的方向發(fā)展。(完)