2024年政府工作報告首次提出開展“人工智能+”行動,明確加快形成以人工智能為引擎的新質生產力。過去十年,我國人工智能技術發展迅猛,已成功應用于制造業、能源、交通運輸、金融、教育和醫療等領域,為“人工智能+”行動順利實施奠定了堅實基礎。“人工智能+”行動的實施,不僅體現出我國對人工智能等新一代信息技術的高度重視,更是對未來經濟社會發展的深遠布局,人工智能未來將在推動我國產業升級、促進發展新質生產力等方面發揮出更加重要的作用。
人工智能技術在推動核科學、核技術發展及應用方面具有巨大潛能。我國高度重視和支持核能智能化技術研發,科技部“新一代人工智能”重大項目通過支持建設新一代人工智能示范應用場景,構建全鏈條、全過程的人工智能行業應用生態。這些示范場景的應用不僅提升了各行業的智能化水平,也為核能領域人工智能技術的開發應用提供了技術支持和示范效應。《“十四五”現代能源體系規劃》等明確提出推動人工智能在核電等領域的應用,積極建設智慧能源系統。當前,積極推進核能領域人工智能的開發應用,落實“人工智能+”行動,走融合發展的路徑進一步明晰。以人工智能賦能核能發展,必將成為促進核能轉型升級的新動能、新業態。
一、核能領域人工智能的開發應用呈現出積極的發展態勢
人工智能技術在核能領域的應用日益廣泛,特別是針對核電廠(NPP),人工智能應用已被廣泛引入,核能與人工智能技術的協同發展帶來顯著的降本增效效果。國際上人工智能應用主要集中在核電廠的運行和維護、核燃料循環管理、核設施安全監測及智能巡檢與機器人應用等方面。通過實時數據分析、異常模式識別、數據可視化等技術,人工智能能夠顯著提高核電建設運行效率、降低成本,提高運行安全性。為促進核能發展及開發應用人工智能等新技術,美國核管制委員會(NRC)發布《人工智能戰略計劃:2023—2027財年》(NUREG-2261),涉及使用人工智能技術的許可申請的審查和批準等,以進一步促進核能領域人工智能的開發應用。
當前,國內核電企業積極通過引入AI等先進技術,賦能核能安全發展。例如,目前已應用于核電廠、鈾礦山運維等的智能化人機接口系統、大數據壽命預測診斷和運維支持系統等,主要是以人工智能、大數據、物聯網、云技術等為基礎,強調技術與人的深度融合,由機器替代或輔助人進行分析、判斷、決策。此外,國內正在開展的“核電廠智能化的自主監控系統的開發應用”等,也是基于數據分析、理論建模和實驗設計,以及反應堆的監測、維護和優化,幫助預測和解決潛在的核能建設運行問題。這類研發項目,主要是通過確立基于AI的安全評估方法、支持操作員做出正常運行和事故條件的決策、考慮人與AI應用界面的人因工程,開發應用適配的智能技術與軟件、自主運行控制系統等,以提高安全性和運行效率,降低運營成本。
中核集團開發的智能化核動力仿真平臺(RINSIM2.0)及核能建模與仿真平臺(NIMOS)等,可應用于設計驗證、操縱員培訓、應急演練、V&V驗證等應用需求,具有良好的推廣前景。中廣核福建寧德核電有限公司與浙江大學合作,共同研發“云中錦書”核工業大語言模型平臺,已具備知識庫管理、專家系統、人因預測等功能,計劃2025年投入生產領域應用。中核集團八所與上海人工智能實驗室聯合研發“龍吟·萬界”大模型,是國內首個核領域數字生產力平臺,集大模型智能體的開發、使用、管理于一體,提供算力、核領域大模型、智能體、AI原生應用的整體解決方案。此外,小型模塊化反應堆(SMR)等新技術產品的開發和應用,也受益于AI在數據分析、模擬和優化等方面的應用,并推動AI和核科學工程仿真等融合發展。
為積極推進核能綜合利用,“國和一號+”智慧核能綜合利用示范項目、“和氣一號”核能供汽項目等,在國家“建設智慧能源系統”的指引及統籌協調下,加強與我國“新一代人工智能”等重大項目多個方面的借鑒和互動,積極打造集核能供熱、海水淡化、核風光儲綜合智慧能源系統、智慧多能管控平臺等于一體的“核能+”創新發展模式,進一步推動了核能的多領域應用。
總體看,人工智能在核工程建設降本增效、提升設備運行維護質量和效率、降低核電全壽期管理成本、提升核能開發利用的功能性等方面,發揮著越來越重要的作用。但是,人工智能在核能領域的應用也面臨一些風險和挑戰,不僅包括數據安全、系統故障、人為錯誤和監管挑戰等數字技術應用方面風險,而且包括人工智能應用的特有問題,涉及與核科學工程技術的開發應用的融合、人工智能模型資源的優化利用,以及安全監管和政策法規不完善等問題。在核能領域,人工智能技術的應用需要特別謹慎,必須確保信息安全、決策可靠及合規性,避免人為因素、監管障礙等帶來的風險。
二、核能領域人工智能開發應用的風險不容忽視
2023年首屆人工智能安全全球峰會簽署的《布萊切利宣言》,強調了理解和解決人工智能安全問題的緊迫性。2024年歐盟發布《人工智能法案》,基于風險框架,提出全面的人工智能分級監管機制。美國也已通過行政命令,要求評估人工智能的安全風險。美國核管會(NRC)與西南研究所合作,分析了相關單位利用人工智能相關規章制度中的漏洞,認為人工智能系統極有可能產生異常輸出等情況,有必要進一步探索其安全風險的防護措施。
(一)數據傳輸和處理帶來的影響可能增加
數據是人工智能的基礎,數據生成是確保人工智能系統持續獲取新信息的關鍵環節。然而,人工智能系統的決策可能會受到數據偏見的影響,出現模型偏見和不公平性問題,甚至在某些情況下,可能會因數據原因出現錯誤或無法解釋其決策過程,這可能導致不可預測的結果。這種無法解釋和失控的風險可能對決策的可靠性和可信度產生負面影響。而“數據投毒”風險不容忽視,若“投毒”傳導到核能傳統系統,可能導致核安全事故;傳導至輿論,一些負面信息可以更加隱蔽地影響社會公眾的正確認知。
隨著人工智能在核能領域的應用,首先,智能設備如智能監測系統、數據分析平臺等會收集大量的敏感數據,包括核設施的運行狀態、維護記錄等。這些數據如果被未經授權的人員獲取,可能會導致核設施的安全隱患和運營風險。其次,在核能領域,人工智能系統需要處理和分析大量的實時數據,任何數據的異常或錯誤都可能導致錯誤的決策,進而影響核設施的安全運行。第三,人工智能模型和算法容易被攻擊和竊取,這可能導致核能相關系統的建設運營數據和安全策略被泄露,從而影響核能的安全性和穩定性。第四,在核能領域使用人工智能技術時,同樣可能會涉及到單位及個人信息等敏感數據。如果這些信息處理不當,可能會導致隱私泄露,帶來信息安全問題。
(二)人工智能系統的安全性評估有待加強
核能領域人工智能系統的構建,可能涉及智能運維與故障預測、智能設備管理、核反應堆智能輔助決策及智能安全管理等,助力核能傳統系統的升級,并通過對實時數據監測、場景模擬及整合物聯網和大數據技術等,應用人工智能技術和算法,優化核技術開發應用的各個環節,提高核設施建設運行安全、能源生產效率和廢物管理能力等,并助力合規性問題解決。但是核能領域人工智能系統通常比傳統系統更復雜,這可能導致故障模式等更加難以預測和理解。而在人工智能系統參與及輔助決策的情況下,一旦發生事故,出現確定責任方可能變得復雜等情況,控制好核能領域人工智能系統的安全問題,值得高度重視。
同時,鑒于人工智能應用基于數學模型而非物理模型,這使得核能領域人工智能系統的可靠性評估更加困難,因此使用人工智能應用進行核電廠設計優化、自主運行和控制以及安全分析需要仔細證實,如核電廠智能化的自主監控系統的開發應用,需要在硬件和系統架構、數據處理、安全性和效率提升等方面,不斷探索滿足核電建設安全運行要求的智能化軟、硬件技術,逐步建立技術驗證方法與標準體系, 并在應用實踐中不斷迭代發展, 實現智能系統的高可靠性。特別是,目前由于人工智能應用使用的算法復雜,分析涉及大量數據,僅通過傳統的軟件驗證和確認方法無法評估人工智能應用程序的可靠性,證明基于人工智能的應用程序的故障不會干擾安全功能是具有挑戰性的。
此外,由于目前在人工智能系統應用的安全性評估方面積累的經驗不多,美國等西方國家在設計、計算等的評估方面,沒有專門針對人工智能應用的指南,我國法規也并未明確執行計劃必須由人類或人工智能執行等情況。
(三)大模型開發利用的監管規范需加強
目前人工智能大模型層出不窮,已經成為全球人工智能領域的重要力量。多模態大模型不僅在文本生成方面表現出色,還在音頻、圖像等多種模態的處理和生成上取得重要進展。這些技術革新為人工智能大模型在更多領域的應用奠定堅實基礎。近年來,以生成式預訓練大模型為代表的生成式人工智能大模型(簡稱“大模型”)迅猛發展,并積極投入到大模型賦能的新型應用中,但也帶來前所未有的安全風險。
大模型的算法可能存在缺陷,在處理核能行業數據時,可能會因為數據不完整或存在偏差而導致生成結果不可控,而一些算法的可解釋性較差,難以追溯和解釋模型的決策過程,特別是智能體具有自主決策的能力,一旦失控,可能會對核能設施造成不可預測的后果。此外,惡意行為者可能利用人工智能的算法模型發起先進的、有針對性的攻擊,更隱蔽地破壞人工智能系統及其算法模型,而算法模型遭受攻擊風險主要包括模型中毒、數據投毒、后門植入、對抗攻擊等。
總體看,當前全球人工智能監管框架尚處初期,缺乏統一有效的協調機制。不同國家和地區的監管政策差異大,難以對人工智能在核能領域的應用進行全面及時規范。此外,數字化技術及人工智能的應用需要專業的技術支持和維護團隊。操作人員可能過于信任人工智能系統,甚至在系統給出錯誤建議時也不知人工干預。過度依賴人工智能可能導致操作人員的技能退化,影響其在緊急情況下的反應能力。
三、安全有序推進核能領域人工智能開發應用的思考與建議
國務院發布的《新一代人工智能發展規劃》明確提出,在大力發展人工智能的同時,必須高度重視可能帶來的安全風險挑戰,加強前瞻預防與約束引導,最大限度降低風險,確保人工智能的安全、可靠、可控發展。國務院安委會辦公室發布的《能源電力系統安全生產治本攻堅三年行動方案(2024—2026年)》明確要求,要結合人工智能、大數據、物聯網等技術,持續加大安全風險監測預警系統建設應用和升級改造力度,2026 年底安全生產風險智能化管控能力顯著增強。
為此,核能行業要按照《全球人工智能治理倡議》及相關政策文件要求,結合核能行業人工智能應用的實際情況,統籌人工智能發展與安全,保持戰略定力,增強戰略信心,穩妥應對各種風險挑戰,在積極穩健推進核能領域人工智能的開發應用的同時,重點做好核能數據安全帶來的風險影響、人工智能系統的安全性風險,以及算法模型遭受攻擊的風險等的應對工作。
(一)強化數據安全帶來的風險防范
核能領域人工智能的開發應用,要充分利用數據資源和先進技術,采取數據驅動的技術創新和主動的數據生成策略等方式方法,強化數據推動技術迭代升級,促進核能創新發展。同時,高度重視數據質量和安全性等問題。為應對數據安全帶來的風險影響,要積極做好核能行業人工智能數據的收集與開發應用。
一要需確保內容不涉及違法、不良信息。建立內容審查機制,防止生成虛假信息、侵權內容等,在數據交易協議中,要求提供方對數據的合法來源和處理行為進行保證,并避免因內容生成引發法律糾紛;
二要開展數據標注及清洗,保證模型訓練階段的數據的透明性、可解釋性及公平性。這包括制定標注準則、開展核能行業人工智能數據標注質量評估、抽樣核驗等,處理好仿真數據與實際數據等關系;
三要建立嚴格的數據管理機制,明確數據可用性限制,并加強“數據投毒”檢測與防御方法的研究與創新,采用聯邦學習等可信的人工智能技術,通過模塊化設計,加強多樣化、冗余和隔離系統的優化、軟件輸入和輸出的控制及監控等措施,避免不利影響;
四要建立用戶個人信息保護制度,提高員工對數據安全重要性的認識,嚴格遵守相關規定,并確保用戶知情權、選擇權等;
五要完善核安全監管和應急機制,加強核能領域人工智能開發應用的安全監管,建立健全數據安全事件應急響應機制,強化數據泄露、設備故障、網絡攻擊等安全防范,并注意消除負面因素的影響。
(二)加強人工智能系統的安全風險主動防御
隨著人工智能技術的廣泛應用,技術進步推動了核能與人工智能系統的結合,而人工智能系統的優化也促進了核能技術進步。人工智能安全涉及數據安全、算法安全、系統安全、網絡安全等多個方面,旨在確保人工智能系統的安全、可靠和可控。核能行業人工智能技術應用系統,要加強包括被動防御和主動防御兩大類的安全防護措施。原則上要將人工智能系統與核能其他系統隔離,以降低安全風險,并更加注重預測和識別潛在的安全威脅,通過持續監控和分析系統行為來及時發現并響應異常活動。
在核能行業人工智能系統的安全研究發展中,建議以自適應和智能化的安全防護系統、隱私保護技術的創新、人工智能對抗性攻防技術的提升、人工智能安全評估與認證體系的完善,以及跨領域合作與技術創新為重點。為提升人工智能系統的安全性,核能行業可加強核能行業外專業化企業合作,合作研究實施核能行業人工智能技術應用的安全整體應對方案,包括核能行業人工智能安全框架,以及基于安全框架下的人工智能安全解決方案、人工智能評估服務和安全檢測工具等,幫助核能企業提前洞察風險并采取應對措施。
要加強核能行業人工智能技術應用安全運行的經驗反饋。注意在經驗反饋的基礎上,依據相關法規要求,在核能行業人工智能系統的設計、計算、建設運行等的評估方面,逐步建立健全專門針對核能行業人工智能系統應用的指南,注重集成化工作流程與嵌入式系統的開發研究,以應對復雜多變的工作環境,并同步制定相關法規標準,明確系統的操作執行計劃是由人類或人工智能執行等。
為了確保人工智能系統的安全,需要重點限制由傳統系統控制的軟件輸入和輸出。一是確保核能領域人工智能系統的訓練、測試和正式部署階段在隔離環境中運行;二是對人工智能實施技術限制,并加強監控,確保監控系統的有效性;三是對人工智能系統的代碼和參數進行加密和保護,防止被黑客盜走或濫用等;四是在模塊化層面上應用人工智能技術,或將系統劃分為具有“明確功能”的“較小、獨立的模塊”,盡量將任何問題或錯誤局限在問題模塊之內,避免對整個系統運行的總體功能造成不利影響;五是加對人工智能系統等的持續監控,防止核能設備故障和維護系統完整性,同時檢測和應對潛在的異常情況。
人工智能技術應用安全需要全社會共同努力。建議國家安全部門繼續發揮能力優勢,確保核能行業人工智能系統本身的安全性,實施“多樣化、冗余和隔離的系統”,以最大限度地減少意外行動,并積極利用人工智能用于安全防護;相關監管機構需要對核能行業人工智能系統的潛在風險與影響保持持續關注,在制度和法規上及時提供支持;核能行業相關企業、機構要加強合作,及時研究部署人工智能安全框架和統一解決方案,以及人工智能安全評估服務和檢測工具等,并可依托人工智能推動安全升級;核能行業的網絡用戶在嘗試最新人工智能應用的同時,同樣需要更新安全知識,形成良好的安全習慣。
(三)協同優化人工智能大模型選擇與安全高效的開發利用
目前,大模型正迅速成為智能化時代的基礎底座,已經被廣泛應用于無人機、機器人等領域的自動控制等,成為包括工控設備在內的各類物理系統的“神經中樞”。而如今隨著大模型項目需求不斷增長,各類開源框架也層出不窮。這些框架極大提升了開發效率,降低了構建人工智能應用的門檻,同時也打開了新的攻擊面,導致系統或應用安全風險增加。在大模型基礎設施屬性日益凸顯的智能時代,沒有大模型的安全,就無法保障大模型技術和賦能相關產業的健康快速發展。
當前,大模型安全已成為全球共識,并成為大國科技競爭的重要制高點。我國發布《生成式人工智能服務管理暫行辦法》,提出促進創新和依法治理相結合的監管原則,以支持生成式人工智能大模型等的安全發展。在核能領域,首先,在智能審查、知識庫管理、智能設備管理、智慧運維支持、數字孿生、虛擬現實、智能安全管理等應用領域,選用人工智能大模型,必須選擇安全性、經濟性好的大模型,如DeepSeek大模型,能通過動態稀疏計算、層級化MoE架構和量子糾纏啟發的參數共享等技術,并與自主可控的算力芯片等硬件相適配,在處理復雜的核能研發、生產、經營管理等相關任務過程中,降低算力需求。這些大模型,不僅要與業務場景匹配,具備數據質量好、可解釋性強等特點,以實現高參數、高性能等技術優勢和安全要求,還必須能節約算力資源,通過優化軟硬件的使用,并基于自主可控芯片的智算中心,在保證安全高效性能的同時降低總體成本。
建議核能領域人工智能大模型滿足以下要求:一是可通過大量的數據訓練、深度學習,具備強大的學習能力和表征能力,并能確保大模型的使用過程中的數據安全和系統安全。二是可通過模型優化、參數共享、并行策略、網絡結構優化、有效訓練率提升、動態資源分配等手段提升集群綜合利用率,推動大模型行業“降本”趨勢的加速推進。三是可不斷豐富和發展相關大模型標準化專業語料庫等,以提高模型的性能和泛化能力,促進適應各種應用場景的技術創新,解決核能發展面臨的知識管理不足、低腦力勞動過多、安全分析能力有待增強等挑戰。四是可應用于智能審查、安全性評估、故障診斷與預測、優化運行與管理、輔助設計與模擬等多個方面,其研發和應用要可驗證、安全可控,能接受監管部門的監督,確保其決策過程和結果可靠,能持續提升核能領域的整體效率和安全性,推動核能守正創新發展。
其次,要重點加強相關人工智能大模型受攻擊風險的應對措施。通過基于魯棒訓練等的防御方法和基于數據增強的防御方法,提高模型的抗干擾能力,并定期更新和重新訓練模型以有效應對對抗攻擊。此外,要通過建立完善安全檢測、監督機制,加強對大模型開發及其使用過程的監管,及時發現和處理潛在的惡意代碼和攻擊行為等。
人工智能與大模型本身伴隨著安全風險,目前對潛在影響的研究與重視程度仍遠遠不足,需要制定相關的法律法規和倫理規范,明確大模型的使用范圍和責任主體,加大投入,搶占人工智能安全科技制高點,突破大模型安全關鍵技術,并合理規劃大模型等的資源分配及未來必要時選擇性關閉自主開發大模型的部分技術。同時,加快大規模集群技術的研發,并強化其靈活性和擴展性,助力人工智能安全有序、集群化發展。此外,鑒于大模型所面對的安全威脅,可從模型層、框架層、應用層三個層面持續深入探索。以大模型為重要支撐的人工智能生態擁有巨大發展潛力,在賦予人工智能更多能力的同時,也應將更多精力投入在人工智能的安全之上,確保整個系統可信、可靠、可控。
當今世界正處于人工智能發展的新時代,核能要為我國人工智能技術的普及和應用領域不斷擴展作出應有的貢獻。為此,建議“新一代人工智能”專項加強對“智能核能系統”研究開發的支持,同時實施產教融合策略,并鼓勵核能行業成立跨行業共同體,積極參與國際、國內相關規則的研究制定,完善核能安全治理體系,優化核能領域人工智能開發應用的操作規范標準及相關人員的專業培訓,不斷壯大“AI+核能安全”領域的實戰型、復合型人才隊伍,促進國家智慧能源系統建設,積極發揮核能發展在保障能源安全轉型、實現“雙碳”目標、引領工業科技變革和推動新質生產力發展等方面的重要作用。
免責聲明:本網轉載自合作媒體、機構或其他網站的信息,登載此文出于傳遞更多信息之目的,并不意味著贊同其觀點或證實其內容的真實性。本網所有信息僅供參考,不做交易和服務的根據。本網內容如有侵權或其它問題請及時告之,本網將及時修改或刪除。凡以任何方式登錄本網站或直接、間接使用本網站資料者,視為自愿接受本網站聲明的約束。

