阿里云優(yōu)惠券 先領券再下單

近日，昇思MindSpore正式通過SGS Brightsight實驗室的安全評估，獲得了AI框架領域的首份CC EAL2+證書。

作為全球最大的獨立認證機構，SGS Brightsight可以說是全球為數不多被廣泛認可的安全實驗室。同時CC認證也是目前全球認可度和權威性最高的IT產品安全認證，主要用于評估產品的安全性、可靠性以及對信息隱私的保護。

在過去很長一段時間里，AI框架和CC認證很少被同時提及，其中的原因離不開AI框架的開源屬性，加上人工智能的產業(yè)應用才剛剛起步，業(yè)界的焦點常常是準確性和易用性，安全性的課題被選擇性忽略。可為何昇思MindSpore主動送測SGS Brightsight實驗室，并深度參與了人工智能框架安全目標的制定？

隱藏在首份CC EAL2+證書背后的，其實是人工智能的新潮向。

01 AI框架的險灘和暗礁

經歷了Theano、Caffe等早期框架的探路，TensorFlow和PyTorch在全球范圍內的風靡，再到飛槳、昇思MindSpore等國產框架的崛起，AI框架在第三次人工智能浪潮中扮演的角色早已深入人心。

比如“操作系統(tǒng)”的比喻，AI框架在技術體系中有著承上啟下的作用，向下調用底層的計算資源，向上承接算法模型的搭建，開發(fā)者無需關注底層的邏輯和細節(jié)，可以直接在框架下構建或調用算法模型并進行訓練部署，極大地提高了開發(fā)效率。

如果說AI框架撬動了人工智能產業(yè)化的“大航海”，看似平靜的水面下卻有著不可小覷的安全盲點。

一種是容易被察覺的“險灘”，典型的例子就是框架及其模型庫中的安全漏洞。根據開源軟件社區(qū)GitHub公布的數據，TensorFlow自2020年以來被曝出的安全漏洞已經有百余個；國內的360團隊曾對市場上的主流AI框架進行安全性評測，發(fā)現了150多個漏洞；騰訊安全團隊公開了TensorFlow組件中存在的重大漏洞，如果開發(fā)者編寫機器人程序時使用了該組件，黑客可通過漏洞控制機器人……

另一種是難以洞察的“暗礁”，譬如普遍存在的算法黑箱、數據泄露等問題。由于算法模型和復雜性和不確定性，人們無法直觀解釋結果背后的原因，一旦訓練數據中存在偏見，可能會直接影響訓練結果。甚至有一些開發(fā)者利用算法模型的復雜性，人為植入了一些隱蔽的“后門”，可以在近乎無感的情況下進行攻擊，或是竊取開發(fā)者上傳的敏感數據，或是利用對抗樣本等方式干擾模型的判斷結果。

當人工智能的應用進入到深水區(qū)，落地場景逐漸呈現出指數級增長的態(tài)勢，對應的安全風險也將被指數級放大。特別是AI框架已經被越來越多企業(yè)和開發(fā)者依賴，倘若不能扎緊安全口袋，代價可能是雪崩級的災難。

傳統(tǒng)的安全保障像是塔防游戲，黑客尋找攻擊的缺口，開發(fā)者則努力堵住每一個漏洞，但在人工智能的語境里，假如黑客選擇AI框架或者算法模型為攻擊點，相當于在城內“空投”了一個個木馬，直接破防層層安全機制，以一種悄無聲息的方式進行系統(tǒng)級攻擊，產生無法估量的損失。

這大抵就是昇思MindSpore深耕安全的原因，人工智能產業(yè)想要行穩(wěn)致遠，勢必要在源頭上消除任何可能的安全風險。

02 昇思MindSpore的解法

某種程度上說，人工智能的安全焦慮并不是什么新話題。早在2017年就出現了可信人工智能的概念，2020年相關論文的研究數量已經有上千篇，一些科技大廠也推出了驗證算法模型安全性的工具包。

可大多數討論僅僅局限在“討論”的范疇，缺少系統(tǒng)性的方法指引，也未能形成約束性的落地機制。個別公司或開發(fā)者開源的工具包，多半是“打補丁式”的解決思路，所能解決的問題比較單一，缺少體系化的方法論和行之有效的策略。

深諳其中癥結的昇思MindSpore團隊，儼然意識到了AI框架的特殊性，進而圍繞AI生命周期構建了一系列的技術能力：

針對算法模型的潛在風險，昇思MindSpore引入了魯棒性評測、對抗測評、對抗訓練、模型加密等技術，幫助客戶提升模型的安全性。

比如一些自研或者開源的第三方模型缺少魯棒性評測，昇思MindSpore給出了基于黑白盒對抗樣本、自然擾動等技術的評測方案，幫助客戶識別模型的脆弱點，并通過對抗樣本檢測、數據增強訓練等提升魯棒性；再比如為了防止模型在部署時被竊取，昇思MindSpore提供了模型混淆和元數據加密的輕量級方案，保障模型安全的同時在效率上比全量加密有著10+倍的提升。

針對數據泄露的行業(yè)頑疾，昇思MindSpore構建了隱私評估、差分隱私訓練、聯邦學習在內的數據隱私保障機制。

以爭議性最大的個人隱私保護為例，區(qū)別于上云集中式訓練的做法，昇思MindSpore基于安全多方計算、差分隱私等技術，解決了聯邦學習中的隱私泄露問題。同時考慮到一些圖像數據中存在涉及用戶隱私的敏感數據，昇思MindSpore集成了隱私內容檢測、隱私知識構建、隱私消除等一整套能力，可以自動對敏感信息進行消除、填充、替換等處理，確保用戶隱私不被泄露。

針對AI可解釋性的質疑，昇思MindSpore的答案是通過原創(chuàng)語義級可解釋技術、可解釋方法工具集等對癥下藥。

這也是人工智能頻頻被挑戰(zhàn)的誘因所在，畢竟現階段模型訓練的過程往往不可見、模型推理的結果難以解釋，再加上數據分布不均勻、多樣性不足等問題，導致模型的決策結果可能出現偏差或傾向性。昇思MindSpore正在通過數據清洗、模型容錯性評估、提供模型決策的解釋等提升數據的公平性、模型的可解釋性，繼而讓用戶更理解、信任并有效地使用模型。

也就是說，相較于從倫理層面呼吁人工智能的道德準則，昇思MindSpore已經在框架層面打造了覆蓋模型訓練、評估、部署的全流程安全可信，為企業(yè)和行業(yè)提供了源頭可信的系統(tǒng)性方案。

03 推開可信AI的大門

有理由相信，SGS Brightsight實驗室對昇思MindSpore進行安全評估時，除了框架本身的安全性，昇思MindSpore在模型安全、隱私保護、可解釋性方面的工作，同樣在評估標準中占了相當大的比重。

站在行業(yè)的立場上，全球首份人工智能框架的CC EAL2+證書，所承載的價值不單單是填補了市場空白，還為人工智能框架的安全可信提供了重要參照與標準，有望為整個人工智能產業(yè)的可信化進程按下加速鍵。

即使從2015年AlphaGo和李世石的圍棋大戰(zhàn)算起，人工智能的產業(yè)化也不過才七個年頭，可一場信任危機卻在蔓延中。

無論是特斯拉等多次上演的自動駕駛事故、部分電商平臺的大數據殺熟現象、資訊平臺算法推薦的內容同質化風波，還是“外賣小哥困在系統(tǒng)里”的現象級報道、圍繞個性化推薦權利的社會性討論，都預示著公眾對于人工智能的態(tài)度正在從樂觀好奇趨于謹慎質疑，不無制約人工智能產業(yè)化滲透的可能。

就昇思MindSpore在安全方面的努力來看，人工智能的信任危機并非無可挽回。直接的例子就是算法推薦，在外界對算法偏見問題群情激奮時，某銀行在昇思MindSpore上巧妙規(guī)避了潛在風險，通過基于LIME的推薦解釋解決了有無解釋的問題，利用基于KG的原創(chuàng)可解釋推薦網絡TB-Net獲得了語義級解釋能力，既解決了理財推薦結果難解釋的困局，又提升了推薦效率和轉化成功率。

值得一提的是，不只是SGS Brightsight實驗室的CC認證，昇思MindSpore還通過了云計算開源產業(yè)聯盟的評估，融合國內首批《可信開源社區(qū)評估體系》認證，并且支撐華為云的OCR服務通過了獨立機構BSI的AI C4審計認證……可信人工智能正在逐步成為整個行業(yè)的理性共識。

再來思考昇思MindSpore獲得全球首個CC EAL2+證書的時代意義，正在從根源上制約人工智能應用的弊端，為企業(yè)打通了強化隱私保護、穩(wěn)定性、可解釋性、公平性的路徑，有力地推開了可信AI的大門。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！