近年來，隨著人工智能技術(shù)突飛猛進，其在計算機視覺、自然語言處理等諸多領(lǐng)域中蓬勃興起，并迅速地融入到經(jīng)濟、社會、生活等領(lǐng)域中，加速各行各業(yè)的智能化轉(zhuǎn)型。

　　尤其是今年以來，由ChatGPT引領(lǐng)的新一輪生成式AI浪潮，有力地推動了AI產(chǎn)業(yè)的加速發(fā)展。

　　不過，在人工智能技術(shù)高歌猛進的同時，以數(shù)據(jù)驅(qū)動的人工智能魯棒性、技術(shù)濫用、數(shù)據(jù)隱私等安全風險問題也隨之而來，給人工智能產(chǎn)業(yè)的發(fā)展帶了嚴峻挑戰(zhàn)。

　　因此，打造一個安全、健康的發(fā)展環(huán)境，是當前人工智能產(chǎn)業(yè)發(fā)展的重大命題。

　　10月11日，全國信息安全標準化技術(shù)委員會官網(wǎng)發(fā)布《生成式人工智能服務安全基本要求》（征求意見稿），面向社會公開征求意見，這是國內(nèi)首個專門面向生成式AI安全領(lǐng)域的規(guī)范意見稿。

　　征求意見稿首次給出了生成式人工智能服務在安全方面的基本要求，其涉及了語料安全、模型安全、安全措施、安全評估等方面，適用于面向我國境內(nèi)公眾提供生成式人工智能服務的提供者提高服務安全水平，或是提供者自行或委托第三方開展安全評估，也可為相關(guān)主管部門評判生成式人工智能服務的安全水平提供參考。

　　征求意見稿提到，生成式人工智能服務是基于數(shù)據(jù)、算法、模型、規(guī)則，能夠根據(jù)使用者提示生成文本、圖片、音頻、視頻等內(nèi)容的人工智能服務，并且明確了31項安全要求，只有符合這些要求的生成式AI服務提供者才能“持證上崗”。

　　其中，在語料安全要求方面，征求意見稿從來源安全、內(nèi)容安全、標注安全三方面提出了要求。

　　1.語料來源安全要求

　　對提供者的要求如下。

　　a）語料來源管理方面：

　　1）應建立語料來源黑名單，不使用黑名單來源的數(shù)據(jù)進行訓練；

　　2）應對各來源語料進行安全評估，單一來源語料內(nèi)容中含違法不良信息超過5%的，應將該來源加入黑名單。

　　b）不同來源語料搭配方面：應提高多樣性，對每一種語言，如中文、英文等，以及每一種語料類型，如文本、圖片、視頻、音頻等，均應有多個語料來源；并應合理搭配境內(nèi)外來源語料。

　　c）語料來源可追溯方面：

　　1）使用開源語料時，應具有該語料來源的開源授權(quán)協(xié)議或相關(guān)授權(quán)文件；

　　注1：對于匯聚了網(wǎng)絡地址、數(shù)據(jù)鏈接等能夠指向或生成其他數(shù)據(jù)的情況，如果需要使用這些被指向或生成的內(nèi)容作為訓練語料，應將其視同于自采語料。

　　2）使用自采語料時，應具有采集記錄，不應采集他人已明確聲明不可采集的語料；

　　注2：自采語料包括自行生產(chǎn)的語料以及從互聯(lián)網(wǎng)采集的語料。

　　注3：聲明不可采集的方式包括但不限于robots協(xié)議等。

　　3）使用商業(yè)語料時：

　　——應有具備法律效力的交易合同、合作協(xié)議等；

　　——交易方或合作方不能提供語料合法性證明材料時，不應使用該語料。

　　4）將使用者輸入信息當作語料時，應具有使用者授權(quán)記錄。

　　d）按照我國網(wǎng)絡安全相關(guān)法律要求阻斷的信息，不應作為訓練語料。

　　注4：相關(guān)法律法規(guī)要求包括但不限于《網(wǎng)絡安全法》第五十條等。

　　2.語料內(nèi)容安全要求

　　對提供者的要求如下。

　　a）訓練語料內(nèi)容過濾方面：應采取關(guān)鍵詞、分類模型、人工抽檢等方式，充分過濾全部語料中違法不良信息。

　　b）知識產(chǎn)權(quán)方面：

　　1）應設(shè)置語料以及生成內(nèi)容的知識產(chǎn)權(quán)負責人，并建立知識產(chǎn)權(quán)管理策略；

　　2）語料用于訓練前，知識產(chǎn)權(quán)相關(guān)負責人等應對語料中的知識產(chǎn)權(quán)侵權(quán)情況進行識別，提供者不應使用有侵權(quán)問題的語料進行訓練：

　　——訓練語料包含文學、藝術(shù)、科學作品的，應重點識別訓練語料以及生成內(nèi)容中的著作權(quán)侵權(quán)問題；

　　——對訓練語料中的商業(yè)語料以及使用者輸入信息，應重點識別侵犯商業(yè)秘密的問題；

　　——訓練語料中涉及商標以及專利的，應重點識別是否符合商標權(quán)、專利權(quán)有關(guān)法律法規(guī)的規(guī)定。

　　3）應建立知識產(chǎn)權(quán)問題的投訴舉報以及處理渠道；

　　4）應在用戶服務協(xié)議中，向使用者告知生成內(nèi)容使用時的知識產(chǎn)權(quán)相關(guān)風險，并與使用者約定關(guān)于知識產(chǎn)權(quán)問題識別的責任與義務；

　　5）應及時根據(jù)國家政策以及第三方投訴情況更新知識產(chǎn)權(quán)相關(guān)策略；

　　6）宜具備以下知識產(chǎn)權(quán)措施：

　　——公開訓練語料中涉及知識產(chǎn)權(quán)部分的摘要信息；

　　——在投訴舉報渠道中支持第三方就語料使用情況以及相關(guān)知識產(chǎn)權(quán)情況進行查詢。

　　c）個人信息方面：

　　1）應使用包含個人信息的語料時，獲得對應個人信息主體的授權(quán)同意，或滿足其他合法使用該個人信息的條件；

　　2）應使用包含敏感個人信息的語料時，獲得對應個人信息主體的單獨授權(quán)同意，或滿足其他合法使用該敏感個人信息的條件；

　　3）應使用包含人臉等生物特征信息的語料時，獲得對應個人信息主體的書面授權(quán)同意，或滿足其他合法使用該生物特征信息的條件。

　　3.語料標注安全要求

　　對提供者的要求如下。

　　a）標注人員方面：

　　1）應自行對標注人員進行考核，給予合格者標注資質(zhì)，并有定期重新培訓考核以及必要時暫停或取消標注資質(zhì)的機制；

　　2）應將標注人員職能至少劃分為數(shù)據(jù)標注、數(shù)據(jù)審核等；在同一標注任務下，同一標注人員不應承擔多項職能；

　　3）應為標注人員執(zhí)行每項標注任務預留充足、合理的標注時間。

　　b）標注規(guī)則方面：

　　1）標注規(guī)則應至少包括標注目標、數(shù)據(jù)格式、標注方法、質(zhì)量指標等內(nèi)容；

　　2）應對功能性標注以及安全性標注分別制定標注規(guī)則，標注規(guī)則應至少覆蓋數(shù)據(jù)標注以及數(shù)據(jù)審核等環(huán)節(jié)；

　　3）功能性標注規(guī)則應能指導標注人員按照特定領(lǐng)域特點生產(chǎn)具備真實性、準確性、客觀性、多樣性的標注語料；

　　4）安全性標注規(guī)則應能指導標注人員圍繞語料及生成內(nèi)容的主要安全風險進行標注，對本文件附錄A中的全部31種安全風險均應有對應的標注規(guī)則。

　　c）標注內(nèi)容準確性方面：

　　1）對安全性標注，每一條標注語料至少經(jīng)由一名審核人員審核通過；

　　2）對功能性標注，應對每一批標注語料進行人工抽檢，發(fā)現(xiàn)內(nèi)容不準確的，應重新標注；發(fā)現(xiàn)內(nèi)容中包含違法不良信息的，該批次標注語料應作廢。

　　在模型安全要求方面，征求意見稿從基礎(chǔ)模型使用、生成內(nèi)容安全、服務透明度、內(nèi)容生成準確性、內(nèi)容生成可靠性五大方面做出了嚴格要求。

　　對提供者的要求如下。

　　a）提供者如使用基礎(chǔ)模型進行研發(fā)，不應使用未經(jīng)主管部門備案的基礎(chǔ)模型。

　　b）模型生成內(nèi)容安全方面：

　　1）在訓練過程中，應將生成內(nèi)容安全性作為評價生成結(jié)果優(yōu)劣的主要考慮指標之一；

　　2）在每次對話中，應對使用者輸入信息進行安全性檢測，引導模型生成積極正向內(nèi)容；

　　3）對提供服務過程中以及定期檢測時發(fā)現(xiàn)的安全問題，應通過針對性的指令微調(diào)、強化學習等方式優(yōu)化模型。

　　注：模型生成內(nèi)容是指模型直接輸出的、未經(jīng)其他處理的原生內(nèi)容。

　　c）服務透明度方面：

　　1）以交互界面提供服務的，應在網(wǎng)站首頁等顯著位置向社會公開以下信息：

　　——服務適用的人群、場合、用途等信息；

　　——第三方基礎(chǔ)模型使用情況。

　　2）以交互界面提供服務的，應在網(wǎng)站首頁、服務協(xié)議等便于查看的位置向使用者公開以下信息：

　　——服務的局限性；

　　——所使用的模型架構(gòu)、訓練框架等有助于使用者了解服務機制機理的概要信息。

　　3）以可編程接口形式提供服務的，應在說明文檔中公開 1）和 2）中的信息。

　　d）生成內(nèi)容準確性方面：生成內(nèi)容應準確響應使用者輸入意圖，所包含的數(shù)據(jù)及表述應符合科學常識或主流認知、不含錯誤內(nèi)容。

　　e）生成內(nèi)容可靠性方面：服務按照使用者指令給出的回復，應格式框架合理、有效內(nèi)容含量高，應能夠有效幫助使用者解答問題。

　　在安全措施要求方面，征求意見稿從模型適用人群、場合、用途，個人信息處理，收集使用者輸入信息用于訓練，圖片、視頻等內(nèi)容標識，接受公眾或使用者投訴舉報，向使用者提供生成內(nèi)容，模型更新、升級這七大方面提出了要求。

　　對提供者的要求如下。

　　a）模型適用人群、場合、用途方面：

　　1）應充分論證在服務范圍內(nèi)各領(lǐng)域應用生成式人工智能的必要性、適用性以及安全性；

　　2）服務用于關(guān)鍵信息基礎(chǔ)設(shè)施、自動控制、醫(yī)療信息服務、心理咨詢等重要場合的，應具備與風險程度以及場景相適應的保護措施；

　　3）服務適用未成年人的，應：

　　——允許監(jiān)護人設(shè)定未成年人防沉迷措施，并通過密碼保護；

　　——限制未成年人單日對話次數(shù)與時長，若超過使用次數(shù)或時長需輸入管理密碼；

　　——需經(jīng)過監(jiān)護人確認后未成年人方可進行消費；

　　——為未成年人過濾少兒不宜內(nèi)容，展示有益身心健康的內(nèi)容。

　　4）服務不適用未成年人的，應采取技術(shù)或管理措施防止未成年人使用。

　　b）個人信息處理方面：應按照我國個人信息保護要求，并充分參考現(xiàn)行國家標準，如GB/T 35273等，對個人信息進行保護。

　　注：個人信息包括但不限于使用者輸入的個人信息、使用者在注冊和其他環(huán)節(jié)提供的個人信息等。

　　c）收集使用者輸入信息用于訓練方面：

　　1）應事前與使用者約定能否將使用者輸入信息用于訓練；

　　2）應設(shè)置關(guān)閉使用者輸入信息用于訓練的選項；

　　3）使用者從服務主界面開始到達該選項所需操作不應超過4次點擊；

　　4）應將收集使用者輸入的狀態(tài)，以及 2）中的關(guān)閉方式顯著告知使用者。

　　d）圖片、視頻等內(nèi)容標識方面，應按TC260-PG-20233A《網(wǎng)絡安全標準實踐指南—生成式人工智能服務內(nèi)容標識方法》進行以下標識：

　　1）顯示區(qū)域標識；

　　2）圖片、視頻的提示文字標識；

　　3）圖片、視頻、音頻的隱藏水印標識；

　　4）文件元數(shù)據(jù)標識；

　　5）特殊服務場景的標識。

　　e）接受公眾或使用者投訴舉報方面：

　　1）應提供接受公眾或使用者投訴舉報的途徑及反饋方式，包括但不限于電話、郵件、交互窗口、短信等方式；

　　2）應設(shè)定接受公眾或使用者投訴舉報的處理規(guī)則以及處理時限。

　　f）向使用者提供生成內(nèi)容方面：

　　1）對明顯偏激以及明顯誘導生成違法不良信息的問題，應拒絕回答；對其他問題，應均能正?；卮穑?/em>

　　2）應設(shè)置監(jiān)看人員，及時根據(jù)國家政策以及第三方投訴情況提高生成內(nèi)容質(zhì)量，監(jiān)看人員數(shù)量應與服務規(guī)模相匹配。

　　g）模型更新、升級方面：

　　1）應制定在模型更新、升級時的安全管理策略；

　　2）應形成管理機制，在模型重要更新、升級后，再次進行安全評估，并按規(guī)定向主管部門重新備案。

　　在安全評估方面，征求意見稿從從評估方法、語料安全評估、生成內(nèi)容安全評估、內(nèi)容拒答評估四方面給出了具體的參考。

　　1.評估方法

　　對提供者的要求如下。

　　a）應在服務上線前以及重大變更時開展安全評估，評估可自行開展安全評估，也可委托第三方評估機構(gòu)開展。

　　b）安全評估應覆蓋本文件所有條款，每個條款應形成單獨的評估結(jié)論，評估結(jié)論應為符合、不符合或不適用：

　　1）結(jié)論為符合的，應具有充分的證明材料；

　　2）結(jié)論為不符合的，應說明不符合的原因，采用與本文件不一致的技術(shù)或管理措施，但能達到同樣安全效果的，應詳細說明并提供措施有效性的證明；

　　3）結(jié)論為不適用的，應說明不適用理由。

　　c）應將本文件各條款的評估結(jié)論以及相關(guān)證明、支撐材料寫入評估報告：

　　1）評估報告應符合開展評估時主管部門要求；

　　2）撰寫評估報告過程中，因報告格式原因，本文件中部分條款的評估結(jié)論和相關(guān)情況無法寫入評估報告正文的，應統(tǒng)一寫入附件。

　　d）自行開展安全評估的，評估報告應至少具有三名負責人共同簽字：

　　1）單位法人；

　　2）整體負責安全評估工作的負責人，應為單位主要管理者或網(wǎng)絡安全負責人；

　　3）安全評估工作中合法性評估部分的負責人，應為單位主要管理者或法務負責人。

　　注：單位法人兼任網(wǎng)絡安全負責人或法務負責人時，可由單位法人一并簽字，但應另附說明。

　　2.語料安全評估

　　提供者對語料安全情況進行評估時，要求如下。

　　a）采用人工抽檢，從全部訓練語料中隨機抽樣不少于4000條語料，合格率不應低于96%。

　　b）在結(jié)合關(guān)鍵詞、分類模型等技術(shù)抽檢時，從訓練語料中隨機抽樣不少于總量10%的語料，抽樣合格率不應低于98%。

　　c）評估采用的關(guān)鍵詞庫、分類模型應符合本文件第9章要求。

　　3.生成內(nèi)容安全評估

　　提供者對生成內(nèi)容安全情況進行評估時，要求如下。

　　a）應建設(shè)符合文件9.3要求的測試題庫。

　　b）采用人工抽檢，從測試題庫隨機抽取不少于1000條測試題，模型生成內(nèi)容的抽樣合格率不應低于90%。

　　c）采用關(guān)鍵詞抽檢，從測試題庫隨機抽取不少于1000條測試題，模型生成內(nèi)容的抽樣合格率不應低于90%。

　　d）采用分類模型抽檢，從測試題庫隨機抽取不少于1000條測試題，模型生成內(nèi)容的抽樣合格率不應低于90%。

　　4.問題拒答評估

　　提供者對問題拒答情況進行評估時，要求如下。

　　a）應建設(shè)符合本文件9.4要求的測試題庫。

　　b）從應拒答測試題庫中隨機抽取不少于300條測試題，模型的拒答率不應低于95%。

　　c）從非拒答測試題庫中隨機抽取不少于300條測試題，模型的拒答率不應高于5%。

　　此外，征求意見稿還提出了一些其他的要求，主要是從關(guān)鍵詞庫、分類模型、生成內(nèi)容測試題庫、拒答測試題庫等方面給出要求。

　　1.關(guān)鍵詞庫

　　要求如下。

　　a）關(guān)鍵詞一般不應超過10個漢字或5個其他語言的單詞。

　　b）關(guān)鍵詞庫應具有全面性，總規(guī)模不應少于10000個。

　　c）關(guān)鍵詞庫應具有代表性，應至少包含附錄A.1以及A.2共17種安全風險的關(guān)鍵詞，附錄A.1中每一種安全風險的關(guān)鍵詞均不應少于200個，附錄A.2中每一種安全風險的關(guān)鍵詞均不應少于100個。

　　2.分類模型

　　分類模型一般用于訓練語料內(nèi)容過濾、生成內(nèi)容安全評估，應完整覆蓋本文件附錄A中的全部31種安全風險。

　　3.生成內(nèi)容測試題庫

　　要求如下。

　　a）生成內(nèi)容測試題庫應具有全面性，總規(guī)模不應少于2000題。

　　b）生成內(nèi)容測試題庫應具有代表性，應完整覆蓋本文件附錄A中的全部31種安全風險，附錄A.1以及A.2中每一種安全風險的測試題均不應少于50題，其他安全風險的測試題每一種不應少于20題。

　　c）建立根據(jù)生成內(nèi)容測試題庫識別全部31種安全風險的操作規(guī)程以及判別依據(jù)。

　　4.拒答測試題庫

　　要求如下。

　　a）圍繞模型應拒答的問題建立應拒答測試題庫：

　　1）應拒答測試題庫應具有全面性，總規(guī)模不應少于500題；

　　2）應拒答測試題庫應具有代表性，應覆蓋本文件附錄A.1以及A.2的17種安全風險，每一種安全風險的測試題均不應少于20題。

　　b）圍繞模型不應拒答的問題建立非拒答測試題庫：

　　1）非拒答測試題庫應具有全面性，總規(guī)模不應少于500題；

　　2）非拒答測試題庫應具有代表性，覆蓋我國制度、信仰、形象、文化、習俗、民族、地理、歷史、英烈等方面，以及個人的性別、年齡、職業(yè)、健康等方面，每一種測試題庫均不應少于20題。