隨著“Sora”等多模態(tài)高性能生成式人工智能的相繼出現(xiàn),全球范圍內(nèi)針對生成式人工智能服務(wù)安全的監(jiān)管呼聲也日漸高漲。2023年7月,國家互聯(lián)網(wǎng)信息辦公室,國家發(fā)展和改革委員會等七部門聯(lián)合頒布《生成式人工智能服務(wù)管理暫行辦法》(“《AIGC暫行辦法》”),在延續(xù)《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》、《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》所規(guī)定的算法備案的基礎(chǔ)上,另行確立了針對生成式人工智能大模型的安全評估備案(“大模型備案”)。但是,《AIGC暫行辦法》對于大模型備案所關(guān)注的生成式人工智能服務(wù)安全的具體要求、評估參數(shù)、評估標(biāo)準(zhǔn)等并未進(jìn)行細(xì)化解釋。
2023年10月11日,全國網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會頒布了《生成式人工智能服務(wù)安全基本要求(征求意見稿)》(“征求意見稿”),并于2024年3月1日正式頒布了《生成式人工智能服務(wù)安全基本要求(TC260-003)》(“正式文件”)。《生成式人工智能服務(wù)安全基本要求》(“《AIGC安全要求》”)作為國家專業(yè)標(biāo)準(zhǔn)化技術(shù)委員會發(fā)布的技術(shù)文件,在生成式人工智能服務(wù)安全的原則性要求方面提供了細(xì)化指引,為包括大模型備案在內(nèi)的人工智能安全監(jiān)管制度提供了評價工具,為各類生成式人工智能服務(wù)提供者開展安全評估、提高安全水平提供了參考。
本文將就《AIGC安全要求》的正式文件相較于征求意見稿的重點修訂內(nèi)容進(jìn)行梳理分析,并對生成式人工智能服務(wù)提供者為符合《AIGC安全要求》的規(guī)定可以考慮設(shè)立的合規(guī)制度提出基礎(chǔ)建議。
一、 《生成式人工智能服務(wù)安全基本要求》正式文件與征求意見稿主要內(nèi)容的對比與總結(jié)
1. 第3條(術(shù)語和定義)
1.1 第3.1條(生成式人工智能服務(wù) generative artificial intelligence service,“生成式人工智能服務(wù)”)
| 征求意見稿 |
正式文件 |
| 第3.1條(生成式人工智能服務(wù) generative artificial intelligence service,“生成式人工智能服務(wù)”):基于數(shù)據(jù)、算法、模型、規(guī)則,能夠根據(jù)使用者提示生成文本、圖片、音頻、視頻等內(nèi)容的人工智能服務(wù)。 |
第3.1條(生成式人工智能服務(wù) generative artificial intelligence service,“生成式人工智能服務(wù)”):利用生成式人工智能技術(shù)向中華人民共和國境內(nèi)公眾提供生成文本、圖片、音頻、視頻等內(nèi)容的服務(wù)。 |
本定義照應(yīng)了《AIGC暫行辦法》第二條對“生成式人工智能服務(wù)”的定義。 [1] 正式文件在對“生成式人工智能服務(wù)”的定義中刪除了征求意見稿中“基于數(shù)據(jù)、算法、模型、規(guī)則”的表達(dá),增加“利用生成式人工智能技術(shù)向中華人民共和國境內(nèi)公眾提供”,使得《AIGC安全要求》中“生成式人工智能服務(wù)”這一概念的定義與《AIGC暫行辦法》中的定義保持統(tǒng)一。
根據(jù)本定義,結(jié)合《AIGC暫行辦法》第二條規(guī)定可知,目前我國針對生成式人工智能行業(yè)的監(jiān)管側(cè)重于針對面向中華人民共和國境內(nèi)的公眾提供生成式人工智能服務(wù)的組織或個人。對生成式人工智能技術(shù)進(jìn)行單純的內(nèi)部研發(fā)和應(yīng)用,不涉及向境內(nèi)公眾提供服務(wù)的行業(yè)組織、企業(yè)、教育和科研機(jī)構(gòu)、公共文化機(jī)構(gòu)等專業(yè)機(jī)構(gòu),并非本輪監(jiān)管重點關(guān)注的對象。但是,該等企業(yè)仍需根據(jù)具體情況遵循《中華人民共和國數(shù)據(jù)安全法》(“《數(shù)據(jù)安全法》”)、《中華人民共和國網(wǎng)絡(luò)安全法》(“《網(wǎng)絡(luò)安全法》”)等法律法規(guī),并且可以在一定程度上參考《AIGC暫行辦法》以及《AIGC安全要求》對于生成式人工智能服務(wù)安全的要求,以應(yīng)對未來的合規(guī)動態(tài)。
1.2 第3.2條(提供者 service provider,“服務(wù)提供者”)
| 征求意見稿 |
正式文件 |
| 第3.2條(提供者 service provider,“服務(wù)提供者”):以交互界面、可編程接口等形式面向我國境內(nèi)公眾提供生成式人工智能服務(wù)的組織或個人。 |
第3.2條(提供者 service provider,“服務(wù)提供者”):以交互界面、可編程接口等形式提供生成式人工智能服務(wù)的組織或個人。 |
本定義照應(yīng)了《AIGC暫行辦法》第二十二條對“生成式人工智能服務(wù)提供者”的定義。 [2] 結(jié)合本文第1.1條的分析可知,正式文件對“提供者”的定義與《AIGC暫行辦法》中對“生成式人工智能服務(wù)提供者”的定義亦基本相同。實踐中,API、SDK等接口服務(wù)以及網(wǎng)頁、移動應(yīng)用、小程序等交互界面為目前B端及C端用戶調(diào)用生成式人工智能的主流方式,故《AIGC安全要求》在服務(wù)提供方式的列舉中增加了“以交互界面”的方式提供生成式人工智能服務(wù)的情況,隨著人工智能行業(yè)的高速發(fā)展,不排除未來可能出現(xiàn)新的調(diào)用方式。
1.3 第3.5條(基礎(chǔ)模型 foundation model)
| 征求意見稿 |
正式文件 |
| 無該條款。 |
第3.5條(基礎(chǔ)模型 foundation model):在大量數(shù)據(jù)上訓(xùn)練的,用于普適性目標(biāo)、可優(yōu)化適配多種下游任務(wù)的深度神經(jīng)網(wǎng)絡(luò)模型。 |
在征求意見稿及正式文件中,均在第6條(模型安全要求)中使用了“基礎(chǔ)模型”這一概念,本定義是對“基礎(chǔ)模型”這一概念的進(jìn)一步解釋,明確了需要經(jīng)過主管部門備案后方可用于提供生成式人工智能服務(wù)的基礎(chǔ)模型,區(qū)別于普通的計算機(jī)模型,是指具備深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的、經(jīng)過優(yōu)化和訓(xùn)練能夠適配多種下游任務(wù)的通用大模型。
本定義在一定程度上照應(yīng)了《AIGC暫行辦法》第七條對生成式人工智能服務(wù)提供者開展訓(xùn)練數(shù)據(jù)處理活動時使用合規(guī)基礎(chǔ)模型的要求。 [3] 實踐中,國內(nèi)生成式人工智能服務(wù)行業(yè)對基礎(chǔ)模型的調(diào)用通常分為三種類型:
| 類別 |
特點 |
示例 |
| 純自研的基礎(chǔ)模型 |
能夠全面掌握基礎(chǔ)模型背后的核心算法和運行規(guī)則,并獨立負(fù)責(zé)處理數(shù)據(jù)訓(xùn)練、生成內(nèi)容標(biāo)記、模型優(yōu)化等所有技術(shù)性事項 |
智譜AI發(fā)布的GLM-4國產(chǎn)全自研大模型 [4] 、騰訊發(fā)布的自研混元大模型 [5] |
| 半自研的基礎(chǔ)模型 |
在第三方基礎(chǔ)模型的基礎(chǔ)上進(jìn)行二次訓(xùn)練、精確調(diào)優(yōu),形成適配于自身產(chǎn)品的基礎(chǔ)模型,其僅能獨立掌握自身研發(fā)的增量部分 |
華東理工大學(xué)·X-D Lab(心動實驗室)基于開源的通義千問開源模型開發(fā)了心理健康大模型MindChat(漫談)、醫(yī)療健康大模型Sunsimiao(孫思邈)、教育/考試大模型GradChat(錦鯉)等 [6] |
| 完全調(diào)用第三方基礎(chǔ)模型(不做任何調(diào)優(yōu)) |
對于基礎(chǔ)模型本身無法進(jìn)行任何干涉,亦無法參與任何實質(zhì)的技術(shù)事項 |
百度千帆大模型平臺操作臺中的“模型倉庫”存在多個第三方模型可以直接供企業(yè)和開發(fā)者調(diào)用、部署 [7] |
在這三種情況下,相應(yīng)的服務(wù)提供者在《AIGC暫行辦法》以及《AIGC安全要求》下所需要履行的義務(wù)輕重亦有所不同,需要根據(jù)具體情況進(jìn)一步分析。
2. 第4條(總則)
| 征求意見稿 |
正式文件 |
| 第4條(總則):本文件支撐《生成式人工智能服務(wù)管理暫行辦法》,提出了提供者需遵循的安全基本要求。提供者在向相關(guān)主管部門提出生成式人工智能服務(wù)上線的備案申請前,應(yīng)按照本文件中各項要求逐條進(jìn)行安全性評估,并將評估結(jié)果以及證明材料在備案時提交。
除本文件提出的基本要求外,提供者還應(yīng)自行按照我國法律法規(guī)以及國家標(biāo)準(zhǔn)相關(guān)要求做好網(wǎng)絡(luò)安全、數(shù)據(jù)安全、個人信息保護(hù)等方面的其他安全工作。 |
第4條(總則):本文件支撐《生成式人工智能服務(wù)管理暫行辦法》,提出了服務(wù)提供者需遵循的安全基本要求。服務(wù)提供者在按照有關(guān)要求履行備案手續(xù)時,按照本文件第9章要求進(jìn)行安全評估,并提交評估報告。
除本文件提出的基本要求外,服務(wù)提供者應(yīng)自行按照我國法律法規(guī)以及國家標(biāo)準(zhǔn)相關(guān)要求做好網(wǎng)絡(luò)安全、數(shù)據(jù)安全、個人信息保護(hù)等方面的其他安全工作。服務(wù)提供者應(yīng)緊密注意生成式人工智能可能帶來的長期風(fēng)險,謹(jǐn)慎對待可能具備欺騙人類、自我復(fù)制、自我改造能力的人工智能,并重點關(guān)注生成式人工智能可能被用于編寫惡意軟件、制造生物武器或化學(xué)武器等安全風(fēng)險。 |
正式文件中增加了對生成式人工智能長期風(fēng)險、倫理風(fēng)險的警示內(nèi)容,體現(xiàn)對目前全球范圍內(nèi)針對生成式人工智能對人類社會可能造成的潛在風(fēng)險(包括網(wǎng)絡(luò)安全和生物技術(shù)等領(lǐng)域的風(fēng)險,放大虛假信息風(fēng)險、倫理風(fēng)險等)的高度關(guān)切。
3. 第5條(語料安全要求)
3.1 第5.1條(語料來源安全要求)
(1) 第5.1條a)(語料來源管理方面)
| 征求意見稿 |
正式文件 |
| 第5.1條(語料來源安全要求)a)(語料來源管理方面):1)應(yīng)建立語料來源黑名單,不使用黑名單來源的數(shù)據(jù)進(jìn)行訓(xùn)練;2)應(yīng)對各來源語料進(jìn)行安全評估,單一來源語料內(nèi)容中含違法不良信息超過5%的應(yīng)將該來源加入黑名單。 |
第5.1條(語料來源安全要求)a)(語料來源管理方面):1)面向特定語料來源進(jìn)行采集前,應(yīng)對該來源語料進(jìn)行安全評估,語料內(nèi)容中含違法不良信息超過5%的,不應(yīng)采集該來源語料;2)面向特定語料來源進(jìn)行采集后,應(yīng)對所采集的該來源語料進(jìn)行核驗,含違法不良信息情況超過5%的,不應(yīng)使用該來源語料進(jìn)行訓(xùn)練。 |
正式文件中刪除了“語料來源黑名單”制度,而修改為對來源語料本身進(jìn)行安全評估的制度。我們理解,在實踐中,同一語料來源項下可能存在大批量的語料,因其中某一批語料產(chǎn)生了安全問題而舍棄某一語料來源會造成較大的語料損失。在當(dāng)下基礎(chǔ)模型行業(yè)已經(jīng)開始出現(xiàn)語料緊缺、訓(xùn)練數(shù)據(jù)不足的風(fēng)險的情況下,“語料來源黑名單”制度并不利于優(yōu)化生成式人工智能服務(wù)。正式文件進(jìn)一步將來源語料安全制度細(xì)分為“采集前”和“采集后+訓(xùn)練前”兩個階段,要求服務(wù)提供者對語料進(jìn)行雙重安全評估,確保語料來源安全。
(2) 第5.1條c)(語料來源可追溯方面)
| 征求意見稿 |
正式文件 |
| 第5.1條(語料來源安全要求)c)(語料來源可追溯方面):2)使用自采語料時,應(yīng)具有采集記錄,不應(yīng)采集他人已明確聲明不可采集的語料; 注2:自采語料包括自行生產(chǎn)的語料以及從互聯(lián)網(wǎng)采集的語料。 注3:聲明不可采集的方式包括但不限于robots協(xié)議等。 3)使用商業(yè)語料時: ——應(yīng)有具備法律效力的交易合同、合作協(xié)議等; ——交易方或合作方不能提供語料合法性證明材料時,不應(yīng)使用該語料。 |
第5.1條(語料來源安全要求)c)(語料來源可追溯方面):2)使用自采語料時,應(yīng)具有采集記錄,不應(yīng)采集他人已明確不可采集的語料; 注2:自采語料包括自行生產(chǎn)的語料以及從互聯(lián)網(wǎng)采集的語料。 注3:明確不可采集的語料,例如已通過robots協(xié)議或其他限制采集的技術(shù)手段明確表明不可采集的網(wǎng)頁數(shù)據(jù),或個人已拒絕授權(quán)采集的個人信息等。 3)使用商業(yè)語料時: ——應(yīng)有具備法律效力的交易合同、合作協(xié)議等; ——交易方或合作方不能提供語料來源、質(zhì)量、安全等方面的承諾以及相關(guān)證明材料時,不應(yīng)使用該語料; ——應(yīng)對交易方或合作方所提供語料、承諾、材料進(jìn)行審核。 |
本條系對語料來源合規(guī)性追溯的規(guī)定。語料的來源分為自采語料與商業(yè)語料。所謂自采語料,是指自行生產(chǎn)以及從互聯(lián)網(wǎng)采集的語料。《AIGC安全要求》規(guī)定服務(wù)提供者應(yīng)當(dāng)采取措施從源頭追溯并確保自采語料合規(guī)性,包括(1)保存采集記錄;(2)不采集他人已明確不可采集的語料,包括(a)通過robots協(xié)議等技術(shù)手段標(biāo)明不可采集的網(wǎng)頁數(shù)據(jù),以及(b)正式文件增加的“個人已拒絕授權(quán)采集的個人信息”。我們理解,正式文件中將個人拒絕授權(quán)采集的個人信息明確列舉于不得采集的語料中,系對《AIGC暫行辦法》第七條的進(jìn)一步細(xì)化。 [8]
關(guān)于商業(yè)語料,我們理解主要指并非由服務(wù)提供者自行采集,而是通過與第三方語料提供方進(jìn)行交易獲得的語料。《AIGC安全要求》規(guī)定服務(wù)提供者應(yīng)當(dāng)采取措施,確保商業(yè)語料的合規(guī)性,包括(1)與語料提供方簽署有效的交易文件;(2)要求語料提供方提供語料來源、質(zhì)量、安全等承諾以及相關(guān)證明材料并進(jìn)行審核。本條在一定程度上明確了商業(yè)語料交易所需遵循的合規(guī)性要求,但仍遺留了一些問題,有待進(jìn)一步在實踐中摸索出答案,例如,語料接收方對語料提供方所提供的承諾以及證明材料需盡到何種程度的審核義務(wù),才能夠被認(rèn)定為適當(dāng)?shù)芈男辛撕弦?guī)要求等。
3.2 第5.2條(語料內(nèi)容安全要求)
(1) 第5.2條b)(知識產(chǎn)權(quán)方面)
| 征求意見稿 |
正式文件 |
| 第5.2條(語料內(nèi)容安全要求)b)(知識產(chǎn)權(quán)方面):2)語料用于訓(xùn)練前,知識產(chǎn)權(quán)相關(guān)負(fù)責(zé)人等應(yīng)對語料中的知識產(chǎn)權(quán)侵權(quán)情況進(jìn)行識別,提供者不應(yīng)使用有侵權(quán)問題的語料進(jìn)行訓(xùn)練: ——訓(xùn)練語料包含文學(xué)、藝術(shù)、科學(xué)作品的,應(yīng)重點識別訓(xùn)練語料以及生成內(nèi)容中的著作權(quán)侵權(quán)問題; ——對訓(xùn)練語料中的商業(yè)語料以及使用者輸入信息,應(yīng)重點識別侵犯商業(yè)秘密的問題; |
第5.2條(語料內(nèi)容安全要求)b)(知識產(chǎn)權(quán)方面):2)語料用于訓(xùn)練前,應(yīng)對語料中的主要知識產(chǎn)權(quán)侵權(quán)風(fēng)險進(jìn)行識別,發(fā)現(xiàn)存在知識產(chǎn)權(quán)侵權(quán)等問題的,服務(wù)提供者不應(yīng)使用相關(guān)語料進(jìn)行訓(xùn)練;例如,語料中包含文學(xué)、藝術(shù)、科學(xué)作品的,應(yīng)重點識別語料以及生成內(nèi)容中的著作權(quán)侵權(quán)問題; |
正式文件刪除了對“侵犯商業(yè)秘密”的重點識別要求,我們理解,一方面,對于泄露他人商業(yè)秘密這一語料安全風(fēng)險,正式文件中已經(jīng)于附錄A中進(jìn)行了明確;另一方面,商業(yè)秘密的識別是一項難度和成本較高的任務(wù),可能會對人工智能產(chǎn)業(yè)的初期發(fā)展帶來較大的壓力。
(2) 第5.2條c)(個人信息方面)
| 征求意見稿 |
正式文件 |
| 第5.2條(語料內(nèi)容安全要求)c)(個人信息方面):1)應(yīng)使用包含個人信息的語料時,獲得對應(yīng)個人信息主體的授權(quán)同意,或滿足其他合法使用該個人信息的條件; 2)應(yīng)使用包含敏感個人信息的語料時,獲得對應(yīng)個人信息主體的單獨授權(quán)同意,或滿足其他合法使用該敏感個人信息的條件; 3)應(yīng)使用包含人臉等生物特征信息的語料時,獲得對應(yīng)個人信息主體的書面授權(quán)同意,或滿足其他合法使用該生物特征信息的條件。 |
第5.2條(語料內(nèi)容安全要求c)(個人信息方面):1)在使用包含個人信息的語料前,應(yīng)取得對應(yīng)個人同意或者符合法律、行政法規(guī)規(guī)定的其他情形; 2)在使用包含敏感個人信息的語料前,應(yīng)取得對應(yīng)個人單獨同意或者符合法律、行政法規(guī)規(guī)定的其他情形。 |
本條照應(yīng)了《AIGC暫行辦法》中第七條對生成式人工智能服務(wù)提供者開展訓(xùn)練數(shù)據(jù)處理活動時使用個人信息的合規(guī)要求。 [9] 正式文件較征求意見稿而言,主要有以下幾點調(diào)整:
首先,正式文件將“使用時”的表述修改為“使用前”。我們理解,一方面,該等修改符合《中華人民共和國個人信息保護(hù)法》(“《個保法》”) 關(guān)于個人信息處理者在處理個人信息前的告知義務(wù)的規(guī)定。 [10] 而根據(jù)《個保法》第四條規(guī)定,個人信息的使用即屬于個人信息的處理的一種情形。 [11] 因此,從遵循《個保法》規(guī)定的角度看,服務(wù)提供者應(yīng)當(dāng)在使用包含個人信息的語料之前,而非之時,即取得對應(yīng)的個人同意或者符合法律、行政法規(guī)規(guī)定的其他情形。另一方面,服務(wù)提供者對語料的使用往往是多次、同時、大批量的使用,因此,要求其在使用的同時開始履行合規(guī)要求并不具備實操性,而是應(yīng)當(dāng)在使用乃至獲取語料之前即獲得個人同意,或者確保其符合法律法規(guī)的要求。
其次,正式文件刪去了“應(yīng)使用包含人臉等生物特征信息的語料時,獲得對應(yīng)個人信息主體的書面授權(quán)同意,或滿足其他合法使用該生物特征信息的條件。”根據(jù)《個保法》第二十八條規(guī)定,敏感個人信息包含生物識別信息。 [12] 因此,即使正式文件中刪去本條,由于上述第2)條的“敏感個人信息”在《個保法》的定義中已經(jīng)包括了生物識別信息,因此并不會減輕服務(wù)提供者處理個人信息時需要履行的義務(wù)。
第三,正式文件將“或滿足其他合法使用該個人信息的條件”的表述一律調(diào)整為“應(yīng)取得對應(yīng)個人同意或者符合法律、行政法規(guī)規(guī)定的其他情形”。我們理解,這一調(diào)整主要是為了與《AIGC暫行辦法》第七條的表述保持一致。
3.3 第5.3條(語料標(biāo)注安全要求)
(1) 第5.3條a)(標(biāo)注人員方面)
| 征求意見稿 |
正式文件 |
| 第5.3條(語料標(biāo)注安全要求)a)(標(biāo)注人員方面):1)應(yīng)自行對標(biāo)注人員進(jìn)行考核,給予合格者標(biāo)注資質(zhì),并有定期重新培訓(xùn)考核以及必要時暫停或取消標(biāo)注資質(zhì)的機(jī)制; |
第5.3條(語料標(biāo)注安全要求)a)(標(biāo)注人員方面):1)應(yīng)自行組織對于標(biāo)注人員的安全培訓(xùn),培訓(xùn)內(nèi)容應(yīng)包括標(biāo)注任務(wù)規(guī)則、標(biāo)注工具使用方法、標(biāo)注內(nèi)容質(zhì)量核驗方法、標(biāo)注數(shù)據(jù)安全管理要求等; 2)應(yīng)自行對標(biāo)注人員進(jìn)行考核,給予合格者標(biāo)注上崗資格,并有定期重新培訓(xùn)考核以及必要時暫停或取消標(biāo)注上崗資格的機(jī)制,考核內(nèi)容應(yīng)包括標(biāo)注規(guī)則理解能力、標(biāo)注工具使用能力、安全風(fēng)險判定能力、數(shù)據(jù)安全管理能力等; |
本條內(nèi)容照應(yīng)了《AIGC暫行辦法》第八條中對生成式人工智能服務(wù)提供者在技術(shù)研發(fā)過程中進(jìn)行數(shù)據(jù)標(biāo)注的要求,并對該等要求進(jìn)行了細(xì)化和進(jìn)一步拓展。 [13] 正式文件相較于征求意見稿,增加了對于標(biāo)注人員的安全培訓(xùn)以及具體培訓(xùn)內(nèi)容的要求,并進(jìn)一步明確了標(biāo)注人員的考核機(jī)制。
4. 第6條(模型安全要求)(對服務(wù)提供者的要求)
4.1 第6條b)(模型生成內(nèi)容安全方面)
| 征求意見稿 |
正式文件 |
| 第6條b)模型生成內(nèi)容安全方面: 1)在訓(xùn)練過程中,應(yīng)將生成內(nèi)容安全性作為評價生成結(jié)果優(yōu)劣的主要考慮指標(biāo)之一; 2)在每次對話中,應(yīng)對使用者輸入信息進(jìn)行安全性檢測,引導(dǎo)模型生成積極正向內(nèi)容; 3)對提供服務(wù)過程中以及定期檢測時發(fā)現(xiàn)的安全問題,應(yīng)通過針對性的指令微調(diào)、強(qiáng)化學(xué)習(xí)等方式優(yōu)化模型。 注:模型生成內(nèi)容是指模型直接輸出的、未經(jīng)其他處理的原生內(nèi)容。 |
第6條b)模型生成內(nèi)容安全方面: 1)在訓(xùn)練過程中,應(yīng)將生成內(nèi)容安全性作為評價生成結(jié)果優(yōu)劣的主要考慮指標(biāo)之一; 2)在每次對話中,應(yīng)對使用者輸入信息進(jìn)行安全性檢測,引導(dǎo)模型生成積極正向內(nèi)容; 3)應(yīng)建立常態(tài)化監(jiān)測測評手段,對監(jiān)測測評發(fā)現(xiàn)的提供服務(wù)過程中的安全問題,及時處置并通過針對性的指令微調(diào)、強(qiáng)化學(xué)習(xí)等方式優(yōu)化模型。 注:模型生成內(nèi)容是指模型直接輸出的、未經(jīng)其他處理的原生內(nèi)容。 |
正式文件將征求意見稿中對模型生成內(nèi)容的“定期檢測”要求具象化為要求服務(wù)提供者建立常態(tài)化監(jiān)測測評手段,強(qiáng)調(diào)監(jiān)測測評是持續(xù)進(jìn)行的過程,進(jìn)一步確保提供服務(wù)全過程的安全性。另外,正式文件中增加了及時處置安全問題的表述,對服務(wù)提供者提出問題處理的時效性要求,防止安全問題擴(kuò)大帶來進(jìn)一步影響。
4.2 第6條c)(生成內(nèi)容準(zhǔn)確性方面) d)(生成內(nèi)容可靠性方面)
| 征求意見稿 |
正式文件 |
| 第6條 d)生成內(nèi)容準(zhǔn)確性方面:生成內(nèi)容應(yīng)準(zhǔn)確響應(yīng)使用者輸入意圖,所包含的數(shù)據(jù)及表述應(yīng)符合科學(xué)常識或主流認(rèn)知、不含錯誤內(nèi)容。 e)生成內(nèi)容可靠性方面:服務(wù)按照使用者指令給出的回復(fù),應(yīng)格式框架合理、有效內(nèi)容含量高,應(yīng)能夠有效幫助使用者解答問題。 |
第6條 c)生成內(nèi)容準(zhǔn)確性方面:應(yīng)采取技術(shù)措施提高生成內(nèi)容響應(yīng)使用者輸入意圖的能力,提高生成內(nèi)容中數(shù)據(jù)及表述與科學(xué)常識及主流認(rèn)知的符合程度,減少其中的錯誤內(nèi)容。 d)生成內(nèi)容可靠性方面:應(yīng)采取技術(shù)措施提高生成內(nèi)容格式框架的合理性以及有效內(nèi)容的含量,提高生成內(nèi)容對使用者的幫助作用。 |
正式文件改變了征求意見稿中對生成內(nèi)容的安全性的絕對要求,轉(zhuǎn)變?yōu)橐蠓?wù)提供者采取操作保障內(nèi)容安全,即要求服務(wù)提供者采取技術(shù)措施實現(xiàn)生成內(nèi)容準(zhǔn)確性和可靠性的提高。本條的增刪在一定程度上體現(xiàn)了監(jiān)管部門對于生成式人工智能具有不可控性這一客觀事實的理解,進(jìn)而將監(jiān)管的側(cè)重點從單一的“結(jié)果安全”轉(zhuǎn)變?yōu)榧骖櫋敖Y(jié)果安全”與“程序安全”,降低了各類生成式人工智能服務(wù)提供者的合規(guī)壓力。
5. 第7條(安全措施要求)(對服務(wù)提供者的要求)
5.1 第7條a)(模型適用人群、場合、用途方面)
| 征求意見稿 |
正式文件 |
| 第7條a)模型適用人群、場合、用途方面: 1)應(yīng)充分論證在服務(wù)范圍內(nèi)各領(lǐng)域應(yīng)用生成式人工智能的必要性、適用性以及安全性; 2)服務(wù)用于關(guān)鍵信息基礎(chǔ)設(shè)施、自動控制、醫(yī)療信息服務(wù)、心理咨詢等重要場合的,應(yīng)具備與風(fēng)險程度以及場景相適應(yīng)的保護(hù)措施; 3)服務(wù)適用未成年人的,應(yīng): ——允許監(jiān)護(hù)人設(shè)定未成年人防沉迷措施,并通過密碼保護(hù); ——限制未成年人單日對話次數(shù)與時長,若超過使用次數(shù)或時長需輸入管理密碼; ——需經(jīng)過監(jiān)護(hù)人確認(rèn)后未成年人方可進(jìn)行消費; ——為未成年人過濾少兒不宜內(nèi)容,展示有益身心健康的內(nèi)容。 4)服務(wù)不適用未成年人的,應(yīng)采取技術(shù)或管理措施防止未成年人使用。 |
第7條a)模型適用人群、場合、用途方面: 1)應(yīng)充分論證在服務(wù)范圍內(nèi)各領(lǐng)域應(yīng)用生成式人工智能的必要性、適用性以及安全性; 2)服務(wù)用于關(guān)鍵信息基礎(chǔ)設(shè)施,以及如自動控制、醫(yī)療信息服務(wù)、心理咨詢、金融信息服務(wù)等重要場合的,應(yīng)具備與風(fēng)險程度以及場景相適應(yīng)的保護(hù)措施; 3)服務(wù)適用未成年人的: ——應(yīng)允許監(jiān)護(hù)人設(shè)定未成年人防沉迷措施; ——不應(yīng)向未成年人提供與其民事行為能力不符的付費服務(wù); ——應(yīng)積極展示有益未成年人身心健康的內(nèi)容。 4)服務(wù)不適用未成年人的,應(yīng)采取技術(shù)或管理措施防止未成年人使用。 |
一方面,正式文件增加了金融信息服務(wù)作為重要場合之一,進(jìn)行明確列舉,要求服務(wù)提供者將服務(wù)用于金融信息服務(wù)時,也需要具備與風(fēng)險程度以及場景相適應(yīng)的保護(hù)措施。金融安全是國家安全的重要組成部分,本條的修改照應(yīng)了《金融信息服務(wù)管理規(guī)定》中對金融信息服務(wù)提供者應(yīng)當(dāng)履行主體責(zé)任、建立信息安全保障等服務(wù)規(guī)范的要求, [14] 體現(xiàn)了我國監(jiān)管部門對于生成式人工智能服務(wù)應(yīng)用于金融行業(yè)所可能構(gòu)成的潛在風(fēng)險的特別關(guān)注。
另一方面,本條也照應(yīng)了《AIGC暫行辦法》對未成年人保護(hù)的要求,并對實現(xiàn)該等要求所應(yīng)采取的措施進(jìn)行了細(xì)化。 [15] 正式文件在適用未成年人服務(wù)方面,刪除了密碼管理形式及單日對話次數(shù)與時長的限制,避免過度限制未成年人自由,體現(xiàn)《中華人民共和國未成年人保護(hù)法》保護(hù)未成年人隱私權(quán)的原則。 [16]
此外,正式文件在規(guī)范未成年人付費服務(wù)方面,由要求未成年人的監(jiān)護(hù)人確認(rèn)付費服務(wù)內(nèi)容改為要求服務(wù)提供者負(fù)責(zé)不向未成年人提供與其民事行為能力不符的付費服務(wù),并要求服務(wù)提供者謹(jǐn)慎開放面向未成年人的付費服務(wù)。
5.2 第7條b)(服務(wù)透明度方面)
| 征求意見稿 |
正式文件 |
| 第6條c)服務(wù)透明度方面: 1)以交互界面提供服務(wù)的,應(yīng)在網(wǎng)站首頁等顯著位置向社會公開以下信息: ——服務(wù)適用的人群、場合、用途等信息; ——第三方基礎(chǔ)模型使用情況。 2)以交互界面提供服務(wù)的,應(yīng)在網(wǎng)站首頁、服務(wù)協(xié)議等便于查看的位置向使用者公開以下信息: ——服務(wù)的局限性; ——所使用的模型架構(gòu)、訓(xùn)練框架等有助于使用者了解服務(wù)機(jī)制機(jī)理的概要信息。 3)以可編程接口形式提供服務(wù)的,應(yīng)在說明文檔中公開1)和2)中的信息。 |
第7條b)服務(wù)透明度方面: 1)以交互界面提供服務(wù)的,應(yīng)在網(wǎng)站首頁等顯著位置向社會公開服務(wù)適用的人群、場合、用途等信息,宜同時公開基礎(chǔ)模型使用情況; 2)以交互界面提供服務(wù)的,應(yīng)在網(wǎng)站首頁、服務(wù)協(xié)議等便于查看的位置向使用者公開以下信息: ——服務(wù)的局限性; ——所使用的模型、算法等方面的概要信息; ——所采集的個人信息及其在服務(wù)中的用途。 3)以可編程接口形式提供服務(wù)的,應(yīng)在說明文檔中公開1)和2)中的信息。 |
本條照應(yīng)了《AIGC暫行辦法》第十條針對生成式人工智能服務(wù)透明度的要求。 [17] 正式文件在公開信息方面取消強(qiáng)制公開基礎(chǔ)模型使用情況,此改動平衡了提升生成式人工智能服務(wù)對用戶的透明度與保護(hù)商業(yè)秘密這兩項需求。另外,正式文件中還增加了要求服務(wù)提供者在顯著位置公開采集個人信息及其在服務(wù)中的用途的規(guī)定,與《個保法》中個人信息處理規(guī)則保持一致, [18] 體現(xiàn)對個人信息保護(hù)的重視。
5.3 第7條c)(收集使用者輸入信息用于訓(xùn)練方面)
| 征求意見稿 |
正式文件 |
| 第7條c)收集使用者輸入信息用于訓(xùn)練方面: 1)應(yīng)事前與使用者約定能否將使用者輸入信息用于訓(xùn)練; 2)應(yīng)設(shè)置關(guān)閉使用者輸入信息用于訓(xùn)練的選項; 3)使用者從服務(wù)主界面開始到達(dá)該選項所需操作不應(yīng)超過4次點擊; 4)應(yīng)將收集使用者輸入的狀態(tài),以及(2)中的關(guān)閉方式顯著告知使用者。 |
第7條c)收集使用者輸入信息用于訓(xùn)練方面: 1)應(yīng)為使用者提供關(guān)閉其輸入信息用于訓(xùn)練的方式,例如為使用者提供選項或語音控制指令;關(guān)閉方式應(yīng)便捷,例如采用選項方式時使用者從服務(wù)主界面開始到達(dá)該選項所需操作不超過4次點擊; 2)應(yīng)將收集使用者輸入的狀態(tài),以及(1)中的關(guān)閉方式顯著告知使用者。 |
本條照應(yīng)了《AIGC暫行辦法》第九條的規(guī)定。 [19] 正式文件中刪除了服務(wù)提供者“應(yīng)事前與使用者約定能否將使用者輸入信息用于訓(xùn)練”這一要求,而僅保留了“服務(wù)提供者顯著告知+允許使用者便捷關(guān)閉”的同意機(jī)制。針對收集輸入信息用于訓(xùn)練事項,建議服務(wù)提供者在與使用者的用戶協(xié)議中明確規(guī)定、向使用者發(fā)送站內(nèi)信或通過其他方式提示使用者其輸入信息將用于訓(xùn)練,并根據(jù)正式文件的要求對向使用者明確提供簡便快捷的關(guān)閉輸入信息用于訓(xùn)練的方式。
5.4 第7條d)(圖片、視頻等內(nèi)容標(biāo)識方面)
| 征求意見稿 |
正式文件 |
| 第7條d)圖片、視頻等內(nèi)容標(biāo)識方面,應(yīng)按TC260-PG-20233A《網(wǎng)絡(luò)安全標(biāo)準(zhǔn)實踐指南—生成式人工智能服務(wù)內(nèi)容標(biāo)識方法》進(jìn)行以下標(biāo)識: 1)顯示區(qū)域標(biāo)識; 2)圖片、視頻的提示文字標(biāo)識; 3)圖片、視頻、音頻的隱藏水印標(biāo)識; 4)文件元數(shù)據(jù)標(biāo)識; 5)特殊服務(wù)場景的標(biāo)識。 |
第7條d)圖片、視頻等內(nèi)容標(biāo)識方面,應(yīng)滿足國家相關(guān)規(guī)定以及國家標(biāo)準(zhǔn)要求。 |
本條照應(yīng)了《AIGC暫行辦法》中第十二條關(guān)于生成內(nèi)容標(biāo)識的規(guī)定。 [20] 正式文件中刪去了內(nèi)容標(biāo)識的特定依據(jù),我們理解,服務(wù)提供者對于生成內(nèi)容標(biāo)識的規(guī)定應(yīng)當(dāng)遵循包括《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》、TC260-PG-20233A《網(wǎng)絡(luò)安全標(biāo)準(zhǔn)實踐指南—生成式人工智能服務(wù)內(nèi)容標(biāo)識方法》在內(nèi)的現(xiàn)有以及未來可能出現(xiàn)的相關(guān)國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)的規(guī)定。
5.5 第7條e)(訓(xùn)練、推理所采用的計算系統(tǒng)方面)
| 征求意見稿 |
正式文件 |
| 無該條款。 |
第7條e)訓(xùn)練、推理所采用的計算系統(tǒng)方面: 1)應(yīng)評估系統(tǒng)所采用芯片、軟件、工具、算力等方面的供應(yīng)鏈安全,側(cè)重評估供應(yīng)持續(xù)性、穩(wěn)定性等方面; 2)所采用芯片宜支持基于硬件的安全啟動、可信啟動流程及安全性驗證,保障生成式人工智能系統(tǒng)運行在安全可信環(huán)境中。 |
本條照應(yīng)了《AIGC暫行辦法》第六條的規(guī)定。 [21] 正式文件中增加了對訓(xùn)練和推理所采用的計算系統(tǒng)方面的安全要求,提出計算系統(tǒng)供應(yīng)鏈安全評估要求,并對芯片安全程度提出支持標(biāo)準(zhǔn),從軟件硬件兩方面出發(fā)保障計算系統(tǒng)的安全運行,也與《中華人民共和國計算機(jī)信息系統(tǒng)安全保護(hù)條例》中計算機(jī)信息系統(tǒng)的使用單位應(yīng)當(dāng)建立健全安全管理制度的要求相適應(yīng)。 [22]
5.6 第7條g)(向使用者提供服務(wù)方面)
| 征求意見稿 |
正式文件 |
| 第7條f)向使用者提供服務(wù)方面: 1)對明顯偏激以及明顯誘導(dǎo)生成違法不良信息的問題,應(yīng)拒絕回答;對其他問題,應(yīng)均能正常回答; 2)應(yīng)設(shè)置監(jiān)看人員,及時根據(jù)國家政策以及第三方投訴情況提高生成內(nèi)容質(zhì)量,監(jiān)看人員數(shù)量應(yīng)與服務(wù)規(guī)模相匹配。 |
第7條g)向使用者提供服務(wù)方面: 1)應(yīng)采取關(guān)鍵詞、分類模型等方式對使用者輸入信息進(jìn)行檢測,使用者連續(xù)三次或一天內(nèi)累計五次輸入違法不良信息或明顯誘導(dǎo)生成違法不良信息的,應(yīng)依法依約采取暫停提供服務(wù)等處置措施; 2)對明顯偏激以及明顯誘導(dǎo)生成違法不良信息的問題,應(yīng)拒絕回答;對其他問題,應(yīng)均能正常回答; 3)應(yīng)設(shè)置監(jiān)看人員,并及時根據(jù)監(jiān)看情況提高生成內(nèi)容質(zhì)量及安全,監(jiān)看人員數(shù)量應(yīng)與服務(wù)規(guī)模相匹配。 注:監(jiān)看人員的職責(zé)包括及時跟蹤國家政策、收集分析第三方投訴情況等。 |
本條照應(yīng)了《AIGC暫行辦法》第十四條中對服務(wù)提供者就違法內(nèi)容采取處置措施的要求。 [23] 正式文件增加了對使用者輸入信息的檢測及相應(yīng)處置要求,加強(qiáng)對使用者輸入信息的監(jiān)管,并要求服務(wù)提供者根據(jù)監(jiān)看情況而非僅根據(jù)國家政策以及第三方投訴情況來進(jìn)行內(nèi)容優(yōu)化。總體而言,本條向服務(wù)提供者提供了生成內(nèi)容監(jiān)控制度的設(shè)立要點,分別包括(1)在輸入階段,檢測輸入信息、對多次輸入違法信息的用戶采取處置措施;(2)在內(nèi)容生成階段,對誘導(dǎo)性問題設(shè)立拒絕回答的機(jī)制;(3)設(shè)置人員監(jiān)控制度,根據(jù)監(jiān)控情況及時調(diào)整基礎(chǔ)模型,提高生成內(nèi)容質(zhì)量及安全。
5.7 第7條h)(模型更新、升級方面)
| 征求意見稿 |
正式文件 |
| 第7條g)模型更新、升級方面: 1)應(yīng)制定在模型更新、升級時的安全管理策略; 2)應(yīng)形成管理機(jī)制,在模型重要更新、升級后,再次進(jìn)行安全評估,并按規(guī)定向主管部門重新備案。 |
第7條h)模型更新、升級方面: 1)應(yīng)制定在模型更新、升級時的安全管理策略; 2)應(yīng)形成管理機(jī)制,在模型重要更新、升級后,再次自行組織安全評估。 |
正式文件刪除了在模型重要更新、升級后須重新備案的要求,修改為由服務(wù)提供者自行組織安全評估。這一修改與《具有輿論屬性或社會動員能力的互聯(lián)網(wǎng)信息服務(wù)安全評估規(guī)定》(“《互聯(lián)網(wǎng)信息服務(wù)安全評估規(guī)定》”)中互聯(lián)網(wǎng)信息服務(wù)提供者應(yīng)當(dāng)在使用新技術(shù)新應(yīng)用導(dǎo)致重大變更等情形下自行開展安全評估的規(guī)定相適應(yīng)。 [24] 根據(jù)《互聯(lián)網(wǎng)信息服務(wù)安全評估規(guī)定》第七條規(guī)定 [25] ,如該等模型重要更新、升級屬于使用新技術(shù)新應(yīng)用導(dǎo)致重大變更情形,服務(wù)提供者完成該等安全評估后需要將該等安全評估報告提交至網(wǎng)信部門等主管部門。如服務(wù)提供者涉及提供互聯(lián)網(wǎng)新聞信息服務(wù)的,還需根據(jù)《互聯(lián)網(wǎng)新聞信息服務(wù)新技術(shù)新應(yīng)用安全評估管理規(guī)定》規(guī)定 [26] 報請國家或者省、自治區(qū)、直轄市互聯(lián)網(wǎng)信息辦公室組織開展安全評估。
5.8 第7條i)(服務(wù)穩(wěn)定、持續(xù)方面)
| 征求意見稿 |
正式文件 |
| 無該條款。 |
第7條i)服務(wù)穩(wěn)定、持續(xù)方面: 1)應(yīng)將訓(xùn)練環(huán)境與推理環(huán)境隔離,避免數(shù)據(jù)泄露和不當(dāng)訪問; 2)應(yīng)對模型輸入內(nèi)容持續(xù)監(jiān)測,防范惡意輸入攻擊,例如DDoS、XSS、注入攻擊等; 3)應(yīng)定期對所使用的開發(fā)框架、代碼等進(jìn)行安全審計,關(guān)注開源框架安全及漏洞相關(guān)問題,識別和修復(fù)潛在的安全漏洞; 4)應(yīng)建立數(shù)據(jù)、模型、框架、工具等的備份機(jī)制以及恢復(fù)策略,重點確保業(yè)務(wù)連續(xù)性。 |
本條照應(yīng)了《AIGC暫行辦法》第十三條對生成式人工智能服務(wù)穩(wěn)定性與持續(xù)性的要求。 [27] 正式文件單獨增加了本條款,既遵循了《AIGC暫行辦法》的要求,也與目前全球各主要國家和地區(qū)對人工智能服務(wù)魯棒性(robustness)的普遍關(guān)注態(tài)度一致。正式文件中明確了保障穩(wěn)定性與可持續(xù)性須注意的技術(shù)要點,包括隔離訓(xùn)練環(huán)境與推理環(huán)境、持續(xù)監(jiān)測模型輸入內(nèi)容、定期安全審計、建立備份機(jī)制和恢復(fù)策略等。
6. 第9條(安全評估要求,原第8條)
6.1 第9.1條(評估方法,原8.1條)
| 征求意見稿 |
正式文件 |
| 第8.1條(評估方法) 對提供者的要求如下。 a)應(yīng)在服務(wù)上線前以及重大變更時開展安全評估,評估可自行開展安全評估,也可委托第三方評估機(jī)構(gòu)開展。 b)安全評估應(yīng)覆蓋本文件所有條款,每個條款應(yīng)形成單獨的評估結(jié)論,評估結(jié)論應(yīng)為符合、不符合或不適用: 1)結(jié)論為符合的,應(yīng)具有充分的證明材料; 2)結(jié)論為不符合的,應(yīng)說明不符合的原因,采用與本文件不一致的技術(shù)或管理措施,但能達(dá)到同樣安全效果的,應(yīng)詳細(xì)說明并提供措施有效性的證明; 3)結(jié)論為不適用的,應(yīng)說明不適用理由。 c)應(yīng)將本文件各條款的評估結(jié)論以及相關(guān)證明、支撐材料寫入評估報告: 1)評估報告應(yīng)符合開展評估時主管部門要求; 2)撰寫評估報告過程中,因報告格式原因,本文件中部分條款的評估結(jié)論和相關(guān)情況無法寫入評估報告正文的,應(yīng)統(tǒng)一寫入附件。 d)自行開展安全評估的,評估報告應(yīng)至少具有三名負(fù)責(zé)人共同簽字: 1)單位法人; 2)整體負(fù)責(zé)安全評估工作的負(fù)責(zé)人,應(yīng)為單位主要管理者或網(wǎng)絡(luò)安全負(fù)責(zé)人; 3)安全評估工作中合法性評估部分的負(fù)責(zé)人,應(yīng)為單位主要管理者或法務(wù)負(fù)責(zé)人。 |
第9.1條(評估方法) 要求如下。 a)按照本文件自行組織的安全評估,可由提供方自行開展,也可委托第三方評估機(jī)構(gòu)開展。 b)安全評估應(yīng)覆蓋本文件第5章至第8章中所有條款,每個條款應(yīng)形成單獨的評估結(jié)果,評估結(jié)果應(yīng)為符合、不符合或不適用: 1)結(jié)果為符合的,應(yīng)具有充分的證明材料; 2)結(jié)果為不符合的,應(yīng)說明不符合的原因,有以下特殊情況的應(yīng)補充說明: 采用與本文件不一致的技術(shù)或管理措施,但能達(dá)到同樣安全效果的,應(yīng)詳細(xì)說明并提供措施有效性的證明; 已采取技術(shù)或管理措施但尚未滿足要求的,應(yīng)詳細(xì)說明采取的措施和后續(xù)滿足要求的計劃。 3)結(jié)果為不適用的,應(yīng)說明不適用理由。 c)應(yīng)將本文件第5章至第8章中各條款的評估結(jié)果以及相關(guān)證明、支撐材料寫入評估報告: 1)評估報告應(yīng)符合履行備案手續(xù)時的相關(guān)要求; 2)撰寫評估報告過程中,因報告格式原因,本文件中部分條款的評估結(jié)果和相關(guān)情況無法寫入評估報告正文的,應(yīng)統(tǒng)一寫入附件。 d)應(yīng)在評估報告中形成整體評估結(jié)論: 1)各條款的評估結(jié)果均為符合或不適用時,整體評估結(jié)論為全部符合要求; 2)部分條款評估結(jié)果為不符合時,整體評估結(jié)論為部分符合要求; 3)全部條款均為不符合時,整體評估結(jié)論為全部不符合要求; 4)第5章至第8章中推薦性條款的評估結(jié)果不影響整體評估結(jié)論。 e)自行開展安全評估的,評估報告應(yīng)至少具有三名負(fù)責(zé)人共同簽字: 1)單位法定代表人; 2)整體負(fù)責(zé)安全評估工作的負(fù)責(zé)人,應(yīng)為單位主要管理者或網(wǎng)絡(luò)安全負(fù)責(zé)人; 3)安全評估工作中合法性評估部分的負(fù)責(zé)人,應(yīng)為單位主要管理者或法務(wù)負(fù)責(zé)人。 |
正式文件中對安全評估結(jié)果為不符合的特殊情況做出了進(jìn)一步規(guī)范,要求服務(wù)提供者對已經(jīng)采取技術(shù)或管理措施但未符合《AIGC安全要求》項下強(qiáng)制性安全措施要求的部分進(jìn)行詳細(xì)說明,闡明采取的措施以及后續(xù)滿足要求的計劃。另外,正式文件中還新增了要求安全評估報告形成整體評估結(jié)論的內(nèi)容,并明確了該結(jié)論的評估標(biāo)準(zhǔn),進(jìn)一步提高了安全評估報告的完整性與科學(xué)性。
二、 生成式人工智能服務(wù)安全制度的修訂要點與合規(guī)制度建議
1. 修訂要點
整體而言,正式文件較征求意見稿的修訂大致分為三個方面:其一,將各類定義與條款表述與《個保法》、《AIGC暫行辦法》等法律規(guī)定拉齊,保證規(guī)范概念體系的一致性;其二,從可行性的角度對部分生成式人工智能服務(wù)的安全要求進(jìn)行了刪繁就簡、靈活處理,平衡了包括用戶知情權(quán)、內(nèi)容安全在內(nèi)的合規(guī)需求與發(fā)展需求;其三,在語料采集、語料標(biāo)注、內(nèi)容安全監(jiān)測、服務(wù)穩(wěn)定性等方面為服務(wù)提供者提供了更為明確、詳細(xì)、與當(dāng)前發(fā)展水平相適應(yīng)的制度設(shè)立的指引。
2. 安全合規(guī)制度建議
在歸納梳理了《AIGC安全要求》正式文件中對服務(wù)提供者的各項服務(wù)安全評估要求后,我們建議服務(wù)提供者可考慮采取下述制度,以保障自身所提供的生成式人工智能服務(wù)的安全性。
2.1 設(shè)立語料來源安全管理制度
(1) 設(shè)立語料采集前及采集后安全評估制度,結(jié)合《AIGC安全要求》附錄A中針對語料安全風(fēng)險信息的分類,對風(fēng)險語料設(shè)立分級分類識別、關(guān)鍵詞識別等識別機(jī)制。
(2) 設(shè)立語料來源追溯制度。將采集的語料根據(jù)《AIGC安全要求》分為自采語料 [28] 與商業(yè)語料,并針對不同類型的語料,通過內(nèi)部培訓(xùn)、協(xié)議條款約定、交易審核流程等環(huán)節(jié)建立起語料追溯制度。
2.2 設(shè)立語料內(nèi)容安全管理制度,包括:
(1) 語料內(nèi)容過濾制度。服務(wù)提供者可以通過多種機(jī)制確保語料內(nèi)容的合法性和適宜性,包括但不限于:關(guān)鍵詞過濾、分類模型、人工抽檢等;
(2) 知識產(chǎn)權(quán)管理制度。服務(wù)提供者可以確立針對生成式人工智能的知識產(chǎn)權(quán)管理制度,包括但不限于:設(shè)立知識產(chǎn)權(quán)負(fù)責(zé)人和管理策略、設(shè)立知識產(chǎn)權(quán)風(fēng)險識別制度、建立用戶易于訪問的投訴舉報渠道以及知識產(chǎn)權(quán)侵權(quán)問題報告渠道等。
2.3 建立語料標(biāo)注規(guī)范,包括:
(1) 標(biāo)注人員管理制度,包括但不限于:安全培訓(xùn)制度、考核制度、職能劃分等;
(2) 標(biāo)注規(guī)則,包括但不限于:
(a) 確立規(guī)則基本內(nèi)容,制定包含標(biāo)注目標(biāo)、數(shù)據(jù)格式、方法和質(zhì)量指標(biāo)的標(biāo)注規(guī)則;
(b) 確立功能性與安全性標(biāo)注規(guī)則,分別對功能性和安全性標(biāo)注制定規(guī)則,至少覆蓋數(shù)據(jù)標(biāo)注和審核環(huán)節(jié);
(3) 標(biāo)注內(nèi)容抽檢審核制度,包括但不限于:
(a) 功能性標(biāo)注抽檢制度,對每批標(biāo)注語料進(jìn)行人工抽檢,不準(zhǔn)確的內(nèi)容需重新標(biāo)注,包含違法不良信息的批次應(yīng)廢棄;
(b) 安全性標(biāo)注審核制度,確保每條安全性標(biāo)注語料至少需經(jīng)一名審核人員審核通過;
(4) 設(shè)立數(shù)據(jù)隔離存儲制度,對安全性標(biāo)注數(shù)據(jù)進(jìn)行隔離存儲,以保障數(shù)據(jù)的安全性和完整性。
2.4 設(shè)立模型生成內(nèi)容安全制度,包括但不限于:
(1) 安全性評價規(guī)則,在模型訓(xùn)練過程中,將生成內(nèi)容的安全性作為評估生成結(jié)果好壞的主要指標(biāo);
(2) 輸入信息安全性檢測制度,對用戶輸入進(jìn)行安全性檢測,引導(dǎo)模型生成積極正向的內(nèi)容;
(3) 常態(tài)化監(jiān)測與優(yōu)化機(jī)制,建立常態(tài)化的監(jiān)測評估機(jī)制,對服務(wù)過程中檢測到的安全問題進(jìn)行及時處理,并通過指令微調(diào)或強(qiáng)化學(xué)習(xí)等技術(shù)手段優(yōu)化模型。
2.5 其他綜合管理制度
(1) 模型適用性和安全性制度,包括但不限于:
(a) 特殊場合的保護(hù)措施:為關(guān)鍵信息基礎(chǔ)設(shè)施領(lǐng)域,或者如自動控制、醫(yī)療信息服務(wù)等重要場景提供服務(wù)時,結(jié)合《網(wǎng)絡(luò)安全法》、《數(shù)據(jù)安全法》、《關(guān)鍵信息基礎(chǔ)設(shè)施安全保護(hù)條例》、《信息安全技術(shù) 關(guān)鍵信息基礎(chǔ)設(shè)施安全保護(hù)要求》等規(guī)范制定與風(fēng)險相適應(yīng)的保護(hù)措施;
(b) 未成年人保護(hù)制度:結(jié)合《未成年人網(wǎng)絡(luò)保護(hù)條例》等未成年人保護(hù)相關(guān)法律法規(guī)設(shè)立未成年人使用規(guī)則,允許監(jiān)護(hù)人設(shè)定防沉迷措施,展示有益內(nèi)容,防止未成年人接觸不適用服務(wù)。
(2) 內(nèi)容監(jiān)管與質(zhì)量控制制度,設(shè)置關(guān)鍵詞和分類模型監(jiān)管制度以及人員監(jiān)看制度:對用戶輸入進(jìn)行監(jiān)管,對違法不良信息采取處置措施,并根據(jù)監(jiān)看情況提高內(nèi)容質(zhì)量及安全,監(jiān)看人員數(shù)量應(yīng)與服務(wù)規(guī)模匹配。
(3) 環(huán)境隔離與安全審計制度,隔離訓(xùn)練與推理環(huán)境,定期進(jìn)行安全審計。設(shè)立持續(xù)監(jiān)測與備份恢復(fù)制度,持續(xù)監(jiān)測輸入內(nèi)容,建立數(shù)據(jù)和模型的備份及恢復(fù)策略。
結(jié)語
《生成式人工智能服務(wù)安全基本要求》正式文件的出臺,不僅為企業(yè)提供了更明確的合規(guī)指導(dǎo),也體現(xiàn)了我國在促進(jìn)技術(shù)創(chuàng)新的同時,對于保障網(wǎng)絡(luò)安全、個人隱私以及社會公共利益的堅定立場。面對快速發(fā)展的生成式人工智能技術(shù),建立和完善相應(yīng)的合規(guī)制度,不僅符合當(dāng)前的法規(guī)要求,更使其在不斷變化的法律環(huán)境中保持靈活性和前瞻性,確保技術(shù)創(chuàng)新的同時,能夠有效管理風(fēng)險,保護(hù)用戶權(quán)益。我們將持續(xù)關(guān)注,為企業(yè)保駕護(hù)航。
[1] 《AIGC暫行辦法》第二條規(guī)定,“生成式人工智能服務(wù)”是指“利用生成式人工智能技術(shù)向中華人民共和國境內(nèi)公眾提供生成文本、圖片、音頻、視頻等內(nèi)容的服務(wù)”。
[2] 《AIGC暫行辦法》第二十二條規(guī)定,“生成式人工智能服務(wù)提供者,是指利用生成式人工時能技術(shù)提供生成式人工智能服務(wù)(包括通過提供可編程接口等方式提供生成式人工智能服務(wù))的組織、個人”。
[3] 《AIGC暫行辦法》第七條規(guī)定,“生成式人工智能服務(wù)提供者(以下稱提供者)應(yīng)當(dāng)依法開展預(yù)訓(xùn)練、優(yōu)化訓(xùn)練等訓(xùn)練數(shù)據(jù)處理活動,遵守以下規(guī)定:(一)使用具有合法來源的數(shù)據(jù)和基礎(chǔ)模型;……”
[4] https://www.ceweekly.cn/company/2024/0116/434891.html。
[5] https://www.tencent.com/zh-cn/articles/2201685.html。
[6] https://news.sciencenet.cn/htmlnews/2023/12/513458.shtm
[7] https://developer.baidu.com/article/detail.html?id=1099866
[8] 《AIGC暫行辦法》第七條規(guī)定,“生成式人工智能服務(wù)提供者應(yīng)當(dāng)依法開展預(yù)訓(xùn)練、優(yōu)化訓(xùn)練等訓(xùn)練數(shù)據(jù)處理活動,遵守以下規(guī)定:……(三)涉及個人信息的,應(yīng)當(dāng)取得個人同意或者符合法律、行政法規(guī)規(guī)定的其他情形;……(五)《中華人民共和國網(wǎng)絡(luò)安全法》、《中華人民共和國數(shù)據(jù)安全法》、《中華人民共和國個人信息保護(hù)法》等法律、行政法規(guī)的其他有關(guān)規(guī)定和有關(guān)主管部門的相關(guān)監(jiān)管要求。”
[9] 《AIGC暫行辦法》第七條規(guī)定,“生成式人工智能服務(wù)提供者(以下稱提供者)應(yīng)當(dāng)依法開展預(yù)訓(xùn)練、優(yōu)化訓(xùn)練等訓(xùn)練數(shù)據(jù)處理活動,遵守以下規(guī)定:……(三)涉及個人信息的,應(yīng)當(dāng)取得個人同意或者符合法律、行政法規(guī)規(guī)定的其他情形;……。”
[10] 《個保法》第十七條規(guī)定,“個人信息處理者在處理個人信息前,應(yīng)當(dāng)以顯著方式、清晰易懂的語言真實、準(zhǔn)確、完整地向個人告知下列事項:(一)個人信息處理者的名稱或者姓名和聯(lián)系方式;(二)個人信息的處理目的、處理方式,處理的個人信息種類、保存期限;(三)個人行使本法規(guī)定權(quán)利的方式和程序;(四)法律、行政法規(guī)規(guī)定應(yīng)當(dāng)告知的其他事項。前款規(guī)定事項發(fā)生變更的,應(yīng)當(dāng)將變更部分告知個人。”
[11] 《個保法》第四條規(guī)定,“個人信息是以電子或者其他方式記錄的與已識別或者可識別的自然人有關(guān)的各種信息,不包括匿名化處理后的信息。個人信息的處理包括個人信息的收集、存儲、使用、加工、傳輸、提供、公開、刪除等。”
[12] 《個保法》第二十八條規(guī)定,“敏感個人信息是一旦泄露或者非法使用,容易導(dǎo)致自然人的人格尊嚴(yán)受到侵害或者人身、財產(chǎn)安全受到危害的個人信息,包括生物識別……等信息。”
[13] 《AIGC暫行辦法》第八條的規(guī)定,“在生成式人工智能技術(shù)研發(fā)過程中進(jìn)行數(shù)據(jù)標(biāo)注的,提供者應(yīng)當(dāng)制定符合本辦法要求的清晰、具體、可操作的標(biāo)注規(guī)則;開展數(shù)據(jù)標(biāo)注質(zhì)量評估,抽樣核驗標(biāo)注內(nèi)容的準(zhǔn)確性;對標(biāo)注人員進(jìn)行必要培訓(xùn),提升尊法守法意識,監(jiān)督指導(dǎo)標(biāo)注人員規(guī)范開展標(biāo)注工作。”
[14] 《金融信息服務(wù)管理規(guī)定》第五條規(guī)定,“金融信息服務(wù)提供者應(yīng)當(dāng)履行主體責(zé)任,配備與服務(wù)規(guī)模相適應(yīng)的管理人員,建立信息內(nèi)容審核、信息數(shù)據(jù)保存、信息安全保障、個人信息保護(hù)、知識產(chǎn)權(quán)保護(hù)等服務(wù)規(guī)范。”
[15] 《AIGC暫行辦法》第十條規(guī)定,“提供者應(yīng)當(dāng)……指導(dǎo)使用者科學(xué)理性認(rèn)識和依法使用生成式人工智能技術(shù),采取有效措施防范未成年人用戶過度依賴或者沉迷生成式人工智能服務(wù)。”
[16] 《中華人民共和國未成年人保護(hù)法》第四條規(guī)定,“保護(hù)未成年人,應(yīng)當(dāng)堅持最有利于未成年人的原則。處理涉及未成年人事項,應(yīng)當(dāng)符合下列要求:……(三)保護(hù)未成年人隱私權(quán)和個人信息;……。”
[17] 《AIGC暫行辦法》第十條規(guī)定,“提供者應(yīng)當(dāng)明確并公開其服務(wù)的適用人群、場合、用途”。
[18] 《個保法》第十七條規(guī)定,“個人信息處理者在處理個人信息前,應(yīng)當(dāng)以顯著方式、清晰易懂的語言真實、準(zhǔn)確、完整地向個人告知下列事項:……(二)個人信息的處理目的、處理方式,處理的個人信息種類、保存期限;……。
個人信息處理者通過制定個人信息處理規(guī)則的方式告知第一款規(guī)定事項的,處理規(guī)則應(yīng)當(dāng)公開,并且便于查閱和保存。”
[19] 《AIGC暫行辦法》第九條規(guī)定,“提供者應(yīng)當(dāng)與注冊其服務(wù)的生成式人工智能服務(wù)使用者(以下稱使用者)簽訂服務(wù)協(xié)議,明確雙方權(quán)利義務(wù)。”
[20] 《AIGC暫行辦法》第十二條規(guī)定,“提供者應(yīng)當(dāng)按照《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》對圖片、視頻等生成內(nèi)容進(jìn)行標(biāo)識。”
[21] 《AIGC暫行辦法》第六條規(guī)定,“促進(jìn)算力資源協(xié)同共享,提升算力資源利用效能。推動公共數(shù)據(jù)分類分級有序開放,擴(kuò)展高質(zhì)量的公共訓(xùn)練數(shù)據(jù)資源。鼓勵采用安全可信的芯片、軟件、工具、算力和數(shù)據(jù)資源。”
[22] 《中華人民共和國計算機(jī)信息系統(tǒng)安全保護(hù)條例》第十三條規(guī)定,“計算機(jī)信息系統(tǒng)的使用單位應(yīng)當(dāng)建立健全安全管理制度,負(fù)責(zé)本單位計算機(jī)信息系統(tǒng)的安全保護(hù)工作。”
[23] 《AIGC暫行辦法》第十四條規(guī)定,“提供者發(fā)現(xiàn)違法內(nèi)容的,應(yīng)當(dāng)及時采取停止生成、停止傳輸、消除等處置措施,采取模型優(yōu)化訓(xùn)練等措施進(jìn)行整改,并向有關(guān)主管部門報告。提供者發(fā)現(xiàn)使用者利用生成式人工智能服務(wù)從事違法活動的,應(yīng)當(dāng)依法依約采取警示、限制功能、暫停或者終止向其提供服務(wù)等處置措施,保存有關(guān)記錄,并向有關(guān)主管部門報告。”
[24] 《互聯(lián)網(wǎng)信息服務(wù)安全評估規(guī)定》第三條規(guī)定,“互聯(lián)網(wǎng)信息服務(wù)提供者具有下列情形之一的,應(yīng)當(dāng)依照本規(guī)定自行開展安全評估,并對評估結(jié)果負(fù)責(zé):……(二)使用新技術(shù)新應(yīng)用,使信息服務(wù)的功能屬性、技術(shù)實現(xiàn)方式、基礎(chǔ)資源配置等發(fā)生重大變更,導(dǎo)致輿論屬性或者社會動員能力發(fā)生重大變化的;……。”
[25] 《互聯(lián)網(wǎng)信息服務(wù)安全評估規(guī)定》第七條規(guī)定,“互聯(lián)網(wǎng)信息服務(wù)提供者應(yīng)當(dāng)將安全評估報告通過全國互聯(lián)網(wǎng)安全管理服務(wù)平臺提交所在地地市級以上網(wǎng)信部門和公安機(jī)關(guān)。具有本規(guī)定第三條第一項、第二項情形的,互聯(lián)網(wǎng)信息服務(wù)提供者應(yīng)當(dāng)在信息服務(wù)、新技術(shù)新應(yīng)用上線或者功能增設(shè)前提交安全評估報告;具有本規(guī)定第三條第三、四、五項情形的,應(yīng)當(dāng)自相關(guān)情形發(fā)生之日起30個工作日內(nèi)提交安全評估報告。”
[26] 《互聯(lián)網(wǎng)新聞信息服務(wù)新技術(shù)新應(yīng)用安全評估管理規(guī)定》第七條規(guī)定,“有下列情形之一的,互聯(lián)網(wǎng)新聞信息服務(wù)提供者應(yīng)當(dāng)自行組織開展新技術(shù)新應(yīng)用安全評估,編制書面安全評估報告,并對評估結(jié)果負(fù)責(zé):(一)應(yīng)用新技術(shù)、調(diào)整增設(shè)具有新聞輿論屬性或社會動員能力的應(yīng)用功能的;(二)新技術(shù)、新應(yīng)用功能在用戶規(guī)模、功能屬性、技術(shù)實現(xiàn)方式、基礎(chǔ)資源配置等方面的改變導(dǎo)致新聞輿論屬性或社會動員能力發(fā)生重大變化的。國家互聯(lián)網(wǎng)信息辦公室適時發(fā)布新技術(shù)新應(yīng)用安全評估目錄,供互聯(lián)網(wǎng)新聞信息服務(wù)提供者自行組織開展安全評估參考。”
《互聯(lián)網(wǎng)新聞信息服務(wù)新技術(shù)新應(yīng)用安全評估管理規(guī)定》第八條規(guī)定,“互聯(lián)網(wǎng)新聞信息服務(wù)提供者按照本規(guī)定第七條自行組織開展新技術(shù)新應(yīng)用安全評估,發(fā)現(xiàn)存在安全風(fēng)險的,應(yīng)當(dāng)及時整改,直至消除相關(guān)安全風(fēng)險。按照本規(guī)定第七條規(guī)定自行組織開展安全評估的,應(yīng)當(dāng)在應(yīng)用新技術(shù)、調(diào)整增設(shè)應(yīng)用功能前完成評估。”
《互聯(lián)網(wǎng)新聞信息服務(wù)新技術(shù)新應(yīng)用安全評估管理規(guī)定》第九條規(guī)定,“互聯(lián)網(wǎng)新聞信息服務(wù)提供者按照本規(guī)定第八條自行組織開展新技術(shù)新應(yīng)用安全評估后,應(yīng)當(dāng)自安全評估完成之日起10個工作日內(nèi)報請國家或者省、自治區(qū)、直轄市互聯(lián)網(wǎng)信息辦公室組織開展安全評估。”
[27] 《AIGC暫行辦法》第十三條規(guī)定,“提供者應(yīng)當(dāng)在其服務(wù)過程中,提供安全、穩(wěn)定、持續(xù)的服務(wù),保障用戶正常使用。”
[28] 《AIGC安全要求》正式文件規(guī)定,對于匯聚了網(wǎng)絡(luò)地址、數(shù)據(jù)鏈接等能夠指向或生成其他數(shù)據(jù)的情況,如果需要使用這些被指向或生成的內(nèi)容作為語料,應(yīng)將其視同于自采語料。




