編者按
歐盟的人工智能應(yīng)用市場(chǎng)廣闊，是AI企業(yè)出海的重要目的地；歐盟已率先出臺(tái)全球首部全面規(guī)范人工智能的法律框架[注1]——人工智能法案（Artificial Intelligence Act，下稱“AIA”[注2]），AI企業(yè)必須準(zhǔn)確把握AIA的核心監(jiān)管框架——一套以風(fēng)險(xiǎn)為基礎(chǔ)的分級(jí)監(jiān)管法（risk-based approach），并在該框架下準(zhǔn)確理解并判定自身產(chǎn)品的風(fēng)險(xiǎn)等級(jí)，進(jìn)而適用相應(yīng)的合規(guī)要求。
12月13日，第六屆國(guó)浩法治論壇在海口圓滿舉行，“人工智能與數(shù)字經(jīng)濟(jì)”專題對(duì)話環(huán)節(jié)聚焦行業(yè)前沿，奏響數(shù)智時(shí)代法治護(hù)航的先聲。在該環(huán)節(jié)，國(guó)浩數(shù)字經(jīng)濟(jì)業(yè)務(wù)委員會(huì)暨法律研究中心秘書(shū)長(zhǎng)、國(guó)浩北京合伙人廖理琳圍繞“如何準(zhǔn)確完成高風(fēng)險(xiǎn)分類并應(yīng)對(duì)潛在問(wèn)題”展開(kāi)，通過(guò)各類典型場(chǎng)景示例，剖析風(fēng)險(xiǎn)評(píng)估的模糊地帶及其應(yīng)對(duì)建議，為讀者形成可操作的分類決策框架與合規(guī)策略。
今日分享廖理琳律師的精彩演講，以饗讀者。
目 錄
一、AIA項(xiàng)下的風(fēng)險(xiǎn)分類
(一) 高風(fēng)險(xiǎn)AI的“場(chǎng)景清單”：按圖索驥的風(fēng)險(xiǎn)分類與例外
(二) 融入NLF：產(chǎn)品安全視角下的高風(fēng)險(xiǎn)AI
二、結(jié)語(yǔ)
AIA項(xiàng)下的風(fēng)險(xiǎn)分類
在AIA的監(jiān)管框架下，并非所有人工智能（下稱AI）系統(tǒng)[注3]都被一視同仁，而是按照“風(fēng)險(xiǎn)”程度劃為四類：不可接受風(fēng)險(xiǎn)（Unacceptable risk）、高風(fēng)險(xiǎn)（High-risk）、有限風(fēng)險(xiǎn)（Limited risk）和最小風(fēng)險(xiǎn)（Minimal or no risk），再依“風(fēng)險(xiǎn)越高，監(jiān)管越嚴(yán)格”的原則，選擇和設(shè)計(jì)監(jiān)管工具。[注4]
本文將關(guān)注點(diǎn)放在“高風(fēng)險(xiǎn)（High risk）”的AI系統(tǒng)，因其處于“可進(jìn)入市場(chǎng)但受嚴(yán)格監(jiān)管”的關(guān)鍵區(qū)間，且會(huì)觸發(fā)最完整的合規(guī)義務(wù)（包括但不限于風(fēng)險(xiǎn)管理與數(shù)據(jù)治理、技術(shù)文檔與日志留存、準(zhǔn)確性/穩(wěn)健性/網(wǎng)絡(luò)安全、符合性評(píng)估與CE標(biāo)識(shí)、歐盟數(shù)據(jù)庫(kù)登記，以及投放后監(jiān)測(cè)與嚴(yán)重事件報(bào)告等[注5] ），對(duì)企業(yè)的產(chǎn)品設(shè)計(jì)、上線與運(yùn)營(yíng)產(chǎn)生最大合規(guī)影響，因此，AI產(chǎn)品出海歐盟時(shí)，首問(wèn)便是我是“高風(fēng)險(xiǎn)”嗎？
圍繞“高風(fēng)險(xiǎn)”的認(rèn)定，AIA采用“雙路徑”分類，包括：作為/包含產(chǎn)品安全組件的系統(tǒng)（AIA第6（1）條），以及以特定使用場(chǎng)景為標(biāo)準(zhǔn)分類的系統(tǒng)（AIA第6（2）條及Annex III）。下文將分別介紹，并首先聚焦第6（2）條。
(一)高風(fēng)險(xiǎn)AI的“場(chǎng)景清單”：按圖索驥的風(fēng)險(xiǎn)分類與例外
1.“場(chǎng)景清單”：AIA第6（2）條
就AIA第6（2）條而言，其分類邏輯相對(duì)直接——被收錄于附件III的AI系統(tǒng)一律認(rèn)定為高風(fēng)險(xiǎn)，而附件III則按具體應(yīng)用場(chǎng)景作出列舉與說(shuō)明，概述整理可見(jiàn)下表；對(duì)被列為高風(fēng)險(xiǎn)的AI系統(tǒng)，其原因、依據(jù)則在AIA的序言進(jìn)行了一一說(shuō)明；而根據(jù)AIA序言第48條，其將AI系統(tǒng)劃分為高風(fēng)險(xiǎn)類別的核心標(biāo)準(zhǔn)，即其對(duì)《歐盟基本權(quán)利憲章》（Charter of Fundamental Rights of the European Union，下稱《憲章》）所保護(hù)的基本權(quán)利造成的負(fù)面影響程度。據(jù)此，下表將高風(fēng)險(xiǎn)AI系統(tǒng)、AIA“序言”闡釋的歸類依據(jù)、可能危及的基本權(quán)利（依據(jù)《憲章》）一一對(duì)應(yīng)整理如下：
表1：AIA附件III高風(fēng)險(xiǎn)AI系統(tǒng)、歸類依據(jù)及權(quán)利風(fēng)險(xiǎn)映射表
2.高風(fēng)險(xiǎn)分類的“出口”：豁免條件與評(píng)估機(jī)制
(1)高風(fēng)險(xiǎn)分類的豁免機(jī)制
AIA立法過(guò)程中也意識(shí)到[注6]，即便列在附件III高風(fēng)險(xiǎn)情景中的AI系統(tǒng)，若其僅提供純粹輔助性作用的、僅對(duì)人類行動(dòng)或決策產(chǎn)生輕微影響（例如用于信息翻譯或文檔管理的AI系統(tǒng)），其實(shí)并不對(duì)法律權(quán)益構(gòu)成重大風(fēng)險(xiǎn)。在此背景下，AIA在第6（3）條規(guī)定了第6（2）條的例外，即以下四種不屬于高風(fēng)險(xiǎn)的情況：
表2：AIA第6（3）條高風(fēng)險(xiǎn)豁免情形一覽表
(2)自然人畫(huà)像：絕對(duì)高風(fēng)險(xiǎn)AI
但是，只要涉及到“自然人畫(huà)像分析（profiling of natural persons）”功能的AI系統(tǒng)，始終應(yīng)被視為高風(fēng)險(xiǎn)。[注8]
AIA中的“畫(huà)像（Profiling）”是直接引用的《通用數(shù)據(jù)保護(hù)條例》（General Data Protection Regulation, （EU） 2016/679） 第4（4）條的一個(gè)概念，是指“對(duì)個(gè)人信息進(jìn)行的任何形式的自動(dòng)化處理，該處理利用個(gè)人信息來(lái)評(píng)估與某一自然人相關(guān)的特定個(gè)人特征，尤其是分析或預(yù)測(cè)與該自然人在工作表現(xiàn)、經(jīng)濟(jì)狀況、健康狀況、個(gè)人偏好、興趣愛(ài)好、可靠性、行為、位置或動(dòng)向等方面的情況”；
“個(gè)人畫(huà)像”之所以必須被視為高風(fēng)險(xiǎn)場(chǎng)景，是因?yàn)樗徽J(rèn)為是一種能夠同時(shí)、系統(tǒng)性地沖擊和危害《憲章》中多項(xiàng)重要權(quán)利的AI應(yīng)用，它會(huì)深度挖掘海量個(gè)人信息，從而威脅到隱私和數(shù)據(jù)保護(hù)權(quán)（第7條和第8條），它通過(guò)將人簡(jiǎn)化為數(shù)據(jù)標(biāo)簽來(lái)限制其發(fā)展和選擇自由，它損害了人的尊嚴(yán)（第1條）和職業(yè)選擇自由（第15條）等自主權(quán)利，它可能依賴存在偏見(jiàn)的數(shù)據(jù)來(lái)延續(xù)和放大歧視，違反了非歧視原則（第21條）；最后，其自動(dòng)化處理導(dǎo)致不透明的“黑箱”特性，使得個(gè)人無(wú)法理解決策原因，從而剝奪了他們?cè)跈?quán)利受損時(shí)獲得有效救濟(jì)的權(quán)利（第47條）。
歐盟司法實(shí)踐中一個(gè)典型的判例，是歐盟法院（CJEU）于2023年12月7日針對(duì)SCHUFA Holding案（案件號(hào)：C-634/21）[注9]。SCHUFA是德國(guó)主要的私營(yíng)征信機(jī)構(gòu)，它通過(guò)算法自動(dòng)為個(gè)人計(jì)算信用評(píng)分（一種典型的畫(huà)像分析），并將其提供給銀行等第三方機(jī)構(gòu)。在本案中，一名德國(guó)公民因其較低的SCHUFA評(píng)分而被銀行拒絕了貸款申請(qǐng)，但SCHUFA以商業(yè)秘密為由，拒絕向其披露評(píng)分的具體計(jì)算方法和所涉?zhèn)€人數(shù)據(jù)。歐盟法院于2023年12月7日裁定，SCHUFA生成的信用評(píng)分本身即構(gòu)成“自動(dòng)化個(gè)體決策”，并對(duì)數(shù)據(jù)主體產(chǎn)生法律或同等重大影響，因而適用GDPR第22條的禁止及例外情形，SCHUFA作為評(píng)分提供者須遵守透明度、可解釋性和申訴權(quán)等嚴(yán)格要求，從而明確了信貸評(píng)分機(jī)構(gòu)在“個(gè)人畫(huà)像”場(chǎng)景下的數(shù)據(jù)處理者責(zé)任，為各類AI驅(qū)動(dòng)的自動(dòng)化決策系統(tǒng)合規(guī)設(shè)定了重要先例。
3.風(fēng)險(xiǎn)如何量化？情景分類方法的理論基礎(chǔ)與合規(guī)實(shí)踐
當(dāng)人工智能相關(guān)風(fēng)險(xiǎn)將被用作政府監(jiān)管的依據(jù)，因而須建立評(píng)估和分類這些風(fēng)險(xiǎn)的統(tǒng)一方法。監(jiān)管機(jī)構(gòu)、標(biāo)準(zhǔn)組織及其他利益相關(guān)方多年來(lái)一直致力于開(kāi)發(fā)風(fēng)險(xiǎn)評(píng)估框架和科學(xué)方法論。然而，許多損害要么完全不可量化，要么在可量化問(wèn)題中摻雜了隱性的政策選擇。[注10]
(1)分類的基石：當(dāng)“風(fēng)險(xiǎn)”遇見(jiàn)“權(quán)利”
第一個(gè)政策選擇便是將AIA的風(fēng)險(xiǎn)防范理念深植于《憲章》的權(quán)利保護(hù)框架，然而，當(dāng)法律試圖用“權(quán)利”這把尺子去度量“風(fēng)險(xiǎn)”這個(gè)復(fù)雜概念時(shí)，一系列關(guān)于合理性與精確性的問(wèn)題便浮出水面。要理解AIA情景分類的潛在局限，我們必須首先審視“風(fēng)險(xiǎn)”與“權(quán)利”之間錯(cuò)綜復(fù)雜的關(guān)系。
a.風(fēng)險(xiǎn)與權(quán)利的關(guān)系
“風(fēng)險(xiǎn)”并非嚴(yán)格的法律概念，從廣義上講，“風(fēng)險(xiǎn)”意味著帶來(lái)不利影響的未確定因素[注1]。前人研究已用實(shí)例論證過(guò)在法律語(yǔ)境下對(duì)“風(fēng)險(xiǎn)”進(jìn)行準(zhǔn)確界定充滿困難[注12]，部分原因在于“風(fēng)險(xiǎn)”的內(nèi)涵跨越統(tǒng)計(jì)、經(jīng)濟(jì)[注13]和政治科學(xué)[注14]等學(xué)科，同時(shí)還因?yàn)槿藗儗?duì)風(fēng)險(xiǎn)的認(rèn)知難以做到足夠理性，往往會(huì)夸大低概率但高沖擊事件的風(fēng)險(xiǎn)（如恐怖襲擊或飛機(jī)事故），而低估高概率的日常風(fēng)險(xiǎn)（如肥胖或慢性病）[注15]。
在哲學(xué)與法律層面，“風(fēng)險(xiǎn)”不僅關(guān)乎概率。Judith Jarvis Thomson曾通過(guò)一系列“風(fēng)險(xiǎn)暴露”思想實(shí)驗(yàn)（例如“打開(kāi)爐灶是否可能致使鄰居死亡”）探討[注16]：在何種情況下，對(duì)他人施加風(fēng)險(xiǎn)在道德和法律上可被接受，何時(shí)構(gòu)成侵權(quán)或須承擔(dān)責(zé)任。她指出，某些行為即使未造成實(shí)際損害或發(fā)生概率極低，仍可能侵犯他人權(quán)利。例如，露天焊接可能引發(fā)火災(zāi)，即使未發(fā)生事故，鄰居仍可因潛在危險(xiǎn)要求中止該行為。相反，在某些情形中，即便發(fā)生損害，行為也可能不被追責(zé)。例如駕駛員遵守交規(guī)正常行駛，若因動(dòng)物突然竄出導(dǎo)致事故，其行為通常不被視為違法，責(zé)任有限。
由此，將風(fēng)險(xiǎn)定義為“某一危害發(fā)生的概率”與“其后果嚴(yán)重程度”（很大程度取決于其可能危害的“權(quán)利”）的結(jié)合[注17]——這也正是AIA所采納的“風(fēng)險(xiǎn)”定義[注18]。
但就是由此定義出發(fā)，要對(duì)某項(xiàng)風(fēng)險(xiǎn)類型及其嚴(yán)重程度達(dá)成共識(shí)，也是困難重重。在關(guān)于AIA的立法談判中，關(guān)于在歐盟應(yīng)禁止哪些人工智能行為、又應(yīng)將哪些AI系統(tǒng)劃為“高風(fēng)險(xiǎn)”的問(wèn)題展開(kāi)了熱烈的辯論。[注19]
b.難以評(píng)估的“風(fēng)險(xiǎn)”
正如學(xué)者們指出的[注20]，AIA目前并未確立判定AI何時(shí)對(duì)社會(huì)與個(gè)人構(gòu)成“高風(fēng)險(xiǎn)”的標(biāo)準(zhǔn)，而是由歐委會(huì)[注21]提供一份清單來(lái)確定某一特定AI系統(tǒng)歸屬的風(fēng)險(xiǎn)類別。與GDPR立法前長(zhǎng)期積累的數(shù)據(jù)保護(hù)案例、規(guī)則、各國(guó)法律等基礎(chǔ)不同，由于AI技術(shù)近年來(lái)的迅速發(fā)展，人工智能應(yīng)用在短時(shí)間內(nèi)積累的真實(shí)案例還不足以支撐其一套完善、精密、經(jīng)得住時(shí)間考驗(yàn)的監(jiān)管體系的構(gòu)建，連歐委員也不得不承認(rèn)“由于缺乏數(shù)據(jù)和監(jiān)測(cè)人工智能這一新興技術(shù)的手段，關(guān)于人工智能使用所造成危害的可靠且具有代表性的證據(jù)十分匱乏”[注22]，因此，其在制定法案時(shí)只能過(guò)度地依賴公開(kāi)咨詢意見(jiàn)[注23]。而在咨詢過(guò)程中，采用的封閉式問(wèn)題和預(yù)設(shè)答案的方式，引發(fā)了對(duì)所收集數(shù)據(jù)的準(zhǔn)確性和代表性的質(zhì)疑[注24]。此外，咨詢結(jié)果與最終法案之間也存在差異，在某些方面，法案內(nèi)容甚至偏離了受訪者所表達(dá)的共識(shí)[注25]。因而有觀點(diǎn)認(rèn)為，該法案所謂的“風(fēng)險(xiǎn)”導(dǎo)向的方法既沒(méi)有建立在實(shí)證依據(jù)之上，也未能通過(guò)外部可驗(yàn)證的標(biāo)準(zhǔn)加以證明，而是高度依賴基于基本權(quán)利的路徑（rights-based approach），及AI系統(tǒng)運(yùn)用的場(chǎng)景，[注26]是特定時(shí)期政治妥協(xié)的結(jié)果，因此在很大程度上具有隨意性[注7]。
對(duì)商業(yè)實(shí)踐更不友好的是，AIA目前的監(jiān)管框架僅關(guān)注到新技術(shù)的潛在風(fēng)險(xiǎn)并進(jìn)而施加了合規(guī)成本[注28]，卻并未認(rèn)可新技術(shù)的潛在獲益更別提相應(yīng)的支持政策[注29]，若無(wú)法通過(guò)比例性評(píng)估減輕監(jiān)管負(fù)擔(dān)，將抑制創(chuàng)新，并喪失AI技術(shù)可為AIA旨在保護(hù)的價(jià)值觀帶來(lái)的益處；為此，有研究建議根據(jù)比例法以半量化的方式更加精準(zhǔn)地評(píng)估風(fēng)險(xiǎn)。[注30]
從企業(yè)實(shí)務(wù)角度，需要關(guān)注監(jiān)管框架發(fā)展、完善走向，更需要在產(chǎn)品設(shè)計(jì)階段前瞻性地融入合規(guī)考量。具體而言，企業(yè)應(yīng)建立跨部門的AI治理機(jī)制，將法務(wù)、技術(shù)、產(chǎn)品團(tuán)隊(duì)緊密協(xié)作，在系統(tǒng)開(kāi)發(fā)初期就評(píng)估其可能觸發(fā)的風(fēng)險(xiǎn)分類，避免后期成本高昂的合規(guī)改造。同時(shí)，鑒于AIA風(fēng)險(xiǎn)分類標(biāo)準(zhǔn)的演進(jìn)性，企業(yè)還需建立持續(xù)監(jiān)測(cè)機(jī)制，跟蹤歐委會(huì)對(duì)AIA附件III的動(dòng)態(tài)調(diào)整，以及各成員國(guó)執(zhí)法實(shí)踐的差異化趨勢(shì)，確保產(chǎn)品合規(guī)策略與監(jiān)管環(huán)境保持同步。
c.從規(guī)則到實(shí)務(wù)：高風(fēng)險(xiǎn)分類的模糊地帶
盡管AIA設(shè)立高風(fēng)險(xiǎn)系統(tǒng)清單（附件III）及4類例外（第6（3）條）的分類“救濟(jì)”框架，但是，實(shí)踐中該框架仍難完全排除劃定“高風(fēng)險(xiǎn)”時(shí)所存在的不確定性，而難點(diǎn)就藏在多項(xiàng)難以量化的、高度情境化的事實(shí)判斷：
? 情景一（是否適用第6（3）條的例外）：具體AI系統(tǒng)的輸出是否對(duì)后續(xù)決定構(gòu)成“實(shí)質(zhì)性影響”，還是僅執(zhí)行狹窄的程序性任務(wù)、前置性準(zhǔn)備，或僅用于檢測(cè)決策模式偏差、且保留充分的人類復(fù)核步驟；
? 情景二（是否落入第6（3）條但書(shū)）：是否涉及對(duì)自然人進(jìn)行“畫(huà)像（profiling）”。
? 情景三：是否造成對(duì)健康、安全或基本權(quán)利的“顯著風(fēng)險(xiǎn)”；
例如，一個(gè)AI驅(qū)動(dòng)的“技能匹配與工作機(jī)會(huì)推薦”系統(tǒng)，即使企業(yè)聲稱該系統(tǒng)僅提供建議，最終的職業(yè)發(fā)展決策完全由員工和管理者自主做出，但如果絕大多數(shù)員工都傾向于接受AI推薦的機(jī)會(huì)，而忽略其他選擇，那是否會(huì)被認(rèn)為事實(shí)上“實(shí)質(zhì)性影響”了員工的職業(yè)發(fā)展，進(jìn)而應(yīng)將其歸類為“高風(fēng)險(xiǎn)”？同樣，該系統(tǒng)的訓(xùn)練數(shù)據(jù)中女性在管理崗位的代表性不足，AI可能會(huì)較少向女性推薦管理職位，從而間接造成歧視，即便企業(yè)采取措施減輕偏見(jiàn)，但其是否對(duì)基本權(quán)利產(chǎn)生“顯著風(fēng)險(xiǎn)”則是難以量化的。
這些判斷取決于具體AI系統(tǒng)的用途、部署流程與組織治理設(shè)計(jì)，難以按照抽象規(guī)則一刀切。在實(shí)際市場(chǎng)中，不少AI產(chǎn)品游走于高風(fēng)險(xiǎn)邊緣，以Microsoft Viva Insights這類辦公“協(xié)作與行為指標(biāo)”工具為例，官方將其定位為提升效率的數(shù)據(jù)洞察平臺(tái)產(chǎn)品[注31]，其“會(huì)議與通信負(fù)荷分析”功能在去標(biāo)識(shí)并基于團(tuán)隊(duì)層級(jí)展示數(shù)據(jù)時(shí)，能被視為低風(fēng)險(xiǎn)。然而，若該功能下鉆至個(gè)人層級(jí)并用于績(jī)效評(píng)估，便可能轉(zhuǎn)為高風(fēng)險(xiǎn)，顯示出同一產(chǎn)品風(fēng)險(xiǎn)歸類因功能用途有所不同。因此，監(jiān)管機(jī)構(gòu)對(duì)Microsoft 365等生產(chǎn)力工具在監(jiān)控效應(yīng)及數(shù)據(jù)處理中的潛在風(fēng)險(xiǎn)保持高度關(guān)注[注32]。
實(shí)際上，歐委會(huì)也在立法中意識(shí)到從規(guī)則到實(shí)務(wù)之間存在模糊地帶，所以在技術(shù)上亦有意保留“事后+情境化”的裁量空間，在AIA第6（5）條項(xiàng)下要求在2026年2月2日內(nèi)發(fā)布“操作性指南”與“高風(fēng)險(xiǎn)實(shí)例清單”[注33]。
(2)應(yīng)對(duì)建議：擁抱動(dòng)態(tài)合規(guī)，構(gòu)筑風(fēng)險(xiǎn)管理多重防線
在目前監(jiān)管口徑尚未完全明確的背景下，謹(jǐn)慎的合規(guī)路徑是：在產(chǎn)品投放市場(chǎng)或投入使用前，依AIA第6（4）條形成“非高風(fēng)險(xiǎn)”自我評(píng)估，形成書(shū)面記錄并按規(guī)定在歐盟數(shù)據(jù)庫(kù)登記。
在設(shè)計(jì)與部署中盡量避免對(duì)自然人進(jìn)行畫(huà)像，或確保畫(huà)像不被用于直接影響個(gè)體權(quán)利義務(wù)的決定；對(duì)任何涉人事等高風(fēng)險(xiǎn)屬性的輸出中設(shè)置實(shí)質(zhì)性、可追責(zé)的人類復(fù)核，并完善技術(shù)與流程留痕以支撐“非實(shí)質(zhì)性影響/僅前置準(zhǔn)備/偏差檢測(cè)+人工復(fù)核”的主張。
同時(shí)，亦需持續(xù)跟蹤第6（5）條項(xiàng)下即將發(fā)布的指南及實(shí)例對(duì)分類邊界的細(xì)化，必要時(shí)主動(dòng)比照高風(fēng)險(xiǎn)要求“向上對(duì)齊”，或主動(dòng)調(diào)整部分功能以確保不落入高風(fēng)險(xiǎn)范疇，以在不確定期降低執(zhí)法與合規(guī)風(fēng)險(xiǎn)。
(二)融入NLF：產(chǎn)品安全視角下的高風(fēng)險(xiǎn)AI
除了AIA第6（2）條項(xiàng)下較為直觀的“應(yīng)用場(chǎng)景”歸類法，AIA通過(guò)嫁接歐盟現(xiàn)有的“新立法框架”（NLF）[注34]，對(duì)作為/包含安全組件的AI系統(tǒng)，按照AIA第6（1）條進(jìn)行高風(fēng)險(xiǎn)劃分。所謂“新立法框架”（New Legislative Framework，下稱“NLF”），即歐盟內(nèi)部通行的一套高度協(xié)調(diào)統(tǒng)一的產(chǎn)品安全監(jiān)管體系，其核心在于以歐盟范圍的統(tǒng)一協(xié)調(diào)立法（Harmonisation Legislation，下稱《協(xié)調(diào)立法》[注35]）規(guī)定產(chǎn)品的基本健康與安全要求，輔以統(tǒng)一標(biāo)準(zhǔn)（Harmonised Standards）和嚴(yán)格的第三方符合性評(píng)估程序（Conformity Assessment），確保產(chǎn)品可加貼CE標(biāo)志（CE Marking），在全歐盟范圍內(nèi)自由流通。而AIA第6（1）條所聚焦的“安全組件（Safety Component）”則是指產(chǎn)品或AI系統(tǒng)中用于實(shí)現(xiàn)該產(chǎn)品或AI系統(tǒng)安全功能的部件，其故障或失效會(huì)危及人員健康與安全或財(cái)產(chǎn)安全[注36]。
1.嫁接于產(chǎn)品法的高風(fēng)險(xiǎn)AI分類
AIA第6（1）條規(guī)定，只要AI系統(tǒng)滿足以下兩個(gè)條件，即應(yīng)被視為高風(fēng)險(xiǎn)系統(tǒng)：
? 條件一：（i）AI系統(tǒng)作為產(chǎn)品的安全組件，或（ii）AI系統(tǒng)本身即為產(chǎn)品；在前述任一情形下，相應(yīng)的最終產(chǎn)品需接受附件I《協(xié)調(diào)立法》的規(guī)制；并且
? 條件二：條件一中的最終產(chǎn)品根據(jù)《協(xié)調(diào)立法》的規(guī)定，在投放市場(chǎng)或投入使用前，必須經(jīng)過(guò)第三方機(jī)構(gòu)的符合性評(píng)估（third-party conformity assessment，下稱“TCA”）
梳理?xiàng)l款規(guī)定，可按下圖流程做出AIA第6（1）條下是否屬于高風(fēng)險(xiǎn)AI系統(tǒng)的判定：
圖1：AIA第6（1）條高風(fēng)險(xiǎn)評(píng)估流程圖
從上述第6（1）條的內(nèi)容可見(jiàn)，AIA對(duì)高風(fēng)險(xiǎn)的分類，部分仍脫胎于原有的產(chǎn)品責(zé)任法律框架（NLF）。實(shí)際上，在AIA立法初期，歐委會(huì)就曾考量并論證AI系統(tǒng)產(chǎn)品是否可以通過(guò)既有的產(chǎn)品責(zé)任法律框架來(lái)監(jiān)管；[注37]但考慮到AI系統(tǒng)是具有自主智能系統(tǒng)，特別是其足以區(qū)分于其他傳統(tǒng)“產(chǎn)品”的高度的自動(dòng)化特征和極強(qiáng)的學(xué)習(xí)能力，立法者才最終決定對(duì)其單獨(dú)立法；但為了確保及促進(jìn)其和其他傳統(tǒng)產(chǎn)品一樣能安全、合規(guī)地在歐盟內(nèi)部市場(chǎng)的自由流通，AIA設(shè)立第6（1）條項(xiàng)下的高風(fēng)險(xiǎn)分類機(jī)制，將AI系統(tǒng)相關(guān)的新概念（例如“AI系統(tǒng)”“安全組件”），嫁接在歐盟現(xiàn)有且成熟的NLF產(chǎn)品質(zhì)量管理之上。
這帶來(lái)兩個(gè)直接問(wèn)題：（1）原有監(jiān)管體系下的風(fēng)險(xiǎn)分級(jí)標(biāo)準(zhǔn)是否仍然適用于AI系統(tǒng)；（2）AI新概念能否對(duì)接并適用于原有監(jiān)管體系。
2.現(xiàn)有產(chǎn)品安全法規(guī)框架是否適用于AI產(chǎn)品
(1)基于產(chǎn)品安全法規(guī)的“風(fēng)險(xiǎn)過(guò)濾”機(jī)制
AIA第6（1）條并不自行確定產(chǎn)品的風(fēng)險(xiǎn)等級(jí)，而是利用一個(gè)現(xiàn)成的 “風(fēng)險(xiǎn)過(guò)濾器”，即《協(xié)調(diào)立法》項(xiàng)下的強(qiáng)制性TCA。如果一個(gè)AI系統(tǒng)被用于一個(gè)已經(jīng)因?yàn)槠渥陨砉逃酗L(fēng)險(xiǎn)而被《協(xié)調(diào)立法》強(qiáng)制要求進(jìn)行TCA的產(chǎn)品上，那么這個(gè)AI系統(tǒng)就自動(dòng)“繼承”了這種高風(fēng)險(xiǎn)定性，被認(rèn)定為高風(fēng)險(xiǎn)AI系統(tǒng)。
這是借鑒了歐盟現(xiàn)有的《醫(yī)療器械法規(guī)》（Medical Devices Regulation，（EU）2017/745，下稱“MDR”）和《體外診斷醫(yī)療器械法規(guī)》（In Vitro Diagnostic Medical Devices Regulation,（EU）2017/746，下稱“IVDR”）將設(shè)備分為不同風(fēng)險(xiǎn)等級(jí)，并要求高風(fēng)險(xiǎn)設(shè)備進(jìn)行TCA的監(jiān)管框架[注38]。例如MDR就按照器械的預(yù)期用途（intended purpose）及其給人體帶來(lái)的潛在風(fēng)險(xiǎn)將醫(yī)療器械分為I類、IIa類、IIb類和III類[注39]，風(fēng)險(xiǎn)最高的III、IIb、IIa類器械均需公告機(jī)構(gòu)第三方符合性評(píng)估[注40]。
(2)現(xiàn)有機(jī)制的局限性與適用例外
但是，該框架并不適用于所有《協(xié)調(diào)立法》項(xiàng)下的產(chǎn)品，例如無(wú)線電設(shè)備產(chǎn)品，在其監(jiān)管法令《無(wú)線電設(shè)備指令》（Radio Equipment Directive，2014/53/EU，下稱“RED”）項(xiàng)下就沒(méi)有明確的產(chǎn)品風(fēng)險(xiǎn)分類，更無(wú)法按照風(fēng)險(xiǎn)等級(jí)施行TCA。進(jìn)一步梳理AIA附件I《協(xié)調(diào)立法》項(xiàng)下多個(gè)法規(guī)[注41]，對(duì)沒(méi)有明確風(fēng)險(xiǎn)分類的產(chǎn)品，強(qiáng)制要求進(jìn)行TCA的情境往往是相關(guān)產(chǎn)品無(wú)法完全依賴現(xiàn)有“協(xié)調(diào)標(biāo)準(zhǔn)（harmonised standards）”（下稱“協(xié)調(diào)標(biāo)準(zhǔn)”），例如產(chǎn)品未采用或僅部分采用協(xié)調(diào)標(biāo)準(zhǔn)、或尚無(wú)相關(guān)協(xié)調(diào)標(biāo)準(zhǔn)可用。
那么，對(duì)某一AI產(chǎn)品而言，是否協(xié)調(diào)標(biāo)準(zhǔn)缺位（或不完全適用）而導(dǎo)致的強(qiáng)制TCA就該是其被劃為高風(fēng)險(xiǎn)的充分理由呢？這需要進(jìn)一步了解什么是“協(xié)調(diào)標(biāo)準(zhǔn)”及其制定的流程及條件。
(3)“協(xié)調(diào)標(biāo)準(zhǔn)”缺失與高風(fēng)險(xiǎn)認(rèn)定的悖論
根據(jù)AIA第3（27）條及歐洲標(biāo)準(zhǔn)化的第1025/2012號(hào)，“協(xié)調(diào)標(biāo)準(zhǔn)”是指基于歐委會(huì)為適用《協(xié)調(diào)立法》而請(qǐng)求受認(rèn)可的標(biāo)準(zhǔn)制定機(jī)構(gòu)（recognised standardisation body）[注42]制定的歐洲標(biāo)準(zhǔn)技術(shù)規(guī)范，可重復(fù)或持續(xù)使用，但并不強(qiáng)制遵守[注43]。制定和采用協(xié)調(diào)標(biāo)準(zhǔn)對(duì)于供應(yīng)商來(lái)說(shuō)使得不同主體的創(chuàng)新方案能夠協(xié)同工作，從而促進(jìn)新產(chǎn)品、服務(wù)和流程的銜接和發(fā)展[注44]，而對(duì)于產(chǎn)品受眾來(lái)說(shuō)有利于其高效地信賴和接受創(chuàng)新的產(chǎn)品[注45]。
但并非所有新產(chǎn)品都能及時(shí)配備適用的協(xié)調(diào)標(biāo)準(zhǔn)，一套協(xié)調(diào)標(biāo)準(zhǔn)的制定始于歐委會(huì)的標(biāo)準(zhǔn)化請(qǐng)求，經(jīng)相關(guān)機(jī)構(gòu)開(kāi)發(fā)并通過(guò)合規(guī)性評(píng)估后方能發(fā)布[注46]。在歐盟當(dāng)前的標(biāo)準(zhǔn)化環(huán)境中，協(xié)調(diào)標(biāo)準(zhǔn)制定滯后主要因技術(shù)發(fā)展過(guò)快、領(lǐng)域復(fù)雜性和經(jīng)濟(jì)驅(qū)動(dòng)不足（如某些無(wú)線電設(shè)備市場(chǎng)需求低），而標(biāo)準(zhǔn)制定本身又需大量協(xié)調(diào)工作（如GSM成功依賴多方合作[注47]）。特別考慮到歐洲標(biāo)準(zhǔn)化組織（CEN/CENELEC/ETSI）成員廣泛，利益相關(guān)者在新技術(shù)上常難達(dá)成共識(shí)。上述技術(shù)性困難導(dǎo)致某產(chǎn)品的協(xié)調(diào)標(biāo)準(zhǔn)難產(chǎn)，卻在AIA項(xiàng)下成為該產(chǎn)品劃為“高風(fēng)險(xiǎn)”的原因，顯得依據(jù)不足。
3.AI新概念能否融入現(xiàn)有法律框架？
AIA引入的涉AI概念對(duì)原有NFL而言，很大程度是獨(dú)立的、特定的內(nèi)容，其是否能夠與所有《協(xié)調(diào)立法》無(wú)縫對(duì)接、良好運(yùn)作其實(shí)也存在挑戰(zhàn)。
以AIA項(xiàng)下的“安全組件”概念為例，其在AI語(yǔ)境下并未包含保障網(wǎng)絡(luò)安全（cybersecurity）的組件[注48]，但是，對(duì)《協(xié)調(diào)立法》之一的RED項(xiàng)下的“安全組件”來(lái)說(shuō)，2021年的《RED授權(quán)條例》[注49]已將其涉及的安全內(nèi)容擴(kuò)大到了網(wǎng)絡(luò)安全方面[注50]。這使得RED項(xiàng)下安全組件所需保障的內(nèi)容，超出了AIA項(xiàng)下對(duì)應(yīng)部分的保障范圍（即僅保護(hù)“人員健康與安全或財(cái)產(chǎn)安全”）。以智能手機(jī)中的無(wú)線電模塊嵌入的AI異常檢測(cè)系統(tǒng)為例，該AI系統(tǒng)可監(jiān)測(cè)數(shù)據(jù)流、識(shí)別并阻止未經(jīng)授權(quán)的數(shù)據(jù)傳輸或隱私泄露，該AI系統(tǒng)符合RED第3（3）（e）條對(duì)保護(hù)用戶隱私安全的要求，可被列為RED項(xiàng)下的網(wǎng)絡(luò)“安全組件”，但可能因其失效不直接導(dǎo)致物理傷害、亦并不直接保護(hù)“人員健康與安全或財(cái)產(chǎn)安全”，所以在AIA項(xiàng)下不屬于“安全組件”，不被放到高風(fēng)險(xiǎn)的分類，以至于該等AI系統(tǒng)間接衍生的數(shù)據(jù)安全風(fēng)險(xiǎn)、個(gè)人隱私泄露的風(fēng)險(xiǎn)乃至因此造成的銀行賬戶被盜等財(cái)產(chǎn)風(fēng)險(xiǎn)可能缺少有效的監(jiān)管。
同時(shí)，關(guān)于概念界定上，在關(guān)鍵數(shù)字基礎(chǔ)設(shè)施（critical digital infrastructure）領(lǐng)域，什么是“安全組件”還依賴AIA序言第55條的進(jìn)一步說(shuō)明，該條款強(qiáng)調(diào)安全組件必須"直接"（directly）保護(hù)基礎(chǔ)設(shè)施物理完整性或人身財(cái)產(chǎn)安全，且明確排除僅以網(wǎng)絡(luò)安全（cybersecurity）為目的的組件。然而，該解釋中對(duì)"直接性"的要求在現(xiàn)實(shí)中邊界不清，"直接"是否限于物理?yè)p害的即時(shí)因果鏈（如電磁輻射傷害），抑或包含一定程度的間接衍生風(fēng)險(xiǎn)？例如就智能電網(wǎng)負(fù)荷分配AI系統(tǒng)，雖非專門為人員、財(cái)產(chǎn)安全而設(shè)置的系統(tǒng)，但若其遭遇網(wǎng)絡(luò)攻擊，導(dǎo)致AI錯(cuò)誤分配電力以致區(qū)域電網(wǎng)過(guò)載熔斷，其間接后果仍可能非常嚴(yán)重[注51]。
同時(shí)，還需注意到，關(guān)鍵數(shù)字基礎(chǔ)設(shè)施若將AI系統(tǒng)作為其管理與操作中的安全組件，該AI系統(tǒng)根據(jù)AIA附件III（2）也會(huì)被歸為高風(fēng)險(xiǎn)。而當(dāng)關(guān)鍵數(shù)字基礎(chǔ)設(shè)施（例如6G網(wǎng)絡(luò)）由無(wú)線電設(shè)備構(gòu)成或依賴其作為組成部分時(shí)，就有可能帶來(lái)重復(fù)評(píng)估的情況。例如，當(dāng)AI系統(tǒng)作為天線的安全組件時(shí)，其在投放市場(chǎng)或投入運(yùn)行之際即需接受評(píng)估；若該天線隨后被集成至6G網(wǎng)絡(luò)，且該天線的AI系統(tǒng)進(jìn)而成為網(wǎng)絡(luò)的安全組件，則該AI系統(tǒng)作為6G網(wǎng)絡(luò)的一部分必須再次接受評(píng)估。因此，同一要素可能因是否已集成于網(wǎng)絡(luò)而接受兩次、且標(biāo)準(zhǔn)不同的評(píng)估：無(wú)線電設(shè)備中安全組件的合規(guī)評(píng)定須由第三方執(zhí)行，而關(guān)鍵數(shù)字基礎(chǔ)設(shè)施的合規(guī)評(píng)定則由AI提供者自行完成。
結(jié) 語(yǔ)
在探討AIA高風(fēng)險(xiǎn)分類框架的過(guò)程中，我們從風(fēng)險(xiǎn)分層邏輯入手，深入剖析了雙路徑機(jī)制的運(yùn)作細(xì)節(jié)、附件III情境的豁免例外、分類模糊地帶的判斷挑戰(zhàn)，以及NLF框架下標(biāo)準(zhǔn)缺位與概念對(duì)接的實(shí)際難題，這些內(nèi)容不僅揭示了監(jiān)管的嚴(yán)謹(jǐn)性，也暴露了其在AI動(dòng)態(tài)環(huán)境中的適應(yīng)性考驗(yàn)。
AIA對(duì)高風(fēng)險(xiǎn)的雙路徑分類體現(xiàn)了歐盟以基本權(quán)利為導(dǎo)向、疊加成熟產(chǎn)品安全框架的監(jiān)管路線，在實(shí)務(wù)上提供了可執(zhí)行的入口標(biāo)準(zhǔn)，但也不可避免地引入了三類不確定性——一是情境依賴與證據(jù)驅(qū)動(dòng)的邊界判斷（如“實(shí)質(zhì)性影響”“顯著風(fēng)險(xiǎn)”“畫(huà)像”），二是將“是否需TCA”作為高風(fēng)險(xiǎn)代理指標(biāo)在協(xié)調(diào)標(biāo)準(zhǔn)缺位時(shí)可能失真，三是AI概念與部門立法（尤其網(wǎng)絡(luò)安全范圍）的錯(cuò)位與重復(fù)評(píng)估。
基于此，企業(yè)應(yīng)當(dāng)將“先分類、再設(shè)計(jì)與投放”落到可審計(jì)的流程上：在市場(chǎng)投放前完成并保存第6（4）條項(xiàng)下的“非高風(fēng)險(xiǎn)”自我評(píng)估與登記；通過(guò)用途限定與系統(tǒng)設(shè)計(jì)盡量落入第6（3）條豁免（狹窄程序性任務(wù)/結(jié)果改進(jìn)/模式檢測(cè)/前置準(zhǔn)備），避免或隔離畫(huà)像功能；對(duì)涉人事與權(quán)利影響的輸出設(shè)置實(shí)質(zhì)性、可追責(zé)的人類復(fù)核與日志留痕；緊跟第6（5）條的操作性指南與高風(fēng)險(xiǎn)/非高風(fēng)險(xiǎn)實(shí)例清單，必要時(shí)對(duì)關(guān)鍵控制“向上對(duì)齊”至高風(fēng)險(xiǎn)要求以降低過(guò)渡期監(jiān)管風(fēng)險(xiǎn)；同時(shí)做好與部門產(chǎn)品法規(guī)的接口管理（梳理是否觸發(fā)TCA等），通過(guò)模塊化架構(gòu)與技術(shù)文檔映射，減少重復(fù)評(píng)估與標(biāo)準(zhǔn)錯(cuò)配帶來(lái)的負(fù)擔(dān)。如此，企業(yè)不僅能在現(xiàn)階段的規(guī)則與標(biāo)準(zhǔn)不完善中穩(wěn)妥合規(guī)，也能把合規(guī)轉(zhuǎn)化為可復(fù)用的工程化能力，加速進(jìn)入并服務(wù)歐盟市場(chǎng)。
（本文根據(jù)國(guó)浩北京合伙人廖理琳在第六屆國(guó)浩法治論壇中的發(fā)言整理。）
注釋及參考文獻(xiàn)
作者簡(jiǎn)介
廖理琳
國(guó)浩數(shù)字經(jīng)濟(jì)業(yè)務(wù)委員會(huì)暨法律研究中心秘書(shū)長(zhǎng)、國(guó)浩北京合伙人
業(yè)務(wù)領(lǐng)域：科技、電信與互聯(lián)網(wǎng)，投資與并購(gòu)、建設(shè)工程與房地產(chǎn)
郵箱：liaolilin@grandall.com.cn
【 特別聲明：本篇文章所闡述和說(shuō)明的觀點(diǎn)僅代表作者本人意見(jiàn)，僅供參考和交流，不代表本所或其律師出具的任何形式之法律意見(jiàn)或建議。】