「用掃毒軟體檢測生成式AI」被指亂測 刑事局澄清:兩階段檢測嚴謹
刑事警察局11月16日發佈「慎用中國生成式 AI」示警報告,有媒體報導,立院人士指稱刑事局使用的檢測AI工具,是拿掃毒工具當AI量尺,本質上就是亂測,不具備檢測雲端AI模型的能力,刑事局晚間澄清,警方檢測分兩階段,標準各異且專業嚴謹。
中國時報網站報導,刑事局11月16日發佈「慎用中國生成式 AI」示警,並公佈一份檢測報告,稱「通義千問」、「騰訊元寶」在公平性、準確性等多項指標不合格。立院人士表示,刑事局使用的檢測工具,是隻能分析手機App的Mobile Security Framework(移動端安全檢測框架),根本不具備檢測雲端AI模型的能力,此事已獲數發部正式公文確認。
針對媒體報導質疑警方「用掃毒軟體檢測生成式AI」、「亂測」等情事,刑事警察局說,針對中國製生成式AI應用程式檢測,是採取「APP資安檢測」與「AI模型風險檢測」兩階段模式,兩者使用工具與依循標準截然不同。
APP資安檢測,是採用國際通用開源檢測框架,針對「APP應用程式」部分,刑事局採用開源軟體 Mobile Security Framework (MobSF,移動端安全檢測框架) 進行檢測,這是資安領域通用的標準程序,重點在於檢測軟體程式碼本身的安全性。
AI模型風險檢測則是依循NIST標準及國內AI評測指標,針對「生成式AI語言模型」的產出內容與風險,非使用MobSF或掃毒軟體檢測,而是透過自然語言提問進行實測。
刑事局是依據美國國家標準暨技術研究院(NIST)發佈的「人工智慧風險管理框架(AI RMF)」,制定「AI語言模型評測問題列表」進行檢測,檢測標準並參考臺灣AI產品與系統評測中心(AIEC)公告的10項AI評測項目進行。
刑事局表示,相關檢測作業都依循專業標準與國際框架,針對APP資安與AI內容風險分階段採用適當工具進行驗證。媒體報導所稱「用掃毒軟體測AI」,是將兩階段檢測工具混爲一談。
刑事局。本報資料照片