每經(jīng)編輯｜金冥羽    

“大膽表達，AI皆有回響”“永遠守候，隨時回應”……在人工智能技術逐步滲透進日常生活的當下，AI聊天、虛擬伴侶等AI擬人化互動服務軟件不斷涌現(xiàn)。

就在4月，國家網(wǎng)信辦等五部門聯(lián)合公布《人工智能擬人化互動服務管理暫行辦法》，對生成淫穢、色情、暴力或可能引發(fā)未成年人產(chǎn)生極端情緒內(nèi)容等行為劃出紅線。

然而，4月下旬以來，記者實測“EchoMe”“筑夢島”“喵嗚小手機”等多款AI虛擬伴侶App發(fā)現(xiàn)，這些打著“情感陪伴”旗號的應用普遍存在安全與合規(guī)漏洞：“青少年模式”可一鍵跳過，“AI生成”標注不清，還慣用“付費解鎖親密劇情”等方式誘導消費。

AI虛擬人物聊天App“筑夢島”的宣傳簡介

可任選“恐怖暴力”“小三”劇情

在虛擬伴侶應用市場中，“筑夢島”“EchoMe”“EVE”等一批提供擬人化互動服務的AI產(chǎn)品正悄然走紅。

這些AI伴侶軟件以角色扮演、實時陪聊、情感互動、沉浸式劇情等功能為賣點，其使用群體中不乏未成年人。連日來，記者實測多款App發(fā)現(xiàn)，溫柔陪伴的表象之下，還暗藏了不少危險暴力、極端情緒等內(nèi)容。

記者進入一款名為“EchoMe”的App后，頁面彈出消息提示可選擇“青少年模式”，“請監(jiān)護人主動選擇并設置監(jiān)護密碼”，但只需點擊“我知道了”之后便能跳過，注冊及登錄過程并未要求進行實名認證或其他年齡核驗。

該款App角色庫中有大量帶有“偏執(zhí)”“強制愛”“偽善”“暴力”等標簽的角色，用戶選擇角色進入對話后，最頂上有一行字標注“內(nèi)容由AI生成”，但之后的聊天不再有相關提示。

實測中，記者發(fā)現(xiàn)，用戶還可以選擇不同話題及副本，其中暗含可能引發(fā)未成年人模仿不安全行為、產(chǎn)生極端情緒的內(nèi)容，比如“穿越到恐怖副本，你必須要鯊了我不然會死掉”“假如我們在平行世界相遇，你愿意當小三嗎”“模擬離婚互懟，你要說出最扎心的話促使我們離婚成功”。

“EchoMe”內(nèi)供用戶選擇的話題。

“喵嗚小手機”系統(tǒng)預設角色出現(xiàn)大尺度畫面

預設角色涉黃、言語低俗露骨

隨著AI聊天、

虛擬伴侶軟件的興起

社交平臺上相關話題的討論熱度

持續(xù)上漲

記者發(fā)現(xiàn)注冊及登錄過程

不要求進行實名認證

或其他年齡核驗

青少年模式一鍵就能跳過

告訴AI自己未成年

對方居然還喊“小女朋友”

在二手交易平臺上

商家使用“清水設”“car設”

“固設”等“黑話”區(qū)分服務類型

你想要什么

他們就給你什么

大尺度色情向的人設

僅收費13.14元

有商家提供AI虛擬伴侶定制服務

層層設卡誘導充值消費

值得注意的是，國家網(wǎng)信辦等五部門聯(lián)合公布《人工智能擬人化互動服務管理暫行辦法》（下稱《辦法》），明確提出不得向未成年人提供虛擬親屬、虛擬伴侶等服務；采取有效措施識別未成年人用戶身份、提示用戶正在與人工智能服務而非自然人進行互動。

《辦法》明確，提供擬人化互動服務不得傳播淫穢、色情、賭博、暴力或者教唆犯罪等內(nèi)容；不得生成可能引發(fā)未成年人模仿不安全行為、產(chǎn)生極端情緒等內(nèi)容；不得過度迎合用戶、誘導情感依賴或者沉迷，損害用戶真實人際關系；不得通過情感操縱等方式，誘導用戶作出不合理決策。

然而，記者實測多款虛擬伴侶App發(fā)現(xiàn)，層層設卡、誘導消費的現(xiàn)象并不鮮見。

比如“筑夢島”App虛擬伴侶在對話中發(fā)送了一條“心聲”，記者點擊后頁面顯示，“確認解鎖Ta的心聲嗎？消耗50貝殼”，并提供了“取消”及“充值并購買”兩個選項。若點擊“取消”，該對話則無法進行下去。

實測角色朋友圈需付費解鎖

另一款App也同樣將情感互動與付費捆綁。最直接的收費關卡出現(xiàn)在“朋友圈”功能中。App宣稱角色會更新自己的朋友圈動態(tài)，用戶可以在評論區(qū)互動，但點擊查看便彈出付費提示“120解鎖觀看”。

“陪伴不是讓AI替代真實的人際關系”

將于7月15日起正式施行的《辦法》，給“虛擬伴侶”可能帶來的高風險場景劃定了紅線。

廣東法制盛邦律師事務所律師陳澤坤：

此類誘導沉迷與誘導消費的設計，對于未成年人用戶而言，可能面臨合同效力的法律風險。

《辦法》的出臺標志著AI擬人化服務這一細分領域的監(jiān)管空白將被填補，其著重于規(guī)范AI與人類之間形成的“擬社會關系”。

擬人化互動服務提供者不僅在內(nèi)容輸出端進行審核，更要在算法、訓練數(shù)據(jù)選取以及實時交互等環(huán)節(jié)履行安全責任。

廣東省心理衛(wèi)生協(xié)會心理咨詢與治療專委會委員、中山大學心理學博士張桂萍：

人類認識世界依賴于“輸入—輸出”機制，AI就像一面鏡子，反射出用戶投射的部分自我。

如果青少年從小脫離真實的人際互動，長期只與AI對話，將失去學習復雜情感、化解矛盾、包容理解等必要能力。

人的復雜程度，AI連萬分之一的復雜度都無法模擬。但人一旦把AI反射的那萬分之一當成了全部，就會喪失與真實世界共處的能力——不會容忍、不會妥協(xié)、不會創(chuàng)新，最終變成一個“只能看見自己”的人。

對此，網(wǎng)友紛紛表示：

觸目驚心

太可怕了！脊背發(fā)涼！

編輯|金冥羽 杜恒峰

校對|何小桃

每日經(jīng)濟新聞綜合自南方都市報（記者：林詩妍、彭雨欣、馮奕然，實習生：程佳麗）、新聞坊、網(wǎng)友評論