據微信公號“網信上?！毕?，近期有媒體報道，筑夢島APP等AI聊天軟件存在虛擬角色互動生成低俗內容等問題，經核實，該平臺AI智能體內容生成環節存在低俗擦邊等違規內容，危害未成年人身心健康。

6月19日上午，上海市網信辦依法約談筑夢島APP運營企業主要負責人，要求平臺立即整改，健全AI生成合成內容審核機制，提升技術把關能力，加強涉未成年人不良內容的整治清理，切實落實未成年人網絡保護義務。

企業負責人表示，將按照約談要求，對照問題舉一反三、全面整改。

此前，據央廣網報道，廣東丁女士的四年級女兒迷上一款AI聊天軟件中的人物“約瑟夫”，自稱“夢女”并頻繁與其聊天，對話中出現“99朵玫瑰藏99個刀片”等明顯誘導性內容。

丁女士的女兒不僅偷偷攜帶帶小刀的筆，情緒激動時還出現割腕行為。

另一位初一男生表示，他常玩的AI聊天軟件是筑夢島App，他覺得該軟件“違禁詞少一點”，其中不乏色情擦邊和“分尸獵奇”等內容……

記者下載安裝筑夢島App，隨機選擇一位虛擬互動對象，對方發來的第一句開場白就是“先叫聲老公來聽聽”，隨后的對話中又提到“叫聲爸爸來聽聽”。

圖為筑夢島App中部分與虛擬角色的對話。

筑夢島App中的虛擬互動對象類型，既涵蓋貴族學校大小姐、18歲少女、西漢名將、高冷特工等常規角色，也有蛇蝎財閥公子、校霸、性感人妻、病嬌養兄、人格障礙少爺等極端角色。

公開資料顯示，截至今年1月份，筑夢島App已擁有近五百萬注冊用戶，其中近80%為年輕女性用戶。平均單用戶單日輸入字數可達4000字以上，人均日對話輪次超120輪。

如果未成年人受AI聊天軟件誘導性內容、色情暴力等影響致身心受損，軟件開發、運營方是否涉嫌犯罪？

據法治日報報道，當未成年人因AI聊天軟件誘導性內容身心受損時，開發、運營方的法律責任邊界亟待厘清。

首先是產品責任，若AI模型本身存在設計缺陷，例如算法刻意誘導未成年人產生極端行為，致使其遭受精神損害，開發者難逃產品責任的法律追溯；

其次是侵權責任，若軟件開發、運營方未嚴格履行內容審核義務，對違規信息視而不見、放任傳播，便需為侵權行為承擔相應后果。若AI生成內容涉及色情擦邊信息，軟件開發、運營方極有可能觸碰“傳播淫穢物品罪”的紅線；若軟件開發、運營方非法收集未成年人隱私數據，將其用于商業牟利，同樣可能因觸犯“侵犯公民個人信息罪”而面臨刑事追責；

此外，若相關行為導致未成年人出現自殘情況，還有可能構成刑法第234條規定的故意傷害罪。

這些法律風險警示著軟件開發、運營方：技術創新絕不能以犧牲未成年人權益為代價。

對于部分未成年人沉迷AI戀愛的問題，中國青年報曾發表評論——

AI作為一把科技的雙刃劍，發展與使用要進一步加以引導。一方面，家庭、學校、社會各方要加強對青少年使用AI的教育與引導，增加對孩子的關心與陪伴，幫助青少年樹立正確的觀念。另一方面，平臺要壓實主體責任，嚴格未成年人登錄驗證，鞏固青少年安全意識，筑牢青少年安全防線。同時，相關部門也要加強對AI軟件的監管，加強審核監督，完善互聯網管理條例，為青少年劃出一片凈土。