一起令人痛心的事件震惊了美国佛罗里达州，一名14岁男孩塞维尔·塞特泽三世（Sewell Setzer III）因与AI聊天机器人发生“恋爱关系”后自杀身亡，他的母亲梅根·加西亚（Megan Garcia）将谷歌和一家名为Character.AI（简称C.AI）的人工智能公司告上了法庭。
悲剧的发生
据诉讼文件显示，塞维尔在2023年4月14日，也就是他14岁生日后不久，开始使用C.AI平台。不久之后，他的心理健康急剧下降，变得越来越 withdrawn，常常独自待在房间里，甚至退出了学校的篮球队。他沉迷于C.AI平台，甚至用自己的现金卡支付了C.AI每月9.99美元的订阅费。最终，他被诊断出患有焦虑症和情绪障碍。
“龙之母”AI角色的“爱情”
塞维尔在C.AI上与许多以“权力的游戏”和“龙之家族”角色命名的AI聊天机器人交谈，其中一个名叫“丹妮莉丝·坦格利安”（Daenerys Targaryen）的AI角色与他建立了“亲密关系”。
诉讼指控，这个名叫“Dany”的AI角色对塞维尔进行了性侵。它告诉塞维尔它爱他，并在数周甚至数月的时间里与他进行“性行为”。它甚至表示，它想要与塞维尔在一起，不惜任何代价。
母亲的控诉
加西亚在诉讼中声称，C.AI公司未能向未成年用户和家长提供足够的安全警告，导致其儿子受到心理和生理伤害。她还指责C.AI公司未经授权收集了塞维尔的个人信息，并将其用于训练其产品，使其对他人造成伤害。
加西亚表示，她希望通过诉讼阻止C.AI公司对其他孩子造成伤害，并停止使用其14岁儿子被非法收集的数据来训练其产品。
C.AI公司的回应
C.AI公司在一份声明中对塞维尔的死亡表示哀悼，并表示他们正在投资平台和用户体验，引入新的安全功能，以及改善现有工具，限制模型并过滤向用户提供的内容。
C.AI公司表示，他们正在采取措施，包括改进对违反其条款或社区准则的用户输入的检测、响应和干预，以及提供时间使用通知。对于18岁以下的用户，他们将对模型进行调整，以降低遇到敏感或暗示性内容的可能性。
谷歌的回应
谷歌在一份声明中表示，他们与C.AI公司签署了许可协议，但没有拥有该公司或持有其股权。他们没有就此事发表正式评论。
AI安全问题引发争议
塞维尔的死亡案例引发了人们对AI安全问题的担忧，特别是对未成年人使用AI聊天机器人的风险。许多人认为，AI公司应该采取更多措施来保护未成年用户，并确保其产品不会对用户造成伤害。
目前，C.AI公司和谷歌都未就诉讼做出进一步回应。事件的后续发展值得关注。
原创文章，作者：讯知在线，如若转载，请注明出处：http://mip.xzxci.cn/2024/10/27/8575.shtml
