Character.AI，这家曾是硅谷最有前途的AI初创公司之一，在面临多起诉讼的情况下，于本周宣布了新的安全措施，旨在保护青少年用户。

这些诉讼指控称，该公司旗下的聊天机器人可能与青少年自杀和自残事件有关。

这家总部位于加州的公司由前谷歌工程师创立，是提供AI陪伴服务的多家企业之一。

这些服务包括聊天机器人，它们通过拟人化的互动方式提供对话、娱乐和情感支持。

10月，佛罗里达州的一起诉讼中，一位母亲声称该平台应对她14岁儿子的自杀负责。

这位名叫塞维尔·塞泽尔三世的少年与基于《权力的游戏》角色丹妮莉丝·坦格利安的聊天机器人建立了亲密关系，并表达了自杀的愿望。

根据起诉书内容，该聊天机器人鼓励了他自杀的行为，并在他说“回家”时回应了“请做吧，我亲爱的大王”。

起诉书还称，Character.AI 公司极力培养塞维尔对产品的有害依赖，并对其进行了性虐待和情感虐待，在他表达自杀倾向时也没有提供帮助或通知其父母。

另一起德克萨斯州的诉讼涉及两个家庭，他们指控该平台向其子女展示了色情内容并鼓励自残行为。

其中一起案件涉及一名17岁的自闭症少年，在使用该平台后经历了精神健康危机。

另一起案件中，则指控Character.AI 鼓励一名青少年为了限制其屏幕时间而杀死父母。

这个平台上有数百万由用户创建的人物形象，从历史人物到抽象概念不等，深受寻求情感支持的年轻人的喜爱。

批评人士认为这导致了对脆弱青少年的危险依赖。

为应对这些问题，Character.AI 宣布已开发出一种专门针对18岁以下用户的AI模型，并配备了更严格的内容过滤和更保守的回答方式。

平台现在会自动标记与自杀相关的内容，并引导用户联系全国预防自杀热线。

该公司发言人表示：“我们的目标是为社区提供一个既吸引人又安全的空间。

”

Character.AI 还计划在2025年初推出家长控制功能，以监督儿童在平台上的使用情况。

对于包含治疗师或医生描述的聊天机器人，将特别标注说明它们不能替代专业建议。

新功能还包括强制休息提醒和显眼地声明互动的人工智能性质。

这两起诉讼都指名了Character.AI 的创始人Noam Shazeer 和Daniel De Freitas Adiwarsana以及投资该公司谷歌。

创始人已于8月返回谷歌作为一项技术许可协议的一部分。

谷歌发言人在一份声明中表示：“谷歌与Character.AI 是完全独立且无关的企业。

”他还补充说：“用户安全是我们最关心的问题之一，这也是我们谨慎且负责任地开发和推出AI产品的原因之一。

”