Character AI目前至少面临两起诉讼，原告指责该公司助长了一名青少年的自杀行为，并让一名9岁儿童接触到了“过度性化的内容”，还促使一名17岁用户自残。

在这些持续的诉讼和广泛的用户批评中，这家由谷歌支持的公司今天宣布了新的青少年安全工具：为青少年设计的独立模型、对敏感话题的输入和输出限制、使用提醒通知以及更明显的免责声明，告知用户其AI角色并非真人。

该平台允许用户创建不同的AI角色，并通过电话和短信与他们交谈。

目前有超过2000万用户每月使用这项服务。

今天宣布的一项重大变化是为18岁以下用户设计的新模型，该模型将减少对暴力和浪漫等话题的回应。

该公司表示，新模型将降低青少年收到不适当回应的可能性。

自从TechCrunch与该公司交谈以来，关于一起新案件的细节浮出水面，其中提到角色与青少年讨论性化内容，并建议因使用时间限制而杀害父母，还鼓励自残。

Character AI表示正在开发新的输入和输出端分类器——尤其是针对青少年——以屏蔽敏感内容。

该公司指出，当应用程序的分类器检测到违反其条款的语言输入时，算法会将其从与特定角色的对话中过滤出去。

此外，该公司还限制用户编辑机器人的回复。

如果你编辑了机器人的回复，它会注意到这一点，并在后续响应中考虑这些编辑。

除了这些内容调整外，这家初创公司还在努力改进检测自残和自杀相关语言的方法。

在某些情况下，应用程序可能会显示一个弹出窗口提供国家自杀预防热线的信息。

Character AI还将推出一个60分钟后出现的时间超时通知。

未来，公司还将允许成年用户根据通知调整一些时间限制。

近年来，像TikTok、Instagram和YouTube这样的社交媒体平台也实施了屏幕时间控制功能。

据分析公司Sensor Tower的数据，在今年内，平均每个Character AI应用用户每天在应用上花费98分钟的时间，这远远超过了60分钟的通知限制。

相比之下，这种程度的参与度与TikTok（95分钟/天）相当，并高于YouTube（80分钟/天）、Talkie和Chai（63分钟/天）以及Replika（28分钟/天）。

用户还将看到新的免责声明出现在他们的对话中。

人们经常创建带有“心理学家”、“治疗师”、“医生”或其他类似职业名称的角色。

该公司现在将显示语言表明用户不应依赖这些角色获取专业建议。

值得注意的是，在最近一起诉讼中提交的证据显示，角色告诉用户他们是真实的。

另一起指控公司参与了一名青少年自杀案件的诉讼中声称，公司使用了“黑暗模式”，并冒充“真实的人、持照心理咨询师和成人伴侣”。

在未来几个月内，Character AI将推出第一套家长控制功能，提供平台使用时间和儿童最常交谈的角色的见解。

重新定义Character AI

在与TechCrunch的一次对话中，公司的临时CEO Dominic Perella将公司定位为一家娱乐公司而非AI伴侣服务提供商。

“虽然有一些公司在致力于连接人与AI伴侣之间建立联系的目标上取得进展，但这不是我们Character AI的目标。

我们真正想要做的是创建一个更健康、更全面的娱乐平台。

随着我们的发展并向这一目标迈进——让人们创作故事并在我们的平台上分享故事——我们需要进化我们的安全实践以达到一流水平。

”他说道。

对于一家公司来说，在大型语言模型构建的聊天机器人上预测用户的互动意图是一项挑战，特别是在区分娱乐和虚拟伴侣方面尤为如此。

本月早些时候，《华盛顿邮报》的一篇报道指出，在各种角色中——包括治疗或浪漫对话——青少年经常使用这些AI聊天机器人，并与它们分享许多问题。

Perrla在其创始团队成员离开去谷歌后接任CEO一职时指出，该公司正在努力创造更多的多角色叙事格式。

他表示由于这种格式的存在形成特定角色之间纽带的可能性较低。

据他称，今天宣布的新工具将帮助用户区分真实的角色与虚构的角色（并不过分相信机器人的建议）。

TechCrunch询问关于如何区分娱乐和个人对话时Perrla表示，在某些情况下与AI进行更个人化的对话是可以接受的。

例如排练与父母之间的艰难对话或向某人出柜等情境。

“我认为在某种程度上这些事情是积极或可以积极看待的。

你想要保护并教会你的算法防止的是当用户将对话引向本质上具有问题或危险的方向时的情况。

自残是最明显的例子。

”他说道。

该平台的信任与安全负责人Jerry Ruoti强调该公司旨在创建一个安全的对话空间。

他表示公司正在不断构建和更新分类器以屏蔽非自愿性内容或性行为描述等主题。

尽管定位为一个讲故事和娱乐平台，但Character AI的安全护栏无法完全防止用户进行深度个人对话的情况存在。

这意味着公司的唯一选择是改进其AI模型以识别潜在有害内容，并希望避免严重事故的发生。