AI模型能够理解视频和文本，这将解锁强大的新应用。

至少这是Twelve Labs的联合创始人Jae Lee的看法。

Lee可能有些偏见，因为Twelve Labs训练视频分析模型用于多种用途。

但他的说法可能有道理。

使用Twelve Labs的模型，用户可以搜索特定时刻、总结片段或提问，例如“穿红色衬衫的人什么时候进入餐厅？”这些功能非常强大——这也是公司吸引了Nvidia、Samsung和Intel等知名投资者的原因之一。

视频搜索 对于Lee来说，作为一名数据科学家，基本的视频搜索从未有意义过。

关键词搜索可以找到标题、标签和描述，但无法触及片段的实际内容。

“视频是增长最快且数据密集度最高的媒介，但大多数组织不会投入人力资源来整理他们的视频档案。

”Lee在接受TechCrunch采访时说，“即使你尝试手动标记，也无法解决问题。

在视频中找到特定时刻或角度就像在针堆里找针一样困难。

” 在找不到更好解决方案后，Lee招募了同伴Aiden Lee、SJ Kim、Dave Chung和Soyoung Lee共同构建一个解决方案。

这就是Twelve Labs的起源，该公司训练模型将文本映射到视频中的事件、动作、物体和背景声音。

像Google的Gemini这样的模型可以搜索片段内容，而微软和亚马逊等公司也提供视频分析服务以识别片段中的物体。

但Lee认为Twelve Labs的产品因其定制选项而与众不同，允许客户使用自己的数据来定制模型。

Twelve Labs联合创始人兼CEO Jae Lee “OpenAI和Google等公司正在投资通用多模态模型。

”Lee说，“但这些模型没有针对视频进行优化。

我们的差异化在于从一开始就专注于视频……我们相信视频值得我们全神贯注——这不是附加功能。

” 开发人员可以在Twelve Labs模型上创建应用程序来跨片段进行搜索等操作。

公司的技术可以驱动广告插入、内容审核以及从片段中自动生成精华集等功能。

当我在去年与Lee交谈时，我询问了Twelve Labs模型中潜在的偏见问题。

这是一个很大的风险因素。

2021年的一项研究发现，在涉及犯罪种族化报道的地方新闻片段上训练视频理解模型可能导致该模型学习种族主义模式。

Lee当时表示Twelve Labs计划发布与模型伦理相关的基准测试和数据集。

该公司尚未实现这一目标。

在我们最近的交谈中，Lee向我保证这些工具正在开发中，并且Twelve Labs在其所有模型发布前都会进行偏见测试。

“我们尚未正式发布偏见基准测试因为我们希望确保它们有意义、实用且可操作。

”他说，“我们的总体目标是开发基准测试不仅为我们负责还为行业树立标准……直到我们完全实现这一目标——并且有一个团队在努力——我们将积极致力于创建负责任地赋能组织、尊重人们的公民权利并推动技术变革的人工智能。

” Lee补充说Twelve Labs在其模型训练中混合使用公共领域和许可数据，并不为训练获取客户数据。

增长模式 视频分析仍然是Twelve Labs的核心业务。

为了保持灵活性，该公司还涉足“任何到任何”的搜索和多模态嵌入等领域。

其中一个Twelve Labs的模型Marengo可以在图像、音频和视频之间进行搜索，并接受参考音频记录、图像或视频片段来帮助引导搜索。

此外，该公司提供Embed API来为视频、文本、图像和音频文件创建多模态嵌入。

嵌入是数学表示法，捕捉不同数据点之间的意义和关系，适用于异常检测等应用。

Twelve Labs不断扩大的产品组合帮助初创公司赢得了企业、媒体和娱乐领域的客户。

两位主要合作伙伴是Databricks和Snowflake，它们正在将其工具集成到其产品中。

“目前有超过30,000名开发者使用我们的平台。

”Lee说，“例如我们与市政当局合作用于实时威胁检测、增强应急响应时间和协助交通管理。

” 作为战略支持的体现，Databricks和Snowflake本月通过各自的风投部门投资了Twelve Labs。

SK Telecom和HubSpot Ventures也参与其中，在弗吉尼亚州阿灵顿市非营利性风投In-Q-Tel的支持下投资了该公司。

新招聘 谈到招聘方面，Twelve Labs周四宣布任命Yoon Kim为其首席执行官：前SK Telecom CTO及Apple Siri的关键架构师之一。

Yoon还将担任首席战略官，并领导初创公司的激进扩张计划。

“对于像Twelve Labs这样的公司来说，在这个年龄阶段聘请总裁并不常见。

”Lee说，“但此举证明了我们所经历的需求。

”Yoon将在十二Labs位于旧金山的总部与首尔办公室之间分配时间。

“Yoon是帮助我们执行计划的关键人物——他将在关键收购中推动未来增长扩大全球影响力并使团队朝着雄心勃勃的目标保持一致。

” Lee表示未来几年的目标是进入新的相邻垂直领域如汽车和安全领域。

考虑到In-Q-Tel的投资涉及安全（以及可能国防工作），这似乎是显而易见的选择；不过Lee没有确认这一点。

“来自In-Q-Tel的投资反映了我们的技术在多个领域（包括国家安全）中的多功能性和潜力。

”Lee说，“我们总是愿意探索我们的技术可以产生积极有意义且负责任的影响并与我们的道德准则相一致的机会。

”