最近，浙江大学与阿里巴巴达摩院合作发布了一项值得关注的研究，旨在通过教学视频创建高质量的多模态教科书。这项创新研究不仅为大规模语言模型（VLMs）的训练提供了新的见解，还可能改变教育资源的使用方式。
随着人工智能技术的快速发展，VLMs 的预训练数据主要依赖于图文配对数据和交织的图文语料库。然而，目前的数据大多来自网络，其中图文之间的关联性较弱，知识密度相对较低，这使得它们在支持复杂的视觉推理方面效果不佳。
为了解决这一挑战，研究团队决定从海量的教学视频中提取高质量的知识语料库。他们收集了超过 15.9 万条教学视频，并经过细致筛选和处理后，最终保留了 7.5 万条高质量视频，涵盖数学、物理和化学等多个学科，总时长超过 2.2 万小时。
研究人员设计了一个复杂的“视频到教材”的处理流程。首先，他们使用自动语音识别（ASR）技术将视频中的口头内容转录为文本。然后，通过图像分析和文本匹配筛选出与知识点高度相关的片段。最后，这些处理后的关键帧、OCR 文本和转录文本被交织在一起，形成了内容丰富且结构良好的多模态教材。
初步结果显示，与以往以网页为中心的数据集相比，新生成的教材数据集在知识密度和图像相关性方面表现出显著改进，为 VLMs 的学习提供了更坚实的基础。此外，这项研究在学术界引起了广泛关注，在 Hugging Face 平台上相关数据集迅速攀升至流行榜前列，在短短两周内下载量已超过 7,000 次。
通过这一创新尝试，研究人员不仅希望推动 VLMs 的发展，还希望通过这种方式为教育资源的整合与应用开辟新的可能性。
总结：本文介绍了浙江大学与阿里巴巴达摩院合作的一项研究项目。该项目旨在通过教学视频创建高质量的多模态教科书，并采用先进的技术手段处理这些视频内容。研究成果显著提升了知识密度和图像相关性，并在学术界引起了广泛关注。
