在多模态任务中，视觉-语言模型（VLMs）在图像检索、图像描述和医疗诊断等领域发挥着重要作用。这些模型的目标是将视觉数据与语言数据对齐，以提高信息处理的效率。然而，当前的VLMs在理解否定方面仍然面临重大挑战。
否定在许多应用中至关重要，比如区分“没有窗户的房间”和“有窗户的房间”。尽管VLMs取得了显著的进步，但在处理否定陈述时，它们的表现会大幅下降。这一限制在安全监控和医疗保健等高风险领域尤为重要。
现有的VLMs，如CLIP，使用共享嵌入空间来对齐视觉和文本表示。虽然这些模型在跨模态检索和图像描述等任务上表现出色，但在处理否定陈述时却显得力不从心。这一问题的根本原因在于预训练数据的偏见，这些数据主要由肯定的例子组成，导致模型将否定视为肯定的同义词。因此，现有的基准测试如CREPE和CC-Neg使用简单的模板示例，未能反映自然语言中否定的丰富性和深度。这给VLMs执行精确的语言理解任务带来了巨大挑战，例如查询医学影像数据库中的复杂条件。
为了解决这些问题，来自MIT、Google DeepMind和牛津大学的研究人员提出了NegBench框架来评估和改进VLMs对否定的理解能力。该框架评估了两个基本任务：Retrieval-Neg测试模型根据肯定和否定描述检索图像的能力；MCQ-Neg评估模型对细微理解的表现。NegBench利用了一个大型合成数据集，包括CC12M-NegCap和CC12M-NegMCQ，包含数百万个涵盖丰富多样否定场景的描述，从而增强了模型的训练和评估。
通过结合真实和合成数据集，NegBench有效地克服了现有模型的局限性，显著提高了它们的性能和泛化能力。微调后的模型在检索和理解任务中均显示出明显的改进，在处理否定查询时召回率提高了10%。在选择题任务中，准确率提高了高达40%，展示了其显著增强的能力来区分细微的肯定与否定描述。
NegBench引入填补了VLMs在理解否定方面的关键空白，并为开发更稳健的人工智能系统铺平了道路，特别是在医疗诊断和语义内容检索等关键领域。
论文：https://arxiv.org/abs/2501.09425
代码：https://github.com/m1k2zoo/negbench
总结：本文介绍了视觉-语言模型（VLMs）在处理否定方面存在的挑战，并详细阐述了NegBench框架如何通过引入丰富的合成数据集来改善这些模型的理解能力。NegBench框架不仅提升了现有模型的表现与泛化能力，在多个实际应用场景中也展示了显著的进步。关键点：
- 🌟 研究揭示了视觉-语言模型在理解否定方面的不足之处，主要源于训练数据中的偏见。
- 📈 NegBench框架通过引入丰富的否定示例显著提升了模型在检索和理解任务中的性能。
- 🔍 经过微调的模型在处理否定查询时显示出显著提高的准确率和召回率，推动了人工智能系统的进步。
