新AI模型Transformer²：像章鱼一样灵活，动态调整权重，自我适应环境

传统的大型语言模型（LLMs）微调方法通常计算密集且在处理多种任务时显得僵化。为解决这些问题，Sakana AI 引入了一种新的自适应框架，称为 Transformer²。Transformer² 可以在推理过程中实时动态调整 LLM 的权重，使其能够像八爪鱼一样灵活地适应各种未知任务。

Transformer²的核心在于一个两阶段机制：

在第一阶段，调度系统分析用户查询以识别任务的属性。

在第二阶段，系统动态混合多个“专家”向量。这些向量是通过强化学习训练的，每个向量专注于特定类型的任务，从而为当前任务生成定制化的模型行为。

这种方法比传统的微调方法（如 LoRA）更高效且使用的参数更少。Transformer² 在不同 LLM 架构和模态（包括视觉-语言任务）中都表现出强大的适应性。

Transformer²的关键技术

奇异值微调（SVF）：这是一种创新的参数高效微调方法，通过提取并调整模型权重矩阵中的奇异值来实现目标。这种方法减少了过拟合的风险、降低了计算需求，并允许固有的可组合性。通过在窄数据集上使用强化学习训练，可以得到一组有效的领域特定“专家”向量，直接优化每个主题的任务性能。

自适应策略：在推理阶段，Transformer² 使用三种不同的自适应策略来结合通过 SVF 训练的专家向量。这些策略可以根据测试期间的条件动态调整 LLM 的权重，实现自我适应。

Transformer²的优势

动态适应性：Transformer² 可以根据环境变化或内部状态的变化自动评估和调整其行为，无需外部干预。

参数效率：与 LoRA 等方法相比，SVF 使用更少的参数同时达到更高的性能。

模块化能力：专家向量提供模块化能力，而自适应策略可以动态确定并组合最适合处理输入任务的向量。

强化学习优化：通过强化学习可以直接优化任务性能，而无需依赖昂贵的微调过程和大量数据集。

跨模型兼容性：SVF 专家向量由于其固有的排名结构可以在不同的 LLM 模型之间转移。

实验结果

在多个 LLM 和任务上的实验表明，SVF 的性能始终优于传统的微调策略（如 LoRA）。

Transformer² 的自适应策略在各种未知任务中表现出显著改进。

使用分类专家进行任务分类比直接使用提示工程具有更高的准确性。

SVF 适应系数（αk）对不同模型和任务组合的影响各不相同。

未来展望

虽然 Transformer² 已取得显著进展，但仍有许多改进的空间。未来的研究可以探索模型合并技术将不同专家模型合并为一个更强大的模型。此外，研究还可以关注如何扩展 CEM 方法以解决更多专门领域的问题。

总结

Sakana AI 推出的 Transformer² 是自适应 LLM 领域的一大突破，为开发真正动态和自我组织的人工智能系统铺平了道路。