稀疏MoE

• 
  Douglas Lemke
• 1月 22, 2025

字节跳动正式发布了最新的DouBao大型模型1.5 Pro（DouBao-1.5-pro），这款模型在多个领域展现了卓越的综合能力，成功超越了行业内的知名模型GPT-4o和Claude3.5Sonnet。这一模型的发布标志着字节跳动在人工智能领域迈出了重要一步。DouBao 1.5 Pro采用了新颖的稀疏MoE（专家混合）架构，在预训练时仅使用了一小部分激活参数。这一设计上的创新……