AI 图像生成技术正在迅速发展，但随之而来的是模型变得越来越大，这使得普通用户在训练和使用上的成本非常高。现在，一种名为“Sana”的新文本转图像框架出现了，它能够高效地生成高达 4096×4096 的超高清图像，并且即使在笔记本电脑的 GPU 上也能以惊人的速度运行。
Sana 的核心设计包括：
深度压缩自编码器：不同于传统自编码器将图像压缩8倍，Sana 使用的自编码器将图像压缩32倍，有效减少了潜在令牌的数量。这对于高效训练和生成超高清图像至关重要。
线性 DiT：Sana 将 DiT 中的所有传统注意力机制替换为线性注意力，这提高了高分辨率图像的处理效率，同时不牺牲质量。线性注意力将计算复杂度从 O(N²) 降低到 O(N)。此外，Sana 使用 Mix-FFN，在 MLP 中集成 3x3 深度卷积来聚合令牌的局部信息，从而消除位置编码的需求。
解码器风格文本编码器：Sana 使用最新的解码器风格小型 LLM（如 Gemma）作为文本编码器，取代常用的 CLIP 或 T5。这种方法增强了模型对用户提示的理解和推理能力，并通过复杂的指令和上下文学习提高图像与文本的对齐。
高效的训练和采样策略：Sana 使用 Flow-DPM-Solver 减少采样步骤，并采用高效的标题标签和选择方法加速模型收敛。Sana-0.6B 模型比大型扩散模型（如 Flux-12B）小 20 倍，速度快 100 倍以上。
Sana 的创新在于通过以下方法显著降低了推理延迟：
算法与系统协同优化：通过各种优化技术，Sana 将 4096x4096 图像的生成时间从 469 秒缩短到 9.6 秒，使其比当前最先进的模型 Flux 快 106 倍。
深度压缩自编码器：Sana 使用 AE-F32C32P1 结构，将图像压缩 32 倍，显著减少了令牌数量并加快了训练和推理速度。
线性注意力：用线性注意力替换传统的自注意力机制提高了高分辨率图像的处理效率。
Triton 加速：使用 Triton 来融合线性注意力模块的前向和后向内核过程，进一步加快了训练和推理速度。
Flow-DPM-Solver：这将推理采样步骤从 28-50 减少到 14-20 步，并且能够获得更好的生成结果。
Sana 表现非常出色。在 1024x1024 的分辨率下，Sana-0.6B 模型只有 5.9 亿参数，但整体性能达到 0.64GenEval，在许多大型模型中具有竞争力。此外，Sana-0.6B 可以部署在拥有 16GB 显存的笔记本电脑 GPU 上，在不到一秒的时间内生成 1024×1024 分辨率的图像。对于 4K 图像生成而言，Sana-0.6B 的吞吐量比最先进的方法（FLUX）快了超过 100 倍。Sana 不仅在速度上取得了突破，在复杂场景如文本渲染和对象细节方面也展示了竞争力的图像质量。
此外，Sana 还具备强大的零样本语言迁移能力。即使仅用英文数据进行训练，Sana 也能理解中文提示和表情符号，并生成相应的图像。
Sana 的出现降低了高质量图像生成的门槛，并为专业人士和普通用户提供强大的内容创作工具。Sana 的代码和模型将会公开发布。
总结：本文介绍了名为“Sana”的新文本转图像框架的技术特点及其优势。它能够高效地生成超高清图像，并且在处理效率上有了显著提升。此外，“Sana”还具备强大的零样本语言迁移能力，并且可以部署在普通笔记本电脑上进行快速图像生成。
