字节首次公开图像生成基模技术细节！数据处理到RLHF全流程披露

AIGC动态2天前发布 almosthuman2014

126 0 0

文章摘要

字节跳动旗下的豆包大模型团队近期在 arXiv 上发布了一篇技术报告，详细介绍了其文生图模型 Seedream 2.0 的技术细节。该模型于去年 12 月上线至豆包 APP 和即梦平台，是一个原生中英双语图像生成基础模型，具备强大的美感和文本渲染能力。Seedream 2.0 的核心目标是解决文生图领域的老大难问题，如图像生成的质量、细节丰富度、美感及结构性等，从而推动技术更大规模落地。

在数据处理方面，Seedream 2.0 团队构建了一个以“知识融合”为核心的预处理框架，通过四维数据架构、智能标注引擎和工程化重构三大技术突破，有效平衡了数据质量与知识多样性。四维数据架构包括优质数据层、分布维持层、知识注入层和定向增强层，确保了模型训练的高质量数据支撑。智能标注引擎通过三级认知进化，提升了图像描述的全面性和精准性。工程化重构则通过异构调度和三级流水线并行处理，大幅提高了数据处理效率。

在预训练阶段，Seedream 2.0 聚焦于双语理解与文字渲染，采用了全新的预训练架构设计。团队提出了基于 LLM 的双语对齐方案，通过大规模文本-图像对微调，使文本 Embedding 与视觉特征形成空间映射对齐，从而打破语言与视觉的次元壁。此外，团队还构建了双模态编码融合系统，让模型既能理解文本内容，又能关注字体字形，解决了传统文本渲染的两难困境。在多分辨率生成方面，团队对 DiT 架构进行了三重升级，引入了 QK-Norm 和 Scaling ROPE 技术，使模型能够生成从未训练过的图像尺寸和各种分辨率。

在后训练阶段，Seedream 2.0 通过 Continue Training (CT)、Supervised Fine-Tuning (SFT)、人类反馈对齐（RLHF）和 Prompt Engineering (PE) 四个阶段，进一步提升了模型性能。团队开发了人类反馈对齐（RLHF）优化系统，通过多维度偏好数据体系、三个不同奖励模型和反复学习机制，显著增强了模型在图像文本对齐、美学改进和文本渲染方面的能力。奖励曲线显示，不同奖励模型的表现分数值在整个对齐过程中呈现稳定且一致的上升趋势。

Seedream 2.0 的发布标志着字节跳动首次公开其图像生成基础模型的技术细节。团队表示，未来将持续探索更高效的 Scaling 模型参数及数据的创新技术，并基于强化学习进一步优化模型性能。随着 2025 年强化学习浪潮的兴起，团队计划在奖励模型设计及数据构建方案上进行更多探索，以推动行业技术发展。