让 AI 生成的图像更符合人类精细偏好天津配资公司，在 32 块 H20 上训练 10 分钟就能收敛。
腾讯混元新方法让微调的 FLUX1.dev 模型人工评估的真实感和美学评分提高 3 倍以上。
当前的扩散模型虽然能通过奖励机制来贴合人类喜好，但存在两个问题：一是优化步骤少，容易出现 "奖励作弊"，也就是模型为了拿高分生成质量差的图；二是需要离线调整奖励模型才能达到好的美学效果，不够灵活。
为此，团队提出两个关键方法：
一个是 Direct-Align，通过预先注入噪声，能从任意时间步恢复原图，避免了只在后期步骤优化的局限，减少了 "奖励作弊"。
另一个是语义相对偏好优化（SRPO），它把奖励变成受文本控制的信号，通过添加正面和负面提示词，能在线调整奖励，不用额外数据就能灵活适配需求。
论文公开后，有开发者评价 SRPO 看起来就像下一代 RLHF。
在整个扩散轨迹上进行优化
研究团队首先指出了现有方法的两个核心痛点：第一，多步去噪过程中的梯度计算成本极高，导致优化只能局限在扩散过程的最后几步；第二，为了达到理想的美学效果，往往需要不断地离线调整奖励模型。
为了解决第一个问题，团队提出了 Direct-Align 方法。
首先预定义一个噪声先验，通过插值直接从任意时间步恢复原始图像。团队发现，扩散状态实际上就是噪声和目标图像之间的插值。
这个方法让模型能够从高噪声状态直接恢复出清晰图像，避免了传统方法在早期时间步反向传播时的梯度爆炸问题。实验表明，即使在只有 5% 去噪进度的极早期阶段，Direct-Align 也能恢复出图像的粗略结构。
更重要的是，这种方法支持在整个扩散轨迹上进行优化，而不是像 ReFL、DRaFT 等方法那样只能在后期步骤训练。
实验发现，仅在后 25% 时间步训练会导致严重的奖励黑客问题，模型会过度拟合奖励函数的偏好，比如 HPSv2 偏好红色调、PickScore 偏好紫色图像等。
SRPO 让奖励信号更聪明
第二个创新是语义相对偏好优化（SRPO）。传统方法通常需要多个奖励模型来平衡不同的偏好，但团队发现这只是调整了奖励的规模，并没有真正对齐优化方向。
SRPO 的核心思想是将奖励重新定义为文本条件信号。具体来说，对于同一张图像，模型会使用正面和负面提示词分别计算奖励，然后取其相对差值作为优化目标。
在实际应用中，团队只需在原始提示词前添加控制短语（如" . "）就能实现在线调整。实验显示，通过添加" Realistic photo "等控制词，模型生成图像的真实感提升了约 3.7 倍，美学质量提升了 3.1 倍。
SRPO 能够通过简单的提示词控制实现多种风格调整，包括亮度调节、漫画风格转换等。有趣的是，控制效果的强弱与控制词在奖励模型训练集中的出现频率相关——高频词如" painting "效果最好，而低频词如" Cyberpunk "则需要与其他高频词组合使用。
实验结果
研究团队在 FLUX.1-dev 模型上进行了全面的实验验证。与 ReFL、DRaFT、DanceGRPO 等最新方法相比，SRPO 在多个评估指标上都取得了最佳成绩。
在 HPDv2 基准测试的 3200 个提示词上，SRPO 不仅在自动评估指标（Aesthetic Score v2.5、PickScore、ImageReward 等）上领先，更重要的是在人工评估中表现出色。团队组织了 10 名训练有素的标注员和 3 名领域专家，对 500 个提示词生成的图像进行了全面评估。
结果显示，在真实感维度上，原始 FLUX 模型的优秀率仅为 8.2%，而经过 SRPO 训练后飙升至 38.9%。在美学质量上，优秀率从 9.8% 提升到 40.5%，总体偏好度更是达到了 29.4% 的优秀率。
值得一提的是，DanceGRPO 虽然也能提升美学质量，但经常引入不良伪影，如过度的光泽感和明显的边缘高光。相比之下，SRPO 生成的图像在保持高美学质量的同时，纹理细节更加自然真实。
团队还进行了一项有趣的对比实验：他们发现经过短短 10 分钟 SRPO 训练的 FLUX.1-dev，在 HPDv2 基准上的表现已经超越了最新的开源版本 FLUX.1.Krea。
论文地址：
https://arxiv.org/abs/2509.06942
参考链接：
[ 1 ] https://x.com/_akhaliq/status/1966911634657390890
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 年度科技风向标「2025 人工智能年度榜单」评选报名开启啦！我们正在寻找 AI+ 时代领航者 点击了解详情
❤️� � 企业、产品、人物 3 大维度，共设立了 5 类奖项，欢迎企业报名参与 � �
一键关注 � � 点亮星标
科技前沿进展每日见天津配资公司
长富配资提示：文章来自网络，不代表本站观点。
- 上一篇：天津配资公司 重庆两江投资集团发行5亿期中期票据 利率2.35%
- 下一篇：没有了
相关文章
沪深京指数
热点资讯
推荐资讯
