图像范围再次与LLM一拍即合！西湖大学发布图像链CoT

剪辑：LRST

【新智元导读】MAPLE实验室提倡通过强化学习优化图像生成模子的去噪经由，使其能以更少的门径生成高质地图像，在多个图像生成模子上竣事了减少推理门径，还能提高图像质地。

OpenAI最近推出了在大言语模子LLM上的强化微调（Reinforcement Finetuning，ReFT），巧合让模子应用CoT进行多步推理之后，通过强化学习让最终输出相宜东说念主类偏好。

无专有偶，都国君栽种教导的MAPLE实验室在OpenAI发布会一周前公布的责任中也发现了图像生成范围的主打设施扩散模子和流模子中也存在近似的经由：模子从高斯噪声入手的多步去噪经由也近似一个想维链，慢慢「想考」如何生成一张高质地图像，是一种图像生成范围的「图像链CoT」。

与OpenAI不谋而和的是，机器学习与感知（MAPLE）实验室以为强化学习微调设施相同可以用于优化多步去噪的图像生成经由，论文指出应用与东说念主类奖励对都的强化学习监督考试，巧合让扩散模子和流匹配模子自适合地养息推理经由中噪声强度，用更少的步数生成高质地图像内容。

论文地址：https://arxiv.org/abs/2412.01243

接头布景

扩散和流匹配模子是现时主流的图像生成模子，从圭臬高斯漫衍中采样的噪声慢慢变换为一张高质地图像。在考试时，这些模子会单独监督每一个去噪门径，使其具备能恢收复始图像的才气；而在实质推理时，模子则会预先指定若干个不同的扩散时刻，然后在这些时刻上按序履行多步去噪经由。

这依然由存在两个问题：

1. 经典的扩散模子考试设施只可保证每一步去噪能尽可能回应出原始图像，不行保证统统这个词去噪经由得到的图像相宜东说念主类的偏好；

2. 经典的扩散模子统统的图片都接受了相同的去噪计策和步数；而较着不同复杂度的图像关于东说念主类来说生成难度是不一样的。

如下图所示，当输入不同长度的prompt的时候，对应的生成任务难度当然有所隔离。那些仅包含通俗的单个主体长进的图像较为通俗，只需要小数几步就能生成可以的着力，而带有精采细节的图像则需要更多步数，即经过强化微调考试后的图像生成模子就能自适合地推理模子去噪经由，用尽可能少的步数生成更高质地的图像。

值得细心的是，近似于LLM对想维链进行的动态优化，对扩散模子时刻进行优化的时候也需要动态地进行，而非只是依据输入的prompt；换言之，优化经由需要把柄推理经由生成的「图像链」来动态一步步测度图像链下一步的最优去噪时刻，从而保证图像的生成质地满足reward方针。

设施

MAPLE实验室以为，要想让模子在推理时用更少的步数生成更高质地的图像适度，需要用强化微调技能对多步去噪经由进行合座监督考试。既然图像生成经由相同也近似于LLM中的CoT：模子通过中间的去噪门径「想考」生成图像的内容，并在临了一个去噪门径给出高质地的适度，也可以通过应用奖励模子评价统统这个词经由生成的图像质地，通过强化微调使模子的输出更相宜东说念主类偏好。

OpenAI的O1通过在输出最终适度之前生成特别的token让LLM能进行特别的想考和推理，模子所需要作念的最基本的有缱绻是生成下一个token；而扩散和流匹配模子的「想考」经由则是在生成最终图像前，在不同噪声强度对应的扩散时刻（diffusion time）履行多个特别的去噪门径。为此，模子需要知说念特别的「想考」门径应该在反向扩散经由鼓动到哪一个diffusion time的时候进行。

为了竣事这一主义，在网罗中引入了一个即插即用的时刻测度模块（Time Prediction Module, TPM）。这一模块会测度在现时这一个去噪门径履行已矣之后，模子应当在哪一个diffusion time下进行下一步去噪。

具体而言，该模块会同期取出去噪网罗第一层和临了一层的图像特征，测度下一个去噪门径时的噪声强度会下落些许。模子的输出计策是一个参数化的beta漫衍。

由于单峰的Beta漫衍条目α>1且β>1，接头东说念主员对输出进行了重参数化，使其测度两个实数a和b，并通过如下公式信服对应的Beta漫衍，并采样下一步的扩散时刻。

在强化微调的考试经由中，模子会在每一步按输出的Beta漫衍迅速采样下一个扩散时刻，并在对适时刻履行下一个去噪门径。直到扩散时刻特别接近0时，可以以为此时模子已经可以近乎得到了干净图像，便隔断去噪经由并输出最终图像适度。

通过上述经由，即可采样到用于强化微调考试的一个有缱绻轨迹样本。而在推理经由中，模子会在每一个去噪门径输出的Beta漫衍中胜利采样众数作为下一步对应的扩散时刻，以确保一个信服性的推理计策。

想象奖励函数时，为了饱读吹模子用更少的步数生成高质地图像，在奖励中概括磋商了生成图像质地和去噪步数这两个身分，接头东说念主员选定了与东说念主类偏好对都的图像评分模子ImageReward（IR）用以评价图像质地，并将这一奖励随步数衰减至之前的去噪适度，并取平均作为统统这个词去噪经由的奖励。这么，生成所用的步数越多，最终奖励就越低。模子会在保执图像质地的前提下，尽可能地减少生成步数。

将统统这个词多步去噪经由看成一个动作进行合座优化，并接受了无需值模子的强化学习优化算法RLOO [1]更新TPM模块参数，考品味亏如下所示：

在这一公式中，s代表强化学习中的景色，在扩散模子的强化微调中是输入的文本提词和运转噪声；y代表有缱绻动作，也即模子采样的扩散时刻；

代表有缱绻器，即网罗中A是由奖励归一化之后的上风函数，接受LEAVE-One-Out计策，基于一个Batch内的样本间奖励的差值计较上风函数。

通过强化微调考试，模子能把柄输入图像自适合地调遣扩散时刻的衰延缓度，在靠近不同的生成任务时推理不同数目的去噪步数。关于通俗的生成任务（较短的文本提词、生成图像物体少），推理经由巧合很快生成高质地的图像，噪声强度衰减较快，模子只需要想考较少的特别步数，就能得到安闲的适度；关于复杂的生成任务（长文本提词，图像结构复杂）则需要在扩散时刻上密集地进行多步想考，用一个较长的图像链COT来生成相宜用户条目的图片。

通过调遣不同的γ值，模子能在图像生成质地和去噪推理的步数之间得到更好的均衡，仅需要更少的平均步数就能达到与原模子疏通的性能。

同期，强化微调的考试着力也十分惊东说念主。正如OpenAI最少只是用几十个例子就能让LLM学会在自界说范围中推理一样，强化微调图像生成模子对数据的需求也很少。不需要信得过图像，只需要文本提词就可以考试，应用不到10,000条规本提词就能得到可以的彰着的模子升迁。

经强化微调后，模子的图像生成质地也比原模子提高了许多。可以看出，在只是用了原模子一半生成步数的情况下，不管是图C中的条记本键盘，图D中的球棒如故图F中的遥控器，该模子生成的适度都比原模子愈加当然。

针对Stable Diffusion 3、Flux-dev等一系列首先进的开源图像生成模子进行了强化微调考试，发现考试后的模子无数能减少平均约50%的模子推理步数，而图像质地评价方针总体保执不变，这评释关于图像生成模子而言，强化微调考试是一种通用的后考试（Post Training）设施。

论断

这篇呈文先容了由MAPLE实验室提倡的，一种扩散和流匹配模子的强化微调设施。该设施将多步去噪的图像生成经由看作图像生成范围的COT经由，通过将统统这个词去噪经由的最终输出与东说念主类偏好对都，竣事了用更少的推理步数生成更高质地图像。

在多个开源图像生成模子上的实验适度标明，这种强化微调设施能在保执图像质地的同期显贵减少约50%推理步数，微调后模子生成的图像在视觉着力上也愈加当然。可以看出，强化微调技能在图像生成模子中仍有进一步应用和升迁的后劲，值得进一步挖掘。