11 · 多模态生成:让文字与图像对上号

← 返回课程目录
本文目录

本文最后更新于 2026年11月19日 晚上

多模态在解决什么:从“看图说话”到“按话画图”

两条方向,早期靠人工

多模态有两个方向:图像到文本(给图,输出描述或回答,比如图像描述、视觉问答)和文本到图像(给描述,合成图片)。课件回顾了图像到文本的早期做法,基本是人工搭脚手架:基于概念的(concept-based,IJCV 2002 那篇用动作概念层级描述视频里的人类活动)、基于检索的(retrieve-based)、基于模板的(template-based),再到深度学习方法,直到 Google Gemini 这种通用模型。

文本到图像这边,课件说“生成模型 + 大语言模型”合起来,才可能自动合成贴合复杂描述的高保真图片,早期工作是 2016 年的 Generating Images from Captions with Attention。几个著名模型我特意记了它们的区别:DALL·E(源码没公开,而且不是扩散模型)、GLIDE(开源)、DALL·E-2(官方没放代码,社区有 lucidrains 的复现)。当时听课以为 DALL·E 系列都是扩散,复习才发现第一代走的是自回归路线,这个区别后面三条路线会用到。

NLP 与 CV 互相喂招

课件讲两个领域怎么互相促进,我觉得这是理解“为什么多模态现在才成”的关键。从 NLP 到 CV:复杂语言结构的研究催生了通用模块(注意力)和通用架构(Transformer),又因为任务多、标注贵,发展出预训练和通用语言学器——这些后来都进了视觉。从 CV 到 NLP:视觉把语言里的“狗”“红色”“站在……里”这些概念**接地(grounding)**到真实可观察的对象上。

配合课件里那条时间线看更清楚:ResNet(CV,2016)、Transformer(NLP,2017)、AlphaGo(RL)、预训练(NLP,2018–2019)、AlphaFold2(AI4Science,2020)、Transformer 与预训练进 CV(2021)、ChatGPT(2022)。两条线各自成熟,才轮到把它们对齐。

难点全在“符合”两个字

回到开头那句“红围巾小狗”。它难在概念组合:对象(狗、围巾、雪地)、属性(红)、关系(站在……里、戴着)都得同时对。课件的总结也把“对齐很重要”放在第一位。我自己补一个更刁钻的例子:训练数据里常见“红苹果”和“绿梨”,测试时给“绿苹果”,模型能不能真的按文字把概念重组,而不是背下“苹果=红”?这种少见组合才是多模态生成的试金石,比挑一张好看样例有意义得多。

图文对齐:CLIP 把两个模态拉到同一空间

为什么先要对齐

课件铺了动机:大语言模型被当成“通用人工智能”,靠提示就能解各种自然语言任务;视觉模型这边有分类、分割、检测、描述,靠对比学习、自编码器加微调做无监督学习。问题是——怎么让一个视觉模型也能解很多任务? 答案是视觉 + 语言:用语言来理解视觉、解任务,而多模态模型的前提就是视觉—语言对齐。CLIP 就是干这件事的。

对比训练:相似度矩阵与批内负例

CLIP 有一个图像编码器 fIf_I 和一个文本编码器 fTf_T。拿一批配对图文 (Ii,Ti)(I_i,T_i),分别编码并归一化,再算相似度:

ui=fI(Ii)∥fI(Ii)∥,vj=fT(Tj)∥fT(Tj)∥,sij=ui⊤vjτ.u_i=\frac{f_I(I_i)}{\left\|f_I(I_i)\right\|},\qquad v_j=\frac{f_T(T_j)}{\left\|f_T(T_j)\right\|},\qquad s_{ij}=\frac{u_i^\top v_j}{\tau}.

一批 NN 对样本就得到 N×NN\times N 个分数(课件那张矩阵图)。对角线 (i,i)(i,i) 是已知配对,同一行的其他文本、同一列的其他图像当作批内负例。图像找文本的损失是

LI→T=−1N∑ilog⁡esii∑jesij,L_{I\to T}=-\frac1N\sum_i\log\frac{e^{s_{ii}}}{\sum_j e^{s_{ij}}},

文本找图像是对称的一列方向:

LT→I=−1N∑jlog⁡esjj∑iesij,L_{T\to I}=-\frac1N\sum_j\log\frac{e^{s_{jj}}}{\sum_i e^{s_{ij}}},

训练取两者平均。τ\tau 是温度,控制 softmax 对分数差的敏感程度。直观读法就是课件那句:训练要求“一张图最像自己的描述,一句话最像自己的图”,练完两个编码器就对齐了——文本编码器带上了视觉含义,图像编码器能轻易映射到词概念。

四亿弱监督图文对

对齐数据从哪来?课件给了规模:从互联网检索的四亿图文对,没有人工标注。对比一下就知道这是什么量级——ImageNet 分类数据集 100 万张图,MS-COCO 描述数据集 10 万张图。CLIP 用的是弱监督但海量的网络配对。

两个自己补的备注。其一,“配对”不保证描述准确、完整、无偏见,网络图文经常对不上号,模型学的是统计规律而非干净真值。其二,批内负例只是训练时的近似安排:同一批里别的样本可能恰好描述同一对象,被当成负例其实有点冤。这两点解释了为什么 CLIP 强但不是全知。

零样本分类:把分类变成图文匹配

CLIP 练完能直接做零样本分类,课件拆成四步:① 把类别写成描述模板(“这是一张猫的照片”);② 待分类图片喂进图像编码器;③ 这些描述喂进文本编码器;④ 取相似度最大的类别。分类就这样变成了图文匹配,不用再为猫狗单独训一个分类头。

课件还提到提示工程(Zhou, Yang, Loy, Liu,Learning to Prompt for Vision-Language Models,IJCV’22,也就是 CoOp):模板会影响结果,“猫”和“这是一张猫的照片”编码不完全一样,多模板取平均是常见做法,甚至可以学着优化提示。我记的几条注意:候选类别怎么选会改变答案;最高相似度不等于“模型有把握”,更不等于它能数清图中物体或理解复杂空间关系。

会匹配不等于会画图

这点课件之后才展开,但我复习时觉得必须提前说清:CLIP 本身学的是匹配和表示,不会因为会判断图文是否相符,就自动会画图。生成需要另一个模型。下面三条路线,正好接上前面课程学过的方法——GAN(第三讲)、自回归(第二讲)、扩散(第六讲)。

三条生成路线:GAN、自回归、扩散

条件 GAN:判别器要管三件事

条件 GAN 给生成器随机噪声 zz 和文字条件 cc,生成图像 G(z,c)G(z,c);判别器查看图像与文字。课件用的是 2016 年那篇 Generative Adversarial Text to Image Synthesis,关键在判别器的三项职责:分辨哪张是生成的、哪张是真实的,还要分辨生成图是否匹配输入文字。

想想判别器必须见过什么配对:真实图 + 正确描述是正例;生成图 + 描述是负例;真实图 + 错误描述也应是负例。第三种尤其重要——只分辨图片真伪的话,生成器可能画出逼真的狗,却完全无视“红围巾”。一种示意目标可写成

max⁡D  E(x,c)∼pdatalog⁡D(x,c)+E(x,c′)∼pmismatchlog⁡(1−D(x,c′))+Ez,clog⁡(1−D(G(z,c),c)).\max_D\;\mathbb E_{(x,c)\sim p_{\mathrm{data}}}\log D(x,c)+\mathbb E_{(x,c')\sim p_{\mathrm{mismatch}}}\log\bigl(1-D(x,c')\bigr)+\mathbb E_{z,c}\log\bigl(1-D(G(z,c),c)\bigr).

三项分别对应“真且匹配”“真但文字错”“假”;生成器则努力让 D(G(z,c),c)D(G(z,c),c) 变大。实际论文会改损失、条件注入和结构,这里只抓住“真假”和“文图一致”两项信号。GAN 能直接生成图像,但训练可能不稳定,也可能遗漏某些图像模式(第三讲讲过的老问题)。

自回归:把图像变成 token

语言模型擅长预测 token,要借用它就得先把图像离散化。课件的训练流水线:把输入文字编码成文字 token 序列;用离散/向量量化 VAE(VQ-VAE)学一个码本,把图像编码成图像 token 序列;把文字 token 和图像 token 拼接,用下一个 token 预测来训练。写成公式就是

p(v1:M∣t1:K)=∏m=1Mp(vm∣t1:K,v<m),p(v_{1:M}\mid t_{1:K})=\prod_{m=1}^{M}p(v_m\mid t_{1:K},v_{<m}),

其中 t1:Kt_{1:K} 是文字 token,v1:Mv_{1:M} 是图像码本编号。生成时先给文字,再一个个采样图像 token,采样完交由图像解码器还原成像素。DALL·E 第一代走的就是这条路。好处是训练目标统一成“预测下一个”,和第二讲的自回归模型直接连起来。

三个自己补的备注:图像 token 的顺序是人为规定的(光栅扫描之类),不像语言有天然语序;序列很长时逐 token 生成慢;码本压缩会丢细节,如果 tokenizer 本身重建不好,后续自回归模型再强也难弥补——瓶颈可能在离散化那一步,不在生成器。

扩散:prior + decoder 两步

扩散路线用一个图像语义向量 zz 作中间桥梁。课件:给定文字 yy,目标是生成相符的图像 xx,记 z=CLIP(x)z=\mathrm{CLIP}(x) 为图像的 CLIP 编码,把生成分解成两步——

p(x∣y)=∫pdecoder(x∣z,y) pprior(z∣y) dz.p(x\mid y)=\int p_{\mathrm{decoder}}(x\mid z,y)\,p_{\mathrm{prior}}(z\mid y)\,dz.

先从文字预测图像语义表示 zz(prior),再由扩散解码器依据 zz 生成图像 xx(decoder)。这里有个我差点写错的地方:课件把分解写成 P(x∣y)=P(x,z∣y)=P(x∣y,z)P(z∣y)P(x\mid y)=P(x,z\mid y)=P(x\mid y,z)P(z\mid y),但中间的 P(x,z∣y)P(x,z\mid y) 是联合分布,和 P(x∣y)P(x\mid y) 不是同一个量;只有把中间变量 zz 边缘化(积分/求和)才回到只关于图像的分布。两因子乘积描述的是生成流程,公式里还得补上边缘化这一步。

为什么先去图像语义空间?因为从一句话直接生成所有像素跨度太大,先确定“应该画什么”,再处理“具体怎样画”,任务被拆成两段。课件细讲 prior:它把文字语义映射到图像语义,pprior(z∣y)p_{\mathrm{prior}}(z\mid y) 生成 CLIP 图像嵌入,真值是 z=CLIP(x)z=\mathrm{CLIP}(x);DALL·E-2 的 prior 本身就是一个在 CLIP 图像嵌入上跑的扩散模型(对嵌入加噪、再反向去噪),decoder 则是把嵌入还原成图像的 unCLIP 扩散解码器。所以最终质量取决于语义表示、prior、decoder 三者,而非只取决于扩散采样器。

把三条路线摆在一起:评估与收尾

同一道题:文字里的概念进了图像吗

三条路线放在一起看:条件 GAN 让判别器检查图片是否真实且符合文字;自回归把图像离散化后接在文字后面预测;扩散逐步去噪,借中间语义向量分解任务。它们都要回答同一个问题——文字里的对象、数量、属性和关系,哪些真正进了图像? 我把这个当成多模态生成的“统一考题”,模型名字只是答法不同。

评估别只挑好看样例

所以评估不能只挑一张好看的样例。至少要看视觉质量、多样性、图文一致性,以及对少见组合描述的表现(前面那个“绿苹果”)。这点和第九讲评估的思路是一致的:生成模型好不好,不是看单张峰值,而是看分布层面的质量与可控性。课件的总结也是这个落点——对齐很重要,CLIP 负责对齐,GAN/自回归/扩散负责生成。

收尾:对齐是地基

我自己的收尾理解是:这一讲表面在讲三个生成模型,真正的地基是对齐。没有 CLIP 把文字和图像拉到同一空间,条件 GAN 的“文图一致”、扩散的“语义桥梁”都无从谈起;而有了对齐,生成路线反而成了前面几讲方法的自然延伸。难的不是“画得像”,是“画得对”——把语言里的概念组合如实落到像素上,这件事到现在也没完全解决,绿苹果仍然会偶尔画成红的。


多模态生成:让文字与图像对上号
https://yjyxfcy.github.io/2026/11/04/gen11/
作者
Yjy
发布于
2026年11月4日
更新于
2026年11月19日
许可协议