11 · 多模态生成:让文字与图像对上号
← 返回课程目录本文目录
The original article content is not automatically translated.
本文最后更新于 2026年11月19日 晚上
多模态在解决什么:从“看图说话”到“按话画图”
两条方向,早期靠人工
多模态有两个方向:图像到文本(给图,输出描述或回答,比如图像描述、视觉问答)和文本到图像(给描述,合成图片)。课件回顾了图像到文本的早期做法,基本是人工搭脚手架:基于概念的(concept-based,IJCV 2002 那篇用动作概念层级描述视频里的人类活动)、基于检索的(retrieve-based)、基于模板的(template-based),再到深度学习方法,直到 Google Gemini 这种通用模型。
文本到图像这边,课件说“生成模型 + 大语言模型”合起来,才可能自动合成贴合复杂描述的高保真图片,早期工作是 2016 年的 Generating Images from Captions with Attention。几个著名模型我特意记了它们的区别:DALL·E(源码没公开,而且不是扩散模型)、GLIDE(开源)、DALL·E-2(官方没放代码,社区有 lucidrains 的复现)。当时听课以为 DALL·E 系列都是扩散,复习才发现第一代走的是自回归路线,这个区别后面三条路线会用到。
NLP 与 CV 互相喂招
课件讲两个领域怎么互相促进,我觉得这是理解“为什么多模态现在才成”的关键。从 NLP 到 CV:复杂语言结构的研究催生了通用模块(注意力)和通用架构(Transformer),又因为任务多、标注贵,发展出预训练和通用语言学器——这些后来都进了视觉。从 CV 到 NLP:视觉把语言里的“狗”“红色”“站在……里”这些概念**接地(grounding)**到真实可观察的对象上。
配合课件里那条时间线看更清楚:ResNet(CV,2016)、Transformer(NLP,2017)、AlphaGo(RL)、预训练(NLP,2018–2019)、AlphaFold2(AI4Science,2020)、Transformer 与预训练进 CV(2021)、ChatGPT(2022)。两条线各自成熟,才轮到把它们对齐。
难点全在“符合”两个字
回到开头那句“红围巾小狗”。它难在概念组合:对象(狗、围巾、雪地)、属性(红)、关系(站在……里、戴着)都得同时对。课件的总结也把“对齐很重要”放在第一位。我自己补一个更刁钻的例子:训练数据里常见“红苹果”和“绿梨”,测试时给“绿苹果”,模型能不能真的按文字把概念重组,而不是背下“苹果=红”?这种少见组合才是多模态生成的试金石,比挑一张好看样例有意义得多。
图文对齐:CLIP 把两个模态拉到同一空间
为什么先要对齐
课件铺了动机:大语言模型被当成“通用人工智能”,靠提示就能解各种自然语言任务;视觉模型这边有分类、分割、检测、描述,靠对比学习、自编码器加微调做无监督学习。问题是——怎么让一个视觉模型也能解很多任务? 答案是视觉 + 语言:用语言来理解视觉、解任务,而多模态模型的前提就是视觉—语言对齐。CLIP 就是干这件事的。
对比训练:相似度矩阵与批内负例
CLIP 有一个图像编码器 和一个文本编码器 。拿一批配对图文 ,分别编码并归一化,再算相似度:
一批 对样本就得到 个分数(课件那张矩阵图)。对角线 是已知配对,同一行的其他文本、同一列的其他图像当作批内负例。图像找文本的损失是
文本找图像是对称的一列方向:
训练取两者平均。 是温度,控制 softmax 对分数差的敏感程度。直观读法就是课件那句:训练要求“一张图最像自己的描述,一句话最像自己的图”,练完两个编码器就对齐了——文本编码器带上了视觉含义,图像编码器能轻易映射到词概念。
四亿弱监督图文对
对齐数据从哪来?课件给了规模:从互联网检索的四亿图文对,没有人工标注。对比一下就知道这是什么量级——ImageNet 分类数据集 100 万张图,MS-COCO 描述数据集 10 万张图。CLIP 用的是弱监督但海量的网络配对。
两个自己补的备注。其一,“配对”不保证描述准确、完整、无偏见,网络图文经常对不上号,模型学的是统计规律而非干净真值。其二,批内负例只是训练时的近似安排:同一批里别的样本可能恰好描述同一对象,被当成负例其实有点冤。这两点解释了为什么 CLIP 强但不是全知。
零样本分类:把分类变成图文匹配
CLIP 练完能直接做零样本分类,课件拆成四步:① 把类别写成描述模板(“这是一张猫的照片”);② 待分类图片喂进图像编码器;③ 这些描述喂进文本编码器;④ 取相似度最大的类别。分类就这样变成了图文匹配,不用再为猫狗单独训一个分类头。
课件还提到提示工程(Zhou, Yang, Loy, Liu,Learning to Prompt for Vision-Language Models,IJCV’22,也就是 CoOp):模板会影响结果,“猫”和“这是一张猫的照片”编码不完全一样,多模板取平均是常见做法,甚至可以学着优化提示。我记的几条注意:候选类别怎么选会改变答案;最高相似度不等于“模型有把握”,更不等于它能数清图中物体或理解复杂空间关系。
会匹配不等于会画图
这点课件之后才展开,但我复习时觉得必须提前说清:CLIP 本身学的是匹配和表示,不会因为会判断图文是否相符,就自动会画图。生成需要另一个模型。下面三条路线,正好接上前面课程学过的方法——GAN(第三讲)、自回归(第二讲)、扩散(第六讲)。
三条生成路线:GAN、自回归、扩散
条件 GAN:判别器要管三件事
条件 GAN 给生成器随机噪声 和文字条件 ,生成图像 ;判别器查看图像与文字。课件用的是 2016 年那篇 Generative Adversarial Text to Image Synthesis,关键在判别器的三项职责:分辨哪张是生成的、哪张是真实的,还要分辨生成图是否匹配输入文字。
想想判别器必须见过什么配对:真实图 + 正确描述是正例;生成图 + 描述是负例;真实图 + 错误描述也应是负例。第三种尤其重要——只分辨图片真伪的话,生成器可能画出逼真的狗,却完全无视“红围巾”。一种示意目标可写成
三项分别对应“真且匹配”“真但文字错”“假”;生成器则努力让 变大。实际论文会改损失、条件注入和结构,这里只抓住“真假”和“文图一致”两项信号。GAN 能直接生成图像,但训练可能不稳定,也可能遗漏某些图像模式(第三讲讲过的老问题)。
自回归:把图像变成 token
语言模型擅长预测 token,要借用它就得先把图像离散化。课件的训练流水线:把输入文字编码成文字 token 序列;用离散/向量量化 VAE(VQ-VAE)学一个码本,把图像编码成图像 token 序列;把文字 token 和图像 token 拼接,用下一个 token 预测来训练。写成公式就是
其中 是文字 token, 是图像码本编号。生成时先给文字,再一个个采样图像 token,采样完交由图像解码器还原成像素。DALL·E 第一代走的就是这条路。好处是训练目标统一成“预测下一个”,和第二讲的自回归模型直接连起来。
三个自己补的备注:图像 token 的顺序是人为规定的(光栅扫描之类),不像语言有天然语序;序列很长时逐 token 生成慢;码本压缩会丢细节,如果 tokenizer 本身重建不好,后续自回归模型再强也难弥补——瓶颈可能在离散化那一步,不在生成器。
扩散:prior + decoder 两步
扩散路线用一个图像语义向量 作中间桥梁。课件:给定文字 ,目标是生成相符的图像 ,记 为图像的 CLIP 编码,把生成分解成两步——
先从文字预测图像语义表示 (prior),再由扩散解码器依据 生成图像 (decoder)。这里有个我差点写错的地方:课件把分解写成 ,但中间的 是联合分布,和 不是同一个量;只有把中间变量 边缘化(积分/求和)才回到只关于图像的分布。两因子乘积描述的是生成流程,公式里还得补上边缘化这一步。
为什么先去图像语义空间?因为从一句话直接生成所有像素跨度太大,先确定“应该画什么”,再处理“具体怎样画”,任务被拆成两段。课件细讲 prior:它把文字语义映射到图像语义, 生成 CLIP 图像嵌入,真值是 ;DALL·E-2 的 prior 本身就是一个在 CLIP 图像嵌入上跑的扩散模型(对嵌入加噪、再反向去噪),decoder 则是把嵌入还原成图像的 unCLIP 扩散解码器。所以最终质量取决于语义表示、prior、decoder 三者,而非只取决于扩散采样器。
把三条路线摆在一起:评估与收尾
同一道题:文字里的概念进了图像吗
三条路线放在一起看:条件 GAN 让判别器检查图片是否真实且符合文字;自回归把图像离散化后接在文字后面预测;扩散逐步去噪,借中间语义向量分解任务。它们都要回答同一个问题——文字里的对象、数量、属性和关系,哪些真正进了图像? 我把这个当成多模态生成的“统一考题”,模型名字只是答法不同。
评估别只挑好看样例
所以评估不能只挑一张好看的样例。至少要看视觉质量、多样性、图文一致性,以及对少见组合描述的表现(前面那个“绿苹果”)。这点和第九讲评估的思路是一致的:生成模型好不好,不是看单张峰值,而是看分布层面的质量与可控性。课件的总结也是这个落点——对齐很重要,CLIP 负责对齐,GAN/自回归/扩散负责生成。
收尾:对齐是地基
我自己的收尾理解是:这一讲表面在讲三个生成模型,真正的地基是对齐。没有 CLIP 把文字和图像拉到同一空间,条件 GAN 的“文图一致”、扩散的“语义桥梁”都无从谈起;而有了对齐,生成路线反而成了前面几讲方法的自然延伸。难的不是“画得像”,是“画得对”——把语言里的概念组合如实落到像素上,这件事到现在也没完全解决,绿苹果仍然会偶尔画成红的。