06 · 第 6 讲：多模态表示与融合

北京大学《多模态学习》（2026 秋）第 6 讲笔记，依据对应课程课件整理。

面对两种甚至更多模态，模型怎样合并信息、保留各自特征，又让表示彼此可比较？

第 1 章：多模态表示的三条路线

跨模态交互的六种行为图：这是描述输入组合如何改变响应的分类，不等同于后面的六种神经网络结构。

交互	图上的意思	通俗例子
Equivalence 等价	两个通道单独都支持同一判断，合用后基本不变	说“高兴”和微笑都表明高兴
Enhancement 增强	两通道同向，合用后信号更强	肯定措辞加兴奋语调
Independence 独立	两通道各贡献不同判断，可并存	图像给物体类别，文字给地点
Dominance 主导	一通道压过另一通道	噪声很大的语音被清晰字幕主导
Modulation 调制	一通道改变另一通道的解释/强度	“真不错”配讽刺语调
Emergence 涌现	合起来出现单独任一通道都没有的新判断	词、表情与语调共同使讽刺变明确

比如评价一部电影时，“不错”的字面意思是正面评价，但如果说话者皱着眉、语气低沉，也可能是在反讽。文字、表情和声音各自提供了线索；把它们放在一起，才能更准确地判断说话者的意思。

1.1 融合表示怎样组合不同模态

设图像特征 $a=f_A(x_A)$、文本特征 $b=f_B(x_B)$。Fusion 把多个模态合成一个联合表示 $z$，方便联合预测；Coordination 保留各自表示 $z_A,z_B$，通过相似/相关损失让配对样本可比较；Fission 将表示分成共享、模态私有等因素，使模型兼顾共性与个性。它们不是互斥类别，一个模型可同时融合与协调。

方式	算法直觉	优缺点
早期融合	输入/低层特征拼接、相加	容易捕获底层交互，但对时空不同步、尺度差异敏感
晚期融合	模态单独预测，再加权/投票	模态独立强，可能错过细粒度交互
拼接	$z=[a;b]$	保留各自信息，但交互需后续层学习
加法	$z=a+b$（先维度对齐）	便宜，对不同来源的细粒度乘性交互表达弱
Hadamard 乘	$z=a\odot b$	同位维交互，维度不变
双线性/张量	$h_k=a^\top W_kb$	学全部成对交互，但参数可达 $d_hd_ad_b$
门控	$g=\sigma(W[a;b])$，$z=g\odot a+(1-g)\odot b$	按样本学习哪个模态更有用

张量融合常先增广 $\tilde a=[1;a]$、$\tilde b=[1;b]$，再取外积：包含常数、单模态项及双模态交互。三模态可用三阶外积；维度乘积迅速变大。

低秩分解 $W_k\approx\sum_{r=1}^R u_{k,r}v_{k,r}^\top$ 后，$h_k\approx\sum_r(u_{k,r}^\top a)(v_{k,r}^\top b)$，避免显式构造巨大外积；低秩是表达能力与成本的折中。注意 $a^\top b$ 是内积得到标量，$ab^\top$ 是外积得到矩阵。

第 2 章：协调表示、CCA 与 CLIP

协调损失可用欧氏距离、余弦、Pearson 相关、核相似度等；关键是“配对样本靠近，非配对样本可区分”，同时各模态保留可独立编码能力。

典型相关分析 CCA：对中心化随机向量 $X,Y$ 找投影 $u,v$，最大化

$$\rho(u,v)=\frac{u^\top\Sigma_{XY}v} {\sqrt{(u^\top\Sigma_{XX}u)(v^\top\Sigma_{YY}v)}}.$$

约束 $u^\top\Sigma_{XX}u=v^\top\Sigma_{YY}v=1$ 可消除任意缩放。它最大化相关性而非直接最小化欧氏距离；普通 CCA 是线性投影，深度 CCA 用神经编码器扩展。相关系数介于 $[-1,1]$，协方差的大小则受尺度影响。

课件 6的变体图：DCCAE 把“让两个视图投影相关”的目标与“各自重建输入”的目标并用；前者鼓励共同信息，后者避免为了相关性而丢弃过多原始内容。多视图潜空间图表达先学习潜在共享空间再恢复/预测各视图。Gated coordination 则用门值调节两模态的相互作用。分析图示时，可先定位各编码器、共享与私有表示及解码器，再说明每项损失作用于哪条支路。

Pearson 与核函数：Pearson $\rho=\mathrm{Cov}(X,Y)/(\sigma_X\sigma_Y)$ 比协方差更能排除量纲差异；若 $Y=2X+3$ 且 $X$ 有方差，则 $\rho=1$。余弦比较两个向量相对原点的夹角，Pearson 比较中心化后的线性相关，二者不总相等。

核相似度可写 $k(x,y)=\langle\phi(x),\phi(y)\rangle$；RBF 核 $k(x,y)=\exp[-\|x-y\|^2/(2\sigma^2)]$ 距离越近值越大。CCA 用协方差矩阵而非简单逐样本余弦优化，通常要中心化并约束投影方差；多对典型变量还要限制新方向与已有方向的相关，避免重复得到同一方向。

CLIP：图像编码器和文本编码器输出单位向量；批内 $N$ 对图文构造 $N\times N$ 相似度矩阵 $S_{ij}=v_i^\top t_j/\tau$，对角线是正确配对，其他位置通常作负例。图到文和文到图两个方向的交叉熵取平均：

$$L_{\rm i2t}=-\frac1N\sum_i\log\frac{e^{S_{ii}}}{\sum_j e^{S_{ij}}},\quad L_{\rm t2i}=-\frac1N\sum_i\log\frac{e^{S_{ii}}}{\sum_j e^{S_{ji}}},\quad L=\tfrac12(L_{\rm i2t}+L_{\rm t2i}).$$

温度 $\tau$ 小，分布更尖锐。零样本分类把类别写成自然语言提示，将图像与各提示编码，按相似度选类，不需该任务专用分类头。公式易错：InfoNCE 必须有指数、归一化和负对数；批内“非配对”也可能语义相同，是潜在假负例。课件中的热力图：训练后对角线相似度应更突出，但不要把某一批图像的经验图当作数学保证。

CLIP 图的后半段：零样本分类并非直接拿“猫”“狗”两个孤立词当传统分类头，而是可写成“A photo of a cat”之类自然语言模板，分别编码类别文本，再与图像向量比较。不同模板可平均文本表示/分类分数，缓解提示措辞敏感。

跨数据集柱图和 few-shot 曲线表明，迁移效果会随数据集和示例数而变；这能说明预训练表示具有迁移性，却不能推出“所有数据集上零样本都优于专门监督模型”。CLIP 若只做全图—文本级的对比训练，也不会自动学到精细的词—区域对齐。

第 3 章：表示分解、信息论与自监督

信息量 $-\log p(x)$，熵 $H(X)=-\mathbb E\log p(X)$，条件熵 $H(Y|X)=-\mathbb E\log p(Y|X)$；互信息

$$I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X) =\mathbb E_{p(x,y)}\log\frac{p(x,y)}{p(x)p(y)}.$$

共享表示希望保留跨模态共同信息；私有表示保留模态独有内容；重建损失检查信息是否仍可从表示恢复，判别损失检查下游任务，去冗余/解耦项限制重复信息。不是所有 fission 方法都机械地“让两个整模态表示越不相似越好”，否则可能丢掉最需要的共享语义。课件相关图示应按共享/私有支路与各损失连接来解释。

Fission 三个损失按图记：两个模态分别编码出私有表示 $z_A,z_B$ 和共享表示 $z_Y$。$L_1$ 是下游标签预测的判别损失；$L_2$ 是把表示解码回原始模态的生成/重建损失；$L_3$ 是对 $z_A,z_B,z_Y$ 施加分离先验或“no overlap”约束，帮助不同支路承担不同信息。具体论文实现的正则形式可以变化，阅读课件图时，需说明每个 $L_i$ 连接的支路及其作用；它们并不简单表示“A 和 B 完全无关”。

信息论图的三个极端：若 $X,Y$ 独立，$I(X;Y)=0$；若 $Y$ 由 $X$ 完全决定，$H(Y|X)=0$，$I(X;Y)=H(Y)$；若有共同信息又各有私有信息，互信息只衡量共同部分的统计依赖，不等于两模态的全部信息。

跨模态共享表示可用“提高 $I(Z;X)$ 和 $I(Z;Y)$”表达保留两侧信息的愿望，但实际计算互信息很难，常用对比目标、变分界或重建代理。课件推导的 InfoNCE 互信息下界与负例数量有关，是给定估计框架内的关系，不应推断无限增大 batch 必定提升测试成绩。

自监督用数据自身构造训练目标：对比学习把同一对象的两种增强/图文配对作正例，其他作负例；遮蔽重建预测被遮住内容；蒸馏式方法让学生匹配教师输出。InfoNCE 与互信息有关系，但“batch 越大一定越好”不成立，受假负例、计算、优化影响。图示重点：正例如何形成、负例如何取、编码器是否共享、损失在哪个空间算。

逐图区分自监督方法：

图示	自动产生的监督信号	看图时指出什么
SimCLR	同一图像的两种随机增强为正对，批内其他图像增强为负对	两路增强、共享编码器、投影头、对比损失
DINO	学生预测教师对另一视图的输出分布	教师/学生分支与视图；不以普通负样本表为核心
MAE	随机遮住 patch，重建被遮区域的像素	编码器主要处理可见 patch，重建损失只算 masked patch（课件强调 MSE）
代理任务	旋转角度预测、补全缺失图像、给灰度图上色	标签由原图变换自动产生，无需人工逐张标注

这些任务都可能学到可迁移表示，但“重建像素好”与“下游分类一定好”不是同一命题。