01 · 第 1 讲：多模态学习导论

北京大学《多模态学习》（2026 秋）第 1 讲笔记，依据对应课程课件整理。

从图像、语言和声音之间的关系出发，先弄清多模态学习要解决哪些问题，再建立后续章节的地图。

第 1 章：多模态学习的地图

模态指信息的表达/感知通道，如图像、视频、文本、语音、音频、动作。多模态系统学习不同模态之间的关系：图文检索把图像和文字映射到可比较的语义空间；图像描述从视觉产生语言；视觉问答用图像和问题共同决定答案；视觉语言导航把观察与指令转为行动。McGurk 效应和噪声环境中的音视频语音识别曲线说明，不同通道会相互影响并互补，不意味着任何融合都一定提升表现。

多模态学习常从五个问题展开：

注意两个层次的“融合”：五大挑战中的 Fusion 是任务/问题类型；表示章节里的 fusion 是构造联合表示的具体策略。分析问题时先判断问的是任务类型，还是表示构造策略。

第 2 章：典型任务与难点

任务按输入输出辨别：图文检索输入一个模态、在另一模态的候选集合中排序；指代表达定位输入图像和短语、输出对应区域；视觉问答输入图像和问题、输出答案；视觉对话还依赖历史问答；视频问答需利用帧间时间信息；视觉语言导航把视觉观察和语言指令变成动作序列；图像描述是图像到文本，文生图方向相反。同一张图可能支持多个正确描述，评价生成任务不能只看是否逐字匹配某一句标准答案。

视觉为什么难：同一物体可受视角、光照、尺度、遮挡、背景变化影响；不同类别可长得相似，同类内部也差别很大。识别“有什么”与识别“在哪里、彼此什么关系”是不同层次。语言为什么难：词义随上下文变化，歧义、指代、长距离依赖、不同说法表达同义都很常见。多模态再增加“时间/空间不同步、粒度不同、某模态缺失或噪声更大”的问题，因此模型常同时需要表示、对齐和交互。

多模态信息可能冗余、互补，也可能彼此冲突。当一条通道不可靠时，融合权重也应随之调整；遇到冲突信息更不能简单平均。

历史线：早期视听行为研究说明人会联合感知；计算时代依靠人工特征和显式对齐；交互时代强调跨模态任务；深度学习时代由编码器学习特征与关系。梳理研究历史时，可关注方法思路如何从人工特征与显式对齐，转向由模型学习跨模态表示和关系。导论后半的应用图可结合输入输出理解。

第 3 章：为什么多一种模态会有帮助

想象在嘈杂地铁里听人说话：声音里某个音节被噪声盖住时，唇形可能提供线索；但如果画面和声音不同步，硬把两者合起来反而会误导识别。这说明多模态模型不只需要“更多输入”，还需要判断哪一路信息可信、两路信息是否说的是同一件事。

图像和文字也是如此。图片中有一人牵着狗，“狗”这个词可由图像区域提供证据；“牵着”则依赖人与狗之间的关系。如果只学习整图与整句是否匹配，模型可能认出两类物体，却仍说不准谁牵着谁。后续讲的表示、对齐、融合，就是针对这些不同层次的困难。

第 4 章：一次看懂五个问题之间的联系

以“根据图片回答‘谁拿着雨伞？’”为例。视觉编码器和文本编码器先做表示；“雨伞”要与图片中的物体区域对齐；问题与图像特征在模型里融合；若答案需要生成一句话，就涉及从视觉到文字的转换。训练数据不足时，还可能借图文预训练知识帮助问答任务，这属于协同学习。

五个问题不是互斥的课程章节，而是分析同一系统的五个角度。辨认一个多模态方法时，先写清输入、输出与监督信号，再问它主要改善哪个环节，比只记模型名字更可靠。