08 · 第 8 讲：视觉语言基础模型
北京大学《多模态学习》（2026 秋）第 8 讲笔记，依据对应课程课件整理。 前面的方法如何扩展到视觉与语言基础模型？这一讲把 ViT、BERT、GPT、参数高效微调和多模态 Transfor
多模态学习共计 8 篇文章
2026
07 · 第 7 讲：跨模态对齐与注意力
北京大学《多模态学习》（2026 秋）第 7 讲笔记，依据对应课程课件整理。 图像里的区域如何对应句子中的词？从图像描述的对齐问题出发，逐步理解注意力与 Transformer。
多模态学习06 · 第 6 讲：多模态表示与融合
北京大学《多模态学习》（2026 秋）第 6 讲笔记，依据对应课程课件整理。 面对两种甚至更多模态，模型怎样合并信息、保留各自特征，又让表示彼此可比较？
多模态学习05 · 第 5 讲：自然语言、序列与图建模
北京大学《多模态学习》（2026 秋）第 5 讲笔记，依据对应课程课件整理。 文字如何变成可学习的表示，又如何按顺序或关系建模？这一讲从词向量讲到语言模型、RNN、LSTM 和图神经网络。
多模态学习04 · 第 4 讲：目标检测与图像分割
北京大学《多模态学习》（2026 秋）第 4 讲笔记，依据对应课程课件整理。 识别图中有什么还不够；检测要找位置，分割要给每个像素定类别。本讲串起主要方法与损失。
多模态学习03 · 第 3 讲：计算机视觉基础与分类网络
北京大学《多模态学习》（2026 秋）第 3 讲笔记，依据对应课程课件整理。 一张图如何从像素走向类别？本讲从卷积计算出发，沿经典分类网络的发展理解视觉表示。
多模态学习02 · 第 2 讲：深度学习基础
北京大学《多模态学习》（2026 秋）第 2 讲笔记，依据对应课程课件整理。 多模态模型离不开神经网络。这一讲从非线性、反向传播和优化讲到归一化，重点不只是记公式，也要知道这些工具解决了什么问
多模态学习01 · 第 1 讲：多模态学习导论
北京大学《多模态学习》（2026 秋）第 1 讲笔记，依据对应课程课件整理。 从图像、语言和声音之间的关系出发，先弄清多模态学习要解决哪些问题，再建立后续章节的地图。
多模态学习