LEARNING COLLECTION

多模态学习

八讲课程笔记:从深度学习、视觉与语言基础,走向跨模态表示和视觉语言模型。

北京大学2026 秋8 篇笔记更新至 2026-11-09

关于这份笔记

依据八份课程课件逐讲整理。从多模态学习导论出发,依次介绍深度学习、视觉分类、检测与分割、语言与序列建模,再进入多模态表示、跨模态对齐、注意力与视觉语言基础模型。每讲围绕动机、关键公式、方法之间的联系和易混概念展开。

来源说明:本系列笔记由 AI 根据课程课件整理生成,已核对部分概念与公式;学习和引用时请结合原课件核实。

这门课的学习路线

建议按这个顺序建立直觉
  1. 01深度学习
  2. 02视觉
  3. 03语言
  4. 04跨模态对齐
  5. 05视觉语言模型

课程目录

按笔记顺序排列
  1. 01第 1 讲:多模态学习导论
  2. 02第 2 讲:深度学习基础
  3. 03第 3 讲:计算机视觉基础与分类网络
  4. 04第 4 讲:目标检测与图像分割
  5. 05第 5 讲:自然语言、序列与图建模
  6. 06第 6 讲:多模态表示与融合
  7. 07第 7 讲:跨模态对齐与注意力
  8. 08第 8 讲:视觉语言基础模型