08 · 第 8 讲：视觉语言基础模型

北京大学《多模态学习》（2026 秋）第 8 讲笔记，依据对应课程课件整理。

前面的方法如何扩展到视觉与语言基础模型？这一讲把 ViT、BERT、GPT、参数高效微调和多模态 Transformer 串起来看。

第 1 章：ViT 与视觉 Transformer

1.1 图像怎样变成 token

把 $H\times W\times C$ 图像切为 $P\times P$ patch，若整除，patch 数 $N=HW/P^2$；每个 patch 展平后长度 $P^2C$，线性投影到 $d$ 维，加位置编码，可加 CLS token，然后送 Transformer Encoder。

注意 patchify 本身不保证视觉局部先验；与 CNN 相比 ViT 对数据规模、增强和训练策略更敏感。课件比较曲线表明给定实验设置下大规模预训练与增强显著改善 ViT，不能推出任意预算下都优于 CNN。Token 数增大使全局注意力矩阵约为 $(N+1)^2$。

ViT/DeiT 的蒸馏图：teacher 的软目标指导 student，distillation token 提供一条输出支路；推理与训练用法看具体模型，不把“蒸馏=标签平滑”混为一谈。

蒸馏曲线逐项读：先用真标签训练 teacher，再让 student 通过 KL 散度匹配 teacher 的软预测，也可混合对真标签的交叉熵。温度 $T$ 越大，softmax(logits/$T$) 越平滑；若用经典蒸馏目标，KL 项常乘 $T^2$ 以平衡梯度尺度。课件柱图依次加入蒸馏、延长训练、提高输入分辨率，因此最后一柱相对第一柱的提升不能全归因于蒸馏。

第 34 页的 distillation token 与 classification token 是两条不同输出支路，均参与 Transformer 处理。

1.2 数据不够时，ViT 为什么更难训

CNN 的局部连接和权重共享本身带有视觉归纳偏置；ViT 主要靠数据学习这些规律。因此在中小规模数据上，训练策略往往和模型结构同样重要。

这些方法并非“加得越多越好”。增强过强会破坏任务语义，正则化过强也会让小模型欠拟合；应在验证集上联合选择模型大小、增强强度和训练时长。

第 2 章：BERT 与 GPT

原始 BERT 的 MLM 选 15% token 为预测目标，其中 80% 换 [MASK]、10% 换随机词、10% 保留原词；这是原始 BERT 配方，非所有掩码模型通则。输入 token/segment/position embedding 相加；[CLS] 常作整句任务表示，[SEP] 分隔片段。GPT 的因果 mask 与自回归目标一致。

Zero-shot/Few-shot 指不提供/提供少量任务示例的提示条件，不等于模型未经过任何预训练。

第 3 章：LLaMA、GQA、LoRA 与多模态 LLM

LLaMA 相关课件强调数据、模型规模及推理效率。多头注意力 (MHA) 每个 query 头通常有独立 K/V 头；Multi-Query Attention (MQA) 让所有 Q 头共享一组 K/V；Grouped-Query Attention (GQA) 把 Q 头分组，每组共享一组 K/V，降低 KV cache。它们是推理缓存与表达能力之间的设计取舍。

课件 8的模型发展线：GPT-1 展示生成式预训练加下游适配；GPT-2 强调用自然语言任务描述进行条件生成；GPT-3 展示大模型的 in-context few-shot 提示。它们的核心仍是因果下一 token 预测，具体训练规模和任务适配方式逐代变化。

LLaMA 的结构包含 Decoder、RMSNorm、SiLU/Swish 和 RoPE（旋转位置编码）。RoPE 向 Q/K 注入位置关系，不能把它简单理解为“给输入 token 加一条绝对位置向量”。LLaMA 2/3 在训练长度、GQA 和指令微调等方面继续演进；比较年份与数值时仍要看对应的实验条件。

课件第 54 页把 GPT-4 作为后续大模型进展的例子；阅读相关比较时，应区分课件明确展示的内容与未提供的训练细节。

LoRA 冻结原权重 $W\in\mathbb R^{d_{\rm out}\times d_{\rm in}}$，只学习低秩增量 $\Delta W=BA$，其中 $B\in\mathbb R^{d_{\rm out}\times r}$、$A\in\mathbb R^{r\times d_{\rm in}}$。

可训练参数 $r(d_{\rm out}+d_{\rm in})$（忽略缩放/bias），相对全量 $d_{\rm out}d_{\rm in}$ 显著变小；常让一因子初始化为零，使开始时 $\Delta W=0$。公式位置和转置取决于 $W$ 约定，维度相乘正确最重要。

多模态 LLM 常见链路：视觉编码器 → 投影/连接器使视觉 token 匹配语言模型维度 → 与文本 token 共同输入语言模型 → 指令微调生成回答。课件最后 68–71 页只给入门，别把某一具体连接方式当成所有视觉语言模型的唯一结构。