Attention Is All You Need

Attention Is All You Need

作者：Vaswani et al. (Google Brain, 2017)
引用：超过 100,000 次

核心贡献

抛弃 RNN 和 CNN，完全基于 Self-Attention 构建模型。三大优势：

1. 并行计算：不使用循环，所有位置同时计算
2. 短路径：任意两个位置只需 O(1) 步
3. 可解释：注意力权重可视化

架构参数

组件	值
$d_{\text{model}}$	512
头数 $h$	8
$d_k, d_v$	64
FFN 隐藏层	2048
Encoder/Decoder 层数	6
Dropout	0.1
优化器	Adam ($\beta_1=0.9, \beta_2=0.98$)
学习率	warmup 4000 步后衰减

实验结论

WMT 2014 英德翻译：

模型	BLEU	训练成本
ConvS2S (之前最佳)	26.4	高
Transformer (base)	27.3	1/4
Transformer (big)	28.4	1/3

论文原文名言

“We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely.”

相关页面

• Transformer 教程 — 论文的完整实现
• 注意力机制 — 核心机制详解