王 茂南

本文会介绍「自注意力」模型，自注意力的关键就是一句话，查询、键和值都来自同一组输入。同时也会介绍位置编码的内容，来克服「自注意力」没有考虑输入的顺序。

在实际中，我们希望给定相同的 queries、keys 和 values，我们希望模型可以学习到不同的内容，然后将这些内容给组合起来。这就会用到「多头注意力」机制。本文会介绍「多头...

这一篇中，我们介绍使用注意力机制的 Seq2Seq。我们会将「注意力机制」用在 Seq2Seq 模型上面。这样在预测词元时，如果不是所有输入词元都相关，模型将仅对齐（或参与）输入序...