注意力机制 自注意力和位置编码 本文会介绍「自注意力」模型,自注意力的关键就是一句话,查询、键和值都来自同一组输入。同时也会介绍位置编码的内容,来克服「自注意力」没有考虑输入的顺序。 10月17日评论 阅读全文
注意力机制 多头注意力 在实际中,我们希望给定相同的 queries、keys 和 values,我们希望模型可以学习到不同的内容,然后将这些内容给组合起来。这就会用到「多头注意力」机制。本文会介绍「多头... 10月16日评论 阅读全文
注意力机制 使用注意力机制的 seq2seq 这一篇中,我们介绍使用注意力机制的 Seq2Seq。我们会将「注意力机制」用在 Seq2Seq 模型上面。这样在预测词元时,如果不是所有输入词元都相关,模型将仅对齐(或参与)输入序... 10月15日评论 阅读全文