多头注意力 注意力机制

多头注意力

在实际中,我们希望给定相同的 queries、keys 和 values,我们希望模型可以学习到不同的内容,然后将这些内容给组合起来。这就会用到「多头注意力」机制。本文会介绍「多头...
阅读全文
注意力分数 注意力机制

注意力分数

本文会来介绍「注意力分数」的计算。特别的,这里我们会使用高维的 query ,key 和  value 来举例子。可以将「注意力分数」理解为 query 和 key 的相似度。会介...
阅读全文
注意力机制 注意力机制

注意力机制

本文会介绍「注意力机制」的相关内容。主要会介绍「非参注意力机制」和「带有参数的注意力」。这里均使用一维数据作为例子。通过本文对 query,key-value 有所了解。也知道什么...
阅读全文