多头注意力 注意力机制

多头注意力

在实际中,我们希望给定相同的 queries、keys 和 values,我们希望模型可以学习到不同的内容,然后将这些内容给组合起来。这就会用到「多头注意力」机制。本文会介绍「多头...
阅读全文
注意力分数 注意力机制

注意力分数

本文会来介绍「注意力分数」的计算。特别的,这里我们会使用高维的 query ,key 和  value 来举例子。可以将「注意力分数」理解为 query 和 key 的相似度。会介...
阅读全文