王 茂南

本文会来介绍「注意力分数」的计算。特别的，这里我们会使用高维的 query ，key 和  value 来举例子。可以将「注意力分数」理解为 query 和 key 的相似度。会介...

本文会介绍「注意力机制」的相关内容。主要会介绍「非参注意力机制」和「带有参数的注意力」。这里均使用一维数据作为例子。通过本文对 query，key-value 有所了解。也知道什么...