注意力机制 Transformer 结构介绍 本文会介绍 Transformer 的结构,主要包含 Encoder 和 Decoder 部分,其中包含的知识点有 self-attention,cross-attention,l... 10月24日评论 阅读全文
注意力机制 自注意力和位置编码 本文会介绍「自注意力」模型,自注意力的关键就是一句话,查询、键和值都来自同一组输入。同时也会介绍位置编码的内容,来克服「自注意力」没有考虑输入的顺序。 10月17日评论 阅读全文