RoPE（旋转式位置编码，Rotary Position Embedding）主要应用于Transformer架构中的查询（query）和键（key）向量，而不是值（value）向量。

原理解释：

1. RoPE的目标是通过绝对位置编码的方式实现相对位置编码，使得模型在进行注意力计算时能够捕捉到token之间的相对位置信息3。

2. 具体实现方式是对每个位置的query和key向量进行旋转变换。这种旋转变换使得在计算query和key之间的内积时，结果自然包含了它们之间的相对位置信息1。

3. 数学表达式如下：

$\begin{array}{rl}{f}_q({\mathbf{x}}_m,m)& =({\mathbf{W}}_q{\mathbf{x}}_m)e^{im\theta }\\ f_k({\mathbf{x}}_n,n)& =({\mathbf{W}}_k{\mathbf{x}}_n)e^{in\theta }\\ g({\mathbf{x}}_m,{\mathbf{x}}_n,m-n)& =\mathrm{Re}\left[({\mathbf{W}}_q{\mathbf{x}}_m)({\mathbf{W}}_k{\mathbf{x}}_n{)}^{\ast }{e}^{i(m-n)\theta }\right]\end{array}$

其中，$f_q$和$f_k$分别是对query和key向量进行的位置相关变换，$g$表示包含相对位置信息的内积结果1。

4. 为什么不应用于value向量：
   • 在Transformer的自注意力机制中，query和key的内积用于计算注意力分数，这个分数决定了每个value向量对最终输出的贡献。因此，相对位置信息主要通过query和key的交互来体现，而value向量本身并不需要直接包含位置信息。
   • 将RoPE应用于value向量可能会引入不必要的复杂性，而不会显著提升模型性能。

总结：

RoPE通过旋转变换将位置信息融入到query和key向量中，使得在计算注意力分数时能够自然地考虑token之间的相对位置。而value向量并不需要进行这种变换，因为它们的作用是提供实际的信息内容，而不是位置信息。