为什么我还是无法理解transformer？
- 发表时间：2025-06-25 00:05:17
- 来源：
不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
推荐资讯
- 2025-06-26 09:50:18全班 43 人开家长会只来了 7 位爸爸，学校称未来准备策划爸爸家长会，如何看待这一现象？
- 2025-06-26 09:35:18如何看待苹果公司撤下“说服父母给你买一台 Mac”的广告***，上线仅一天？
- 2025-06-26 10:55:19韦东奕（北大韦神）要是去写游戏引擎代码，能不能把虚幻引擎按在地上摩擦？数学好真能‘降维打击吗？
- 2025-06-26 11:25:19程序员想搭建自己的服务器求指教。?
- 2025-06-26 09:45:17现代单片机可否取代古董芯片，一些古董CPU芯片可否当做MCU使用？
- 2025-06-26 11:10:20程序员用 Mac mini m4有必要买24G+的吗(非主力机)?
- 2025-06-26 10:30:21俄罗斯妹子***漂亮热情，中国男人是不是很喜欢娶？
- 2025-06-26 10:00:18这种裙子是不是对直男爆杀？
- 2025-06-26 09:45:17自己拥有一台服务器可以做哪些很酷的事情？
- 2025-06-26 10:55:19女主播和榜一大哥现实碰面会做什么？
推荐产品
-
如何评价剪映svip，599一年，有替代方案吗？
如果说有人说，新手剪辑最重要的是懂剪辑思维，剪辑要有逻辑，要 -
有什么软件官方已经停更了或者公司已经倒闭了，但是你还在用并且觉得很好用的？
这就不得不提到来自O Deus Audio公司出品的ASIO -
为什么 Bun 选择了 Zig 以及 JSCore？
因为 Bun 打的就是差异化的牌，选择 JSC 和 Zig -
谁在半夜看过鱼缸里的鱼，它们都在干什么？
有一次和朋友夜宵，高兴，烧鹅、叉烧、猪手…… 吃多了，半夜睡
新闻动态
最新资讯