为什么我还是无法理解transformer？
- 发表时间：2025-06-24 22:05:17
- 来源：
不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
推荐资讯
- 2025-06-21 22:55:15Rust 使用 Result 的错误处理方式与 Golang 使用 error 的方式有什么本质区别？
- 2025-06-21 23:25:16华为云有没有实力挑战阿里云？
- 2025-06-21 23:05:15Caddy 和 Nginx 比有哪些优点和缺点？
- 2025-06-21 22:25:15SQLite不能支持高并发，为什么又说它能支持 10万 的日访问量？
- 2025-06-21 22:45:17为什么国内程序员不喜欢写单元测试？
- 2025-06-21 23:40:18易语言作者吴涛的技术水平在国内能排到什么级别？
- 2025-06-21 23:10:16什么是bootloader?
- 2025-06-21 23:25:16超级喜欢穿短裙正常吗?
- 2025-06-21 23:35:16华为自研的仓颉编程语言将于 7 月 30 日开源，这款语言将如何影响未来的开发趋势？
- 2025-06-21 23:40:18哪张照片让你觉得刘亦菲美得不可方物？
推荐产品
-
用J***a写Android的时代是不是要结束了？
今天看，虽然有点过时，但 J***a 还是不错的选择。 至 -
2025 年 6 月，Rust 在 GUI 方面有何大的进展? 你最看好哪个框架?
整天一堆nc粉在推tauri就知道没救了。 rust作为追求 -
媒体称以色列防空成本一晚近 3 亿美元，最多再撑 12 天，美方会支援吗？若无美补给结果会如何？
这把很尴尬，想“1小时22分”速通德黑兰，结果人家德黑兰抗住 -
多个充电宝或电芯品牌的 3C 认证证书被暂停，涉及罗马仕、安克、绿联、倍思、安普瑞斯等，发生了什么？
再度更新： 绿联确实有一款充电宝被暂停了3C认证。 最离谱
新闻动态
最新资讯