文学城论坛
+A-

感觉写得很好。可是我有一个问题

trivial 2025-11-26 08:26:00 ( reads)

因为觉得写得好,遂去翻看了系列第5篇。觉得两篇有点矛盾。 

(here): Transformer 本质上是“短记忆动物”。它的表示空间天生偏向保留局部模式,

VS

(第五篇:)它既不健忘,也不近视。

能不能再具体说说。这是因为在不同的要求下看问题吗,一个目的是宏观叙事,另一个要追问更多细节?

 

跟帖(3)

挖矿

2025-11-26 08:57:25

哈 指出的很好 第五集主要想说在TRANSFORMER 同一段输入里,它不会像 RNN 那样因为序列太长而丢掉前面的信息

trivial

2025-11-26 09:07:33

意思是说以前喂过的东西没有记忆吗?

挖矿

2025-11-26 09:22:22

这个属于训练和推理的区别:AI训练时会记住规律 AI在推理时没有以前的记忆