文学城论坛
+A-

DeepSeek该降降温了 哪有什么神仙技术

niwolf 2025-01-28 18:26:13 ( reads)

最近大火的Deepseek,虽然在某些方面测试取得了不错的成绩,但在相关技术人员看来,也没有太多的理论创新,全局上了说都是在做工程创新,这种创新和遥遥领先的创新之道很类似,基本上是持续集成前沿科学成果,在实施上作局部工程和工艺优化,然后给消费者呈现一个变脸的不一样,从而满足某种高大上的虚荣心。

当然话说回来世界那有那么多新东西,在理解的基础上,变个法子也是一种表现式创新。那么Deepseek到底做了哪些工程和技术集成创新?

1、核心架构还是基于Transformer,工程设计上进行了创新和工艺提升, 实现效率优化。架构上, 采用了混合专家模型 (MoE)、多头潜注意力 (MLA)、多令牌预测 (MTP)、长链式推理 (CoT)、DualPipe 算法等设计, 并进行了依赖强化学习 (RL) 而不加入监督微调 (SFT) 的训练尝试。工程上, 在数据精度 (FP8 混合精度)、底层通信等方面进行了优化。这些都是业界已有的技术,但Deepseek做到了理论应用和工程上的平衡。

2、开发了高效的通信内核, 优化内部数据传输速度, 保证数据传输效率, 并能支持大规模部署,这为训练成本的优化至关重要。

3、所用语料的标注应该更加精准,估计,这不是某一家标注外包提供的,数学类的问答,深度推理还远远不足。

4、亲自测试的几个数学问题,复杂问题,只具备基本计算能力,不具备,深度推理及验算能力,问几个迷惑性的逻辑问题,答案会有明显错误。

跟帖(5)

又当爹来又当妈

2025-01-28 18:32:30

智叟第92代孙

viBravo5

2025-01-28 18:36:07

DeepSeek的改进就是把OpenAI的 reinforcement learning用在synthetic训练数据上

niwolf

2025-01-28 18:59:52

DeepSeek的最终产品因为“数据蒸馏”依然缺乏原创,严格说来还是个山寨品。

BeyondWind

2025-01-28 19:07:56

有独到之处,以前大家都以为单纯的增强学习做不成推理模型,但DS做出来了,减少人工干预,降低了做推理模型的成本

美国老师

2025-01-28 19:16:41

纳斯达克来看看