文学城论坛
+A-

用“蒸馏”过的数据,直接上RL,省了pre-taining ,是大胆,也算是“二次开发”。当然省时省钱。

kl3527 2025-01-26 21:43:00 ( reads)

跟帖(2)

金笔

2025-01-26 21:57:51

蒸馏?那就更没有原汁原味了。谢谢补充。没有花时间研究它,只是觉得DeepSeek不会靠谱而已。。。!

监考老师

2025-01-26 22:55:17

蒸馏是指从用大模型比如DeepSeek R1去训练参数少的小模型,从而得到8B,14B,32B等等对资源要求较少的版本。