文学城论坛
+A-

请教各位朋友:关于大模型本地部署,一个视频说下载几十兆的软件及十几个G的大模型,就可以实现离线问答,我的问题是这么点

GreenCheng 2025-02-02 14:13:45 ( reads)

数据,就够回答有关人类所有知识的问题吗?

跟帖(10)

大观园的贾探春

2025-02-02 15:04:45

不行。无法融入无时不在产生的新信息。

大观园的贾探春

2025-02-02 15:07:20

要融入新信息有两种办法。大部分AI公司采用网络搜索,Gemini自己维持庞大curated过的数据库。

大观园的贾探春

2025-02-02 15:08:49

前者的问题是网络搜索的信息可靠度差。后者的信息可靠度高,但问题是只有谷歌这种公司才有能力和资源做。

GreenCheng

2025-02-02 15:13:45

多谢大观园的贾探春! 但人类的已有信息也很可观了,就凭一个几十兆的软件加上十几个G的模型就能回答一切?不可思议!

湖西

2025-02-02 15:33:01

一般家里电脑也就能用7B(70亿参数)的DS版本。DS有1.5B,7B,8B,14B,32B,70B, 671B等版本。

湖西

2025-02-02 15:34:26

和别的AI模型比较的是有6710亿个参数的DeepSeek-R1版本。在本地电脑上用的DS 7B的效果当然会差很多。

湖西

2025-02-02 15:41:42

本地电脑也用不上RAG(retrieval augmented generation,检索增强生成),通过检索获得更多

GreenCheng

2025-02-02 15:59:03

多谢湖西!DeepSeek-R1版本回答用户问题时,它进行的深度求索只是一个推理的过程吗?还是也要检索知识库或网络

种西瓜

2025-02-02 18:58:22

你在输入QUERY时,可在“Search"按钮上点一下,就能同时检索知识库或网络。

未知

2025-02-02 21:18:19

苹果平板电脑可以运行70b 模型。