文学城论坛
+A-

Nvidia和Meta的AI理念是否冲突?何恺明怎么看OpenAI的Scale Law,双通道残差神经网络还有什么缺陷?

ScottGu 2024-08-21 16:36:03 ( reads)

认为Nvidia明年出来的Blackwell系列能创造奇迹,实际上是基于OpenAI的Scale Law:大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关,而与模型的具体结构(层数/深度/宽度)基本无关。

何恺明是提出双通道残差神经网络的主要研究者,怎么看OpenAI的Scale Law,神经网络的结构是否需要进一步改进?

一向对AI思想跟风很快的田渊栋说不赞成Scale Law,Yann Lecun怎么认为?

要研究双通道残差神经网络的缺陷,需要研究mirror neuron现象和自由意志问题,需要追溯赫拉克利特的思想、建立新的科学逻辑,巴门尼德体系有问题。Universal Approximation Theorem(UAT)至少有两个严重问题。

从事AI应用的巨头实际上在红海里争霸,这主要是零和游戏。一家成功,会抢了其他厂商的生意。所以股市整体因AI狂涨,是自相矛盾的大泡沫。Meta的主要问题是内容的问题,缺乏有吸引力的内容,就无法从其他内容公司那里抢生意。

AI生成的内容,会助长诡辩,淹没真相,造成人类智力的熵趋势。就是降低人的智力,使美国进一步丧失竞争力。智力的进化和退化,是智力科学的主要研究问题,生命科学无法研究。生命科学只能研究演化。

 

 

 

 

跟帖(2)

ScottGu

2024-08-21 16:53:31

何恺明怎么不留在商业公司Meta享受AI高潮?UAT的两个严重问题,大学里有人知道吗?社会不公正,会听不到真相

ScottGu

2024-08-22 13:42:41

如果无人汽车剩余问题无穷,就不是tail。不知马尔萨斯模型及改进型和人口控制类似火箭控制错在哪里,谁还说自由意志不存在?