为什么我不看好深度学习
Publish on 2023-10-19
I was an undergraduate student majored in Artificial Intelligence. As a non-expert, this article will tell the reason why I quit deep learning and why I disguise the heat on so called “AI era”.

一直想讨论这个问题,包括在今年(23年)秋招时,也有很多面试官问了对人工智能的看法,我是个不喜欢说假话的人,在面试的时候也是会直截地说出人工智能现在泡沫太多的看法,或许也因为这个被一些公司打了tag(笑)。

首先,在基于深度学习的人工智能在2016年前后兴起后,大批大批的资金遍涌入了这个赛道。是啊,一个几乎什么方向都能应用,paper发得飞起的领域,怎么会没有前途呢,或许大多数人都是这么想的吧。但是事实上,但凡把人工智能作为主要战略方向的公司(除了龙头的服务提供商,如OPENAI),都在慢慢走向衰落,这一点对于国内公司来说尤其灵验。反过来说,微软在2000年初发展云平台而非人工智能是一个例子;谷歌晚了一点,好在体量大,还是做出了google cloud;这几年的百度式微也多少证明了这一点,近期的阿里宣布要以人工智能为主要发展方向,对此我只能尊重祝福。

首先,目前的深度学习严重依赖于计算硬件,这是中国的超级短板。而且在我看来,深度学习本质上是一种基于向量的搜索引擎,一切的一切都是以数据为灵魂的,算法是一个重要的点,但是妄图通过算法来对抗数据是几乎不可能的,近期流行的大模型rank也间接说明了,在模型参数量丰富到足以表示所有的语料前,参数越多,效果越好是毋庸置疑的。深度学习模型作为一种向量搜索引擎,也就自然的引出了最重要的一个功能——知识检索。请允许我戛然而止一下,先讨论下一个约束人工智能的方向,并在其中描述知识检索的联系。

市场,这往往是资本首先考虑的因素,是否具有足够的经济效益,是否能够吹牛逼,创造信心神话。而我对于此进行了简单的归纳:只有生产者需要知识检索,消费者不需要知识检索。这貌似是一句废话,因为消费者越多,盘子越大,生产者也会越多,对应的,知识检索的需求也会膨胀。但是反过来呢?如果市场不再有增量呢,你是否需要花费如此之高的成本去养着一批期望值极低的所谓算法工程师。有些人可能会说,万一我不赶上这个风口,市场都被友商吃掉了呢?那你需要的是trade-off,你需要想一想你手头上的现金流,以及投入的这些人力和算力是不是真的能够覆盖这个风险。对于大多数上市公司来说,几乎所有的决策都是为了缓解资本焦虑。甚至你抬头看一看你身边的人,除了媒体编辑和工程师(电类工程师),深度学习真的对大多数人有帮助吗?绝大多数人对于人工智能的态度就是“确实很厉害,但是我好像不怎么用”。甚至支付宝删掉一半的无聊功能,打开软件时间减少半秒对社会的帮助都会更大吧。对于大多数软件来说,嵌入模型和助手之类的功能除了向上级邀功,没有任何效益可言,因为用户真的不care。

放眼深度学习这个领域,但凡你看看最近的会议和期刊,空怕都会得出一个结论,“学术就是一个草台班子”,99%的深度学习相关论文,事实意义上都是小圈子的自娱自乐,从发布起到人类文明结束为止都不会对生产力发展产生任何正面的作用(可能会对财富的再分配起到作用)。包括很多人工智能方向的入局者,可以去社交媒体和论坛上看一下,很难想象作为计算机的从业者,会搞不清楚Pycharm,解释器和anaconda的关系,当然这也只是冰山一角,所谓的面试也是没有多少选拔价值,因为有时甚至这些面试官也是走运入职的。试想一下,transformer是18年提出的,LLM初露头角是在21年,而且在相关的工程领域至今没有一个很好的通用工程方案,而如今(甚至早在对应的18年,22年)相关的算法专家/领域大牛已经遍地跑了,这是在是有些滑稽。因为这实在是矛盾的,如果技术方向重要,那么那些专家就不可能是专家,因为他们先前就没在研究或研究不出这些技巧;如果技术方向不重要,那么面试为何偏向学术吹水,只追热门,忽略模式识别和数学的基本功?对于大多数的所谓“专家”,一个优秀的工程师恐怕要不了一个月就能拆穿他们微调的把戏了。

插个题外话,如果我是算法方面的面试官,我会筛选几篇近期的会议论文,让候选者进行反向传播的求导,并要求在不与其他人进行沟通的情况下,查阅任意资料,在短时间内截取模型中的一个module进行输入模拟和输出打印。这是最重要的,何恺明也会有发不出论文的一天,但是每天都会有人引用他的方法和模型。现在绝大多数的算法已然成为了靠ppt和画大饼抢饭的岗位。但是,我并不是说尖端的人才也是这样的,只是说大多数算法工程师的招聘标准完全是按照顶学术热门方向来的,对于企业来说,这只会招聘到一群高不成低不就的吸血鬼。严格来说,大多数算法工程师不是工程师。(从此也可以看出Brendan Eich 说的是对的,从0到1的程序员和被高级语言呵护长大的程序员是不一样的,前些年混入了一大批只会python的算法工程师)

这些观点也不仅仅是我个人的暴论,Yoshua Bengio、朱松纯和 Filip Piekniewski 等人也对现如今基于深度学习的人工智能有着类似的观点。中国目前处于一个阶段,那便是投资找不到方向,投资人心急如焚,看着资产被破败的预期和通胀不断稀释;企业也找不到投资方向——互联网规模见顶,生产力进步停滞,投资不知道该如何反哺生产,只能抢夺存量,像无头苍蝇一样到处撒网,渴望创造奇迹。做蛋糕的时代已经过去了,甚至已经分完了,字节跳动的成功也是一次成功的存量市场抢夺。所以投资人看到了希望,开始投资 kwai、lazada、shein 之类的产品,国家和地方也开始入场,投资各种实验室。这些公司能不能成功,我不知道,但是大多数的从业人员应该已经意识到,他们日常做的其实只有follow和东拼西凑。绝大部分的算法是一个草台班子,遮遮掩掩不是他们有多厉害,而是怕被人看到不过如此。

总结一下,我不看好的主要原因,实际上就是以下几点:市场有限,多数人的使用频率极低;技术本身起催化剂作用,可以降本增效,如果不能促进生产力的进步,宏观上只会减少工作岗位(公务员群体尤甚,甚至会抗拒这样的产品入场);数据驱动,从业人员鱼龙混杂,ppt 主要赚吆喝,复杂性成为指标;投资具有泡沫性,同质化严重,缺少持续变现能力,资本会在一定的经济周期后踩踏离场。深度学习是一项很重要的技术,在娱乐应用方面尤其适配,但是绝对不需要这么多的关注,这项技术可以在很多场景减少开销,但本质上是工程大于算法的,而这其中的算法又只需要万里挑一的天才。中国的互联网神话是网民数量和网民素质的神话,在世界经济濒临债务危机的前夕,面临已经停滞的生产力发展、生产力解放和生产关系变化,寄希望于深度学习来进行科技革命的人一定会付出惨痛的代价。如果有AGI,那一定不是深度学习。

希望我说的都是屁话。

2023.10.19

马后炮

Gen AI: too much spend, too little benefit? (高盛) 2024.06.27

https://www.goldmansachs.com/intelligence/pages/gen-ai-too-much-spend-too-little-benefit.html

大型科技公司需要 6000 亿美元的年利润才能证明人工智能硬件支出的合理性 (红杉资本)2024.07.06

https://www.techspot.com/news/103699-big-tech-needs-generate-600-billion-annual-revenue.html

© 2024 humbornjo :: based on 
nobloger  ::  rss