头号竞争对手:大模型训练成本最多三年将升至百亿美元
AI初创企业Anthropic的CEO称百亿美元量级AI(人工智能)模型的训练可能在明年开始。
近日,Anthropic的CEO兼总裁达里奥·阿莫代(DarioAmodei)在播客节目InGoodCompany中表示,目前公司正在开发的AI模型训练成本高达10亿美元,他预计,AI模型的训练成本将在2027年之前提升到100亿美元,甚至是1000亿美元。
被视为OpenAI头号竞争对手的Anthropic由一群OpenAI前员工创立。阿莫代在OpenAI工作了五年,在离开时,他已经做到了OpenAI副总裁的位置。Anthropic旗下最知名的模型是在2023年3月发布的Claude模型,今年3月,Claude3系列正式发布。
在采访中,阿莫代谈到了自己对于AGI(通用人工智能)的看法,称自己不认为AGI会在某一个时间点突然出现,而是会以循序渐进的方式逐渐现身:“我认为,这就像一个能够学习和成长的人类孩子一样,他们会变得越来越好、越来越聪明,知识越来越丰富。”
为了让模型越变越好,就需要越来越多的资金投入。据报道,GPT-4o的训练“仅”花费了不到1亿美元,谷歌GeminiUltra模型的训练成本则为1.91亿美元。阿莫代预计,100亿美元量级模型的训练可能会在2025年的某个时候开始,一个充满活力的下游生态系统也会随之出现。目前,公司已经筹集了超过80亿美元的资金。
阿莫代指出,模型推出的速度和模型的成本与质量之间存在一定关系,可以把它想象成一条“权衡曲线”。公司正在努力推动这条曲线“向外移动”,以同时实现模型的快速推出、高质量和低成本:“曲线在变化,我们可以用更少的资源做更多的事情,也可以用更多的资源做更多的事情。我认为这两种趋势是共同存在的。”
当主持人问到“谁会在AI上赚最多的钱”时,阿莫代认为,尽管有先后顺序,所有人都会分得一杯羹:“蛋糕会变得很大。就像现在,芯片公司肯定赚得最多,我认为这是因为模型的训练先于模型的部署,而模型的部署先于其收入。所以我认为,芯片公司的估值是一个先行指标,AI公司的估值可能是一个当前指标,而下游很多东西的估值是滞后指标,但这股浪潮将影响到每个人。”
随后,阿莫代也谈到了AI芯片龙头英伟达。面对越来越激烈的竞争,英伟达将产品发布间隔从隔一年发布大幅缩短至每年发布一次,今年市值已涨到三万亿美元以上。阿莫代指出,为了构建AI集群,包括Anthropic在内的AI企业正在为英伟达的芯片支付大笔金额;虽然尚未看到AI产生的大量收入、依然存在泡沫破灭的可能,但Anthropic选择继续押注看涨。
目前,以GPU为主的硬件需求仍是决定AI训练成本的一大因素。今年6月,红杉资本分析师DavidCahn表示,AI行业每年需要为数据中心等基础设施支付6000亿美元的费用。在过去的采访中,头号竞争对手:大模型训练成本最多三年将升至百亿美元阿莫代曾提到,有足够资金来训练专业等级AI模型的公司依然不多。
今年6月,Anthropic发布了旗下性能最强的AI模型Claude3.5Sonnet,称其为“迄今为止最智能的模型”。据介绍,在覆盖阅读、编程、数学和视觉等领域的多项性能测试中,Claude3.5Sonnet的性能基本全面超越了包括GPT-4o在内的一众知名AI模型,仅在MMLU(大规模多任务语言理解)和MATH(数理)数据集上略逊于GPT-4o,且优于自家此前最强的模型Claude3Opus。