Meta算力短缺上演“宫斗” 大模型团队半数出走

责任编辑:王鹤迦 2023.09.13 10:13 来源:中国IDC圈

通信世界网消息(CWW)日前,Meta大模型团队人员流失大半问题引发热议。据统计,今年2月发表Llama最初研究论文的14位作者中,已有超半数离开了Meta;2022年5月发布的OPT论文的19位作者中,也有大约一半选择了离开。究其原因,是算力资源短缺导致内斗,继而造成了人才的大量出走。

据了解,2013年成立的FAIR(Facebook AI Research)曾是Meta AI方面负责研究的核心,Llama由FAIR位于巴黎的团队负责,OPT则是由FAIR位于美国的团队负责。

由于没有尽快采购英伟达的GPU芯片等原因,导致Meta算力不足。基础AI研究负责人Joelle Pineau坦诚,Llama和OPT团队在算力分配的问题上“有些紧张”。这一情况下,虽然Meta加大了对生成式AI的关注,但投入相对有限,Meta的CFO Susan Li也表示,“基本上所有的AI算力都投向了广告、信息流和短视频项目”。

算力的短缺成为两个团队内斗的根源,并且,因为算力资源分配低于北美的OPT团队,Llama的研究人员因此感觉自己被Meta所冷落,这导致两个团队内斗加剧,人员开始不断离开。

今年2月,Llama正式发布一周前,FAIR的联合负责人兼巴黎分部负责人Antoine Bordes离开了Meta。三个月后,Llama论文作者兼FAIR研究总监Armand Joulin也选择离职,加入了苹果。另外两名作者Timothée Lacroix和Guillaume Lample则于6月,在法国共同创立了初创公司MistralAI,还邀请了另一名作者Marie-Anne Lachaux加入。

OPT同样如此,据报道,Meta放弃了OPT团队想要研发的更大规模的模型,直接导致了OPT大量人员的离职。

最终,这场内斗以两个团队的合并告终,FAIR领导人召集OPT团队的部分成员,让其加入Llama团队,专注于模型二代的研发。

值得注意的是,Meta在AI领域依旧在加大投入,“内斗”或许也将持续。Llama研究团队之外,Meta成立了一个专攻应用的生成式AI团队。该团队由苹果前高管Ahmad Al-Dahle带队,已经吸引了多个FAIR研发人员的加入。


通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容