马斯克的XAI大模型Grok-1已正式开源

责任编辑:包建羽 2024.03.18 17:13 来源:通信世界全媒体

3月18日消息,据外媒报道,马斯克领导的人工智能公司xAI当地时间周日在官网宣布,他们的大语言模型Grok-1已正式开源,发布了基本模型的权重和网络架构,有兴趣的用户可通过github.com/xai-org/grok上的指引使用。

从xAI在官网公布的消息来看,Grok-1是拥有3140亿参数的混合专家模型。在目前已开源的大语言模型中,Grok-1的参数是最多的。

XAI官网的信息还显示,Grok-1是由他们从头开始训练的模型,此次发布的是预训练阶段结束时的原始基础模型检查点,预训练阶段在去年10月份完成。这也就意味着他们开源的模型,没有进行针对对话等任何具体应用的微调。

在官网上,xAI披露Grok-1是在大量文本数据上训练的基础模型,是xAI团队使用JAX和Rust编程语言自定义训练栈从零开始训练的成果,权重和架构均依照Apache 2.0开源许可协议发布。

虽然Grok-1已正式开源,但在开源时间上,还是要晚于马斯克此前所宣布的时间。

马斯克是上周一,在他所收购的社交媒体上宣布Grok大模型将开源的,当时他公布的开源时间是上周,xAI官网宣布开始发布的时间是周日。而包括美国在内的诸多国家,仍习惯将周日作为一周的开始,止于周六,3月17日是新一周的第一天,这也就意味着Grok-1并未如马斯克此前在社交媒体上所公布的那样,在上周开源。

不过,按照国际标准化组织在ISO 8601国际标准中给出的日历星期表示方法,每个日历星期是始于周一,止于周日。如果按照这一标准,Grok-1的开源时间仍是在马斯克所说的那一周内。


通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容