查看原文
其他

对抗OpenAI!马斯克开源Grok,参数量全球最大

AI星球 2024-03-19
Grok-1是3140亿参数的混合专家模型。

文丨AI星球 ID:ai_xingqiu

编辑丨邵延港

当地时间3月17日,马斯克旗下人工智能公司xAI宣布开源大模型Grok-1,遵循Apache 2.0协议开放模型权重和架构。因此,用户可以自由使用、修改和分发软件。
据官网信息,Grok-1是3140亿参数的混合专家模型,是“迄今为止全球参数量最大的开源大语言模型”。
Grok-1 是xAI 使用 JAX 和 Rust 之上的自定义训练堆栈从头开始训练;314B 参数 Mixture-of-Experts 模型,其中 25% 的权重在给定令牌上处于活动状态;此外,Grok-1这是 2023 年 10 月结束的 Grok-1 预训练阶段的原始基础模型检查点。这意味着该模型不会针对任何特定应用(例如对话)进行微调。
对于Grok-1的开源,马斯克在3月11日就曾在社交平台表示xAI将开放Grok的源代码,公众将可免费使用该公司大模型技术背后的代码。
马斯克如约将Grok-1开源,与此同时,马斯克还在因OpenAI的开源问题,起诉OpenAI及其董事会成员。OpenAI 利用 ChatGPT 的官方账号与马斯克进行了互动:你干了我干的事。而马斯克回应称:告诉我们更多关于 OpenAI 的 Open 部分。
开源问题是马斯克与OpenAI争论的核心。据悉,3月1日,马斯克一份46页的诉状被公开,马斯克指控便是OpenAI偏离了公司成立时“为了人类福祉而非私人商业利益”的协议,也违背了“技术开源”的承诺,完全成为了“受控于微软的闭源子公司”。
对于马斯克的指控,3月6日上午10点,OpenAI正式做出回应,在官网发布一篇长博客,称自己始终坚持使命,并针对马斯克的主张一一进行回复。
对于“违背创始协议转向盈利”的指控,OpenAI表示,开发AGI所需的资源超乎他们想象,在最初创办OpenAI时这个数字是1亿美元,而到了2017年则是每年数十亿,金钱的压力迫使他们“为通往AGI规划一条更为合理的路径”,也就是转向盈利——在这一点上,马斯克与他们在2017年前后达成了一致,决定下一步的任务是创建一个营利性实体,但我们无法与 Elon 就营利性条款达成一致。
对于开源,OpenAI表示,我们提供对当今最强大的 AI 的广泛访问,包括数亿人每天使用的免费版本。这个任务并不意味着开源 AGI。正如 Ilya 告诉马斯克的那样:“随着我们越来越接近构建 AI,开始变得不那么开放是有意义的。openAI 的开放意味着每个人都应该从 AI 构建后的成果中受益,但不分享科学是完全可以的......“,马斯克回答说:”是的”。
如今,离开OpenAI的马斯克,在2023年7月份成立xAI,成立之初就被称作“OpenAI对手”。xAI的宗旨是“了解宇宙的真实本质”。去年11月4日, xAI团队发布了首个AI大模型产品Grok。
马斯克将“迄今为止全球参数量最大的大语言模型” 开源,有准备讽刺了OpenAI一下,在AI社区引发了激烈讨论,坚持开源的马斯克,走上了与OpenAI的对立之路,不过根据xAI公布的数据,在GSM8K、HumanEval和MMLU等一系列基准测试中,Grok-1的表现超过了Llama-2-70B和GPT-3.5,但跟GPT-4还有差距。

(首图来源:xAI官网截图

“在看”我吗?

继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存