马斯克打脸OpenAI,全球最大巨无霸模型Grok-1开源!

一文了解AI长文本工具:马斯克打脸OpenAI,全球最大巨无霸模型Grok-1开源!

介绍

近日,xAI的Grok按时开源了!这一动作不仅让马斯克成功地反击了OpenAI,还展现了其在AI领域的强大实力。Grok-1拥有3140亿参数和8个MoE,其权重和架构已完全开放,并已在GitHub上获得了超过6k颗星。

image-20240318192619555

Grok-1的特点

Grok-1是迄今为止参数最多的开源LLM,其参数量是Llama 2的4倍。虽然xAI对Grok-1的详细信息尚未透露,但官网公布的一些信息包括:

  • 基础模型在大量文本数据上训练,未进行任何特定任务的微调。
  • 拥有314B参数的MoE,其中25%的权重处于激活状态。
  • 在2023年10月,xAI使用JAX和Rust构建了自定义训练堆栈。

Grok一经在GitHub上发布,便迅速获得了6k颗星,同时被Fork了586次。

image-20240318192914291

马斯克的嘲讽和反应

马斯克对OpenAI进行了一番嘲讽,称其为“CloseAI”,并在Grok开源后再次讽刺道:“告诉我们更多关于OpenAI的「open」部分…”这一行为再次凸显了他对开源的支持态度。

Grok的架构和细节

通过对model.py的分析,可以了解更多关于Grok的架构信息。Grok-1拥有8个混合专家(其中2个是活跃专家),总共有860B的活跃参数。它使用旋转嵌入代替固定位置嵌入,tokenizer词汇量为131,072,嵌入大小为6144等。

Grok的影响和展望

Grok的开源引发了AI社区的热烈讨论,其前向反馈层中使用的GeGLU和归一化方法等技术受到了广泛关注。即便是OpenAI的员工也表达了对Grok的浓厚兴趣。

对开源的反思

一些专家对于AI模型是否应该开源存在不同看法。虽然一些人担心开源会导致技术滥用,但另一些人认为开源的利大于弊。马斯克一直是开源技术的支持者,这次开源Grok也是他的一次尝试。

结语

Grok-1的开源不仅是对OpenAI的一次挑战,也为xAI在AI领域的地位和影响力增添了新的底气。未来,Grok的开源版本可能会鼓励更多的开发者和客户采用该模型,同时也将加速xAI的发展和创新。

原文链接:马斯克打脸OpenAI,全球最大巨无霸模型Grok-1开源!


马斯克打脸OpenAI,全球最大巨无霸模型Grok-1开源!
https://anyubenyu.com/grok-wiki.html
作者
John Doe
发布于
2024年3月18日
许可协议