马斯克打脸OpenAI，全球最大巨无霸模型Grok-1开源！
| 类别 | 教程 |
|---|---|
| Claude | |
| Sora | |
| ChatGPT | |
| Youtube | 如何订阅Youtube Premium？Youtube Premium购买教程 |
| Onlyfans | |
| Midjourney | Midjourney最新注册、订阅教程（新手小白） |
| Patreon | 如何订阅Patreon？Patreon支付、充值教程 |
一文了解AI长文本工具：马斯克打脸OpenAI，全球最大巨无霸模型Grok-1开源！
介绍
近日，xAI的Grok按时开源了！这一动作不仅让马斯克成功地反击了OpenAI，还展现了其在AI领域的强大实力。Grok-1拥有3140亿参数和8个MoE，其权重和架构已完全开放，并已在GitHub上获得了超过6k颗星。
Grok-1的特点
Grok-1是迄今为止参数最多的开源LLM，其参数量是Llama 2的4倍。虽然xAI对Grok-1的详细信息尚未透露，但官网公布的一些信息包括：
- 基础模型在大量文本数据上训练，未进行任何特定任务的微调。
- 拥有314B参数的MoE，其中25%的权重处于激活状态。
- 在2023年10月，xAI使用JAX和Rust构建了自定义训练堆栈。
Grok一经在GitHub上发布，便迅速获得了6k颗星，同时被Fork了586次。
马斯克的嘲讽和反应
马斯克对OpenAI进行了一番嘲讽，称其为“CloseAI”，并在Grok开源后再次讽刺道：“告诉我们更多关于OpenAI的「open」部分…”这一行为再次凸显了他对开源的支持态度。
Grok的架构和细节
通过对model.py的分析，可以了解更多关于Grok的架构信息。Grok-1拥有8个混合专家（其中2个是活跃专家），总共有860B的活跃参数。它使用旋转嵌入代替固定位置嵌入，tokenizer词汇量为131,072，嵌入大小为6144等。
Grok的影响和展望
Grok的开源引发了AI社区的热烈讨论，其前向反馈层中使用的GeGLU和归一化方法等技术受到了广泛关注。即便是OpenAI的员工也表达了对Grok的浓厚兴趣。
对开源的反思
一些专家对于AI模型是否应该开源存在不同看法。虽然一些人担心开源会导致技术滥用，但另一些人认为开源的利大于弊。马斯克一直是开源技术的支持者，这次开源Grok也是他的一次尝试。
结语
Grok-1的开源不仅是对OpenAI的一次挑战，也为xAI在AI领域的地位和影响力增添了新的底气。未来，Grok的开源版本可能会鼓励更多的开发者和客户采用该模型，同时也将加速xAI的发展和创新。
马斯克打脸OpenAI，全球最大巨无霸模型Grok-1开源！
https://anyubenyu.com/grok-wiki.html