马斯克的 Grok 人工智能实现开源

共计 1801 个字符，预计需要花费 5 分钟才能阅读完成。

原作者：Carl Franzen
文章出处：https://venturebeat.com/ai/musks-grok-ai-goes-open-source/
编译：裴先生笔记

亿万富翁、多家公司的领导者埃隆-马斯克（Elon Musk）的初创公司xAI今天将其首个大型语言模型（LLM）Grok开源。

马斯克此前曾宣称此举将在本周实现，现在任何其他企业家、程序员、公司或个人都可以获取 Grok 的权重（即模型的人工 “神经元“或软件模块之间的连接强度，这些模块允许模型做出决策、接受输入并以文本形式提供输出）和其他相关文档，并将模型的副本用于任何他们想要的用途，包括商业应用。

该公司在一篇博文中宣布，”我们正在发布我们的大型语言模型 Grok-1 的基础模型权重和网络架构，Grok-1是一个由xAI从头开始训练的3 140亿参数专家混合物模型。”

感兴趣的人可以在 Github 页面或通过 torrent 链接下载Grok的代码。

Grok 开放源代码的意义

参数指的是管理模型的权重和偏差–参数越多，模型通常越先进、越复杂、性能越强。Grok 拥有 3140 亿个参数，远远领先于Meta 的 Llama 2（700 亿个参数） 和Mistral 8x7B（120 亿个参数）等开源竞争对手。

Grok 根据 Apache License 2.0 开放源代码，允许商业使用、修改和分发，但不能注册商标，用户也不承担任何责任或保证。此外，用户必须复制原始许可证和版权声明，并说明所做的修改。

Grok 的架构是在 2023 年 10 月利用 JAX 和 Rust 上的定制训练堆栈开发的，采用了创新的神经网络设计方法。对于给定的标记，该模型使用了 25% 的权重，这一策略提高了模型的效率和有效性。

Grok最初是作为一个专有或 “闭源 “模型于 2023 年 11 月发布的，到目前为止，它只能在马斯克的独立但相关的社交网络 X（前身为 Twitter）上访问，特别是通过每月 16 美元或每年 168 美元的 X Premium+ 付费订阅服务。

不过，Grok 发布的版本并不包括其训练数据的完整语料库。这对模型的使用并不重要，因为它已经经过了训练，但用户无法看到它从哪些数据中学到了什么–大概是用户在 X 上发布的文本信息（xAI 的博文含糊其辞地写道：”基础模型是在大量文本数据上训练出来的，并没有针对任何特定任务进行微调。”）

此外，它也不包括与 X 上可用的实时信息的任何连接，而马斯克最初曾将此作为 Grok 优于其他 LLM 的主要特性。为此，用户仍然需要订阅 X 上的付费版本。

不仅仅是技术创新–商业和公关战略

Grok旨在与OpenAI（马斯克联合创办的公司，2018年与OpenAI不欢而散，现在与OpenAI竞争）生产的ChatGPT相抗衡，Grok以俚语”理解”命名，被描述为 “以《银河系漫游指南》（Hitchhiker’s Guide to the Galaxy）为蓝本的人工智能”，《银河系漫游指南》是英国作家道格拉斯-亚当斯（Douglas Adams）在20世纪70年代创作的开创性广播剧和讽刺科幻系列丛书（2005年被改编成一部重要电影）。

马斯克将Grok定位为更幽默、未经审查的ChatGPT和其他领先乐虎国际客户端下载，鉴于人们对人工智能审查制度的抱怨，以及谷歌双子座令人尴尬的种族混淆形象代代相传和令人质疑的意识形态立场（双子座至少在一个例子中暗示，马斯克的推文可能与纳粹领袖阿道夫-希特勒一样对社会有害），这一立场在广大用户中重新获得了吸引力。当然，Gemini 也受到了马斯克和其他有影响力的科技领袖的强烈批评，包括a16z 联合创始人、网络先驱马克-安德森（Marc Andreessen）。

马斯克最近起诉 了OpenAI，指责其前公司放弃了作为非营利组织运营的“创始协议” 。至少，OpenAI在舆论场上发布了为自己辩护的电子邮件，表明马斯克知道并可能支持其转向专有、营利技术的做法。

X 上的人工智能社区已经对这一发布做出了好奇和兴奋的反应。值得注意的是，技术社区指出，该模型在前馈层中使用了 GeGLU，并采用了引人入胜的三明治法线技术进行归一化。甚至 OpenAI 的员工也发帖表示对该模型很感兴趣。

因此，Grok 的发布很可能会给所有其他 LLM 提供商带来压力，尤其是其他竞争对手的开放源代码提供商，他们必须向用户证明自己的优势所在。