共计 2393 个字符，预计需要花费 6 分钟才能阅读完成。
由来自 DeepMind、谷歌和 Meta 的研究人员创办的旧金山人工智能初创公司 Reka 正在推出一种名为 Reka Core 的新型多模态语言模型。该模型号称是公司 “规模最大、能力最强的模型”，使用数千个 GPU 从头开始训练。
Core 是 Reka 语言模型家族的第三个成员，能够理解多种模式，包括图像、音频和视频。最重要的是，尽管只用了不到一年的时间就完成了训练，但它的性能却可以媲美或超越人工智能领域领先的、财大气粗的公司（包括 OpenAI、谷歌和 Anthropic）的顶级模型。
“这家由 22 人组成的公司的联合创始人兼首席执行官达尼-约加塔玛（Dani Yogatama）在接受 VentureBeat 采访时说：”这种在很短时间内训练出高性能模型的能力让公司脱颖而出。
Reka 的首席科学家兼联合创始人 Yi Tay 在 X 上写道，公司使用了 “数千台 H100 “来开发 Reka Core。从零开始开发可与 OpenAI 的 GPT-4 和 Claude 3 Opus 相媲美的产品无疑是一项壮举。他提醒说，Core 仍在不断改进中，但迄今为止的性能给团队留下了深刻印象。
It's been a wild ride. Just 20 of us, burning through thousands of H100s over the past months, we're glad to finally share this with the world! 💪
One of the goals we’ve had when starting Reka was to build cool innovative models at the frontier. Reaching GPT-4/Opus level was a… https://t.co/ncheAggoQb
— Yi Tay (@YiTayML) April 15, 2024
Reka Core 能带来什么？
虽然 Reka Core 的确切参数数量尚未披露，但 Yogatama 将其描述为一个 “非常大的模型”（上一个模型 Reka Flash 有 210 亿个参数），它从多个来源训练，包括公开数据、授权数据和跨文本、音频、视频和图像文件的合成数据。
他解释说，这种广泛的训练使 Core 能够理解多种输入模式，并以高水平的推理能力提供数学和编码等领域的答案。此外，Core 还支持 32 种语言和 128,000 个词组的上下文窗口，这使得该模型能够一次性接收和处理大量不同的信息。这适合处理长文档。Yogatama 说，Core 是继谷歌的 Gemini Ultra 之后第二个涵盖从文本到视频等所有模式并提供高质量输出的模型。
在视频感知测试中，Core 的表现远远超过其唯一的竞争对手 Gemini Ultra（59.3 分对 54.3 分）。同时，在针对图像任务的 MMMU 基准测试中，酷睿以 56.3 的得分紧随 GPT-4 （56.8）、Claude 3 Opus（59.4）、Gemini Ultra（59.4）和 Gemini Pro 1.5（58.5）之后。埃隆-马斯克（Elon Musk）的 xAI 最近也推出了具备视觉功能的 Grok 版本，不过该型号的得分仍然落后于竞争对手，为 53.6 分。
即使在其他基准测试中，酷睿也能媲美行业领先厂商。例如，在知识任务的 MMLU 测试中，它获得了 83.2 分，紧随 GPT-4、Claude 3 Opus 和 Gemini Ultra 之后。同时，在推理的 GSM8K 基准测试和编码的 HumanEval 测试中，它分别以 92.2 分和 76.8 分击败了 GPT-4。
为了在很短的时间内达到这样的性能水平，Yogatama 说公司采取了一种颠倒的方法。这意味着，他们不是先训练一个模型，然后再看它能达到什么水平，而是先设定一个目标性能水平，然后再倒推，找出实现目标的最佳和最有效的方法，包括应使用多少数据进行训练和所需 GPU 的数量等方面。
多个合作项目正在筹备中
Reka 专注于所有模式，并采用每百万输入代币 10 美元和每百万输出代币 25 美元的竞争性定价，希望为来自不同行业细分市场（包括电子商务、游戏、医疗保健和机器人）的客户提供新的独特用例。OpenAI的GPT-4 Turbo的输入代币价格与此相同，但输出代币价格为30美元。
Reka 目前仍处于初创阶段，但它正全力以赴，与 OpenAI、Anthropic 和谷歌在人工智能领域的主导地位一较高下。这家初创公司已经开始与行业合作伙伴和组织合作，以扩大其模型的覆盖范围。最近，Snowflake 就宣布将 Reka Core 和 Flash 纳入其用于 LLM 应用开发的 Cortex 服务中。甲骨文（Oracle）和人工智能新加坡（AI Singapore）也在使用该公司的模型，后者汇集了新加坡所有的研究机构以及人工智能初创企业和公司生态系统。
Yogatama 说，自从 Reka 系列的首批机型（Flash 和 Edge）推出以来，公司已经看到了企业的浓厚兴趣，并已建立了强大的客户渠道。他补充说，公司将在未来几周内分享更多有关合作伙伴关系的信息。
Yogatama 说，公司成立的第一年主要是向市场推出机型。现在，作为下一步，公司希望在这项工作的基础上，同时加快业务职能的发展。在产品方面，公司正在对 Core 进行培训，以进一步提高其性能，并同时开发下一个版本。
不过，尽管已经做了大量工作，但 Yogatama 确实指出，公司并没有开源技术的计划。他说，他仍然是开源技术的坚定支持者，但这需要在 “分享什么和不分享什么之间 “找到合适的平衡点，以实现企业的持续发展。
