马斯克旗下人工智能公司 xAI 今天在官方博客中
宣告
,正式推出 Grok-1.5 大言语模型。Grok-1.5 具有改善的推理才能和 128k 的上下文长度,其中最明显的改善之一是其在编码和数学相关使命中的体现。Grok-1.5 将在未来几天内涵 𝕏 平台上向前期测验人员和现有的 Grok 用户推出。
在官方测验中,Grok-1.5 在 MATH 基准上取得了 50.6% 的成果,在 GSM8K 基准上取得了 90% 的成果,这两个数学基准涵盖了广泛的小学到高中比赛问题。此外,它在评价代码生成和解决问题才能的 HumanEval 基准测验中得分为 74.1%。IT之家附测验比照表如下:

长上下文了解方面,Grok-1.5 可以在其上下文窗口内处理多达 128k tokens 的长上下文。这使得 Grok 的内存容量增加到之前上下文长度的 16 倍,然后可以了解更长文档中的信息。

据介绍,Grok-1.5 构建在根据 JAX、Rust 和 Kubernetes 的自定义分布式练习结构之上。自定义练习和谐器可保证自动检测到有问题的节点并将其从练习作业中除掉。xAI 还优化了检查点、数据加载和练习作业重新启动,以最大极限地削减产生毛病时的停机时刻。