ModelScope魔搭社区

IT之家 7 月 23 日消息，网友在 LocalLLaMA 子 Reddit 板块中发帖，分享了 4050 亿参数的 Meta Llama 3.1 信息，从该 AI 模型在几个关键 AI 基准测试的结果来看，其性能超越目前的领先者（OpenAI 的 GPT-4o）。

这是开源人工智能社区的一个重要里程碑，标志着开源模型可能首次击败目前最先进的闭源 LLM 模型。

如基准测试所示，Meta Llama 3.1 在 GSM8K、Hellaswag、boolq、MMLU-humanities、MMLU-other、MMLU-stem 和 winograd 等多项测试中均优于 GPT-4o，但是，它在 HumanEval 和 MMLU-social sciences 方面却落后于 GPT-4o。

值得注意的是，这些数据来自 Llama 3.1 的基本模型，意味着后续通过调整优化，可以进一步释放该模型的潜力，在上述基准测试中迈上更高的台阶。