最新开源：阿里巴巴开源推理模型 Marco-o1！智子引擎开源多模态MoE大模型 Awaker2.5-VL!

11 月 22 日，阿里巴巴国际数字商业集团 MarcoPolo 团队发布了，这是一种旨在推进开放式问题解决的大型推理模型 (LRM)。不仅关注数学、物理和编程等有标准答案的学科，还强调开放性解决方案。通过使用等创新技术，优化了复杂的现实世界问题解决任务。_论文链接：__项目地址：_：团队使用开源和自研合成数据对基础模型进行全参数微调，打造出Marco-o1-CoT。：通过将大语言模型与（MCTS

努力的光头强

910人浏览 · 2024-11-25 10:49:41

努力的光头强 · 2024-11-25 10:49:41 发布

阿里巴巴开源推理模型 Marco-o1，聚焦开放式问题推理

11 月 22 日，阿里巴巴国际数字商业集团 MarcoPolo 团队发布了 Marco-o1，这是一种旨在推进开放式问题解决的大型推理模型 (LRM)。

Marco-o1 不仅关注数学、物理和编程等有标准答案的学科，还强调开放性解决方案。通过使用思维链（CoT）微调、蒙特卡罗树搜索(MCTS)和反思机制等创新技术，Marco-o1 优化了复杂的现实世界问题解决任务。

论文标题：Marco-o1: Towards Open Reasoning Models for Open-Ended Solutions
_论文链接：_https://arxiv.org/pdf/2411.14405
_项目地址：_https://github.com/AIDC-AI/Marco-o1

Marco-o1 的核心优势体现在四个方面：

思维链微调：团队使用开源CoT数据集和自研合成数据对基础模型进行全参数微调，打造出Marco-o1-CoT。
MCTS解决方案扩展：通过将大语言模型与蒙特卡罗树搜索（MCTS）相结合，利用模型输出的置信度来指导搜索，大大扩展了解决方案空间。
创新推理策略：实现了全新的推理行动策略和反思机制（Marco-o1-MCTS Mini-Step），在MCTS框架内探索不同的行动粒度，并引导模型进行自我反思。
突破性翻译应用：首次将大型推理模型（LRM）应用于机器翻译任务，探索多语言和翻译领域的推理时间扩展规律。

图2. Marco-o1 框架

通过微调 Qwen2-7B-Instruct 与过滤后的 Open-o1 CoT 数据集、Marco-o1 CoT 数据集和 Marco-o1 指令数据集的组合，Marco-o1 提高了对复杂任务的处理能力。

表1. Marco-o1 数据集

实验结果显示：

MGSM英文数据集：准确率提升 6.17%；
MGSM中文数据集：准确率提升 5.60%。

在翻译任务中，Marco-o1 在翻译俚语表达方面表现出色。例如，该模型正确地将中文中字面意思为「这个鞋拥有踩屎感」的俗语翻译成了英文「This shoe has a comfortable sole」（这只鞋的鞋底很舒服），证明了它对俗语细微差别的精准把握。

PART

0****2

智子引擎开源 Awaker2.5-VL，一款突破性多模态MoE大模型

论文标题：Awaker2.5-VL: Stably Scaling MLLMs with Parameter-Efficient Mixture of Experts
_论文地址：_https://arxiv.org/abs/2411.10669
_代码仓库：_https://github.com/MetabrainAGI/Awaker

Awaker 是由 Metabrain AGI 开发的一系列多模态大模型，包括_多模态大语言模型Awaker-VL、多模态检索模型 Awaker-Sou 和视频生成模型 Awaker-Gen_。该项目旨在通过专家混合的方式稳定高效地扩展基础多模态大语言模型，已在 MME-Realworld 和 MMBench 等基准测试中取得了新的最先进成果。

Awaker2.5-VL 的架构基于高效的LoRA-MoE设计，包含多个专门的TaskExpert和一个GlobalExpert。这一创新设计扩展了模型在不同任务上的能力，有效地缓解了多模态“多任务冲突”的问题。

该模型还对MoE中门控网络的路由策略进行了细致的研究，并设计了一个简单且十分有效的Instance-level的路由策略，提升了模型训练的稳定性。

Awaker2.5-VL 的训练过程分为三个阶段，包括:

第一阶段：初始化训练，此阶段中仅使用单个LoRA进行模型训练，冻结其他部分；
第二阶段：进行MoE模块的训练，此时全模型的参数会进行更新；
第三阶段：指令微调阶段，专注于增强模型对指令的跟随能力，并准备其在下游任务中的表现。

通过使用1200万的指令数据，模型不仅涵盖了英文和中文任务，还在复杂的多模态情境下展现了强大的理解与生成能力。

在多项重要基准测试中，Awaker2.5-VL 表现出色。

MME-Realworld 是当前最难、规模最大多模态评测基准，而 MMBench 是主流多模态大模型参评最多的评测基准之一。

Awaker2.5-VL 在MME-Realworld 和 MME-Realworld-CN 都位列榜首，且是目前唯一在该Benchmark上“及格”（超过60分）的模型。考虑到 MME-Realworld 主要面向自动驾驶、遥感、视频监控等复杂场景，Awaker2.5-VL 在 MME-Realworld上的出色表现很好地展示它在落地应用中的巨大潜力。

Awaker2.5-VL 分别在 MMBench、MMBench_v1.1、MMBench_CN、MMBench_CN_v1.1 四个榜单进行了测评，并且分别以英文能力平均分数（MMBench 和 MMBench_v1.1）和中文能力平均分数（MMBench_CN 和 MMBench_CN_v1.1）进行排序。Awaker2.5-VL 在中文场景和英文场景中分别位列第9和第7。在同量级参数量的模型中，Awaker2.5-VL 表现远超其他模型。

PART

0****3

华科发布MoE Jetpack框架，收敛速度最高8倍，准确率提升超30%！

华中科技大学的研究人员提出 MoE Jetpack 框架，通过 Checkpoint Recycling 方法和 SpheroMoE 结构，将密集激活模型的预训练权重微调为混合专家（MoE）模型，从而免去了MoE模型的预训练过程，大幅提升了MoE在下游任务中的收敛速度、准确性和计算效率。MoE Jetpack 在Transformer和CNN架构上表现出色，适用于多种视觉数据集。

论文标题：MoE Jetpack: From Dense Checkpoints to Adaptive Mixture of Experts for Vision Tasks
论文地址： https://arxiv.org/abs/2406.04801
代码地址： https://github.com/Adlith/MoE-Jetpack

MoE Jetpack 框架的核心创新包括：

Checkpoint recycling：通过采样密集模型权重产生差异化的专家，组成MoE模型的初始化权重，从而加速模型收敛、提升性能，并避免大规模的MoE模型预训练。
SpheroMoE Layer：通过调整MoE结构，利用交叉注意力机制进行专家分配，将query和key投影到超球空间以提升微调过程的稳定性，并通过一系列专家正则化方法有效缓解MoE模型微调过程中的过拟合现象。

图2. Checkpoint Recycling 和 SpheroMoE 结构

实验结果表明：MoE Jetpack 在多个数据集和网络结构上实现了显著的性能提升。

在ImageNet-1K上，模型收敛速度提升 2 倍，准确率提高了 2.8%；
在小规模数据集上，收敛速度可达 8 倍提升，准确率提升超过 30%。

图1.（a）MoE Jetpack将密集预训练权重转化为MoE模型的初始化权重，在性能提升的同时保持等效的FLOPs。(b) 未预训练的ViT、微调的ViT、未预训练的Soft MoE 与MoE Jetpack在多个视觉数据集上的性能比较。

表1. MoE Jetpack基于ViT和ConvNeXt在8个下游数据集上的性能表现

图5. MoE Jetpack 带来了收敛速度提升

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述