达摩院联合CCF开源发展委员会共同发起了国内首个中文AI模型开源社区--ModelScope“魔搭”，汇集了当前业界各类模态上工业级领先的模型，以及丰富的数据集，并吸引各大科研机构和科技公司来共分享共建这一社区，方便科研工作者做横向的比较和研究，并共同持续推进技术创新和原创性模型研究的发展。
本届全国人机语音交互会议线上沙龙将邀请ModelScope魔搭社区语音语义AI的贡献者和合作伙伴一同进行模型解读以及演示如何快速训练定制各类语音模型的过程。

img

Logo
欢迎加入ModelScope魔搭中文开源社区

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！

更多推荐

cover

[论文笔记]Mistral 7B

avatar ModelScope魔搭社区

有趣的大模型之我见 | Mistral 7B 和 Mixtral 8x7B

我们知道模型各层中的多头自注意力机制即 multi-headead self attention，其实模型各层中还有另外一个组件“前馈网络” 即（Feedforward Neural Network，FFN)。FFN 的作用是对数据进行额外变换,提取更细腻的模式规律,从而提升模型学习和理解语言语义的能力。每个自注意力头脑都试图学习输入序列不同词关系的一些特征信息。如果我们在 FNN 部分引入多个网

avatar ModelScope魔搭社区

Mistral 7B

结果显示 Mistral 7B 在所有指标上都显著优于 Llama 2 13B，并且与 Llama 34B 相当（由于 Llama 2 34B 尚未发布，因而只报告了 Llama 34B 的结果）。Mistral 7B 在所有评估中都大大优于 Llama 2 13B，除了在知识基准方面，它们处于同等水平。近日，一家法国人工智能初创公司 Mistral AI 发布了一款新模型 Mistral 7B，

avatar ModelScope魔搭社区