登录社区云，与社区用户共同成长
邀请您加入社区
魔搭社区于 2022 年 11 月初创建，首次在业界提出了 “模型即服务”（ MaaS, Model as a Service）的理念。
背景介绍 论文地址： https://arxiv.org/abs/2403.17919 LISA是LayerwiseImportanceSamplingforMemory-EfficientLargeLanguageModelFine-Tuning的简写，由UIUC联合LMFlow团队于近期提出的一项LLM微调技术，可实现把全参训练的显存使用降低到之前的三分之一左右，而使用的技术方法却是非常简
本文为魔搭社区大模型技术理论&实践学习笔记系列，并收录至modelscope-classroom和魔搭社区研习社，更多LLM学习资料欢迎收藏关注~ modelscope-classroom： https://github.com/modelscope/modelscope-classroom/blob/main/LLM-tutorial/%E9%87%8F%E5%8C%96%E6%8A
内容提纲 视频课程课程材料一、目前最好用的AI应用有哪些？（看）除了chatgpt和midjourney（图片生成） 妙鸭（AI写真）、PIKA（视频生成）、Heygen（数字人） 还有 AIPPT：一句话帮你做ppt，
模型的量化 量化是什么 前文中我们提到，模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是
引言 背景 大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。 模型的自动评测技术可以分为rule-based和model-based两大类： rule-based方法： benchmark以客观题为主，例如多选题，被测的LLM通过理解conte
总览介绍 模型/训练/推理 深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。为了便于理解，我们以一元一次方程为例子解释： y = ax + b 该方程意味着给出常数a、b后，可以通过给出的x求出具体的y。比如： # a=1 b=1 x=1 y = 1 * 1 + 1 -> y=2 # a=1 b=1 x=2 y = 1 * 2 + 1 => y=3 这个根据x求出
内容摘要 本课程以Qwen系列模型为例，主要介绍在魔搭社区如何高效推理LLM和多模态模型，主要包括如下内容： LLM和多模态大模型的推理 使用ModelScopeNoteBook免费GPU推理Qwen-1.8B-Chat-int4 使用ModelScopeNoteBook免费GPU推理Qwen-VL-Chat-int4 使用ModelScopeNoteBook免费GPU推理Qwen-audio-
引言 前一天我们讲到：prompt（提示词）是我们和LLM互动最常用的方式，我们提供给LLM的Prompt作为模型的输入，并希望LLM反馈我们期待的结果。 虽然LLM的功能非常强大，但LLM对提示词（prompt）也非常敏感。这使得提示词工程成为一项需要培养的重要技能。 本节课将会给大家介绍提示词设计的一些技术，涉及到一些案例实操， 推荐使用环境：通义千问-72B-对话-Demo·创空间(mo
七天入门LLM大模型学习是ModelScope魔搭社区推出的大模型课程，旨在帮助初学者理解和学习LLM的基础概念和实践。课程大纲安排如下： 未来七天，社区将每天为大家推出一篇课程内容，感兴趣的小伙伴们可关注魔搭社区自取使用哦。 魔搭LLM大模型开源生态图 近一年来，大语言模型（LLM）成为为全球科技与社会关注的焦点，公众对这类模型所蕴含的先进技术及其广泛应用有了更为深入的认知。关于LLMs是否应
