魔搭社区每周速递(5.17-5.23)
魔搭ModelScope本周带来的21个模型,包括:多模态对话,文本生成,生成扩散模型高效调优,端上检测模型,OCR表格识别模型等;8个数据集,任务覆盖:视频去场纹,图像分类,词性标注,句法标注,关系抽取,文本生成等,52个创新应用包括:多模态对话,Stable Diffusion自动prompt生成,音视频自动切片和字母生成等,6篇应用文章包括:多模态表征模型开源,对LLM作为controller的思考,在MAC安装ModelScope的实践等。
新模型和应用
mPLUG-Owl-多模态对话-英文-7B
模型页面:https://modelscope.cn/models/damo/multi-modal_mplug_owl_multimodal-dialogue_7b/summary
创空间体验:https://modelscope.cn/studios/damo/mPLUG-Owl/summary
来自达摩院的mPLUG-Owl是一种面向多模态语言模型的模块化的训练范式。其能学习与语言空间相适应的视觉知识,并支持在多模态场景(支持图片、文本输入)下进行多轮对话。它涌现多图关系理解,场景文本理解和基于视觉的文档理解等能力。
mPLUG-Owl基于mPLUG-2模块化的思想,通过多阶段分别训练模型的视觉底座与语言模型,使其视觉知识能与预训练语言模型紧密协作,达到了显著优于主流多模态语言模型的效果。
Ziya-LLaMA-13B-v1
模型页面:https://modelscope.cn/models/Fengshenbang/Ziya-LLaMA-13B-v1/summary
来自idealab的姜子牙通用大模型V1是基于LLaMa的130亿参数的大规模预训练模型,具备翻译,编程,文本分类,信息抽取,摘要,文案生成,常识问答和数学计算等能力。目前姜子牙通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。
效果评估 Performance
Stable Diffusion 自动 Prompt 生成器:
创空间体验:https://modelscope.cn/studios/PAI/PromptEng/summary
来自阿里云机器学习平台PAI的Stable Diffusion 自动 Prompt 生成器创新应用,通过自动生成prompt,让stable Diffusion生成更加好看的图片。
DCT-Net人像卡通化模型-游戏风格
原神风模型页面:
https://modelscope.cn/models/lskhh/moran-cv_unet_person-image-cartoon-genshin_compound-models/summary
王者荣耀风格模型页面:
https://modelscope.cn/models/lskhh/ty_cv_unet_person-image-cartoon-wz_compound-models/summary
原神风创空间体验:https://modelscope.cn/studios/lskhh/moran_genshin_portrait_stylization/summary
王者荣耀风格创空间体验:
https://modelscope.cn/studios/lskhh/wz_portrait_stylization/summary
来自社区个人开发者贡献的DCT-Net人像卡通化模型-原神风/王者荣耀模型是根据DCT-Net人像卡通化模型基于公开的数据集通过魔搭社区的finetune工具进行二次训练得到的结果。
更多上新模型
visualglm-6b:
https://modelscope.cn/models/ZhipuAI/visualglm-6b/summary
端上目标检测-野生动物检测:
https://modelscope.cn/models/IoT-Edge/Wild_Animals_Detection/summary
ERes2Net说话人确认-英文-VoxCeleb-16k-离线-pytorch:
https://modelscope.cn/models/damo/speech_eres2net_sv_en_voxceleb_16k/summary
更多上新应用
VisualGLM-6B多模态问答对话模型:
https://modelscope.cn/studios/AI-ModelScope/VisualGLM-6B/summary
Paraformer视频自动切片与字幕:
https://modelscope.cn/studios/damo/funasr_app_clipvideo/summary
Video-LLaMA:https://modelscope.cn/studios/damo/video-llama/summary
社区精选文章
ONE-PEACE: 更好的通用表征模型:
https://modelscope.cn/headlines/article/100
LLM as Controller—无限拓展LLM的能力边界:
https://modelscope.cn/headlines/article/99
ModelScope 魔塔社区初探:
https://modelscope.cn/headlines/article/101
更多推荐
所有评论(0)