讨论广场 问答详情
创空间如何启动vllm server
程序猿暴打攻城狮 2025-05-20 09:12:43
130 评论 分享

目前是直接call魔搭的api,但是想演示大模型中对敏感词的处理,所以想私有化启vllm,然后创空间调用,怎样可以实现呢,

 

目前想了两个方式,一个是subprocess一个是os,

130 评论 分享
写回答
全部评论(0)