如何让阿里通义千问Qwen-7b运行在FastChat

(资料图片)

提前准备：

FastChat项目地址: git clone /lm-sys/

Qwen-7B模型：/Qwen/Qwen-7B

本人环境介绍：显卡：3090 24G

内存：60G

CPU：AMD-R5 5600

系统：

Python依赖环境：    Miniconda 

下载地址：/anaconda/archive/

CUDA版本如图：

废话不说了，开整

git clone /lm-sys/

cd FastChat

创建conda环境： conda create -n fastchat python=

激活conda环境：conda activate fastchat

安装依赖：pip install -e ".[model_worker,webui]" 

安装stream依赖：pip install einops transformers_stream_generator

确认没有问题，如图：

开始启动：

注意：这三步都需要新开控制台，并且切换conda环境到fastchat

开启控制器管理分布式工作线程： python3 -m  

启动模型工人：python3 -m _worker --model-path /home/xxx/.cache/huggingface/hub/models--QWen--QWen-7B-Chat

开启gradio-web-ui：python3 -m _web_server

访问：http://localhost:7860即可如图：