前言
这里使用最简单的几条命令介绍如何部署DeepSeek-R1的服务,默认已经安装了Anaconda,使用的是vllm框架,国内也可以轻松部署。
部署
- 创建虚拟环境
conda create -n vllm python=3.11 -y
- 激活虚拟环境
conda activate vllm
- 安装Pytorch框架
pip install torch torchvision torchaudio
- 安装vllm和modelscope
pip install vllm
pip install modelscope
- 指定使用modelscope下载模型
export VLLM_USE_MODELSCOPE=True
- 启动服务,可以根据自己需要修改模型,DeepSeek-R1地址 ,
tensor-parallel-size
参数指定使用的显卡数量。
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --tensor-parallel-size 1 --max-model-len 32768 --enforce-eager
调用
使用Python调用:
from openai import OpenAI
client = OpenAI(base_url="http://192.168.0.12:11434/v1",
api_key="key")
messages = [{"role": "user", "content": "你好"}]
response = client.chat.completions.create(
model="deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B",
messages=messages,
stream=True
)
for chunk in response:
delta = chunk.choices[0].delta
delta_content = delta.content
if delta_content is not None:
print(delta_content, end='')