前言¶

這裏使用最簡單的幾條命令介紹如何部署DeepSeek-R1的服務，默認已經安裝了Anaconda，使用的是vllm框架，國內也可以輕鬆部署。

部署¶

創建虛擬環境

conda create -n vllm python=3.11 -y

激活虛擬環境

conda activate vllm

安裝Pytorch框架

pip install torch torchvision torchaudio

安裝vllm和modelscope

pip install vllm
pip install modelscope

指定使用modelscope下載模型

export VLLM_USE_MODELSCOPE=True

啓動服務，可以根據自己需要修改模型，DeepSeek-R1地址，tensor-parallel-size參數指定使用的顯卡數量。

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --tensor-parallel-size 1 --max-model-len 32768 --enforce-eager

調用¶

使用Python調用：

from openai import OpenAI

client = OpenAI(base_url="http://192.168.0.12:11434/v1",
                api_key="key")

messages = [{"role": "user", "content": "你好"}]
response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B",
    messages=messages,
    stream=True
)

for chunk in response:
    delta = chunk.choices[0].delta
    delta_content = delta.content
    if delta_content is not None:
        print(delta_content, end='')

前言¶

部署¶

調用¶

相關文章