# 前言

本文介紹一個可以快速搭建本地大語言模型的聊天服務，模型和代碼已全部提供，不需要聯網運行。項目使用的是Qwen-7B-Int4模型，只需要8G顯存的顯卡都能流暢運行，無論是Windows還是Linux系統都支持使用。

安裝環境¶

1. 安裝GPU版本的Pytorch。

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

2. 安裝其他依賴庫。

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

啓動服務¶

1. 執行server.py程序，啓動大語言模型服務。

python server.py

Android應用¶

使用Android Studio打開源碼中的AndroidClient目錄，這是一個Android應用源碼，打開之後首先就要修改服務t地址CHAT_HOST，將它修改爲你上面使用的服務器IP地址，點擊運行安裝到Android手機上。

應用效果圖：

掃碼入知識星球，搜索【基於大語言模型的聊天應用】獲取源碼