一键运行大语言模型服务,搭建聊天应用

# 前言

本文介绍一个可以快速搭建本地大语言模型的聊天服务,模型和代码已全部提供,不需要联网运行。项目使用的是Qwen-7B-Int4模型,只需要8G显存的显卡都能流畅运行,无论是Windows还是Linux系统都支持使用。

安装环境

  1. 安装GPU版本的Pytorch。
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
  1. 安装其他依赖库。
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

启动服务

  1. 执行server.py程序,启动大语言模型服务。
python server.py

Android应用

使用Android Studio打开源码中的AndroidClient目录,这是一个Android应用源码,打开之后首先就要修改服务t地址CHAT_HOST,将它修改为你上面使用的服务器IP地址,点击运行安装到Android手机上。

应用效果图:

![](/static/files/2023-10-23/1a8ff92618dd4c45baa1af64407278f6.gif)

扫码入知识星球,搜索【基于大语言模型的聊天应用】获取源码

![](/static/files/2023-10-23/a7b76c37706e4bcfa203e7aa89b1354d.png)
小夜