标签: 大语模型

一键运行大语言模型服务，搭建聊天应用

本文介绍了一个基于Qwen-7B-Int4模型的本地大语言模型聊天服务搭建方法。首先，需安装GPU版本PyTorch及其他依赖库。接着，在终端执行`server.py`启动服务。该服务支持Windows和Linux系统，并在显存要求较低的情况下（8G显卡）可流畅运行。 此外，还提供了一个Android应用源码，通过修改服务地址并使用Android Studio打开其中的`AndroidClien