標籤 一鍵運行大語言模型服務，搭建聊天應用 2023-10-23 188 閱讀 Pytorch 深度學習 語言模型 人工智能 自然語言處理 大語模型 本文介紹了一個基於Qwen-7B-Int4模型的本地大語言模型聊天服務搭建方法。首先，需安裝GPU版本PyTorch及其他依賴庫。接着，在終端執行`server.py`啓動服務。該服務支持Windows和Linux系統，並在顯存要求較低的情況下（8G顯卡）可流暢運行。 此外，還提供了一個Android應用源碼，通過修改服務地址並使用Android Studio打開其中的`AndroidClien 閱讀全文