ChatGLM实现本地化部署，打造专属的本地聊天AI！ - 知乎

安宇雨 - 随手采集
2024-02-29 17:04:43
随手采集
0000-未整理-等待研究

从GPT面世以后，不仅是各大厂的闭源语言模型，各种开源语言模型也如雨后春笋般冒头，但大多数模型都不适合在本地或者个人的服务器上部署，因为硬件条件要求实在是太高了。

而为了在关键时刻备用，同时也为了以后部署AI机器人准备，我也一直在寻找可以在家用消费级显卡上部署的各种开源模型，包括画图的Stable Diffusion，教程快捷跳转MidJourney平替——本地化部署Stable Diffusion WebUI！，但对话语言模型的一直找不到合适的，包括多模态对话语言模型（如读图能力，GPT-4发布会上是有的，但一直迟迟不出），最开始是看上了多模态的MiniGPT4，但是发现配置要求有点高我跟不上，所以就搁置了。

直到前几天，我日常逛GitHub的时候发现了ChatGLM（清华团队推出的一款开源的类GPT的对话模型）多了一项更新发布，VisualGLM-6B，支持多模态对话（读图），又得益于模型量化技术，使得硬件要求直线下降，最低只需要6GB的显存。相对来说，是一个比较适合在本地或者个人的服务器上部署的模型了。

本地化部署

由于ChatGLM和VisualGLM两个项目几乎一致，只是因为VisualGLM的多模态能力，硬件要求可能稍高，部署以VisualGLM为例。

前置条件是需要python和git环境，快捷跳转Python与Git环境安装。

1、模型依赖于显卡驱动CUDA计算，且显存要求最低6G，因此没有8G显存的N卡就算了。进入官网下载CUDA11.6版本和PyTorch 1.13.1+cu116（建议版本跟我一致，不然大概率一直报错Torch not compiled with CUDA enabled，搞了大半天）。

进入CUDA下载官网，选择11.6版本，下载完成后执行精简安装即可。

PyTorch直接打开命令行（cmd），输入以下命令等待下载完成即可。

pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116

2、克隆项目到本地，找个自己喜欢的位置，输入以下命令。

git clone https://github.com/THUDM/VisualGLM-6B

下载完成后执行以下命令进入项目目录。

cd VisualGLM-6B

3、下载依赖文件，需要分别执行以下两行命令（以Windows为例）。

pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements_wo_ds.txt
pip install -i https://mirrors.aliyun.com/pypi/simple/ --no-deps "SwissArmyTransformer>=0.3.6"