文本生成:text-generation-webui安装部署及使用

推荐常用好使的推理和部署方式（软件）：

llama.cpp 有丰富的量化选项和高效的本地推理

Transformers 原生的transformers推理接口

text-generation-webui 前端web UI 界面部署

这里主要讲解text-generation-webui的安装部署使用

git clone https://github.com/oobabooga/text-generation-webui.git

下载到本地有充足空间的位置 text-generation-webui目录结构

网络错误导致无法继续

网络原因多试几次，建议修改condarc，配置国内镜像源。

又或者想方设法搞通网络，懂得都懂

网络通畅的话，继续安装，到下面这一步，按照提示操作

ModuleNotFoundError: No module named 'accelerate'

ModuleNotFoundError: No module named 'gradio'

ModuleNotFoundError: No module named 'markdown'

ModuleNotFoundError: No module named 'transformers'

ModuleNotFoundError: No module named 'numba'

ModuleNotFoundError: No module named 'datasets' ModuleNotFoundError: No module named 'datasets'

ModuleNotFoundError: No module named 'peft' 可以在浏览器打开http://127.0.0.1:7860了

Model这个界面可以填写模型文件名，直接下载模型，但基本上会中断无法成功下载，因为文件大，网络不畅。因此，建议手动下载大模型，可以去魔搭社区。可以下载原始文件（文件多而且比较大，llama3-8b-instruct版本合计15GB，但是运行顺畅，容易配置GPU加速）也可以下载gguf文件（文件小但运行慢，可能是本人没配置好GPU加速的原因，又或者是安装的llama_cpp_python版本不适合）放到models文件夹下面。如果GPU大于8G，推荐使用原始文件。

在Model选项选择要使用的模型文件即可，Model loader一般是自动选择。gpu和cpu的使用内存可以自行配置。然后Load就可以了。

模型加载成功的命令行窗口信息

现在就可以愉快地使用了

可能遇到的问题，除了上面缺少module的报错，加载gguf模型也可能报错：

AttributeError: 'NoneType' object has no attribute 'Llama'

解决办法也很简单