Langchain-Chatchat 部署教程!开源可免费商用,完全本地化推理的知识库增强方案!!

图片[1]-Langchain-Chatchat 部署教程!开源可免费商用,完全本地化推理的知识库增强方案!!-零度博客

Langchain-Chatchat 是一个可以实现:完全本地化推理的知识库增强方案, 重点解决数据安全保护,私域化部署的企业痛点。 开源方案采用Apache License,可以免费商用,无需付费。

支持市面上主流的本地大语言模型和Embedding 嵌入式模型,支持开源的本地向量数据库。

图片[2]-Langchain-Chatchat 部署教程!开源可免费商用,完全本地化推理的知识库增强方案!!-零度博客

图片[3]-Langchain-Chatchat 部署教程!开源可免费商用,完全本地化推理的知识库增强方案!!-零度博客

1. 环境配置

  • 首先,确保你的机器安装了 Python 3.8 – 3.11  (强烈推荐使用 Python3.11) 【点击前往
  • 安装CUDA Toolkit,建议安装 CUDA 12.1版本,因为开发者就是用的这个版本,点击前往官方下载
  • 需要注意的是,如果你不在海外,需要自行全局科学上网,否则无法正常安装。

2. 正式安装

大陆用户请选择本地安装包:网盘打包下载

拉取仓库项目文件:

# 拉取仓库
 git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# 进入目录
 cd Langchain-Chatchat

# 安装全部依赖
 pip install -r requirements.txt 
 pip install -r requirements_api.txt
 pip install -r requirements_webui.txt  

# 默认依赖包括基本运行环境(FAISS向量库)。如果要使用 milvus/pg_vector 等向量库,请将 requirements.txt 中相应依赖取消注释再安装。

3.下载模型

git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

初始化配置

python copy_config_example.py
python init_database.py --recreate-vs

4.启动

python startup.py -a

第一次启动的时候需要输入一个邮箱,就可以打开 webUI 可视化界面进行使用!

GPU硬件推荐参数

7B的模型,显存14GB+,推荐 NVIDIA RTX4080 16G及以上
14B级模型,显存30GB+,推荐 NVIDIA Tesla V100 32G及以上
39B级模型,显存69GB+,推荐 NVIDIA A100 80G及以上
72B级模型,显存145GB+,需要专业级显卡或者多卡叠加

(默认安装的是 ChatGLM-6B 模型,中端型显卡可以直接本地运行)

本次演示环境系统: Windows 11   、GPU: RTX 4090 24GB、 CPU: i7-12700

当然如果你需要运行更大的模型,比如你想要顺利在GPU运行本地模型的 FP16 版本,你至少需要以下的硬件配置,来保证在我们框架下能够实现 稳定连续对话

  • ChatGLM3-6B & LLaMA-7B-Chat 等 7B模型
    • 最低显存要求: 14GB
    • 推荐显卡: RTX 4080
  • Qwen-14B-Chat 等 14B模型
    • 最低显存要求: 30GB
    • 推荐显卡: V100
  • Yi-34B-Chat 等 34B模型
    • 最低显存要求: 69GB
    • 推荐显卡: A100
  • Qwen-72B-Chat 等 72B模型
    • 最低显存要求: 145GB
    • 推荐显卡:多卡 A100 以上

5.安装过程中出现的常见错误和解决方法:

1.提示 ModuleNotFoundError: No module named ‘pwd’,这个模块是Unix系统上的,Windows 上并没有,所以我们需要进行降级:

pip install langchain-community==0.0.19

2.提示错误信息 | ERROR | stderr | AssertionError: Torch not compiled with CUDA enabled

说明你没有安装CUDA环境或者你安装的PyTorch版本不支持CUDA,解决方法:

pip uninstall torch torchvision torchaudio

通过上面的命令进行卸载后重新安装官方给出的正确版本,安装命令如下:

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

3.安装依赖 wavedrom 时报错 (setuptools_scm)的解决方法:

pip install setuptools_scm

安装后再重新安装依赖环境

 

 

THE END
喜欢就支持一下吧
点赞2177 分享
显卡要涨价了!RTX 30 LHR挖矿限制被100%破解,这次有什么猫腻?| 零度解说-零度博客
GitHub 今晚罕见地出现长时间中断,现已恢复运行-零度博客

GitHub 今晚罕见地出现长时间中断,现已恢复运行

微软拥有并运营的另一项热门在线服务也经历了长时间的停机。这次是 GitHub 开发人员服务和代码存储库服务,周三晚上遭遇了中断。 今天晚上美国东部时间 7 点刚过,DownDetector显示 GitHub 用户...
admin的头像-零度博客admin
2W+2176
GPT-4 Turbo LLM 免费使用!微软已经内置在最新版的 Copilot 中-零度博客

GPT-4 Turbo LLM 免费使用!微软已经内置在最新版的 Copilot 中

微软今天正在提升其 Copilot 生成式人工智能聊天机器人的性能。已确认所有免费 Copilot 用户现在都可以访问 OpenAI 的 GPT-4 Turbo 大语言模型。 此前,需要购买微软的 Copilot Pro 服务才能访...
admin的头像-零度博客admin
1.3W+1528
Windows 11 隐藏了那些功能?微软下一代新系统不为人知的东西!| 零度解说-零度博客
2021年最值得下载的七款手机应用程序!安卓/iOS软件推荐! 零度解说-零度博客
美国硅谷银行倒闭后,USDC 稳定币和加密货币市场失控-零度博客

美国硅谷银行倒闭后,USDC 稳定币和加密货币市场失控

USDC 通常稳定的价格从 1 美元跌至 0.89 美元,而以太坊汽油费在这家加密银行倒闭数小时后飙升。 周六早些时候,由于硅谷银行 (SVB) 的倒闭导致该行业的一些核心管道失灵,加密货币危机进入高潮...
admin的头像-零度博客admin
1.2W+6539
别错过! 黑五优惠折扣VPN推荐!速度稳定性都非常不错 2022 | 零度解说-零度博客
Windows 11 的屏幕截图工具新增屏幕录像功能-零度博客

Windows 11 的屏幕截图工具新增屏幕录像功能

微软的截图工具现在可以做的不仅仅是截图。     微软正在美化其屏幕截图功能 Snipping Tool,其中包含一项允许用户录制屏幕会话的新功能。 新的屏幕录制功能正在 Dev Channel 中向一...
admin的头像-零度博客admin
1.6W+1091
免费安全VPN推荐:Windscribe-零度博客

免费安全VPN推荐:Windscribe

每个月有10G的免费流量,支持任何操作平台,无限连接以及访问 10 多个国家/地区的权限。 Windscribe 防火墙有时被错误地称为“终止开关”,它利用本机操作系统 API 来阻止隧道外部的所有连接。...
admin的头像-零度博客admin
1.8W+1529