本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】

图片[1]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

目前在开源大模型领域,Llama3 无疑是最强的!这次Meta不仅免费公布了 8B和70B两个性能强悍的大模型,400B也即将发布,这是可以和GPT-4对打的存在!今天我们就来介绍3各本地部署方法,简单易懂,非常适合新手!

1. GPT4All :  适合低配置用户,可以在CPU/GPU上跑

1、【点击下载

2、【网盘下载

 

图片[2]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

2.LMstudio ,支持下载多模型 8B/70B 等,模型选择更多!

点击下载

网盘下载

图片[3]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

 

提醒:如果你不在海外,无法在线下载模型,请通过网盘获取点击下载

 

3.Ollama,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[4]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问

图片[5]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

THE END
喜欢就支持一下吧
点赞2178 分享
Windows11 升级后严重卡顿?到底是谁的错?如何退回到Win10系统 | 零度解说-零度博客
微软强悍的 OneNote 合并始于 Windows 商店中的一个应用程序-零度博客

微软强悍的 OneNote 合并始于 Windows 商店中的一个应用程序

微软一直致力于将其 OneNote 和 OneNote for Windows 10 应用程序统一为一个应用程序。 经过 12 个月的改进,Windows 商店中仅列出了 OneNote 应用程序。 过去一年,微软一直在将其 OneNote 和 ...
admin的头像-零度博客admin
1.6W+2250
电脑中毒了?只需8分钟!一步步教你彻底清除顽固病毒!!| 零度解说-零度博客

电脑中毒了?只需8分钟!一步步教你彻底清除顽固病毒!!| 零度解说

https://youtu.be/aA2xvs6aDc8   一键清理病毒的Tron脚本下载(开源):https://www.freedidi.com/12992.html
电脑驱动下载、更新,管理软件推荐!完全免费、开源、安全-零度博客

电脑驱动下载、更新,管理软件推荐!完全免费、开源、安全

虽然现在市面上有很多的驱动管理软件,但是要么是收费,要么就各种捆绑,很多人都不敢使用,今天给大家介绍一款, 完全免费且开源的驱动下载、更新、管理软件;它就是Snappy Driver Installer ...
admin的头像-零度博客admin
4.5W+2178
Windows 10系统开启卓越性能的方法+代码!-零度博客

Windows 10系统开启卓越性能的方法+代码!

首先在搜索栏里找到:Windows PowerShell 找到后以管理员权限打开它 然后输入以下代码回车确认即可! Powershell命令代码: powercfg -duplicatescheme e9a42b02-d5df-448d-aa00-03f14749eb61
Claude 3 终于发布手机客户端了!可免费下载使用-零度博客

Claude 3 终于发布手机客户端了!可免费下载使用

5月1日,人工智能初创公司Anthropic宣布其大型模型产品Claude的移动应用正式上线。相较于ChatGPT、Gemini等竞争对手,Claude的推出显得稍显迟缓。 Anthropic的产品经理斯科特·怀特(Scott Whit...
admin的头像-零度博客admin
1.4W+1528
DuckDuckGo 的新 Web 浏览器中的最佳隐私功能-零度博客

DuckDuckGo 的新 Web 浏览器中的最佳隐私功能

DuckDuckGo 的新网络浏览器为 Mac 带来了一些杀手级的隐私功能。   很难说服人们改变,但切换到不同的网络浏览器尤其困难。无论您是 Chrome、Edge、Safari 还是其他数十种选项之一,您都喜...
admin的头像-零度博客admin
1.6W+2250
Windows 10为高级用户打造的五款免费神器!不愧是微软的亲儿子 | 零度解说-零度博客
埃及神秘物品,距今2000多年居然还能使用!难道它们来自地外文明吗?-零度博客

埃及神秘物品,距今2000多年居然还能使用!难道它们来自地外文明吗?

距今有2000多年前的神秘电池,居然还能使用!难道是外星人留下的吗? https://youtu.be/PU6QQfB6_hI