本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】

图片[1]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

目前在开源大模型领域,Llama3 无疑是最强的!这次Meta不仅免费公布了 8B和70B两个性能强悍的大模型,400B也即将发布,这是可以和GPT-4对打的存在!今天我们就来介绍3各本地部署方法,简单易懂,非常适合新手!

1. GPT4All :  适合低配置用户,可以在CPU/GPU上跑

1、【点击下载

2、【网盘下载

 

图片[2]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

2.LMstudio ,支持下载多模型 8B/70B 等,模型选择更多!

点击下载

网盘下载

图片[3]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

 

提醒:如果你不在海外,无法在线下载模型,请通过网盘获取点击下载

 

3.Ollama,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[4]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问

图片[5]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

THE END
喜欢就支持一下吧
点赞2178 分享
甲骨文云服务器 (Oracle Cloud) 终极防封、防回收的教程!-零度博客

甲骨文云服务器 (Oracle Cloud) 终极防封、防回收的教程!

1.WindTerm 远程终端连接器:【官方下载】、【备用下载 】2.AA面板:【安装脚本】3.开启端口:sudo iptables -P INPUT ACCEPT sudo iptables -P FORWARD ACCEPT sudo iptables -P OUTPUT ACCEPT...
admin的头像-零度博客admin
2W+1683
写实美女SD主模型下载!含生成提示词-零度博客

写实美女SD主模型下载!含生成提示词

  Stable Diffusion 最新版下载:【点击前往】 或【网盘高速下载】 主模型下载:【点击前往】 提示词: best quality, masterpiece, beautiful and aesthetic, 16K, (HDR:1.4), high contr...
admin的头像-零度博客admin
2.3W+2178
ChatGPT无法登录 !如何修复?(8 种最佳解决方案)-零度博客

ChatGPT无法登录 !如何修复?(8 种最佳解决方案)

在发布的一个月内,ChatGPT 收到了热烈的反响并获得了数百万用户。人工智能聊天机器人很快在社交网站上引起了轰动,不断成为著名新闻门户网站的头条新闻。 AI Chatbot 能否长久维持下去还有待观...
admin的头像-零度博客admin
1.9W+6544
Custom Cursor for Chrome™ - 自定义光标-零度博客

Custom Cursor for Chrome™ – 自定义光标

Chrome™的自定义光标。 使用大量免费游标或上传自己的游标。   使用我们在 Custom Cursor 收集的免费鼠标光标自定义您的 Chrome 浏览器体验。 在 Custom Cursor,我们创建了一个巨大的手...
admin的头像-零度博客admin
2.1W+3251
推荐 11 个宝藏级的开源软件!来自Github的精品项目,超级实用!-零度博客

推荐 11 个宝藏级的开源软件!来自Github的精品项目,超级实用!

https://youtu.be/lmUGqhauRwM 1、Windows 12 网页版: https://www.freedidi.com/14410.html 2、StableStudio人手一个 Midjourney:https://www.freedidi.com/13901.html 3、AI 图像编辑工具...
微软的 AI 聊天机器人比 ChatGPT 更好用吗?新版bing上体验后给出答案 | 零度解说-零度博客
这9款软件,让你的电脑用起来更顺手!-零度博客

这9款软件,让你的电脑用起来更顺手!

  1.谷歌浏览器:https://www.google.com/intl/zh-CN/chrome 2.IDM官方版:https://www.internetdownloadmanager.com IDM 开心版:【点击前往】 3.小红伞杀毒软件:https://www.avira.com ...
admin的头像-零度博客admin
1.1W+3251
Captura(卡普图拉)免费开源的屏幕录制软件-零度博客

Captura(卡普图拉)免费开源的屏幕录制软件

Captura是一款完全免费且开源的电脑屏幕录制工具 主要功能: 捕获屏幕,网络摄像头,音频,光标,鼠标单击和击键 适用于Windows系统 需要:NET 4.7.2及以上的环境支持 下载地址:https://mathew...
使用閒置路由器增強WiFi信號 | 路由無線橋接,對wifi信號進行放大 | 解決WiFi信號差,網絡不穩定問題!-零度博客

使用閒置路由器增強WiFi信號 | 路由無線橋接,對wifi信號進行放大 | 解決WiFi信號差,網絡不穩定問題!

https://youtu.be/9W3-PlvO_wI 使用閒置路由器增強WiFi信號| 路由無線橋接,對wifi信號進行放大| 徹底解決WiFi信號差,網絡不穩定問題現在市面上但凡好點的wifi信號擴展器都需要400左右,這種無...