本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型

图片[1]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

安装步骤:

 

1、通过Ollama进行部署 ,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[2]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

2、安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问,然后在里面下载安装Llama 3.2 模型

图片[3]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

Llama 3.2 11B 本地部署教程:【点击前往】 注意:11B模型 需要22G以上的显存才能运行

当然如果你不想本地部署安装,或者显卡不支持,也可以直接在线体验 !

Llama 3.2 11B在线使用:【点击前往】 支持图片识别功能

THE END
喜欢就支持一下吧
点赞3258 分享
相关推荐
谷歌表示苹果“不应从 iMessage 锁定造成的欺凌中受益”-零度博客

谷歌表示苹果“不应从 iMessage 锁定造成的欺凌中受益”

Apple 的 Messages 应用程序区分 iOS 用户(蓝色)和 Android 用户(绿色)。  谷歌指责苹果从欺凌中获益,这是故意让安卓用户成为这家 iPhone 制造商 iMessage 服务的二等公民的战略的一部分...
admin的头像-零度博客admin
1.5W+2251
推荐6款最强的安卓模拟器!在电脑上玩手游更方便更流畅 | 零度解说-零度博客
AI Gallery 轻松玩转AI大模型!Llama 3、ChatGML、Falcon 一键云端部署!! | 零度解说-零度博客

AI Gallery 轻松玩转AI大模型!Llama 3、ChatGML、Falcon 一键云端部署!! | 零度解说

https://www.youtube.com/watch?v=OzwTFFl8Pos   ============== 【AI Gallery 官网链接】:https://pangu.huaweicloud.com/gallery/home.html
admin的头像-零度博客admin
1.3W+1527
磁盘占用100%?这是最彻底的解决方法,瞬间提速10倍! | 零度解说-零度博客

磁盘占用100%?这是最彻底的解决方法,瞬间提速10倍! | 零度解说

https://youtu.be/wKH-7Du6YhQ =============== 本期视频所需的工具下载:https://www.freedidi.com/10449.html
admin的头像-零度博客admin
1.7W+1682
Telegram Messenger 获得下载管理器、新附件菜单等-零度博客

Telegram Messenger 获得下载管理器、新附件菜单等

Telegram Messenger更新了其iPhone和iPad应用程序,增加了几项新功能,包括新的下载管理器、重新设计的附件菜单、支持第三方应用程序的实时流媒体等等。 Telegram 用户可以发送任何类型的文件,...
admin的头像-零度博客admin
1.6W+2251
国外大佬基于Win10系统魔改经典WinXP系统,大小只有3.78G-零度博客

国外大佬基于Win10系统魔改经典WinXP系统,大小只有3.78G

1.Ventoy – 开源U 盘启动盘制作工具,支持启动多个系统   Ventoy 官网:【点击下载】 2.国外老大从Win10魔改经典WinXP系统,大小仅3.7GB, 在界面上,该镜像几乎1:1还原了WinXP的细节,无...
admin的头像-零度博客admin
1.5W+6539
FFmpeg 安装教程!超详细,手把手详解整个设置过程-零度博客

FFmpeg 安装教程!超详细,手把手详解整个设置过程

一、下载官方的FFmpeg 访问 FFmpeg的官网链接:https://ffmpeg.org ,然后点击右侧的下载按钮。 然后找到适合自己系统的版本,比如我选择 Windows 版,如下所示 接着点击下方的第一个链接: 进...
admin的头像-零度博客admin
2.7W+2183
Clubhouse免费获取邀请码的最新教程!含大陆地区注册,激活不再是难事!-零度博客
Win10/Win11 电脑上十个 奇葩 实用的小技巧!你都用过吗? | 零度解说-零度博客