本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型

图片[1]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

安装步骤:

 

1、通过Ollama进行部署 ,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[2]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

2、安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问,然后在里面下载安装Llama 3.2 模型

图片[3]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

Llama 3.2 11B 本地部署教程:【点击前往】 注意:11B模型 需要22G以上的显存才能运行

当然如果你不想本地部署安装,或者显卡不支持,也可以直接在线体验 !

Llama 3.2 11B在线使用:【点击前往】 支持图片识别功能

THE END
喜欢就支持一下吧
点赞3258 分享
相关推荐
AnyTXT Searcher-电脑本地任意文本搜索神器!-零度博客

AnyTXT Searcher-电脑本地任意文本搜索神器!

  AnyTxt 搜索神器 搜索本地文件,没有任何延迟,秒出结果。 不仅可以搜索文件名,还可以搜索到文件内容,包含word,excel,pdf,ppt,txt等文件格式。 还可以指定搜索格式,指定文件夹。 ...
admin的头像-零度博客admin
2.2W+2176
「老巨鯨」轉出 14.5 萬枚以太幣!是準備在合併前拋售还是要質押?-零度博客

「老巨鯨」轉出 14.5 萬枚以太幣!是準備在合併前拋售还是要質押?

在沉睡了 3 年之後,一個曾在 2014 年參與以太坊創世 ICO,並因此獲得約 15 萬枚以太幣的「老巨鯨」在 8 月 14 日出現大動作,轉移了 14.5 萬枚以太幣。時值以太坊合併升級將至,此舉隨即引起加...
admin的头像-零度博客admin
1.6W+2250
Windows 电脑上必备的软件!这5款你一定要知道-零度博客

Windows 电脑上必备的软件!这5款你一定要知道

1.百度网盘不限速下载神器 【已失效】 AntDownload 是一款专门用于加速百度网盘资源的 Windows 下载工具,完全免费,绿色免安装,而且「不需要登录帐号」,也不必进行任何复杂的设置。 用户只...
admin的头像-零度博客admin
1.3W+6539
Photoprism 开源相册的搭建教程-零度博客

Photoprism 开源相册的搭建教程

我选择用官方的Docker-Compose安装方案: 1.下载配置文件 # 路径仅供参考 mkdir /home/ubuntu/photoprism cd /home/ubuntu/photoprism wget https://dl.photoprism.org/docker/docker-compose.y...
admin的头像-零度博客admin
1.6W+2251
新发现!隐藏 Windows 11 的 Teams 图标不仅可以节省任务栏空间,还可以节省 RAM | 零度解说-零度博客
完美解决电脑图片、视频不显示缩略图的问题! K-Lite 编解码器包-零度博客

完美解决电脑图片、视频不显示缩略图的问题! K-Lite 编解码器包

K-Lite 编解码器包有四种不同的变体。范围从仅包含最基本解码器的非常小的捆绑包到大型且更全面的捆绑包。变体之间的全局差异可以在下面找到。具体差异可以通过能力对比和内容页面对比来发现。 ...
admin的头像-零度博客admin
1.4W+1527
最新nod32许可证密钥 eset nod32用户名和密码 nod32激活码 nod32注册码-零度博客

最新nod32许可证密钥 eset nod32用户名和密码 nod32激活码 nod32注册码

  ESET NOD32优点:占用系统资源少、轻巧、不卡机,安装后电脑很安静。 用户名:TRIAL-0255801637密码:npkxp4392b 用户名:TRIAL-0255801633密码:6xdxknjfxu 用户名:TRIAL-0255801609密...
AMD、Intel和NVIDIA将在接下来数月扎堆发布显卡,显卡降价终究来了!-零度博客

AMD、Intel和NVIDIA将在接下来数月扎堆发布显卡,显卡降价终究来了!

原本年初CES后会有一波显卡发布小高峰的,结果NVIDIA把RTX 3090 Ti和RTX 3070 Ti 16GB推迟之后这小高峰就没了,但接下来这几个月,我们将会看到十多年来,Intel、AMD、NVIDIA会在一段时间内扎堆...
admin的头像-零度博客admin
1.5W+2251
爆!网络安全公司的 Chrome 扩展程序被劫持、植入后门以窃取用户数据!-零度博客

爆!网络安全公司的 Chrome 扩展程序被劫持、植入后门以窃取用户数据!

目前至少有五个 Chrome 扩展程序在一次协同攻击中遭到入侵,威胁行为者注入了窃取用户敏感信息的代码。 数据丢失防护公司 Cyber​​haven 披露了一次攻击,该公司在 12 月 24 日成功对 Google C...
admin的头像-零度博客admin
66091534