本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型

图片[1]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

安装步骤:

 

1、通过Ollama进行部署 ,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[2]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

2、安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问,然后在里面下载安装Llama 3.2 模型

图片[3]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

Llama 3.2 11B 本地部署教程:【点击前往】 注意:11B模型 需要22G以上的显存才能运行

当然如果你不想本地部署安装,或者显卡不支持,也可以直接在线体验 !

Llama 3.2 11B在线使用:【点击前往】 支持图片识别功能

THE END
喜欢就支持一下吧
点赞3258 分享
相关推荐
5 个高级 Chrome 设置!您都知道吗?-零度博客

5 个高级 Chrome 设置!您都知道吗?

虽然 Chrome 的高级设置起初可能看起来令人生畏,但仍有一些非常有用的设置需要更改。这是您应该使用的五个。 虽然 Chrome 是目前最流行的浏览器之一,但并不是每个人都知道 Chrome 的高级设置...
admin的头像-零度博客admin
1.6W+2251
为什么黑客可以轻易入侵你的手机!获取里面全部资料!如何防止自己被黑?| 零度解说-零度博客
微软必应联手STOPNIC:允许用户屏蔽色情及AI换脸色情内容-零度博客

微软必应联手STOPNIC:允许用户屏蔽色情及AI换脸色情内容

近期,关于深度伪造色情内容的报道频繁出现。深度伪造技术能够轻松生成个人的露骨图片,例如将某人的面部特征拼接到现有的色情图片上。 今天,微软必应宣布与STOPNIC合作。STOPNIC是一个致力于...
admin的头像-零度博客admin
2.1W+3251
Windows 11 终于支持Android 应用了:附最新免费开启教程 | 零度解说-零度博客
Ever Play -iOS手机上最好用的免费音乐播放器!-零度博客

Ever Play -iOS手机上最好用的免费音乐播放器!

  1.Ever Play 官方下载:https://apps.apple.com/us/app/ever-play-hifi-music-player/id1202642773 2.安卓音乐播放器推荐:https://www.freedidi.com/1989.html  
马斯克在Twitter 暂停了@ElonJet 对自己飞机跟踪的机器人!但未封禁-零度博客

马斯克在Twitter 暂停了@ElonJet 对自己飞机跟踪的机器人!但未封禁

推特暂停了追踪埃隆·马斯克私人飞机行踪的 ElonJet 账户,尽管马斯克此前表示他将保留该账户作为他“言论自由承诺”的一部分。   “好吧,@ElonJet 似乎被暂停了,”帐户创建者 Jack Swee...
admin的头像-零度博客admin
1.6W+1091
DupInOut Duplicate Finder – 重复文件查找删除 [限时免费]-零度博客

DupInOut Duplicate Finder – 重复文件查找删除 [限时免费]

DupInOut Duplicate Finder - 高效解决电脑重复文件问题,原价$20刀 限时免费! 在当今数字时代,我们每天都要处理大量的电子文件和资料。无论是工作相关的报告、个人文档还是家庭视频,我们都需...
admin的头像-零度博客admin
1.4W+1529
7个非常有意思的暗网!附暗网V2、V3域名生成和访问教程-零度博客

7个非常有意思的暗网!附暗网V2、V3域名生成和访问教程

  https://youtu.be/qySXEKVo0vA   ======================   优雅的分割线........................   7个暗网地址和所需开源工具:【链接】      
admin的头像-零度博客admin
1.8W+1091
推荐7款 ChatGPT 精品浏览器插件!支持 Chrome、Edge、火狐等,大大提供我们的学习、工作效率 | 零度解说-零度博客