本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型

图片[1]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

安装步骤:

 

1、通过Ollama进行部署 ,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[2]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

2、安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问,然后在里面下载安装Llama 3.2 模型

图片[3]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

Llama 3.2 11B 本地部署教程:【点击前往】 注意:11B模型 需要22G以上的显存才能运行

当然如果你不想本地部署安装,或者显卡不支持,也可以直接在线体验 !

Llama 3.2 11B在线使用:【点击前往】 支持图片识别功能

THE END
喜欢就支持一下吧
点赞3258 分享
相关推荐
AList安装教程 – 聚合阿里云盘、百度网盘、谷歌云盘、WebDav 等 18 款网盘!-零度博客
谷歌表示苹果“不应从 iMessage 锁定造成的欺凌中受益”-零度博客

谷歌表示苹果“不应从 iMessage 锁定造成的欺凌中受益”

Apple 的 Messages 应用程序区分 iOS 用户(蓝色)和 Android 用户(绿色)。  谷歌指责苹果从欺凌中获益,这是故意让安卓用户成为这家 iPhone 制造商 iMessage 服务的二等公民的战略的一部分...
admin的头像-零度博客admin
1.5W+2251
本地部署 DeepSeek-R1 大模型!免费开源,媲美OpenAI-o1能力-零度博客

本地部署 DeepSeek-R1 大模型!免费开源,媲美OpenAI-o1能力

最近,一家名叫DeepSeek的初创公司经过技术迭代与升级,发布了全新一代大模型,“DeepSeek-V3”。由于这款大模型太过好用,DeepSeek R1 更是直接免费开源,在AI发烧友圈子传播后,传到了海外社...
admin的头像-零度博客admin
7.8W+2842
显卡缺货什么时候能缓解?AMD苏妈给出了答案 !-零度博客

显卡缺货什么时候能缓解?AMD苏妈给出了答案 !

自从从2020年9月9月RTX 30显卡发布以来,缺货的问题已经困扰了玩家好几个月的时间,进入2021年之后,缺货状况更是有增无减。之所以显卡如此难买,原因是多方面的,但GPU产能跟不上肯定是最重要...
狗狗币一路暴涨12000%!附最新挖矿教程!2021 | 零度解说-零度博客
Claude 正式推出桌面客户端! 支持Windows 10/11 和 Mac-零度博客

Claude 正式推出桌面客户端! 支持Windows 10/11 和 Mac

由人工智能技术开发商 Anthropic 推出的 Claude 应用现已在电脑桌面、移动端提供客户端支持,官方声称:速度更快,更专业便捷!Claude 桌面客户端兼容 Windows 10/11 和 Mac 设备,整体体验与网...
admin的头像-零度博客admin
1.5W+3464
俄罗斯 FSB 表示已应美国要求关闭了 REvil 黑客组织-零度博客

俄罗斯 FSB 表示已应美国要求关闭了 REvil 黑客组织

FSB 周五表示,应美国政府的要求,俄罗斯国内安全部门 FSB逮捕了多名 REvil 黑客组织的成员。此举标志着俄罗斯和美国机构之间不同寻常的合作程度,正值俄罗斯在乌克兰边境的军事活动日益咄咄逼...
admin的头像-零度博客admin
1.5W+2251
首个Windows 11 官方ISO镜像下载-零度博客

首个Windows 11 官方ISO镜像下载

  微软官方 1.下载地址:https://www.microsoft.com/en-us/software-download/windowsinsiderpreviewiso (友情提示:需要登入微软账号才可以下载,没有的话自行免费注册一个即可!) 【-...
admin的头像-零度博客admin
1.1W+652
Google Hangouts 的死亡,Google 与 iMessage  迎来最后一个最佳的竞争机会-零度博客

Google Hangouts 的死亡,Google 与 iMessage 迎来最后一个最佳的竞争机会

谷歌环聊定于今天死亡。自 7 月以来,这款手机应用程序一直在单独引导人们退出服务,但网络应用程序Hangouts 的最后遗迹今天将被关闭。 在短时间内,Hangouts 是 Google 最好、最雄心勃勃、最受...
admin的头像-零度博客admin
1.6W+2250