本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型

图片[1]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

安装步骤:

 

1、通过Ollama进行部署 ,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[2]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

2、安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问,然后在里面下载安装Llama 3.2 模型

图片[3]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

Llama 3.2 11B 本地部署教程:【点击前往】 注意:11B模型 需要22G以上的显存才能运行

当然如果你不想本地部署安装,或者显卡不支持,也可以直接在线体验 !

Llama 3.2 11B在线使用:【点击前往】 支持图片识别功能

THE END
喜欢就支持一下吧
点赞3258 分享
相关推荐
Malware Defender 后门检测工具-零度博客

Malware Defender 后门检测工具

极轻的间谍软件保护包 Malware Defender是所谓的HIPS(主机入侵防护系统),它基本上意味着它可以保护您免受可能试图劫持系统的各种恶意软件和间谍软件的侵害。 但是,Malware Defender的主要优...
短信过滤 - 广告推销垃圾信息离线拦截分类【限免】-零度博客

短信过滤 – 广告推销垃圾信息离线拦截分类【限免】

你是否在寻找一款简洁安全的短信分类及过滤工具?那么这款限时免费的短信过滤APP可能适合你! 它可以根据需求添加关键词和发件人,包含指定关键词的短信将根据您的设置自动分类及过滤。 采用iOS...
admin的头像-零度博客admin
1.6W+2762
疯狂游戏的真实体验! 制作流程和教程-零度博客

疯狂游戏的真实体验! 制作流程和教程

第1套: 电路 GITHUB代码 【下载码】   第2套: 从游戏中读取马的正确速度 通过串口向Arduino发送速度数据 使用速度数据控制气缸 脚步 使用此处的教程创建 MOD:https : //youtu.be/4rzi...
admin的头像-零度博客admin
1.5W+2251
Stream Music Player 音乐播放器 限时免费!-零度博客

Stream Music Player 音乐播放器 限时免费!

    Stream的建立是为了给你一个无缝的听,管理和同步云音乐体验。它允许你创建与云存储Box这样,Dropbox,谷歌驱动器,OneDrive和Yandex.Disk个人流媒体服务,以节省空间,您的设备...
admin的头像-零度博客admin
1.4W+1527
电脑时间改成10000年!会发生什么?计算机”万年虫“是否真的存在?为你揭晓答案....| 零度解说-零度博客
谷歌 Gemma 3 发布:更强大、更智能的多模态 AI,本地轻松部署使用!-零度博客

谷歌 Gemma 3 发布:更强大、更智能的多模态 AI,本地轻松部署使用!

Gemma 3 被谷歌称为目前最强的开源视觉模型之一。 该模型支持超过35种语言,能够分析文本、图像和短视频。值得注意的是,Gemma 3 的视觉编码器经过升级,支持高分辨率和非方形图像,并引入了 Sh...
admin的头像-零度博客admin
3.8W+1383
Custom Cursor for Chrome™ - 自定义光标-零度博客

Custom Cursor for Chrome™ – 自定义光标

Chrome™的自定义光标。 使用大量免费游标或上传自己的游标。   使用我们在 Custom Cursor 收集的免费鼠标光标自定义您的 Chrome 浏览器体验。 在 Custom Cursor,我们创建了一个巨大的手...
admin的头像-零度博客admin
2.1W+3251
OpenAI 重磅推出 Operator!率先开启2025年的Agent时代,首款AI智能体正式亮相直播间 (中文字幕)| 零度解说-零度博客
2021年 最佳VPN推荐!黑色星期五优惠最大: 84%的折扣+4个月免费使用 | 零度解说-零度博客