本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型

图片[1]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

安装步骤:

 

1、通过Ollama进行部署 ,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[2]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

2、安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问,然后在里面下载安装Llama 3.2 模型

图片[3]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

Llama 3.2 11B 本地部署教程:【点击前往】 注意:11B模型 需要22G以上的显存才能运行

当然如果你不想本地部署安装,或者显卡不支持,也可以直接在线体验 !

Llama 3.2 11B在线使用:【点击前往】 支持图片识别功能

THE END
喜欢就支持一下吧
点赞3258 分享
相关推荐
adb命令的文件安装包-零度博客

adb命令的文件安装包

    adb命令文件安装包:platform-tools_r31.0.3-windows
admin的头像-零度博客admin
1.1W+652
谷歌高管称苹果正在“阻止”发短信的客户-零度博客

谷歌高管称苹果正在“阻止”发短信的客户

上周六,Android的老板弘Lockheimer指责“利用同伴的压力和欺凌的方式来销售产品的苹果”,后一个华尔街日报报道透露了美国青少年已经把苹果的iMessage成社会地位的象征是锁定Android用户了。 ...
admin的头像-零度博客admin
1.5W+2252
免费白嫖AWS云服务器!搭建V2ray、VPN 可实现秒开4K视频,速度超快! 2023  | 零度解说-零度博客

免费白嫖AWS云服务器!搭建V2ray、VPN 可实现秒开4K视频,速度超快! 2023 | 零度解说

https://youtu.be/IsHKgRj6aY4   免费申请亚马逊云服务器的网站:https://www.freedidi.com/7568.html
推特被黑客攻击!540万用户信息遭窃取,你现在需要立即更改的设置...| 零度解说-零度博客
Norton Bootable Recovery Tool 恢复受感染的电脑!-零度博客

Norton Bootable Recovery Tool 恢复受感染的电脑!

诺顿启动恢复工具(Norton Bootable Recovery Tool Wizard)是一款急救工具,免费提供给所有人使用。 当电脑受到严重感染无法正常运行,甚至无法启动时,可帮助您的电脑备份并恢复运行。 出现紧...
AI 声音克隆神器!MockingBird  轻松实现用自己的声音进行文字转语音 !附最新安装、使用教程!| 零度解说-零度博客
女生上网,务必要知道的5件的小事!别到后悔的时候才来看!|零度解说-零度博客
视频快速生成字幕,一键生成打字稿,UP主们视频字幕生成的必备神器!-零度博客

视频快速生成字幕,一键生成打字稿,UP主们视频字幕生成的必备神器!

https://youtu.be/S3RqQEo9PiA   我相信无论是做Vlog还是做YouTube视频的UP主们,在把视频生成字幕的时候,都是一件非常头疼的事情; 一段普通的10分钟的视频,在填写字幕的时候就会花掉将...
微软电脑管家,电脑一键优化的首选工具!-零度博客

微软电脑管家,电脑一键优化的首选工具!

微软电脑管家 :【点击下载】    
admin的头像-零度博客admin
2.2W+2178