本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型

图片[1]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

安装步骤:

 

1、通过Ollama进行部署 ,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[2]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

2、安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问,然后在里面下载安装Llama 3.2 模型

图片[3]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

Llama 3.2 11B 本地部署教程:【点击前往】 注意:11B模型 需要22G以上的显存才能运行

当然如果你不想本地部署安装,或者显卡不支持,也可以直接在线体验 !

Llama 3.2 11B在线使用:【点击前往】 支持图片识别功能

THE END
喜欢就支持一下吧
点赞3258 分享
相关推荐
10个免费看电影、电视剧的网站-零度博客

10个免费看电影、电视剧的网站

  1.独播库: https://www.duboku.tv 2.片库:https://www.mypianku.net 3.奈飞中文电影站:https://yanetflix.com 4.电影蜜蜂:https://www.dybee.tv 5.剧嗨:https://www.juhi.cc 6.555...
admin的头像-零度博客admin
5.6W+660
深度清理电脑的6种方式!释放大量硬盘空间的同时,还能解决PC疑难杂症! | 零度解说-零度博客
Jpg+FileBinder 将文件加密隐藏到图片中-零度博客

Jpg+FileBinder 将文件加密隐藏到图片中

保护私人信息免遭未经授权的访问是计算机用户面临的问题之一。为了解决这个问题,您可以使用各种加密方法,但也有一些应用程序(例如 Jpg+FileBinder)可以帮助您。这款轻量级工具简单易用,它...
admin的头像-零度博客admin
1.5W+1635
以图搜“片子”的经典方法,建议收藏!-零度博客

以图搜“片子”的经典方法,建议收藏!

1.Google 自带的深度搜索功能,参见【视频】 2.Search-by-image 浏览器插件:【点击下载】 3.冷门资源搜索:【XSList】 4.零度社区:【经验交流】
admin的头像-零度博客admin
3W+1537
无损音乐免费下!含最强的本地音乐播放器推荐!-零度博客

无损音乐免费下!含最强的本地音乐播放器推荐!

  1.LX-Music :https://github.com/lyswhut/lx-music-desktop 2.下载吧:https://music.y444.cn 3.XMusicDownloader:https://github.com/jadepeng/XMusicDownloader 4.高清伴奏:http://...
admin的头像-零度博客admin
1.9W+2251
8款非常值得推荐的免费精品软件!2022-零度博客

8款非常值得推荐的免费精品软件!2022

https://youtu.be/ONcwH6T9OHk
admin的头像-零度博客admin
1.7W+2250
强烈推荐!这款 Windows 11 开源软件,自定义系统、解决痛点 | 零度解说-零度博客

强烈推荐!这款 Windows 11 开源软件,自定义系统、解决痛点 | 零度解说

https://youtu.be/dGywyBcCdLk   Windhawk 软件下载:https://www.freedidi.com/13448.html
本地部署 Llama3  大模型 !最简单的3种方法,支持CPU /GPU运行 !100% 保证成功 | 零度解说-零度博客

本地部署 Llama3 大模型 !最简单的3种方法,支持CPU /GPU运行 !100% 保证成功 | 零度解说

https://youtu.be/NP0s7T9Mou8 本地部署 Llama3 – 8B/70B 大模型软件下载:https://www.freedidi.com/12189.html
Wubuntu:神奇的“双系统”!Windows 11+Ubuntu完美结合,支持exe程序和Android应用,附超详细安装教程!| 零度解说-零度博客

Wubuntu:神奇的“双系统”!Windows 11+Ubuntu完美结合,支持exe程序和Android应用,附超详细安装教程!| 零度解说

https://www.youtube.com/watch?v=lNhXQ1x608Q   Wubuntu 系统安装包下载:https://www.freedidi.com/17736.html