本地部署 Llama3.1 最强开源大模型!支持 Windows、MacOS

图片[1]-本地部署 Llama3.1 最强开源大模型!支持 Windows、MacOS-零度博客

1.本地电脑安装的硬件要求:​

​Windows:3060以上显卡+8G以上显存+16G内存,硬盘空间至少20G

Mac:M1或M2芯片 16G内存,20G以上硬盘空间

在开始之前,首先我们需要安装Ollama客户端,来进行本地部署Llama3.1大模型

官方下载:点击前往

安装命令:

安装llama3.1-8b,至少需要8G的显存,安装命令就是

ollama run llama3.1:8b

安装llama3.1-70b,至少需要大约 70-75 GB 显存,适合企业用户,安装命令就是

ollama run llama3.1:78b

安装llama3.1-405b,这是一个极其庞大的模型,安装和运行它在本地需要非常高的显存和硬件资源,至少需要大约 400-450 GB 显存,适合顶级大企业用户,安装命令就是

ollama run llama3.1:405b

 

2.如何卸载删除?

直接在你的安装目录下,删除ollama文件夹即可!所有下载的数据和大模型文件都在里面,默认的安装目录是:C:\Users\你自己的用户名\.ollama

3.如果你没有可运行的显卡,那么可以在Huggingface平台上使用,因为huggingFace 上已经托管了Llama3.1大模型,现在完全免费使用!

链接直达

 

图片[2]-本地部署 Llama3.1 最强开源大模型!支持 Windows、MacOS-零度博客

THE END
喜欢就支持一下吧
点赞2177 分享
这9个网站太好笑了!无聊的时候可以玩一玩-零度博客

这9个网站太好笑了!无聊的时候可以玩一玩

1. 搞笑的图片合成:http://www.pichacks.com 2.人声模拟器:https://dood.al/pinktrombone 3.回归大自然:https://rainyscope.com 4.AutoDraw:https://www.autodraw.com 5.从未出现过的人:ht...
admin的头像-零度博客admin
1.7W+2250
App Secret 手机数据加密!可对 照片、视频、笔记、提醒或联系人进行加密【限免】-零度博客

App Secret 手机数据加密!可对 照片、视频、笔记、提醒或联系人进行加密【限免】

App Secret为您提供了一种新的方式来保护您的数据,并保持所有重要信息不受影响。使用一系列锁定选项来安全地保护设备上的重要数据,并防止未经授权的访问。这种情况发生过多少次了?你把手机借...
admin的头像-零度博客admin
1.3W+2009
以4K/8K分辨率:录制电脑屏幕+语音自动转字幕功能!OBS 最强录屏软件使用教程 | 零度解说-零度博客
Runway 突然删库跑路,究竟发生了什么事?-零度博客

Runway 突然删库跑路,究竟发生了什么事?

Runway这下真的人如其名:Run(跑)way(路)了! 就在昨天,也就是8月30日,著名AI视频创企Runway,在不知何时悄咪咪把自家开源模型全删了。 现在Stable Diffusion v1.5在Hugging Face、GitHub...
admin的头像-零度博客admin
2W+2176
精选五款免费软件,用上绝无遗憾了!-零度博客

精选五款免费软件,用上绝无遗憾了!

精选5款免费的精品软件,每一款都非常的强大! https://youtu.be/WEOtlkgp2hg 软件官网下载地址: 7-Zip:https://www.7-zip.org Sublime Text3:https://www.sublimetext.com/3 gimp:https://...
7个你一定没见过的有趣网站,打发无聊时光的神器!-零度博客

7个你一定没见过的有趣网站,打发无聊时光的神器!

1.寻找隐形的牛 网址:https://findtheinvisiblecow.com 玩这个游戏要打开声音,戴上耳机,移动你的鼠标直到你找到隐藏的牛,鼠标离得越近,它叫的越响   2.在线模拟开车 这种放松型游戏,...
admin的头像-零度博客admin
2.9W+6256
视频会议,电脑清理,BT种子下载,视频编辑,浏览器推荐!-零度博客

视频会议,电脑清理,BT种子下载,视频编辑,浏览器推荐!

  可以替换为下面的软件 Google meet : https://meet.google.com Discord : https://discord.com Microsoft Teams: https://www.microsoft.com/en-us/microsoft-365/microsoft-teams/group...
admin的头像-零度博客admin
1.6W+2251
高效使用 Chrome、Edge 浏览器!你可能不知道的8个实用技巧 | 零度解说-零度博客

高效使用 Chrome、Edge 浏览器!你可能不知道的8个实用技巧 | 零度解说

https://www.youtube.com/watch?v=2G-Emzf29BU ===============   0:00 Chrome浏览器的实用功能 0:38 在视频中快速截图,Chrome视频帧新功能 2:05 解除右键锁 复制网页内容 3:01 开启浏览...
admin的头像-零度博客admin
1.7W+1682
推荐7个非常实用又超有趣的网站!学习、娱乐、办公必备-零度博客

推荐7个非常实用又超有趣的网站!学习、娱乐、办公必备

  1.Ninite.com 当你设置新 Windows 电脑的时候,必须了解的站点,在它的主页上,你会发现几十个流行的应用程序! 检查您要安装的所有文件并点击底部的下载按钮,然后 Ninite 将下载一个文...