本地部署 Llama3.1 最强开源大模型!支持 Windows、MacOS

图片[1]-本地部署 Llama3.1 最强开源大模型!支持 Windows、MacOS-零度博客

1.本地电脑安装的硬件要求:​

​Windows:3060以上显卡+8G以上显存+16G内存,硬盘空间至少20G

Mac:M1或M2芯片 16G内存,20G以上硬盘空间

在开始之前,首先我们需要安装Ollama客户端,来进行本地部署Llama3.1大模型

官方下载:点击前往

安装命令:

安装llama3.1-8b,至少需要8G的显存,安装命令就是

ollama run llama3.1:8b

安装llama3.1-70b,至少需要大约 70-75 GB 显存,适合企业用户,安装命令就是

ollama run llama3.1:78b

安装llama3.1-405b,这是一个极其庞大的模型,安装和运行它在本地需要非常高的显存和硬件资源,至少需要大约 400-450 GB 显存,适合顶级大企业用户,安装命令就是

ollama run llama3.1:405b

 

2.如何卸载删除?

直接在你的安装目录下,删除ollama文件夹即可!所有下载的数据和大模型文件都在里面,默认的安装目录是:C:\Users\你自己的用户名\.ollama

3.如果你没有可运行的显卡,那么可以在Huggingface平台上使用,因为huggingFace 上已经托管了Llama3.1大模型,现在完全免费使用!

链接直达

 

图片[2]-本地部署 Llama3.1 最强开源大模型!支持 Windows、MacOS-零度博客

THE END
喜欢就支持一下吧
点赞2178 分享
比特币价格首次突破10万美元!创下历史新高-零度博客

比特币价格首次突破10万美元!创下历史新高

比特币取得了几年前似乎不可想象的成就。这种流行的加密货币首次突破了 100,000 美元大关,目前交易价格为 103,260.13 美元(截至 UTC 时间上午 4:56:00)。上个月,比特币触及 81,000 美元,几...
admin的头像-零度博客admin
65294460
Win11/Win10 发布免费工具集 PowerToys v0.41.4 :修复唤醒工具高 CPU 使用率 Bug-零度博客

Win11/Win10 发布免费工具集 PowerToys v0.41.4 :修复唤醒工具高 CPU 使用率 Bug

微软名为 PowerToys 的免费系统实用工具套件从 Windows XP 时代复活,并于 2019 年 5 月引入 Windows 10 系统。可以用于高级用户调整和简化 Windows 操作,以提高效率。IT之家了解到,通过与 Wi...
admin的头像-零度博客admin
1.1W+652
如何找回丢失或被盗的 Android 安卓手机 ! | 零度解说-零度博客
不符合Win11硬件标准?照样可以升级到Windows 11-零度博客

不符合Win11硬件标准?照样可以升级到Windows 11

微软在 6 月 24 日公布了下一代 Windows 系统 Win11,现在微软通过 Insider 通道,推送 Win11 的预览版了。 不过,Win11 是存在硬件配置要求的,如果你的电脑不符合标准,且在 6 月 24 日之前没...
admin的头像-零度博客admin
1.7W+2250
以太坊2.0合并完成!你该怎么办?继续挖矿还是选择关机?-零度博客
ACDSee 免费看图软件,免破解!官方推出免费版本,Windows免费下载。-零度博客

ACDSee 免费看图软件,免破解!官方推出免费版本,Windows免费下载。

ACDSee Free看图软件,免破解!官方推出免费版本了,能在电脑上查看照片, 并进行简单的放大检视、旋转功能,支援Windows免费下载。若需要进阶使用投影片播放、缩放、裁剪、滤镜、光线调整等编...
Google Hangouts 的死亡,Google 与 iMessage  迎来最后一个最佳的竞争机会-零度博客

Google Hangouts 的死亡,Google 与 iMessage 迎来最后一个最佳的竞争机会

谷歌环聊定于今天死亡。自 7 月以来,这款手机应用程序一直在单独引导人们退出服务,但网络应用程序Hangouts 的最后遗迹今天将被关闭。 在短时间内,Hangouts 是 Google 最好、最雄心勃勃、最受...
admin的头像-零度博客admin
1.6W+2250
无限免费用 ChatGPT 4o 和 Claude 3.5,这五种方法亲测有效!| 零度解说-零度博客

无限免费用 ChatGPT 4o 和 Claude 3.5,这五种方法亲测有效!| 零度解说

https://www.youtube.com/watch?v=k1tyK1UaozI 免费使用 ChatGPT 4o 和 Claude 3.5 链接:https://www.freedidi.com/16792.html
WiFiAnalyzer 一款功能强大的Wifi网络优化工具-零度博客

WiFiAnalyzer 一款功能强大的Wifi网络优化工具

WiFiAnalyzer 是一款功能强大的 Android 应用程序,专门设计用于分析和优化 WiFi 网络环境。它通过提供详尽的信号分析、接入点信息和频段使用情况,帮助用户诊断和改善无线网络性能。无论是家庭...
admin的头像-零度博客admin
2.3W+3253