OpenAI 开源了! 本地直接安装部署 gpt-OSS,支持Windows、macOS、Linux!

就在刚刚,OpenAI 发布了 gpt-oss-120b 和 gpt-oss-20b——两款性能卓越的开放轻量级语言模型,可在低成本下实现强大的实际应用性能。这些模型在灵活的 Apache 2.0 许可证下提供,与同等规模的开放模型相比,在推理任务中表现更优,展现出强大的工具使用能力,并针对在消费级硬件上高效部署进行了优化。它们通过强化学习与 OpenAI 最先进内部模型(包括 o3 及其他前沿系统)所启发的技术相结合进行训练。

a567a8b23d20250806090605

模型选择:

  • gpt-oss-120b— 适用于生产、通用、高推理用例,适合单个 H100 GPU(117B 参数,其中 5.1B 活动参数)
  • gpt-oss-20b— 适用于较低延迟和本地或特殊用例(210 亿个参数,其中 36 亿个活动参数)

这两个模型都是使用OpenAI的和声反应格式进行训练的,并且只能与这种格式一起使用;否则,它们将无法正常工作。

亮点

  • 宽松的 Apache 2.0 许可证:自由构建,不受版权限制或专利风险 – 非常适合实验、定制和商业部署。
  • 可配置的推理力度:根据您的具体用例和延迟需求轻松调整推理力度(低、中、高)。
  • 完整的思路链:提供对模型推理过程的完整访问权限,从而简化调试并增强输出的可信度。此信息不打算向最终用户显示。
  • 可微调:通过参数微调完全根据您的特定用例定制模型。
  • Agentic 功能:使用模型的本机功能进行函数调用、网页浏览Python 代码执行和结构化输出。
  • 原生 MXFP4 量化:模型使用原生 MXFP4 精度针对 MoE 层进行训练,允许gpt-oss-120b在单个 H100 GPU 上运行并gpt-oss-20b在 16GB 内存内运行。

安装要求

  • python 3.12 【点击下载
  • 在 macOS 上:安装 Xcode CLI 工具 –>xcode-select --install
  • 在 Linux 上:这些参考实现需要 CUDA
  • 在 Windows 上:如果您想在本地运行模型,请尝试使用 Ollama 等解决方案。

如果您尝试在消费类硬件上运行,你可以有2种安装方式:

1、在安装 Ollama上进行部署, 点击下载【官方版】后运行以下命令来使用 Ollama 。

# gpt-oss-20b
ollama pull gpt-oss:20b
ollama run gpt-oss:20b

# gpt-oss-120b
ollama pull gpt-oss:120b
ollama run gpt-oss:120b

 

71d930bd9920250806125214

 

2、在 LM Studio 上部署 ,如果您使用LM Studio,则可以使用以下命令进行下载。

# gpt-oss-20b
lms get openai/gpt-oss-20b
# gpt-oss-120b
lms get openai/gpt-oss-120b

3、如果需要下载原尺寸模型,您可以直接从 Hugging Face CLI下载Hugging Face Hub中的模型权重:

# gpt-oss-120b
huggingface-cli download openai/gpt-oss-120b --include "original/*" --local-dir gpt-oss-120b/

# gpt-oss-20b
huggingface-cli download openai/gpt-oss-20b --include "original/*" --local-dir gpt-oss-20b/
THE END
喜欢就支持一下吧
点赞1743 分享
相关推荐
本地搭建ChatGPT! 无需API、 免翻墙使用纯正OpenAI的全部功能,完全免费!-零度博客

本地搭建ChatGPT! 无需API、 免翻墙使用纯正OpenAI的全部功能,完全免费!

 1.下载并安装Docker 【官网下载】2.使用开源项目:潘多拉 (Pandora) 【github下载】或 【备用下载】3.一键安装命令:docker pull pengzhile/pandora docker run -e PANDORA_CLOUD=cloud -e PA...
admin的头像-零度博客admin
1.6W+6540
Windows 11/10 桌面右下角水印去除工具 UWD-零度博客

Windows 11/10 桌面右下角水印去除工具 UWD

UWD 是 Univniversal Watermark Disabler 的缩写 它是一款完全免费且小巧的一键移除 Windows 桌面右下角评估副本版本号水印、激活 Windows 水印的工具。 只需按一下按钮,即可以帮你轻松去除 Wi...
Norton Bootable Recovery Tool 恢复受感染的电脑!-零度博客

Norton Bootable Recovery Tool 恢复受感染的电脑!

诺顿启动恢复工具(Norton Bootable Recovery Tool Wizard)是一款急救工具,免费提供给所有人使用。 当电脑受到严重感染无法正常运行,甚至无法启动时,可帮助您的电脑备份并恢复运行。 出现紧...
Flexbooker 在线预约服务漏洞暴露了 370 万用户的数据-零度博客

Flexbooker 在线预约服务漏洞暴露了 370 万用户的数据

一群黑客正在交易一个来自 FlexBooker 的被盗信息数据库,这是一种用于安排约会的基于云的工具,其中包含敏感的客户数据。据BleepingComputer 称,该公司在假期前遭遇了安全漏洞,并在一封电子...
admin的头像-零度博客admin
1.5W+2251
美国实体手机号!永久免费+保号教程,简单实用,快来试试!| 零度解说-零度博客

美国实体手机号!永久免费+保号教程,简单实用,快来试试!| 零度解说

https://youtu.be/pQ-s-JZd3cU   1、免费美国实体号码应用下载:https://www.freedidi.com/17032.html 2、检测是否是实体手机号:https://www.freedidi.com/17025.html
TCPView v4.17 程序,显示系统上所有 TCP 和 UDP 端点的对外连接!-零度博客

TCPView v4.17 程序,显示系统上所有 TCP 和 UDP 端点的对外连接!

TCPView v4.17 程序:【点击下载】 介绍 TCPView 是一个 Windows 程序,它将向您显示系统上所有 TCP 和 UDP 端点的详细列表,包括本地和远程地址以及 TCP 连接的状态。在 Windows Server 2008、...
admin的头像-零度博客admin
1.6W+2251
Chia奇亚币“挖矿”就是个骗局!硬盘挖矿就为中国新韭菜量身定制的局 | 零度解说-零度博客
Windows 11 开启自动超级分辨率功能!可增强游戏细节及流畅度-零度博客

Windows 11 开启自动超级分辨率功能!可增强游戏细节及流畅度

最新的 Windows 11 预览版本包含几项未宣布的功能,这些功能揭示了微软计划在今年晚些时候在已经确认的 Windows 11 版本 24H2(或之后的任何版本)中发布的内容。其中一项功能是 AI 升级器或“...
admin的头像-零度博客admin
1.6W+1527
Tron脚本:自动化清除电脑病毒的强大工具!-零度博客

Tron脚本:自动化清除电脑病毒的强大工具!

在当今复杂的数字环境中,计算机病毒和恶意软件仍然是一个持续的威胁。为了应对这一挑战,IT专业人士和高级用户经常求助于自动化工具来简化清理过程。其中一个强大而受欢迎的工具就是Tron脚本。Tr...