OpenAI 开源了! 本地直接安装部署 gpt-OSS,支持Windows、macOS、Linux!

就在刚刚,OpenAI 发布了 gpt-oss-120b 和 gpt-oss-20b——两款性能卓越的开放轻量级语言模型,可在低成本下实现强大的实际应用性能。这些模型在灵活的 Apache 2.0 许可证下提供,与同等规模的开放模型相比,在推理任务中表现更优,展现出强大的工具使用能力,并针对在消费级硬件上高效部署进行了优化。它们通过强化学习与 OpenAI 最先进内部模型(包括 o3 及其他前沿系统)所启发的技术相结合进行训练。

a567a8b23d20250806090605

模型选择:

  • gpt-oss-120b— 适用于生产、通用、高推理用例,适合单个 H100 GPU(117B 参数,其中 5.1B 活动参数)
  • gpt-oss-20b— 适用于较低延迟和本地或特殊用例(210 亿个参数,其中 36 亿个活动参数)

这两个模型都是使用OpenAI的和声反应格式进行训练的,并且只能与这种格式一起使用;否则,它们将无法正常工作。

亮点

  • 宽松的 Apache 2.0 许可证:自由构建,不受版权限制或专利风险 – 非常适合实验、定制和商业部署。
  • 可配置的推理力度:根据您的具体用例和延迟需求轻松调整推理力度(低、中、高)。
  • 完整的思路链:提供对模型推理过程的完整访问权限,从而简化调试并增强输出的可信度。此信息不打算向最终用户显示。
  • 可微调:通过参数微调完全根据您的特定用例定制模型。
  • Agentic 功能:使用模型的本机功能进行函数调用、网页浏览Python 代码执行和结构化输出。
  • 原生 MXFP4 量化:模型使用原生 MXFP4 精度针对 MoE 层进行训练,允许gpt-oss-120b在单个 H100 GPU 上运行并gpt-oss-20b在 16GB 内存内运行。

安装要求

  • python 3.12 【点击下载
  • 在 macOS 上:安装 Xcode CLI 工具 –>xcode-select --install
  • 在 Linux 上:这些参考实现需要 CUDA
  • 在 Windows 上:如果您想在本地运行模型,请尝试使用 Ollama 等解决方案。

如果您尝试在消费类硬件上运行,你可以有2种安装方式:

1、在安装 Ollama上进行部署, 点击下载【官方版】后运行以下命令来使用 Ollama 。

# gpt-oss-20b
ollama pull gpt-oss:20b
ollama run gpt-oss:20b

# gpt-oss-120b
ollama pull gpt-oss:120b
ollama run gpt-oss:120b

 

71d930bd9920250806125214

 

2、在 LM Studio 上部署 ,如果您使用LM Studio,则可以使用以下命令进行下载。

# gpt-oss-20b
lms get openai/gpt-oss-20b
# gpt-oss-120b
lms get openai/gpt-oss-120b

3、如果需要下载原尺寸模型,您可以直接从 Hugging Face CLI下载Hugging Face Hub中的模型权重:

# gpt-oss-120b
huggingface-cli download openai/gpt-oss-120b --include "original/*" --local-dir gpt-oss-120b/

# gpt-oss-20b
huggingface-cli download openai/gpt-oss-20b --include "original/*" --local-dir gpt-oss-20b/
THE END
点赞1757 分享
相关推荐
Windows 11 正版 ISO 系统镜像下载大全! 含最新、最简单的安装教程 (2022)| 零度解说-零度博客

Windows 11 正版 ISO 系统镜像下载大全! 含最新、最简单的安装教程 (2022)| 零度解说

https://youtu.be/yfw6vcqpqtE     Windows 11 系统官方下载地址:https://bittly.cc/AGm4q winddows 11 企业版下载:https://bittly.cc/cileE WinMD5 验证工具下载:https://bittly....
Windows 11 系统重大更新 ( 22H2版本 ) 正式发布! - 新功能提前使用!-零度博客
Windows 11 新手?您需要尝试的 8 个惊人功能-零度博客

Windows 11 新手?您需要尝试的 8 个惊人功能

Windows 11 终于来了。如果您不熟悉最新的操作系统,这里有一些您需要尝试的最令人惊叹的功能。 经过漫长的开发和 beta 测试阶段,微软向公众发布了 Windows 11 的稳定版本。您可能已更新到 Win...
admin的头像-零度博客admin
1.6W+2251
在向中国“羞辱性道歉”后,英特尔的资金受到马可卢比奥的威胁-零度博客

在向中国“羞辱性道歉”后,英特尔的资金受到马可卢比奥的威胁

美国参议员马可·卢比奥 (R-FL) 在芯片制造商英特尔向中国做出了卢比奥所说的“羞辱性道歉”后,威胁要向政府提供资金。 英特尔去年 12 月向其中国合作伙伴和中国公众道歉,此前它在给供应商的...
admin的头像-零度博客admin
1.5W+2251
把 ChatGPT 接入微信和 telegram(电报)就这么简单!-零度博客

把 ChatGPT 接入微信和 telegram(电报)就这么简单!

  第1步:获取自己 ChatGPT 的 apikey 【获取地址】 登入后即可获取   第2步:安装VPS 【购买地址】首冲20美金,可以免费获得100美金的使用额度   第3步:登入自己的VPS,SSH【...
admin的头像-零度博客admin
1.5W+6541
新的 Linux 恶意软件利用 30 个插件漏洞来入侵 WordPress 网站-零度博客

新的 Linux 恶意软件利用 30 个插件漏洞来入侵 WordPress 网站

一个以前不为人知的 Linux 恶意软件一直在利用多个过时的 WordPress 插件和主题中的 30 个漏洞来注入恶意 JavaScript。 根据防病毒供应商Dr.Web的一份报告,该恶意软件同时针对 32 位和 64 位 L...
admin的头像-零度博客admin
1.3W+6540
真香!NVIDIA Chat with RTX,本地一键部署私密的AI聊天机器人! | 零度解说-零度博客

真香!NVIDIA Chat with RTX,本地一键部署私密的AI聊天机器人! | 零度解说

https://youtu.be/Hwn49QenXWg ------------------------------------- NVIDIA Chat with RTX 安装包下载:https://www.freedidi.com/11615.html
admin的头像-零度博客admin
1.4W+1527
寻找资源必备的8个免费好用网站!-零度博客

寻找资源必备的8个免费好用网站!

  1.Google 图片搜索引擎:https://www.google.com/imghp?hl=zh-CN&tab=ri&ogbl 2.图片去背:https://remove.bg 3.图标下载:https:iconfinder.com 4.免费的学术搜索引擎:https:/...
admin的头像-零度博客admin
1.7W+1091
罗马仕推出新款充电宝:自带苹果安卓快充线,优惠价 139 元!可上高铁和飞机-零度博客

罗马仕推出新款充电宝:自带苹果安卓快充线,优惠价 139 元!可上高铁和飞机

 8 月 13 日消息,罗马仕近日推出了新款充电宝,目前已上架电商平台,到手价 139 元。 该款充电宝参数信息: 罗马仕新款充电宝型号为 PAC20-272,有白、紫、蓝以及渐变四种配色可选,内置 ...
admin的头像-零度博客admin
1.7W+1682