OpenAI 开源了! 本地直接安装部署 gpt-OSS,支持Windows、macOS、Linux!

就在刚刚,OpenAI 发布了 gpt-oss-120b 和 gpt-oss-20b——两款性能卓越的开放轻量级语言模型,可在低成本下实现强大的实际应用性能。这些模型在灵活的 Apache 2.0 许可证下提供,与同等规模的开放模型相比,在推理任务中表现更优,展现出强大的工具使用能力,并针对在消费级硬件上高效部署进行了优化。它们通过强化学习与 OpenAI 最先进内部模型(包括 o3 及其他前沿系统)所启发的技术相结合进行训练。

a567a8b23d20250806090605

模型选择:

  • gpt-oss-120b— 适用于生产、通用、高推理用例,适合单个 H100 GPU(117B 参数,其中 5.1B 活动参数)
  • gpt-oss-20b— 适用于较低延迟和本地或特殊用例(210 亿个参数,其中 36 亿个活动参数)

这两个模型都是使用OpenAI的和声反应格式进行训练的,并且只能与这种格式一起使用;否则,它们将无法正常工作。

亮点

  • 宽松的 Apache 2.0 许可证:自由构建,不受版权限制或专利风险 – 非常适合实验、定制和商业部署。
  • 可配置的推理力度:根据您的具体用例和延迟需求轻松调整推理力度(低、中、高)。
  • 完整的思路链:提供对模型推理过程的完整访问权限,从而简化调试并增强输出的可信度。此信息不打算向最终用户显示。
  • 可微调:通过参数微调完全根据您的特定用例定制模型。
  • Agentic 功能:使用模型的本机功能进行函数调用、网页浏览Python 代码执行和结构化输出。
  • 原生 MXFP4 量化:模型使用原生 MXFP4 精度针对 MoE 层进行训练,允许gpt-oss-120b在单个 H100 GPU 上运行并gpt-oss-20b在 16GB 内存内运行。

安装要求

  • python 3.12 【点击下载
  • 在 macOS 上:安装 Xcode CLI 工具 –>xcode-select --install
  • 在 Linux 上:这些参考实现需要 CUDA
  • 在 Windows 上:如果您想在本地运行模型,请尝试使用 Ollama 等解决方案。

如果您尝试在消费类硬件上运行,你可以有2种安装方式:

1、在安装 Ollama上进行部署, 点击下载【官方版】后运行以下命令来使用 Ollama 。

# gpt-oss-20b
ollama pull gpt-oss:20b
ollama run gpt-oss:20b

# gpt-oss-120b
ollama pull gpt-oss:120b
ollama run gpt-oss:120b

 

71d930bd9920250806125214

 

2、在 LM Studio 上部署 ,如果您使用LM Studio,则可以使用以下命令进行下载。

# gpt-oss-20b
lms get openai/gpt-oss-20b
# gpt-oss-120b
lms get openai/gpt-oss-120b

3、如果需要下载原尺寸模型,您可以直接从 Hugging Face CLI下载Hugging Face Hub中的模型权重:

# gpt-oss-120b
huggingface-cli download openai/gpt-oss-120b --include "original/*" --local-dir gpt-oss-120b/

# gpt-oss-20b
huggingface-cli download openai/gpt-oss-20b --include "original/*" --local-dir gpt-oss-20b/
THE END
喜欢就支持一下吧
点赞1754 分享
相关推荐
强烈推荐开启 Windows 沙盒模式: 一个安全实用又流畅的虚拟系统!微软 Windows 10 /11 都支持 | 零度解说-零度博客
MacType 让你的Window字体跟Mac一样好看!-零度博客

MacType 让你的Window字体跟Mac一样好看!

MacType是一个开源项目,能接管Windows系统的GDI字体渲染功能, 实现比Mac系统更华丽的字体渲染效果! MacType支持WinXP、Win7、Win8、Win10等操作系统。 安装过程十分简单,到最后,它才会让我...
admin的头像-零度博客admin
2W+2251
推荐8个宝藏级的开源软件!来自GitHub的免费精品项目,拿走不谢!!-零度博客

推荐8个宝藏级的开源软件!来自GitHub的免费精品项目,拿走不谢!!

1.Malware-Patch:阻止 Windows 流氓软件授权的工具。它轻巧、无需后台运行,可用于阻止指定软件的管理员授权。 【开源项目】 2.Rocket.Chat:一款可自由定制的企业级开源通信平台源码。用它来...
admin的头像-零度博客admin
2W+1684
Cloudflare WARP+新增 MASQUE 加密协议!无限流量,不限速!!-零度博客

Cloudflare WARP+新增 MASQUE 加密协议!无限流量,不限速!!

  使用前重要提醒:需彻底关闭之前的WARP+软件客户端和进程,旧版本要升级到最新版 1、WARP+ 最新版官方下载:【点击前往】 2、Windows 版配置文件 【点击下载】、【教程演示 】 配置文件...
admin的头像-零度博客admin
13.2W+3293
Windows 11 系统重大更新 ( 22H2版本 ) 正式发布! - 新功能提前使用!-零度博客
居然是真事!微软官方发布电脑管家,清爽无广告!支持 Win10/11 系统一键优化 | 零度解说-零度博客
这款下载工具强烈推荐! 完全免费开源、支持多种协议、支持批量下载(2024)-零度博客
ACDSee 免费看图软件,免破解!官方推出免费版本,Windows免费下载。-零度博客

ACDSee 免费看图软件,免破解!官方推出免费版本,Windows免费下载。

ACDSee Free看图软件,免破解!官方推出免费版本了,能在电脑上查看照片, 并进行简单的放大检视、旋转功能,支援Windows免费下载。若需要进阶使用投影片播放、缩放、裁剪、滤镜、光线调整等编...
电脑硬盘数据丢失了?别担心!帮你找回误删除的小视频、照片、文档,被格式化也没问题!!完全免费 |零度解说-零度博客