马斯克开源Grok-1:史上最大3140亿参数模型,权重架构全面公开,附最新下载地址

图片[1]-马斯克开源Grok-1:史上最大3140亿参数模型,权重架构全面公开,附最新下载地址-零度博客

马斯克的xAI公司正式开源了3140亿参数的大型语言模型Grok-1,包括权重和网络架构。这使Grok-1成为目前参数量最大的开源大语言模型。Grok-1采用混合专家(MoE)架构,在给定token上的激活权重为25%。xAI在2023年10月使用自定义训练堆栈从头训练了该模型,并遵守Apache 2.0许可证开源。

 

1.Grok-1 开源模型下载:【磁力链接】 ,然后使用 【Torrent 客户端】进行下载即可!

2.Grok 开源项目:【Githubg 官方下载】或【网盘下载

3.如果需要在云端安装Grok-1大模型,可以通过【租赁H100 云GPU】进行云端搭建

4.当然也可以直接调用HuggingFace 🤗 Hub:

git clone https://github.com/xai-org/grok-1.git && cd grok-1
pip install huggingface_hub[hf_transfer]
huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False

 

模型详情:

  • 基于大量文本数据训练,未针对任何特定任务微调
  • 3140亿参数MoE模型,激活权重25%
  • 使用旋转嵌入而非固定位置嵌入
  • Tokenizer词汇大小131,072,嵌入大小6,144
  • 64层Transformer,每层解码器层包含多头注意力块和密集块
  • 多头注意力:48头查询,8头键/值,键值大小128
  • 密集块:加宽因子8,隐藏层大小32768
  • 每个token从8个专家选择2个
  • 旋转位置嵌入大小6,144
  • 上下文长度8192 tokens,精度bf16

模型能力:

  • 在标准LM基准测试中表现超过同等计算量模型
  • HumanEval编码任务63.2%,MMLU 73%
  • 在匈牙利高中数学考试中获C级(59%)
  • 整体在推理和编码任务中表现出色

局限性:

  • 缺少独立搜索网络能力,需结合搜索工具增强
  • 可能产生幻觉,需人工审查
  • 目前无法像X平台付费版实现实时获取信息

开源意义:

  • 遵循Apache 2.0许可证,用户可自由使用修改分发
  • 体现了xAI追求透明化和社区开放的理念
  • 为进一步研究和创新提供了宝贵资源

 

总的来说,Grok-1作为一款大规模开源语言模型,在模型能力和透明度方面都具有重要意义,值得业内外人士关注和探索。当然,模型的实际应用还需要结合其他工具和人工审查,以发挥其最大潜能。

THE END
喜欢就支持一下吧
点赞1529 分享
开源工具 ViveTool + 开启 Win11 新版任务管理器的UI设计!-零度博客

开源工具 ViveTool + 开启 Win11 新版任务管理器的UI设计!

ViveTool 工具:【点击下载】   开启 Win11  新版任务管理器的UI命令: vivetool addconfig 35908098 2 vivetool addconfig 37204171 2 vivetool addconfig 36898195 2 vivetool addconfi...
admin的头像-零度博客admin
1.6W+2251
AnimeGANv2 图片一键转动漫特效!GANv2-零度博客

AnimeGANv2 图片一键转动漫特效!GANv2

AnimeGanv2 脸部肖像的渐变演示。要使用它,只需上传您的图像,或单击示例之一来加载它们。请通过下面的链接阅读更多内容。请使用裁剪后的肖像图片以获得与以下示例类似的最佳效果。 1、免费在...
admin的头像-零度博客admin
1.9W+2405
免费使用 Office 全家桶办公软件!支持XP、 win7、8、10、11-零度博客

免费使用 Office 全家桶办公软件!支持XP、 win7、8、10、11

1. 官方下载+官方补丁: Office Starter 2010官方下载地址: 简体中文在线安装包:http://c2r.microsoft.com/consumerC2R/zh-cn/14.0.4763.1000/setupconsumerc2rolw.exe 繁体中文在线安装包:ht...
admin的头像-零度博客admin
4.9W+1537
AI 定位!只需一张图片就能找到你,锁定具体位置!精确到经纬度,完全免费 ,不可思议!| 零度解说-零度博客

AI 定位!只需一张图片就能找到你,锁定具体位置!精确到经纬度,完全免费 ,不可思议!| 零度解说

https://www.youtube.com/watch?v=9Bu8RqIjkCI   ------------------------------------- 🔔 视频里测试的定位链接:https://www.freedidi.com/12694.html
赶紧更改!Telegram 被曝高危漏洞! 立即禁用电报这个功能才能自保 | 零度解说-零度博客

赶紧更改!Telegram 被曝高危漏洞! 立即禁用电报这个功能才能自保 | 零度解说

https://youtu.be/R11vGiDXLTg ============ Telegram 最新版下载:https://www.freedidi.com/12060.html
谷歌将移除 Chrome 117 中的安全网站指示器-零度博客

谷歌将移除 Chrome 117 中的安全网站指示器

  谷歌今天宣布,长期以来被认为是网站安全和可信度标志的锁图标将很快更换为一个新图标,该图标并不暗示网站是安全的或应该被信任。 虽然首次引入是为了表明网站正在使用 HTTPS 加密来加...
admin的头像-零度博客admin
1.3W+6539
Listen 1 多平台音乐播放器,所有免费音乐一应俱全!-零度博客

Listen 1 多平台音乐播放器,所有免费音乐一应俱全!

  Listen 1可以搜索和播放来自网易云音乐,虾米,QQ音乐,酷狗音乐,酷我音乐,Bilibili,咪咕音乐网站的歌曲,让你的曲库更全面。 官网:https://listen1.github.io/listen1 安装 Chrome...
谷歌放弃Chrome隐私计划, 遭EFF严厉抨击!-零度博客

谷歌放弃Chrome隐私计划, 遭EFF严厉抨击!

为了平衡广告网络与隐私保护之间的矛盾,谷歌多年前宣布将逐步淘汰第三方Cookies,避免广告网络直接追踪用户。谷歌提出的替代方案是隐私沙盒,通过分组和归类用户兴趣来投放广告,使广告网络无...
admin的头像-零度博客admin
2W+2176
【地震预警】 最全的开启教程!涵盖各大品牌的手机、PC、智能电视机等!-零度博客

【地震预警】 最全的开启教程!涵盖各大品牌的手机、PC、智能电视机等!

    1.地震预警: 【安卓】【iOS】 2.Earthquake :【安卓】【iOS】【PC版】 3.Terrae Motus PC版 :【下载链接】    
admin的头像-零度博客admin
1.7W+1683