马斯克开源Grok-1:史上最大3140亿参数模型,权重架构全面公开,附最新下载地址

图片[1]-马斯克开源Grok-1:史上最大3140亿参数模型,权重架构全面公开,附最新下载地址-零度博客

马斯克的xAI公司正式开源了3140亿参数的大型语言模型Grok-1,包括权重和网络架构。这使Grok-1成为目前参数量最大的开源大语言模型。Grok-1采用混合专家(MoE)架构,在给定token上的激活权重为25%。xAI在2023年10月使用自定义训练堆栈从头训练了该模型,并遵守Apache 2.0许可证开源。

 

1.Grok-1 开源模型下载:【磁力链接】 ,然后使用 【Torrent 客户端】进行下载即可!

2.Grok 开源项目:【Githubg 官方下载】或【网盘下载

3.如果需要在云端安装Grok-1大模型,可以通过【租赁H100 云GPU】进行云端搭建

4.当然也可以直接调用HuggingFace 🤗 Hub:

git clone https://github.com/xai-org/grok-1.git && cd grok-1
pip install huggingface_hub[hf_transfer]
huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False

 

模型详情:

  • 基于大量文本数据训练,未针对任何特定任务微调
  • 3140亿参数MoE模型,激活权重25%
  • 使用旋转嵌入而非固定位置嵌入
  • Tokenizer词汇大小131,072,嵌入大小6,144
  • 64层Transformer,每层解码器层包含多头注意力块和密集块
  • 多头注意力:48头查询,8头键/值,键值大小128
  • 密集块:加宽因子8,隐藏层大小32768
  • 每个token从8个专家选择2个
  • 旋转位置嵌入大小6,144
  • 上下文长度8192 tokens,精度bf16

模型能力:

  • 在标准LM基准测试中表现超过同等计算量模型
  • HumanEval编码任务63.2%,MMLU 73%
  • 在匈牙利高中数学考试中获C级(59%)
  • 整体在推理和编码任务中表现出色

局限性:

  • 缺少独立搜索网络能力,需结合搜索工具增强
  • 可能产生幻觉,需人工审查
  • 目前无法像X平台付费版实现实时获取信息

开源意义:

  • 遵循Apache 2.0许可证,用户可自由使用修改分发
  • 体现了xAI追求透明化和社区开放的理念
  • 为进一步研究和创新提供了宝贵资源

 

总的来说,Grok-1作为一款大规模开源语言模型,在模型能力和透明度方面都具有重要意义,值得业内外人士关注和探索。当然,模型的实际应用还需要结合其他工具和人工审查,以发挥其最大潜能。

THE END
喜欢就支持一下吧
点赞1529 分享
相关推荐
Windows 11 最强替代!免费开源 AnduinOS ,让老旧电脑瞬间复活!系统极度流畅|零度解说-零度博客

Windows 11 最强替代!免费开源 AnduinOS ,让老旧电脑瞬间复活!系统极度流畅|零度解说

https://youtu.be/OWEP4-bdM44   【更多资源】▶https://www.youtube.com/channel/UCvijahEyGtvMpmMHBu4FS2w?sub_confirmation=1 【零度会员】▶https://bittly.cc/JsLAn ----------------...
5款【神级软件】推荐!切勿错过,免费开源,吊打付费!!太实用了 | 零度解说-零度博客

5款【神级软件】推荐!切勿错过,免费开源,吊打付费!!太实用了 | 零度解说

https://youtu.be/dlHwGRDiifw ================== 窗口洞洞波下载:https://www.freedidi.com/13540.html Kando多级饼状菜单:https://www.freedidi.com/13545.html 网盘图标删除器:https://w...
ChatGPT 接入QQ上,打造一个智能的AI聊天机器人,一键安装部署轻松搞定!| 零度解说-零度博客
Windows 10 21H2正式版 、LTSC 2021 企业版下载-零度博客

Windows 10 21H2正式版 、LTSC 2021 企业版下载

1.Windows 10 21H2正式版:【点击下载】 (注:请按零度视频介绍的步骤进行下载)   https://www.youtube.com/watch?v=p7OLoGElUNU Windows 10专业工作站激活: 2.LTSC 2021 企业版:【点击...
对印第一安纳波利斯房局的勒索软件攻击泄露了 200,000 名居民的敏感信息-零度博客

对印第一安纳波利斯房局的勒索软件攻击泄露了 200,000 名居民的敏感信息

印第安纳波利斯住房局通知超过 200,000 人,他们的信息(包括社会安全号码等)在 9 月份开始的勒索软件攻击中泄露。 由联邦的机构负责为印第安纳波利斯印第安纳波利斯低收入租户住房。。。。。...
admin的头像-零度博客admin
1.2W+6540
立即修复!这3个高危漏洞!涉及:7zip、PDF、联想电脑,远离黑客敲诈勒索!| 零度解说-零度博客
Omakub 专为开发者设计的 Ubuntu 环境配置项目!-零度博客

Omakub 专为开发者设计的 Ubuntu 环境配置项目!

Omakub 是一个专为开发者设计的 Ubuntu 环境配置项目,由 Ruby on Rails 的创造者 David Heinemeier Hansson(DHH)发起。其目标是通过一条命令将全新的 Ubuntu 系统转化为一个配置完备、美观且...
admin的头像-零度博客admin
1.2W+5330
黑苹果双系统安装教程 | 完美搭建WIN10+黑苹果 | 附赠黑苹果Clover文件正确配置方法。-零度博客

黑苹果双系统安装教程 | 完美搭建WIN10+黑苹果 | 附赠黑苹果Clover文件正确配置方法。

https://youtu.be/UviGPrj-Jqk ?安装黑苹果双系统教程 ?在之前的视频教程中给大家做了一期的笔记本安装黑苹果的教程:https://www.youtube.com/watch?v=UI816XXYyg4&t=590s ?本期教程主要给...
在手机上更改 Wi-Fi密碼 | 零度解说-零度博客

在手机上更改 Wi-Fi密碼 | 零度解说

https://youtu.be/OKWPH8BvxIw
admin的头像-零度博客admin
1.6W+2250