Meta Llama 3 正式发布!如何在线体验和本地安装部署?

Meta 宣布推出下一代开源大语言模型Llama 3,标志着AI发展新里程碑。该模型分为80亿和700亿参数两个版本,被誉为”Llama 2的重大飞跃”,为大规模语言模型树立新标杆。

值得一提的是,Llama 3已与Meta AI助手深度集成,未来还将陆续在AWS、Databricks、Google Cloud等多个云平台上线,并获得AMD、Intel、NVIDIA等硬件厂商的支持,进一步扩大应用场景。

该模型的发布彰显了Meta在开源AI领域的决心和影响力。我们有理由期待,Llama 3将为自然语言处理、机器学习等AI前沿技术的发展注入新动力。

在线使用:【链接直达

不仅可以智能对话,也可以在线生成图片

图片[1]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客 图片[2]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

 

本地安装部署:

1.从github下载Llama 3 项目文件

点击下载】、【网盘下载

2.申请模型下载链接 (申请秒过)

点击申请

申请后会在邮件里提供一个下载链接

3.安装环境依赖

在Llama3最高级目录执行以下命令(建议在安装了python的conda环境下执行)

pip install -e .

4.下载Llama3模型,执行以下命令:

bash download.sh

 

运行命令后在终端下输入邮件里获取到下载链接,并选择你需要的模型,比如我选择8B-instruct

图片[3]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

 

如果你在下载的时候出现这个错误,那是因为你电脑上没有安装Wget命令的环境,你只需【下载wget】、或【网盘下载

下载以后把wget.exe程序放在C:\Windows\System32 目录下就可以解决!看零度视频里的演示即可

 

图片[4]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

5. 运行示例脚本,执行以下命令:

torchrun --nproc_per_node 1 example_chat_completion.py \
    --ckpt_dir Meta-Llama-3-8B-Instruct/ \
    --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model \
    --max_seq_len 512 --max_batch_size 6

 

6.创建自己的对话脚本,在根目录下创建以下chat.py脚本

# Copyright (c) Meta Platforms, Inc. and affiliates.
# This software may be used and distributed in accordance with the terms of the Llama 3 Community License Agreement.

from typing import List, Optional

import fire

from llama import Dialog, Llama


def main(
    ckpt_dir: str,
    tokenizer_path: str,
    temperature: float = 0.6,
    top_p: float = 0.9,
    max_seq_len: int = 512,
    max_batch_size: int = 4,
    max_gen_len: Optional[int] = None,
):
    """
    Examples to run with the models finetuned for chat. Prompts correspond of chat
    turns between the user and assistant with the final one always being the user.

    An optional system prompt at the beginning to control how the model should respond
    is also supported.

    The context window of llama3 models is 8192 tokens, so `max_seq_len` needs to be <= 8192.

    `max_gen_len` is optional because finetuned models are able to stop generations naturally.
    """
    generator = Llama.build(
        ckpt_dir=ckpt_dir,
        tokenizer_path=tokenizer_path,
        max_seq_len=max_seq_len,
        max_batch_size=max_batch_size,
    )

    # Modify the dialogs list to only include user inputs
    dialogs: List[Dialog] = [
        [{"role": "user", "content": ""}],  # Initialize with an empty user input
    ]

    # Start the conversation loop
    while True:
        # Get user input
        user_input = input("You: ")
        
        # Exit loop if user inputs 'exit'
        if user_input.lower() == 'exit':
            break
        
        # Append user input to the dialogs list
        dialogs[0][0]["content"] = user_input

        # Use the generator to get model response
        result = generator.chat_completion(
            dialogs,
            max_gen_len=max_gen_len,
            temperature=temperature,
            top_p=top_p,
        )[0]

        # Print model response
        print(f"Model: {result['generation']['content']}")

if __name__ == "__main__":
    fire.Fire(main)

运行以下命令就可以开始对话:

torchrun --nproc_per_node 1 chat.py     --ckpt_dir Meta-Llama-3-8B-Instruct/     --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model     --max_seq_len 512 --max_batch_size 6

 

THE END
喜欢就支持一下吧
点赞2176 分享
Windows 10  LTSC 长期服务版!免费下载、安装并激活教程,超级流畅!  | 零度解说-零度博客

Windows 10 LTSC 长期服务版!免费下载、安装并激活教程,超级流畅! | 零度解说

https://youtu.be/tz3jM6UoDWo   【零度会员】▶https://www.freedidi.com/2454.html 【油管会员】▶https://www.youtube.com/channel/UCvijahEyGtvMpmMHBu4FS2w/join —————————...
admin的头像-零度博客admin
2.1W+2232
如何在 Android 安卓手机上安装运行 Kali 系统 !无需 ROOT | 零度解说-零度博客
火箭加速器!智能AI连接,只需三秒解除上网限制-零度博客

火箭加速器!智能AI连接,只需三秒解除上网限制

  下载连接:【点击进入】   智能AI连接,只需三秒 火箭加速器采用了全新内核,智能AI连接,自动选择最优线路,不论您在哪里,按下软件开启按钮后只需轻轻等待,3~2~1,即可连接成...
admin的头像-零度博客admin
1.8W+2254
Google、微软双重身份验证器!Authenticator-零度博客

Google、微软双重身份验证器!Authenticator

1.Google身份验证器 (Google Authenticator): 谷歌身份验证器是一款TOTP与HOTP的两步验证软件令牌,此软件用于Google的认证服务。此项服务所使用的算法已列于 RFC 6238 和 RFC 4226 中。 Go...
admin的头像-零度博客admin
1.7W+2251
“老司机” 必备的8款牛X软件! 都是精品,超级实用!完全免费开源 | 零度解说-零度博客

“老司机” 必备的8款牛X软件! 都是精品,超级实用!完全免费开源 | 零度解说

https://youtu.be/L_d5WRlzDYE ================= 8款精品软件下载:https://www.freedidi.com/10648.html
admin的头像-零度博客admin
1.5W+1527
微软过时的驱动程序列表使 Windows PC 多年来一直受到恶意软件攻击-零度博客

微软过时的驱动程序列表使 Windows PC 多年来一直受到恶意软件攻击

  根据最新的一份安全报告显示,微软近三年来未能正确保护 Windows PC 免受恶意驱动程序的侵害。尽管微软表示其 Windows 更新将新的恶意驱动程序添加到设备下载的阻止列表中,但Ars Techni...
admin的头像-零度博客admin
1.6W+2250
在手机上更改 Wi-Fi密碼 | 零度解说-零度博客

在手机上更改 Wi-Fi密碼 | 零度解说

https://youtu.be/OKWPH8BvxIw
admin的头像-零度博客admin
1.6W+2250
如何更新电脑驱动?3种方法务必要知道,提升性能,省时又放心!| 零度解说-零度博客

如何更新电脑驱动?3种方法务必要知道,提升性能,省时又放心!| 零度解说

https://youtu.be/joniHPDcgQc   ------------------------------------- 🔔 电脑驱动更新软件下载:https://www.freedidi.com/13230.html   ===================== 哔哩哔哩  
Windows 11(24H2)正式版! 最新官方升级教程,硬件不达标也能安装 | 零度解说-零度博客

Windows 11(24H2)正式版! 最新官方升级教程,硬件不达标也能安装 | 零度解说

https://youtu.be/nQdMHPWXHwk   Windows 11 24H2 正式版下载:https://www.freedidi.com/15003.html