Meta Llama 3 正式发布!如何在线体验和本地安装部署?

Meta 宣布推出下一代开源大语言模型Llama 3,标志着AI发展新里程碑。该模型分为80亿和700亿参数两个版本,被誉为”Llama 2的重大飞跃”,为大规模语言模型树立新标杆。

值得一提的是,Llama 3已与Meta AI助手深度集成,未来还将陆续在AWS、Databricks、Google Cloud等多个云平台上线,并获得AMD、Intel、NVIDIA等硬件厂商的支持,进一步扩大应用场景。

该模型的发布彰显了Meta在开源AI领域的决心和影响力。我们有理由期待,Llama 3将为自然语言处理、机器学习等AI前沿技术的发展注入新动力。

在线使用:【链接直达

不仅可以智能对话,也可以在线生成图片

图片[1]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客 图片[2]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

 

本地安装部署:

1.从github下载Llama 3 项目文件

点击下载】、【网盘下载

2.申请模型下载链接 (申请秒过)

点击申请

申请后会在邮件里提供一个下载链接

3.安装环境依赖

在Llama3最高级目录执行以下命令(建议在安装了python的conda环境下执行)

pip install -e .

4.下载Llama3模型,执行以下命令:

bash download.sh

 

运行命令后在终端下输入邮件里获取到下载链接,并选择你需要的模型,比如我选择8B-instruct

图片[3]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

 

如果你在下载的时候出现这个错误,那是因为你电脑上没有安装Wget命令的环境,你只需【下载wget】、或【网盘下载

下载以后把wget.exe程序放在C:\Windows\System32 目录下就可以解决!看零度视频里的演示即可

 

图片[4]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

5. 运行示例脚本,执行以下命令:

torchrun --nproc_per_node 1 example_chat_completion.py \
    --ckpt_dir Meta-Llama-3-8B-Instruct/ \
    --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model \
    --max_seq_len 512 --max_batch_size 6

 

6.创建自己的对话脚本,在根目录下创建以下chat.py脚本

# Copyright (c) Meta Platforms, Inc. and affiliates.
# This software may be used and distributed in accordance with the terms of the Llama 3 Community License Agreement.

from typing import List, Optional

import fire

from llama import Dialog, Llama


def main(
    ckpt_dir: str,
    tokenizer_path: str,
    temperature: float = 0.6,
    top_p: float = 0.9,
    max_seq_len: int = 512,
    max_batch_size: int = 4,
    max_gen_len: Optional[int] = None,
):
    """
    Examples to run with the models finetuned for chat. Prompts correspond of chat
    turns between the user and assistant with the final one always being the user.

    An optional system prompt at the beginning to control how the model should respond
    is also supported.

    The context window of llama3 models is 8192 tokens, so `max_seq_len` needs to be <= 8192.

    `max_gen_len` is optional because finetuned models are able to stop generations naturally.
    """
    generator = Llama.build(
        ckpt_dir=ckpt_dir,
        tokenizer_path=tokenizer_path,
        max_seq_len=max_seq_len,
        max_batch_size=max_batch_size,
    )

    # Modify the dialogs list to only include user inputs
    dialogs: List[Dialog] = [
        [{"role": "user", "content": ""}],  # Initialize with an empty user input
    ]

    # Start the conversation loop
    while True:
        # Get user input
        user_input = input("You: ")
        
        # Exit loop if user inputs 'exit'
        if user_input.lower() == 'exit':
            break
        
        # Append user input to the dialogs list
        dialogs[0][0]["content"] = user_input

        # Use the generator to get model response
        result = generator.chat_completion(
            dialogs,
            max_gen_len=max_gen_len,
            temperature=temperature,
            top_p=top_p,
        )[0]

        # Print model response
        print(f"Model: {result['generation']['content']}")

if __name__ == "__main__":
    fire.Fire(main)

运行以下命令就可以开始对话:

torchrun --nproc_per_node 1 chat.py     --ckpt_dir Meta-Llama-3-8B-Instruct/     --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model     --max_seq_len 512 --max_batch_size 6

 

THE END
喜欢就支持一下吧
点赞2176 分享
本地安装 ChatGPT!无需API、 免翻墙、完全免费使用纯正OpenAI的全部功能! 支持 Windows、 Mac、NAS、Linux系统 | 零度解说-零度博客
Windows 11 (22H2 )Moment 2 新版本下载安装-零度博客

Windows 11 (22H2 )Moment 2 新版本下载安装

  Windows 11重磅升级:22H2 Moment 2版本,内置了最新的AI驱动、  新增记事本标签功能、录屏、延长续航、连接iPhone等功能! 官方下载:【链接直达】  
admin的头像-零度博客admin
1.3W+6539
利用 Android Studio 在 Windows 电脑上直接安装智能TV-零度博客

利用 Android Studio 在 Windows 电脑上直接安装智能TV

  Android Studio 【点击下载】 更多适用平台 平台 安卓工作室包 尺寸 SHA-256 校验和 Windows (64 位) android-studio-2022.1.1.21-windows.exe 受到推崇的 988.6 兆字节 7f08286effd7c...
admin的头像-零度博客admin
1.6W+6540
AHA Music - 浏览器中的音乐雷达:一键识别网页背景音乐-零度博客

AHA Music – 浏览器中的音乐雷达:一键识别网页背景音乐

AHA Music 是一款强大又便捷的浏览器扩展,专为喜欢在网页上听音乐的用户而设计。你是否在浏览视频网站、播放背景音乐网页或看剧时听到好听的旋律,却苦于不知道歌名?AHA Music 就是为你解决这...
admin的头像-零度博客admin
1W+1440
uptime-kuma 安装教程!利用宝塔面板进行搭建-零度博客

uptime-kuma 安装教程!利用宝塔面板进行搭建

准备好一台vps,或者你的甲骨文云服务器 安装好宝塔面板,推荐aapanel 安装好docker管理器 安装好nginx1.20或更高版本 一键安装代码如下(ssh工具连接到服务器,然后复制命令输入回车即可) doc...
admin的头像-零度博客admin
1.4W+1528
Stable Diffusion 3【真人模型】:更好看、更真实!WuhaXL_realisticMixV4.0-零度博客

Stable Diffusion 3【真人模型】:更好看、更真实!WuhaXL_realisticMixV4.0

在 Windows 上自动安装   安装Python 3.10.6(较新版本的Python不支持torch),选中“将Python添加到PATH”。 安装git。 下载 stable-diffusion-webui 【点击前往】 或 【网盘高速下载】 w...
admin的头像-零度博客admin
2.8W+2181
Windows 11 暗藏间谍功能?Microsoft Recall 成毒瘤,教你立刻禁用并替换最佳方案 | 零度解说-零度博客

Windows 11 暗藏间谍功能?Microsoft Recall 成毒瘤,教你立刻禁用并替换最佳方案 | 零度解说

https://youtu.be/YT3CJgxZQ2s 1、禁用 Recall 的命令:https://www.freedidi.com/17899.html 2、替代方案:   Shadow Defender(英文):https://www.freedidi.com/7030.html   影子系统...
Windows 11 任务栏中启用拖放功能 【免费开源】-零度博客

Windows 11 任务栏中启用拖放功能 【免费开源】

Windows 11 任务栏拖放 只需按照以下步骤操作: 第 1 步:下载并运行实用程序 【GitHub开源地址】 首先,下载该Windows11DragAndDropToTaskbarFix.exe实用程序。下载后,右键单击Windows11DragA...
admin的头像-零度博客admin
1.7W+1091
全网爆火的 AI 提示词,GPT-4o 让刘强东王兴也成了「兄弟」,超逼真的效果 (含超全提示词)| 零度解说-零度博客