Meta Llama 3 正式发布!如何在线体验和本地安装部署?

Meta 宣布推出下一代开源大语言模型Llama 3,标志着AI发展新里程碑。该模型分为80亿和700亿参数两个版本,被誉为”Llama 2的重大飞跃”,为大规模语言模型树立新标杆。

值得一提的是,Llama 3已与Meta AI助手深度集成,未来还将陆续在AWS、Databricks、Google Cloud等多个云平台上线,并获得AMD、Intel、NVIDIA等硬件厂商的支持,进一步扩大应用场景。

该模型的发布彰显了Meta在开源AI领域的决心和影响力。我们有理由期待,Llama 3将为自然语言处理、机器学习等AI前沿技术的发展注入新动力。

在线使用:【链接直达

不仅可以智能对话,也可以在线生成图片

图片[1]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客 图片[2]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

 

本地安装部署:

1.从github下载Llama 3 项目文件

点击下载】、【网盘下载

2.申请模型下载链接 (申请秒过)

点击申请

申请后会在邮件里提供一个下载链接

3.安装环境依赖

在Llama3最高级目录执行以下命令(建议在安装了python的conda环境下执行)

pip install -e .

4.下载Llama3模型,执行以下命令:

bash download.sh

 

运行命令后在终端下输入邮件里获取到下载链接,并选择你需要的模型,比如我选择8B-instruct

图片[3]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

 

如果你在下载的时候出现这个错误,那是因为你电脑上没有安装Wget命令的环境,你只需【下载wget】、或【网盘下载

下载以后把wget.exe程序放在C:\Windows\System32 目录下就可以解决!看零度视频里的演示即可

 

图片[4]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

5. 运行示例脚本,执行以下命令:

torchrun --nproc_per_node 1 example_chat_completion.py \
    --ckpt_dir Meta-Llama-3-8B-Instruct/ \
    --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model \
    --max_seq_len 512 --max_batch_size 6

 

6.创建自己的对话脚本,在根目录下创建以下chat.py脚本

# Copyright (c) Meta Platforms, Inc. and affiliates.
# This software may be used and distributed in accordance with the terms of the Llama 3 Community License Agreement.

from typing import List, Optional

import fire

from llama import Dialog, Llama


def main(
    ckpt_dir: str,
    tokenizer_path: str,
    temperature: float = 0.6,
    top_p: float = 0.9,
    max_seq_len: int = 512,
    max_batch_size: int = 4,
    max_gen_len: Optional[int] = None,
):
    """
    Examples to run with the models finetuned for chat. Prompts correspond of chat
    turns between the user and assistant with the final one always being the user.

    An optional system prompt at the beginning to control how the model should respond
    is also supported.

    The context window of llama3 models is 8192 tokens, so `max_seq_len` needs to be <= 8192.

    `max_gen_len` is optional because finetuned models are able to stop generations naturally.
    """
    generator = Llama.build(
        ckpt_dir=ckpt_dir,
        tokenizer_path=tokenizer_path,
        max_seq_len=max_seq_len,
        max_batch_size=max_batch_size,
    )

    # Modify the dialogs list to only include user inputs
    dialogs: List[Dialog] = [
        [{"role": "user", "content": ""}],  # Initialize with an empty user input
    ]

    # Start the conversation loop
    while True:
        # Get user input
        user_input = input("You: ")
        
        # Exit loop if user inputs 'exit'
        if user_input.lower() == 'exit':
            break
        
        # Append user input to the dialogs list
        dialogs[0][0]["content"] = user_input

        # Use the generator to get model response
        result = generator.chat_completion(
            dialogs,
            max_gen_len=max_gen_len,
            temperature=temperature,
            top_p=top_p,
        )[0]

        # Print model response
        print(f"Model: {result['generation']['content']}")

if __name__ == "__main__":
    fire.Fire(main)

运行以下命令就可以开始对话:

torchrun --nproc_per_node 1 chat.py     --ckpt_dir Meta-Llama-3-8B-Instruct/     --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model     --max_seq_len 512 --max_batch_size 6

 

THE END
喜欢就支持一下吧
点赞2176 分享
相关推荐
Wan2.1 本地部署!最强文生视频 & 图生视频,完全免费开源,一键生成高质量影片! | 零度解说-零度博客

Wan2.1 本地部署!最强文生视频 & 图生视频,完全免费开源,一键生成高质量影片! | 零度解说

https://www.youtube.com/watch?v=gsu31MjWB9w   Wan 2.1 视频生成模型本地部署工具包下载:https://www.freedidi.com/18705.html  
永久免费使用谷歌云,Google Cloud到期后继续使用的方法!-零度博客

永久免费使用谷歌云,Google Cloud到期后继续使用的方法!

之前分享的视频教程《永久免费申请谷歌云 | 搭建SS,V2ray或trojan来进行上网爽歪歪》中提到,申请谷歌云服务器,你必须要有一张visa的信用卡,就可以申请Google Cloud的300美金一年免费使用。...
限时福利!免费领取 JetBrains 全家桶 1 年订阅,支持所有开发工具-零度博客

限时福利!免费领取 JetBrains 全家桶 1 年订阅,支持所有开发工具

JetBrains 全家桶限时免费领取,含 Intellij IDEA Ultimate、AI 工具等所有产品! 知名编程工具开发商 JetBrains 最近开启了一项全新优惠活动——所有用户都可以通过官方兑换码,免费领取 1 年 ...
admin的头像-零度博客admin
2.3W+1541
OpenAI 放大招!正式推出 o3 与 o4-mini,全工具解锁 、看图思考,全面超越 o1!实测效果 + 免费使用攻略 | 零度解说-零度博客

OpenAI 放大招!正式推出 o3 与 o4-mini,全工具解锁 、看图思考,全面超越 o1!实测效果 + 免费使用攻略 | 零度解说

https://www.youtube.com/watch?v=n8v-RRqfiF0   免费使用 o3与o4-mini 模型 :https://www.freedidi.com/19131.html
admin的头像-零度博客admin
1.2W+2229
Windows 12 惊艳亮相!AR4789 最新视觉大作,美到令人心动!你会安装吗?| 零度解说-零度博客

Windows 12 惊艳亮相!AR4789 最新视觉大作,美到令人心动!你会安装吗?| 零度解说

https://youtu.be/gPOxQu1MEmg本期视频背景音乐下载:【点击下载】 
admin的头像-零度博客admin
1.3W+1764
什么是 Wi-Fi 7 ?你需要知道的一切-零度博客

什么是 Wi-Fi 7 ?你需要知道的一切

Wi-Fi 6E 的继任者可能还需要一年多的时间,但它有望显着提高无线连接的速度和稳定性。     虽然很多人只是最近才升级到Wi-Fi 6,有些人可能正在考虑跳到 Wi-Fi 6E,他们的继任者已经...
admin的头像-零度博客admin
1.6W+2250
切勿忽视 Windows 10上的这七个功能,它们确定很实用!| 零度解说-零度博客
推荐7款非常实用的 ChatGPT 浏览器插件!-零度博客

推荐7款非常实用的 ChatGPT 浏览器插件!

1.ChatGP连接互联网  因为目前ChatGPT 人工智能仅限于 2021 年以前的信息,但是通过这款扩展,它可以访问互联网上的最新信息 【链接】 2.引擎的搜索结果页面展现ChatGPT   它可以在搜索引擎...
admin的头像-零度博客admin
1.3W+6539
油猴插件必备的网站-零度博客

油猴插件必备的网站

    年满18岁的福利脚本:https://sleazyfork.org/ 学习工作常用的脚本:https://greasyfork.org/