Llama 4重磅来袭,Meta叫板OpenAI

出品|虎嗅科技组

作者|孙晓晨

编辑|苗正卿

头图|视觉中国

当地时间4月5日,Meta推出其迄今最为强大的开源AI模型Llama 4系列,其首批推出的Llama 4系列模型包括Llama 4 Scout和Llama 4 Maverick。此外,还有更为强大的Llama 4 Behemoth仍在训练中。

据Meta介绍,Llama 4 Scout包含170亿活跃参数、16个专家模型及1090亿总参数,在各种广泛接受的基准测试中,性能优于Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。Llama 4 Scout的支持上下文长度为1000万token,这将为AI模型的功能打开新的可能,如多文档摘要,解析大规模用户活动以进行个性化任务,以及在庞大的代码库中进行推理。

而Llama 4 Maverick也拥有170亿活跃参数,但是其专家模型数量增至128个,总参数量为4000亿。该模型据称拥有顶尖的图像定位能力,可将用户指令与相关视觉概念精准对齐,并将模型响应锚定到图像中的特定区域。Meta表示,Llama 4 Maverick在多项主流基准测试中,全面超越GPT-4o与Gemini 2.0 Flash;在活跃参数仅为其一半的情况下,该模型在推理与代码能力方面实现了与DeepSeek V3同等性能;其聊天版本在LMArena测试中取得1417的ELO评分,拥有无与伦比的性价比。

Llama 4 Scout和Llama 4 Maverick均从Llama 4 Behemoth中蒸馏而来,而Llama 4 Behemoth据称包含2880亿活跃参数、16个专家模型以及2万亿参数。Meta表示,Llama 4 Behemoth为其迄今为止最强大的模型,且尚在训练中,目前在STEM领域的基准测试中表现优于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。

在官网博文中,Meta分享了关于Llama 4系列模型的技术细节:

该系列模型为首批采用混合专家(MoE)架构的模型,其在训练和推理时计算效率更高,且在相同的训练FLOPs预算下,能够生成更高质量的结果。

此外,Llama 4采用原生多模态设计,融入早期融合技术,将文本和视觉标记无缝集成到统一的模型骨干中。Meta称:“早期融合是一个重大的进步,因为它使我们能够使用大量未标记的文本、图像和视频数据对模型进行联合预训练。”Llama 4的视觉编码器也得到改进,以更好地适应大语言模型。

在模型训练过程中,训练团队采用了名为“MetaP”的新型训练技术,能够可靠地设置关键模型超参数(如各层学习率和初始化规模)。Llama 4通过预训练支持200种语言(其中100多种语言的训练标记量超过10亿个),整体多语言训练标记量较Llama 3提升10倍,为开源社区的模型微调工作奠定了坚实基础。

Meta还通过其他一系列动作对模型进行训练和完善,如采用FP8精度以进行高效模型训练、采用“中期训练”的方式继续训练模型以提升模型核心能力等。

模型安全也是Meta关注的重点,其在博文中称“我们的目标是开发最有帮助和最有用的模型,同时防范和减轻最严重的风险。我们按照我们的《开发者使用指南:人工智能保护》中概述的最佳实践来构建 Llama 4。这包括在模型开发的每个层面(从预训练到后训练)整合缓解措施,以及可调节的系统级缓解措施,以保护开发者免受对抗性用户的影响。”

2025年以来,DeepSeek R1、Grok 3、GPT-4.5众多模型接连推出,不断刷新数据,如今Llama 4又强势入场,声称碾压GPT-4.5,可见这场模型之战愈加激烈。作为开源大模型,Llama 4系列模型展现了Meta对开源策略的坚持。Meta首席执行官扎克伯格表示:“他们的目标是建立世界领先的人工智能,将其开源,并使其普遍可用,以便世界上每个人都能受益。”结合DeepSeek带来的冲击以及OpenAI日益明显的开源倾向,AI公司对开源策略似乎已经愈加认同。但是面对OpenAI等众多竞争对手,Meta能否通过开源策略构建有效生态壁垒,Llama 4 Behemoth能否助其在“万亿参数俱乐部”中占据领先地位,还尚未可知。

  • Related Posts

    套现50亿,今年最“爽”的IPO来了

    本文来自微信公众号:投中网 (ID:China-Ventur…

    阿里国际凯夫:未来AI型组织里,桥梁型通才至关重要

    出品|虎嗅商业消费组 作者|苗正卿 题图|阿里国际 张凯夫阐…

    发表回复

    您的邮箱地址不会被公开。 必填项已用 * 标注

    bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak bokep anak
    xnxx porn xnxx porn xnxx porn xnxx porn xnxx porn xnxx porn xnxx porn xnxx porn xnxx porn xnxx porn xnxx porn