Meta 发布 Llama 4 Scout 与 Maverick:首批混合专家模型
Llama 4 Scout 与 Maverick 是多模态、开放权重的混合专家模型,拥有 170 亿激活参数与超大上下文窗口,Scout 总参数 1090 亿、上下文窗口达 1000 万 token,Maverick 总参数 4000 亿,推理时只激活部分分支以降低算力开销。
Meta 已发布 Llama 4 Scout 与 Llama 4 Maverick,该公司称这是其首批混合专家模型,同时以开放权重的形式发布。
混合专家是一种架构,模型由多个专门化的分支组成,每次处理时只激活其中一部分,因此计算成本远低于运行同等总规模的完整神经网络。据公布,Scout 总参数 1090 亿、上下文窗口 1000 万 token,Maverick 总参数 4000 亿;两者均为原生多模态,并使用 170 亿激活参数。
对企业而言,这一架构指向成本问题:总参数规模很大但推理时只使用一部分的模型,在计算上比同量级的稠密模型更便宜。大上下文窗口适合长文档库,而读取图像的能力则为发票、表单、文档照片等应用打开空间。
需要注意的是,尽管激活参数低于总参数,自行运营这些模型仍需相当可观的算力基础设施。越南语质量以及对特定业务领域的理解能力需要单独测试,不应从英文基准分数推断。
来源: ai.meta.com