Meta phát hành Llama 4 Scout và Maverick, hai mô hình mixture-of-experts đầu tiên
Llama 4 Scout và Maverick là hai mô hình mixture-of-experts đa phương thức, mở trọng số, với 17 tỷ tham số hoạt động và cửa sổ ngữ cảnh lớn.
Meta đã phát hành Llama 4 Scout và Llama 4 Maverick, được hãng giới thiệu là những mô hình mixture-of-experts đầu tiên của mình, đồng thời phát hành dưới dạng trọng số mở.
Mixture-of-experts là kiến trúc trong đó mô hình gồm nhiều nhánh chuyên trách và chỉ kích hoạt một phần nhánh cho mỗi lần xử lý, nhờ vậy chi phí tính toán thấp hơn nhiều so với chạy toàn bộ mạng nơ-ron có cùng tổng kích thước. Theo công bố, Scout có 109 tỷ tham số tổng và cửa sổ ngữ cảnh 10 triệu token, Maverick có 400 tỷ tham số tổng; cả hai đa phương thức gốc và dùng 17 tỷ tham số hoạt động.
Với doanh nghiệp, kiến trúc này hướng tới bài toán chi phí: mô hình lớn về tổng tham số nhưng chỉ dùng một phần khi suy luận sẽ rẻ hơn về tính toán so với mô hình dày đặc cùng quy mô. Cửa sổ ngữ cảnh lớn phù hợp với kho tài liệu dài, còn khả năng đọc hình ảnh mở ra ứng dụng với hoá đơn, biểu mẫu, ảnh chụp tài liệu.
Điều cần lưu ý là mô hình vẫn đòi hỏi hạ tầng tính toán đáng kể nếu tự vận hành, dù số tham số hoạt động thấp hơn tổng. Chất lượng tiếng Việt và khả năng hiểu nghiệp vụ đặc thù cần kiểm thử riêng, không nên suy ra từ điểm số tiếng Anh.
Nguồn: ai.meta.com
