Google giới thiệu TPU 8tx và 8i Max với confidential computing

Google đã giới thiệu hai dòng chip TPU mới gồm 8tx và 8i Max. Hai dòng này bổ sung khả năng confidential computing cùng dung lượng bộ nhớ và ngữ cảnh lớn hơn, hướng tới cả nhu cầu suy luận và huấn luyện mô hình.

Confidential computing là phần bổ sung đáng chú ý trong bối cảnh dữ liệu dùng cho AI ngày càng nhạy cảm. Cơ chế này hướng tới việc bảo vệ dữ liệu và mô hình ngay trong lúc đang được xử lý, thay vì chỉ bảo vệ khi dữ liệu được lưu trữ hoặc truyền đi.

Việc tăng dung lượng bộ nhớ và độ dài ngữ cảnh tác động trực tiếp tới loại tác vụ mà hạ tầng có thể đảm nhận. Ngữ cảnh lớn hơn cho phép đưa vào một lần nhiều tài liệu hoặc nhiều bước xử lý hơn, trong khi bộ nhớ lớn hơn giúp giảm nhu cầu chia nhỏ công việc giữa nhiều lần chạy.

Với doanh nghiệp, các lựa chọn hạ tầng có confidential computing thường gắn với yêu cầu tuân thủ và kiểm soát dữ liệu. Việc cân nhắc giữa chi phí, hiệu năng suy luận và mức bảo vệ dữ liệu vì thế trở thành một phần của quyết định kiến trúc, không chỉ là lựa chọn phần cứng.

Nguồn: blog.google