Computer Use của Gemini API dùng chung cho trình duyệt và ứng dụng desktop

Công cụ Computer Use trong Gemini API đã chuyển từ giai đoạn thử nghiệm sang trạng thái dùng chung. Thay đổi này cho phép các agent xây dựng trên nền tảng của Google điều khiển trình duyệt và ứng dụng desktop, thay vì chỉ xử lý văn bản hay gọi các API có cấu trúc sẵn.

Điểm cốt lõi của Computer Use là khả năng thao tác trên giao diện như một người dùng. Agent có thể làm việc với những phần mềm không cung cấp API, vốn là phần lớn hệ thống đang vận hành trong doanh nghiệp, từ đó mở rộng phạm vi tự động hóa sang các tác vụ trước đây phải làm thủ công.

Theo mô tả, việc điều khiển được thực hiện có kiểm soát. Yếu tố này quan trọng vì agent thao tác trực tiếp trên màn hình có thể chạm tới dữ liệu, tài khoản và các thao tác không thể hoàn tác.

Việc một công cụ điều khiển máy tính ở trạng thái dùng chung cho thấy hướng phát triển agent đang dịch từ trợ lý hội thoại sang tác nhân thực thi. Tuy vậy, mức độ an toàn khi vận hành vẫn phụ thuộc vào cách đơn vị triển khai giới hạn quyền, ghi nhật ký và phê duyệt các bước quan trọng.

Nguồn: ai.google.dev