“Unlimited token” không hề vô hạn: bài học ngân sách AI từ US Army
Bài của Ars Technica nói về một tình huống rất thực tế: US Army mua gói dùng công cụ AI với kỳ vọng đủ cho cả năm, nhưng lượng token bị tiêu thụ nhanh hơn dự kiến và đơn vị phải đối mặt với giới hạn sử dụng. Token ở đây là đơn vị tính cho dữ liệu đầu vào và đầu ra của mô hình AI. Người dùng thường nhìn thấy ô chat, nhưng phía sau mỗi câu hỏi, tài liệu đính kèm, tóm tắt dài, đoạn mã sinh ra và lần hỏi lại đều đang đốt ngân sách token.
Điểm quan trọng của câu chuyện không phải là quân đội Mỹ dùng AI nhiều. Điều đáng chú ý là ngay cả một tổ chức lớn, có ngân sách và hợp đồng bài bản, vẫn có thể tính sai nhu cầu nếu coi AI như dịch vụ “dùng thoải mái”. Khi AI được đưa vào quy trình thật, số lượng người dùng, độ dài tài liệu, số vòng sửa, tự động hóa nền và agent chạy lặp có thể làm chi phí tăng rất nhanh. Với doanh nghiệp, đây là cảnh báo sớm: triển khai AI mà không đo token, quota, log và mục đích sử dụng sẽ giống mở cloud không giới hạn rồi chờ hóa đơn cuối tháng.
Vì sao câu chuyện này quan trọng?
Nhiều nhà cung cấp dùng thông điệp marketing như “unlimited”, “all you can use” hoặc “enterprise access”. Nhưng trong hạ tầng AI, tài nguyên tính toán vẫn có giới hạn: GPU, bộ nhớ, băng thông, độ trễ, hàng đợi và chi phí vận hành. Vì vậy các gói “không giới hạn” thường đi kèm điều kiện sử dụng hợp lý, throttling, mức ưu tiên thấp hơn, quota ẩn hoặc điều khoản phải mua thêm khi vượt ngưỡng. Nếu đội IT không đọc kỹ, người dùng cuối sẽ chỉ thấy dịch vụ chậm, lỗi, bị giới hạn hoặc bị yêu cầu nâng gói đúng lúc cần nhất.
Bài nguồn cũng cho thấy vấn đề dự báo nhu cầu AI khó hơn SaaS truyền thống. Một tài khoản email hay công cụ quản lý dự án có mức dùng tương đối ổn định. AI thì khác: một nhóm nhỏ có thể tải hàng nghìn trang tài liệu, yêu cầu tóm tắt nhiều phiên bản, sinh mã, chạy kiểm thử prompt và lặp lại liên tục. Nếu thêm agent tự động, chi phí không còn gắn chặt với số người dùng mà gắn với số tác vụ máy tự chạy.
5 ý cụ thể cần rút ra
- Token là đơn vị chi phí thật. Câu hỏi dài, tài liệu đính kèm và câu trả lời dài đều làm tăng lượng token, kể cả khi giao diện chỉ giống một khung chat đơn giản.
- “Unlimited” thường là giới hạn mềm. Nhà cung cấp vẫn cần bảo vệ tài nguyên, nên hợp đồng có thể có fair-use, throttling hoặc cơ chế mua thêm.
- Dự báo theo số ghế là chưa đủ. Hai nhóm cùng 100 người có thể tiêu thụ token rất khác nhau nếu một nhóm dùng AI cho tài liệu, code và agent.
- AI cần FinOps riêng. Doanh nghiệp phải theo dõi token theo phòng ban, dự án, loại tác vụ, mô hình và thời điểm cao điểm.
- Giới hạn bất ngờ gây rủi ro vận hành. Nếu quy trình hỗ trợ, phân tích log hoặc viết báo cáo đã phụ thuộc AI, bị cắt quota giữa kỳ có thể làm chậm công việc thật.
Checklist cho đội IT trước khi mở rộng AI
- Đọc hợp đồng để biết quota, fair-use, throttling, giới hạn theo ngày, giới hạn theo tháng và điều kiện mua thêm.
- Bật dashboard theo dõi token theo user, nhóm, ứng dụng, API key và loại mô hình.
- Đặt cảnh báo khi dùng 50%, 75%, 90% ngân sách, không chờ đến lúc bị chặn.
- Tách workload quan trọng khỏi thử nghiệm cá nhân bằng project, workspace hoặc key riêng.
- Giới hạn upload tài liệu lớn nếu không thật sự cần; dùng tóm tắt cục bộ hoặc chunking hợp lý.
- Chuẩn hóa prompt ngắn, có mục tiêu rõ, tránh lặp nhiều vòng vì yêu cầu mơ hồ.
- Chuẩn bị phương án fallback khi hết quota: mô hình rẻ hơn, hàng đợi, ưu tiên nhóm quan trọng hoặc xử lý thủ công.
Lưu ý thực tế khi triển khai
Đừng chỉ hỏi “mỗi user bao nhiêu tiền một tháng”. Câu hỏi đúng hơn là “mỗi quy trình tốn bao nhiêu token để tạo ra một kết quả có giá trị”. Ví dụ, tóm tắt một email ngắn khác hoàn toàn phân tích 200 trang hồ sơ thầu. Sinh một đoạn mã nhỏ khác hoàn toàn yêu cầu agent đọc repository, sửa nhiều file, chạy kiểm thử và giải thích log. Khi đo theo quy trình, doanh nghiệp mới biết việc nào nên dùng mô hình mạnh, việc nào đủ dùng mô hình rẻ, việc nào không nên tự động hóa.
Cũng cần chính sách ưu tiên. Nếu AI trở thành công cụ chung cho cả công ty, đội hỗ trợ khách hàng, SOC, pháp chế hoặc vận hành sản xuất có thể cần quyền ưu tiên cao hơn nhóm thử nghiệm nội bộ. Không có phân tầng, một chiến dịch thử prompt hoặc batch xử lý tài liệu có thể ăn hết ngân sách của các nhóm đang xử lý công việc gấp.
Kết luận
Câu chuyện từ Ars Technica nhắc rằng AI không phải tài nguyên vô hạn, dù bao bì thương mại có thể làm người mua nghĩ vậy. Token là chi phí thật, giới hạn là thật, và rủi ro vận hành xuất hiện khi tổ chức phụ thuộc AI nhưng không đo mức dùng. Doanh nghiệp nên quản trị AI giống cloud: có quota, dashboard, cảnh báo, phân quyền, ưu tiên workload và kế hoạch fallback. Làm sớm thì AI vẫn là công cụ tăng năng suất; làm muộn thì “unlimited” rất dễ biến thành nút nghẽn mới.
Nguồn: Ars Technica