Gần đây, tôi thấy ngày càng nhiều tools và open-source projects quảng cáo rằng chúng có thể giúp tiết kiệm 60–90% token khi sử dụng AI coding tools. Điều này khiến tôi tự hỏi: các layer cài thêm bên ngoài AI coding tools có thật sự cần thiết không?
Hiện tại, những AI coding tools như Claude Code, Codex hay Cursor đều có những hướng dẫn khá chi tiết về cách sử dụng chúng hiệu quả. Về cơ bản, mỗi tool đều có cách tiếp cận riêng để quản lý context, giảm token usage và tối ưu chi phí — phù hợp với cách mà chính tool đó được thiết kế. Vậy nếu chúng ta cài thêm một layer bên ngoài để wrap, filter, modify hoặc can thiệp vào cách AI coding tool hoạt động thì sao?
Tôi không nghĩ rằng việc đó là sai. Thậm chí, nếu bạn hiểu rõ tool đang làm gì và muốn tự mình thử nghiệm, tôi hoàn toàn khuyến khích. Nhưng có một vấn đề mà tôi nghĩ chúng ta nên cẩn thận.
Rất nhiều tools quảng cáo rằng chúng có thể tiết kiệm đến 60–90% token. Nhưng thực tế có tiết kiệm được như vậy không? Và quan trọng hơn: tiết kiệm token có làm giảm chất lượng kết quả mà AI coding tool tạo ra không?
Khi có người thật sự ngồi benchmark, kết quả không phải lúc nào cũng giống con số quảng cáo. JetBrains đã đo thử một tool như vậy trên 86 task, chạy A/B từng cặp: hoá đơn đắt hơn 7.6% ở low reasoning effort, và gần như không đổi ở high effort. Trong khi đó, bộ đếm của chính tool vẫn báo đã tiết kiệm hàng triệu token.
Nếu một layer nào đó cắt bớt context, thay đổi cách gửi request hoặc can thiệp vào quá trình xử lý context, việc giảm token là điều có thể nhìn thấy rất rõ. Nhưng thứ khó đo lường hơn là chất lượng output sau khi tối ưu. Nếu tiết kiệm được 50% token nhưng AI cần thêm nhiều lần để hoàn thành một task, phải sửa code nhiều hơn, hoặc bỏ sót context quan trọng, thì liệu chúng ta có thực sự tiết kiệm được gì không?
Chưa kể đến một vấn đề khác: security. Khi bạn đưa thêm một layer vào giữa mình và AI coding tool, bạn đang thêm một thành phần nữa vào hệ thống — một thành phần có thể có quyền truy cập vào source code, context, credentials hoặc những dữ liệu mà AI coding tool đang xử lý. Vậy chúng ta có thực sự hiểu nó đang làm gì không? Nó có thực sự an toàn không? Và những con số như “60–90% token savings” có được chứng minh bằng benchmark độc lập hay chỉ đơn giản là con số marketing?
Nhưng hãy nhìn vấn đề từ một góc khác
Nếu một AI coding tool được xây dựng bởi một team lớn, với hàng trăm hoặc hàng nghìn kỹ sư, liệu họ có bỏ qua bài toán token efficiency không? Tôi nghĩ là rất khó. Token chính là một phần quan trọng trong economics của các AI products: chi phí inference càng cao thì business càng khó scale. Vì vậy, nếu họ tìm được một phương pháp tốt để giảm token usage mà không ảnh hưởng đến chất lượng, tôi tin rằng họ cũng có động lực rất lớn để tự triển khai nó.
Tất nhiên, điều đó không có nghĩa là chúng ta phải tin tưởng tuyệt đối vào những gì tool cung cấp. Không có tool nào hoàn hảo. Nhưng trước khi tìm cách “tối ưu” một hệ thống, có lẽ chúng ta nên hiểu cách nó hoạt động và sử dụng nó đúng cách trước đã.
Đặc biệt nếu bạn mới bắt đầu
Nếu bạn mới bắt đầu sử dụng AI coding tools, tôi nghĩ việc đầu tiên không nên là tìm cách cài thêm 5–10 layers để tiết kiệm token. Hãy tập trung vào việc làm sao để sử dụng AI coding tool một cách chính xác trước: đọc documentation chính thức, hiểu cách tool quản lý context, hiểu cách viết prompt, hiểu cách chia nhỏ task, hiểu khi nào nên clear context, và hiểu cách cung cấp đúng thông tin cho AI.
Quan trọng nhất, hãy tìm hiểu best practices được chính những tool đó khuyến nghị. Claude Code, Codex, Cursor và những AI coding tools khác đều đang liên tục cải thiện cách sử dụng context và token, nên tài liệu chính thức của họ là điểm bắt đầu tốt nhất.
Sau khi bạn đã hiểu cách tool hoạt động, lúc đó hãy bắt đầu thử nghiệm. Bạn có thể benchmark, có thể tự build một layer, có thể thử một open-source project, có thể tìm cách tối ưu token usage. Thậm chí bạn có thể phát hiện ra một cách làm tốt hơn cả cách mà tool đang cung cấp. Tôi hoàn toàn ủng hộ điều đó.
Explore. Experiment. Measure.
Nhưng hãy nhớ một nguyên tắc đơn giản:
Don’t optimize what you don’t understand.
Đừng cài thêm những thứ mà bạn không hiểu nó đang làm gì. Đừng tin ngay vào một con số “save 90% tokens” nếu không có benchmark để chứng minh. Và cũng đừng chỉ đo token usage — hãy đo cả quality, correctness, latency và task completion rate.
Bởi vì cuối cùng, mục tiêu không phải là sử dụng ít token nhất. Mục tiêu là hoàn thành công việc tốt nhất với lượng tài nguyên hợp lý.
Do it right first. Optimize it later.