Prompt caching là gì? Giảm chi phí và độ trễ khi gọi AI nhiều lần với cùng ngữ cảnh

Prompt caching là gì? Prompt caching là tính năng cho phép API tái sử dụng phần đầu (tiền tố) của prompt đã xử lý ở các yêu cầu trước, nhờ đó giảm độ trễ và chi phí đầu vào cho prompt dài hoặc lặp lại. Theo tài liệu Anthropic (đọc ngày 25/10/2026), một lần đọc từ bộ nhớ đệm có giá bằng 0,1 lần giá đầu vào cơ bản với đa số mô hình, còn một lần ghi bộ nhớ đệm 5 phút bằng 1,25 lần. Bài này giải thích prompt caching là gì, cách trúng cache, giá, điều làm cache mất hiệu lực và kinh nghiệm của OPCAIOS.

Cache chỉ trúng khi tiền tố khớp từng ký tự. Sơ đồ: OPCAIOS.

Prompt caching là gì và hoạt động thế nào?

Khi bạn đánh dấu một điểm trong prompt, hệ thống lưu phần đã xử lý từ đầu đến điểm đó; yêu cầu sau có cùng tiền tố sẽ dùng lại thay vì xử lý lại. Nó giảm chi phí và độ trễ, còn việc sinh đầu ra không đổi.

Theo tài liệu, thứ tự được lưu là công cụ, rồi system prompt, rồi tin nhắn, tính đến khối có đánh dấu cache_control. Bạn có thể bật bằng một trường cấp cao nhất (cache tự động) hoặc đặt tối đa 4 điểm ngắt rõ ràng. Hiểu cách mô hình đếm văn bản ở token và context window sẽ giúp tính được tiết kiệm.

Khi nào cache trúng?

Cache chỉ trúng khi tiền tố khớp chính xác; bất kỳ thay đổi nào tại hoặc trước điểm đánh dấu đều làm trượt. Vì vậy hãy đặt phần ổn định (chỉ dẫn, tài liệu cố định, định nghĩa công cụ) ở đầu và phần thay đổi (câu hỏi mới) ở cuối.

• Thời gian sống mặc định là 5 phút, và mỗi lần dùng làm mới đồng hồ mà không tốn thêm. Có tuỳ chọn 1 giờ với chi phí cao hơn.
• Đồng hồ tính từ lúc yêu cầu ghi hoặc đọc bắt đầu; phản hồi phát luồng dài 4 phút chỉ còn khoảng 1 phút để tái sử dụng.
• Có độ dài tối thiểu để lưu: 512 token với các mô hình mới như Opus 5.5 và Sonnet 5.5, 1.024 hoặc nhiều hơn với một số mô hình khác (lên tới 4.096). Prompt ngắn hơn vẫn chạy nhưng không cache và không báo lỗi.

Giá prompt caching

Theo tài liệu đọc ngày 25/10/2026, giá tính theo bội số của giá đầu vào cơ bản: ghi cache 5 phút bằng 1,25 lần, ghi cache 1 giờ bằng 2 lần, đọc cache bằng 0,1 lần với đa số mô hình (một số mô hình có mức thấp hơn: 0,05 lần hoặc 0,025 lần).

Hạng mục	Bội số giá đầu vào cơ bản
Ghi cache 5 phút	1,25 lần
Ghi cache 1 giờ	2 lần
Đọc cache	0,1 lần (đa số mô hình); 0,05 lần với Opus 5.5 và Sonnet 5.5

Ví dụ theo tài liệu: mô hình có giá đầu vào cơ bản 3 USD cho một triệu token thì ghi 5 phút là 3,75 USD, ghi 1 giờ là 6 USD, đọc là 0,30 USD. Giá USD, chưa gồm thuế và có thể thay đổi; hãy xem trang giá hiện hành.

Cách tính lời lỗ: ghi cache đắt hơn xử lý thường một chút, nên chỉ có lợi khi cùng tiền tố được đọc lại đủ nhiều lần trong thời hạn sống.

Điều gì làm mất hiệu lực cache?

Thay đổi định nghĩa công cụ làm trượt mọi tầng; thay đổi system prompt làm trượt tầng system và tin nhắn; thay đổi một số tham số như tool_choice, thêm hoặc bớt ảnh, cấu hình suy nghĩ làm trượt tầng tin nhắn. Cache còn được cô lập theo tổ chức và theo workspace trên một số nền tảng.

Hệ quả thực tế: đừng chèn thời gian hiện tại hoặc mã ngẫu nhiên vào đầu prompt vì nó làm tiền tố khác nhau mỗi lần. Kiểm tra bằng các trường dùng lượng token trong phản hồi: nếu cache_creation_input_tokens và cache_read_input_tokens đều bằng 0, cache không hoạt động.

Khi nào nên dùng prompt caching?

Nên dùng khi bạn gọi nhiều lần với cùng một khối lớn ổn định: hệ chat với system prompt dài, hỏi đáp trên cùng một tài liệu, agent nhiều bước dùng lại công cụ và chỉ dẫn. Không đáng với yêu cầu một lần hoặc prompt ngắn dưới ngưỡng.

Tình huống	Gợi ý
Hỏi nhiều câu trên một tài liệu dài	Cache tài liệu
Agent nhiều bước, công cụ ổn định	Cache công cụ và chỉ dẫn
Yêu cầu một lần, prompt ngắn	Không cần
Prompt đầu thay đổi liên tục	Sắp lại để phần cố định lên đầu

Liên quan: context engineering và chọn model AI.

Kinh nghiệm của OPCAIOS

Chúng tôi dùng công cụ AI qua ứng dụng và một cổng định tuyến mô hình, nên phần lớn việc cache do công cụ đảm nhiệm; chúng tôi chưa tự đo tỷ lệ trúng cache hay tiền tiết kiệm được.

Vì chưa đo, bài này chỉ dẫn lại tài liệu nhà cung cấp, không đưa con số của riêng chúng tôi. Lời khuyên rút ra từ cách cache hoạt động: giữ đầu prompt ổn định và đừng sửa công cụ giữa phiên. Điều này cũng giải thích vì sao sửa công cụ hoặc system prompt giữa chừng khiến chi phí tăng.

Câu hỏi thường gặp

Prompt caching có làm thay đổi chất lượng câu trả lời không?

Theo tài liệu, nó chỉ tái sử dụng phần xử lý đầu vào; việc sinh đầu ra không bị ảnh hưởng.

Cache tồn tại bao lâu?

Mặc định 5 phút và được làm mới mỗi lần dùng; có tuỳ chọn 1 giờ với chi phí cao hơn.

Có phải prompt nào cũng cache được không?

Không. Phải đủ độ dài tối thiểu (từ 512 đến 4.096 token tuỳ mô hình) và tiền tố phải khớp hoàn toàn.

Làm sao biết cache có hoạt động?

Xem các trường token trong phản hồi: số token đọc cache lớn hơn 0 nghĩa là trúng.

Có áp dụng được với nhà cung cấp khác không?

Cơ chế và giá khác nhau theo nhà cung cấp; bài này chỉ dựa trên tài liệu của Anthropic. Cần hỗ trợ tối ưu chi phí AI, xem dịch vụ đào tạo ứng dụng AI.

Nguồn: Anthropic, tài liệu "Prompt caching" (platform.claude.com), đọc ngày 25/10/2026; tôi chỉ đọc phần đầu của trang (khoảng 100.000 ký tự đầu), chưa đọc phần còn lại. Giá USD chưa gồm thuế, có thể thay đổi. Kinh nghiệm là của OPCAIOS, chưa đo.