Context Window

Hãy hình dung context window là bộ nhớ làm việc của mô hình cho một nhiệm vụ. Mọi thứ mô hình cần để trả lời tốt phải nằm vừa trong đó cùng lúc. Khi cuộc trò chuyện quá dài hoặc tài liệu quá lớn, phần cũ hoặc phần thừa phải bị bỏ đi, tóm tắt lại, hoặc chỉ được lấy vào khi cần.

Context window lớn đến mức nào?

Context window tăng rất nhanh. Các mô hình chat đời đầu chỉ xử lý được vài nghìn token. Các mô hình hàng đầu năm 2026 xử lý khoảng một triệu token: theo bài so sánh GPT-6 Astra và Claude Fable 5.1, Astra hỗ trợ khoảng 1,05 triệu token, Fable 5.1 khoảng 1 triệu, và đầu ra tối đa khoảng 128.000 token. Một triệu token tương đương khoảng 750.000 từ tiếng Anh.

Điều gì chiếm chỗ trong context window?

• System prompt và các hướng dẫn.
• Lịch sử trò chuyện.
• Tài liệu, kết quả tìm kiếm hoặc file được đưa vào cho nhiệm vụ.
• Định nghĩa công cụ và kết quả trả về từ công cụ, phần này có thể rất lớn trong các hệ thống agent.
• Chính câu trả lời của mô hình, gồm cả token suy luận nếu có.

Context window càng lớn có càng tốt không?

Không hẳn. Chất lượng thường giảm từ rất lâu trước khi cửa sổ đầy: mô hình có thể bỏ sót chi tiết nằm giữa một đầu vào dài, và mỗi token thêm vào đều làm tăng chi phí và độ trễ. Vì vậy context engineering, tức chọn đúng những gì đưa vào cửa sổ ở mỗi bước, quan trọng hơn kích thước. Bài context engineering trình bày các chiến lược thực tế, trong đó có việc cho mỗi sub agent một ngữ cảnh riêng gọn gàng trong một hệ thống đa agent.

Context window khác RAG thế nào?

Cửa sổ lớn cho phép bạn đưa nhiều thứ vào hơn, nhưng không quyết định thứ gì liên quan. RAG làm việc đó: nó tìm trong kho kiến thức, thường bằng embedding lưu trong một vector database, rồi chỉ đưa các đoạn liên quan nhất vào cửa sổ. Phần lớn hệ thống thực tế dùng cả hai.