Token

Con người đọc theo từ, còn mô hình AI đọc theo token. Bộ tách token (tokenizer) chia văn bản thành các mảnh mà mô hình đã học, nên một từ phổ biến có thể chỉ là một token, còn một từ hiếm hoặc dài bị tách thành nhiều token. Mọi thứ khi dùng một LLM đều được tính bằng token: bạn gửi được bao nhiêu, mô hình viết lại được bao nhiêu, và bạn phải trả bao nhiêu tiền.

Một token bằng bao nhiêu chữ?

Với tiếng Anh, quy ước phổ biến là một token khoảng bốn ký tự, tức khoảng ba phần tư một từ, nên 1.000 token tương đương khoảng 750 từ. Con số chính xác phụ thuộc vào tokenizer của từng mô hình. Tiếng Việt có dấu nên thường tốn nhiều token hơn tiếng Anh cho cùng một nội dung, nghĩa là xử lý nội dung tiếng Việt thường tốn chi phí hơn.

Vì sao token quan trọng?

• Chi phí: API AI tính tiền theo triệu token, thường với giá riêng cho token đầu vào và đầu ra. Token đầu ra thường đắt hơn token đầu vào vài lần.
• Giới hạn: mỗi mô hình có một context window tối đa, tính bằng token, bao gồm mọi thứ mô hình có thể xem xét cùng lúc.
• Tốc độ: mô hình phải đọc và viết càng nhiều token thì phản hồi càng lâu.

Token đầu vào, token đầu ra và cached token

Token đầu vào là mọi thứ bạn gửi đi: hướng dẫn, tài liệu, lịch sử trò chuyện và định nghĩa công cụ. Token đầu ra là những gì mô hình viết lại, gồm cả token suy luận ẩn ở một số mô hình. Nhiều nhà cung cấp còn có cached token, mức giá rẻ hơn nhiều cho phần đầu vào lặp lại giữa các lần gọi, như một system prompt dài. Trong bài so sánh GPT-6 Astra và Claude Fable 5.1, cả hai mô hình đều niêm yết khoảng 10 USD cho mỗi triệu token đầu vào và 50 USD cho mỗi triệu token đầu ra, và khác biệt chi phí thực tế nằm ở giá cached token.

Làm sao để dùng ít token hơn?

• Chỉ gửi phần ngữ cảnh mà việc đó cần, đây là ý chính của context engineering.
• Đặt các hướng dẫn cố định ở đầu prompt để chúng được cache.
• Yêu cầu đúng định dạng và độ dài đầu ra bạn thật sự cần.
• Chuyển các việc đơn giản sang mô hình nhỏ, rẻ hơn bằng một AI router.