Các mô hình AI khác nhau rất nhiều về giá, tốc độ và năng lực. Gửi mọi yêu cầu cho mô hình mạnh nhất sẽ tốn tiền vô ích cho các việc dễ, còn gửi tất cả cho mô hình rẻ sẽ làm giảm chất lượng ở các việc khó. AI router đứng giữa ứng dụng của bạn và các mô hình, tự động đưa ra lựa chọn đó cho từng yêu cầu.
AI router hoạt động thế nào?
Khi một yêu cầu đến, router trước tiên đánh giá đây là loại việc gì và khó đến đâu. Việc đánh giá này thường do một mô hình nhỏ, nhanh đảm nhận, đôi khi là một decision model. Sau đó router chọn mô hình, và với mô hình có hỗ trợ thì chọn cả mức độ suy luận (reasoning effort), gửi yêu cầu đi và trả kết quả về. Nhiều router còn tự chuyển sang nhà cung cấp khác khi một mô hình chậm hoặc lỗi, và ghi lại mô hình nào đã trả lời từng yêu cầu.
Ví dụ về AI router
OpenRouter, dịch vụ cho phép gọi hàng trăm mô hình qua một API duy nhất, có các tùy chọn định tuyến tự chọn mô hình thay bạn. Jev Router của TypeSafe, có trên OpenRouter, chạy trên Jev và chọn mô hình cùng mức độ suy luận cho từng yêu cầu. Khi Growthtrait gửi cho nó một câu hỏi ngắn về thứ tự ưu tiên, nó trả lời bằng một mô hình nhanh, chi phí thấp chứ không dùng mô hình hàng đầu. Đó chính là mục đích của router: câu hỏi dễ không nên phải trả giá của mô hình đắt nhất.
AI router khác AI orchestration thế nào?
Router chỉ trả lời một câu hỏi: mô hình nào nên xử lý yêu cầu này. AI orchestration rộng hơn, nó điều phối cả một workflow nhiều bước, quyết định bước nào chạy, theo thứ tự nào và kết quả truyền giữa các bước ra sao. Router thường là một thành phần bên trong một hệ thống orchestration, lo việc chọn mô hình ở mỗi bước.
Vì sao AI router quan trọng với team marketing?
Team marketing dùng AI cho nhiều loại việc: gắn nhãn và phân loại nội dung, viết các biến thể quảng cáo ngắn, soạn bài viết dài, phân tích báo cáo. Định tuyến giúp các việc nhanh, đơn giản đi tới mô hình nhỏ, và dành mô hình đắt cho những việc thật sự cần. Với một team dùng AI hằng ngày, cách này có thể giảm chi phí đáng kể mà chất lượng không giảm rõ rệt.
AI router có những đánh đổi gì?
- Kém đồng nhất hơn: cùng một loại yêu cầu có thể được các mô hình khác nhau trả lời, nên giọng văn và chất lượng có thể chênh lệch.
- Khó tìm lỗi hơn: khi câu trả lời sai, trước tiên bạn phải biết mô hình nào đã tạo ra nó.
- Router có thể chọn sai: một việc khó bị gửi tới mô hình nhỏ sẽ cho câu trả lời yếu, nên bản thân router cũng cần được kiểm tra.
Câu hỏi thường gặp
AI router là gì?+
AI router là lớp chọn mô hình AI sẽ xử lý từng yêu cầu dựa trên loại việc, yêu cầu chất lượng, tốc độ và chi phí, rồi chuyển yêu cầu đi và trả kết quả về.
AI router và AI orchestration khác nhau ở đâu?+
Router chọn một mô hình cho một yêu cầu. Orchestration điều phối cả một workflow nhiều bước gồm mô hình, công cụ và agent. Router thường là một phần trong hệ thống orchestration.
Dùng AI router có tiết kiệm chi phí không?+
Có thể, vì yêu cầu đơn giản được gửi tới mô hình rẻ và chỉ yêu cầu khó mới dùng mô hình đắt. Mức tiết kiệm phụ thuộc vào loại việc của bạn và việc router đánh giá độ khó chính xác đến đâu.