Fine-Tuning

Một foundation model học kiến thức chung từ lượng dữ liệu khổng lồ. Fine-tuning điều chỉnh nó cho một việc hẹp hơn bằng hàng trăm hoặc hàng nghìn cặp ví dụ gồm đầu vào và đầu ra mong muốn. Sau khi huấn luyện, mô hình mặc định tạo ra kiểu đầu ra đó với prompt ngắn hơn.

Fine-tuning hoạt động thế nào?

• Thu thập ví dụ: các cặp đầu vào và đầu ra lý tưởng, ví dụ thông số sản phẩm và đoạn mô tả mà thương hiệu của bạn sẽ viết.
• Làm sạch và kiểm tra: mô hình sẽ bắt chước mọi khuôn mẫu trong ví dụ, kể cả lỗi.
• Huấn luyện: nhà cung cấp hoặc team của bạn chạy huấn luyện bổ sung trên mô hình gốc.
• Đánh giá: so mô hình đã tinh chỉnh với mô hình gốc dùng prompt tốt, trên những ví dụ nó chưa từng thấy.

Fine-tuning, RAG và prompt engineering khác nhau thế nào?

Ba cách này giải quyết ba vấn đề khác nhau. Prompt engineering thay đổi hướng dẫn và là nơi rẻ nhất để bắt đầu. RAG cho mô hình truy cập kiến thức nó chưa có, như dữ liệu sản phẩm mới nhất, bằng cách lấy thông tin vào lúc được hỏi. Fine-tuning thay đổi cách mô hình hành xử: giọng văn, định dạng hoặc kỹ năng ở một việc hẹp. Quy tắc đơn giản: dùng RAG khi mô hình thiếu dữ kiện, dùng fine-tuning khi mô hình thiếu một hành vi ổn định mà prompt không sửa được.

Khi nào fine-tuning đáng làm?

• Bạn chạy cùng một việc hẹp với khối lượng lớn và muốn prompt ngắn hơn, chi phí mỗi lần gọi thấp hơn.
• Bạn cần định dạng hoặc giọng văn thương hiệu thật đồng nhất mà prompt không giữ được.
• Bạn có đủ ví dụ tốt và có cách đo xem kết quả có thật sự tốt hơn không.

Thường không đáng làm với các dữ kiện hay thay đổi, vì huấn luyện lại mỗi lần vừa chậm vừa tốn kém, hoặc khi một mô hình gốc mạnh hơn cùng một prompt viết tốt đã làm được việc.