#streaming

Giảm chi phí và độ trễ khi gọi API AI: token, chọn mô hình, lưu đệm, streaming

Cách ước tính và kéo giảm chi phí gọi API mô hình ngôn ngữ: đếm token vào ra, chọn mô hình theo việc, lưu đệm, trả về dần, rút gọn đầu vào và chạy nền.