Chạy mô hình AI lập trình trên máy cá nhân là tải một mô hình mã nguồn mở về, chạy bằng phần mềm chuyên dụng, rồi nối trình soạn thảo hoặc tác tử vào đó qua một địa chỉ trên chính máy bạn. Mã không rời khỏi máy, không cần mạng, không tính phí theo lượt. Đổi lại, bạn cần máy đủ bộ nhớ, chấp nhận mô hình nhỏ hơn mô hình lớn trên mây và tự lo phần cài đặt, cập nhật.
Bài này dành cho người cân nhắc chạy cục bộ vì quy định dữ liệu của dự án, vì hay làm việc ở nơi mạng chập chờn, hoặc đơn giản muốn hiểu và tự chủ công cụ của mình. Các con số về bộ nhớ trong bài là ước lượng theo nguyên tắc chung để bạn định hướng; mức thật phụ thuộc mô hình, phần mềm và độ dài ngữ cảnh, nên hãy đối chiếu với trang của mô hình và phần mềm bạn chọn.
Khi nào chạy cục bộ là lựa chọn hợp lý
Dự án không được đưa mã ra ngoài. Một số hợp đồng gia công, dự án nội bộ có dữ liệu nhạy cảm hay quy định của công ty không cho gửi mã nguồn tới máy chủ bên thứ ba. Khi công ty chưa có công cụ doanh nghiệp được duyệt, mô hình chạy cục bộ là cách để vẫn có trợ giúp mà không vi phạm. Dù vậy, hãy hỏi người phụ trách trước, vì một số nơi cấm cả phần mềm tải về chưa qua kiểm duyệt.
Làm việc ở nơi mạng không ổn định. Đi công tác, làm ở công trường, ở vùng sóng yếu hay trên chuyến bay dài, công cụ trên mây sẽ chập chờn. Mô hình cục bộ chạy được hoàn toàn không cần mạng.
Muốn tự chủ và tìm hiểu. Chạy cục bộ giúp bạn hiểu rõ ngữ cảnh, độ dài, tốc độ sinh chữ và giới hạn của mô hình, những thứ bị che đi khi dùng dịch vụ. Với sinh viên ngành khoa học máy tính, đây là bài thực hành tốt.
Không hợp khi cần chất lượng cao nhất. Với việc dài nhiều bước, hiểu dự án lớn hay suy luận phức tạp, mô hình vừa với máy cá nhân thường kém rõ so với mô hình lớn trên mây. Nếu công việc chủ yếu là loại này và dữ liệu không bị ràng buộc, chạy cục bộ có thể làm bạn chậm hơn.
Ước lượng bộ nhớ theo cỡ mô hình
Nguyên tắc thô: bộ nhớ cần cho phần trọng số xấp xỉ số tham số nhân với số bit mỗi tham số chia cho tám, rồi cộng thêm phần cho ngữ cảnh và phần mềm. Với bản lượng tử hoá bốn bit phổ biến, ước lượng như sau:
| Cỡ mô hình | Bộ nhớ cho trọng số (bốn bit, ước lượng) | Loại máy thường chạy được | Hợp với việc |
|---|---|---|---|
| Khoảng 1 đến 3 tỷ tham số | Khoảng 1 đến 2 GB | Máy văn phòng, kể cả không có card đồ hoạ rời | Gợi ý ngắn trong dòng, hoàn thành tên |
| Khoảng 7 đến 8 tỷ | Khoảng 4 đến 5 GB | Card đồ hoạ 8 GB, hoặc máy bộ nhớ hợp nhất 16 GB | Gợi ý dòng, giải thích đoạn mã ngắn |
| Khoảng 14 tỷ | Khoảng 8 đến 9 GB | Card đồ hoạ 12 đến 16 GB, hoặc bộ nhớ hợp nhất 32 GB | Chat về mã, viết hàm vừa |
| Khoảng 30 tỷ trở lên | Từ khoảng 17 GB trở lên | Card đồ hoạ 24 GB, hoặc máy bộ nhớ hợp nhất lớn | Chat sâu hơn, việc nhiều bước đơn giản |
Ngữ cảnh càng dài thì càng cần thêm bộ nhớ, có khi vài GB cho ngữ cảnh rất dài. Chạy bằng bộ xử lý trung tâm thay vì card đồ hoạ vẫn được nhưng chậm hơn nhiều, phù hợp để thử chứ khó dùng hằng ngày cho gợi ý nội tuyến vốn cần phản hồi nhanh.
Chọn mô hình hợp với việc viết mã
Ưu tiên dòng mô hình được huấn luyện thêm cho mã. Nhiều nhà phát hành có bản chuyên về mã, thường có chữ code hoặc coder trong tên. Ở cùng cỡ, bản chuyên về mã thường viết đúng cú pháp hơn và biết nhiều thư viện hơn bản đa dụng. Đọc phần mô tả để biết mô hình được huấn luyện với những ngôn ngữ nào.
Gợi ý nội tuyến cần khả năng điền vào giữa. Khi bạn gõ giữa một hàm, công cụ gửi cả phần trước và phần sau con trỏ để mô hình điền vào khoảng trống. Không phải mô hình nào cũng được huấn luyện cho kiểu này. Trang mô hình thường ghi rõ có hỗ trợ điền vào giữa hay không; nếu không, mô hình chỉ hợp để chat.
Phân biệt bản gốc và bản đã tinh chỉnh để trò chuyện. Bản tinh chỉnh để trò chuyện hợp với khung chat, nghe lời yêu cầu tốt hơn. Bản gốc đôi khi được khuyên dùng cho gợi ý nội tuyến. Đọc hướng dẫn của tiện ích bạn dùng để biết nên chọn bản nào cho từng chức năng.
Thử với ngôn ngữ của chính bạn. Một mô hình chạy tốt với Python chưa chắc tốt với PHP hay Dart. Dành một buổi thử năm việc quen thuộc trong dự án của bạn với hai ba mô hình cùng cỡ, ghi lại mô hình nào sai ít nhất.
Lượng tử hoá và định dạng tệp mô hình
Mô hình gốc thường lưu mỗi tham số bằng mười sáu bit. Lượng tử hoá là nén xuống tám, năm, bốn bit hoặc thấp hơn để vừa bộ nhớ và chạy nhanh hơn, đổi lại chất lượng giảm đi một chút. Bản bốn bit được dùng nhiều vì cân bằng tốt giữa dung lượng và chất lượng; xuống thấp hơn nữa thì mô hình bắt đầu sai cú pháp và quên ngữ cảnh rõ rệt, nhất là với mã nguồn vốn đòi hỏi chính xác từng ký tự.
Về định dạng, phần mềm chạy cục bộ phổ biến hiện nay thường dùng định dạng GGUF cho mô hình đã lượng tử hoá, còn các thư viện học máy hay dùng định dạng safetensors. Cả hai chỉ chứa dữ liệu trọng số. Nên tránh tệp mô hình kiểu cũ lưu bằng cơ chế tuần tự hoá của Python từ nguồn không rõ, vì loại tệp này có thể chứa mã chạy khi được nạp.
Khi chọn bản tải về, đọc kỹ trang mô hình: bản gốc do ai phát hành, bản lượng tử hoá do ai làm, đã có nhiều người dùng chưa. Ưu tiên tải từ trang của nhà phát hành hoặc từ kho mô hình lớn có thông tin rõ ràng, tránh tệp chia sẻ qua đường dẫn lạ.
Cài và nối vào trình soạn thảo
Các bước dưới đây mô tả theo nguyên lý chung, áp dụng được cho các phần mềm chạy mô hình phổ biến như Ollama, LM Studio hay llama.cpp. Lệnh và menu cụ thể bạn tra trong tài liệu của phần mềm đã chọn.
- Cài phần mềm chạy mô hình từ trang chính thức, đúng bản cho hệ điều hành và loại card đồ hoạ của máy.
- Tải một mô hình chuyên về mã ở cỡ vừa với bộ nhớ theo bảng ở trên, chọn bản lượng tử hoá bốn hoặc năm bit để bắt đầu.
- Chạy thử trong cửa sổ trò chuyện của phần mềm: nhờ viết một hàm Python ngắn đọc tệp CSV và đếm số dòng, xem tốc độ và chất lượng.
- Bật chế độ máy chủ của phần mềm. Phần lớn phần mềm mở một địa chỉ trên chính máy, nhiều phần mềm có giao diện tương thích với kiểu gọi API phổ biến để công cụ khác nối vào dễ dàng.
- Trong trình soạn thảo, cài một tiện ích cho phép khai báo máy chủ mô hình tự chọn, điền địa chỉ trên máy và tên mô hình. Một số tác tử dòng lệnh cũng cho khai báo tương tự.
- Thử gợi ý nội tuyến và chat, rồi điều chỉnh độ dài ngữ cảnh cho vừa bộ nhớ nếu thấy chậm hoặc lỗi thiếu bộ nhớ.
Có thể dùng hai mô hình: một mô hình nhỏ, nhanh cho gợi ý nội tuyến và một mô hình lớn hơn cho chat. Gợi ý nội tuyến cần phản hồi gần như tức thì, còn chat thì bạn chờ được vài giây.
Giấy phép mô hình và an toàn khi chạy máy chủ cục bộ
Chạy trên máy mình không có nghĩa là không có gì phải để ý. Bốn điểm cần kiểm trước khi dùng cho dự án thật:
- Giấy phép trọng số: "mở" không có nghĩa là dùng thế nào cũng được. Một số mô hình chỉ cho phép dùng phi thương mại hoặc có điều kiện riêng với tổ chức lớn. Đọc giấy phép trên trang mô hình trước khi dùng cho dự án có thu tiền.
- Địa chỉ máy chủ: giữ máy chủ mô hình chỉ nghe trên địa chỉ nội bộ của chính máy. Nếu mở ra mạng chung để đồng nghiệp dùng, cần có xác thực và tường lửa; đã có nhiều máy chủ mô hình mở công khai trên Internet mà chủ không biết.
- Nguồn tải: chỉ tải phần mềm và mô hình từ nguồn chính thức hoặc kho có uy tín, kiểm tên nhà phát hành.
- Cập nhật: phần mềm chạy mô hình cũng có lỗ hổng như mọi phần mềm khác; bật cập nhật hoặc định kỳ kiểm bản mới.
Mô hình cục bộ cũng bịa tên hàm và viết mã sai như mô hình trên mây, thậm chí thường xuyên hơn vì nhỏ hơn. Mã nó sinh ra vẫn phải được đọc, chạy thử và có kiểm thử trước khi đưa vào dự án.
Kỳ vọng thực tế sau một tuần dùng
Sau tuần đầu, phần lớn người chạy cục bộ rút ra cùng một nhận xét: gợi ý ngắn khá ổn, chat về khái niệm và đoạn mã nhỏ dùng được, còn việc lớn như sửa nhiều tệp hay hiểu cả dự án thì hụt. Đây không phải lỗi cài đặt mà là giới hạn của mô hình vừa với máy cá nhân.
Cách tận dụng tốt nhất là giao cho mô hình cục bộ những việc nhỏ, có ngữ cảnh gọn: hoàn thành dòng, viết hàm tiện ích, giải thích một đoạn mã, viết câu truy vấn từ mô tả bảng. Với việc lớn mà dữ liệu cho phép, dùng công cụ trên mây; với việc lớn mà dữ liệu không cho phép, chia nhỏ việc ra và tự làm phần ghép nối.
Ví dụ giả định: một nhóm nhỏ làm phần mềm kế toán cho khách doanh nghiệp, hợp đồng cấm gửi mã ra ngoài. Nhóm đặt một máy có card đồ hoạ 24 GB trong văn phòng, chạy mô hình cỡ vừa, chỉ mở trong mạng nội bộ có xác thực, dùng cho gợi ý và giải thích mã. Họ chấp nhận chậm hơn công cụ trên mây, đổi lại không phải lo chuyện điều khoản dữ liệu.
Câu hỏi thường gặp
Máy văn phòng không có card đồ hoạ rời có chạy được mô hình AI lập trình không?
Chạy được mô hình nhỏ cỡ một đến ba tỷ tham số bằng bộ xử lý trung tâm, đủ để thử và để gợi ý rất ngắn. Tốc độ thường chậm cho gợi ý nội tuyến hằng ngày. Muốn dùng thoải mái, cần card đồ hoạ có bộ nhớ riêng hoặc máy có bộ nhớ hợp nhất lớn.
Lượng tử hoá bốn bit có làm mô hình viết mã kém đi nhiều không?
Có giảm nhưng thường chấp nhận được, nên bản bốn bit được dùng phổ biến. Xuống thấp hơn bốn bit thì chất lượng giảm rõ, mô hình hay sai cú pháp và quên ngữ cảnh. Nếu máy dư bộ nhớ, thử bản năm hoặc sáu bit để so.
Mô hình chạy trên máy có hoàn toàn an toàn về dữ liệu không?
Mã không bị gửi tới máy chủ bên ngoài nếu bạn chỉ dùng mô hình cục bộ, nhưng vẫn cần giữ máy chủ mô hình chỉ nghe trên máy, tải phần mềm và mô hình từ nguồn chính thức và cập nhật thường xuyên. Tiện ích trình soạn thảo cũng phải được cấu hình để không gọi dịch vụ ngoài.
Mô hình mã nguồn mở có được dùng cho dự án thương mại không?
Tuỳ giấy phép của từng mô hình. Một số cho phép dùng thương mại tự do, một số chỉ cho phép phi thương mại hoặc có điều kiện. Đọc giấy phép trên trang mô hình trước khi dùng cho dự án có thu tiền, và hỏi người phụ trách pháp lý nếu điều khoản không rõ.
Có nên dùng chung một máy chủ mô hình cho cả nhóm không?
Được, và thường tiết kiệm hơn mỗi người một máy mạnh. Cần đặt máy chủ trong mạng nội bộ, có xác thực, có tường lửa, và theo dõi tải khi nhiều người dùng cùng lúc. Không mở máy chủ ra Internet công cộng.
Mô hình chạy trên máy có cần cập nhật không?
Phần mềm chạy mô hình nên được cập nhật thường xuyên vì có thể có lỗ hổng và cải tiến tốc độ. Bản thân mô hình không tự cập nhật; khi nhà phát hành ra bản mới tốt hơn, bạn tải về và thử lại trên việc thật trước khi thay hẳn.