LlamaFactory: tinh chỉnh 100+ LLM và VLM trong một repo

Một repo cho gần như mọi nhu cầu fine-tune

Nếu từng phải viết script riêng cho từng mô hình, từng phương pháp (LoRA, QLoRA, DPO, PPO...), bạn sẽ thấy sức hút của LlamaFactory: một dự án Python gom toàn bộ quy trình tinh chỉnh mô hình lớn vào một chỗ, có cả CLI lẫn giao diện web. Tính đến ngày 29/10/2026, repo đạt 75.765 sao và 9.307 fork, trung bình khoảng 61 sao/ngày tính từ lúc tạo repo (con số này là số sao chia cho tuổi repo 1.250 ngày, không phản ánh tốc độ tăng gần đây). Dự án phát hành theo giấy phép Apache-2.0 và gắn với bài báo khoa học tại ACL 2024.

Điểm đáng chú ý không nằm ở việc "fine-tune được nhiều mô hình" — nhiều thư viện làm được điều đó — mà ở độ phủ: LlamaFactory hỗ trợ cả mô hình ngôn ngữ thuần văn bản lẫn mô hình đa phương thức (VLM), nhiều kiểu huấn luyện khác nhau, nhiều kỹ thuật tiết kiệm bộ nhớ, và nhiều backend suy luận. Với người làm kỹ thuật, đây là dạng công cụ "một lần học, dùng cho nhiều dự án".

Có gì trong LlamaFactory

Theo README của repo, LlamaFactory bao phủ những nhóm tính năng chính sau:

Mô hình: LLaMA, LLaVA, Mistral, Mixtral-MoE, Qwen3, Qwen3-VL, DeepSeek, Gemma, GLM, Phi... README ghi hỗ trợ hơn 100 mô hình lớn (LLM) và mô hình đa phương thức (VLM).

Phương pháp huấn luyện: pre-training (liên tục), supervised fine-tuning (kể cả đa phương thức), reward modeling, PPO, DPO, KTO, ORPO.

Mức tiết kiệm tài nguyên: full-tuning 16-bit, freeze-tuning, LoRA, và QLoRA 2/3/4/5/6/8-bit thông qua AQLM, AWQ, GPTQ, LLM.int8, HQQ, EETQ.

Thuật toán tối ưu nâng cao: GaLore, BAdam, APOLLO, Adam-mini, Muon, OFT, DoRA, LongLoRA, LLaMA Pro, Mixture-of-Depths, LoRA+, LoftQ, PiSSA. Đây là những kỹ thuật giúp giảm bộ nhớ hoặc tăng chất lượng khi huấn luyện trên GPU phổ thông.

Mẹo tăng tốc: FlashAttention-2, Unsloth, Liger Kernel, KTransformers, RoPE scaling, NEFTune, rsLoRA.

Loại tác vụ: hội thoại nhiều lượt, tool using (gọi công cụ), hiểu hình ảnh, visual grounding, nhận dạng video, hiểu âm thanh.

Theo dõi thí nghiệm: LlamaBoard, TensorBoard, Wandb, MLflow, SwanLab.

Suy luận: API kiểu OpenAI, giao diện Gradio và CLI, chạy qua vLLM worker hoặc SGLang worker.

Một chi tiết đáng chú ý là bảng "Day-N Support" trong README: LlamaFactory tuyên bố hỗ trợ ngay trong ngày phát hành (Day 0) với Qwen3, Qwen2.5-VL, Gemma 3, GLM-4.1V, InternLM 3, MiniCPM-o-2.6, và Day 1 với Llama 3, GLM-4, Mistral Small, PaliGemma2, Llama 4. Với người thường xuyên thử mô hình mới, khoảng cách từ "mô hình ra mắt" đến "fine-tune được" gần như bằng không là lợi thế lớn.

README cũng dẫn chứng việc LlamaFactory được dùng bởi Amazon (trên Amazon SageMaker HyperPod), NVIDIA (trên build.nvidia.com/spark), Aliyun (PAI) — tức không chỉ là dự án cá nhân mà đã có mặt trong tài liệu của các nền tảng cloud lớn.

Vì sao đáng quan tâm với lập trình viên Việt Nam

Thực tế ở Việt Nam, phần lớn đội kỹ thuật không có cụm GPU lớn. Bài toán thường gặp là: có một mô hình mở 7B–14B, muốn tinh chỉnh để hiểu tiếng Việt, hiểu miền nghiệp vụ (ngân hàng, y tế, pháp lý, thương mại điện tử), hoặc dạy mô hình gọi công cụ theo schema riêng. Với LlamaFactory, ba rào cản thường gặp được xử lý gọn hơn:

1. Thiếu bộ nhớ GPU: QLoRA 4-bit kết hợp GaLore/BAdam/Adam-mini cho phép thử nghiệm trên GPU tiêu dùng hoặc GPU thuê theo giờ. Bạn không cần viết lại vòng huấn luyện để đổi thuật toán — chỉ đổi tham số cấu hình.
2. Nhiều mô hình, nhiều định dạng dữ liệu: LlamaFactory có sẵn định dạng dataset và nhiều bộ dữ liệu mẫu. Khi chuyển từ Qwen sang Llama hay Gemma, cấu hình thay đổi ít hơn nhiều so với tự viết pipeline riêng.
3. Thử nhanh trước khi đầu tư: có sẵn notebook Colab miễn phí, template trên PAI-DSW, AMD GPU Cloud và Novita. Với nhóm chưa có hạ tầng, đây là cách kiểm chứng ý tưởng trước khi xin ngân sách.

Với các nhóm làm sản phẩm AI tiếng Việt, điểm hấp dẫn là khả năng kết hợp: fine-tune bằng LoRA trên dữ liệu nội bộ, đánh giá bằng LlamaBoard, rồi deploy qua API kiểu OpenAI với vLLM/SGLang. Toàn bộ vòng lặp nằm trong một hệ sinh thái, giảm công sức tích hợp.

Còn với người làm nghiên cứu hoặc kỹ sư muốn so sánh thuật toán (ví dụ DPO so với ORPO, hay LoRA so với DoRA), LlamaFactory tiết kiệm đáng kể thời gian dựng thí nghiệm — vốn là phần "không ai khen nhưng ai cũng phải làm".

Ai nên dùng

• Kỹ sư ML/LLM engineer cần pipeline fine-tune ổn định, ít phải bảo trì script tự viết.
• Nhóm ứng dụng AI trong doanh nghiệp muốn tinh chỉnh mô hình mở trên dữ liệu nội bộ với chi phí GPU hợp lý.
• Sinh viên, người tự học muốn chạm vào fine-tune mà không cần dựng hạ tầng từ đầu — notebook Colab là điểm khởi đầu nhẹ nhàng.
• Nhóm nghiên cứu cần so sánh nhiều phương pháp huấn luyện trên cùng một khung.

Những người chỉ cần gọi API mô hình thương mại, hoặc chỉ suy luận mà không huấn luyện, sẽ không cần LlamaFactory — công cụ này tối ưu cho phần huấn luyện/tinh chỉnh.

Cách thử nhanh

Cách gọn nhất là dùng bản phát hành trên PyPI. Theo README, các bước cơ bản gồm cài đặt, chuẩn bị dữ liệu, rồi chạy CLI hoặc mở giao diện web LLaMA Board (Gradio). Khung lệnh điển hình:

# Cài đặt từ PyPI
pip install llamafactory

# Kiểm tra CLI
llamafactory-cli version

# Mở giao diện web (LLaMA Board)
llamafactory-cli webui

Với huấn luyện bằng file cấu hình YAML:

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

Nếu chưa có GPU, có thể mở notebook Colab miễn phí mà repo dẫn link, hoặc dùng template trên PAI-DSW/AMD GPU Cloud. Với môi trường container, repo có sẵn Docker image hiyouga/llamafactory trên Docker Hub.

Lưu ý: các lệnh trên phản ánh cấu trúc chung mà README mô tả; tên file cấu hình cụ thể nên đối chiếu với thư mục examples/ trong repo ở phiên bản bạn cài, vì cấu trúc có thể thay đổi giữa các bản phát hành.

Lưu ý và hạn chế

• Tài liệu còn đang hoàn thiện: README ghi rõ "Documentation (WIP)" cho trang readthedocs. Một số tính năng mới có thể chỉ được mô tả trong blog hoặc issue, chưa vào tài liệu chính thức.
• Rất nhiều tùy chọn: độ phủ tính năng lớn đồng nghĩa nhiều tham số và nhiều tổ hợp. Người mới dễ bị ngợp; nên bắt đầu từ ví dụ có sẵn thay vì tự dựng cấu hình từ đầu.
• Số sao không phải thước đo chất lượng: con số 75.765 sao tính đến 29/10/2026 ấn tượng, nhưng như đã nêu, mức ~61 sao/ngày là trung bình cộng dồn từ khi tạo repo, không phải tốc độ tăng hiện tại.
• Phụ thuộc hệ sinh thái bên ngoài: nhiều tính năng dựa trên dự án khác (FlashAttention-2, Unsloth, vLLM, SGLang, các thư viện quantization). Phiên bản các thư viện này có thể ảnh hưởng tới việc cài đặt và chạy.
• README có nội dung quảng bá: repo giới thiệu một dự án mã nguồn mở khác của cùng nhóm phát triển (PenguinHarness) và có mục sponsors (Warp, SerpAPI). Đây là thông tin nên cân nhắc khi đọc các đánh giá trong README.
• Cảnh báo website giả: README nêu rõ ngoài các link chính thức, mọi website khác là bên thứ ba không được ủy quyền — cần cẩn trọng khi tải package hoặc làm theo hướng dẫn từ nguồn lạ.

Kết

LlamaFactory không phải công cụ duy nhất để fine-tune LLM, nhưng nó đang là một trong những lựa chọn có độ phủ rộng nhất cho người dùng Python: từ mô hình văn bản đến đa phương thức, từ LoRA nhẹ đến full-tuning, từ CLI đến Web UI, từ máy cá nhân đến cloud. Với đội kỹ thuật ở Việt Nam đang tìm cách đưa mô hình mở vào bài toán thực tế mà ngân sách GPU còn hạn chế, đây là điểm khởi đầu đáng thử — nhất là khi giấy phép Apache-2.0 cho phép dùng trong sản phẩm thương mại.

Nguồn: GitHub – hiyouga/LlamaFactory