
AI cho lập trình viên11 phút đọc
Chạy GLM-5.3 753 tỷ tham số trên hai DGX Station với vLLM
NVIDIA hướng dẫn chạy GLM-5.3 753 tỷ tham số trên hai DGX Station bằng vLLM với tensor parallelism TP=2, đạt 607,8 tok/s và toàn bộ trọng số nằm trong GPU.
Thẻ

AI cho lập trình viên11 phút đọc
NVIDIA hướng dẫn chạy GLM-5.3 753 tỷ tham số trên hai DGX Station bằng vLLM với tensor parallelism TP=2, đạt 607,8 tok/s và toàn bộ trọng số nằm trong GPU.