Multi-GPU

ความจุสำหรับโมเดล

เมื่อโมเดลใหญ่เกิน VRAM การ์ดเดียว runtime อาจแบ่งน้ำหนักไปหลาย GPU ได้ แต่ส่วนที่ข้ามการ์ดยังต้องสื่อสารกัน ความจุที่ใช้งานได้จึงขึ้นกับวิธีแบ่งโมเดลและ context ไม่ใช่แค่ผลรวมบนกล่องสินค้า

Concurrency และ throughput

GPU หลายตัวช่วยแยกโมเดล, replica หรือคำขอพร้อมกันได้ เหมาะเมื่อทีมต้องใช้ระบบจริงหลายคน แต่ GPU เพิ่มไม่ได้ทำให้คำขอเดียวเร็วขึ้นตามจำนวนการ์ดโดยอัตโนมัติ

ไฟ, ความร้อน และพื้นที่

การ์ดเพิ่มหมายถึงโหลดไฟ, การระบายความร้อน, ขนาดเคส และเสียงที่ต้องวางแผนก่อนติดตั้ง เราจึงตรวจพื้นที่และการใช้งานจริงร่วมกับสเปก ไม่เสนอจำนวน GPU จากชื่อโมเดลเพียงอย่างเดียว

ใช้ คำนวณโมเดล เพื่อดูน้ำหนักและ KV cache ก่อน แล้วจึงเทียบกับ RTX 5090 และ DGX Spark หากเครื่องเดียวพอ มักเป็นจุดเริ่มที่ดูแลง่ายกว่า หากไม่พอ เราจะออกแบบทางเลือก multi-GPU จากรูปแบบใช้งานจริง