MaaS Çıkarım Sizer v0.27

Model bellek ihtiyacı

2) Model ve Hassasiyet

Modeli, ağırlık biçimini ve KV hassasiyetini seçin. Ağırlık belleğinde toplam parametreler; MoE hızında aktif parametreler kullanılır. Tam modelin bellek ihtiyacı ayrıca doğrulanır.

Dil Modeli / Checkpoint (40B+)

Toplam parametresi 40 milyarın üzerinde olan modeller listelenir. MoE aktif parametre sayısı daha düşük olabilir. Diğer modeller için Özel Model seçeneğini kullanabilirsiniz.

Model Türü

Çıkarım Ağırlık Kuantizasyonu

BF16/FP16, FP8/MXFP8, NVFP4/MXFP4, AWQ, GPTQ ve INT8. W = ağırlık biti; A = aktivasyon biti. Checkpoint ve kernel desteği eşleşmelidir.

KV Önbellek Kuantizasyonu

KV hassasiyeti, uzun bağlam ve yüksek eşzamanlılıkta bellek ihtiyacını önemli ölçüde değiştirir.

Toplam Parametre-

Aktif Parametre-

Katman / Gizli Boyut-

KV Mimari Faktörü-

Hassasiyet metadata'sı ve özel model değerleriGelişmiş

Ağırlık Kuantizasyon Metadata / Ölçek Ek Payı (%)

Ham bit genişliğine ek olarak ölçek, metadata ve paketleme maliyetini kapsar.

FP16 / BF16 Olarak Tutulan Ağırlıklar (%)

Percentage of backbone parameters retained in 16-bit; separate native lookup tables keep their own format. Ignored for BF16, FP16 and FP32. For MoE, placement changes the active compute mix.

MoE 16-bit Ağırlık Yerleşimi

Girilen 16-bit oranı için açık bir planlama varsayımıdır. Ortak ağırlıklara öncelik verilmesi aktif işlem ve uzman trafiğini değiştirir; checkpoint'in gerçek 16-bit oranını kendiliğinden belirlemez.

Yüklenmiş Mantıksal Ağırlık Boyutu (GB)

0 = parametre tahmini. Offload, DP kopyaları ve ek EP çoğaltmasından önceki tek tam ağırlık kümesidir; kuantizasyon metadata'sını içerir, KV/çalışma tamponlarını içermez.

Özel KV Mimarisi

Özel KV Head Sayısı

Özel Head Boyutu

Özel MLA Latent + RoPE Boyutu

Toplam Parametre (Milyar)

Aktif Parametre (Milyar)

Katman Sayısı

Gizli Boyut

KV Faktörü

Bağlam Sınırı

Altyapı envanteri

3) Donanım Topolojisi, HA ve Ağ

Model paralelliği yerleşiminden önce aktif node envanterini, GPU yoğunluğunu, ayrılmış yedek kapasiteyi ve yerel/node'lar arası ağı tanımlayın.

GPU / Hızlandırıcı Seçimi

Özel GPU ile VRAM, bellek bant genişliği ve göreli işlem gücü elle tanımlanabilir.

Aktif Node Sayısı

Aktif fiziksel sunucuları sayın; NVL72 için 72 GPU'lu tam rack sayısını girin. Soğuk yedekler ayrıdır.

Aktif Node Başına GPU / Hızlandırıcı

Node başına fiziksel GPU sayısıdır; havuza atanacak GPU adedini DP/TP/PP/EP belirler.

Scale-up Ağı (Node / NVLink Rack)

Hazır platformlar uyumlu scale-up ağını sabitler. NVL72'de her envanter birimi, 72 GPU'lu tam rack'tir.

Scale-out Ağı (Node'lar Arası)

Seçilen ağ, mevcut paralellik topolojisine göre kontrol ediliyor…

Yüksek erişilebilirlik

Yedek Node Politikası

Değişim için ayrılan kapasitedir; normal çalışma hızına eklenmez.

Eşzamanlı Aktif Node Arızası

Özel Yedek Node Sayısı

Yalnızca özel yedek adedi seçildiğinde kullanılabilir.

Aktif Hızlandırıcı Sayısı8

Aktif Fiziksel GPU Sayısı8

Aktif Node / Rack Yerleşimi1 × 8

Aktif Node veya Rack Başına Fiziksel GPU8

Yedek Node / Rack1

Toplam Tedarik Edilecek Node / Rack2

Tedarik Edilecek Hızlandırıcı Sayısı16

Tedarik Edilecek Fiziksel GPU Sayısı16

Scale-up Ağı-

Scale-out Ağı-

Özel hızlandırıcı değerleriGelişmiş

Hızlandırıcı Başına VRAM-

Bellek Bant Genişliği-

Toplam Kullanılabilir VRAM-

Etkin Ağ Verimi-

Yerleşim stratejisi

4) Paralellik Stratejisi

DP, TP, PP ve EP bağımsızdır. Yalnızca kurulumda kullanılacak yöntemleri etkinleştirin; sizer oluşan GPU denklemini ve ağ sınırlarını doğrular.

MaaS için TP/PP/EP genişliğini modelin belleğe sığması ve gecikme için gereken düzeyde tutun; kapasite varsa istek bazında yatay büyüme için DP kullanın.

0 yöntem etkin

Veri Paralelliği (DP)

İstek kapasitesini artıran bağımsız tam model kopyalarıdır.

Etkinleştir

DP Replika Sayısı

Kapalı: tek mantıksal replika kullanılır.

Tensor Paralelliği (TP)

Model/tensor işlemlerini düşük gecikmeli GPU grubu arasında böler.

Etkinleştir

TP Derecesi / Grup Boyutu

TP iletişimi yalnızca seçilen grup içinde hesaplanır.

Pipeline Paralelliği (PP)

Katmanları aşamalara böler; belleğe sığmayı kolaylaştırır ancak bekleme boşlukları oluşturabilir.

Etkinleştir

Pipeline Aşama Sayısı

Kapalı: tek pipeline aşaması.

Uzman Paralelliği (EP)

MoE uzmanlarını açık fiziksel eşleme ile GPU'lara dağıtır.

Etkinleştir

EP Derecesi / Uzman Grup Boyutu

EP Cihaz Eşlemesi

EP yalnızca MoE modellerinde kullanılabilir.

DP Replikaları-

TP Boyutu-

PP Boyutu-

EP Boyutu-

Replika Başına Birim-

Yapılandırılan / Mevcut Birim-

Replika Başına Fiziksel GPU-

Ağırlık Kopyaları-

Etkin Yöntemler-

Kullanılmayan Birimler-

EP Cihaz Grubu-

Replika VRAM Boşluğu-

Trafik profili

5) İstek Profili ve Zamanlayıcı

İstek kapsamını zamanlayıcı sınırlarından ayrı tanımlayın. En fazla aktif dizi sayısı DP replikası başına belirlenir; toplam aktif kapasite replika adediyle artar.

DP Replikası Başına En Fazla Aktif Dizi

Her DP replikasının kendi zamanlayıcısı vardır; bu sınır aktif dizi sayısını ve KV bellek talebini belirler.

Eşzamanlı İstek (Çalışan + Bekleyen)

Bağlı müşteri veya oturumları değil, aynı anda işlenen ya da bekleyen istekleri sayın. Örneğin 1.024 istek ve 64 aktif slot varsa 960 istek kuyruktadır.

En Fazla Dizi Uzunluğu

Bir isteğin toplam prompt + çıktı bağlam üst sınırıdır.

İstek Başına Ortalama Prompt Tokenı

İstek Başına Ortalama Çıktı Tokenı

Aktif Replika Başına En Fazla Batch Tokenı

Replika başına zamanlayıcı token bütçesidir; çıkarım motorlarındaki en fazla batch/zamanlanan token ayarına karşılık gelir.

Küme Aktif Kapasitesi-

Şu Anda Aktif-

Kuyrukta / Bekleyen-

Aktif Replikalar-

Çevrimiçi servis zamanlayıcısıZamanlayıcı

Sürekli / In-Flight Batching Etkin

Çevrimiçi MaaS servisleri için önerilir.

Parçalı Prefill Etkin

Uzun prompt işlemenin decode üzerindeki etkisini azaltır.

Önek / KV Yeniden Kullanımı EtkinYeniden Kullanılan Girdi Tokenı Oranı (%)

Bellek politikası

6) KV Önbelleği ve GPU Bellek Sınırları

Yerleşik KV kümesini, bağlam doluluğunu ve rezerv politikasını zamanlayıcı eşzamanlılığından ayrı tanımlayın. Bu ayarlar servis kapsamının aşırı tahliye veya bellek taşması olmadan GPU belleğinde kalıp kalamayacağını belirler.

KV Kabul Boyutlandırma Temeli

TP Grubunda KV Yerleşimi

Mantıksal KV Byte / Token / Replika Özel Değeri

0 = mimari formül. TP/EP çoğaltmasından öncedir; sabit recurrent state dahil değildir.

Dizi Başına Sabit Recurrent State (MB)

0 = hazır model tahmini. KV kuantizasyonundan bağımsızdır; Kimi K3 için KDA state dahildir.

KV Kuantizasyon / Blok Metadata Payı (%)

Aktif Dizilerin KV Yerleşiklik Oranı (%)

Normalde çalışan dizilerin %100'ü KV state gerektirir. Yalnızca ölçülen tahliye/swap/yeniden hesaplama davranışı destekliyorsa azaltın.

Ortalama KV Bağlam Doluluğu (%)

%100 temkinli varsayımdır; yalnızca ölçülmüş bağlam dağılımlarıyla azaltın.

KV Blok / Kabul Rezervi (%)

Parçalanma, tahliye ve öncelik değişimleri için boş tutulan KV kapasitesidir.

Etkin GPU Bellek Kullanım Oranı (%)

Açık güvenlik payından önce kullanılabilecek fiziksel VRAM oranıdır.

Fiziksel GPU Başına Runtime / CUDA Çalışma Rezervi (GB)

Kapasite Güvenlik Payı (%)

Üretim MaaS ortamında KV yerleşikliği, bağlam doluluğu ve rezerv değerlerini; KV kullanımı, preemption ve gerçek prompt/çıktı dağılımları gibi motor telemetrisiyle kalibre edin.

Kapasite politikası

7) Üretim Kapasitesi ve Kalibrasyon

Ham motor tahminine işletim payı, arıza/otomatik ölçekleme rezervi ve ölçülmüş performans değerlerini uygulayarak sunulabilir MaaS kapasitesini hesaplayın.

Üretim Kapasitesi Kullanım Hedefi (%)

Ham motor kapasitesinin %100'ünü satmak yerine kuyruk doygunluğunun altında planlama yapar.

Operasyonel / Otomatik Ölçekleme Kapasite Rezervi (%)

Arızalar, bakım, ani yük ve ölçekleme gecikmesi için ayrılan kapasitedir.

Tepe Trafik / Ani Yük Katsayısı

Tepe yük = Hedef RPS × Ani Yük Katsayısı.

Tahmini Runtime / İşlem Tavanı Verimi (%)

Yalnızca ölçülmüş token/s girilmediğinde kullanılan tahmin yoluna uygulanır.

İsteğe bağlı ölçüm kalibrasyonu Otomatik eşleştirme

Bu yapılandırmada yaptığınız yük testinin sonuçlarını girin. Her ölçüm mevcut model, donanım, hassasiyet, iş yükü ve tepe trafikle otomatik eşleştirilir. Yapılandırma değişince eşleşmeyen ölçümler devre dışı kalır; yeni yapılandırmayı ölçtükten sonra değeri yeniden girin. Sıfır, tahmini kullanır. Bu araç GPU benchmarkı çalıştırmaz.

Faz hızları, yapılandırılan batch'te ayrı prefill/decode testleridir. Kapasite, yük taramasından elde edilen sürdürülebilir havuz RPS değeridir. Uçtan uca p95 gecikme, ağ ve kuyruk dahil yapılandırılan tepe yükle eşleşmelidir.

Aktif Replika Başına Ölçülen Decode token/s (isteğe bağlı)

0 = tahmin. Üretimdeki model, hassasiyet, batch ve topolojiyle aynı koşulları kullanın.

Aktif Replika Başına Ölçülen Prefill token/s (isteğe bağlı)

0 = tahmin. Fiyatlandırma veya SLA taahhüdü için benchmark sonucu girin.

Fiziksel GPU Başına Etkin Dense TFLOP/s

0 = varsa dense donanım tavanı, yoksa genel işlem endeksi. Sıfırdan büyük değer, bu iş yükünde GPU başına elde edilen işlem hızıdır; ikinci kuantizasyon indirimi uygulanmaz.

Ölçülen Sürdürülebilir Uçtan Uca Havuz Kapasitesi (RPS)

Ölçülen Uçtan Uca p95 TTFT (ms)

Ölçülen p95 TPOT (ms/token)

Bellek taşması stratejisi

8) CPU / RAM / NVMe Offload

Offload, kapasite karşılığında performans maliyeti getirir. Modelin belleğe sığmasını sağlayabilir ancak genellikle gecikmeyi artırır ve sürdürülebilir hızı azaltır.

Offload etkin

Özet Sonuçlar

Son güncelleme: bekleniyor

Yapılandırma ve Servis HedefleriHesaplama bekleniyor.

Kullanılan Toplam VRAM

Token Üretim Hızı

aktif dizi başına tahmini decode token/s

İlk Token Süresi

temel/prefill + kuyruk tahmini

Decode Fazı Hızı

yalnızca decode tavanı; prefill GPU süresini paylaşır

TPOT / ITL

üretilen token başına tahmini ms

Planlanan Üretim İstek Kapasitesi

ham kapasite × işletim kullanımı × (1 − operasyonel rezerv)

Ham Motor İstek Kapasitesi

seçilen eşzamanlı isteklerde, üretim rezervinden önce

Tepe Hedef RPS

hedef RPS × ani yük katsayısı

Kuyruk Bekleme Tahmini

ortalama toplu geliş / M/M/c vekili; p95 değildir

Hedef RPS Yükü

tepe hedef RPS / planlanan üretim kapasitesi

MaaS SLO Durumu

Karma İş Yükü Çıktı Bütçesi

—

planlanan RPS × ortalama çıktı tokenı

Node / Rack Kaybı Sonrası Kapasite

—

Ayakta Kalan Tam Replikalar

—

gösterilen yerleşimin en kötü durumu; soğuk yedekler hariç

Offload Host Belleği Alt Sınırı

—

havuz toplamı; işletim sistemi, runtime, yükleme ve NUMA payı ekleyin

VRAM Dağılımı-

Gerekli Paralel Birim-

VRAM Boşluğu-

En Fazla KV-Yerleşik Dizi-

Offload Hız Çarpanı-

Paralellik Topoloji Şeması

Node / GPU yerleşimi

Aktif Node / Rack-

Yedek Node / Rack-

Toplam Tedarik Edilecek Node / Rack-

Node / Rack Başına Birim-

Node / Rack Başına Fiziksel GPU-

Replika Yerleşimi-

Aşama Genişliği-

Pipeline Aşamaları-

DP Replikaları-

Kullanılmayan Aktif Birimler-

Scale-up Ağı-

Scale-out Ağı-

Hesaplama bekleniyor.

Boyutlandırma Önerileri ve Uyarılar

Hesaplama bekleniyor

Replika Başına Batch Adayı (Bellek)-

DP Adayı / Belleğe Sığan En Fazla DP-

Eşzamanlılık / Küme Aktif Kapasitesi-

Replikanın Belleğe Sığması-

Aktif Replika Başına Batch-

Aktif DP Replikaları-

DP Kullanımı-

Zamanlama Turları-

İstek Kapasitesi-

Hedef RPS Yükü-

TTFT / Hedef-

TPOT / Hedef-

Kuyruk Bekleme / Bütçe-

Batch ve DP adayları keşif amaçlıdır; birlikte SLO garantisi vermez. Optimizasyon önizlemesi önerilen birleşimi yeniden hesaplar ve servis sonucunu gösterir.

Öneriler; model/GPU topolojisi, bağımsız DP/TP/PP/EP yöntemleri, zamanlayıcı sınırları, prompt/çıktı dağılımları, eşzamanlılık, KV doluluğu, SLA hedefleri, bellek boşluğu ve ağa dayanan dinamik MaaS planlama tahminleridir. Üretim hedeflerini motora özgü benchmark ve gerçek trafik kayıtlarıyla doğrulayın.

Grafik: Bellek Bileşenleri

Grafik; Model Ağırlıkları, Aktivasyonlar, KV Önbelleği, Framework Ek Belleği, Çoklu GPU Ek Belleği ve Güvenlik Payını gösterir.

MaaS Çıkarım Sizer v0.27 · GPU, KV ve Servis Kapasitesi

1) MaaS Servisi ve Optimizasyon

2) Model ve Hassasiyet

3) Donanım Topolojisi, HA ve Ağ

4) Paralellik Stratejisi

5) İstek Profili ve Zamanlayıcı

6) KV Önbelleği ve GPU Bellek Sınırları

7) Üretim Kapasitesi ve Kalibrasyon

8) CPU / RAM / NVMe Offload

Özet Sonuçlar

Paralellik Topoloji Şeması

Boyutlandırma Önerileri ve Uyarılar

Grafik: Bellek Bileşenleri

Ayrıntılı Hesaplama Tablosu