Birincil ortak kullanılabilir
9,4 TBBirincil ham kapasite 11,75 TBDepolama boyutlandırma özeti
Planlama tahminiHesaplama duraklatıldı — bu girdileri düzeltin.
İş başına eğitim GPU sayısı, en az bir tam DP replikası oluşturacak şekilde model paralelliği grubuna tam bölünmelidir.
İş başına eğitim GPU sayısı, en az bir tam DP replikası oluşturacak şekilde model paralelliği grubuna tam bölünmelidir.
Tüm sahalar ortak ham kapasite
19,63 TBKullanılabilir 15,7 TB · yerel NVMe hariçBirincil okuma / yazma
16,84 GB/s / 1,11 GB/sEşzamanlı toplam 17,96 GB/sYerel NVMe / düğüm
3,86 TB30,84 TB toplam / 8 düğümServis yerleşimi
8GPU / replika
8servis replikası
2eşzamanlı yükleme
0atanmamış GPU
Yerleşik ağırlıklar 1,51 TB / replika · 1 düğüm / replika · 0 GPU, HA için ayrıldı. RPS ve TTFT için motor ölçümü gerekir.
En Uygun Boyutlandırma Profili
Mevcut senaryo için önerilenMaaS Büyük Model / MoE
Model 1.542,24 GB; 8 GPU/replika; 8 replika / 8 aktif düğüm. Seçilen ortak protokol: NFS / yatay ölçeklenen dosya sistemi. Girilen varsayımlar altında uygulanabilirlik hatası yok. Girdi geçerliliği ve uygulanabilirlik hataları planlama önerisinden önce değerlendirilir. Bilinmeyen ölçümler doğrulanmış sayılmaz.
Büyük dosya parçaları, düğüme uygun dağıtım dalgası ve yerel model depolaması. Ağırlık hassasiyeti değişmez. Manuel ortak protokol: NFS / yatay ölçeklenen dosya sistemi (korunur).
| Boyutlandırma sonucu | Mevcut | Uygulama sonrası |
|---|---|---|
| Ortak protokol | NFS / yatay ölçeklenen dosya sistemi | NFS / yatay ölçeklenen dosya sistemi |
| Birincil ortak kullanılabilir | 9,4 TB | 9,4 TB |
| Tüm sahalar ortak ham kapasite | 19,63 TB | 19,63 TB |
| Yerel NVMe / düğüm | 3,86 TB | 3,86 TB |
| Birincil okuma | 16,84 GB/s | 19,43 GB/s |
| Birincil yazma | 1,11 GB/s | 1,2 GB/s |
| Servis replikaları | 8 | 8 |
| Eşzamanlı replika yüklemeleri | 2 | 1 |
Uygulama sonrası: 0 uygulanabilirlik sorunu. Manuel seçtiğiniz ortak protokol, model, hassasiyet, işlem havuzu, kullanıcı talebi, ölçülmüş önbellek isabeti, SLO, sürüm saklama ve veri koruma politikaları korunur.
Önerilen tüm parametre değişiklikleri
| Parametre | Mevcut | Uygulama sonrası |
|---|---|---|
| Otomatik Dağıtım Dalgası · % | 25 | 12,5 |
| Hedef Model Parçası · MiB | 4.096 | 8.192 |
| Okuma Güvenlik Payı · % | 30 | 50 |
| Yazma Güvenlik Payı · % | 30 | 40 |
Yalnız önizleme · listelenen parametreleri birlikte güncellemek için uygulayın.
VarsayımRPS/TTFT ölçümle doğrulanmadı. Bellek tahsisi servis aktarım hızı garantisi değildir.
VarsayımOtomatik GPU grubu ideal bellek/yerleşim alt sınırıdır; TP/PP/EP, model boyutları ve çalışma zamanı topolojisini doğrulayın.
Katmana göre kapasite
| Katman | Ayrılan kullanılabilir kapasite | Ham kapasite | Dayanak |
|---|---|---|---|
| Birincil ortak depolama | 9,4 TB | 11,75 TB | Model deposu, servis verisi, geçici veri ve anlık görüntüler |
| Ek model deposu sahaları | 6,3 TB | 7,88 TB | 1 ek saha; model deposu ve anlık görüntüler |
| Bağımsız yedekler | 0 GB | 0 GB | Yalnız birincil kalıcı veri; 0 tam eşdeğer kopya |
| Tüm sahalar ortak toplam | 15,7 TB | 19,63 TB | Büyüme 1,3×; rezerv 30% |
| Düğüm yerel model önbelleği | 30,84 TB | Ortak ham kapasite toplamının dışında | 3,86 TB / düğüm; yerel rezerv dahil |
Birincil canlı veri dağılımı
| Bileşen | Mantıksal canlı kapasite | İşlem türü |
|---|---|---|
| Birincil model ve adaptör deposu | 3,08 TB | kalıcı |
| Model deposu geçici alanı | 1,54 TB | geçici |
| İstek denetim logları | 4,34 GB | kalıcı |
| Telemetri / izler | 112 GB | kalıcı |
| Harici önek / KV önbelleği | 0 GB | geçici |
| RAG belgeleri ve dizini | 0 GB | kalıcı |
| Birincil anlık görüntüler | 320,08 GB | snapshot |
Eşzamanlı aktarım hızı
| Birincil taraftaki iş yükü | Okuma faydalı verisi | Yazma faydalı verisi | Veri isteği/s |
|---|---|---|---|
| Model soğuk yükleme ve yeniden yükleme | 16,82 GB/s | 1,11 GB/s | 17.104 |
| Denetim logları ve telemetri | 0 KB/s | 157,64 KB/s | 0,6 |
| Felaket kurtarma kaynak okumaları | 23,21 MB/s | 0 KB/s | 22,13 |
Okuma 16,84 GB/sYazma 1,11 GB/sToplam 17,96 GB/s
Hedeflere dahil paylar: 30% okuma / 30% yazma. Ağ hat ihtiyacı: 158,51 Gb/s okuma + 10,48 Gb/s yazma; 85% faydalı veri verimliliği. EC ham kapasiteyi etkiler; mantıksal istek sayısını etkilemez.
| Uzak hedef yolu | Gereken hedef / WAN |
|---|---|
| Model deposu felaket kurtarma dağıtımı | 0,22 Gb/s toplam hat kapasitesi |
| Bağımsız yedekleme hedefi | 0 KB/s yazma faydalı verisi |
Dosya istekleri ve diğer katman işlemleri
| İşlem sınıfı | Planlanan işlem / saniye |
|---|---|
| Dosya OKUMA | 16.063,77 |
| Dosya YAZMA | 1.062,36 |
| Dosya üst veri çağrıları | 12,57 |
| Diğer katman okuma istekleri | 0 |
| Diğer katman yazma istekleri | 0,6 |
| Toplam mantıksal istek ve üst veri | 17.139,3 |
Etkin okuma 1 MiB; yazma 1 MiB. Paket başına aktarım sayıları parça sınırındaki yuvarlamayı içerir. Diğer katmanlar kendi G/Ç boyutunu kullanır. Fiziksel SSD IOPS, NFS COMMIT ve depolama içi EC G/Ç için ölçüm gerekir.
Soğuk başlangıç ve yerel önbellek
| Metrik | Değer | Dayanak |
|---|---|---|
| Çalışma zamanı model paketi | 1,54 TB | 360 türetilmiş parça; 4.085,54 MiB ortalama |
| Planlanan soğuk yüklemeler | 1 kaçırma / 2 yükleme | Önbellek isabeti 80%; arka plan yüklemeleri ayrıca eklenir |
| Model deposu soğuk dalga okuması | 16,71 GB/s | 120 saniye okuma bütçesi |
| Tamamen soğuk dalga okuması | 33,42 GB/s | Tüm 2 yüklemede önbellek kaçırması; ayrı stres senaryosu |
| Arka plan model deposu yüklemesi | 111,38 MB/s | Önbellek isabetiyle düzeltilmiş, küme geneli |
| Yerel önbellek okuma / doldurma yazması | 45,11 GB/s / 16,82 GB/s | Toplam; ayrı yerel katman |
| Düğüm başına tepe yerel okuma / doldurma | 22,35 GB/s / 16,72 GB/s | Düğüm yerleşimi ve aynı düğümdeki replika dalgası |
| Düğüm başına depolama hat hedefi | 157,38 Gb/s | Karşılaştırılan bağlantı: 200 Gb/s kullanılabilir hat |
| Depolama dışı SLO süresi | 90 saniye | Zamanlama, veriyi açma, GPU yüklemesi ve çalışma zamanı başlangıcı |
Türetilmiş talep ve hesap ayrıntıları
| Türetilmiş parametre | Değer |
|---|---|
| Tepe / ortalama istek talebi | 10 / 2,5 RPS |
| Giriş / çıkış token talebi | 40.960 / 5.120 tok/s |
| Saklanan istek logları / telemetri | 4,34 GB / 112 GB |
| Harici KV mantıksal canlı veri | 0 GB |
| RAG mantıksal canlı veri | 0 GB |