Yapay Zeka İş Yükleri İçin Sunucu ve GPU Kapasitesi Nasıl Planlanır · Sahadan Notlar

Kısa Yanıt

Kapasite planlaması iş yükünden geriye doğru kurulur. Önce hangi modelin hangi amaçla çalışacağı netleşir; model eğitimi uzun süreli ve yoğun, çıkarım (inference) ise kısa ve sürekli bir profil üretir. GPU belleği çoğu kurguda ilk kısıttır ve çalıştırılabilecek model boyutunu belirler. Paylaşım, zamanlama ve lisans kurgusu ise aynı donanımdan alınan verimi doğrudan etkiler.

Model eğitimi ile çıkarım kapasiteyi nasıl farklı zorlar?

Model eğitimi saatler ya da günler süren, GPU'yu sürekli yüksek kullanımda tutan bir iştir. Birden çok GPU birlikte çalışır, ara sonuçlar sık paylaşılır ve bu nedenle sunucular arası bağlantı da hesabın parçası olur. Eğitim işleri kuyruğa alınabildiği için zamanlama esnekliği vardır.

Çıkarım (inference) ise kullanıcıya ya da uygulamaya yanıt üretir; kısa sürer, gün içinde dalgalanır ve yanıt süresi beklentisi nettir. Burada öncelik eşzamanlı istek sayısını karşılamak ve gecikmeyi öngörülebilir tutmaktır. İki profil aynı donanım üzerinde birlikte çalışacaksa, kaynak ayrımı baştan tanımlanır.

Boyutlandırmada hangi eksenler belirleyicidir?

Kapasite kararını birkaç ölçülebilir eksen belirler:

GPU belleği: Model ve çalışma verisi belleğe sığdığında performans öngörülebilir olur; bu nedenle bellek çoğu kurguda ilk kısıttır.
Eşzamanlı iş sayısı: Aynı anda kaç eğitim işi ya da kaç çıkarım isteği karşılanacağı kart sayısını belirler.
Veri okuma hızı: GPU'yu besleyen depolama yavaş kaldığında kartlar boşta bekler; okuma hattı kapasiteyle birlikte planlanır.
Sunucular arası bağlantı: Çok düğümlü eğitimde bağlantı kapasitesi toplam süreyi doğrudan etkiler.
Güç ve soğutma zarfı: Kabinet başına düşen yük, yerleşimin hangi alanda mümkün olduğunu belirler.

Bu eksenler birlikte değerlendirildiğinde, doğru yapılandırma kart modelinden önce netleşir.

Sahadan

Sahada en sık gördüğümüz durum, kapasitenin kart modelinden başlayarak konuşulması. Oysa gerçek iş yükünü bir hafta ölçtüğümüzde tablo netleşiyor: kimi ortamda bellek ilk kısıt oluyor, kimisinde kartlar veri bekliyor ve asıl darboğaz depolama tarafında çıkıyor. Ölçümle başlayan planlama hem doğru yapılandırmayı hem de gerçekçi bir büyüme adımını aynı anda veriyor.

Paylaşım ve zamanlama kapasiteyi nasıl büyütür?

Tek bir ekibe ayrılan GPU çoğu zaman düşük kullanımda kalır. Paylaşım kurgusu aynı donanımdan alınan verimi belirgin yükseltir:

Kart bölme: Bir GPU donanım düzeyinde bölünerek birden çok iş yüküne ayrılmış kaynak sunar.
Sanallaştırma: Sanal makinelere GPU atanarak mevcut sanallaştırma yönetimi içinde kalınır.
Kuyruk ve zamanlama: Eğitim işleri kuyruğa alınır, kaynak boşaldıkça sırayla çalışır.
Kullanım ölçümü: Kart başına kullanım oranı raporlanır; atıl kalan kaynak yeni talebe yönlendirilir.

Yatırım kararı nasıl olgunlaştırılır?

Sağlıklı bir yaklaşım küçük ve ölçülebilir başlar. İlk aşamada tek sunucu ve sınırlı sayıda kartla gerçek iş yükü çalıştırılır; bellek kullanımı, kart doluluğu ve veri okuma hızı ölçülür. Bu ölçüm, sonraki adımın büyüklüğünü veriyle belirler.

Ölçüm aynı zamanda barındırma kararını olgunlaştırır. Sürekli yüksek kullanım şirket içi kapasiteyi anlamlı kılar, dalgalı ve deneysel yük bulut tarafında esneklik sağlar. Kararın eksenleri veri merkezi mimarisiyle birlikte ele alındığında yerleşim, güç ve büyüme adımları aynı planda buluşur.

Sık Sorulanlar

GPU kapasite planlamasında en çok sorulanlar

Kaç GPU ile başlamak doğru olur?

Başlangıç, ölçülebilir tek bir iş yüküyle belirlenir. Gerçek modelin tek sunucu üzerinde çalıştırılması bellek ihtiyacını, kart doluluğunu ve veri okuma hızını ortaya koyar. Bu ölçüm sonraki adımın büyüklüğünü veriye dayandırır.

Mevcut sanallaştırma ortamımızda GPU kullanabilir miyiz?

Sanal makinelere GPU atamak yaygın bir kurgudur ve mevcut yönetim araçları içinde kalmayı sağlar. Kontrol edilecek noktalar sunucunun fiziksel yerleşim ve güç zarfı, sürücü uyumu ve lisans kapsamıdır. Bunlar netleştiğinde geçiş sade ilerler.

Çıkarım için ayrı sunucu gerekir mi?

Ayrım, yanıt süresi beklentisi netse değer üretir. Eğitim işleri kaynağı uzun süre meşgul ettiğinden, aynı donanımı paylaşan çıkarım servisinde gecikme dalgalanır. Kaynak bölme ya da ayrı sunucu, bu iki profili birbirinden bağımsız hale getirir.

GPU sunucusu mevcut kabinete sığar mı?

Karar kabinet başına düşen güç ve soğutma kapasitesiyle verilir. GPU sunucuları klasik sunuculara göre belirgin daha yüksek yoğunluk üretir; bu nedenle yerleşim öncesinde mevcut güç dağıtımı, soğutma kapasitesi ve zemin yükü ölçülür ve gerekiyorsa ayrı bir yüksek yoğunluklu alan tasarlanır.

Okumaya Devam