Yapay zeka trafiği klasik kurumsal trafikten nasıl ayrışır?
Kurumsal network'te trafiğin büyük bölümü kullanıcıdan uygulamaya, yani kuzey-güney yönünde akar. Yapay zeka kümelerinde ağırlık sunucudan sunucuya, yani doğu-batı yönündedir. Model eğitimi sırasında düğümler ara sonuçları birbirleriyle paylaşır ve bu paylaşım belirli aralıklarla tüm küme genelinde aynı anda başlar.
Eşzamanlılık tasarımın merkezindedir. Bir düğüm gecikirse diğerleri onu bekler, dolayısıyla kümenin hızını en yavaş bağlantı belirler. Aynı nedenle tek bir paket kaybı yeniden iletim gerektirir ve toplam eğitim süresini uzatır.
Kayıpsız taşıma nasıl kurulur?
Küme taşıyıcısında hedef, tıkanıklık anında paketi düşürmek yerine kaynağı yavaşlatmaktır. Bunu sağlayan bileşenler birlikte çalışır:
- Öncelikli akış kontrolü (PFC): Tampon dolmaya yaklaştığında ilgili trafik sınıfı için kaynağa duraklama sinyali gönderilir.
- Açık tıkanıklık bildirimi (ECN): Paket işaretlenerek gönderene erken uyarı verilir; gönderen hızını kademeli düşürür.
- RoCEv2 taşıma: Uzak bellek erişimi Ethernet üzerinde taşınır ve işlemci yükü düşük kalır.
- Tampon yönetimi: Anahtarlama cihazında tamponun trafik sınıflarına dağılımı eşzamanlı yüke göre ayarlanır.
InfiniBand kullanan kurgularda kayıpsız davranış taşıma katmanının içinde gelir; Ethernet tabanlı kurgularda ise yukarıdaki ayarların uçtan uca tutarlı olması gerekir.
Sahada en sık gördüğümüz durum, kümenin kurumsal omurgaya doğrudan bağlanmak istenmesi. Oysa eğitim trafiği kısa aralıklarla omurganın tamamını doldurabiliyor ve aynı omurgayı kullanan uygulamalar bundan etkileniyor. Küme taşıyıcısını ayrı kurup kurumsal tarafa denetimli tek bir geçişle bağladığımızda, iki taraf da kendi ritminde çalışıyor ve sorun giderme sadeleşiyor.
Kapasite ve topoloji nasıl boyutlandırılır?
Klasik kampüs tasarımında aşırı abonelik doğal karşılanır; yapay zeka kümesinde ise hedef, düğümler arasında tam kapasite sunmaktır. Tasarımda şu eksenler belirleyicidir:
- Abonelik oranı: Küme taşıyıcısında yaklaşım engelsiz topolojidir, böylece eşzamanlı akışlar birbirini yavaşlatmadan geçer.
- Bağlantı hızı: Sunucu başına düşen hız, GPU sayısı ve model büyüklüğüyle birlikte belirlenir.
- Yol çeşitliliği: Akışlar çoklu yola dengeli dağıtılır; tek yolda yığılma kümeyi yavaşlatır.
- Ayrık taşıyıcılar: Hesaplama, depolama ve yönetim trafiği ayrı taşıyıcılarda kurulur.
- Büyüme adımı: Kabinet sayısı arttığında topolojinin hangi noktada genişleyeceği baştan planlanır.
Küme kurumsal network'e nasıl bağlanır?
Küme, kurumsal network'ten ayrı bir alan olarak kurulur ve bağlantı denetimli bir geçiş noktasından sağlanır. Veri kümelerinin yüklenmesi, sonuçların paylaşılması ve yönetim erişimi bu geçiş üzerinden yürür; küme içindeki yoğun trafik kurumsal omurgaya çıkmaz.
Geçiş noktası aynı zamanda güvenlik katmanının durduğu yerdir. Kimlik doğrulama, kayıt tutma ve veri çıkışının denetimi burada uygulanır; böylece küme hem hızlı hem de güvenlik politikasının içinde kalır.
