Vernetzung für KI: Transformation jenseits des Chips 

Die Konfiguration von Hochdurchsatznetzwerken für groß angelegte KI-Datenpipelines basiert auf einer Reihe von Fortschritten im Bereich der KI-Netzwerke, darunter:

• Compute Fabric
  Die Rechenleistung im Zeitalter der KI erfordert verlustfreie und staufreie Netzwerkstrukturen, da sonst die Rechenleistung sinkt und GPUs ungenutzt bleiben – ein ineffizienter und teurer Zustand –, weil alle GPUs ihre aktuelle Aufgabe abschließen müssen, bevor die nächste beginnen kann. Netzwerke mit Bandbreiten von bis zu 1,8 Tbit/s entstehen, um den hohen Bandbreitenbedarf des Modelltrainings zu decken. Ingenieure wägen dabei Anforderungen an extrem niedrige Latenz und Bandbreite, offene Standards und Interoperabilität sowie Kosten und Vertrautheit mit der Infrastruktur ab.
   
• Datenverarbeitung
  Intelligente Netzwerkschnittstellenkarten (SmartNICs) und Datenverarbeitungseinheiten (DPUs) haben sich als Möglichkeit etabliert, komplexe Aufgaben von der CPU auszulagern, sodass diese mehr Rechenleistung für die Anwendungsverarbeitung bereitstellen kann. Diese programmierbaren Netzwerkadapter verfügen über eigene Verarbeitungseinheiten, die es ihnen ermöglichen, unter anderem Speicher-, Sicherheits- und Datenverwaltungsaufgaben zu übernehmen.
   
• Optische Schnittstellen
  Mit steigendem Bandbreitenbedarf in KI-Netzwerken können herkömmliche Transceiver die Datenübertragungsgeschwindigkeit zur und von der Verarbeitungshardware verlangsamen. Die Integration optischer Komponenten näher an die GPUs ermöglicht eine schnellere Datenübertragung und reduziert somit die Latenz. Innovationen wie Co-Packaged Optics, Linear Pluggable Optics und Siliziumphotonik steigern nicht nur die Leistung, sondern senken auch den Stromverbrauch – ein zentrales Anliegen von Betreibern von KI-Rechenzentren.
   
• Schalter
  Um KI-Workloads zu unterstützen, müssen Netzwerk-Switches immense Datenmengen blitzschnell zwischen den Verbindungspunkten übertragen können, oft in intensiven Datenspitzen, die herkömmliche Netzwerk-Switches überlasten können. KI-Netzwerktopologien mit intelligenten Switches, die für den kontinuierlichen Datenfluss zwischen KI-Beschleunigerchips entwickelt wurden, können dank Innovationen wie fortschrittlicher Staukontrolle und adaptivem Routing massive Informationsströme ohne Engpässe oder Datenverluste bewältigen. Sie verfügen außerdem über intelligentes Energiemanagement, um den Energieverbrauch zu senken und die GPU-Monetarisierung zu verbessern.
   
• Flüssigkeitskühlung
  GPUs sind nicht die einzigen energiehungrigen und wärmeerzeugenden Hardwarekomponenten in KI-Rechenzentren. Dank ihrer Fähigkeit, Wärme energieeffizienter als Luftkühlsysteme abzuleiten, Flüssigkeitskühlungs-Kaltplatten Auch die thermischen Überschüsse von ASICs für KI-Netzwerk-Fabric-Switches müssen in den Griff bekommen werden.
   
• Open-Source-Software
  Die Abhängigkeit von einem einzelnen Anbieter ist ein Problem für Rechenzentrumsbetreiber. Software for Open Networking in the Cloud (SONiC) ist ein Open-Source-Netzwerkbetriebssystem, das es Unternehmen ermöglicht, denselben Netzwerk-Software-Stack auf einer Vielzahl von Geräten verschiedener Switch-Hersteller zu verwenden und so mehr Flexibilität, Skalierbarkeit und Modularität zu erreichen.

Die Vernetzung für KI bezieht sich auf die Netzwerkarchitekturen, Systeme und Technologien, die GPUs und andere IT-Hardware verbinden. Sie sind darauf ausgelegt, die Anforderungen von KI-Workloads hinsichtlich Bandbreite, Latenz, Durchsatz und Zuverlässigkeit zu erfüllen. 

KI-Workloads können Datenströme im Terabit-Bereich (Tbps) erzeugen und damit die Kapazität herkömmlicher 25-Gbit/s-/100-Gbit/s-Netzwerke deutlich übertreffen. Um die GPUs optimal auszulasten, benötigen KI-Cluster hohe Bandbreite, geringe Latenz und verlustfreie Netzwerkarchitekturen. 

Skalierung: Erhöhung der Bandbreite pro GPU innerhalb des Racks bei strikter Signalintegrität 

Skalierung nach außen: Verbinden Sie Racks innerhalb einer Anlage mithilfe von kapazitätsoptimierten Fabrics. 

Skalierung über verschiedene Bereiche hinweg: GPUs in Rechenzentren mithilfe latenzarmer, verschlüsselter Glasfaserverbindungen vereinen.   

Ein Compute Fabric ist ein Hochgeschwindigkeitsnetzwerk mit verlustfreier Übertragung, das es mehreren GPUs ermöglicht, wie eine einzige GPU zu arbeiten. Solche Fabrics sind üblicherweise für Datenraten von 400 Gbit/s, 800 Gbit/s und den aufkommenden Datenraten von 1,6 Tbit/s bis 1,8 Tbit/s ausgelegt. 

SmartNICs und DPUs entlasten die Speicher-, Sicherheits- und Datenverwaltungsaufgaben und geben so CPU-Kerne für rechenintensivere Aufgaben frei.  

Durch die Integration von Optiken in Gehäuse, Siliziumphotonik und linearen steckbaren Optiken rücken optische Bauteile näher an GPUs und ASICs heran, was zu einer besseren Leistung im großen Maßstab führt.  

KI-fähige Switches bewältigen sprunghafte Ost-West-Verkehrsspitzen dank fortschrittlicher Staukontrolle, adaptivem Routing, großen Puffern (wo angebracht) und intelligentem Energiemanagement.  

Flüssigkeitskühlung kommt zum Einsatz, wenn die Dichte von Schaltern und KI-Beschleunigern die Wärmelasten über die Kapazität von Luftkühlsystemen hinaus erhöht. Sie verbessert die Energieeffizienz und die thermische Stabilität. 

SONiC ist ein Open-Source-Netzwerkbetriebssystem, das mit vielen verschiedenen Switch-Herstellern zusammenarbeitet, die Produktabhängigkeit verringert und den Betrieb von KI-Netzwerken im großen Maßstab vereinfacht. 

Um Blockierungen am Anfang der Pipeline zu verhindern und die GPU-Pipelines auszulasten, sollten verlustfreie oder nahezu verlustfreie Designs mit Stauerkennung, adaptivem Routing und Pfaddiversität eingesetzt werden.