Das Highlight des H273-Z82-IAW1 ist seine Eignung für den einphasigen Immersionskühlungsbetrieb, der nicht nur eine erstklassige Leistung und Skalierbarkeit (bis zu 400 W TDP pro CPU-Sockel) bietet, sondern auch die Vorteile des Green Computing mit Energieeinsparungen und niedrigeren Gesamtbetriebskosten (Total Cost of Ownership) pro Watt Stromverbrauch ermöglicht. Das Gehäusedesign des H273-Z82-IAW1 zielt darauf ab, optimale Flüssigkeitsströme innerhalb des Systems sowie eine einfache Manövrierbarkeit und Wartung in Rechenzentren zu ermöglichen.Der Weg zu AMDs 5-nm-"Zen 4"-Architektur wurde mit vielen erfolgreichen Generationen von EPYC-Innovationen und Chipsatzdesigns geebnet, und die AMD EPYC-Prozessoren der Serie 9004 setzen diese Entwicklung fort. Die EPYC 9004 Prozessoren bieten eine Vielzahl neuer Funktionen für eine breite Palette von Workloads und liefern eine noch bessere CPU-Leistung und Leistung pro Watt und das auf einer Plattform mit PCIe 5.0 (doppelter Durchsatz gegenüber PCIe 4.0 Lanes), die auch 50 % mehr Speicherkanäle unterstützt.

Der H273-Z82-IAW1 Server kann in GIGABYTEs A1P0-EB0 verwendet werden, einer einphasigen 25U EIA Tauchtanklösung, die bis zu 21U EIA Server mit zusätzlichen 2 individuellen 2U EIA Servern aufnehmen kann. Der Tauchtank hat einen minimalen PUE-Wert von 1,02 und eine Wärmeabgabekapazität von bis zu 80 kW. A1P0-EB0 wird zusammen mit der Coolant Distribution Unit (CDU) geliefert, die ein Kühlwasservolumen von 750 Litern aufnehmen kann. Die Kombination aus A1P0-EB0 und H273-Z82-IAW1 kann in allen Rechenzentren, die über Kühlwasser mit einer Temperatur von 20-35°C verfügen, ohne große Änderungen an der bestehenden Infrastruktur installiert und eingesetzt werden.

Optionales Zubehör wie IT-Lift, Dry Rack und Drain Oil Pump kann ebenfalls geliefert werden. GIGABYTE bietet auch einen Vor-Ort-Installationsservice und RMA-Services für die Tauchkühlungs-Komplettlösung.

Durch die Kombination von GIGABYTEs jahrelanger Forschungs- und Entwicklungserfahrung auf dem Gebiet der Immersionskühlung mit maßgeschneiderten Servern und Flüssigkeitskühltank-Produkten kann GIGABYTE Unternehmen dabei helfen, schnell hochdichte, rechenintensive Rechenzentren einzurichten und dabei die globalen "Netto-Null-Emissions"-Spezifikationen einzuhalten, was den Nutzern einen Vorsprung auf ihrem Weg zur digitalen Transformation verschafft.

Verbessern Sie Ihr Rechenzentrum mit uns und machen Sie sich auf den Weg in eine nachhaltigere und leistungsfähigere Computerzukunft.

Die GIGABYTE Radeon RX 7800 XT GAMING OC 16G und die Radeon RX 7700 XT GAMING OC 12G setzen auf das WINDFORCE Kühlsystem, das drei Lüfter mit einzigartig geformten Lüfterblättern und gegenläufiger Rotation nutz. Diese werden durch Komposit-Kupfer-Heatpipes, einer Kupferplatte mit direktem Kontakt zur GPU, 3D Active Fans und Screen Cooling Technologie ergänzt, um eine maximale Hitzeableitung sicherzustellen. Der mittlere Lüfter rotiert in die entgegengesetzte Richtung zu den beiden äußeren Lüftern, wodurch die entstehende Hitze sowohl von der Ober- als auch von der Unterseite der Grafikkarte effektiv abgeleitet werden kann. Die große Kupferplatte ist direkt mit der GPU und dem VRAM verbunden und in Kombination mit den Komposit-Kupfer-Heatpipes wird eine hervorragende Wärmeableitung erreicht. Darüber hinaus ermöglicht der praktische Dual-BIOS-Schalter den unkomplizierten Wechsel zwischen OC- und SILENT-Modus, sodass Nutzer in jeder Situation die optimalen, von GIGABYTE abgestimmten Einstellungen nutzen können.

Die GAMING OC Serie ist mit einer RGB-Beleuchtung an der Seite der Grafikkarte ausgestattet, die über das GIGABYTE CONTROL CENTER (GCC) individuell eingestellt werden kann. Die verbesserte Backplate aus Metall macht die Grafikkarte strukturell widerstandsfähiger und verhindert ein Durchbiegen und andere Schäden. Durch ULTRA DURABLE-zertifizierte, hochwertige Komponenten, wie Feststoffkondensatoren, Metalldrosseln und MOSFETs mit niedrigem Widerstand, werden zudem eine hervorragende Leistung und eine längere Lebensdauer sichergestellt.

Weitere Informationen finden sich auf der offiziellen GIGABYTE Webseite: https://www.gigabyte.com/Graphics-Card/

Aufmerksamkeit ist alles, was Sie brauchen – das Transformer-Modell

Nehmen wir den Chatbot ChatGPT als Beispiel. Das "T" in "GPT" steht für Transformer, eine Architektur, die von einem Teilbereich der natürlichen Sprachverarbeitung (NLP) verwendet wird, dem Large Language Model, kurz LLM. LLM hat sich zur vorherrschenden Methode entwickelt, um Computern das Lesen und Schreiben wie Menschen beizubringen, da es in der Lage ist, sich selbst durch Deep Learning und künstliche neuronale Netze (ANN) auf einem großen Korpus von unbeschriftetem Text zu "trainieren" (eine Wortzahl, die in die Billionen geht). Einfacher ausgedrückt: Er hat sich selbst das Lesen und Schreiben beigebracht, indem er die entsprechende Datenbank der gesamten Wikipedia analysiert hat, und ist daher in der Lage, sich über so gut wie jedes Thema zu unterhalten. Der Teil, bei dem er auf sein früheres Training zurückgreift, um auf Anfragen zu antworten, wird "Inferenz" genannt.

Wie funktioniert also Stable Diffusion oder Midjourney oder eines der unzähligen Text-Bild-Modelle? Nicht viel anders als bei ChatGPT, nur dass dieses Mal ein generatives Bildmodell an das Sprachmodell angehängt ist. Diese Modelle wurden ebenfalls mit einer großen Anzahl digitaler Texte und Bilder trainiert, so dass die KI in der Lage ist, Bilder in Text umzuwandeln (mit Worten zu beschreiben, was auf einem Bild zu sehen ist) oder umgekehrt.

Training: Wie es funktioniert, welche Tools zu verwenden sind

Es gibt einen Grund, warum sich der moderne Bereich des maschinellen Lernens stark an die neurowissenschaftliche Terminologie anlehnt – dieser Zweig der KI-Entwicklung profitiert stark vom Verständnis des menschlichen Gehirns. Das menschliche Gehirn besteht aus Milliarden von Neuronen, die durch die Bildung von Billionen von Synapsen miteinander kommunizieren. Das ANN besteht ebenfalls aus Schichten und Schichten von Knoten, die biologischen Neuronen nachempfunden sind; die Verbindungen zwischen ihnen sind unseren Synapsen ähnlich.

Wenn ein Datenelement von Schicht zu Schicht weitergegeben wird, wird den Datenparametern je nach Gültigkeit der Ausgabe eine gewichtete Punktzahl zugewiesen. Durch wiederholte Iterationen von Vorhersagen (Vorwärtspropagation) und Rückkopplungen (Rückwärtspropagation) werden die Gewichtungen so präzise, dass immer die richtigen Verbindungen gewählt werden. Um eine grobe Analogie zu verwenden, kann man sich das so vorstellen, dass die zuvor analysierten Daten "Rillen" im Algorithmus hinterlassen, denen künftige Daten folgen. Obwohl die KI also keine Eingabebefehle im wörtlichen Sinne versteht, hat sie das Raten über einen so langen Zeitraum mit so vielen Daten geübt, dass sie eine geschulte Reaktion auf neue Eingaben, sei es in Form von Texten oder Bildern, erzeugen kann.

Frühere Trainingsmethoden stützten sich auf "markierte" Daten und wurden von menschlichen Programmierern überwacht – das heißt, es war viel Handarbeit nötig. Jüngste Fortschritte haben es der KI jedoch ermöglicht, selbstüberwachtes oder halbüberwachtes Lernen mit unmarkierten Daten durchzuführen, wodurch der Prozess erheblich beschleunigt wurde. Der Umfang der für das Training der KI erforderlichen Rechenressourcen ist nicht nur atemberaubend, sondern steigt auch exponentiell an. GPT-1, das 2018 veröffentlicht wurde, trainierte beispielsweise "einen Monat lang auf 8 GPUs" und verbrauchte etwa 0,96 Petaflop/s-Tage (pfs-Tage) an Ressourcen. GPT-3, das im Jahr 2020 veröffentlicht wurde, verbrauchte 3.630 pfs-Tage an Ressourcen. Für die aktuelle Iteration von GPT-4 sind keine Zahlen verfügbar, aber es besteht kein Zweifel, dass der Zeit- und Rechenaufwand um Größenordnungen höher war als bei GPT-3.

Daher wird für das KI-Training eine leistungsstarke GPU-Computing-Plattform benötigt. GPUs werden bevorzugt, weil sie sich durch paralleles Rechnen bei der Verarbeitung großer Datenmengen auszeichnen. Dank der Parallelisierung kann die oben erwähnte Transformer-Architektur alle sequentiellen Daten, die Sie ihr zuführen, auf einmal verarbeiten. Für den anspruchsvollen KI-Experten kann sogar die Art der Kerne in der GPU einen Unterschied machen, wenn es darum geht, die Zeit, die für das Training der KI benötigt wird, weiter zu verkürzen.

Inferenz: Wie es funktioniert, welche Tools zu verwenden sind

Sobald die KI ordnungsgemäß trainiert und getestet wurde, ist es an der Zeit, mit der Inferenzphase fortzufahren. Die KI wird massiven Mengen neuer Daten ausgesetzt, um zu sehen, ob ihr trainiertes Neuronennetz eine hohe Genauigkeit für das beabsichtigte Ergebnis erzielen kann. Im Falle der generativen KI kann dies alles sein, vom Schreiben eines Science-Fiction-Romans bis zum Malen eines Bildes einer ultrarealistischen Landschaft mit verschiedenen künstlerischen Elementen.

Die KI vergleicht die Parameter dieser neuen Eingaben mit dem, was sie während ihres umfangreichen Trainingsprozesses "gelernt" hat, und erzeugt die entsprechende Ausgabe. Während diese Vorwärts- und Rückwärtsverschiebungen zwischen den Schichten stattfinden, geschieht etwas anderes Interessantes. Die KI sammelt die Antworten, die sie von den menschlichen Nutzern erhält, für ihre nächste Trainingssitzung. Sie nimmt zur Kenntnis, wenn sie für eine gut gemachte Arbeit gelobt wird, und sie ist besonders aufmerksam, wenn der Mensch ihre Leistung kritisiert. Diese kontinuierliche Schleife aus Training und Schlussfolgerungen macht die künstliche Intelligenz jeden Tag intelligenter und lebensechter.

Rechenressourcen und GPU-Beschleunigung sind nach wie vor wichtig, wenn es um Schlussfolgerungen geht, aber jetzt kommt noch ein weiterer Aspekt hinzu: die Latenzzeit. Die Nutzer verlangen schnelle Antworten von der KI, vor allem, wenn viele der von der KI generierten Inhalte noch fein abgestimmt werden müssen, bevor sie von Nutzen sein können. In anderen Szenarien außerhalb der generativen KI kann eine schnelle Antwort die Produktivität oder sogar die Sicherheit beeinträchtigen (z. B. beim Einsatz von Computer Vision zum Sortieren von Post oder zum Navigieren eines selbstfahrenden Postwagens), so dass es noch wichtiger ist, die Latenzzeit zu minimieren.

Die Rolle der CPU beim GPU-Computing – mit AMD EPYC 9004 Sereis "Genoa"-Prozessoren

Sowohl beim Trainingsprozess als auch beim Inferencing-Prozess sind neben der Wahl des/der geeigneten GPU-Modells/Grafikprozessoren die geringste Latenz und die größte Bandbreite der Datenbewegung von entscheidender Bedeutung für die Leistungsoptimierung. Diese Aussage gilt insbesondere, wenn der Aspekt der Datenaffinität / Lokalität diskutiert wird: Trainingsdaten so nah wie möglich an der GPU zu haben oder Inferenzdaten zu verarbeiten, bevor sie der GPU präsentiert werden, erfordert viele schnelle, leistungsstarke CPU-Kerne. Die AMD Genoa CPU-Prozessoren übernehmen in diesem Zusammenhang wichtige Aufgaben wie die Verarbeitung von Datenabfragen, die Übersetzung von physischen und virtuellen Speicheradressen, die Analyse und den Vergleich von relationalen Metadaten, die Konvertierung von Datenformaten, die Ver- und Entschlüsselung von Daten über das Netzwerk, die Aggregation von Ergebnissen, die von der GPU berechnet wurden, und die Aktualisierung von Modellen über Cluster von Knoten usw.. Aus diesem Grund sind die beiden Flaggschiff-GPU-Serverplattformen von GIGABYTE / Giga Computing, G593-ZD2 und G293-Z43, mit der AMD EPYC 9004 Sereis "Genoa"-Architektur ausgestattet.

G593-ZD2 mit zwei AMD Genoa Prozessoren – für Trainingsworkloads

Die integrierten 8x NVIDIA HGX H100 GPU-Module werden von zwei AMD Genoa CPU-Prozessoren beschleunigt (bis zu 128 Kerne pro CPU / 256 Threads pro CPU und bis zu 400W cTDP pro CPU). GIGABYTE war in der Lage, all diese Rechenleistung in einem 5U-Server unterzubringen, dank seiner proprietären Kühltechnologie und dem Gehäusedesign, so dass Kunden eine unglaubliche Rechendichte bei minimalem Platzbedarf genießen können.

G293-Z43 mit zwei AMD Genoa Prozessoren – für Inferenz-Workloads

Eine der besten GIGABYTE Lösungen für KI-Inferenz ist das G293-Z43, das eine hochdichte Konfiguration von Inferenzbeschleunigern beherbergt, mit bis zu sechzehn Inferenz-GPU-Karten in einem 2U-Gehäuse. Die GPU-Karten werden durch die beiden integrierten AMD Genoa CPU-Prozessoren, die für KI-Inferenz optimiert sind, weiter beschleunigt. Die adaptive Datenflussarchitektur ermöglicht es, Informationen zwischen den Schichten eines KI-Modells zu übertragen, ohne auf externen Speicher zurückgreifen zu müssen. Dank der hohen CPU-Kerndichte der AMD Genoa-Serie werden dadurch Leistung und Energieeffizienz verbessert und gleichzeitig die Latenzzeiten verringert.

Es ist wichtig anzumerken, dass KI-Training und Inferencing schon lange vor der Aufmerksamkeit des Marktes für generative KI stattgefunden haben. Kunden, die KI-Modelle entwickeln und einsetzen, entscheiden sich häufig für GIGABYTEs branchenführende GPU-Server der G-Serie, die Edge-Server der E-Serie und die Rack-Server der R-Serie.

Fazit

Generative KI findet ihren Weg in alle Bereiche der menschlichen Welt, vom Einzelhandel und der Fertigung bis hin zum Gesundheitswesen und dem Bankwesen. Die Serverlösungen hängen davon ab, welchen Teil des generativen KI-Entwicklungsprozesses KI-Experten verbessern möchten – ob es sich um die Verarbeitung von Daten zum "Trainieren" von KI oder um die Bereitstellung des KI-Modells handelt, damit es in der realen Welt "schlussfolgern" kann. Von etwas so Kleinem wie der Architektur von Prozessorkernen bis hin zu etwas so Umfassendem wie den Gesamtlösungen von GIGABYTE Technology sind die Instrumente zum Erreichen des Erfolgs vorhanden.

Vielen Dank für die Lektüre von GIGABYTEs Tech Guide zum Thema "Generative AI: Training & Inference". Wir hoffen, dass dieser Artikel hilfreich und informativ war. Für weitere Beratung darüber, wie Sie von KI in Ihrer Geschäftsstrategie, akademischen Forschung oder öffentlichen Politik profitieren können, wenden Sie sich bitte an unsere Vertriebsmitarbeiter unter server.grp@gigacomputing.com.

Die AORUS WATERFORCE Grafikkarten verfügen über RGB Fusion, eine schützende Backplate aus Metall und eine PCB-Beschichtung zum Schutz vor Staub und Feuchtigkeit, wie sie auch in der Luft- und Raumfahrt genutzt wird. Hinzukommen Ultra-durable zertifizierte Komponenten und eine erweiterte Garantie für registrierte Mitglieder. Dies macht die AORUS WATERFORCE Grafikkarten zur optimalen Wahl für Enthusiasten, die sowohl einen leisen Betrieb als auch hohe Leistung wünschen.

AORUS GeForce RTX 4070 Ti XTREME WATERFORCE 12G
Die wassergekühlte All-in-One-Grafikkarte AORUS WATERFORCE ermöglicht High-End-Gamern eine einfache und komfortable Installation, da der Radiator und die Pumpe der Wasserkühlung bereits vormontiert sind. Die Grafikkarte bietet eine außergewöhnliche Kühlleistung mit einem 240 mm Radiator und zwei 120 mm Lüftern, sodass die Temperatur effektiv gesenkt und die Lebensdauer der Karte verlängert werden kann.

Um den Ansprüchen von Gamern gerecht zu werden, verfügen die AORUS WATERFORCE Grafikkarten über ein Design mit RGB Fusion Beleuchtung. Dabei sind nicht nur die Vorderseite, die Seiten und die Rückseite der Karte mit einer RGB-Beleuchtung versehen, sondern auch die beiden 120 mm Lüfter des Radiators. Über die intuitive Software können Nutzer die Beleuchtungseffekte der verschiedenen Bereiche synchronisieren und an ihren persönlichen Stil anpassen.

Darüber hinaus kommt bei den Wasserleitungen der AORUS WATERFORCE Grafikkarte das Material FEP zum Einsatz, wodurch eine außergewöhnliche Haltbarkeit und ein effektiver Schutz vor Lecks gewährleistet werden, sodass eine langfristig effiziente Kühlleistung erhalten bleibt. Die Schläuche sind außerdem mit einer geflochtenen Hülle ummantelt, was sowohl die Kühlleistung als auch die Optik der Grafikkarte verbessert.

AORUS GeForce RTX 4070 Ti XTREME WATERFORCE WB 12G
Das AORUS WATERFORCE Open-Loop-System ist die ideale Wahl für Enthusiasten, denen ein individueller Stil besonders wichtig ist. AORUS hat den Abstand zwischen den Mikrolamellen optimiert, um eine konstante Strömungsgeschwindigkeit des Wassers aufrechtzuerhalten, sodass die von der Grafikkarte erzeugte Wärme effektiv abgeleitet und eine ungehinderte Wasserzirkulation sichergestellt werden kann. Die eingelassenen Kupfer-Mikro-Lamellen verkürzen den Weg zur Hitzeabgabe der Grafikkarte, wodurch eine schnelle Übertragung der Wärme an die Kühlflüssigkeit ermöglicht, und die gesamte Kühleffizienz verbessert wird.

Zusätzlich ist das System mit der patentierten "Leak Detection"-Technologie ausgestattet. Im Falle eines Lecks warnt die Grafikkarte den Nutzer unverzüglich durch blinkende Lichter, so dass dieser das System abschalten und weitere Schäden durch die austretende Flüssigkeit vermeiden kann.

Eine luftgekühlte Grafikkarte selbst mit einem Kit für Wasserkühlungen aufzurüsten, führt nicht nur zum Erlöschen der Garantie, auch die Suche nach geeigneten und kompatiblen Komponenten stellt häufig eine Herausforderung dar. GIGABYTE bietet mit den neuen Grafikkarten eine Qualitätsgarantie mit zertifizierten übertakteten GPUs und professionell montierten Grafikkarten. So können Gamer alle Vorzüge einer wassergekühlten Lösung ohne Bedenken hinsichtlich der Installation oder etwaigen Qualitätsproblemen genießen. Darüber hinaus bieten die Vorder- und die Rückseite der Grafikkarte eine Vielzahl an atemberaubenden RGB-Beleuchtungseffekten, sodass die Grafikkarte zum zentralen Hingucker des Systems wird.

Die außergewöhnliche Leistung der AORUS Grafikkarten basiert auf dem herausragenden Power Design und den ULTRA DURABLE-zertifizierten Komponenten. Diese Komponenten ermöglichen der Grafikkarte eine hohe Leistung bei niedrigeren Betriebstemperaturen und gewährleisten Stabilität und Zuverlässigkeit. Beide AORUS WATERFORCE Grafikkarten verfügen über eine für die Luft- und Raumfahrt geeignete PCB-Beschichtung für erhöhte Staub- und Feuchtigkeitsresistenz, um das Risiko von Schäden zu minimieren. Für eine noch besser Nutzererfahrung verfügen die AORUS WATERFORCE Grafikkarten über eine Herstellergarantie für vier Jahre (bei Online-Registrierung des Produkts innerhalb von 30 Tagen nach dem Kauf).

Weitere Informationen finden sich unter
AORUS GeForce RTX 4070 Ti XTREME WATERFORCE 12G
https://www.gigabyte.com/Graphics-Card/GV-N407TAORUSX-W-12GD

AORUS GeForce RTX 4070 Ti XTREME WATERFORCE WB 12G
https://www.gigabyte.com/Graphics-Card/GV-N407TAORUSX-WB-12GD

News: https://www.gigabyte.com/Press/News/2098

Die Lösungen verfügen über eine optimierte Luftkühlung und eine maximale GPU-Leistung pro Rack-Einheit. Das Portfolio wird ständig erweitert, da die nächste Generation von Computing-Technologien der großen CPU/GPU-Hersteller auf den Markt kommt, die alle auf höchste Rechendichte, Leistung und Energieeffizienz abzielen.

Unter den verschiedenen NVIDIA-zertifizierten Systemen sind die folgenden GPU-Server von GIGABYTE von besonderem Interesse für diese Presseerklärung: G293-Z22 und G593-ZD2.

GIGABYTE G293-Z22 – die dichteste GPU-Computing-Plattform im 2U-Formfaktor
Basierend auf der neuesten AMD EPYC 9004 CPU-Architektur nutzt das G293-Z22 Systemdesign einen einzigen CPU-Sockel zur Steuerung von bis zu 8 x NVIDIA GPU-Karten (PCIe-Formfaktor, Gen5 x16, Doppel- oder Single-Slot-Karten), indem es eine AMD EPYC 9004 CPU mit hoher Kernzahl (bis zu 84 Kerne mit bis zu 300W TDP CPU) nutzt.

Der einheitliche Speicherbereich (wie in einem einzigen NUMA) für CPU, GPU, Systemspeicher, Speichergeräte und Netzwerkgeräte sorgt für die höchste Rechenleistung bei geringster Latenz in der Datenbewegung. Sowohl in der Bare-Metal-Konfiguration als auch in der Virtualisierung kann das G293-Z22 eine optimale Verteilung der Rechenressourcen gewährleisten.

Das G293-Z22 verfügt über 8 x PCIe Gen5-Steckplätze für NVIDIA-GPUs, 1 x CPU-Sockel für AMD EPYC 9004-CPUs, 12 x DDR5 4800MHz DIMM-Steckplätze, 8 x 2,5"-Hot-Swap-Laufwerksschächte (von denen vier Schächte PCIe Gen5/SATA/SAS-Protokolle und die anderen vier Schächte SATA/SAS unterstützen), 2 x M.2 Speichersteckplätze (NVMe PCIe Gen5 x4), 2 x PCIe Gen5-Erweiterungssteckplätze (x16-Busbreite, Low-Profile-Formfaktor) für Zusatzgeräte wie HBA FC/Speicherkarten, NVIDIA ConnectX-7 oder NVIDIA BlueField-3 DPU zur Beschleunigung der Datenübertragung zwischen Knoten und Clustern und GPUDirect/RDMA. Diese kompakten, GPU-zentrierten Rechenfunktionen sind besonders für HPC-Anwender interessant, die mit KI, Molekularsimulationen, genomischer Sequenzierung, Wettervorhersage und anderen Anwendungsfällen arbeiten.

GIGABYTE G593-ZD2 – das leistungsstärkste GPU-System mit NVIDIA H100 SXM5 & NVLink Fabric
Das G593-ZD2 gehört zu den meistverkauften Modellen bei GIGABYTE: Das System basiert auf der NVIDIA H100 SXM5 8-GPU-Plattform, unterstützt zwei AMD EPYC 9004 CPU-Sockel und bietet die Möglichkeit, bis zu 12 x NVIDIA SmartNICs oder DPUs zu installieren, um den Datentransfer über Knoten und Cluster sowie GPUDirect/RDMA zu beschleunigen. Der G593-ZD2 eignet sich auch für die Bereitstellung maximaler Multi-Instance-GPU-Sitzungen (MIG) für KI-Entwickler, die Workloads in verschiedenen containerisierten Umgebungen ausführen und benutzerdefinierte Algorithmen, Bibliotheken und Datensätze in isolierten Benutzerbereichen ausführen müssen.

Das System verwendet eine neuartige Kühllösung, die eine eigene Kühlkammer für die NVIDIA-GPUs und die SmartNIC / BlueField DPU in den PCIe-Erweiterungssteckplätzen vorsieht und so den höchstmöglichen Luftstrom zur Kühlung der Hochleistungskomponenten gewährleistet. Tatsächlich besteht das System aus zwei separaten Teilen: einem 1U-CPU-Server, der über einem 4U-GPU-Tray sitzt. Der 1U-Einschub beherbergt die CPU, den Systemspeicher, die Speicherschächte und die nach hinten gerichteten PCIe-Steckplätze. Der 4U-GPU-Tray lässt sich im Falle einer Systemwartung leicht herausschieben, wenn man die komplizierten Onboard-Verbindungen bedenkt, die alle GPU-Module und den 1U-Server miteinander verbinden. Darüber hinaus sind die integrierten 12 x PCIe Gen5-Erweiterungssteckplätze (8 x Low-Profile und 4 x Full-Height) in werkzeuglosen Einschüben untergebracht, um die Wartung und den Austausch von Teilen zu erleichtern. Der Onboard-Speicher umfasst 8 x 2,5"-Hot-Swap-Laufwerksschächte (NVMe PCIe Gen5) und 2 x M.2-Speichersteckplätze (NVMe PCIe Gen3). Die Systemspeicherkapazität umfasst 24 x DDR5 DIMM-Steckplätze mit 4800 MHz.

Die Einbeziehung und Auswahl der NVIDIA H100 SXM5-Module im G593-ZD2-System ist wichtig, da die neuen NVIDIA Magnum IO GPUDirect-Technologien einen schnelleren Durchsatz begünstigen und gleichzeitig Arbeitslasten von der CPU entlasten, um Leistungssteigerungen zu erzielen. Das G593-ZD2 unterstützt NVIDIA GPUDirect RDMA für den direkten Datenaustausch zwischen GPUs und Geräten von Drittanbietern wie NICs oder Speicheradaptern. Außerdem wird GPUDirect Storage für einen direkten Datenpfad unterstützt, um Daten vom Speicher in den GPU-Speicher zu verschieben und dabei die CPU zu entlasten, was zu einer höheren Bandbreite und geringeren Latenz führt.

Fazit
Über die aktuelle HPC-Technologie hinaus und bis zum dritten/vierten Quartal 2023 und darüber hinaus ist GIGABYTE bereit, die nächste Generation von GPU-Computing- und Hybrid-Computing-Lösungen in Partnerschaft mit NVIDIA rechtzeitig auf den Markt zu bringen. GIGABYTE wird weiterhin verschiedene Anwendungsfälle adressieren, indem das Systemdesign an reale Workflows und Rechenzentrumsarchitekturen angepasst wird.

Um eine Anfrage zu stellen: Kontakieren Sie den Vertrieb
Medienkontakt: Bernice Slot – bernice@giga-byte.nl
Folgen Sie Giga Computing auf Twitter: https://twitter.com/GIGABYTEServer
Folgen Sie Giga Computing auf LinkedIn: https://www.linkedin.com/company/giga-computing

Die Server der GIGABYTE G-Serie sind in erster Linie für die Unterstützung von dichtem GPU-Computing und der neuesten PCIe-Technologie ausgelegt. Die neuen 2U-Server der G293-Serie können je nach Modell bis zu 8 Dual-Slot-GPUs oder 16 Single-Slot-GPUs unterstützen. Für ultimative CPU- und GPU-Leistung bieten die 4U-Server der G493-Serie eine Vielzahl von Netzwerkoptionen und Datenspeicherkonfigurationen bei Unterstützung von acht (Gen5 x16) GPUs. Und für höchste GPU-Rechenleistung bei Hochleistungsrechnen und KI unterstützen die Modelle der G393- und G593-Serie NVIDIA H100 Tensor Core GPUs.

Alle diese neuen Server mit zwei CPU-Sockeln sind für AMD EPYC Prozessoren der 4. Generation oder für Intel® Xeon® Scalable Prozessoren der 4. Generation konzipiert.

• G293-Serie:
  • Intel Xeon Server mit zwei Sockeln (bis zu 225 W TDP), die entweder acht Dual-Slot-GPUs oder sechzehn Single-Slot-GPUs sowie acht 2,5”-Schächte für Datenspeicher unterstützen
    • Neue Modelle: G293-S42, G293-S43, G293-S45
• G363-Serie:
  • Intel Xeon Dual-Sockel-Server mit NVIDIA HGX H100 4-GPU und sechs Low-Profile-Steckplätzen
    • Neues Modell: G363-SR0
• G493-Serie:
  • Intel Xeon Dual-Sockel-Server, die mehrere Erweiterungssteckplätze und Datenspeicheroptionen unterstützen
    • Neue Modelle: G493-SB0, G493-SB1, G493-SB2, G493-SB3
  • AMD EPYC Dual-Sockel-Server mit ähnlichen Optionen wie Xeon-Server
    • Neue Modelle: G493-ZB0, G493-ZB1, G493-ZB2, G493-ZB3
• G593-Serie:
  • AMD EPYC Dual-Sockel-Server für NVIDIA HGX H100 8-GPU
    • Neues Modell: G593-ZD2

NVIDIA HGX H100 Server

NVIDIA HGX H100 ist die weltweit leistungsstärkste Komplettplattform für das KI-Supercomputing, in der die volle Leistung der NVIDIA H100 GPUs und der vollständig optimierten NVIDIA AI Enterprise und NVIDIA HPC-Software vereint werden, um höchste Leistung für Simulationen, Datenanalyse und KI zu liefern. Als Software-Layer der NVIDIA AI-Plattform beschleunigt NVIDIA AI Enterprise die Data-Science-Pipelines und optimiert die Entwicklung und Bereitstellung von Produktions-KI einschließlich generativer KI, Bilderkennung, Sprach-KI und mehr. Es umfasst über 50 Frameworks, vortrainierte Modelle und Entwicklungstools.

HGX H100 ist als Serverbaustein in Form von integrierten Baseboards in Konfigurationen mit vier oder acht H100 GPUs erhältlich. Vier H100 GPUs bieten vollständig miteinander vernetzte Punkt-zu-Punkt-NVLink-Verbindungen zwischen GPUs, während die Konfiguration mit acht GPUs die volle GPU-zu-GPU-Bandbreite dank NVIDIA NVSwitch-Technologie bietet. Ein Server mit HGX H100 8-GPU nutzt die Leistung von H100 Multi Precision Tensor Cores und bietet bis zu 32 petaFLOPS FP8-Rechenleistung für das Deep Learning.

Geschäftsbeziehungen mit Mehrwert

Die Zusammenarbeit mit führenden Technologieunternehmen ermöglicht es Giga Computing, Produkte schnell auf den Markt für neue Enterprise-Anwendungen zu bringen. Giga Computing lässt seine Server und Mainboards für verschiedene Betriebssysteme, Software und IT-Technologien zertifizieren.

Während der Veranstaltung wird GIGA COMPUTING sein innovatives Angebot an Servern, Speichersystemen und Flüssigkeitskühlungs-/Tauchkühlungslösungen vorstellen, die speziell für die Anforderungen der Cloud-Branche entwickelt wurden. Die Lösungen von GIGABYTE sind für ihre außergewöhnliche Leistung, Skalierbarkeit und Zuverlässigkeit bekannt und geben Unternehmen die Sicherheit für deren Wachstum und den zukünftigen Erfolg.

Folgenden Server-Hardware-Modelle, die in Zusammenarbeit mit AMD zur Unterstützung der AMD EPYC 7003 Series und der AMD EPYC 9004 Series CPU Prozessoren entwickelt wurden, werden am Stand von GIGA COMPUTING zu sehen sein:

• R133-C10 – Kostenoptimierter, Cloud-orientierter 1U CPU/GPU-Server der nächsten Generation
• R263-Z33 – Universeller, leistungs-/kostenbalancierter Next-Gen 2U 2-GPU Server
• H262-ZL0 – Leistungsstarker 2U 8-CPU-Server mit hoher Dichte und direkter Flüssigkeitskühlung

GIGA COMPUTING möchte alle Cloud- und HPC-Experten einladen unseren Stand auf dem CloudFest zu besuchen, das GIGA-COMPUTING Team zu treffen und einen Einblick in die neuesten Cloud-Infrastruktur-Trends zu bekommen. Alle Besucher können über den hier angegebenen Weblink die VIP-Sitzungen reservieren, um den Zugang zu noch nicht veröffentlichten Produktneuheiten, sowie Details zu erhalten und potenzielle Geschäftsmöglichkeiten und Partnerschaften mit uns anzugehen.

GIGA COMPUTING lädt außerdem zu einer Keynote-Session zum Thema
"GIGA COMPUTING Eintauchkühlungstechnologie" ein
– Standort: Arena-Bühne
– Zeit & Datum: 11:45 – 12:05 Uhr, Dienstag, 21. März

Verpassen Sie nicht die Chance, mit dem GIGA COMPUTING-Team in Kontakt zu treten und herauszufinden, wie GIGABYTE / GIGA COMPUTING Sie bei Ihrer Zielerreichung im Bereich Cloud Computing unterstützen kann.

Weiterführende Informationen: Kontakt Sales
Folgen Sie Giga Computing auf Twitter: https://twitter.com/GIGABYTEServer
Folgen Sie Giga Computing auf LinkedIn: https://www.linkedin.com/company/giga-computing/

Über GIGABYTE
GIGABYTE ist ein Ingenieur, Visionär und Führer in der Welt der Technik, der seine Hardware-Expertise, patentierten Innovationen und Branchenführerschaft nutzt, um zu schaffen, zu inspirieren und voranzutreiben. Bekannt für mehr als 30 Jahre preisgekrönte Exzellenz in Motherboards und Grafikkarten, ist GIGABYTE ein Eckpfeiler in der HPC-Community und bietet Unternehmen Server- und Rechenzentrumsexpertise, um ihren Erfolg zu beschleunigen.