HPE ProLiant Compute DL384 Gen12
Zašto više grafičkih kartica ne znači nužno i veće performanse
Organizacije koje danas uvode rješenja umjetne inteligencije često polaze od dobro poznatog pristupa: odabiru provjerenu poslužiteljsku platformu s procesorima i radnom memorijom, dodaju veći broj snažnih grafičkih kartica te očekuju da je okruženje spremno za nova radna opterećenja. Takav je model donedavno dobro funkcionirao, a za manje organizacije i testna okruženja često je i dalje odgovarajući izbor.
Međutim, kod produkcijskih AI opterećenja sve češće dolaze do izražaja njegova ograničenja. Ona nisu povezana samo sa sirovom računalnom snagom, već prije svega s arhitekturom cijele infrastrukture.
Klasični poslužiteljski sustavi za opću namjenu temelje se na procesoru (CPU), radnoj memoriji i grafičkom akceleratoru (GPU). Budući da su te komponente međusobno odvojene, njihova komunikacija odvija se putem sistemskih sabirnica. Kod velikih jezičnih modela (LLM) i suvremenih AI aplikacija upravo takav način komunikacije postaje usko grlo koje smanjuje performanse i iskorištenost infrastrukture te povećava složenost upravljanja.
Uz to, trenutačno stanje na globalnom tržištu komponenti, uključujući nestašice memorije, SSD diskova i pojedinih procesora, dodatno povećava cijene, produljuje rokove isporuke i odgađa realizaciju projekata. Zato je pravilna odluka pri odabiru AI infrastrukture danas važnija nego ikad.
Od GPU-a do cjelovite AI infrastrukture
Za AI radna opterećenja razvijaju se novi, namjenski poslužiteljski sustavi koji ne predstavljaju samo nadogradnju klasičnog pristupa, već ga u određenim segmentima i zamjenjuju.
Jedan od takvih sustava je HPE ProLiant Compute DL384 Gen12, razvijen u suradnji s tvrtkom NVIDIA. Namijenjen je ponajprije AI inferenciji, velikim jezičnim modelima (LLM) i HPC opterećenjima koja zahtijevaju velike količine memorije.
Sustav zadržava ključne prednosti poznate iz HPE ProLiant portfelja, uključujući HPE iLO, HPE Compute Ops Management (COM) i HPE Silicon Root of Trust. Certificiran je za NVIDIA OVX okruženja, koristi zračno hlađenje i smješten je u 2U kućište.
No njegova najveća posebnost skriva se u arhitekturi. Poslužitelj se temelji na NVIDIA GH200 Grace Hopper Superchip platformi. Drugim riječima, nema klasičnog odvojenog procesora i radne memorije kakve poznajemo iz tradicionalnih poslužitelja.
Sustav može sadržavati do dva međusobno povezana NVIDIA GH200 Grace Hopper Superchipa. Svaki od njih objedinjuje NVIDIA Grace™ CPU i NVIDIA Hopper™GPU u jedinstvenu računalnu cjelinu.
Komunikacija između procesorskog i grafičkog dijela ne odvija se putem tradicionalne PCIe sabirnice, već preko NVIDIA NVLink™-C2Cpovezivosti, koja omogućuje propusnost do 900 GB/s. Time se značajno smanjuje latencija, povećava učinkovitost i omogućuje obrada znatno većih modela bez složenih optimizacija.
Na taj se način uklanja jedno od najvećih ograničenja tradicionalne infrastrukture: spor prijenos podataka između ključnih sustavskih komponenti.
NVIDIA GH200 Grace Hopper Superchip
Jedinstveni memorijski prostor kao ključna prednost nove arhitekture
Jedna od najvećih razlika u odnosu na tradicionalne GPU poslužitelje jest mogućnost rada u jedinstvenom memorijskom prostoru.
Poslužitelji s GPU-ovima povezanim preko PCIe sabirnice ne mogu ponuditi takvu razinu integracije. Nasuprot tome, HPE ProLiant Compute DL384 Gen12 može osigurati više od 1 TB brze zajedničke memorije, kojoj istodobno pristupaju i CPU i GPU.
U praksi to znači da nema potrebe za kopiranjem ili premještanjem podataka između različitih komponenti sustava. Rezultat su bolja iskorištenost resursa, niže latencije i značajno bolje performanse u stvarnim AI aplikacijama.
Kako procijeniti stvarne performanse ovakvog sustava?
Kako umjetna inteligencija prelazi iz faze eksperimentiranja u poslovnu primjenu, organizacije se više ne pitaju hoće li koristiti AI, već koliko ga učinkovito mogu primjenjivati.
U tome važnu ulogu imaju rezultati testiranja poput MLPerf-a, industrijskog standarda za mjerenje performansi AI sustava na konkretnim modelima i stvarnim radnim opterećenjima.
Za razliku od jednostavne usporedbe sirove snage pojedinog GPU-a, MLPerf prikazuje ponašanje kompletnog sustava pri radu sa stvarnim modelima.
HPE poslužitelji redovito sudjeluju u MLPerf testiranjima i često ostvaruju rezultate među najboljima u industriji.
Jedan od zanimljivijih primjera dolazi upravo iz sustava HPE ProLiant Compute DL384 Gen12.
Kod modela DLRM-v2, koji simulira preporučiteljske sustave za e-trgovinu i digitalne platforme, sustav je ostvario približno:
DLRM je tipičan primjer modela ograničenog dostupnošću memorije (memory-bound model), kod kojeg performanse prvenstveno ovise o brzini pristupa podacima.
Tradicionalni sustavi ovdje nailaze na ograničenja jer moraju kontinuirano premještati podatke između CPU-a i GPU-a, što povećava latenciju i smanjuje propusnost. NVIDIA GH200 Grace Hopper Superchip zahvaljujući jedinstvenom memorijskom prostoru uklanja taj problem i omogućuje osjetno bolje rezultate.
Usporedba: GH200 Grace Hopper i NVIDIA H100
Usporedbe između GH200 Grace Hopper Superchipa i široko korištenog akceleratora NVIDIA H100 Tensor Core na prvi pogled pokazuju umjerena poboljšanja.
Rezultati MLPerf testova pokazuju poboljšanja između 20 i 40 posto, ovisno o vrsti modela:
Iako ove brojke možda ne djeluju revolucionarno, stvarna prednost GH200 platforme ne nalazi se samo u GPU-u.
Najveća vrijednost proizlazi iz uklanjanja sistemskih ograničenja koja postaju posebno izražena kod velikih modela. Dok tradicionalni sustavi brzo nailaze na ograničenja memorije, latencije i propusnosti, GH200 nudi:
U praksi to znači da organizacije mogu pokretati veće modele brže, stabilnije i uz niže latencije, što izravno utječe na pouzdanost i učinkovitost produkcijskih AI rješenja.
MLCommons također naglašava da je MLPerf Inference: Datacenter test namijenjen mjerenju performansi kompletnog sustava, a ne samo pojedinog GPU-a. Zato usporedba isključivo na razini grafičkog akceleratora, bez uzimanja u obzir ostatka infrastrukture, može biti pogrešna.
Rezultati MLPerf-a i brojni primjeri iz prakse sve jasnije pokazuju da budućnost AI infrastrukture neće ovisiti samo o bržim čipovima, nego prije svega o integriranim sustavima u kojima su procesorski, memorijski i grafički resursi usko povezani.
Odabir koji čini razliku
Klasični poslužitelji s GPU-ovima i dalje imaju važnu ulogu, ali sve teže prate zahtjeve modernih AI modela, gdje ključnu ulogu imaju memorija, latencija i propusnost podataka.
Sustavi poput HPE ProLiant Compute DL384 Gen12 predstavljaju logičan korak naprijed: namjenski optimiziranu platformu koja omogućuje jednostavniju, učinkovitiju i predvidljiviju implementaciju AI rješenja.
U današnjim tržišnim uvjetima, obilježenima dugim rokovima isporuke, visokim cijenama i ograničenom dostupnošću komponenti, takvi sustavi često su i poslovno isplativiji izbor. Nude više performansi, bržu dostupnost i bolji omjer uloženog i dobivenog.
Zato pri sljedećoj odluci o AI infrastrukturi vrijedi razmišljati šire i procijeniti odgovara li pristup koji donosi HPE ProLiant Compute DL384 Gen12 bolje stvarnim potrebama vašeg poslovanja.
Za dodatne informacije i konkretne primjere možete se obratiti našim stručnjacima, koji će vam pomoći pronaći optimalno rješenje: Jan Mihaljevic, j.mihaljevic@hpe.hr.
Saznajte više
