Zakaj več grafičnih kartic ne pomeni nujno več zmogljivosti
Podjetja, ki danes uvajajo rešitve umetne inteligence, pogosto izhajajo iz ustaljenega pristopa: izberejo preverjeno strežniško platformo s procesorji in delovnim pomnilnikom, dodajo večje število zmogljivih grafičnih kartic in pričakujejo, da bo okolje pripravljeno na nove delovne obremenitve. Tak model je še pred kratkim deloval, za manjše organizacije in testna okolja pa je pogosto še vedno primeren. Vendar se pri produkcijskih obremenitvah vse pogosteje pokažejo njegove omejitve. Te niso povezane le s surovo zmogljivostjo, temveč predvsem z arhitekturo infrastrukture.
Klasični strežniški sistemi za splošne delovne obremenitve temeljijo na procesorju (CPU), delovnem pomnilniku in grafičnem pospeševalniku (GPU). Ker so med seboj ločeni, morajo z medsebojno komunikacijo uporabljati sistemska vodila. Pri velikih jezikovnih modelih (LLM) in sodobnih aplikacijah umetne inteligence pa tak način komunikacije predstavlja ozko grlo, ki zmanjša zmogljivost in izkoriščenost namenske infrastrukture ter poveča kompleksnost upravljanja. Če k temu dodamo še trenutno stanje na globalnem trgu sistemskih komponent – pomanjkanje pomnilnika, SSD-pogonov in določenih procesorjev, kar zvišuje cene ter podaljšuje dobave in zamika izvedbo projektov – postane pravilna izbira AI infrastrukture še pomembnejša.
Od GPU do celovite AI infrastrukture
Za delovne obremenitve umetne inteligence nastajajo novi, namenski strežniški sistemi, ki klasičnega pristopa ne samo izboljšujejo, temveč ga tudi nadomeščajo. Eden takšnih je strežnik HPE ProLiant Compute DL384 Gen12, razvit v sodelovanju s podjetjem NVIDIA. Namenjen je predvsem AI inferencam, velikim jezikovnim modelom (LLM) in obremenitvam superračunalništva (HPC), ki zahtevajo velike količine pomnilnika.
V osnovi strežniški sistem ohranja ključne prednosti iz znanih HPE ProLiant Compute strežniških sistemov, kot sta HPE iLO, HPE COM in HPE Silicon Root of Trust. Sistem je NVIDIA OVX™ certificiran, zračno hlajen in zasnovan v 2U ohišju. Strežnik temelji na arhitekturi NVIDIA GH200 Grace Hopper™ Superchip. Tako je, klasičnega procesorja in delovnega pomnilnika ni.
Strežnik lahko vsebuje do dva, med seboj povezana superčipa NVIDIA GH200 Grace Hopper™. Tak čip združuje procesor (NVIDIA Grace™ CPU) in grafični pospeševalnik (NVIDIA Hopper™ GPU) v enoten sistem. Komunikacija med procesorskim in grafičnim delom ne poteka prek klasičnega PCIe vodila, temveč prek NVIDIA NVLink™-C2C, s prepustnostjo do 900 GB/s, kar drastično znižuje zakasnitve (latenco), povečuje učinkovitost in omogoča obdelavo bistveno večjih modelov brez kompleksnih optimizacij. S tem je odpravljeno eno največjih ozkih grl tradicionalne infrastrukture, ki nastaja zaradi omejitev komunikacije med sistemskimi komponentami. (info: CPU komunicira s hitrostjo 51,2 GB/s na posamezen kanal z delovnim pomnilnikom (6400 MT/s).
NVIDIA GH200 Grace Hopper Superchip
Enoten pomnilniški prostor – ključna prednost nove arhitekture
Ena največjih razlik je možnost delovanja v enotnem pomnilniškem prostoru, ki ga klasični strežniki z GPU‑ji na PCIe vodilih ne morejo ponuditi. Posamezen strežnik HPE ProLiant Compute DL384 Gen12 lahko zagotavlja več kot 1 TB hitrega, skupnega pomnilnika, ki je neposredno dostopen tako procesorju kot grafičnemu pospeševalniku. To v praksi pomeni, da podatkov ni treba prenašati ali kopirati med komponentami, kar se v realnih aplikacijah odrazi v bistveno večji učinkovitosti.
Kako oceniti realne zmogljivosti takega sistema?
Ker se umetna inteligenca seli iz eksperimentiranja v proizvodno rabo, organizacije danes ne sprašujejo več, ali bodo uporabljale rešitve umetne inteligence, temveč kako učinkovito jih lahko poganjajo. Pri tem odločevalcem pomagajo rezultati testiranj, kot je MLPerf, industrijski standard za merjenje zmogljivosti na konkretnih modelih. Rezultati niso abstraktni ter ne temeljijo le na primerjavi surove moči in zmogljivosti posameznega grafičnega pospeševalnika, temveč prikazujejo delovanje na realnih uporabljenih modelih.
HPE strežniki redno sodelujejo na MLPerf testiranjih in pogosto dosegajo vrhunske rezultate s svetovnimi rekordi.
Eden najbolj zanimivih rezultatov je prišel prav iz sistema HPE ProLiant Compute DL384 Gen12. Pri modelu DLRM-v2, ki simulira priporočilne sisteme za e-trgovino in digitalne platforme, je sistem dosegel približno:
DLRM je tipičen memory-bound model, pri katerem zmogljivost omejuje predvsem dostop do podatkov. Tradicionalni sistemi tu naletijo na ozko grlo, saj morajo podatke premikati med CPU in GPU, kar povečuje zakasnitve in omejuje prepustnost. NVIDIA GH200 Grace Hopper™ superčip zaradi enotnega pomnilniškega prostora tako oviro odpravi in omogoča precej boljše rezultate.
Primerjava: GH200 Grace Hopper™ vs. NVIDIA H100
Primerjave med GH200 Grace Hopper™ in široko uveljavljenim grafičnim pospeševalnikom NVIDIA H100 Tensor Core na prvi pogled kažejo na zmerne izboljšave, saj se rezultati v MLPerf testiranjih gibljejo med 20 in 40 odstotki, odvisno od vrste modela. Pri modelih Mixtral (Mixture-of-Experts) je izboljšava približno 1,2-kratna, pri priporočilnih sistemih DLRM okoli 1,3-kratna, pri velikih jezikovnih modelih (LLM), kot je Llama 2 s 70 milijardami parametrov, pa približno 1,4-kratna.
Čeprav te številke na prvi pogled morda ne delujejo izstopajoče, se resnična prednost GH200 Grace Hopper™ ne skriva v samem GPU jedru, temveč v odpravi ključnih sistemskih omejitev, ki so pri velikih modelih najizrazitejše. Medtem ko tradicionalni sistemi hitro trčijo ob omejitve pomnilnika, latenc in prepustnosti podatkovnih poti, NVIDIA GH200 Grace Hopper™ ponuja bistveno večjo količino razpoložljivega pomnilnika, možnost izvajanja modelov na enem samem sistemu ter neprimerno hitrejši dostop do podatkov. V praksi to pomeni, da lahko podjetja poganjajo večje modele z manj kompleksno infrastrukturo, hitreje, bolj stabilno in z nižjimi zakasnitvami, kar neposredno vpliva na učinkovitost in predvidljivost produkcijskih AI rešitev.
MLCommons poudarja, da je MLPerf Inference: Datacenter test namenjen merjenju zmogljivosti celotnega sistema, ne le posameznega grafičnega pospeševalnika (GPU). Zato je interpretacija rezultatov izključno na ravni GPU-ja, brez upoštevanja preostale infrastrukture – kot je v primeru HPE ProLiant Compute DL384 Gen12 – lahko zavajajoča. Čeprav hitri prehodi na nove generacije GPU predstavljajo klasično evolucijo zmogljivosti, MLPerf rezultati in javno objavljeni primeri uporabe jasno nakazujejo, da prihodnost AI infrastrukture ne bo temeljila zgolj na hitrejših čipih, temveč predvsem na tesno integriranih sistemih.
Izbira, ki naredi razliko
Klasični strežniki z GPU-ji ostajajo pomembni, vendar vse težje sledijo zahtevam sodobnih modelov, kjer so ključni dejavniki pomnilnik, zakasnitve in prepustnost podatkov. Sistemi, kot je HPE ProLiant Compute DL384 Gen12, predstavljajo logičen razvojni korak naprej: namensko optimizirano platformo, ki omogoča enostavnejšo, učinkovitejšo in bolj predvidljivo uvedbo AI rešitev.
V trenutnih tržnih razmerah – dolgi dobavni roki, visoke cene in omejena dobavljivost komponent – pa so namenski sistemi pogosto tudi poslovno bolj smiselna izbira, saj ponujajo višje zmogljivosti, hitrejšo dobavo in boljše razmerje med ceno in učinkovitostjo.
Pri naslednji odločitvi o AI infrastrukturi je zato smiselno razmišljati širše in preveriti, ali pristop, ki ga prinaša HPE ProLiant Compute DL384 Gen12, bolje ustreza dejanskim potrebam vašega poslovanja. Za dodatne informacije in konkretne primere se lahko obrnete na naše strokovnjake, ki vam bodo pomagali najti optimalno rešitev (Klemen Mihelčič, k.mihelcic@selectium.com).
Raziščite več:
