Wat is 'n KI-datasentrum? [Video en vasvra]

Kort antwoord: 'n KI-datasentrum is 'n hoëdigtheidsterrein waar krag, verkoeling, materiaal en berging rondom opleidings- en bedieningsmodelle gebuig word, nie 'n bedienerkamer met ekstra GPU's nie. Die skyfies kry die roem; die gebou besluit of hulle werk. As die beelde nie kan vertrek nie, herbou 'n klein sel; die meeste spanne behoort te huur.

Belangrike wegneemetes:

Skyfies teenoor gebou: Krag, verkoeling, materiaal en berging bepaal of die versnellers werk.

Plekke nie paleise nie: Rug twee rakke op wanneer data nie kan vertrek nie; moenie 'n kampus koop nie.

Gemiddeld teenoor mediaan: Na agt lopies begin die mediaan weer; gebruik die 18-uur gemiddelde.

Misbruikweerstand: Moenie 'n PUE vir twee rakke in 'n gemengde saal kwoteer nie.

Illustratiewe resultate: Agt lopies is 'n klein kaart, nie 'n 50% produksiebesparing nie.

Artikels wat jy dalk na hierdie een wil lees:

🔗 Is KI betroubaar? Video en vasvra
Verken KI-betroubaarheid deur 'n boeiende video en interaktiewe vasvra.

🔗 Hoe om KI in die daaglikse lewe te gebruik
Ontdek praktiese maniere waarop KI daaglikse take en roetines kan vereenvoudig.

🔗 Hoe om KI by die werk te gebruik
Leer praktiese maniere om KI te gebruik vir slimmer produktiwiteit in die werkplek.

🔗 Kan KI vir homself dink?
Verstaan ​​of kunsmatige intelligensie werklik onafhanklik kan dink of redeneer.

Hoe dit verskil van 'n "normale" datasentrum

Tradisionele sale optimaliseer vir gemengde werkladings en bedryfstyd oor baie klein dienste. Jy gee om vir redundansie, ja, en vir PUE as 'n konsep - ekstra energie wat die gebou verbrand om 'n watt rekenaarkrag te lewer. Jy ontwerp nie tipies elke gang rondom 'n rak wat soos 'n draagbare verwarmerplaas optree nie.

KI-webwerwe draai die verhoudings om. Digtheid styg. Die netwerk word 'n materiaal waarsonder die opleidingstaak nie kan voortbeweeg nie. Stoorplek moet kontrolepunte aan die gang hou, anders bly versnellers stilstaan, soos renperde in 'n verkeersknope.

Daar is ook 'n kulturele verskil. Ondernemingsbedrywighede dink in kaartjies en veranderingsvensters. KI-bedrywighede dink in werkrye en die naar gevoel wanneer 'n nodus laat in 'n lang tydperk sterf. Ek dink jy kan steeds albei "datasentrums" noem, want dit is hulle. Die etiket versteek net die loodgieterswerk.

Nie 'n morele rangorde nie. Verskillende masjiene, dieselfde familienaam.

GPU's, versnellers en die rak wat krag verbruik

Loop op 'n tradisionele verhoogde vloer en die rakke lyk amper beleefd. Loop op 'n KI-ry en dit lyk asof hulle die gebou wil insluk.

Die uitstaande hardeware is nie 'n slim SVE nie. Dit is die versnellerbak: GPU's of ander KI-skyfies, verpak in bedieners, dan rakke, dan rye wat 'n hoëbandwydte-stof deel. GPU's verbind skyfies in iets wat kan voorgee om een ​​reuse-versneller te wees; die klusterstof doen dieselfde truuk op ryskaal. Parallelle opleiding werk slegs as daardie skakels dik en voorspelbaar bly. Verloor dit en jou "kluster" is 'n hoop duur werkstasies wat 'n poskode deel.

Krag volg die skyfies. Nie 'n stewige kantoor-PDU nie. Megawatt IT-las sodra 'n saal vol is - ek sal nie 'n getal uitdink nie. Digtheid per rak is die draai van die plot. Minder rakke. Elkeen 'n klein oond. Die beperkende faktor is dikwels die substasie, nie die wenslys van GPU's nie. Jy weet hoe dit is: verkryging wil meer versnellers hê; die nutsmaatskappy wil 'n lang gesprek en 'n baie groot tjek hê.

Een effens simpel metafoor wat ek nie kan afskud nie: die rek is 'n honger dier. Jy kan 'n vinniger een teel. Jy moet dit steeds voer, en jy moet steeds die hitte uitmors. Slaan enigeen oor en dit word 'n baie duur papiergewig.

Krag, hitte en die verkoelingsprobleem

Elektrisiteit in. Hitte uit. Dis die hele godsdiens.

Hoëdigtheidsrakke gee hitte af op 'n manier wat lug nooit regtig moes hanteer nie. Jy kan lug harder druk - agterdeur-hittewisselaars, warmer gange, slim inperking - en dit werk tot 'n sekere punt. Dan verskyn vloeistof:

• Direk-na-skyfie verkoeling

• Koelvloeistoflusse wat die aanlegkamer soos 'n chemiese fabriek laat lyk

• Onderdompeling in 'n paar ontwerpe, wat steeds mense verbaas wat dink water en kelners moet nie 'n sin deel nie

Niks hiervan is glansryk nie. Dit alles is die produk, want 'n versneller wat smoor is een waarvoor jy reeds betaal het en nie ten volle kan gebruik nie.

PUE maak steeds saak. Dit is 'n verhouding, nie 'n persoonlikheid nie. Operateurs jaag dit na, want elke watt wat aan waaiers en pompe bestee word, is 'n watt wat nie na 'n GPU gegaan het nie. Ek sal nie 'n "tipiese" syfer aanhaal nie; klimaat en hoe jy die grens trek, skuif dit, en vals presisie is erger as niks. Water is ook in die storie. Sommige plante sip. Sommige sluk. Verdampingsverkoeling is doeltreffend totdat die rivier of 'n droogte dit polities maak.

Netwerkvorming: hoekom die materiaal net soveel saak maak as die skyfies

Mense neem foto's van die GPU's. Hulle behoort die skakelaars te neem.

Opleiding is 'n gesprek. Duisende versnellers wat gradiënte, parameters, skerwe van 'n model uitruil, in noue sinchronisasie. As die materiaal skud, wag die hele werk op die stadigste sprong. Daarom is KI-sale obsessief oor hoëbandwydte-netwerke, lae latensie en topologieë wat nie in die helfte vou wanneer 'n skakel faal nie. InfiniBand-agtige materiale, Ethernet in dieselfde rol, GPU-interkonneksies binne die boks, bekabeling wat die eerste keer reg moet wees.

Inferensie is 'n ander gesprek. Modelbediening gee om vir stertlatensie - die stadige antwoord, nie die gemiddelde een nie. Bondel- teenoor intydse bediening verdeel die persoonlikheid. 'n Opleidingsgroep wil vet, kollektiewe, alles-tot-almal-agtige beweging hê. 'n Bedienende vloot wil baie kleiner versoeke en isolasie hê, sonder 'n verkeersknope by die lasbalanseerder.

Die mis, terwyl ek hier is: mense behandel die netwerk as loodgieterswerk en die skyfies as die restaurant. In hierdie gebou is die loodgieterswerk die restaurant. Mis dit en jy koop 'n kombuis wat nie 'n aflewering kan neem nie.

Opleiding vs inferensie: twee geboue, soms letterlik

Opleiding is 'n veldtog. Jy stel 'n groep saam, voer dit data in, kontroleer dit godsdienstig, hardloop vir ure of weke, en bid dat die materiaal ongestoord bly. Bondel-swaar, bandwydte-honger, stilweg geduldig - totdat 'n mislukte nodus 'n hap uit die lopie neem. Een dooie versneller in 'n dig gekoppelde taak kan die hele koor vertraag.

Inferensie is 'n winkelvenster. Modelle wat reeds opgelei is, beantwoord nou vrae, klassifiseer beelde, genereer teks. Latensie maak saak. 'n Effens ouer versneller naby die kliënt kan 'n glansryke een 'n kontinent verder klop.

So jy kry 'n verdeling. Opleidingskampusse jaag mag, grond en digtheid na. Inferensieplekke jaag latensie en teenwoordigheid na. Hibriede sale bestaan ​​ook, want kapitaal is nie oneindig nie. Wel - nie altyd twee geboue nie. Soms een saal met 'n fluweeltou en twee verkoelingslusse.

Dit is ook waar kolokasie, hiperskaalkampusse en on-prem vurk plaasvind. Hiperskalers bou op skale wat die res van ons laat lyk asof ons meubels rangskik. Kolonisering verkoop digtheid per rak. On-prem gebeur steeds wanneer data nie kan vertrek nie.

Bergingdeurset, kontrolepunte en honger skyfies

Niemand sit die parallelle lêerstelsel op die omslag van die brosjure nie.

Opleidingsdata moet vinnig genoeg aankom sodat GPU's nie hul voete tik nie. Kontrolepunte moet land sodat 'n ongeluk nie 'n week weggooi nie. Modelgewigte moet laai voordat 'n bedieningsreplika lewendig is. Stoordeurset - nie net kapasiteit nie - is die stil bottelnek. Jy kan 'n fortuin aan versnellers spandeer en hulle uithonger met 'n beleefde skikking wat vir virtuele masjiene ontwerp is.

Die patroon is bekend: 'n blink groep, 'n werkwaglys, en I/O-wag wat terugstaar soos 'n onbeskofte faktuur. Groepering van berekeninge sonder om die datapad te groepeer, is hoe jy 'n baie duur ledig posisie kry. Hou die skyfies gevoed of erken dat jy 'n beeldhouwerk gekoop het.

Sagteware, orkestrasie en die onglamoureuze operasionele laag

Hardeware is die bekende persoonlikheid. Beplanners doen die werk.

'n KI-datasentrum is nutteloos as werk nie GPU's kan vind nie, as twee spanne nie 'n groep kan deel sonder 'n vuisgeveg nie, as 'n mislukte rang nie vervang kan word nie, as firmware dryf totdat die materiaal in stadige aksie faal. Orkestrering, waarneembaarheid, kragbeperking - die onglansvolle operasionele laag, en dit is hoe jy weet dit maak saak.

Ek het 'n sagte plekkie vir hierdie laag. Ook waar 'n verkeerd gekonfigureerde netwerkkaart 'n verkoelingsprobleem vir 'n volle middag naboots... jy vind dit op die harde manier uit.

Wanneer 'n nodus midde-in 'n loop doodgaan

'n Node sterf. Veranderingsvensters bots steeds met opleidingslopies wat nie omgee vir jou kalender nie. Jy skeduleer groot take groepsgewys, omhein inferensiepoele, skryf loopboeke vir mislukkings wat lyk soos "die werk is stadig" totdat hulle lyk soos "die werk is dood". Redundansie maak steeds saak - krag, verkoeling, paaie, berging - maar die mislukkingsmodus is minder netjies as die ou nege-van-optyd-skyfie. Inferensie: replika, dreineer die siek nodus, hou aan antwoord. Opleiding soek kontrolepunte, nie optimisme nie.

Ligging, water, netwerk en bure

Jy gooi nie een van hierdie langs 'n kothuis neer vir die uitsig nie.

Netwerkverbinding is dikwels die eintlike terreinkeuseproses. Grond is maklik in vergelyking met 'n substasie en 'n nutsmaatskappy wat ander kliënte het. Water vir verkoeling, as jy dit gebruik, word 'n bureprobleem sodra die reënval onregmatig is. Geraas. Visuele volume. Hitte by 'n grensheining. Beplanningskomitees ontdek menings oor "die wolk" die oomblik as dit 'n veld en 'n rivier nodig het.

Latensie trek die ander kant toe. Inferensie hou daarvan om naby gebruikers en interkonneksies te wees. Opleiding kan wegkruip in goedkoper kragmarkte en koeler klimate. Die bedryf praat asof daar een perfekte plek is. Daar is nie. Daar is 'n kompromie met 'n persverklaring.

Oorblywende hitte en die ongenooide oond

Brosjures is mal oor hierdie stukkie. Spuit die afvalwarmte in huise, swembaddens, kweekhuise; dis 'n pragtige sin. Soms is die distriklus eg. Soms is die kampus op die verkeerde plek en die hitte gaan steeds in die lug in. Ek is skepties oor die brosjure-weergawe; ek is nie skepties oor die fisika nie.

Wie het een nodig (en wie moet eerder huur)

Die meeste mense hoef nie een van hierdie sale te besit nie.

Die stomp lys:

• Hiperskalers, want die produk is die vloot

• Labs, wanneer toutyd die bottelnek is, of data nie kan vertrek nie

• 'n Bank, hospitaalgroep, regering of vervaardiger met 'n geheime datastel - op die perseel of 'n private kolonophoog - kan rasioneel wees, selfs al is dit 'n gemors

Almal anders behoort te huur. Kolokasie met KI-gereed digtheid. 'n Wolkreservering. 'n Bestuurde groepering. Jy kry die versnellers sonder om ook 'n kragsentrale-operateur te word. Die romanse vervaag die eerste keer wat iemand vra wie aan diens is vir die koelmiddellus om 3 vm.

Daar is 'n trots-ding, ek moet erken. Om die groep te besit voel soos om die middel van voorspelling te besit. Dan arriveer die elektrisiteitsfaktuur, en die trots gaan sit.

Waarvoor die gebou is

So, wat is 'n KI-datasentrum? 'n Gespesialiseerde, hoëdigtheidskampus waar versnellers, krag, verkoeling, materiaal en berging rondom opleidings- en bedieningsmodelle georganiseer is - nie algemene IT met 'n GPU in die hoek nie. Dit lyk soos 'n pakhuis. Dit tree op soos 'n kragstasie wat wiskunde doen.

As jy niks anders onthou nie: die skyfies kry die roem; die substasie, die verkoelingsmiddel en die netwerk besluit of daardie skyfies 'n goeie idee was. Opleiding en afleiding kan 'n dak deel; hulle wil steeds verskillende maniere hê. Die meeste organisasies moet huur. 'n Paar moet bou. Bure sal dit in elk geval agterkom.

Die wolk het nog altyd 'n gebou gehad. Deesdae het die gebou menings.

Werklike voorbeeld: 'n Opleidingsel met twee rakke wanneer die beelde nie kan vertrek nie

Scenario

Tomos is die infrastruktuurleier by Kestrel Precision, 'n vervaardiger met 400 werknemers in die Wes-Midlands. Hulle het reeds 'n klein saal op die perseel: ERP, lêerdelings, virtuele masjiene, die gemengde buurt waarmee hierdie artikel begin het. Lugverkoeling. Gewone Ethernet. 'n SAN wat perfek geskik is vir kantoorskywe.

Die masjienvisie-span moet 'n inspeksiemodel op fabrieksfoto's oplei. Die foto's kan nie die perseel verlaat nie. Hulle wys 'n proses wat die maatskappy nie op 'n wolkskyf sal plaas nie, selfs nie op 'n private een nie. Procurement se oplossing is vier dubbelversnellerbedieners en 'n skyfie getiteld "ons KI-datasentrum". Die bedieners gaan in twee bestaande rakke, want daar is spasie, en spasie het soos die beperking gevoel.

Dit is nie. Binne twee weke klink die GPU's besig en versnel dan stilweg. Werksgeleenthede kruip wanneer 'n kontrolepunt die SAN tref. 'n Node sterf om uur elf en die lopie is net... weg. Tomos het nie versuim om skyfies te koop nie. Hy het 'n hoop duur werkstasies gekoop wat 'n poskode deel. Die gebou was steeds 'n ondernemingsaal.

Hulle het nie 'n kampus, 'n nuwe substasie of 'n rivier nodig nie. Hulle het 'n klein sel nodig wat optree soos 'n KI-datasentrum in miniatuur: krag wat die rakke eintlik kan hou, hitte wat vertrek sonder om die skyfies te kook, 'n materiaal waaroor die opleidingstaak kan praat, berging wat 'n kontrolepunt kan neem, en 'n loopboek vir wanneer 'n nodus doodgaan. Omdat die beelde nie kan vertrek nie, is die huur van 'n kolohok veertig minute weg nie die antwoord nie. Om twee rakke op te gradeer is wel.

Wat die sel benodig

• 'n Gemete kragbegroting op daardie ry, van die PDU's, nie van die GPU-wenslys nie. As die ekstra kapasiteit nie die vier bedieners teen oefenlas kan voed nie, stop die gesprek daar en kyk hulle na 'n digter kleur, nie 'n wonderwerk nie

• Daar is nooit gevra om die lug teen hierdie digtheid te verkoel nie: agterdeur-hittewisselaars as die saal dit kan hanteer, of 'n klein vloeistoflus as dit dit eerder kan hanteer. Indien nie, gaan die bedieners nie in nie

• 'n Toegewyde hoëbandwydte-stof tussen die vier nodusse, nie die kantoor-Ethernet nie. As die verskaffer slegs 'n 10 Gb-skakelaar in die katalogus het, is dit nie 'n groep nie

• Plaaslike vinnige berging vir kontrolepunte en opleidingsskerwe, nie die VM SAN nie

• 'n Beplander, 'n kontrolepuntinterval en 'n geskrewe herbeginpad. Hardeware is die bekendheid. Hierdie laag is die werk

• 'n Omheinde inferensieboks vir die fabriekslyn, apart van die opleidingsgeselsie, want bediening wil stertvertraging en isolasie hê, nie 'n kollektiewe nie

• Toestemming om krag, GPU-klokke, versnellingsgebeurtenisse en werkmuurklok aan te teken. Indien hulle dit nie kan inspekteer nie, sal hulle die GPU's fotografeer en die skakelaars mis

Voorbeeld instruksie

Tomos stel dit in die fasiliteitsopdrag, in gewone taal:

Moenie dit 'n KI-kampus noem nie. Bou 'n opleidingsel met twee rakke in die bestaande saal vir vier bedieners met dubbele versnellers. Die fabrieksbeelde bly op die perseel. Sukses is: die vier nodusse voltooi 'n 12-epog-inspeksie-opleidingsresep sonder termiese versneller, skryf 'n kontrolepunt in minute, nie tiene minute nie, en hervat vanaf daardie kontrolepunt wanneer ons doelbewus 'n rang doodmaak. Verkoeling moet die GPU's op hul opleidingsklokke hou. Netwerke moet 'n materiaal wees wat daardie vier bokse deel, nie 'n pad deur die kantoorstapel nie. Stoorplek moet die skyfies voed. As agterdeur-hitteruilers nie pas nie, sê so en stop. Moenie 'n PUE vir twee rakke in 'n gemengde saal aanhaal nie. Daardie getal sou teater wees.

Dan plaas hy dit in die opleidingswerk self:

Kontrolepunt elke 30 minute na die plaaslike vinnige poel. Indien 'n rang sterf, herbegin vanaf die laaste volledige kontrolepunt. Moenie op die SAN wag nie. Moenie aanhou oefen terwyl horlosies van hitte af gedaal het nie. Teken dit aan en stop sodat ons die stalletjie kan sien.

'n Goeie uur lyk so: al agt GPU's op oefenklokke, kontrolepuntlêer geland, werk steeds in pas. 'n Slegte uur lyk so: waaiers op volle spoed, klokke af, kontrolepunt 2% geskryf na tien minute, en iemand in die kantoor sê "die groep is op". Op is nie opleiding nie.

Hoe om dit te toets

Hulle skryf die toets voor die opknapping, wat die hele punt is om nie 'n demonstrasie te vertrou nie.

• Dieselfde 12-epog resep, dieselfde 120,000 inspeksie foto's, agt lopies

• Tydsberekening is muurhorlosie tot 'n voltooide resep, insluitend enige herbegin, gemeet vanaf werkindiening tot laaste kontrolepunt van epoch 12

• 'n Oorslaan van hitte: GPU-klokke bly by die oefenteiken vir die lopie. 'n Versnellingsgebeurtenis is 'n mislukking selfs al word die werk uiteindelik voltooi

• 'n Oorslaan na berging: kontrolepunt skryftyd, mediaan en ergste, vanaf die werklogboek

• 'n Oorslaan van materiaal: die werk sit nie in kollektiewe wagtyd terwyl 'n rang gesond is nie. As hulle nie daardie wagtyd kan sien nie, is die instrumentasie nie klaar nie

• Twee van die agt lopies kry 'n rang wat doelbewus by 'n vaste stap doodgemaak word om die herbeginpad te toets

• Inferensie is 'n aparte 200-beeld toets vanaf die fabriekslyn tot die omheinde bedieningsboks. Sukses met opleiding tel nie as sukses met bediening nie

• Hulle neem rakkrag van die PDU's in 15-minuut monsters op sodat niemand 'n megawatt hoef uit te vind nie

Aanvaarding vir die aanroep van die sel "KI-gereed": 8 uit 8 resepte voltooi; 0 uit 8 wys termiese versneller; beide doodgemaakte lopies hervat; kontrolepunte bly binne minute. As hulle dit mis, het hulle steeds 'n bedienerkamer met deftige grafiese kaarte.

Resultaat

Illustratiewe resultaat, van 'n opgemaakte toets van agt lopies, nie 'n gepubliseerde Kestrel-syfer nie.

Aannames: vier dubbelversnellerbedieners in twee rakke; een inspeksiemodel; 120 000 stilstaande beelde; agt lopies van 'n vaste 12-epogresep; muurklok sluit herbeginnings in totdat die resep klaar is; versneller beteken 'n aangetekende daling van die opleidingsklok; kontrolepunttyd is die skryf, nie die wens nie; rakkrag is PDU-monsters, nie 'n kampus-PUE nie.

Voor die opknapping, GPU's in gewone lugverkoelde rakke op die kantoor-Ethernet en die VM SAN:

• 5 van 8 lopies is met die eerste poging voltooi. Mediaan muurhorlosie onder daardie vyf: 14 uur

• 3 uit 8 moes weer begin na 'n stilstand omstreeks uur 11 (twee nadat 'n nodus met 'n verouderde kontrolepunt dood is, een nadat 'n kontrolepunt die SAN gevul het). Onmiddellike herprobeer, geen oornagwag in die klok nie: 11 uur vermors plus 'n 14-uur tweede poging, of 25 uur tot 'n voltooide resep op daardie drie

• Gemiddelde tyd-tot-'n-voltooide-resep oor al agt, herbeginnings ingesluit: 18 uur. (Vyf teen 14, drie teen 25. Die mediaan van al agt is steeds 14, wat die herbeginnings sou versteek. Daarom is die gemiddelde die basislyn hier.)

• Termiese versneller aangeteken op 7 van 8 lopies. Mediaan tyd teen verminderde klok: 3 uur in 'n 14-uur poging

• Kontrolepunt skryf: mediaan 22 minute

• Rang-dood was nie 'n toets wat hulle kon slaag nie. Hulle het nie 'n loopboek gehad nie. Die twee toevallige sterftes was die bevinding

• Piek IT-las op die twee rakke tydens oefening: ongeveer 18 kW. Die roei het die watt gehad. Dit het nie die verkoeling of die materiaal gehad nie

Na agterdeur-hittewisselaars op daardie twee rakke, 'n toegewyde materiaal tussen die vier nodusse, 'n klein NVMe-poel vir kontrolepunte, 30-minuut-kontrolepunte en 'n herbegin-loopboek:

• 8 uit 8 het met die eerste poging klaargemaak. Mediaan muurhorlosie: 9 uur

• Termiese smoorklep: 0 van 8

• Kontrolepunt skryf: mediaan 90 sekondes. Swakste in die stel: 3 minute

• Die twee doelbewuste rang-doodslae het albei vanaf die laaste 30-minuut-kontrolepunt hervat. Ekstra muurhorlosie op daardie twee lopies: ongeveer 40 minute elk, diagnose ingesluit, so daardie twee het naby 9 uur 40 minute gesit. Gemiddeld oor agt stilstaande rondtes tot 9 uur

• Piek IT-las steeds ongeveer 18 kW. Dieselfde skyfies. Verskillende gebougedrag

Oor hierdie steekproef het die gemiddelde tyd-tot-'n-voltooide-resep-van 18 uur tot 9 uur gedaal, of 9 uur elk, 72 uur oor agt lopies. Eerste-keer-klaar-gekry het van 5 uit 8 tot 8 uit 8 gegaan. Versnelling het van 7 uit 8 tot 0 uit 8 gegaan. Daardie laaste getal is die een wat sê of hulle versnellers of papiergewigte gekoop het. Hulle sal nie die tydverandering 'n 50%-besparing in produksie noem nie. Agt lopies is 'n klein, maklike stel.

Hierdie syfers is 'n voorbeeldberaming gebaseer op die genoemde toets, 'n klein steekproef, een model en een gemengde saal. Hulle is nie 'n PUE nie, nie 'n kampusmegawatt nie, en nie bewys dat Kestrel 'n opleidingsterrein in 'n veld moet bou nie. 'n Hersiening van die logs het binne die 9 uur gesit; hulle het dit nie weggesteek nie. Die 18 kW-syfer is 'n afgeronde PDU-lesing, nie 'n nutsfaktuur nie. Hulle het nie die 72 uur in 'n koste omgeskakel nie, want die fabriek se gemengde elektrisiteitstarief sou 'n vals sake-argument gemaak het.

Die bedieningstjek was apart en kleiner: 200 lynbeelde na die omheinde boks, alles op die perseel. Dit is afleiding, nie opleiding nie. Om die twee te meng sou die hibriede-saal-fout in miniatuur gewees het.

Wat kan verkeerd gaan

• Aankope noem steeds vier bedieners "die KI-datasentrum". Die etiket verberg die loodgieterswerk, en die volgende aankoop is meer GPU's vir dieselfde siekegang

• Agterdeur-wisselaars gaan in en niemand neem die waterkant in gebruik nie. Die waaiers skree steeds. Die horlosies lui steeds

• Die materiaal is 'n enkele skakelaar sonder 'n ekstra pad. Een mislukte skakel en die "kluster" is weer vier werkstasies

• Kontrolepunte bly op die SAN omdat die NVMe-poel "fase twee" was. Fase twee arriveer nie voor die volgende dooie nodus nie

• Hulle kwoteer 'n PUE vir twee rakke in 'n gemengde saal. Klimaat, grens en die res van die ERP-ry maak daardie verhouding 'n kostuum

• Opleiding en bediening deel die materiaal. 'n Kontrolepuntvloed laat die fabriekslyn wag. Stertlatensie is die produk daar, nie digtheid nie

• 'n Node sterf en iemand behandel dit as 'n optydkaartjie in plaas van 'n herbegin van 'n kontrolepunt. Ondernemingsoperasies en KI-operasies praat 'n volle middag lank verby mekaar

• Hulle kon 'n hok gehuur het, maar die beelde kan nie weggaan nie. As hulle daardie beperking vergeet, stuur dit hulle in 'n wolkgesprek waar hulle sal moet ontspan

Praktiese wegneemetes

Wat 'n KI-datasentrum in hierdie vorm is, is nie 'n pakhuis nie en dit is nie 'n GPU-faktuur nie. Dit is die sel wat versnellers toelaat om die lopie te voltooi: krag wat hulle kan hou, hitte wat vertrek, 'n materiaal, 'n kontrolepunt, en iemand aan die hoek wanneer 'n rang sterf. Kestrel het nie 'n kampus nodig gehad nie. Hulle het twee rakke nodig gehad om op te hou voorgee. Die meeste spanne behoort daardie gedrag te gebruik. 'n Paar, met 'n geheime datastel en 'n saal wat die hitte kan hanteer, behoort 'n sel te bou en die glybaan te weier.

Gereelde vrae

Wat is 'n KI-datasentrum?

'n Hoëdigtheid-rekenaarterrein waar krag, verkoeling, netwerke en berging rondom parallelle opleiding en modelbediening gebuig word, nie netjiese rye algemene bedieners nie. Dit is ontwerp sodat groot getalle versnellers modelle kan oplei en bedien sonder om te smelt, op die netwerk te stagneer of op skyf te wag. 'n Gewone ondernemingsaal is 'n gemengde buurt. 'n KI-saal is 'n monokultuur waarvan die waarde-eenheid die versneller is, soos GPU's of TPU-styl skyfies. Dit lyk soos 'n pakhuis en tree op soos 'n kragstasie wat wiskunde doen.

Hoe verskil 'n KI-datasentrum van 'n gewone datasentrum?

Tradisionele sale optimaliseer vir gemengde werkladings en bedryfstyd oor baie klein dienste. KI-webwerwe draai die verhoudings om: digtheid styg, die netwerk word 'n materiaal waarsonder die opleidingstaak nie kan klaarkom nie, en berging moet kontrolepunte aan die gang hou, anders bly versnellers onaktief. Ondernemingsoperasies dink in kaartjies en veranderingsvensters. KI-operasies dink in werkrye en die naar gevoel wanneer 'n nodus laat in 'n lang tydperk doodgaan. Jy kan steeds albei datasentrums skakel. Die etiket verberg net die loodgieterswerk.

Waarom gebruik KI-datasentrums soveel krag?

Die uitstaande hardeware is nie 'n slim SVE nie. Dit is die versnellerbak: GPU's of ander KI-skyfies, verpak in bedieners, dan rakke, dan rye wat 'n hoëbandwydte-stof deel. Digtheid per rak is die plotwending: minder rakke, elkeen 'n klein oond. Megawatt IT-las verskyn sodra 'n saal vol is, hoewel dit nie die moeite werd is om 'n tipiese syfer uit te dink nie. Die beperkende faktor is dikwels die substasie, nie die wenslys van GPU's nie.

Hoe word KI-datasentrums verkoel?

Hoëdigtheidsrakke gooi hitte af op 'n manier wat lug nooit regtig moes hanteer nie. Jy kan lug harder stoot met agterdeur-hitteruilers, warmer gange en slim inperking. Dan verskyn vloeistof: direk-na-skyfie-verkoeling, koelmiddellusse en onderdompeling in 'n paar ontwerpe. 'n Versneller wat smoor, is een waarvoor jy reeds betaal het en nie ten volle kan gebruik nie. PUE maak steeds saak, want elke watt wat aan waaiers en pompe bestee word, is 'n watt wat nie na 'n GPU gegaan het nie. Water is ook in die storie: sommige aanlegte sip, ander sluk.

Waarom maak netwerkwerk soveel saak soos die GPU's?

Opleiding is 'n gesprek: duisende versnellers wat gradiënte, parameters en skerwe van 'n model in noue sinchronisasie uitruil. As die materiaal skud, wag die hele werk op die stadigste sprong. Daarom is KI-sale obsessief oor hoëbandwydte-netwerke, lae latensie, InfiniBand-agtige materiale of Ethernet in dieselfde rol, en topologieë wat nie in die helfte vou wanneer 'n skakel faal nie. Inferensie gee om vir stertlatensie, baie kleiner versoeke en isolasie. In hierdie gebou is die loodgieterswerk die restaurant.

Waarvoor word 'n KI-datasentrum gebruik: opleiding of inferensie?

Opleiding is 'n veldtog: stel 'n groep bymekaar, voer dit met data, kontroleer dit godsdienstig, en hardloop vir ure of weke. Inferensie is 'n winkelvenster: modelle wat reeds opgelei is, antwoord nou, met latensie wat saak maak. Opleidingskampusse jaag krag, grond en digtheid na. Inferensieterreine jaag latensie en teenwoordigheid na. Hibriede sale bestaan ​​omdat kapitaal nie oneindig is nie, soms een saal met twee verkoelingslusse. 'n Effens ouer versneller naby die kliënt kan 'n glansryke een 'n kontinent verder klop.

Waarom is berging belangrik in 'n KI-datasentrum?

Opleidingsdata moet vinnig genoeg aankom sodat GPU's nie hul voete tik nie. Kontrolepunte moet land sodat 'n ongeluk nie 'n week weggooi nie. Modelgewigte moet laai voordat 'n bedieningsreplika lewendig is. Stoordeurset, nie net kapasiteit nie, is die stil bottelnek. Jy kan 'n fortuin aan versnellers spandeer en hulle uithonger met 'n beleefde skikking wat vir virtuele masjiene ontwerp is.

Wat gebeur wanneer 'n nodus midde-in 'n baan sterf?

Een dooie versneller in 'n nou gekoppelde opleidingstaak kan die hele koor vertraag. Opleiding soek kontrolepunte, nie optimisme nie. Inferensie dreineer die siek nodus, hou 'n replika aan die gang en bly lewendig. Veranderingsvensters bots steeds met opleidingslopies wat nie omgee vir jou kalender nie. Redundansie maak steeds saak vir krag, verkoeling, paaie en berging, maar die mislukkingsmodus is minder netjies as die ou nege-van-optyd-glybaan.

Wat is die impak van 'n KI-datasentrum op die kragnetwerk, water en bure?

Netwerkverbinding is dikwels die eintlike terreinkeuseproses. Grond is maklik in vergelyking met 'n substasie en 'n nutsmaatskappy wat ander kliënte het. Water vir verkoeling, as jy dit gebruik, word 'n bureprobleem sodra die reënval onregmatig is, tesame met geraas, visuele volume en hitte by 'n grensheining. Opleiding kan wegkruip in goedkoper kragmarkte en koeler klimate. Inferensie hou daarvan om naby gebruikers te wees. Daar is nie een perfekte terrein nie. Daar is 'n kompromie met 'n persverklaring.

Moet ek 'n KI-datasentrum besit, of moet ek huur?

Die meeste mense hoef nie een van hierdie sale te besit nie. Hiperskalers bou omdat die produk die vloot is. Laboratoriums bou wanneer toutyd die bottelnek is of data nie kan vertrek nie. 'n Bank, hospitaal, regering of vervaardiger met 'n geheime datastel kan plaaslike of 'n private kolokasie rasioneel maak. Almal anders behoort te huur: KI-gereed kolokasie, 'n wolkbespreking of 'n bestuurde groep. Jy kry die versnellers sonder om 'n kragsentrale-operateur te word.

Verwysings

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Die Groen Rooster - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Uptime Instituut - journal.uptimeinstitute.com

7. NVIDIA - ontwikkelaar.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Vind die nuutste KI by die amptelike KI-assistentwinkel

Oor Ons