Inteligjenca Artificiale, gara e çipave

Në vitin 2023, kompania Apple hodhi në treg iPhone 15 Pro, i mundësuar nga çipi Bionic A17, me 19 miliardë tranzistorë. Dendësia e tranzistorëve është dyfishuar 34 herë gjatë 56 viteve të fundit. Ky përparim i jashtëzakonshëm, i mbështetur në të ashtuquajturin “ligji i Moore” ka qenë një nga motorët e revolucionit kompjuterik.

Ndërsa tranzistorët u bënë më të vegjël, ata u bënë edhe më të lirë dhe më të shpejtë, duke lejuar të gjitha mrekullitë e superkompjuterëve të ditëve të sotme. Por numri i madh i shifrave që duhet të operojnë programet e Inteligjencës Artificiale, e kanë tendosur ligjin e Moore deri në kufijtë e tij.

Rrjetet nervore artificiale që gjenden pothuajse në të gjitha makineritë moderne të Inteligjencës Artificiale, duhet të stërviten në mënyrë që të përcaktojnë “peshat” e duhura për të mundësuar miliarda, ndonjëherë edhe triliona, lidhje të brendshme.

Këto “pesha” ruhen në formën e matricave dhe trajnimi i modelit përfshin manipulimin e këtyre matricave, duke përdorur matematikën.

Dy matrica (grupe numrash të renditur në rreshta dhe kolona), përdoren për të gjeneruar një grup të tretë; çdo numër në atë grup të tretë, prodhohet duke shumëzuar të gjithë numrat në një rresht në grupin e parë, me të gjithë numrat në një kolonë të grupit të dytë dhe më pas duke i mbledhur të gjithë.

Kur matricat janë të mëdha, me mijëra ose dhjetëra mijë rreshta dhe kolona, dhe duhet të shumëzohen vazhdimisht ndërsa trajnimi i modelit vazhdon, rritet shumë numri i herëve që numrat individualë duhet të shumëzohen dhe të mblidhen.

Nuk është vetëm trajnimi i rrjeteve nervore që kërkon shumëzim të shpejtë rrufe të matricave. Edhe prodhimi i videove me cilësi të lartë që i bën lojërat kompjuterike argëtuese, ka një procedurë të ngjashme.

Rreth 25 vite më parë, ky ishte një treg shumë më i madh. Për t’i shërbyer atij, kompania e prodhimit të çipave Nvidia, modeloi një lloji të ri çipi, të quajtur “njësia e përpunimit grafik” (GPU), ku tranzistorët u vendosën dhe u lidhën në një mënyrë që i lejonte ata të bënin shumë shumëzime të matricave njëherësh.

Kur zbatohej ky proces në Inteligjencën Artificiale, këto njësi GPU ishin më të mira se njësitë e vjetra CPU, sepse lejonin që të përdoreshin grupe më të mëdha të të dhënave të trajnimit. Ato gjithashtu harxhonin shumë më pak energji.

Trajnimi i modelit AlexNet, që solli epokën e “të mësuarit të thellë” në vitin 2012, përfshinte caktimin e “peshave” për 60 milionë lidhje të brendshme. Kjo kërkonte 4,7 x 1017 “operacione në pikë lundruese” (të quajtura FLOP).

Çdo FLOP është i barasvlefshëm me mbledhjen ose shumëzimin e dy numrave. Deri atëherë, llogaritje kaq të mëdha do të kishin qenë të pamundura. Edhe në vitin 2012, përdorimi i CPU-ve më të mira, jo vetëm që do të kërkonte shumë më tepër kohë dhe energji, por edhe thjeshtim të dizajnit. Sistemi që trajnoi modelin AlexNet, i kreu të gjitha llogaritjet FLOP me vetëm dy njësi GPU.

Një raport i fundit nga Qendra për Sigurinë dhe Teknologjinë në Universitetin Georgetown, thotë se njësitë GPU janë 10-100 herë më efikase dhe deri në 1000 herë më të shpejta se njësitë CPU kur përdoren për trajnimin e modeleve të Inteligjencës Artificiale.

Ishin pikërisht ato që bënë të mundur përhapjen e teknikës së “të mësuarit të thellë” të makinerive të Inteligjencës Artificiale. Sidoqoftë, modelet e mëdha gjuhësore (LLM) kërkojnë llogaritje edhe më të ndërlikuara.

Në vitin 2018, Alec Radford, një studiues në kompaninë OpenAI, zhvilloi një transformator gjenerues të trajnuar paraprakisht, ose GPT, duke përdorur qasjen “transformatore” të përshkruar nga studiuesit në Google një vit më parë.

Ai dhe kolegët e tij zbuluan se aftësia e modelit për të parashikuar fjalën e ardhshme në një fjali, mund të përmirësohej duke shtuar të dhëna trajnimi ose fuqi llogaritëse. Rritja e aftësisë për të parashikuar fjalën e ardhshme në një fjali, nuk është garanci që një model do të përmirësohet në kryerjen e detyrave të tjera. Por deri tani rezultatet kanë qenë të kënaqshme.

Prandaj “modelet e mëdha gjuhësore” (LLM) janë rritur më shumë. Epoch AI, një pajisje kërkimore, vlerëson se trajnimi i aplikacionit GPT-4 në vitin 2022, kërkonte 2 x 1025 FLOP, rreth 40 milionë herë më shumë se sa ishin përdorur për AlexNet një dekadë më parë dhe kushtonte rreth 100 milionë dollarë.

Gemini-Ultra, modeli më i fuqishëm i Google, i lëshuar në vitin 2024, raportohet se ka kushtuar dy herë më shumë.

Epoch AI llogarit se ai mund të ketë kërkuar 5 x 1025 FLOP. Këto janë shifra aq të mëdha, sa mund t’i krahasojmë me të gjitha yjet në të gjitha galaktikat e universit të vëzhgueshëm, ose me pikat e ujit në Oqeanin Paqësor.

Në të kaluarën, zgjidhja e nevojave të tepërta për llogaritje, ka qenë thjesht pasja e durimit. Pra, sipas kësaj logjike, duhen pritur disa vjet dhe ligji i Moore do të sigurojë tranzistorë më të shumtë dhe më të shpejtë në çdo çip.

Por ligjit të Moore po i bie vrulli. Tani që tranzistorët individualë janë vetëm disa dhjetëra nanometra (një e miliarda e metrit) të gjerë, është më e vështirë të sigurohet një përparim i vazhdueshëm.

Prodhuesit e çipave janë ende duke punuar për t’i bërë tranzistorët më të vegjël dhe madje po i vendosin ata vertikalisht për të futur sa më shumë brenda çipave. Por epoka në të cilën performanca u rrit vazhdimisht, ndërsa konsumi i energjisë ra, ka mbaruar tashmë.

Ndërsa ligji i Moore është ngadalësuar dhe dëshira për të ndërtuar modele gjithnjë e më të mëdha është rritur, përgjigjja nuk kanë qenë çipat më të shpejtë, por thjesht më shumë çipa.

Ekspertët thonë se aplikacioni GPT-4 ishte formuar me 25,000 GPU A100, të grumbulluar së bashku për të pakësuar humbjen e kohës dhe energjisë që ndodh kur lëvizen të dhënat midis çipave.

Pjesa më e madhe e shumës prej 200 miliardë dollarësh që kompanitë Alphabet, Amazon, Meta dhe Microsoft planifikojnë të investojnë në vitin 2024, do të shkojnë në nisma të lidhura me Inteligjencën Artificiale, duke u rritur me 45% nga viti i kaluar.

Thuhet se kompanitë Microsoft dhe OpenAI po planifikojnë 100 miliardë dollarë për projektin e quajtur Stargate. Disa ekspertë në Silicon Valley thonë se shumat e investimit mund të arrijnë në 1 trilion dollarë brenda dekadës.

Një infrastrukturë e tillë kërkon shumë energji. Në mars, kompania Amazon bleu një qendër të dhënash ngjitur me një central bërthamor, që mund ta furnizojë atë me një gigavat energji.

Investimi nuk shkon i gjithi për GPU-të. Pasi një model është trajnuar, ai duhet të përdoret. Vendosja e një pyetjeje në një sistem të Inteligjencës Artificiale, zakonisht kërkon rrënjën katrore të sasisë së llogaritjes së përdorur për ta trajnuar atë.

Kjo është një llogaritje shumë e ndërlikuar. Për aplikacionin GPT-3, i cili kërkonte 3 x 1023 FLOP për t’u stërvitur, një “konkluzion” tipik, mund të marrë 3 x 1011 FLOP.

Çipat e njohur si FPGA dhe ASIC, të përshtatur për të nxjerrë përfundime (konkluzione), mund të ndihmojnë për t’i bërë modelet e Inteligjencës Artificiale më efikase sesa me përdorimin e njësive GPU.

Sidoqoftë, është kompania Nvidia ajo që ka përfituar më tepër nga bumi i Inteligjencës Artificiale. Kompania tani vlen 2.8 trilionë dollarë, tetë herë më shumë se sa kur aplikacioni ChatGPT u hodh në treg në vitin 2022.

Pozicioni i saj mbizotërues në treg nuk mbështetet vetëm në njohuritë e grumbulluara gjatë prodhimit të GPU-së dhe aftësive për të mobilizuar shumë kapital (shefi i kompanisë Jensen Huang, thotë se çipat më të fundit të Nvidia-s, të quajtur Blackwell, kushtuan 10 miliardë dollarë për t’u zhvilluar).

Kompania gjithashtu përfiton nga zotërimi i softuerit të përdorur për të programuar çipat e saj. Ky softuer quhet CUDA dhe mbahet si standardi i industrisë. Dhe ka një pozicion kryesor në rrjetin që përdoret për të lidhur çipat së bashku.

Konkurrentët pretendojnë se çipat e Nvidia-s kanë disa dobësi. Rodrigo Liang i firmës SambaNova Systems thotë se çipat e Nvidia-s kanë disa disavantazhe që mund të gjurmohen në përdorimet e tyre fillestare në videolojëra. Një disavantazh veçanërisht i madh është kapaciteti i tyre i kufizuar për lëvizjen dhe fikjen e të dhënave (pasi një model i tërë nuk përmblidhet dot në një njësi GPU).

Cerebras, një tjetër konkurrent, reklamon një procesor me gjerësi 21.5 cm. Ndërsa GPU-të e tjera përmbajnë dhjetëra mijë “bërthama” që kryejnë llogaritje në të njëjtën kohë, ky procesor ka pothuajse një milion.

Kompania thotë se ai përdor vetëm gjysmën e energjisë së çipit më të mirë të Nvidia-s. Google ka krijuar “njësinë e përpunimit të tensorit” (TPU), që mund të përdoret si për trajnim, ashtu edhe për të nxjerrë konkluzione.

Modeli i tij Gemini 1.5 është në gjendje të gëlltisë tetë herë më shumë të dhëna njëherësh sesa aplikacioni GPT-4.

Vlera e madhe dhe në rritje e njësisë GPU është shfrytëzuar si një levë gjeopolitike. Megjithëse industria e çipave është globale, një numër i vogël vendesh kontrollojnë qasjen në nivelet më të larta të Inteligjencës Artificiale.

Çipat e Nvidia-s modelohen në Amerikë. Makineritë më të përparuara të litografisë në botë, të cilat kthejnë dizajnet në silic, janë bërë të gjitha nga ASML, një kompani holandeze me vlerë 350 miliardë dollarë.

Në këto makineri, kanë qasje vetëm punishtet më të përparuara në botë, si TSMC e Tajvanit, një firmë me vlerë rreth 800 miliardë dollarë dhe Intel e Amerikës. Kjo vlen dhe për shumë pajisje të tjera më të vogla, dhe në këtë grup të vogël të privilegjuar shtetesh, do të fusnim edhe Japoninë.

Këto kufizime kanë bërë të mundur që qeveria amerikane të vendosë kontrolle të ashpra dhe efektive mbi eksportin e çipave të përparuar në Kinë. Për rrjedhojë, kinezët po investojnë qindra miliarda dollarë për të krijuar zinxhirin e tyre të furnizimit me çipa.

Shumica e analistëve besojnë se Kina është ende disa vite prapa në këtë kërkim, por për shkak të investimeve të mëdha nga kompani si Huawei, ajo është përballur me kontrollet e eksportit shumë më mirë sesa priste Amerika.

Amerika po investon gjithashtu në këtë drejtim. Kompania TSMC, që shihet si shpresa që do të mbetet në rast se Kina vendos të pushtojë Tajvanin, po shpenzon rreth 65 miliardë dollarë për të ndërtuar fabrika në Arizona, ku rreth 6.6 miliardë dollarë janë dhënë si subvencione.

Shtete të tjera, si India (10 miliardë dollarë), Gjermania (16 miliardë dollarë), Japonia (26 miliardë dollarë), po rrisin investimet. Blerja e çipave të Inteligjencës Artificiale po bëhet gjithnjë e më e lehtë./ Monitor.al