Kiemelt gondolat
„Az AI jövője nem az, hogy négy nagyvállalat egy virginiai adatközpontból, tokenenként számlázva adja bérbe nekünk az intelligenciát. A valódi eredmény az, hogy az intelligencia közönséges árucikké válik: olyan modellek lesznek széles körben hozzáférhetők, amelyek a feladatok 95 százalékára megfelelően működnek, ingyen letölthetők, a saját gépünkön futnak, és nem függenek senkitől. […] Ezért nem az a legfontosabb kérdés, hogy kinek van a legjobb modellje, hanem az, hogy ha a modellek ingyenessé válnak, milyen gépeken fognak futni?”
Kontextus
A mesterséges intelligencia fejlődéséről szóló közbeszédet jelenleg két kérdéskör határozza meg: ki fejleszti a legjobb modelleket, illetve ki gyártja az ezek betanításához szükséges nagy teljesítményű chipeket. A piaci előrejelzések szerint azonban ez a megközelítés félrevezető lehet, mert az MI következő szakaszában nem feltétlenül a modelltréning, hanem a modellek mindennapi futtatása válhat a meghatározó kérdésé.
Összefoglaló
Az MI-jártasság képzésével foglalkozó szerző alapállítása szerint az MI-piacról kialakított hagyományos kép hamarosan megváltozhat. Miközben jelenleg a legjobb modellek és az azok betanításához szükséges grafikus feldolgozóegységek (GPU-k) határozzák meg a versenyt, a nyílt súlyú modellek gyors fejlődése miatt egyre fontosabbá válhat, hogy hol és milyen hardveren futnak majd ezek a modellek. A szerző szerint a nyílt modellek teljesítménye gyorsan közelít a zárt rendszerekéhez, ami az MI egy részének decentralizálódása felé mutathat. Mint olvasható, a nagyméretű modellek futtatásánál nem feltétlenül a számítási teljesítmény, hanem a rendelkezésre álló memória jelenti a legfontosabb korlátot. A szerző ezért különösen jelentősnek tartja az Apple egységesmemória-architektúráját és az MLX keretrendszert, amelyek lehetővé teszik nagy modellek helyi futtatását, illetve több Mac összekapcsolását. Érvelése szerint ez a megoldás bizonyos MI-feladatoknál lényegesen olcsóbb és energiahatékonyabb lehet a több professzionális GPU-ból álló rendszereknél.
A szerző ebből egy szélesebb piaci következtetést von le, miszerint a mesterséges intelligencia jövője részben elmozdulhat a nagy, központosított adatközpontoktól a helyi, saját tulajdonú MI-rendszerek felé. Ebben az adatbiztonság és a magánszféra mellett az energia- és infrastruktúraköltségek is szerepet játszhatnak. Az NVIDIA továbbra is meghatározó maradhat a nagy modellek tréningjében, a CUDA ökoszisztéma pedig fontos előnyt jelenthet, de a szerző szerint az inference (az MI-modellek mindennapi futtatásának) decentralizációja új versenyhelyzetet teremthet, amelyben az Apple hardveres megközelítése különösen relevánssá válhat.
