Linux u tišini pokreće umjetnu inteligenciju, ali i poslove budućnosti

Moderna umjetna inteligencija započela je kao open source i radila je na Linuxu, koji je postao temelj na kojem se gradi cijeli moderni AI stack. Od hiperskalnih klastera za treniranje do edge uređaja za inferenciju - sve je Linux od vrha do dna.

Naime, AI je zapravo zbirni rezultat vrlo prozaične infrastrukture - superračunala, GPU farme i cloud klasteri koji gotovo svi pokreću neku verziju Linuxa. Temeljni okviri za strojno učenje, kao TensorFlow, PyTorch, scikit-learn i drugi, prvo su razvijeni i optimizirani na Linuxu. Alati oko njih, od Jupytera i Anaconde do Dockera i Kubernetesa, također su optimizirani za Linux. Zašto?

Zato što se AI u praksi implementira upravo na Linuxu, gdje istraživači i inženjeri u produkciji stvarno pokreću modele. Budući IT poslovi živjet će i umirati na Linuxu. Naime, AI radi na Linuxu jer je to najfleksibilnije, najsnažnije i najskalabilnije okruženje za GPU-intenzivne, distribuirane radne zadatke koje moderna AI zahtijeva. Osim toga, cijeli ekosustav alata i clouda standardiziran je na Linuxu.

Da, svaka AI platforma, bilo OpenAI, Copilot, Perplexity, Anthropic ili vaš omiljeni AI chatbot, izgrađena je na Linuxu, uz drivere, biblioteke i orkestraciju, sve povezano na različite načine. Vlasnički dijelovi dobivaju branding, ali bez Linuxa ne postoje. To se prevodi u više Linux poslova.

Kako navodi Linux Foundationovo izvješće State of Tech Talent, AI potiče neto povećanje tehnoloških poslova, posebno Linux poslova. Prema izvješću, AI preoblikuje uloge umjesto da ih eliminira, što dovodi do promjena u potražnji za vještinama i novih prilika za rast radne snage.

Osim rasta poslova u administraciji Linux sustava i mreža, portal Linux Careers vidi brzo rastući trend profesionalaca koji kombiniraju Linux znanje s operacijama umjetne inteligencije i strojnog učenja. Novi AI/Linux poslovi uključuju AI Operations Specialist, MLOps Engineer, ML Engineer i DevOps/AI Engineer.

Naravno, distributeri Linuxa sve to znaju, pa prilikom izdavanja novih distribucija naglašavaju AI značajke. Primjerice, Canonical i Red Hat utrkuju se u pozicioniranju svojih Linux distribucija na Nvidijinoj novoj Vera Rubin AI superračunalnoj platformi. Utrka je u tijeku kako bi se osvojio operativni sustav sloja gigaskalnih AI tvornica.

Red Hat uvodi Red Hat Enterprise Linux (RHEL) za Nvidiju. Ovo prilagođeno izdanje RHEL-a optimizirano je posebno za Rubin platformu, uključujući Vera Rubin NVL72 rack-scale sustave. Tvrtka navodi da će ova verzija imati Day 0 podršku za Vera CPU, Rubin GPU-ove i Nvidia CUDA X stack, s validiranim OpenRM driverima i alatima isporučenima izravno kroz Red Hat repozitorije.

Ukratko, kernel je tijekom posljednjeg desetljeća preuređen da postane operativni sustav za AI hardverske akceleratore. Jedan od najvažnijih čimbenika je heterogeno upravljanje memorijom (Heterogeneous Memory Management). To omogućuje integraciju memorije uređaja, poput GPU VRAM-a, u Linuxov virtualni memorijski sustav.

U kombinaciji s DMA-BUF-om i NUMA optimizacijom, to omogućuje AI sustavima da drže tenzore blizu akceleratora i smanje kopiranje podataka, koje usporava performanse.

Noviji kerneli također tretiraju napredne CPU-GPU kombinacije kao građane prve klase, omogućujući migraciju memorije između CPU RAM-a i GPU memorije visoke propusnosti po potrebi. Kako je Nvidia objasnila, to omogućuje CPU-u i GPU-u da dijele jednu tablicu stranica po procesu, što omogućuje svim CPU i GPU threadovima pristup cijeloj memoriji sustava.

Linux sada ima poseban podsustav za računalne akceleratore koji izlaže GPU-ove, TPU-ove i prilagođene AI ASIC-ove vašim AI i ML programima. GPU podrška je sazrela od grafičke orijentacije do računalne, putem DRM-a, otvorenih stackova poput ROCm i OpenCL-a te Nvidia CUDA drivera.

Kernel sada podržava novije AI akceleratore poput Intel Habana Gaudi, Google Edge TPU i FPGA/ASIC ploča, s driverima i bus apstrakcijama. To omogućuje da PyTorch ili TensorFlow vide te uređaje kao još jedan hardver. Zato proizvođači AI silicija danas podrazumijevaju da će Linux raditi na njemu.

Linuxov scheduler EEVDF, real-time scheduler i NUMA balansiranje optimizirani su za AI radne zadatke, kako bi CPU-i bili pinned, izolirali bučne susjede i hranili akceleratore bez jittera. Rad na povećanju kernel timer frekvencije s 250 Hz na 1000 Hz već pokazuje mjerljivo ubrzanje LLM-ova uz zanemariv porast potrošnje energije.

Neke distribucije, poput Ubuntu low-latency kernela, već nude to kao standardnu opciju.

Moderni kerneli omogućuju GPU-ovima izravan pristup memoriji, pohrani i drugim uređajima putem tehnologija poput Nvidia GPUDirect i peer-to-peer DMA. U kombinaciji s CXL-om i poboljšanim IOMMU-om, akceleratori mogu zaobići CPU pri prijenosu podataka, uklanjajući uska grla koja su prije usporavala ML treniranje.

Ova nevidljiva infrastruktura razlog je zašto se AI klasteri mogu skalirati bez kolapsa zbog I/O opterećenja.

Sve to znači da, kada rukovoditelji govore o AI strategiji, ne spominju neglamuroznu stvarnost - AI strategija zapravo ovisi o upravljanju Linuxom u velikim razmjerima. Radi se o patchiranju kernela, učvršćivanju kontejnera i osiguravanju neprozirnih radnih opterećenja. AI dobiva naslove u medijima, ali Linux je i dalje operativni sustav koji obavlja pravi posao.