Pre dve godine lokalni AI je za većinu ljudi značio kompromis: manji model, komplikovan setup i dosta strpljenja.
Danas je slika drugačija.
Ne zato što je svaki laptop odjednom postao data centar, nego zato što su se tri stvari istovremeno pomerile: modeli su efikasniji, runtime-i su zreliji, a običan korisnički hardver postao je ozbiljnija AI platforma.
LM Studio danas podržava Apple Silicon, Windows i Linux, a za ozbiljniji rad preporučuje najmanje 16 GB RAM-a.[1] Ollama je tokom 2026. dodatno proširio lokalni put: na Apple Silicon-u koristi MLX, a kroz GGUF/llama.cpp povećava kompatibilnost sa modelima i hardverom.[2][3]
To još uvek ne znači da „sve može lokalno“.
Ali znači da lokalni AI više nije samo hobi.
Lokalno više ne znači samo chat
Najveća promena nije u tome što možemo da otvorimo model i razgovaramo sa njim bez clouda.
Veća promena je što lokalni runtime sada može da postane infrastrukturna komponenta.
LM Studio, na primer, može da posluži lokalni model preko OpenAI-kompatibilnog API endpointa.[4] To znači da isti model više ne mora da živi samo u jednom chat prozoru. Može da postane servis koji koriste:
- lokalni alati,
- skripte,
- editor koda,
- RAG pipeline,
- agentni sistemi,
- desktop aplikacije,
- automatizovani workflow-i.
U toj tački lokalni model prestaje da bude „aplikacija“ i počinje da liči na lokalni AI servis.
Prva granica je memorija
Kod lokalnih modela marketing često počinje brojem parametara.
Praktičan rad počinje memorijom.
Model mora da stane u raspoloživu memoriju zajedno sa kontekstom, KV cache-om i runtime overhead-om. Zbog toga isti računar može veoma udobno da pokreće jedan model, a da se muči sa sledećom većom klasom.
LM Studio čak nudi procenu memorijskih zahteva pre učitavanja modela, uz faktore kao što su context length i GPU konfiguracija.[5]
To je korisnija metrika od pitanja:
„Koji je najveći model koji mogu da otvorim?“
Bolje pitanje je:
„Koji model mogu stabilno da držim u radu sa kontekstom i alatima koji su mi stvarno potrebni?“
Kvantizacija je omogućila desktop AI
Jedan od ključnih razloga zbog kojih lokalni AI danas radi na mnogo širem spektru uređaja jeste kvantizacija.
Umesto da se svi parametri čuvaju u punoj preciznosti, modeli se mogu distribuirati u kompaktnijim formatima. GGUF i različite 4-bitne varijante postale su standardan deo desktop AI ekosistema.
To nije besplatna optimizacija.
Manja preciznost može da znači i pad kvaliteta, a izbor kvantizacije menja odnos između memorije, brzine i kvaliteta izlaza.
Ali praktičan rezultat je ogroman: modeli koji bi u punoj preciznosti bili nepraktični za lični računar postaju upotrebljivi na potrošačkom hardveru.
Ollama je u junu 2026. objavio proširenu GGUF podršku kroz llama.cpp, uz širu hardversku kompatibilnost i poboljšanja performansi.[2]
Apple Silicon ima posebnu prednost
Apple Silicon je zanimljiv za lokalni AI zbog unified memory arhitekture.
CPU i GPU dele isti memorijski prostor, pa sistem može da koristi veliki deo ukupne memorije bez klasične podele između sistemskog RAM-a i zasebnog VRAM-a.
Ollama je tokom 2026. počeo da koristi MLX kao svoj Apple Silicon put i navodi značajna ubrzanja za lokalno izvršavanje modela.[3]
To ne znači da je Mac automatski najbolji izbor za svaki workload.
NVIDIA GPU i dalje ima snažan ekosistem i ogroman softverski momentum, posebno kada su potrebni CUDA alati, treniranje ili specifične optimizacije.
Ali za tiho desktop izvršavanje velikih kvantizovanih modela, velika unified memory konfiguracija ima vrlo praktičnu prednost: model može da stane u memoriju bez kupovine zasebnog profesionalnog GPU-a sa istom količinom VRAM-a.
Windows i Linux više nisu sporedni put
Lokalni AI se više ne vrti samo oko jednog hardverskog ekosistema.
LM Studio podržava x64 i ARM64 Windows i Linux sisteme.[1] Ollama je proširio GPU podršku, uključujući Vulkan put za širi spektar AMD i Intel hardvera.[2]
To je važno zato što lokalni AI ne treba posmatrati kao jedan proizvod.
To je sloj infrastrukture koji se seli na više tipova uređaja:
- Mac workstation,
- Windows desktop sa NVIDIA GPU-om,
- Linux workstation,
- manji server,
- pa čak i mobilni uređaj u eksperimentalnim konfiguracijama.
Lokalno izvršavanje sve više postaje pitanje odabira runtime-a i modela, a sve manje egzotičnog hakovanja.
Privatnost je prednost — ali ne automatska garancija
Ako model radi lokalno, prompt i dokumenti ne moraju da napuste uređaj.
To je ogromna prednost za privatne dokumente, interne poslovne podatke i okruženja gde cloud obrada nije poželjna ili dozvoljena.
Ali „local“ ne znači automatski „secure“.
Aplikacija može da ima telemetry. Agent može da koristi mrežne alate. Plugin ili MCP server može da šalje podatke eksternom servisu. Model može da čita lokalne fajlove koje nije trebalo da dobije.
Zato ozbiljna lokalna AI arhitektura mora da pita:
- da li runtime ima mrežni pristup,
- koji direktorijumi su dostupni,
- koji alati su povezani,
- ko može da odobri spoljašnju akciju,
- šta se loguje,
- šta napušta uređaj.
LOCAL ≠ ISOLATED. ISOLATED ≠ AUTHORIZED.
Lokalni model može da bude agent — ali to menja rizik
Kada lokalnom modelu dodamo alate, file access i automatizovane petlje, dobijamo isti problem koji smo opisali u ARTICLE-001.
Model može da bude lokalno izvršen, a da i dalje ima ozbiljna spoljašnja ovlašćenja.
Ako lokalni agent može da:
- menja fajlove,
- izvršava shell komande,
- poziva browser,
- šalje email,
- objavljuje sadržaj,
onda privatnost inference-a više nije jedina tema.
Tema postaje governed execution.
Lokalni model može da bude izvršni motor, ali authority gate i dalje mora da bude odvojen od modela.
Šta je danas realno
Za većinu ljudi najrealniji lokalni AI workload nije „zameni sve cloud modele“.
Realniji cilj je:
- držati privatne dokumente lokalno,
- koristiti manji ili srednji model za svakodnevni rad,
- koristiti lokalni endpoint za aplikacije i agente,
- slati samo teže zadatke ka većim cloud modelima kada je to dozvoljeno i potrebno,
- držati kontrolu nad tim kada i zašto podaci napuštaju uređaj.
To je hibridni model, ali sa lokalnim sistemom kao prvom stanicom.
Najvažnija promena
Lokalni AI je dugo bio predstavljen kao ideološka alternativa cloudu.
Danas postaje praktična arhitektonska opcija.
Možemo da biramo gde inference živi. Možemo da vežemo lokalni model za sopstvene alate. Možemo da gradimo sisteme u kojima osetljivi dokumenti ostaju na računaru.
Ali još važnije: možemo da dizajniramo sistem u kojem cloud nije podrazumevana destinacija za svaki prompt.
To je možda prava revolucija lokalnog AI-ja.
Ne da desktop pobedi data centar.
Nego da korisnik ponovo dobije pravo da odluči:
šta ostaje lokalno, šta ide u cloud i ko ima authority da pređe tu granicu.
Izvori
[1] LM Studio, *System Requirements*. [2] Ollama, *Improved performance and model support with GGUF*, 5. jun 2026. [3] Ollama, *Ollama's highest performance on Apple Silicon yet with MLX*, 11. jun 2026. [4] LM Studio Docs, *Welcome to LM Studio Docs*. [5] LM Studio Docs, *lms load — Estimate resources without loading*.