Nye processorer har særlige AI-enheder, og mindre sprogmodeller kan nu køre direkte på en bærbar. Fordelene er lav ventetid og bedre kontrol over data.

Kort fortalt

Lokal AI erstatter ikke cloudtjenester endnu, men den er blevet et praktisk supplement til private dokumenter og gentagne hverdagsopgaver.

Det vigtigste først

Lokal transskription, billedsøgning og tekstforslag fungerer allerede godt. De bedste resultater kommer fra afgrænsede opgaver, hvor modellen ikke behøver aktuelle oplysninger fra nettet.

I praksis

Producenternes TOPS-tal kan ikke sammenlignes ukritisk. Hukommelse, software og modellens størrelse bestemmer ofte oplevelsen mere end AI-enhedens maksimale regnekraft.

Konklusion

Lokal AI erstatter ikke cloudtjenester endnu, men den er blevet et praktisk supplement til private dokumenter og gentagne hverdagsopgaver.