Heb je echt een model van 175 miljard parameters nodig om een e-mail te klasseren of een datum uit een factuur te halen? In 2026 is het antwoord nee. Drie families van technieken (kwantisatie, distillatie, snoeien) verkleinen een taalmodel met een factor 4 tot 10, delen de inferentiekost in dezelfde mate, en laten het draaien op een gewone server, een pc, soms een telefoon. Het is de overgang van demo-AI naar productie-AI, die een budget en een latentie moet respecteren.
Een groot generiek model imponeert in een demo, maar in productie kost het veel: schaarse GPU's, veel geheugen, latentie, een API-factuur die stijgt met het volume. De meeste bedrijfstaken (klasseren, extraheren, samenvatten, routeren, antwoorden op basis van een documentenbank) gebruiken slechts een fractie van die kracht. De inzet is niet het grootste model, maar het kleinste model dat de klus klaart.
Drie hefbomen verkleinen omvang en kost zonder van nul te beginnen: de kwantisatie (de precisie van de getallen verlagen), de distillatie (kennis van een groot model overdragen naar een klein) en het snoeien (verwijderen wat niet dient). Je kan ze op eenzelfde model combineren.
Kwantisatie is de snelste hefboom. Een model van 16 bits (FP16) naar 4 bits (INT4) brengen deelt de geheugenvoetafdruk door vier, ofwel 75 % minder geheugen, met een precisieverlies dat vaak onder 1 % blijft met methoden als GPTQ of AWQ. Een model van 7 miljard parameters gaat zo van ongeveer 14 GB naar minder dan 5 GB, en past op een consumentenkaart.
Vier benaderingen overheersen, plus een inferentietruc. De meeste zijn beschikbaar als open tools, wat ze binnen het bereik van een bescheiden team brengt.
De precisie van de gewichten verlagen: van 32 of 16 bits naar 8, 4 of minder. INT4 deelt het geheugen door 4. Het verlies blijft klein met GPTQ en AWQ.
75 % minder geheugenEen groot model (de leraar) traint een klein model (de leerling) om zijn antwoorden na te bootsen. DistilBERT: 40 % kleiner, 60 % sneller.
97 % prestatie behoudenGewichten, neuronen of attentiekoppen verwijderen die weinig bijdragen. Het model vermagert zonder zware hertraining.
lichter netwerkModellen die vanaf het begin klein ontworpen zijn (Phi, Gemma, Llama 3.2 1B/3B), vaak beter dan een groot model op een gerichte taak.
1 tot 8 mld paramsEen klein model stelt voor, een groot model verifieert. De generatie versnelt zonder de eindkwaliteit te wijzigen.
snellere generatieKwantisatie verlaagt het aantal bits dat gebruikt wordt om elk gewicht van het model op te slaan. Een gewicht in 16-bits drijvende komma wordt een geheel getal van 8 of 4 bits. Het geheugen daalt evenredig: INT8 deelt door twee, INT4 door vier. Minder geheugen betekent minder GPU's, modellen die op bescheiden hardware passen, en snellere inferentie.
De voor de hand liggende vraag is het kwaliteitsverlies. Twee methoden maken het verwaarloosbaar. GPTQ (Frantar et al., ICLR 2023) kwantiseert laag per laag door de fout te minimaliseren, tot het punt dat een model van 175 miljard parameters in 3 bits op één enkele GPU draait. AWQ (Lin et al., MLSys 2024, prijs voor beste artikel) vertrekt van een vaststelling: ongeveer 1 % van de gewichten draagt het grootste deel van de prestatie. Door ze te beschermen wordt 4-bits kwantisatie nagenoeg verliesvrij.
Distillatie traint een klein model (de leerling) om een groot model (de leraar) na te bootsen, niet op ruwe labels maar op de waarschijnlijkheidsverdelingen van de leraar, rijker aan informatie. Het grondleggende geval, DistilBERT (Hugging Face, 2019), behoudt 97 % van BERT's begripscapaciteiten met 40 % minder parameters (66 miljoen tegenover 110) en een 60 % snellere inferentie.
De techniek nam een sprong in 2025 met DeepSeek-R1. De auteurs distilleerden de redeneervaardigheden van het grote model naar Qwen- en Llama-modellen van 1,5 tot 70 miljard parameters, vertrekkend van ongeveer 800 000 geverifieerde redeneertrajecten. Resultaat: de gedistilleerde versie van 32 miljard wedijvert met veel zwaardere productiemodellen op wiskunde- en code-benchmarks.
Comprimeren is niet gratis. Een te agressieve kwantisatie tast complexe redeneer- en wiskundetaken sneller aan dan klassering of samenvatting. Een gedistilleerd model erft de grenzen en de vertekeningen van zijn leraar. De regel: kies het compressieniveau volgens de taak, en meet de kwaliteit op je eigen data vóór de ingebruikname.
Het economische argument is direct. Volgens NVIDIA kost het serveren van een klein model van 7 miljard parameters 10 tot 30 keer minder dan een model van 70 tot 175 miljard, vraagt het minder GPU's en specialiseert het zich in enkele uren in plaats van weken. Bij een hoog aantal oproepen (een agent die duizenden aanvragen per dag verwerkt) wordt het factuurverschil doorslaggevend.
Een 4-bits model past op een consumentenkaart of een bescheiden server. Geen schaarse, dure GPU's meer reserveren voor eenvoudige taken.
10 tot 30 keer goedkoper te serveren, dat is het verschil tussen een pilot die een pilot blijft en een systeem op schaal.
De markt volgt deze kanteling. Geschat op 7,76 miljard dollar in 2023, zou de markt van kleine taalmodellen 20,7 miljard bereiken in 2030, een jaarlijkse groei van 15,1 % (Grand View Research).
Facturen, contracten, formulieren lezen: een klein gekwantiseerd model volstaat, en draait op locatie zonder de data naar buiten te sturen.
op locatieVeelvoorkomende aanvragen met hoog volume klasseren, routeren en beantwoorden, zonder ontploffende API-factuur.
hoog volumeGecomprimeerde modellen op pc, industriële gateway of telefoon, zonder permanente cloudverbinding.
offlineEen agent die tools aanroept heeft geen gigantisch model nodig: een snelle SLM doet het essentiële werk.
10 tot 30× goedkoperVoor een Belgische kmo of industrieel raakt modelcompressie twee zenuwen. Eerst de kost: een gekwantiseerd model draait op betaalbare hardware, wat AI toegankelijk maakt zonder onbeperkt cloudbudget. Daarna de soevereiniteit: een klein model dat op locatie draait verwerkt de data intern, zonder ze buiten de Europese Unie te sturen, in de logica van dataminimalisatie van de AVG.
Governance blijft nodig. Een gecomprimeerd model dat beslissingen voedt moet gedocumenteerd en opgevolgd worden: onder de EU AI Act, bewaar het spoor van de data, bewaak de drift en houd een mens in de lus bij gevoelige afwegingen. Een kleiner model, beter beheerst en bij u gehost, is vaak eenvoudiger te besturen dan een groot model op afstand.
Een licht model draait op locatie: de data blijft intern en verlaat de EU niet.
Compressie brengt AI binnen het bereik van kmo-budgetten, zonder afhankelijk te zijn van een variabele cloudfactuur.
Definieer precies het werk (klasseren, extraheren, samenvatten). De meeste taken vragen geen gigantisch model.
Vergelijk een SLM in 4 bits (Llama 3.2, Phi, Gemma) met je huidige oplossing, op je eigen data.
Kwantificeer de precisie op de taak, de kost per aanvraag en de responstijd, en beslis over het juiste compromis.
In productie op locatie of soevereine cloud, met driftbewaking en menselijke validatie bij gevoelige gevallen.
Molderez Consult helpt Belgische bedrijven om efficiënte AI-modellen te kiezen, te comprimeren en te implementeren, op locatie en tegen een beheerste kost.
Praten over mijn use case