Naar aanleiding van de nieuwe open-weight-modellen van OpenAI

OpenAI gooide eergisteren de deuren open voor twee forse taalmodellen: gpt-oss-20b en gpt-oss-120b. Dankzij een Apache 2.0-licentie én de mogelijkheid om ze volledig lokaal te draaien, lonkt een toekomst waarin gemeenten hun eigen AI kunnen hosten zonder een commerciële API-provider aan te spreken. Maar tussen krantenkop en praktijk ligt een wereld van nuance.

Lokaal draaien is niet automatisch beter

Dat gevoel van volledige regie is verleidelijk: de 20-miljard-variant past op een workstation met 16 GB VRAM, de 120B-editie in een datacenter met 80 GB GPU’s. Daarmee blijven persoonsgegevens ogenschijnlijk veilig achter de gemeentelijke firewall. Alleen: zelfs volgens OpenAI’s eigen benchmarktests blijven de open-weight-modellen duidelijk achter bij topklasse gesloten modellen zoals OpenAI o3, Anthropic Claude Opus 4.1 en Google Gemini 2.5. Verwacht dus vaker hallucinerende antwoorden, meer fine-tuning en extra validatierondes voordat het model ergens voor kan worden ingezet. Ook zal de output meer handmatig moeten worden aangepast voordat de tekst kan worden gebruikt in een officieel document.

Benchmarks zijn marketing, geen garantie

De eerste benchmarks zijn meestal synthetische tests of cherry-picking. Onafhankelijke reviewers klagen nu al over de performance en verwijten OpenAI “benchmaxxing” (het trainen van modellen op benchmarks zodat ze beter presteren in een test dan in realiteit, net zoals bij het emissieschandaal van Volkswagen maar dan met AI). Wil je weten of een model echt werkt voor Nederlandse beleidsstukken of om participatie-input te analyseren? Test het op je eigen data. Zet vervolgens de kosten op een rij: GPU’s, stroomverbruik, koeling, securitypatches en een team dat het model actief onderhoudt.

Vertrouwen als strategische keuze

Veel gemeenten draaien al lang applicaties in Microsoft Azure. Als de bulk van je data toch binnen die cloud leeft, kun je stellen dat het risico van een extra AI-dienst op dezelfde infrastructuur beheersbaar is—zeker als je werkt met private endpoints in EU-datacenters. Besluit je daarentegen dat data nooit de deur uit mag, dan zul je een kwaliteits- en kosten-trade-off moeten accepteren.

Een tussenvorm—een open-source-model runnen bij een externe (IaaS-)provider—lijkt soeverein, maar is het niet: je verplaatst het vertrouwensvraagstuk alleen van de softwareleverancier naar de hostingpartij. Vraag jezelf af wie er werkelijk beter is in 24/7 patchmanagement en DDoS-bescherming: jouw eigen IT-team, een regionale hoster of een hyperscaler met duizenden securityspecialisten?

Praktisch aan de slag

• Kies één duidelijk afgebakende use-case (bijv. raadsstukken samenvatten).

• Vergelijk open-weight met gesloten API’s op dezelfde promptset.

• Bereken de totale kosten—inclusief energie, hardwareafschrijving en beheercapaciteit.

• Leg governance vast: bias-tests, auditlogs, DPIA, rolverdeling tussen IT en inhoudelijke experts.

• Schaal stap voor stap op als baten de extra complexiteit rechtvaardigen.

Key takeaway

Open-source LLM’s geven gemeenten meer datasoevereiniteit, maar brengen (nu nog) lagere modelkwaliteit en hogere beheerlast mee. Ga pas volledig lokaal als die soevereiniteit cruciaal is én je de middelen hebt om modellen op grote schaal te runnen, continu te testen, finetunen en patchen; anders is een zorgvuldig afgeschermde clouddienst voorlopig de pragmatischere keuze.Is ‘opensource AI’ de weg voor gemeenten?
Naar aanleiding van de nieuwe open-weight-modellen van OpenAI

OpenAI gooide eergisteren de deuren open voor twee forse taalmodellen: gpt-oss-20b en gpt-oss-120b. Dankzij een Apache 2.0-licentie én de mogelijkheid om ze volledig lokaal te draaien, lonkt een toekomst waarin gemeenten hun eigen AI kunnen hosten zonder een commerciële API-provider aan te spreken. Maar tussen krantenkop en praktijk ligt een wereld van nuance.

Lokaal draaien is niet automatisch beter

Dat gevoel van volledige regie is verleidelijk: de 20-miljard-variant past op een workstation met 16 GB VRAM, de 120B-editie in een datacenter met 80 GB GPU’s. Daarmee blijven persoonsgegevens ogenschijnlijk veilig achter de gemeentelijke firewall. Alleen: zelfs volgens OpenAI’s eigen benchmarktests blijven de open-weight-modellen duidelijk achter bij topklasse gesloten modellen zoals OpenAI o3, Anthropic Claude Opus 4.1 en Google Gemini 2.5. Verwacht dus vaker hallucinerende antwoorden, meer fine-tuning en extra validatierondes voordat het model ergens voor kan worden ingezet. Ook zal de output meer handmatig moeten worden aangepast voordat de tekst kan worden gebruikt in een officieel document.

Benchmarks zijn marketing, geen garantie

De eerste benchmarks zijn meestal synthetische tests of cherry-picking. Onafhankelijke reviewers klagen nu al over de performance en verwijten OpenAI “benchmaxxing” (het trainen van modellen op benchmarks zodat ze beter presteren in een test dan in realiteit, net zoals bij het emissieschandaal van Volkswagen maar dan met AI). Wil je weten of een model echt werkt voor Nederlandse beleidsstukken of om participatie-input te analyseren? Test het op je eigen data. Zet vervolgens de kosten op een rij: GPU’s, stroomverbruik, koeling, securitypatches en een team dat het model actief onderhoudt.

Vertrouwen als strategische keuze

Veel gemeenten draaien al lang applicaties in Microsoft Azure. Als de bulk van je data toch binnen die cloud leeft, kun je stellen dat het risico van een extra AI-dienst op dezelfde infrastructuur beheersbaar is—zeker als je werkt met private endpoints in EU-datacenters. Besluit je daarentegen dat data nooit de deur uit mag, dan zul je een kwaliteits- en kosten-trade-off moeten accepteren.

Een tussenvorm—een open-source-model runnen bij een externe (IaaS-)provider—lijkt soeverein, maar is het niet: je verplaatst het vertrouwensvraagstuk alleen van de softwareleverancier naar de hostingpartij. Vraag jezelf af wie er werkelijk beter is in 24/7 patchmanagement en DDoS-bescherming: jouw eigen IT-team, een regionale hoster of een hyperscaler met duizenden securityspecialisten?

Praktisch aan de slag

• Kies één duidelijk afgebakende use-case (bijv. raadsstukken samenvatten).

• Vergelijk open-weight met gesloten API’s op dezelfde promptset.

• Bereken de totale kosten—inclusief energie, hardwareafschrijving en beheercapaciteit.

• Leg governance vast: bias-tests, auditlogs, DPIA, rolverdeling tussen IT en inhoudelijke experts.

• Schaal stap voor stap op als baten de extra complexiteit rechtvaardigen.

Key takeaway

Open-source LLM’s geven gemeenten meer datasoevereiniteit, maar brengen (nu nog) lagere modelkwaliteit en hogere beheerlast mee. Ga pas volledig lokaal als die soevereiniteit cruciaal is én je de middelen hebt om modellen op grote schaal te runnen, continu te testen, finetunen en patchen; anders is een zorgvuldig afgeschermde clouddienst voorlopig de pragmatischere keuze.