Waarom ik AI nooit het laatste woord geef

Er is een verschil tussen een systeem dat iets voorstelt en een systeem dat iets doet.

Dat verschil is een regel code. Het is ook het enige punt in een AI-functie waar het echt mis kan gaan, en het wordt zelden bewust genomen.

Voorstellen en beslissen

Een model dat een concept-antwoord klaarzet dat iemand nog goedkeurt: prima. Een model dat inkomende mail sorteert en een suggestie bovenaan legt: prima. Een model dat een offerte opstelt waar jij je naam onder zet: prima.

Een model dat de mail zelf verstuurt, de factuur zelf goedkeurt, de aanvraag zelf afwijst: daar wordt het iets anders. Niet omdat het niet kan, maar omdat de fout dan niemand meer passeert.

Zodra er geen mens meer tussen zit, is de kwaliteit van het model de kwaliteit van je bedrijf.

Waarom 95 procent te weinig is

Dit is het getal waar mensen over struikelen. Een model dat in 95 van de 100 gevallen goed zit, klinkt uitstekend.

Zet dat op een handeling die honderd keer per dag gebeurt, en je hebt vijf fouten per dag. Elke dag. Zonder dat iemand ze ziet, want ze zien er precies zo uit als de andere vijfennegentig.

En het zijn niet vijf willekeurige fouten. Het zijn steeds dezelfde vijf: het ongewone geval, de klant met de rare naam, de aanvraag die net buiten het patroon valt. Precies de gevallen waar een mens direct had gezien dat er iets niet klopte.

Vergelijk dat met een gewone berekening. Een btw-optelling zit er nul keer naast, ook op de honderdduizendste regel. Waar een deterministische functie volstaat, is een taalmodel niet vooruitstrevend maar onbetrouwbaar.

Wat ik in de praktijk inbouw

Als er toch een model in de keten zit, dan met een paar dingen eromheen.

• Een goedkeurstap bij alles wat naar buiten gaat. Mail, facturen, publicaties. Voorstellen mag automatisch, versturen niet.
• Een grens op de gevolgen. Bedragen boven een drempel, klanten met een uitzondering, alles wat onomkeerbaar is: dat gaat langs een mens.
• Zichtbaar maken dát het model het deed. Als je achteraf niet kunt zien welke regel door AI is aangemaakt, kun je ook niet terugvinden wat er misging.
• Een uitweg. Antwoordt de dienst niet, of komt er iets terug dat niet klopt van vorm, dan gaat het naar de wachtrij en niet door.

Dat is dezelfde denkwijze als bij een eerste versie die maar één ding doet: begin met de kleinste vorm die werkt, en breid uit op wat je ziet gebeuren.

De vraag die overblijft

Niet "kan AI dit". Meestal wel.

De vraag is: als dit een keer fout gaat, wie merkt het dan, en hoe lang duurt dat? Kun je die twee niet beantwoorden, dan is het te vroeg voor automatisch.

Ik gebruik AI volop. Het schrijft mee, het denkt mee, het scheelt me uren per week. Maar mijn naam staat onder het eindresultaat, en dan kan de laatste stap niet ergens anders liggen.

---

Zie ook: Waarom AI-code alsnog nagekeken moet worden en Waarom de eerste versie van je webapp maar één ding moet doen. Iets bouwen waarin automatisering en controle allebei kloppen? Bekijk hoe ik webapps bouw.