Waar een mens ertussen hoort te blijven

De angst is concreet: een systeem leest een factuur verkeerd, boekt hem in, en niemand ziet het tot de leverancier belt. Of erger, niemand belt, en het verkeerde bedrag is betaald. Wie voor het eerst een deel van de administratie uit handen geeft aan software, wil daarom meestal één ding: dat er een mens naar kijkt voordat iets de deur uitgaat. Alles. Altijd.

Dat is een begrijpelijke wens en een slechte inrichting. "Alles controleren" en "niets controleren" zijn allebei een keuze met een prijs, en de goede keuze ligt er bijna altijd tussenin. Waar precies, is uit te rekenen. Hieronder staat die som voor één typisch proces, met alle aannames erbij, zodat u hem met uw eigen getallen kunt overdoen.

Het proces en de aannames

Het voorbeeld is het inboeken van inkoopfacturen. Software haalt de PDF uit de mailbox, leest leverancier, factuurnummer, bedragen en btw uit, en zet de boeking klaar. Bij elk uitgelezen veld hoort een zekerheidsscore: hoe zeker het model is dat het goed gelezen heeft. Op de pagina over techniek staat de regel die daarbij hoort: bij lage zekerheid gaat het naar een mens in plaats van door.

De vraag is dan waar "laag" begint. Daarvoor zijn vijf getallen nodig, hier allemaal aangenomen; verderop staat hoe u de echte vindt.

Het volume: 400 inkoopfacturen per maand. Het uurtarief van de controleur: 45 euro, als loonkosten inclusief werkgeverslasten, niet als brutoloon. De controlestap: twee minuten per factuur, dus 1,50 euro. Dat is de PDF naast de klaargezette boeking bekijken en op akkoord drukken. De kosten van een doorgelaten fout: 75 euro, een berekende indicatie voor één uur herstelwerk (opzoeken, corrigeren, leverancier bellen, creditnota verwerken) plus een kleine opslag voor de fouten die geld kosten in plaats van tijd.

Het vijfde getal is niet één getal maar een verdeling: hoeveel facturen in welke zekerheidsband vallen, en hoe vaak het model het daar werkelijk mis heeft. De aanname hier:

Zonder enige controle gaan er in dit voorbeeld dus 16,48 fouten per maand de boekhouding in. De verdeling is verzonnen om mee te rekenen; hoe uw eigen verdeling eruitziet, weet u pas na meten.

De som per drempel

Met die getallen is de vraag "waar leg ik de drempel" een optelsom van twee posten: wat de controle kost, en wat de fouten kosten die er doorheen glippen. Aangenomen dat de mens die controleert elke fout vindt die hem wordt voorgelegd (een aanname die verderop sneuvelt):

Bedragen in euro per maand, berekende indicatie op de aannames hierboven; de foutkosten zijn het aantal fouten maal 75 euro.

Twee dingen vallen op. "Alles controleren" is in dit voorbeeld ruim twee keer zo duur als de beste drempel, en "niets controleren" ruim vier keer. En het omslagpunt is niet toevallig. Een band moet naar een mens zodra de foutkans in die band groter is dan de controlekosten gedeeld door de foutkosten. Hier is dat 1,50 gedeeld door 75, dus 2 procent. De band van 0,90 tot 0,98 zit op 4 procent en verdient controle; de band erboven zit op een half procent en niet. Die vuistregel is het enige wat u uit dit stuk hoeft te onthouden, want hij blijft staan als de getallen veranderen.

En ze veranderen. Kost een doorgelaten fout geen 75 maar 20 euro, omdat het om een interne correctie gaat die de boekhouder toch al ziet bij het afletteren, dan wordt het omslagpunt 7,5 procent en schuift de drempel naar 0,90. Kost een fout 500 euro, omdat het gaat om het rekeningnummer waar het geld naartoe gaat, dan wordt het omslagpunt 0,3 procent en hoort zelfs de hoogste band naar een mens. De drempel is daarom geen instelling van de software maar een afspraak per veld: het bedrag mag bij een hoge score door, het rekeningnummer nooit zonder ogen.

Wat de tabel niet vangt

De zwakste aanname staat boven de tweede tabel: dat de mens elke fout vindt die hem wordt voorgelegd. Dat klopt niet, en het klopt minder naarmate hij er meer krijgt.

Daar is in meerdere studies en een systematisch overzicht naar gekeken. Parasuraman en Riley beschreven in 1997 het patroon dat zij misuse noemen: overmatig vertrouwen op automatisering, dat kan uitmonden in falend toezicht en scheve beslissingen. Skitka, Mosier en Burdick lieten het in 1999 zien in een gesimuleerde vliegtaak: proefpersonen mét een zeer betrouwbaar maar niet perfect hulpsysteem presteerden op een bewakingstaak slechter dan proefpersonen zonder. Ze misten gebeurtenissen waar het systeem niet op wees, en ze deden wat het systeem aanraadde, ook als dat inging tegen hun training en tegen andere, volledig betrouwbare aanwijzingen die beschikbaar waren. Dat laatste is precies de controleur die 380 keer per maand op akkoord drukt bij een goede boeking en daarna de 381ste, verkeerde, ook goedkeurt.

Een systematisch overzicht van 74 studies uit 2012, van Goddard, Roudsari en Wyatt, noemt als factoren die dit erger maken: werkdruk, taakcomplexiteit en tijdsdruk. En als factoren die het verzachten: training, de nadruk op eigen verantwoordelijkheid van de gebruiker, en het meegeven van een actuele zekerheidsscore bij de uitkomst. Daarom hoort de score ook op het scherm van de persoon die kijkt: wie "0,83 op het bedrag" ziet, kijkt anders dan wie alleen een groen vinkje ziet.

Reken het door als scenario. Stel dat de controleur in de rij "alles controleren" na een paar weken nog zes van de tien fouten ziet; geen van de bronnen geeft een percentage voor deze taak, het is een aanname om de gevoeligheid te tonen. Dan glippen er van de 16,48 fouten 6,6 door, à 75 euro is dat 495 euro, en de rij komt op 1.095 euro per maand. In dat scenario is alles controleren bijna de duurste keuze. De controleur in de rij "onder 0,98" ziet 120 documenten waarvan er ruim 15 werkelijk fout zijn, één op de acht. Dat houdt iemand wakker.

Lisanne Bainbridge schreef er in 1983 een kort, veel geciteerd artikel over. Uit waakzaamheidsonderzoek is bekend, schrijft ze, dat zelfs een zeer gemotiveerd mens zijn aandacht niet langer dan ongeveer een half uur kan vasthouden op een informatiebron waar bijna niets op gebeurt. Wie mensen alleen laat toekijken op een systeem dat het bijna altijd goed doet, geeft ze in haar woorden een onmogelijke taak. De controlestap hoort daarom niet te bestaan uit toekijken, maar uit beslissen over de gevallen waar werkelijk iets te beslissen valt.

Wanneer dit niet werkt

De som gaat uit van een zekerheidsscore die ergens op slaat: dat 0,95 ook echt in ongeveer 95 van de 100 gevallen goed is. Een model dat overal 0,97 op zet en toch één op de tien keer mis is, maakt elke drempel waardeloos. Daarom draait een nieuw proces bij ons de eerste weken met een extra controlestap die de klant zelf afbouwt zodra de score en de werkelijkheid bij elkaar blijken te liggen. Die weken zijn de meting waar de tabel op rust.

De som gaat ook uit van een fout met een prijs. Er zijn fouten zonder plafond: een betaling naar een gewijzigd rekeningnummer, een medicijnetiket, een certificaat dat niet blijkt te bestaan. Daar staat altijd een mens, en de vraag is alleen hoe die wakker blijft.

En bij een klein volume is de verdeling niet te meten. Bij dertig facturen per maand zijn er te weinig fouten om een foutkans per band uit af te leiden; de som werkt dan wel op papier, maar de invoer is gegist. Dan is alles controleren een kwartier per week, en een redelijke keuze tot u meer weet.

Wat u deze week zelf kunt doen

Pak de laatste honderd documenten die door het proces zijn gegaan, of door de mens die het nu doet. Turf hoeveel er achteraf fout bleken en wat het herstellen ervan kostte, in uren, met uw eigen uurtarief. Deel de kosten van één controle door de kosten van één fout. Dat getal is uw omslagpunt. Alles wat vaker misgaat dan dat percentage hoort naar een mens; alles wat minder vaak misgaat niet.

Wie het antwoord het beste weet, is niet de leverancier van de software en niet de directie, maar degene die de facturen nu inboekt. Die weet welke leveranciers rare PDF's sturen, welk veld altijd misgaat en welke fout het meeste gedoe geeft. Daarom wordt de drempel bij ons samen met die persoon bepaald. Niet uit beleefdheid; het is de enige plek waar de getallen vandaan komen.