Kwaliteitsaudit · Congos
20 echte RDW-kentekens door de productie-tool gehaald en het advies onafhankelijk getoetst door twee AI-modellen tegen de OEM-fabrieksspecificaties. De uitkomst: de data klopt, het advies structureel niet.
Alle bevindingen uit deze audit zijn doorgevoerd en live op productie. De merk-OEM-tabel is uitgebreid (geen generieke 5W-40 A3/B4 meer waar een OEM-approval hoort), de motorfiets-afvang (JASO MA2) is toegevoegd, het /kenteken-checker-endpoint is gerepareerd en de kenteken-validatie gelijkgetrokken.
De AI-laag bleek twee gestapelde oorzaken te hebben: het OpenAI-project had geen toegang tot het model, en de code gebruikte een verouderde API-parameter (max_tokens i.p.v. max_completion_tokens voor gpt-5.x). Beide opgelost — de AI-laag draait nu live en geeft per voertuig een OEM-onderbouwd advies met uitleg. Geverifieerd via de productie-logs.
20 nieuwe kentekens (andere voertuigen, zelfde brede spreiding) door de nu-gefixte productie-tool, opnieuw beoordeeld door Grok en Codex. De AI-laag draait nu mee.
AI-laag uit, generiek 5W-40 A3/B4 voor 11 merken, motorfiets kreeg auto-olie.
AI-laag draait, OEM-approvals per voertuig (VW 502.00, PSA B71, GM-LL), EV/motorfiets/klassieker correct.
De twee modellen verschillen dit keer (Grok mild, Codex streng), maar het beeld is eenduidig: de structurele fouten zijn weg. Grok ziet 20/20 juist; Codex blijft strenger en vindt 4 resterende fouten — geen systeemfouten meer, maar subtiele AI-kennislacunes op gedeelde motorplatforms (Citroën C1 deelt de Toyota-motor, Nissan Qashqai mild-hybrid vs e-Power, Jaguar/Land Rover die Ford-WSS-specs delen). De tool is bovendien nu eerlijk over onzekerheid (lage confidence bij ontbrekende OEM-data) i.p.v. vals-zelfverzekerd.
| # | Kenteken | Voertuig | Tool-advies (AI) | Conf | Grok | Codex |
|---|
Audit 1 hieronder blijft als referentie staan — dat is de situatie vóór de fixes.
Onderstaande cijfers zijn de uitgangssituatie vóór de fixes. De verbetering staat bovenaan onder "Verificatie".
Twee onafhankelijke modellen beoordeelden elk advies tegen de OEM-fabrieksspecificatie. Ze komen tot vrijwel hetzelfde beeld.
Op 15 van de 20 kentekens noemen Grok én Codex het advies twijfelachtig of fout. Waar ze verschillen is het altijd één gradatie — nooit tegengesteld. Geen enkel "juist vs fout"-conflict. Dat twee modellen onafhankelijk hetzelfde concluderen maakt de uitkomst hard.
Codex oordeelt iets milder (meer "twijfel", minder "fout"), maar geen van beide noemt meer dan 4 adviezen juist. Beide markeren exact dezelfde 3 als juist: Tesla, Audi e-tron en de Hyundai i10 (2012).
Tool-advies = wat de klant op de site ziet. "Correct" = de OEM-fabrieksspecificatie volgens de modellen.
| # | Kenteken | Voertuig | Tool-advies | Correct (OEM) | Grok | Codex |
|---|
Elf verschillende merken krijgen exact hetzelfde advies 5W-40 ACEA A3/B4, ongeacht fabrikant. Maar VAG eist VW 502.00/504.00, Ford/Volvo/Kia/Renault willen A5/B5 5W-30, PSA wil B71 2290, Toyota 5W-30/0W-20. De OEM-approval ontbreekt volledig en de geadviseerde olie is te zwaar en verouderd.
RDW levert voertuigsoort: Motorfiets keurig aan, maar de tool negeert dat veld en adviseert de BMW F800GS 0W-20 BMW Longlife (personenauto-spec). Een natte koppeling vereist JASO MA2. Auto-olie veroorzaakt koppelingsslip → schade. Het gevaarlijkste advies in de set, terwijl RDW de info gaf om het te voorkomen.
Advies MB 229.51 + ACEA A3/B4 kan niet samen: MB 229.51 is Low-SAPS en vereist ACEA C3, niet de high-SAPS A3/B4. Bevestigd via het officiële Mercedes operating-fluids sheet.
Alle 20 responses hadden ai_explanation: null. De "senior lubricant engineer" OpenAI-prompt werd nooit gebruikt — alles kwam uit een regelgebaseerde fallback die vrijwel uitsluitend op bouwjaar × cilinderinhoud besliste en het merk negeerde. Daardoor het identieke advies voor 11 verschillende auto's.
De site gebruikt /motor-oil (werkt). Maar /kenteken-checker geeft voor dezelfde auto cc=0, fuel=unknown en advies "Onbekend". Twee codepaden met verschillende RDW-parsing.
/kenteken-checker weigert sidecode 9 en 11 (bestaande kentekens van 2024–2025 auto's) met "Invalid format", terwijl /motor-oil ze wél accepteert. Nieuwe auto's vallen op het ene endpoint volledig uit.
17 van de 20 adviezen krijgen confidence: high, ook bij een pure jaar/cc-gok zonder OEM-grond. Het systeem communiceert hoge zekerheid waar het een grove benadering geeft.
De "bekijk in shop"-knop linkt naar oliereus.nl/search?q=<olie> — een zoekredirect. Bij een fout advies stuurt de zoekterm de klant naar de verkeerde olie.
voertuigsoort hard af vóór olie-selectie. Motorfiets → JASO MA2-tak. Quick win die het kritieke veiligheidsrisico wegneemt.max_tokens i.p.v. max_completion_tokens (gpt-5.x). Beide gefixt; AI-laag draait live, geverifieerd via productie-logs./kenteken-checker-endpoint en synchroniseer de validatie. Lege RDW-data repareren; sidecode 9/11 toelaten op beide endpoints.Live calls tegen de productie-tool, RDW open data als grondwaarheid, advies-validatie door twee onafhankelijke modellen. Eerlijk over wat niet lukte.
20 kentekens via /motor-oil (het pad dat klanten zien). Mock-kentekens uit de code bewust vermeden zodat alle data echt van RDW komt.
Grondwaarheid via dataset m9d7-ebf2 (voertuig) en 8ys7-d773 (brandstof) van opendata.rdw.nl.
Volledige per-case beoordeling met web-search en klikbare OEM-bronnen (Mercedes-sheet, Renault oil catalog, Toyota techdata).
Onafhankelijke tweede beoordeling met OEM-bronnen. Lukte na opsplitsen in 4 batches van 5 cases.
Definitief afgevallen op een omgevings-blocker: de CLI is interactief en faalt headless (could not open TTY), zelfs op een één-zin-prompt. Vergelijking rust dus op twee modellen, niet drie.