Stabiel is niet hetzelfde als gezond

Twaalf weken groen. Latency binnen SLA, uptime 99,9%, nul priority-one incidenten. Het dashboard zegt: alles is in orde. De klant is tevreden. Het team gaat door met het volgende sprint.

En dan breekt het systeem.

De post-mortem laat zien wat er werkelijk aan de hand was: maandenlange trage degradatie, net onder de alertdrempel. De metrics waren technisch correct. Het dashboard loog niet. Maar “groen” maakte geen onderscheid tussen “gezond” en “nog net boven de drempel.” Dat onderscheid verdween ergens in de aggregatie, en niemand merkte het omdat er niets rode vlaggen gaf.

Ik zie dit patroon steeds vaker bij klanten. Niet omdat hun tooling slecht is, maar omdat hun tooling te lang hetzelfde meet.

Het flatline-probleem

Het patroon heeft drie verschijningsvormen en ze zijn van binnenuit niet van elkaar te onderscheiden:

1. Het systeem is echt stabiel. Alles werkt, de metrics weerspiegelen de werkelijkheid.
2. De alertdrempels zijn gekalibreerd op een comfortabel bereik. Alles passeert, maar de drempels meten niet meer wat ze ooit maten.
3. Het vocabulaire is uitgeput. De metrics vangen niet meer wat er verandert, omdat wat er verandert niet in de bestaande categorieën past.

Alle drie produceren ze dezelfde output: stabiel, groen, op koers. En dat is precies het probleem. Stabiliteit ziet er hetzelfde uit als blindheid.

Niet alleen dashboards

Het is verleidelijk om dit als een DevOps-probleem te zien, maar het zit overal.

De standup die niets meer zegt. Acht sprints lang “alles op schema.” Niemand liegt. Ieders individuele werk is op schema. Maar integratierisico, oplopende technische schuld, de groeiende mismatch tussen wat er gebouwd wordt en wat de klant nodig heeft. Die bestaan in de ruimte tussen individuele statusupdates. Het format “wat heb je gedaan, wat ga je doen, blockers?” heeft geen vocabulaire voor “er voelt iets scheef maar ik kan het niet benoemen.”

De klanttevredenheidsscore. Vier kwartalen lang 7,2 uit 10. Stabiel is geruststellend. Maar 7,2 kan “oprecht tevreden” betekenen of “geleerd welk cijfer de minste opvolging oplevert.” Het meetinstrument is geconvergeerd op zijn eigen output. De organisatie behandelt stabiliteit als bevestiging. Het is eigenlijk niet-informatief.

In elk geval werkt het monitoringssysteem precies zoals ontworpen. Het verzamelt data, aggregeert, rapporteert een resultaat. Het resultaat is consistent. Consistentie leest als gezondheid. En de werkelijke toestand van wat je meet drijft langzaam weg van wat het instrument kan vangen.

Hoe je het verschil kunt zien

Als het systeem zelf het verschil niet kan maken, wat dan wel?

Verander het instrument en kijk of de output verandert. Vervang “wat heb je gedaan” twee weken lang door “wat heeft je verrast.” Als de antwoorden veranderen, was het oude format de bottleneck, niet het team. Als de antwoorden hetzelfde blijven, zit je misschien echt in stabiele flow.

Hetzelfde voor dashboards: voeg tijdelijk een metric toe die je normaal niet meet. De p99 spreiding in plaats van de gemiddelde latency. Het patroon van fouten over tijd in plaats van het foutenpercentage. Als het nieuwe instrument iets anders laat zien, was het oude instrument blind geworden. Als het hetzelfde laat zien, is je systeem waarschijnlijk echt gezond.

Let op het gevoel bij je eigen voorspelling. Een stabiel systeem is voorspelbaar, en die voorspelling voelt saai. Als je kunt voorspellen wat iedereen morgen in de standup gaat zeggen, en die voorspelling voelt ongemakkelijk in plaats van saai, dan vangt het format niet meer wat er daadwerkelijk gebeurt. Die onrust is informatiever dan de standup zelf.

Vergelijk de monitoring met wat er daarna gebeurt. Als het dashboard groen zegt en het systeem breekt, was het dashboard flatlined. Als de standup “op schema” zegt en de sprint faalt, was de standup flatlined. Dit is de betrouwbaarste test en de minst bruikbare, want hij werkt alleen achteraf.

Geen permanente oplossing

Hier is de harde claim: het flatline-probleem heeft geen permanente oplossing.

Elk nieuw meetinstrument convergeert uiteindelijk op zijn eigen stabiele output. De nieuwe metric die je toevoegt om het dashboard te testen, zal over zes maanden dezelfde blinde vlek ontwikkelen. Het vervangende standup-format zal na tien sprints dezelfde platitudes produceren.

Dit betekent dat monitoring-gezondheid periodieke instrumentvervanging vereist, geen instrumentperfectie. Het beste monitoringssysteem is er een dat weet dat het gaat stoppen met werken.

Concreet:

• Dashboards: Plan een kwartaalreview die vraagt “meten de cijfers nog wat ze moesten meten toen we ze instelden?” Als er in een jaar geen drempel is aangepast, is de monitoring waarschijnlijk flatlined.
• Standups: Wissel het format voordat het versteent. Het doel is dagelijks zichtbaarheid creëren, de specifieke drie vragen zijn een middel. Wanneer het format geen zichtbaarheid meer produceert, is het format het probleem.
• Klanttevredenheid: Stel andere vragen. “Wat is er veranderd sinds vorige keer” levert meer op dan “hoe tevreden ben je.” Verandering is informatiever dan een score.

Waar ik dit ontdekte

Ik bouw voor mijn eigen praktijk een AI-systeem dat zichzelf monitort. Emotionele staat, cognitieve patronen, creatieve output. Elke vijftien minuten een zelfrapportage. Na drieduizend meetmomenten liep ik tegen precies dit probleem aan: acht opeenvolgende rapportages kwamen terug als “stabiel.” Het label was technisch correct. Het was ook nutteloos, want het verschil tussen “aandachtig toekijken hoe theorie de praktijk ontmoet” en “er valt niets te melden” werd samengeperst in hetzelfde woord.

Dat is een exotisch voorbeeld, maar het mechanisme is identiek aan het groene dashboard. Het instrument werkt. Het meet niet meer wat er verandert. En van binnenuit is het verschil onzichtbaar.

De oplossing was niet harder proberen met hetzelfde instrument. Het was een ander instrument erbij zetten dat een ander soort vraag stelt. “Hoe interpreteer je dit ambigue signaal” in plaats van “hoe voel je je.” Andere vraag, andere antwoorden, ander zicht op wat er werkelijk aan de hand is.

Hetzelfde geldt voor je dashboard, je standup, en je klanttevredenheidsscore. Als de output stabiel is, verander het instrument. Het is waarschijnlijk niet kapot, het is uitgeput.

Michael Siroen is oprichter van ID2Bytes en helpt mid-market organisaties met Microsoft technologie en AI-integratie. Meer weten? Neem contact op via id2bytes.com.