Geautomatiseerde tests verschijnen zelden in een productdemo, en dat is precies het probleem. Een demo laat de 'happy path' zien: elke klik werkt, elk scherm laadt, elke knop doet wat hij moet doen. Die glans is er alleen omdat iemand het heeft ingestudeerd, niet omdat de software onder de motorkap solide is. Echte gebruikers klikken in een verkeerde volgorde, op trage verbindingen, op telefoons die niemand heeft getest. Geautomatiseerde tests vangen die momenten op voordat klanten dat doen, stilletjes, lang voordat iemand de puinhoop opmerkt.
Waarom teams vroegtijdig geautomatiseerde tests overslaan
Het overslaan van geautomatiseerde tests lijkt een slimme kortere weg wanneer een deadline nadert. Een team besluit eerst te releasen en pas later de dekking te schrijven, en dat 'later' komt er zelden van. Deze keuze is op zichzelf niet roekeloos. Het wordt een probleem wanneer het elke sprint herhaalt, want zonder geautomatiseerde controles is elke deployment een gok.
De kosten van minimale tests zijn niet alleen een klacht van ontwikkelaars. Volgens een nationaal onderzoek kosten ontoereikende testtools en -methoden de Amerikaanse economie jaarlijks tussen de $22.2 en $59.5 miljard, waarbij ruwweg de helft van dit geld wordt besteed aan extra tests door softwareontwikkelaars en ongeveer de helft door softwaregebruikers om fouten te voorkomen. Daarom verdwijnt de rekening niet wanneer een team geautomatiseerde tests overslaat. Deze verplaatst zich simpelweg verder in het proces, naar degene die de bug als eerste vindt.
Wat geautomatiseerde tests daadwerkelijk vangen
Geautomatiseerde tests zijn van nature saai, en dat is precies het punt. Ze controleren telkens opnieuw, zonder klagen, hetzelfde inlogproces, dezelfde afrekenknop, dezelfde API-respons. Iemand die handmatig test, wordt moe, slaat stappen over of gaat ervan uit dat er sinds vorige week niets is veranderd. Een geautomatiseerde test gaat nergens vanuit; hij voert de test gewoon uit en vangt bugs voordat klanten dat doen.
Denk aan een echte online retailer die de geautomatiseerde dekking onder de 40 procent liet zakken terwijl het product bleef groeien. Naarmate het aantal apparaten, talen en sociale integraties toenam, groeide ook de handmatige werklast. Uiteindelijk verdubbelde het aantal testers dat nodig was om het project te ondersteunen bijna, wat vertaalde naar $500k aan extra kosten. Dat is geen uitzondering. Dat is wat er gebeurt als testen handmatig blijft terwijl het product niet klein blijft.
De verborgen kosten van het overslaan van geautomatiseerde tests
De prijs van het overslaan van geautomatiseerde tests zie je zelden op de eerste dag. In plaats daarvan verschijnt het maanden later als 'testschuld', een term voor dekking die nooit is gebouwd en scripts die niemand onderhoudt. Zoals een industrieanalyse het verwoordt: testschuld is de opgebouwde kostprijs van niet-onderhouden scripts, ongeteste codepaden en dekking die nooit is gebouwd. Ondertussen blijft die schuld niet stilletjes liggen; deze stapelt zich op bij elke sprint.
Dit gat is vaak onzichtbaar totdat er iets kapot gaat, aangezien testschuld leeft in de kloof tussen wat je team test en wat je applicatie daadwerkelijk doet, en dat gat is vaak onzichtbaar totdat er iets kapot gaat. Dus blijft een team functies opleveren, in de overtuiging dat alles in orde is, totdat er op een rustige vrijdagmiddag een regressie in productie belandt. Bovendien omvat de tol op lange termijn meer dan één slechte middag: verhoogde onderhoudskosten, een hoger risico op bugs en regressie, een afname in teamproductiviteit en minder vertrouwen in testsuites.
Bezuinigen op testen heeft ook een cumulatief effect op het vertrouwen tussen teams en hun gebruikers. Testschuld ontstaat wanneer je tijdens het testproces wat kanten er vanaf loopt. Dit zorgt voor een snellere doorlooptijd. Maar omdat testen cruciaal is voor het ontwikkelingsproces, kan dit je opzadelen met veel problemen die later opgelost moeten worden. Kortom, de kortere weg koopt nu snelheid en brengt later rente in rekening.
Hoe begin je met het toevoegen van geautomatiseerde tests zonder releases te vertragen
Beginnen vanaf nul dekking voelt overweldigend, dus de meeste teams bevriezen in plaats van te beginnen. Een betere zet is kleiner: kies de paden die het pijnlijkst zouden zijn als ze zouden breken, zoals inloggen, afrekenen of facturering, en automatiseer die eerst voor de volgende release. Bijvoorbeeld, de gewoonte om vroegtijdig rekening te houden met schaalbaarheid verandert beslissingen lang voordat de code bestaat, aangezien de meest kosteneffectieve investering wordt gedaan vóór het schrijven van de eerste regel code: besteed twee weken aan architectuur.
Ondertussen hoeven de meeste teams niet voor een uiterste te kiezen. Industriegegevens laten zien dat testen meestal een mix is van handmatig en geautomatiseerd werk, in plaats van dat het een het ander volledig vervangt: tweederde van de softwareontwikkelingsbedrijven hanteert een testverhouding van 75:25 (handmatig:automatisch) of 50:50. Het doel is dus niet om van de ene op de andere dag volledig te stoppen met handmatig testen. Het is een gestage beweging naar meer geautomatiseerde dekking op de paden die het belangrijkst zijn.
Geduld loont ook sneller dan de meeste teams verwachten. Ongeveer een kwart van de bedrijven die in testautomatisering investeerden, gaf aan dat hun ROI "onmiddellijk" was, en nog eens 24% rapporteerde een stijging in ROI binnen de eerste zes maanden. Het rendement op geautomatiseerde tests is dus geen verre belofte. Voor de meeste teams die zich hieraan committeren, is het binnen enkele maanden zichtbaar.
Geautomatiseerde tests zijn de initiële moeite waard
Geautomatiseerde tests kosten nu tijd: bij de opzet, bij het onderhoud en bij de discipline om ze naast nieuwe functies te schrijven in plaats van achteraf. Het overslaan van geautomatiseerde tests neemt die kosten echter niet weg. Het stelt ze alleen maar uit, waarbij ze verborgen zitten in supporttickets, hotfixes en een groeiende lijst van dingen waar niemand aan durft te komen. Teams die geautomatiseerde tests behandelen als onderdeel van de build, en niet als extra stap, releasen met meer vertrouwen en minder verrassingen voor een release. Als je project nog steeds draait op handmatige controles en hoop, begin deze week dan met één kritiek pad. Kleine, consistente dekking is beter dan een perfect plan dat nooit wordt gereleased.
