Come il mutation testing mi ha fatto capire che la suite stava mentendo

Un progetto senza test, ripreso dopo anni. La scelta ovvia: aggiungere una suite e usare gli strumenti a disposizione, agenti AI compresi, per fare prima. Qualche settimana dopo: centinaia di test verdi, coverage alta, CI configurata. La sensazione di aver saldato un debito. Poi un bug in produzione. Coperto dai test, promosso da ogni controllo, rimasto lì tranquillo per tre settimane. Il codice c'entrava poco. I test erano formalmente corretti, scritti bene, impeccabili nello stile: semplicemente non erano in grado di trovare quel bug. È lì che ho lanciato per la prima volta il mutation testing. Mi ha detto quello che la coverage non poteva dirmi. La coverage chiede se questo codice è stato eseguito; il mutation testing chiede se i test se ne accorgerebbero, nel caso in cui questo codice fosse sbagliato. Questo talk racconta quella storia. Vediamo da dove nasce la distanza tra coverage e mutation score, come si legge un report di mutation testing per ricavarne test migliori senza moltiplicarli, e come portarlo in CI senza che diventi rumore.

Galleria