Guider
Hur man hanterar fläckiga CI-jobb
Testerna misslyckas slumpmässigt och folk försöker igen tills de blir godkända.
6 min läsning
Symtom
- Samma test misslyckas på oförändrad kod
- Repriser är rutin
- Verkliga misslyckanden prövas också igen
Varför det händer
Hur man fixar det
- Spåra felfrekvensen per test för att identifiera de värsta förövarna
- Sätt fläckiga tester i karantän till ett icke-blockerande jobb i stället för att blint igen
- Åtgärda grundorsaken: delade fixturer, riktiga klockor, osedd slumpmässighet, portkollisioner
- Försök aldrig igen tester – det konverterar riktiga buggar till intermittenta
Relaterat
Hur man samlar in löparmåttDu kan inte avgöra om ett jobb är CPU-bundet, minnesbundet eller diskbundet.Hur man spårar byggvaraktighetspercentilerGenomsnittlig byggtid ser bra ut men utvecklare klagar fortfarande.Hur man exporterar CI-spår med OpenTelemetryCI-timingdata finns i ett separat verktyg från resten av din observerbarhet.Hur man frågar CI-data programmatisktDu behöver CI-data i en instrumentpanel eller en veckorapport.