Ce que nous avons appris en gérant un million d'emplois CI

Un million d’emplois suffit pour voir la longue traîne. Voici ce qui nous a surpris.

Le temps d'attente est invisible et énorme

Les durées des étapes sont affichées bien en évidence. Le temps d'attente n'est pas affiché du tout. Nous avons trouvé des référentiels dans lesquels le temps d'attente médian dépassait le temps médian de construction, et l'équipe avait passé un quart à optimiser la construction.

La plupart des coureurs n'ont pas la bonne taille dans les deux sens

Environ 40 % des tâches utilisaient en moyenne moins de 30 % du processeur, ce qui payait pour les cœurs inactifs. 12 % supplémentaires ont été bloqués à 100 % pendant toute leur durée et se sont retrouvés sur le chemin critique. Pour la majorité des clients, un redimensionnement dans les deux sens valait plus que n'importe quel changement de mise en cache.

L'attente d'E/S est le tueur silencieux

npm écrivant 40 000 fichiers, déballant des caisses Cargo, Docker extrayant des couches - rien de tout cela ne relève du travail du processeur. Sur le stockage en réseau, ces étapes dominent, et chaque graphique du processeur semble correct pendant qu'ils le font.

Les tests floconneux coûtent plus cher que n’importe quel modèle

Le coût direct d’une rediffusion est évident. Le coût indirect – les ingénieurs réessayant de vrais échecs parce que réessayer est une habitude – est beaucoup plus important et n’apparaît sur aucune facture.

Le trafic des agents a modifié la forme de la charge

Les référentiels dotés d'agents de codage d'IA affichent une fréquence de poussée plusieurs fois supérieure à celle des référentiels réservés aux humains, en rafales. L'annulation de la concurrence est passée d'une belle optimisation à une exigence stricte pour ces équipes.