Co jsme se naučili provozovat milion CI zakázek

Milion pracovních míst stačí k tomu, abyste viděli dlouhý ocas. Zde je to, co nás překvapilo.

Doba fronty je neviditelná a obrovská

Doba trvání kroků je zobrazena výrazně. Čas fronty se vůbec nezobrazuje. Našli jsme úložiště, kde střední doba fronty přesáhla střední dobu sestavení, a tým strávil čtvrtinu optimalizací sestavení.

Většina běžců má špatnou velikost v obou směrech

Přibližně 40 % úloh mělo v průměru méně než 30 % využití CPU – platilo za nečinná jádra. Dalších 12 % bylo nastaveno na 100 % po celou dobu trvání a sedělo na kritické cestě. Správná velikost v obou směrech měla pro většinu zákazníků větší hodnotu než jakákoli změna mezipaměti.

I/O čekání je tichý zabiják

npm zápis 40 000 souborů, rozbalení přepravek, Docker extrahování vrstev — nic z toho není práce CPU. Na úložišti připojeném k síti tyto kroky dominují a každý graf CPU vypadá v pořádku.

Šupinové testy jsou dražší než ostatní modely

Přímé náklady na reprízu jsou zřejmé. Nepřímé náklady – inženýři opakující skutečné selhání, protože opakování je zvykem – jsou mnohem vyšší a nejsou uvedeny na žádné faktuře.

Provoz agentů změnil tvar nákladu

Úložiště s kódovacími agenty AI vykazují četnost push několikrát vyšší než úložiště pouze pro lidi, a to v dávkách. Zrušení souběžnosti přešlo z pěkné optimalizace na tvrdý požadavek pro tyto týmy.