Gnist
Spark CI på GitHub Actions
Spark-jobber i CI bruker mesteparten av tiden sin på JVM-oppstart og krukkemontering.
5m → 45s
Montering
Hvorfor det skjer
Hva skal endres
- Buffer Ivy- og Coursier-katalogene som er tastet inn på byggedefinisjonen
- Bygg monteringskrukken én gang og gjenbruk den på tvers av testjobber som en gjenstand
- Kjør Spark i lokal modus med en fast parallellitet for deterministisk timing
Gnist på runnerhut
Neste bygg kan gå dobbelt så fort, til halve prisen
Start gratis. Å bytte bort er den samme ene linjen, og den diffen publiserer vi også.
Relatert
Database migreringerHver testkjøring spiller av hele migreringshistorikken fra en tom database.dbtdbt analyserer hele prosjektet og kjører uendrede modeller på nytt.CondaMiljøløsning tar lengre tid enn selve analysen.LuftstrømDAG-importkontroller installerer hele Airflow-avhengighetssettet på nytt hver kjøring.