Gnist
Spark CI på GitHub Actions
Spark-job i CI bruger det meste af deres tid på JVM-opstart og samling af krukker.
5m → 45s
Montering
Hvorfor det sker
Hvad skal ændres
- Cachelagre Ivy- og Coursier-bibliotekerne, der er indtastet på build-definitionen
- Byg samlekrukken én gang og genbrug den på tværs af testjobs som en artefakt
- Kør Spark i lokal tilstand med en fast parallelitet til deterministisk timing
Gnist på runnerhut
Dit næste build kan være dobbelt så hurtigt til den halve pris
Start gratis. At skifte væk er den samme ene linje, og det diff offentliggør vi også.
Relateret
Database migrationerHver testkørsel afspiller hele migreringshistorikken fra en tom database.dbtdbt analyserer hele projektet og kører uændrede modeller igen.CondaMiljøløsning tager længere tid end selve analysen.LuftstrømDAG-importkontrol geninstallerer det fulde Airflow-afhængighedssæt hver kørsel.