Jiskra
Spark CI na GitHub Actions
Spark Jobs v CI tráví většinu času spouštěním JVM a sestavováním jarů.
5m → 45s
Montáž
Spark Jobs v CI tráví většinu času spouštěním JVM a sestavováním jarů.
Proč se to děje
Montážní nádoba je přestavěna při každém spuštění a mezipaměť Ivy nebo Coursier je studená.
Co změnit
- Uložte do mezipaměti adresáře Ivy a Coursier napsané na definici sestavení
- Sestavte sestavovací nádobu jednou a znovu ji použijte v testovacích úlohách jako artefakt
- Spusťte Spark v lokálním režimu s pevným paralelismem pro deterministické časování
Jiskra na runnerhut
Jediná řada specifická pro runnerhut je `runs-on: runnerhut-8vcpu-ubuntu-2404`. Vše ostatní je standardní GitHub Actions — stejné akce, stejná tajemství a stejný model oprávnění, který používáte dnes.
Váš další build může být dvakrát rychlejší za poloviční cenu
Začněte zdarma. Odchod je tentýž jeden řádek a i ten diff zveřejňujeme.
Související
Migrace databázeKaždý testovací běh přehraje celou historii migrace z prázdné databáze.dbtdbt analyzuje celý projekt a znovu spustí nezměněné modely.CondaŘešení prostředí trvá déle než samotná analýza.Proudění vzduchuKontroly importu DAG znovu nainstalují úplnou sadu závislosti průtoku vzduchu při každém spuštění.