Přejít na obsah

Jiskra

Spark CI na GitHub Actions

Spark Jobs v CI tráví většinu času spouštěním JVM a sestavováním jarů.

5m → 45s
Montáž

Spark Jobs v CI tráví většinu času spouštěním JVM a sestavováním jarů.

Proč se to děje

Montážní nádoba je přestavěna při každém spuštění a mezipaměť Ivy nebo Coursier je studená.

Co změnit

  1. Uložte do mezipaměti adresáře Ivy a Coursier napsané na definici sestavení
  2. Sestavte sestavovací nádobu jednou a znovu ji použijte v testovacích úlohách jako artefakt
  3. Spusťte Spark v lokálním režimu s pevným paralelismem pro deterministické časování

Jiskra na runnerhut

Jediná řada specifická pro runnerhut je `runs-on: runnerhut-8vcpu-ubuntu-2404`. Vše ostatní je standardní GitHub Actions — stejné akce, stejná tajemství a stejný model oprávnění, který používáte dnes.

Váš další build může být dvakrát rychlejší za poloviční cenu

Začněte zdarma. Odchod je tentýž jeden řádek a i ten diff zveřejňujeme.