Spark
Spark CI a GitHub Actions
A CI-ben a Spark-feladatok idejük nagy részét a JVM indításával és az edények összeszerelésével töltik.
5 m → 45 s
Szerelés
A CI-ben a Spark-feladatok idejük nagy részét a JVM indításával és az edények összeszerelésével töltik.
Miért történik
Az összeszerelő edényt minden egyes futtatás során újraépítik, és az Ivy vagy Coursier gyorsítótár hideg.
Mit kell változtatni
- Gyorsítótárazza az Ivy és Coursier könyvtárakat a build definíciójában
- Építse meg egyszer az összeszerelő edényt, és használja fel műtermékként a tesztfeladatok során
- Futtassa a Sparkot helyi módban rögzített párhuzamossággal a determinisztikus időzítéshez
Spark on runnerhut
Az egyetlen runnerhut specifikus sor a "runs-on: runnerhut-8vcpu-ubuntu-2404". Minden más a szokásos GitHub Actions – ugyanazok a műveletek, ugyanazok a titkok és ugyanaz az engedélymodell, amelyet ma is használ.
A következő buildje kétszer gyorsabb lehet, fele áron
Kezdje ingyen. A távozás ugyanaz az egy sor, és azt a diffet is közzétesszük.
Kapcsolódó
Adatbázis migrációMinden tesztfutás újrajátssza a teljes áttelepítési előzményeket egy üres adatbázisból.dbtA dbt elemzi a teljes projektet, és újra futtatja a változatlan modelleket.CondaA környezet megoldása tovább tart, mint maga az elemzés.LégáramlásA DAG importellenőrzései minden egyes futtatás során újratelepítik a teljes Airflow-függőségi készletet.