Gnista
Spark CI på GitHub Actions
Spark-jobb i CI spenderar större delen av sin tid på JVM-start och burkmontering.
5m → 45s
Montering
Varför det händer
Vad ska ändras
- Cachelagra katalogerna Ivy och Coursier som är inskrivna på byggdefinitionen
- Bygg monteringsburken en gång och återanvänd den över testjobb som en artefakt
- Kör Spark i lokalt läge med en fast parallellism för deterministisk timing
Gnista på runnerhut
Relaterat
DatabasmigreringarVarje testkörning spelar upp hela migreringshistoriken från en tom databas.dbtdbt analyserar hela projektet och kör om oförändrade modeller.CondaMiljölösning tar längre tid än själva analysen.LuftflödeDAG-importkontroller installerar om hela luftflödesberoendeuppsättningen varje körning.