Scintilla
Spark CI su GitHub Actions
I lavori Spark in CI trascorrono la maggior parte del tempo sull'avvio della JVM e sull'assemblaggio dei jar.
5 minuti → 45 secondi
Assemblea
Perché succede
Cosa cambiare
- Memorizza nella cache le directory Ivy e Coursier inserite nella definizione di build
- Costruisci il vaso di assemblaggio una volta e riutilizzalo nei lavori di test come manufatto
- Esegui Spark in modalità locale con un parallelismo fisso per tempi deterministici
Scintilla su runnerhut
La tua prossima build potrebbe essere due volte più veloce, a metà prezzo
Inizia gratis. Andarsene è la stessa riga, e pubblichiamo anche quel diff.
Correlati
Migrazioni di databaseOgni esecuzione del test riproduce la cronologia completa della migrazione da un database vuoto.dbtdbt analizza l'intero progetto ed riesegue i modelli invariati.CondaLa risoluzione dell'ambiente richiede più tempo dell'analisi stessa.Flusso d'ariaI controlli di importazione DAG reinstallano l'intero set di dipendenze Airflow a ogni esecuzione.