Spark
Spark CI GitHub Actions
Spark-työt CI:ssä käyttävät suurimman osan ajastaan JVM:n käynnistykseen ja purkkien kokoamiseen.
5m → 45s
Kokoonpano
Miksi se tapahtuu
Mitä muuttaa
- Tallenna välimuistiin Ivy- ja Coursier-hakemistot, jotka on avattu koontimäärityksessä
- Rakenna kokoonpanopurkki kerran ja käytä sitä uudelleen testitöissä artefaktina
- Suorita Spark paikallistilassa kiinteällä rinnakkaisuudella determinististä ajoitusta varten
Kipinä runnerhutissa (runnerhut)
Seuraava buildisi voi olla kaksi kertaa nopeampi puoleen hintaan
Aloita ilmaiseksi. Lähteminen on sama yksi rivi, ja julkaisemme senkin diffin.
Aiheeseen liittyvää
Tietokannan siirrotJokainen testiajo toistaa koko siirtohistorian tyhjästä tietokannasta.dbtdbt jäsentää koko projektin ja ajaa uudelleen muuttumattomia malleja.CondaYmpäristön ratkaiseminen kestää kauemmin kuin itse analyysi.IlmavirtaDAG-tuontitarkistukset asentavat täyden Airflow-riippuvuusjoukon uudelleen joka ajo.