Ilmavirta
Airflow CI GitHub Actions
DAG-tuontitarkistukset asentavat täyden Airflow-riippuvuusjoukon uudelleen joka ajo.
5m → 20s
Asennus
Miksi se tapahtuu
Mitä muuttaa
- Tallenna rajoitustiedostoon avattu virtualenv välimuistiin
- Suorita DAG-tarkistus ilman ajastinta käyttämällä itsenäistä DagBag-tarkistusta
- Käytä työssä valmiiksi rakennettua Airflow-kuvaa pip-asennuksen sijaan
Ilmavirta runnerhutissa (runnerhut)
Seuraava buildisi voi olla kaksi kertaa nopeampi puoleen hintaan
Aloita ilmaiseksi. Lähteminen on sama yksi rivi, ja julkaisemme senkin diffin.
Aiheeseen liittyvää
Tietokannan siirrotJokainen testiajo toistaa koko siirtohistorian tyhjästä tietokannasta.dbtdbt jäsentää koko projektin ja ajaa uudelleen muuttumattomia malleja.CondaYmpäristön ratkaiseminen kestää kauemmin kuin itse analyysi.SparkSpark-työt CI:ssä käyttävät suurimman osan ajastaan JVM:n käynnistykseen ja purkkien kokoamiseen.