Hava akışı
GitHub Actions üzerinde Airflow CI
DAG içe aktarma kontrolleri, her çalıştırmada Hava Akışı bağımlılık setinin tamamını yeniden yükler.
5 dk → 20 sn
Kurulum
DAG içe aktarma kontrolleri, her çalıştırmada Hava Akışı bağımlılık setinin tamamını yeniden yükler.
Neden oluyor?
Airflow'un kısıtlamaya sabitlenmiş bağımlılık ağacı büyüktür ve her seferinde sıfırdan kurulur.
Ne değiştirilmeli
- Kısıtlamalar dosyasında anahtarlanan virtualenv'i önbelleğe alın
- Bağımsız DagBag kontrolünü kullanarak DAG doğrulamasını zamanlayıcı olmadan çalıştırın
- İşe pip kurulumu yerine önceden oluşturulmuş bir Airflow görüntüsü kullanın
runnerhut'taki hava akışı (runnerhut)
runnerhut'a (runnerhut) özgü tek satır 'runs-on: runnerhut-4vcpu-ubuntu-2404'tür. Geriye kalan her şey standart GitHub Actions'tir; bugün kullandığınız aynı eylemler, aynı sırlar ve aynı izin modeli.
Bir sonraki build'iniz yarı fiyata iki kat hızlı olabilir
Ücretsiz başlayın. Ayrılmak da aynı tek satır ve o diff'i de yayımlıyoruz.
İlgili
Veritabanı geçişleriHer test çalıştırması, boş bir veritabanından geçiş geçmişinin tamamını yeniden oynatır.dbtdbt tüm projeyi ayrıştırır ve değiştirilmemiş modelleri yeniden çalıştırır.CondaOrtam çözümü analizin kendisinden daha uzun sürer.KıvılcımCI'daki Spark işleri zamanlarının çoğunu JVM başlatma ve kavanoz montajına harcıyor.