Kıvılcım
GitHub Actions üzerinde Spark CI
CI'daki Spark işleri zamanlarının çoğunu JVM başlatma ve kavanoz montajına harcıyor.
5 dk → 45 sn
Montaj
CI'daki Spark işleri zamanlarının çoğunu JVM başlatma ve kavanoz montajına harcıyor.
Neden oluyor?
Montaj kavanozu her çalıştırmada yeniden oluşturulur ve Ivy veya Coursier önbelleği soğuktur.
Ne değiştirilmeli
- Yapı tanımına göre ayarlanmış Ivy ve Coursier dizinlerini önbelleğe alın
- Montaj kavanozunu bir kez oluşturun ve test işlerinde bir eser olarak yeniden kullanın
- Deterministik zamanlama için Spark'ı yerel modda sabit bir paralellik ile çalıştırın
runnerhut'ta kıvılcım (runnerhut)
runnerhut'a (runnerhut) özgü tek satır 'runs-on: runnerhut-8vcpu-ubuntu-2404'tür. Geriye kalan her şey standart GitHub Actions'tir; bugün kullandığınız aynı eylemler, aynı sırlar ve aynı izin modeli.
Bir sonraki build'iniz yarı fiyata iki kat hızlı olabilir
Ücretsiz başlayın. Ayrılmak da aynı tek satır ve o diff'i de yayımlıyoruz.
İlgili
Veritabanı geçişleriHer test çalıştırması, boş bir veritabanından geçiş geçmişinin tamamını yeniden oynatır.dbtdbt tüm projeyi ayrıştırır ve değiştirilmemiş modelleri yeniden çalıştırır.CondaOrtam çözümü analizin kendisinden daha uzun sürer.Hava akışıDAG içe aktarma kontrolleri, her çalıştırmada Hava Akışı bağımlılık setinin tamamını yeniden yükler.