Étincelle
Spark CI sur GitHub Actions
Les tâches Spark dans CI passent la plupart de leur temps au démarrage de la JVM et à l'assemblage du pot.
5 minutes → 45 secondes
Assemblée
Les tâches Spark dans CI passent la plupart de leur temps au démarrage de la JVM et à l'assemblage du pot.
Pourquoi ça arrive
Le pot d'assemblage est reconstruit à chaque exécution et le cache Ivy ou Coursier est froid.
Que changer
Étincelle sur runnerhut
La seule ligne spécifique à runnerhut est « runs-on : runnerhut-8vcpu-ubuntu-2404 ». Tout le reste est standard GitHub Actions — les mêmes actions, les mêmes secrets et le même modèle d'autorisations que vous utilisez aujourd'hui.
Votre prochain build pourrait être deux fois plus rapide, pour moitié prix
Commencez gratuitement. Repartir tient à la même ligne, et nous publions ce diff aussi.
À lire aussi
Migration de bases de donnéesChaque exécution de test relit l'historique complet de la migration à partir d'une base de données vide.dettedbt analyse l'intégralité du projet et réexécute les modèles inchangés.CondaLa résolution de l’environnement prend plus de temps que l’analyse elle-même.Flux d'airLes vérifications d'importation DAG réinstallent l'ensemble complet des dépendances Airflow à chaque exécution.