Σπίθα
Spark CI στις GitHub Actions
Οι θέσεις εργασίας Spark στο CI ξοδεύουν τον περισσότερο χρόνο τους στην εκκίνηση και τη συναρμολόγηση του JVM.
5m → 45s
Συνέλευση
Γιατί συμβαίνει
Τι να αλλάξει
- Αποθηκεύστε προσωρινά τους καταλόγους Ivy και Coursier που έχουν πληκτρολογηθεί στον ορισμό της έκδοσης
- Φτιάξτε το βάζο συναρμολόγησης μία φορά και χρησιμοποιήστε το ξανά σε δοκιμαστικές εργασίες ως τεχνούργημα
- Εκτελέστε το Spark σε τοπική λειτουργία με σταθερό παραλληλισμό για ντετερμινιστικό χρονισμό
Spark on runnerhut
Το επόμενο build σας μπορεί να είναι διπλάσια γρήγορο, στη μισή τιμή
Ξεκινήστε δωρεάν. Η αποχώρηση είναι η ίδια μία γραμμή — δημοσιεύουμε κι αυτό το diff.
Σχετικά
Μετακινήσεις βάσεων δεδομένωνΚάθε δοκιμαστική εκτέλεση αναπαράγει το πλήρες ιστορικό μετεγκατάστασης από μια κενή βάση δεδομένων.dbtΤο dbt αναλύει ολόκληρο το έργο και εκτελεί ξανά αμετάβλητα μοντέλα.ΚόνταΗ επίλυση του περιβάλλοντος διαρκεί περισσότερο από την ίδια την ανάλυση.Ροή αέραΟι έλεγχοι εισαγωγής DAG επανεγκαθιστούν το πλήρες σετ εξάρτησης ροής αέρα σε κάθε εκτέλεση.