Scânteie
Spark CI pe GitHub Actions
Lucrările Spark în CI își petrec cea mai mare parte a timpului la pornirea JVM și la asamblarea jar.
5m → 45s
Asamblare
Lucrările Spark în CI își petrec cea mai mare parte a timpului la pornirea JVM și la asamblarea jar.
De ce se întâmplă
Borcanul de asamblare este reconstruit la fiecare rulare, iar cache-ul Ivy sau Coursier este rece.
Ce să schimbi
- Memorați în cache directoarele Ivy și Coursier introduse pe definiția build-ului
- Construiți borcanul de asamblare o dată și reutilizați-l în lucrările de testare ca artefact
- Rulați Spark în modul local cu un paralelism fix pentru sincronizare deterministă
Scânteie pe runnerhut
Singura linie specifică runnerhut este `runs-on: runnerhut-8vcpu-ubuntu-2404`. Orice altceva este standard GitHub Actions — aceleași acțiuni, aceleași secrete și același model de permisiuni pe care îl utilizați astăzi.
Următorul tău build poate fi de două ori mai rapid, la jumătate de preț
Începe gratuit. Plecarea înseamnă aceeași linie, iar acel diff îl publicăm și noi.
Similar
Migrari baze de dateFiecare test de rulare redă istoricul complet de migrare dintr-o bază de date goală.dbtdbt analizează întregul proiect și rulează din nou modele neschimbate.CondaRezolvarea mediului durează mai mult decât analiza în sine.Fluxul de aerVerificările de import DAG reinstalează setul complet de dependențe Airflow la fiecare rulare.