Airflow CI op GitHub Actions

DAG-importcontroles installeren elke run de volledige Airflow-afhankelijkheidsset opnieuw.

Waarom het gebeurt

De aan beperkingen gekoppelde afhankelijkheidsboom van Airflow is groot en wordt elke keer opnieuw vanaf het begin geïnstalleerd.

Wat te veranderen

1. Cache de virtualenv die op het beperkingenbestand is ingetoetst
2. Voer DAG-validatie uit zonder planner met behulp van de zelfstandige DagBag-controle
3. Gebruik een vooraf gebouwde Airflow-image in plaats van pip-installatie in de taak

Luchtstroom op runnerhut

jobs:
  validate:
    runs-on: runnerhut-4vcpu-ubuntu-2404
    container: apache/airflow:2.10.0
    steps:
      - uses: actions/checkout@v4
      - run: python -c "from airflow.models import DagBag; assert not DagBag().import_errors"

De enige runnerhut-specifieke regel is `runs-on: runnerhut-4vcpu-ubuntu-2404`. Al het andere is standaard GitHub Actions — dezelfde acties, dezelfde geheimen en hetzelfde machtigingsmodel dat u vandaag de dag gebruikt.