Runnere
GPU GitHub Actions alergători
Runneri NVIDIA L4 și A10G pentru evaluarea modelului, compilarea CUDA și testele de inferență în CI.
Specificații
- GPU-uri
- NVIDIA L4 24 GB, A10G 24 GB
- vCPU
- 8 – 32
- Memorie
- 32 – 128 GB
- Șoferii
- CUDA 12.6, cuDNN 9 preinstalat
Etichete runner
runnerhut-gpu-l4runnerhut-gpu-a10g
GitHub nu oferă rulare GPU. Echipele care au nevoie de ele fie să se autogăzduiască, fie să ignore complet testele GPU în CI - ceea ce înseamnă de obicei că prima dată când este exercitat un nucleu CUDA este în producție.
- Compilați nucleele CUDA și stocați în cache artefactele între rulări
- Rulați suite de evaluare a modelelor pe solicitări de extragere
- Verificați bugetele de latență de inferență înainte de îmbinare
- Creați și testați imaginile containerului compatibil GPU în mod nativ
Următorul tău build poate fi de două ori mai rapid, la jumătate de preț
Începe gratuit. Plecarea înseamnă aceeași linie, iar acel diff îl publicăm și noi.