CUDA w Twoim potoku
Moduły GPU
Moduły NVIDIA L4 i A10G z preinstalowaną CUDA do oceny modelu i kompilacji jądra w CI.
L4 i A10G
24 GB pamięci VRAM wystarczające do zestawów ewaluacyjnych i testów wnioskowania średniej wielkości.
Sterowniki gotowe
CUDA 12.6 i cuDNN 9 już zainstalowane i zweryfikowane.
Na minutę
Brak zobowiązania dotyczącego zarezerwowanej mocy.
Najczęstsze pytania
- Dlaczego miałbym potrzebować procesora graficznego w CI?
- Zatem pierwsze uruchomienie jądra CUDA nie jest jeszcze w fazie produkcyjnej. Moduły GPU pozwalają kompilować jądra, przeprowadzać ocenę modelu na żądanie ściągnięcia i weryfikować budżety opóźnień wnioskowania przed połączeniem.
- Jakie procesory graficzne są dostępne?
- NVIDIA L4 i A10G, obie 24 GB, z preinstalowaną i zweryfikowaną CUDA 12.6 i cuDNN 9.
- Czy GitHub oferuje moduły GPU?
- Nie. Jest to funkcja, która nie ma odpowiednika w serwisie GitHub, dlatego zespoły albo hostują samodzielnie, albo całkowicie pomijają testy procesora graficznego.
Twój następny build może być dwa razy szybszy i o połowę tańszy
Zacznij za darmo. Odejście to ta sama jedna linia — ten diff też publikujemy.