Incident description

Service Incident status Start Date End Date
Fir Open No closed date
Created by Charles Coulombe on

Title


GPUs errors - Erreurs GPUs


Summary


There is an issue with GPUs erroring and needing a reset, on Fir. You can check the state of the devices with the command `nvidia-smi`.
You can also exclude faulty nodes from your job submission with: `--exclude=node[01-05,12]`.
We are investigating. 


Un problème affecte les GPUs sur Fir, provoquant des erreurs et nécessitant une réinitialisation. Vous pouvez vérifier l'état des périphériques à l'aide de la commande `nvidia-smi`.
Vous pouvez également exclure les nœuds défectueux lors de la soumission de vos tâches en utilisant : `--exclude=node[01-05,12]`.
Nous enquêtons actuellement sur ce problème.


Updated by Charles Coulombe on