2026-07-07 21:37:59+00:00 1374 <p>There is a problem with the /scratch filesystem.</p><ul> <li>Impacts: slow access or no access</li><li>Cause: LBUG</li><li>Estimate time to solution: 60-90 minutes</li> </ul><p>======</p><p>Il y a un problème avec le système de fichiers /scratch.</p><ul> <li>Impacts : accès lents ou accès bloquants</li><li>Cause : LBUG</li><li>Heure estimée de résolution : 60-90 minutes</li> </ul> 2025-07-28 18:45 2025-07-28 17:25 1380 <p>The new compute allocations are not yet synchronized on Rorqual. We are working on a fix.</p><p>===</p><p>Les nouvelles allocations de calcul ne sont pas encore synchronisées sur Rorqual. Nous travaillons sur un correctif.</p> 2025-08-01 13:58 2025-07-31 13:00 1381 <p>There is a problem with the /project filesystem on Rorqual, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers /project sur la grappe Rorqual, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> 2025-08-02 17:48 2025-08-02 16:13 1383 <p>There is a problem with the /project filesystem on Rorqual, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers&nbsp; /project sur la grappe Rorqual, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> 2025-08-05 12:36 2025-08-05 12:16 1391 <p>The job scheduler is misbehaving, which may impair the ability to start new jobs. We are investigating. </p><p> L'ordonnanceur a un problème, ce qui peut empêcher de démarrer de nouvelles tâches. Nous investiguons actuellement ce qui se passe.<br></p> 2025-08-12 14:00 2025-08-12 12:30 1398 <p>There is a problem with the /project filesystem on Rorqual, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers /project sur la grappe Rorqual, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> 2025-08-21 14:15 2025-08-21 13:42 1407 <p>Access to login nodes is disrupted. We are investigating. / L'accès aux noeuds de connexion est interrompu. Nous investiguons actuellement ce qui se passe.<br></p> 2025-08-29 17:30 2025-08-29 16:43 1413 <p>There is a problem with the /project filesystem on Rorqual, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers&nbsp; /project sur la grappe Rorqual, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> 2025-09-05 06:28 2025-09-05 02:55 1419 <p>Since September 7, there is a file system problem affecting the access to the <code>/scratch</code> on Rorqual's Globus servers. We are investigating.</p> <p>===</p> <p>Depuis le 7 septembre, il y a un problème de système de fichiers affectant l'accès au <code>/scratch</code> sur les serveurs Globus de Rorqual. Nous sommes en cours d'analyse du problème.</p> 2025-09-18 16:00 2025-09-07 16:00 1422 <p>Le portail Metrix est présentement indisponible dû à des problèmes que nous investiguons.&nbsp;</p> 2025-10-04 15:38 2025-09-17 18:02 1435 <p>There is a problem with the /project filesystem on Rorqual, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers /project sur la grappe Rorqual, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> 2025-10-06 04:33 2025-10-05 23:59 1438 <p>There is a problem with the /scratch filesystem on Rorqual, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers /scratch sur la grappe Rorqual, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> 2025-10-06 05:44 2025-10-06 16:31 1446 <p>There is a problem with the /scratch filesystem on Rorqual, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers /scratch sur la grappe Rorqual, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> 2025-10-25 20:09 2025-10-25 19:36 1452 <p>There is a problem with the /project filesystem on Rorqual, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers /project sur la grappe Rorqual, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> 2025-11-04 19:41 2025-11-04 18:38 1455 <p>Users are reporting problems with Globus. We are investigating. </p><p>Des problèmes avec Globus sont rapportés. Nous investiguons.&nbsp;</p> 2025-11-05 18:00 2025-11-05 15:25 1457 <p>There is a problem with the storage system behind the /project filesystem on Rorqual. We are investigating with the vendor. <b>The problem will not be solved before Tuesday November 11.</b></p> <p>In the meantime, most compute nodes are already offline, which means pending jobs will be kept in the waiting queue. <b>If you have active jobs using /project, you may cancel them in order to preserve your priority.</b></p> <p>The access to /project may work for some files, but not all. At this point, avoid writing or erasing files on /project.</p> <p>We apologize for the inconvenience.</p> <p>======</p> <p>Il y a un problème avec le système de stockage derrière le système de fichiers /project sur la grappe Rorqual. Nous analysons le problème avec le manufacturier. <b>Le problème ne sera pas résolu avant mardi 11 novembre.</b></p> <p>En attendant, la plupart des nœuds de calcul sont déjà hors-ligne, ce qui veut dire que les tâches de calcul en attente le resteront. <b>Si vous avez des tâches en cours utilisant /project, vous pouvez les annuler afin de préserver votre priorité.</b></p> <p>L'accès à /project pourrait fonctionner pour certains fichiers, mais pas tous. À ce point, évitez d'écrire ou de supprimer des fichiers dans /project.</p> <p>Nous vous prions de nous excuser pour la gêne occasionnée.</p> 2025-11-20 21:00 2025-11-06 16:15 1471 <p>Following up on <a href="https://status.alliancecan.ca/view_incident?incident=1457"><u>this incident</u></a>, the vast majority of the data in <code>/project</code> is accessible, and the compute nodes will be gradually brought back online. <b>However, some jobs may fail if they require files that have not yet been restored.</b></p><p>======</p><p>Pour faire suite à <a href="https://status.alliancecan.ca/view_incident?incident=1457"><u>cet incident</u></a>, la grande majorité des données dans <code>/project</code> sont accessibles et les nœuds de calculs vont être de retour progressivement. <b>Par contre, certaines tâches pourraient échouer si elles nécessitent des fichiers qui ne sont pas encore restaurés.</b></p> 2025-12-04 16:30 2025-11-20 21:00 1484 <p>There is a problem with the /project filesystem.</p><ul> <li>Impacts: slow access or no access to your data</li> <li>Cause: many failed hard-drives</li> <li>Solution: the system is still recoverable. We just need a confirmation from the vendor to execute a specific recovery procedure.</li> <li>Estimate time to solution: To be determined</li> </ul><p>======</p><p>Il y a un problème avec le système de fichiers /project.</p><ul> <li>Impacts : accès lents ou accès bloquants à vos données</li> <li>Cause : plusieurs disques défectueux</li> <li>Solution : le système est encore récupérable. Nous avons juste besoin d'une confirmation du vendeur pour exécuter une procédure de restauration spécifique.</li> <li>Heure estimée de résolution : à déterminer</li> </ul> 2025-12-08 22:02 2025-12-05 16:15 1489 <p>Access to login nodes is disrupted. We are investigating. / L'accès aux noeuds de connexion est interrompu. Nous investiguons actuellement ce qui se passe.<br></p> 2025-12-14 17:01 2025-12-14 04:36 1491 Some filesystem issues may occur (module, CVMFS, etc.). We will try to resolve this tomorrow (Monday, December 15, 2025). / Certains problèmes dans le système de fichiers peuvent apparaître (module, CVMFS, ...) . Nous allons essayer de régler ceci demain (lundi 15 décembre 2025). 2025-12-15 14:00 2025-12-14 19:00 1501 <p><br></p><p>There is a problem with the /scratch filesystem.</p><p> <br></p><ul> <li>Impacts: slow access or no access</li> <li>Cause: To be determined</li> <li>Solution: To be determined</li> <li>Estimate time to solution: To be determined</li> </ul><p> <br></p><p>======</p><p> <br></p><p>Il y a un problème avec le système de fichiers /scratch.</p><p> <br></p><ul> <li>Impacts : accès lents ou accès bloquants</li> <li>Cause : à déterminer</li> <li>Solution : à déterminer</li> <li>Heure estimée de résolution : à déterminer</li> </ul><p><br></p> 2026-01-13 14:21 2026-01-07 19:00 1503 <p>The storage system behind the backup service has a hardware problem.&nbsp;<b>The backup service is temporarily interrupted</b>. An engineer from the manufacturer will be onsite to repair the system this Friday morning. The downtime for the backup service might be until Monday.</p><p>======</p><p>Le système de stockage derrière le service de copies de sauvegarde a un problème matériel. <b>Le service de copies de sauvegarde est temporairement arrêté</b>. Un ingénieur du manufacturier viendra au centre de données pour réparer le système ce vendredi matin. L'arrêt de service risque de durer jusqu'à lundi.</p> 2026-01-09 18:30 2026-01-08 19:00 1507 <p>There is a problem with the /project filesystem.</p><ul> <li>Impacts: slow access or no access, <b>almost all compute nodes are not receiving new jobs</b></li><li>Cause: part of the storage system needs more time to reboot</li><li>Estimate time to solution: To be determined</li> </ul><p>======</p><p>Il y a un problème avec le système de fichiers /project.</p><ul> <li>Impacts : accès lents ou accès bloquants, <b>presque tous les nœuds ne reçoivent plus de nouvelles tâches de calcul</b></li><li>Cause : une partie du système de stockage a besoin de plus de temps pour redémarrer</li><li>Heure estimée de résolution : à déterminer</li> </ul> 2026-01-13 21:15 2026-01-13 19:45 1510 <p>Since a few days, the storage system has suffered of many episodes of instability affecting <b>the access</b> to data on either the <code>/scratch</code> space or the <code>/project</code> space. On a daily basis, the operation team is addressing all resolvable problems coming up randomly. Permanent solutions are on the way, but this will take time for their implementation.</p> <p>In the meantime, we encourage users to make use of the <code>$SLURM_TMPDIR</code> on compute nodes when it is suitable. For more information, see <a href="https://docs.alliancecan.ca/wiki/Using_node-local_storage" target="_blank"><u>this documentation page</u></a>.</p> <p>======</p> <p>Depuis quelques jours, le système de stockage subit de nombreuses instabilités, affectant <b>l'accès</b> aux données sur les espaces <code>/scratch</code> et <code>/project</code>. L'équipe d'exploitation s'efforce quotidiennement de résoudre les problèmes qui surviennent de manière aléatoire. Des solutions permanentes sont en cours d'élaboration, mais leur mise en œuvre prendra du temps.</p> <p>En attendant, nous encourageons les utilisateurs à utiliser la variable d'environnement <code>$SLURM_TMPDIR</code> sur les nœuds de calcul lorsque cela est approprié. Pour plus d'informations, consultez <a href="https://docs.alliancecan.ca/wiki/Using_node-local_storage/fr" target="_blank"><u>cette page de documentation</u></a>.</p> 2026-02-04 17:00 2026-01-15 13:00 1519 <p>Errors in the TSM inventory after we added tapes.</p><p>We are working for a solution with IBM.</p><p>The backup is not available as the library is stopped.</p><p>/</p><p>Des erreurs sont apparues dans l'inventaire TSM après l'ajout de tapes.</p><p><span style="font-size: 1rem;">Nous travaillons à la résolution de ce problème avec IBM.</span></p><p><span style="font-size: 1rem;">La sauvegarde est indisponibles car la library est hors service.</span></p> 2026-01-30 22:00 2026-01-27 14:00 1525 <p>The Ethernet network is down, which affects the access to the cluster and the compute jobs. We are investigating.</p><p>===</p><p> Le réseau Ethernet est hors service, ce qui affecte l'accès à la grappe et les tâches de calcul. Nous enquêtons sur ce problème.</p> None 2026-02-04 21:25 1527 <p>The backup service is temporarily not available as the TSM library is stopped for another full inventory scan.</p><p>This is caused by some hardware issue in the library. We are working for a solution with IBM.</p><p>===</p><p>Le service de copies de sauvegarde est temporairement indisponible, car la bibliothèque TSM est à l'arrêt pour effectuer un autre inventaire complet.</p><p>Ceci est causé par un certain problème matériel dans la bibliothèque. Nous travaillons à la résolution de ce problème avec IBM.</p> 2026-02-06 14:45 2026-02-05 20:30 1547 <p>Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem, <b>we have to pause read and write operations for a certain time period</b> (in the order of 30-45 minutes if no issue).</p><p><b>Active jobs accessing /project will hang until read and write operations are resumed</b>. The jobs will continue as usual after that, but their time limit <b>will not</b> be increased.</p><p>The access from login nodes and via Globus is also affected.</p><p>Replacing this hard drive is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p><p>======</p><p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire, <b>nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</b> (de l'ordre de 30 à 45 minutes si tout va bien).</p><p><b>Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</b>. Elles reprendront ensuite leur cours normal, mais leur durée limite <b>ne sera pas</b> prolongée.</p><p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p><p>Le remplacement de ce disque dur est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> 2026-03-10 19:15 2026-03-10 18:00 1549 <p><br>There is a power outage at this site. / Il y a une panne de courant sur ce site.</p> None 2026-03-12 10:40 1557 <p>Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem, <b>we have to pause read and write operations for a certain time period</b> (in the order of 30-45 minutes if no issue).</p><p><b>Active jobs accessing /project will hang until read and write operations are resumed</b>. The jobs will continue as usual after that, but their time limit <b>will not</b> be increased.</p><p>The access from login nodes and via Globus is also affected.</p><p>Replacing this hard drive is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p><p>======</p><p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire, <b>nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</b> (de l'ordre de 30 à 45 minutes si tout va bien).</p><p><b>Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</b>. Elles reprendront ensuite leur cours normal, mais leur durée limite <b>ne sera pas</b> prolongée.</p><p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p><p>Le remplacement de ce disque dur est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> 2026-03-16 19:30 2026-03-16 18:00 1558 <p>Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem, <b>we have to pause read and write operations for a certain time period</b> (in the order of 30-45 minutes if no issue).</p> <p><b>Active jobs accessing /project will hang until read and write operations are resumed</b>. The jobs will continue as usual after that, but their time limit <b>will not</b> be increased.</p> <p>The access from login nodes and via Globus is also affected.</p> <p>Replacing this hard drive is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p> <p>======</p> <p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire, <b>nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</b> (de l'ordre de 30 à 45 minutes si tout va bien).</p> <p><b>Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</b>. Elles reprendront ensuite leur cours normal, mais leur durée limite <b>ne sera pas</b> prolongée.</p> <p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p> <p>Le remplacement de ce disque dur est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> 2026-03-18 13:45 2026-03-18 13:15 1560 <p>Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem, <b>we have to pause read and write operations for a certain time period</b> (in the order of 30-45 minutes if no issue).</p> <p><b>Active jobs accessing /project will hang until read and write operations are resumed</b>. The jobs will continue as usual after that, but their time limit <b>will not</b> be increased.</p> <p>The access from login nodes and via Globus is also affected.</p> <p>Replacing this hard drive is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p> <p>======</p> <p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire, <b>nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</b> (de l'ordre de 30 à 45 minutes si tout va bien).</p> <p><b>Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</b>. Elles reprendront ensuite leur cours normal, mais leur durée limite <b>ne sera pas</b> prolongée.</p> <p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p> <p>Le remplacement de ce disque dur est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> 2026-03-20 15:20 2026-03-20 14:05 1564 <p>Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem, <b>we have to pause read and write operations for a certain time period</b> (in the order of 30-45 minutes if no issue).</p> <p><b>Active jobs accessing /project will hang until read and write operations are resumed</b>. The jobs will continue as usual after that, but their time limit <b>will not</b> be increased.</p> <p>The access from login nodes and via Globus is also affected.</p> <p>Replacing the hard drives is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p> <p>======</p> <p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire, <b>nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</b> (de l'ordre de 30 à 45 minutes si tout va bien).</p> <p><b>Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</b>. Elles reprendront ensuite leur cours normal, mais leur durée limite <b>ne sera pas</b> prolongée.</p> <p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p> <p>Le remplacement de ces disques durs est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> 2026-03-26 13:30 2026-03-26 12:50 1571 <p>Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem, <b>we have to pause read and write operations for a certain time period</b> (in the order of 30-45 minutes if no issue).</p> <p><b>Active jobs accessing /project will hang until read and write operations are resumed</b>. The jobs will continue as usual after that, but their time limit <b>will not</b> be increased.</p> <p>The access from login nodes and via Globus is also affected.</p> <p>Replacing the hard drives is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p> <p>======</p> <p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire, <b>nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</b> (de l'ordre de 30 à 45 minutes si tout va bien).</p> <p><b>Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</b>. Elles reprendront ensuite leur cours normal, mais leur durée limite <b>ne sera pas</b> prolongée.</p> <p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p> <p>Le remplacement de ces disques durs est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> 2026-04-14 16:10 2026-04-14 14:20 1572 <p>Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem, <b>we have to pause read and write operations for a certain time period</b> (in the order of 30-45 minutes if no issue).</p> <p><b>Active jobs accessing /project will hang until read and write operations are resumed</b>. The jobs will continue as usual after that, but their time limit <b>will not</b> be increased.</p> <p>The access from login nodes and via Globus is also affected.</p> <p>Replacing the hard drives is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p> <p>======</p> <p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire, <b>nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</b> (de l'ordre de 30 à 45 minutes si tout va bien).</p> <p><b>Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</b>. Elles reprendront ensuite leur cours normal, mais leur durée limite <b>ne sera pas</b> prolongée.</p> <p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p> <p>Le remplacement de ces disques durs est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> 2026-04-16 17:50 2026-04-16 17:25 1581 <p>Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem, <b>we have to pause read and write operations for a certain time period</b> (in the order of 30-45 minutes if no issue).</p> <p><b>Active jobs accessing /project will hang until read and write operations are resumed</b>. The jobs will continue as usual after that, but their time limit <b>will not</b> be increased.</p> <p>The access from login nodes and via Globus is also affected.</p> <p>Replacing the hard drives is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p> <p>======</p> <p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire, <b>nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</b> (de l'ordre de 30 à 45 minutes si tout va bien).</p> <p><b>Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</b>. Elles reprendront ensuite leur cours normal, mais leur durée limite <b>ne sera pas</b> prolongée.</p> <p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p> <p>Le remplacement de ces disques durs est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> 2026-04-28 18:00 2026-04-28 17:25 1583 <p>Following a security incident, we have temporarily suspended login and JupyterHub access. We are actively working to resolve the situation and will provide further details shortly.</p> <p>Thank you for your patience and understanding.</p> <p>======</p><p>Suite à un incident de sécurité, nous avons procédé à la fermeture temporaire des accès aux noeuds de connexion et à JupyterHub. Nous travaillons activement à résoudre la situation et reviendrons vers vous avec plus de détails sous peu.</p> <p>Merci de votre compréhension.</p> 2026-04-30 18:45 2026-04-29 20:30 1596 <p>New security incident</p> <ul> <li>Access to login nodes is temporarily closed.</li> <li>JupyterHub is temporarily down.</li> </ul> <p>To access your data, you may use <a href="https://docs.alliancecan.ca/wiki/Globus" target="_blank"><u>Globus</u></a>.</p> <p>======</p> <p>Nouvel incident de sécurité</p> <ul> <li>L'accès aux nœuds de connexion est temporairement fermé.</li> <li>JupyterHub est temporairement fermé.</li></ul> <p>Pour accéder à vos données, vous pouvez utiliser <a href="https://docs.alliancecan.ca/wiki/Globus/fr" target="_blank"><u>Globus</u></a>.</p> 2026-05-07 21:40 2026-05-07 20:00 1598 <p><b>Planned maintenance work requires us to shut down the entire cluster from June 1 at 8:00 AM to June 2 at 5:00 PM (EDT).</b></p> <ul><li>This maintenance work marks the beginning of a major project to replace close to 700 hard disk drives (HDDs) for the <code>/project</code> filesystem. <ul> <li>On June 1 and 2 (added June 3), the storage servers’ firmware will be upgraded, the first hard disks replacements will be made, and the storage system will be tested.</li> <li>Following this, the hard disks will be progressively replaced.</li> </ul> </li><li>As the compute nodes will be offline during this entire period, jobs scheduled to end after June 1 at 8:00 AM (EDT) will remain in the queue until Rorqual returns to service.</li> <li>The network and other storage spaces will also be unavailable during these two days.</li> </ul> <p>======</p> <p><b>Une maintenance planifiée nous oblige à fermer la grappe à partir de 8 h le 1er juin jusqu'à 17 h le 2 juin (HAE).</b></p> <ul><li>Cette maintenance marque le début d’un vaste projet de remplacement de quelque 700 disques durs pour le système de fichiers <code>/project</code>. <ul> <li>Les 1er et 2 juin (ajouté 3 juin) : mises à jour du micrologiciel (firmware) des serveurs de stockage, début du remplacement des disques durs et tests du système de stockage.</li> <li>Par la suite, il y aura remplacement progressif des autres disques durs.</li> </ul> </li><li>Puisque les nœuds de calcul seront hors ligne, les tâches qui devaient se terminer après 8 h le 1er juin resteront en file d'attente jusqu'au retour en service.</li> <li>L’arrêt de service comprend aussi le réseau et les autres espaces de stockage.</li></ul><p><br></p><ul> </ul> 2026-06-03 22:00 2026-06-01 12:00 1602 <p>Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem, <b>we have to pause read and write operations for a certain time period</b> (in the order of 30-45 minutes if no issue).</p> <p><b>Active jobs accessing /project will hang until read and write operations are resumed</b>. The jobs will continue as usual after that, but their time limit <b>will not</b> be increased.</p> <p>The access from login nodes and via Globus is also affected.</p> <p>Replacing the hard drives is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p> <p>======</p> <p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire, <b>nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</b> (de l'ordre de 30 à 45 minutes si tout va bien).</p> <p><b>Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</b>. Elles reprendront ensuite leur cours normal, mais leur durée limite <b>ne sera pas</b> prolongée.</p> <p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p> <p>Le remplacement de ces disques durs est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> 2026-05-14 14:25 2026-05-14 13:25 1607 <h4 style="color: rgb(33, 37, 41);"><span style="font-size: 1rem;">Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem,&nbsp;</span><span style="font-size: 1rem; font-weight: bolder;">we have to pause read and write operations for a certain time period</span><span style="font-size: 1rem;">&nbsp;(in the order of 30-45 minutes if no issue).</span></h4><p><span style="font-weight: bolder;">Active jobs accessing /project will hang until read and write operations are resumed</span>. The jobs will continue as usual after that, but their time limit&nbsp;<span style="font-weight: bolder;">will not</span>&nbsp;be increased.</p><p>The access from login nodes and via Globus is also affected.</p><p>Replacing the hard drives is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p><p>======</p><p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire,&nbsp;<span style="font-weight: bolder;">nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</span>&nbsp;(de l'ordre de 30 à 45 minutes si tout va bien).</p><p><span style="font-weight: bolder;">Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</span>. Elles reprendront ensuite leur cours normal, mais leur durée limite&nbsp;<span style="font-weight: bolder;">ne sera pas</span>&nbsp;prolongée.</p><p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p><p><p></p></p><p style="box-sizing: border-box; font-family: Montserrat, sans-serif; margin-top: 0px; margin-bottom: 1rem; color: rgb(33, 37, 41); font-size: 16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; white-space: normal; background-color: rgb(255, 255, 255); text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial;">Le remplacement de ces disques durs est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> None 2026-05-19 13:15 1612 <p>Starting May 21 at 1:00 p.m. ET: rolling update of Nvidia drivers to 580 (CUDA 13) on all GPU nodes.</p> <p>We are using the drain method — no running jobs will be interrupted, but no new jobs will start on a node until its update is complete. As soon as a node gets updated, GPU jobs will be able to use that node. Full rollout will take up to 7 days (max job duration on GPU nodes), but GPU jobs will be able to start sooner than that.</p> <p>Feel free to reach out if you have any questions or issues.</p> <p>======</p> <p>À partir du 21 mai à 13h00 HE : mise à jour progressive des pilotes Nvidia vers la version 580 (CUDA 13) sur tous les nœuds GPU.</p> <p>Nous utilisons la méthode de drainage — les tâches de calcul en cours ne seront pas interrompues, mais aucune nouvelle tâche ne démarrera sur un nœud avant que sa mise à jour ne soit terminée. Dès qu'un nœud est à jour, les tâches GPU vont pouvoir utiliser ce nœud. Le déploiement complet prendra jusqu’à 7 jours (durée maximale des tâches sur les nœuds GPU), mais des tâches GPU pourront démarrer avant cela.</p> <p>N’hésitez pas à nous écrire pour toute question ou problème.</p> 2026-05-28 17:00 2026-05-21 17:00 1621 <p>There is a problem with the /project filesystem on Rorqual, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers&nbsp; /project sur la grappe Rorqual, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> None 2026-05-26 14:43 1622 <p>Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem, <b>we have to pause read and write operations for a certain time period</b> (in the order of 30-45 minutes if no issue).</p> <p><b>Active jobs accessing /project will hang until read and write operations are resumed</b>. The jobs will continue as usual after that, but their time limit <b>will not</b> be increased.</p> <p>The access from login nodes and via Globus is also affected.</p> <p>Replacing the hard drives is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p> <p>======</p> <p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire, <b>nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</b> (de l'ordre de 30 à 45 minutes si tout va bien).</p> <p><b>Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</b>. Elles reprendront ensuite leur cours normal, mais leur durée limite <b>ne sera pas</b> prolongée.</p> <p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p> <p>Le remplacement de ces disques durs est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> 2026-05-29 15:35 2026-05-29 14:35 1632 <p>Rorqual est opérationnel.</p> <p>90 % des firmwares des contrôleurs Corvault sont à jour. Cependant, au cours des prochaines semaines, nous devrons également remplacer plus de 600 disques durs du système Lustre, ce qui entraînera de nouveaux ralentissements et de brèves interruptions. <b>De plus, les configurations MIG ne fonctionnent pas suite à la mise à jour SLURM et nous devons régler ce problème. Une solution est prévue demain après-midi.</b></p> <p>======</p> <p>Rorqual is operational.</p> <p>90% of the Corvault controllers’ firmware are up to date. However, over the next few weeks, we will also need to replace more than 600 Lustre system hard drives, which will cause further slowdowns and brief outages. <b>Additionally, the MIG configurations are not working after the SLURM update, and we need to resolve this issue. A solution is expected tomorrow afternoon.</b></p> 2026-06-04 13:30 2026-06-03 22:00 1638 <p>There is a problem with the /project filesystem.</p> <ul> <li>Impacts: slow access or no access</li> <li>Cause: changing a disk as per the long term maintenance of the storage system caused multiple other issues.</li> <li>Solution: To be determined with the vendor</li> <li>Estimate time to solution: To be determined</li> </ul> <p>======</p> <p>Il y a un problème avec le système de fichiers /project.</p> <ul> <li>Impacts : accès lents ou accès bloquants</li> <li>Cause : le remplacement d'un disque dans le cadre de la maintenance à long terme du système de stockage a engendré de nombreux autres problèmes.</li> <li>Solution : à déterminer avec le vendeur</li> <li>Heure estimée de résolution : à déterminer</li> </ul> 2026-06-15 14:00 2026-06-10 18:10 1645 <p>There is a problem with the /project filesystem on Rorqual, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers&nbsp; /project sur la grappe Rorqual, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> 2026-06-25 19:04 2026-06-25 17:41 1654 <p>Replacing a hard-drive is usually transparent to users, but the storage system has been very sensitive to such operation. To prevent any additional problem, <b>we have to pause read and write operations for a certain time period</b> (in the order of 30-45 minutes if no issue).</p> <p><b>Active jobs accessing /project will hang until read and write operations are resumed</b>. The jobs will continue as usual after that, but their time limit <b>will not</b> be increased.</p> <p>The access from login nodes and via Globus is also affected.</p> <p>Replacing the hard drives is relatively urgent and we cannot wait for a proper maintenance period. We apologize for the impacts on your research activities.</p> <p>======</p> <p>Le remplacement d'un disque dur est généralement transparent pour les usagers, mais le système de stockage s'est montré très sensible à ce type d'opération. Afin d'éviter tout problème supplémentaire, <b>nous devons mettre sur pause les opérations de lecture et d'écriture pendant une certaine période</b> (de l'ordre de 30 à 45 minutes si tout va bien).</p> <p><b>Les tâches en cours accédant à /project subiront la pause jusqu'à la reprise des opérations de lecture et d'écriture</b>. Elles reprendront ensuite leur cours normal, mais leur durée limite <b>ne sera pas</b> prolongée.</p> <p>L'accès à partir des nœuds de connexion et via Globus sera aussi affecté.</p> <p>Le remplacement de ces disques durs est relativement urgent et nous ne pouvons pas attendre une période de maintenance plus appropriée. Nous sommes désolés pour les impacts sur vos activités de recherche.</p> 2026-07-06 21:10 2026-07-06 15:30