2026-07-07 21:23:52+00:00 1360 <p><b>From July 15 to September 8, 2025</b>, the tape storage system behind the TSM service, including the backup service and the <code>/nearline</code> data migrated to tape, will be unavailable during its migration to a new data centre.</p> <p>During this outage:</p> <ul> <li><b>Services for file backups and their restoration will be unavailable.</b> <ul> <li>We suggest that you keep a backup copy of important data on another storage system.</li> <li>Double-check all delete operations.</li> <li>If you lose data that existed before July 15, their restoration will need to wait until the tape storage system is back in production.</li> <li>If you lose data created or modified between July 15 and September 8, it will not be possible to recover them because no backup copy will have been made.</li> </ul> </li> <li><b>The data initially stored in <code>/nearline</code> and migrated to tape</b> will not be accessible during the outage. <ul> <li>To identify which files are exclusively stored on tape, <u><a href="https://docs.alliancecan.ca/wiki/Using_nearline_storage#Transferring_data_from_/nearline" target="_blank">see Transferring data from /nearline</a></u>.</li> </ul> </li> <li><b>The TSM service will be completely unavailable.</b></li> </ul> <p>Note:</p> <ul> <li>The other storage systems and the compute nodes will remain fully operational.</li> <li>The Globus file transfers will not be affected unless you try accessing files stored in <code>/nearline</code> that have been migrated to tape. The other files will remain accessible.</li> </ul> <p>======</p> <p><b>Du 15 juillet au 8 septembre 2025</b>, le système de stockage sur ruban pour le service TSM, y compris les copies de sauvegarde et les données de <code>/nearline</code> migrées sur ruban, sera fermé pour son intégration à un nouveau centre de données.</p> <p>Cet arrêt de service touche :</p> <ul> <li><b>Le service de copies de sauvegarde et de restauration des données.</b> <ul> <li>Nous vous suggérons d’effectuer une copie de sauvegarde de vos données importantes vers un autre système.</li> <li>Portez bien attention aux opérations de suppression de fichiers.</li> <li>En cas de perte de données qui existaient avant le 15 juillet, leur récupération devra attendre le retour en service du système de stockage sur ruban.</li> <li>En cas de perte de données créées ou modifiées entre le 15 juillet et le 8 septembre, il ne sera pas possible de les récupérer, car aucune copie de sauvegarde n’aura été faite.</li> </ul> </li> <li><b>Les données de la partition <code>/nearline</code> qui ont été migrées sur ruban</b> ne seront pas disponibles pendant la période de déplacement. <ul> <li>Pour savoir quels fichiers sont exclusivement sur ruban, <u><a href="https://docs.alliancecan.ca/wiki/Using_nearline_storage/fr#Transf%C3%A9rer_des_donn%C3%A9es_%C3%A0_partir_de_/nearline" target="_blank">voir Transférer des données à partir de /nearline</a></u>.</li> </ul> </li> <li><b>Le service TSM ne sera pas disponible.</b></li> </ul> <p>Remarques :</p> <ul> <li>Les autres systèmes de stockage et les nœuds de calcul ne sont pas touchés.</li> <li>Le service de transfert de données via Globus ne sera affecté que si vous tentez d’accéder aux fichiers de <code>/nearline</code> qui sont exclusivement stockés sur ruban. Les autres fichiers resteront accessibles.</li> </ul> 2025-09-08 21:00 2025-07-15 13:00 1363 <p>There is a problem with the /scratch filesystem.</p><ul> <li>Impacts: slow access or no access</li> <li>Cause: Hard-drive not responding</li> <li>Solution: Ongoing fail-over</li> <li>Estimate time to solution: 5:00 pm (EDT)</li> </ul><p>======</p><p>Il y a un problème avec le système de fichiers /scratch.</p><ul> <li>Impacts : accès lents ou accès bloquants</li> <li>Cause : disque-dur qui ne répond pas</li> <li>Solution : rééquilibrage de la charge en cours</li> <li>Heure estimée de résolution : 17h00 (HAE)</li> </ul> 2025-07-16 01:11 2025-07-15 18:55 1365 <p>There is a problem with the /project and /scratch filesystems which seem to be less responsive than usual. This also affects the access to files via the Globus portal. We are investigating.</p><p>---</p><p>Il y a un problème avec les systèmes de fichiers /project et /scratch qui ne réagissent pas correctement. Cela affecte aussi l'accès aux fichiers via le portail Globus. Nous investiguons actuellement ce qui se passe.</p> 2025-07-16 18:30 2025-07-16 15:45 1404 <p>Access to login nodes is disrupted. We are investigating. / L'accès aux noeuds de connexion est interrompu. Nous investiguons actuellement ce qui se passe.<br></p> 2025-08-28 14:15 2025-08-28 13:45 1406 <p>Access to login nodes is disrupted. We are investigating. / L'accès aux noeuds de connexion est interrompu. Nous investiguons actuellement ce qui se passe.<br></p> 2025-08-29 17:30 2025-08-29 16:39 1432 <p>There is a problem with the /project filesystem on Narval, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers /project sur la grappe Narval, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> None 2025-10-02 10:37 1445 <p>The `diskusage_report` command returns an error on Narval. We are working to correct the issue, which only affects this command: the filesystems and data are unaffected.</p><p>---</p><p>La commande `diskusage_report` sur Narval retourne une erreur. Nous travaillons pour corriger ce problème, qui n’affecte que cette commande : les systèmes de fichiers et les données ne sont pas affectés.</p> 2025-10-25 14:07 2025-10-23 18:04 1477 <p>Following up <u><a href="https://status.alliancecan.ca/view_incident?incident=1460" target="_blank">the recent down time</a></u>, one InfiniBand management switch stopped working properly. The access to the filesystems was temporarily blocked from all compute nodes. A workaround has been configured, but we need to keep all jobs in the waiting queue at the moment.</p><p>======</p><p>Suite à <u><a href="https://status.alliancecan.ca/view_incident?incident=1460" target="_blank">la récente fermeture</a></u>, un commutateur géré InfiniBand a cessé de fonctionner correctement. L'accès aux systèmes de fichiers a été temporairement bloqué depuis tous les nœuds de calcul. Une solution de contournement a été configurée, mais nous devons encore garder les tâches de calcul en file d'attente.</p> 2025-12-01 21:50 2025-11-29 20:38 1482 <p>There is a problem with the /scratch filesystem on Narval, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers /scratch sur la grappe Narval, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> 2025-12-02 16:43 2025-12-02 16:20 1488 <p>Access to login nodes is disrupted. We are investigating. / L'accès aux noeuds de connexion est interrompu. Nous investiguons actuellement ce qui se passe.<br></p> 2025-12-14 17:01 2025-12-14 04:36 1490 <p>Some filesystem issues may occur (module, CVMFS, etc.). We will try to resolve this tomorrow (Monday, December 15, 2025). / Certains problèmes dans le système de fichiers peuvent apparaître (module, CVMFS, ...) . Nous allons essayer de régler ceci demain (lundi 15 décembre 2025).</p> 2025-12-15 14:00 2025-12-14 18:57 1500 <p>There is a problem with the /project filesystem on Narval, which seems to be unresponsive. We are investigating. / Il y a un problème avec le système de fichiers&nbsp; /project sur la grappe Narval, qui ne réagit pas correctement. Nous investiguons actuellement ce qui se passe.<br></p> 2026-01-07 14:46 2026-01-07 02:13 1502 <p>The storage system behind the backup service has a hardware problem.&nbsp;<b>The backup service is temporarily interrupted</b>. An engineer from the manufacturer will be onsite to repair the system this Friday morning. The downtime for the backup service might be until Monday.</p><p>======</p><p>Le système de stockage derrière le service de copies de sauvegarde a un problème matériel. <b>Le service de copies de sauvegarde est temporairement arrêté</b>. Un ingénieur du manufacturier viendra au centre de données pour réparer le système ce vendredi matin. L'arrêt de service risque de durer jusqu'à lundi.</p> 2026-01-09 18:30 2026-01-08 19:00 1509 <p>Since a few days, the storage system has suffered of many episodes of instability affecting <b>the access</b> to data on either the <code>/scratch</code> space, the <code>/project</code> space or&nbsp;the <code>/home</code>&nbsp;space. On a daily basis, the operation team is addressing all resolvable problems coming up randomly. Permanent solutions are on the way, but this will take time for their implementation.</p> <p>In the meantime, we encourage users to make use of the <code>$SLURM_TMPDIR</code> on compute nodes when it is suitable. For more information, see <a href="https://docs.alliancecan.ca/wiki/Using_node-local_storage" target="_blank"><u>this documentation page</u></a>.</p> <p>======</p> <p>Depuis quelques jours, le système de stockage subit de nombreuses instabilités, affectant <b>l'accès</b> aux données sur les espaces <code>/scratch</code>, <code>/project</code> et <code>/home</code>. L'équipe d'exploitation s'efforce quotidiennement de résoudre les problèmes qui surviennent de manière aléatoire. Des solutions permanentes sont en cours d'élaboration, mais leur mise en œuvre prendra du temps.</p> <p>En attendant, nous encourageons les utilisateurs à utiliser la variable d'environnement <code>$SLURM_TMPDIR</code> sur les nœuds de calcul lorsque cela est approprié. Pour plus d'informations, consultez <a href="https://docs.alliancecan.ca/wiki/Using_node-local_storage/fr" target="_blank"><u>cette page de documentation</u></a>.</p> 2026-01-23 17:00 2026-01-15 13:00 1518 <p>Errors in the TSM inventory after we added tapes.</p><p>We are working for a solution with IBM.</p><p>The backup and the nearline not available as the library is stopped.</p><p>/</p><p>Des erreurs sont apparues dans l'inventaire TSM après l'ajout de tapes.</p><p><span style="font-size: 1rem;">Nous travaillons à la résolution de ce problème avec IBM.</span></p><p><span style="font-size: 1rem;">La sauvegarde et le service nearline sont indisponibles car la library est hors service.</span></p> 2026-01-30 22:00 2026-01-27 14:00 1528 <p>The backup service is temporarily not available as the TSM library is stopped for another full inventory scan.</p><p>This is caused by some hardware issue in the library. We are working for a solution with IBM.</p><p>===</p><p>Le service de copies de sauvegarde est temporairement indisponible, car la bibliothèque TSM est à l'arrêt pour effectuer un autre inventaire complet.</p><p>Ceci est causé par un certain problème matériel dans la bibliothèque. Nous travaillons à la résolution de ce problème avec IBM.</p> 2026-02-06 14:45 2026-02-05 20:30 1582 <p>There is a problem with the /home filesystem.</p><ul> <li>Impacts: slow access or no access</li> <li>Cause: one metadata server is receiving lots of requests</li> <li>Solution: To be determined</li> <li>Estimate time to solution: To be determined</li> </ul><p>======</p><p>Il y a un problème avec le système de fichiers /home.</p><ul> <li>Impacts : accès lents ou accès bloquants</li> <li>Cause : un serveur de métadonnées qui est surchargé</li> <li>Solution : à déterminer</li> <li>Heure estimée de résolution : à déterminer</li> </ul> 2026-04-29 18:30 2026-04-29 14:30 1584 <p>Following a security incident, we have temporarily suspended login and JupyterHub access. We are actively working to resolve the situation and will provide further details shortly.</p> <p>Thank you for your patience and understanding.</p> <p>======</p> <p>Suite à un incident de sécurité, nous avons procédé à la fermeture temporaire des accès aux noeuds de connexion et à JupyterHub. Nous travaillons activement à résoudre la situation et reviendrons vers vous avec plus de détails sous peu.</p> <p>Merci de votre compréhension.</p> 2026-04-30 18:45 2026-04-29 20:30 1597 <p>New security incident</p> <ul> <li>Access to login nodes is temporarily closed.</li> <li>JupyterHub is temporarily down.</li> </ul> <p>To access your data, you may use <a href="https://docs.alliancecan.ca/wiki/Globus" target="_blank"><u>Globus</u></a>.</p> <p>======</p> <p>Nouvel incident de sécurité</p> <ul> <li>L'accès aux nœuds de connexion est temporairement fermé.</li> <li>JupyterHub est temporairement fermé.</li></ul> <p>Pour accéder à vos données, vous pouvez utiliser <a href="https://docs.alliancecan.ca/wiki/Globus/fr" target="_blank"><u>Globus</u></a>.</p> 2026-05-07 21:40 2026-05-07 20:00 1611 <p>Starting May 21 at 1:00 p.m. ET: rolling update of Nvidia drivers to 580 (CUDA 13) on all GPU nodes.</p> <p>We are using the drain method — no running jobs will be interrupted, but no new jobs will start on a node until its update is complete. As soon as a node gets updated, GPU jobs will be able to use that node. Full rollout will take up to 7 days (max job duration on GPU nodes), but GPU jobs will be able to start sooner than that.</p> <p>Feel free to reach out if you have any questions or issues.</p> <p>======</p> <p>À partir du 21 mai à 13h00 HE : mise à jour progressive des pilotes Nvidia vers la version 580 (CUDA 13) sur tous les nœuds GPU.</p> <p>Nous utilisons la méthode de drainage — les tâches de calcul en cours ne seront pas interrompues, mais aucune nouvelle tâche ne démarrera sur un nœud avant que sa mise à jour ne soit terminée. Dès qu'un nœud est à jour, les tâches GPU vont pouvoir utiliser ce nœud. Le déploiement complet prendra jusqu’à 7 jours (durée maximale des tâches sur les nœuds GPU), mais des tâches GPU pourront démarrer avant cela.</p> <p>N’hésitez pas à nous écrire pour toute question ou problème.</p> 2026-05-28 17:00 2026-05-21 17:00 1625 <p>We sincerely apologize for the unexpected disruption. Approximately 25% of Narval nodes went offline following a pump driver reboot that was performed today and expected to be non-impacting. We regret any inconvenience this may have caused.<br><br>---<br><br>Nous nous excusons sincèrement pour cette interruption imprévue. Environ 25 % des nœuds Narval sont tombés hors ligne à la suite d’un redémarrage des pilotes de pompes effectué aujourd’hui et qui était censé se dérouler sans impact. Nous regrettons tout inconvénient que cela aurait pu causer.</p> 2026-06-02 15:00 2026-06-02 13:25 1628 <p>The Metrix monitoring portal is actually down. We are investigating, but Rorqual's maintenance period has the priority at the moment.</p><p>======</p><p>Le portail de monitorage Metrix est présentement hors service. Nous analysons le problème, mais la période de maintenance de Rorqual a la priorité en ce moment.</p> 2026-06-05 17:50 2026-06-01 19:15