Migration des systèmes régionaux de WestGrid

Page enfant de Migration des systèmes régionaux vers les systèmes nationaux 2016-2018

Processus pour 2018-2019

La Fondation canadienne pour l'innovation a accepté de poursuivre pour une autre année le financement de la grappe Orcinus gérée par Calcul Canada et WestGrid; elle sera mise hors service en 2019.

Grappe	Site	Mise hors service	Date recommandée pour la migration(*)	Notes
orcinus	Université de la Colombie-Britannique	*nouvelle date* 2019-03-31	*nouvelle date* 2019-01-01	Voyez l'information sur la grappe ci-dessous. Les utilisateurs qui ne détiennent pas d'allocation de ressources par suite d'un concours sont responsables de leurs données. Référez-vous aux Directives pour la migration de vos données.

(*) Nous vous recommandons de débuter le processus de migration le plus tôt possible avant la date de mise hors service, afin de disposer d'assez de temps pour transférer vos données et vos tâches et vous familiariser avec le nouveau système.

Les systèmes mis hors service ne seront plus soutenus financièrement par Calcul Canada, ni utilisés ou maintenus sur la cyberinfrastructure nationale. Ces systèmes seront pris en charge par les institutions qui les hébergent, ce qui inclut les opérations de sauvegarde et la gestion des systèmes de fichiers de stockage. Pour connaitre les politiques de rétention et de suppression des données de chacune des institutions, consultez WestGrid Migration Support Contacts.

Les utilisateurs de ces grappes doivent migrer leurs données et leurs tâches à la nouvelle grappe avant la date de mise hors service.

Pour de l'aide avec le transfert de vos données ou pour toute question en rapport avec la migration, communiquez avec support@westgrid.ca.

Politique de rétention et de suppression des données

Les données qui se trouveront sur des grappes mises hors service seront supprimées. La responsabilité de déplacer les données vers d'autres espaces de stockage revient aux utilisateurs.

Les systèmes mis hors service seront pris en charge par les institutions qui les hébergent, ce qui inclut les opérations de sauvegarde et la gestion du stockage. Pour connaître les politiques de rétention et de suppression des données de chacune des institutions, contactez WestGrid Migration Support Contacts.

IMPORTANT : Les données encore sur les systèmes mis hors service seront supprimées aux dates annoncées. WestGrid a demandé aux institutions de conserver les données jusqu'à la date de suppression annoncée; aucune garantie n'est donnée quant à la rétention après cette date. WestGrid ne conservera pas de copie des données des utilisateurs; ces derniers sont responsables de la migration. Nous encourageons les utilisateurs à vérifier les exigences des institutions ou des projets en matière de gestion des données, et de s'y conformer.

Vers où migrer

Ressources de stockage

La cyberinfrastructure nationale offre le stockage de copies de sauvegarde des données dans des espaces /project fiables sur Cedar et sur Graham. Règle générale, les utilisateurs devraient migrer leurs données vers une de ces grappes.

Prenez note :

• si vous disposez de ressources allouées pour 2018, ces ressources peuvent se trouver sur Cedar ou Graham; dans ce cas, utilisez l'espace de stockage projet sur la grappe en question;

• si vous ne disposez pas de ressources allouées pour 2018, vous pouvez utiliser au choix les espaces de stockage disponibles par le service d'accès rapide de l'Université Simon Fraser ou de l'Université de Waterloo.

Vous trouverez des renseignements utiles dans les pages suivantes :

• Stockage et gestion de fichiers
• Espace projet (/project est organisé selon les groupes)

La grappe Niagara localisée à l'Université de Toronto offre plusieurs ressources de stockage dédiées principalement aux utilisateurs avec des tâches parallèles d'envergure. Pour plus d'information, contactez le soutien technique de Calcul Canada.

Ressources de calcul

Cedar, Graham et NiagaraNiagara sont en production.

Tous les utilisateurs possèdent des comptes; ceux qui utilisent les ressources installées avant 2016 peuvent maintenant migrer.

Migration du code et des tâches

Les logiciels et paquets devront possiblement être recompilés ou réinstallés sur les nouvelles grappes; cette opération pourrait nécessiter beaucoup de temps. Notre équipe technique possède une expertise avancée dans ces opérations; n'hésitez pas à demander leur aide en écrivant à support@westgrid.ca.

Consultez Migration du code et des tâches à partir des systèmes pré-2016 pour les détails à retenir.

Migration des données

Responsabilité de l'utilisateur

Nous insistons sur le fait qu'il revient aux utilisateurs de déplacer les données qui sont présentement sur les systèmes mis hors service. WestGrid ne possède pas le moyen de faire le suivi de chaque transfert de données et ne peut donc pas avertir chacun des utilisateurs de la durée restante avant la mise hors service d'un système. Vous devez copier vos données sur un nouveau site fiable le plus tôt possible; la recommandation de WestGrid est d'entamer le processus au moins trois mois avant la mise hors service.

Meilleures pratiques et suggestions pour la gestion des fichiers

• Déplacez vos données vers un nouveau système AVANT la date de mise hors service.
• Supprimez les données inutiles.
• Ne gardez pas plusieurs copies de vos données sur plusieurs systèmes.
• Déplacez toutes les données qui ne sont pas présentement utilisées vers un système d'archivage.
  • Prenez connaissance des espaces projet (sauvegardés) et nearline (uniquement sur bandes) de la cyberinfrastructure nationale.
• Le contenu de l'espace scratch n'est pas sauvegardé et sa conservation à long terme n'est pas garantie. Les données qui ne sont pas actives pourraient être purgées. Certains utilisateurs semblent y stocker des données importantes; vérifiez le contenu de votre espace scratch et déplacez le contenu important vers un espace de stockage permanent.

Transfert de nombreux fichiers

Certains de nos utilisateurs ont des milliers de fichiers; les outils habituels de transfert sont inefficaces avec de telles quantités. Nous vous recommandons fortement d'utiliser la commande tar avant le transfert de vos fichiers. Consultez ce tutoriel sur la compression et l'extraction de fichiers avec tar sous Linux et les détails et exemples de la page Archiving and compressing files.

Transfert de données avec Globus

Globus est l'outil de choix pour les transferts de fichiers : les opérations de transfert sont plus efficaces et le temps est significativement réduit. Certains utilisateurs on rapporté des temps 10 et même 100 fois plus courts en comparaison avec SCP.

Vous pouvez utiliser Globus pour transférer vos données entre ressources WestGrid puisque toutes ces ressources sont configurées pour être des points de chute.

Pour savoir comment transférer vos données vers un nouveau système, consultez la page Globus et les directives pour la migration.

Orcinus (Université de la Colombie-Britannique)

Demeure en service jusqu'au 2019-03-31

La Fondation canadienne pour l'innovation a accepté de poursuivre pour une autre année le financement de la grappe Orcinus gérée par Calcul Canada et WestGrid. WestGrid apprécie cette aide, car la demande pour des ressources de calcul haute performance est en croissance constante partout au pays.

Les détenteurs de comptes Calcul Canada ont accès à Orcinus par le service d'accès rapide. Pour toute question, contactez le soutien technique en calcul informatique de pointe de l'Université de la Colombie-Britannique.

Stockage

Orcinus dispose d'un petit système sur disque pour les espaces /home et /globalscratch. Les utilisateurs devraient migrer le contenu de /home vers Cedar ou Graham. Pour ce qui est de /globalscratch, il n'y a pas de sauvegarde et son but était de servir d'espace scratch de haute performance. Nous remarquons toutefois que certains utilisateurs y conservent des données importantes ou même permanentes. Veuillez migrer ce type de données vers Cedar ou Graham.

Migration

Orcinus est une grappe d'usage général qui est utilisée pour le calcul en série et en parallèle. Toutes les nouvelles grappes d'usage général devraient convenir aux utilisateurs type d'Orcinus.

Soutien technique et renseignements additionnels

Pour des renseignements généraux, écrivez à support@westgrid.ca.

Pour des renseignements sur les ressources locales qui seront prises en charge par les universités, voyez la page WestGrid Institutional Support Contacts.

Les références suivantes sont un complément d'information :

• Migration – Foire aux questions
• Migration – Recommandations
• Service d'accès rapide

Previously Defunded Systems Notes

System	Site	Defunding Date	Recommended Migration Date(*)	Notes
Nestor and Hermes	University of Victoria	June 1, 2017	(COMPLETE)	UVic may keep Hermes as a local system. For details please ask local IT support.
Breezy and Lattice	University of Calgary	August 31, 2017	(COMPLETE)	Parallel and the shared storage system will continue until Mar.31, 2018. UCalgary may keep Breezy, Lattice and Parallel as local systems. For details please ask local IT support
Jasper and Hungabee	University of Alberta	September 30, 2017	(COMPLETE)	UofA is intending to keep jasper and hungabee going. For details please ask local IT support.
Bugaboo	University of British Columbia	March 31, 2018	(COMPLETE)	If you have questions, contact support@westgrid.ca.
Grex	University of Manitoba	March 31, 2018	(COMPLETE)	The new large parallel system Niagara will be available for the RAC 2018 year and would be an excellent alternative for those users with large parallel ambitions. WebMO is available on the ACENET Placentia system and Gaussian is available on Cedar. If you have questions, contact support@westgrid.ca.
Parallel	University of Calgary	March 31, 2018	(COMPLETE)	Local Users (any researcher located at or collaborating with the University of Calgary) should email support@hpc.ucalgary.ca to clarify local use policies or to confirm if you qualify as a local user. Non-local users (WestGrid users who are not based at or affiliated with the University of Calgary) will be able to access data stored on these systems until April 30, 2018. If you have questions, contact support@westgrid.ca.

Document History

v2.1	May 14, 2018	Removed obsolete information and details. All systems except orcinus have been defunded.
v2.0	Apr. 03, 2018	Removed information for systems defunded on March 31, 2018 (Parallel, Orcinus, Grex) and updated the Previously Defunded Systems Notes table.
v1.9	Feb. 02, 2018	Added links to General Directives for Migration for users on remaining legacy systems (Parallel, Orcinus, Grex).
v1.8	Dec.11, 2017	Bugaboo defunding delayed. Removed details for previously defunded systems.
v1.7	Oct.19, 2017	Bugaboo migration and defunding plans updated.
v1.6	Sep.12, 2017	2018 migration and defunding plans added.
v1.5	Aug 22, 2017	Some new systems are now available and in production. The text has been updated to reflect actuals.
v1.4	June 30, 2017	RAC 2017 allocations have been implemented on the continuing WG legacy systems.
v1.3	May 31, 2017	Schedule updates and various details for systems to be defunded in 2017.
v1.2	Mar.20, 2017	Link to software availability documentation
v1.1	Mar.9, 2017	Nestor has been extended to June 1, 2017.
v1.0	Mar.8, 2017	UofC dates revised to Aug.31. General clean-up of the docs.
v0.92	Mar.7, 2017	Revised dates. University of Alberta details updated. User access to Jasper & Hungabee extended to September 30, 2017.
v0.91	Mar 3, 2017	UVic nestor/hermes details updated and confirmed (to June 1, 2017)