Migration des systèmes régionaux de WestGrid

---

Outdated translations are marked like this.

Page enfant de Migration des systèmes régionaux vers les systèmes nationaux 2016-2018

Processus pour 2016-2018

WestGrid procèdera à la mise hors service des systèmes suivants; pour les détails, voyez Where to Migrate? sur le site de WestGrid.

Système	Site	Date de mise hors service	Date de migration recommandée(*)	Notes
Bugaboo	Université Simon Fraser	2018-01-31	maintenant	Les utilisateurs qui n'ont pas de ressources allouées par suite du concours ne sont plus sur Bugaboo. L'équipe technique de WestGrid enverra des directives par courriel aux détenteurs d'une allocation de ressources. Pour toute question, communiquez avec support@westgrid.ca.
Parallel	Université de Calgary	2018-03-31	2018-01-01	Les utilisateurs qui ne détiennent pas d'allocation de ressources par suite du concours sont responsables de leurs données. Référez-vous aux directives pour la migration de vos données.
Orcinus	Université de la Colombie-Britannique	2018-03-31	2018-01-01	Les utilisateurs qui ne détiennent pas d'allocation de ressources par suite du concours sont responsables de leurs données. Référez-vous aux directives pour la migration de vos données.
Grex	Université du Manitoba	2018-03-31	2018-01-01	Les utilisateurs qui ne détiennent pas d'allocation de ressources par suite du concours sont responsables de leurs données. Référez-vous aux directives pour la migration de vos données.

(*) Nous vous recommandons de débuter le processus de migration le plus tôt possible afin de disposer d'assez de temps pour transférer vos données et vos tâches et vous familiariser avec le nouveau système.

Les systèmes mis hors service ne seront plus soutenus financièrement par Calcul Canada, ni utilisés ou maintenus sur la cyberinfrastructure nationale. Ces systèmes seront pris en charge par les institutions qui les hébergent, ce qui inclut les opérations de sauvegarde et la gestion des systèmes de fichiers de stockage. Pour connaitre les politiques de rétention et de suppression des données de chacune des institutions, consultez WestGrid Migration Support Contacts.

Les utilisateurs de ces grappes doivent migrer leurs données et leurs tâches à la nouvelle grappe avant la date de mise hors service.

Pour de l'aide avec le transfert de vos données ou pour toute question en rapport avec la migration, communiquez avec support@westgrid.ca.

Politique de rétention et de suppression des données

Les données qui se trouveront sur des grappes mises hors service seront supprimées. La responsabilité de déplacer les données vers d'autres espaces de stockage revient aux utilisateurs.

Les systèmes mis hors service seront pris en charge par les institutions qui les hébergent, ce qui inclut les opérations de sauvegarde et la gestion du stockage. Pour connaître les politiques de rétention et de suppression des données de chacune des institutions, contactez WestGrid Migration Support Contacts.

IMPORTANT : Les données encore sur les systèmes mis hors service seront supprimées aux dates annoncées. WestGrid a demandé aux institutions de conserver les données jusqu'à la date de suppression annoncée; aucune garantie n'est donnée quant à la rétention après cette date. WestGrid ne conservera pas de copie des données des utilisateurs; ces derniers sont responsables de la migration. Nous encourageons les utilisateurs à vérifier les exigences des institutions ou des projets en matière de gestion des données, et de s'y conformer.

Vers où migrer

Ressources allouées par suite du concours de 2017 (présentement en usage)

Il existe un conflit du fait que les utilisateurs des ressources allouées par le concours de 2017 voudront utiliser ces ressources et les priorités correspondantes jusqu'à la fin de la période d'allocation, soit le 2018-03-31; cependant, les applications et surtout les données doivent être migrées avant la date de mise hors service, aussi le 2018-03-31.

Nous espérons que

1. des tâches puissent être soumises sur les anciens systèmes jusqu'à la fin de la période d'allocation
2. les applications et les données puissent être migrées en parallèle vers une nouvelle grappe en préparation de leur déplacement définitif, peu de temps avant la mise hors service.

Ressources de stockage

La cyberinfrastructure nationale offre le stockage de copies de sauvegarde des données dans des espaces /project fiables sur Cedar et sur Graham. Règle générale, les utilisateurs devraient migrer leurs données vers une de ces grappes.

Prenez note :

• si vous disposez de ressources allouées pour 2018, ces ressources peuvent se trouver sur Cedar ou Graham; dans ce cas, utilisez l'espace de stockage projet sur la grappe en question;

• si vous ne disposez pas de ressources allouées pour 2018, vous pouvez utiliser au choix les espaces de stockage disponibles par le service d'accès rapide de l'Université Simon Fraser ou de l'Université de Waterloo.

Vous trouverez des renseignements utiles dans les pages suivantes :

• Stockage et gestion de fichiers
• Espace projet (/project est organisé selon les groupes)

La grappe Niagara localisée à Toronto offrira également plusieurs ressources de stockage. En attendant qu'elle soit disponible, les utilisateurs devraient migrer leurs données vers Cedar ou Graham.

Ressources de calcul

Cedar et Graham sont en production.

Tous les utilisateurs possèdent des comptes; ceux qui utilisent les ressources installées avant 2016 peuvent migrer vers Cedar ou Graham.

En date du 2017-12-17, la livraison de Niagara est en cours et fait l'objet d'allocations par suite du concours de 2018. La grappe devrait être disponible plus tard au cours de l'hiver. Les utilisateurs dont les exigences en parallèle sont élevées pourraient se voir allouer des ressources sur Niagara et seront informés dans le cadre du concours (mi-mars 2018).

Concours d'allocation de ressources 2018

Toutes les allocations pour 2018 se feront sur les nouvelles ressources. Nous déployons tous les efforts pour satisfaire les demandes particulières, mais l'assurance d'une bonne utilisation risque de nécessiter certaines modifications.

Logiciels disponibles sur les nouveaux systèmes

Nous disposons d'une liste de logiciels à installer et de scripts pour faciliter leur installation (souvent) automatique sur Cedar et Graham. La liste des logiciels disponibles est fréquemment mise à jour.

Calcul Canada examine présentement l'obtention de quelques licences à l'échelle nationale; l'information sera transmise lorsque disponible.

Migration du code et des tâches

Les logiciels et paquets devront possiblement être recompilés ou réinstallés sur les nouvelles grappes; cette opération pourrait nécessiter beaucoup de temps. Notre équipe technique possède une expertise avancée dans ces opérations; n'hésitez pas à demander leur aide en écrivant à support@westgrid.ca.

Consultez Migration du code et des tâches à partir des systèmes pré-2016 pour les détails à retenir.

Migration des données

Responsabilité de l'utilisateur

Nous insistons sur le fait qu'il revient aux utilisateurs de déplacer les données qui sont présentement sur les systèmes mis hors service. WestGrid ne possède pas le moyen de faire le suivi de chaque transfert de données et ne peut donc pas avertir chacun des utilisateurs de la durée restante avant la mise hors service d'un système. Vous devez copier vos données sur un nouveau site fiable le plus tôt possible; la recommandation de WestGrid est d'entamer le processus au moins trois mois avant la mise hors service.

Meilleures pratiques et suggestions pour la gestion des fichiers

• Déplacez vos données vers un nouveau système AVANT la date de mise hors service.
• Supprimez les données inutiles.
• Ne gardez pas plusieurs copies de vos données sur plusieurs systèmes.
• Déplacez toutes les données qui ne sont pas présentement utilisées vers un système d'archivage.
  • Prenez connaissance des espaces projet (sauvegardés) et nearline (uniquement sur bandes) de la cyberinfrastructure nationale.
• Le contenu de l'espace scratch n'est pas sauvegardé et sa conservation à long terme n'est pas garantie. Les données qui ne sont pas actives pourraient être purgées. Certains utilisateurs semblent y stocker des données importantes; vérifiez le contenu de votre espace scratch et déplacez le contenu important vers un espace de stockage permanent.

Transfert de nombreux fichiers

Certains de nos utilisateurs ont des milliers de fichiers; les outils habituels de transfert sont inefficaces avec de telles quantités. Nous vous recommandons fortement d'utiliser la commande tar avant le transfert de vos fichiers. Consultez ce tutoriel sur la compression et l'extraction de fichiers avec tar sous Linux et les détails et exemples de la page Archiving and compressing files.

Transfert de données avec GlobusGlobus is a file transfer service [https://www.globus.org/]

Globus est l'outil de choix pour les transferts de fichiers : les opérations de transfert sont plus efficaces et le temps est significativement réduit. Certains utilisateurs on rapporté des temps 10 et même 100 fois plus courts en comparaison avec SCP.

Vous pouvez utiliser GlobusGlobus is a file transfer service [https://www.globus.org/] pour transférer vos données entre ressources WestGrid puisque toutes ces ressources sont configurées pour être des points de chute.

Pour savoir comment transférer vos données vers un nouveau système, consultez la page Globus et les directives pour la migration.

Owncloud et bases de données

WestGrid offre un service de bases de données à l'Université Simon Fraser; sa mise hors service n'est pas prévue. De nouveaux serveurs de bases de données seront installés et WestGrid/Simon Fraser communiquera avec les utilisateurs et offrira du soutien pour déplacer les données. Aucune action n'est requise de votre part pour l'instant.

Il en est de même pour Owncloud qui est un service distinct. Le service sera maintenu et déplacé vers de nouveaux serveurs. WestGrid/Simon Fraser communiquera avec les utilisateurs et offrira du soutien pour déplacer les données. Aucune action n'est requise de votre part pour l'instant.

Orcinus (Université de la Colombie-Britannique)

Demeure en service jusqu'au 2019-03-31

L'Université de la Colombie-Britannique a accepté de garder Orcinus en opération pour les utilisateurs de Calcul Canada jusqu'au 31 mars 2018. Ils bénéficieront d'une longue période de transition et disposeront de suffisamment de temps pour migrer données et applications. WestGrid apprécie cet accommodement de la part de l'université qui assumera des coûts importants pour la maintenance et l'approvisionnement en électricité.

L'Université de la Colombie-Britannique étudie la possibilité de poursuivre le service pour ses chercheurs. Écrivez au soutien technique en calcul informatique de pointe de l'Université de la Colombie-Britannique pour la planification à plus long terme.

Stockage

Orcinus dispose d'un petit système sur disque pour les espaces /home et /globalscratch. Les utilisateurs devraient migrer le contenu de /home vers Cedar ou Graham. Pour ce qui est de /globalscratch, il n'y a pas de sauvegarde et son but était de servir d'espace scratch de haute performance. Nous remarquons toutefois que certains utilisateurs y conservent des données importantes ou même permanentes. Veuillez migrer ce type de données vers Cedar ou Graham.

Migration

Orcinus est un système d'usage général qui est utilisé pour le calcul en série et en parallèle. Les nouveaux systèmes d'usage général devraient tous convenir aux utilisateurs d'Orcinus et la grappe parallèle Niagara sera disponible pour les allocations par suite du concours de 2018 à la mi-avril.

Soutien technique et renseignements additionnels

Pour des renseignements généraux, écrivez à support@westgrid.ca.

Pour des renseignements sur les ressources locales qui seront prises en charge par les universités, voyez la page WestGrid Institutional Support Contacts.

Les références suivantes sont un complément d'information :

• Migration – Foire aux questions
• Migration – Recommandations
• Service d'accès rapide

Previously Defunded Systems Notes

System	Site	Defunding Date	Recommended Migration Date(*)	Notes
Nestor and Hermes	University of Victoria	June 1, 2017	(COMPLETE)	UVic may keep Hermes as a local system. For details please ask local IT support.
Breezy and Lattice	University of Calgary	August 31, 2017	(COMPLETE)	Parallel and the shared storage system will continue until Mar.31, 2018. UCalgary may keep Breezy, Lattice and Parallel as local systems. For details please ask local IT support
Jasper and Hungabee	University of Alberta	September 30, 2017	(COMPLETE)	UofA is intending to keep jasper and hungabee going. For details please ask local IT support.
Bugaboo	University of British Columbia	March 31, 2018	(COMPLETE)	If you have questions, contact support@westgrid.ca.
Grex	University of Manitoba	March 31, 2018	(COMPLETE)	The new large parallel system Niagara will be available for the RAC 2018 year and would be an excellent alternative for those users with large parallel ambitions. WebMO is available on the ACENET Placentia system and Gaussian is available on Cedar. If you have questions, contact support@westgrid.ca.
Parallel	University of Calgary	March 31, 2018	(COMPLETE)	Local Users (any researcher located at or collaborating with the University of Calgary) should email support@hpc.ucalgary.ca to clarify local use policies or to confirm if you qualify as a local user. Non-local users (WestGrid users who are not based at or affiliated with the University of Calgary) will be able to access data stored on these systems until April 30, 2018. If you have questions, contact support@westgrid.ca.

Document History

v2.0	Apr. 03, 2018	Removed information for systems defunded on March 31, 2018 (Parallel, Orcinus, Grex) and updated the Previously Defunded Systems Notes table.
v1.9	Feb. 02, 2018	Added links to General Directives for Migration for users on remaining legacy systems (Parallel, Orcinus, Grex).
v1.8	Dec.11, 2017	Bugaboo defunding delayed. Removed details for previously defunded systems.
v1.7	Oct.19, 2017	Bugaboo migration and defunding plans updated.
v1.6	Sep.12, 2017	2018 migration and defunding plans added.
v1.5	Aug 22, 2017	Some new systems are now available and in production. The text has been updated to reflect actuals.
v1.4	June 30, 2017	RAC 2017 allocations have been implemented on the continuing WG legacy systems.
v1.3	May 31, 2017	Schedule updates and various details for systems to be defunded in 2017.
v1.2	Mar.20, 2017	Link to software availability documentation
v1.1	Mar.9, 2017	Nestor has been extended to June 1, 2017.
v1.0	Mar.8, 2017	UofC dates revised to Aug.31. General clean-up of the docs.
v0.92	Mar.7, 2017	Revised dates. University of Alberta details updated. User access to Jasper & Hungabee extended to September 30, 2017.
v0.91	Mar 3, 2017	UVic nestor/hermes details updated and confirmed (to June 1, 2017)