Migration des systèmes régionaux de WestGrid

From CC Doc
Jump to: navigation, search
This page is a translated version of the page WestGrid Legacy Systems Migration and the translation is 88% complete.

Outdated translations are marked like this.
Other languages:
English • ‎français

Page enfant de Migration des systèmes régionaux vers les systèmes nationaux 2016-2018

WestGrid procèdera à la mise hors service des systèmes suivants; pour les détails, voyez Where to Migrate? sur le site de WestGrid.

Système Site Date de mise hors service Date de migration recommandée(*) Notes
Bugaboo Université Simon Fraser 2018-01-31 maintenant Les utilisateurs qui n'ont pas de ressources allouées par suite du concours ne sont plus sur Bugaboo.
L'équipe technique de WestGrid enverra des directives par courriel aux détenteurs d'une allocation de ressources. Pour toute question, communiquez avec support@westgrid.ca.
Parallel Université de Calgary 2018-03-31 2018-01-01 Les utilisateurs qui ne détiennent pas d'allocation de ressources par suite du concours sont responsables de leurs données.
Référez-vous aux directives pour la migration de vos données.
Orcinus Université de la Colombie-Britannique 2018-03-31 2018-01-01 Les utilisateurs qui ne détiennent pas d'allocation de ressources par suite du concours sont responsables de leurs données.
Référez-vous aux directives pour la migration de vos données.
Grex Université du Manitoba 2018-03-31 2018-01-01 Les utilisateurs qui ne détiennent pas d'allocation de ressources par suite du concours sont responsables de leurs données.
Référez-vous aux directives pour la migration de vos données.

(*) Nous vous recommandons de débuter le processus de migration le plus tôt possible afin de disposer d'assez de temps pour transférer vos données et vos tâches et vous familiariser avec le nouveau système.

Les systèmes mis hors service ne seront plus soutenus financièrement par Calcul Canada, ni utilisés ou maintenus sur la cyberinfrastructure nationale. Ces systèmes seront pris en charge par les institutions qui les hébergent, ce qui inclut les opérations de sauvegarde et la gestion des systèmes de fichiers de stockage. Pour connaitre les politiques de rétention et de suppression des données de chacune des institutions, consultez WestGrid Migration Support Contacts.

Les utilisateurs de ces grappes doivent migrer leurs données et leurs tâches à la nouvelle grappe avant la date de mise hors service.

Pour de l'aide avec le transfert de vos données ou pour toute question en rapport avec la migration, communiquez avec support@westgrid.ca.

Politique de rétention et de suppression des données

Les données qui se trouveront sur des grappes mises hors service seront supprimées. La responsabilité de déplacer les données vers d'autres espaces de stockage revient aux utilisateurs.

Les systèmes mis hors service seront pris en charge par les institutions qui les hébergent, ce qui inclut les opérations de sauvegarde et la gestion du stockage. Pour connaître les politiques de rétention et de suppression des données de chacune des institutions, contactez WestGrid Migration Support Contacts.

IMPORTANT : Les données encore sur les systèmes mis hors service seront supprimées aux dates annoncées. WestGrid a demandé aux institutions de conserver les données jusqu'à la date de suppression annoncée; aucune garantie n'est donnée quant à la rétention après cette date. WestGrid ne conservera pas de copie des données des utilisateurs; ces derniers sont responsables de la migration. Nous encourageons les utilisateurs à vérifier les exigences des institutions ou des projets en matière de gestion des données, et de s'y conformer.

Vers où migrer

Ressources allouées par suite du concours de 2017 (présentement en usage)

Il existe un conflit du fait que les utilisateurs des ressources allouées par le concours de 2017 voudront utiliser ces ressources et les priorités correspondantes jusqu'à la fin de la période d'allocation, soit le 2018-03-31; cependant, les applications et surtout les données doivent être migrées avant la date de mise hors service, aussi le 2018-03-31.

Nous espérons que

  1. des tâches puissent être soumises sur les anciens systèmes jusqu'à la fin de la période d'allocation
  2. les applications et les données puissent être migrées en parallèle vers une nouvelle grappe en préparation de leur déplacement définitif, peu de temps avant la mise hors service.

Ressources de stockage

La cyberinfrastructure nationale offre le stockage de copies de sauvegarde des données dans des espaces /project fiables sur Cedar et sur Graham. Règle générale, les utilisateurs devraient migrer leurs données vers une de ces grappes.

Prenez note :

  • si vous disposez de ressources allouées pour 2018, ces ressources peuvent se trouver sur Cedar ou Graham; dans ce cas, utilisez l'espace de stockage projet sur la grappe en question;

Vous trouverez des renseignements utiles dans les pages suivantes :

La grappe Niagara localisée à Toronto offrira également plusieurs ressources de stockage. En attendant qu'elle soit disponible, les utilisateurs devraient migrer leurs données vers Cedar ou Graham.

Ressources de calcul

Cedar et Graham sont en production.

Tous les utilisateurs possèdent des comptes; ceux qui utilisent les ressources installées avant 2016 peuvent migrer vers Cedar ou Graham.

En date du 2017-12-17, la livraison de Niagara est en cours et fait l'objet d'allocations par suite du concours de 2018. La grappe devrait être disponible plus tard au cours de l'hiver. Les utilisateurs dont les exigences en parallèle sont élevées pourraient se voir allouer des ressources sur Niagara et seront informés dans le cadre du concours (mi-mars 2018).

Concours d'allocation de ressources 2018

Toutes les allocations pour 2018 se feront sur les nouvelles ressources. Nous déployons tous les efforts pour satisfaire les demandes particulières, mais l'assurance d'une bonne utilisation risque de nécessiter certaines modifications.

Logiciels disponibles sur les nouveaux systèmes

Nous disposons d'une liste de logiciels à installer et de scripts pour faciliter leur installation (souvent) automatique sur Cedar et Graham. La liste des logiciels disponibles est fréquemment mise à jour.

Calcul Canada examine présentement l'obtention de quelques licences à l'échelle nationale; l'information sera transmise lorsque disponible.

Migration du code et des tâches

Les logiciels et paquets devront possiblement être recompilés ou réinstallés sur les nouvelles grappes; cette opération pourrait nécessiter beaucoup de temps. Notre équipe technique possède une expertise avancée dans ces opérations; n'hésitez pas à demander leur aide en écrivant à support@westgrid.ca.

Consultez Migration du code et des tâches à partir des systèmes pré-2016 pour les détails à retenir.

Migration des données

Responsabilité de l'utilisateur

Nous insistons sur le fait qu'il revient aux utilisateurs de déplacer les données qui sont présentement sur les systèmes mis hors service. WestGrid ne possède pas le moyen de faire le suivi de chaque transfert de données et ne peut donc pas avertir chacun des utilisateurs de la durée restante avant la mise hors service d'un système. Vous devez copier vos données sur un nouveau site fiable le plus tôt possible; la recommandation de WestGrid est d'entamer le processus au moins trois mois avant la mise hors service.

Meilleures pratiques et suggestions pour la gestion des fichiers

  • Déplacez vos données vers un nouveau système AVANT la date de mise hors service.
  • Supprimez les données inutiles.
  • Ne gardez pas plusieurs copies de vos données sur plusieurs systèmes.
  • Déplacez toutes les données qui ne sont pas présentement utilisées vers un système d'archivage.
  • Le contenu de l'espace scratch n'est pas sauvegardé et sa conservation à long terme n'est pas garantie. Les données qui ne sont pas actives pourraient être purgées. Certains utilisateurs semblent y stocker des données importantes; vérifiez le contenu de votre espace scratch et déplacez le contenu important vers un espace de stockage permanent.

Transfert de nombreux fichiers

Certains de nos utilisateurs ont des milliers de fichiers; les outils habituels de transfert sont inefficaces avec de telles quantités. Nous vous recommandons fortement d'utiliser la commande tar avant le transfert de vos fichiers. Consultez ce tutoriel sur la compression et l'extraction de fichiers avec tar sous Linux et les détails et exemples de la page Archiving and compressing files.

Transfert de données avec GlobusGlobus is a file transfer service [https://www.globus.org/]

Globus est l'outil de choix pour les transferts de fichiers : les opérations de transfert sont plus efficaces et le temps est significativement réduit. Certains utilisateurs on rapporté des temps 10 et même 100 fois plus courts en comparaison avec SCP.

Vous pouvez utiliser GlobusGlobus is a file transfer service [https://www.globus.org/] pour transférer vos données entre ressources WestGrid puisque toutes ces ressources sont configurées pour être des points de chute.

Pour savoir comment transférer vos données vers un nouveau système, consultez la page Globus et les directives pour la migration.

Owncloud et bases de données

WestGrid offre un service de bases de données à l'Université Simon Fraser; sa mise hors service n'est pas prévue. De nouveaux serveurs de bases de données seront installés et WestGrid/Simon Fraser communiquera avec les utilisateurs et offrira du soutien pour déplacer les données. Aucune action n'est requise de votre part pour l'instant.

Il en est de même pour Owncloud qui est un service distinct. Le service sera maintenu et déplacé vers de nouveaux serveurs. WestGrid/Simon Fraser communiquera avec les utilisateurs et offrira du soutien pour déplacer les données. Aucune action n'est requise de votre part pour l'instant.

Orcinus (Université de la Colombie-Britannique)

Demeure en service jusqu'au 2019-03-31

L'Université de la Colombie-Britannique a accepté de garder Orcinus en opération pour les utilisateurs de Calcul Canada jusqu'au 31 mars 2018. Ils bénéficieront d'une longue période de transition et disposeront de suffisamment de temps pour migrer données et applications. WestGrid apprécie cet accommodement de la part de l'université qui assumera des coûts importants pour la maintenance et l'approvisionnement en électricité.

L'Université de la Colombie-Britannique étudie la possibilité de poursuivre le service pour ses chercheurs. Écrivez au soutien technique en calcul informatique de pointe de l'Université de la Colombie-Britannique pour la planification à plus long terme.

Stockage

Orcinus dispose d'un petit système sur disque pour les espaces /home et /globalscratch. Les utilisateurs devraient migrer le contenu de /home vers Cedar ou Graham. Pour ce qui est de /globalscratch, il n'y a pas de sauvegarde et son but était de servir d'espace scratch de haute performance. Nous remarquons toutefois que certains utilisateurs y conservent des données importantes ou même permanentes. Veuillez migrer ce type de données vers Cedar ou Graham.

Migration

Orcinus est un système d'usage général qui est utilisé pour le calcul en série et en parallèle. Les nouveaux systèmes d'usage général devraient tous convenir aux utilisateurs d'Orcinus et la grappe parallèle Niagara sera disponible pour les allocations par suite du concours de 2018 à la mi-avril.

Soutien technique et renseignements additionnels

Pour des renseignements généraux, écrivez à support@westgrid.ca.

Pour des renseignements sur les ressources locales qui seront prises en charge par les universités, voyez la page WestGrid Institutional Support Contacts.

Les références suivantes sont un complément d'information :

Previously Defunded Systems Notes

System Site Defunding Date Recommended Migration Date(*) Notes
Nestor and Hermes University of Victoria June 1, 2017 (COMPLETE)

UVic may keep Hermes as a local system. For details please ask local IT support.

Breezy and Lattice University of Calgary August 31, 2017 (COMPLETE) Parallel and the shared storage system will continue until Mar.31, 2018. UCalgary may keep Breezy, Lattice and Parallel as local systems. For details please ask local IT support
Jasper and Hungabee University of Alberta September 30, 2017 (COMPLETE)

UofA is intending to keep jasper and hungabee going. For details please ask local IT support.

Bugaboo University of British Columbia March 31, 2018 (COMPLETE)

If you have questions, contact support@westgrid.ca.

Grex University of Manitoba March 31, 2018 (COMPLETE)

The new large parallel system Niagara will be available for the RAC 2018 year and would be an excellent alternative for those users with large parallel ambitions. WebMO is available on the ACENET Placentia system and Gaussian is available on Cedar. If you have questions, contact support@westgrid.ca.

Parallel University of Calgary March 31, 2018 (COMPLETE)

Local Users (any researcher located at or collaborating with the University of Calgary) should email support@hpc.ucalgary.ca to clarify local use policies or to confirm if you qualify as a local user.
Non-local users (WestGrid users who are not based at or affiliated with the University of Calgary) will be able to access data stored on these systems until April 30, 2018.
If you have questions, contact support@westgrid.ca.

Document History

v2.0 Apr. 03, 2018 Removed information for systems defunded on March 31, 2018 (Parallel, Orcinus, Grex) and updated the Previously Defunded Systems Notes table.
v1.9 Feb. 02, 2018 Added links to General Directives for Migration for users on remaining legacy systems (Parallel, Orcinus, Grex).
v1.8 Dec.11, 2017 Bugaboo defunding delayed. Removed details for previously defunded systems.
v1.7 Oct.19, 2017 Bugaboo migration and defunding plans updated.
v1.6 Sep.12, 2017 2018 migration and defunding plans added.
v1.5 Aug 22, 2017 Some new systems are now available and in production. The text has been updated to reflect actuals.
v1.4 June 30, 2017 RAC 2017 allocations have been implemented on the continuing WG legacy systems.
v1.3 May 31, 2017 Schedule updates and various details for systems to be defunded in 2017.
v1.2 Mar.20, 2017 Link to software availability documentation
v1.1 Mar.9, 2017 Nestor has been extended to June 1, 2017.
v1.0 Mar.8, 2017 UofC dates revised to Aug.31. General clean-up of the docs.
v0.92 Mar.7, 2017 Revised dates. University of Alberta details updated. User access to Jasper & Hungabee extended to September 30, 2017.
v0.91 Mar 3, 2017 UVic nestor/hermes details updated and confirmed (to June 1, 2017)