Migration des systèmes régionaux de WestGrid

From CC Doc
Jump to: navigation, search
This page is a translated version of the page WestGrid Legacy Systems Migration and the translation is 100% complete.

Other languages:
English • ‎français

Page enfant de Migration des systèmes régionaux vers les systèmes nationaux 2016-2018

Mises à jour

v1.8 2017-12-11 report de la mise hors service de Bugaboo. Les détails en rapport avec les ressources hors service ont été supprimés.

Allocation des ressources de WestGrid pour 2017

L'allocation des ressources pour 2017 a été effectuée le 30 juin 2017 pour les systèmes de WestGrid qui demeurent en service et pour la nouvelle grappe Cedar. Parallel, Grex, Orcinus et Bugaboo faisaient partie de l'allocation des ressources pour 2017, mais seront tous hors service en date du 2018-03-31; ils ne seront pas disponibles pour le concours d'allocation de ressources de 2018.

Processus pour 2016-2018

WestGrid procèdera à la mise hors service des systèmes suivants; pour les détails, voyez Where to Migrate? sur le site de WestGrid.

Système Site Date de mise hors service Date de migration recommandée(*) Notes
Bugaboo Université Simon Fraser 2018-01-31 maintenant Les utilisateurs concernés recevront les directives par courriel.
Les utilisateurs qui n'ont pas de ressources allouées par suite du concours sont responsables pour leurs propres données (voir ci-dessous).
En préparation, consultez les directives pour la migration.
Parallel Université de Calgary 2018-03-31 2018-01-01
Orcinus Université de la Colombie-Britannique 2018-03-31 2018-01-01
Grex Université du Manitoba 2018-03-31 2018-01-01
(*) Nous vous recommandons de débuter le processus de migration le plus tôt possible afin de disposer d'assez de temps pour transférer vos données et vos tâches et vous familiariser avec le nouveau système.

Les systèmes mis hors service ne seront plus soutenus financièrement par Calcul CanadaThe French name for Compute Canada, ni utilisés ou maintenus sur la cyberinfrastructure nationale. Ces systèmes seront pris en charge par les institutions qui les hébergent, ce qui inclut les opérations de sauvegarde et la gestion des systèmes de fichiers de stockage. Pour connaitre les politiques de rétention et de suppression des données de chacune des institutions, consultez WestGrid Migration Support Contacts.

Les utilisateurs de ces grappes doivent migrer leurs données et leurs tâches à la nouvelle grappe avant la date de mise hors service.

Nous recommandons aux utilisateurs de déplacer leurs données le plus tôt possible avant la date de mise hors service qui s'applique pour éviter les goulots d'étranglement lors des transferts. Les données non transférées POURRAIENT ÊTRE DÉTRUITES après la date de mise hors service; consultez WestGrid Systems Defunding Schedule. Prenez note que pour des raisons de confidentialité, WestGrid ne conservera pas de copies de sauvegarde à long terme. Nous encourageons les utilisateurs à vérifier les exigences des institutions et de s'y conformer.

Pour de l'aide avec le transfert de vos données ou pour toute question en rapport avec la migration, communiquez avec support@westgrid.ca.

Pour les détails de migration à partir des grappes gérées par WestGrid, consultez WestGrid Migration Process.

Politique de rétention et de suppression des données

Les données qui se trouveront sur des grappes mises hors service seront supprimées. La responsabilité de déplacer les données vers d'autres espaces de stockage revient aux utilisateurs. WestGrid annoncera les dates de suppression des données le plus à l'avance possible. L'organisation informera aussi les utilisateurs des grappes mises hors service des délais dont ils disposent et offrira un soutien technique pour la migration.

Les systèmes mis hors service seront pris en charge par les institutions qui les hébergent, ce qui inclut les opérations de sauvegarde et la gestion des systèmes de fichiers de stockage. Pour connaitre les politiques de rétention et de suppression des données de chacune des institutions, utilisez les adresses courriel de WestGrid Migration Support Contacts.

IMPORTANT : Les données encore sur les systèmes mis hors service seront supprimées aux dates annoncées. WestGrid a demandé aux institutions de conserver les données jusqu'à la date de suppression annoncée; aucune garantie n'est donnée quant à la rétention après cette date. WestGrid ne conservera pas de copie des données des utilisateurs; ces derniers sont responsables de la migration. Nous encourageons les utilisateurs à vérifier les exigences des institutions ou des projets et de s'y conformer.

Vers où migrer

Ressources allouées par suite du concours de 2017 (présentement en usage)

Il existe un conflit du fait que les utilisateurs des ressources allouées par le concours de 2017 voudront utiliser ces ressources et les priorités correspondantes jusqu'à la fin de la période d'allocation, soit le 2018-03-31; cependant, les applications et surtout les données doivent être migrées avant la date de mise hors service, aussi le 2018-03-31.

Nous espérons que

  1. des tâches puissent être soumises sur les anciens systèmes jusqu'à la fin de la période d'allocation
  2. les applications et les données puissent être migrées en parallèle vers une nouvelle grappe en préparation de leur déplacement définitif, peu de temps avant la mise hors service.

Ressources de stockage

La cyberinfrastructure nationale offre le stockage de copies de sauvegarde des données dans des espaces /project fiables sur Cedar et sur Graham. Règle générale, les utilisateurs devraient migrer leurs données vers une de ces grappes.

Prenez note :

  • si vous disposez de ressources allouées pour 2017, ces ressources peuvent se trouver sur Cedar ou Graham; dans ce cas, utilisez l'espace de stockage projet sur la grappe en question;

Vous trouverez des renseignements utiles dans les pages suivantes :

La grappe Niagara localisée à Toronto offrira également plusieurs ressources de stockage. En attendant qu'elle soit disponible, les utilisateurs devraient migrer leurs données vers Cedar ou Graham.

Ressources de calcul

Cedar et Graham sont en production avec les ressources et les priorités du concours d'allocation de ressources 2017.

Tous les utilisateurs possèdent des comptes; ceux qui utilisent les ressources installées avant 2016 peuvent migrer vers Cedar ou Graham.

Les ressources installées avant 2016 resteront en opération jusqu'au 2018-03-31 pour les allocations du concours de 2017 et les utilisateurs voudront utiliser les anciennes ressources jusqu'à leur mise hors service.

En date du 2017-12-17, la livraison de Niagara est en cours et fait l'objet d'allocations par suite du concours de 2018. La grappe devrait être disponible plus tard au cours de l'hiver. Les utilisateurs dont les exigences en parallèle sont élevées auront des allocations sur Niagara et seront informés dans le cadre du concours (mi-mars 2018).

Concours d'allocation de ressources 2018

Les anciens systèmes de WestGrid seront hors service au 31 mars 2018 et plusieurs utilisateurs ont déjà migré vers Cedar et Graham. Les allocations pour 2018 se feront sur les nouvelles ressources. Les allocations qui se poursuivent seront déplacées vers les nouvelles ressources pendant le processus d'allocation des ressources pour 2018. Nous déployons tous les efforts pour satisfaire les demandes particulières, mais l'assurance d'une bonne utilisation risque de nécessiter certaines modifications.

Logiciels disponibles sur les nouveaux systèmes

Nous disposons d'une liste de logiciels à installer et de scripts pour faciliter leur installation (souvent) automatique sur Cedar et Graham. La liste des logiciels disponibles est fréquemment mise à jour.

Calcul CanadaThe French name for Compute Canada examine présentement l'obtention de quelques licences à l'échelle nationale; l'information sera transmise lorsque disponible.

Migration du code et des tâches

Les logiciels et paquets devront possiblement être recompilés ou réinstallés sur les nouvelles grappes; cette opération pourrait nécessiter beaucoup de temps. Notre équipe technique possède une expertise avancée dans ces opérations; n'hésitez pas à demander leur aide en écrivant à support@westgrid.ca.

Consultez Migration du code et des tâches à partir des systèmes pré-2016 pour les détails à retenir.

Migration des données

Responsabilité de l'utilisateur

Nous insistons sur le fait qu'il revient aux utilisateurs de déplacer les données qui sont présentement sur les systèmes mis hors service. WestGrid ne possède pas le moyen de faire le suivi de chaque transfert de données et ne peut donc pas avertir chacun des utilisateurs de la durée restante avant la mise hors service d'un système. Vous devez copier vos données sur un nouveau site fiable le plus tôt possible; la recommandation de WestGrid est d'entamer le processus au moins trois mois avant la mise hors service.

Meilleures pratiques et suggestions pour la gestion des fichiers

  • Déplacez vos données vers un nouveau système AVANT la date de mise hors service.
  • Supprimez les données inutiles.
  • Ne gardez pas plusieurs copies de vos données sur plusieurs systèmes.
  • Déplacez toutes les données qui ne sont pas présentement utilisées vers un système d'archivage.
  • Le contenu de l'espace scratch n'est pas sauvegardé et sa conservation à long terme n'est pas garantie. Les données qui ne sont pas actives pourraient être purgées. Certains utilisateurs semblent y stocker des données importantes; vérifiez le contenu de votre espace scratch et déplacez le contenu important vers un espace de stockage permanent.

Transfert de nombreux fichiers

Certains de nos utilisateurs ont des milliers de fichiers; les outils habituels de transfert sont inefficaces avec de telles quantités. Nous vous recommandons fortement d'utiliser la commande tar avant le transfert de vos fichiers. Consultez ce tutoriel sur la compression et l'extraction de fichiers avec tar sous Linux et les détails et exemples de la page Archiving and compressing files.

Transfert de données avec GlobusGlobus is a file transfer service [https://www.globus.org/]

Globus est l'outil de choix pour les transferts de fichiers : les opérations de transfert sont plus efficaces et le temps est significativement réduit. Certains utilisateurs on rapporté des temps 10 et même 100 fois plus courts en comparaison avec SCP.

Vous pouvez utiliser GlobusGlobus is a file transfer service [https://www.globus.org/] pour transférer vos données entre ressources WestGrid puisque toutes ces ressources sont configurées pour être des points de chute.

Pour savoir comment transférer vos données vers un nouveau système, consultez la page Globus et les directives pour la migration.

Bugaboo (Universtié Simon Fraser)

Nouvelle date de mise hors service : 2018-01-31

Les utilisateurs recevront des directives pour la migration par courriel. En préparation, consultez les directives pour la migration. Pour toute question, contactez support@westgrid.ca.

WestGrid apprécie la collaboration de l'université qui a assumé des coûts importants pour la maintenance et l'approvisionnement en électricité.

L'Université Simon Fraser ne continuera pas le service.

Stockage

Bugaboo dispose de grands systèmes de fichiers /home et /global/scratch. Les utilisateurs devraient migrer vers Cedar ou Graham. L'espace /global/scratch n'est pas sauvegardé et son but était de servir d'espace scratch de haute performance. Nous remarquons toutefois que certains utilisateurs y conservent des données importantes ou même permanentes. Veuillez migrer ce type de données vers /project sur Cedar ou Graham.

Migration

Bugaboo est un système d'usage général qui est utilisé pour le calcul en série et en parallèle. Il dispose d'un grand système de stockage et de quelques nœuds de type large. Les nouveaux systèmes ont tous des systèmes de stockage beaucoup plus grands ainsi qu'un assortiment de nœuds de type large; ces ressources conviendront aux utilisateurs actuels de Bugaboo. Puisque Bugaboo et Cedar sont situés au même endroit, le transfert local se fera plus rapidement et plusieurs utilisateurs travaillent déjà avec l'équipe de soutien technique sur place.

En date du 2017-12-14, nous attendons que la capacité de Cedar soit augmentée pour y déplacer les allocations suite au concours. TOUS les utilisateurs (qu'ils reçoivent ou non des allocations par suite du concours) ont accès à Cedar et peuvent y migrer leurs données en tout temps.

Ébauche - Processus de migration (sujet à changement)

Les renseignements et les mises à jour seront envoyés aux utilisateurs de Bugaboo en janvier.

Le processus sera :

  1. La capacité de Cedar est augmentée (2018-01-31).
  2. Par suite du concours, les répertoires /global/scratch sont déplacés vers /project/<groupname> sur Cedar.
  3. Les utilisateurs qui ne possèdent pas de ressources allouées par suite du concours migrent leurs données sur Cedar.

Plusieurs utilisateurs ont déjà migré leurs répertoires /home vers Cedar, ce qui cause un problème potentiel puisque nous ne voulons pas écraser des données existantes. Pour cette raison, les répertoires /home sur Bugaboo ne seront pas migrés automatiquement et les utilisateurs en auront la responsabilité.

Recommendations immédiates (à confirmer)

  1. Tous les utilisateurs devraient commencer à migrer leurs applications et leurs répertoires /home vers Cedar le plus tôt possible.
    • Vous pouvez exécuter des tâches sur Bugaboo jusqu'à la dernière minute, mais assurez-vous d'être prêts à migrer vers Cedar.
  2. Les utilisateurs qui ne possèdent pas d'allocations par suite du concours doivent tout migrer (incluant /global/scratch) de Bugaboo vers Cedar.

Owncloud et bases de données

WestGrid offre un service de bases de données à l'Université Simon Fraser. Ce service ainsi que le stockage sont indépendants de Bugaboo. Le service sera maintenu.

Il en est de même pour Owncloud qui est un service distinct et qui sera aussi maintenu.

Orcinus (Université de la Colombie-Britannique)

En service jusqu'au 2018-03-31

L'Université de la Colombie-Britannique a accepté de garder Orcinus en opération pour les utilisateurs de Calcul CanadaThe French name for Compute Canada jusqu'au 31 mars 2018. Ils bénéficieront d'une longue période de transition et disposeront de suffisamment de temps pour migrer données et applications. WestGrid apprécie cet accommodement de la part de l'université qui assumera des coûts importants pour la maintenance et l'approvisionnement en électricité.

L'Université de la Colombie-Britannique étudie la possibilité de poursuivre le service pour ses chercheurs. Écrivez au soutien technique en calcul informatique de pointe de l'Université de la Colombie-Britannique pour la planification à plus long terme.

Stockage

Orcinus dispose d'un petit système sur disque pour le espaces /home et /globalscratch. Les utilisateurs devraient migrer le contenu de /home vers Cedar ou Graham. Pour ce qui est de /globalscratch, il n'y a pas de sauvegarde et son but était de servir d'espace scratch de haute performance. Nous remarquons toutefois que certains utilisateurs y conservent des données importantes ou même permanentes. Veuillez migrer ce type de données vers Cedar ou Graham.

Migration

Orcinus est un système d'usage général qui est utilisé pour le calcul en série et en parallèle. Les nouveaux systèmes d'usage général devraient tous convenir aux utilisateurs d'Orcinus et la grappe parallèle Niagara sera disponible pour les allocations par suite du concours de 2018 en date du 2018-04-01

Grex (Université du Manitoba)

En service jusqu'au 2018-03-31

L'Université du Manitoba a accepté de garder Grex en opération pour les utilisateurs de Calcul CanadaThe French name for Compute Canada jusqu'au 31 mars 2018. Ils bénéficieront d'une longue période de transition et disposeront de suffisamment de temps pour migrer données et applications. WestGrid apprécie cet accommodement de la part de l'université qui assumera des coûts importants pour la maintenance et l'approvisionnement en électricité.

L'Université du Manitoba étudie la possibilité de poursuivre le service pour ses chercheurs. Écrivez au soutien technique de l'Université du Manitoba pour la planification à plus long terme.

Stockage

Grex dispose de petits systèmes de fichiers locaux /home et /global/scratch. Les utilisateurs devraient migrer vers Cedar ou Graham. L'espace /global/scratch n'est pas sauvegardé et son but était de servir d'espace scratch de haute performance. Nous remarquons toutefois que certains utilisateurs y conservent des données importantes ou même permanentes. Veuillez migrer ce type de données vers Cedar ou Graham.

Migration

Grex est un système d'usage général pour le calcul parallèle (réseau InfiniBand non-bloquant) qui dispose d'un nombre de nœuds de type large. Les nouveaux systèmes ont une performance au moins égale, malgré qu'ils soient prévus pour de plus petites tâches de moins de 1000 cœurs. Ces ressources suffiront largement à la plupart des utilisateurs actuels.

La nouvelle grappe Niagara sera en service dans le cadre du concours d'allocation de ressources de 2018 et représente un excellent choix pour les utilisateurs dont les tâches parallèles sont d'envergure.

Parallel (Université de Calgary)

En service jusqu'au 2018-03-31

L'Université de Calgary a accepté de garder Parallel en opération pour les utilisateurs de Calcul CanadaThe French name for Compute Canada jusqu'au 31 mars 2018. Ils bénéficieront d'une longue période de transition et disposeront de suffisamment de temps pour migrer données et applications. WestGrid apprécie cet accommodement de la part de l'université qui assumera des coûts importants pour la maintenance et l'approvisionnement en électricité.

Écrivez au service des TI de l'Université de Calgary pour la planification à plus long terme.

Stockage

Parallel dispose de petits systèmes de fichiers locaux /home et /global/scratch. Les utilisateurs devraient migrer vers Cedar ou Graham. L'espace /global/scratch n'est pas sauvegardé et son but était de servir d'espace scratch de haute performance. Nous remarquons toutefois que certains utilisateurs y conservent des données importantes ou même permanentes. Veuillez migrer ce type de données vers Cedar ou Graham.

Migration

Parallel est un système pour le calcul parallèle qui dispose de nœuds GPU. Les nouveaux systèmes d'usage général ont une performance au moins égale, malgré qu'ils soient prévus pour de plus petites tâches de moins de 1000 cœurs. Ces ressources suffiront largement à la plupart des utilisateurs dont les tâches sont parallèles. Remarquez que les tâches >1000 cœurs peuvent être exécutées mais il faut prévoir des problèmes additionnels de latence puisque la communication se fera entre îlots.

Les nouveaux systèmes d'usage général offrent plusieurs nœuds GPU modernes (NVidia P100) et sont tous à la disposition des utilisateurs.

La nouvelle grappe Niagara sera en service dans le cadre du concours d'allocation de ressources de 2018 et représente un excellent choix pour les utilisateurs dont les tâches parallèles sont d'envergure. La mise en service est prévue pour le 2018-04-01.

Soutien technique et renseignements additionnels

Pour des renseignements généraux, écrivez à support@westgrid.ca.

Pour des renseignements sur les ressources locales qui seront prises en charge par les universités, voyez la page WestGrid Institutional Support Contacts.

Les références suivantes sont un complément d'information :

Previously Defunded Systems Notes

System Site Defunding Date Recommended Migration Date(*) Notes
Nestor and Hermes University of Victoria June 1, 2017 (COMPLETE)

UVic may keep Hermes as a local system. For details please ask local IT support.

Breezy and Lattice University of Calgary August 31, 2017 (COMPLETE) Parallel and the shared storage system will continue until Mar.31, 2018. UCalgary may keep Breezy, Lattice and Parallel as local systems. For details please ask local IT support
Jasper and Hungabee University of Alberta September 30, 2017 (COMPLETE)

UofA is intending to keep jasper and hungabee going. For details please ask local IT support.

Document History

v1.8 Dec.11, 2017 Bugaboo defunding delayed. Removed details for previously defunded systems.
v1.7 Oct.19, 2017 Bugaboo migration and defunding plans updated.
v1.6 Sep.12, 2017 2018 migration and defunding plans added.
v1.5 Aug 22, 2017 Some new systems are now available and in production. The text has been updated to reflect actuals.
v1.4 June 30, 2017 RAC 2017 allocations have been implemented on the continuing WG legacy systems.
v1.3 May 31, 2017 Schedule updates and various details for systems to be defunded in 2017.
v1.2 Mar.20, 2017 Link to software availability documentation
v1.1 Mar.9, 2017 Nestor has been extended to June 1, 2017.
v1.0 Mar.8, 2017 UofC dates revised to Aug.31. General clean-up of the docs.
v0.92 Mar.7, 2017 Revised dates. University of Alberta details updated. User access to Jasper & Hungabee extended to September 30, 2017.
v0.91 Mar 3, 2017 UVic nestor/hermes details updated and confirmed (to June 1, 2017)