Migration des systèmes régionaux de WestGrid
Page enfant de Migration des systèmes régionaux vers les systèmes nationaux 2016-2018
Contents
- 1 Processus pour 2016-2018
- 2 Politique de rétention et de suppression des données
- 3 Vers où migrer
- 4 Migration du code et des tâches
- 5 Migration des données
- 6 Orcinus (Université de la Colombie-Britannique)
- 7 Soutien technique et renseignements additionnels
- 8 Previously Defunded Systems Notes
- 9 Document History
Processus pour 2016-2018
WestGrid procèdera à la mise hors service des systèmes suivants; pour les détails, voyez Where to Migrate? sur le site de WestGrid.
| Système | Site | Date de mise hors service | Date de migration recommandée(*) | Notes |
|---|---|---|---|---|
Bugaboo |
Université Simon Fraser | 2018-01-31 | maintenant | Les utilisateurs qui n'ont pas de ressources allouées par suite du concours ne sont plus sur Bugaboo. L'équipe technique de WestGrid enverra des directives par courriel aux détenteurs d'une allocation de ressources. Pour toute question, communiquez avec support@westgrid.ca. |
Parallel |
Université de Calgary | 2018-03-31 | 2018-01-01 | Les utilisateurs qui ne détiennent pas d'allocation de ressources par suite du concours sont responsables de leurs données. Référez-vous aux directives pour la migration de vos données. |
Orcinus |
Université de la Colombie-Britannique | 2018-03-31 | 2018-01-01 | Les utilisateurs qui ne détiennent pas d'allocation de ressources par suite du concours sont responsables de leurs données. Référez-vous aux directives pour la migration de vos données. |
Grex |
Université du Manitoba | 2018-03-31 | 2018-01-01 | Les utilisateurs qui ne détiennent pas d'allocation de ressources par suite du concours sont responsables de leurs données. Référez-vous aux directives pour la migration de vos données. |
(*) Nous vous recommandons de débuter le processus de migration le plus tôt possible avant la date de mise hors service, afin de disposer d'assez de temps pour transférer vos données et vos tâches et vous familiariser avec le nouveau système.
Les systèmes mis hors service ne seront plus soutenus financièrement par Calcul Canada, ni utilisés ou maintenus sur la cyberinfrastructure nationale. Ces systèmes seront pris en charge par les institutions qui les hébergent, ce qui inclut les opérations de sauvegarde et la gestion des systèmes de fichiers de stockage. Pour connaitre les politiques de rétention et de suppression des données de chacune des institutions, consultez WestGrid Migration Support Contacts.
Les utilisateurs de ces grappes doivent migrer leurs données et leurs tâches à la nouvelle grappe avant la date de mise hors service.
Pour de l'aide avec le transfert de vos données ou pour toute question en rapport avec la migration, communiquez avec support@westgrid.ca.
Politique de rétention et de suppression des données
Les données qui se trouveront sur des grappes mises hors service seront supprimées. La responsabilité de déplacer les données vers d'autres espaces de stockage revient aux utilisateurs.
Les systèmes mis hors service seront pris en charge par les institutions qui les hébergent, ce qui inclut les opérations de sauvegarde et la gestion du stockage. Pour connaître les politiques de rétention et de suppression des données de chacune des institutions, contactez WestGrid Migration Support Contacts.
IMPORTANT : Les données encore sur les systèmes mis hors service seront supprimées aux dates annoncées. WestGrid a demandé aux institutions de conserver les données jusqu'à la date de suppression annoncée; aucune garantie n'est donnée quant à la rétention après cette date. WestGrid ne conservera pas de copie des données des utilisateurs; ces derniers sont responsables de la migration. Nous encourageons les utilisateurs à vérifier les exigences des institutions ou des projets en matière de gestion des données, et de s'y conformer.
Vers où migrer
Ressources de stockage
La cyberinfrastructure nationale offre le stockage de copies de sauvegarde des données dans des espaces /project fiables sur Cedar et sur Graham. Règle générale, les utilisateurs devraient migrer leurs données vers une de ces grappes.
Prenez note :
- si vous disposez de ressources allouées pour 2018, ces ressources peuvent se trouver sur Cedar ou Graham; dans ce cas, utilisez l'espace de stockage projet sur la grappe en question;
- si vous ne disposez pas de ressources allouées pour 2018, vous pouvez utiliser au choix les espaces de stockage disponibles par le service d'accès rapide de l'Université Simon Fraser ou de l'Université de Waterloo.
Vous trouverez des renseignements utiles dans les pages suivantes :
- Stockage et gestion de fichiers
- Espace projet (
/projectest organisé selon les groupes)
La grappe Niagara localisée à l'Université de Toronto offre plusieurs ressources de stockage dédiées principalement aux utilisateurs avec des tâches parallèles d'envergure. Pour plus d'information, contactez le soutien technique de Calcul Canada.
Ressources de calcul
Cedar, Graham et NiagaraNiagara sont en production.
Tous les utilisateurs possèdent des comptes; ceux qui utilisent les ressources installées avant 2016 peuvent maintenant migrer.
Migration du code et des tâches
Les logiciels et paquets devront possiblement être recompilés ou réinstallés sur les nouvelles grappes; cette opération pourrait nécessiter beaucoup de temps. Notre équipe technique possède une expertise avancée dans ces opérations; n'hésitez pas à demander leur aide en écrivant à support@westgrid.ca.
Consultez Migration du code et des tâches à partir des systèmes pré-2016 pour les détails à retenir.
Migration des données
Responsabilité de l'utilisateur
Nous insistons sur le fait qu'il revient aux utilisateurs de déplacer les données qui sont présentement sur les systèmes mis hors service. WestGrid ne possède pas le moyen de faire le suivi de chaque transfert de données et ne peut donc pas avertir chacun des utilisateurs de la durée restante avant la mise hors service d'un système. Vous devez copier vos données sur un nouveau site fiable le plus tôt possible; la recommandation de WestGrid est d'entamer le processus au moins trois mois avant la mise hors service.
Meilleures pratiques et suggestions pour la gestion des fichiers
- Déplacez vos données vers un nouveau système AVANT la date de mise hors service.
- Supprimez les données inutiles.
- Ne gardez pas plusieurs copies de vos données sur plusieurs systèmes.
- Déplacez toutes les données qui ne sont pas présentement utilisées vers un système d'archivage.
- Prenez connaissance des espaces projet (sauvegardés) et nearline (uniquement sur bandes) de la cyberinfrastructure nationale.
- Le contenu de l'espace scratch n'est pas sauvegardé et sa conservation à long terme n'est pas garantie. Les données qui ne sont pas actives pourraient être purgées. Certains utilisateurs semblent y stocker des données importantes; vérifiez le contenu de votre espace scratch et déplacez le contenu important vers un espace de stockage permanent.
Transfert de nombreux fichiers
Certains de nos utilisateurs ont des milliers de fichiers; les outils habituels de transfert sont inefficaces avec de telles quantités. Nous vous recommandons fortement d'utiliser la commande tar avant le transfert de vos fichiers. Consultez ce tutoriel sur la compression et l'extraction de fichiers avec tar sous Linux et les détails et exemples de la page Archiving and compressing files.
Transfert de données avec GlobusGlobus is a file transfer service [https://www.globus.org/]
Globus est l'outil de choix pour les transferts de fichiers : les opérations de transfert sont plus efficaces et le temps est significativement réduit. Certains utilisateurs on rapporté des temps 10 et même 100 fois plus courts en comparaison avec SCP.
Vous pouvez utiliser GlobusGlobus is a file transfer service [https://www.globus.org/] pour transférer vos données entre ressources WestGrid puisque toutes ces ressources sont configurées pour être des points de chute.
Pour savoir comment transférer vos données vers un nouveau système, consultez la page Globus et les directives pour la migration.
Orcinus (Université de la Colombie-Britannique)
Demeure en service jusqu'au 2019-03-31
L'Université de la Colombie-Britannique a accepté de garder Orcinus en opération pour les utilisateurs de Calcul Canada jusqu'au 31 mars 2018. Ils bénéficieront d'une longue période de transition et disposeront de suffisamment de temps pour migrer données et applications. WestGrid apprécie cet accommodement de la part de l'université qui assumera des coûts importants pour la maintenance et l'approvisionnement en électricité.
L'Université de la Colombie-Britannique étudie la possibilité de poursuivre le service pour ses chercheurs. Écrivez au soutien technique en calcul informatique de pointe de l'Université de la Colombie-Britannique pour la planification à plus long terme.
Stockage
Orcinus dispose d'un petit système sur disque pour les espaces /home et /globalscratch. Les utilisateurs devraient migrer le contenu de /home vers Cedar ou Graham. Pour ce qui est de /globalscratch, il n'y a pas de sauvegarde et son but était de servir d'espace scratch de haute performance. Nous remarquons toutefois que certains utilisateurs y conservent des données importantes ou même permanentes. Veuillez migrer ce type de données vers Cedar ou Graham.
Migration
Orcinus est une grappe d'usage général qui est utilisée pour le calcul en série et en parallèle. Toutes les nouvelles grappes d'usage général devraient convenir aux utilisateurs type d'Orcinus.
Soutien technique et renseignements additionnels
Pour des renseignements généraux, écrivez à support@westgrid.ca.
Pour des renseignements sur les ressources locales qui seront prises en charge par les universités, voyez la page WestGrid Institutional Support Contacts.
Les références suivantes sont un complément d'information :
Previously Defunded Systems Notes
| System | Site | Defunding Date | Recommended Migration Date(*) | Notes |
|---|---|---|---|---|
Nestor and Hermes |
University of Victoria | June 1, 2017 | (COMPLETE) |
UVic may keep |
Breezy and Lattice |
University of Calgary | August 31, 2017 | (COMPLETE) | Parallel and the shared storage system will continue until Mar.31, 2018. UCalgary may keep Breezy, Lattice and Parallel as local systems. For details please ask local IT support
|
Jasper and Hungabee |
University of Alberta | September 30, 2017 | (COMPLETE) |
UofA is intending to keep jasper and hungabee going. For details please ask local IT support. |
Bugaboo |
University of British Columbia | March 31, 2018 | (COMPLETE) |
If you have questions, contact support@westgrid.ca. |
Grex |
University of Manitoba | March 31, 2018 | (COMPLETE) |
The new large parallel system Niagara will be available for the RAC 2018 year and would be an excellent alternative for those users with large parallel ambitions. WebMO is available on the ACENET Placentia system and Gaussian is available on Cedar. If you have questions, contact support@westgrid.ca. |
Parallel |
University of Calgary | March 31, 2018 | (COMPLETE) |
Local Users (any researcher located at or collaborating with the University of Calgary) should email support@hpc.ucalgary.ca to clarify local use policies or to confirm if you qualify as a local user. |
Document History
| v2.1 | May 14, 2018 | Removed obsolete information and details. All systems except orcinus have been defunded. |
| v2.0 | Apr. 03, 2018 | Removed information for systems defunded on March 31, 2018 (Parallel, Orcinus, Grex) and updated the Previously Defunded Systems Notes table. |
| v1.9 | Feb. 02, 2018 | Added links to General Directives for Migration for users on remaining legacy systems (Parallel, Orcinus, Grex). |
| v1.8 | Dec.11, 2017 | Bugaboo defunding delayed. Removed details for previously defunded systems. |
| v1.7 | Oct.19, 2017 | Bugaboo migration and defunding plans updated. |
| v1.6 | Sep.12, 2017 | 2018 migration and defunding plans added. |
| v1.5 | Aug 22, 2017 | Some new systems are now available and in production. The text has been updated to reflect actuals. |
| v1.4 | June 30, 2017 | RAC 2017 allocations have been implemented on the continuing WG legacy systems. |
| v1.3 | May 31, 2017 | Schedule updates and various details for systems to be defunded in 2017. |
| v1.2 | Mar.20, 2017 | Link to software availability documentation |
| v1.1 | Mar.9, 2017 | Nestor has been extended to June 1, 2017. |
| v1.0 | Mar.8, 2017 | UofC dates revised to Aug.31. General clean-up of the docs. |
| v0.92 | Mar.7, 2017 | Revised dates. University of Alberta details updated. User access to Jasper & Hungabee extended to September 30, 2017. |
| v0.91 | Mar 3, 2017 | UVic nestor/hermes details updated and confirmed (to June 1, 2017) |
