Migration du code et des tâches à partir des systèmes pré-2016

From CC Doc
Jump to: navigation, search
This page is a translated version of the page Code and job migration from legacy systems and the translation is 100% complete.

Other languages:
English • ‎français

Introduction

Les nouvelles grappes nationales sont différentes de celles installées avant 2016 : les utilisateurs devront donc modifier leurs scripts pour soumettre des tâches, et possiblement aussi leur code. Nous décrivons ici les différences en indiquant les sources d'information à consulter.

Comme nous ne pouvons pas tester et expérimenter avec les nouvelles grappes, l'équipe nationale de soutien à la recherche a encore beaucoup de documentation à préparer. L'information sur les éléments de base est en bonne voie et celle sur les mises à jour se poursuit à un bon rythme. Notre objectif est d'avoir toute cette documentation pour la mise en service des nouvelles grappes.

Liens utiles

Liste de vérification

  1. Prenez connaissance du Guide de démarrage.
  2. Effectuez le nettoyage de vos répertoires et fichiers (voir les directives pour la migration de vos données).
  3. Enregistrez une copie de vos sources sur le répertoire home des nouvelles grappes.
  4. Enregistrez une copie de vos données d'entrée sur l'espace projet des nouvelles grappes.
  5. Vérifiez les nouvelles exigences et modifiez vos tâches, scripts et applications s'il y a lieu.
  6. Au besoin, recompilez en fonction des nouvelles architectures.
  7. Modifiez vos scripts en fonction du nouvel ordonnanceur.
  8. Effectuez les cas de test dont vous disposez.

Les sections qui suivent contiennent l’information détaillée.

Modification du processus de connexion

Le protocole central d'authentification pour les nouvelles grappes utilisera les identifiants Calcul CanadaThe French name for Compute Canada. L'accès aux systèmes régionaux sera similaire, mais certains utilisateurs devront utiliser des identifiants et mots de passe différents. Voyez les détails sur Comptes utilisateurs et groupes.

Se familiariser avec les nouvelles grappes

Le Guide de démarrage présente un aperçu des nouvelles grappes. Nous en recommandons la lecture à tous les utilisateurs, même aux plus expérimentés. Le guide contient les directives d'accès et de connexion ainsi que des liens à des pages offrant des renseignements détaillés.

Migration des données

Pour connaitre les techniques de transfert de données, consultez les Directives pour la migration de vos données.

Chacune des nouvelles grappes possède trois espaces de stockage pour le calcul, en plus d'un espace pour les copies de sauvegarde.

  • Espace scratch haute performance : comme c'est le cas pour toutes les grappes installées avant 2016, vos tâches devraient être effectuées dans cet espace. Prenez note que ces ressources ne sont pas allouées et font l'objet de purges régulières; assurez-vous donc de copier les données et les résultats d'importance sur l'espace projet.
    • Le processus de purge s'effectuait auparavant de façon plutôt informelle et vous devrez maintenant tenir compte du fait que les nouvelles grappes seront purgées régulièrement.
  • Espace projet persistant : vous avez accès à cet espace de stockage qui utilise les cœurs de calcul; les données sont sauvegardées sur bandes magnétiques.
  • Espace home : limité, persistant, sauvegardé.

Recommandations :

  • Utilisez l'espace home pour le code source et les scripts.
  • Utilisez l'espace projet pour les données d'entrée.
  • Utilisez l'espace scratch pour exécuter vos tâches.
  • Déplacez les résultats et les données en sortie sur l'espace projet.

Pour les détails, consultez la page Cyberinfrastructure nationale de données.

Logiciels standards

Les nouvelles grappes Cedar et Graham auront accès aux mêmes logiciels via un système de fichiers distribués (CVMFS pour shared software distribution system).

Si vous utilisez des logiciels standards, nous vous suggérons de prendre connaissance de cette liste. Vous pouvez demander à Calcul CanadaThe French name for Compute Canada d'installer d'autres logiciels en écrivant à support@calculcanada.ca.

La dernière version des logiciels est généralement disponible; certaines différences entre les versions pourraient cependant toucher les scripts et les configurations de vos tâches. Si vous utilisez des versions antérieures, vérifiez la documentation du logiciel et effectuez des tests pour vous assurer de la compatibilité. Calcul CanadaThe French name for Compute Canada peut installer des versions antérieures au besoin; écrivez à (support@calculcanada.ca).

Accès par des modules

Les logiciels et les librairies utilisent un système de configuration module semblable à celui présent sur les grappes installées avant 2016. Il y aura certaines différences dans les façons de relier les librairies et d'appeler les logiciels. L'information détaillée se trouve sur la page Utiliser des modules.

Compilation

Si vous avez compilé vos logiciels, vous devrez peut-être les compiler à nouveau ou même les réinstaller, ce qui peut nécessiter beaucoup de temps. La plupart des dépendances peuvent cependant être installées sous forme de modules par notre équipe; adressez vos demandes à support@calculcanada.ca.

Si vous devez relier des librairies de différents logiciels, consultez Utiliser des modules pour la configuration. Vérifiez également qu'il n'y a pas d'autre changement; consultez Guide de programmation pour des détails sur les langages et compilateurs, la parallélisation, le débogage, le développement, etc.

Soumettre des tâches

L'ordonnanceur libre Slurm gère les tâches soumises aux nouvelles grappes. Vous devrez fort probablement modifier les scripts qui étaient auparavant ordonnancés par Torque/MOAB. Consultez Exécuter des tâches pour l'ordonnancement avec Slurm.