Graham/fr: Difference between revisions

<languages />

{| class="wikitable"

|-

| Nœud de copie (rsync, scp, sftp,...) : '''gra-dtn1.alliancecan.ca'''

|}

Graham est une grappe hétérogène adaptée pour une grande variété de types de tâches; elle est située à l'Université de Waterloo. Son nom rappelle [https://en.wikipedia.org/wiki/Wes_Graham Wes Graham], premier directeur du ''Computing Centre'' de l'Université de Waterloo.

</pre>

Avant de mettre fin au lien internet, nous communiquerons avec la personne-ressource pour vérifier si la règle est toujours nécessaire.

* Crontab n'est pas offert sur Graham.

=Visualisation=

Graham offre des nœuds dédiés pour la visualisation qui permettent uniquement les connexions VNC (''gra-vdi.alliancecan.ca''). Pour l'information sur comment les utiliser, voyez la page [[VNC/fr|VNC]].

=Caractéristiques des nœuds=

La plupart des applications fonctionneront soit avec des nœuds Broadwell, Skylake ou Cascade Lake et les différences en termes de performance devraient être minimes à comparer avec les temps d'attente. Nous recommandons donc de ne pas sélectionner un type de nœud particulier pour vos tâches. Si nécessaire, pour les tâches avec CPU il n'y a que deux contraintes disponibles; utilisez <code>--constraint=broadwell</code> ou <code>--constraint=cascade</code> (voir [[Running jobs/fr#Particularités_de_certaines_grappes|comment spécifier l'architecture CPU]]).

Pour le stockage local sur nœud, il est recommandé d'utiliser le répertoire temporaire <tt>$SLURM_TMPDIR</tt> généré par [[Running_jobs/fr|Slurm]]. Ce répertoire avec son contenu est supprimé à la fin de l'exécution de la tâche.

Remarquez que la quantité de mémoire disponible est moindre que la valeur arrondie suggérée par la configuration matérielle. Par exemple, les nœuds de type base 128G ont effectivement 128Gio de mémoire vive, mais une certaine quantité est utilisée en permanence par le noyau (''kernel'') et le système d'exploitation. Pour éviter la perte de temps encourue par le ''swapping'' ou le ''paging'', l'ordonnanceur n'allouera jamais une tâche dont les exigences dépassent la quantité de mémoire disponible indiquée dans le tableau ci-dessus.

* les deux autres nœuds ont une interconnexion NVLINK à large bande passante.

Dans l'exemple suivant, le script soumet une tâche pour un des nœuds de 8 GPU. La commande <code>module load</code> fait en sorte que les modules compilés pour l'architecture Skylake soient utilisés. Remplacez ''nvidia-smi'' par la commande que vous voulez lancer.

IMPORTANT : Déterminez le nombre de CPU à demander en appliquant un ratio CPU/GPU de 3.5 ou moins sur des nœuds de 28 cœurs. Par exemple, si votre tâche doit utiliser 4 GPU, vous devriez demander '''au plus 14 cœurs CPU''' et pour utiliser 1 GPU, demander '''au plus 3 cœurs CPU'''. Les utilisateurs peuvent faire exécuter quelques tâches de test de moins d'une heure pour connaître le niveau de performance du code.

Les deux plus récents nœuds Volta ont 40 cœurs et le nombre de cœurs par GPU demandé doit être ajusté à la hausse selon le cas; une tâche peut par exemple utiliser 5 cœurs CPU par GPU. Ces nœuds sont aussi interconnectés. Si vous voulez utiliser un de ces nœuds, il faut ajouter au script de soumission de la tâche le paramètre <tt>constraint=cascade,v100</tt>.