Difference between revisions of "Graham/fr"

From CC Doc
Jump to: navigation, search
 
(7 intermediate revisions by 2 users not shown)
Line 29: Line 29:
 
* chaque répertoire ''home'' a un petit [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe
 
* chaque répertoire ''home'' a un petit [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe
 
* non alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/acces-rapide/?lang=fr service d'accès rapide] ou le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources]; le stockage de grande envergure se fait sur l'espace projet
 
* non alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/acces-rapide/?lang=fr service d'accès rapide] ou le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources]; le stockage de grande envergure se fait sur l'espace projet
 +
* est sauvegardé à chaque jour
 
|-
 
|-
 
| '''espace ''scratch'''''<br />(système de fichiers parallèle de haute performance) ||  
 
| '''espace ''scratch'''''<br />(système de fichiers parallèle de haute performance) ||  
 
* stockage ''scratch'' actif ou temporaire
 
* stockage ''scratch'' actif ou temporaire
* visible sur tous les nœuds
 
 
* non alloué
 
* non alloué
 +
* grand [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe, par utilisateur
 
* les données inactives sont purgées
 
* les données inactives sont purgées
 
|-
 
|-
Line 41: Line 42:
 
* allocations via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/acces-rapide/?lang=fr service d'accès rapide] ou le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources]   
 
* allocations via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/acces-rapide/?lang=fr service d'accès rapide] ou le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources]   
 
* ne convient pas aux tâches d'écriture et de lecture en parallèle; utiliser l'espace ''scratch''
 
* ne convient pas aux tâches d'écriture et de lecture en parallèle; utiliser l'espace ''scratch''
* localisation des répertoires ''home''<br />
+
* grand [[Storage and file management/fr#Quotas_et_politiques|quota]] ajustable, par projet
* chaque répertoire ''home'' a un petit [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe
+
* est sauvegardé à chaque jour
 
|}
 
|}
  
Line 60: Line 61:
  
 
=Types et caractéristiques des nœuds=
 
=Types et caractéristiques des nœuds=
Un total de 1&nbsp;107 nœuds de différents types comprennent 37&nbsp;568 cœurs et 320 GPUs.
+
35&nbsp;520 cœurs et 320 GPUs sur 1&nbsp;107 nœuds de différents types.
  
''Type de processeur:'' Tous les nœuds ont des processeurs E5-2683 V4 d'Intel avec une cadence de 2.1GHz.
+
''Type de processeur :'' Tous les nœuds ont des processeurs E5-2683 V4 d'Intel avec une cadence de 2.1GHz.
  
''Type de GPU:'' P100 12g
+
''Type de GPU :'' P100 12g
  
 
{| class="wikitable sortable"  
 
{| class="wikitable sortable"  
Line 80: Line 81:
 
|}
 
|}
  
Tous les nœuds ci-dessus ont 1To environ du stockage local avec des disques SSD, disponibles dans /tmp. Il est recommandé d'utiliser le répertoire temporaire <code>$SLURM_TMPDIR</code> créé par l'ordonnanceur à cet effet; consultez [[Running_jobs/fr|Exécuter des tâches]].
+
Pour le stockage local sur nœud, il est recommandé d'utiliser le répertoire temporaire <code>$SLURM_TMPDIR</code> généré par [[Running_jobs/fr|Slurm]]. Ce répertoire et son contenu est supprimé à la fin de l'exécution de la tâche.
  
 
<noinclude>
 
<noinclude>
 
</noinclude>
 
</noinclude>

Latest revision as of 22:39, 19 December 2017

Other languages:
English • ‎français
Disponibilité : depuis le 30 juin dans le cadre du concours d'allocation des ressources 2017
Nœud frontal (login node) : graham.computecanada.ca
Point de chute GlobusGlobus is a file transfer service [https://www.globus.org/] : computecanada#graham-dtn

Graham est une grappe hétérogène adaptée pour une grande variété de types de tâches; elle est située à l'Université de Waterloo. Elle est nommée en l'honneur de Wes Graham, le premier directeur du Computing Centre de l'Université de Waterloo. La grappe était précédemment connue sous le nom de GP3 et est encore identifiée comme telle dans la documentation pour le concours d'allocation de ressources 2017.

Les systèmes de fichiers parallèles, la réseautique et le stockage persistant (NDC-Waterloo) sont semblables à ceux de Cedar. Il y a toutefois des proportions différentes du nombre de chaque type de nœuds de calcul.

La grappe Graham est vendue et supportée par Huawei Canada. Un système de refroidissement liquide utilise des échangeurs de chaleur à même les portes arrière.

Voyez de courtes vidéos sur les notions de base pour l'utilisation de Graham.

Consultez la page Exécuter des tâches.

Stockage

espace home
espace scratch
(système de fichiers parallèle de haute performance)
  • stockage scratch actif ou temporaire
  • non alloué
  • grand quota fixe, par utilisateur
  • les données inactives sont purgées
espace projet
(stockage persistant externe)

Réseautique haute performance

Interconnexion InfiniBand Mellanox FDR (56Go/s.) et EDR (100Go/s.). FDR sert aux nœuds GPU et aux nœuds infonuagiques; tous les autres types de nœuds utilisent EDR. Un répartiteur (director switch) central de 324 ports rassemble les connexions des ilots CPU et GPU de 1024 cœurs. Les 56 nœuds infonuagiques se situent sur les nœuds CPU; ils sont regroupés sur un plus grand ilot et partagent 8 liens FDR vers le répartiteur.

Une interconnexion non-blocante (InfiniBand fabric) à haute bande passante et faible latence connecte tous les nœuds [et/avec] le stockage scratch.

Les nœuds configurés pour le service infonuagique possèdent [aussi/en plus] un réseau Ethernet 10Go/s, et des liens de 40Go/s. vers le stockage scratch.

L'architecture de Graham a été planifiée pour supporter de multiples tâches parallèles jusqu'à 1024 cœurs grâce à une réseautique non-blocante.

Pour les tâches plus imposantes, le facteur de blocage est de 8:1; même pour les tâches exécutées sur plusieurs ilots, l'interconnexion est de haute performance.

Diagramme des interconnexions pour Graham

Types et caractéristiques des nœuds

35 520 cœurs et 320 GPUs sur 1 107 nœuds de différents types.

Type de processeur : Tous les nœuds ont des processeurs E5-2683 V4 d'Intel avec une cadence de 2.1GHz.

Type de GPU : P100 12g

type base 864 nœuds 128Go de mémoire, 16 cœurs/socket, 2 sockets/nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4; 960Go SATA SSD
type large (cloud) 56 nœuds 256Go de mémoire, 16 cœurs/sockets, 2 sockets/nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4; 960Go SATA SSD
type GPU 160 nœuds 128Go de mémoire, 16 cœurs/socket, 2 sockets/nœud, 2 NVidia P100 Pascal avec 12Go de mémoire HBM2 par nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4; 1.6To NVMe SSD.
type bigmem 500 24 nœuds 0.5To (512Go) de mémoire, 16 cœurs/socket, 2 sockets/nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4; 960Go SATA SSD
type bigmem 3000 3 nœuds 3To de mémoire, 16 cœurs/socket, 4 sockets/nœud; processeurs Broadwell 2.1GHz, modèle E7-4850 v4; 960Go SATA SSD

Pour le stockage local sur nœud, il est recommandé d'utiliser le répertoire temporaire $SLURM_TMPDIR généré par Slurm. Ce répertoire et son contenu est supprimé à la fin de l'exécution de la tâche.