Difference between revisions of "Graham/fr"

From CC Doc
Jump to: navigation, search
Line 29: Line 29:
 
* chaque répertoire ''home'' a un petit [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe
 
* chaque répertoire ''home'' a un petit [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe
 
* non alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/acces-rapide/?lang=fr service d'accès rapide] ou le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources]; le stockage de grande envergure se fait sur l'espace projet
 
* non alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/acces-rapide/?lang=fr service d'accès rapide] ou le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources]; le stockage de grande envergure se fait sur l'espace projet
 +
* est sauvegardé à chaque jour
 
|-
 
|-
 
| '''espace ''scratch'''''<br />(système de fichiers parallèle de haute performance) ||  
 
| '''espace ''scratch'''''<br />(système de fichiers parallèle de haute performance) ||  

Revision as of 16:01, 7 December 2017

Other languages:
English • ‎français
Disponibilité : depuis le 30 juin dans le cadre du concours d'allocation des ressources 2017
Nœud frontal (login node) : graham.computecanada.ca
Point de chute GlobusGlobus is a file transfer service [https://www.globus.org/] : computecanada#graham-dtn

Graham est une grappe hétérogène adaptée pour une grande variété de types de tâches; elle est située à l'Université de Waterloo. Elle est nommée en l'honneur de Wes Graham, le premier directeur du Computing Centre de l'Université de Waterloo. La grappe était précédemment connue sous le nom de GP3 et est encore identifiée comme telle dans la documentation pour le concours d'allocation de ressources 2017.

Les systèmes de fichiers parallèles, la réseautique et le stockage persistant (NDC-Waterloo) sont semblables à ceux de Cedar. Il y a toutefois des proportions différentes du nombre de chaque type de nœuds de calcul.

La grappe Graham est vendue et supportée par Huawei Canada. Un système de refroidissement liquide utilise des échangeurs de chaleur à même les portes arrière.

Voyez de courtes vidéos sur les notions de base pour l'utilisation de Graham.

Consultez la page Exécuter des tâches.

Stockage

espace home
espace scratch
(système de fichiers parallèle de haute performance)
  • stockage scratch actif ou temporaire
  • visible sur tous les nœuds
  • non alloué
  • les données inactives sont purgées
espace projet
(stockage persistant externe)

Réseautique haute performance

Interconnexion InfiniBand Mellanox FDR (56Go/s.) et EDR (100Go/s.). FDR sert aux nœuds GPU et aux nœuds infonuagiques; tous les autres types de nœuds utilisent EDR. Un répartiteur (director switch) central de 324 ports rassemble les connexions des ilots CPU et GPU de 1024 cœurs. Les 56 nœuds infonuagiques se situent sur les nœuds CPU; ils sont regroupés sur un plus grand ilot et partagent 8 liens FDR vers le répartiteur.

Une interconnexion non-blocante (InfiniBand fabric) à haute bande passante et faible latence connecte tous les nœuds [et/avec] le stockage scratch.

Les nœuds configurés pour le service infonuagique possèdent [aussi/en plus] un réseau Ethernet 10Go/s, et des liens de 40Go/s. vers le stockage scratch.

L'architecture de Graham a été planifiée pour supporter de multiples tâches parallèles jusqu'à 1024 cœurs grâce à une réseautique non-blocante.

Pour les tâches plus imposantes, le facteur de blocage est de 8:1; même pour les tâches exécutées sur plusieurs ilots, l'interconnexion est de haute performance.

Diagramme des interconnexions pour Graham

Types et caractéristiques des nœuds

Un total de 1 107 nœuds de différents types comprennent 37 568 cœurs et 320 GPUs.

Type de processeur: Tous les nœuds ont des processeurs E5-2683 V4 d'Intel avec une cadence de 2.1GHz.

Type de GPU: P100 12g

type base 864 nœuds 128Go de mémoire, 16 cœurs/socket, 2 sockets/nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4; 960Go SATA SSD
type large (cloud) 56 nœuds 256Go de mémoire, 16 cœurs/sockets, 2 sockets/nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4; 960Go SATA SSD
type GPU 160 nœuds 128Go de mémoire, 16 cœurs/socket, 2 sockets/nœud, 2 NVidia P100 Pascal avec 12Go de mémoire HBM2 par nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4; 1.6To NVMe SSD.
type bigmem 500 24 nœuds 0.5To (512Go) de mémoire, 16 cœurs/socket, 2 sockets/nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4; 960Go SATA SSD
type bigmem 3000 3 nœuds 3To de mémoire, 16 cœurs/socket, 4 sockets/nœud; processeurs Broadwell 2.1GHz, modèle E7-4850 v4; 960Go SATA SSD

Tous les nœuds ci-dessus ont 1To environ du stockage local avec des disques SSD, disponibles dans /tmp. Il est recommandé d'utiliser le répertoire temporaire $SLURM_TMPDIR créé par l'ordonnanceur à cet effet; consultez Exécuter des tâches.