Difference between revisions of "Cedar/fr"

From CC Doc
Jump to: navigation, search
Line 24: Line 24:
 
| '''espace ''home'''''<br />volume total 250To||
 
| '''espace ''home'''''<br />volume total 250To||
 
* localisation des répertoires ''home''<br />
 
* localisation des répertoires ''home''<br />
* chaque répertoire ''home'' a un bas [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe
+
* chaque répertoire ''home'' a un petit [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe
 
* non alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/acces-rapide/?lang=fr service d'accès rapide] ou le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources]; le stockage de grande envergure se fait sur l'espace projet
 
* non alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/acces-rapide/?lang=fr service d'accès rapide] ou le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources]; le stockage de grande envergure se fait sur l'espace projet
 
* est sauvegardé à chaque jour
 
* est sauvegardé à chaque jour
Line 31: Line 31:
 
* stockage ''scratch'' actif ou temporaire <br />
 
* stockage ''scratch'' actif ou temporaire <br />
 
* non alloué
 
* non alloué
* [[Storage and file management/fr#Quotas_et_politiques|quota]] élevé fixe, par utilisateur
+
* grand [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe, par utilisateur
 
* les données inactives sont purgées
 
* les données inactives sont purgées
 
|-
 
|-
Line 38: Line 38:
 
* fait partie de la [[National_Data_Cyberinfrastructure/fr|cyberinfrastructure nationale de données]]
 
* fait partie de la [[National_Data_Cyberinfrastructure/fr|cyberinfrastructure nationale de données]]
 
* ne convient pas aux tâches d'écriture et de lecture en parallèle; utiliser l'espace ''scratch''
 
* ne convient pas aux tâches d'écriture et de lecture en parallèle; utiliser l'espace ''scratch''
* [[Storage and file management/fr#Quotas_et_politiques|quota]] élevé ajustable, par projet
+
* grand [[Storage and file management/fr#Quotas_et_politiques|quota]] ajustable, par projet
 
* est sauvegardé à chaque jour
 
* est sauvegardé à chaque jour
 
|}
 
|}

Revision as of 15:47, 7 December 2017

Other languages:
English • ‎français
Disponibilité : depuis le 30 juin dans le cadre du concours d'allocation des ressources 2017
Nœud frontal (login node) : cedar.computecanada.ca
Point de chute GlobusGlobus is a file transfer service [https://www.globus.org/] : computecanada#cedar

Cedar est une grappe hétérogène adaptée pour une grande variété de types de tâches; elle est située à l'Université Simon-Fraser. Elle est nommée en l'honneur du cèdre de l'Ouest, l'arbre officiel de la Colombie-Britannique dont la signification spirituelle est importante pour les Premières Nations de la région. La grappe était précédemment connue sous le nom de GP2 et est encore identifiée comme telle dans la documentation pour le concours d'allocation de ressources 2017.

La grappe Cedar est vendue et supportée par Scalar Decisions; le fabricant des nœuds est Dell; le stockage parallèle de haute performance (scratch) est fourni par DDN; la réseautique provient d'Intel. Un système de refroidissement liquide utilise des échangeurs de chaleur à même les portes à l'arrière.

Voyez de courtes vidéos sur les notions de base pour l'utilisation de Cedar.

La capacité de la grappe sera considérablement augmentée dans le cadre du deuxième défi de l'Initiative sur la cyberinfrastructure. Les discussions sont en cours avec le fournisseur et la capacité sera presque doublée à l'hiver de 2018.

Stockage

espace home
volume total 250To
espace scratch,
volume total 3.7Po
(système de fichiers parallèle de haute performance)
  • stockage scratch actif ou temporaire
  • non alloué
  • grand quota fixe, par utilisateur
  • les données inactives sont purgées
espace projet
volume total 10Po
(stockage persistant externe)

Réseautique haute performance

Réseautique Intel OmniPath (version 1, bande passante de 100Gbit/s).

Une réseautique à faible latence et haute performance pour tous les nœuds de calcul et le stockage temporaire.

L'architecture a été planifiée pour supporter de multiples tâches parallèles jusqu'à 1024 cœurs grâce à une réseautique non-blocante. Pour les tâches de plus de 1024 cœurs, le réseau a un facteur de blocage de 2:1. Même pour les tâches de plusieurs milliers de cœurs, Cedar est une bonne option.

Types et caractéristiques des nœuds

Cedar offre un total de 27 696 cœurs de calcul et 584 accélérateurs GPU. La performance théorique maximale en double précision est de 936 teraflops pour les CPUs auxquels s'ajoutent 2744 teraflops pour les GPU, pour un total de 3.6 petaflops. Il y a 22 ilots de 32 nœuds complètement connectés par une interconnexion non-blocante (Omni-Path fabric), chacun avec un total de 1024 cœurs; chaque ilot devrait générer plus de 30 teraflops de performance double précision mesurée. Il y a un facteur de blocage de 2:1 entre les ilots de 1024 cœurs.

type base 576 nœuds 128Go de mémoire, 16 cœurs/socket, 2 sockets/nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4
type large 128 nœuds 256Go de mémoire, 16 cœurs/sockets, 2 sockets/nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4
type GPU base 114 nœuds 128Go de mémoire, 12 cœurs/socket, 2 sockets/nœud, 4 NVidia P100 Pascal avec 12Go de mémoire HBM2 par nœud, 2 GPUs/racine PCI; processeurs Intel Broadwell 2.2GHz, modèle E5-2650 v4
type GPU large 32 nœuds 256Go de mémoire, 12 cœurs/socket, 2 sockets/nœud, 4 NVidia P100 Pascal avec 16Go de mémoire HBM2 par nœud, 2 GPUs/bus PCI; tous les GPUs sur la même racine PCI; processeurs Intel Broadwell 2.2GHz, modèle E5-2650 v4
type bigmem 500 24 nœuds 0.5To (512Go) de mémoire, 16 cœurs/socket, 2 sockets/nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4
type bigmem 1500 24 nœuds 1.5To de mémoire, 16 cœurs/socket, 2 sockets/nœud; processeurs Intel Broadwell 2.1GHz, modèle E5-2683 v4
type bigmem 3000 4 nœuds 3To de mémoire, 8 cœurs/socket, 4 sockets/nœud; processeurs Intel Broadwell 2.1GHz, modèle E7-4809 v4

Tous les nœuds ci-dessus ont du stockage local temporaire. Les nœuds GPU ont un disque SSD de 800Go et tous les autres ont deux disques SSD de 480Go pour une capacité totale de 960Go. Pour accéder le stockage local pour le nœud, il est recommandé d'utiliser le répertoire temporaire $SLURM_TMPDIR créé par l'ordonnanceur à cet effet; consultez Exécuter des tâches.

Le stockage temporaire (scratch) est un système de fichiers Lustre basé sur la technologie DDN, modèle ES14K. Il est composé de 640 disques NL-SAS de 8To chacun, avec un double contrôleur de métadonnées dont les disques sont des SSD.