Niagara

From CC Doc
Jump to: navigation, search
This page is a translated version of the page Niagara and the translation is 93% complete.

Other languages:
English • ‎français
Disponibilité prévue : April 2018
Point de chute GlobusGlobus is a file transfer service [https://www.globus.org/] : à confirmer
État : https://wiki.scinet.utoronto.ca/wiki/index.php/System_Alerts

Niagara est une grappe homogène, propriété de l'Université de Toronto, et opérée par SciNet. Capable d'accommoder des tâches parallèles de 1040 cœurs et plus, elle est conçue pour gérer efficacement des débits intensifs générés par une variété d'applications scientifiques à hauts volumes de données. Ses fonctions de réseau et de stockage offrent des performances excellentes et une grande capacité. Niagara démontre en plus une efficacité énergétique appréciable.

En général, l'environnement est semblable à celui de Cedar ou Graham, avec quelques différences mineures. Voir les particularités dans Niagara Quickstart.

Cette grappe fait partie des ressources allouées dans le cadre du concours 2018; les allocations sont en vigueur depuis le 4 avril 2018.

Vidéo ː Présentation de Niagara au SciNet User Group Meeting du 14 février 2018

Vidéo ː Installation du matériel


Spécifications techniques

  • 1500 nœuds avec chacun 40 cœurs Skylake 2.4GHz d'Intel, pour un total de 60 000 cœurs
  • mémoire vive de 202Go (188 Gio) par nœud
  • réseau InfiniBand EDR (Enhanced Data Rate) à topologie dite Dragonfly+
  • espace scratch de 6Po, espace projet de 3Po (système de fichiers parallèle Spectrum Scale d'IBM, autrefois connu sous l'appellation GPFS)
  • tampon de mémoire en rafale (burst buffer) de 256To, Excelero + Spectrum Scale d'IBM
  • aucun disque local
  • aucun GPU
  • Rpeak de 4.61Pflops
  • Rmax de 3.0Pflops
  • consommation électrique 685 kW

Stockage

espace home
volume total 600To
système de fichiers parallèle (Spectrum Scale d'IBM)
  • emplacement des répertoires home
  • disponible par la variable d'environnement $HOME
  • chaque répertoire home a un quota fixe de 100Go
  • non alloué, quantité standard pour chaque utilisateur (utiliser espaces scratch ou projet pour plus de stockage)
  • copies de sauvegarde quotidienne
espace scratch
volume total 6Po
volume total 7Po
système de fichiers parallèle (Spectrum Scale d'IBM)
  • pour stockage (/scratch) actif ou temporaire (~ 80Go/s)
  • disponible par la variable d'environnement $SCRATCH
  • non alloué
  • grand quota fixe par utilisateur et par groupe
  • les données inactives sont purgées
mémoire tampon en rafale (burst buffer)
volume total 256To
système de fichiers parallèle extra haute performance (Excelero+Spectrum Scale d'IBM)
  • stockage rapide en cours d'exécution, 160Go/s, IOPS (input/output operations per second) très élevé
  • configuration présentement incomplète, mais les données seront purgées très fréquemment (peu de temps après la fin de la tâche) et l'espace de stockage ne fera pas partie des concours d'allocation de ressources
  • non alloué
espace projet
volume total 3Po
système de fichiers parallèle haute performance (Spectrum Scale d'IBM)
  • alloué via le concours d'allocation de ressources
  • pour stockage actif avec peu de modifications de données et ensembles de données relativement fixes
  • disponible par la variable d'environnement $PROJECT
  • quota par projet
  • copie de sauvegarde
espace archive
volume total 10Po
stockage haute performance (HPSS d'IBM)
  • alloué via le concours d'allocation de ressources
  • espace nearline disponible pour les grands jeux de données qui doivent utiliser des ressources autres que les systèmes de fichiers actifs
  • disponible par la variable d'environnement $ARCHIVE
  • grand quota fixe par groupe
  • copie de sauvegarde en double sur bandes

Réseautique haute performance

La grappe Niagara offre un réseau InfiniBand EDR (Enhanced Data Rate) à topologie dite Dragonfly̝+ de quatre ailes. Chacune des ailes d'un maximum de 432 nœuds chacune (pour 17280) possèdent des connecteurs 1-1. La communication entre les ailes se fait par routage adaptatif, évitant ainsi la congestion et offrant un ratio de blocage 2ː1 entre les nœuds des différentes ailes.

Caractéristiques des nœuds

  • CPU : 2 sockets avec 20 cœurs Skylake d'Intel (2.4GHz, AVX512), pour un total de 40 cœurs par nœud
  • Puissance de calcul : 3 TFlops (pointe théorique maximale)
  • Connexion réseau : 100Go/s EDR Dragonfly̟
  • Mémoire vive : 202Go (188 Gio), soit un peu plus que 4Gio par cœur
  • Disque local : aucun
  • GPU/accélérateurs ː aucun
  • Système d'exploitation : Linux, CentOS 7

Ordonnancement

L'ordonnancement des tâches se fait avec Slurm et les commandes de base sont les mêmes qu'avec Cedar et Graham. Il faut cependant noter les différences suivantes ː

  • L'ordonnancement se fait seulement par nœud; les tâches doivent toujours demander des multiples de 40 cœurs par tâche.
  • Il n'est pas nécessaire et non recommandé de demander une quantité spécifique de mémoire; la quantité de mémoire est égale pour chacun des nœuds (202Go/188Gio moins la mémoire utilisée par le système d'exploitation)

Les détails d'utilisation seront communiqués dès que disponibles.

Logiciel

  • Les logiciels sont installés à partir de modules.
  • Les logiciels usuels sur les grappes de Calcul Canada ainsi que les logiciels spécifiques à Niagara sont disponibles.
  • Contrairement aux grappes Cedar et Graham, aucun module n'est chargé par défaut sur Niagara, ceci pour éviter les conflits de versions. Pour charger la pile logicielle de Cedar ou Graham, utilisez le module CCEnv comme discuté dans Niagara Quickstart.

Migration vers Niagara et accès

Migration pour les utilisateurs de SciNet

  • Accounts, $HOME & $PROJECT of active GPC users have been transferred to Niagara (except dot-files in ~).
  • Les données dans l'espace $SCRATCH n'ont pas été et ne seront pas transférées automatiquement.
  • Users are to clean up $SCRATCH on the GPC as much as possible (il s'agit de données temporaires). Then they can transfer what they need using datamover nodes. Let us know if you need help.
  • To enable this transfer, there will be a short period during which you can have access to Niagara as well as to the GPC storage resources. This period will end no later than May 9, 2018.

Nouveaux utilisateurs qui ne possèdent pas de compte SciNet

  • Those of you new to SciNet, but with 2018 RAC allocations on Niagara, have had your accounts created and ready for you to login.

  • New, non-RAC users: we are still working out the procedure to get access. If you can't wait, for now, you can follow the old route of requesting a SciNet Consortium Account on the CCDB site, or write to support@scinet.utoronto.ca.

Guide de démarrage

See Niagara Quickstart.