NetCDF

Généralités

NetCDF (pour Network Common Data Form) est :

• une interface pour un accès aux données orienté tableaux et
• une bibliothèque qui fournit une implémentation de cette interface.

Son format de données autodocumenté et indépendant de l'architecture matérielle permet la création, l'accès et le partage de données scientifiques.

Plusieurs modifications ont été apportées à la bibliothèque avec la version 4 mise en production en 2008; il ne sera pas question ici des versions précédentes. NetCDF 4.x est rétrocompatible, mais les versions antérieures ne peuvent utiliser les nouveaux fichiers.

• Site web du projet : https://www.unidata.ucar.edu/software/netcdf
• Documentation : https://www.unidata.ucar.edu/software/netcdf/docs
• Fichiers à télécharger : https://www.unidata.ucar.edu/downloads/netcdf/index.jsp
• FAQ : https://www.unidata.ucar.edu/software/netcdf/docs/faq.html

Points forts

• Les données sont indépendantes de l'architecture matérielle ([hhttps://fr.wikipedia.org/wiki/Endianness boutisme ou endianness]).
• Les données structurées en unités physiques permettent le suivi de l'information pertinente.
• NetCDF4 écrit et lit en parallèle si construit avec une version parallèle de HDF5.
• Les données peuvent être compressées à l'écriture.
• Interface plus simple que HDF5.
• Gratuit pour la plupart des plateformes.

Points faibles

• L'interface Python ne permet pas la parallélisation (version 1.0.5).
• Certains fichiers produits avec HDF5 ne peuvent être lus par NetCDF.

Guide de démarrage

Nous abordons ici les détails de configuration.

Modules d'environnement

Les modules suivants sont disponibles via CVMFS :

• netcdf
  • pour lier avec les programmes contenant uniquement des instructions en C
• netcdf-c++
  • pour lier avec les programmes contenant des instructions en C et en C++
• netcdf-fortran
  • pour lier avec les programmes contenant des instructions en Fortran

D'autres modules utilisent MPI pour permettre des entrées/sorties en parallèle :

• netcdf-mpi
  • pour lier avec les programmes contenant des instructions en C et faisant appel à des bibliothèques MPI
• netcdf-c++-mpi
  • pour lier avec les programmes contenant des instructions en C et C++ et faisant appel à des bibliothèques MPI
• netcdf-fortran-mpi
  • pour lier avec les programmes contenant des instructions en Fortran et faisant appel à des bibliothèques MPI

Exécutez module avail netcdf pour connaître les versions disponibles pour le compilateur et les modules MPI que vous avez chargés. Pour la liste complète des modules NetCDF, exécutez module -r spider '.*netcdf.*'.

Utilisez module load netcdf/version pour configurer l'environnement selon la version sélectionnée. Par exemple, pour charger la bibliothèque NetCDF version 4.1.3 pour C, lancez

[name@server ~]$ module load netcdf/4.1.3

Soumettre un script

Consultez Exécuter des tâches pour des exemples de scripts soumis à l'ordonnanceur Slurm. Nous vous recommandons d'inclure la commande module load ... dans votre script.

Lier des programmes à des bibliothèques NetCDF

Les exemples qui suivent montrent comment lier des bibliothèques NetCDF à des programmes en C et en Fortran.

NetCDF en série

Programme en C ː

[name@server ~]$ module load netcdf/4.4.1
[name@server ~]$ gcc example.c -lnetcdf

Programme en Fortran ː il faut spécifier deux bibliothèques dans l'ordre approprié.

[name@server ~]$ module load gcc netcdf-fortran
[name@server ~]$ gfortran example.f90 -I$EBROOTNETCDFMINFORTRAN/include -lnetcdf -lnetcdff

NetCDF en parallèle

Programme en C faisant appel à MPI ː

[name@server ~]$ module load netcdf-mpi
[name@server ~]$ gcc example.c -lnetcdf

Exemple

Dans cet exemple, un fichier NetCDF est créé et contient une seule variable bidimensionnelle nommée data dont les dimensions sont x et y.

Pour compiler l'exemple,

[name@server ~]$ module load netcdf
[name@server ~]$ gcc ex_netcdf4.c -lnetcdf

Utilitaires

Plusieurs utilitaires peuvent lire et écrire des fichiers selon différents formats.

• ncdump

Cet outil génère la représentation texte CDL d'un ensemble de données netCDF avec l'option d'exclure certaines ou toutes les données variables. Le résultat peut en principe être utilisé en entrée avec ncgen. ncdump et ncgen peuvent donc être employés pour convertir une représentation binaire en représentation texte et vice versa. Consultez la section ncdump du site web UCAR.

• ncgen

À l'inverse de ncdump, cet outil génère un fichier binaire NetCDF. Consultez la section ncgen.

• nccopy

Copie un fichier netCDF en pouvant modifier le format binaire, la taille des blocs, la compression et d'autres paramètres de stockage. Consultez la section nccopy.

Pour vous aider à trouver les commandes pour lier et compiler, utilisez les utilitaires nf-config et nc-config; consultez la documentation.

PnetCDF

PnetCDF est une autre bibliothèque pour la lecture et l'écriture de fichiers au format NetCDF. Les noms de ses procédures sont différents de ceux de NetCDF. La bibliothèque offre aussi des procédures non-blocantes. Consultez le site web PnetCDF pour plus d'information.

CernVM File System

Message Passing Interface