HDF5

Généralités

HDF5 (pour Hierarchical Data Format) est une bibliothèque de formatage des données scientifiques et qui en facilite le stockage, la lecture, la visualisation, la manipulation et l'analyse. Elle traite tous les types de données et sa conception permet autant des entrées-sorties flexibles et efficaces que la prise en charge de forts volumes de données. Elle est portable et extensible et peut accompagner les applications dans leur évolution. La suite HDF5 Technology comprend des outils et des applications pour la gestion, la manipulation, la visualisation et l'analyse de données en format HDF5. HDF (appelée aussi HDF4) est une bibliothèque et un format de fichier multiformat pour le stockage et la gestion sur plusieurs ordinateurs. HDF4 est le format original et même si elle est toujours supportée, la version HDF5 est recommandée.

Description

HDF a été conçue pour

• de forts volumes de données et des données complexes, mais peut être utilisée pour de bas volumes et des données simples
• toutes les tailles et tous les types de systèmes (portable)
• stockage et entrée-sortie flexibles et efficients
• applications peuvent évoluer et traiter de nouveaux modèles

HDF comprend :

• un format de fichier pour le stockage de données HDF4/HDF5
• un modèle pour organiser et accéder des données HDF4/HDF5 avec diverses applications
• plusieurs logiciels dont des bibliothèques, des modules linguistiques et plusieurs outils spécifiques au format

Références :

• Site web du projet : https://www.hdfgroup.org/solutions/hdf5/
• Documentation : https://support.hdfgroup.org/documentation/
• Téléchargement : https://www.hdfgroup.org/downloads/hdf5

Points forts

• Les données sont indépendantes de l'architecture matérielle (endianness).
• Les données structurées en unités physiques permettent le suivi de l'information pertinente.
• Utilisable en parallèle (MPI-IO)
• Les données peuvent être compressées à l'écriture (zlib ou szip).
• Interfaces pour C, C++, Fortran 90, Java et Python
• Gère tous les types de données (plus que NetCDF ).
• Lecture et écriture en format .mat de Matlab.
• Gratuit pour la plupart des plateformes

Points faibles

• Interface plus compliquée que celle de NetCDF .
• HDF5 n'exige pas UTF-8; ASCII est habituellement employé.
• Les ensembles de données ne peuvent être libérés sans qu'une copie du fichier soit créée avec un autre outil.

Guide de démarrage

Nous abordons ici les détails de configuration.

Modules d'environnement

Les modules suivants sont disponibles sur Cedar et Graham via CVMFS :

• hdf
  • version 4.1 et précédentes
• hdf5
  • plus récente version de HDF5
• hdf5-mpi
  • pour utiliser MPI

Exécutez module avail hdf pour connaître les versions disponibles pour le compilateur et les modules MPI que vous avez chargés. Pour la liste complète des modules HDF4/HDF5, exécutez module -r spider '.*hdf.*'.

Utilisez code>module load hdf/version ou module load hdf5/version pour configurer l'environnement selon la version sélectionnée. Par exemple, pour charger HDF5 version 1.8.18, lancez

[name@server ~]$ module load hdf5/1.8.18

Scripts de soumission de tâche

Pour des exemples de scripts pour l'ordonnanceur Slurm, consultez Exécuter des tâches. Nous vous recommandons d'utiliser la commande module load ...dans votre script.

Lier à des bibliothèques HDF

Voici des exemples en mode séquentiel et en mode parallèle ː

Mode séquentiel

[name@server ~]$ module load hdf5/1.8.18
[name@server ~]$ gcc example.c -lhdf5

Mode parallèle

[name@server ~]$ module load hdf5-mpi/1.8.18
[name@server ~]$ mpicc example.c -lhdf5

Exemple

Consultez un exemple de lecture et écriture dans un ensemble de données. Des nombres entiers sont d'abord écrits avec des dimensions data space de DIM0xDIM1, puis le fichier est fermé. Le fichier est ensuite rouvert, les données sont lues et affichées.

Compilez et exécutez avec

[name@server ~]$ module load hdf5-mpi
[name@server ~]$ mpicc h5ex_d_rdwr.c -o h5ex_d_rdwr -lhdf5
[name@server ~]$ mpirun -n 2 ./h5ex_d_rdwr

Utilitaires

Vous trouverez la liste complète sur le site web du Hdfgroup. Soulignons les utilitaires suivants ː

• HDF5 ODBC Connector

interface SQL pour le format HDF5 data en Excel, Tableau et autres

• HDFView

fureteur Java et paquet objets pour HDF5-1.10 (identification d'objets 64-bits) et HDF 4.2.12 (et suivantes)

• quelques outils en ligne de commande
  • gif2h5/h52gif
  • h5cc, h5fc, h5c++
  • h5debug
  • h5diff
  • h5dump
  • h5import
• h5check

vérification de la validité d'un fichier HDF5

• h5edit

outils d'édition

Message Passing Interface

CernVM File System