35,877
edits
Storage and file management/fr: Difference between revisions
Jump to navigation
Jump to search
Updating to match new version of source page
No edit summary |
(Updating to match new version of source page) |
||
| Line 2: | Line 2: | ||
==Introduction== | ==Introduction== | ||
Nous offrons de nombreuses options de stockage capables de répondre aux besoins des utilisateurs œuvrant dans des domaines extrêmement variés. Selon vos besoins et votre usage particulier, vous avez le choix parmi différentes solutions allant du stockage long terme au stockage local temporaire à haute vitesse. Dans la plupart des cas, nos [https://fr.wikipedia.org/wiki/Syst%C3%A8me_de_fichiers systèmes de fichiers] sont des ressources partagées et devraient être utilisés de manière responsable; en effet, des dizaines et même des centaines d'utilisateurs peuvent être affectés par un seul utilisateur qui se comporte de manière irréfléchie. Ces systèmes de fichiers sont conçus pour le stockage d'un nombre limité de très grands fichiers, habituellement de type binaire puisque les très gros fichiers texte (centaines de Mo et plus) ne sont pas facilement lisibles par un être humain; pour cette raison, vous devriez éviter de stocker des milliers de petits fichiers de quelques mégaoctets, particulièrement dans le même répertoire. Une meilleure approche serait d'utiliser des commandes telles que <tt>tar</tt> ou <tt>zip</tt> pour convertir un répertoire de plusieurs petits fichiers en un très grand fichier d'archive; consultez [https://docs.computecanada.ca/wiki/Archiving_and_compressing_files Archiving and compressing files]. | <div class="mw-translate-fuzzy"> | ||
Nous offrons de nombreuses options de stockage capables de répondre aux besoins des utilisateurs œuvrant dans des domaines extrêmement variés. Selon vos besoins et votre usage particulier, vous avez le choix parmi différentes solutions allant du stockage long terme au stockage local temporaire à haute vitesse. Dans la plupart des cas, nos [https://fr.wikipedia.org/wiki/Syst%C3%A8me_de_fichiers systèmes de fichiers] sont des ressources partagées et devraient être utilisés de manière responsable; en effet, des dizaines et même des centaines d'utilisateurs peuvent être affectés par un seul utilisateur qui se comporte de manière irréfléchie. Ces systèmes de fichiers sont conçus pour le stockage d'un nombre limité de très grands fichiers, habituellement de type binaire puisque les très gros fichiers texte (centaines de Mo et plus) ne sont pas facilement lisibles par un être humain; pour cette raison, vous devriez éviter de stocker des milliers de petits fichiers de quelques mégaoctets, particulièrement dans le même répertoire. Une meilleure approche serait d'utiliser des commandes telles que <tt>tar</tt> ou <tt>zip</tt> pour convertir un répertoire de plusieurs petits fichiers en un très grand fichier d'archive; consultez [https://docs.computecanada.ca/wiki/Archiving_and_compressing_files Archiving and compressing files]. | |||
</div> | |||
Il est de votre responsabilité de vérifier depuis quand vos données sont stockées. Le rôle de la plupart des systèmes de fichiers n'est pas d'offrir un service d'archivage à long terme; vous devez donc déplacer les fichiers et répertoires qui ne sont plus utilisés vers un autre endroit, que ce soit sur votre ordinateur personnel ou une autre ressource de stockage que vous contrôlez. Le transfert de grandes quantités de données se fait généralement avec [https://docs.computecanada.ca/wiki/Globus/fr Globus]. | Il est de votre responsabilité de vérifier depuis quand vos données sont stockées. Le rôle de la plupart des systèmes de fichiers n'est pas d'offrir un service d'archivage à long terme; vous devez donc déplacer les fichiers et répertoires qui ne sont plus utilisés vers un autre endroit, que ce soit sur votre ordinateur personnel ou une autre ressource de stockage que vous contrôlez. Le transfert de grandes quantités de données se fait généralement avec [https://docs.computecanada.ca/wiki/Globus/fr Globus]. | ||
| Line 8: | Line 10: | ||
Prenez note que les ressources de stockage ne sont pas pour vos données personnelles, mais bien pour les données de recherche. | Prenez note que les ressources de stockage ne sont pas pour vos données personnelles, mais bien pour les données de recherche. | ||
<div class="mw-translate-fuzzy"> | |||
Lorsque votre compte est créé sur une grappe, votre répertoire ''home'' contient des références à vos espaces [[Project layout/fr|''project'']] et ''scratch'' via des [https://fr.wikipedia.org/wiki/Lien_symbolique liens symboliques], des raccourcis vers ces autres systèmes de fichiers à partir de votre répertoire ''home''. Notez que ces liens symboliques peuvent apparaître seulement quelques heures après votre première connexion. Un utilisateur possède ses propres espaces ''home'' et ''scratch'', alors que l'espace projet est partagé par un groupe de recherche. Ce groupe peut être constitué d'utilisateurs qui possèdent des comptes liés à celui d'un chercheur principal ou de comptes de membres d'une [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr allocation de ressources]. | Lorsque votre compte est créé sur une grappe, votre répertoire ''home'' contient des références à vos espaces [[Project layout/fr|''project'']] et ''scratch'' via des [https://fr.wikipedia.org/wiki/Lien_symbolique liens symboliques], des raccourcis vers ces autres systèmes de fichiers à partir de votre répertoire ''home''. Notez que ces liens symboliques peuvent apparaître seulement quelques heures après votre première connexion. Un utilisateur possède ses propres espaces ''home'' et ''scratch'', alors que l'espace projet est partagé par un groupe de recherche. Ce groupe peut être constitué d'utilisateurs qui possèdent des comptes liés à celui d'un chercheur principal ou de comptes de membres d'une [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr allocation de ressources]. | ||
Un utilisateur peut donc avoir accès à plusieurs espaces ''project'' différents associés à un ou plusieurs chercheurs principaux et les répertoires ''project'' de son répertoire ''home'' contient les liens symboliques vers ces différents espaces ''project''. Tous les comptes ont accès à un ou plusieurs espaces ''project''. Le répertoire <tt>projects</tt> dans votre compte contient un lien symbolique vers chaque espace ''project'' auquel vous avez accès. | Un utilisateur peut donc avoir accès à plusieurs espaces ''project'' différents associés à un ou plusieurs chercheurs principaux et les répertoires ''project'' de son répertoire ''home'' contient les liens symboliques vers ces différents espaces ''project''. Tous les comptes ont accès à un ou plusieurs espaces ''project''. Le répertoire <tt>projects</tt> dans votre compte contient un lien symbolique vers chaque espace ''project'' auquel vous avez accès. | ||
*Pour un utilisateur dont le compte est lié à un seul compte de chercheur principal, l'espace ''project'' par défaut est le même espace ''project'' par défaut que celui du compte du chercheur principal. | *Pour un utilisateur dont le compte est lié à un seul compte de chercheur principal, l'espace ''project'' par défaut est le même espace ''project'' par défaut que celui du compte du chercheur principal. | ||
* Pour un utilisateur dont le compte est lié à plusieurs comptes, l'espace ''project'' par défaut est le même que celui du chercheur principal qui possède le plus grand nombre de comptes qui lui sont associés. | * Pour un utilisateur dont le compte est lié à plusieurs comptes, l'espace ''project'' par défaut est le même que celui du chercheur principal qui possède le plus grand nombre de comptes qui lui sont associés. | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
Tous les utilisateurs peuvent vérifier l'espace disque disponible et l'espace disque utilisé par les systèmes de fichiers ''project'', ''home'' et ''scratch'' avec l'utilitaire en ligne de commande '''''diskusage_report''''', disponible sur les grappes. Pour ce faire, connectez-vous à la grappe par SSH; à l'invite, entrez ''diskusage_report'' puis appuyez sur la touche ''Enter''. L'utilitaire produit un rapport semblable à ceci : | Tous les utilisateurs peuvent vérifier l'espace disque disponible et l'espace disque utilisé par les systèmes de fichiers ''project'', ''home'' et ''scratch'' avec l'utilitaire en ligne de commande '''''diskusage_report''''', disponible sur les grappes. Pour ce faire, connectez-vous à la grappe par SSH; à l'invite, entrez ''diskusage_report'' puis appuyez sur la touche ''Enter''. L'utilitaire produit un rapport semblable à ceci : | ||
<pre> | <pre> | ||
| Line 23: | Line 28: | ||
</pre> | </pre> | ||
Pour un rapport plus détaillé, utilisez l'outil [[Diskusage Explorer/fr|Diskusage Explorer]]. | Pour un rapport plus détaillé, utilisez l'outil [[Diskusage Explorer/fr|Diskusage Explorer]]. | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
==Types de stockage== | ==Types de stockage== | ||
Nos ressources comprennent divers systèmes de fichiers pour le stockage; assurez-vous d'utiliser l'espace approprié pour un besoin particulier. Nous présentons ici les principaux systèmes de fichiers de notre infrastructure, quelques-unes de leurs caractéristiques et les besoins pour lesquels ils sont conçus. | Nos ressources comprennent divers systèmes de fichiers pour le stockage; assurez-vous d'utiliser l'espace approprié pour un besoin particulier. Nous présentons ici les principaux systèmes de fichiers de notre infrastructure, quelques-unes de leurs caractéristiques et les besoins pour lesquels ils sont conçus. | ||
| Line 30: | Line 37: | ||
*'''SCRATCH''' : Ce type de stockage s'avère le meilleur choix pour les opérations intensives de lecture/écriture de gros fichiers (> 100Mo par fichier). Sachez toutefois qu'il faut copier les données importantes ailleurs parce qu'il n'y a pas de copie de sauvegarde sur ''scratch'' et que les fichiers plus anciens sont susceptibles d'être [[Scratch purging policy/fr|purgés]]. Cet espace ne devrait être utilisé que pour les fichiers temporaires comme les fichiers de point de contrôle (''checkpoint files''), les données en sortie d'une tâche ou les autres données qui peuvent être facilement recréées. | *'''SCRATCH''' : Ce type de stockage s'avère le meilleur choix pour les opérations intensives de lecture/écriture de gros fichiers (> 100Mo par fichier). Sachez toutefois qu'il faut copier les données importantes ailleurs parce qu'il n'y a pas de copie de sauvegarde sur ''scratch'' et que les fichiers plus anciens sont susceptibles d'être [[Scratch purging policy/fr|purgés]]. Cet espace ne devrait être utilisé que pour les fichiers temporaires comme les fichiers de point de contrôle (''checkpoint files''), les données en sortie d'une tâche ou les autres données qui peuvent être facilement recréées. | ||
* '''SLURM_TMPDIR''' : Pendant qu'une tâche est en cours d'exécution, <code>$SLURM_TMPDIR</code> est le chemin unique vers un répertoire temporaire d'un système de fichier local rapide sur chacun des nœuds de calcul réservés pour cette tâche; ce répertoire est supprimé quand la tâche se termine. C'est le meilleur endroit où enregistrer temporairement une grande collection de petits fichiers (< 1 Mo par fichier). Les tâches partagent cet espace sur chaque nœud et la capacité disponible dépend des caractéristiques techniques de chacun. Pour plus d'information, voir [[Using node-local storage/fr|Stockage local sur les nœuds de calcul]]. | * '''SLURM_TMPDIR''' : Pendant qu'une tâche est en cours d'exécution, <code>$SLURM_TMPDIR</code> est le chemin unique vers un répertoire temporaire d'un système de fichier local rapide sur chacun des nœuds de calcul réservés pour cette tâche; ce répertoire est supprimé quand la tâche se termine. C'est le meilleur endroit où enregistrer temporairement une grande collection de petits fichiers (< 1 Mo par fichier). Les tâches partagent cet espace sur chaque nœud et la capacité disponible dépend des caractéristiques techniques de chacun. Pour plus d'information, voir [[Using node-local storage/fr|Stockage local sur les nœuds de calcul]]. | ||
</div> | |||
==Consommation de l'espace /project par utilisateur== | ==Consommation de l'espace /project par utilisateur== | ||
<div class="mw-translate-fuzzy"> | |||
Pour /home et /scratch, la commande '''diskusage_report''' donne l'utilisation de l'espace et des inodes pour chaque utilisateur alors que pour /project, elle donne plutôt le quota total du groupe, incluant donc tous les fichiers des membres. Puisque les fichiers qui appartiennent à un utilisateur peuvent se trouver partout dans /project, il est difficile d'obtenir la quantité exacte de fichiers et la quantité de fichiers par utilisateur ou par projet quand un utilisateur a accès à plusieurs projets. Une estimation de l'utilisation de l'espace et des inodes par un utilisateur dans l'espace /project total peut toutefois être obtenue avec la commande | Pour /home et /scratch, la commande '''diskusage_report''' donne l'utilisation de l'espace et des inodes pour chaque utilisateur alors que pour /project, elle donne plutôt le quota total du groupe, incluant donc tous les fichiers des membres. Puisque les fichiers qui appartiennent à un utilisateur peuvent se trouver partout dans /project, il est difficile d'obtenir la quantité exacte de fichiers et la quantité de fichiers par utilisateur ou par projet quand un utilisateur a accès à plusieurs projets. Une estimation de l'utilisation de l'espace et des inodes par un utilisateur dans l'espace /project total peut toutefois être obtenue avec la commande | ||
</div> | |||
<code>lfs quota -u $USER /project</code> | <code>lfs quota -u $USER /project</code> | ||
<div class="mw-translate-fuzzy"> | |||
De plus, une estimation de la quantité de fichiers dans un répertoire (et ses sous-répertoires) peut être obtenue avec la commande <code>lfs find</code>, par exemple | De plus, une estimation de la quantité de fichiers dans un répertoire (et ses sous-répertoires) peut être obtenue avec la commande <code>lfs find</code>, par exemple | ||
<source lang="console"> | <source lang="console"> | ||
lfs find <path to the directory> -type f | wc -l | lfs find <path to the directory> -type f | wc -l | ||
</source> | </source> | ||
</div> | |||
== Meilleures pratiques == | == Meilleures pratiques == | ||
| Line 54: | Line 66: | ||
==Quotas et politiques== | ==Quotas et politiques== | ||
<div class="mw-translate-fuzzy"> | |||
Afin que tous les utilisateurs puissent disposer de suffisamment d'espace, des quotas et des politiques sont imposés sur les copies de sauvegarde et la purge automatique de certains systèmes de fichiers. | Afin que tous les utilisateurs puissent disposer de suffisamment d'espace, des quotas et des politiques sont imposés sur les copies de sauvegarde et la purge automatique de certains systèmes de fichiers. | ||
| Line 60: | Line 73: | ||
Pour connaître votre utilisation des quotas pour les systèmes de fichiers sur Cedar et Graham, utilisez la commande [[Storage and file management/fr#Introduction|<tt>diskusage_report</tt>]]. | Pour connaître votre utilisation des quotas pour les systèmes de fichiers sur Cedar et Graham, utilisez la commande [[Storage and file management/fr#Introduction|<tt>diskusage_report</tt>]]. | ||
</div> | |||
<tabs> | <tabs> | ||