General directives for migration/fr: Difference between revisions

Cette page traite de la migration des données pour les utilisateurs des grappes de Calcul Canada. Elle vous informe du processus de transfert vers les systèmes nationaux des données qui proviennent des équipements des partenaires régionaux  [http://www.ace-net.ca/ ACENET], [http://www.calculquebec.ca/ Calcul Québec], [http://computeontario.ca/ Calcul Ontario] et [https://www.westgrid.ca/ WestGrid].  

Si vous avez besoin de conseils ou d'information supplémentaire, contactez [mailto:support@computecanada.ca support@computecanada.ca].

==En préparation à la migration==

Vérifiez si la migration de vos données doit être effectuée par vous-même ou par l'équipe technique de Calcul Canada. La migration de certains systèmes comme [[Migration2016:Silo|Silo]] est effectuée par Calcul Canada. Pour toute question, écrivez à [mailto:support@computecanada.ca support@computecanada.ca].

La migration des données se fait à l'aide de [[Globus]]; si vous ne connaissez pas encore ce service, informez-vous de son fonctionnement et assurez-vous qu'il est compatible avec votre système. Pour garantir l'intégrité de vos données, testez le fonctionnement des outils qui seront utilisés sur des données de test; ces outils sont, par exemple [http://www.howtogeek.com/248780/how-to-compress-and-extract-files-using-the-tar-command-on-linux/ tar], [https://www.gnu.org/software/gzip/manual/gzip.html gzip] ou [https://www.cyberciti.biz/faq/how-to-create-a-zip-file-in-unix/ zip].  

* verify file integrity after transfer

Il est d'autant plus important de compresser vos données et d'éviter les doublons si vous ne disposez pas de Globus. Si vous devez utiliser [https://fr.wikipedia.org/wiki/Secure_copy scp], [https://fr.wikipedia.org/wiki/SSH_File_Transfer_Protocol sftp], ou [https://fr.wikipedia.org/wiki/Rsync rsync];

* Préparez des blocs de quelques centaines de gigaoctets que vous transférerez un bloc à la fois. S'il y a interruption, vous n'aurez qu'à reprendre l'opération de transfert sur le bloc affecté et les données transférées auparavant ne seront pas touchées. C'est ici qu'une liste de données à transférer s'avère utile.

* Vérifiez régulièrement la progression du transfert. Une indication à surveiller est la taille des fichiers. S'il n'y a eu aucun changement depuis  un certain temps, il est possible qu'il faille intervenir.  

S'il ne vous est pas possible de reprendre l'opération de transfert, contactez [mailto:support@computecanada.ca support@computecanada.ca].

Armez-vous de patience. Même en utilisant Globus, le transfert de données est une opération qui exige du temps. Il est impossible de déterminer exactement le temps de transfert, mais il faut savoir que des centaines de gigaoctets prendront plusieurs heures et que des centaines de téraoctets prendront plusieurs jours.

Si vous n'avez pas utilisé Globus ou si vous n'avez pas sélectionné l'option ''verify file integrity'', assurez-vous que les données transférées ne sont pas corrompues. Un moyen simple est de comparer la taille des fichiers de départ à la taille des fichiers à destination. Pour un examen plus poussé, utilisez  [http://man7.org/linux/man-pages/man1/cksum.1.html cksum] et [http://man7.org/linux/man-pages/man1/md5sum.1.html md5sum] avec les fichiers source et les fichiers d'arrivée et comparez les résultats. Les fichiers dont la taille ou le checksum ne concordent pas devraient être transférés à nouveau.

== Soutien technique ==

* Pour savoir comment utiliser les utilitaires d'archivage et de compression, utilisez la commande Linux  <code>man <command></code> or <code><command> --help</code>.

* Par courriel, [mailto:support@computecanada.ca support@computecanada.ca]