Gabarit Heat pour Hadoop et Spark

From CC Doc
Jump to: navigation, search
This page is a translated version of the page Hadoop+Spark Heat Template and the translation is 100% complete.

Other languages:
English • ‎français

Page enfant de OpenStack - Configuration d'instances

Description
Crée une grappe où Hadoop et Spark sont installés et configurés. Sa configuration permet de soumettre des tâches à l'ordonnanceur YARN. Le répertoire big-data-examples contient des exemples de tâches MapReduce et Spark. Les Makefiles démontrent comment construire et utiliser les divers exemples.
Type
Gabarit Heat
URL
https://raw.githubusercontent.com/cgeroux/heat-hadoop-spark/master/hadoop%2Bspark.yaml
ou pour une configuration qui inclut le gestionnaire de grappe gnaglia,
https://raw.githubusercontent.com/cgeroux/heat-hadoop-spark/ganglia/hadoop%2Bspark.yaml
Images compatibles
ubuntu-server-14.04-amd64 (nuage Arbutus)
Ubuntu_14.04_Trusty-amd64-20150708 (nuage East)
Version OpenStack minimale
Kilo
Notes
Le temps de création varie de 10 minutes jusqu'à plus d'une heure selon le nombre de nœuds dans votre grappe.
Ne fonctionne pas avec la nouvelle image Ubuntu Xenial.
Les fichiers de journalisation (pour cette configuration particulière) sont stockés en HDFS; pour les consulter, utilisez
Question.png
[name@server ~]$  yarn logs -applicationId <applicationId>
<applicationId> est l'ID de votre application. Cet identifiant se trouve dans la page de l'ordonnanceur YARN pour laquelle le lien paraît dans OpenStack, sous l'onglet Vue d'ensemble de l'option Stacks pour la grappe hadoop-spark. L'identifiant de l'application est aussi imprimé lorsque la tâche est soumise, sous le format application_#############_####. Les fichiers de journalisation Spark peuvent contenir beaucoup d'information et il peut s'avérer difficile d'identifier le résultat en sortie de l'exécution d'une tâche; le résultat en sortie est préfixé de "stdout" et du nombre de caractères qui suivent.