Installer Hadoop sur Ubuntu

Hadoop est un cadre open-source essentiel pour le traitement de grandes quantités de données dans un environnement distribué. Si vous cherchez à l’installer sur Ubuntu, ce guide est conçu pour vous accompagner à travers chaque étape du processus, de la préparation de votre environnement à la configuration finale de Hadoop.

Pré-requis et configuration de votre environnement

Avant de commencer l’installation de Hadoop, assurez-vous d’avoir un système Ubuntu à jour. Voici les prérequis pour réussir l’installation :

• Java : Hadoop nécessite Java pour fonctionner. Pour installer OpenJDK, utilisez la commande suivante : sudo apt update sudo apt install openjdk-8-jdk
• Vérification de l’installation de Java : java -version

Étape 1 : Installation de Hadoop

1. Téléchargement de Hadoop Téléchargez la dernière version stable de Hadoop depuis le site officiel ou via une commande wget comme suit : wget https://downloads.apache.org/hadoop/common/hadoop-x.y.z/hadoop-x.y.z.tar.gz Remplacez x.y.z par la version souhaitée.
2. Décompression du fichier téléchargé tar -xzvf hadoop-x.y.z.tar.gz
3. Déplacement de Hadoop vers un répertoire dédié sudo mv hadoop-x.y.z /usr/local/hadoop

Étape 2 : Configuration de Hadoop

1. Configurer les variables d’environnement Éditez le fichier ~/.bashrc pour y ajouter les chemins Hadoop : export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin Rechargez le fichier ~/.bashrc pour appliquer les modifications : source ~/.bashrc
2. Configurer les fichiers de configuration Hadoop
   • core-site.xml : configurez le système de fichiers distribué de Hadoop.
   • hdfs-site.xml : configurez les répertoires pour les nœuds de données.
   • mapred-site.xml : configurez le cadre MapReduce.
   • yarn-site.xml : configurez YARN, le gestionnaire de ressources.
   Exemple pour core-site.xml :xmlCopier le code<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>

Étape 3 : Démarrage de Hadoop

• Formatage du système de fichiers Hadoop hdfs namenode -format
• Démarrage des services Hadoop start-dfs.sh start-yarn.sh

Étape 4 : Vérification de l’installation

Pour vérifier que Hadoop fonctionne correctement, accédez à l’interface web de Hadoop via votre navigateur à l’adresse suivante : http://localhost:9870. Vous devriez voir le tableau de bord Hadoop vous indiquant l’état des nœuds et des tâches.

Ce guide vous fournit une approche détaillée pour installer Hadoop sur une machine Ubuntu. En suivant ces étapes, vous aurez un environnement Hadoop opérationnel, prêt à traiter des données volumineuses de manière distribuée.