Skip to content
Extraits de code Groupes Projets

Hadoop files

Fusionnées Karnas a demandé de fusionner hadoop vers master
1 file
+ 0
27
Comparer les modifications
  • Côte à côte
  • En ligne
#!/bin/bash
# modification 2024 : test de la ram dispo et utilisation de tel ou tel fichier hadoop.env
# 2024-05-20 Karnas : ajout des variables de chemin
SCRIPT_PATH=$(dirname $(realpath $0))
DOCKER_COMPOSE_FILE="docker-compose.yml"
DOCKER_COMPOSE_PATH=$SCRIPT_PATH/$DOCKER_COMPOSE_FILE
if [ $(free --giga | grep "^Mem" | awk '{ print $2 }') -lt 16 ]
then
cp hadoop-16goRAM.env hadoop.env
elif [ $(free --giga | grep "^Mem" | awk '{ print $2 }') -lt 8 ]
then
cp hadoop-8goRAM.env hadoop.env
fi
docker network create hbase 2>/dev/null
docker compose -f $DOCKER_COMPOSE_PATH up -d namenode hive-metastore-postgresql
docker compose -f $DOCKER_COMPOSE_PATH up -d datanode1 datanode2
docker compose -f $DOCKER_COMPOSE_PATH up -d resourcemanager nodemanager1 nodemanager2 historyserver
docker compose -f $DOCKER_COMPOSE_PATH up -d hive-server hive-metastore
docker compose -f $DOCKER_COMPOSE_PATH up -d spark-master spark-worker-1 spark-worker-2
my_ip=`ip route get 1 | awk '{ for (i=1;i<=NF;i++) { if ( $i == "src" ) { print $(i+1) ; exit } } }'`
echo "Namenode: (HDFS Filebrowser) http://${my_ip}:9870"
echo "Spark-master: http://${my_ip}:28083"
echo "History Server: http://${my_ip}:28188"
Chargement en cours