MapReduce

Map Reduce con hadoop y jupiter

Requisitos

• 🐳 Docker
• 🐳🐳 Docker compose

USO

• Clonar el repositorio

$ git clone https://github.com/wilderPariona/MapReduce
$ cd MapReduce

Iniciar el docker compose para usar Hadoop

$ cd cluster-hadoop-docker
$ docker-compose up -d
$ docker ps

Se levanta los containers:

yarnmaster gestiona el cluster YARN

namenode nodo de HDFS(sistema de archivos en hadoop)

4 datanodes nodos cluster de datos

• Para usar el ejemplo por defecto de mapreduce de hadoop ejecutamos un a terminal

$ docker exec -it namenode bash
# ejecutar dentro de hadoop
$ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 10

• uso de Jupiter

Para poder usar de manera sencilla mapearemos las ips de los contenedores en nuestra maquina local

$ docker inspect namenode | egrep IPAddress

cada salida nos dará la IP de nuestros contenedores debemos de configurar el archivo /etc/host en nuestra máquina local

$ sudo vim /etc/hosts

En este archivo incluir las ip y el nombre del contenedor al final de lo que esta por defecto(Pulsar i para editar el archivo), usar tab para separar la ip del nombre del container

172.19.0.7      namenode
172.19.0.5      yarnmaster
172.19.0.6      datanode1
172.19.0.2      datanode2
172.19.0.4      datanode3
172.19.0.3      datanode4

Ahora podremos abrir jupiter para usar hadoop: ingresamos a un navegador y tecleamos: http://namenode:8889/

Subimos nuestro archivo MapReduceManualyHadoop.ipynb

Copiamos el archivo prueba:

$ cd archivos-prueba 
$ sudo mv APBROBADO.txt /media/notebooks/archivos-prueba/

Ejecutar cada instruccion de jupiter(Alt + enter)

Contributors

WilderPariona 💻

REYNALDOz 💻

🤩 Fuentes

🐙 mincemeatpy| 💾 Michael G. Noll| 💻 BLOG DE INFORMÁTICA - UNED | 🐙 cluster-hadoop-docker| 🐳 Error docker |