Conectar Flume con #Hadoop

flume-logoBuenas, en este articulo seré breve, lo que haremos sera conectar Apache Flume con el HDFS de Hadoop, esto para poder obtener el Stream de Twitter de una cuenta particular, para ello debemos realizar varias tareas, estamos listos? Lo primero que debes hacer es descargar los paquetes que necesitaremos, son dos el primero Apache flume bajatelo de aqui, luego necesitaremos el código fuente o el .JAR que ofrece el proyecto Cloudera para esta tarea, les comento que a la primera no me funciono en Ubuntu, se debe recompilar el .JAR para que esto camine, asumo en este articulo que la implementación de HADOOP en la plataforma es efectiva y correcta.

Read more

#Hadoop quick Commands

Listar archivos hadoop fs -ls /user/hadoop/dir1/filename.txt hadoop fs -ls / Subir archivos hadoop fs -put txt1 txt2 /user/hadoop/dir2/ Descarga archivos del HDFS hadoop fs -get /user/hadoop/dir3/Samplefile.txt /home/ Borrar archivos hadoop fs -rm -r -f /user/the/path/to/your/dir hadoop dfs -rmr hdfs://host:port/Navi/MyDir\,\ Name Facebook0Twitter0Reddit0Linkedin0Stumbleupon0X