miércoles, 5 de julio de 2017

Fixing problem test #Apache #Hadoop using MiniCluster on #Microsoft #Windows

Hadoop-DebugPara realizar labores de testing Apache Hadoop nos provee de MiniCluster (http://ob.tener.me/2tpYnzO), sin embargo el problema es que aún no hay mucha documentación acerca de este.

Quizás alguno que otro post como el que nos comparten en este blog:

http://ob.tener.me/2sFZDlD

Así que, a pesar de parecer algo demasiado básico, dejaré por acá estos comentarios.

 

Not find winutils

Cuando se utiliza MiniCluster sobre una plataforma Windows podemos enfrentarnos a un error:

Did not find winutils.exe: java.io.FileNotFoundException: Hadoop bin directory does not exist:

error-winutils

La manera de resolverlo esta documentada en la Wiki referida en el propio error.

fix-winutils

Simplemente descarga el binario winutils.exe y luego configura apropiadamente la variable de entorno para que apunte al directorio donde lo ubiques.

Puedes aprovechar y descargar también las libs para Windows

downloads

Unable to load native-hadoop library

Por otra parte, aunque no sea de nuestro agrado, es natural que obtengamos un Warning: “Unable to load native-hadoop library for your platform…”

warn

Básicamente porque dicha librería únicamente está disponible para plataformas *nix. Ni siquiera funciona con Cygwin o en plataformas MacOS.

native-hadoop-lib

 

java.lang.UnsatisfiedLinkError

A pesar de la referencia que encontramos en…

http://ob.tener.me/2sGqOMQ

Este error, aún no consigo corregirlo, así que si conoces la solución y puedes aportarla, será de mucha ayuda.

 

Espero te haya parecido interesante este post.

………….

Quiero man.tener.me informado: Seguir en Twitter @eldavid_oficial https://twitter.com/eldavid_oficial

Regálame un ME GUSTA. Y si eres solidario, COMPARTE para que otros puedan aprovecharlo.

 

 

 

 

 

 


Archivado en: Hadoop, Informática e Internet, Microsoft, Testing, Windows Tagged: Apache, Hadoop, Microsoft, MiniCluster, Testing, Windows

No hay comentarios.:

Publicar un comentario

Nota: sólo los miembros de este blog pueden publicar comentarios.