Alternativa al Plug-in de Hadoop para Eclipse
En clase algunos tuvieron problemas con el plug-in de Hadoop para Eclipse. Este problema se debe a que el mantenimiento del plug-in ha sido descontinuado. Leí en un e-mail (y respuestas) enviado a la lista common-user de Hadoop y se puede solucionar el problema re-compilando el plug-in. Pero al parecer una mejor alternativa sería trabajar con el Karmasphere Studio for Hadoop basado en Netbeans.
noviembre 10th, 2009 at 23:58
Instalamos el plugin en NetBeans 6.7.1 para linux sin problemas.
El plugin agrega a la pestaña «Services» las opciones Hadoop Filesystems, Hadoop Clusters y Hadoop Jobs.
En Hadoop Filesystems se puede agregar Filesystems de máquinas con hadoop. Solo es necesario hacer click derecho, crear un nuevo filesystem y seguir el ayudante ingresando los datos del filesystem que se quiere agregar. En el caso de la máquina de cloudera, seleccionamos hadoop 0.20, y el puerto el 8022.
En Hadoop Clusters es casi el mismo procedimiento, solo que en éste caso, el puerto que seteamos fue el 8021.
Finalmente en Hadoop Jobs podemos configurar jobs a ejecutarse en uno de los clusters, utilizando un jar pre-fabricado. Al momento de ejecutar el job, podemos seleccionar el cluster hadoop, y el filesystem hadoop que queremos usar… asi, es posible incluso utilizar un filesystem diferente al propio del cluster.
Adicionalmente, el plugin entrega 3 «clusters hadoop virtuales» (con las versiones 18.3, 19.2 y 20.0) lo que nos proporciona la capacidad de ejecutar jobs sin necesidad de conectarse a un host hadoop.
Tambien se puede monitorear el estado de los jobs corriendo en los clusters, navegar el filesystem he incluso abrir archivos del mismo.
El plugin es muy bueno, pruebenlo, es mas amigable que escribir comandos en una consola 🙂
diciembre 10th, 2009 at 03:46
Hola me llamo Joan y llevo un tiempo programando en java con el paradigma Map/Reduce. Llevo tiempo buscando un entorno más amigable que eclipse sobretodo para debugar ya que con eclipse no puedo. Con el artículo me habeis levantado grandes esperanzas y me he bajado el entorno. Mi pregunta es si podría programar cualquier tipo de algoritmo map/Reduce como habitualmente hacía en eclipse.
Cualquier tipo de información me ayudaría muchisimo.
Muchas gracias, dejo mi e-mail por si alguien sabe de el tema. : joan.pimpam@gmail.com