Comentarios para Cloud Computing, MapReduce y Hadoop

Comentario en ACM Symposium on Cloud Computing 2010 (ACM SOCC 2010) por Cloud Computing Virtualisation Infrastructure

Cloud Computing Virtualisation Infrastructure — Fri, 17 Sep 2010 07:25:09 +0000

Cloud Hosting Virtualisation…

Virtualisation and the delivery of virtual IT services through the cloud…

Comentario en Alternativa al Plug-in de Hadoop para Eclipse por Joan

Joan — Thu, 10 Dec 2009 08:46:48 +0000

Hola me llamo Joan y llevo un tiempo programando en java con el paradigma Map/Reduce. Llevo tiempo buscando un entorno más amigable que eclipse sobretodo para debugar ya que con eclipse no puedo. Con el artículo me habeis levantado grandes esperanzas y me he bajado el entorno. Mi pregunta es si podría programar cualquier tipo de algoritmo map/Reduce como habitualmente hacía en eclipse.
Cualquier tipo de información me ayudaría muchisimo.

Muchas gracias, dejo mi e-mail por si alguien sabe de el tema. : joan.pimpam@gmail.com

Comentario en Hadoop input formats por Juan Antonio Plaza

Juan Antonio Plaza — Fri, 20 Nov 2009 13:58:35 +0000

Encontré este paper acerca de personalizar los formatos de entrada para poder procesar imágenes en Hadoop. Espero que le sea útil a alguien.

http://hpc.asu.edu/files/Customizing%20Input%20File%20Formats%20for%20Image%20Processing%20in%20Hadoop_0.pdf

Comentario en Alternativa al Plug-in de Hadoop para Eclipse por Emilio

Emilio — Wed, 11 Nov 2009 04:58:25 +0000

Instalamos el plugin en NetBeans 6.7.1 para linux sin problemas.

El plugin agrega a la pestaña “Services” las opciones Hadoop Filesystems, Hadoop Clusters y Hadoop Jobs.

En Hadoop Filesystems se puede agregar Filesystems de máquinas con hadoop. Solo es necesario hacer click derecho, crear un nuevo filesystem y seguir el ayudante ingresando los datos del filesystem que se quiere agregar. En el caso de la máquina de cloudera, seleccionamos hadoop 0.20, y el puerto el 8022.

En Hadoop Clusters es casi el mismo procedimiento, solo que en éste caso, el puerto que seteamos fue el 8021.

Finalmente en Hadoop Jobs podemos configurar jobs a ejecutarse en uno de los clusters, utilizando un jar pre-fabricado. Al momento de ejecutar el job, podemos seleccionar el cluster hadoop, y el filesystem hadoop que queremos usar… asi, es posible incluso utilizar un filesystem diferente al propio del cluster.

Adicionalmente, el plugin entrega 3 “clusters hadoop virtuales” (con las versiones 18.3, 19.2 y 20.0) lo que nos proporciona la capacidad de ejecutar jobs sin necesidad de conectarse a un host hadoop.

Tambien se puede monitorear el estado de los jobs corriendo en los clusters, navegar el filesystem he incluso abrir archivos del mismo.

El plugin es muy bueno, pruebenlo, es mas amigable que escribir comandos en una consola

Comentario en Más data sets de la Wikipedia por X-allam

X-allam — Wed, 17 Jun 2009 18:52:11 +0000

Me parece que sería buena idea que Wikipedia ofrezca búsquedas sentimentales (de acuerdo a la clasificación de palabras por grupo “sentimentales”) ó por páginas semejantes (analizando los términos)

Encontré un sitio que puede ayudar con muy buenas ideas de visualización para minería de texto: http://manyeyes.alphaworks.ibm.com/manyeyes/

Comentario en Más data sets de la Wikipedia por Romeo Cabrera A.

Romeo Cabrera A. — Tue, 16 Jun 2009 21:40:10 +0000

Sería interesante ver los resultados que devuelve una minería de datos del tipo:

Determinar las parejas de páginas (K, V), tales que tengan la mayor cantidad de enlaces hacia ellas en común.

Como un factor adicional, se podría del listado anterior, señalar cuáles parejas (K, V) no se enlazan entre ellas…

Comentario en Un data center visto desde adentro por cristina.abad

cristina.abad — Fri, 12 Jun 2009 12:21:06 +0000

Sí, ya están en eso

http://www.google.com/intl/en/press/pressrel/cleanenergy_20070619.html
http://googleblog.blogspot.com/2007/06/clean-energy-update.html

Comentario en Un data center visto desde adentro por irene

irene — Fri, 12 Jun 2009 03:11:13 +0000

mmm pienso que en un futuro se han de utilizar otras formas de energia para mantener estos equipos funcionando.. según el articulo la nube “consumes 1 to 2 percent of the world’s electricity.” …. y solo son pocas las empresas… google ya se ha de inventar algo .. o talvez ya estan trabajando en ello

Comentario en Descuento en Libro Pro Hadoop por Romeo Cabrera A.

Romeo Cabrera A. — Wed, 10 Jun 2009 16:16:34 +0000

Gracias por el tip. A lo mejor por el nombre (trayectoria) de los autores, podríamos ver cuál de los libros sería un mejor valor. Saludos,

Comentario en Sqoop: SQL-to-Hadoop por Xalan

Xalan — Mon, 08 Jun 2009 16:49:36 +0000

Encontré LuSql de Cisti Lab, que se fundamenta en Lucene. Es una herramienta para crear índices de una base de datos relacional y acelerar las búsquedas.

[http://lab.cisti-icist.nrc-cnrc.gc.ca/cistilabswiki/index.php/LuSql]