En la materia usaremos la versión 0.18 de Hadoop ya que para esa versión es para la que hay más soporte actualmente. El primer paso para poder usar Hadoop es que todos tengan una versión funcional en sus laptops o computadoras personales. En lugar de recurrir a una opción de dual boot e instalación del software, usaremos máquinas virtuales o live CDs.

Yo recomiendo el uso de la máquina virtual distribuida por Cloudera (necesitarán también el VMware Player), pero si lo prefieren pueden usar la máquina virtual del tutorial de Yahoo! o el OpenSolaris Hadoop Live CD. La última alternativa es interesante porque levanta un cluster (virtual) de tres nodos, pero la desventaja es que usa la versión 0.17.1 de Hadoop.

Del 20 al 24 de abril se llevó a cabo el congreso Cloud Slam, en el cual hubieron conferencias a cargo de varios expertos en cloud computing. Estuve revisando la lista de las presentaciones (con vídeos), y pienso que las siguientes son de particular interés para los estudiantes de la materia de graduación:

• Jinesh Varia. High Performance Compute Cloud. Jinesh es un «evangelista» de los AWS y en su charla presentó varios casos de estudio del uso de los AWS para HPC.
• Wei-Yu Chen and Jazz Wang. Building a Cloud Computing Analysis System for Intrusion Detection System. Habla del uso de la «nube» en un IDS (sistema de detección de intrusiones).
• Robert Grossman and Yunhong Gu: Sector: An Open Source Cloud for Data Intensive Computing. Describe la aplicación libre «Sector» para procesamiento masivo de datos en la nube usando MapReduce. Sector es una alternativa a Hadoop.
• Bill Bryce and Ljubomir Buturovic: Case Study Using UniCloud and Amazon’s EC2 for Research in the clouds. Este caso de estudio describe como EC2 es usado para diagnosticar tumores difíciles de identificar.

Amazon acaba de anunciar algunas novedades de EC2. Entre ellas, encuentro muy interesante el Amazon CloudWatch, que nos permitirá monitorear los trabajos y el rendimiento de los procesos MapReduce que ejecutemos en EC2.

En una entrada anterior, indiqué que las comunidades científicas están empezando a usar cloud computing para resolver problemas que requieren mucha capacidad de procesamiento, en lugar de los tradicionales grids (como por ejemplo, el TeraGrid). Ahora, en otra noticia publicada por la ACM, se indica que gente de la universidad de Maryland está usando cloud computing para procesar el genoma humando, sin tener que recurrir a costosos clusters de computadoras. Al momento han tenido resultados exitosos, pero han notado que—al menos para ellos—la dificultad radica en subir los datos a la «nube».

Un equipo de investigación del Argonne National Lab de EE.UU. está trabajando en una plataforma para procesamiento científico usando cloud computing (en lugar del grid computing usado tradicionalmente por esas comunidades). Más detalles en la página de la NSF.

La gente de Cloudera frecuentemente publica información que nos será de gran utilidad en la materia. Por ejemplo, hay una entrada que ayuda a despejar muchas dudas comunes sobre Hadoop y otra que proporciona 10 tips para desarrolladores que deseen usar MapReduce (Hadoop).

La lista de los temas que se desarrollarán este semestre (en grupos de dos estudiantes) es:

1)      Sistema para generar gráficas a partir de logs tcpdump, para el capítulo de Ecuador del proyecto Honeynet (www.honeynet.ec).

2)      Implementación y evaluación utilizando Hadoop de un mecanismo para anonimizar tráfico de red en formato netflow.

a. Observación: se trabajará con uno o más de los métodos desarrollados por el grupo de investigación LAIM del National Center for Sumpercomputing Applications.

3)      Implementación y evaluación utilizando Hadoop de un mecanismo para anonimizar tráfico de red en formato netflow.

a.       Observación: se trabajará con otro algoritmo distinto al tema 3.

4)      WikiGrep: búsquedas avanzadas en la Wikipedia.

5)      Red Social de intercambio de bookmarks, en base a recomendaciones auto-generadas.

a.       Observación: propuesto por el Sr. Allan Avendaño.

6)      Minería de registros de llamadas y mensajes celulares para una telefónica del Ecuador.

a.       Observación: propuesto por el Sr. Romeo Cabrera.

7)      Búsquedas avanzadas tipo grep para las tesis y otros documentos de investigación publicadas las páginas Web de la ESPOL.

8)      Minería de información sobre Ecuador en la Wikipedia.

9)      Sistema de recomendación de películas usando la base de datos de Netflix.

10)   Modelamiento estadístico de la Web de la ESPOL.

11)   Minería de logs de un juego multi-jugador en línea.

a.       Observación: propuesto por el Sr. Carlos Granda.

Los alumnos de la materia de graduación deben hacer lo siguiente:

1. Subscribirse a este blog (RSS) y asegurarse de leerlo detenidamente al menos una vez a la semana (es decir, leyendo también los enlaces proporcionados en las entradas que publico).
2. Acercarse desde el viernes 15 de mayo al miércoles 20 de mayo a pagar el registro en el Centro de Transferencia de Tecnologías de la ESPOL (CTT).  Cancelar $250 en la cuenta corriente del Banco del Pacífico No. 0717663-5 del Centro de Transferencia de Tecnologías (CTT-ESPOL).
3. Traerme el comprobante de pago original  (sacar fotocopia primero) hasta el miércoles 20 de mayo; entregarme también el siguiente compromiso firmado: «Yo _______, estudiante de la FIEC con matrícula ________, me comprometo a asistir a al menos el 60% de las horas de clases de la materia de graduación Procesamiento Masivo y Escalable de Datos que se dictará todos los viernes de 7h30 a 11h30 durante el I Término 2009.» Quien hasta la fecha indicada no entregue su comprobante, perderá su cupo en la materia.
4. Asistir a la primera clase el día viernes 22 de mayo, a las 7h30 en el aula COM4 de la FIEC.
5. Estar atento a la publicación de los temas de los proyectos que publicaré en los próximos días, para que puedan ir pensando en cuál les gustaría trabajar (en grupos de dos estudiantes).

Ya están listos los resultados del proceso de selección. Se seleccionó a los siguientes estudiantes de acuerdo al criterio de selección adjunto:

NOTA: Debido a que el Sr. Zuñiga cedió su cupo, he añadido al Sr. FABRICIO MEDINA (200123560) a la lista.

A continuación se encuentran algunas estadísticas sobre los estudiantes seleccionados: 

¡Felicitaciones a los estudiantes seleccionados! Quisiera indicar que 4 estudiantes con excelente promedio (mayor a 7.85) no fueron seleccionados porque les falta por aprobar 4 ó más materias. A aquellos estudiantes, les comento que me encantaría trabajar con ellos el próximo semestre (la materia se volverá a dictar el II Término 2009-2010); si desean adelantar su trabajo en el proyecto, pueden conversar conmigo para coordinar su asistencia como oyentes este semestre.

Finalmente, si alguno de los seleccionados no podrá asistir en el horario planteado (todos los viernes de 7h30 a 11h30), por favor indíquenlo cuanto antes para ceder su cupo a otro estudiante ya que si un estudiante falta el 40% o más de las horas dictadas, perderá automáticamente la materia.

Hay una entrada muy detallada en el blog de Cloudera que demuestra paso a paso como usar los scripts de Cloudera para procesar la Wikipedia, usando Hadoop corriendo en EC2 y una versión separada por tabs (TSV) de la Wikipedia que está disponible de manera gratuita en S3. La información está detallada a manera de tutorial, y nos será muy útil en la materia de graduación; sobre todo porque 3 grupos trabajarán procesando la Wikipedia (pistas: ¿qué se sabe de Ecuador en la Wikipedia?, ¿qué se sabe de Guayaquil en la Wikipedia?, WikiGrep… más detalles el primer día de clases).