Hoy tuvimos la primera clase de la materia de graduación, y empezamos viendo una introducción a la programación en paralelo y la programación distribuida.

Para que sea más fácil llevarle la pista a las actividades pendientes y entregables, he creado una página llamada «Actividades». También revisen frecuentemente la página de los proyectos, en donde trataré de publicar información de interés para los diferentes grupos.

En la materia usaremos la versión 0.18 de Hadoop ya que para esa versión es para la que hay más soporte actualmente. El primer paso para poder usar Hadoop es que todos tengan una versión funcional en sus laptops o computadoras personales. En lugar de recurrir a una opción de dual boot e instalación del software, usaremos máquinas virtuales o live CDs.

Yo recomiendo el uso de la máquina virtual distribuida por Cloudera (necesitarán también el VMware Player), pero si lo prefieren pueden usar la máquina virtual del tutorial de Yahoo! o el OpenSolaris Hadoop Live CD. La última alternativa es interesante porque levanta un cluster (virtual) de tres nodos, pero la desventaja es que usa la versión 0.17.1 de Hadoop.

La lista de los temas que se desarrollarán este semestre (en grupos de dos estudiantes) es:

1)      Sistema para generar gráficas a partir de logs tcpdump, para el capítulo de Ecuador del proyecto Honeynet (www.honeynet.ec).

2)      Implementación y evaluación utilizando Hadoop de un mecanismo para anonimizar tráfico de red en formato netflow.

a. Observación: se trabajará con uno o más de los métodos desarrollados por el grupo de investigación LAIM del National Center for Sumpercomputing Applications.

3)      Implementación y evaluación utilizando Hadoop de un mecanismo para anonimizar tráfico de red en formato netflow.

a.       Observación: se trabajará con otro algoritmo distinto al tema 3.

4)      WikiGrep: búsquedas avanzadas en la Wikipedia.

5)      Red Social de intercambio de bookmarks, en base a recomendaciones auto-generadas.

a.       Observación: propuesto por el Sr. Allan Avendaño.

6)      Minería de registros de llamadas y mensajes celulares para una telefónica del Ecuador.

a.       Observación: propuesto por el Sr. Romeo Cabrera.

7)      Búsquedas avanzadas tipo grep para las tesis y otros documentos de investigación publicadas las páginas Web de la ESPOL.

8)      Minería de información sobre Ecuador en la Wikipedia.

9)      Sistema de recomendación de películas usando la base de datos de Netflix.

10)   Modelamiento estadístico de la Web de la ESPOL.

11)   Minería de logs de un juego multi-jugador en línea.

a.       Observación: propuesto por el Sr. Carlos Granda.

Los alumnos de la materia de graduación deben hacer lo siguiente:

1. Subscribirse a este blog (RSS) y asegurarse de leerlo detenidamente al menos una vez a la semana (es decir, leyendo también los enlaces proporcionados en las entradas que publico).
2. Acercarse desde el viernes 15 de mayo al miércoles 20 de mayo a pagar el registro en el Centro de Transferencia de Tecnologías de la ESPOL (CTT).  Cancelar $250 en la cuenta corriente del Banco del Pacífico No. 0717663-5 del Centro de Transferencia de Tecnologías (CTT-ESPOL).
3. Traerme el comprobante de pago original  (sacar fotocopia primero) hasta el miércoles 20 de mayo; entregarme también el siguiente compromiso firmado: «Yo _______, estudiante de la FIEC con matrícula ________, me comprometo a asistir a al menos el 60% de las horas de clases de la materia de graduación Procesamiento Masivo y Escalable de Datos que se dictará todos los viernes de 7h30 a 11h30 durante el I Término 2009.» Quien hasta la fecha indicada no entregue su comprobante, perderá su cupo en la materia.
4. Asistir a la primera clase el día viernes 22 de mayo, a las 7h30 en el aula COM4 de la FIEC.
5. Estar atento a la publicación de los temas de los proyectos que publicaré en los próximos días, para que puedan ir pensando en cuál les gustaría trabajar (en grupos de dos estudiantes).

Ya están listos los resultados del proceso de selección. Se seleccionó a los siguientes estudiantes de acuerdo al criterio de selección adjunto:

NOTA: Debido a que el Sr. Zuñiga cedió su cupo, he añadido al Sr. FABRICIO MEDINA (200123560) a la lista.

A continuación se encuentran algunas estadísticas sobre los estudiantes seleccionados: 

¡Felicitaciones a los estudiantes seleccionados! Quisiera indicar que 4 estudiantes con excelente promedio (mayor a 7.85) no fueron seleccionados porque les falta por aprobar 4 ó más materias. A aquellos estudiantes, les comento que me encantaría trabajar con ellos el próximo semestre (la materia se volverá a dictar el II Término 2009-2010); si desean adelantar su trabajo en el proyecto, pueden conversar conmigo para coordinar su asistencia como oyentes este semestre.

Finalmente, si alguno de los seleccionados no podrá asistir en el horario planteado (todos los viernes de 7h30 a 11h30), por favor indíquenlo cuanto antes para ceder su cupo a otro estudiante ya que si un estudiante falta el 40% o más de las horas dictadas, perderá automáticamente la materia.

Hay una entrada muy detallada en el blog de Cloudera que demuestra paso a paso como usar los scripts de Cloudera para procesar la Wikipedia, usando Hadoop corriendo en EC2 y una versión separada por tabs (TSV) de la Wikipedia que está disponible de manera gratuita en S3. La información está detallada a manera de tutorial, y nos será muy útil en la materia de graduación; sobre todo porque 3 grupos trabajarán procesando la Wikipedia (pistas: ¿qué se sabe de Ecuador en la Wikipedia?, ¿qué se sabe de Guayaquil en la Wikipedia?, WikiGrep… más detalles el primer día de clases).

El Hadoop core 0.20 tiene algunas mejoras sobre las versiones anteriores. Por ejemplo, se ha empezado a incluir características de seguridad. Entre los cambios más drásticos tenemos un nuevo API MapReduce, incompatible con el anterior.

Todavía no sé con cuál API trabajaremos en la materia de graduación, debido a que no sé cuán rápido actualicen la máquina virtual de Cloudera y los images de EC2 (AWS).

Hay más información sobre los cambios en el blog de Cloudera.

Los detalles sobre la materia de graduación «Procesamiento Masivo y Escalable de Datos» ya están disponibles en la página de la materia y en la sección de recursos de la misma. Si tienen dudas adicionales, pueden colocarlas como comentarios a este mensaje, y yo los contestaré los más pronto posible.

Allan Avendaño nos ayudó en la difusión del uso de Hadoop para ambientes de cloud computing, dictando una charla en el Flisol. El resumen, material de la charla y hoja de vida de Allan están disponibles en la página del evento.