La lista de los temas que se desarrollarán este semestre (en grupos de dos estudiantes) es:

1)      Sistema para generar gráficas a partir de logs tcpdump, para el capítulo de Ecuador del proyecto Honeynet (www.honeynet.ec).

2)      Implementación y evaluación utilizando Hadoop de un mecanismo para anonimizar tráfico de red en formato netflow.

a. Observación: se trabajará con uno o más de los métodos desarrollados por el grupo de investigación LAIM del National Center for Sumpercomputing Applications.

3)      Implementación y evaluación utilizando Hadoop de un mecanismo para anonimizar tráfico de red en formato netflow.

a.       Observación: se trabajará con otro algoritmo distinto al tema 3.

4)      WikiGrep: búsquedas avanzadas en la Wikipedia.

5)      Red Social de intercambio de bookmarks, en base a recomendaciones auto-generadas.

a.       Observación: propuesto por el Sr. Allan Avendaño.

6)      Minería de registros de llamadas y mensajes celulares para una telefónica del Ecuador.

a.       Observación: propuesto por el Sr. Romeo Cabrera.

7)      Búsquedas avanzadas tipo grep para las tesis y otros documentos de investigación publicadas las páginas Web de la ESPOL.

8)      Minería de información sobre Ecuador en la Wikipedia.

9)      Sistema de recomendación de películas usando la base de datos de Netflix.

10)   Modelamiento estadístico de la Web de la ESPOL.

11)   Minería de logs de un juego multi-jugador en línea.

a.       Observación: propuesto por el Sr. Carlos Granda.

Los alumnos de la materia de graduación deben hacer lo siguiente:

1. Subscribirse a este blog (RSS) y asegurarse de leerlo detenidamente al menos una vez a la semana (es decir, leyendo también los enlaces proporcionados en las entradas que publico).
2. Acercarse desde el viernes 15 de mayo al miércoles 20 de mayo a pagar el registro en el Centro de Transferencia de Tecnologías de la ESPOL (CTT).  Cancelar $250 en la cuenta corriente del Banco del Pacífico No. 0717663-5 del Centro de Transferencia de Tecnologías (CTT-ESPOL).
3. Traerme el comprobante de pago original  (sacar fotocopia primero) hasta el miércoles 20 de mayo; entregarme también el siguiente compromiso firmado: «Yo _______, estudiante de la FIEC con matrícula ________, me comprometo a asistir a al menos el 60% de las horas de clases de la materia de graduación Procesamiento Masivo y Escalable de Datos que se dictará todos los viernes de 7h30 a 11h30 durante el I Término 2009.» Quien hasta la fecha indicada no entregue su comprobante, perderá su cupo en la materia.
4. Asistir a la primera clase el día viernes 22 de mayo, a las 7h30 en el aula COM4 de la FIEC.
5. Estar atento a la publicación de los temas de los proyectos que publicaré en los próximos días, para que puedan ir pensando en cuál les gustaría trabajar (en grupos de dos estudiantes).

Ya están listos los resultados del proceso de selección. Se seleccionó a los siguientes estudiantes de acuerdo al criterio de selección adjunto:

NOTA: Debido a que el Sr. Zuñiga cedió su cupo, he añadido al Sr. FABRICIO MEDINA (200123560) a la lista.

A continuación se encuentran algunas estadísticas sobre los estudiantes seleccionados: 

¡Felicitaciones a los estudiantes seleccionados! Quisiera indicar que 4 estudiantes con excelente promedio (mayor a 7.85) no fueron seleccionados porque les falta por aprobar 4 ó más materias. A aquellos estudiantes, les comento que me encantaría trabajar con ellos el próximo semestre (la materia se volverá a dictar el II Término 2009-2010); si desean adelantar su trabajo en el proyecto, pueden conversar conmigo para coordinar su asistencia como oyentes este semestre.

Finalmente, si alguno de los seleccionados no podrá asistir en el horario planteado (todos los viernes de 7h30 a 11h30), por favor indíquenlo cuanto antes para ceder su cupo a otro estudiante ya que si un estudiante falta el 40% o más de las horas dictadas, perderá automáticamente la materia.

Hay una entrada muy detallada en el blog de Cloudera que demuestra paso a paso como usar los scripts de Cloudera para procesar la Wikipedia, usando Hadoop corriendo en EC2 y una versión separada por tabs (TSV) de la Wikipedia que está disponible de manera gratuita en S3. La información está detallada a manera de tutorial, y nos será muy útil en la materia de graduación; sobre todo porque 3 grupos trabajarán procesando la Wikipedia (pistas: ¿qué se sabe de Ecuador en la Wikipedia?, ¿qué se sabe de Guayaquil en la Wikipedia?, WikiGrep… más detalles el primer día de clases).

En un comentario en este blog, Romeo Cabrera enlazó una noticia sobre el nuevo proyecto de búsqueda Web de Microsoft: Kumo. Con su nueva máquina de búsquedas Microsoft busca reposicionarse en el mercado de las búsquedas Web, liderado por Google y Yahoo!. Después de ocupar un distante tercer puesto por mucho tiempo, por fin se han dado cuenta que el enfoque MapReduce/GFS/BigTable de Google (el cual inspiró la combinación open source Hadoop/HDFS/HBase financiada principalmente por Yahoo!) es actualmente la mejor manera de atacar el problema del procesamiento masivo de datos (crucial para búsquedas Web).

En el 2007 Yahoo! logró mejorar considerablemente sus búsquedas y consecuentemente recuperar parte del mercado. Un elemento clave en el rediseño de las búsquedas de Yahoo! fue la adopción de Hadoop y otras tecnologías open source inspiradas en los desarrollos (propietarios) de Google. El resultado fue bueno para Yahoo! pero malo para Microsoft, que continuó perdiendo terreno. Como solución al problema, Microsoft intentó comprar Yahoo! en el 2008, pero la compra no se concretó. En vista de esto, vemos ahora a Microsoft invirtiendo en Kumo y cediendo por fin ante las ventajas del open source.

El Hadoop core 0.20 tiene algunas mejoras sobre las versiones anteriores. Por ejemplo, se ha empezado a incluir características de seguridad. Entre los cambios más drásticos tenemos un nuevo API MapReduce, incompatible con el anterior.

Todavía no sé con cuál API trabajaremos en la materia de graduación, debido a que no sé cuán rápido actualicen la máquina virtual de Cloudera y los images de EC2 (AWS).

Hay más información sobre los cambios en el blog de Cloudera.

Yahoo! acaba de anunciar el Hadoop Summit 2009 que se llevará a cabo el 10 de junio en Santa Clara, CA. El evento se concentrará en los avances que se han hecho en el último año en cuanto al desarrollo e implementación de Hadoop y tecnologías relacionadas (como Pig, por ejemplo). También habrán presentaciones sobre aplicaciones que usan Hadoop de manera innovadora.

Entre los conferencistas, hay gente de Amazon, IBM, Facebook, Yahoo!, Sun y Microsoft. El Hadoop Summit 2008 fue todo un éxito, y parece que el de este año será igual.

Adicionalmente, en el día posterior al evento Cloudera y Yahoo! otorgorán entrenamiento básico y avanzado sobre Hadoop y herramientas relacionadas, sin costo. El entrenamiento básico supongo que será similar al que recibí en el «2008 NSF Data-Intensive Scalable Computing in Education Workshop«, cuyos instructores Christophe Bisciglia (antes de Google) y Aaron Kimball forman parte del equipo fundador de Cloudera.

Investigadores de Intel Research Berkeley han diseñado CloneCloud, el cual permite que un teléfono celular utilice computadores en la «nube» para ejecutar aplicaciones que resultan muy pesadas para correr directamente en el celular. Hay más información disponible en el MIT Technology Review, y en la página de CloneCloud.

Los detalles sobre la materia de graduación «Procesamiento Masivo y Escalable de Datos» ya están disponibles en la página de la materia y en la sección de recursos de la misma. Si tienen dudas adicionales, pueden colocarlas como comentarios a este mensaje, y yo los contestaré los más pronto posible.