Materia de graduación

Los detalles sobre la materia de graduación «Procesamiento Masivo y Escalable de Datos» ya están disponibles en la página de la materia y en la sección de recursos de la misma. Si tienen dudas adicionales, pueden colocarlas como comentarios a este mensaje, y yo los contestaré los más pronto posible.

32 Responses to “Materia de graduación”

  1. Jose Luis Barona Valencia Says:

    Buenos días, tengo una pregunta:
    El proyecto de la materia quedará en producción en la universdidad??? o solo será otro proyecto mas desarrollado??? porque sería bueno que luego de la implementación se le haga un seguimiento para evaluar su comportamiento..
    Gracias

  2. cristina.abad Says:

    La idea me parece buena, pero no puedo dar una respuesta generalizada. Pienso que el futuro de los proyectos dependerá de cada caso en particular. Existe la opción también de liberar el código para que otras instituciones puedan aprender o hacer uso del mismo.

  3. Carlos Granda Says:

    Será un solo tema de proyecto para todos los grupos o cada grupo deberá proponer un tema de proyecto.

  4. cristina.abad Says:

    Proyectos diferentes para cada grupo. El primer día de clases presentaré los temas de los proyectos para que los grupos elijan cuál desean desarrollar. Si un grupo tiene una idea con un alcance adecuado, me la puede plantear ese día.

  5. Luis Loaiza Says:

    Entonces sí se podrán proponer ideas de proyecto? Porque si inclusive se tiene un proyecto como producto para un plan de negocios que esta relacionado con este tema, sería útil y buenisimo que se pueda permitir trabjarlo a la vez como materia de graduación. Es decir porder dedicarle un gran esfuerzo y a la vez aprender con un proyecto que puede convertirse en parte de un producto usable comercialmente.

  6. cristina.abad Says:

    Sí. La idea me parece muy buena. De esta manera se asegura la calidad y continuidad del proyecto. Si ya tienen una idea en mente, me la pueden plantear en este blog, o vía e-mail, o en persona, para empezar a analizarla con tiempo.

  7. Gonzalo García Gavilanes Says:

    Nosotros tenemos una compañia que vende productos Transaccionales, hemos en conjunto desarrollado un Monitor Transaccional, que atiende requerimientos sin importar el canal desde donde sea enviado. Lo hace a través de web service (JAWS) y TCP (Sockets) es desarrollado en Java, hablamos de que esto procesa alrededor de 5000 transacciones por minuto (Envio/Respuesta). Esto sería podria ser modificable para ser mejorado y usar la plataforma Hadoop y el Api que se usaría en la materia?

  8. cristina.abad Says:

    Me parece que lo que ustedes hacen es muy interesante, pero al momento no veo cómo pueda usarse Hadoop en el proceso. Recuerden que el nombre de la materia, «Procesamiento masivo y escalable de datos», se debe a que Hadoop sirve para aplicaciones tipo data intensive. Idealmente, los datos a procesar son del orden de un TB o más, aunque para el orden de GBs puede resultar tamnbién útil en otras ocasiones. Adicionalmente, no es recomendable usar Hadoop para sistemas en tiempo real, sino para procesamiento por lotes (batch) que puede ser nocturno o una vez a la semana (o hasta una vez al mes), dependiendo de la aplicación.

  9. Carlos Granda Says:

    Al momento de nosotros proponer un proyecto en cual estemos trabajando y esta dentro del alcance de la materia, cual sera el estado del mismo luego de culminada la materia, es decir ESPOL tendra cierto tipo de derechos sobre el resultado, asi como sucede con los proyectos de tesis?.

  10. cristina.abad Says:

    Sobre la propiedad intelectual: efectivamente, es igual que las tesis; PERO, podemos trabajar planteando un tema en el cual ustedes trabajen en una parte de un proyecto más grande, y luego por su cuenta pueden desarrollar el resto. Con esto evitarían tener problemas de propiedad intelectual en caso de querer lucrar posteriormente del proyecto.

  11. Gonzalo García Gavilanes Says:

    Un ejemplo podria ser el generar Estadisticas mensuales de una empresa. Pero el conocimiento que adquiririamos en la materia nos ayudaria a mejorar los procesos de generación de información (tal como las estadisticas) o a nivel de movimiento de la misma (Base de Datos), o puede ser usado en ambas situaciones?.

  12. cristina.abad Says:

    Ok, puede ser. Pero sigue preocupandome que la cantidad de datos a procesar no parece muy extensa. Además, si los datos ya están ingreados en una BD, lo mejor probablemente sea usar consultas SQL para ese propósito. ¿Tienen datos que no estén en la BD para procesar? Por ejemplo: logs, etc.

  13. Gonzalo García Gavilanes Says:

    Bueno si tenemos logs de la información, pero de igual forma esta en la base de datos. Entonces lo que aprenderiamos sería para procesar una cantidad considerable de información la cual estará almacenada en archivos.

    Saludos…

  14. cristina.abad Says:

    «Bueno si tenemos logs de la información, pero de igual forma esta en la base de datos. Entonces lo que aprenderiamos sería para procesar una cantidad considerable de información la cual estará almacenada en archivos.»

    Pues sí. Para entender un poco más sobre el tema, lean la entrada «SQL versus MapReduce?» que publiqué anteriormente, y los enlaces que coloqué en esa entrada.

  15. Jose Luis Barona Says:

    He leido sus comentarios y me parecen buenos, un buen ejemplo de quien usa esta tecnología es un banco de USA llamado WACHOVIA, todas las transacciones que los clientes realizan tales como depositos, etc, etc, son procesadas en la madrugada, me paso por experiencia de cuando hice un deposito no pude disponer del dinero en ese instante como aqui en Ecuador y si el deposito se lo realiza pasada la una de la tarde el proceso demora 2 DIAS, entonces inmaginense la cantidad masiva de datos que el banco procesa..
    Saludos

  16. Luis L. Says:

    Ingeniera, entonces los servicios de cloud computing de Amazon no me sirven para sistemas de tiempo real que necesiten procesar distribuidamente para mejorar la respuesta?¿

  17. cristina.abad Says:

    «Ingeniera, entonces los servicios de cloud computing de Amazon no me sirven para sistemas de tiempo real que necesiten procesar distribuidamente para mejorar la respuesta?» Los servicios AWS de Amazon sí pueden servir para eso. Hadoop corriendo en el servicio EC2, no. Hay una lista de casos de estudio sobre el uso de AWS en el sitio de Amazon. Eso no quiere decir que Hadoop no puede ser usado en tiempo real. Por ejemplo, Alexa lo hace. Pero solo es justificable cuando en procesamiento a realizar es muy muy complejo y las solicitudes por unidad de tiempo no son muchas. Facebook y Yahoo! usan Hadoop para procesamiento fuera de línea (por ejemplo, para generar índices, recomendaciones, etc.).

  18. Gonzalo García Gavilanes Says:

    Ingeniera, el horario que esta indicado para la materia de 7:30 a 11:30 los dias viernes, es el horario definido o en lo posible se lo podría cambiar.

  19. cristina.abad Says:

    Sí, ese es el horario. No es posible por varias razones (entre ellas, aula y disponibilidad mía).

  20. Jazmin Perero Villon Says:

    Ingeniera dos consultas, ¿cuándo publicarían la lista de las personas que fueron seleccionadas para coger la materia? y es necesario tener laptop? Gracias

  21. cristina.abad Says:

    Nos encontramos revisando las aplicaciones. En cuanto tengamos a los seleccionados les avisaré por este medio.

  22. cristina.abad Says:

    > es necesario tener laptop?
    Por favor revisen el documento de preguntas frecuentes para evitar plantear preguntas repetidas.

  23. Gonzalo García Gavilanes Says:

    Ingeniera, como seran notificados los seleccionados, via correo o publicarán algún listado en la facultad?.

  24. Jazmin Perero Villon Says:

    Gracias ingeniera, no había visto el link de preguntar frecuentes

  25. Richard Malavé Says:

    Ingeniera. Bajo qué sistema operativo se trabajará en el proyecto?

  26. cristina.abad Says:

    Windows (opcional) y Linux.

  27. Luis L. Says:

    Ingeniera, sino me equivoco, se mencionó que existe un cierto convenio de Espol con Amazon, si esto es así que servicios no más son los que Amazon presta a la Espol? Este servicio para pruebas de los proyectos estudiantiles, solo les benefician a los estudiantes registrados en la materia de graduación?

  28. cristina.abad Says:

    No es un convenio con la ESPOL. Yo gestioné acceso gratuito a los AWS para mis alumnos de la materia Sistemas Distribuidos. Nos sobraron muchos créditos ($1050 de los $1200 que nos asignaron), y ese dinero lo estaremos usando en la materia de graduación. Posteriormente, Amazon anunció su programa AWS in Education a través del cual ya es oficial este tipo de donaciones. Otros profesores de otras materias pueden gestionar acceso similar para sus alumnos si van a usar los AWS, pero no es algo a nivel ESPOL. Por lo tanto, el acceso será únicamente para los estudiantes de la materia.

  29. AndresX Says:

    Excelente. estare pendiente el dia de hoy para la lista de estudiantes seleccionados para la materia

  30. Luis Loaiza Says:

    Ingeniera yo quisiera ir de oyente en su materia y ver si puedo adelantar el proyecto de la materia para el proximo semestre, de verdad estoy muy interesado en esto, me gustaria saber que tengo que hacer entonces.

  31. cristina.abad Says:

    Estimado Luis, efectivamente usted es uno de los estudiantes que yo mencionaba. Búsqueme cualquier día de la próxima semana (por la mañana) para conversar de su caso.

  32. Luis Loaiza Says:

    Muchas gracias Ingeniera, entonces la próxima semana estaré visitandola por su oficina.

Leave a Reply