Materia de graduación
Los detalles sobre la materia de graduación «Procesamiento Masivo y Escalable de Datos» ya están disponibles en la página de la materia y en la sección de recursos de la misma. Si tienen dudas adicionales, pueden colocarlas como comentarios a este mensaje, y yo los contestaré los más pronto posible.
mayo 4th, 2009 at 12:42
Buenos días, tengo una pregunta:
El proyecto de la materia quedará en producción en la universdidad??? o solo será otro proyecto mas desarrollado??? porque sería bueno que luego de la implementación se le haga un seguimiento para evaluar su comportamiento..
Gracias
mayo 4th, 2009 at 15:03
La idea me parece buena, pero no puedo dar una respuesta generalizada. Pienso que el futuro de los proyectos dependerá de cada caso en particular. Existe la opción también de liberar el código para que otras instituciones puedan aprender o hacer uso del mismo.
mayo 5th, 2009 at 14:19
Será un solo tema de proyecto para todos los grupos o cada grupo deberá proponer un tema de proyecto.
mayo 5th, 2009 at 20:52
Proyectos diferentes para cada grupo. El primer día de clases presentaré los temas de los proyectos para que los grupos elijan cuál desean desarrollar. Si un grupo tiene una idea con un alcance adecuado, me la puede plantear ese día.
mayo 5th, 2009 at 23:52
Entonces sí se podrán proponer ideas de proyecto? Porque si inclusive se tiene un proyecto como producto para un plan de negocios que esta relacionado con este tema, sería útil y buenisimo que se pueda permitir trabjarlo a la vez como materia de graduación. Es decir porder dedicarle un gran esfuerzo y a la vez aprender con un proyecto que puede convertirse en parte de un producto usable comercialmente.
mayo 6th, 2009 at 09:03
Sí. La idea me parece muy buena. De esta manera se asegura la calidad y continuidad del proyecto. Si ya tienen una idea en mente, me la pueden plantear en este blog, o vía e-mail, o en persona, para empezar a analizarla con tiempo.
mayo 6th, 2009 at 10:25
Nosotros tenemos una compañia que vende productos Transaccionales, hemos en conjunto desarrollado un Monitor Transaccional, que atiende requerimientos sin importar el canal desde donde sea enviado. Lo hace a través de web service (JAWS) y TCP (Sockets) es desarrollado en Java, hablamos de que esto procesa alrededor de 5000 transacciones por minuto (Envio/Respuesta). Esto sería podria ser modificable para ser mejorado y usar la plataforma Hadoop y el Api que se usaría en la materia?
mayo 6th, 2009 at 21:02
Me parece que lo que ustedes hacen es muy interesante, pero al momento no veo cómo pueda usarse Hadoop en el proceso. Recuerden que el nombre de la materia, «Procesamiento masivo y escalable de datos», se debe a que Hadoop sirve para aplicaciones tipo data intensive. Idealmente, los datos a procesar son del orden de un TB o más, aunque para el orden de GBs puede resultar tamnbién útil en otras ocasiones. Adicionalmente, no es recomendable usar Hadoop para sistemas en tiempo real, sino para procesamiento por lotes (batch) que puede ser nocturno o una vez a la semana (o hasta una vez al mes), dependiendo de la aplicación.
mayo 6th, 2009 at 12:48
Al momento de nosotros proponer un proyecto en cual estemos trabajando y esta dentro del alcance de la materia, cual sera el estado del mismo luego de culminada la materia, es decir ESPOL tendra cierto tipo de derechos sobre el resultado, asi como sucede con los proyectos de tesis?.
mayo 6th, 2009 at 21:04
Sobre la propiedad intelectual: efectivamente, es igual que las tesis; PERO, podemos trabajar planteando un tema en el cual ustedes trabajen en una parte de un proyecto más grande, y luego por su cuenta pueden desarrollar el resto. Con esto evitarían tener problemas de propiedad intelectual en caso de querer lucrar posteriormente del proyecto.
mayo 7th, 2009 at 10:05
Un ejemplo podria ser el generar Estadisticas mensuales de una empresa. Pero el conocimiento que adquiririamos en la materia nos ayudaria a mejorar los procesos de generación de información (tal como las estadisticas) o a nivel de movimiento de la misma (Base de Datos), o puede ser usado en ambas situaciones?.
mayo 7th, 2009 at 11:10
Ok, puede ser. Pero sigue preocupandome que la cantidad de datos a procesar no parece muy extensa. Además, si los datos ya están ingreados en una BD, lo mejor probablemente sea usar consultas SQL para ese propósito. ¿Tienen datos que no estén en la BD para procesar? Por ejemplo: logs, etc.
mayo 7th, 2009 at 11:30
Bueno si tenemos logs de la información, pero de igual forma esta en la base de datos. Entonces lo que aprenderiamos sería para procesar una cantidad considerable de información la cual estará almacenada en archivos.
Saludos…
mayo 8th, 2009 at 11:40
«Bueno si tenemos logs de la información, pero de igual forma esta en la base de datos. Entonces lo que aprenderiamos sería para procesar una cantidad considerable de información la cual estará almacenada en archivos.»
Pues sí. Para entender un poco más sobre el tema, lean la entrada «SQL versus MapReduce?» que publiqué anteriormente, y los enlaces que coloqué en esa entrada.
mayo 7th, 2009 at 12:10
He leido sus comentarios y me parecen buenos, un buen ejemplo de quien usa esta tecnología es un banco de USA llamado WACHOVIA, todas las transacciones que los clientes realizan tales como depositos, etc, etc, son procesadas en la madrugada, me paso por experiencia de cuando hice un deposito no pude disponer del dinero en ese instante como aqui en Ecuador y si el deposito se lo realiza pasada la una de la tarde el proceso demora 2 DIAS, entonces inmaginense la cantidad masiva de datos que el banco procesa..
Saludos
mayo 8th, 2009 at 08:34
Ingeniera, entonces los servicios de cloud computing de Amazon no me sirven para sistemas de tiempo real que necesiten procesar distribuidamente para mejorar la respuesta?¿
mayo 8th, 2009 at 11:58
«Ingeniera, entonces los servicios de cloud computing de Amazon no me sirven para sistemas de tiempo real que necesiten procesar distribuidamente para mejorar la respuesta?» Los servicios AWS de Amazon sí pueden servir para eso. Hadoop corriendo en el servicio EC2, no. Hay una lista de casos de estudio sobre el uso de AWS en el sitio de Amazon. Eso no quiere decir que Hadoop no puede ser usado en tiempo real. Por ejemplo, Alexa lo hace. Pero solo es justificable cuando en procesamiento a realizar es muy muy complejo y las solicitudes por unidad de tiempo no son muchas. Facebook y Yahoo! usan Hadoop para procesamiento fuera de línea (por ejemplo, para generar índices, recomendaciones, etc.).
mayo 8th, 2009 at 15:29
Ingeniera, el horario que esta indicado para la materia de 7:30 a 11:30 los dias viernes, es el horario definido o en lo posible se lo podría cambiar.
mayo 8th, 2009 at 15:38
Sí, ese es el horario. No es posible por varias razones (entre ellas, aula y disponibilidad mía).
mayo 11th, 2009 at 10:05
Ingeniera dos consultas, ¿cuándo publicarían la lista de las personas que fueron seleccionadas para coger la materia? y es necesario tener laptop? Gracias
mayo 11th, 2009 at 11:22
Nos encontramos revisando las aplicaciones. En cuanto tengamos a los seleccionados les avisaré por este medio.
mayo 11th, 2009 at 11:23
> es necesario tener laptop?
Por favor revisen el documento de preguntas frecuentes para evitar plantear preguntas repetidas.
mayo 11th, 2009 at 10:58
Ingeniera, como seran notificados los seleccionados, via correo o publicarán algún listado en la facultad?.
mayo 11th, 2009 at 11:31
Gracias ingeniera, no había visto el link de preguntar frecuentes
mayo 12th, 2009 at 10:00
Ingeniera. Bajo qué sistema operativo se trabajará en el proyecto?
mayo 12th, 2009 at 14:12
Windows (opcional) y Linux.
mayo 12th, 2009 at 23:20
Ingeniera, sino me equivoco, se mencionó que existe un cierto convenio de Espol con Amazon, si esto es así que servicios no más son los que Amazon presta a la Espol? Este servicio para pruebas de los proyectos estudiantiles, solo les benefician a los estudiantes registrados en la materia de graduación?
mayo 13th, 2009 at 09:00
No es un convenio con la ESPOL. Yo gestioné acceso gratuito a los AWS para mis alumnos de la materia Sistemas Distribuidos. Nos sobraron muchos créditos ($1050 de los $1200 que nos asignaron), y ese dinero lo estaremos usando en la materia de graduación. Posteriormente, Amazon anunció su programa AWS in Education a través del cual ya es oficial este tipo de donaciones. Otros profesores de otras materias pueden gestionar acceso similar para sus alumnos si van a usar los AWS, pero no es algo a nivel ESPOL. Por lo tanto, el acceso será únicamente para los estudiantes de la materia.
mayo 13th, 2009 at 11:58
Excelente. estare pendiente el dia de hoy para la lista de estudiantes seleccionados para la materia
mayo 13th, 2009 at 12:50
Ingeniera yo quisiera ir de oyente en su materia y ver si puedo adelantar el proyecto de la materia para el proximo semestre, de verdad estoy muy interesado en esto, me gustaria saber que tengo que hacer entonces.
mayo 13th, 2009 at 20:37
Estimado Luis, efectivamente usted es uno de los estudiantes que yo mencionaba. Búsqueme cualquier día de la próxima semana (por la mañana) para conversar de su caso.
mayo 14th, 2009 at 11:51
Muchas gracias Ingeniera, entonces la próxima semana estaré visitandola por su oficina.