Archive for the ‘Negocios’ Category

Time-sharing industry y cloud computing

viernes, agosto 13th, 2010

Recientemente leí cuatro artículos interesantes que ponen en perspectiva los modelos actuales usados en cloud computing de software como un servicio (SaaS) e infraestructura como un servicio (IaaS o Utility Computing). Pienso que la historia de sus parientes lejanos (industria de tiempo compartido de los 70s) es imprescindible para tener una mejor visión del mercado actual de cloud computing.

Los artículos recomendados son (en orden cronológico de publicación):

  1. Martin Campbell-Kelly and Daniel D. Garcia-Swartz. Economic perspectives on the history of the computer time-sharing industry, 1965-1985. IEEE Annals of the History of Computing, 30(1):16–36, January 2008.
  2. Martin C. Kelly. [historical reflections] the rise, fall, and resurrection of software as a service. Commun. ACM, 52(5):28–30, May 2009.
  3. Erik Brynjolfsson, Paul Hofmann, and John Jordan. Cloud computing and electricity: beyond the utility model. Commun. ACM, 53(5):32–34, 2010.
  4. Dave Durkee. Why cloud computing will never be free. Commun. ACM, 53(5):62–69, 2010.

ESPOLciencia: Jinesh Varia sobre «The State of the AWS Cloud»

viernes, enero 22nd, 2010

Como parte de ESPOLciencia, el 20 de enero tuvimos una vídeo-conferencia titulada «The State of the AWS Cloud» a cargo de Jinesh Varia, un Evangelist de los AWS. La conferencia tuvo una excelente acogida, entre estudiantes, profesionales e investigadores. Si bien algunos estudiantes de la FIEC ya estaban familiarizados con estos servicios al haberlos utilizado en mi materia de graduación, para otros el concer sobre estos fue algo nuevo.

Para los que les pareció interesante la charla, recomiendo leer el whitepaper «Architecting for the Cloud: Best Practices», el cual proporciona ejemplos y casos de mejores prácticas en el uso de los AWS.

Como hubo interés de investigadores y profesores de usar los AWS, pongo a disposición también el enlace de los fondos del programa AWS in Education.

Errores en memoria DRAM pueden afectar a data centers

lunes, octubre 12th, 2009

Un estudio reciente publicado por una profesora de la Universidad de Toronto y gente de Google ha encontrado que los errores en memoria DRAM (memoria principal) son mucho  más comúnes de lo que se pensaba anteriormente. Esto tiene implicaciones importantes en los sistemas actuales, sobre todo para data centers implementados con componentes de bajo costo (los cuales vienen sin mecanismos de corrección de errores para la RAM).

A continuación, listo las conclusiones finales de la investigación:

 

  1. We found the incidence of memory errors and the range of error rates across different DIMMs to be much higher than previously reported.
  2. Memory errors are strongly correlated.
  3. The incidence of CEs increases with age, while the incidence of UEs decreases with age (due to re-placements).
  4. There is no evidence that newer genera-tion DIMMs have worse error behavior.
  5. Within the range of temperatures our production systems experience in the field, temperature hasa surprisingly low effect on memory errors.
  6. Error rates are strongly correlated withutilization.
  7. Error rates are unlikely to be dominatedby soft errors.

Nubes virtuales

miércoles, julio 22nd, 2009

En una entrada anterior mencionaba lo caro que puede ser mantener un data center. Una alternativa para los usuarios finales serían las nubes virtuales, creadas a través de la donación de ciclos no utilizados de computadores personales. La idea no es nueva, y de hecho tuvo mediano éxito con la plataforma BOINC, usada por proyectos como SETI@home.

La verdad no me queda claro cuál sería la diferencia entre una nube virtual y un servicio de Internet computing (como BOINC), excepto—tal vez—la interfaz proporcionada al usuario final.

Y hablando de BOINC y MapReduce, MapReduce es uno de los 13 enanos identificados por investigadores de Berkeley. Estos «enanos» representan diferentes métodos algorítmicos que capturan patrones computacionales y de comunicaciones. La idea es que estos patrones puedan ser usados para evaluar modelos y arquitecturas de programación paralela. En la página que describe el «enano» MapReduce hay un comentario que indica que BOINC puede ser visto como un «specification framework» para problemas MapReduce (que indica es básicamente una generalización del enano antes llamado Monte Carlo).

Un data center visto desde adentro

jueves, junio 11th, 2009

Un artículo reciente del New York Times habla de los costos energéticos involucrados en el funcionamiento de los actuales datacenters que mantienen empresas como Microsoft, Google, Yahoo!, Facebook, entre muchas otras. En data centers como estos están implementadas las actuales infraestructuras de cloud computing, como la de los Amazon Web Services. Hay unas fotos muy buenas en el sitio del New York Times. Una vez visité uno de los data centers del National Center for Supercomputing Applications, y es algo realmente impresionante; uno de los pisos del edificio contenía gigantescos ventiladores que formaban parte del sistema de enfriamiento.

¿Tendrá Hadoop problemas de incompatibilidad en el futuro?

miércoles, junio 10th, 2009

En un post en los foros de la materia, Romeo Cabrera publicó información sobre la nueva distribución de Hadoop liberada por Yahoo!, y sobre una alternativa a Hive que Yahoo! planea lanzar en un futuro. Lo bueno de todo esto, es que mientras más respaldo tenga Hadoop y sus sub-proyectos de gigantes como Yahoo!, más probable es que otras empresas conozcan de las ventajas de esta herramienta para el procesamiento masivo de datos y se animen a adoptarla (o al menos, probarla). Por otro lado, el problema que se puede presentar es que a medida que empresas como Cloudera y Yahoo! empiezan a parchar el código de Apache Hadoop de manera independiente, surjan incompatibilidades y problemas difíciles de rastrear.

Descuento en Libro Pro Hadoop

miércoles, junio 10th, 2009

Jason Venner envió el siguiente e-mail a la lista core-user de Hadoop:

From: jason hadoop <jason.hadoop@gmail.com>
To: core-user@hadoop.apache.org
Date: Tue, 9 Jun 2009 19:15:24 -0700
Subject: [ADV] Blatant marketing of the book Pro Hadoop. In honor of the 09 summit here is a 50% off coupon,

In honor of the Hadoop Summit on June 10th(tomorrow), Apress has agreed to provide some conference swag, in the form of a 50% off coupon. Purchase the book at http://eBookshop.apress.com and use code LUCKYOU,  for 50% off the list price. The coupon has a short valid time so don’t delay your purchase 🙂


http://www.apress.com/book/view/9781430219422
www.prohadoopbook.com a community for Hadoop Professionals

El descuento, que al parecer solamente se aplica al eBook, permite adquirir el libro por $14.00. Yo pre-ordené la versión impresa en Amazon $36.37 (incluyendo el S&H). Acabo de revisar el estado de la orden, y me dice Amazon que me lo enviará el 22 de junio. Anteriormente, compré el libro de Hadoop de O’Reilly en versión digital e impresa. Todavía no me llega la impresa, pero a la digital ya tengo acceso desde hace algunos meses. Lo he leído por partes, y está bastante bueno, pero no sé cómo se compara con el Pro Hadoop. Acabo de enterarme también de que hay un tercer libro de Hadoop en proceso: Hadoop in Action. Lastimosamente no he podido encontrar comentarios comparándolos, así que no sabría cuál recomendarles.

Opera busca un Hadoop Engineer

miércoles, junio 3rd, 2009

A través de la lista core-user de hadoop, acabo de recibir la siguiente info.:

From: Usman Waheed <usmanw@opera.com>
To: core-user@hadoop.apache.org
Date: Wed, 03 Jun 2009 15:05:56 +0200
Subject: Opera Software AS – Job Opening: Hadoop Engineer
Greetings All,

Opera Software AS (www.opera.com) in Oslo/Norway is looking for an experienced Hadoop Engineer to join the Statistics Team in order to provide business intelligence metrics both internally and to our customers.
If you have the experience and are willing to relocate to beautiful Oslo/Norway please contact me at usmanw@opera.com.
Kindly don’t forget to attach your resume and specify «Opera Software AS – Job Opening: Hadoop Engineer» in the subject line of the email.

Best Regards,
Usman

Pienso que durante este año y el próximo, muchas empresas van a empezar a necesitar gente con experiencia de desarrollo en Hadoop, por lo que adquirir un buen nivel de destreza en esta herramienta será de mucho beneficio para mejorar las oportunidades laborales.

¿Morirán las datawarehouses?

viernes, mayo 22nd, 2009

En un paper escrito por alguna gente de Greenplum, los autores argumentan que en la época de la Big Data (muchos muchos datos a ser procesados), los esquemas tradicionales de datawarehousing y business intelligence se vuelven obsoletos. Ellos proponen otra alternativa que han denominado análisis de datos MAD (Magnetic, Agile, Deep). En el paper, dan un ejemplo real de Fox Interactive Media, que antes de la propuesta planteada por Greenplum, recurría a un complejo proceso de datawarehousing+exportar resultados+procesamiento intermedio con scripts+procesamiento con MapReduce (Hadoop). La alternativa de ellos combina SQL y MapReduce en la base de datos de manera nativa, y a decir de los autores, les permitió «volverse locos» (go MAD) con el análisis de datos.

NOTA a los alumnos de la materia: creo que este paper es de interés para todos. Léanlo (no es necesario que lo entiendan al 100%) para poder discutirlo la próxima clase.

Lo mejor del Cloud Slam ’09

martes, mayo 19th, 2009

Del 20 al 24 de abril se llevó a cabo el congreso Cloud Slam, en el cual hubieron conferencias a cargo de varios expertos en cloud computing. Estuve revisando la lista de las presentaciones (con vídeos), y pienso que las siguientes son de particular interés para los estudiantes de la materia de graduación: