Secciones:



Suscríbete vía e-mail:


Para activar la suscripción se te enviará en este momento un mensaje de confirmación a tu casilla de e-mail.


¿Qué es Wappy?

Aquí encontrarás variados temas como: cine, televisión, software, famosos, farándula, novedades, estrenos, avances de cine, música y todo lo que en el día a día repercute en la red de redes. Además, publicamos esas cosillas interesantes que le dan colorcito a la Web; cosas sorprendentes, novedosas, y extrañas son las que nos gustan.



Otros Contenidos:

Sitios de Interés:

Rss y CC:


Otros Datos:

Software ¿Como funciona YouTube?

Publicado por Nicolás el 09/08/2007, 22:29:45 Hs | Enlace permanente | Comentarios

En esta entrada te vamos a contar un poco como hace el popular sitio de descargas de videos Youtube, para soportar tan alta carga de usuarios y tan alto volumen de descargas de videos. Pero para esto, habría que marcar un antes y después en la era de YouTube.

Antes de pertenecer a Google funcionaba de una manera y luego de la compra, y gracias a innovaciones, han anexado otro personal junto con otros recursos para mejorar el servicio.

Pero vayamos a las entrañas:

  • Sistema Operativo: Linux en su distribución Suse
  • Sistema Web: Apache, en una versión más rápida conocida como “lighttpd”.
  • Lenguaje de programación: Python y C
  • Bases de Datos: MySQL

El sistema sirve a diario 100 millones de videos y a grandes rasgos funciona de la siguiente manera:

Mientras YouTube funcione:
    ¿Se ha detectado un cuello de botella?
   
    Si la respuesta es “SI”:
        Liberamos el cuello de botella
    Fin de la pregunta
   
    Continúa el sistema
Fin Mientras

Esto viene a ser seudo código que explica a grandes rasgos que ante una saturación en las lineas o el sistema, se deriva o canaliza la carga de (de MB, o usuarios), hacia otros sistemas alternativos. Entoces gracias a esto el sistema siempre continúa funcionado “correctamente”.

Interfase Web

La interfase WEB que es lo que nosotros vemos, funciona “precacheando” la mayoría de los datos. Esto quiere decir que los datos HTML, se encuentran  cargados en las memorias del servidor y por ende son de rápida respuesta. Mientras el sistema esté activo (siempre) esos datos permanecen en memoria y de esta manera es más fácil y ágil responder.

Otro dato interesante es que la arquitectura del sistema funciona de manera que guarda en memoria de alta respuesta (cache), los datos del sistema que con más frecuencia se solicitan o se muestran. Cuando se detecta que un sector comienza a ser menos requerido por los usuarios u otras partes del sistema, los datos se descargan de la memoria, y dejan paso a otras funciones.

Almacenamiento y volcado de vídeos

Esta es la parte central del sistema y dejando de lado las topologías de red que se utilizan para servir 100 millones de videos diarios, nos centraremos en la base de datos.

Para esta, han construido un tipo de FAT (Tabla de Asignación de Archivos) especial para almacenar los videos en los discos duros. (Una FAT es una estructura lógica que permite ordenar los datos almacenados en un medio de almacenamiento: discos duros, Dikettes, DVD, CD, etc.) En el caso de YouTube utilizan una FAT que segmenta el espacio de forma más pequeña de lo habitual. La cual permite dividir un video en miles de pedazitos pequeños que se guardarán en distintos sectores de la unidad (en forma física).

Del punto de vista de arquitectura de software esto tiene ventajas. Por ejemplo permite ahorrar mas espacio en disco, permite optimizar los medios de almacenamiento de forma más eficaz (la fragmentación), y permite la lectura más aprisa de los datos. Cada video que es segmentado en fragmentos, es guardado en varios discos duros y tienen un sistema on-line de respaldos.

En fin, los ingenieros de Google saben lo que hacen!

Algo muy inteligente que hace el sistema, es mover los videos que tienen alta demanda a un área de rápida respuesta, de esta manera no pierden tiempo en ir a buscar datos reiterativos a distintos discos duros.

Velocidad

Con respecto al tipo de servidor Apache y su versión “lighttpd”, es un software que solamente funciona bien si tiene una constante carga de peticiones. Osea en un servidor común, el software aguarda escuchando los puertos hasta que recibe una petición; “Mostrame la página index.php del sitio tal.com”. A esto el servidor responde procesando, calculando, cargando y enviando los datos. Una vez finalizado el proceso, el servidor Apache, vuelve a descansar y deja el CPU libre para que trabajen otros procesos.

En cambio el Apache (lighttpd) para que funcione rápido y de forma eficaz, siempre tiene que estar procesando datos. Mientras la carga de peticiones sea constante, el  lighttpd, procede cacheando la mayoría de las respuestas y consume bastante memoria. Es una solución practica (y costosa) para servidores como YouTube donde las 24 horas del día recibe peticiones.

Este tipo de servidor lo utilizan para mostrar las páginas y los vídeos.

Las imágenes

Afirman que por cada vídeo existen 4 imágenes por lo tanto son millares de imágenes almacenadas en bases de datos especializadas. Para servir estas imágenes, utilizan soluciones como las que te hemos contado antes, bases de datos especializadas, servidores Apache de alta velocidad, etc.

Pero el problema es mayor aún, afirman que las imágenes tienen mucha más demanda que los vídeos. Y esto genera problemas como: Miles de discos duros buscando un archivo en especial, alto consumo de recursos, y CPU, servidores que se recalientan y cada tantas horas hay que reiniciarlos. Sistemas operativos modificados especificamente para almacenar este tipo de datos y darle una alta respuesta la estructura de archivos. Páginas de YouTube y otros sitios, que muestran más de 60 imágenes por página. (Recordemos que YouTube permite el HotLink, lo que lleva a muchos otros sitios a crear contenidos basados en los videos)

Para resolver este tema llegó Google con su BigTable. Es un sistema de almacenamiento de datos, pensados para solventar todo este tipo de problemas y obtener altas respuestas basados en índices de contenidos.

En fin, este es un poco por arriba como es la parte interna de YouTube que no todos conocemos. Hemos tratado de explicar los conceptos sin entrar tanto en la parte de nomenclatura de software. Pero si deseas más información detallada puedes seguir el enlace debajo donde explican esto en ingles.








¿Tienes algo que decir déjanos tu opinión?


Otras entradas relacionadas

Google Drive - Es el nuevo servicio de Google

La compañía de Internet Google, acba de lanzar su último producto. Se trata de Google Drive, un servicio de almacenamiento de datos en la nube. La consigna es que cada usuario registrado con una cuenta de Google, pueda almacenar sus propios videos, audio y documentos. Esto se puede lograr gracias a los 5GB gratuitos que ofrece la compañía. Ahora, si necesitáramos mas espacio, tendríamos que adquirir distintos planes de almacenamiento.   Los precios son: 25GB por 2.49USD al mes. 100GB por 4.99 al mes. Agregan que al adquirir algunos de estos planes, la cuenta de Gmail asociada también crecerá a 25GB. | Continuar leyendo


Google Street View en la Casa Blanca

  Tal cual se aprecia en el siguiente video Google prepara un especial de "Google Street View" dentro de la Casa Blanca. Un experimento de lo más interesante, que permitirá a todo el mundo darse un paseo virtual por esta imponente edificación. Para experimentarlo, sigue el enlace debajo. | Continuar leyendo


uTorrent.com y BitTorrent.com hackeados: 28.000 usuarios comprometidos

Los sistemas de descargas de archivos mas importantes del mundo fueron vulnerables a un hacker. Según parece los sitios uTorrent.com y BitTorrent.com fueron victimas de un ataque, el cual logro sustituir enlaces a descargas con un malware. El hacker habría incluido la descarga de un antivirus el cual fue descargado por 28.000 usuarios. El ataque se dio entre las 4:20 y 6 de la madrugada, cuando desconectaron los servidores. Los administradores advierten que el servicio ha sido restablecido y no ningún tipo de riesgo... | Continuar leyendo


Millones de personas miran películas desde sus iPads

Cada día, mas y mas personas utilizan sus iPads para ver cine y Tv. En las pequeñas pantallas de 10 pulgadas que incorpora estos dispositivos denominados tablets, es que las personas prefieren ver sus propias cintas. Esto surge como un estudio de mercado que se hizo público en los pasados días. El mismo agrega que la empresa prevé que los usuarios móviles de vídeo serán más del triple en los próximos cinco años. Este reporte surge días después de que la compañía HP anuncia que discontinuara su línea de tablets, lo que crea cierta contradicción. En un mundo donde los tablets se han metido de lleno en la vida cotidiana, HP hace una movida poco clara y se retira de ese sector de la industria. Contradictoriamente Amazon anuncia la próxima creación de dos modelos de tablets, que serán mucho más baratos que su contrincante el iPad y de igual de eficiente... | Continuar leyendo


Nuevo avance de Prometheus (iTunes HD 1080p)

  En esta entrada el nuevo adelanto de Prometheus, recién estrenado en iTunes, pero en un video de Youtube. | Continuar leyendo


[Video Clip] Adele - Someone Like You (Live in Her Home)

  Adele Laurie Blue Adkins nació el 5 de mayo de 1988 en Londres, Inglaterra y es conocida simplemente como Adele. Es una cantautora de soul, blues y jazz. Ganadora de dos Premios Grammy, a Mejor Artista Nuevo y Mejor Interpretación Pop Femenina. Su primer álbum de estudio titulado "19" fue lanzado en 2008. Alcanzó a vender aproximadamente la cifra de 4 millones de copias alrededor del mundo. +info en el enlace. | Continuar leyendo


El Sistema Operativo Linux en sus primeros 20 años de vida alcanza la versión 3.0 y su desarollador lo difunde

Cuando hablamos de Sistemas Operativos para ordenadores en seguida nos viene a la mente los tradicionales como Windows, Mac y algún otro, pero también hay uno que no tiene nada que envidiarle a sus compañeros.   Se trata de Linux, un viejo conocido que ha cumplido sus 20 años de vida, y aunque existan incontables versiones o distribuciones, su núcleo permanece inalterable con el paso del tiempo. A decir verdad su núcleo o como se llama "Kernel" acaba de llegar a la versión 3.0, la cual fue publicada por su creador Linus Torvalds... | Continuar leyendo


Avatar y Linux: Sabías que...

Para hacer los efectos especiales de la nueva película del director James Cameron; Avatar se emplearon más de 4.000 servidores "HP Blades" con el sistema operativo Ubuntu (Linux) y en su interior que en conjunto alcanzaban una media de 35.000 núcleos. Para el procesamiento entre servidores contaban con una red de datos que alcanzaba velocidades de 10Gbps. La memoria RAM empleada por este centro de datos montado por la compañía "Weta Digital" fue de 104 Tbytes de memoria... | Continuar leyendo


Opera Mobile: Un navegador de lo más completo para la Web

  No se si lo hayan probado pero el navegador de Internet "Opera" para teléfonos móviles es realmente impresionante. Me atrevo a decir que es de lo mejorcito que hay hoy en día. No soy usuario de iPhone y no se que propuesta relacionada con su navegador Safari proponga, pero lo que hace el navegador de Opera es muy interesante. La navegación en páginas web ha propuesto un interesante reto y carrera histórica para los ingenieros de las más variadas plataformas existentes, pero si nos adentramos en materia de teléfonos móviles tenemos que decir que la cosa se complica... | Continuar leyendo


Google agregará una barra lateral a sus búsquedas

No se puede negar que para quienes buscamos imágenes constantemente en Google Images, la barra lateral izquierda es una ayuda práctica y hasta intuitiva. Esta nos permite filtrar los resultados, acercándonos más a lo que estamos buscando. Hoy ya repercute en la red la nueva idea de los ingenieros de Google, agregar esta barra a sus tradicionales búsquedas. Cuentan que entre las opciones del panel, podremos encontrar ítems como: links relacionados, resultados de las últimas 24hs, 36hs y 48hs, entre otras tantas opciones. Por el momento no se sabe cuando comenzará a operar esta nueva característica, pero seguramente no pasará mucho tiempo. | Continuar leyendo


Visualiza los Torrent desde tu navegador con TS Magic Player

Unos desarrolladores Rusos finalmente han creado una herramienta con la cual podremos ver contenidos originados en la red de descargas Torrent (Video, Audio). En lugar de tener que descargar el archivo a nuestro ordenador para posteriormente reproducirlo, podremos verlo al momento con un navegador. Por supuesto que para esto es necesario contar con una muy buena conexión a Internet y un plugin que se instala en el navegador que uses. De momento solo funciona en Windows. Puedes pausar y continuar con la reproducción, control de volumen, etc. También debes tener los codec necesarios para reproducir el tipo de archivo que desees visualizar. Se llama TS Magic Player, y puedes encontrar más información debajo en los enlaces. | Continuar leyendo


Si te gusta el cine: Youtube Trailers

Como el título lo explica, Youtube Trailers es una sección del portal más famoso de videos dedicado al estreno de nuevos estrenos en materia de cine. Lo bueno y lo malo: Bueno: Se trata de videos oficiales publicados por sus productores o agentes oficiales. Lo malo: Como se trata de videos oficiales, quizás los más recientes o recién lanzados no estén hasta dentro de unos días. De todas formas no importa porque en Wappy seguro te lo mostramos antes ;) El enlace debajo. | Continuar leyendo


Fantástica casa en medio de la naturaleza!

Vean nada más las siguientes fotos, se trata de una genial casa construida en medio de la naturaleza en donde predominan los acabados curvos! Muy buena.  Fotos de dornob.com | Continuar leyendo


[Video] Casa de la Cascada (Fallingwater)

Ayer te mostrábamos algunas fotos de la casa que había construido el arquitecto "Frank Lloyd Wright" en el año 1936. Ahora, Fernando nos envía un video de una animación que muestra un poco las entrañas de esa construcción y su armonía con el medio ambiente. (muy bueno!) Youtube | Continuar leyendo


Google atenderá América Latina desde Brasil

Un medio brasilero acaba de informar que la gigante de internet Google, planea abrir oficinas para atender las operaciones relacionadas con América Latina desde Brasil. Al parecer esta resolución surge casi al mismo tiempo que se supo que los ingenieros que trabajan en la red social Orkut (también de Goolge), se mudarán a la ciudad de Belo Horizonte. Orkut es una red que tiene principalmente usuarios de Brasil y de India... | Continuar leyendo


Top Secret: Midori - Lo nuevo de Microsoft!

Recuerden el nombre de "Midori", ya que será el sistema operativo que sustituirá al aun inexistente Windows 7. Pues sí, nos estamos remontando a 6 o 7 años en el futuro (o más), luego de la muerte del mal venido Windows Vista, y luego de dejar atrás el Sistema Operativo táctil llamado Windows 7. Al parecer "Midori" aún está en una primera fase de investigación y se ha resuelto comenzar la tarea desde cero. Planea ser una especie de sistema operativo muy diferente a lo que todos estamos acostumbrados a utilizar. El sistema se basará en el concepto de Cloud Computing... ¿Que es esto? | Continuar leyendo


MySQL adquirida por Sun Microsystems!

Una noticia más que importante dentro de Internet. Para el que no sepa ¿que es MySql?; se trata del motor de bases de datos más usado en el mundo entero. Por ejemplo MySQL es utilizada por Google para almacenar los millares de datos que componen su red global de búsquedas. Pues ahora se sabe que la compañía Sun Microsystems ha desembolsado unos 1000 millones de dólares por su adquisición. | Continuar leyendo


Wappy cumple más de un mes con Movable Type

Como te contamos hace aproximadamente un mes atrás, habíamos tenido problemas internos relacionados con Wappy y los recursos que estaba consumiendo. Nuestro querido sitio se estaba tragando los recursos de nuestro proveedor de hosting, gracias al fuerte aumento en las visitas. Pero luego de un mes con el nuevo sistema de Movable Type, las conclusiones han sido bastante buenas.En un principio nuestro portal, blog o revista, estaba hecho a mano, ósea con pura programación PHP y bases de datos MySql. El problema que esto tuvo era que a mayor número de visitantes mayor consumo de recursos, y las cosas se fueron complicando. La opción era clara cambiar de sistema, ¿pero a cual?. | Continuar leyendo


Descubre la tecnología que hay detrás de cada sitio web!

Por medio del sitio "builtwith.com" puedes acceder a los datos internos de un web site. El sitio escanea la "home page" y realiza un análisis exhaustivo de las herramientas que se utilizan. Desde el punto de vista técnico y avanzado, el sitio lo que hace es recopilar los datos que todo el mundo puede saber de un website y los muestra de forma ordenada. No es que tenga una cierta tecnología especializada para averigua que hay detrás del servidor. Por ejemplo, uno de los datos que muestra es que tipo de servidor alberga ej: Apache, IIS, etc, También, que contadores utiliza, javascript, y otros datos.Si deseas curiosear que hay detrás de cnn.com o boingboing.net esta es la herramienta indicada. Vía: builtwith.com, | Continuar leyendo




Muchas gracias por visitar Wappy Suscríbase vía RSS Feed o E-mail y reciba cada mañana los últimos artículos publicados. ¿Qué es RSS?
Si desea disponer del material aquí publicado para reproducirlo en otro sitio por favor recuerde agregar un enlace al artículo original.
Si encuentra algún error en el contenido de ésta página o desea contactarnos siga este enlace

- Wappy.ws Blog de cine, televisión y variedades. 2005-2012. -

TOP Bitacoras.com para Uruguay