Con el rediseño del detalle de los anuncios de idealista nos vimos en la necesidad de que también las imágenes se adaptaran al dispositivo que utilizas para navegar.
La justificación es sencilla, no necesitas la misma calidad/tamaño de imagen en un dispositivo móvil que en una tableta o PC de escritorio. Además con ello podemos conseguir que la carga de la página sea más rápida para dispositivos con pocos recursos.
Problemas asociados a la generación de thumbnails de tamaño fijo
La forma habitual de abordar el problema de la generación de thumbnails es empleando unos workers que los generen de manera asíncrona a partir del original y la guarden en el almacenamiento con una estructura y nombres concretos. Es muy común utilizar prefijos o sufijos en los nombres de las imágenes para diferenciar los distintos tamaños de los thumbnails.
Los problemas asociados a esta práctica son los siguientes:
- Gran dificultad para introducir nuevos tamaños. Debes reprocesar los originales durante días (incluso semanas dependiendo del volumen de fotos) para poder generarlos.
- Redimensionamiento de los cortes disponibles usando css para adaptarlos al tamaño que se necesita.
- Los thumbnails ocupan mucho tamaño en los dispositivos de almacenamiento y muchos de esos archivos estáticos apenas se llegan a servir (lo que pasa por ejemplo en anuncios con pocas visitas o anuncios que se dan de baja muy rápido)
- Urls de las imágenes expuestas a los crawlers. es fácil inferir la url asociada a los diferentes cortes disponibles para una imagen.
Nuestra solución
Necesitábamos construir un servidor http que en base a ciertos parámetros contenidos en la url nos devolviera el stream de una imagen, en un tiempo que no empeorara la experiencia de usuario de nuestros usuarios.
Los parámetros que el servidor http necesita para poder generar una imagen son:
- Ruta de la imagen original en el dispositivo de almacenamiento
- Ruta de la marca de agua (opcional)
- Dimensiones deseadas (ancho y alto, en píxeles)
- Si la imagen debe ser recortada para obtener la dimensión deseada o escalada (teniendo en cuenta que se pueden producir deformaciones)
- Rotación en grados si se desea (en múltiplos de 90º)
- Extensión de la imagen a generar
Herramientas evaluadas descartadas
Nos pusimos manos a la obra, evaluando primero diferentes opciones, entre las que se encontraban graphicsmagick, epeg, openvidia, javacl, javacv y openCV
Pero bien por consumo de recursos, por la dificultad para escalar o por el excesivo tiempo que se necesitaba para generar los thumbnails tuvimos que descartarlas
Libvips (herramienta elegida)
Finalmente nos decantamos por libvips, una librería que actualmente utiliza la fundación wikimedia entre otras grandes organizaciones para tratar imágenes. Principalmente nosotros lo empleamos para escalar la imagen, ajustar su calidad y eliminar su EXIF, cabeceras JFIF y otros bloques innecesarios.
Para el servidor http nos decidímos por node.js, así que fue necesario utilizar node-vips para que ejerciera de adapter y así poder realizar llamadas a libvips (que está escrito en C++). Como desde un primer momento detectamos ciertas carencias en node-vips tuvimos que modificarla casi por completo para ajustarla a nuestras necesidades.
Los pasos que sigue el servidor http son los siguientes:
- Decodificar los parámetros recibidos, evaluando su formato y verificando su obligatoriedad.
- Invocar a node-vips/libvips y esperar al stream de datos.
- Devolver el stream de datos.
- (Opcional) guardar la imagen generada.
Caché (o cómo montamos nuestro propio cdn)
Dado que íbamos a utilizar este sistema en entornos donde podríamos no estar detrás de un cdn (content delivery network) nos vimos en la necesidad de desplegar nuestro propio cdn utilizando varnish
Esta caché nos facilita lanzar a producción nuevos formatos de imagen (por ejemplo una imagen con un tamaño que no se haya cacheado por la cdn) y evita que los servidores de thumbnails reciban demasiadas peticiones.
El único cometido de varnish en este caso es actuar de cache intermedia entre una hipotética cdn y nuestro servidores de thumbnails. El hit rate de nuestra caché varía según despliege (dependiendo de si está detrás de una cdn o no) de un 20% a aproximadamente un 80%.
gráfica de hit rates en varnish (munin)
Escalado horizontal
Tras varnish utilizamos un balanceador (haproxy en nuestro caso) para distribuir las peticiones entre las diferentes instancias del servidor http de imágenes. El balanceo se realiza utilizando el algoritmo «round-robin», garantizando así una carga similar entre los diferentes servidores.
En haproxy es posible configurar un health-check de manera que si un servidor http tiene problemas que le impidan funcionar con normalidad dejará de recibir peticiones inmediatamente y el tráfico se repartirá entre los servidores restantes.
Diagrama de despliegue
A continuación un diagrama de despliegue simplificado de lo explicado anteriormente:
Puesta en producción
Con el nuevo detalle responsive también se ponía en producción por primera vez el servidor de thumbnails. Necesitábamos calentar la caché del cdn antes, puesto que la avalancha de peticiones podría hacer que el servidor no aguantara.
El calentamiento de la caché lo hicimos con nightwatch.js, navegando por una versión de preproducción sobre los anuncios que habitualmente reciben más visitas. Por la manera en que se generan las urls de los thumbnails no pudimos usar aplicaciones más sencillas como apache benchmark o JMeter. Además debíamos garantizar que las urls cacheadas fueran exactamente iguales a las que se iban a utilizar en el detalle el día que se pusiera en producción.
Varnish nos ayudó mucho, aliviando entre un 60% y un 70% de carga en este caso
¿Dónde se utiliza el servidor de thumbnails?
Actualmente utilizamos el servidor de thumbnails en idealista (versión web en sus distintos formatos y también en las apps móviles) y en nuestras aplicaciones internas. Tenemos previsto incluirlo en nuestros emails próximamente.
Algunos datos …
Aquí van algunos datos del servidor de thumbnails:
- Diariamente se sirven unos 400 GB de thumbnails desde el nuevo sistema, recibiéndose cerca de 9 millones de peticiones.
- Es habitual que soporte cerca de 200 peticiones por segundo.
- La colección de originales supera los 60 millones de imágenes.
Conclusión
Aunque nos encontramos muchos impedimentos y fue necesario hacer mucho análisis, fue un gran alivio para nosotros ver funcionar el servidor de thumbnails generados en tiempo real.

Buen post!, es muy interesante ver como de manera totalmente independiente se llega a soluciones muy parecidas, en nuestro caso (coches.net, fotocasa.es) al proyecto le llamamos Pincher :D, utiliza igualmente Varnish (por cierto creado inicialmente en VG, también de nuestro grupo), la diferencia esta en la generación de los thumbnails que esta realizado en .net de manera interna. Felicidades!