Entradas KAFKA STREAMS Y LA MAREA DE DATOS


From classic ETL approach with Postgres to Streaming ETL using Kafka Streams – Carles Planas
Working with PostgreSQL and PL/PgSQL for implementing ETLs with more than 300M of HTTP dialogs by day for a single client could be not scalable or maintainable at all, so it could be challenging moving forward to stream ETLS using Kafka Stream.
Our DDC data collector which is able to capture this amount of traffic with few resources manage to send raw data to a Kafka cluster which allows us to digest this traffic instead of using PostgreSQL.
Our stack should be able to work with different BI tools in order to visualize the important data insight of a particular client, for example building OLAP cubes for batch processes or providing real-time queries for different dimensions of the data. So we are implementing ETL applications by means of Kafka Streams.

At the end of this talk you will know more about our experience of working with Kafka Streams library for doing aggregation, disaggregation and join applications. The motivation behind the choose of Kafka Streams, why we decided to use Kafka Stream in order to replace even batch processes. Our experience using Avro or Kryo inside our application for serialization. And finally our ideas to use Kubernetes for deploying those applications.
This talk will include a Demo of our application capturing OTA (Online Travel Agency) look like HTTP dialogs traffic, deploy of our application for aggregate, disaggregate and join streams and finally the resulting data store on InfluxDB and Grafana for visualization

*Aforo limitado. Para asegurar tu reserva ponte en contacto con datahack y confirma tu inscripción en (https://www.datahack.es/eventos/kafka-streams-marea-datos/). Una vez hayan accedido las plazas reservadas, la entrada se realizará por orden de llegada hasta completar aforo.


TAMBIÉN TE PUEDE INTERESAR...


Destaca tus Eventos

Si te dedicas a la organización y promoción de Eventos, Conciertos y Festivales, estás en el sitio web adecuado. Destaca tus eventos por Cuidades, Provincias, Tipología, Artistas ó Festivales. Si quieres saber cómo, ponte en contacto con nuestro equipo comercial.

Contactar

Festivales en 2016

¿Buscando Festivales en 2016? Encuentra los Festivales más destacados de España en nuestra web. Festivales de música, Festivales de teatro y danza, Festivales de cine y mucho más en un solo lugar. Pásate y encuentra lo que buscas en un vistazo. ¡A disfrutar!

Abonos de Festivales »

Noticias y Novedades

El Blog de música, festivales, teatro, danza, eventos internacionales, rumores y todas las noticias más actuales para estar al corriente de las tendencias que llegan cada mes a nuestro país. Te informamos sobre fechas, lugares, ciudades y cómo comprar tus entradas.

El Blog »