EVOLUTION OF THE MONITORING & OBSERVABILITY ARCHITECTURE OF CAPSUL-IA

One of the challenges that developers face when deploying applications in industrial environments lies in their post-deployment management. To ensure comprehensive application management, it is essential to have mechanisms that provide real-time insight into their internal operations. CAPSUL-IA, which was created with the goal of bringing artificial intelligence to industry, offers a set of tools—grouped within the monitoring and observability stack—that provide real-time insight into the internal operations of AI capsules, as well as the services that support them.

Uno de los retos a la hora de desplegar aplicaciones en entornos industriales se encuentra en su gestión tras el despliegue. Para hacer una gestión íntegra de las aplicaciones es indispensable disponer de mecanismos que permitan conocer en tiempo real su funcionamiento interno. CAPSUL-IA, que nació con el objetivo de acercar la inteligencia artificial a la industria, cuenta con un conjunto de herramientas, agrupadas en el stack de monitorización y observabilidad, que permiten conocer en tiempo real el funcionamiento interno de las cápsulas de IA, así como de aquellos servicios que les dan soporte.

Monitoring and observability are two fundamental pillars of modern software engineering, and their implementation is based on the generation, storage, and analysis of telemetry data produced by applications and platforms. Typically, three types of signals are used to gain an advanced understanding of the internal operation of systems:

Metrics: numerical values representing a system or application magnitude (memory consumption, number of requests within a time interval, etc.).
Logs: messages corresponding to specific events occurring at the platform or application level.
Traces: represent the complete journey of an individual request as it propagates through a multi-service application or distributed system.

La monitorización y la observabilidad son dos pilares fundamentales de la ingeniería de software moderna, y su implementación se basa en la producción, almacenamiento y análisis de datos de telemetría producidos por las aplicaciones y plataformas. Típicamente, se emplean 3 tipos de señales para obtener una comprensión avanzada del funcionamiento interno de los sistemas:

Métricas: valores numéricos que representan una magnitud de un sistema o aplicación (consumo de memoria, número de peticiones en un intervalo de tiempo, etc.).
Logs: mensajes correspondientes a eventos específicos que ocurren a nivel de plataforma o aplicación.
Trazas: representan el recorrido completo de un request individual a medida que se propaga por una aplicación compuesta de múltiples servicios o por un sistema distribuido.

Previously, ZYLK presented an initial version of the solution for the monitoring and observability of capsules across the project’s hardware platforms. That initial version was capable of generating and analyzing metrics produced at platform, Systemd and container levels. In recent months, support for logs and traces has been included, which required the addition of a new set of tools to support these new types of signals.

Anteriormente, desde ZYLK se presentó una primera versión de la solución para la monitorización y observabilidad de las cápsulas en las distintas plataformas hardware del proyecto. Esa primera versión era capaz de producir y analizar métricas a nivel de plataforma, servicios de Systemd y contenedores Docker. En los últimos meses, se han realizado avances en el stack que permiten la inclusión de logs y trazas, para lo que ha sido necesario incorporar nuevas herramientas que soporten estos nuevos tipos de señales.

Evolution of the stack

The new monitoring and observability architecture is composed of the following components:

Alloy: a multipurpose tool belonging to the Grafana ecosystem that performs various functions within the current architecture. Alloy produces metrics at the platform, Systemd and container level, a task that previously was performed by three different agents (Node-exporter, Systemd-exporter and cAdvisor respectively). Furthermore, Alloy captures logs produced at those same three levels, which it subsequently sends to the Loki log storage backend. Finally, it acts as an intermediary between applications and the storage backends for the various telemetry signals, enriching signals with metadata and providing stability to the architecture by decoupling telemetry-producing applications from storage.
Loki: a tool for log storage that, like Alloy, is part of the Grafana ecosystem. It is characterized by its lightweight design, consuming fewer resources than other tools with a similar purpose.
Tempo: a tool recently developed by Grafana, Tempo is a trace storage tool that follows a design philosophy similar to Loki, consuming fewer resources than comparable tools.
Prometheus: already present in the previous version of the architecture, it handles the storage of metrics produced or received by Alloy.
Grafana: an open-source tool for real-time data analysis through interactive dashboards. It provides users with a unified visualization of metrics, logs, and traces.

La nueva arquitectura de monitorización y observabilidad está formada por los siguientes componentes:

Alloy: herramienta multipropósito del ecosistema Grafana que realiza diversas funciones dentro de la arquitectura actual. Alloy produce las métricas a nivel de plataforma, servicios y contenedores que antes eran producidas por 3 agentes (Node-exporter, Systemd-exporter y cAdvisor). Al mismo nivel, Alloy también captura logs que posteriormente envía al backend de almacenamiento de logs Loki. Por último, actúa de intermediario entre las aplicaciones y los backends de almacenamiento de las distintas señales de telemetría, enriqueciendo las señales con metadatos y aportando estabilidad a la arquitectura al desacoplar las aplicaciones productoras de telemetría del almacenamiento.
Loki: herramienta para el almacenamiento de logs que, al igual que Alloy, forma parte del ecosistema de Grafana. Se caracteriza por su diseño ligero que le hace consumir menos recursos que otras herramientas de propósito similar.
Tempo: desarrollada recientemente por Grafana, Tempo es una herramienta para el almacenamiento de trazas que sigue una filosofía de diseño parecida a la de Loki, consumiendo menos recursos que herramientas similares.
Prometheus: ya presente en la anterior versión de la arquitectura, se encarga del almacenamiento de las métricas producidas o recibidas por Alloy.
Grafana: herramienta de código abierto para el análisis de datos en tiempo real mediante paneles interactivos. Permite la visualización unificada de métricas, logs y trazas.

Schematic view of the new monitoring and observability architecture.

Nueva arquitectura de monitorización y observabilidad.

Thanks to this architecture, monitoring is not only limited to the containers hosting the AI models, but also covers the general state of the system and the critical services that enable its proper operation. This provides a comprehensive view of the behavior and stability of each platform, from the underlying infrastructure to the execution of the AI capsules.

Compared to the previous version of the stack, the new architecture simplifies the metric generation process, as it concentrates the metrics produced by three separate agents into Alloy. Furthermore, handling the generation of metrics and logs, as well as managing the telemetry sent by applications within Alloy, simplifies the stack management by reducing the number of configurations to maintain.

Another defining feature of the new stack version lies in the scalability of two of its components: both Loki and Tempo feature a modular design that allows them to run as a distributed application across multiple nodes. The flexibility provided by this horizontal scalability is a highly valued feature in industrial environments.

Gracias a esta arquitectura, la monitorización no se limita únicamente a los contenedores que alojan los modelos de IA, sino que cubre también el estado general del sistema y los servicios críticos que permiten su correcto funcionamiento. Esto proporciona una visión integral del comportamiento y estabilidad de cada plataforma, desde la infraestructura base hasta la ejecución de las cápsulas de IA.

Comparada con la anterior versión del stack, la nueva arquitectura se caracteriza por una generación de métricas más simple, al concentrar las tareas realizadas por tres agentes distintos en Alloy. Además, que la generación de métricas, logs y la gestión de la telemetría enviada por las aplicaciones se realice en Alloy facilita la gestión del stack al tener un menor número de configuraciones que mantener.

Otra de las características de la nueva versión del stack radica en la escalabilidad de algunos componentes: Loki y Tempo se caracterizan por tener un diseño modular que les permite funcionar como una aplicación distribuida en múltiples nodos. La flexibilidad aportada por esta escalabilidad horizontal es una característica muy valorada en entornos industriales.

Conclusions

The advancements included in the latest update have extended the capabilities of the monitoring and observability architecture, providing users with unified access to the various supported signals, which simplifies overall system management, error detection, and prevention. Thanks to this architecture, CAPSUL-IA continues to develop a technological solution that brings AI to industry in an efficient, scalable, and secure way.

El stack de monitorización y observabilidad ha dado un paso hacia adelante al incorporar nuevos tipos de señales y ofrecer una visión unificada de todas ellas, lo que facilita al usuario la gestión íntegra del sistema, el diagnóstico de errores y la prevención de fallos. Gracias a la arquitectura desarrollada, CAPSUL-IA continúa consolidando una propuesta tecnológica que acerque la IA de forma fiable, eficiente y escalable a la industria.

Antton Castresana – Investigador I+D

Agradecimientos

Proyecto MIG-20232044, subvencionado por el CDTI – Centro de Desarrollo Tecnológico Industrial, apoyado por el Ministerio de Ciencia e Innovación, y aprobado en la convocatoria para el año 2023 del procedimiento de concesión de ayudas destinadas a “Misiones de Ciencia e Innovación” en el marco de la iniciativa TransMisiones 2023, en el ámbito del Programa Estatal para Catalizar la Innovación y el Liderazgo Empresarial del Plan Estatal de Investigación Científica y Técnica y de Innovación 2021-2023. #PRTR #PlanDeRecuperación # MRR #NextGen #NextGeneration #NextGenerationEU #NGEU #AyudasCDTI