La seguridad funcional se refiere a la capacidad de un sistema para detectar, mitigar y controlar fallos de forma que no generen situaciones de peligro (daño a personas o entorno). Está regida por estándares internacionales – como la serie IEC 61508 o sus derivados sectoriales (ISO 26262 en automoción, EN 50126/50128/50129 en ferroviario)– y tiene como objetivo garantizar que los riesgos asociados al fallo de sistemas electrónicos y de software se reduzcan a niveles aceptables, siempre en proporción al peligro potencial asociado al malfuncionamiento. Esta reducción del riesgo que proporciona un sistema o función de seguridad se cuantifica mediante el concepto safety integrity level (SIL).
Actualmente, la industria se encuentra inmersa en una profunda transformación digital que está redefiniendo la manera en que los sistemas críticos operan en sectores altamente regulados como la automoción, el ferrocarril, la energía, la medicina o la aeronáutica. En el centro de esta transformación se encuentra la inteligencia artificial (IA), una tecnología con la capacidad de aprender datos, adaptarse al entorno y tomar decisiones en tiempo real. Esta capacidad abre nuevas posibilidades de automatización y eficiencia, pero plantea un desafío fundamental: ¿cómo garantizar que las decisiones tomadas por un sistema inteligente sean seguras, fiables y predecibles, especialmente cuando están en juego vidas humanas o infraestructuras críticas?
Este es el principal reto que deben afrontar los sistemas críticos desde el punto de vista de la seguridad funcional. Tradicionalmente, estos sistemas se adhieren a las normativas previamente citadas. Sin embargo, estas normativas no se especificaron considerando el uso de IA. Esto conlleva varios retos adicionales como la naturaleza probabilística de los modelos de IA, la incertidumbre del modelo y, etapas del ciclo de vida de IA no contempladas anteriormente. Además, el uso de la IA suele implicar la implementación sobre plataformas computacionales de alto rendimiento, cuyo uso conlleva desafíos propios.
Adicionalmente, a diferencia de los sistemas tradicionales, los algoritmos de IA pueden generar resultados diferentes incluso ante situaciones similares (especialmente aquellos basados en aprendizaje automático). Como ejemplo visual, en la siguiente figura se muestra la consecuencia de un único bit-flip en los pesos de activación (alteración no intencionada de un solo bit en el valor binario que representa un peso o una activación) de una aplicación de detección de objetos basadas en el uso de una red convolucional; concretamente YOLO.
Esto dificulta enormemente la validación y certificación del sistema. Además, muchos modelos de IA actúan como cajas negras: ofrecen una salida, pero no siempre es posible explicar cómo han llegado a esa conclusión. Esta falta de transparencia entra en conflicto directo con los principios de trazabilidad, verificabilidad y justificación de decisiones que son fundamentales en seguridad funcional.
En este contexto, surge el proyecto CAPSUL-IA, que establece como uno de sus objetivos ofrecer una especie de “cápsula de protección funcional” para sistemas críticos que incorporen IA. Esta cápsula integrará, entre otras funcionalidades, mecanismos avanzados de diagnóstico y monitorización. Gracias a ellos, será posible identificar comportamientos anómalos o no esperados del sistema, analizar su impacto potencial y activar medidas de contención o corrección antes de que estos deriven en una situación peligrosa.
Lorea Belategi – Investigadora en IKERLAN
Agradecimientos
Proyecto MIG-20232044, subvencionado por el CDTI – Centro de Desarrollo Tecnológico Industrial, apoyado por el Ministerio de Ciencia e Innovación, y aprobado en la convocatoria para el año 2023 del procedimiento de concesión de ayudas destinadas a “Misiones de Ciencia e Innovación” en el marco de la iniciativa TransMisiones 2023, en el ámbito del Programa Estatal para Catalizar la Innovación y el Liderazgo Empresarial del Plan Estatal de Investigación Científica y Técnica y de Innovación 2021-2023.
Proyecto PLEC2023-010240 financiado por MICIU/AEI/10.13039/501100011033:
