Los modelos de inteligencia artificial (IA) basados en redes neuronales profundas (DNNs) están cada vez más presentes en aplicaciones donde los fallos pueden tener consecuencias muy graves, por ejemplo, en vehículos autónomos, en aviones, o en sistemas espaciales. En estos contextos, una DNN no sólo debe ser precisa en condiciones normales, sino también robusta frente a todo tipo de perturbaciones: desde fallos de hardware hasta ataques maliciosos.
Estándares emergentes como ISO/IEC TR 5469 o ISO PAS 8800 identifican explícitamente la inyección de fallos como una técnica clave para la verificación y validación de sistemas de IA. Sin embargo, las herramientas actuales abordan este problema de forma parcial: algunas se centran únicamente en fallos del modelo, otras en fallos de hardware, y otras en ataques adversarios, pero ninguna lo hace de forma unificada ni integra mecanismos de diagnóstico y monitorización para cada tipo de fallo.
Investigadores del Barcelona Supercomputing Center (BSC) y del Centro Tecnológico Ikerlan han desarrollado una herramienta que permite evaluar la robustez de modelos de IA integrando por primera vez tres modalidades de fallos complementarias:
- Fallos a nivel de modelo (pruebas de mutaciones): pequeñas perturbaciones en los parámetros y la estructura del modelo que permiten identificar posibles fallos durante la creación del modelo.
- Fallos a nivel de operación (inyección de ‘bit-flips’): simulación de fallos de hardware aleatorios durante la inferencia del modelo, inyectando bit-flips durante los cálculos, que pueden provocar comportamientos inesperados del sistema.
- Fallos en los datos de entrada (ataques adversarios): perturbaciones imperceptibles para el ojo humano que, una vez introducidas en las imágenes de entrada del modelo de IA, son capaces de engañar al modelo para que funcione de manera errónea.
Además, la herramienta incorpora varios mecanismos de diagnóstico y monitorización para detectar y mitigar el efecto de estos fallos: redundancia modular dual y triple (DMR/TMR), comprobaciones de la plausibilidad de los resultados, un detector de anomalías en las predicciones del modelo, y un mecanismo de defensa frente a ataques adversarios.
El marco está diseñado en torno a cuatro principios: unificación, modularidad, generalidad y orientado a la seguridad. Todos los parámetros de la herramienta pueden ser gestionados por el usuario mediante un fichero de configuración, lo que permite reproducir y adaptar los experimentos sin necesidad de modificar el código. El repositorio público estará disponible próximamente.
La herramienta ha sido verificada utilizando YOLO11, un modelo de referencia en detección de objetos en tiempo real. Esta evaluación ha permitido analizar qué capas del modelo son más robustas o vulnerables frente a cada tipo de fallo, así como evaluar la eficacia de los mecanismos de diagnóstico y monitorización implementados.
En conclusión, este trabajo ofrece un flujo completo – desde el diagnóstico a la mitigación – que permite evaluar sistemáticamente la robustez de modelos de IA antes de desplegarlos en entornos críticos. Los detalles completos de la herramienta, los experimentos y resultados estarán disponibles próximamente en publicaciones científicas.
Marti Caro – Investigador del BSC
Agradecimientos
Proyecto MIG-20232044, subvencionado por el CDTI – Centro de Desarrollo Tecnológico Industrial, apoyado por el Ministerio de Ciencia e Innovación, y aprobado en la convocatoria para el año 2023 del procedimiento de concesión de ayudas destinadas a “Misiones de Ciencia e Innovación” en el marco de la iniciativa TransMisiones 2023, en el ámbito del Programa Estatal para Catalizar la Innovación y el Liderazgo Empresarial del Plan Estatal de Investigación Científica y Técnica y de Innovación 2021-2023. #PRTR #PlanDeRecuperación # MRR #NextGen #NextGeneration #NextGenerationEU #NGEU #AyudasCDTI
Proyecto PLEC2023-010240 financiado por MICIU/AEI/10.13039/501100011033:
Marti Caro ha recibido financiación a través de la beca PRE2022-102440, financiada por MICIU/AEI/10.13039/501100011033 y por el FSE+.
