José Esteban Lauzán (Atos)
El Banco de Inglaterra (BoE) y la Autoridad de Conducta Financiera (FCA) establecieron el Foro Público-Privado sobre IA (AIPPF) en octubre de 2020. Su objetivo es que los consumidores, empresas y reguladores del sector financiero tengan un buen entendimiento de las tecnologías de Inteligencia Artificial (IA), de forma que éstas se puedan aprovechar minimizando los riesgos y consecuencias imprevistas de su uso.
Principales riesgos de la IA
Entre los principales riesgos, el AIPPF cita
- La falta de explicabilidad (la necesidad de Explainable AI).
- Las interacciones de los modelos de IA, entre sí y cuando estén más interconectados con los mercados financieros.
- Sesgos que puedan llevar, por ejemplo, a excluir a ciertos segmentos de la población.
- Falta de claridad en la cadena de decisión o en las responsabilidades sobre las decisiones tomadas.
- En las inversiones:
- El “comportamiento de masas” al que se podría llegar, no siendo conscientes de ello, si los sistemas de trading acaban usando conjuntos de datos y modelos similares.
- La posible concentración o posibles disrupciones en las redes utilizadas para transferir los datos y modelos.
El AIPPF clasifica los temas que aborda en tres áreas: los datos, el riego de los modelos y la gobernanza – ya que los riesgos comienzan en el uso de datos para entrenar o ejecutar modelos de IA, pueden propagarse como riesgos de los propios modelos y acabar alimentando riesgos para las empresas, las estructuras de gobernanza y el propio sistema financiero.
Vemos los puntos clave.
Puntos clave del informe del AIPPF
La IA evoluciona rápidamente. Puede beneficiar a los consumidores, negocios y a la economía en general, pero también puede amplificar riesgos existentes y crear algunos nuevos. Los modelos que se usan en el sector financiero son cada vez más sofisticados en cuanto a su escala, complejidad y velocidad, así como por su capacidad de tomar decisiones automáticamente, lo que despierta debates profundos.
Datos
- La IA empieza con los datos y parte de su reciente crecimiento se debe al vasto crecimiento de la disponibilidad de datos con los que entrenar a los modelos de IA. Muchos de los beneficios y riesgos de la IA radican más en los datos que en los algoritmos, modelos o sistemas de IA.
- La calidad de los datos es más importante que nunca. Es vital entender sus atributos, proveniencia, completitud, linaje, versionado, etc. así como documentarlos y monitorizar todos estos aspectos.
- Los datos están originando cambios en la forma de las organizaciones, por ejemplo, en las estructuras de gobernanza.
- El uso de datos no estructurados es muy prometedor, pero es una de las principales causas de problemas en la calidad de los datos. En parte, esto se debe a que provienen de terceros, lo que plantea problemas adicionales de calidad, proveniencia y – a veces – legalidad.
Modelos
- La mayor parte de los riesgos del uso de modelos de IA en servicios financieros no son nuevos y pueden surgir igualmente del uso de modelos no-IA. Lo que cambia con la IA es la escala y la velocidad a la que opera, así como la complejidad de los modelos. Esto puede amplificar riesgos conocidos y crear otros nuevos.
- El reto clave a la hora de gestionar los riegos que originan los modelos de IA es la complejidad. La complejidad de los inputs (tamaño y dimensiones), de las relaciones entre variables, de los modelos en sí (p.ej. Deep Learning) y de los resultados – que pueden ser acciones, algoritmos, decisiones, etc.
- Es vital poder explicar los resultados de los modelos. La IA Explicable no debería centrarse sólo en los modelos, sino en la comunicación clara y la relación estrecha con los consumidores.
- Para asegurar que los modelos se comportan de la manera esperada, es clave identificar y gestionar sus cambios, así como monitorizar e informar sobre su funcionamiento. Esto incluye monitorizar cambios en la funcionalidad del modelo, en sus resultados e identificar la necesidad potencial de reentrenarlo.
Gobernanza
- Una característica clave de la IA es su capacidad de tomar decisiones de forma automática y autónoma, lo que puede tener implicaciones muy profundas sobre el gobierno de la tecnología y sus resultados.
- Los marcos y estructuras de gobernanza existentes proveen un buen punto de partida para los modelos y sistemas de IA, en parte porque éstos acabarán interactuando con otros procesos de riesgo y gobernanza. Los marcos y estructuras de gobernanza más relevantes para la IA en servicios financieros son la gobernanza de los datos, los modelos de gestión de riesgos y la gestión del riesgo operativo.
- La gobernanza de sistemas IA debe reflejar la aplicación específica para la que han sido diseñados incluso cuando se apliquen marcos de gobernanza ya existentes. En la medida de lo posible, las empresas deben aprovechar y adaptar estructuras de gobernanza preexistentes para gestionar la IA.
- En las empresas debería existir una función centralizada que fije los estándares de gobernanza de la IA. La responsabilidad sobre la IA debería recaer en una o varias personas de la Dirección. Las áreas de negocio serían responsables y responderían de los resultados, cumplimiento normativo y ejecución respecto de los estándares de gobernanza. La transparencia y la comunicación son elementos clave de la gobernanza de la IA.
- La gobernanza de la IA en empresas es más efectiva si incluye diversidad de capacidades y perspectivas, y si cubre todo el abanico de funciones y unidades de negocio.
- Las empresas deben asegurarse de que hay un nivel adecuado de consciencia y comprensión de los beneficios y riesgos de la IA en toda la organización. Esto puede requerir una gobernanza formal y papeles claros para la directiva.
Siguientes pasos
Los siguientes pasos identificados por la AIPPF son:
- Se identifican ganas de continuar con el diálogo sobre la IA una vez concluya el AIPPF, con el objetivo de apoyar la adopción segura de la IA en servicios financieros.
- La confianza en el uso de la IA podría fortalecerse mediante la creación de una asociación de profesionales dedicados a la IA. La profesionalización de la IA y de la “ciencia de los datos” (data science) comprenderá códigos de conducta voluntarios y un régimen de auditoría.
- Los reguladores pueden apoyar la innovación y la adopción de la IA. Pueden empezar aclarando cómo la normativa y políticas actuales aplican a la IA. El foco de los reguladores debería estar en los resultados y no ser excesivamente prescriptivo. Podrían facilitar casos de estudio ilustrativos e identificar casos de uso de riesgo alto que priorizar.
- El alineamiento regulatorio será un catalizador del proceso, tanto a nivel nacional como internacional.
- El sector financiero privado británico quiere que los reguladores apoyen la adopción segura de la IA basándose en la regulación ya existente. La pregunta clave es cómo la normativa y legislación existentes pueden aplicarse a la IA, y si ésta puede gestionarse adecuadamente con meras extensiones al marco regulatorio existente – ya que podría requerir un nuevo enfoque. El AIPPF publicará un informe más adelante para tratar este asunto.
Conclusión
Tras más de un año de trabajo, el AIPPF ha publicado un informe que recoge sus principales conclusiones sobre la adopción segura de la IA en el sector financiero británico, estructurando su trabajo en tres ejes: los datos, los modelos y la gobernanza.
Este informe, aunque más extenso y en algunos aspectos más detallado, llega a conclusiones muy similares a las del artículo analítico del Banco de España sobre IA en los servicios financieros, de marzo de 2019, cuya lectura también recomendamos.