Los datos engañosos suponen una amenaza en áreas sensibles como la gestión de inversiones o la concesión de créditos
¿Qué pasaría si un sistema de inteligencia artificial (IA) diseñado para predecir el futuro del mercado de valores y entrenado en un período de estabilidad económica se enfrentara a una crisis inminente? Si no estás entrenado para reconocer señales como esta, podrías interpretar un pequeño aumento en las transacciones como una señal de crecimiento continuo. El modelo también podría predecir erróneamente que los precios de las acciones subirán, con graves consecuencias para el mercado.
Si una herramienta de IA que analiza el sentimiento de los mercados financieros a partir de noticias y publicaciones en redes sociales recibe una formación inadecuada, puede malinterpretar expresiones o contextos, lo que podría llevar a un análisis que no representa la verdadera opinión del mercado, lo que lleva a decisiones de inversión basadas en información distorsionada.
Estos ejemplos muestran que, a medida que la IA se hace más presente en el sector financiero, no solo se abren vías para la innovación y la automatización, sino también desafíos como las llamadas «alucinaciones» de IA, un término que se refiere a situaciones en las que los modelos de IA generan y difunden información falsa o engañosa.
En el mundo fintech, la IA ha llegado para quedarse: en 2023 se valoró en 1.120 millones de dólares, y sus rápidos ritmos de crecimiento apuntan a que alcanzará los 4.370 millones de dólares en 2027, según Market.us estimaciones. Sin embargo, según un análisis de la startup Vectara, la tasa de «alucinaciones» de los chatbots oscila entre el 3% y el 27%, lo que se convierte en un problema para el área financiera, donde las decisiones precisas son cruciales.
Julián Colombo, CEO y fundador de N5, afirma que la IA puede presentar alucinaciones que hacen referencia a errores o interpretaciones incorrectas de los datos, lo que «lleva a conclusiones erróneas». Julio Blanco, cofundador y CBO de Zentricx, aclara que básicamente «el resultado es una invención del modelo y no está respaldado por información real».
Los grandes modelos de lenguaje natural (LLM, por sus siglas en inglés)», explica Weslley Rosalem, líder senior de IA en Red Hat, trabajan en base a probabilidades condicionales aprendidas de los datos de entrenamiento. «Generan la siguiente palabra o token en función de las distribuciones de probabilidad de esas secuencias. Las alucinaciones ocurren cuando el modelo produce resultados que son estadísticamente plausibles pero que no corresponden a la realidad fáctica. Estos modelos capturan relaciones estadísticas, pero no tienen una verdadera comprensión del contenido», aclara.
En el punto de mira
En el sector financiero, estas alucinaciones pueden ocurrir en varias áreas, como el análisis de crédito, donde un modelo puede asignar a un cliente «un perfil de riesgo que no refleja su verdadera situación financiera, lo que puede resultar en decisiones de concesión de créditos inadecuadas», dice Colombo.
Blanco añade que, en el caso de la atención al cliente, puede haber buscadores de consultas (en sustitución de «preguntas frecuentes») y el buscador puede hacer recomendaciones erróneas sobre los servicios o sus costes. A su vez, pueden ser tan delirantes que no resuelven las consultas de los clientes en absoluto». Los modelos también pueden alucinar en la generación de informes financieros, en el caso de realizar cálculos complejos para estimar o predecir tendencias: «Más que predecir, estarían adivinando un futuro sin ninguna base real», señala.
En el asesoramiento financiero automatizado, las alucinaciones pueden recomendar estrategias de inversión inapropiadas basadas en datos o algoritmos defectuosos. Asimismo, pueden causar problemas en la detección de fraudes y la gestión de riesgos. «Las alucinaciones pueden provocar falsos positivos o negativos, comprometiendo la eficacia de la identificación de actividades fraudulentas o la evaluación de riesgos», dice Roselem.
La naturaleza de estas alucinaciones en el sector puede provocar importantes pérdidas financieras, daños a la reputación de las instituciones e insatisfacción de los clientes. «Además, las decisiones basadas en análisis defectuosos pueden aumentar el riesgo de fraude o incumplimiento regulatorio, exponiendo a las empresas a sanciones regulatorias. Es crucial implementar medidas de validación y monitoreo para garantizar que los sistemas de IA funcionen de manera precisa y transparente, minimizando así los riesgos asociados», enfatiza Colombo.
Del mismo modo, las alucinaciones pueden conducir a una toma de decisiones ineficiente. «Las alucinaciones pueden comprometer la calidad de las decisiones estratégicas, afectando la competitividad de la institución en el mercado», añaden desde Red Hat.
Minimice el riesgo
Desde Zentricx comentan que la principal forma de minimizar las alucinaciones es que la información utilizada sea fiable. «Si el modelo recibe información falsa, aprende a repetir las mismas falsedades». Siempre recomendamos un proyecto de consultoría de datos antes de desarrollar un modelo de IA complejo».
En cuanto a la calidad de los datos, Blanco señala que es un punto «central» para reducir las alucinaciones. «Es necesario garantizar que los modelos de IA se entrenen con datos diversos, equilibrados y bien estructurados. También hacer pruebas de estrés en el modelo de IA», destaca.
Desde Red Hat sugieren que estrategias como RAG (Retrieval-Augmented Generation) o RIG (Retrieval Interleaved Generation) minimizan los efectos de las alucinaciones en los LLM, ya que «combinan modelos de lenguaje con sistemas de recuperación de información». El LLM se alimenta con información específica recuperada de bases de datos o documentos relevantes, lo que permite que el modelo genere respuestas más precisas y actualizadas y reduce la dependencia exclusiva de los datos de entrenamiento, que pueden estar desactualizados o incompletos.
Los métodos y herramientas de código abierto, como TrustyAI y las barandillas, pueden implementarse con grandes modelos de lenguaje (LLM) para mitigar las alucinaciones y mejorar la fiabilidad.
TrustyAI es un conjunto de herramientas que se centra en la explicabilidad y fiabilidad de los modelos de IA, proporcionando capacidades para interpretar las decisiones de los modelos, identificar sesgos y supervisar el rendimiento. «Al aplicar TrustyAI a los LLM, es posible comprender mejor cómo el modelo genera respuestas e identificar posibles alucinaciones o información incorrecta», dice Rosalem.
Las barandillas, por otro lado, son mecanismos que imponen restricciones o controles a los resultados de los modelos de IA. Se pueden implementar para garantizar que las respuestas estén dentro de un determinado alcance, sigan políticas específicas o sean objetivamente correctas.
Colombo añade además la necesidad de implementar revisiones humanas «para los datos críticos y las respuestas sensibles pueden aumentar la precisión, especialmente en áreas como el riesgo y el cumplimiento».
En N5 han desarrollado la solución Fin Sky que combina dos enfoques efectivos. En primer lugar, adoptaron un modelo distribuido, que utiliza varias IA que trabajan juntas. Han implementado un proceso de retroalimentación, en el que validan continuamente la entrada, el procesamiento y la salida de cada consulta del usuario. «Esto nos permitió reducir la tasa de alucinaciones al 0,3%, frente a la tasa del 3% al 27% observada en los chatbots, según datos de la startup Vectara», explica Colombo y cierra destacando que sus IA están entrenadas con datos exclusivos de la institución, evitando consultas a información aleatoria en internet, lo que aumenta aún más la precisión de las respuestas. «Esta combinación de métodos garantiza que las soluciones sean fiables y seguras en un sector en el que la información desempeña un papel fundamental».
