¿Qué pasaría si un sistema de inteligencia artificial (IA) diseñado para predecir el futuro del mercado de valores y entrenado en un período de estabilidad económica se enfrentara a una crisis inminente? Si no fue entrenado para reconocer señales de este tipo, podría interpretar un pequeño aumento en las transacciones como una señal de crecimiento continuo. El modelo también podría predecir errónea- mente que los precios de las acciones subirán, con serias consecuencias en el mercado.
Si una herramienta con IA que analiza el sentimiento del mercado financiero basándose en noticias y publicaciones en redes sociales recibiera un inadecuado entrena- miento, podría interpretar incorrectamente las expresiones o con- textos, lo que podría conducir a un análisis que no represente la verdadera opinión del mercado, llevando a decisiones de inversión basadas en información distorsionada.
Estos ejemplos muestran que a medida que la IA se hace más presente en el sector financiero, no sólo se abren caminos para la innovación y la automatización, también desafíos como las llamadas «alucinaciones» de IA, término referido a situaciones en las que los modelos de IA generan y diseminan información falsa o engañosa.
En el mundo fintech la IA llegó para quedarse: fue valorada en US$1120 millones en 2023, además, el rápido crecimiento de sus tasas sugiere que llegará a los US$4370 millones para 2027, según estimaciones de Market.us. Sin embargo, según los análisis de la startup Vectara, la tasa de «alucinación» de los chatbots oscila entre un 3% hasta un 27%, lo que se convierte en un problema para el área financiera, donde las decisiones precisas son cruciales.
Julián Colombo, CEO y fundador de N5, sostiene que la ÏA puede presentar alucinaciones que se refieren a errores o interpretaciones incorrectas de datos, lo que «lleva a conclusiones erróneas». Julio Blanco, cofundador & CBO de Zentricx, aclara que básicamente, «el resulta- do es un invento del modelo y no se sustenta con información real».
Los grandes modelos de lengua- je natural (LLMs) -según explica Weslley Rosalem, líder principal de IA de Red Hat funcionan basa dos en probabilidades condiciona- les aprendidas a partir de los datos de entrenamiento. «Generan la siguiente palabra o token en función de las distribuciones de probabilidad de esas secuencias. Las alucinaciones ocurren cuando el modelo produce salidas que son estadísticamente plausibles pero no corresponden a la realidad factual. Estos modelos capturan relaciones estadísticas, pero no tienen una comprensión verdadera del contenido», aclara.
En la mira
En las áreas financieras, estas alucinaciones pueden ocurrir en varias áreas, como el análisis de crédito, donde un modelo puede asignar a un cliente «un perfil de riesgo que no refleja su verdadera situación financiera, lo que potencialmente resulta en decisiones de concesión de crédito inadecuadas», apunta Colombo.
Blanco suma que en el caso de la atención del cliente, pueden existir buscadores de consulta (en reemplazo de las «preguntas frecuentes») y el buscador podría realizar recomendaciones erróneas en cuanto a servicios o costos de los mismos. A su vez, podrían alucinar de tal manera de no resolver las consultas de los clientes de ninguna manera». Los modelos también pueden alucinar en la generación de reportes financieros, en el caso de realizar cálculos complejos de estimación o predicción de tendencias: «Más que prediciendo, estarían adivinando un futuro sin ningún sustento real», puntualiza.
En asesoría financiera automatizada las alucinaciones pueden recomendar estrategias de inversión inadecuadas basadas en datos o algoritmos defectuosos. Asimismo, pueden traer problemas en la detección de fraudes y gestión de riesgos. «Las alucinaciones pue- den llevar a falsos positivos o negativos, comprometiendo la eficacia en la identificación de actividades fraudulentas o en la evaluación de riesgos», indica Rosalem.
La naturaleza de estas alucinaciones en el sector, puede llevar a pérdidas financieras significativas, daños a la reputación de las instituciones ya la insatisfacción del cliente. «Además, las decisiones basadas en análisis erróneos pueden aumentar el riesgo de fraudes o incumplimiento normativo, exponiendo a las empresas a sanciones regulatorias. Es crucial implementar medidas de validación y supervisión paragarantizar que los sistemas de IA operen con precisión y transparencia, minimizando así los riesgos asociados», subraya Colombo.
Asimismo, las alucinaciones pue- den conducir a una toma de decisiones ineficiente. «Las alucinaciones pueden comprometer la calidad de las decisiones estratégicas, afectan- do la competitividad de la institución en el mercado», agregan desde Red Hat.
Desde Zentricx comentan que la principal manera de minimizar la alucinación es que la información que se utilice sea fehaciente. “Si el modelose alimenta de información falsa, aprende a repetir las mismas falsedades. Siempre recomendamos un proyecto de asesoramiento de datos antes de desarrollar un modelo de IA complejo».
Respecto de la calidad de los da- tos, Blanco resalta que es un punto «central» para disminuir las alucinaciones. «Es necesario asegurarse que los modelos de IA estén entre- nados con datos diversos, equilibrados y bien estructurados. También realizar pruebas de estrés al modelo de IA», resalta.
En Red Hat sugieren que estrategias como RAG (Retrieval-Augmen-ted Generation) o RIG (Retrieval In- terleaved Generation) minimizan los efectos de las alucinaciones en los LLMs, ya que «combinan modelos de lenguaje con sistemas de recuperación de información». El LLM es alimentado con información específica recuperada de una base de datos o documentos relevantes, lo que permite que el modelo genere respuestas más precisas y actualizadas y se disminuye la dependencia exclusiva de los datos de entrenamiento, que pueden estar desactualizados o incompletos.
Métodos y herramientas de códi-go abierto como TrustyAlyguarda rraíles pueden ser implementados con modelos de lenguaje de gran ta- maño (LLMs) para mitigar alucina ciones y mejorar la confiabilidad.
TrustyAI es un conjunto de herramientas orientadas a la explicabilidad y confiabilidad de modelos de IA, que proporciona recursos para interpretar las decisiones de los modelos, identificar sesgos y monitorear el rendimiento. «Al aplicar TrustyAI aLLMs, es posible comprender mejor cómo el modelo genera respuestas e identificar posibles alucinaciones o información incorrecta», aporta Rosalem.
Los guardarraíles por su parte, son mecanismos que imponen restricciones o verificaciones en las salidas de los modelos de IA. Pueden ser implementados para garantizar que las respuestas estén dentro de un determinado alcance, sigan políticas específicas o sean fácticamente correctas.
Revisiones humanas
Colombo suma además la necesidad de implementar revisiones humanas «para datos críticos y res- puestas sensibles puede aumentar la precisión, especialmente en áreas como riesgo y cumplimiento».
En N5 desarrollaron la solución Fin Sky, que combina dos enfoques eficaces. En primer lugar, adopta- ron un modelo distribuido, que utiliza múltiples IA trabajando en conjunto. Implementaron un pro- ceso de retroalimentación, donde validan continuamente la entrada, el procesamiento y la salida de cada consulta de los usuarios.
«Esto nos ha permitido reducir la tasa de alucinaciones a 0,3%, en comparación con la tasa del 3% al 27% observada en chatbots, según datos de la startup Vectara», aclara Colombo y cierra subrayando que sus IA están entrenadas con datos exclusivos de la institución, evitan- do consultas a información aleatoria de internet, lo que aumenta aún más la precisión de las respuestas. «Esta combinación de métodos garantiza que las soluciones sean con- fiables y seguras teniendo en cuenta un sector donde la información juega un rol crítico».
