Dados enganosos representam uma ameaça em áreas sensíveis como a gestão de investimentos ou a concessão de crédito
O que aconteceria se um sistema de inteligência artificial (IA) concebido para prever o futuro do mercado de ações e treinado num período de estabilidade econômica enfrentasse uma crise iminente? Se você não fosse treinado para reconhecer sinais como esse, poderia interpretar um pequeno aumento nas transações como um sinal de crescimento contínuo. O modelo também poderia prever erradamente que os preços das ações irão subir, com graves consequências para o mercado.
Se uma ferramenta de IA que analisa o sentimento do mercado financeiro com base em notícias e publicações nas redes sociais receber treinamento inadequado, poderá interpretar incorretamente expressões ou contextos, o que poderá levar a uma análise que não representa a verdadeira opinião do mercado, levando a decisões de investimento baseadas em informações distorcidas.
Estes exemplos mostram que à medida que a IA se torna mais presente no setor financeiro, não só se abrem caminhos para a inovação e a automação, mas também desafios como as chamadas “alucinações” de IA, um termo que se refere a situações em que modelos de IA geram e disseminam informações falsas ou enganosas.
No mundo fintech, a IA veio para ficar: foi avaliada em 1,12 mil milhões de dólares em 2023, e o rápido crescimento das suas taxas sugere que atingirá 4,37 mil milhões de dólares até 2027, segundo estimativas da Market.us. Porém, segundo análises da startup Vectara, o índice de “alucinação” dos chatbots varia de 3% a 27%, o que se torna um problema para a área financeira, onde decisões precisas são cruciais.
Julián Colombo, CEO e fundador da N5, afirma que a IA pode apresentar alucinações que se referem a erros ou interpretações incorretas de dados, o que “leva a conclusões errôneas”. Julio Blanco, cofundador e CBO da Zentricx, esclarece que basicamente “o resultado é uma invenção do modelo e não é sustentado por informações reais”.
Grandes modelos de linguagem natural (LLMs) – explica Weslley Rosalem, líder sênior de IA da Red Hat – trabalham com base em probabilidades condicionais aprendidas com dados de treinamento. “Eles geram a próxima palavra ou token com base nas distribuições de probabilidade dessas sequências. As alucinações ocorrem quando o modelo produz resultados que são estatisticamente plausíveis, mas não correspondem à realidade factual. Esses modelos capturam relações estatísticas, mas não têm uma verdadeira compreensão do conteúdo”, esclarece.
No centro das atenções
No setor financeiro, estas alucinações podem ocorrer em diversas áreas, como a análise de crédito, onde um modelo pode atribuir a um cliente “um perfil de risco que não reflete a sua verdadeira situação financeira, resultando potencialmente em decisões de concessão de crédito inadequadas”, afirma Colombo.
Blanco acrescenta que, no caso do atendimento ao cliente, podem existir motores de busca de consulta (em substituição de “perguntas frequentes”) e o motor de busca pode fazer recomendações erradas sobre os serviços ou seus custos. Por sua vez, eles podem ser tão delirantes que não resolvem as dúvidas dos clientes de forma alguma.” Os modelos também podem alucinar na geração de relatórios financeiros, no caso de realizarem cálculos complexos para estimar ou prever tendências: “Mais do que prever, estariam adivinhando um futuro sem base real”, ressalta.
No aconselhamento financeiro automatizado, as alucinações podem recomendar estratégias de investimento inadequadas com base em dados ou algoritmos defeituosos. Da mesma forma, podem causar problemas na detecção de fraudes e na gestão de riscos. “As alucinações podem levar a falsos positivos ou negativos, comprometendo a eficácia na identificação de atividades fraudulentas ou na avaliação de riscos”, afirma Rosalem.
A natureza destas alucinações no setor pode levar a perdas financeiras significativas, danos à reputação das instituições e insatisfação dos clientes. “Além disso, decisões baseadas em análises falhas podem aumentar o risco de fraude ou de não conformidade regulatória, expondo as empresas a sanções regulatórias. É crucial implementar medidas de validação e monitorização para garantir que os sistemas de IA funcionam de forma precisa e transparente, minimizando assim os riscos associados”, enfatiza Colombo.
Da mesma forma, as alucinações podem levar a tomadas de decisão ineficientes. “As alucinações podem comprometer a qualidade das decisões estratégicas, afetando a competitividade da instituição no mercado”, acrescentam da Red Hat.
Minimize o risco
Da Zentricx comentam que a principal forma de minimizar a alucinação é que a informação utilizada seja confiável. “Se o modelo recebe informações falsas, ele aprende a repetir as mesmas falsidades. “Sempre recomendamos um projeto de consultoria de dados antes de desenvolver um modelo complexo de IA.”
Quanto à qualidade dos dados, Blanco destaca que é um ponto “central” para reduzir as alucinações. “É necessário garantir que os modelos de IA sejam treinados com dados diversos, equilibrados e bem estruturados. Realize também testes de estresse no modelo de IA”, destaca.
Na Red Hat eles sugerem que estratégias como RAG (Retrieval-Augmented Generation) ou RIG (Retrieval Interleaved Generation) minimizam os efeitos das alucinações em LLMs, uma vez que “combinam modelos de linguagem com sistemas de recuperação de informação”. O LLM é alimentado com informações específicas recuperadas de banco de dados ou documentos relevantes, o que permite ao modelo gerar respostas mais precisas e atualizadas e reduz a dependência exclusiva de dados de treinamento, que podem estar desatualizados ou incompletos.
Métodos e ferramentas de código aberto como TrustyAI e guardrails podem ser implementados com grandes modelos de linguagem (LLMs) para mitigar alucinações e melhorar a confiabilidade.
TrustyAI é um conjunto de ferramentas que visa a explicabilidade e confiabilidade de modelos de IA, fornecendo recursos para interpretar decisões de modelos, identificar vieses e monitorar desempenho. “Ao aplicar o TrustyAI aos LLMs, é possível entender melhor como o modelo gera respostas e identificar possíveis alucinações ou informações incorretas”, afirma Rosalem.
Os Guardrails, por outro lado, são mecanismos que impõem restrições ou verificações nas saídas dos modelos de IA. Podem ser implementadas para garantir que as respostas estejam dentro de um determinado âmbito, sigam políticas específicas ou sejam factualmente corretas.
Colombo acrescenta ainda a necessidade de implementar revisões humanas “para dados críticos e respostas sensíveis podem aumentar a precisão, especialmente em áreas como risco e conformidade”.
Na N5 desenvolveram a solução Fin Sky que combina duas abordagens eficazes. Em primeiro lugar, adotaram um modelo distribuído, que utiliza múltiplas IAs trabalhando em conjunto. Eles implementaram um processo de feedback, onde validam continuamente a entrada, o processamento e a saída de cada consulta do usuário. “Isto permitiu-nos reduzir a taxa de alucinações para 0,3%, face à taxa de 3% a 27% observada nos chatbots, segundo dados da startup Vectara”, esclarece Colombo e encerra sublinhando que as suas IAs são treinadas com dados exclusivos da instituição, evitando consultas a informações aleatórias na internet, o que aumenta ainda mais a precisão das respostas. “Esta combinação de métodos garante que as soluções são fiáveis e seguras tendo em conta um setor onde a informação desempenha um papel crítico.”
