O que aconteceria se um sistema de inteligência artificial (IA) projetado para prever o futuro do mercado de ações e treinado em um período de estabilidade econômica se deparasse com uma crise iminente? Se não foi treinado para reconhecer sinais desse tipo, poderia interpretar um pequeno aumento nas transações como um sinal de crescimento contínuo. O modelo também poderia prever erroneamente que os preços das ações subirão, com sérias consequências no mercado.
Se uma ferramenta com IA que analisa o sentimento do mercado financeiro com base em notícias e postagens em redes sociais recebesse um treinamento inadequado, poderia interpretar incorretamente as expressões ou contextos, levando a uma análise que não representa a verdadeira opinião do mercado, resultando em decisões de investimento baseadas em informações distorcidas.
Esses exemplos mostram que, à medida que a IA se torna mais presente no setor financeiro, não apenas se abrem caminhos para a inovação e automação, mas também surgem desafios, como as chamadas “alucinações” da IA, um termo que se refere a situações em que os modelos de IA geram e disseminam informações falsas ou enganosas.
No mundo das fintechs, a IA chegou para ficar: foi avaliada em US$ 1.120 milhões em 2023; além disso, o rápido crescimento de suas taxas sugere que chegará a US$ 4.370 milhões até 2027, segundo estimativas da Market.us. No entanto, de acordo com análises da startup Vectara, a taxa de “alucinação” dos chatbots varia entre 3% e 27%, o que se torna um problema para a área financeira, onde decisões precisas são cruciais.
Julián Colombo, CEO e fundador da N5, afirma que a IA pode apresentar alucinações que se referem a erros ou interpretações incorretas de dados, o que “leva a conclusões errôneas”. Julio Blanco, cofundador e CBO da Zentricx, esclarece que, basicamente, “o resultado é uma invenção do modelo e não se sustenta em informações reais”.
Os grandes modelos de linguagem natural (LLMs) – conforme explica Weslley Rosalem, líder principal de IA da Red Hat – funcionam baseados em probabilidades condicionais aprendidas a partir dos dados de treinamento. “Eles geram a próxima palavra ou token com base nas distribuições de probabilidade dessas sequências. As alucinações ocorrem quando o modelo produz saídas que são estatisticamente plausíveis, mas não correspondem à realidade fática. Esses modelos capturam relações estatísticas, mas não têm uma compreensão verdadeira do conteúdo”, esclarece.
Na mira
Nas áreas financeiras, essas alucinações podem ocorrer em várias frentes, como na análise de crédito, onde um modelo pode atribuir a um cliente “um perfil de risco que não reflete sua verdadeira situação financeira, o que pode resultar em decisões de concessão de crédito inadequadas”, aponta Colombo.
Blanco acrescenta que, no caso do atendimento ao cliente, podem existir buscadores de consulta (em substituição às “perguntas frequentes”) e o buscador poderia fazer recomendações erradas em relação a serviços ou seus custos. Além disso, poderiam alucinar de tal forma que não resolvessem as consultas dos clientes de maneira alguma. Os modelos também podem alucinar na geração de relatórios financeiros, caso realizem cálculos complexos de estimativa ou previsão de tendências: “Mais do que prever, estariam adivinhando um futuro sem qualquer sustentação real”, pontua.
Na assessoria financeira automatizada, as alucinações podem recomendar estratégias de investimento inadequadas com base em dados ou algoritmos defeituosos. Da mesma forma, podem trazer problemas na detecção de fraudes e na gestão de riscos. “As alucinações podem levar a falsos positivos ou negativos, comprometendo a eficácia na identificação de atividades fraudulentas ou na avaliação de riscos”, indica Rosalem.
A natureza dessas alucinações no setor pode levar a perdas financeiras significativas, danos à reputação das instituições e insatisfação do cliente. “Além disso, decisões baseadas em análises errôneas podem aumentar o risco de fraudes ou descumprimento normativo, expondo as empresas a sanções regulatórias. É crucial implementar medidas de validação e supervisão para garantir que os sistemas de IA operem com precisão e transparência, minimizando assim os riscos associados”, sublinha Colombo.
Além disso, as alucinações podem levar a uma tomada de decisões ineficiente. “As alucinações podem comprometer a qualidade das decisões estratégicas, afetando a competitividade da instituição no mercado”, acrescentam na Red Hat.
Na Zentricx, comentam que a principal maneira de minimizar a alucinação é garantir que a informação utilizada seja confiável. “Se o modelo é alimentado com informações falsas, aprende a repetir as mesmas inverdades. Sempre recomendamos um projeto de consultoria de dados antes de desenvolver um modelo de IA complexo”.
Quanto à qualidade dos dados, Blanco ressalta que é um ponto “central” para reduzir as alucinações. “É necessário garantir que os modelos de IA estejam treinados com dados diversos, equilibrados e bem estruturados. Também é importante realizar testes de estresse no modelo de IA”, destaca.
Na Red Hat, sugerem que estratégias como RAG (Geração Aumentada por Recuperação) ou RIG (Geração Intercalada por Recuperação) minimizam os efeitos das alucinações nos LLMs, pois “combinam modelos de linguagem com sistemas de recuperação de informações”. O LLM é alimentado com informações específicas recuperadas de uma base de dados ou documentos relevantes, permitindo que o modelo gere respostas mais precisas e atualizadas, reduzindo a dependência exclusiva dos dados de treinamento, que podem estar desatualizados ou incompletos.
Métodos e ferramentas de código aberto, como TrustyAI e guardrails, podem ser implementados com modelos de linguagem de grande tamanho (LLMs) para mitigar alucinações e melhorar a confiabilidade.
TrustyAI é um conjunto de ferramentas voltadas para a explicabilidade e confiabilidade de modelos de IA, que fornece recursos para interpretar as decisões dos modelos, identificar vieses e monitorar o desempenho. “Ao aplicar TrustyAI aos LLMs, é possível compreender melhor como o modelo gera respostas e identificar possíveis alucinações ou informações incorretas”, acrescenta Rosalem.
Os guardrails, por sua vez, são mecanismos que impõem restrições ou verificações nas saídas dos modelos de IA. Podem ser implementados para garantir que as respostas estejam dentro de um determinado escopo, sigam políticas específicas ou sejam faticamente corretas.
Revisões humanas
Colombo acrescenta ainda a necessidade de implementar revisões humanas “para dados críticos e respostas sensíveis, o que pode aumentar a precisão, especialmente em áreas como risco e conformidade”.
Na N5, desenvolveram a solução Fin Sky, que combina duas abordagens eficazes. Em primeiro lugar, adotaram um modelo distribuído, que utiliza múltiplas IAs trabalhando em conjunto. Implementaram um processo de feedback, onde validam continuamente a entrada, o processamento e a saída de cada consulta dos usuários.
“Isso nos permitiu reduzir a taxa de alucinações a 0,3%, em comparação com a taxa de 3% a 27% observada em chatbots, segundo dados da startup Vectara”, esclarece Colombo, ressaltando que suas IAs são treinadas com dados exclusivos da instituição, evitando consultas a informações aleatórias da internet, o que aumenta ainda mais a precisão das respostas. “Essa combinação de métodos garante que as soluções sejam confiáveis e seguras, considerando um setor onde a informação desempenha um papel crítico”.
