{"id":12954,"date":"2024-11-04T18:24:07","date_gmt":"2024-11-04T21:24:07","guid":{"rendered":"https:\/\/blog.n5now.com\/los-peligros-de-la-ia-como-prevenir-las-alucinaciones-en-las-finanzas\/"},"modified":"2024-11-04T18:26:30","modified_gmt":"2024-11-04T21:26:30","slug":"los-peligros-de-la-ia-como-prevenir-las-alucinaciones-en-las-finanzas","status":"publish","type":"post","link":"https:\/\/blog.n5now.com\/pt-br\/los-peligros-de-la-ia-como-prevenir-las-alucinaciones-en-las-finanzas\/","title":{"rendered":"Os perigos da IA: Como prevenir as “alucina\u00e7\u00f5es” nas finan\u00e7as"},"content":{"rendered":"\n

O que aconteceria se um sistema de intelig\u00eancia artificial (IA) projetado para prever o futuro do mercado de a\u00e7\u00f5es e treinado em um per\u00edodo de estabilidade econ\u00f4mica se deparasse com uma crise iminente? Se n\u00e3o foi treinado para reconhecer sinais desse tipo, poderia interpretar um pequeno aumento nas transa\u00e7\u00f5es como um sinal de crescimento cont\u00ednuo. O modelo tamb\u00e9m poderia prever erroneamente que os pre\u00e7os das a\u00e7\u00f5es subir\u00e3o, com s\u00e9rias consequ\u00eancias no mercado.<\/p>\n\n\n\n

Se uma ferramenta com IA que analisa o sentimento do mercado financeiro com base em not\u00edcias e postagens em redes sociais recebesse um treinamento inadequado, poderia interpretar incorretamente as express\u00f5es ou contextos, levando a uma an\u00e1lise que n\u00e3o representa a verdadeira opini\u00e3o do mercado, resultando em decis\u00f5es de investimento baseadas em informa\u00e7\u00f5es distorcidas.<\/p>\n\n\n\n

Esses exemplos mostram que, \u00e0 medida que a IA se torna mais presente no setor financeiro, n\u00e3o apenas se abrem caminhos para a inova\u00e7\u00e3o e automa\u00e7\u00e3o, mas tamb\u00e9m surgem desafios, como as chamadas “alucina\u00e7\u00f5es” da IA, um termo que se refere a situa\u00e7\u00f5es em que os modelos de IA geram e disseminam informa\u00e7\u00f5es falsas ou enganosas.<\/p>\n\n\n\n

No mundo das fintechs, a IA chegou para ficar: foi avaliada em US$ 1.120 milh\u00f5es em 2023; al\u00e9m disso, o r\u00e1pido crescimento de suas taxas sugere que chegar\u00e1 a US$ 4.370 milh\u00f5es at\u00e9 2027, segundo estimativas da Market.us. No entanto, de acordo com an\u00e1lises da startup Vectara, a taxa de “alucina\u00e7\u00e3o” dos chatbots varia entre 3% e 27%, o que se torna um problema para a \u00e1rea financeira, onde decis\u00f5es precisas s\u00e3o cruciais.<\/p>\n\n\n\n

Juli\u00e1n Colombo, CEO e fundador da N5, afirma que a IA pode apresentar alucina\u00e7\u00f5es que se referem a erros ou interpreta\u00e7\u00f5es incorretas de dados, o que “leva a conclus\u00f5es err\u00f4neas”. Julio Blanco, cofundador e CBO da Zentricx, esclarece que, basicamente, “o resultado \u00e9 uma inven\u00e7\u00e3o do modelo e n\u00e3o se sustenta em informa\u00e7\u00f5es reais”.<\/p>\n\n\n\n

Os grandes modelos de linguagem natural (LLMs) – conforme explica Weslley Rosalem, l\u00edder principal de IA da Red Hat – funcionam baseados em probabilidades condicionais aprendidas a partir dos dados de treinamento. “Eles geram a pr\u00f3xima palavra ou token com base nas distribui\u00e7\u00f5es de probabilidade dessas sequ\u00eancias. As alucina\u00e7\u00f5es ocorrem quando o modelo produz sa\u00eddas que s\u00e3o estatisticamente plaus\u00edveis, mas n\u00e3o correspondem \u00e0 realidade f\u00e1tica. Esses modelos capturam rela\u00e7\u00f5es estat\u00edsticas, mas n\u00e3o t\u00eam uma compreens\u00e3o verdadeira do conte\u00fado”, esclarece.<\/p>\n\n\n\n

Na mira<\/strong><\/p>\n\n\n\n

Nas \u00e1reas financeiras, essas alucina\u00e7\u00f5es podem ocorrer em v\u00e1rias frentes, como na an\u00e1lise de cr\u00e9dito, onde um modelo pode atribuir a um cliente “um perfil de risco que n\u00e3o reflete sua verdadeira situa\u00e7\u00e3o financeira, o que pode resultar em decis\u00f5es de concess\u00e3o de cr\u00e9dito inadequadas”, aponta Colombo.<\/p>\n\n\n\n

Blanco acrescenta que, no caso do atendimento ao cliente, podem existir buscadores de consulta (em substitui\u00e7\u00e3o \u00e0s “perguntas frequentes”) e o buscador poderia fazer recomenda\u00e7\u00f5es erradas em rela\u00e7\u00e3o a servi\u00e7os ou seus custos. Al\u00e9m disso, poderiam alucinar de tal forma que n\u00e3o resolvessem as consultas dos clientes de maneira alguma. Os modelos tamb\u00e9m podem alucinar na gera\u00e7\u00e3o de relat\u00f3rios financeiros, caso realizem c\u00e1lculos complexos de estimativa ou previs\u00e3o de tend\u00eancias: “Mais do que prever, estariam adivinhando um futuro sem qualquer sustenta\u00e7\u00e3o real”, pontua.<\/p>\n\n\n\n

Na assessoria financeira automatizada, as alucina\u00e7\u00f5es podem recomendar estrat\u00e9gias de investimento inadequadas com base em dados ou algoritmos defeituosos. Da mesma forma, podem trazer problemas na detec\u00e7\u00e3o de fraudes e na gest\u00e3o de riscos. “As alucina\u00e7\u00f5es podem levar a falsos positivos ou negativos, comprometendo a efic\u00e1cia na identifica\u00e7\u00e3o de atividades fraudulentas ou na avalia\u00e7\u00e3o de riscos”, indica Rosalem.<\/p>\n\n\n\n

A natureza dessas alucina\u00e7\u00f5es no setor pode levar a perdas financeiras significativas, danos \u00e0 reputa\u00e7\u00e3o das institui\u00e7\u00f5es e insatisfa\u00e7\u00e3o do cliente. “Al\u00e9m disso, decis\u00f5es baseadas em an\u00e1lises err\u00f4neas podem aumentar o risco de fraudes ou descumprimento normativo, expondo as empresas a san\u00e7\u00f5es regulat\u00f3rias. \u00c9 crucial implementar medidas de valida\u00e7\u00e3o e supervis\u00e3o para garantir que os sistemas de IA operem com precis\u00e3o e transpar\u00eancia, minimizando assim os riscos associados”, sublinha Colombo.<\/p>\n\n\n\n

Al\u00e9m disso, as alucina\u00e7\u00f5es podem levar a uma tomada de decis\u00f5es ineficiente. “As alucina\u00e7\u00f5es podem comprometer a qualidade das decis\u00f5es estrat\u00e9gicas, afetando a competitividade da institui\u00e7\u00e3o no mercado”, acrescentam na Red Hat.<\/p>\n\n\n\n

Na Zentricx, comentam que a principal maneira de minimizar a alucina\u00e7\u00e3o \u00e9 garantir que a informa\u00e7\u00e3o utilizada seja confi\u00e1vel. \u201cSe o modelo \u00e9 alimentado com informa\u00e7\u00f5es falsas, aprende a repetir as mesmas inverdades. Sempre recomendamos um projeto de consultoria de dados antes de desenvolver um modelo de IA complexo”.<\/p>\n\n\n\n

Quanto \u00e0 qualidade dos dados, Blanco ressalta que \u00e9 um ponto “central” para reduzir as alucina\u00e7\u00f5es. “\u00c9 necess\u00e1rio garantir que os modelos de IA estejam treinados com dados diversos, equilibrados e bem estruturados. Tamb\u00e9m \u00e9 importante realizar testes de estresse no modelo de IA”, destaca.<\/p>\n\n\n\n

Na Red Hat, sugerem que estrat\u00e9gias como RAG (Gera\u00e7\u00e3o Aumentada por Recupera\u00e7\u00e3o) ou RIG (Gera\u00e7\u00e3o Intercalada por Recupera\u00e7\u00e3o) minimizam os efeitos das alucina\u00e7\u00f5es nos LLMs, pois “combinam modelos de linguagem com sistemas de recupera\u00e7\u00e3o de informa\u00e7\u00f5es”. O LLM \u00e9 alimentado com informa\u00e7\u00f5es espec\u00edficas recuperadas de uma base de dados ou documentos relevantes, permitindo que o modelo gere respostas mais precisas e atualizadas, reduzindo a depend\u00eancia exclusiva dos dados de treinamento, que podem estar desatualizados ou incompletos.<\/p>\n\n\n\n

M\u00e9todos e ferramentas de c\u00f3digo aberto, como TrustyAI e guardrails, podem ser implementados com modelos de linguagem de grande tamanho (LLMs) para mitigar alucina\u00e7\u00f5es e melhorar a confiabilidade.<\/p>\n\n\n\n

TrustyAI \u00e9 um conjunto de ferramentas voltadas para a explicabilidade e confiabilidade de modelos de IA, que fornece recursos para interpretar as decis\u00f5es dos modelos, identificar vieses e monitorar o desempenho. “Ao aplicar TrustyAI aos LLMs, \u00e9 poss\u00edvel compreender melhor como o modelo gera respostas e identificar poss\u00edveis alucina\u00e7\u00f5es ou informa\u00e7\u00f5es incorretas”, acrescenta Rosalem.<\/p>\n\n\n\n

Os guardrails, por sua vez, s\u00e3o mecanismos que imp\u00f5em restri\u00e7\u00f5es ou verifica\u00e7\u00f5es nas sa\u00eddas dos modelos de IA. Podem ser implementados para garantir que as respostas estejam dentro de um determinado escopo, sigam pol\u00edticas espec\u00edficas ou sejam faticamente corretas.<\/p>\n\n\n\n

Revis\u00f5es humanas<\/strong><\/p>\n\n\n\n

Colombo acrescenta ainda a necessidade de implementar revis\u00f5es humanas “para dados cr\u00edticos e respostas sens\u00edveis, o que pode aumentar a precis\u00e3o, especialmente em \u00e1reas como risco e conformidade”.<\/p>\n\n\n\n

Na N5, desenvolveram a solu\u00e7\u00e3o Fin Sky, que combina duas abordagens eficazes. Em primeiro lugar, adotaram um modelo distribu\u00eddo, que utiliza m\u00faltiplas IAs trabalhando em conjunto. Implementaram um processo de feedback, onde validam continuamente a entrada, o processamento e a sa\u00edda de cada consulta dos usu\u00e1rios.<\/p>\n\n\n\n

“Isso nos permitiu reduzir a taxa de alucina\u00e7\u00f5es a 0,3%, em compara\u00e7\u00e3o com a taxa de 3% a 27% observada em chatbots, segundo dados da startup Vectara”, esclarece Colombo, ressaltando que suas IAs s\u00e3o treinadas com dados exclusivos da institui\u00e7\u00e3o, evitando consultas a informa\u00e7\u00f5es aleat\u00f3rias da internet, o que aumenta ainda mais a precis\u00e3o das respostas. “Essa combina\u00e7\u00e3o de m\u00e9todos garante que as solu\u00e7\u00f5es sejam confi\u00e1veis e seguras, considerando um setor onde a informa\u00e7\u00e3o desempenha um papel cr\u00edtico”.<\/p>\n\n\n\n

\"\"<\/figure>\n","protected":false},"excerpt":{"rendered":"

O que aconteceria se um sistema de intelig\u00eancia artificial (IA) projetado para prever o futuro do mercado de a\u00e7\u00f5es e treinado em um per\u00edodo de estabilidade econ\u00f4mica se deparasse com uma crise iminente? Se n\u00e3o foi treinado para reconhecer sinais desse tipo, poderia interpretar um pequeno aumento nas transa\u00e7\u00f5es como um sinal de crescimento cont\u00ednuo. […]<\/p>\n","protected":false},"author":2,"featured_media":12961,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_seopress_robots_primary_cat":"none","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":""},"categories":[234,228],"tags":[],"_links":{"self":[{"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/posts\/12954"}],"collection":[{"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/comments?post=12954"}],"version-history":[{"count":2,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/posts\/12954\/revisions"}],"predecessor-version":[{"id":12957,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/posts\/12954\/revisions\/12957"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/media\/12961"}],"wp:attachment":[{"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/media?parent=12954"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/categories?post=12954"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/tags?post=12954"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}