{"id":13003,"date":"2024-11-12T11:46:47","date_gmt":"2024-11-12T14:46:47","guid":{"rendered":"https:\/\/blog.n5now.com\/?p=13003"},"modified":"2024-11-12T11:47:31","modified_gmt":"2024-11-12T14:47:31","slug":"perigos-da-ia-como-minimizar-os-riscos-de-alucinacoes-e-informacoes-falsas-no-setor-financeiro","status":"publish","type":"post","link":"https:\/\/blog.n5now.com\/pt-br\/perigos-da-ia-como-minimizar-os-riscos-de-alucinacoes-e-informacoes-falsas-no-setor-financeiro\/","title":{"rendered":"Perigos da IA: como minimizar os riscos de ‘alucina\u00e7\u00f5es’ e informa\u00e7\u00f5es falsas no setor financeiro"},"content":{"rendered":"\n

Dados enganosos representam uma amea\u00e7a em \u00e1reas sens\u00edveis como a gest\u00e3o de investimentos ou a concess\u00e3o de cr\u00e9dito<\/h2>\n\n\n\n
\"\"<\/figure>\n\n\n\n

O que aconteceria se um sistema de intelig\u00eancia artificial (IA) concebido para prever o futuro do mercado de a\u00e7\u00f5es e treinado num per\u00edodo de estabilidade econ\u00f4mica enfrentasse uma crise iminente? Se voc\u00ea n\u00e3o fosse treinado para reconhecer sinais como esse, poderia interpretar um pequeno aumento nas transa\u00e7\u00f5es como um sinal de crescimento cont\u00ednuo. O modelo tamb\u00e9m poderia prever erradamente que os pre\u00e7os das a\u00e7\u00f5es ir\u00e3o subir, com graves consequ\u00eancias para o mercado.<\/p>\n\n\n\n

Se uma ferramenta de IA que analisa o sentimento do mercado financeiro com base em not\u00edcias e publica\u00e7\u00f5es nas redes sociais receber treinamento inadequado, poder\u00e1 interpretar incorretamente express\u00f5es ou contextos, o que poder\u00e1 levar a uma an\u00e1lise que n\u00e3o representa a verdadeira opini\u00e3o do mercado, levando a decis\u00f5es de investimento baseadas em informa\u00e7\u00f5es distorcidas.<\/p>\n\n\n\n

Estes exemplos mostram que \u00e0 medida que a IA se torna mais presente no setor financeiro, n\u00e3o s\u00f3 se abrem caminhos para a inova\u00e7\u00e3o e a automa\u00e7\u00e3o, mas tamb\u00e9m desafios como as chamadas \u201calucina\u00e7\u00f5es\u201d de IA, um termo que se refere a situa\u00e7\u00f5es em que modelos de IA geram e disseminam informa\u00e7\u00f5es falsas ou enganosas.<\/p>\n\n\n\n

No mundo fintech, a IA veio para ficar: foi avaliada em 1,12 mil milh\u00f5es de d\u00f3lares em 2023, e o r\u00e1pido crescimento das suas taxas sugere que atingir\u00e1 4,37 mil milh\u00f5es de d\u00f3lares at\u00e9 2027, segundo estimativas da Market.us. Por\u00e9m, segundo an\u00e1lises da startup Vectara, o \u00edndice de \u201calucina\u00e7\u00e3o\u201d dos chatbots varia de 3% a 27%, o que se torna um problema para a \u00e1rea financeira, onde decis\u00f5es precisas s\u00e3o cruciais.<\/p>\n\n\n\n

Juli\u00e1n Colombo, CEO e fundador da N5, afirma que a IA pode apresentar alucina\u00e7\u00f5es que se referem a erros ou interpreta\u00e7\u00f5es incorretas de dados, o que \u201cleva a conclus\u00f5es err\u00f4neas\u201d. Julio Blanco, cofundador e CBO da Zentricx, esclarece que basicamente \u201co resultado \u00e9 uma inven\u00e7\u00e3o do modelo e n\u00e3o \u00e9 sustentado por informa\u00e7\u00f5es reais\u201d.<\/p>\n\n\n\n

Grandes modelos de linguagem natural (LLMs) \u2013 explica Weslley Rosalem, l\u00edder s\u00eanior de IA da Red Hat \u2013 trabalham com base em probabilidades condicionais aprendidas com dados de treinamento. \u201cEles geram a pr\u00f3xima palavra ou token com base nas distribui\u00e7\u00f5es de probabilidade dessas sequ\u00eancias. As alucina\u00e7\u00f5es ocorrem quando o modelo produz resultados que s\u00e3o estatisticamente plaus\u00edveis, mas n\u00e3o correspondem \u00e0 realidade factual. Esses modelos capturam rela\u00e7\u00f5es estat\u00edsticas, mas n\u00e3o t\u00eam uma verdadeira compreens\u00e3o do conte\u00fado\u201d, esclarece.<\/p>\n\n\n\n

No centro das aten\u00e7\u00f5es<\/h2>\n\n\n\n

No setor financeiro, estas alucina\u00e7\u00f5es podem ocorrer em diversas \u00e1reas, como a an\u00e1lise de cr\u00e9dito, onde um modelo pode atribuir a um cliente \u201cum perfil de risco que n\u00e3o reflete a sua verdadeira situa\u00e7\u00e3o financeira, resultando potencialmente em decis\u00f5es de concess\u00e3o de cr\u00e9dito inadequadas\u201d, afirma Colombo.<\/p>\n\n\n\n

Blanco acrescenta que, no caso do atendimento ao cliente, podem existir motores de busca de consulta (em substitui\u00e7\u00e3o de \u201cperguntas frequentes\u201d) e o motor de busca pode fazer recomenda\u00e7\u00f5es erradas sobre os servi\u00e7os ou seus custos. Por sua vez, eles podem ser t\u00e3o delirantes que n\u00e3o resolvem as d\u00favidas dos clientes de forma alguma.\u201d Os modelos tamb\u00e9m podem alucinar na gera\u00e7\u00e3o de relat\u00f3rios financeiros, no caso de realizarem c\u00e1lculos complexos para estimar ou prever tend\u00eancias: \u201cMais do que prever, estariam adivinhando um futuro sem base real\u201d, ressalta.<\/p>\n\n\n\n

No aconselhamento financeiro automatizado, as alucina\u00e7\u00f5es podem recomendar estrat\u00e9gias de investimento inadequadas com base em dados ou algoritmos defeituosos. Da mesma forma, podem causar problemas na detec\u00e7\u00e3o de fraudes e na gest\u00e3o de riscos. \u201cAs alucina\u00e7\u00f5es podem levar a falsos positivos ou negativos, comprometendo a efic\u00e1cia na identifica\u00e7\u00e3o de atividades fraudulentas ou na avalia\u00e7\u00e3o de riscos\u201d, afirma Rosalem.<\/p>\n\n\n\n

A natureza destas alucina\u00e7\u00f5es no setor pode levar a perdas financeiras significativas, danos \u00e0 reputa\u00e7\u00e3o das institui\u00e7\u00f5es e insatisfa\u00e7\u00e3o dos clientes. \u201cAl\u00e9m disso, decis\u00f5es baseadas em an\u00e1lises falhas podem aumentar o risco de fraude ou de n\u00e3o conformidade regulat\u00f3ria, expondo as empresas a san\u00e7\u00f5es regulat\u00f3rias. \u00c9 crucial implementar medidas de valida\u00e7\u00e3o e monitoriza\u00e7\u00e3o para garantir que os sistemas de IA funcionam de forma precisa e transparente, minimizando assim os riscos associados\u201d, enfatiza Colombo.<\/p>\n\n\n\n

Da mesma forma, as alucina\u00e7\u00f5es podem levar a tomadas de decis\u00e3o ineficientes. \u201cAs alucina\u00e7\u00f5es podem comprometer a qualidade das decis\u00f5es estrat\u00e9gicas, afetando a competitividade da institui\u00e7\u00e3o no mercado\u201d, acrescentam da Red Hat.<\/p>\n\n\n\n

Minimize o risco<\/h2>\n\n\n\n

Da Zentricx comentam que a principal forma de minimizar a alucina\u00e7\u00e3o \u00e9 que a informa\u00e7\u00e3o utilizada seja confi\u00e1vel. \u201cSe o modelo recebe informa\u00e7\u00f5es falsas, ele aprende a repetir as mesmas falsidades. \u201cSempre recomendamos um projeto de consultoria de dados antes de desenvolver um modelo complexo de IA.\u201d<\/p>\n\n\n\n

Quanto \u00e0 qualidade dos dados, Blanco destaca que \u00e9 um ponto \u201ccentral\u201d para reduzir as alucina\u00e7\u00f5es. \u201c\u00c9 necess\u00e1rio garantir que os modelos de IA sejam treinados com dados diversos, equilibrados e bem estruturados. Realize tamb\u00e9m testes de estresse no modelo de IA\u201d, destaca.<\/p>\n\n\n\n

Na Red Hat eles sugerem que estrat\u00e9gias como RAG (Retrieval-Augmented Generation) ou RIG (Retrieval Interleaved Generation) minimizam os efeitos das alucina\u00e7\u00f5es em LLMs, uma vez que \u201ccombinam modelos de linguagem com sistemas de recupera\u00e7\u00e3o de informa\u00e7\u00e3o\u201d. O LLM \u00e9 alimentado com informa\u00e7\u00f5es espec\u00edficas recuperadas de banco de dados ou documentos relevantes, o que permite ao modelo gerar respostas mais precisas e atualizadas e reduz a depend\u00eancia exclusiva de dados de treinamento, que podem estar desatualizados ou incompletos.<\/p>\n\n\n\n

M\u00e9todos e ferramentas de c\u00f3digo aberto como TrustyAI e guardrails podem ser implementados com grandes modelos de linguagem (LLMs) para mitigar alucina\u00e7\u00f5es e melhorar a confiabilidade.<\/p>\n\n\n\n

TrustyAI \u00e9 um conjunto de ferramentas que visa a explicabilidade e confiabilidade de modelos de IA, fornecendo recursos para interpretar decis\u00f5es de modelos, identificar vieses e monitorar desempenho. \u201cAo aplicar o TrustyAI aos LLMs, \u00e9 poss\u00edvel entender melhor como o modelo gera respostas e identificar poss\u00edveis alucina\u00e7\u00f5es ou informa\u00e7\u00f5es incorretas\u201d, afirma Rosalem.<\/p>\n\n\n\n

Os Guardrails, por outro lado, s\u00e3o mecanismos que imp\u00f5em restri\u00e7\u00f5es ou verifica\u00e7\u00f5es nas sa\u00eddas dos modelos de IA. Podem ser implementadas para garantir que as respostas estejam dentro de um determinado \u00e2mbito, sigam pol\u00edticas espec\u00edficas ou sejam factualmente corretas.<\/p>\n\n\n\n

Colombo acrescenta ainda a necessidade de implementar revis\u00f5es humanas \u201cpara dados cr\u00edticos e respostas sens\u00edveis podem aumentar a precis\u00e3o, especialmente em \u00e1reas como risco e conformidade\u201d.<\/p>\n\n\n\n

Na N5 desenvolveram a solu\u00e7\u00e3o Fin Sky que combina duas abordagens eficazes. Em primeiro lugar, adotaram um modelo distribu\u00eddo, que utiliza m\u00faltiplas IAs trabalhando em conjunto. Eles implementaram um processo de feedback, onde validam continuamente a entrada, o processamento e a sa\u00edda de cada consulta do usu\u00e1rio. \u201cIsto permitiu-nos reduzir a taxa de alucina\u00e7\u00f5es para 0,3%, face \u00e0 taxa de 3% a 27% observada nos chatbots, segundo dados da startup Vectara\u201d, esclarece Colombo e encerra sublinhando que as suas IAs s\u00e3o treinadas com dados exclusivos da institui\u00e7\u00e3o, evitando consultas a informa\u00e7\u00f5es aleat\u00f3rias na internet, o que aumenta ainda mais a precis\u00e3o das respostas. \u201cEsta combina\u00e7\u00e3o de m\u00e9todos garante que as solu\u00e7\u00f5es s\u00e3o fi\u00e1veis \u200b\u200be seguras tendo em conta um setor onde a informa\u00e7\u00e3o desempenha um papel cr\u00edtico.\u201d<\/p>\n\n\n\n

\"\"<\/figure>\n","protected":false},"excerpt":{"rendered":"

Dados enganosos representam uma amea\u00e7a em \u00e1reas sens\u00edveis como a gest\u00e3o de investimentos ou a concess\u00e3o de cr\u00e9dito O que aconteceria se um sistema de intelig\u00eancia artificial (IA) concebido para prever o futuro do mercado de a\u00e7\u00f5es e treinado num per\u00edodo de estabilidade econ\u00f4mica enfrentasse uma crise iminente? Se voc\u00ea n\u00e3o fosse treinado para reconhecer […]<\/p>\n","protected":false},"author":2,"featured_media":13010,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_seopress_robots_primary_cat":"none","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":""},"categories":[234,228],"tags":[],"_links":{"self":[{"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/posts\/13003"}],"collection":[{"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/comments?post=13003"}],"version-history":[{"count":1,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/posts\/13003\/revisions"}],"predecessor-version":[{"id":13013,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/posts\/13003\/revisions\/13013"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/media\/13010"}],"wp:attachment":[{"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/media?parent=13003"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/categories?post=13003"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.n5now.com\/pt-br\/wp-json\/wp\/v2\/tags?post=13003"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}