Figuras de prestigio internacional vienen abordando este tema desde hace tiempo: Marina Jirotka, Chris Olah, Gopalakrishnan Arjunan, Carlos Zednik… Algunos de ellos incluso lo hacen desde asociaciones creadas ad hoc. Pero también comienzan a emerger desde el ámbito empresarial las mismas inquietudes. Tal el caso de N5, firma que incorpora la IA a sus soluciones financieras y que viene reclamando una ética que ilumine la opacidad de los sistemas de IA que están vigentes.
Nikita Brudnov, desarrollador de la industria brasileña, ha destacado la inconveniencia de esta falta de transparencia en los modelos de IA. Y sostiene que esta falencia podría obstaculizar su adopción, especialmente en contextos críticos como la medicina, las finanzas y el ámbito legal.
Pero la sangre definitivamente no ha llegado al río. Mucha gente aún no sabe muy bien qué propone la inteligencia artificial. Y está a años luz de hallarle los defectos.
Una ficción como Black Mirror actúa —deliberadamente o no— como difusora a escala masiva de estas preocupaciones que, de otro modo, el gran público quizá no llegaría a conocer a tiempo.
Durante todo o século XX, a expressão “caixa-preta” foi se popularizando como um conceito associado ao segredo. Mas não a um mistério existencial ou transcendental, e sim a uma verdade para poucos, concebida pelos serviços de inteligência. “Caixa-preta” é, desde a Segunda Guerra Mundial, uma referência à comunicação em código. Os britânicos chamavam assim dispositivos eletrônicos secretos, como rádio e radar, pois geralmente eram alojados em caixas pretas para evitar que fossem detectados pelo inimigo.
Mais tarde, a expressão passou a ser associada ao transporte aéreo. Na aeronáutica, “caixa-preta” é como se denomina o registro de áudio e das ações do voo, que guarda o histórico de tudo o que ocorreu na cabine. Esses gravadores ficam protegidos por caixas à prova de fogo, pintadas de preto para evitar a reflexão da luz e a oxidação do metal. A utilidade dessas caixas emerge principalmente após acidentes, como fonte de informação para entender falhas nos equipamentos ou erros humanos, com o objetivo de melhorar os sistemas de voo.
O termo “caixa-preta” se popularizou para se referir a esses dispositivos secretos e, com o tempo, passou a ser usado em outros contextos. A “caixa-preta” na inteligência artificial refere-se ao fenômeno pelo qual os processos internos de um modelo de IA — especialmente os de modelos complexos, como redes neurais profundas — não são transparentes nem facilmente interpretáveis: sabemos quais resultados são produzidos, mas não conseguimos explicar bem como se chegou até eles.
Esse fato parece não chamar a atenção da maioria dos usuários de IA. Mesmo entre os desenvolvedores, há quem se mostre indiferente ao assunto. No entanto, a questão é preocupante.
Figuras de prestígio internacional vêm abordando o tema há algum tempo: Marina Jirotka, Chris Olah, Gopalakrishnan Arjunan, Carlos Zednik… Alguns deles inclusive o fazem por meio de associações criadas ad hoc. Mas também começam a surgir as mesmas inquietações no setor empresarial. É o caso da N5, empresa que incorpora a IA em suas soluções financeiras e que vem defendendo uma ética que ilumine a opacidade dos sistemas de IA em vigor.
Nikita Brudnov, desenvolvedor da indústria brasileira, destacou o inconveniente dessa falta de transparência nos modelos de IA. E afirma que essa deficiência pode dificultar sua adoção, especialmente em contextos críticos como medicina, finanças e o setor jurídico.
Mas o pior ainda não aconteceu. Muitas pessoas ainda nem sabem muito bem o que propõe a inteligência artificial. E estão a anos-luz de perceber seus defeitos.
Uma ficção como Black Mirror atua — deliberadamente ou não — como difusora em escala massiva dessas preocupações que, de outra forma, talvez o grande público não conhecesse a tempo.
A ficção científica já demonstrou prever dores sociais muito antes de que se pudessem deduzir naturalmente. Esses presságios também tocaram o tema das “caixas-pretas”. Nesta série britânica, que não pode ser comparada a nenhuma outra em profundidade e diversidade temática, há vários episódios que abordam a questão das “caixas-pretas”.
Embora talvez o mais emblemático seja “White Christmas” (Natal Branco).
Falácia da uniformidade
A história começa com dois homens em uma cabana. Um deles, Matt, propõe uma conversa intimista para passar o dia de Natal. E narra duas anedotas. A primeira trata de seu trabalho anterior como assistente emocional, no qual fracassa ao orientar um homem tímido que buscava ajuda, quando a mulher seduzida provoca, mais do que uma cena erótica, uma tragédia inesperada. Para sua função, Matt utiliza uma tecnologia que lhe permite ver cada cena como se os olhos do protagonista fossem uma câmera. Além disso, compartilha sua intervenção com um grupo de voyeuristas ansiosos por ver erotismo. Mas o que acontece é diferente.
O conselheiro planeja a partir da suposição refutável de que a mulher agirá como a maioria, segundo dita o pensamento algorítmico. E a jovem em questão escapa a essa estatística de comportamento — com consequências devastadoras.
A dor do tempo
Na segunda história contada por Matt, uma mulher se submete a uma cirurgia na qual implantam um chip que copia sua inteligência, seus processos intelectuais, sua sensibilidade, suas memórias, suas obsessões, etc. Depois, ao extrair esse chip, usam essa “consciência duplicada” como assistente para tarefas mecânicas e cotidianas da mulher original. O problema é que essa “cookie”, ou consciência duplicada, tem tudo o que caracteriza um ser humano: emoção, desejos, aspirações, necessidades afetivas, etc. E cabe ao nosso personagem instruí-la e subjugá-la para que se considere morta para tudo o que não seja “trabalho”.
Aqui, para além do plano literal, a vida proposta à consciência duplicada é uma metáfora do mundo do trabalho quando se torna a única motivação e o único propósito. A tortura àquela mulher, de fato, consiste em sofrer o tempo. O tempo que não passa, a inação, o despertar para o vazio de uma vida sem ser, sem corpo, sem nada além da função ou do papel. A “cookie” atravessa esse sofrimento, e o assistente — de novo Matt — reconhece torturá-la, especialmente por meio do tempo e da imobilidade. Isso talvez antecipe outro dano social como consequência do novo paradigma do trabalho: o que farão milhões de pessoas que ficarão fora do mercado por causa da revolução da IA? Como ocupará o tempo o indivíduo quando tudo for automático?
Cultura do bloqueio
Quando o diálogo se encerra e Joe, o outro personagem, se confessa, vemos uma consequência da “cultura do bloqueio”, embora tratada de forma literal. Não se trata apenas de bloquear alguém nas redes sociais ou nos grupos de pertencimento. O botão de bloqueio, que todos possuem, transforma a pessoa bloqueada em uma sombra indistinta. Essa ferramenta do futuro distópico proposto pela ficção mergulha os personagens em um desespero emocional semelhante ao da “cookie” torturada. Mais tarde, veremos que não é coincidência. Matt continua sendo um agente da “justiça insensível” da IA. Uma “justiça” que mede o homem como previsível, uniforme e “lobotomizado funcional”.
Opacidade
Em suma, o episódio “White Christmas”, de Black Mirror, expõe vários aspectos das caixas-pretas:
Por trás do conflito interno da “cookie”, que Matt ignora — e até acentua — está o erro de “mutar”, de ignorar deliberadamente o que ocorre no interior da caixa, nos recantos da lógica que opera na IA.
Ou seja, embora a “função” da consciência copiada esteja bem programada, suas consequências internas não são transparentes nem controladas. Esse é o principal ponto da crítica sobre as caixas-pretas.
Na história de “Natal Branco”, criar um ser consciente e confiná-lo a uma tarefa repetitiva e subordinada gera um ambiente psicológico destrutivo. Na ficção, essa criatura sofre… E o sofrimento gera reações imprevisíveis. Joe confirma isso com sua própria história.
Singularidade distópica
Até onde sabemos, as inteligências artificiais estão blindadas contra o pathós (sentimento). Mas Black Mirror nos provoca… E se em algum momento a IA começasse a sentir? E se essa capacidade e o poder do conhecimento se autonomizassem e perseguissem seus próprios objetivos?
Adormecimento das habilidades
A eficácia, a rapidez e o conforto farão, sem dúvida, com que as novas gerações adormeçam suas capacidades pela falta de desafios.
Wells dedicou um livro genial, A Máquina do Tempo, à tese de que sociedades sem insatisfação ou carências não evoluem. Se isso for verdade, cada tarefa resolvida pela IA colocará para dormir o melhor do ser humano comum: a capacidade de adaptação.
Nesse contexto, quem conseguiria permanecer desperto? Quem continuará pensando?
Só haveria duas respostas possíveis — ambas preocupantes…
Se a caixa-preta for como a da Segunda Guerra Mundial — concebida por um pequeno grupo com grandes recursos —, só alguns saberiam codificar e decodificar, pensar, tramar, interpretar e manipular. O resto terminaria estupidizado, sustentando como próprias ideias que lhes seriam impostas pela IA sem resistência. Ou seja, o que já acontece hoje se multiplicaria sem limites.
Esse vetor nos conduz ao perigo de que os mais poderosos manipulem o comportamento humano — individual e coletivo — instalando massivamente fatos, verdades e normas irrefutáveis. Já partimos hoje dos mesmos dados e conteúdos. A internet já tinha criado esse ruído uníssono. Mas agora também os processos de intelecção poderiam ser manipulados. O ser humano, inclinado à economia de esforço, delegaria à IA a própria inteligência — e isso significaria um grande retrocesso para a inteligência humana, ao menos em termos quantitativos.
Mas a outra resposta não é melhor: se as “caixas-pretas” forem como as dos aviões — registros escuros que apenas acumulam dados, interpretáveis pela heurística imprevisível da IA —, então reinará o caos. E tudo o que nos restará será o relatório do desastre, a posteriori… quando já não houver mais nada a fazer — nem nada a salvar.
Não é exagerado falar agora dos especialistas que vêm exigindo um acordo ético global que regule a obscura inteligência das IA.
