ChatGPT: “Cuidado, ele alucina”, diz especialista

Num breve espaço de tempo, foram muitas as proezas realizadas pelo ChatGP3, o programa que usa recursos de inteligência artificial (IA) para produzir textos e “conversar” com as pessoas. Ele foi lançado no fim de 2022, recebeu investimentos de US$ 10 bilhões da Microsoft e já tem rivais criados por outros gigantes da tecnologia, como a Alphabet, que controla o Google, e a Meta, dona do Facebook, Instagram e WhatsApp.

Mas ele de fato é tudo isso? Ou seja, é uma tecnologia tão espetacular? É, sim. E, ao mesmo tempo, não é, não. Ou seja, as duas respostas são corretas. Ao menos, essa é a avaliação do professor Anderson Rocha, diretor do Laboratório de Inteligência Artificial da Unicamp. Ele explica: “Não resta dúvida que o ChatGP3 é promissor, mas ainda tem muito a ser aprimorado”, diz Rocha. “É preciso tomar cuidado, porque, às vezes, ele alucina.” Como? É o que Rocha explica a seguir, em entrevista ao Metrópoles.

Quais os limites do ChatGPT?

As pessoas ainda fazem certa confusão sobre as reais capacidades desses algoritmos (série de comandos para a execução de uma tarefa). Não resta dúvida de que é uma tecnologia promissora, mas só serve para algumas coisas. Grosso modo, o ChatGPT é um sistema que aprende a gerar sequências.

Como isso funciona?

Você entra com um texto e o algoritmo é  para dar uma sequência a ele. Se a pessoa digita o “Flamengo é um time de…”. O chat oferece a sequência de “futebol”. Se esse resultado for parecido com algo que o sistema já viu, para o qual foi treinando, o complemento vai ser o correto.

O mesmo raciocínio vale para uma pergunta direta?

Sim. Se a questão for do tipo “qual é a capital de São Paulo”, e ele já viu em algum lugar essa mesma pergunta com a sequência correta, vai trazer a resposta “São Paulo”. Mas, em outras situações, o algoritmo também pode entrar num processo que chamamos de alucinação. Ou seja, ele vai inventar alguma coisa.

Sério? Uma alucinação?

É um termo que usamos. Vem do inglês hallucination.

E ele vai inventar coisas de que tipo?

Há poucas semanas, estive num evento sobre questões forenses e a tecnologia digital. Ali, um participante perguntou ao ChatGPT quais foram os pioneiros dessa área. Ele respondeu corretamente, citando nomes como Hany Farid (Universidade da Califórnia, em Berkeley) e Jessica Fridrich (Universidade de Binghamton, no estado de Nova York). Depois, outra questão foi feita sobre quais são os principais estudos acadêmicos sobre o assunto. Aí, o chat citou um trabalho e relacionou todos os seus autores. O problema é que nada existia. Nem o trabalho, nem os autores. Ou seja, é preciso ter cuidado. Ele alucina.

E ocorreram outros casos?

Sim. Outro dia perguntamos ao chat o nome de cinco professores de inteligência artificial que morreram nos últimos cinco anos. Dos cinco citados, três estão vivos. Um deles divide uma sala comigo na Unicamp. Mas o chat foi mais longe. Mencionou as circunstâncias das mortes. No caso do meu colega, disse que ele havia sofrido um acidente de carro numa rodovia de São Paulo e coisas desse tipo. Fiz uma cópia da resposta e entreguei para o meu amigo.

Ele deve ter ficado satisfeito com a falha do chat. Mas houve mais alguma situação desse tipo?

Também perguntamos quais foram os papers (textos acadêmicos) mais importantes publicados nos últimos dez anos sobre inteligência artificial. E ele respondeu. Mas, de novo, nenhum dos dez trabalhos existia. Como disse, o ChatGPT gera sequências. Algumas vezes, funciona. Em outras, não.

Em quais situações ele é útil?

Ele pode ser usado como um bom copiloto para diversas tarefas. Isso inclui o desenvolvimento de códigos para softwares. Nesse caso, é possível usar uma sugestão do chat para completar um código. Se ela estiver errada, não tem problema. O desenvolvedor a corrige.

Quais as outras habilidades do ChatGPT?

Ele pode ser um bom copiloto no processo de escrita, oferecendo sugestões de textos, mas rasos e breves, como material de divulgação de produtos. Como gerador de sequências, também é muito útil para produzir resumos de grandes textos. Nos dois casos, cabe ao usuário avaliar a qualidade do resultado final.

E para as empresas?

Tem grande uso em serviços de suporte ao consumidor, por exemplo, em sistemas de atendimento de operadoras de telefonia. Em vez de a gente ter de conversar com aqueles chats de mil novecentos e antigamente, o GPT oferece uma experiência muito melhor.

O que é preciso para que esses algoritmos melhorem?

Muitas coisas. Hoje, por exemplo, eles não têm o que chamamos de capacidade de processamento simbólico. Como disse, só consultam uma base de dados e, a partir do entendimento da linguagem, trazem uma sequência para o texto proposto.

Mas a própria OpenAI, startup que criou o ChatGPT, já tem uma versão mais parruda do algoritmo. No que ela difere da que conhecemos?

O ChatGPT é uma versão simplificada do GPT3, um modelo que já está sendo comercializado.

Qual a diferença entre eles?

O GPT3 aprende a gerar sequências com base em cerca 200 bilhões de parâmetros. Para dar uma ideia do que isso significa, imagine a equação de uma reta, dessas que aprendemos na escola. Ela tem somente dois parâmetros. O ChatGPT usa um quarto desses 200 bilhões. E novos avanços vêm por aí.

Quais?

A nova versão do sistema, o GPT4, vai usar 100 trilhões de parâmetros. A grande pergunta é se essa quantidade imensa vai ser suficiente para oferecer uma conversação mais fluida. Estima-se também que o GPT3 foi treinado com entre 5% a 10% de todos os livros publicados no Ocidente. Na próxima versão, serão entre 15% e 20%.

Afinal, teremos conversas de melhor qualidade com sistemas tão mais potentes?

É uma dúvida. Vamos ter de esperar para ver. Mesmo assim, ainda serão geradores de sequências.

Quais outros problemas precisam ser resolvidos?

O da checagem dos dados apresentados aos usuários. Precisamos saber quais fontes foram consultadas para se chegar a uma resposta.

Qual grande problema da inteligência artificial precisa ser superado?

A relação de causalidade é um deles. Esses sistemas não distinguem causa e consequência. Se o solo estiver molhado, ele pode responder que é por causa da chuva. Pode ter aprendido isso. Mas alguém pode ter jogado água no chão, um cano pode ter sido quebrado.

Quanto tempo deve melhorar para essas melhorias ocorrerem?

A questão de detalhar as fontes talvez seja resolvida em um ou dois anos. Mas o entendimento semântico e a causalidade são problemas imensos. Quando isso acontecer, teremos um salto quântico. Mas esse é um desafio em aberto. Impossível fazer previsões.