O que está prejudicando a eficiência da IA? O trabalho humano para corrigir seus erros

A inteligência artificial está prestes a impulsionar os trabalhadores de escritório a novos patamares de eficiência. Supõe-se que ela eliminará o trabalho burocrático e tornará profissões inteiras obsoletas com sua competência. Pelo menos, essa é a história contada pelas empresas de IA.

Mas algo não está batendo certo na prática.

Em diversas pesquisas, executivos e seus funcionários relatam ganhos pouco expressivos com ferramentas de IA. Pesquisadores do Banco da Reserva Federal de Atlanta, da Universidade Stanford, do Banco da Inglaterra e do Instituto Tecnológico Autônomo do México publicaram recentemente uma pesquisa com quase 6 mil executivos seniores, na qual cerca de 90% afirmaram que a tecnologia não teve impacto algum no emprego ou na produtividade. Isso apesar de 69% terem relatado que suas empresas utilizavam IA ativamente. Os ganhos significativos de eficiência da IA ​​também não são considerados no panorama econômico mais amplo. Como afirmou Torsten Slok, economista-chefe da Apollo, em uma análise dos dados do Fed de São Francisco nesta semana: “O retorno da IA ​​em termos de produtividade permanece uma previsão, e não uma constatação.”

Existem muitas explicações para a escassez de dados que sustentem a narrativa da supereficiência. Talvez a mais óbvia seja que as empresas simplesmente precisam de tempo para se adaptar e implementar novas tecnologias.

Mas a IA também está criando um novo tipo de trabalho que pode estar consumindo grande parte do tempo que a própria tecnologia está economizando.

Podemos chamar isso de “taxa de verificação“, ”manutenção de bots” ou ”retrabalho” — é a tarefa, muitas vezes árdua, de verificar se o resultado da IA ​​é preciso, seguro e utilizável, e isso está criando um gargalo humano significativo na automação da IA.

“A principal restrição ao crescimento não é mais a inteligência”, escreveu Christian Catalini, pesquisador associado e professor do MIT Sloan, em um artigo de trabalho de fevereiro. “É a capacidade de verificação humana.”

Em outras palavras, Catalini disse: “A única IA útil é a IA que é verificada.” Esse trabalho de revisão e aprimoramento do trabalho da IA ​​pode estar comprometendo alguns ganhos de eficiência. Uma pesquisa realizada pela plataforma de recursos humanos Workday com 32 mil funcionários e líderes empresariais revelou que, em média, eles utilizavam cerca de 37% do tempo economizado com a IA para corrigir, esclarecer ou reescrever resultados de baixa qualidade. Economistas do Google entrevistaram 600 cientistas e descobriram que, embora o uso de IA lhes economizasse, em média, sete horas por semana, quase 90% daqueles que economizaram tempo disseram que gastavam um décimo desse tempo verificando os resultados da IA, e 46% disseram que gastavam mais de um quarto.

Cerca de 40% dos cientistas também relataram que seu acúmulo de hipóteses não testadas aumentou em comparação com três anos atrás. Isso sugere que a IA gera soluções e previsões potenciais rapidamente, mas que a realização de experimentos físicos ou ensaios clínicos para testá-las não se tornou necessariamente muito mais rápida.

Basicamente, descobrimos que parece que os gargalos agora estão se deslocando para jusante”, disse Mihai Codreanu, economista sênior de pesquisa do Google e coautor do artigo.

A IA está economizando tempo e espera-se que economize ainda mais, mas automatizar uma tarefa não é o fim do cálculo. Muitas vezes, é o início de uma nova fase no fluxo de trabalho.

Empresas de tecnologia, por exemplo, podem usar IA para gerar milhares de linhas de código por hora. No entanto, a Amazon e outras ainda precisam de um humano para revisar esse código. Sua eficiência total é limitada menos pela quantidade de trabalho que pode ser gerada do que pela capacidade humana de garantir que o código faça o que deveria.

Quando pesquisadores do MIT e da Wharton School analisaram os dados de 500 mil desenvolvedores do GitHub, descobriram que as novas ferramentas de codificação com IA aumentaram enormemente sua atividade, “mas os ganhos diminuem drasticamente à medida que o trabalho passa da escrita de código para a entrega do software”. Eles concluíram: “A principal restrição à produção de software está mudando da escrita de código para as etapas que os humanos ainda realizam: revisão, integração, teste e lançamento”.

Em alguns casos, o trabalho pode estar melhorando, mas não ficando mais fácil. “É bastante interessante observar o dia a dia de um banqueiro de investimentos”, disse Alexandra Mousavizadeh, economista cuja empresa, a Evident Insights, acompanha a adoção de IA no setor financeiro. “Eles estão trabalhando ainda mais horas do que antes, porque é possível fazer mais. É preciso verificar mais informações, há novos produtos, e os clientes estão esperando mais porque o banco concorrente está implementando todas essas novidades.”

Mousavizadeh disse que estava percebendo que os bancos que mais investiram em IA eram os que estavam contratando pessoas de forma mais agressiva no momento.

O tempo humano necessário para verificar os resultados da IA ​​depende da tarefa, afirmou Ion Stoica, professor de ciência da computação na Universidade da Califórnia, Berkeley.

Algumas tarefas são difíceis de resolver, mas fáceis de verificar. (O labirinto está completo?) Outras dependem de muita informação e julgamentos subjetivos que um especialista talvez nunca consiga codificar ou articular completamente. (Este contrato é válido?) Essas são as tarefas que exigem maior supervisão humana.

Por que não usar IA para verificar IA? Isso funciona em alguns casos. Mas, para tipos de conhecimento especializado que não foram codificados, disse Catalini, do MIT, “todos os pontos cegos estarão completamente correlacionados entre a IA que você está usando para criar a tarefa e a IA que você está usando para verificar a tarefa”.

Segundo Stoica, os gargalos humanos provavelmente mudarão à medida que os modelos de IA aprenderem mais sobre como concluir determinadas tarefas, e a verificação do trabalho exigirá habilidades mais avançadas.

“Não se pode verificar se não se compreende o problema”, disse Stoica.

Tim Walsh, presidente e CEO da KPMG nos EUA, afirmou que a empresa realiza uma verificação humana em todos os processos automatizados. “Ainda não vi nada que me convencesse a implementar na minha empresa”, disse ele sobre a ideia de confiar em agentes de IA para verificar o trabalho de outros agentes de IA.

Ele afirmou que a IA tornará a empresa mais ágil, “mas tudo isso tem um custo, e não é como ligar um interruptor e pronto”.Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.

Fonte: Estadão