Experimento recente realizado pelos economistas Shakked Noy e Whitney Zhang, do Massachusetts Institute of Technology (MIT), indica que o uso do ChatGPT e outras tecnologias de inteligência artificial do mesmo tipo podem efetivamente aumentar a produtividade de tarefas profissionais que envolvam a escrita. Essa melhora inclui tanto mais velocidade como maior qualidade.
Noy e Zhang relatam o seu experimento em recém-divulgado artigo no site econômico VOX EU. Na parte inicial do longo e detalhado artigo, eles recapitulam que a automação de atividades anteriormente realizadas por mão de obra humana vem acontecendo em ondas desde a Revolução Industrial. Apesar de sempre terem levado, no longo prazo, a enormes ganhos de produtividade e melhora do bem-estar humano, esses avanços no curto e médio prazo muitas vezes tiveram alguns impactos negativos, como, por exemplo, desempregar pessoas em atividades tradicionais que foram automatizadas.
Entre 1970 e o início da atual década, o que se viu foram as tecnologias digitais e robóticas levarem à substituição de muitas tarefas de nível médio de qualificação, em linhas de montagem, contabilidade, burocracia etc., provocando uma piora da concentração de renda: sobreviveram a essa onda de automatização empregos ou de menor qualificação, como limpeza, cuidados pessoais e comércio, ou de maior qualificação, como altos cargos de gestão ou elevado nível técnico.
Mas já no início dos anos 2010 economistas atentos perceberam que o "machine learning" poderia levar a um avanço adicional da substituição do trabalho humano. Antes, a automatização se limitava a tarefas que pudessem ser padronizadas em diferentes etapas, seguindo rotinas predeterminadas. Agora, com máquinas que aprendem, tornou-se possível automatizar trabalhos não repetitivos, sem rotinas claras, criativos ou que envolvam sensibilidade e intuição humanas.
Segundo Noy e Zhang, os primeiros usos de automação baseada em machine learning foram trabalhos que se baseiam em "previsões", como conceder fiança na Justiça, contratar pessoal ou fazer diagnósticos médicos. Nessa fase, o trabalho mais criativo ainda parecia bem protegido da automação.
Mas esse cenário mudou completamente em meados de 2022, quando surgiram o que eles chamam de "sistemas de inteligência artificial generativos", como o ChatGPT, que escrevem textos e criam imagens a partir de poucas instruções.
O cenário econômico do Brasil e do mundo e as implicações para o seu bolso, de se
Como escrevem Noy e Zhang, "pela primeira vez, parecia que escrita criativa ou tarefas de design se defrontavam com uma iminente e generalizada automação".
No artigo, os dois acadêmicos apresentam o recente experimento online que realizaram para tentar avaliar os impactos na produtividade e no mercado de trabalho de sistemas de inteligência artificial geradores de textos, como o ChatGPT 3.5.
A etapa inicial do experimento foi a seleção cuidadosa de um grupo de profissionais cujos trabalhos incluem tarefas que em tese poderiam ser feitas melhor e mais velozmente pelo ChatGPT, tais como gerentes, profissionais de recursos humanos e de marketing, analistas de dados e outros.
O engenhoso experimento consistiu em pedir que realizassem tarefas envolvendo a escrita, tais como um e-mail de trabalho sobre um tema sensível, um press-release para um produto hipotético, uma carta de aplicação para algum processo seletivo, um relatório curto de consultoria ou de análise de dados.
Os participantes receberam incentivos em dinheiro para caprichar, a partir de um sistema de notas para o resultado do trabalho dadas por outros participantes. Houve duas rodadas de tarefa, e, na primeira, os participantes gastaram em média 27 minutos. Depois de finalizada a primeira rodada, os participantes foram divididos aleatoriamente em dois grupos, os "tratados" e o grupo de controle.
Os tratados, entre a primeira e a segunda rodada, foram introduzidos ao ChatGPT, e incentivados a usá-lo na segunda rodada. Já no caso do grupo de controle, o mesmo foi feito, só que não com o ChatGPT, mas sim com o "Overleaf", que é uma ferramenta colaborativa que torna mais fácil escrever textos em conformidade com normas de padronização (como trabalhos acadêmicos, laudos, documentos jurídicos etc.). Mas quase ninguém do grupo de controle usou o Overleaf na segunda rodada de tarefas.
Já no caso do ChatGPT, 87% do grupo tratado utilizou o ChatGPT para cumprir a tarefa da segunda rodada, avaliando a sua utilidade como de 4,7 numa escala que vai ao máximo de 5. Quase todos do grupo tratado simplesmente deram ao ChatGPT um pequeno parágrafo de instrução ("prompt") e entregaram o texto tal qual ele veio (do ChatGPT) ou com leve edição. O tempo para fazer a segunda tarefa do grupo tratado foi 40% menor do que o do grupo de controle, e as notas foram 18% mais altas.
O experimento envolveu um desenho de incentivos sofisticado que deixou claro que a razão pela qual a maioria dos usuários do ChatGPT não editou os textos antes de entregá-los foi que eles de fato acharam que não teriam nada para melhorar. Os que editaram não receberam notas mais altas por isso. No grupo tratado, o uso do ChatGPT nivelou a qualidade dos resultados medida por notas. Segundo os autores, o acesso ao ChatGPT permitiu que quase todos os participantes do grupo tratado tivessem resultados similares aos melhores resultados do grupo de controle, no qual a segunda rodada da tarefa foi realizada com trabalho humano.
Os autores constataram também que o prazer na tarefa foi maior no grupo que usou ChatGPT, cujos participantes reportaram tanto excitação sobre a possibilidade da inteligência artificial criar empregos na sua área como temor de que viesse a destruí-los. Num acompanhamento posterior dos participantes do experimento, verificou-se que parte ainda minoritária passou a usar o ChatGPT no seu trabalho real (parcela maior no grupo tratado do que no de controle), com um avanço gradativo no tempo, mas relativamente lento.
A conclusão dos autores é de que o ChatGPT pode ter um impacto substancial na produtividade de tarefas profissionais de escrita de nível médio, aumentando tanto a velocidade como a qualidade do trabalho produzido, e reduzindo o desnível de qualidade entre os piores e melhores redatores. O potencial impacto do ChatGPT no emprego e no salário dessas áreas, porém, não foi avaliado nesse estudo específico, ressalvam os economistas.
Fernando Dantas é colunista do Broadcast (fojdantas@gmail.com)
Nenhum comentário:
Postar um comentário