Pesquisadores de Stanford e Berkeley confirmaram através de estudos que ainda estão sem revisão que os modelos de linguagem GPT-3.5 e GPT-4, da OpenAI, apresentaram mudanças significativas em seu "comportamento" em um período de alguns meses. O fenômeno teria ocorrido à medida em que a ferramenta interagia com os usuários
A precisão das respostas da inteligência artificial (IA), de acordo com os cientistas, pareceu diminuir ao longo do tempo, corroborando relatos de usuários sobre as versões mais recentes do software terem ficado ''mais burras''.
Te podría interesar
"GPT-4 (Março de 2023) foi muito eficaz na identificação de números primos (precisão de 97,6%), mas o GPT-4 (Junho de 2023) apresentou desempenho muito inferior nas mesmas questões (precisão de 2,4%)", afirma o resumo do estudo.
O estudo diz também que "tanto o GPT-4 quanto o GPT-3.5 cometeram mais erros de formatação na geração de códigos em junho do que em março".
Te podría interesar
"No estudo, observamos que o desempenho e o comportamento de ambos GPT-3.5 e GPT-4 variam significativamente entre esses dois lançamentos e que seu desempenho em algumas tarefas piorou substancialmente ao longo do tempo", diz o documento.
A percepção de um declínio na qualidade dos sistemas tem sido relatada por usuários dos modelos de linguagem GPT-3 e GPT-4 da OpenAI têm relatado há mais de um mês.
OpenAI nega
Peter Welinder, vice-presidente da OpenAI, desenvolvedora do ChatGPT, tentou atenuar os rumores de que as alterações seriam intencionais.
"Não, não tornamos o GPT-4 menos inteligente", tuitou Welinder na semana passada. "Muito pelo contrário: fazemos cada nova versão mais inteligente do que a anterior".
As mudanças na experiência do usuário, de acordo com ele, poderiam ser resultado de uso contínuo, sugerindo que "quando você usa mais intensivamente o [ChatGPT], começa a perceber problemas que não via antes".
Com informações da Exame