Muitos psicólogos tentam medir coisas que são difíceis de medir – e muitos fazem-no de forma menos fiável do que pensamos.
O Projeto Reprodutibilidade, composto por 270 cientistas e liderado por Brian Nosek, da Universidade de Virginia, tenta medir o quão confiáveis são as experiências na área da Psicologia, através da sua repetição.
De acordo com o estudo “Estimativa da reprodutibilidade da ciência psicológica”, publicado esta sexta-feira na revista Science, apenas 35 dos 100 estudos analisados – escolhidos entre os publicados em 2008 em três reputadas revistas científicas de Psicologia – puderam ser replicados de forma bem sucedida. Os restantes 62 (três foram descartados a meio do processo), regra geral, tinham resultados menos fiáveis do que os originais.
Os investigadores, que trabalham no projeto desde 2011, repetiram 100 estudos publicados nas revistas Psychological Science, Journal of Personality and Social Psychology, e Journal of Experimental Psychology: Learning, Memory, and Cognition, usando “modelos de alta potência e os materiais originais, quando disponíveis”, tentando determinar quais os tipos de estudos tiveram melhor desempenho, e porquê.
De acordo com os investigadores, os resultados oferecem uma conclusão clara: Uma grande parte das repetições produziu provas mais fracas do que os estudos originais, e os resultados surpreendentes eram também os mais difíceis de reproduzir.
Apesar de 97% dos estudos alegarem ter resultados estatisticamente significativos, apenas 36% das repetições conseguiram esse grau de certeza.
Existem várias razões possíveis para um estudo original constatar um efeito que um segundo estudo não consegue replicar, explica o co-autor Cody Christopherson, da Universidade de Southern Oregon. O resultado do estudo A pode ser falso, ou os resultados do estudo B podem ser falsos, ou pode mesmo haver algumas diferenças subtis na forma como os dois estudos foram conduzidos que influenciaram os resultados, defende.
“Este projeto não prova que alguma coisa está errada. Pelo contrário, é um exemplo da ciência a fazer o que a ciência devia fazer”, afirma o investigador.
Estes resultados não significam necessariamente que as conclusões iniciais eram incorretas ou que o processo científico tinha falhas, mas salientam a necessidade de repetir experiências para reforçar conclusões.
Os investigadores lamentam que exista uma série de obstáculos à repetição de experiências na Academia, já que existem mais incentivos para os cientistas darem prioridade às inovação do que à repetição, privilegiando-se, por exemplo, os artigos científicos originais.
Em outras situações, os revisores e editores de revistas científicas podem preterir um novo teste de uma ideia já publicada por ser “pouco original”, sob a afirmação de que “isso já se sabia”.
“A inovação aponta caminhos que são possíveis; a replicação reforça caminhos que são prováveis; o progresso deve basear-se em ambos“, defendem os autores do estudo.
Em andamento encontra-se um projeto semelhante, aplicado a estudos sobre o cancro.
ZAP
Claro que dá. A psicologia não é uma ciência exacta. Eles é que querem dar a entender que é para pensarmos que é credível.