Peer review dos gringos (e a nossa)

O blog Química de Produtos Naturais, do professor Roberto Berlinck (USP São Carlos), divulgou (aqui) este editorial da Nature Chemical Biology que descreve seu processo de peer review. Eu aproveito para destacar algumas caraterísticas (e confrontá-las com a peer review usual nas agências de fomento do Brasil, na qual há revisão e há "pares" - e isso resume as semelhanças):

• O comitê avaliador é responsável por tomar decisões (não, o resultado não é uma média aritmética dos escores dos revisores, até porque cada revisor tem sua régua peculiar).
• O comitê toma uma decisão considerando os pareceres dos revisores e comunica a decisão os autores, anexando cópias dos pareceres consubstanciados (sim, na peer review a vera, sempre há pareceres, sempre são consubstanciados, e sempre são devolvidos aos autores; não, a mera comunicação "foi/não foi aceito" não seria suficiente).
• O comitê informa os revisores sobre a decisão e distribui cópias dos pareceres também aos revisores (não, longe disso - o objetivo do processo não é manter o statu quo; pelo contrário, o revisor que tem a chance de aprender com seus colegas ganha a oportunidade de verificar se está puxando o nível para cima ou para baixo; o convite para avaliar não é uma concessão para "construção de igrejinha").

Ou seja, quem dirige o processo compreende que não se trata apenas de selecionar trabalhos científicos, mas de conduzir um processo seletivo no qual não se exclui voluntária e obstinadamente a reflexão. É permitido pensar; é permitido aprender; é necessário explicar a decisão. E olha que a avaliação conduzida pela revista não envolve recursos públicos (pelo menos, diretamente).

Uma observação final: o debate acalorado, as acusações sérias à peer review como método de avaliação e controle de qualidade diz respeito a essa forma de avaliação praticada pela Nature Chemical Biology. Os gringos sequer concebem uma peer review sem feedback - isso é invenção brasileira.

Um passo à frente (peer review com feedback)

Tenho sido acusado - justamente, eu assumo - de ser obcecado por revisão pelos pares na aprendizagem. Conquistei essa fama porque venho fazendo e propagandeando desde 1997, depois de experimentar como aluno em 1994, na Virginia Tech, assistindo CAD I, lecionada pelo co-orientador de doutorado Jan Helge Bøhn.

Lembro que o contato com este segredo ferozmente guardado (como se avalia ciência e como é a experiência de participar do processo) representou muito para mim. Achei tudo muito elucidativo e estimulante. Perguntei a mim mesmo por que seria que os milhares de doutores que o Brasil forma e formou no exterior não compartilham esse segredo (assumindo que os que se formam no Brasil não têm mesmo como adivinhar como se faz).

De volta ao Brasil, não resisti um ano até experimentar com meus alunos, na graduação (com fracassos épicos e sucessos idem, como conto em alguns relatos). Depois, com a oportunidade de fazer na pós-graduação stricto sensu, acabaram os fracassos épicos. Sempre foi de bom para melhor.

Mais complicado do que segurar o repuxo dos fracassos foi explicar para os pós-graduandos que vão adiante e se aventuram a submeter proposta de pesquisa a algum órgão de fomento que aquela peer review que experimentamos em classe não é bem a mesma que fazem as maiores agências de fomento brasileiras. Nessas, tem peer, tem review, mas não tem o que no exterior é tão básico que nem acharam importante incluir no nome: feedback, retorno, resposta. Peer review sem feedback, uma invenção brasileira. E não adianta solicitar, pedir, argumentar, replicar, treplicar. Não tem feedback e continuar insistindo é algo muito malvisto.

Quem sabe, porém, a coisa esteja mudando. Li recentemente em um edital: "Para propostas recomendadas, será definido o valor a ser financiado [...]. Para propostas não recomendadas, será emitido parecer consubstanciado contendo as justificativas para a não recomendação." Fica evidente, na redação, o pressuposto de que só aos derrotados interessa saber os motivos, de que a questão é pecuniária. Mas é um avanço.

Não diz que os pareceres anônimos serão retornados, respondidos, fed back aos proponentes, mas dá para supor que sim. E, se for assim, chegará ao fim o desperdício do conhecimento produzido no processo de avaliação e a condenação da comunidade brasileira à não-aprendizagem com seus erros e acertos em propostas de pesquisa. Fica um pouco mais difícil a um avaliador, também, fazer impunemente um parecer incompetente ou coisa pior.

Talvez eu, com minha obcessão pela peer review, esteja vendo coisa demais nessas 2 sentenças. Sei que vozes importantes na comunidade acadêmica acham que o problema maior está na outra ponta - as propostas aprovadas que recebem financiamento, depois apresentam seus relatórios... e o que mesmo contribuíram? Talvez seja isso mesmo: o maior problema do financiamento à pesquisa é a falta de uma avaliação efetiva de resultados (e as atitudes que devem derivar dessa avaliação efetiva). Mas há um avanço. Peer review com feedback é um avanço. Com o quarto de século de atraso regulamentar (como ensina Maria da Conceição Tavares), já podemos discutir os problemas sérios da peer review legítima.

Plágio-cópia literal: mas é claro que o problema não é esse

A partir de um toque da Andréa Bordin, que me mostrou a matéria na Folha - Obrigado.

A Folha de São Paulo repercute os plágios de 2 artigos inteiros publicados originalmente na Química Nova e reproduzidos inadvertidamente pela Revista Analytica em 2007. Por mais chocante que pareça, o caso é apenas uma prova de que o plágio incompetente também existe. Mas o problema da desonestidade científica não é esse.

Oxalá fosse ("Que bão se sesse"), pois a desonestidade pueril é fácil de ser combatida. Há ferramentas para pegar o plagiador "no pulo". No caso específico, uma mera verificação de plágio literal (sim, Google!, que pega todo o SciELO, que inclui a Química Nova) denunciaria os 2 artigos.

A desonestidade competente é que é difícil de remediar. Esse é O problema nos países cientificamente mais avançados (vide um festival de artigos que desancam a peer review, por exemplo, este). Consta que nosso visionário Barend Mons, parceiro do EGC e do Instituto Stela, usou suas invenções em concept cloud num estudo exploratório com uma amostra de 10 mil research proposals para certa big agência de fomento e pegou coisa que duvidavam: muitas engenhosas operações de obtenção de financiamento duplo - óbvio que nenhuma delas fez a chinelice de usar plágio literal.

No Brasil, o problema é agravado pela falta de transparência nos processos. Se, por exemplo, não há feedback aos autores nas concorrências públicas por financiamento para pesquisa, um eventual transgressor - seja autor, avaliador, gestor ou um consórcio desses - é praticamente inimputável. Ainda mais se o transgressor conhece os meandros do sistema, tem reputação ilibada, é impoluto, probo, erudito, douto, de caráter sem jaça... e tem poder e se enfurece e fica agressivo quando esquinado. Que doido vai querer contrastar? Quem vai para a cadeia é quem denuncia (Lembram do funcionário público corrupto que recebeu 3 mil reais in cash exposto em horário nobre na TV? Levou MESES para ser demitido e não consta que esteja preso, mas quem filmou foi preso imediatamente. Não foi na C&T, mas você entendeu a idéia).

Mal comparando, é como certos casos de políticos contra os quais "nada nunca foi provado", ops..., "nenhuma condenação definitiva existe", ops... sei lá. O fato é que a coisa toda fica facilitada quando não há transparência. Conclusão: se a peer review é podre quando há feedback, o que dizer da que se resolve entre quatro paredes e não deve explicação para ninguém?

Mas, para mim, o problema ainda não é esse. Não creio que haja muita transgressão na C&T brasileira (afinal, o orçamento da C&T é troco de picolé, se compararmos com outros setores da economia e do governo). Para mim, o crime é interditar, engavetar, esconder o registro do conhecimento produzido no processo de avaliação - os pareceres consubstanciados dos avaliadores. Que o diga quem já recebeu feedback de qualidade. Vencendo ou não o pleito, sempre se aprende muito. Sem feedback, a garantia é de condenação: não aprenderemos, não saberemos por que nosso artigo ou proposta de pesquisa foi aceito ou não. O efeito sistêmico também é conhecido: continuamos atrasados.