Peer review dos gringos (e a nossa)

O blog Química de Produtos Naturais, do professor Roberto Berlinck (USP São Carlos), divulgou (aqui) este editorial da Nature Chemical Biology que descreve seu processo de peer review. Eu aproveito para destacar algumas caraterísticas (e confrontá-las com a peer review usual nas agências de fomento do Brasil, na qual há revisão e há "pares" - e isso resume as semelhanças):

• O comitê avaliador é responsável por tomar decisões (não, o resultado não é uma média aritmética dos escores dos revisores, até porque cada revisor tem sua régua peculiar).
• O comitê toma uma decisão considerando os pareceres dos revisores e comunica a decisão os autores, anexando cópias dos pareceres consubstanciados (sim, na peer review a vera, sempre há pareceres, sempre são consubstanciados, e sempre são devolvidos aos autores; não, a mera comunicação "foi/não foi aceito" não seria suficiente).
• O comitê informa os revisores sobre a decisão e distribui cópias dos pareceres também aos revisores (não, longe disso - o objetivo do processo não é manter o statu quo; pelo contrário, o revisor que tem a chance de aprender com seus colegas ganha a oportunidade de verificar se está puxando o nível para cima ou para baixo; o convite para avaliar não é uma concessão para "construção de igrejinha").

Ou seja, quem dirige o processo compreende que não se trata apenas de selecionar trabalhos científicos, mas de conduzir um processo seletivo no qual não se exclui voluntária e obstinadamente a reflexão. É permitido pensar; é permitido aprender; é necessário explicar a decisão. E olha que a avaliação conduzida pela revista não envolve recursos públicos (pelo menos, diretamente).

Uma observação final: o debate acalorado, as acusações sérias à peer review como método de avaliação e controle de qualidade diz respeito a essa forma de avaliação praticada pela Nature Chemical Biology. Os gringos sequer concebem uma peer review sem feedback - isso é invenção brasileira.

Um passo à frente (peer review com feedback)

Tenho sido acusado - justamente, eu assumo - de ser obcecado por revisão pelos pares na aprendizagem. Conquistei essa fama porque venho fazendo e propagandeando desde 1997, depois de experimentar como aluno em 1994, na Virginia Tech, assistindo CAD I, lecionada pelo co-orientador de doutorado Jan Helge Bøhn.

Lembro que o contato com este segredo ferozmente guardado (como se avalia ciência e como é a experiência de participar do processo) representou muito para mim. Achei tudo muito elucidativo e estimulante. Perguntei a mim mesmo por que seria que os milhares de doutores que o Brasil forma e formou no exterior não compartilham esse segredo (assumindo que os que se formam no Brasil não têm mesmo como adivinhar como se faz).

De volta ao Brasil, não resisti um ano até experimentar com meus alunos, na graduação (com fracassos épicos e sucessos idem, como conto em alguns relatos). Depois, com a oportunidade de fazer na pós-graduação stricto sensu, acabaram os fracassos épicos. Sempre foi de bom para melhor.

Mais complicado do que segurar o repuxo dos fracassos foi explicar para os pós-graduandos que vão adiante e se aventuram a submeter proposta de pesquisa a algum órgão de fomento que aquela peer review que experimentamos em classe não é bem a mesma que fazem as maiores agências de fomento brasileiras. Nessas, tem peer, tem review, mas não tem o que no exterior é tão básico que nem acharam importante incluir no nome: feedback, retorno, resposta. Peer review sem feedback, uma invenção brasileira. E não adianta solicitar, pedir, argumentar, replicar, treplicar. Não tem feedback e continuar insistindo é algo muito malvisto.

Quem sabe, porém, a coisa esteja mudando. Li recentemente em um edital: "Para propostas recomendadas, será definido o valor a ser financiado [...]. Para propostas não recomendadas, será emitido parecer consubstanciado contendo as justificativas para a não recomendação." Fica evidente, na redação, o pressuposto de que só aos derrotados interessa saber os motivos, de que a questão é pecuniária. Mas é um avanço.

Não diz que os pareceres anônimos serão retornados, respondidos, fed back aos proponentes, mas dá para supor que sim. E, se for assim, chegará ao fim o desperdício do conhecimento produzido no processo de avaliação e a condenação da comunidade brasileira à não-aprendizagem com seus erros e acertos em propostas de pesquisa. Fica um pouco mais difícil a um avaliador, também, fazer impunemente um parecer incompetente ou coisa pior.

Talvez eu, com minha obcessão pela peer review, esteja vendo coisa demais nessas 2 sentenças. Sei que vozes importantes na comunidade acadêmica acham que o problema maior está na outra ponta - as propostas aprovadas que recebem financiamento, depois apresentam seus relatórios... e o que mesmo contribuíram? Talvez seja isso mesmo: o maior problema do financiamento à pesquisa é a falta de uma avaliação efetiva de resultados (e as atitudes que devem derivar dessa avaliação efetiva). Mas há um avanço. Peer review com feedback é um avanço. Com o quarto de século de atraso regulamentar (como ensina Maria da Conceição Tavares), já podemos discutir os problemas sérios da peer review legítima.

A week at the World Conference on Computers in Education (ppts & preprints available)

WCCE dates approaching, swine flu notwithstanding. I hope the flu doesn't prevent anyone from coming to Bento Gonçalves-RS (Brazil) next week (July 27-31, 2009). Let me tweet about the papers I will be presenting:

• Kern VM, Possamai O, Selig PM, Pacheco RCS, Souza GC, Rautenberg S, Lemos RTS: Growing a Peer Review Culture among Graduate Students (preprint here, slides below).
  Thursday 30th, 15:30-17:00, Aud. 3, 2nd paper of 3 (30-min presentation).
  Session NET 3.3, Network and Collaboration 3.3


• Kern VM, Saraiva LM, Braz ERC: Emergo: Academic Performance Assessment and Planning with a Data Mart (preprint here, slides below).
  Monday 27th, 11:45-12:45, Aud. 2, 2nd paper of 4 (15-min presentation).
  Session INNO 1.1, Innovation and creativity in schools 1.1

Hopefully there will be intense feedback in the sessions I'll present or attend to. Excellent opportunity. Slides of my presentations were uploaded to SlideShare, so here they are:

Emergo: Academic Performance Assessment and Planning with a Data Mart (WCCE 2009)

View more presentations from vmkern.

Growing a Peer Review Culture among Graduate Students (WCCE 2009)

View more presentations from vmkern.

Off-topic update: It was very nice to visit the Guarani indians (from Viamão, near Porto Alegre-RS) booth at the conference site. They have a project and a blog (Jaikuaa - means "to pay attention", "to listen") coordinated by the Federal University of Rio Grande do Sul (UFRGS) in which Guarani youngsters work with camera obscura and production of pinhole photography.

They also play with regular (digital) photo and video cameras. The blog is in Portuguese, with some text in Guarani and in English. And there I am, visiting:

Plágio-cópia literal: mas é claro que o problema não é esse

A partir de um toque da Andréa Bordin, que me mostrou a matéria na Folha - Obrigado.

A Folha de São Paulo repercute os plágios de 2 artigos inteiros publicados originalmente na Química Nova e reproduzidos inadvertidamente pela Revista Analytica em 2007. Por mais chocante que pareça, o caso é apenas uma prova de que o plágio incompetente também existe. Mas o problema da desonestidade científica não é esse.

Oxalá fosse ("Que bão se sesse"), pois a desonestidade pueril é fácil de ser combatida. Há ferramentas para pegar o plagiador "no pulo". No caso específico, uma mera verificação de plágio literal (sim, Google!, que pega todo o SciELO, que inclui a Química Nova) denunciaria os 2 artigos.

A desonestidade competente é que é difícil de remediar. Esse é O problema nos países cientificamente mais avançados (vide um festival de artigos que desancam a peer review, por exemplo, este). Consta que nosso visionário Barend Mons, parceiro do EGC e do Instituto Stela, usou suas invenções em concept cloud num estudo exploratório com uma amostra de 10 mil research proposals para certa big agência de fomento e pegou coisa que duvidavam: muitas engenhosas operações de obtenção de financiamento duplo - óbvio que nenhuma delas fez a chinelice de usar plágio literal.

No Brasil, o problema é agravado pela falta de transparência nos processos. Se, por exemplo, não há feedback aos autores nas concorrências públicas por financiamento para pesquisa, um eventual transgressor - seja autor, avaliador, gestor ou um consórcio desses - é praticamente inimputável. Ainda mais se o transgressor conhece os meandros do sistema, tem reputação ilibada, é impoluto, probo, erudito, douto, de caráter sem jaça... e tem poder e se enfurece e fica agressivo quando esquinado. Que doido vai querer contrastar? Quem vai para a cadeia é quem denuncia (Lembram do funcionário público corrupto que recebeu 3 mil reais in cash exposto em horário nobre na TV? Levou MESES para ser demitido e não consta que esteja preso, mas quem filmou foi preso imediatamente. Não foi na C&T, mas você entendeu a idéia).

Mal comparando, é como certos casos de políticos contra os quais "nada nunca foi provado", ops..., "nenhuma condenação definitiva existe", ops... sei lá. O fato é que a coisa toda fica facilitada quando não há transparência. Conclusão: se a peer review é podre quando há feedback, o que dizer da que se resolve entre quatro paredes e não deve explicação para ninguém?

Mas, para mim, o problema ainda não é esse. Não creio que haja muita transgressão na C&T brasileira (afinal, o orçamento da C&T é troco de picolé, se compararmos com outros setores da economia e do governo). Para mim, o crime é interditar, engavetar, esconder o registro do conhecimento produzido no processo de avaliação - os pareceres consubstanciados dos avaliadores. Que o diga quem já recebeu feedback de qualidade. Vencendo ou não o pleito, sempre se aprende muito. Sem feedback, a garantia é de condenação: não aprenderemos, não saberemos por que nosso artigo ou proposta de pesquisa foi aceito ou não. O efeito sistêmico também é conhecido: continuamos atrasados.

Two papers accepted at the World Conference on Computers in Education (preprints available)

These two papers were recently accepted for presentation/publication at the IFIP World Conference on Computers in Education, in Bento Gonçalves-RS, Brazil, July 27-31, 2009:

• Kern VM, Possamai O, Selig PM, Pacheco RCS, Souza GC, Rautenberg S, Lemos RTS. Growing a Peer Review Culture among Graduate Students. Full paper (10 p.)
  Abstract: Usual processes for pursuing education excellence in a graduate program are candidate selection, coursework, research, and thesis defense. In this paper, we present a complementary approach: the growing of a peer review culture among graduate students. We instruct first-year masters’ and doctoral students on principles for preparing a thesis proposal. Students present their proposals in collective discussion sessions with feedback from professors. The students then submit their proposals through a web interface and are instructed on the role they will play next – of anonymous referees of their peers’ proposals. The referee reports and general statistics are made available to all participating students and advisors. Updated proposals are submitted to an annual workshop open to all participating students and advisors. About 60 students take part in this annual series of seminars with peer review and workshop, generating 60 theses proposals and about 180 referee reports, 3 for each proposal. Students and their advisors receive detailed feedback on individual participation as author and referee. The main strength of the experience is the opportunity to assimilate the techniques of objective criticism and to reflect about the quality of own and others’ work. The paper also outlines research and development issues related to our effort to enhance the peer review culture among graduate students.
  
• Kern VM, Saraiva LM, Braz ERC. Emergo: Academic Performance Assessment and Planning with a Data Mart. Short paper (5 p.)
  Abstract: National-level, objective assessment in higher education has been a practice in Brazil since 1996, surviving political shifts that frequently dismantle public policies. This paper presents the Emergo Project – the assessment of Psychology students using a data mart with multiple-choice questions from national exams and students’ answers. We run two annual examinations, giving individual feedback and discussing aggregate results with faculty and students. We identified patterns for the evolution of correct answers across semester enrolled – Growing, Decreasing, Peak, Constant, and Other. Actual results in the national exam suggest that the feedback and discussions might have helped achieving superior performance standards.

The first one discusses our approach of first-year masters and doctorate students peer review of thesis proposals at EGC/UFSC. The second is an account of a project conducted at Univali (Biguaçu-SC), in which Psychology students were assessed using questions from national exams, with a strong participation of students and professors in discussions about aggregate results.

Both versions are preprints - the final version will probably contain edits (and might be copyrighted).