SciELO - Scientific Electronic Library Online

 
 número113In Defense of Housing. The Politics of CrisisTudo pode mudar. Capitalismo vs. clima índice de autoresíndice de assuntosPesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


Revista Crítica de Ciências Sociais

versão On-line ISSN 2182-7435

Revista Crítica de Ciências Sociais  no.113 Coimbra set. 2017

 

RECENSÃO

Gingras, Yves (2014), Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie

 

Antonio Paulino de Sousa

Departamento de Sociologia e Antropologia da Universidade Federal do Maranhão (UFMA). Av. dos Portugueses, 1966, Vila Bacanga São Luis-Maranhão, 65085-580, Brasil antonio.paulino@terra.com.br

 

Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie

Gingras, Yves (2014), Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie. Paris: Editions Raisons d’Agir, 122 pp.

 

As tecnologias que mais se desenvolvem hoje são as da gestão, da coleta, da análise e transmissão das informações. Nesse sentido, são elaborados diversos indicadores de excelência e de qualidade que se multiplicam, ao mesmo tempo que se camuflam as bases de construção desses indicadores estatísticos. É no contexto de reforma das universidades, particularmente na Europa, desde o início do ano 2000, que o conceito central passou a ser a avaliação. Tudo deve ser avaliado no ensino superior: os professores, os pesquisadores, os alunos, os programas de formação e as universidades. O método empregado consiste em utilizar as publicações e citações como indicadores de produção científica. Estes são utilizados como medidas objetivas do valor dos resultados das pesquisas. Mediante o avanço dos modos de avaliação, muitos são os pesquisadores que criticam a bibliometria e seus efeitos perversos. A bibliometria tornou-se sinônimo de avaliação, como se o único objetivo do trabalho acadêmico fosse a avaliação da pesquisa.

O objetivo do livro de Yves Gingras não é apenas apresentar, de modo sistemático, os métodos bibliométricos de pesquisa e seus diferentes usos, mas também demonstrar que a bibliometria é um campo cujos modos de aplicação são mais abrangentes. O livro contém quatro capítulos.

No primeiro, o autor faz uma descrição das origens e dos modos de utilização da bibliometria, uma subárea da cientometria. Aquela se limita à análise das publicações e seus proprietários, enquanto a tarefa da cientometria é medir o conjunto das atividades científicas. Antes da existência dos computadores, as análises eram feitas manualmente. Para o autor, é a publicação do estudo do estatístico Alfred Lotka sobre a distribuição da produtividade científica dos pesquisadores que define o início da bibliometria, nos anos 1920.

Segundo Benoît Godin, os psicólogos fizeram o primeiro estudo, no início do século XX, analisando a evolução das publicações da área da psicologia. No entanto, o seu objetivo não era criar uma lei geral como fez Lotka (Gingras, 2014: 16). A quantidade de revistas está em constante crescimento e as pesquisas dos bibliotecários se interessaram por métodos objetivos que permitam selecionar as mais úteis para os pesquisadores. É nesse contexto de gestão das revistas, com a análise sistemática das referências (citações) contidas nesses periódicos, que a bibliometria emerge.

A análise descritiva foi aplicada primeiramente às ciências da natureza e, posteriormente, às ciências humanas e sociais. O autor constatou que, depois da Segunda Guerra Mundial, com o aumento da quantidade de artigos publicados, tornou-se impossível para um pesquisador acompanhar as publicações de sua própria área. A concepção que surge é a de um sistema de indexação de todos os artigos citados. O objetivo é facilitar a pesquisa bibliográfica utilizada nos artigos citados, para encontrar outros que estudam o mesmo objeto. Isso permite construir rapidamente uma bibliografia pertinente.

Para Yves Gingras, o contexto de emergência da bibliometria sugere que o objetivo é a gestão da literatura científica, não tendo nenhuma relação direta com a avaliação da pesquisa ou do pesquisador, temática que não aparece no período. É no início de 1980 que a bibliometria começa a ser utilizada para avaliação dos grupos de pesquisa e se torna um instrumento de gestão da carreira universitária. Durante os anos 1990, torna-se um instrumento de avaliação dos pesquisadores.

No segundo capítulo, o autor demonstra como a bibliometria pode se tornar um instrumento indispensável para a pesquisa. Os formatos de papel do índex não permitiam uma análise global, o que é possível hoje com a Internet. As tecnologias da informação e comunicação transformaram o índex em uma verdadeira base de dados. Com esse avanço, a partir das bases de dados bibliométricos, é possível encontrar as citações dos autores de um artigo. Isso possibilita estabelecer relações entre a pesquisa científica e a inovação tecnológica. A bibliometria consistia apenas em contar os documentos, o que permitia ter uma visão do desenvolvimento e da estrutura da ciência em diferentes países.

Convém ressaltar que não se pode ter uma visão global da ciência, sem a bibliometria que fornece os principais indicadores do avanço da ciência desde 1970. Assim, a maioria dos artigos das ciências humanas faz referências a livros e não a artigos; nas áreas da física e da química, 80% dos artigos se referem a outros artigos. Daí a diferença entre as práticas de pesquisa das diferentes disciplinas. O autor alerta para o perigo da imposição de um modelo único de elaboração de divulgação dos resultados da pesquisa (p. 38).

A análise das citações permite compreender o modo de recepção de uma teoria. O autor demonstra que o Science Citation Index (SCI) era primeiramente um instrumento de pesquisa bibliográfica e não um instrumento para medir a performance dos pesquisadores. A difusão da SCI modifica as práticas científicas que serão vigiadas por avaliadores, sobretudo desde 1970, momento em que as citações passam a ser consideradas como instrumentos de medida da qualidade da pesquisa. Para Gingras, um dos efeitos perversos desse modelo é a autocitação (p. 52). 

No terceiro capítulo, Gingras analisa a lógica da multiplicação de avaliações, as quais são submetidas ao universo do ensino superior e da pesquisa e à maneira de impor progressivamente os métodos bibliométricos, desde 1970. O autor rejeita de imediato a ideia neoliberal de que a pesquisa ficou muito tempo sem ser avaliada. Ora, desde o século XVII, a avaliação da pesquisa está presente no processo da institucionalização da pesquisa científica e o problema hoje é a natureza da sua proliferação e não a avaliação em si mesma. É preciso dizer que a avaliação era entendida como um instrumento interno que faz avançar o debate e as inovações científicas.

Durante muito tempo, a avaliação era feita pelos pares, como Isaac Newton foi avaliado, ao submeter um artigo em 1672. Da mesma forma, Max Planck preferia solicitar alterações, a recusar o artigo de um colega. Albert Einstein, cujos artigos eram sempre aceitos, ficou surpreso, ao ser informado que seu artigo havia sido recusado pela Physical Review. Ele considerou as observações e publicou em outra revista (pp. 56-57). O mesmo processo de avaliação de artigos se aplica a projetos de pesquisa, cuja finalidade é a alocação dos recursos financeiros. A objetividade dos números esconde o consenso entre os membros da comissão avaliadora dos projetos. A avaliação analisada dos pesquisadores é um tipo de procedimento administrativo que, usando os dados da bibliometria, suscitou inquietação desde o nascimento deste método.

Para Eugene Garfield, as citações permitem o acesso aos artigos e aos que citam, o que ajuda a emitir um julgamento. A quantidade de citações não pode substituir tal julgamento (p. 60). Todo instrumento pode se distanciar dos usos legítimos e, no caso analisado, cabe ao campo acadêmico reflexão crítica sobre a avaliação, para impedir os efeitos dos indicadores como definidor da performance do pesquisador.

No último capítulo, Gingras analisa os indicadores mais utilizados para avaliar os pesquisadores e, ao mesmo tempo, critica os modos de aplicação. Ele entende por indicador uma variável que pode ser medida e que visa representar fielmente a relação entre um conceito dado e a propriedade do objeto a ser medido. Como exemplo, ele cita a inflação (p. 92). O que surpreende mais o autor é o fato de que a multiplicação de indicadores não é acompanhada por critérios bem definidos, para controlar a validade desses indicadores. O autor analisa as várias fontes de dados como a Web of Science, a Scopus e o Google Scholar e consta que a tendência nos debates sobre a avaliação é reduzir tudo ao mesmo indicador. Como no caso da economia em que o crescimento é medido a partir de um indicador principal o PIB. A questão central diz respeito à classificação que serve o marketing das universidades e, portanto, à competição entre as universidades e os pesquisadores.

Desde os anos 1990, promove-se o mercado mundial da educação superior e tudo se inscreve na corrente do neoliberalismo que transforma as universidades em um mercado como os outros. Alguns especialistas da avaliação atestam que as avaliações praticadas não têm nenhum valor científico, sendo que muitas universidades a utilizam para vender sua qualidade. O autor fundamenta-se em dados empíricos (pp. 98-99) e conclui afirmando que a bibliometria é essencial para fazer a cartografia global do estado da pesquisa, identificar as diversas tendências da pesquisa e das práticas de publicação nas diversas disciplinas. No entanto, o seu modo de aplicação para avaliar a produtividade é um desvio de finalidade que pode ser perverso.

Gingras analisa os modos de emergência da avaliação e seus efeitos, mas na conclusão não faz uma crítica à situação atual da avaliação dos pesquisadores, nem aponta alternativas de ação para combater os efeitos do produtivismo na vida cotidiana dos pesquisadores. O autor faz referência, mas não aprofunda a ideia de que a avaliação é um mecanismo moderno de controle e instrumento de gestão que emerge com a estatística e o mercado do conhecimento.

Desse modo, a estatística tem uma legitimidade científica como instrumento de prova, mas isso não é suficiente, pois ela tem igualmente uma legitimidade social para poder exercer um papel de coordenação, ou seja, de linguagem comum entre os atores sociais. Os usos sociais dos instrumentos estatísticos e da avaliação se constituem como novos modos de dominação, de gestão e de governança. Assim, a política dos indicadores estatísticos domina a sociedade ao retroagir sobre os comportamentos dos atores sociais, mas isso é mais perceptível do ponto de vista de uma sociologia da quantificação.

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons