Linhas orientadoras para avaliação de encontros científicos. O exemplo de um exercício avaliativo.

 

Ana Raquel Simões*, Lúcia Pombo*

* Centro de Investigação em Didáctica e Tecnologia na Formação de Formadores, Universidade de Aveiro, anaraquel@ua.pt; lpombo@ua.pt

 

Resumo

Este artigo pretende apresentar linhas orientadoras para avaliação de encontros científicos, ilustrando um exemplo de um exercício avaliativo desenvolvido no âmbito do colóquio “Da Investigação às Práticas: Interacções e Debates”. Este evento teve lugar na Universidade de Aveiro e assumiu como uma das prioridades a realização de um acompanhamento de índole avaliativa, acompanhado de uma reflexão crítica sobre o colóquio e sobre o próprio processo de avaliação. O processo avaliativo do colóquio permitiu: (i) sublinhar a importância da avaliação nos encontros científicos, como sendo promotores de melhoria em futuros eventos e (ii) validar um instrumento avaliativo que poderá servir de exemplo e de orientação para utilização noutros eventos científicos. Salienta-se, de acordo com o estudo de referência, a mais-valia da utilização de duas fases avaliativas, que permitiram não só a validação dos dados em jeito de triangulação, como também a possibilidade de apresentar no próprio evento uma primeira análise impressionista acerca do mesmo, criando entusiasmo junto do público e servindo como factor de motivação, interesse e reflexão sobre o próprio processo avaliativo.

Palavras-chave: avaliação; linhas orientadoras; encontros científicos

 

Guidelines to Evaluate Scientific Events – the case of an evaluative exercise

Abstract

This paper intends to present guidelines to evaluate scientific events, showing an example of an evaluative exercise developed for the Colloquium “From Research to Practice: Interaction and Debates”. This event took place at the University of Aveiro and had as a priority the implementation of a monitoring of evaluative nature, accompanied by a critical reflection on the conference and on the very process of evaluation. The evaluation process of the symposium presented a dual purpose: (i) to emphasize the importance of evaluating the scientific meetings, as promoter of their quality improvement in future events and (ii) to validate an evaluative tool that may de used as an example and guidance for use in other scientific events. It should be noted, according to the study of reference, the advantage of using two evaluative phases, which allow not only the data validation, (and also data triangulation), but also the opportunity to present an initial analysis in the event, although a first and impressionistic analysis, creating excitement among the public and serving as a source of motivation, interest and reflection on their own evaluation process.

Keywords: evaluation; guidelines; scientific events.

 

Introdução

Acredita-se, cada vez mais, que a avaliação da qualidade, em qualquer área se assume como imperativo para a realização de um exercício reflexivo sobre o trabalho realizado, assim como para a preparação de uma intervenção que melhore os elementos menos positivos destacados. A investigação é, per se, uma das áreas onde a avaliação reúne um destaque incomensurável, não só pelas implicações que esta avaliação muitas vezes traz no âmbito do financiamento de actividades investigativas futuras (veja-se, a título de exemplo, a avaliação dos centros de investigação a nível nacional e o condicionamento das receitas dos mesmos de acordo com as notas alcançadas ou ainda a avaliação de projectos de investigação a nível nacional ou europeu), como pela importância atribuída aos resultados alcançados e ao seu impacte de acordo com as avaliações efectuadas.

Relativamente às entidades que são avaliadas quando se fazem exercícios de avaliação da investigação, existirão cerca de 5 diferentes tipos de entidades, segundo relatório da OCDE (1997). A investigação pode focalizar-se no trabalho de investigadores individuais, em grupos de investigação mais vastos, em laboratórios e instituições como as universidades, numa disciplina científica, num programa governamental, em agências de financiamento, ou também em toda a investigação realizada num dado país.

Quanto aos responsáveis pelo processo de avaliação, podemos afirmar, de forma geral, que existem duas grandes categorias de “avaliadores”: (i) a avaliação pode ser um processo interno, implementado pelas próprias instituições/entidades a ser avaliadas ou pode ser (ii) um processo externo, como resposta a instruções governamentais e/ou outras. Pode existir ainda uma situação intermédia entre estas duas, em que as instituições que conduzem a sua própria avaliação chamam investigadores exteriores como consultores da mesma.

No que respeita às abordagens para avaliar a investigação, têm sido desenvolvidos diferentes indicadores, nem sempre consensuais. Aliás, já Martin & Irvine (1983) apontavam as dificuldades sentidas na construção e utilização destes mesmos indicadores. Das diferentes leituras por nós efectuadas, podemos designar quatro principais indicadores e respectivas abordagens: a algorítmica (baseada em métrica quantitativa), a revisão por experts (incluindo a peer review), os ratings históricos e a auto-avaliação.

A abordagem algorítmica é um sistema quantitativo automático sem lugar para a avaliação subjectiva, onde se obtém um algoritmo a partir da combinação de uma métrica estabelecida. Podem incluir-se diferentes métricas, como é caso das medidas bibliométricas (publicações ou citações), número de alunos de investigação ou de conclusão de cursos de pós-graduação; nível de financiamento alcançado em projectos. Na revisão por experts faz-se uma avaliação, por parte de especialistas na área, da performance de indivíduos ou grupos de investigação.A avaliação pode ser realizada por peers ou pode ainda incorporar outros especialistas de outras áreas, como representantes de outros grupos (financeiros,…).

Os ratings históricos baseiam-se unicamente na performance de grupos/departamentos/universidades no passado, sendo que são múltiplas as formas de determinar a performance destas instituições e/ou grupos no passado, tal como o montante de subsídios obtidos no passado ou os resultados de concurso de projectos.

Na auto-avaliação são as instituições, de departamentos, centros e/ou investigadores individuais que se auto-avaliam, sendo que nalguns casos em certos países, podem utilizar-se avaliadores externos para confirmar (ou não) as avaliações obtidas.

 

Enquadramento teórico

Podemos afirmar que a França, a Holanda e a Grã-Bretanha são países considerados importantes para o estabelecimento de uma política de modernização da qualidade na educação. Em 1985 criou-se m França o Comité National d’Evaluation (CNE), instituição que avalia a educação e a investigação nas universidades, utilizando experts independentes e tornando públicos os seus relatórios. Em 1989, foi introduzido um sistema de qualidade para a educação e investigação na Holanda, pela Association of Dutch Univsersities. Neste sistema, o Inspectorate do Ensino Superior “avalia a avaliação”. Na Grã-Bretanha estabeleceu-se, nos anos 80, um sistema de critérios para a gestão interna da qualidade nas universidades, criando-se o AAU (Academic Audit Unit) nos anos 90 para avaliar os sistemas de gestão da qualidade usados nas universidades.

Num relatório de 1999, Geuna et al., que orientou a publicação do artigo de Geuna & Martin (2001), os autores analisam e comparam as abordagens desenvolvidas na avaliação e financiamento da investigação em 14 países (da Europa e da região de Ásia-Pacífico). Foram identificados quatro sistemas de financiamento: a avaliação baseada na performance (como no Reino Unido, Polónia, Eslováquia, Hong Kong e Austrália), os países que utilizavam outro indicador para além da avaliação da investigação, como o número de alunos ou critério similar (Alemanha, Itália, países Nórdicos, Hungria e Nova Zelândia), aqueles onde a atribuição de fun-dos estava aberto a negociações (França e Áustria) e aqueles onde a avaliação da investigação e o seu financiamento são completamente independentes (Holanda, USA e Canadá). Na altura da realização deste relatório, eram poucos os países a adoptar a primeira abordagem, mas o número estava em crescendo, tendo o Reino Unido como líder deste processo (Geuna et al. 1999), devido sobretudo a pressões ocorridas nos anos 80 neste país, que levaram a uma maior constrangimento de custos e, consequentemente, a maior selectividade na distribuição de fundos.

De uma forma geral, podemos dizer que existem dois eixos completamente separados: os países onde o financiamento decorre da avaliação da investigação, baseado por isso na performance, e aqueles onde não existe qualquer correlação, baseando-se sobretudo no volume institucional de cada instituição. Os autores do relatório, ao analisarem as vantagens e desvantagens dos dois sistemas, concluem que o melhor é a utilização de um sistema híbrido, dados os custos associados a um que se baseie unicamente na performance dos investigadores:“it is worth concluding by pointing to the advantages of a hybrid system, that is, one based partially on performance (incentive-creating) and partially on educational size (cost-minimising).” (Geuna & Martins, 2001: 33). De entre os países analisados, a Holanda, Finlândia e Dinamarca eram aqueles que tinham sistemas híbridos.

Em 2003, na continuação da preocupação com a avaliação da investigação realizada em diferentes países, Tunzelmann & Mbula publicam um relatório, a pedido do Higher Education Funding Council for England (HEFCE), onde fazem o levantamento das principais alterações ocorridas em termos da avaliação da investigação desde 1999, no mesmo conjunto de países. Concluem que, de uma forma geral, se nota um maior enfoque nas abordagens mais formativas do que sumativas, apesar de a maioria dos países ainda considerar os seus sistemas de avaliação como “experimentais”.

Neste relatório, algumas das conclusões são as seguintes: alguns dos países parecem preocupar-se agora mais com a auto-avaliação, sujeita a painéis posterior-mente (como a Irlanda, França, Suiça, Dinamarca, Japão e Nova Zelândia); alguns países mais pequenos utilizam esquemas de avaliação mais intensivos; os períodos de tempo entre a implementação desta avaliação são maiores do que os decorridos entre os RAE’s (Research Assessment Exercises) realizados no Reino Unido.

Apesar da existência de numerosos encontros científicos a nível nacional e internacional, ainda não se constitui como prática corrente o exercício de avaliação dos mesmos por aqueles que neles participam, dando-se, por isso, uma ausência não só de estudos desta índole como também de instrumentos de recolha de dados sobre esta temática, a de avaliação de encontros científicos, com excepção de alguns inquéritos por questionário utilizados por eventos avulso. A preocupação com esta lacuna já vem de há muito, como retratam os trabalhos de Jerry Ayers (1989).

As avaliações de encontros científicos justificam-se por se constituírem, por um lado, como um dos mecanismos de validação científica do conhecimento produzido pela comunidade académica e, por outro, como um dos meios de comunicação e/ou divulgação na comunidade científica e educativa em geral.

Daremos conta, neste artigo, a título de exemplo, da avaliação que foi desenvolvida no âmbito de um Colóquio que teve lugar na Universidade de Aveiro em 2007 (Pombo, Simões, Cruz & Costa, 2008). O Colóquio “Da Investigação às Práticas: Interacções e Debates” assumiu-se como uma das múltiplas formas de reflexão sobre a percepção da desarticulação entre a investigação educacional e as práticas. Assumiu-se como uma das prioridades deste encontro a realização de um acompanhamento de índole avaliativa, acompanhado de uma reflexão crítica sobre o colóquio e sobre o próprio processo de avaliação.

O processo avaliativo do colóquio em questão serve, pois, uma dupla finalidade: (i) a de sublinhar a importância de realizar nos encontros científicos, a avaliação dos mesmos, como sendo promotora de melhoria em futuros eventos e (ii) a de servir, enquanto exemplo de um processo avaliativo que indique linhas orientadoras da avaliação de outros encontros científicos. Este processo de avaliação permitiu ainda validar um instrumento avaliativo que pode, como veremos à frente, servir de exemplo e de orientação para utilização noutros eventos científicos.

Apesar de, desde já algum tempo, se fazerem alguns estudos sobre o processo e os resultados da avaliação de produção científica, nomeadamente, no que se refere às revistas científicas (como é o caso dos estudos de Mendes & Marziale, 2001 ou de Prat, 1998) ou às técnicas específicas de avaliação da investigação (por exemplo, Garfield, 2003), pouco se tem desenvolvido sobre a avaliação dos encontros científicos e o impacte desta em futuros eventos.

No Brasil, esta preocupação tem sido manifestada pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES, 2006) que, desde 2001, disponibiliza, no seu site, uma base de dados “Qualis-eventos” de acordo com determinados critérios de avaliação, onde os eventos científicos internacionais, nacionais e locais são classificados em A, B e C. Relativamente aos critérios estabelecidos para efectuar esta avaliação, definiram-se os seguintes: a qualidade do evento no global, há quanto tempo o mesmo existe e o rigor na selecção de trabalhos. Importa salientar também que não foi recolhida qualquer informação junto dos participantes para efectuar tal avaliação, o que diferencia em parte o processo avaliativo da CAPES daquele que neste estudo pretendemos abordar. No entanto, a própria CAPES considera que não pretende definir, de forma absoluta, os critérios de qualidade, mas apenas fornecer à comunidade académica e política um padrão de excelência relativamente às Instituições, aos Programas de pós-graduação disponibilizados e às iniciativas de comunicação/divulgação científica.

A este propósito, têm mesmo sido elaborados alguns instrumentos de avaliação em determinadas áreas, como é o exemplo do OntoQualis (Souto,Warpechowski & Oliveira, 2006), criado no Brasil, e que avalia a qualidade de Conferências Científicas na área das Ciências da Computação.

 

O exemplo de um exercício avaliativo

O exemplo que irá ser apresentado teve como principal objectivo fazer um trabalho reflexivo-avaliativo acerca de um encontro científico, o Colóquio “Da Investigação à Prática: Interacções e Debates”, nomeadamente no que diz respeito às componentes científica, organizacional, social e de impacte da Investigação nas Práticas e destas na Investigação. Esse exercício reflexivo-avaliativo foi da responsabilidade de uma equipa de investigadores do LAQE (Laboratório de Avaliação da Qualidade Educativa), estrutura funcional sediada no Departamento de Didáctica e Tecnologia Educativa da Universidade de Aveiro, criada em 2003 e pertencente ao CIDTFF (Centro de Investigação em Didáctica e Tecnologia na Formação de Formadores).

A motivação subjacente a este Colóquio foi o pressuposto de que “(…) fazem falta espaços para discussão pública e aberta a professores/educadores/investigadores dos processos e produtos da investigação educacional em curso” (Cachapuz, 1996: 126), acreditando que, por um lado, as práticas docentes anseiam uma maior ancoragem nas mais recentes investigações realizadas e, por outro, os professores sentem que a Investigação fala muito DOS professores, mas fala pouco COM eles. A percepção da desarticulação entre a Investigação Educacional e as Práticas é, de facto, uma temática que preocupa a comunidade científica internacional (Ginsburg & Gorostiaga, 2001; Hammersley, 2002; Kempa, 2001; Ratcliffe et al. 2003; Stevens, 2004; Brown 2005) e nacional (Costa & Marques, 1999; Costa et al., 2001; Cachapuz et al., 2002; Araújo e Sá et al., 2002; Costa et al., 2003; Loureiro et al., 2006; Pombo & Costa, 2007; Cruz, Pombo e Costa, 2008).

Tendo partido da iniciativa dos bolseiros do CIDTFF, o Colóquio trouxe a um mesmo espaço (físico, epistemológico e reflexivo) diversos actores (jovens investigadores, bolseiros, alunos de pós-graduação, professores, investigadores seniores) com o intuito de promover “Interacções e Debates” e abrir caminho a futuros encontros e eventuais parcerias.

Assim, o Colóquio pretendeu assumir-se como um contributo para: (i) potenciar a articulação entre a investigação educacional, a inovação e as práticas profissionais; (ii) estabelecer diálogos e interacções entre investigadores da Universidade de Aveiro (UA) e professores das escolas de Ensino Básico e Secundário e (iii) promover a criação e o estreitamento de redes de colaboração entre a UA e as escolas. Para tal, foram apresentados, neste encontro científico, resultados de investigações desenvolvidas no âmbito dos Ensinos Básico e Secundário, sob a forma de experiências escolares e investigativas, materiais pedagógico-didácticos e dados concretos oriundos de projectos de investigação realizados em vários domínios disciplinares: Ciências, Matemática, Língua Portuguesa (materna e não materna), Línguas Estrangeiras, TIC e Áreas interdisciplinares, tendo como público-alvo docentes dos Ensinos Básico e Secundário, licenciados em cursos de ensino e estudantes de cursos de ensino/educação e investigadores nas áreas da Didáctica e Ciências da Educação. Os trabalhos foram apresentados segundo 3 formatos: comunicações, oficinas/ateliers de formação e posters.

Como exemplo de uma metodologia da avaliação da qualidade de encontros científicos, os autores do estudo acima apresentado, desenvolveram o trabalho em duas fases. Na primeira, fez-se uma avaliação parcial do Colóquio, apresentada na forma de comunicação de encerramento do mesmo, no que respeita: (i) à adesão da comunidade na apresentação de propostas dos trabalhos submetidos; (ii) ao tipo de trabalhos apresentados e ao perfil dos seus autores; (iii) ao público que participou no encontro e (iv) à reacção dos participantes no Colóquio. Os dois primeiros elementos foram obtidos através da análise dos dados facultados pela Comissão Organizadora do Colóquio e o último elemento foi obtido com base no acompanhamento que fizemos no decorrer do Colóquio, ouvindo as vozes dos que nele comunicaram e daqueles que estiveram na plateia, registando alguns momentos em fotografia, auscultando opiniões fora e dentro das salas de apresentação e, sobretudo, tentando reflectir sobre o sentir dos diferentes actores que acima mencionámos, acerca dos dois dias de trabalho e das reflexões deles resultantes. Numa segunda fase, sustentou-se, a posteriori, o primeiro balanço com uma análise das respostas a um inquérito por questionário, preenchido pelos participantes no final do Colóquio, onde se pretendeu avaliar as componentes científicas, organizacionais, sociais e de impacte deste encontro científico nas práticas docentes e/ou investigativas dos participantes

Apontamos, desde já, como benefício deste tipo de metodologia a possibilidade de se efectuar a triangulação dos dados obtidos (Creswell, 2003), de forma a se alcançar resultados mais credíveis.

Este estudo teve, ainda, como finalidade aprofundar o conhecimento na área da Avaliação Educacional de “Eventos Científicos”, dando origem a sugestões que poderão contribuir para a melhoria contínua da qualidade de eventos desta natureza e, consequentemente, seu impacte.

Na primeira fase do processo avaliativo foram feitas entrevistas em diversos momentos do Colóquio a alguns participantes com o objectivo de compreender quais eram as expectativas que estes tinham relativamente ao mesmo e, no final, qual o balanço que faziam do Colóquio e eventuais sugestões de melhoria. Nesta primeira fase, bastante impressionista, baseámo-nos em dados retirados das fichas de inscrição (perfil dos actores, …), do programa (tipo das apresentações, …) e em “vozes” dos participantes, com diferentes perfis (Comissão Organizadora, autores das comunicações, professores do Ensino Básico e Ensino Superior), em diferentes momentos do Colóquio (recolhidas pela equipa do LAQE), obtidas através de entrevistas realizadas durante os dois dias do Colóquio. Pretendeu-se identificar o número de preponentes de trabalhos e sua origem, a tipologia dos trabalhos a apresentar, o número de inscritos e a sua situação profissional, as expectativas dos participantes relativamento ao Colóquio e o seu grau de satisfação relativamente ao mesmo.

Esta primeira fase permitiu-nos ter uma visão global do encontro, no que se refere ao número e perfil dos participantes e dos intervenientes, assim como identificar, desde logo e de forma impressionista, os principais aspectos positivos e negativos apontados pelos participantes no colóquio, assim como as suas expectativas em relação ao mesmo.

Na sessão de encerramento do Colóquio, foi apresentada uma Comunicação em que figurava um primeiro balanço sobre o evento, baseada nas fichas de inscrição (recolhendo elementos acerca da adesão da comunidade ao evento e perfil dos participantes) e nas entrevistas que foram realizadas durante o seu decurso.

Destacamos o carácter inovador deste tipo de avaliação, não só no que se refere ao tipo de dados recolhidos na primeira fase acima descrita, como também à forma de divulgação dos resultados impressionistas, in loco e in tempore, criando entusiasmo junto do público e servindo como factor de motivação, interesse e reflexão sobre o próprio processo avaliativo.

Numa segunda fase, analisou-se o questionário que se destinou exclusivamente aos participantes do Colóquio. Pretendeu-se, assim, aprofundar o primeiro olhar impressionista sobre a avaliação do Colóquio, com base na análise dos resultados referentes ao questionário.

 

Linhas orientadoras para Avaliação de Encontros Científicos

A partir da análise que foi feita dos dados obtidos, e de uma reflexão sobre o processo avaliativo, podemos agora apresentar algumas das linhas orientadoras para a construção de inquérito por questionário com vista à avaliação deste tipo de encontros científicos.

Um instrumento de recolha de dados sob o formato de inquérito por questionário poderá apresentar os seguintes objectivos: (i) caracterizar os participantes do encontro científico e a sua assiduidade no evento; (ii) identificar a avaliação que os participantes fazem do encontro em termos científicos, organizacionais, sociais (acolhimento, convívio, interacção, ambiente de trabalho) e relativamente ao desenvolvimento da temática do encontro; (iii) conhecer a opinião dos participantes quanto aos pontos fortes e frágeis do encontro, assim como (iv) recolher sugestões e comentários dos participantes para futuros eventos.

Respondendo a este tipo de objectivos identificados, o instrumento de recolha de dados utilizado no Colóquio “Da Investigação à Prática: Interacções e Debates” era constituído por cinco partes: parte I – Participação no Colóquio (a assiduidade e autoria de trabalhos apresentados); parte II – Caracterização geral dos participantes (idade, género, habilitações académicas, situação profissional actual); parte III – Colóquio: balanço da divulgação e organização (questões sobre como o respondente teve conhecimento deste Colóquio e ainda relativas à avaliação que fez das componentes organizacionais e sociais do evento); parte IV – Colóquio: balanço da componente científica e do seu contributo na articulação entre a Investigação e as Práticas (perguntas relativas à avaliação da componente científica do Colóquio e do contributo do encontro para potenciar o impacte da investigação nas práticas e o impacte das práticas na investigação); parte V – Colóquio: balanço global (questões abertas acerca da opinião dos sujeitos sobre os três aspectos mais e menos positivos do Colóquio, assim como sugestões e comentários para futuros encontros científicos sobre a temática em análise).

Destacamos a importância da divisão do questionário em partes, dado que tal permite uma melhor organização em termos de resposta por parte dos inquiridos e um tratamento de dados mais facilitado. Chamamos, também, a atenção para o predomínio das questões fechadas e das escalas, de forma a permitir o fácil preenchimento do questionário e uma resposta mais célere ao mesmo. Este tipo de perguntas facilita ainda o tratamento estatístico dos dados, dado o número elevado de participantes no encontro. Foram, no entanto, incluídas questões abertas relativas a: (i) sugestões acerca da divulgação e organização do Colóquio; (ii) indicação dos três aspectos mais positivos e menos positivos do Colóquio e (iii) sugestões e comentários globais para futuros encontros científicos. Estas perguntas permitiram obter uma resposta individual e personalizada dos participantes, ainda mais quando se tratava do levantamento das suas opiniões acerca da avaliação do Colóquio. O seu tratamento, através de análise de conteúdo, e porque em número reduzido, permitiu a categorização das respostas e respectiva análise.

Na primeira parte do questionário, relativa à Participação no Colóquio, podem constar questões acerca do período de comparência dos participantes no encontro (no caso do mesmo se estender por mais do que um dia) e a possível autoria e co-autoria dos trabalhos. Na segunda parte, relativa à Caracterização pessoal, incluem-se questões relacionadas com o perfil dos participantes em termos pessoais, académicos e profissionais, assim como género, intervalo de idades, habilitações académicas com especificação de áreas e situação profissional (no caso de existir um público diferenciado no que respeita este item).

Na terceira parte, balanço da divulgação e organização, as questões versam a forma de como os inquiridos tiveram conhecimento do encontro, para além de questões de avaliação do encontro em termos organizacionais e sociais. Definiramse como critérios para estas duas dimensões os abaixo indicados na tabela 1.

 

Tabela 1 – Dimensões e critérios no domínio da avaliação em termos organizacionais e sociais.

Dimensões	Critérios
Organização	Qualidade do apoio logístico
	Estruturação do programa relativamente aos formatos de apresentação existentes
	Tempo das apresentações
	Tempo para debate
	Grau de adequabilidade da data escolhida para a realização do Colóquio
Social	Grau de satisfação com o acolhimento
	Qualidade do ambiente de trabalho
	Grau de satisfação com os momentos de convívio

 

Incluiu-se ainda uma questão sobre o balanço final em termos organizacionais e outra em termos sociais, sob a forma de escala qualitativa (insuficiente, suficiente, bom e muito bom).

Na quarta parte, de balanço da componente científica e do seu contributo na articulação entre a Investigação e as Práticas, foram identificados diferentes critérios (vide tabela 2), com uma questão em forma de escala. À semelhança da parte anterior, incluíam-se ainda questões globais de avaliação da componente científica e do seu contributo na articulação entre a Investigação e as Práticas.

 

Tabela 2 – Dimensões e critérios no domínio da avaliação em termos científicos e do impacte da investigação na prática.

Dimensões	Critérios
Componente Científica	Rigor Científico
	Profundidade dos trabalhos apresentados
	Clareza das apresentações
	Qualidade do debate
Contributo para o impacte da Investigação na prática	Adequabilidade dos trabalhos investigativos apresentados em relação ao impacte da investigação nas práticas
	Relevância do Colóquio relativamente às práticas dos professores
	Grau de inovação dos trabalhos investigativos apresentados em relação ao impacte da investigação nas práticas

 

Quanto às sugestões proferidas pelos participantes para futuros encontros científicos, estas foram categorizadas em diferentes dimensões, tal como abaixo descrevemos (tabela 3), subdivididas noutros elementos mais específicos.

 

Tabela 3 – Categorização das sugestões para futuros encontros científicos sobre a temática em análise.

Dimensões	Critérios
Componente Organizacional	Perfil e dinâmica das apresentações
	Programa (actividades)
	Participantes e público-alvo
	Horário e data escolhida
	Divulgação
	Continuidade deste tipo de eventos
	Outra
Componente científica	Articulação entre Investigação e práticas
	Apresentações (qualidade)
	Debate (qualidade e tempo)
	Áreas disciplinares
Componente social	Ambientes de trabalho
	Acolhimento

 

Foi ainda pedido aos inquiridos, em jeito de balanço global, que identificassem, através de resposta a duas perguntas abertas, os três principais pontos positivos e três aspectos menos positivos do Colóquio (vide tabela 4), tendo sido feita a análise de conteúdo das respostas.

 

Tabela 4 – Aspectos positivos e negativos do Colóquio.

Aspectos positivos	Aspectos negativos
Articulação entre a Investigação e as Práticas	Tempo
Qualidade das apresentações/actividades	Qualidade das apresentações
Qualidade do programa	Questões da logística e/ou condições de trabalho

 

Poderíamos, de acordo com a experiência levada a cabo e com a análise de outros instrumentos de avaliação de encontros científicos, delinear alguns elementos a alterar e/ou acrescentar no tipo de instrumento elaborado.

Assim, uma das hipóteses será a de, se considerado pertinente, subdividir a avaliação de acordo com os diferentes tipos de comunicações apresentadas e/ ou, segundo aquelas que o participante assistiu. Se assim for, importa incluir num primeiro momento uma listagem de todas as comunicações/sessões plenárias/posters/plenárias/… presentes no programa da conferência e solicitar ao inquirido que refira aquelas a que assistiu. No segundo momento, o inquirido pode proferir a sua avaliação de acordo com cada uma delas ou segundo um conjunto de sessões. Desta forma, garante-se não só a opinião global do sujeito inquirido nas questões globais de avaliação, mas também um exame exaustivo de cada tipo de apresentação, caso se considere este tipo de exercício necessário e pertinente para a avaliação em questão.

De acordo com uma análise do instrumento que aplicámos neste primeiro estudo, e na preparação e administração de novo questionário num outro encontro científico (CTS- Ciência,Tecnologia, Sociedade no Ensino das Ciências:V Seminário Ibérico & I Seminário Ibero- Americano, que teve lugar na Universidade de Aveiro), consideramos que a escala a ser utilizada em algumas das questões do questionário pode ser adaptada ao propósito do mesmo. Decidimos, por isso, optar neste segundo encontro por uma escala de 6 elementos (Não Satisfaz; Satisfaz Muito Pouco; Satisfaz pouco; Satisfaz; Satisfaz bem e Satisfaz muito bem), em detrimento da escala de 4 elementos (Insuficiente, Suficiente, Bom e Muito bom), por considerarmos que a de 6 elementos é mais abrangente e proporciona um maior leque de opiniões de resposta).

 

Considerações Finais

Em jeito de conclusão, podemos salientar a importância da realização deste estudo avaliativo com intuito de avaliar os pontos mais e menos fortes do evento, no sentido de poder formular linhas directrizes que conduzam a uma melhoria da qualidade dos eventos em futuras edições. Estas sugestões de (re)formulação podem, assim, auxiliar não só a comissão organizadora e científica do encontro que teve lugar, como também servir de entusiasmo para uma participação mais alargada por parte do público e dos próprios intervenientes, pela garantia de qualidade do evento em questão.

Na avaliação deste tipo de encontros científicos, salientamos, de acordo com o estudo de referência que realizámos, a mais-valia da utilização de duas fases avaliativas, que permitiram não só a validação dos dados em jeito de triangulação, como também a possibilidade de apresentar no próprio evento uma primeira análise impressionista acerca do mesmo.

Relativamente à questão da “triangulação” dos dados, pudemos, por exemplo, verificar uma certa congruência entre as opiniões dos participantes nas entrevistas na fase inicial e nas respostas abertas ao questionário, nomeadamente nos pontos mais positivos. Dos aspectos comuns mais importantes salientam-se a motivação para um futuro trabalho de investigação e a troca de experiências enriquecedoras ao nível pessoal e/ou profissional.

No que respeita à apresentação dos dados da primeira fase in loco e in tempore, esta constitui-se como um factor de inovação com impacto positivo junto do público e como motivação para consultarem on-line os resultados da segunda fase, publicados após o encontro.

Assim, e para finalizar, é de fundamental importância a continuidade de avaliações de encontros científicos junto dos participantes, bem como cada vez mais a ampliação/diversificação do público-alvo.

 

Referências Bibliográficas

Araújo e Sá, M.; Canha, M. & Alarcão, I. (2002). Collaborative dialogues between teachers and researchers – a case study. Comunicação apresentada na European Conference on Educational Research, Setembro 11-14, Lisboa, Portugal.

Ayers, J. B. (1989). Evaluating workshops and institutes. Practical Assessment, Research & Evaluation, 1(8). Retirado em 5/01/2008 em http://PAREonline.net/getvn.asp?v=1&n=8.

Brown, S. (2005). How can research inform ideas of good practice in teaching? The contributions of some official initiatives in the UK. Cambridge Journal of Education, 35 (3), 383-405.

Cachapuz,A.; Praia J.; Jorge, M. (2002). Ciências, Educação em Ciências e Ensino das Ciências. Lisboa: Colecção temas de investigação, Ministério da Educação.

Cachapuz, A.F. (1996). Que investigação para a melhoria da educação? In B.P. Campos (Org). Investigação e inovação para a qualidade das escolas. I.I.E. Lisboa.

CAPES (2006) - Relatório de 15 de Setembro de 2006 “Qualis Periódicos - Qualis Eventos - Qualis Livros”– Retirado em 5/01/2008 em http://qualis.capes.gov.br/arquivos/avaliacao/webqualis/criterios2004_2006/Criterios_Qualis_2005_38.pdf

Costa, N. & Marques, L. (1999).Avaliação do Impacte de Cursos de Mestrado no Desenvolvimento Profissional de Professores: estudo de um caso. Livro de Resumos do III Congresso Internacional de Formação de Professores nos Países de Língua e Expressão Portuguesas, 35-36.

Costa, N.; Marques, L. & Kempa, R. (2000). Science Teachers’ Awareness of Findings from Education Research. Research in Science and Technological Education, 18 (1), 37-44.

Costa, N.; Graça, B. & Marques, L. (2003). Bridging the gap between science education research and practices: a study based on academics’ opinions. In International Conference Teaching and Learning in Higher Education: New Trends and Innovations, CD-Rom.

Creswell, J.W. (2003). Research design: Qualitative, quantitative, and mixed methods approaches. 2nd ed.Thousand Oaks: Sage Publications.

Cruz, E.; Pombo, L. & Costa, N., (2008). Dez anos (1997-2007) de evolução do impacte da Formação Pós-Graduada nas Práticas de Professores em Portugal, Revista Brasileira de Pesquisa em Educação em Ciências/ RBPEC (ISSN 1806-5104), 8(1), disponível no site http://www.fae.ufmg.br/abrapec/revistas/V8NI/v8nIa2.pdf        [ Links ]

Garfield, E. (2003). The meaning of the impact factor. International Journal of Clinical and Health Psychology, 3(2), 363-369.

Geuna, A.; Martin, B.R. (2001). University Research Evaluation and Funding: An International Comparison. In http://www.sussex.ac.uk/Units/spru/publications/imprint/sewps/sewp71/sewp71.pdf

Geuna, A.; Hidayat, D. & Martin, B. (1999). Resource Allocation and Research Performance: The Assessment of Research. Report prepared for the Higher Education Funding Council of England, Brighton: SPRU.

Ginsburg, M.B. & Gorostiaga, J.M. (2001). Relationships between theorists/researchers and policy makers/ practitioners: Rethinking the two cultures thesis and the possibility of dialogue. Comparative Education Review, 45(2), 173-196.

Hammersley, M. (2002). Educational Research, Policymaking and Practice. London: Sage.

Kempa, R. (2001). Research and Research Utilisation in Chemical Education. Comunicação apresentada na 6th European Conference in Chemical Education. Setembro 4-8,Aveiro, Portugal.

Loureiro, M.J.; Santos, M.C.; Marques, L.; Neto, A.; Costa, N.; Oliveira, M.T. & Praia, J. (2006). Educational research and school practice in Science Education: from the relevance of interactions to categories of constraints.Actas da International Conference in Mathematics Sciences and Science Education (Breda,A, Duarte,R., Martins, M. (Ed)), Universidade de Aveiro. ISBN 972-789-187, 58-65.

Martin, B.R. & Irvine, J. (1983). Assessing Basic Research: Some Partial Indicators of Scientific Progress in Radio Astronomy. Research Policy, 12, 61-90.

Mendes, I. & Marziale, M.H. (2001). Avaliação por pares em divulgação científica. Revista Latino-am Enfermagem, Nov-Dez; 9(6): 1-2.

Pombo, L. & Costa, N. (2007). Da caracterização do impacte da formação pós-graduada de professores de Ciências à apresentação de propostas que o potenciem. In: J.B. Lopes; J.P. Cravino (Orgs.). Contributos para a qualidade educativa no Ensino das Ciências - do pré-escolar ao Superior. In: XII Encontro Nacional em Educação em Ciências, UTAD,Vila Real, 233-238.

Pombo, L; Simões,A.R.; Cruz, E. & Costa, N. (2008).Avaliação do Colóquio “Da Investigação à prática: interacções e debates”. In http://209.85.129.132/search?q=cache:vjoVuyLBpRUJ:www.dte.ua.pt/ReadObject. aspx%3Fobj%3D8135+coloquio+bolseiros+UA&hl=pt-PT&ct=clnk&cd=1&gl=pt

Prat,A. M. (1998),Avaliação da produção científica como instrumento para o desenvolvimento da ciência e tecnologia, Ci.Inf., Brasília, 27 (2), 206-209.

Ratcliffe, M.; Bartholomew, H.; Hames,V.; Hind,A.; Leach, J.; Millar, R. & Osborne, J. (2003). Evidence-based practice in Science Education: the researcher-user interface. Comunicação apresentada na Annual Meeting of the National Association for Research in Science Teaching. Março, Philadelphia, USA.

Souto, M.;Warpechowski, M. & Oliveira, J. (2006). Modelo de Avaliação da Qualidade de Conferências Científicas na Área da Ciência da Computação: uma Abordagem Ontológica. In:WOMSDE - Workshop on Ontologies and Metamodeling Software and Data Engineering; SBBD/SBES, Florianópolis: Sociedade Brasileira de Computação, 93-102.

Stevens, R. J. (2004). Why do educational innovations come and go? What do we Know? What can we do?, Teaching and Teacher Education, 20, 389-396.