SciELO - Scientific Electronic Library Online

 
 número18TLH Suite: herramienta para la anotación semántica de información índice de autoresíndice de assuntosPesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


RISTI - Revista Ibérica de Sistemas e Tecnologias de Informação

versão impressa ISSN 1646-9895

RISTI  no.18 Porto jun. 2016

https://doi.org/10.17013/risti.18.114-130 

ARTÍCULOS

Efeito do modelo 4C/ID sobre a aquisição e transferência de aprendizagem: revisão de literatura com meta-análise

The effects of the 4C/ID Model in the acquisition and transfer of learning: a meta-analysis

Mário Melo 1, Guilhermina Lobato Miranda 1

 

1 Instituto de Educação da Universidade de Lisboa, Alameda da Universidade, 1649-013, Lisboa, Portugal. E-mal: mmlmelo@hotmail.com , gmiranda@ie.ulisboa.pt

 

RESUMO

Este artigo tem como principal objetivo apresentar os resultados de uma meta-análise que investigou o efeito da utilização do modelo instrutivo 4C/ID (four components instructional design model) na aprendizagem, nomeadamente na capacidade que os sujeitos demonstraram na “reprodução de conhecimentos” e na “transferência da aprendizagem” a novas situações. Este modelo tem sido sobretudo aplicado em ambientes de ensino e aprendizagem online. Foram selecionados oito estudos, a partir dos 61 encontrados na pesquisa em diferentes bases de dados, a que se aplicaram os métodos estatísticos subjacentes a este tipo de revisão sistemática da literatura. Os resultados revelaram que, em média, a utilização do modelo 4C/ID produz efeitos elevados sobre os grupos experimentais (d = + 0,56) ao nível dos desempenhos “reprodução” + “transferência”. Estas duas variáveis foram também analisadas de forma independente e os resultados revelaram efeitos elevados (d = + 0,70, para a “reprodução de conhecimentos” e d = + 0,65, para a “transferência da aprendizagem”). Analisou-se o impacto de cada estudo sobre os resultados da meta-análise e discutiram-se algumas das suas características metodológicas. Verificou-se que há um défice de trabalhos de investigação de carácter experimental sobre a eficiência (desempenhos + esforço mental) do modelo 4C/ID em contexto educativo, e que os estudos existentes se centram mais na avaliação de desempenhos.

Palavras-chave: Modelo 4C/ID; Meta-análise; Teoria da Carga Cognitiva; Aprendizagem complexa; Transferência de aprendizagem.

 

ABSTRACT

This article presents the result of a meta-analysis that investigated the effect of the instructional model 4C/ID (four components instructional design) in learning, particularly on the students’ achievement and transfer. This model has been applied mostly in educational environments and online learning. We selected eight studies, from the 61 found in different databases, upon which we applied the statistical methods for this kind of systematic literature review. The results showed that, on average, the 4C/ID model produces moderate effects in the experimental groups (d = + 0,56) in terms of the achievement (“reproduction” + “transfer”). These variables were also analyzed in an independent way and the results showed high effects in both variables (d = + 0,70 for the achievement and d = + 0,65 for the transfer of learning). We also presented an analysis of the impact of each study on the meta-analysis results and some methodological characteristics of this process of literature review. We found a deficit in the number of published studies about the efficiency of 4C/ID model (that combines data from achievement and mental effort) in educational context and we also observed that the existing studies focus more on the achievement and less in measures of the mental effort.

Keywords: 4C/ID model; Meta-analysis; Cognitive Load Theory; Complex learning; Transfer of learning.

 

1. Introdução

Neste artigo apresentámos os resultados de uma revisão sistemática da literatura com meta-análise, sobre os efeitos da utilização do modelo instrutivo - Modelo de Design Educacional de Quatro Componentes (4C/ID) - no desempenho dos alunos.

O desenho instrutivo (instructional design, ID), segundo Merril, Drake, Lacy e Pratt (1996), corresponde a uma prática que permite criar experiências de ensino com o intuito de promover a aquisição de conhecimentos e de competências de uma forma mais eficiente e apelativa.

O modelo 4C/ID foi desenvolvido por van Merriënboer durante a década de 90 e é considerado, pelos especialistas do ID, como um dos mais influentes neste domínio, a par da teoria de Robert Gagné, desenvolvida durante a década de 60, conhecida como Teoria das Condições de Aprendizagem (Ouimette, Surry, Grubb & Hall, 2009). O enquadramento teórico do modelo 4C/ID pode ser consultado em van Merriënboer e Kester (2014).

A investigação neste domínio tem-se centrado na forma como o modelo 4C/ID tem sido utilizado em ambientes de aprendizagem digitais para a promoção de aprendizagens complexas, que segundo van Merriënboer et al. (2014) envolvem a integração de conhecimentos, de competências, de atitudes e a capacidade de coordenar diferentes competências em termos qualitativos e muitas vezes a transferência do que é aprendido para novas situações.

Este modelo assume os pressupostos e integra muitos dos resultados experimentais alcançados pela Teoria da Carga Cognitiva (TCC) (cf. Sweller, Ayres, Kalyuga, 2011). Neste contexto foram desenvolvidos métodos para medir a carga cognitiva associada às tarefas de aprendizagem: as “medidas subjetivas diretas” e em particular a escala de índice desenvolvida por Paas (Paas, 1992), para a medição do esforço mental percecionado pelos alunos. Este autor e van Merriënboer desenvolveram uma medida de eficiência da instrução, que combina o esforço mental com indicadores de desempenho na realização das tarefas de aprendizagem.

 

2. O Modelo 4C/ID

As competências trabalhadas no contexto da aprendizagem complexa são classificadas como não-recorrentes ou recorrentes. No primeiro caso o processo de aprendizagem fundamental está associado à construção de esquemas mentais através da apresentação de modelos mentais, estratégias cognitivas e feedback cognitivo; no segundo caso a aprendizagem está mais centrada na automação de regras, conseguida através da sua aplicação com sucesso (Anderson, 1983, 1993). A combinação desses dois processos de aprendizagem visa promover a transferência da aprendizagem.

Para implementar essas estratégias de aprendizagem, o modelo 4C/ID preconiza a existência de quatro componentes interrelacionados: (a) as tarefas de aprendizagem, consideradas a espinha dorsal do modelo, sendo preferencialmente baseadas em exemplos da vida real, (b) a informação de suporte que permitem que o aluno resolva de forma eficiente problemas, promovendo a ponte entre os seus conhecimentos prévios e os novos conhecimentos, (c) a informação processual, que permite, através de um algoritmo, dar informações de como os aspetos mais rotineiros das tarefas devem ser executados; estando organizada em pequenos segmentos de informação apresentados no momento exato em que são necessários e (d) a prática nas tarefas que permite o treino competências mais rotineiras.

 

3. Eficiência do modelo 4C/ID: evidências empíricas

A investigação realizada no âmbito do modelo 4C/ID, com cerca de duas décadas, tem sido desenvolvida em duas grandes vertentes: uma centrada no melhoramento das condições de aplicabilidade do modelo (por exemplo, forma e instantes de apresentação das informações, organização das tarefas de aprendizagem, sequência das classes de tarefas, etc.); e outra relacionada com a eficiência do modelo ao nível da aprendizagem, que combina dados provenientes de avaliação de desempenhos1 (reprodução e transferência) com esforço mental percecionado. É na segunda vertente que se encontram os estudos selecionados para a meta-análise.

Sobre as condições de aplicabilidade do modelo 4C/ID destacamos a investigação realizada por Kester, Kirchner e van Merriënboer em 2004 e 2006, acerca das condições (forma e instante) de apresentação dos diferentes tipos de informação, que otimizam a carga cognitiva associada à realização de tarefas no contexto da análise de erros cometidos no desenho de circuitos elétricos.

Em termos de desenvolvimento de competências na formação de professores destacam-se os trabalhos realizados por Hoogveld, Pass e Jochems em 2001 e 2003. No primeiro estudo, foram comparados dois grupos de professores: um grupo que foi treinado para usar o modelo 4C/ID na conceção de materiais instrutivos e o outro grupo foi treinado para conceber materiais instrutivos usando a sua própria abordagem. A qualidade do design de seus materiais foi avaliada por especialistas, verificando-se que o primeiro grupo desenvolveu projetos qualitativamente melhores face ao segundo. O segundo estudo visou investigar os benefícios do modelo 4C/ID no trabalho em equipa ou individual. Os resultados revelaram que os sujeitos com menor desempenho beneficiaram mais com o modelo 4C/ID quando desenvolveram trabalho em equipa.

No âmbito dos estudos de carácter descritivo sobre as potencialidades do modelo 4C/ID no ensino da medicina dentária destacamos o trabalho de Postma e White (2015). Ainda na área das ciências da saúde Susilo, van Merriënboer, van Dalen, Claramita e Scherpbier em 2013 realizaram uma investigação de natureza qualitativa sobre a utilização do modelo 4C/ID no desenvolvimento de competências relacionadas com a utilização de linguagem técnica numa comunidade de profissionais de saúde hierarquizada (auxiliares, enfermeiros e médicos).

Janssen-Noordman, van Merriënboer, van der Vleuten e Scherpbier (2006), apresentam o exemplo de um ambiente de aprendizagem na área da formação médica (avaliação clínica de pacientes por médicos em formação) concebido com base no modelo 4C/ID, avaliando qualitativamente as vantagens deste modelo.

Outra vertente metodológica centra-se em trabalhos de carácter experimental que envolvem a avaliação do efeito do modelo 4C/ID ao nível da aprendizagem, ou seja, na medição dos desempenhos dos alunos em termos de reprodução dos conhecimentos adquiridos e na transferência de aprendizagem. Em alguns trabalhos foi também avaliado o esforço mental despendido pelos alunos na realização das tarefas de aprendizagem ou na realização dos testes de avaliação de desempenhos (ver secção 4.).

 

4. Meta-análise

A meta-análise, introduzida por Gene Glass, é uma metodologia de investigação na qual são analisados um conjunto (³ 2) de trabalhos de investigação e apresentadas medidas que combinam os resultados desses estudos, permitindo estimar o efeito médio de intervenções sobre determinadas variáveis nos estudos selecionados.

O principal objetivo desta meta-análise é posicionar os resultados de investigação relacionados com a eficiência do modelo 4C/ID na aprendizagem (em particular na reprodução e transferência de conhecimentos), numa escala contínua e única. A unidade de medida escolhida neste estudo para a magnitude de efeito é o d-Cohen (cf. Glass, McGaw e Smith, 1981 e Rosenthal, 1995), que corresponde a uma expressão comum da magnitude dos resultados de um estudo para as diferentes variáveis estudadas, que neste caso são: “desempenhos de reprodução” (referentes à reprodução dos conhecimentos aprendido) e os “desempenhos de transferência” (referentes à transferência dos conhecimentos aprendidos a novas situações).

Segundo Marôco (2014) as medidas de magnitude de efeito de referência nas ciências sociais e do comportamento podem ser classificadas do seguinte modo: d > 1,0 muito elevada, 0,5 < d £ 1,0 elevada, 0,2 < d £ 0,5 médio e d £ 0,2 pequeno (adaptadas de Cohen, 1988).

4.1. Hipóteses

Como o principal objetivo deste estudo meta-analítico é analisar o efeito do modelo 4C/ID sobre os desempenhos, quando comparado com outras abordagens instrutivas, levantámos as seguintes hipóteses:

Hipótese 1: A utilização de um ambiente de aprendizagem concebido com base no modelo 4C/ID implica que os alunos tenham melhores resultados ao nível da reprodução dos conhecimentos adquiridos.

Hipótese 2: A utilização de um ambiente de aprendizagem concebido com base no modelo 4C/ID implica que os alunos tenham melhores resultados ao nível da transferência de aprendizagem.

4.2. Metodologia

Usou-se o software Comprehensive Meta-Analysis (CMA) – versão 2 para Windows para o cálculo das magnitudes de efeito e para efetuar todos os testes estatísticos (intervalos de confiança, Q de Cochrane e teste z). O procedimento foi efetuado de acordo com os seguintes passos: 1) localização de todos os estudos possíveis; 2) seleção dos estudos de acordo com os critérios de inclusão; 3) codificação dos artigos selecionados de acordo com as suas características metodológicas; 4) cálculo das magnitudes de efeito para todos os estudos selecionados; e 5) realização dos testes estatísticos.

Procedimentos para a pesquisa de literatura

A pesquisa bibliográfica foi realizada nas bases de dados PsychINFO, ERIC, ISI Web of Knowledge, Google Scholar, ScienceDirect, SpringerLink e resumos de dissertações ou teses usando como palavras-chave “four components instructional design model”, “4C/ID model and learning transfer”, “4C/ID model and learning”, “Part-task vs. Whole-task instructional design models” e “effectivness of 4C/ID model” para datas posteriores a 2000. Foram analisadas exaustivamente as citações encontradas nos trabalhos obtidos e foi feito um exame às referências citadas por van Merriënboer e Sweller. Foram ainda contactados por e-mail alguns autores que têm desenvolvido trabalhos de investigação com o modelo 4C/ID (Jeroen van Merriënboer, Paul Kirschner, Astrid Susilo e Jan Elen).

Critérios de inclusão

Após os resultados de pesquisa dos estudos, foram selecionados os que satisfaziam os seguintes critérios: 1) o estudo tem de envolver a utilização de materiais instrutivos desenvolvidos com base no modelo 4C/ID com ou sem a utilização de computador; 2) o estudo deve abranger uma faixa etária dos 14 aos 23 anos; 3) 0 estudo pode ter sido efetuado em qualquer país desde que a publicação dos seus resultados tenha sido feita em Inglês; 4) o estudo tem de apresentar resultados empíricos quantitativos; 5) só podem ser incluídos estudos com grupo de controlo (são excluídos todos os trabalhos com comparações pré-pós-teste); 6) o estudo deve poder ser replicável noutra escola e 7) o estudo deve envolver a avaliação da eficiência (desempenhos com esforço mental) da utilização do modelo 4C/ID na aprendizagem de um determinado tema.

Na pesquisa efetuada foram encontrados 61 trabalhos nas diferentes bases de dados; no entanto, apenas oito trabalhos foram selecionados por se enquadrarem nos critérios de inclusão e nas hipóteses de investigação levantadas.

Codificação dos estudos e das variáveis

Para cada trabalho foram codificadas as seguintes variáveis: 1) identificação do estudo; 2) variáveis analisadas (testes de reprodução, testes de transferência e avaliação do esforço mental); 3) área de aplicação (matemática, ciências, engenharia, ciências sociais); 4) nível de ensino do grupo (primeiro ciclo do ensino básico, segundo ciclo do ensino básico, ensino secundário e primeiros anos do ensino universitário); 5) forma de apresentação do material instrutivo (áudio, computador, realidade virtual); 6) número de participantes do grupo experimental e do grupo de controlo; 7) d - Cohen médio determinado com base nos desempenhos de reprodução e de transferência de conhecimentos; 8) d - Cohen para as variáveis desempenhos de reprodução, desempenhos de transferência e esforço mental despendido na realização dos testes de reprodução e transferência.

A codificação dos estudos foi elaborada por dois investigadores que trabalharam de forma independente. A concordância entre os avaliadores foi de 95% e quando houve desacordo, ambos os investigadores reexaminaram os estudos em questão até chegarem a um consenso.

Estudos selecionados

Foram selecionados os seguintes estudos para meta-análise:

- Nadolski, Kirschner e van Merriënboer (2005) focaram o seu trabalho na segmentação das tarefas de aprendizagem complexa na área do ensino do direito com recurso a um ambiente digital. Fizeram variar o número de fases (1, 4 e 9) implicadas na resolução das tarefas de aprendizagem, com o intuito de encontrar um equilíbrio entre a segmentação das tarefas e a sobrecarga cognitiva associada à resolução destas. Os resultados mostraram que a segmentação em 4 fases gerou melhores resultados ao nível da eficiência das condições de instrução no que respeita à reprodução de conhecimentos (melhor desempenho com menor esforço mental percecionado). No entanto, em relação à variável transferência de aprendizagem os resultados revelaram não haver diferenças significativas. No estudo meta-analítico usamos a comparação entre o grupo com as 4 fases de segmentação (grupo experimental) e o grupo com as 9 fases de segmentação (grupo de controlo). Em 2006 os autores confirmaram estes resultados com uma replicação do estudo (Nadolski, Kirschner e van Merriënboer, 2006);

- Lim (2006) investigou os efeitos de duas abordagens instrucionais (tarefa segmentada versus tarefa não segmentada) e do nível de especialização dos alunos (novato versus perito) sobre aquisição e transferência de uma competência cognitiva complexa (preparação de uma folha de cálculo). Para além destas variáveis foram avaliadas a carga cognitiva e a eficiência das condições de instrução. A experiência foi realizada com uma amostra de 51 alunos do ensino superior numa disciplina de Tecnologias de Informação e Comunicação (TIC). Ao grupo de controlo foram apresentadas as tarefas de aprendizagem sobre a competência complexa a treinar de forma segmentada e no grupo experimental as tarefas foram concebidas com base no modelo 4C/ID. Os resultados mostraram haver diferenças significativas entre os dois grupos, a favor do grupo experimental, ao nível: (a) dos desempenhos relativos à reprodução de conhecimentos, (b) dos desempenhos relativos à transferência de aprendizagem, (c) da eficiência das condições de instrução, na reprodução e na transferência. No entanto, não foram encontradas diferenças significativas ao nível do esforço mental despendido na resolução dos testes de desempenho. No estudo meta-analítico englobam-se os dados referentes à comparação entre os dois grupos apenas para os sujeitos novatos, uma vez que são os dados que melhor se aproximam dos objetivos desta revisão de literatura;

- Sarfo e Elen (2007) estudaram o efeito da utilização de um ambiente de aprendizagem concebido com os princípios do modelo 4C/ID ao nível da reprodução e transferência de conhecimentos técnicos em escolas de ensino profissional no Ghana. Foi ainda avaliado o efeito do uso das TIC sobre eficiência da utilização do modelo 4C/ID. A amostra foi composta por 129 alunos, distribuídos da seguinte forma: um grupo de controlo com um método regular de ensino e dois grupos experimentais com o modelo 4C/ID, um com o recurso às TIC e um outro sem recurso às TIC. Os resultados mostraram que a abordagem 4C/ID foi mais eficiente no treino de competências técnicas no ensino profissional técnico face a uma abordagem concebida de acordo com um método de ensino regular;

- Lim, Reiser e Olina (2009) investigaram os efeitos de duas abordagens instrutivas (apresentação das tarefas de forma segmentada versus apresentação das tarefas concebidas com base no modelo 4C/ID) sobre aquisição e transferência de uma competência cognitiva complexa no contexto aprendizagem das TIC. Os resultados indicaram que os sujeitos do grupo com a abordagem 4C/ID obtiveram um desempenho significativamente melhor do que o grupo com a abordagem de segmentação, ao nível dos testes de aquisição de competências e no teste de transferência;

- Flores (2011) estudou o impacto da utilização de um ambiente de aprendizagem de matemática para o ensino secundário concebido com base no modelo 4C/ID, ao nível dos desempenhos (reprodução e transferência) e do esforço mental percecionado pelos alunos. A investigação foi desenvolvida num meio rural no sudoeste dos EUA. Foram constituídos dois grupos: o experimental no qual se implementou o ambiente de aprendizagem com a abordagem 4C/ID e o de controlo no qual se usou uma abordagem tradicional. Os resultados mostraram não haver diferenças significativas entre os grupos ao nível dos desempenhos e do esforço mental. Todavia, essas diferenças foram maiores ao nível da reprodução e praticamente nula ao nível da transferência de aprendizagem. O autor apontou como principais causas para estes resultados o contexto socioeconómico da amostra e o baixo nível de conhecimentos prévios;

- Rosenberg-Kima (2012) comparou as diferenças entre duas abordagens instrutivas (centrada nas tarefas de aprendizagem versus centrada nos objetivos), no âmbito do ensino da programação em FlashÒ, ao nível dos desempenhos (reprodução e transferência) e esforço mental despendido. O grupo experimental foi sujeito à abordagem centrada nas tarefas (modelo 4C/ID) e grupo de controlo foi sujeito a uma abordagem centrada nos objetivos de aprendizagem. Os resultados experimentais revelaram haver diferenças significativas ao nível dos desempenhos de reprodução e de transferência de aprendizagem e que os sujeitos do grupo experimental percecionaram menor esforço mental na realização das tarefas de aprendizagem.

- Lim e Park (2012) investigaram os efeitos das abordagens instrutivas 4C/ID e segmentação de informação em termos dos desempenhos (de reprodução e transferência), em alunos do segundo ano do ensino superior numa disciplina de TIC na Educação, para o treino de competências complexas no contexto da programação em MSExcelÒ. Foi ainda avaliado o esforço mental despendido pelos alunos e consequentemente a eficiência instrutiva. Nas duas abordagens usou-se o e-learning. Os resultados revelaram que o grupo experimental obteve melhores resultados ao nível dos desempenhos, com menor esforço mental, apontando desta forma para uma melhor eficiência instrutiva. Desta forma, os autores sugerem que uma abordagem instrutiva concebida com o modelo 4C/ID parece ser mais eficiente na aquisição de aprendizagens complexas.

Cálculo das medidas de magnitude de efeito e análise estatísitca

O cálculo das medidas de magnitude de efeito foi feito com a diferença padronizada entre os dois valores médios observados na variável dependente no pós-teste para os grupos experimental e de controlo, dividida pela estimativa não enviesada do desvio-padrão da população (pooled within groups). Este cálculo e o estudo estatístico foram realizados com o software CMA.

 

5. Resultados

Os resultados devem ser interpretados com algum cuidado devido ao número reduzido de estudos que foi possível incluir no estudo meta-analítico.

O Quadro 1 representa a caracterização dos estudos selecionados para a meta-análise.

 

 

5.1. Magnitude de efeito global

Seguindo as recomendações de Rosenthal (1995), um estudo meta-analítico deve sempre apresentar de uma forma gráfica a distribuição dos valores médios de d-Cohen para os trabalhos selecionados. O gráfico da Figura 1 mostra o diagrama de floresta (forest graph) que ilustra os resultados da meta-análise em função do rácio de chances (odds ratio, OR, na terminologia anglo-saxónica). As linhas horizontais representam os intervalos de confiança (IC a 95%), que se intercetarem a linha vertical central indica que não há diferenças significativas entre os grupos experimental e de controlo em relação ao benefício da intervenção sobre o grupo experimental e se estas se posicionarem do lado direito as diferenças a favor do grupo experimental são significativas. O ponto central de cada linha horizontal representa a magnitude de efeito de cada estudo e o seu tamanho indica o peso relativo de cada estudo no resultado final. A mesma interpretação é feita em relação ao losango da parte inferior do gráfico, que diz respeito à combinação dos dados de todos os estudos.

 

 

Podemos concluir que as medidas de magnitude efeito para os oito estudos se encontram do lado direito da linha central (intervenções a favor do grupo experimental), 50% dos estudos não revelam diferenças significativas a favor do grupo experimental e que 50% revelam diferenças significativas. Verifica-se que há uma distribuição homogénea dos pesos relativos de cada estudo, apresentado apenas o último um peso maior. Quanto à magnitude de efeito global, podemos concluir que, como a marca está do lado direito, as diferenças ao nível dos desempenhos de reprodução e transferência são significativas a favor do grupo experimental. Observando os OR dos vários estudos verifica-se que a chance de ocorrência de efeito positivo (em termos dos desempenhos de reprodução e transferência) da utilização do modelo 4C/ID nos grupos experimentais é sempre maior do que a de ocorrer esse efeito nos grupos de controlo.

Quando se decide incorporar um grupo de estudos numa meta-análise, é porque estes têm elementos comuns em número suficiente. Contudo, esta assunção não significa que se considere que os estudos sejam idênticos em todas as variáveis. As diferenças encontradas entre estudos são designadas por heterogeneidade. A heterogeneidade pode ser identificada através da análise gráfica ou por testes de heterogeneidade, tais como, medidas Q de Cochrane e de I2 de Higgins.

O Q de Cochrane permite testar a existência de heterogeneidade entre estudos, sendo sensível à dimensão da amostra. Logo, para um número reduzido de estudos com alguma variabilidade (entre estudos) pode ainda originar a um p-value não significativo (p > 0,05), tal como se pode observar nos dados da Quadro 2. O parâmetro I2 de Higgins representa a percentagem de variância atribuída à heterogeneidade. Atendendo aos valores da Quadro 2, o valor de I2 de Higgins para o método de efeito fixo é igual a 23%, o que corresponde a uma heterogeneidade baixa (Higgins e Thompson, 2002), o que é corroborado pelo teste de heterogeneidade, Q, (p > 0,05).

 

 

Apesar de todas as considerações sobre a heterogeneidade a escolha do modelo estatístico deve depender da estrutura da amostragem que foi usada para selecionar os estudos. Se estamos a trabalhar com uma única população, então devemos usar o modelo de efeito fixo. Se estamos a trabalhar com um universo de populações devemos optar pelo modelo de efeitos aleatórios. Apesar do número reduzido de estudos e da baixa heterogeneidade das medidas de magnitude de efeito, escolheu-se o modelo de efeitos aleatórios devido à estrutura de amostragem da meta-análise.

No Quadro 2 encontram-se os resultados da análise estatística aplicada ao valor de magnitude de efeito (apenas relativos à média dos desempenhos nos testes de reprodução e de transferência), usando os métodos de efeito fixo e de efeitos aleatórios.

Observando o Quadro 2 verificamos que o valor médio global da magnitude de efeito para os oito estudos selecionados é 0,56 (95% CI [0,32; 0,80]), o que corresponde a uma magnitude de efeito elevada. No que respeita ao teste z (z = 4,55, p = 0,00), podemos afirmar que o valor médio dos verdadeiros valores de magnitude de efeito é não nulo, pelo que de uma forma geral podemos concluir que ao nível dos desempenhos médios nos testes de reprodução e de transferência a utilização de ambientes de aprendizagem concebidos com base no modelo instrutivo 4C/ID gera medidas de magnitude de efeito que correspondem a efeitos moderados a fortes. O teste de Cochrane não foi significativo (p > 0,05) revelando homogeneidade nos estudos. A observação da variância estimada entre estudos (t2 = 0,0282) foi baixa.

5.2. Estimativa do viés de publicação (publication bias)

O viés de publicação é, possivelmente, uma das maiores ameaças metodológicas à validade dos resultados de uma meta-análise. Neste sentido, têm sido desenvolvidos vários métodos para estimar este efeito: 1) O método de Rosenthal (Rosenthal fail-safe N), que foi considerado o mais fácil de estimar, tendo como referência o número de estudos não publicados necessários para anular o valor médio da magnitude de efeito. Neste estudo obtivemos um fail-safe N de 72, que corresponde ao número de estudos não publicados que tornam o valor médio da magnitude de efeito não significativa; 2) o método do gráfico de funil (funnel plot) é outra forma de avaliar o viés de publicação. Neste diagrama (Figura 2) os estudos são representados por pontos, cuja distribuição deve ser simétrica em torno do valor médio de d-Cohen, quando não há viés de publicação. Neste caso, verifica-se que há uma distribuição assimétrica para o lado esquerdo do valor médio de d-Cohen, dando informação de que existe viés da publicação. Contudo, de acordo com o teste de Begg (p = 0,805) o viés encontrado não é considerado estatisticamente significativo.

 

 

5.3. Análise da magnitude de efeito por variável

Fez-se uma meta-análise para as seguintes variáveis: desempenhos relativos à “reprodução” de conhecimento (R) e desempenhos relativos à “transferência” de aprendizagem (T).

Os gráficos das Figuras 3 e 4 representam os diagramas de floresta para as variáveis “desempenhos de reprodução” (R) e de “transferência” (T) por estudo selecionado.

 

 

 

 

Verifica-se que para as duas variáveis 50% dos estudos não revelam diferenças significativas e favor do grupo experimental e que 50% revelam diferenças significativas. Relativamente à variável reprodução verifica-se que o OR é sempre maior do que 1, logo podemos afirmar que o efeito da utilização do modelo 4C/ID sobre essa variável é maior para os sujeitos grupos experimentais. Contudo, para a variável transferência verifica-se que os OR estão mais próximos da unidade, pelo que podemos concluir que o efeito da utilização do modelo 4C/ID sobre esta variável é menos forte (quando comparado com a reprodução). Podemos ainda visualizar que para o estudo de Nadolski (2005) o efeito foi quase nulo, favorecendo os sujeitos do grupo de controlo.

No Quadro 3 encontram-se os resultados da análise estatística para as variáveis desempenhos de reprodução e de transferência.

 

 

Mais uma vez, tendo em consideração a natureza da amostragem deste estudo, usamos o modelo de efeitos aleatórios. Portanto, no que diz respeito à variável “desempenhos de reprodução”, verificamos que o valor médio da magnitude de efeito é 0,70 (95% IC [0,30; 1,09]), o que corresponde a uma magnitude de efeito elevada. No que respeita ao teste z, podemos afirmar que, de acordo com os resultados deste teste (z = 3,47, p = 0,00), o valor médio dos verdadeiros valores de magnitude de efeito é não nulo, pelo que de uma forma geral podemos concluir que ao nível dos desempenhos de reprodução a utilização de ambientes de aprendizagem concebidos com base no modelo instrutivo 4C/ID gera medidas de magnitude de efeito que correspondem a efeitos moderados a fortes, em termos de reprodução da aprendizagem.

Relativamente à variável desempenhos de transferência, verificamos que o valor médio da magnitude de efeito é 0,65 (95% IC [0,20; 1,10]), o que corresponde a uma magnitude de efeito elevada. Quanto ao teste z, podemos afirmar que (z = 2,84, p = 0,00) o valor médio dos verdadeiros valores de magnitude de efeito é não nulo, pelo que de uma forma geral podemos concluir que ao nível dos desempenhos de transferência a utilização de ambientes de aprendizagem concebidos com base no modelo instrutivo 4C/ID gera medidas de magnitude de efeito que correspondem a efeitos elevados ao nível da transferência da aprendizagem. O teste Q de Cochrane não foi significativo (p > 0,05) revelando heterogeneidade entre os estudos não significativa. A variância estimada entre estudos (0,200 e 0,232 para as variáveis R e T respetivamente) foi elevada.

 

6. Discussão

Os resultados da meta-análise permitem suportar as hipóteses relacionadas com os desempenhos referentes à reprodução e transferência de conhecimentos. Assim, o efeito combinado destas duas variáveis produz, em média, um d = +0,57 com IC95% [0,36-0,78] denotando alguma variabilidade nas medidas de magnitude de efeito e um efeito positivo da utilização do modelo 4C/ID sobre os desempenhos dos sujeitos dos grupos experimentais. Neste sentido, surgiu a necessidade de discriminar a magnitude de efeito para as duas variáveis relacionadas com os desempenhos (“reprodução” e “transferência”). Relativamente ao efeito da utilização do modelo 4C/ID sobre as variáveis “reprodução de conhecimentos” (hipótese 1) e “transferência de conhecimentos” (hipótese 2) os valores de d foram +0,76 (IC95% 0,54-0,99) e +0,63 (IC95% 0,36-0,89), respetivamente. Os resultados mostram que para ambas as variáveis a utilização do modelo 4C/ID produziu efeitos elevados, sendo este resultado mais acentuado para a variável “reprodução de conhecimento”. Os sujeitos dos grupos experimentais tiveram mais facilidade em reproduzir os conhecimentos adquiridos do que em transferir estes conhecimentos para novos problemas e situações. De facto, a transferência de conhecimentos não é um fenómeno que se produza de modo espontâneo e é difícil de por em evidência em termos experimentais, sobretudo quando se tratam de aprendizagens complexas (Melo & Miranda, 2015).

No que concerne à própria metodologia da meta-análise tivemos o cuidado de controlar algumas variáveis como: a) “tipo de publicação”, considerando apenas trabalhos publicados em locais sujeitos a avaliação por peritos, b) a variabilidade das “dimensões dos grupos de controlo e experimental”, dado que grupos de maiores dimensões podem ter um peso maior sobre a população de estudos selecionados, e c) a variabilidade na “idade dos participantes”.

Em termos globais, para os oito estudos selecionados os resultados sugerem que a variável “área de estudo” não afeta a distribuição das medidas de magnitude de efeito, pelo que se pode concluir que a eficiência do modelo é independente do contexto de aplicação, dado que são treinadas competências que estimulam tanto a aquisição de conhecimentos como a transferência da aprendizagem a novas situações transversais às diferentes áreas de estudo.

Do espectro dos estudos selecionados destaca-se o trabalho de Sarfo e Elen (2007) com d = +1,15, claramente superior aos restantes estudos (ver Figura 1 e Quadro 1). Esta discrepância pode ser explicada pelo fato dos autores terem usado um único instrumento de avaliação dos desempenhos, constituído por alguns itens que apelavam à aplicação de conhecimentos a novas situações. No artigo apenas foi feita referência aos resultados dos desempenhos relativos à reprodução de conhecimentos, daí que não existam dados para a variável transferência referentes a este estudo. Os resultados da meta-análise sem este estudo revelam uma magnitude de efeito menor d = +0,42 IC95% [0,19-0,66], face ao inicial (+0,57 IC95% [0,36-0,78]) com seria de esperar. Relativamente ao teste z (z = 3,56, p = 0,00) verifica-se que o valor médio dos verdadeiros valores de efeito continuam a ser não nulos e a favor dos sujeitos do grupo experimental. O teste Q de Cochrane não foi significativo (Q(6) = 1,71, p = 0,94) revelando heterogeneidade não significativa entre os estudos. O viés de publicação continua a não ser significativo (teste de Begg p = 0,65). A principal diferença encontra-se na variância estimada entre estudos (t2 = 0,00) que se aproximou do zero, demonstrando o peso excessivo do estudo de Sarfo e Elen na meta-análise. Assim, podemos inferir que neste estudo foi usada uma metodologia experimental diferente dos restantes estudos contaminando os resultados globais da meta-análise.

Observando os resultados da meta-análise podemos concluir que: 1) para os estudos selecionados a utilização do modelo 4C/ID produz magnitudes de efeito moderadas a elevadas sobre as variáveis “reprodução de conhecimentos” e “transferência de aprendizagem”; 2) a variável “estorço mental” percecionado foi avaliada apenas em três dos oito estudos selecionados; 3) há um notório défice de trabalhos de investigação sobre a eficiência instrutiva do modelo 4C/ID (combinação de dados de desempenhos com a avaliação dos esforço mental percecionado) em contexto educativo.

 

7. Considerações finais

Este estudo teve como objetivo sintetizar os resultados da investigação existentes sobre os efeitos da utilização do modelo 4C/ID nos desempenhos dos alunos (na reprodução e transferência da aprendizagem). No entanto, é importante salientar que esta meta-análise, pelo número reduzido de estudos empíricos sobre o tema, deve ser considerada como um complemento da revisão de literatura efetuada sobre a eficiência do modelo 4C/ID. Desta forma, este estudo pode ser considerado exploratório, tendo com principal objetivo realçar os benefícios da utilização do modelo 4C/ID como uma abordagem eficiente para promover aprendizagens complexas em diferentes áreas.

O objetivo principal de uma meta-análise é sintetizar dados de muitos estudos diferentes para descrever algum fenómeno com maior precisão, conferindo em simultâneo relevância ao tema, o lado menos apreciado desta metodologia de investigação é identificar pontos fracos na literatura, realçando áreas que necessitem de mais investigação. Neste sentido, este artigo dá um contributo especial à investigação realizada no campo da eficiência da utilização do modelo 4C/ID em contexto educativo, diagnosticando a necessidade de desenvolver um maior volume de trabalhos de investigação nesta área.

 

Referências

Anderson, J. (1983). The Architecture of Cognition. Cambridge MA: Harvard University Press.         [ Links ]

Anderson, J. (1993). Rules of the Mind. NJ: Erlbaum.         [ Links ]

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). NJ: Hillsdale.         [ Links ]

Flores, R. (2011). Examining the Design and Impact of Adaptively Faded Worked Examples on Higth School Students´ Mathematics Problem Solving Skills. Tese de doutoramento. Texas: Graduate Faculty, Texas Tech University.         [ Links ]

Glass, G., McGaw, B. & Smith, M. (1981). Meta-analysis in social research. Berverly Hills, CA: Sage.         [ Links ]

Higgins, J. & Thompson, S. (2002). Quantifying heterogeneity in meta-analysis. Stat Med, 21, 1539-1558. doi: 10.1002/sim.1186.         [ Links ]

Hoogveld, B., Pass, F. & Jochems, W. (2001). The effect of web-based training in an instructional system design approach on teachers´ instructional design behavior. Computer and Human Behavior, 17, 363-371. doi: 10.1016/S0747-5632(01)00013-9.         [ Links ]

Hoogveld, B. Pass, F. & Jochems, W. (2003). Application of an instructional system design approach by teachers in higher education: individual versus team design. Teaching Teacher Education, 19, 581-590. doi: 10.1016/S0742-051X(03)00055-6.         [ Links ]

 

Recebido/Submission: 20/4/2016

Aceitação/Acceptance: 19/5/2016

 

Notas

1A avaliação é feita por intermédio de testes de avaliação construídos com itens que apelem à reprodução de conhecimentos adquiridos e à transferência da aprendizagem a novas situações.

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons