SciELO - Scientific Electronic Library Online

 
vol.37 número1Conhecimentos e perceções públicas acerca do acolhimento familiar: Contributos para o desenvolvimento da medidaEstudo piloto da versão portuguesa da Escala de Aceitação e Ação para as Vozes: Propriedades psicométricas numa amostra clínica com perturbações do espectro da psicose índice de autoresíndice de assuntosPesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


Análise Psicológica

versão impressa ISSN 0870-8231versão On-line ISSN 1646-6020

Aná. Psicológica vol.37 no.1 Lisboa mar. 2019

https://doi.org/10.14417/ap.1543 

Versão portuguesa do Cyber Dating Abuse Questionaire (CDAQ) – Questionário sobre Ciberabuso no Namoro (CibAN): Adaptação e propriedades psicométricas

The Portuguese version of the Cyber Dating Abuse Questionnaire (CDAQ): Adapting and psychometric properties

Sónia Maria Caridade1, Teresa Braga2

1Centro de Investigação em Ciências Sociais e do Comportamento, Observatório Permanente Violência e Crime, Faculdade de Ciências Humanas e Sociais, Universidade Fernando Pessoa, Porto, Portugal

2Centro de Investigação em Psicologia, Escola de Psicologia, Universidade do Minho, Braga, Portugal

Correspondência

 

RESUMO

Algumas manifestações de violência no namoro ocorrem através do uso das novas tecnologias, pelo que importa investigar esta tipologia de abuso apelidada internacionalmente de cyber dating abuse. O presente estudo procurou traduzir e adaptar, para a população portuguesa, o Cyber Dating Abuse Questionaire (CDAQ; Borrajo, Gámez-Guadix, Pereda, & Calvete, 2015), estudando as suas propriedades psicométricas. A versão portuguesa foi administrada a uma amostra de 272 estudantes, a grande maioria (87%) de sexo feminino e com uma média de idades de 28.41 (DP=7.02). A análise fatorial confirmatória revelou bons índices de ajustamento, permitindo confirmar o modelo fatorial do instrumento original constituído por quatro fatores correlacionados, dois relativos à vitimação por agressão direta e controlo e dois à perpetração dessas mesmas tipologias de violência. Adicionalmente, todos os fatores revelaram boa consistência interna. Ainda que os indicadores de prevalência de vitimação e perpetração por controlo (58.8% vs. 63.2%, respetivamente) se tenham revelado mais preponderantes comparativamente aos de vitimação e perpetração por agressão direta (18% vs. 14.7%), foi possível confirmar que estes dois tipos de ciberabuso íntimo constituem comportamentos entre os jovens portugueses estudantes universitários envolvidos/as em relações íntimas. As implicações práticas e empíricas futuras deste estudo são objeto de discussão neste trabalho.

Palavras-chave: Ciberabuso, Relações de namoro, Jovens.

 

ABSTRACT

Some forms of dating violence can occur through the use of new technologies; hence examining this type of abuse, referred as cyber dating abuse in the international literature, is important. The present study aimed to translate, adapt, and examine the psychometric properties of the Cyber Dating Abuse Questionnaire (CDAQ, Borrajo, Gámez-Guadix, Pereda, & Calvete, 2015) among the Portuguese population. A sample of 272 students, the vast majority (87%) female and with a mean age of 28.41 (DP=7.02), filled out the Portuguese version of the questionnaire. Confirmatory factorial analysis revealed good adjustment confirming the factor model of the original version, composed by four correlated factors: victimization through direct aggression or through control, and perpetration of these same typologies of violence. All factors revealed good internal consistency. In addition, we concluded that these two types of intimate cyber abuse are prevalent among Portuguese youth in their intimate relationships, although the prevalence of victimization and perpetration through controlling behaviors (58.8% vs. 63.2%, respectively) was greater than that of victimization and perpetration through direct aggression (18% vs. 14.7%). Empirical and practical implications of the study are discussed.

Key words: Cyber abuse, Dating relationships, Youth.

 

Introdução

O crescimento e avanço tecnológicos registados nas últimas décadas têm conduzido a um incremento das práticas digitais e do funcionamento em rede, sobretudo por parte dos adolescentes (Instituto Nacional de Estatística, 2017). O espaço virtual constitui um meio muito flexível e atrativo para encetar novas relações interpessoais, incluindo as amorosas, sendo que os jovens dispõem de uma ampla variedade de ferramentas digitais e tecnológicas (e.g., mensagens de texto e através das diferentes redes sociais, e-mails, telemóveis, o recurso à webcam, entre outros) seja para iniciar, desenvolver ou manter uma determinada relação amorosa (Burke, Wallen, Vail-Smith, & Knox, 2011). Não obstante, este recurso às novas tecnologias também poderá potenciar a emergência de outros problemas, na medida em que tornam os jovens mais vulneráveis à intrusividade interpessoal (Burke et al., 2011), podendo fomentar a ocorrência de múltiplos fenómenos de vitimização (e.g., sexting, cyberstalking, cyberbulling e o cyber dating abuse) (Borrajo et al., 2015), alguns dos quais fugazmente explorados no contexto português como é o caso do ciberabuso no namoro. Efetivamente, em Portugal são inexistentes instrumentos que permitam caracterizar a prevalência desta tipologia específica de abuso íntimo cibernético. Este trabalho pretende, deste modo, dar um contributo neste domínio, procurando-se traduzir e adaptar, para a população portuguesa, o Cyber Dating Abuse Questionaire de Borrajo, Gámez-Guadix, Pereda e Calvete (2015), através do estudo de propriedades psicométricas, nomeadamente analisar a validade de construto e a fiabilidade do modelo proposto por Borrajo et al. (2015); e, ainda, caracterizar a prevalência deste fenómeno a partir deste instrumento. A opção por traduzir e adaptar este instrumento para o contexto português prendeu-se, desde logo, com o facto de o mesmo abranger um largo espectro de comportamentos abusivos, possibilitando estimar quer os padrões de vitimização quer de agressão. Além disso, trata-se de um instrumento que revelou possuir ótimas propriedades psicométricas (Borrajo et al., 2015), conforme descreveremos seguidamente.

 

Fundamentação teórica

O abuso íntimo cibernético tem sido definido como uma forma de controlo, assédio e perseguição por parte do/a parceiro/a amoroso/a com recurso às novas tecnologias e aos media (Zweig, Lachman, Yahner, & Dank, 2014). O abuso íntimo cibernético surge, deste modo, descrito na literatura como sendo um constructo multidimensional, no sentido em que poderá integrar diferentes tipologias abusivas (e.g., Bennett, Gumar, Ramos, & Margolin, 2011; Burke et al., 2011; Zweig, Dank, Yahner, & Lachman, 2013). Ao nível da literatura internacional é possível encontrar diferentes expressões para denominar esta forma particular de abuso íntimo, tais como Digital Dating Abuse (DDA) (Reed, Tolman, & Ward, 2016), Electronic Aggression (Bennett et al., 2011), Electronic Dating Violence (Hindusa & Patchin, 2011), Intimate Partner Cyber Aggression (Marganski & Melander, 2016; Schnurr, Mahatmya, & Basche, 2013) ou, ainda, Intimate Partner Cyber Harassment (Melander, 2010). Esta tipologia abusiva poderá envolver a prática de múltiplos comportamentos abusivos através da interação digital (cf. Bennet et al., 2011; Burke et al., 2011; Hinduja & Patchin, 2011; Lucero, Weisy, Smith-Darden, & Lucero, 2014; Zweig et al., 2013), desde o controlo e vigilância diária do/a parceiro/a ou ex-parceiro/a (seja através do facebook, twitter ou outras redes sociais); o recurso/publicação de comentários ofensivos ou humilhantes para o/a parceiro/a; o envio de e-mails ou mensagens contendo diferentes ameaças; o publicar de fotos ou mesmo o envio de vídeos através das redes sociais com a intenção de humilhar o/a parceiro/a e/ou prejudicá-lo/a; utilizar as passwords do/a companheiro/a sem a sua autorização com a finalidade de o/a espiar.

Concomitantemente, na caracterização do ciberabuso íntimo importa considerar os indicadores de vitimação e perpetração enquanto dimensões frequentemente correlacionadas (e.g., Baker & Carreño, 2015; Morelli, Bianchi, Chirumbolo, & Baiocco, 2017; Watkins, Maldonado, & DiLillo, 2016). Assim e tendo por base os estudos de prevalência realizados acerca deste tipo de abuso íntimo cibernético verifica-se que a vitimização entre os/as adolescentes poderá ir desde os 22.2.% (Temple et al., 2016) aos 26.3% (Zweig et al., 2013) e de que 12% dos/as jovens poderão perpetrar este tipo de abuso (Zweig et al., 2013). Dados mais preocupantes foram apurados por Stonard, Bowen, Walker e Price (2017) numa revisão de vinte e um estudos que analisaram este tipo de abuso íntimo digital e em que, e dependendo do tipo de instrumentos utilizados, verificaram que a vitimização situava-se entre os 12% e os 56% e a perpetração entre os 12% e os 54%.

O ciberabuso no namoro tem sido positivamente associado a outras formas de violência interpessoal como é o caso da violência no namoro tida offline (Bennet et al., 2011; Zweig et al., 2013) e cyberbullying (Hinduja & Patchin, 2011; Yahner, Dank, Zweig, & Lachman, 2015). Contudo, reúne especificidades que justificam a sua análise e compreensão como constituindo um tipo de abuso distinto (Peskin et al., 2017) e que requer instrumentos específicos e apropriados, nomeadamente: a inexistência de limites temporais e geográficos e a ocorrência rápida, arbitrária e contínua do abuso cibernético (Bennett et al., 2011; Ouytsel, Ponnet, & Walrave, 2016; Zweig et al., 2014); o maior risco para a revitimização, atendendo à natureza permanente e partilha de mensagens digitais (Stonard et al., 2017); a sua difícil avaliação e deteção pelas vítimas; a maior dificuldade em responsabilizar e/ou conter o comportamento dos/as agressores/as ou, ainda, o maior risco de ocultação do abuso dada a sua natureza privada (Ouytsel, Ponnet, Walrave, & Temple, 2016).

Os estudos sobre ciberabuso íntimo, com início na década deste século, apresentam ainda uma reduzida consistência científica, existindo poucos instrumentos com qualidades psicométricas adequadas e que permitam conhecer e compreender as várias dinâmicas associadas a esta problemática. Além disso, tem sido defendido que os instrumentos existentes estão imbuídos de algumas fragilidades que limitam o conhecimento e compreensão de outros aspetos importantes deste tipo de abuso (cf. Borrajo et al., 2015). Mais concretamente: (i) tendem a focar-se apenas em comportamentos específicos, como por exemplo o controlo excessivo através do facebook (e.g., Facebook Survey; Lyndon, Bonds-Raacke, & Cratty, 2011); (ii) apenas permitem estimar o padrão de vitimização (e.g., Electronic Victimization; Bennet et al., 2011) ou de agressão/perpetração (e.g., Interpersonal Electronic Surveillance for Social Networking Sites; Tokunaga, 2011; Cyber Dating Abuse Perpetration; Ouytsel, Torres, Choi, Ponnet, Walrave, & Temple, 2017; Cyberdating Q_A Scale; Sánchez, Muñoz-Fernández, & Ortega-Ruíz, 2015) e, por fim, (iii) nem sempre é providenciada informação sobre as propriedades psicométricas das medidas usadas para avaliar o ciberabuso (e.g., Bennet et al., 2011; Lyndon et al., 2011). Não obstante, também é possível identificar instrumentos que superaram estas limitações, nomeadamente o Controlling Partners Inventory (CPI; Burke et al., 2011), com validade e fiabilidade estabelecidas e o qual procura avaliar diferentes comportamentos abusivos de controlo através das novas tecnologias, seja em termos de vitimação e perpetração; o Cyber Psychological Abuse Scale (CPA; Leisring & Giumett, 2014) que se foca especificamente na análise de comportamentos psicologicamente abusivos através do uso das tecnologias, possibilitando, todavia, estimar os padrões de vitimação e perpetração. Também o Cyberdating Q_A Scale (Sánchez et al., 2015) encontra-se devidamente validado para a população espanhola, e o qual procura analisar a forma como os adolescentes fazem uso das novas tecnologias nas suas relações de intimidade, atendendo a seis dimensões (OC: Controlo online, OJ: Ciúme online, OIB: Comportamento Intrusivo Online, OI: Intimidade Online, ECS: Estratégias de Comunicação Emocional e CP: Práticas de Ciberabuso). Mais recentemente emergiram outros instrumentos tais como: o Cyber Aggression in Relationships Scale (CARS; Watkins et al.2016), uma medida multidimensional de perpetração e vitimação do abuso cibernético que permite identificar a prevalência e as consequências deste tipo de abuso em população adulta ou, ainda, o Cyber Dating Violence Inventory (CDVI) desenvolvido a partir do Conflict in Adolescent Dating Relationship Inventory (CADRI; Wolfe et al., 2001), adaptando-se os 11 itens que avaliam a violência verbal/emocional, relacional e de ameaça; permite também investigar a reciprocidade da violência (estimando os indicadores de vitimação e perpetração), bem como uma avaliação deste tipo de abuso a partir da adolescência, considerando esta forma de violência relacional com um tipo específico e severo de agressão; revelou, igualmente, boas propriedades psicométricas e boa consistência interna (Morelli et al., 2017).

Tendo por base os já aludidos constrangimentos associados ao estudo do ciberabuso no namoro e como forma de fazer face às limitações apontadas aos instrumentos existentes para avaliação deste tipo de abuso, Borrajo et al. (2015) desenvolveram e validaram o Cyber Dating Abuse Questionaire (CDAQ). Trata-se de um instrumento que se procura diferenciar das medidas existentes ao contemplar um largo espectro de comportamentos abusivos, de forma a estimar diferentes tipos de ciberabuso (agressão direta e controlo), seja em termos de vitimação e agressão/perpetração, providenciando, deste modo, uma compreensão mais holística da problemática em estudo (Borrajo et al., 2015). De forma mais concreta, o CDAQ é constituído por 40 itens que possibilitam obter informação acerca de vários comportamentos associados ao ciberabuso no namoro, como ameaças, roubo de identidade, controlo e humilhação. Assim, 20 itens destinam-se a avaliar o indicador de vitimação (e.g., “O/a meu/minha parceiro/a ou ex-parceiro/a já escreveu um comentário numa rede social para me insultar ou humilhar.”) e outros 20 possibilitam estimar o indicador de perpetração (e.g., “Eu já escrevi um comentário numa rede social para insultar ou humilhar o/a meu/minha parceiro/a ou ex-parceiro/a.”). O sistema de resposta aos 40 itens é realizado com recurso a uma escala de resposta tipo Likert de 6 pontos: 1 – Nunca; 2 – Não, no último ano, mas já aconteceu anteriormente: 3 – Raramente: 1 ou 2 vezes; 4 – Às vezes: entre 3 a 10 vezes; 5 – Frequentemente: entre 11 a 20 vezes; e 6 – Muitas vezes: mais de 20 vezes. Para analisar a estrutura interna do CDAQ, os autores procederam à Análise Fatorial Exploratória (EFA) dos eixos principais com rotação varimax e Análise Fatorial Confirmatória (CFA) tendo, deste modo, agrupado os diferentes itens num modelo unidimensional composto por quatro fatores de vitimação e perpetração de dois tipos de violência: Agressão direta (correspondendo os itens 2, 3, 4, 6, 8, 9, 10, 12, 15, 16 e 18) e Controlo (constituído pelos itens 1, 5, 7, 11, 13, 14, 17, 19 e 20). Os fatores que integram o instrumento revelaram possuir boa fiabilidade, variando entre um alfa de 0.73 e um alfa de 0.87. A validade convergente do instrumento foi calculada a partir da correlação dos seus itens com os do Modified Conflict Tactic Scale (adaptado de Muñoz-Rivas, Graña, O’Leary, & González, 2007), uma escala que avalia a violência offline e com os itens do Cyberbullying Questionnaire (CBQ; Calvete, Orue, Estévez, Villardón, & Padilla, 2010). Os indicadores de vitimação e perpetração por agressão direta revelaram correlações significativas com a violência psicológica e física offline e com o cyberbullying, com valores entre .16 e .40 (todos com níveis de significância inferiores a .001); do mesmo modo os indicadores de vitimação e perpetração por controlo revelaram correlações significativas com a violência psicológica e física offline e com o cyberbullying, com valores entre .18 e .47 (todos com níveis de significância inferiores a .001) (Borrajo et al., 2015).

Após a sua validação para Espanha (Borrajo et al., 2015), o CDAQ tem sido utilizado em estudos realizados em outros países, como Bélgica (Ouytsel, Ponnet, & Walrave, 2016; Ouytsel, Ponnet, Walrave, & Temple, 2016) e México (García-Sánchez, Guevara-Martínez, Rojas-Solís, Peña-Cárdenas, & Cruz, 2017), muito embora não sejam conhecidos dados relativos à sua validação nesses contextos.

Os estudos conduzidos em Portugal incidem, fundamentalmente, sobre a violência no namoro (não virtual), existindo neste âmbito vários instrumentos traduzidos e adaptados para o contexto português, nomeadamente: a Escala Tática de Conflitos Revisada – CTS-2-R (Paiva & Figueiredo, 2006); a Escala de Atitudes relativas à Violência no Namoro – EAVN (Saavedra, Machado, & Martins, 2017); o Inventário de Conflito nas Relações de Namoro entre Adolescentes – CADRI (Saavedra, Machado, Martins, & Vieira, 2011), o Inventário de Conflitos nas Relações de Namoro de Adolescentes – versão Portuguesa – CADRI-P (Lucas, Pinheiro, & Simões, 2017) ou, ainda, o Violentómetro1 (Barroso, Figueiredo, & Ramião, 2018). Outros há que foram originariamente desenvolvidos para investigar a violência íntima em outros contextos relacionais (marital) (Inventário de Violência Marital; Machado, Matos, & Gonçalves, 2008; Escala de Crenças sobre Violência Marital – ECVC; Machado et al., 2008), tendo sido adaptados (sobretudo na linguagem utilizada) para investigar a violência íntima em jovens2. De entre os diferentes instrumentos adaptados para o contexto português, apenas a mais recente versão do CADRI-P (Lucas et al., 2017) procurou contemplar novos itens e uma nova subescala designada de ciberviolência e a qual procura avaliar comportamentos íntimos abusivos praticados com recurso às novas tecnologias (e.g., telemóvel, redes sociais), não sendo, contudo, conhecidos dados relativos à prevalência deste tipo de abuso no contexto português. Refira-se, no entanto, um estudo qualitativo que procurou caracterizar a prática do sexting e os seus significados no âmbito da intimidade juvenil (Forte, Castro, Neves, & Ruído, 2018).

Em suma as especificidades que têm sido reconhecidas ao abuso íntimo cibernético requerem a existência de medidas de avaliação específicas e apropriadas no seu estudo. A ausência de instrumentos que permitam conhecer a extensão e caracterização deste tipo de violência relacional em Portugal impulsionou o presente estudo de tradução e validação do CDAQ, o qual passaremos a apresentar.

 

Método

 

Participantes

Este estudo integrou uma amostra portuguesa de 272 jovens maioritariamente estudantes universitários/as (98.6%) e de sexo feminino (87.1%), tendo uma média de idades de 28.41 e desvio-padrão de 7.02. A grande maioria dos/as participantes encontrava-se a frequentar o 1.º ciclo de estudos (58.1%); 36.8% o 2.º ciclo de estudos (36.8%), registando-se com percentagens mais reduzidas, o 3.º ciclo de estudos (2.2%) e a frequência de uma pós-graduação (1.5%) e, por fim, uma percentagem ínfima dos participantes referiu outra formação não superior (1.5%). A área das Ciências Humanas e Sociais foi a mais relatada pelos participantes (75.4%), seguida das Ciências da Saúde (15.4%) e, por último, as Ciências Tecnológicas e engenharias (9.2%). Quanto à situação relacional, 72.1% dos/as participantes revelaram encontrar-se, no momento do preenchimento do questionário, envolvidos numa relação amorosa no último ano e 27.9% referiu que a sua relação amorosa já terminou. Interpelados sobre o tempo de duração do relacionamento amoroso, uma percentagem considerável (41.2%) mencionou mais de três anos, 37.5% entre 1 a 3 anos e 21.3% referiu menos de 1 ano. A média apurada em relação à duração aproximada do relacionamento amoroso situou-se nos 2.20 meses com um desvio-padrão de 0.76 (cf. Tabela 1).

 

 

 

Instrumentos

 

Ficha de dados sociodemográficos. Ficha de autorrelato para avaliar as características sociodemográficas (e.g., sexo, idade, estado relacional, tempo de duração da relação amorosa).

 

Questionário sobre Ciberabuso no Namoro (CibAN). O CibAN pretende avaliar o ciberabuso ocorrido no âmbito das relações de namoro, investigando-se a reciprocidade do mesmo (em termos de vitimação e perpetração). Trata-se de uma medida de autorrelato constituída por 40 itens (20 itens para estimar o indicador de vitimação e 20 para o de perpetração), respondidos com recurso a uma escala tipo Likert de 6 pontos, conforme descrito anteriormente.

Para adaptar o CibAN para a população portuguesa, e tal como proposto por Hill e Hill (2005), procedeu-se a um processo de tradução e retroversão do CDAQ, tendo-se respeitado quer a estrutura quer a ordem dos itens da versão original. Primeiramente foi realizada a tradução do instrumento por um dos investigadores bilingue e posteriormente, a retroversão foi realizada por um profissional também bilingue e com conhecimentos na área da psicologia. Procedeu-se, ainda, à verificação de aspetos lexicais e semânticos do instrumento, tendo-se chegado à versão final portuguesa do CibAN – Questionário sobre Ciberabuso no Namoro. O instrumento pode ser administrado individualmente ou em grupo (com duração aproximada entre 10 a 15m), enfatizando-se em qualquer uma das situações a inexistência de respostas certas ou erradas.

 

Procedimentos

Uma vez obtida a autorização dos/as autores/as do instrumento original, procedeu-se à disponibilização do questionário numa plataforma online, Google Docs. O link com os questionários foi posteriormente divulgado através das redes sociais e contactos estabelecidos junto de várias instituições universitárias. Previamente ao preenchimento do questionário, foi apresentada uma breve descrição do estudo quanto aos objetivos, ao critério de inclusão (estar envolvidos/as em relações amorosas no último ano e ter mais de 18 anos), à confidencialidade e anonimato dos dados, à natureza voluntária da resposta e a inexistência de qualquer compensação económica para a participação. Foi, ainda, apresentado o consentimento informado, sendo que os/as participantes só poderiam avançar no preenchimento do instrumento depois de assinalarem (item de preenchimento obrigatório) a sua concordância com a participação no estudo. O questionário esteve disponível online entre junho de 2017 e dezembro de 2017, tendo o processo sido concluído em janeiro de 2018.

 

Resultados

 

Validade de construto

Na análise da validade de construto do modelo apresentado por Borrajo e colaboradores (2015) do CibAN avaliou-se a validade fatorial, a partir de uma análise fatorial confirmatória e subsequente análise da qualidade do ajuste, e a validade do construto convergente e discriminante com recurso ao programa informático IBM® SPSS® Amos™ 22 para Windows. Análises iniciais revelaram que os dados violavam o pressuposto da normalidade multivariada (Kumult=2983.59>10; Kline, 2005), pelo que desenvolvemos a análise fatorial confirmatória através do método Mínimos Quadrados não Ponderados que, muito embora produza menos índices de ajustamento, não exige normalidade multivariada e melhor se adequa à dimensão da nossa amostra (n<1000) (Marôco, 2014).

O modelo multidimensional do CibAN encontra-se representado na Figura 1. O modelo é composto por quatro fatores correlacionados, dois de vitimação ora de agressão direta ora de controlo e dois de perpetração avaliando igualmente a agressão direta e o controlo. Tal como o modelo de Borrajo et al. (2015), permitimos a correlação entre os erros de medida relativos aos itens paralelos de vitimação e perpetração (i.e., itens relativos aos mesmos atos ora perpetrados ora sofridos). Estas intercorrelações entre os erros não foram representadas graficamente de modo a assegurar a simplicidade e leitura da Figura 1. Considerando os índices absolutos, verificámos que o Root Mean Square Residual (RMSR) foi de .06, concluindo-se pelo bom ajustamento (RMSR≤0.08; cf. Arbuckle, 2013; Marôco, 2014). Por sua vez, quer o Normed Fit Index (NFI) quer o Goodness-of-Fit Index (GFI) encontravam-se acima de .90 (.96 e .97, respetivamente), concluindo-se pela plausibilidade e o bom ajustamento do modelo (cf. Arbuckle, 2013; Marôco, 2014). Quanto à parcimónia, obtiveram-se os valores de Parsimony Normed Fit Index (PNFI) de .87 e de Parsimony Goodness-of-Fit (PGFI) de .84, o que indica que estamos perante um modelo muito parcimonioso (>.80; cf. Arbuckle, 2013; Marôco, 2014).

 

 

Analisando os parâmetros das variáveis do modelo, nomeadamente as correlações entre os fatores (ver Figura 1), verificámos que todos os fatores se encontram correlacionados positivamente entre si, tendo-se obtidos valores mais expressivos entre a vitimação e a perpetração do mesmo tipo de violência, i.e., a correlação entre a vitimação e a perpetração por controlo foi de .68 e a correlação entre a vitimação e a perpetração por agressão direta atingiu o valor de .81. Apesar da elevada magnitude do valor das correlações entre fatores, estes encontram-se abaixo do valor de .85 (cf. Netemeyer, Bearden, & Sharma, 2003), demonstrando-se assim a validade discriminante, i.e., o grau em que um construto é verdadeiramente diferente de outros construtos (Marôco, 2014). A Figura 1 apresenta igualmente os pesos fatoriais estandardizados dos itens nos respetivos fatores.

Como se pode observar, na sua generalidade os pesos fatoriais dos itens revelaram-se de elevada grandeza (≥0.50; cf. Marôco, 2014). Contudo, os pesos fatoriais dos itens 2 e 8 de perpetração e 2 e 3 de vitimação por agressão direta, bem como do item 7 de perpetração por controlo, situaram-se ligeiramente abaixo de 0.5 (i.e., entre .43 a .48). De modo a melhor explorar a validade de construto estimaram-se a Variância Média Extraída (VME) e a fiabilidade composta (FC) de cada um dos quatro fatores do modelo. A VME, medida da variância explicada por um conjunto de itens relativamente ao erro de medida, foi satisfatória (.53) somente no construto de vitimação por controlo (≥0.5 cf. Netemeyer et al., 2003). Os valores obtidos nos construtos de perpetração e vitimação por agressão direta e de perpetração por controlo foram de, respetivamente .39, .32 e .39. A eliminação dos itens com pesos fatoriais inferiores a .50 desses fatores não conduziu a valores satisfatórios de VME (análises não apresentadas, mas fornecidas mediante pedido aos autores). Ainda assim, analisando um outro indicador de validade de construto convergente, a fiabilidade compósita (i.e., medida de consistência interna; Hair Black, Babin, Anderson, & Tatham, 2005), pudemos observar valores elevados e acima do recomendado (≥0.7; cf. Hair et al., 2005; Netemeyer et al., 2003) em todos os fatores do CibAN (perpetração por agressão direta=.87; vitimação por agressão direta=.84; perpetração por controlo=.85; vitimação por controlo=.91).

 

Fiabilidade

A análise da fiabilidade dos fatores do CibAN foi realizada ainda através da avaliação da consistência interna pelo α de Cronbach. No que respeita os fatores de vitimação, na agressão direta obteve-se um α de Cronbach de .86 e o controlo apresentou uma consistência interna medida pelo α de Cronbach de .91. Já relativo à perpetração, obtiveram-se α de Cronbach de .89 e .84 no fator agressão direta e controlo, respetivamente. Tendo em conta os critérios propostos na literatura, de que a fiabilidade é apropriada quando o α de Cronbach se situa preferencialmente acima de .80 (Kaplan & Saccuzzo, 2009; Nunnally & Bernstein, 1994), os quatro fatores do CibAN mostram-se consistentes e consequentemente fiáveis na avaliação da vitimação e perpetração de ciberabuso íntimo.

 

Prevalência do ciberabuso no namoro

Do conjunto dos/as participantes que afirmaram ter estado envolvidos/as, no último ano, em relações amorosas, 59.2% relatou já ter experienciado pelo menos algum tipo de comportamento de ciberabuso no namoro medido pelo instrumento e 66.9% assumiu ter perpetrado pelo menos um ato deste tipo de abuso. Analisando os diferentes tipos de ciberviolência medidos pelo instrumento, constatamos que a maioria dos/as participantes assumiu ter sofrido (58.8%) e praticado algum tipo de controlo íntimo (66.9%), mediante o uso das novas tecnologias. No que respeita à agressão direta, foram apurados indicadores de prevalência mais baixos, em termos de perpetração (14.7%) e vitimação (18%), mas ainda assim preocupantes (cf. Tabela 2).

 

 

 

Discussão

O presente estudo teve como primeiro objetivo estudar as propriedades psicométricas da versão portuguesa do Questionário sobre Ciberabuso no Namoro (CibAN), traduzido e adaptado de Cyber Dating Abuse Questionaire (Borrajo et al., 2015). Atendendo a que este instrumento possibilitará caracterizar a prevalência da ciberviolência ocorrida no namoro, algo ainda muito pouco estudado no contexto português, este trabalho pretende dar um contributo relevante na compreensão desta problemática e constitui um ponto de partida para o desenvolvimento de outros estudos de caracterização deste fenómeno.

A análise fatorial confirmatória revelou bons índices de ajustamento do questionário CibAN, permitindo confirmar o modelo fatorial do instrumento original constituído por quatro fatores, que se revelaram correlacionados entre si, tendo apresentado uma boa consistência interna, ligeiramente superior ao verificado no estudo original. Obtiveram-se, dois fatores de vitimação, um por agressão direta e outro por controlo, e dois fatores relativos à perpetração avaliando igualmente a agressão direta e o controlo. Este modelo revela-se alinhado com a conceptualização proposta para o ciberabuso íntimo apresentado por Borrajo et al. (2015) e outros (Watkins et al., 2016; Zweig et al., 2013). Conclui-se, assim, que o Questionário sobre Ciberabuso no Namoro afigura-se como um instrumento apropriado para avaliar diferentes tipologias de ciberabuso (agressão direta e controlo) no âmbito das relações de namoro, possibilitando também avaliar a reciprocidade da violência (vitimação e/ou perpetração). Nesta medida, consideramos que este instrumento poderá constituir também um auxílio importante na delineação de esforços preventivos neste domínio, considerando-se que os/as jovens que experienciam ciberabuso poderão ser simultaneamente vítimas e ofensores. Contudo, o facto de o CDAQ integrar a vitimação e a perpetração num único modelo constitui uma fragilidade a considerar em futuros estudos, uma vez que a vitimação e a perpetração têm sido considerados fenómenos distintos embora frequentemente correlacionados (e.g., Baker & Carreño, 2015; Morelli et al., 2017; Watkins et al., 2016), ponderando-se a possibilidade de se testarem modelos alternativos por se revelarem mais ajustados (Watkins et al., 2016).

Em termos de prevalência deste tipo de abuso íntimo com recurso às novas tecnologias – segundo objetivo deste estudo – foram encontrados elevados indicadores em termos de vitimação (59.2%) e perpetração (66.9%), corroborando o verificado em outros estudos internacionais (e.g., Stonard et al., 2017; Ouytsel et al., 2016). No que respeita aos diferentes tipos de abuso, e tal como apurado por Borrajo et al. (2015), a vitimação e agressão por controlo (58.8% vs. 66.9%) registaram valores mais elevados comparativamente com a vitimação e perpetração por agressão direta (18% vs. 14.7%). Estes indicadores de vitimação e perpetração do ciberabuso íntimo através do controlo revelaram-se, por sua vez, elevados comparativamente ao encontrado por outros estudos internacionais (e.g., Burke et al., 2011; Hindusa & Patchin, 2011; Zweig et al., 2013) e os quais têm encontrado taxas inferiores a 50%. Tais dados poderão ser explicados pelo facto de se tratar de uma tipologia de ciberabuso – controlo – que contempla comportamentos abusivos (e.g., o envio constante de mensagens, vigilância do/a parceiro/a) menos explícitos e, portanto, mais toleráveis por parte dos/as jovens, sendo, por vezes, até entendidos como um sinal de amor ou demonstração de ciúme (Ameral, Palm Reed, & Hines, 2017). De referir que num estudo qualitativo conduzido por Baker e Carreño (2015), em que procuraram perceber como os/as jovens concebem esta associação entre a violência no namoro e a comunicação digital, os/as jovens referiram que o uso das novas tecnologias tende a despertar comportamentos de controlo e ciúme. Uma outra hipótese explicativa destes dados poderá relacionar-se com o já aludido incremento das práticas digitais e do funcionamento em rede, sobretudo por parte dos/as adolescentes (Instituto Nacional de Estatística, 2017), possibilitando que estes tenham ao seu dispor uma grande variedade de ferramentas virtuais e tecnológicas que lhes permitem obter este mesmo controlo (Burke et al., 2011).

Tal como no estudo de Borrajo et al. (2015) também no nosso estudo foi detetada uma associação positiva entre os indicadores de vitimação e perpetração em geral e das duas tipologias de ciberabuso íntimo, comprovando a existência da reciprocidade e mutualidade da prática deste tipo de abuso. Uma vez mais estes dados estão em concordância com o verificado em outros estudos internacionais que analisaram esta forma específica de abuso íntimo virtual (e.g., Baker & Carreño, 2015; Fagan & Mazerole, 2011; Watkins et al., 2016), algo que de resto também se verifica ao nível da violência face-a-face, nacional e internacionalmente (e.g., Machado, Caridade, & Martins, 2010; Neves et al., 2018; Straus, 2008). Convém salientar, no entanto, que algumas das correlações encontradas aproximaram-se do valor máximo recomendado acima do qual se pode concluir pela ausência de validade de construto discriminante (Netemeyer et al., 2003), pelo que estudos futuros não devem replicar a análise desta validade.

Pese embora as já mencionadas potencialidades deste estudo, o mesmo contém algumas limitações, como sejam, o facto de se tratar de um estudo exploratório, com recurso ao autorrelato e com uma participação maioritariamente feminina (87%), não sendo possível a generalização dos seus resultados à população portuguesa. Paralelamente, a amostra revelou-se de reduzida dimensão, atendendo particularmente à distribuição de frequência dos itens e consequente não normalidade multivariada, tendo limitado o recurso a métodos de estimação mais robustos (e.g., mínimos quadrados ponderados) que produzissem outros e mais comuns indicadores de ajustamento (e.g., significação estatística, χ2). Importa, assim, que futuros estudos neste domínio adotem cuidados adicionais no processo de amostragem, assegurando um maior número de participantes, equilíbrio em termos de sexo ou mesmo a representatividade da amostra. Além disso, no presente trabalho procuraram-se estudar as principais propriedades psicométricas do instrumento (a validade de construto e fiabilidade), mas seria igualmente importante analisar outras características psicométricas nomeadamente a validade de critério, como a validade convergente e divergente e, eventualmente, a validade preditiva (Borrajo et al., 2015). No estudo da validade convergente e atendendo a que a investigação internacional neste domínio documenta a associação deste tipo de ciberabuso íntimo a outras formas de violência interpessoal (violência no namoro face-a-face, cyberbullying), importa perceber se esta realidade é extensível ao contexto português.

 

Referências

Ameral, V., Palm Reed, K. M., & Hines, D. A. (2017). An analysis of help-seeking patterns among college students victims of sexual assault, dating violence, and stalking. Journal of Interpersonal Violence, 1-25. doi: 10.1177/0886260517721169        [ Links ]

Arbuckle, J. L. (2013). IBM® SPSS® Amos™ 22 User’s Guide. Crawfordville, FL: Amos Development Corporation.

Baker, C., & Carreño, P. (2015). Understanding the role of technology in adolescent dating and dating violence. Journal Child Family Studies, 25, 308-320. doi: 10.1007/s10826-015-0196-5        [ Links ]

Barroso, R., Figueiredo, P., & Ramião, E. (2018). Práticas de intervenção continuada em contexto escolar: Prevenção da violência no namoro na adolescência. In S. Neves & A. Correia (Coords.), Violências no namoro (pp. 153-173). Maia: Edições ISMAI.         [ Links ]

Bennett, D. C., Guran, E. L., Ramos, M. C., & Margolin, G. (2011). College students’ electronic victimization in friendships and dating relationships: Anticipated distress and associations with risky behaviors. Violence and Victims, 26, 410-429.

Borrajo, R., Gámex-Guadix, M., Pereda, N., & Calvete, E. (2015). The development and validation of the cyber dating abuse questionnaire among young couples. Computers in Human Behavior, 48, 358-365. doi: 10.1016/j.chb.2015.01.063        [ Links ]

Burke, S. C., Wallen, M., Vail-Smith, K., & Knox, D. (2011). Using technology to control intimate partners: An exploratory study of college undergraduates. Computers in Human Behavior, 27, 116-1167. doi: 10.1016/j.chb.2010.12.010        [ Links ]

Calvete, E., Orue, I., Estévez, A., Villardón, L., & Padilla, P. (2010). Cyberbullying in adolescents: Modalities and aggressors’ profile. Computers in Human Behavior, 26, 1128-1135. doi: 10.1016/j.chb.2010.03.017

Fagan, A. A., & Mazerolle, P. (2011). Repeat offending and repeat victimization: Assessing similarities and differences in psychosocial risk factors. Crime & Delinquency, 57, 732-755. doi: 10.1177/0011128708321322        [ Links ]

Forte, A., Castro, Y. R., Neves, S., & Ruído, P. (2018). O sexting e as suas consequências nas relações de intimidade juvenil: Novas formas de violência sexual online. In S. Neves & A. Correia (Coords.), Violências no namoro (pp. 63-90). Maia: Edições ISMAI.         [ Links ]

García-Sánchez, V., Guevara-Martínez, C., Rojas-Solís, J., Peña-Cárdenas, F., & Cruz, G. (2017). Apego y ciber-violencia en la pareja de adolescentes. International Journal of Developmental and Educational Psychology, 541-550. doi: 10.17060/ijodaep.2017.n1.v2.879        [ Links ]

Hair, J. F., Black, W., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2005). Análise multivariada de dados (5ª ed.). Porto Alegre: Bookman.         [ Links ]

Hill, M. M., & Hill, A. (2005). Investigação por questionário (2ª ed.). Lisboa: Edições Sílabo.         [ Links ]

Hinduja, S., & Patchin, J. W. (2011). Electronic dating violence: A brief for educators and parents. Cyberbullying Research Center.         [ Links ]

Instituto Nacional de Estatística [INE]. (2017). Inquérito à utilização de tecnologias da informação e da comunicação pelas famílias. Retirado a 19 de fevereiro de 2018 de https://www.ine.pt/xportal/xmain?xpid=INE&xpgid=ine_destaques&DESTAQUESdest_boui=42406406&DESTAQUESmodo=2        [ Links ]

Kaplan, R., & Saccuzzo, D. (2009). Psychological testing: Principles, applications, and issues. Belmont, CA: Cengage Learning.         [ Links ]

Kline, R. B. (2005). Principles and practice of structural equation modeling (2nd ed.). New York: Guilford.         [ Links ]

Leisring, P., & Giumetti, G. (2014). Sticks and stones may break my bones, but abusive text messages also hurt: Development and validation of the cyber psychological abuse scale. Partner Abuse, 5, 323-341. doi: 10.1891/1946-6560.5.3.323        [ Links ]

Lucas, S., Pinheiro, M. R., & Simões, M. (2017). Inventário de Conflitos nas Relações de Namoro de Adolescentes (CADRI-P). In M. R. Simões, L. S. Almeida, & M. Gonçalves (Coords.), Psicologia Forense. Instrumentos de avaliação (pp. 229-249). Lisboa: Edições Pactor.         [ Links ]

Lucero, J., Weisy, A., Smith-Darden, J., & Lucero, S. (2014). Exploring gender differences: Socially interactive technology use/abuse among dating teens. Affilia: Journal of Women and Social Work, 29, 478-491. doi: 10.1177/0886109914522627        [ Links ]

Lyndon, A., Bonds-Raacke, J., & Cratty, A. D. (2011). College students’ facebook stalking of ex-partners. Cyberpsychology, Behavior, and Social Networking, 14, 711-716. doi: 10.1089/cyber.2010.0588

Machado, C., Caridade, S., & Martins, C. (2010). Violence in juvenile dating relationships: Self-reported prevalence and attitudes in portuguese sample. Journal of Family Violence, 24, 43-52. doi: 10.1007/s10896-009-9268-x        [ Links ]

Machado, C., Matos, M., & Gonçalves, M. M. (2008). Escala de Crenças sobre Violência Conjugal (E.C.V.C.) e Inventário de Violência Conjugal (I.V.C.). Braga: Editora Psiquilibrios.         [ Links ]

Marganski, A., & Melander, L. (2016). Intimate partner violence victimization in the cyber and real world: Examining the extent of cyber aggression experiences and its association with in-person dating violence. Journal of Interpersonal Violence, 1-25. doi: 10.1177/0886260515614283        [ Links ]

Marôco, J. (2014). Análise de equações estruturais. Fundamentos teóricos. Software & aplicações. Pêro Pinheiro: Report Number.         [ Links ]

Melander, L. A. (2010). College students’ perceptions of intimate partner cyber harassment. Cyberpsychology, Behavior and Social Networking, 13, 263-268.

Morelli, M., Bianchi, D., Chirumbolo, A., & Baiocco, R. (2017). The cyber dating violence inventory. Validation of a new scale for online perpetration and victimization among dating partners. European Journal of Developmental Psychology, 1-8. doi: 10.1080/17405629.2017.1305885        [ Links ]

Muñoz-Rivas, M. J., Graña, J. L., O’Leary, K. D., & González, M. P. (2007). Aggression in adolescent dating relationships: Prevalence, justification, and health consequences. Journal of Adolescent Health, 40, 298-304. doi: 10.1016/j.jadohealth.2006.11.137

Netemeyer, R. G., Bearden, W. O., & Sharma, S. (2003). Scaling procedures: Issues and applications. Thousand Oaks, CA: Sage.         [ Links ]

Neves, S., Correia, A., Torres, J., Borges, J., Silva, E., & Topa, J. (2018). Uni+ – Programa de prevenção da violência no namoro em contexto universitário: Enquadramento concetual e resultados do diagnóstico de necessidades. In S. Neves & A. Correia (Coords.), Violências no namoro (pp. 205-243). Maia: Edições ISMAI.

Nunnally, J., & Bernstein, I. (1994). Psychometric theory (3rd ed.). New York, NY: McGraw-Hill.         [ Links ]

Ouytsel, J., Ponnet, K., & Walrave, M. (2016). Cyber dating abuse: Investigating digital monitoring behaviors among adolescents from a social learning perspective. Journal of Interpersonal Violence, 1-22. doi: 10.1177/0886260517719538        [ Links ]

Ouytsel, J., Ponnet, K., Walrave, M., & Temple, J. (2016). Adolescent cyber dating abuse victimization and its association with substance use, and sexual behaviors. Public Health, 135, 147-151. doi: 10.1016/j.puhe.2016.02.011        [ Links ]

Ouytsel, J., Torres, E., Choi, H. J., Ponnet, K., Walrave, M., & Temple, J. (2017). The associations between substance use, sexual behaviors, bullying, deviant behaviors, health, and cyber dating abuse perpetration. The Journal of School Nursing, 33, 116-122. doi: 10.1177/1059840516683229        [ Links ]

Paiva, C., & Figueiredo, B. (2006). Versão portuguesa das Escalas de Táticas de Conflito Revisadas: Estudo de validação. Psicologia: Teoria e Prática, 8, 14-39. Retirado de http://pepsic.bvsalud.org/pdf/ptp/v8n2/v8n2a02.pdf        [ Links ]

Peskin, M., Marklam, C., Shegogl, R., Temple, J., Baumler, E., Addy, R., . . . Emery, S. (2017). Prevalence and correlates of the perpetration of cyber dating abuse among early adolescentes. Journal Youth Adolescence, 46, 358-375. doi: 10.1007/s10964-016-0568-1        [ Links ]

Reed, L., Tolman, R., & Ward, M. (2016). Snooping and sexting: Digital media as a context for dating aggression and abuse among college students. Violence Against Women, 22, 1556-1576. doi: 10.1177/1077801216630143        [ Links ]

Saavedra, R., Machado, C., & Martins, C. (2017). Escala de Atitudes relativas à Violência no Namoro. In M. R. Simões, L. S. Almeida, & M. Gonçalves (Coords.), Psicologia Forense. Instrumentos de avaliação (pp. 251-267). Lisboa: Edições Pactor.         [ Links ]

Saavedra, R., Machado, C., Martins, C., & Vieira, D. (2011). Inventário de Conflitos nas Relações de Namoro de Adolescentes (CADRI). In C. Machado, M. Gonçalves, L. Almeida, & M. Simões (Coords.), Instrumentos e contextos de avaliação psicológica (Vol. I, pp. 269-284). Coimbra: Almeida.         [ Links ]

Sánchez, V., Muñoz-Fernández, N., & Ortega-Ruíz, R. (2015). ‘‘Cyberdating Q_A’’: An instrument to assess the quality of adolescent dating relationships in social networks. Computers in Human Behavior, 48, 78-86. doi: 10.1016/j.chb.2015.01.006

Santos, R., & Caridade, S. (2017). Vivências amorosas em adolescentes: Das dinâmicas abusivas ao (des)ajustamento psicossocial. Revista Psique, XIII, 18-39.         [ Links ]

Schnurr, M., Mahatmya, D., & Basche, R. (2013). The role of dominance, cyber aggression perpetration, and gender on emerging adults’ perpetration of intimate partner violence. Psychology of Violence, 3, 70-83. doi: 10.1037/a0030601

Stonard, K. E., Bowen, E., Walker, K., & Price, S. A. (2017). “They’ll always find a way to get to you”: Technology use in adolescent romantic relationships and its role in dating violence and abuse. Journal of Interpersonal Violence, 32, 2083-2117. doi: 10.1177/0886260515590787

Straus, M. (2008). Dominance and symmetry in partner violence by male and female university students in 32 nations. Children and Youth Services Review, 30, 252-275.         [ Links ]

Temple, J. R., Choi, H. J., Brem, M., Wolford-Clevenger, C., Stuart, G. L., Peskin, M. F., & Elmquist, J. T. (2016). The temporal association between traditional and cyber dating abuse among adolescents. Journal of Youth and Adolescence, 45, 340-349.         [ Links ]

Tokunaga, R. S. (2011). Social networking site or social surveillance site? Understanding the use of interpersonal electronic surveillance in romantic relationships. Computers in Human Behavior, 27, 705-713. doi: 10.1016/j.chb.2010.08.014        [ Links ]

Watkins, L., Maldonado, R., & DiLillo, D. (2016). The cyber aggression in relationships scale: A new multidimensional measure of technology-based intimate partner aggression. Assessment, 1-19. doi: 10.1177/1073191116665696        [ Links ]

Wolfe, D. A., Scott, K., Reitzel-Jaffe, D., Wekerle, C., Grasley, C., & Straatman, A. (2001). Development and validation of the conflict in adolescent dating relationships inventory. Psychological Assessment, 13, 277-293. doi: 10.1037/1040-3590.13.2.277        [ Links ]

Yahner, J., Dank, M., Zweig, J. M., & Lachman, P. (2015). The cooccurrence of physical and cyber dating violence and bullying among teens. Journal of Interpersonal Violence, 30, 1079-1089.         [ Links ]

Zweig, J. M., Dank, M., Yahner, J., & Lachman, P. (2013). The rate of cyber dating abuse among teens and how it relates to other forms of teen dating violence. Journal of Youth Adolescence, 42, 1063-1077. doi: 10.1007/s10964-013-9922        [ Links ]

Zweig, J., Lachman, P., Dank, J., Yahner & M. (2014). Correlates of cyber dating abuse among teens. Journal of Youth Adolescence, 43, 1306-1321. doi: 10.1007/s10964-013-0047-x

 

CORRESPONDÊNCIA

A correspondência relativa a este artigo deverá ser enviada para: Sónia Maria Caridade, Centro de Investigação em Ciências Sociais e do Comportamento, Observatório Permanente Violência e Crime, Faculdade de Ciências Humanas e Sociais, Universidade Fernando Pessoa, Praça de 9 de Abril, 349, 4249-004 Porto, Portugal. E-mail: soniac@ufp.edu.pt

 

Submissão: 22/02/2018 Aceitação: 30/07/2018

 

NOTAS

1 Dispositivo gráfico e didático em formato de régua e que permite identificar as diferentes manifestações de violência íntima.

2 De destacar, ainda, outros instrumentos especificamente desenvolvidos para caracterizar as vivências amorosas entre a população juvenil (Questionário sobre Vivências Amorosas Abusivas – QVVA; Santos & Caridade, 2017) ou, ainda, os Inventários sobre Crenças de Género e sobre Crenças de Violência no Namoro e o Inventário sobre Relações Juvenis Violentas concebidos no âmbito do Programa Uni+, um programa de prevenção da violência no namoro em contexto universitário (Neves, Correia, Torres, Borges, Silva, & Topa, 2018).

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons