SciELO - Scientific Electronic Library Online

 
vol.23 número4EditorialInterpretação das lesões ortopédicas dos ocupantes dos veículos na reconstrução forense dos acidentes de viação índice de autoresíndice de assuntosPesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


Revista Portuguesa de Ortopedia e Traumatologia

versão impressa ISSN 1646-2122

Rev. Port. Ortop. Traum. vol.23 no.4 Lisboa dez. 2015

 

INVESTIGAÇÃO

 

Versão Portuguesa do American Shoulder and Elbow Surgeons Standardized Shoulder Assessment Form (ASES): Tradução, adaptação cultural e validação

 

Rodrigo M. RuivoI; Pedro Pezarat-CorreiaI; Ana Isabel CaritaI

I. CIPER (Centro Interdisciplinar de Estudo da Performance Humana), Faculdade de Motricidade Humana, Universidade de Lisboa.

 

Endereço para correspondência

 

RESUMO

Introdução
A auto-avaliação da funcionalidade e grau de dor pelo paciente, obtida através de preenchimento de questionários específicos tem ganho relevo enquanto ferramenta complementar à avaliação objetiva do médico

Objetivos
Este estudo visa traduzir e realizar a adaptação cultural do questionário American Shoulder and Elbow Surgeons Standardized Shoulder Assessment Form (ASES) para a língua Portuguesa e testar a sua validade e fiabilidade. A existência do ASES traduzido e validado para a língua Portuguesa permitirá a sua utilização como uma ferramenta para avaliar a dor e as limitações funcionais em pacientes portugueses com disfunção do ombro.

Metodologia
O estudo foi realizado em duas etapas. A primeira etapa consistiu na tradução do ASES para a língua Portuguesa e na sua adaptação cultural. A versão original do ASES passou pelo processo específico de tradução e adaptação cultural, que compreende as etapas de tradução inicial, retrotradução, comité, pré-teste e aprovação do autor original. O segundo passo, envolveu a determinação da fiabilidade e validade da ASES para a população Portuguesa.

Resultados
A fiabilidade intra-individual mostrou excelentes resultados com os resultados do ICC de 0,93 (P <0,001) e 0,92 (P <0,001) para ASES direita e esquerda, respetivamente. Quanto à consistência interna o valor foi bom, com um alfa de Cronbach = 0,80. No que concerne à validade de construto os resultados do ASES-PT demonstraram uma forte correlação com os resultados da versão em Português do DASH (r = -0,92; P <0,001 ).

Conclusão
A versão em Português do ASES é semanticamente equivalente à versão original, e demonstrou ser fiável e válida.

Palavras chave: ASES, ombro, questionário, adaptação cultural.

 

ABSTRACT

Introduction
Self-evaluation of the functionality and degree of pain of the patient, obtained through specific questionnaires, has gained importance as a complementary tool to the objective clinical assessment.

Objectives
The aim of the study is to translate and perform the cross-cultural adaptation of the American Shoulder and Elbow Surgeons Standardized Shoulder Assessment Form (ASES) into Portuguese and to test the validity, reliability and responsiveness for Portuguese patients. The existence of the ASES translated and validated for the Portuguese language will enable its use as a tool to assess pain and functional limitations in Portuguese patients with shoulder dysfunction

Methods
The first step was to translate the ASES into Portuguese and to perform cultural adaptation. The original version of the ASES underwent the specific process of translation and cultural adaptation, comprising steps of initial translation, back translation, committee, pre-testing and approval of the original author. The second step involved determining the reliability and validity of the ASES to the Portuguese population.

Results
Test–retest reliability showed excellent results with ICC values of 0.93 (P<0.001) and 0.92 (P<0.001) for ASES right and left, respectively. Regarding internal consistency the value was good, with a Cronbach alpha=0.80 and in what concerns the construct validity the scores of the ASES-PT showed strong correlation with the scores of the Portuguese version of the DASH (r = -0.92; P<0.001).

Conclusion
The Portuguese version of the ASES is semantically equivalent to the original version, and has demonstrated to be reliable and valid.

Key words: ASES, shoulder, questionnaire, cross-cultural adaptation.

 

INTRODUÇÃO

Estima-se que 20-30% da população sofre atualmente de dores no ombro1 e que dois em cada três indivíduos terão pelo menos um episódio de dor cervical ou no ombro durante a sua vida2. Uma vez que essa dor e a mobilidade reduzida do ombro têm um efeito negativo sobre as capacidades funcionais e qualidade de vida do paciente, é importante avaliar e quantificar o impacto dessas alterações músculo-esqueléticas na vida das pessoas. Para atingir este objetivo, além das avaliações ortopédicas tradicionais com base em parâmetros objetivos tradicionais, como os testes clínicos e asanálise radiográficas, os scores de resultados funcionais e de dor medidos por meio de questionários podem ser utilizados. Atualmente, um número crescente de questionários genéricos e específicos foram publicados e esta avaliação subjetiva, a auto-avaliação do paciente, começa a ser utilizada como um meio complementar à avaliação objetiva do médico. No entanto, para ser verdadeiramente útil e avaliar claramente a perceção subjetiva do paciente, os questionários têm de ser validados por um processo abrangente que inclui o avaliação da sua fiabilidade, sensibilidade e capacidade de resposta.

Para avaliar a condição clínica e funcionalidade do ombro já existe uma multiplicidade de questionários validados como o “The Disabilities of the Arm, Shoulder and Hand Questionnaire [DASH] (Kirkley, 1998), the Western Ontario Rotator Cuff Index [WORC]3 , The Simple Shoulder Test4 ou American Shoulder and Elbow Surgeon Standardized Shoulder Assessment Form [ASES], publicado em 1994 pelo Research Committee of the American Shoulder and Elbow Surgeons e que parece obter um consenso na comunidade científica5 e é várias vezes referenciado na literatura(Clarke, Dewing, Schroder, Solomon, & Provencher, 2009; Michener, Mcclure, & Sennett, 2002) .

O questionário ASES é dividido em duas seções: uma administrada por um médico e outra autoadministrada pelo paciente. Esta última seção é composta por um item relacionado à dor e dez itens relacionados com a função do ombro. Estes itens já foram avaliados no questionário original quanto à sua validade, fiabilidade, sensibilidade e capacidade de resposta8,7. O item para a dor é avaliado por meio de uma escala analógica visual de 10 cm que varia de “no pain at all”e “pain as bad as it can be”. Os itens para função são avaliados por meio de uma escala Likert de quatro pontos. Os 10 itens na área de função do ASES incluem atividades da vida diária, tais como colocar um casaco, chegar a uma prateleira alta e atividades mais exigentes, tais como lançar uma bola acima da cabeça, em que cada item é avaliado por uma escala ordinal de 4 pontos, em que 0 significa “incapaz de fazer” e 3 “não é difícil”. A pontuação final é calculada multiplicando a pontuação da dor (máximo 10) por 5 (portanto, total possível de 50) e o resultado da atividade cumulativa (no máximo 30) por 5/3 (portanto, total possível de 50) para um total final de 100. Este questionário é simples de administrar, fiável e válido7.

A tradução e adaptação cultural do ASES para o Português de Portugal, e não o Português do Brasil que já existe9, permitirá a disponibilização de uma nova ferramenta para os terapeutas portugueses nas áreas clínicas e de pesquisa e irá auxiliar na padronização de procedimentos funcionais para avaliar um ombro, permitindo a comparação com outros estudos em diferentes populações. Portanto, o objetivo deste estudo foi, usando as diretrizes de adaptação cultural descritos por Guillemin et al.(1993), traduzir e realizar a adaptação cultural do ASES em Português de Portugal e testar a validade, fiabilidade e capacidade de resposta para pacientes portugueses.

 

MÉTODOS

Baseado em literatura específica (Beaton DE, Richards RR Beaton DE, 1996; Navsarikar A, Gladman DD, Husted JA, 1999) o questionário ASES foi submetido ao processo de validação e de tradução completa, e à sua adaptação cultural. Foi criada a hipótese de que os resultados do ASES se correlacionam significativamente com o Disability of Arm, Shoulder and Hand questionnaire [DASH], questionário específico já previamente validado (Santos, J. & Gonçalves, 2006; Hudak et al., 1996).

Amostra

20 pacientes participaram do estudo (9 do sexo masculino e 11 do sexo feminino, media de idades = 47,7 ± 18,6 anos). Como critérios de inclusão, todos os indivíduos tinham de ter 18 anos ou mais de idade e um diagnóstico clínico de algum distúrbio no ombro, confirmado por exame clínico/ ortopédico e por exame complementar de diagnóstico de imagem (radiografia, ressonância magnética). As patologias mais comuns registadas foram o conflito subacromial (9 pacientes), a capsulite adesiva (5 pacientes), e a instabilidade do ombro (4 pacientes). Nenhum dos pacientes tinha qualquer distúrbio neurológico ou cognitivo ou outras lesões musculo-esqueléticas além do diagnosticado no ombro. A versão em Português do ASES foi administrada aos pacientes simultaneamente com o DASH validado em versão Portuguesa13. Os questionários foram aplicados em salas de espera pelo investigador, antes da consulta com o médico14. Os resultados dos questionários foram obtidos tal como recomendado na versão original do questionário. Todos os participantes foram recrutados numa clínica privada em Lisboa, denominada Clínica das Conchas. Antes da investigação, após informados acerca da  finalidade do estudo e dos procedimentos envolvidos,os participantes assinaram um documento de consentimento informado. O estudo foi aprovado pelo Comité de Ética e Pesquisa da Faculdade de Motricidade Humana da Universidade de Lisboa, de acordo com o número 05/2009.

Tradução e Adaptação Cultural

A tradução e adaptação cultural do ASES original para o idioma Português só foi realizada na sessão administrada pelo paciente e seguiu as etapas propostas por Guillemin (1993). Em primeiro lugar dois professores de Inglês, de lingua materna portuguesa realizaram traduções literárias do ASES. Seguidamente, numa reunião conjunta, ambas as versões foram analisadas pelos tradutores e pelo investigador e uma única nova versão foi selecionada. Após definida a primeira versão em português, iniciou-se a etapa de retro-tradução, em que a versão em Português foi traduzida para o Inglês, também de forma independente, por dois tradutores de língua materna inglesa, fluentes em Português. Em seguida, as duas novas versões foram confrontadas, como ocorrera na etapa de tradução inicial. Após a retro-tradução uma comissão constituída pelo investigador, um fisioterapeuta e os 4 tradutores verificaram se existiam incongruências com o questionário original em Inglês. Procurou-se desta forma certificar de que a tradução era totalmente compreensível e refletia o mesmo conteúdo item a item da versão original. Após esta etapa foi constituída uma segunda versão em Português do ASES. Posteriormente, a clareza, compreensão e aceitação do questionário foram testadas nos pacientes. Nesta fase, denominada de “Pré-teste”, o investigador entregou o questionário aos pacientes, que, em seguida, responderam se compreenderam ou não cada item e comentaram o que entenderam. Em caso de não compreensão de algum item o paciente foi estimulado a propor uma modificação para transformá-lo compreensível. Estabeleceu-se que os itens com 10% de “não compreensão” seriam reformulados em uma nova reunião colegial e, em seguida, re-testado nos pacientes. Desta forma, a versão em Português do ASES só seria aceite e definida quando todos os seus itens fossem considerados compreensíveis. Os resultados finais dos questionários foram obtidos como recomendado na versão original e o tempo necessário para o seu preenchimento foi registado.

Fiabilidade e validade

Depois de concretizada a adaptação cultural e de o autor do questionário original ter autorizado a tradução, a fiabilidade e validade do questionário foram estudadas. O questionário ASES versão Portuguesa foi administrado duas vezes a 20 pacientes selecionados aleatoriamente. Os autores utilizaram um intervalo de 5 dias, partindo do pressuposto de que, durante este período, a situação clínica não se tinha alterado. Para minimizar o risco de modificação clínica a curto prazo, não se realizou nenhuma sessão de tratamento a esses pacientes nesse intervalo temporal de 5 dias. A validade de construto do ASES foi testada comparando o ASES com o DASH, que é um outro questionário utilizado para a avaliação de pacientes com dor no ombro. O questionário DASH é composto por 30 questões que inquirem acerca dos sintomas e as funções dos membros superiores que são afetadas por doenças ortopédicas ou neurológicas. Este questionário fornece uma nota principal, a pontuação da função/sintomas DASH [DASH-FS],  que é basicamente um somatório das respostas em uma escala de 1-5, resultando num valor final que varia entre um zero (sem deficiência) ou 100 (deficiência grave). Alémdo núcleo de 30 itens existem duas séries de perguntas opcionais de 4 itens, denominado DASH desporto / música [DASH-SM] e trabalho DASH [DASH-W], que são pontuados de forma semelhante. No nosso estudo não foram utilizadas essas pontuações. As perguntas avaliam o grau de dificuldade em realizar uma variedade de atividades físicas em virtude de um problema de um ombro ou mão [21 itens]. Estes itens também investigam a intensidade da dor, a atividade relacionada com a dor, formigueiros, fraqueza e rigidez [5 itens] e os efeitos dos problemas no membro superior em atividades sociais, trabalho, sono e auto-imagem [4 itens]. Todos os itens têm cinco opções de resposta que variam de ‘’nenhuma dificuldade ou nenhum sintoma’’ para ‘’incapaz de realizar atividade ou sintomas graves”.

Análise estatística

A análise dos dados foi realizada utilizando a versão 22 do SPSS. A normalidade da distribuição da variável frequência foi testada com os testes de Kolmogorov-Smirnov e de Shapiro-Wilkinson. A fiabilidade teste-reteste foi avaliada com o coeficiente de correlação interclasse (ICC) e o alfa de Cronbach foi utilizado para avaliar a consistência interna. A validade de construto e nomeadamente a correlação entre ASES e DASH foi avaliada pelo coeficiente de correlação de Pearson. Todos os testes estatísticos foram conduzidos com significância α = 0.05.

 

RESULTADOS

No geral, na tradução inicial, os dois tradutores apresentaram versões similiares.

Como mostrado na Tabela 1, observaram-se pequenas diferenças no enunciado descritivo da escala analógica de dor, e nos itens número 4 e 9 da seção de avaliação funcional. Após a reunião entre os tradutores e o investigador resolveram-se estas dúvidas de modo consensual.

 

Tabela 1

 

O passo seguinte, a retro-tradução, mostrou corresponder excelentemente à versão original e não foram propostas alterações ao questionário ASES convertido para a língua Portuguesa [Anexo 1]. Após estes procedimentos, os questionários foram submetidos aos pacientes. As respostas médias para os itens ASES são apresentadas na Tabela 2.

 

 

A fiabilidade teste-reteste mostrou excelentes resultados. O ICC foi de 0,93 (P <0,001) e 0,92 (P <0,001) para ASES direita e esquerda, respectivamente. Os resultados da consistência interna do ASES atingiram um valor de alfa Cronbach de 0,801. No que diz respeito à validade de construto os resultados do ASES-PT mostraram forte correlação com os resultados da versão em Português do DASH (r = -0,92; P <0,001).

Há um interesse crescente no uso de medidas subjectivas para avaliar a funcionalidade do ombro na vida diária, permitindo que o tratamento e a avaliação se foquem no paciente. O questionário ASES é específico para o complexo do ombro, e até agora não havia nenhuma versão em Português de Portugal adaptado à cultura Portuguesa. O uso de questionários requer a adaptação a diferentes línguas e culturas, mantendo a equivalência cultural. Assim, para evitar a aplicação potencialmente prejudicial de novos questionários não comparáveis com os existentes na literatura, é necessário mais do que uma simples tradução, é necessário um processo de adaptação rigoroso15.

Apenas a secção de preenchimento pelo paciente do ASES foi traduzida e adaptada culturalmente no nosso estudo, devido ao fato de que a parte médica não é utilizada na literatura existente, talvez porque não contribui para a pontuação final9. A versão em Português foi estabelecida após conclusão das diferentes fases: tradução inicial, retro-tradução, comité, pré-teste e aprovação do autor. Os principais ajustamentos culturais e linguísticos ocorreram na primeira fase, com a tradução inicial da medida unidade de lb (libra) a (kg) kg, porque em Portugal o Sistema Internacional de Unidades é utilizado, e com a tradução de três outros itens, consensualmente aprovados após reunião dos tradutores e do investigador. Após esta fase, a versão obtida após retro-tradução provou corresponder muito bem à versão original e não foram realizadas mais alterações. Esta versão do questionário foi então aplicada em pacientes com diferentes diagnósticos clínicos e com uma idade média de 48 anos de idade. Devido à sua linguagem simples e ao fato de não existir qualquer item duvidoso foi apenas necessário um pré-teste.

Para concluir o processo de validação da versão Portuguesa do ASES demonstrou-se que o questionário preserva características de fiabilidade e validade semelhantes à versão original publicada em Inglês5. A fiabilidade do ASES-PT mostrou-se adequada, como já foi tinha sido observado com a sua versão em Inglês12. O ICC foi de 0,931 para o lado direito e 0,924 para o lado esquerdo. O facto de os intervalos de tempo entre a primeira e a segunda aplicação do questionário terem sido semelhantes para versão orginal em o Inglês e na versão Portuguesa (3 e 4-5 dias de intervalo, respectivamente) pode ter contribuído para os resultados ICC semelhantes. Também Pádua et al. (2010)16 e Michener (2002)7 reportaram boa fiabilidade teste-reteste (ICC = 0,91 e CCI = 0,84, respectivamente), enquanto que Moser (2012) reportou um ICC ligeiramente inferior, de 0,75, para a versão Português do Brasil. A fiabilidade é adequada se o ICC for superior a 0,7017.

Em relação à consistência interna o valor foi bom, com um alfa de Cronbach = 0,80. Valores acima de 0,80 são considerados bons de acordo com a literatura18. Michener (2002) em um estudo com questionário ASES também relataram uma consistência interna semelhante (alfa de Cronbach = 0,85).

No presente estudo, a validade convergente do ASES-PT foi demonstrada usando sua correlação com um instrumento específico para os membros superiores, o DASH. Uma vez que o DASH avalia especificamente os sintomas e a incapacidade física dos membros superiores uma correlação muito boa do ASES-PT (ρ = -0,92; P = 0,001) com este questionário é justificada. Os resultados são semelhantes aos obtidos com a versão italiana do ASES que mostrou uma forte correlação (ρ = -0,92; P <0,002), quando comparado com DASH16. Também a versão em Inglês da ASES mostrou uma correlação forte quando comparado com um questionário específico para dor no ombro e função, da Universidade da Pensilvânia Shoulder Score - Penn (r = 0,78; P = 0,01)7.

Em pesquisas futuras, para estudar a validade convergente de um questionário específico ombro seria aconselhável comparar o questionário em estudo com mais de um questionário. Neste caso, além de comparar o ASES com o DASH também poderíamos comparar o ASES com o questionário SF-36 ou com o Oxford Shoulder Questionnaire.

 

CONCLUSÃO

Podemos concluir que a versão em Português do ASES é semanticamente equivalente à versão original, e demonstrou ser fiável e válida, apoiando assim a sua utilização como uma ferramenta para avaliar as limitações funcionais em pacientes com disfunção do ombro. A adaptação cultural e validação do questionário ASES para a língua Portuguesa será importante para permitir que a comunidade científica e clínica Portuguesa possa recorrer a uma nova ferramenta para avaliar a funcionalidade e dor no ombro, com a possibilidade de comparar os resultados com outros estudos em diferentes populações.

 

REFERÊNCIAS BIBLIOGRÁFICAS

1. Van der Windt D, Koes B, Jong B. Shoulder disorders in General Practice: incidence, patients characteristics, and management. Ann Rheum Dis. 1995; 54: 959-964        [ Links ]

2. Mäkelä M, Heliövaara M, Sievers K, Impivaara O, Knekt P AA. Prevalence, determinants, and consequences of chronic neck pain in Finland. Am J Epidemiol. 1991; 34 (11): 1356-1367        [ Links ]

3. Hudak P, Amadio P, Bombardier C. Development of an upper extremity outcome measure: the DASH. Am J Ind Med. 1996; 29: 602-608        [ Links ]

4. Lippitt SB, Harryman DT II, Matsen FA III. A practical tool for evaluating function: the Simple Shoulder Test. In Matsen FA 3rd, Fu FH, Hawkins RJ, editors. The shoulder: a balance of mobility and stability. Rosemont, IL: American Academy of Orthopaedic Surgeons; 1993. p. 501-518.

5. Richards R. American Shoulder and Elbow Surgeon: a standardized method for assessment of shoulder function. J Shoulder Elb Surg. 1994; 3: 347-352        [ Links ]

6. Clarke MG, Dewing CB, Schroder DT, Solomon DJ. Normal shoulder outcome score values in the young, active adult. J Shoulder Elbow Surg[Internet]. 2009; [cited 2012 Nov 2]; 18 (3): [about 4 pages]. Available from: http://www.ncbi.nlm.nih.gov/pubmed/191579.

7. Michener LA, Mcclure PW, Sennett BJ. American Shoulder and Elbow Surgeons Standardized Shoulder Assessment Form , patient self-report section : Reliability, validity, and responsiveness. J Shoulder Elb Surg. 2002; 587-594        [ Links ]

8. Angst F, Goldhahn J, Drerup S, Aeschlimann A, Schwyzer HK, Simmen SB. Responsiveness of six outcome assessment instruments in total shoulder arthroplasty. Arthritis Rheumatol. 2008; 59 (3): 391-398        [ Links ]

9. Knaut L, Moser A, Melo S, Richards R. Tradução e adaptação cultural à língua portuguesa do American Shoulder and Elbow Surgeons Standardized Shoulder Assessment Form (ASES) para avaliação da função do ombro. Rev Bras Psiquiatr[Internet]. 2010 Apr; 50 (2): [about 7 pages]. Available from: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0482-50042010000200007&lng=pt&nrm=iso&tlng=.

10. Guillemin F, Bombardier C, Beaton D. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol[Internet]. 1993 Dec; 46 (12): [about 15 pages]. Available from: http://www.ncbi.nlm.nih.gov/pubmed/82635.

11. Beaton DE, Richards RR. Measuring function of the shoulder. A cross sectional comparison of five questionnaires. J bone Jt Surg. 1996; 78: 882-890        [ Links ]

12. Navsarikar A, Gladman DD, Husted JA, Cook RJ. Validity assessment of the disabilities of arm, shoulder, and hand questionnaire (DASH) for patients with psoriatic arthritis. J Rheumatol. 1999; 26: 2191-2194        [ Links ]

13. Santos J, Gonçalves RS. Adaptação e validação cultural da versão portuguesa do Disabilities of the Arm Shoulder and Hand - DASH. Rev Port Ortop e Traumatol. 2006; 14 (3): 29-44        [ Links ]

14. Pinto R, Gomes N, Radaell R, Botton C, Brown L, Bottaro M. Effect of range of motion on muscle strength and thickness. J Strength Cond Res. 2012; 10: 2140-2145        [ Links ]

15. Bot SD, Terwee CB, van der Windt DA, Bouter LM, Dekker J, de Vet HC. Clinimetric evaluation of shoulder disability questionnaires: a systematic review of the literature. Ann Rheum Dis. 2004; 63 (4): 335-341        [ Links ]

16. Padua R, Padua L, Ceccarelli E, Bondi R, Alviti F, Castagna A. Italian version of ASES questionnaire for shoulder assessment: cross-cultural adaptation and validation. Musculoskelet Surg[Internet]. 2010 May; [cited 2012 Nov 2]; 94 (1): [about 5 pages]. Available from: http://www.ncbi.nlm.nih.gov/pubmed/203836.

17. Godfrey J, Hamman J, Lowenstein S, Briggs KM. Reliability, validity, and responsiveness of the simple shoulder test: psychometric properties by age and injury type. J Shoulder Elb Surgery. 2007; 16 (3): 260-267        [ Links ]

18. Pestana M. Análise de Dados para Ciências Sociais - A Complementaridade do SPSS. 4ª. Sílabo; 2005.         [ Links ]

 

Conflito de interesse:

Este estudo teve o apoio da Fundação para a Ciência e Tecnologia (nº Bolsa: SFRH/BD/77633/2011).

 

Endereço para correspondência

Rodrigo Ruivo
Avenida Fernando Pessoa, lote 3.20., Bloco B, 4 A
1990-102 Lisboa, Portugal
E-mail: rodrigo.ruivo@netcabo.pt
Phone: +351919996559
Fax: +351217507001

 

Data de Submissão: 2015-12-12

Data de Revisão: 2016-03-25

Data de Aceitação: 2016-03-26

 

 

[Anexo 1]

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons