EDITORIAL

 

Editorial

 

Miloslav Klugar, Ph.D.*

 

*Ph.D. Chefe do Departamento de Medicina Social e Saúde Pública, Faculdade de Medicina e Odontologia, Palacký University Olomouc, Diretor do Centre for Evidence-Based Health Care: An Affiliated Centre of The Joanna Briggs Institute da República Checa (Europa Central), Professor Adjunto, Escola de Ciência Translacional em Saúde, Faculdade de Ciências da Saúde, Universidade de Adelaide

R é de Revisão; quatro conceitos diferentes e dois mundos diferentes

Vivemos num mundo que poderia ser designado de “informativo”. Nunca foi tão fácil ter acesso a informação. Se olharmos para a investigação na área dos cuidados de saúde, são publicados mais de dezenas de milhares de artigos todos os meses, e o número continua a aumentar. Assim, na área dos cuidados de saúde, vivemos numa época que se pode definir pela sobrecarga de informação. Para lidar com esta sobrecarga de informação, os profissionais de saúde passaram a contar com o princípio do conhecimento baseado em evidência. Daí até ao aparecimento dos artigos de revisão que reveem os artigos de investigação primária foi um pequeno passo. A investigação primária pode ser simplesmente entendida como investigação na qual os investigadores trabalham diretamente com participantes ou com dados de participantes.

Antes de abordar o tema de revisão, há que diferenciar entre overview e investigação primária. Atualmente, o conceito de overview de estudos primários é geralmente designado de revisão de literatura, revisão simples, revisão narrativa ou apenas revisão. Apresenta-nos a evidência com um risco elevado de viés. Ao refletirmos sobre o nível de evidência, as revisões de literatura ficariam no mesmo patamar que os pareceres de peritos no nível mais baixo de evidência em termos da aplicação na prática, enquanto que as revisões sistemáticas se situariam no outro extremo. Muitas revisões narrativas de literatura refletem os preconceitos do autor ou o discurso preferido por determinada escola, o que as torna, por conseguinte, inerentemente tendenciosas. Não podemos esquecer que o viés de publicação dos estudos primários pode estar presente em muitas revistas. Por outro lado, a vantagem das revisões narrativas de literatura é que estas são menos morosas. Podem ser realizadas por um autor no prazo de 1 ou 2 meses e revelar brevemente aquilo que existe de novo numa determinada área de investigação. No entanto, não devem ser utilizadas para tomar decisões clínicas.Um conceito metodologicamente robusto na revisão dos estudos primários é o conceito de investigação secundária, que é geralmente denominada de revisão sistemática, síntese de evidência, meta-análise ( para dados quantitativos) e meta-síntese ( para dados qualitativos). O conceito de investigação secundária assemelha-se, em termos de princípios, ao conceito de investigação primária. A investigação secundária também parece ser ideal para uma amostra representativa – pela extensa pesquisa de estudos publicados e não publicados. Também define critérios de inclusão e exclusão com base no objetivo/questão de revisão; recolhe dados – através da extração de dados; analisa/ sintetiza dados através de meta-análise/meta-síntese; cria novos conhecimentos através do agrupamento de resultados da investigação primária, apresentando evidência nova. Desta forma, exagerando um pouco, a revisão sistemática é o tipo de estudo ideal para lidar com a sobrecarga de informação. Idealmente, quando se trata de pesquisa extensiva, a revisão sistemática apresenta o que foi feito, até à data, para responder verdadeiramente à questão clínica. Na maior parte dos casos, o desenvolvimento da revisão sistemática exige mais tempo e a cooperação de mais peritos do que o desenvolvimento da maioria dos estudos primários. A equipa que desenvolve a revisão sistemática deve possuir experiência no assunto de interesse, na metodologia de investigação e estatísticas e em pesquisa bibliográfica. Se o pensamento crítico é essencial para a leitura de artigos, isto é duplamente válido para os profissionais de saúde ao lerem estudos secundários (revisões sistemáticas). Uma vez que as revisões sistemáticas têm sido um desenho de estudo muito popular, podemos encontrar muitas tentativas de revisão sistemática em bases de dados. No entanto, ao analisar de forma crítica, vamos encontrar muitas questões que podem gerar meta-vieses. Muitas revisões não têm um protocolo de revisão sistemática pré-publicado. Isso pode gerar muitos problemas graves, principalmente relacionados com falsa objetividade, fiabilidade e confidencialidade dos resultados dessa revisão sistemática. Por conseguinte, tal como a randomização é o princípio básico dos ensaios clínicos randomizados controlados, a pré-publicação de um protocolo de revisão sistemática é o princípio básico do desenvolvimento da revisão sistemática. Outros problemas das chamadas “revisões sistemáticas” encontram-se na pesquisa. Em muitas questões de revisão, a pesquisa é realizada em apenas duas ou três bases de dados e sem fontes de estudos não publicados, o que inevitavelmente conduz a outro meta-viés conhecido como viés de publicação. Também a estratégia de pesquisa, que consiste em utilizar apenas cerca de seis palavras-chave associadas através de operadores booleanos, pode ignorar centenas ou milhares de estudos primários potencialmente relevantes. Outro problema prevalente é, geralmente, a falta de avaliação crítica da validade dos estudos primários. A questão que se coloca é onde se pode encontrar revisões sistemáticas de elevada qualidade. Algumas organizações internacionais centradas no desenvolvimento de metodologia de revisão sistemática, por exemplo o Joanna Briggs Institute e a Cochrane Collaboration, disponibilizam bases de dados onde podemos encontrar revisões sistemáticas de elevada qualidade. Não seria justo dizer que não podemos encontrar revisões sistemáticas de elevada qualidade fora destas organizações; no entanto, temos de ter consciência dos problemas de qualidade. Podemos imaginar a desilusão de um profissional de saúde que, após transformar a sua questão clínica em pesquisa, obtém três revisões sistemáticas publicadas com o intervalo de um ano e que são, de facto, relevantes mas que apresentam diferentes resultados e conclusões. Infelizmente, é comum encontrarmos várias revisões sistemáticas para um problema de saúde. Esta é a razão pela qual os conceitos e a metodologia da revisão de cobertura (umbrella review), visão geral das revisões (overview of reviews), revisão de revisões (review of reviews) ou meta-revisões (meta-reviews) foram desenvolvidos. Embora o conceito de revisão de cobertura possa diferir nos detalhes entre diferentes organizações, o princípio é comparar e contrastar revisões sistemáticas publicadas e apresentar uma análise global das informações existentes sobre um determinado tema. Poderia levantar-se aqui a questão o que se segue? E se o conceito de revisão de cobertura tiver o mesmo destino do conceito de revisão sistemática? Será que precisamos então de desenvolver o conceito de revisão de revisões de cobertura? Será que isto vai ter um fim? Uma solução mais sensata e mais eficaz para os cuidados de saúde seria apelar ao conselho editorial e de revisão das revistas ao nível mundial para impedirem os autores de intitularem os seus estudos de revisão sistemática se não forem verdadeiramente revisões sistemáticas. Já existe atualmente informação suficiente de livre acesso sobre o desenvolvimento de revisões sistemáticas (Higgins & Green, 2014; JBI, 2014; Shamseer et al., 2015). Embora o conceito de cobertura funcione com o tipo de desenho de investigação secundária das revisões sistemáticas, será que podemos considerar a revisão de cobertura como um desenho de estudo de investigação terciária? Ou será antes uma visão geral das sínteses de investigação existentes? O objetivo da maioria dos conceitos de cobertura é apresentar aos profissionais de saúde um resumo das melhores revisões sistemáticas existentes através de uma visão geral clara e facilmente interpretável dos resultados, não sendo feita uma síntese adicional dos resultados. Portanto, não podemos pensar no conceito de revisão de cobertura enquanto investigação terciária. Apenas podemos refletir sobre investigação terciária se considerarmos uma lógica semelhante e as semelhanças entre a investigação primária e a investigação secundária(acima referidas). Observamos as conclusões das revisões sistemáticas existentes na tentativa de criar nova evidência. Esta situação está presente nas revisões de métodos mistos, sobre a qual existe uma série de abordagens metodológicas descritas na literatura. A maioria destas abordagens centra-se na partilha das conclusões dos estudos qualitativos e quantitativos. Uma vez que as revisões de métodos mistos pretendem dar a conhecer, através de sínteses de métodos mistos, os resultados de revisões de método único (meta-análise e meta-síntese) sobre o mesmo tema, podemos pensar nelas como investigação terciária. A qualidade da investigação terciária poderia ser tão boa quanto a qualidade da investigação secundária e a qualidade da investigação secundária poderia ser tão boa quanto a qualidade da investigação primária. O objetivo dos autores de todos os tipos de investigações e estudos na área de saúde é, ou melhor, deveria ser, contribuir para o processo de tomada de decisão. No entanto, as decisões só podem ser tomadas através da consulta de estudos primários, secundários ou terciários imparciais e de elevada qualidade.

 

Referências bibliográficas

Higgins, J., & Green, S. (2014). Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1. 0. updated March 2011. handbook web site.         [ Links ]

JBI. (2014). Joanna Briggs Institute Reviewers' Manual: 2014 edition. The University of Adelaide, South Australia: The Joanna Briggs Institute.         [ Links ]

Shamseer, L., Moher, D., Clarke, M., Ghersi, D., Liberati, A., Petticrew, M., . . . Group, P.-P. (2015). Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015: elaboration and explanation. BMJ, 349, g7647. doi: 10.1136/bmj.g7647        [ Links ]

R is for Review; four different concepts and two different worlds

We live in the world which could be called as “informational”. It was never so easy to access information in the history. If we look to the healthcare research there are more than tens of thousands papers published every month and the number is still increasing. So in healthcare, we live in an era which could be defined as information overload. To manage this information overload the Evidence-Based … principles were revealed for health professionals. From then, there was just a little step to the concepts of reviewing the papers respectively reviewing the primary research papers. Primary research could be simply understood as research where investigators work directly with participants or participant's data.

Describing the reviews we have to stop at the beginning and differentiate between an overview and a research of primary studies. Nowadays, the concept of primary studies overview is usually called as literature review; simple review, narrative review or just review. It brings us the evidence which has a high risk of bias. When we think about the level of evidence, literature reviews would stand together with expert opinions on the lowest level of evidence in the terms of implementation into the practice, and the systematic reviews stand on the other pole. Many narrative reviews of the literature reflect the author's prejudices or discourse which are preferred by some school, and therefore they are inherently biased. It must be remembered that publication bias of primary research may be present in many journals. On the other hand, advantage of the narrative reviews of the literature is less time consumption. They can be conducted in a month or two by one author and inform briefly what is new in a particular research field. However, they shall not be used for making clinical decision.

Methodologically robust concept in the reviewing of primary research is the concept of secondary research which is usually called as systematic review, evidence synthesis, meta-analysis (for quantitative evidence) and meta-synthesis (for qualitative evidence). The concept of secondary research is close in the principles to the concept of primary research. Secondary research also looks optimally for representative sample – by extensive search of published and unpublished literature; it also sets inclusion and exclusion criteria based on the objective/review question, it also collects data – by data extraction, it also analyses/synthetizes data by meta-analysis/meta-synthesis, it also creates the new knowledge by pooling results of primary research together, they show the new evidence. So with a little exaggeration, the systematic review is ideal study design dealing with information overload. Ideally, the systematic review shows until the date, when its extensive search, was done the true answer to the clinical question. The systematic review development requires in most cases more time and cooperation of more experts than development of most study designs in primary research. The team who develops the systematic review must have expertise in the subject of interest, research methodology and statistics, and literature searching. As every time when healthcare professionals are reading the papers, they should use critical thinking, it is double valid for reading of secondary research (systematic reviews). Since the systematic reviews have been very popular study design, we can find in databases many attempts for the systematic review. However, while critically appraising we will find many issues which can lead to meta-biases. Many reviews are lacking pre published protocol of the systematic review. This could lead to many serious problems, mainly related to false objectivity, reliability and confidentiality of results of such a systematic review. Therefore pre published protocol of the systematic review is the basic principle of the systematic review development, the same is randomization for Randomized Control Trials. Many other issues of so called “Systematic reviews” are in their searching part. For many review questions, the search which is done just in two or three databases and completely lacking sources of unpublished studies will inevitably lead to another meta-bias which is known as publication bias. Also the search strategy which comprises just about 6 keywords connected with the Boolean operators may overlook hundreds or thousands of potentially relevant primary research studies. Another prevalent issue is usually lack of the critical appraisal part of primary research studies validity. The question is where to search for the high quality systematic reviews. Few international organizations whose focus is on the development of systematic review methodology provide also libraries where we can find the systematic reviews of high quality, for example Joanna Briggs Institute and Cochrane Collaboration. It would not be fair to say we cannot find high quality systematic reviews out of these organizations; however, we have to be aware of the quality issues. We can imagine disillusionment of healthcare professional after they transform their clinical question into search and then they retrieve three so called systematic reviews published within the range of one year which are relevant indeed but show different results and conclusions. Unfortunately, it is not exemption that we can find several systematic reviews for one healthcare issue. This is the reason why the concepts and methodology of umbrella review, overview of reviews, review of reviews or meta-reviews were developed.

Although the Umbrella review concept can differ in the details among different organizations, the principle is to compare and contrast published systematic reviews and to provide an overall examination of provided information which is available for a particular topic. The question here could be what will be next? What if will have the umbrella review concept the same destiny as the systematic review concept? Will we need to develop review of umbrella reviews than? Where could this end? A wiser and more efficient solution for healthcare would be to appeal on the editorial and peer reviewers' boards of journals worldwide to enforced with the authors to not title their study systematic review if they are not truly systematic reviews. Nowadays, enough open access guidance already exist in development of systematic reviews (Higgins & Green, 2014; JBI,2014; Shamseer et al., 2015). Although the umbrella concept works with the secondary research study design of the systematic reviews, can we think about the umbrella review as a tertiary research study design? Or is it rather an overview of the existing research syntheses? The aim of the most umbrella concepts is to present summary of existing high quality systematic reviews to healthcare professionals in ready and easily interpretable overview of the findings. Thus there is not part with further synthesis of the results. So we cannot think of the umbrella review concept as the tertiary research.

If we use similar logic and similarities between primary and secondary research (mentioned above), only then we can think about tertiary research. We look for pooling of the findings of the existing systematic reviews with attempt to create new evidence. This situation could be found in the mixed methods reviews. There are a number of method approaches described in the literature about mixed methods review. Most of them are focused on the pooling of the findings of qualitative and quantitative inquiry. When the mixed methods reviews is designed to bring and pool together by mixed method syntheses the results of single method reviews (meta-analysis and meta-synthesis) on the given topic, we can think about it as the tertiary research.

The quality of the tertiary research could be as good as the quality of the secondary research and quality of the secondary research could be as good as the quality of the primary research. The aim of authors of all types of research and studies in the healthcare is, or rather should be to inform decision making process. However, decisions can be made only by consulting of the high quality unbiased primary, secondary or tertiary research.

 

References

Higgins, J., & Green, S. (2014). Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1. 0. updated March 2011. handbook web site.

JBI. (2014). Joanna Briggs Institute Reviewers' Manual: 2014 edition. The University of Adelaide, South Australia: The Joanna Briggs Institute.

Shamseer, L., Moher, D., Clarke, M., Ghersi, D., Liberati, A., Petticrew, M., . . . Group, P.-P. (2015). Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015: elaboration and explanation. BMJ, 349, g7647. doi: 10.1136/bmj.g7647