Introducción a las revisiones sistemáticas y metaanálisis

Emiliano Rossi ^ID

Médico cardiólogo. Departamento de Investigación. Hospital Italiano de Buenos Aires.
Ciudad Autónoma de Buenos Aires, Argentina.

Acta Gastroenterol Latinoam 2023;53(1):7-10

Recibido: 14/01/2023 / Aceptado: 06/03/2023 / Publicado online el 30/03/2023 / https://doi.org/10.52787/agl.v53i1.291

Una revisión sistemática utiliza métodos explícitos y documentados, para reunir y sintetizar los hallazgos de estudios con el objetivo de responder una pregunta de investigación claramente formulada.¹

Las revisiones sistemáticas cumplen distintas funciones, entre las que se encuentran: a) proporcionar una síntesis del conocimiento actual en un campo disciplinar, permitiendo identificar futuras prioridades de investigación, b) abordar preguntas que de otro modo no podrían ser respondidas por estudios individuales, c) identificar en la investigación problemas que deben corregirse en futuros estudios, y d) generar o evaluar teorías sobre cómo o por qué ocurren los fenómenos.²

La publicación de revisiones sistemáticas ha crecido exponencialmente en las últimas décadas. Si bien son consideradas evidencia de alta calidad, están sujetas a sesgos y errores. Por este motivo, distintas organizaciones, entre ellas la Colaboración Cochrane, han elaborado guías metodológicas para mejorar la calidad.^{1, 3, 4}

El proceso de realizar una revisión sistemática involucra una serie de pasos, que han sido detalladamente descritos por Muka y col.⁵

1) Definir la pregunta de investigación. Antes de comenzar debe establecerse el propósito de la revisión y plantear claramente la pregunta de investigación. En caso de estudios de intervención, emplear la metodología PICO ayudará a definir claramente la población (P) incluida, la intervención (I) evaluada, el comparador (C) de dicha intervención y los resultados (outcomes) obtenidos.

2) Establecer el equipo de trabajo. El grupo debe tener miembros con habilidades en la realización de búsquedas bibliográficas y metodología de la investigación, y conocimiento del área disciplinar.

3) Definir las estrategias de búsqueda. Una búsqueda exhaustiva es la base de una revisión sistemática. Las estrategias de búsqueda deben escribirse y ejecutarse en diferentes bases de datos en línea, para recuperar los estudios potencialmente elegibles. Las búsquedas inadecuadas pueden implicar no incluir artículos relevantes, lo que llevará a sesgar los resultados. En este sentido, las búsquedas deben realizarse en múltiples bases de datos (por ej., MEDLINE, Embase, Google Scholar, Cochrane CENTRAL, etcétera).

4) Definir los criterios de selección. Los criterios de selección sirven de guía a los revisores y permiten identificar los estudios relevantes durante el proceso de tamizaje de artículos. Estos deben tener en cuenta el diseño del estudio, la población incluida, la exposición de interés, los resultados y la metodología de análisis.

5) Diseñar los formularios de recolección de datos. La extracción de los datos desde los estudios primarios es una etapa clave, para lo que deben utilizarse formularios estandarizados. Deben registrarse las características generales del estudio, las de la población incluida, las exposiciones, los métodos empleados y los resultados.

6) Escribir y registrar el protocolo de la revisión. El protocolo debe contener la pregunta de investigación y los objetivos de la revisión, los criterios de inclusión y exclusión, las estrategias de búsqueda y el plan de análisis. Para favorecer la transparencia es recomendable que la revisión se registre antes de su realización en una plataforma de acceso público, como Prospero (https://www.crd.york.ac.uk/PROSPERO/).

7) Ejecutar las estrategias de búsqueda. Las estrategias de búsqueda aplicadas en cada base de datos deben ser documentadas para permitir su reproducibilidad.

8) Recolectar todas las referencias y resúmenes. Esta recopilación debe hacerse en un único archivo.

9) Eliminar las citas duplicadas.

10) Revisar los títulos y los resúmenes de los artículos encontrados. Dos revisores trabajando en forma independiente deben evaluar la relevancia de cada cita y hacer la selección siguiendo los criterios de inclusión previamente establecidos. El proceso de gestión de citas durante la revisión puede ser bastante engorroso, por lo que se recomienda utilizar aplicaciones específicas (por ej., Covidence, EPPI-Reviewer, CADIMA, etcétera).

11) Seleccionar las citas a incluir. Se compara el listado de citas seleccionadas por cada revisor y se incluyen aquellas coincidentes. En caso de discordancia, esta se puede resolver mediante el consenso entre ambos o la intervención de un tercer revisor.

12) Recuperar los textos completos de los artículos y evaluar sus criterios de inclusión. Una vez obtenido el texto completo de los artículos seleccionados, ya sea a través de una biblioteca institucional local, una online o por pedido directo a los autores, dos revisores independientes deben evaluar si el artículo cumple con los criterios de inclusión establecidos. En caso de discrepancia entre los revisores, se aplica un procedimiento semejante al paso anterior. En este paso deben registrarse los motivos de exclusión de cada artículo.

13) Contactar a expertos temáticos. Es recomendable contactar a expertos en el área temática de estudio, con el objetivo de identificar estudios perdidos, recuperar datos relevantes no publicados en forma completa o recalcular alguna medida de resumen necesaria.

14) Buscar referencias adicionales. Las referencias de los artículos seleccionados deben ser revisadas en búsqueda de algún artículo relevante que no haya sido identificado en la búsqueda inicial. También, se pueden buscar los artículos que citan a los artículos ya incluidos. Se requiere otra ronda de revisión de la relevancia de las nuevas citas, selección de las coincidentes, recuperación de los textos completos y evaluación de su elegibilidad.

15) Realizar el diagrama de flujo. Debe realizarse un diagrama de flujo en el que se detallen el número de citas relevantes encontradas a través de las búsquedas en bases de datos, las recomendaciones de expertos y las referencias adicionales; el número de estudios excluidos durante la evaluación del título y el resumen; el número de textos completos evaluados, y las razones de su exclusión.

16) Recolectar la información. Una vez identificados los artículos a incluir en la revisión, se debe extraer la información de cada uno utilizando el formulario previamente definido. Este paso debe ser realizado por dos revisores en forma independiente.

17) Evaluar la calidad de los estudios y su riesgo de sesgos. En este proceso también intervienen dos revisores. Se debe considerar en cada estudio primario el riesgo de presentar distintos tipos de sesgos. Para ello existen herramientas como RoB-2 para ensayos clínicos, ROBINS-1 para estudios de intervención no aleatorizados, Newcastle-Ottawa Scale para estudios observacionales prospectivos, QUADAS-2 para precisión de estudios diagnósticos, QUIPS para factores pronósticos y PROBAST para estudios de desarrollo, validación o actualización de modelos predictivos. La calidad de la evidencia de los estudios incluidos debe ser reportada e interpretada para permitir al lector evaluar cuán confiables son las conclusiones alcanzadas.

18) Preparar la base de datos para el análisis. La información recabada de cada estudio debe ser preparada para permitir realizar su síntesis descriptiva o un metaanálisis.

19) Elaborar la síntesis descriptiva. Deben describirse los estudios incluidos mediante tablas en las que se mencionen el autor, el año, el lugar de realización, las características de la población incluida, las exposiciones o intervenciones y los resultados observados. En caso de que no sea posible realizar un metaanálisis, se debe mencionar la dirección y el tamaño del efecto observado y su consistencia entre los distintos estudios.

20) Metaanalizar. El metaanálisis es una técnica estadística utilizada para sintetizar los resultados cuando las estimaciones de efecto de los estudios y sus varianzas están disponibles, lo que genera un resumen cuantitativo de los resultados.² Sus ventajas potenciales son: 1) mejorar la precisión, ya que la combinación de diferentes estudios incrementa el tamaño muestral permitiendo alcanzar mayor poder estadístico, 2) responder preguntas no planteadas por los estudios individuales al permitir investigar la consistencia del efecto en un amplio rango de poblaciones e intervenciones, y 3) dirimir controversias surgidas de estudios aparentemente contradictorios, o generar nuevas hipótesis.¹

El procedimiento más utilizado en un metaanálisis es el método de la inversa de la varianza. En él, el peso dado a cada estudio es ponderado por la inversa de su varianza (1/error estándar).² Por lo tanto, los estudios más grandes, que tienen errores estándar más pequeños, tendrán más peso que los estudios más pequeños, que tienen errores estándar más grandes. Como consecuencia, se minimiza la imprecisión de la estimación del efecto agrupado.¹

Los resultados de un metaanálisis se grafican mediante un diagrama llamado forest plot. En él se muestran las estimaciones del efecto, con sus intervalos de confianza, tanto de los estudios individuales como del global.¹ La variabilidad en los efectos de la intervención evaluada en los diferentes estudios se denomina heterogeneidad estadística y es consecuencia de la diversidad clínica y/o metodológica. La diversidad clínica es la variabilidad en los participantes, las intervenciones y los resultados estudiados. La diversidad metodológica es la variabilidad en el diseño del estudio, las herramientas de medición de resultados y el riesgo de sesgos.¹

La decisión de combinar los hallazgos de distintos estudios mediante un metaanálisis depende del grado de heterogeneidad encontrado. Si existe una variación considerable, especialmente si hay inconsistencia en la dirección del efecto, puede ser engañoso citar un valor promedio de este.¹

Es importante usar los mismos estimadores y estandarizar su definición y codificación en todos los estudios incluidos. La heterogeneidad estadística puede ser evaluada mediante distintos métodos, de los cuales los más utilizados son el test Q de Cochrane y el I² de Higgings.

Existen distintos paquetes de software que permiten realizar un metaanálisis (por ej., RevMan, Metafor, Stata, MetaXL, etcétera).

21) Explorar la heterogeneidad.El análisis de subgrupos, que debe estar predefinido en el protocolo del metaanálisis, permite explorar las fuentes de heterogeneidad. El análisis de metarregresión puede ser usado para explorar si la heterogeneidad observada se debe a una característica determinada del estudio. Hay que tener en cuenta la heterogeneidad al interpretar los resultados.

22) Evaluar la existencia de sesgos de publicación. El sesgo de publicación se origina cuando la decisión de publicar un estudio se asocia con su resultado. Es conocido que existe una tendencia a no publicar estudios con resultados negativos. Este sesgo puede detectarse mediante asimetrías en el funnel plot (gráfico de embudo) y el test de Egger.

23) Evaluar la calidad de la evidencia. La calidad de la evidencia para cada resultado de la revisión sistemática se evalúa utilizando las guías GRADE. Los ensayos clínicos comienzan con la graduación más alta y los estudios observacionales, con la más baja. Se disminuye la valoración considerando las limitaciones del estudio, los sesgos de publicación y la inconsistencia de los resultados y esta se aumenta teniendo en cuenta si la magnitud del efecto es grande y si existe un fenómeno dosis-respuesta.

24) Publicar la revisión. Existen guías metodológicas que recomiendan cómo preparar de forma transparente, completa y precisa una revisión sistemática para su publicación. Estas también permiten a los lectores evaluar la adecuación de los métodos empleados y la confiabilidad de los resultados obtenidos.²

Considerar si se cumplieron los pasos necesarios en la elaboración de una revisión sistemática nos permitirá como lectores valorar adecuadamente su calidad.

Propiedad intelectual. El autor declara que los datos presentes en el manuscrito son originales y se realizaron en sus instituciones pertenecientes.

Financiamiento. El autor declara que no hubo fuentes de financiación externas.

Conflicto de interés. El autor declara no tener conflictos de interés en relación con este artículo.

Aviso de derechos de autor

© 2023 Acta Gastroenterológica Latinoamericana. Este es un artículo de acceso abierto publicado bajo los términos de la Licencia Creative Commons Attribution (CC BY-NC-SA 4.0), la cual permite el uso, la distribución y la reproducción de forma no comercial, siempre que se cite al autor y la fuente original.

Cite este artículo como: Rossi E. Introducción a las revisiones sistemáticas y metaanálisis. Acta Gastroenterol Latinoam. 2023;53(1):7-10. https://doi.org/10.52787/agl.v53i1.291

Referencias

1. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editores). Cochrane Handbook for Systematic Reviews of Interventions versión 6.3 (actualización en febrero de 2022). Cochrane, 2022. Disponible en: www.training.cochrane.org/handbook
2. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD et al. The PRISMA 2020 statement: An updated guideline for reporting systematic reviews. BMJ. 2021;372:n71. PMID: 33782057
3. Whiting P, Savović J, Higgins JP, Caldwell DM, Reeves BC, Shea B et al.; ROBIS group. ROBIS: A new tool to assess risk of bias in systematic reviews was developed. J Clin Epidemiol. 2016;69:225-34. DOI: 10.1016/j.jclinepi.2015.06.005. Epub: 16 de junio de 2015. PMID: 26092286; PMCID: PMC4687950.
4. Shea BJ, Reeves BC, Wells G, Thuku M, Hamel C, Moran J et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ. 2017;21;358:j4008. DOI: 10.1136/bmj.j4008. PMID: 28935701; PMCID: PMC5833365.
5. Muka T, Glisic M, Milic J, Verhoog S, Bohlius J, Bramer W et al. A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research. Eur J Epidemiol. 2020;35(1):49-60. DOI: 10.1007/s10654-019-00576-5. Epub: 13 de noviembre de 2019. PMID: 31720912.

Correspondencia: Emiliano Rossi
Correo electrónico: emiliano.rossi@hospitalitaliano.org.ar

Acta Gastroenterol Latinoam 2023;53(1):7-10

 

Introduction to Systematic Reviews and Meta-Analysis

Emiliano Rossi ^ID

Cardiologist. Department of Investigation. Hospital Italiano de Buenos Aires.
Ciudad Autónoma de Buenos Aires, Argentina.

Acta Gastroenterol Latinoam 2023;53(1):11-14

Received: 14/01/2023 / Accepted: 06/03/2023 / Published online 30/03/2023 / https://doi.org/10.52787/agl.v53i1.291

A systematic review uses explicit and documented methods to collect and synthesize the findings of studies with the aim of answering a clearly formulated research question.¹

Systematic reviews have several functions, including: a) providing a synthesis of current knowledge in a disciplinary field, allowing the identification of future research priorities, b) addressing questions that could not otherwise be answered by individual studies, c) identifying research problems that should be addressed in future studies and d) generating or evaluating theories about how or why the phenomena occur.²

The publication of systematic reviews has grown exponentially in the last decades. Although they are considered high quality evidence, they are subject to biases and errors. For this reason, several organizations, including the Cochrane Collaboration, have developed methodological guides to improve quality.^{1, 3, 4}

The process of conducting a systematic review involves a number of steps, which have been described in detail by Muka et al.⁵

1) Define the research question. Before beginning, the purpose of the review should be established and the research question should be clearly stated. In the case of intervention studies, using the PICO methodology will help to clearly define the population (P) included, the intervention (I) evaluated, the comparator (C), and the results (outcomes) obtained.

2) Establish the work team. The group should have members with skills in conducting literature searches and research methodology, and knowledge of the disciplinary area.

3) Define search strategies. A comprehensive search is the basis of a systematic review. Search strategies need to be written and run on different online databases to retrieve potentially eligible studies. Inadequate searches may mean not including relevant articles, which will lead to biased results. In this regard, searches must be carried out in multiple databases (e.g., MEDLINE, Embase, Google Scholar, Cochrane CENTRAL, etc.).

4) Define selection criteria. The selection criteria serve as a guide for reviewers and allow relevant studies to be identified during the article screening process. They should take into account the study design, the population included, the exposure of interest, the results and the analysis methodology.

5) Design the data collection forms. Data extraction from primary studies is a key stage, and standardized forms must be used for this purpose. The general characteristics of the study, the included population, the exposures, the methods used and the results must be recorded.

6) Write and record the review protocol. The protocol must contain the research question and the objectives of the review, the inclusion and exclusion criteria, the search strategies, and the analysis plan. To promote transparency, it is recommended that the review is registered before it is carried out on a public access platform such as Prospero (http://www.crd.york.ac.uk/PROSPERO).

7) Execute the search strategies. The search strategies applied in each database must be documented to allow their reproducibility.

8) Collect all references and abstracts. This collection must be done in a single file.

9) Remove duplicate quotes

10) Review the titles and abstracts of the articles found. Two reviewers working independently must assess the relevance of each citation and make the selection following the previously established inclusion criteria. The process of citation management during the review can be quite cumbersome, so the use of specific applications (e.g., Covidence, EPPI- Reviewer, CADIMA, etc.) is recommended.

11) Select the quotes to be included. The list of citations selected by each reviewer is compared and those that coincide are included. In case of disagreement, this can be resolved by consensus between two reviewers or by the intervention of a third reviewer.

12) Retrieve the full texts of the articles and evaluate their inclusion criteria. Once the full text of the selected articles has been obtained, either through a local institutional library, an online library or by direct request to the authors, two independent reviewers must assess whether the article meets the established inclusion criteria. In case of discrepancy between the reviewers, a procedure similar to the previous step is applied. In this step, the reasons for exclusion of each article have to be recorded.

13) Contact thematic experts. It is advisable to contact experts in the thematic area of study, in order to identify missing studies, retrieve relevant data not published in full or recalculate any necessary summary measure.

14) Look for additional references. The references of the selected articles should be reviewed in search of any relevant article that was not identified in the initial search. Also, articles that cite articles already included can be searched. Another round of checking the relevance of new citations, selecting the matching ones, retrieval of full text and evaluation of their eligibility is required.

15) Make the flowchart. A flowchart should be made detailing the number of relevant citations found through database searches, expert recommendations, and additional references; the number of studies excluded during  title and abstract evaluation; the number of full texts evaluated, and the reasons for their exclusion.

16) Collect the information. Once the articles to be included in the review have been identified, the information must be extracted from each one using the previously defined form. This step should be performed independently by two reviewers.

17) Evaluate the quality of the studies and their risk of bias. Two reviewers are also involved in this process. The risk of presenting different types of biases should be considered in each primary study. For this purpose, there are tools such as RoB-2 for clinical trials, ROBINS-1 for non-randomized intervention studies, Newcastle-Ottawa Scale for prospective observational studies, QUADAS-2 for the precision of diagnostic studies, QUIPS for prognostic factors and PROBAST for studies to develop, validate or update predictive models. The quality of evidence from the included studies should be reported and interpreted to allow the reader to assess how reliable the conclusions reached are.

18) Prepare the database for analysis. The information collected from each study must be prepared to allow its descriptive synthesis or meta-analysis to be carried out.

19) Prepare the descriptive synthesis. The included studies should be described by means of tables in which the author, year, place, characteristics of the included population, exposures or interventions and observed results are mentioned. If it is not possible to carry out a meta-analysis, the direction and size of the effect observed and its consistency between the different studies should be mentioned.

20) To meta-analyze. Meta-analysis is a statistical technique used to synthesize results when the effect estimates from the studies and their variances are available, generating a quantitative summary of the results.² Its potential advantages are 1) to improve precision, since the combination of different studies increases the sample size allowing for greater statistical power to be achieved, 2) to answer questions not raised by individual studies by making it possible to investigate the consistency of the effect in a wide range of populations and interventions, and 3) to resolve controversies arising from apparently contradictory studies, or to generate new hypotheses.¹

The most widely used procedure in a meta-analysis is the inverse variance method. In it, the weight given to each study is weighted by the inverse of its variance (1/standard error²). Therefore, larger studies, which have smaller standard errors, will carry more weight than smaller studies, which have larger standard errors. As a consequence, the imprecision of the estimate of the pooled effect is minimized.¹

Meta-analysis results are presented in a diagram called a forest plot. It shows the effect estimates, with their confidence intervals, both for the individual studies and for the overall study.¹ The variability in the effects of the intervention evaluated in the different studies is called statistical heterogeneity and is a consequence of clinical and/or methodological diversity. Clinical diversity is the variability in the participants, interventions, and outcomes studied. Methodological diversity is the variability in study design, outcome measurement tools, and risk of bias.¹

The decision to combine findings from different studies through meta-analysis depends on the degree of heterogeneity found. If there is considerable variation, especially if there is inconsistency in the direction of the effect, it can be misleading to quote an average value for this effect.¹

It is important to use the same estimators and to standardize their definition and coding across all included studies. Statistical heterogeneity can be assessed by different methods, of which the most widely used are the Cochrane’s Q test and the Higgins’ I².

There are different software packages that allow meta-analysis to be performed (e. g. RevMan, Metafor, Stata, MetaXL, etc.)

21) Explore heterogeneity. Subgroup analysis, which should be predefined in the meta-analysis protocol, allows the sources of heterogeneity to be explored. Meta-regression analysis can be used to explore whether the observed heterogeneity is due to a given study characteristic. Heterogeneity should be taken into account when interpreting the results.

22) Evaluate the existence of publication biases. Publication bias occurs when the decision to publish a study is associated with its result. It is known that there is a tendency not to publish studies with negative results. This bias can be detected by means of asymmetries in the funnel plot and the Egger test.

23) Evaluate the quality of the evidence. The quality of the evidence for each outcome of the systematic review is assessed using the GRADE guidelines. Clinical trials start with the highest ranking and observational studies with the lowest. The assessment is lowered by considering study limitations, publication biases and inconsistency of results and is increased by considering if the magnitude of the effect is large and if there is a dose-response phenomenon.

24) Publish the review. There are methodological guidelines that recommend how to prepare a systematic review for publication in a transparent, complete and accurate way. These also allow readers to assess the adequacy of the methods used and the reliability of the results obtained.²

Considering if the necessary steps were followed in the elaboration of a systematic review will allow us to assess its quality.

Intellectual Property. The author declares that the data presented in the manuscript are original and were carried out at his belonging institution.

Funding. The author declares that there were no external sources of funding.

Conflict of interest. The author declares that he has no conflicts of interest in relation to this article

Copyright
© 2023 Acta Gastroenterológica latinoamericana. This is an open-​access article released under the terms of the Creative Commons Attribution (CC BY-NC-SA 4.0) license, which allows non-commercial use, distribution, and reproduction, provided the original author and source are acknowledged.

Cite this article as: Rossi E. Introduction to Systematic Reviews and Meta-analysis. Acta Gastroenterol Latinoam. 2023;53(1):11-14. https://doi.org/10.52787/agl.v53i1.291

References

1. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (eds). Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022). Cochrane, 2022. Available from www.training.cochrane.org/handbook
2. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD et al. The PRISMA 2020 statement: An updated guidelines for reporting systematic reviews. BMJ 2021;372:n 71. PMID: 33782057
3. Whiting P, Savović J, Higgins JP, Caldwell DM, Reeves BC, Shea B et al.; ROBIS group. ROBIS: A new tool to assess risk of bias in systematic reviews was developed. J Clin Epidemiol. 2016 Jan;69:225-34. DOI: 10.1016/j.jclinepi.2015.06.005. Epub 2015 Jun 16. PMID: 26092286; PMCID: PMC4687950.
4. Shea BJ, Reeves BC, Wells G, Thuku M, Hamel C, Moran J et al. AMSTAR 2: a critical appraisal tools for systematic reviews that include randomized or non-randomized; studies of healthcare interventions, or both. BMJ. 2017 Sep 21;358:j4008. DOI: 10.1136/bmj.j4008. PMID: 28935701; PMCID: PMC5833365.
5. Muka T, Glisic M, Milic J, Verhoog S, Bohlius J, Bramer W et al. A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research. Eur J Epidemiol. 2020 Jan;35(1):49-60. DOI: 10.1007/s10654-019-00576-5. Epub 2019 Nov 13. PMID: 31720912.

Correspondence: Emiliano Rossi
Email: emiliano.rossi@hospitalitaliano.org.ar

Acta Gastroenterol Latinoam 2023;53(1):11-14