Randomización versus estudios “en el mundo real”

Coordinador: Rodolfo Pizarro

Jefe de Cardiología Hospital Italiano de Buenos Aires. Master en Efectividad Clínica.

Acta Gastroenterol Latinoam 2020;50(3):232-235
Publicado en www.actagastro.org el 28/09/2020

Introducción

La introducción del análisis de bases de datos digitales en este milenio ha generado un creciente número de trabajos observacionales que han proliferado en medicina.

Esto ha llevado a considerar los puntos beneficiosos y débiles de estos diseños para establecer un análisis crítico y no superficial de la vasta literatura que nos ofrece la virtualidad.

Del análisis de los estudios observacionales, dentro de los que se encuentran los denominados “en el mundo real”, se obtienen algunos puntos a considerar: la generación de hipótesis, la evaluación geográfica y temporal del cuidado de la salud, el valor de las intervenciones y la mejora en la calidad con una auditoría de los resultados y una retroalimentación para repensar los circuitos de la salud.

Delimitar la evidencia no consiste en sectorizar y excluir diseños, sino más bien en entender la utilidad de estos y favorecer el uso apropiado de la información.

Estudios randomizados: la base de la evidencia no sesgada y controlada

Esto es de vital importancia, ya que el balance que genera la randomización entre los grupos permite que confundidores conocidos y desconocidos queden neutralizados en las ramas y así determinar un efecto cierto del tratamiento (beneficioso o dañino).

La inclusión del “ciego” refuerza el valor de este diseño ya que minimiza el sesgo de los efectos del tratamiento, especialmente con puntos finales subjetivos como síntomas o cambios en el estado anímico.

Por lo tanto, estas dos condiciones esenciales de los estudios randomizados, limitar el sesgo y balancear confundidores, permiten identificar una confiable fuente de evidencia que sustenta la transformación de la práctica clínica.

Las guías clínicas ponen la mejor evidencia como clase IA/III, cuando este diseño incorpora una conclusión sustancial a favor o en detrimento de una terapeútica específica.

Sin embargo, las limitaciones de este diseño se centran específicamente en la inclusión adecuada de la población. Muchos de los estudios controlados restringen la inclusión a poblaciones jóvenes, con menos comorbilidades o marcadas diferencias de género.

Esta subrepresentación de poblaciones “de la clínica diaria” no hace conveniente extrapolar resultados o estrategias, ya que la presencia de condiciones biológicas, comorbidas o de evolución de la enfermedad están restringidas en la eligibilidad de la muestra. Esto, trasladado al “mundo real”, genera inconvenientes a la hora de incorporar la evidencia.

No tenemos que pensar que los estudios randomizados son el “todo o nada” en medicina, ya que este diseño con poco poder, defectos metodológicos o logísticos no genera una evidencia firme para el cuidado del paciente.

Estudios observacionales: el sentido común y el sesgo “sin control”

Los estudios observacionales pueden generar hipótesis cuando relacionan asociación entre la exposición y los eventos. Estas hipótesis pueden corroborarse en estudios prospectivos randomizados, que demostraron esta asociación confiriendo un marco de evidencia firme.

Esto representa las fortalezas (generación de hipótesis, validez externa) y debilidades (sentido común, sesgos y ajuste de confundidores) que presenta el diseño observacional.

Si bien, como comentamos previamente, la inclusión de pacientes en los estudios randomizados es más restrictiva y no tan amplia como en los observacionales, el ideal debiera encontrar un punto de anclaje entre el mejor diseño (randomizado) y las fortalezas de los observacionales (criterio amplio de inclusión de la población).

El sentido común en que se basan muchos de los estudios observacionales se fundamentan en los marcadores de riesgo mas que en la modificación del factor que la produce o en puntos finales blandos hemodinámicos, fisiológicos o de imágenes, que no se traslada a un beneficio clínico.

Para dar un ejemplo: en pacientes con imagen de trombo en válvulas protésicas el sentido común determinaría que los anticoagulantes serían beneficiosos desde el punto de vista clínico: sin embargo, estudios controlados no lo confirman.

Algunas drogas inotrópicas en pacientes inestables con insuficiencia cardíaca mejoran el gasto cardíaco y disminuyen la presión pulmonar; el sentido común trasladaría un resultado clínico positivo dada la mejoría hemodinámica que se genera, sin embargo, estudios controlados no han demostrado su utilidad.

En conclusión, el sentido común mecanisístico o fisiopatológico asociado a la observación clínica con frecuencia no se traslada a beneficios clínicos relevantes, ya sea por un entendimiento incompleto de la fisiopatología o por una síntesis del marco de la enfermedad.

Otra limitación es el ajuste incompleto de los confundidores (confundidores no medidos) y los sesgos de este diseño.

Un ejemplo de esto es la terapia hormonal en mujeres perimenopaúsicas, donde estudios observacionales concluyeron una reducción de eventos cardiovasculares. En el estudio randomizado WHI los eventos cardiovasculares se incrementaron en la rama intervención (terapia hormonal). Esta discrepancia se debió fundamentalmente a que los estudios observacionales incluyeron una población más joven y saludable que determinó una menor incidencia de eventos (sesgo de inclusión).

Combinación de fortalezas: randomización en el “mundo real”

Incorporar las fortalezas de ambos diseños converge hacia una mejor y más confiable evidencia.

Esto se explica de la siguiente manera: un criterio inclusivo más amplio (validez externa) de los estudios controlados en un marco regulatorio y operacional no tan burocrático que haga que este diseño pueda ser utilizado más frecuentemente.

Las guías clínicas en general incorporan estudios controlados confiables en su clase IA en alrededor del 15% de los casos.

Las nuevas modalidades de big data e inteligencia artificial que incorporan redes de conocimiento “infinitas” no están exentas de sesgos y pobre calidad de los datos que abordan.

La incorporación de los datos observacionales en bases electrónicas de salud puede identificar hipótesis que se trasladen a la randomización y permitan una adecuada interoperabilidad, seguimiento e inclusión menos restrictiva.

Si bien la siguiente tabla resume fortalezas y debilidades de ambos diseños hay que buscar concertar bases electrónicas de salud (con registros de alta calidad) y registros en red de bases multinacionales o a través de redes locales (lo que permite un seguimiento más prolongado y efectivo así como poder detectar puntos finales no anticipados, como reacciones adversas a drogas).

Bibliografía recomendada

• Collins R, Bowman L, Landray M, PetoR. The Magic of Randomization versus the Myth of Real-World Evidence. N Engl J Med 2020; 328: 674-678.
• Fanaroff AC, Califf RM, Harrington RA, et al. Randomized Trials Versus Common Sense and Clinical Observation. J Am Coll Cardiol 2020; 76: 580-589.
• Franklin JM, Schneeweiss S. When and how can real world data analyses substitute for randomized controlled trials? Clin Pharmacol Ther 2017; 102: 924-933.
• Gerstein HC, McMurray J, Holman RR. Real world studies no substitute for RCTs in establishing efficacy. Lancet 2019; 393: 210-211.
• Stone GW, Pocock SJ. Randomized trials, statistics, and clinical inference. J Am Coll Cardiol 2010; 55: 428-431.

Randomization versus “real world” studies

Coordinador: Rodolfo Pizarro

Jefe de Cardiología Hospital Italiano de Buenos Aires. Master en Efectividad Clínica.

Introduction

The introduction of digital database analysis in this millennium has generated a growing number of observational works that have proliferated in medicine.

This has led us to consider the beneficial and weak points of these designs to establish a critical and not superficial analysis of the vast literature that virtually demands of us.

From the analysis of observational studies, among which are the so-called “in the real world”, some points to consider are obtained: the generation of hypotheses, the geographical and temporal evaluation of health care, the value of the interventions and the improvement in quality with an audit of the results and a feedback to rethink the health circuits.

Delimiting the evidence does not consist of sectorizing and excluding designs, but rather, in understanding their usefulness and favouring the appropriate use of the information.

Randomized studies: the unbiased and controlled evidence base

One of the imperatives of randomized studies is their strength based on having an unbiased assessment of the information.

This is of vital importance since the balance generated by the randomization between the groups allows known and unknown confounders to be neutralized in the arms and thus determine a certain effect of the treatment (beneficial or harmful).

The inclusion of the “blind” reinforces the value of this design since it minimizes the bias of the treatment effects, especially with subjective end points such as symptoms or changes in mood.

Therefore, these two  essential conditions of randomized studies: limiting bias and balancing confounders allow us to identify a reliable source of evidence that supports the transformation of clinical practice.

The clinical guidelines put the best evidence as class IA/III, when this design incorporates a substantial conclusion in favour or in detriment of a specific therapy.

However, the limitations of this design focus specifically on the adequate inclusion of the population.

Many of the controlled studies restrict inclusion to young populations, with fewer comorbidities or marked gender differences.

This underrepresentation of “daily clinical” populations does not make it convenient to extrapolate results or strategies since the presence of biological, comorbid conditions or the evolution of the disease are restricted in the eligibility of the sample.

This transferred to the «real world» creates inconveniences when incorporating the evidence.

We do not have to think that randomized trials are “all or nothing” in medicine since this low powered design, methodological or logistical flaws do not generate a firm evidence for the patient care.

Observational Studies: common sense and «uncontrolled» bias

Observational studies can generate hypotheses when they relate an association between exposure and events. These hypotheses can be corroborated in prospectiverandomized trials that demonstrated this association, conferring a firm evidence framework.

This represents the strengths (hypothesis generation, external validity) and weaknesses (common sense, biases, and confounding adjustment) that the observational design presents.

Although, as we previously commented, the inclusion of pts in randomized studies is more restrictive and not as broad as in observational ones, the ideal should find an anchor point between the best design (randomized) and the strengths of the observational ones (broad criterion of population inclusion).

The common sense on which many of the observational studies are based  on risk markers rather than in the modification of the factor that produces it or on soft hemodynamic or physiological endpoints or imaging that does not translate to clinical benefit.

An example of this, in patients with an image of a thrombus in prosthetic valves, common sense would determine that anticoagulants would be benefitial from a clinical point of view, however, controlled studies do not confirm this.

Some inotropic drugs in unstable patients with heart failure improve cardiac output and decrease pulmonary pressure, common sense would convey a positive clinical result given the hemodynamic improvement that is generated, however controlled studies have not demonstrated their usefulness.

In conclusion, the mechanistic or pathophysiological common sense associated with clinical observation frequently does not translate to relevant clinical benefits either through an incomplete understanding of the pathophysiology or for a synthesis of the disease setting.

Another limitation is the incomplete adjustment of confounders (unmeasured confounders) and biases in this design.

An example of this is hormonal therapy in perimenopausal women where observational studies concluded a reduction in cardiovascular events. In the randomized WHI study, cardiovascular events increased in the intervention arm (hormone therapy). This discrepancy was mainly due to the fact that the observational studies included a younger and healthier population that determined a lower incidence of events (inclusion bias).

Combination of strengths: randomization in the «real world»

Incorporating the strengths of both designs converges towards a  best and most reliable evidence.

This is explained in the following way: a broader inclusive criterion (external validity) of controlled studies in a not so bureaucratic regulatory and operational framework that makes this design can be used more frequently.

The clinical guidelines in general incorporate reliable controlled studies in their class IA in about 15% of the cases.

The new forms of big data and artificial intelligence that incorporate «infinite» knowledge networks are not without biases and poor quality of the data they address.

The incorporation of observational data in electronic health databases can identify hypotheses that are transferred to randomization and allow adequate interoperability, monitoring and less restrictive inclusion.

Although the following table summarizes strengths and weaknesses of both designs, it is necessary to seek to arrange electronic health databases (with high-quality records) and network registries of multinational databases or through local networks (which allows a longer and more effective monitoring as well as being able to detect unanticipated end points, such as adverse drug reactions).

Recommended Bibliography

• Collins R, Bowman L, Landray M, PetoR. The Magic of Randomization versus the Myth of Real-World Evidence. N Engl J Med 2020; 328: 674-678
• Fanaroff AC, Califf RM, Harrington RA, et al. Randomized Trials Versus Common Sense and Clinical Observation. J Am Coll Cardiol 2020; 76: 580-589.
• Franklin JM, Schneeweiss S. When and how can real world data analyses substitute for randomized controlled trials? Clin Pharmacol Ther 2017; 102: 924-933.
• Gerstein HC, McMurray J, Holman RR. Real world studies no substitute for RCTs in establishing efficacy. Lancet 2019; 393: 210-211.
• Stone GW, Pocock SJ. Randomized trials, statistics, and clinical inference. J Am Coll Cardiol 2010; 55: 428-431.

Acta Gastroenterol Latinoam 2020;50(3):232-235