[en] Background: Decision analysis models are mathematical frameworks representing variables and their interrelationships, to describe observed phenomena or predict events. Models may improve decision making, by projecting interventions to life-time horizon or predicting the effect of alternative ways of delivering an intervention. Although there are a few relevant examples of incorporating models in clinical practice guidelines (CPGs), the methods are still underdeveloped in areas, such as the assessment of the certainty of evidence or how to integrate this type of evidence within the CPG development process. Objectives. To develop methods for incorporating models into CPG development. The design of each study addresses different relevant aspects such as: 1) the integration of empirical and modelling evidence to inform the effectiveness of a public health intervention, 2) the use of a model in a guideline panel to assist the recommendation formulation process, 3) the development of guidance to assess the certainty of the evidence of models within the context of systematic reviews and CPG. Methods: The thesis contains three studies with different methodological designs: 1) A systematic review of effects: We searched PubMed, EMBASE, and the Cochrane Library to identify RCTs, observational or modelling studies, comparing desirable (i.e. deaths averted) and undesirable (i.e. overdiagnosis) effects from annual, biennial, or triennial breast cancer (BC) mammography screening. We assessed the certainty of the evidence by adapting the GRADE approach. 2) A systematic review of effects and use of a model by a guideline panel: we search for RCTs or cohort studies to assess the value of multigene tests to assist adjuvant chemotherapy decisions in early BC. Then, we develop a decision tree model to estimate the downstream consequences of testing patients with multigene tests. A multidisciplinary guideline panel developed recommendations informed by the model estimations. iii) Development of a GRADE guidance: a workshop with experts from different fields who participated in specific tasks and in a large group discussion session to inform the development of an approach to assess the certainty of evidence. Results: The first study identified one RCT, 11 modelling and 13 observational studies. The balance of effects probably favours biennial screening in women 50–69. In younger women, annual screening may have a less favourable balance, in women aged 70–74 years longer screening intervals may be more favourable. The overall certainty of the evidence was very low. We included models to complement the gaps in the empirical evidence and presented this work on the workshop during the third study of this thesis. The second study included five studies for two types of multigene tests (four RCTs and one pooled analysis of observational studies). We showed that modelling on different treatment scenarios the number of chemotherapies avoided by using the 21-RS test would be from more than 600 to about 200, while using the 70-GS test would result in an avoidance of chemotherapy in about 230 women out of 1,000. The guideline panel issued recommendations using this evidence. In the third study, participants agreed that the GRADE approach to assess the certainty of evidence also applies when assessing the certainty of evidence from models. Guidance to use the GRADE approach to modelling evidence was developed, along with a framework to consider this type of evidence over the CPG development process. Conclusion. This thesis provides new knowledge on how to incorporate evidence from models in health decision-making, including real examples, a framework, and guidance on how to assess the certainty of the evidence of this type of evidence. Future areas of research include the development of more detailed methods for assessing specific GRADE domains and improve the presentation formats to adequality display modelling evidence research.

[es] Introducción: Los modelos de análisis de decisión son marcos matemáticos que representan variables y sus interrelaciones para describir fenómenos observados o predecir eventos. Los modelos pueden mejorar la toma de decisiones proyectando una intervención a un horizonte de tiempo de vida o prediciendo el efecto de formas alternativas de brindar una intervención. Aunque hay algunos ejemplos en la literatura sobre la incorporación de modelos en guías de práctica clínicas (GPC), los métodos están aún poco desarrollados en áreas como la evaluación de la certeza de evidencia o cómo integrarlos en el desarrollo de GPC. Objetivos: Desarrollar métodos para incorporar modelos en el desarrollo de GPC. El diseño de cada estudio aborda diferentes aspectos: 1) integrar evidencia empírica y de modelos para informar la efectividad de una intervención de salud pública, 2) el uso de un modelo en un panel de GPC durante el proceso de formulación de recomendaciones, 3) desarrollar una guía para evaluar la certeza de evidencia de modelos en el contexto de revisiones sistemáticas o GPC. Métodos: La tesis contiene tres estudios con diferentes diseños: 1) Una revisión sistemática de efectividad: se buscó en PubMed, EMBASE y la Biblioteca Cochrane para identificar ECA, estudios observacionales o modelos, que compararan los efectos deseables (ej. muertes evitadas) e indeseables (ej. sobrediagnóstico) del cribado anual, bienal o trienal de cáncer de mama (CM) con mamografía. Evaluamos la certeza de la evidencia adaptando el sistema GRADE 2) Una revisión sistemática de efectividad y uso de un modelo en un panel de guías: buscamos ECA o estudios de cohortes para evaluar pruebas multigénicas para informar las decisiones de quimioterapia adyuvante en el CM temprano. Desarrollamos un modelo de árbol de decisión para estimar las consecuencias de evaluar a pacientes con pruebas multigénicas. Un panel multidisciplinario formulo recomendaciones basadas en estimaciones del modelo. iii) Desarrollo de una guía GRADE: un taller con expertos de diferentes campos que participaron en tareas específicas y en una sesión general de discusión informo el desarrollo de una guía para evaluar la certeza de la evidencia. Resultados: El primer estudio identificó un ECA, 11 modelos y 13 estudios observacionales. El balance de efectos favorecería el cribado bienal en mujeres de 50-69 años. En mujeres más jóvenes, el cribado anual tendría un balance menos favorable, en mujeres de 70-74 años intervalos de cribado más largos sería más favorables. La certeza de la evidencia fue muy baja. Incluimos modelos para complementar los vacíos en la evidencia empírica y presentamos este trabajo en el taller del tercer estudio. El segundo estudio incluyó cinco estudios para dos tipos de pruebas multigénicas (cuatro ECA y un análisis de estudios observacionales). En el modelo con diferentes escenarios de tratamiento, la cantidad de quimioterapias evitadas con la prueba 21-RS seria de más de 600 a aproximadamente 200, mientras con la prueba 70-GS se evitaría la quimioterapia en aproximadamente 230 mujeres por 1.000. El panel de la guía emitió recomendaciones usando esta evidencia. En el tercer estudio, los participantes consideraron que el enfoque GRADE para evaluar la certeza de la evidencia es aplicable a la evidencia de modelos. Se desarrolló una guía para usar el sistema GRADE en modelos, y un marco para considerar este tipo de evidencia durante el desarrollo de GPC. Conclusión: Esta tesis proporciona nuevos conocimientos sobre cómo incorporar evidencia de modelos en la toma de decisiones en salud, incluidos ejemplos reales, un marco y una guía sobre cómo evaluar la certeza de este tipo de evidencia. Futuras áreas de investigación incluyen el desarrollo de métodos detallados para evaluar dominios específicos de GRADE y mejorar los formatos para presentar la evidencia proveniente de modelos.