Completeness of reporting on the development, internal, and external validation of clinical prediction models for COVID-19 prognosis: a meta-epidemiological study
Creators: name: Παρθενιάδης, Ιωάννης Βασιλείου
Publisher: name: Aristotle University of Thessaloniki
Year: 2025
Subjects: Κλινικά Προγνωστικά Μοντέλα
Κορονοϊός
Πληρότητα αναφοράς
Clinical Prognostic Models
COVID-19
Completeness of reporting

description: Εισαγωγή: Η αξιολόγηση της πληρότητας της αναφοράς κατά την ανάπτυξη και επικύρωση προβλεπτικών μοντέλων για την πρόγνωση της COVID-19 είναι ζωτικής σημασίας, δεδομένης της ταχείας αύξησης των δημοσιεύσεων τέτοιων μοντέλων. Η παρούσα μελέτη εφαρμόζει το πλαίσιο Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD) και την επέκτασή του για την τεχνητή νοημοσύνη (TRIPOD+AI) προκειμένου να αξιολογήσει και να συγκρίνει την πληρότητα της αναφοράς των συμβατικών και των μοντέλων που βασίζονται στη μηχανική μάθηση. Μέθοδοι: Στη μελέτη συμπεριλήφθηκαν άρθρα που ανέφεραν την ανάπτυξη και την εσωτερική ή εξωτερική επικύρωση προγνωστικών μοντέλων πρόβλεψης για την COVID-19, χρησιμοποιώντας είτε συμβατικούς αλγορίθμους είτε αλγορίθμους μηχανικής μάθησης. Τρεις βάσεις δεδομένων (MEDLINE, Epistemonikos.org και Scopus) χρησιμοποιήθηκαν για αναζήτηση έως τις 31 Ιουλίου 2024. Η εξαγωγή δεδομένων ακολούθησε τις λίστες ελέγχου TRIPOD και TRIPOD+AI. Η συνολική συμμόρφωση υπολογίστηκε ανά άρθρο και ανά στοιχείο των TRIPOD/TRIPOD+AI. Αποτελέσματα: Η αναζήτηση εντόπισε 53 μελέτες που ανέφεραν 71 προγνωστικά μοντέλα. Κατά μέσο όρο, οι μελέτες που ανέφεραν συμβατικά μοντέλα συμμορφώθηκαν με το 38.1% (ΤΑ: ±10.4) των οδηγιών του πλαισίου TRIPOD, ενώ οι μελέτες που ανέφεραν μοντέλα βασισμένα στη μηχανική μάθηση συμμορφώθηκαν με το 28.37% (ΤΑ: ±8.91) των οδηγιών του πλαισίου TRIPOD+AI. Καμία μελέτη δεν συμμορφώθηκε πλήρως με τις απαιτήσεις αναφοράς της περίληψης και πολύ λίγες ανέφεραν κατάλληλα τον τίτλο (29.0%, ΔΕ 95%: 16.1 - 46.6 για TRIPOD και 13.6%, ΔΕ 95%: 4.8 – 33.3 για TRIPOD+AI). Ακόμη πιο σημαντικό είναι ότι καμία μελέτη δεν συμμορφώθηκε πλήρως με την αναφορά της αξιολόγησης του μεγέθους δείγματος. Συνολικά, η αναφορά των μεθόδων και των αποτελεσμάτων (τόσο για το TRIPOD όσο και για το TRIPOD+AI) ήταν πολύ ανεπαρκής. Η αναφορά των μοντέλων που βασίζονται στη μηχανική μάθηση (σύμφωνα με το TRIPOD+AI) ήταν σημαντικά φτωχότερη από αυτή των συμβατικών μοντέλων (σύμφωνα με το TRIPOD) (p &lt; 0.001). Συμπέρασμα: Η πληρότητα της αναφοράς ήταν ανεπαρκής και για τα δύο πλαίσια (συμβατικά και βασισμένα στη μηχανική μάθηση). Σημαντικές πληροφορίες που είναι απαραίτητες για την αξιολόγηση της καταλληλότητας ενός μοντέλου — όπως οι προδιαγραφές του μοντέλου και η απόδοσή του — σπάνια αναφέρονταν. Υπάρχει, επομένως, επιτακτική ανάγκη βελτίωσης της ποιότητας της αναφοράς και της χρηστικότητας της έρευνας, ώστε να αποτραπεί η σπατάλη ερευνητικών πόρων και να διευκολυνθεί η κλινική εφαρμογή τέτοιων μοντέλων. Καταχώριση μελέτης: Open Science Framework (OSF), https://osf.io/kg9yw.
description: Background: Evaluating the completeness of reporting in the development and validation of prognostic prediction models for COVID-19 is essential, given the rapid surge in publishing such models. This study applies the Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD) and its AI extension (TRIPOD+AI) to assess and compare the reporting completeness of conventional and machine learning-based models. Methods: The study included articles reporting the development and internal or external validation of prognostic prediction models for COVID-19 using either conventional or machine learning-based algorithms. Three databases (MEDLINE, Epistemonikos.org, and Scopus) were searched until July 31, 2024. Data extraction followed TRIPOD and TRIPOD+AI checklists for reporting prediction model studies. Overall adherence was measured per article and per TRIPOD/TRIPOD+AI item. Results: The conducted search identified 53 studies reporting 71 prognostic models. On average, studies reporting conventional models adhered to 38.1% (SD: ±10.4) of the TRIPOD statement, while studies reporting machine learning-based models adhered to 28.37% (SD: ±8.91) of the TRIPOD+AI statement. No study fully adhered to the complete reporting requirements of the abstract, and very few reported an appropriate title (29.0%, 95% CI 16.1 to 46.6 for TRIPOD and 13.6%, 95% CI 4.8 to 33.3 for TRIPOD+AI). More importantly, no study fully adhered to the reporting of any sample size assessment. Overall, the reporting of methods and results (for both TRIPOD and TRIPOD+AI) was very poor. Reporting of machine learning-based models (based on TRIPOD+AI) was significantly poorer than that of conventional models (based on TRIPOD) (p &lt; 0.001). Conclusion: The completeness of reporting was inadequate for both frameworks (conventional and machine learning based). Essential information needed to assess whether a model should be used — such as model specifications and performance — was rarely provided. There is, therefore, an urgent need to improve the quality of reporting and the usability of research to prevent research waste and enable clinical utility of such models. Study registration: Open Science Framework (OSF), https://osf.io/kg9yw.