Knowledge-based automatic sleep-stage recognition - reduction in the interpretation variability

SummaryQuestionThe potential of an adeptive algorithm approach for solving existing problems in interpretation variability for sleep-stage recognition and the low acceptance of automatic systems were assessed.MethodsThe rules defined by Rechtschaffen and Kales are modelled by a neuro-fuzzy system with the ARTISANA (Artificial Intelligence in Sleep Analysis) algorithm investigated here. The system was trained on the basis of 10 recordings and corresponding hypnograms from a first human scorer.ResultsThe system agreed with the first scorer at a rate typical for the range for patients with sleep disorders (with a validation set of 28 recordings), with no systematic deviations, Compared with a second scorer, the first scorer and the trained system agreed less. Stage wake was systematically overestimated and deep sleep was systematically underestimated. After adding four additional recordings to the training set, which were classified by the second scorer, the automatic system reached higher agreement rates with both scorers (72.7% and 73.0%, respectively) than the scorers did with each other (69.3%). Compared with the consensus epochs of the two human experts, a very high agreement rate (84.4%) was found.ConclusionThe results show that the ARTISANA algorithm can reduce systematic variations and produce objective and completely reproducible hypnograms in clinical practice after training with recordings from a set of experienced scorers.ZusammenfassungFragestellungEs wurde das Potenzial eines lernfähigen Algorithmus-Ansatzes zur Lösung der Problematik der Auswertevariabilität bei der Schlafstadienerkennung und der niedrigen Akzeptanz automatischer Systeme untersucht.MethodikDie Regeln von Rechtschaffen und Kales werden beim hier untersuchten ARTISANA (Artificial Intelligence in Sleep Analysis)-Algorithmus durch ein Neuro-Fuzzy-System modelliert, dessen Freiheitsgrade anhand der Klassifikationen eines ersten Scorers in einem Trainingsprozess anhand von 10 Aufzeichnungen eingestellt wurden.ErgebnisseDadurch erreichte das System bei einem Validierungskollektiv (28 Aufzeichnugen) eine Übereinstimmungsrate gegenüber dem ersten Scorer, die im typischen Bereich für Patienten mit Schlafstörungen liegt, systematische Abweichungen traten nicht auf. Gegenüber einem zweiten Scorer erreichten der erste Scorer und das trainierte System niedrigere Übereinstimmungsraten, Stadium Wach wurde systematisch über- und Tiefschlaf wurde systematisch unterschätzt. Nach der Aufnahme von vier zusätzlichen, durch den zweiten Scorer klassifizierten Aufzeichungen in das Trainingskollektiv erreichte das automatische System höhere Übereinstimmungsraten mit beiden Scorern (72,7% bzw. 73,0%) als diese untereinander (69,3%). Somit wurde die Lernfähigkeit des Systems als ein Mittel zur Minimierung systematischer Abweichungen nachgewiesen. Bei einem Vergleich mit den Consensus-Epochen der beiden Experten wurden sehr hohe Übereinstimmungsraten (84,4%) erreicht.SchlussfolgerungDie Ergebnisse zeigen, dass der ARTISANA-Algorithmus nach Training mit Aufzeichnungen aus einem Kollektiv erfahrener Scorer objektive und vollständig reproduzierbare Hypnogramme in der klinischen Routine erstellen kann.