Interobserver variability in the ILAE classification of seizures in childhood.

Summary: Observer variability in interpreting medical tests and in making diagnoses influences both clinical practice and research. Uniform classification of epileptic seizures is especially difficult. Although the ILAE classification scheme for seizures has been available for many years, the reliability of this system has not been previously assessed. Verbatim descriptions of seizure manifestations were transcribed from medical records as pari of a large, population-based prevalence study of childhood epilepsy conducted in two counties in central Oklahoma. One senior neurologist and three neurology residents reviewed these descriptions independently and classified them by seizure type based on the ILAE system. Unweighted and weighted K statistics were used to assess the level of agreement between the study neurologist and each resident. The overall agreement between observer pairs in classifying seizure types based on all available descriptions was relatively poor (K = 0.24-0.38). Some improvement was evident when unclassified seizures were excluded, and comparisons were restricted to those based on descriptions with some degree of detail (K = 0.34-0.51). When specific types of seizures were classified, agreement was fair to excellent for most types (K = 0.45-0.90), with the exceptions of atypical absence (K = 0.11-0.28), partial seizures with secondary generalization (K = 0.26-0.40), and generalized motor seizures (K = 0.29-0.32). Sources of observer variability in addition to the classification scheme are considered. Use of specific criteria for the categorization of symptoms might improve the reliability of seizure classification. RESUME La variabilitye liee a ľobservateur dans ľ interpretation des examens medicaux et dans ľetablissement des diagnostics n'est pas sans consequences, dans la pratique clinique comme dans la recherche, Une classification uniforme des crises epileptiques est tout particulierement difficile. Bien que la classification des crises etablie par la Ligue Internationale soit disponible depuis plusieurs annees, la fiabilite de ce systeme n'a pas encore eteevaluee. La description de la symptomatologie des crises a ete transcrite mot-a-mot a partir de dossiers medicaux dans le cadre ľune vaste etude de prevalence de ľepilepsie chez ľenfant, fondee sur la population de 2 contes du centre de ľOklahoma. Un neurologue confirme et 3 internes en neurologie ont revu des descriptions de facon independante, et ont utilise la classification de la Ligue Internationale pour classer les observations en fonction du type des crises. Le niveau de coherence entre le neurologue confirme et chacun des 3 etudiants a eteevalue de facon statistique au moyen du test kappa. La coherence globale entre les paires ľobservateurs dans la classification des crises a partir de ľensemble des donnees disponibles a ete modeste (K = 0.24-0.38). Une amelioration a pu etre obtenue apres elimination des crises non classAees et limitation des comparaisons aux cas decrits avec un certain detail (K = 0.34-0.51). Lorsqu'il s'agissait de classer des types specifiques de crises, la concordance a ete de bonne a excellente pour la plupart des categories (K = 0.45-0.90). aľexception des absences atypiques (K. = 0.11-0.28), des crises partielles avec generalisation secondaire (K = 0.26-0.40), et des crises generalisees motrices (K = 0.29-0.32). Les sources de variabilite liees aľobservateur et s'ajoutant a celles liees a la classification sont discutees. Ľutilisation de criteres specifiques visant a categoriser les symptomes pourrait ame1iorer la fiabilite de la classification des crises. RESUMEN La variabilidad entre los observadores, en el momento de interpretar los tests medicos y realizar el diagnostico, influencia tanto la practica clinica como la investigacion. La clasificacion uniforme de los ataques epilepticos es especialmente dificil. A pesar de que la clasificacion de la ILAE de los ataques ha existido durante muchos anos, no se ha determinado la fiabilidad del sistema. Como parte de un amplio estudio de la prevalencia de la epilepsyia infantil, basado en la poblacioan y realizado en dos condados de la region central de Oklahoma, se han transcrito las descripciones verbales de las manifestaciones de los ataques de las historias clinicas. Estas descripciones fueron revisadas inde-pendientemente por un neurologo y por tres residentes de Neurologia quienes las clasificaron segun el tipo de ataques, de acuerdo con el sistema de la ILAE. Para determinar el nivel de acuerdo entre el neurologo y cada uno de los residentes se hanutilizado metodos estadisticos kappa. El acuerdo general entre las parejas de observadores al clasificar los tipos de ataques, habiendose basado en las descripciones disponibles. fue relati-vamente pobre (K = 0.24-0.38). Se consiguio una evidente majoria cuando los ataques no clasificados fueron excluidos del estudio y las comparaciones se limitaron a las descripciones que tenian suficientes detalles (K = 0.34-0.51). Cuando se clasificaron tipos especificos de ataques, el acuerdo vario entre acept-able y excelente para la mayor parte de los tipos (K = 0.45-0.90). con la excepcion de ausencias atipicas (K = 0.11-0.28), ataques parciales con generalizacion secundaria (K = 0.26-0.40) y ataques generalizados motores (K = 0.29-0.32). Otras fuentes para la variabilidad de los observadores han sido consideradas, ademas del esquema de clasificacion. La utilizacion de criterios especificos para la categorizacion de los sintomas puede mejorar la fiabilidad de la clasificacion de los ataques. ZUSAMMENFASSUNG Die ‘Beobachter-Variabilitat’ beeinflust sowohl klinische Praxis als auch Forschung bei der Interpretation und medizinis-chen Testen und Diagnosestellungen. Eine einheitliche Klassifi-kation von epileptischen Anfallen ist besonders schwierig. Ob-wohl das ILEA-Klassifikationsschema fur Anfalle seit vielen Jahren zur Verfugung steht, wurde die Zuverlassigkeit des Systems bisher nicht gepruft. Die Anfallsbeschreibungen wurden aus Arztbriefen ubertragen im Rahmen einer grosen Population-Praevalenz-Studie von kindlichen Epilepsien, die in zwei Landkreisen in Zentral-Oklahoma durchgefuhrt wurden. Ein erfahrener und jungere Neurologen sichteten diese Beschrei-bungen unabhangig voneinander und klassifizierten die Anfalle nach dem ILAE-System. Als Statistik wurde die gewichtete und ungewichtete Kappa Statistik angewandt, um dem Grad der Ubereinstimmung zwischen den Neurologen festzustellen. Die Gesamt-Ubereinstimmung aller beschriebenen Anfallstypen war ziemlich bescheiden (K = 0.24 bis 0.30). Eine leichte Verbes-serung war moglich, nachdem unklassifizierbare Anfalle ausgeschlossen und der Vergleich auf Beschreibungen mit mehr Details beschrankt wurde (K =0.45 bis 0.90). Bei der Klassifizierung von spezifischen Anfallstypen war die Ubereinstimmung fast fur die meisten Typen ausgezeichnet (K = 0.45 bis 0.90) mit Ausnahme von typjschen Absencen (K = 0.11 bis 0.28), Partial-Anfallen mit sekundarerGeneralisierung (K = 0.26 bis 0.40) und generalisierten motorischen Anfallen (K = 0.29 bis 0.32). Die Ursache der ‘Beobachter Variabilitat’ im Zusammengang mit dem Klassifikationsschema werden diskutiert. Der Gebrauch spezifischer Kriterien fur die Kategorisierung von Symptomen konnte die Zuverlassigkeit der Anfalls-Klassifikation verbes-sern.