СПОСОБ ОЦЕНКИ ЭФФЕКТИВНОСТИ И БЕЗОПАСНОСТИ ТЕРАПИИ ПРИ ПРОВЕДЕНИИ КЛИНИЧЕСКИХ ИССЛЕДОВАНИЙ
METHOD OF EVALUATING EFFICIENCY AND SAFETY OF THERAPY WHEN CONDUCTING CLINICAL STUDIES

Клинические исследования являются неотъемлемой частью оценки эффективности, переносимости и безопасности использования новых лекарственных средств.
Общие методические подходы к проведению клинических исследований и анализу полученных данных утверждены международными правилами [3-5]. Однако на практике до настоящего времени не существует единых общепринятых методов оценки эффективности и безопасности изучаемой терапии, поэтому сопоставление данных, полученных в разных исследованиях, даже проводившихся при одинаковых патологиях и при использовании препаратов со схожими механизмами действия, затруднено.
Наиболее известным в настоящее время способом оценки эффективности и безопасности терапии в клинических исследованиях является расчет средних показателей (среднее арифметическое, мода, медиана) с оценкой погрешности измерений [6].
В известном способе осуществляют оценку клинических или клинико-лабораторных данных числовым способом у каждого пациента. Примером числового выражения клинических данных может быть: частота сердечных сокращений в минуту, показатели артериального давления, измерение толщины кожно-жировой складки на плече в районе трицепса с целью определения общего содержания жира в организме и т.п. Среди клинико-лабораторных обследований, применяемым при проведении клинических исследований, самым часто используемым является клинический анализ крови, включающий в себя определение уровня гемоглобина, содержания эритроцитов и лейкоцитов, скорости оседания эритроцитов, а также расчет лейкоцитарной формулы. Далее рассчитывают значение среднего арифметического по формуле:
i
где x - значение конкретного показателя, n - число показателей (случаев).
Недостатком известного способа является то, что применение данного метода не позволяет в полной мере описать изменения, выходящие за рамки ожидаемых, у отдельно взятого пациента, приводя все результаты к усредненному значению, хотя именно индивидуальные данные являются наиболее важными в плане оценки безопасности исследуемой терапии.
Также недостатком данного метода является то, что при проведении комплексной оценки этим способом данных для группы пациентов снижается чувствительность определения показателей, выходящих за рамки референсных значений. Фактически данный способ не подразумевает анализ данных пациентов в рамках границ нормальных значений. Среднее арифметическое в данном случае играет роль точки равновесия, так что пациенты с низкими значениями клинических или клинико-лабораторных показателей уравновешивают пациентов с высокими значениями.
Также известен способ определения Comparison of Extreme Laboratory Test Results (Сравнение крайних результатов лабораторных тестов) [7].
В известном способе осуществляют сравнение пары экстремальных значений лабораторных показателей для каждого отдельно взятого пациента до начала и в ходе лечения.
Недостатком известного способа является то, что он предназначен лишь для выявления сигналов о возможных нежелательных лекарственных реакциях, а не для оценки эффективности терапии, а также то, что он в достаточной мере не учитывает, находятся ли показатели пациента в пределах нормы или выходят за ее пределы.
Наиболее близким к заявляемому способу является способ Comparison of the Laboratory Extreme Abnormality Ratio (Сравнение пропорций лабораторных показателей, выходящих за рамки нормальных значений) (далее прототип) [8].
При использовании данного способа осуществляют оценку показателей лабораторных тестов у пациента, в случае наличия отклонения от нормы какого-либо показателя данный пациент не может быть включен в исследование данным способом. Если показатели лабораторных тестов пациента находятся в пределах нормы, далее применение CLEAR направлено на выявление отклонений показателей от нормы в результате нежелательных лекарственных реакций, принимаемых пациентом, путем вычисления отношений шансов, получавшей препарат, и в соответствующей интактной группе с использованием электронной базы данных историй болезни.
Преимуществами и основными отличиями способа оценки эффективности и безопасности терапии при проведении клинических исследований (ОЭБКИ) от прототипа CLEAR являются:
1. CLEAR предназначен лишь для уточнения перечня нежелательных реакций лекарственного средства путем анализа данных значительной выборки и, таким образом, для прогноза возникновения таких реакций в популяции, а ОЭБКИ позволяет оценить результаты терапии (ее эффективность и переносимость) в конкретной группе, иногда специфической (т.е. подобранной в соответствии с критериями включения/исключения клинического исследования) путем нахождения отличий в частоте отклонений клинических/клинико-лабораторных показателей от нормы до начала и после окончания лечения. Другими словами, CLEAR предназначен только для выявления сигналов о возможных нежелательных лекарственных реакциях, ОЭБКИ - также для оценки эффективности терапии.
2. Суть методов различна: CLEAR выявляет отклонения показателей от нормы в результате нежелательных лекарственных реакций, а ОЭБКИ определяет степень их нормализации в результате терапии. Использование различных математических методов в CLEAR и ОЭБКИ (расчет отношений шансов и сравнение относительных частот отклонений соответственно) связано именно с этим, а не просто с необходимостью повысить достоверность результата.
3. CLEAR предполагает сравнение с данными группы пациентов, не получавших аналогичной терапии, а ОЭБКИ предполагает оценку данных в одной и той же группе до начала и по окончании терапии, в результате чего:
- в ОЭБКИ сравнение происходит в стандартизированной группе и в стандартизованных условиях (т.е. по окончании курса терапии, в то время как в CLEAR - на любом этапе от первого получения лекарственного средства, причем в любой дозировке, до выписки из стационара);
- в ОЭБКИ не требуется наличие данных отдельной интактной выборки (группа сравнения).
4. В CLEAR не используются данные пациентов, результаты исходного анализа которых были за пределами нормальных значений, в ОЭБКИ ограничения нет, что крайне важно для клинических исследований, в которых некоторые из показателей могут быть за пределами нормы у большинства или даже всех пациентов.
5. В CLEAR используются только лабораторные показатели, ОЭБКИ предполагает использование и клинических показателей (частота сердечных сокращений в минуту, систолическое и диастолическое артериальное давление, а также ЧД, температура тела, масса тела/ИМТ, интервал QT и пр.).
6. CLEAR предполагает обработку имеющихся в архиве лечебно-профилактического учреждения электронных историй болезни, а ОЭБКИ - сбор данных врачами с использованием индивидуальных регистрационных карт клинического исследования, что позволяет стандартизировать, унифицировать и повысить надежность регистрируемых клинических/клинико-лабораторных данных в ходе клинического исследования.
7. В CLEAR в подсчете в качестве репрезентативных используются лишь экстремальные (минимальные или максимальные) аномальные значения показателей, а в ОЭБКИ - любые выходящие за пределы нормальных значений.
Следовательно, признаки, отличающие заявленное решение от прототипа, свидетельствуют о том, что вкладом заявителя в предшествующий уровень техники является обработка полученных данных, не требующая специальных дополнительных измерений, т.е. осуществления действий над материальным объектом с помощью материальных средств, как того требует объект изобретения как «способ».
Технической задачей, на решение которой направлено предлагаемое изобретение, является стандартизация методологических подходов, повышение надежности, унифицированности и достоверности оценки эффективности и безопасности лекарственных средств при проведении клинических исследований.
Поставленная техническая задача решается тем, что проводится анализ динамики величины доли пациентов с отклонениями от нормы клинических (частота сердечных сокращений в минуту, систолическое и диастолическое артериальное давление, частота дыхания, температура тела, масса тела/ИМТ, интервал QT и других, определяемых дизайном исследования) или клинико-лабораторных показателей (гемоглобин, гематокрит, число лейкоцитов, общий билирубин, АЛТ, ACT и других, определяемых дизайном исследования) на фоне лечения исследуемым лекарственным средством путем определения наличия статистически значимой разницы в относительной частоте отклонений каждого из клинических или клинико-лабораторных параметров выше и ниже границ нормы на контрольных визитах (в т.ч. на завершающем визите) по сравнению с исходным, как в группе исследуемого препарата, так и в группах сравнения (т.е. получающих альтернативный препарат или плацебо). Предлагаемый метод оценки динамики отклонений клинических или клинико-лабораторных показателей исходит из того, что на фоне регресса патологического процесса при условии эффективности и безопасности проводимой терапии происходит нормализация данных показателей в исследуемой популяции. Отсутствие такой нормализации и тем более возрастание количества и величины отклонений показателей от нормы говорит о неэффективности применяемой терапии (прогрессирование заболевания, развитее осложнений) или побочных реакциях исследуемого препарата (если это не может быть аргументировано объяснено другими причинами - например, особенностями процесса реконвалесценции).
При осуществлении предлагаемого способа проводится исследование клинических или клинико-лабораторных показателей в ходе клинического исследования в динамике: до начала изучаемой терапии, после завершения курса лечения, а при необходимости и в его процессе. Оценивают отклонения от нормы данных показателей у каждого пациента на исходном и контрольных визитах (в т.ч. на завершающем визите) и рассчитывают относительную частоту отклонений выше и ниже границ нормы для каждой группы пациентов. Наличие статистически значимой разницы в относительной частоте отклонений каждого из параметров выше и ниже границ нормы на контрольном (в т.ч. завершающем) визите по сравнению с исходным дает возможность оценивать эффективность и безопасность проводимой терапии (фиг. 1).
Как видно из фиг. 1, полученные в ходе клинического исследования клинические или клинико-лабораторные данные оцениваются качественно и количественно. Первая оценка учитывает направление изменения изучаемого показателя - выше или ниже границ референсных значений. Вторая подразумевает оценку динамики отклонений анализируемых показателей по статистически значимой разнице количества случаев отклонения, зарегистрированных на исходном и контрольном (в т.ч. завершающем) визитах, при этом индивидуальный показатель каждого пациента находит отражение в комплексном анализе для группы.
Преимуществами предлагаемого способа являются то, что при его осуществлении производится оценка не только безопасности, но и эффективности лекарственных средств при проведении клинических исследований. При этом при осуществлении оценки эффективности и безопасности терапии при проведении клинических исследований предложенным способом индивидуализация анализа клинических или клинико-лабораторных данных, полученных в ходе исследования, позволяет в то же время не терять интегративности комплексной оценки для группы пациентов в целом.
Кроме того, для оценки в вычислении задействованы все элементы выборки в динамике, таким образом, предложенный способ позволяет учитывать всю совокупность клинических/клинико-лабораторных данных, придавая значимость как параметрам, находящимся в границах референсных значений, так и выходящим за эти границы.
Также преимуществом предлагаемого способа является комплексность анализа данных - даются качественная и количественная оценки полученных в ходе клинического исследования клинических или клинико-лабораторных данных.
Преимуществом предложенного способа ОЭБКИ является оценка данных в одной и той же группе до начала и по окончании терапии, что не требует наличия данных отдельной интактной выборки (группа сравнения). При этом этот способ не исключает его использования при проведении клинических исследований в параллельных группах, повышая получение достоверности результатов оценки эффективности и безопасности терапии.
Также преимуществом предложенного способа ОЭБКИ является отсутствие ограничений по клиническим/клинико-лабораторным данным, что крайне важно для клинических исследований, в которых некоторые из показателей могут быть за пределами нормы у большинства или даже всех пациентов до начала терапии. При этом существенным преимуществом предлагаемого способа ОЭБКИ является учет любых выходящих за пределы нормальных значений, показателей, что позволяет учитывать не только наличие собственно изменений в клинических/клинико-лабораторных показателях у пациентах, но и направление данных изменений (фиг. 1).
Также преимуществом предложенного способа ОЭБКИ является универсальность и стандартизированность подходов к оценке как в оценке клинических показателей (частота сердечных сокращений в минуту, систолическое и диастолическое артериальное давление, а также частота дыхания, температура тела, масса тела/ИМТ, интервал QT и пр.), так и клинико-лабораторных. Данное преимущество позволяет использованием только предложенного способа ОЭБКИ унифицировать и стандартизировать методологические подходы к оценке эффективности и безопасности лекарственных средств при проведении клинических исследований.
Техническим результатом, достижение которого обеспечивается всей предложенной совокупностью существенных признаков способа, является стандартизация методологических подходов, повышение надежности, унифицированности и достоверности оценки эффективности и безопасности лекарственных средств при проведении клинических исследований лекарственных средств.
Изобретение поясняется чертежами, где
- на фиг. 1 представлена схема способа оценки динамики отклонений клинических или клинико-лабораторных показателей;
- в таблице 1 приведены относительные частоты отклонений показателей гемограммы у пациентов с острыми респираторными инфекциями в группах сравнения;
- в таблице 2 приведены данные использования стандартных подходов оценки клинических данных при проведении клинических исследований;
- в таблице 3 приведены данные использования предлагаемого способа оценки при проведении клинических исследований при анализе динамики клинических данных;
- в таблице 4 приведены относительные частоты отклонений показателей гемограммы у пациентов с острыми кишечными инфекциями в группах сравнения.
Предложенный способ осуществляется следующим образом.
При проведении клинического исследования производят исследование клинических (частота сердечных сокращений в минуту, систолическое и диастолическое артериальное давление и др.) или клинико-лабораторных показателей (уровень гемоглобина, лейкоцитов и др.), предусмотренных протоколом исследования, в динамике: до начала изучаемой терапии, после завершения курса лечения, а при необходимости и в его процессе. Далее проводят оценку полученных клинических или клинико-лабораторных показателей, выраженных в числовом формате, по отношению к референсным значениям.
s
f
Рассчитывают относительную частоту таких отклонений для группы пациентов до (F) и после (F) терапии по формулам:
s
где F - относительная частота отклонения показателей пациента от референсных значений в группе на исходном визите,
is
R - значение показателя у пациента на исходном визите,
s
R - множество значений всех показателей в исследуемой группе на исходном визите,
max
N - максимальное референсное значение данного показателя,
min
N - минимальное референсное значение данного показателя,
n - число пациентов в группе.
f
где F - относительная частота отклонения показателей пациента от референсных значений в группе на контрольном/завершающем визите,
if
R - значение показателя у пациента на контрольном/завершающем визите,
f
R - множество значений всех показателей в исследуемой группе на контрольном/завершающем визите,
max
N - максимальное референсное значение данного показателя,
min
N - минимальное референсное значение данного показателя,
n - число пациентов в группе.
s
f
Далее рассчитывают ошибку измерений для исходного (m) и заключительного (m) визитов по формулам [6]:
и
s
где m - ошибка измерений относительной частоты отклонений показателей пациента от референсных значений в группе на исходном визите,
f
m - ошибка измерений относительной частоты отклонений показателей пациента от референсных значений в группе на контрольном/завершающем визите,
s
F - относительная частота отклонения показателей пациента от референсных значений в группе на исходном визите,
f
F - относительная частота отклонения показателей пациента от референсных значений в группе на контрольном/завершающем визите,
n - число пациентов в группе.
s
f
Далее проводят оценку достоверности разности относительных частот отклонений показателей до (F) и после (F) терапии по формуле [6]:
где t - критерий достоверности,
s
m - ошибка измерений относительной частоты отклонений показателей пациента от референсных значений в группе на исходном визите,
f
m - ошибка измерений относительной частоты отклонений показателей пациента от референсных значений в группе на контрольном/завершающем визите,
s
F - относительная частота отклонения показателей пациента от референсных значений в группе на исходном визите,
f
F - относительная частота отклонения показателей пациента от референсных значений в группе на контрольном/завершающем визите,
n - число пациентов в группе.
Если вычисленный критерий t более или равен 2 (t≥2), что соответствует вероятности безошибочного прогноза Р, равной или более 95% (Р≥95%), то разность следует считать достоверной [6], что позволяет оценивать эффективность и безопасность терапии:
1. Если после лечения достоверно меньше относительная частота отклонений показателей пациентов от референсных значений в группе по сравнению с исходным визитом, это говорит об эффективности и безопасности применяемой терапии.
2. Если после лечения достоверно выше относительная частота отклонений показателей пациентов от референсных значений в группе по сравнению с исходным визитом, это свидетельствует о неэффективности применяемой терапии (прогрессирование заболевания, развитее осложнений) или побочных реакциях исследуемого препарата.
При t<2, вероятность безошибочного прогноза Р<95%, это означает, что разность недостоверна [6]. Это расценивается как отсутствие влияния на данный клинический или клинико-лабораторный показатель изучаемого лекарственного средства.
Таким образом, предложенный способ оценки эффективности и безопасности терапии при проведении клинических исследований, подразумевающий анализ динамики доли пациентов с отклонениями лабораторных показателей от нормы на фоне лечения путем определения наличия статистически значимой разницы в относительной частоте отклонений каждого из лабораторных параметров выше и ниже границ нормы после лечения по сравнению с исходным позволяет однозначно оценивать эффективность и безопасность проводимой терапии при проведении клинических исследований.
Примеры конкретного выполнения способа.
Пример 1
На базе ФБУН ЦНИИ эпидемиологии было проведено проспективное открытое рандомизированное клиническое исследование у пациентов с острыми респираторными инфекциями, получающими разные схемы симптоматической терапии в двух сравниваемых группах. В исследовании приняли участие 40 пациентов обоего пола в возрасте от 1 года до 6 лет. У всех пациентов проводилась оценка показателей клинического анализ крови до начала и после окончания терапии с целью оценки эффективности и безопасности разных схем симптоматической терапии.
Результаты оценки клинико-лабораторных данных с применением предлагаемого способа оценки эффективности и безопасности терапии при проведении клинических исследований представлены в таблице 1.
Как видно из таблицы, были получены статистически значимые различия между показателями гемограммы на исходном и завершающем визитах в группах сравнения по таким показателям, как уровень палочкоядерных, сегментоядерных нейтрофилов, лимфоцитов, тромбоцитов и СОЭ. Так, статистически достоверно снизилась относительная частота отклонения уровней выше нормальных значений гематологических параметров:
- палочкоядерные нейтрофилы, СОЭ (основная группа)
- палочкоядерные и сегментоядерные нейтрофилы, СОЭ (группа сравнения),
статистически достоверно снизилась относительная частота отклонения уровней ниже нормальных значений гематологических параметров:
- гемоглобин и лимфоциты (основная группа),
- лимфоциты (группа сравнения).
При этом данные показатели на завершающем визите в обеих группах сравнения достоверно чаще находились в зоне референсных значений. Указанная динамика лабораторных показателей, характерная для процессов реконвалесценции, объективно подтвердила положительный эффект исследуемой терапии в обеих лечебных, что позволяет трактовать полученные данные как эффективность предлагаемых схем терапии.
Исследуемые препараты не вызывали достоверного повышения относительной частоты отклонения от нормы лабораторных показателей за исключением отклонения уровней эритроцитов и тромбоцитов выше нормальных значений в обеих лечебных группах, что в данном случае может быть объяснено характерными компенсаторными реакциями организма после перенесенного заболевания острого респираторного заболевания и не является признаком непереносимости терапии. Это позволяет трактовать полученные данные как безопасность предлагаемых схем терапии.
Сравнение на завершающем визите относительных частот отклонения от референсных значений показателей гемограммы у пациентов в группах сравнения не выявило достоверных различий ни по одному из показателей между группами, что говорит об одинаковой, сопоставимой эффективности и безопасности предлагаемых схем терапии.
Вывод. Использование предлагаемого способа оценки эффективности и безопасности терапии при проведении клинических исследований позволило оценить эффективность и безопасность терапии как для каждой изучаемой схемы терапии, так и сопоставить их эффективность и безопасность между собой. Использование данного способа позволяет объективно обосновывать выбор тактики терапии по результатам проведенного клинического исследования.
Пример 2
Под наблюдением в МБУЗ «Мытищинская городская клиническая больница» находилось 36 детей, больных острыми внебольничными пневмониями среднетяжелой и тяжелой форм, в возрасте от 2 до 17 лет. Все дети находились под наблюдением в условиях специализированного инфекционного стационара и получали комплексную терапию в соответствии с формой тяжести основного заболевания. Всем детям проводили в динамике (при поступлении и в катамнезе, через 3 месяца) комплексную оценку состояния вегетативной нервной системы и психоэмоциональной сферы (вегетативный индекс Кердо, коэффициент Хильдебранта, клиностатический рефлекс Даниелополу, ортостатический рефлекс Превеля, тест Спилберга и др.).
Целью исследования было изучение динамики и спектра нарушений нейровегетативных реакций у пациентов с острыми внебольничными пневмониями среднетяжелой и тяжелой форм в условиях стационара.
В ходе исследования было проведено сравнение в динамике средних значений изучаемых показателей состояния вегетативной нервной системы (таблица 2). Как видно из таблицы, достоверных различий между показателями острого периода инфекционного заболевания и в катамнезе спустя 3 месяца отмечено не было.
Применение предлагаемого способа оценки клинических данных при проведении клинических исследований позволило существенно повысить информативность полученных в ходе исследования данных (таблица 3).
Так, например, при оценке динамики коэффициента Хильдебранта было получено достоверно значимое снижение доли пациентов с показателями выше границ нормы и повышение доли пациентов с показателями ниже границ нормы спустя 3 месяца после перенесенной острой пневмонии среднетяжелой и тяжелой форм.
При анализе показателей клиностатического рефлекса Даниелополу, ортостатического рефлекса Превеля, тестов Спилберга с применением предлагаемого способа оценки клинических данных при проведении клинических исследований так же показало наличие достоверных различий в динамике.
Это свидетельствует о наличии у определенной части пациентов детей, перенесших острую внебольничную пневмонию, разнонаправленных изменений со стороны вегетативной нервной системы, что диктует необходимость длительного наблюдения за данной категорией пациентов и назначения им соответствующей терапии.
Вывод. Использование предлагаемого способа оценки эффективности и безопасности терапии при проведении клинических исследований позволило повысить достоверность оценки клинических данных при динамическом наблюдении, при этом анализ включал в себя качественную и количественную составляющие анализа, что является существенным преимуществом предлагаемого способа. Использование данного способа в этом примере позволяет объективно обосновывать выбор длительности диспансерного наблюдения, тактики терапии и профилактики нарушений со стороны вегетативной нервной системы у пациентов с острыми внебольничными пневмониями среднетяжелой и тяжелой форм по результатам проведенного клинического исследования.
Пример 3
В 2012 году было проведено многоцентровое открытое сравнительное проспективное рандомизированное клиническое исследование эффективности и безопасности различных схем антибактериальной терапии у пациентов с острыми кишечными инфекциями в трех сравниваемых группах. В исследование было включен 367 больных обоего пола в возрасте до 14 лет. У всех пациентов проводилась оценка показателей клинического анализ крови до начала и после окончания курса лечения с целью оценки эффективности и безопасности разных схем антибактериальной терапии.
Результаты оценки клинико-лабораторных показателей гемограммы с применением предлагаемого способа оценки эффективности и безопасности терапии при проведении клинических исследований представлены в таблице 4.
Как видно из таблицы, были получены статистически значимые различия между показателями гемограммы на исходном и завершающем визитах в сравниваемых группах.
В группах 1 и 3 отмечалось:
- статистически достоверное снижение количества пациентов с отклонениями уровней выше нормальных значений:
- нейтрофилы;
- палочкоядерные нейтрофилы;
- статистически достоверное снижение количества пациентов с отклонениями уровней ниже нормальных значений:
- лимфоциты.
Указанная динамика лабораторных показателей говорит о снижении интенсивности воспалительного процесса (сдвига лейкоцитарной формулы влево) и восстановлении гомеостаза лейкоцитарной формулы пациентов в сравниваемых группах.
Вывод. Использование предлагаемого способа оценки эффективности и безопасности терапии при проведении клинических исследований позволило адекватно оценить результаты лечения при применении изучаемых схем антибактериальной терапии острых кишечных инфекций. При этом сравнение их эффективности и безопасности с использованием предлагаемого способа дало возможность определить наиболее оптимальную схему лечения. Использование данного способа позволяет объективно обосновывать выбор тактики антибактериальной терапии по результатам проведенного клинического исследования.
Источники информации
1. Федеральный закон от 22.06.1998 N 86-ФЗ «О лекарственных средствах» // Собрание законодательства Российской Федерации, 1998, N 26, ст. 3006; 2003, N 2, ст. 167; 2000, N 2, ст. 126; 2002, N 1 (часть I), ст. 2
2. Национальный стандарт Российской Федерации ГОСТ Р 52379-2005 «Надлежащая клиническая практика» // Москва, Стандартинформ, 2006.
3. General Considerations for Clinical Trials // ICH Harmonised Tripartite Guideline E8, 1997.
4. Clinical Investigation of Medicinal Products in the Pediatric Population // ICH Harmonised Tripartite Guideline E11, 2000.
5. Statistical Principles for Clinical Trials // ICH Harmonised Tripartite Guideline E9, 1998.
6. Наглядная медицинская статистика. Петри А., Сэбин К.; под ред. В.П. Леонова; пер. с англ. [В.П. Леонов]. Москва, 2009. (2-е изд., перераб. и доп.).
7. Park MY, Yoon D, Lee K, Kang SY, Park I, Lee SH, Kim W, Kam HJ, Lee YH, Kim JH, Park RW. A novel algorithm for detection of adverse drug reaction signals using a hospital electronic medical record database // Pharmacoepidemiol Drug Saf. 2011 Jun; 20(6):598-607.
8. D Yoon, M Y Park, N K Choi, В J Park, J H Kim and R W Park. Detection of Adverse Drug Reaction Signals Using an Electronic Health Records Database: Comparison of the Laboratory Extreme Abnormality Ratio (CLEAR) Algorithm // Clinical Pharmacology & Therapeutics (2012); 91 3, 467-474.