СПОСОБ И СИСТЕМА ДЛЯ ПОМОЩИ В ВЕРИФИКАЦИИ И ВАЛИДАЦИИ ЦЕПИ АЛГОРИТМОВ

1. Способ содействия в верификации и функциональной валидации цепи алгоритмов, содержащий последовательность этапов, содержащую, по меньшей мере:
предварительный этап, на котором, при исполнении цепи алгоритмов, совокупность данных цепи алгоритмов сохраняют в файлах резервной копии;
a) этап снятия показаний цепи алгоритмов, на котором осуществляют автоматический захват данных, содержащих, по меньшей мере, некоторые из следующих данных: интерфейсные данные и внутренние данные алгоритмов из цепи алгоритмов, причем этап a) заключается в чтении файлов резервной копии и в осуществлении запросов в отношении данных, содержащихся в файлах резервной копии;
b) этап автоматической верификации функциональных правил;
c) этап обучения для моделирования, через обучение, ограничений и критериев алгоритмов цепи алгоритмов, принимая во внимание валидации, осуществленные человеком-оператором, а также захваченные данные; и
d) этап автоматического обнаружения ошибок или функциональных проблем в цепи алгоритмов с использованием средств статистического обучения, при этом на этапе d) выполняют корреляцию данных с использованием средств статистического обучения для определения общих правил вариаций в выходных данных алгоритмов цепи алгоритмов и посылают оповещение, если обнаружена вариация, большая, чем заранее заданный порог выходных данных алгоритма, относительно заранее определенных выходных данных.
2. Способ по п. 1, отличающийся тем, что этап b) сконфигурирован, чтобы позволить обнаружить нарушение правил и чтобы позволить обнаружить, должны ли быть элементы верифицированы оператором.
3. Способ по п. 1 или 2, отличающийся тем, что этап c) сконфигурирован для того, чтобы:
осуществлять анализ функциональной структуры цепи алгоритмов и связанного с ней кода;
осуществлять обучение с помощью записанных тестовых случаев, предоставляемых оператором; и
идентифицировать соответствующие и подозрительные случаи теста и представлять оператору, по меньшей мере, идентифицированные подозрительные случаи теста.
4. Способ по п. 1, отличающийся тем, что на этапе d) анализируют вариацию в результатах алгоритмов цепи алгоритмов, с тем чтобы обнаружить, где необходимо, разрывы и аномальные вариации.
5. Способ по п. 1, отличающийся тем, что содержит дополнительный этап e) классификации идентифицированных случаев сомнительных (или проблемных) тестов.
6. Способ по п. 1, отличающийся тем, что содержит этап задания метрик и визуализации этих метрик.
7. Система для содействия в верификации и функциональной валидации цепи алгоритмов, причем данная система (1) содержит набор (9) файлов резервной копии, в которых хранятся данные цепи алгоритмов, и, по меньшей мере, следующие модули, координируемые экспертной системой:
модуль (2) снятия показаний цепи алгоритмов, осуществляющий автоматический захват данных, содержащих, по меньшей мере, некоторые из следующих данных: интерфейсные данные и внутренние данные алгоритмов цепи алгоритмов, при этом модуль (2) снятия показаний сконфигурирован для чтения файлов резервной копии и для выполнения запросов в отношении данных, содержащихся в файлах резервной копии;
модуль (3) для автоматической верификации функциональных правил;
модуль (5) обучения для моделирования, через обучение, ограничений и критериев алгоритмов цепи алгоритмов, принимая во внимание валидации, выполненные человеком-оператором, и захваченные данные; и
модуль (7) автоматического обнаружения ошибок или функциональных проблем в цепочке алгоритмов с использованием средств статистического обучения, причем данный модуль (5) выполняет корреляцию данных с использованием средств статистического обучения для определения общих правил вариаций в выходных данных алгоритмов цепи алгоритмов, при этом оповещение отправляется, если обнаружена вариация, большая, чем заранее заданный порог выходных данных алгоритма, относительно заранее определенных выходных данных.
8. Система по п. 7, отличающаяся тем, что дополнительно включает в себя блок (11) для визуализации данных, полученных от модуля (2) снятия показаний.
9. Система по п. 7 или 8, отличающаяся тем, что дополнительно включает в себя блок 13 ввода данных, позволяющий оператору вводить данные.
10. Система по п. 7, отличающаяся тем, что дополнительно включает в себя блок (19) для представления результатов, полученных от модуля (7) обнаружения ошибок.
11. Система по п. 7, отличающаяся тем, что дополнительно включает в себя модуль (17) для классификации идентифицированных подозрительных тестовых случаев.
12. Комплекс, содержащий цепь алгоритмов и систему (1), такую как описана по любому из пп. 7-11.