СПОСОБ И СИСТЕМА ДЛЯ ВЗАИМОДЕЙСТВИЯ ЧЕЛОВЕК-МАШИНА, ОСНОВАННОГО НА ЖЕСТАХ, И МАШИНОЧИТАЕМЫЙ НОСИТЕЛЬ ДЛЯ ЭТОГО

1. Способ взаимодействия человек-машина, основанного на жестах, включающий:
захват изображений от видео потоков пользователя;
расположение координат трех или больше предопределенных цветных блоков на переднем плане; и
моделирование движений мыши согласно координатам первого цветного блока, и моделирование действия щелчка мыши согласно координатам других цветных блоков.
2. Способ взаимодействия человек-машина, основанного на жестах, по п.1, в котором этап захвата видео потока пользователя и захвата изображений от видео потоков пользователя включает:
захват видео потока пользователя через камеру, и захват непрерывных изображений из видео потока, или захват дискретных изображений их видео потока через каждый предопределенный интервал.
3. Способ взаимодействия человек-машина, основанного на жестах, по п.2, в котором этап расположения координат трех или более предопределенных цветных блоков на переднем плане включает:
установка второстепенной модели, для генерации изображения маски, и удаление фона изображений изображением маски;
получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока, и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
отслеживание средней точки каждого цветного блока в диаграмме распределения вероятности, для определения координат трех цветных блоков.
4. Способ взаимодействия человек-машина, основанного на жестах, по п.3, в котором этап моделирования действий щелчка мыши согласно координатам других цветных блоков включает:
определение расстояния по прямой линии между координатами второго цветного блока и третьего цветного блока, и определение, является ли расстояние по прямой линии меньше чем предопределенное пороговое значение; моделирование действия по нажиму левой клавиши мыши, если расстояние по прямой линии - меньше чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние по прямой линии не меньше чем предопределенное пороговое значение.
5. Способ взаимодействия человек-машина, основанного на жестах, по п.4, в котором этап получения предопределенных трех цветных шаблонов блока включает:
ношение трех рукавов на пальцах с различными цветами, и хранение цветов рукавов как шаблонов для цветных блоков.
6. Способ взаимодействия человек-машина, основанного на жестах, по п.3, также включает следующие этапы, после этапа вычисления диаграммы распределения вероятности каждого цветного блока, согласно соответствующей гистограмме:
очистка от шума диаграммы распределения вероятности посредством операции по удалению шума;
воздействие гауссовским сглаживанием на диаграмму распределения вероятности, и выполнение пороговой сегментации на гауссовских сглаженных диаграммах.
7. Система взаимодействия человек-машина, основанного на жестах, содержащая:
блок захвата для захвата изображений из видео потоков пользователя;
блок положения для помещения координат трех или больше предопределенных цветных блоков на переднем плане; и
блок преобразования для моделирования движения мыши согласно координатам первого цветного блока, и моделирования действия щелчка мыши согласно координатам других цветных блоков.
8. Система взаимодействия человек-машина, основанного на жестах, по п.7, в которой блок захвата захватывает видео поток пользователя через камеру, и захватывает непрерывные изображения из видео потока, или захватывает дискретные изображения из видео потока через каждый предопределенный интервал.
9. Система взаимодействия человек-машина, основанного на жестах, по п.8, в котором блок положения включает:
блок фоновой сегментации для настройки фоновой модели для генерирования картины маски, и удаление фона изображений при помощи картины маски;
блок гистограммы для получения предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока, и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
блок диаграммы распределения вероятности для вычисления диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
блок слежения для отслеживания средней точки каждого цветного блока в диаграмме распределения вероятности для определения координат трех цветных блоков.
10. Система взаимодействия человек-машина, основанного на жестах, по п.9, в котором блок преобразования предназначен для определения расстояния по прямой линии между координатами второго цветного блока и третьего цветного блока, и определения того, является ли расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия нажима левой клавиши мыши, если расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние по прямой линии не меньше, чем предопределенное пороговое значение.
11. Система по п.10, в которой система также включает,
три рукава с различными цветами одетые на пальцы, причем цвета рукавов сохранены как шаблоны для цветных блоков.
12. Система по п.9, в которой блок положения также включает: блок оптимизации, блок оптимизации включает блок очистки от шума и блок сглаживания; блок очистки от шума используется для очистки от шума посредством действия операции по удалению шума на диаграммах распределения вероятности; блок сглаживания используется для управления гауссовским сглаживанием на диаграммах распределения вероятности, и выполнения пороговой сегментации на гауссовских сглаженных диаграммах.
13. По меньшей мере, один машиночитаемый носитель, содержащий записанные инструкции для исполнения компьютером, причем инструкции для исполнения компьютером используются для выполнения способа взаимодействия человек-машина, основанного на жестах, причем способ включает:
захват изображений от видео потоков пользователя;
расположение координат трех или больше предопределенных цветных блоков на переднем плане; и
моделирование движений мыши согласно координатам первого цветного блока, и моделирование действия щелчка мыши согласно координатам других цветных блоков.
14. Машиночитаемый носитель по п.13, в котором этап захвата видео потока пользователя и захвата изображений и видео потоков пользователя включает:
захват видео потока пользователя через камеру, и захват непрерывных изображения из видео потока, или захват дискретных изображений из видео потока через каждый предопределенный интервал.
15. Машиночитаемый носитель по п.14, в котором этап расположения координат трех или больше предопределенных цветных блоков на переднем плане включает:
установку второстепенной модели, для генерации изображения маски, и удаление фона изображений изображением маски;
получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока, и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
отслеживание средней точки каждого цветного блока в диаграмме распределения вероятности, для определения координат трех цветных блоков.
16. Машиночитаемый носитель по п.15, в котором этап моделирования действий щелчка мыши согласно координатам других цветных блоков включает,
определение расстояния по прямой линии между координатами второго цветного блока и третьего цветного блока, и определение того, является ли расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия нажима левой клавиши мыши, если расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние по прямой линии не меньше, чем предопределенное пороговое значение.
17. Машиночитаемый носитель по.16, в котором этап получения предопределенного три цветных шаблона блока включает:
ношение трех рукавов на пальцах с различными цветами, и сохранение цветов рукавов как шаблонов для цветных блоков.
18. Машиночитаемый носитель по п.15, в котором содержатся следующие этапы, после этапа вычисления диаграммы распределения вероятности каждого цветного блока, согласно соответствующей гистограмме:
очистка от шума диаграммы распределения вероятности посредством операции по удалению шума;
воздействие гауссовским сглаживанием на диаграмму распределения вероятности, и выполнение пороговой сегментации на гауссовских сглаженных диаграммах.