СПОСОБ И УСТРОЙСТВО ДЛЯ ОПРЕДЕЛЕНИЯ ПОЛОЖЕНИЯ СПОРТИВНОГО СНАРЯДА НА ПЛОЩАДКЕ
METHOD AND APPARATUS FOR DETERMINING POSITION OF SPORTING PROJECTILE WITHIN SCENE

Область техники, к которой относится изобретение
Настоящее изобретение относится к способу и устройству для определения положения спортивного снаряда на площадке.
Уровень техники
Описание уровня техники приводится в этом документе для того, чтобы в общем виде представить контекст изобретения. Работа поименованных в настоящее время изобретателей в полной мере описана в разделе “Уровень техники”, а аспекты описания, которые иначе не могут быть квалифицированны как предшествующий уровень техники на время регистрации, ни явно, ни неявно не признаются в качестве предшествующего уровня техники относительно настоящего изобретения.
В видах спорта с мячом, например, в футболе важно знать, когда засчитывается гол. Обычно гол засчитывают, когда весь мяч пересекает всю заданную линию ворот. Работа арбитров включает в себя наблюдение за мячом и оценка того, пересек ли мяч линию ворот или нет, и, следовательно, засчитывается ли гол или нет. Такая система, хоть и твердо установившаяся, может быть весьма ненадежной. Если арбитру закрыт вид, или если один из арбитров допускает ошибку, то могут быть некорректно приняты критичные для игры решения. Поэтому имеется желание реализовать технологию, использующую камеры и/или компьютеры, чтобы определить, пересек ли мяч линию, и помочь арбитрам в принятии таких решений.
Одно из предложений такой технологии заключается в том, чтобы оснастить мяч датчиком, который может быть детектирован некоторым числом детекторов таким образом, чтобы можно было вычислить положение мяча в любой момент времени. Датчик, например, мог бы излучать радиочастотные (RF) импульсы, которые периодически принимались бы детекторами, при этом время, за которое импульс достигает каждого детектора, указывает расстояние от датчика до каждого детектора. Однако при таком подходе возникает задача, связанная с тем, что датчик, размещенный в мяче, вероятно, значительно изменит вес и/или баланс мяча, что крайне нежелательно. Также трудно обеспечить контроль качества, так как на мяч может быть оказано воздействие (например, в случае, если мяч отлетит в толпу зрителей), так что могут измениться характеристики датчика.
Другое предложение включает в себя установку датчиков на две штанги, где одну штангу размещают на каждом конце лини ворот. Затем датчики настраивают на обнаружение объектов, которые появляются между ними (например, используя лазерную технологию) и, таким образом, они могут обнаружить наличие объектов, которые пересекают линию ворот. Однако эта система довольно ненадежная, так как трудно отличить пересечение линии ворот мячом от пересечения линии ворот другими объектами (например, самими игроками). Также штанги, к которым прикреплены датчики, могут производить значительные движения во время футбольного матча и, более того, могут не быть полностью выровненными относительно линии ворот, что снижает надежность и точность системы.
Настоящее изобретение нацелено на решение этих задач.
Сущность изобретения
В соответствии с одним аспектом предложено устройство для определения положения спортивного снаряда на площадке во время промежутка времени, в течение которого спортивный снаряд скрыт из вида камеры, устройство, содержащее: интерфейс, выполненный с возможностью получения первой последовательности изображений площадки, захваченных камерой с заданной первой частотой кадров перед интервалом времени, и второй последовательности изображений площадки, захваченных камерой с заданной второй частотой кадров после интервала времени; устройство обнаружения спортивного снаряда, выполненное с возможностью обнаружения положения спортивного снаряда в пределах площадки для каждого изображения в первой и второй последовательностях изображений; модуль определения скорости, выполненный с возможностью определения скорости спортивного снаряда перед интервалом времени, исходя из определенного положения спортивного снаряда в пределах площадки для каждого изображения в первой последовательности изображений и первой частоты кадров, и скорости спортивного снаряда непосредственно после интервала времени, исходя из определенного положения спортивного снаряда в пределах площадки для каждого изображения во второй последовательности изображений и второй частоты кадров; и модуль определения положения спортивного снаряда, выполненный с возможностью определения положения спортивного снаряда во время интервала времени, используя, по меньшей мере, одно из определенных положений спортивного снаряда на площадке для каждого изображения в первой и второй последовательности изображений и полученную скорость спортивного снаряда непосредственно перед и непосредственно после интервала времени.
Первая последовательность изображений и вторая последовательность изображений площадки могут содержать заданную линию, а модуль определения положения спортивного снаряда способен генерировать сигнал индикации события, заключающегося в том, что положение мяча пересекло заданную линию.
Модуль определения положения спортивного снаряда может быть выполнен с возможностью генерировать сигнал индикации, если определено, что положение спортивного снаряда пересекло заданную линию на расстояние большее, чем радиус спортивного снаряда.
Заданная линия может представлять собой линию ворот.
Модуль определения положения спортивного снаряда может быть дополнительно выполнен с возможностью вычисления положения спортивного снаряда в соответствии с деформацией спортивного снаряда на каждом изображении во второй последовательности изображений.
Согласно другому аспекту предложен способ определения положения спортивного снаряда на площадке в течение интервала времени, в который спортивный снаряд скрыт из вида камеры, способ, содержащий следующее: получение первой последовательности изображений площадки, захваченных камерой на заданной первой частоте кадров перед интервалом времени и второй последовательности изображений площадки, захваченных камерой на заданной второй частоте кадров после интервала времени; определение положения спортивного снаряда на площадке для каждого изображения в первой и второй последовательности изображений; определение скорости спортивного снаряда перед интервалом времени, исходя из определенного положения спортивного снаряда в пределах площадки для каждого изображения в первой последовательности изображений и первой частоты кадров, и скорости спортивного снаряда непосредственно после интервала времени, исходя из определенного положения спортивного снаряда в пределах площадки для каждого изображения во второй последовательности изображений и второй частоты кадров; и определение положения спортивного снаряда во время интервала времени, используя, по меньшей мере, одно из определенных положений спортивного снаряда на площадке для каждого изображения в первой и второй последовательности изображений и полученную скорость спортивного снаряда непосредственно перед и непосредственно после интервала времени.
Первая последовательность изображений и вторая последовательность изображений площадки могут содержать заданную линию, а способ содержит генерирование сигнала индикации события, заключающегося в том, что положение мяча пересекло заданную линию.
Способ может дополнительно содержать генерирование сигнала индикации, если определено, что положение спортивного снаряда пересекло заданную линию на расстояние большее, чем радиус спортивного снаряда.
Заданная линия может представлять собой линию ворот.
Способ может дополнительно содержать вычисление положения спортивного снаряда в соответствии с деформацией спортивного снаряда на каждом изображении во второй последовательности изображений.
Вышеизложенные абзацы представлены в качестве общего введения и не подразумевают ограничения объема последующей формулы изобретения. Описанные варианты осуществления вместе с дополнительными преимуществами будут наиболее понятны из последующего подробного описания в сочетании с прилагаемыми чертежами.
Краткое описание чертежей
Более полное понимание описания и многие сопутствующие преимущества будут без труда видны, а также станут понятны, из следующего подробного описания при его рассмотрении с использованием сопровождающих чертежей, на которых:
На фиг.1А схематично показаны положения множества камер относительно линии ворот футбольного поля в соответствии с вариантом осуществления изобретения.
На фиг.1В схематично показаны камеры и линия ворот из фиг.1А при виде с другого ракурса.
На фиг.2 схематично показана система определения положения мяча на площадке в соответствии с вариантом осуществления изобретения.
На фиг.3 схематично показано устройство для определения положения мяча на площадке в соответствии с вариантом осуществления изобретения.
На фиг.4А схематично показаны положения калибровочных контрольных отметок в соответствии с вариантом осуществления изобретения.
На фиг.4В схематично показано первое возможное положение калибровочных контрольных отметок в соответствии с вариантом осуществления изобретения.
На фиг.4С схематично показано второе возможное положение калибровочных контрольных отметок в соответствии с вариантом осуществления изобретения.
На фиг.5А схематично изображен мяч с характерным узором на его поверхности.
На фиг.5В схематично показано изображение площадки, на котором видна только часть мяча, показанного на фиг.5А.
На фиг.5С схематично показано определение положение центра мяча на площадке, показанной на фиг.5В, в соответствии с вариантом осуществления изобретения.
На фиг.6А схематично изображены два видимых сегмента мяча с характерным узором на его поверхности.
На фиг.6В схематично показан увеличенный вид первого видимого сегмента из фиг.6А, первого видимого сегмента, содержащего первую часть данных об ориентации в соответствии с вариантом осуществления изобретения.
На фиг.6С схематично показан увеличенный вид второго видимого сегмента из фиг.6А, второго видимого сегмента, содержащего вторую часть данных об ориентации в соответствии с вариантом осуществления изобретения.
На фиг.7 схематично показана вычисленная траектория мяча в течение интервала времени, во время которого мяч скрывается из вида камеры, в соответствии с вариантом осуществления изобретения.
На фиг.8 схематично показано функционирование системы определения положения мяча на площадке в соответствии с вариантом осуществления изобретения.
Описание вариантов осуществления изобретения
Обратимся теперь к чертежам, на которых одинаковые ссылочные позиции обозначают идентичные или соответствующие части на нескольких видах.
На фиг.1А и 1В показаны положения множества камер 100, расположенных около линии 112 ворот на футбольном поле 118. Каждая из камер сконфигурирована так, чтобы захватывать изображения, по существу, одной и той же площадки с различных точек зрения, площадки, включающей в себя линию 112 ворот и ворота 122 целиком. В этом варианте осуществления две камеры 100 размещены позади линии ворот, две камеры 100 размещены на одной линии с линией ворот, и две камеры 100 размещены перед линией ворот. Во время игры камеры, таким образом, могут захватывать изображения площадки, когда мяч находится в непосредственной близости от линии ворот.
В одном варианте осуществления камеры 100 размещены далеко от линии ворот, так что размер мяча на захваченных изображениях площадки не изменяется значительно. Например, каждая камера может быть размещена приблизительно в 50 метрах от линии ворот. Это выгодно, потому что, если размер мяча не изменяется значительно в пределах поля зрения каждой камеры, то технологии обработки изображения для определения мяча на захваченных изображениях, такие как технологии поблочного сравнения, могут показать большую эффективность. Это возможно потому, что модель мяча, используемая в технологии поблочного сравнения, потребует только ограниченного масштабирования.
Хотя камеры 100 могут быть расположены на любой высоте относительно футбольного поля, в вариантах осуществления камеры располагают так, чтобы объекты, отличные от мяча (как например, зрители, находящиеся поблизости от поля), меньше загораживали поле зрения камеры. Например, при размещении камер 100 на стадионе, камеры 100 могут быть размещены в пологе, закрывающем толпу.
Более того, несмотря на то что в вариантах осуществления показано шесть камер, может быть использовано другое число камер. Тем не менее, если число камер меньше, то может быть сложнее точно определить положение мяча в случае, если поле зрения одной или нескольких камер будет перекрыто.
Камеры расположены так, что заданные калибровочные контрольные отметки отчетливо попадают в поле зрения каждой камеры. Как будет описано далее, эти контрольные отметки необходимы для определения и внесения поправки на движения камер. В одном варианте осуществления контрольные метки расположены на держателях 116 сетки ворот и на штангах 120. При расположении контрольных меток в этих местах, вероятность движения этих точек в пределах площадки очень мала. Дополнительно, при размещении контрольных меток рядом или на вершине держателя 116 сетки ворот снижается вероятность того, что эти контрольные метки будут закрыты.
Для того чтобы снизить вероятность смещения камер ветром (например, в случае открытого футбольного стадиона), камеры должны быть размещены в закрытом месте. Также камеры могут иметь аэродинамические корпуса, так что движение из-за ветра может быть дополнительно уменьшено.
На фиг.2 схематично показана система 200 определения положения мяча на площадке в соответствии с вариантом осуществления изобретения. Каждая камера 100 выполнена с возможностью захватывать изображение площадки с различного сектора обзора. Как видно на фиг.2, каждое из изображений 11-16 от соответствующих камер 1-6 затем передается на калибровочный компьютер 202 камеры.
Калибровочный компьютер 202 камеры выполнен с возможностью детектировать, по меньшей мере, одну калибровочную контрольную метку 402 на захваченном изображении и сравнивать положение контрольной метки с ее положением на предыдущем изображении. На самой площадке, как будет объяснено ниже, контрольная метка неподвижна, так что любое различие в положении контрольной метки на текущем и предыдущем изображении указывает на то, что сама камера совершила движение (например, сдвинулась, наклонилась или повернулась). В случае если обнаружено смещение положения контрольной метки, калибровочный компьютер 202 камеры может применить к принятому изображению корректировочное преобразование, чтобы ввести поправку на движение камеры. Другими словами, корректирующее преобразование применяют ко всем пикселам на изображении. Это компенсирует любое движение пикселов на изображении из-за движения камеры.
Могут применяться любые известные в этой области техники способы обнаружения различия положений контрольной метки на первом и втором изображении и последующего преобразования второго изображения для компенсации различия. Один из таких способов представляет собой применение матрицы преобразования, что позволяет подстроить соответствующие калибровочные переменные, чтобы наилучшим образом соответствовать разнице пикселов первого и второго изображений. Как только обработка, выполняемая каждым калибровочным компьютером 202 камеры, завершена, скорректированные захваченные изображения I1’-I6’ передают на контроллер 204.
Контроллер 204 выполнен с возможностью точно определять положение мяча на площадке, исходя из скорректированных захваченных изображений I1’-I6’. Как будет объяснено ниже, контроллер 204 выполняет это путем обработки каждого из изображений I1’-I6’, так чтобы выявить данные о положении и ориентации мяча на каждом изображении. Затем, контроллер 204 объединяет данные о положении и ориентации каждого изображения и использует объединенные данные вместе с известным относительным положением каждой камеры 100, чтобы определить положение мяча на площадке. Контроллер 204 также выполнен с возможностью определять траекторию мяча на площадке во время интервалов времени, в которые мяч скрыт из поля зрения камер (например, когда большое количество игроков находится рядом с линией ворот и, следовательно, могут время от времени скрывать мяч из вида всех камер). Как будет объяснено ниже, он выполняет это, используя данные о положении мяча, его скорости и характеристике воздействия на него непосредственно перед и непосредственно после интервала времени, в течение которого мяч скрыт.
После того, как положение мяча на площадке было определено контроллером 204 либо непосредственно из захваченных изображений I1’ -I6’ (в случае, если, по меньшей мере, часть мяча в достаточной степени видна камерам 100), либо с использованием механизма определения траектории мяча (в случае, если мяч скрыт), контроллер 204 определяет, пересек ли весь мяч линию ворот целиком или нет. Это определяется путем рассмотрения центра мяча, в том смысле, что если центр мяча находится за всей линией ворот на расстоянии большем, чем радиус мяча, то гол засчитан. Для ясности, положение мяча на площадке в действительности определяется положением центра мяча на площадке.
В случае если определено, что весь мяч пересек всю линию ворот, то сигнал, обозначающий гол, указывающий на то, что гол был засчитан, отправляют от контроллера 204 на беспроводной трансивер 206. Затем, беспроводной трансивер 206, используя беспроводное соединение, отправляет сигнал, обозначающий гол, на головную гарнитуру 208, носимую одним из арбитров. Беспроводной сигнал передается по защищенному каналу. Следует отправлять сигнал, обозначающий гол, по защищенному каналу, чтобы предотвратить получение фальшивых сигналов, оправленных на головную гарнитуру 208 от злоумышленников (например, от других беспроводных трансиверов, принадлежащих третьим лицам, пытающимся навязать результат футбольного матча путем отправления фальшивых сигналов, обозначающих гол, на головную гарнитуру 208). Защищенный канал может быть, например, установлен во время процесса аутентификации и подтверждения связи между головной гарнитурой 208 и беспроводным трансивером 206 перед началом футбольного матча.
Отметим, что хотя на фиг.2 калибровочные компьютеры 202 камер показаны отдельно от контроллера 204, допустимо, если вместо этого калибровочные компьютеры 202 камер будут содержаться в контроллере 204. Также допустимо, если беспроводной трансивер 206 будет содержаться в контроллере 204.
Несмотря на то что был приведен пример головной гарнитуры 208, беспроводной сигнал также мог быть передан на приемник другого типа, такой как часы или наушник, носимый арбитром. Также может иметься множество таких приемников, чтобы все арбитры могли одновременно получить сигнал, обозначающий гол.
Контроллер 204 также мог бы быть выполнен с возможностью отправлять не только сигнал, обозначающий гол. Например, в случае, когда гол засчитан или почти засчитан, то обнаруженное положение мяча на площадке могло бы быть представлено в виде компьютерного изображения или видео. Затем, заодно с отправлением арбитрам сигнала, обозначающего гол, изображение или видео могли бы быть отправлены телевизионным компаниям для включения в телевизионный показ футбольного матча.
1
1
1
2
2
2
n
n
n
1
2
n
Несмотря на то что система 200 была описана с точки зрения обработки только одного набора захваченных изображений I1-I6, в вариантах осуществления система обрабатывает последовательности изображений, захваченные камерами 100 с заданной частотой кадров. Так, например, изображения I1-I6 захвачены в момент времени t, изображения I1-I6 захвачены в момент времени t, изображения I1-I6 захвачены в момент времени t и т.д. Это позволяет определить положение мяча в моменты времени t, t,… , t и т.д., так что положение мяча может отслеживаться в течение времени, когда мяч находится в игре. Может быть использована любая заданная частота кадров, хотя в вариантах осуществления выбрана достаточно высокая частота кадров, чтобы точно отслеживать изменение положения мяча, но не настолько высокая, чтобы вызвать задержку при обработке в контроллере 204 (таким образом, позволяя системе обрабатывать изображения в реальном времени). Например, частота кадров может составлять 25, 30, 50, 60 или 100 кадров в секунду на каждую камеру (что соответствует 150, 180, 300 или 600 кадрам в секунду для шести камер).
На фиг.3 более подробно схематично изображен контроллер 204 в соответствии с вариантом осуществления изобретения. Контроллер 204 содержит интерфейс, через который в контроллер 204 поступает каждое из скорректированных захваченных изображений I1’-I6’ от калибровочных компьютеров 202 камер. Изображения сохраняют в памяти 302. Контроллер 204 также содержит ЦП 304, предназначенный для выполнения требуемого определения положения мяча и траектории мяча, модуль 306 памяти шаблона мяча, предназначенный для сохранения данных, являющихся признаком характерного узора поверхности мяча, и беспроводной интерфейс трансивера, через который на головную гарнитуру 208 может быть передан сигнал, обозначающий гол. Помимо изображений I1’-I6’, в памяти 302 также могут храниться другие наборы изображений, захваченных камерами 100 в моменты времени, отличные от тех, в которые были захвачены изображения I1’-I6’. В памяти 302 также могут храниться компьютерные команды, которые должны быть выполнены ЦП 304.
Для определения положения мяча на площадке каждое из изображений I1’-I6’ обрабатывается ЦП 304. Затем ЦП 304 пытается идентифицировать, по меньшей мере, часть мяча на каждом изображении путем нахождения участков изображения, которые соответствуют частям характерного узора поверхности мяча, определяемого данными в модуле 306 памяти шаблона мяча. Это выполняется, например, с использованием технологии поблочного сравнения, хотя может использоваться любой подходящий способ обработки изображений, известный в этой области техники и предназначенный для выбора участков изображения, которые, по сути, совпадают с заданным шаблоном.
Если появляется такое совпадение, то ЦП 304 определяет положение мяча для соответствующего участка изображения. Например, эти данные о положении могут представлять собой список положений пикселов, определяющих границу соответствующего участка на изображении, положения пикселов являются координатами х и у, определенными относительно заданной контрольной точки на изображении. Заданная контрольная точка может представлять собой, например, один из углов изображения. Также может быть определено положение заданного объекта на изображении.
ЦП 304 также определяет данные об ориентации мяча на изображении. Эти данные об ориентации основаны на участках характерного узора поверхности мяча, обнаруженных на изображении, и, как объяснено ниже, позволяют ЦП 304 определить положение центра мяча на площадке, даже если, например, в поле зрения каждой камеры 100 видна только часть поверхности мяча.
ЦП 304 также может определить реальное положение центра мяча на площадке с помощью полученных данных о положении и об ориентации мяча на каждом из захваченных изображений I1’-I6’ вместе с относительным положением каждой из камер 100.
1
1
2
2
n
n
1
1
2
2
n
n
Для каждого захваченного изображения площадки ЦП 304 конвертирует полученные данные о положении изображения соответствующего участка на изображении в данные о положении на площадке для соответствующего участка площадки. Например, если данные о положении изображения заданы положениями пикселов (x, y), (x, y),…, (х, y), то соответствующие данные о положении на площадке будут представлять собой положения на площадке (реальный x, реальный y), (реальный х, реальный y), (реальный x, реальный y). Положения на площадке будут задаваться относительно точки на площадке, которая соответствует заданной контрольной точке на изображении. Например, если заданная контрольная точка на изображении определена положением неподвижного объекта на изображении, то соответствующая точка на площадке будет представлять собой положение самого объекта.
Данные о положении на изображении и данные о положении на площадке для изображения будут соотноситься согласно масштабирующему коэффициенту (например, 0,5 см на площадке соответствует пикселу), который зависит от различных установок параметров камеры, захватывающей изображение, как например, фокусное расстояние и увеличение камеры. Например, для больших фокусных расстояний и больших уровней увеличения длина каждого из пикселов, задающих данные о положении на изображении, будет соответствовать меньшим реальным расстояниям на площадке, чем для меньших фокусных расстояний и меньших уровней увеличения, что дает меньший масштабирующий коэффициент.
Как только определены данные о положении на площадке для каждого из захваченных изображений I1’-I6’, то из данных о положении на площадке, данных об ориентации и относительных положений камер 100 определяется положение мяча на площадке. Относительные положения и различные установки параметров каждой из камер 100 сохраняются в памяти 302 и могут быть соответствующим образом изменены для разных положений камеры и настроек, например, на футбольных стадионах различных размеров. Относительные положения камер 100 могут быть определены, например, путем задания положения первой камеры в качестве начала отсчета и задания положений остальных камер относительно начала отсчета.
1
1
2
2
Относительные положения камер 100 должны быть доступными ЦП 304, чтобы ЦП 304 мог определить трехмерное положение мяча на площадке, исходя из двумерных данных о положении на площадке и данных об ориентации для каждой из камер 100. Например, если первая камера может определить положение мяча в первой системе координат, заданной параметрами (x, y) относительно первой заданной контрольной точки, а вторая камера, расположенная отличным от первой камеры образом, может определить положение мяча во второй системе координат, заданной параметрами (x, y) относительно второй заданной контрольной точки, то ЦП 304 может определить трехмерное положение камеры, только если знает, как соотносятся первая и вторая системы координат. Так как соотношение между первой и второй системами координат определяется относительными положениями камер 100, относительные положения камер 100 должны быть доступны ЦП 304, чтобы можно было определить трехмерное положение мяча.
Хотя вышеприведенный пример дан для упрощения ситуации, где мяч не скрыт из вида камеры, относительные положения камер 100 также должны быть доступны ЦП 304, чтобы ЦП 304 мог определить положение мяча, когда мяч частично скрыт из вида. Потому что для каждого изображения из захваченного набора изображений I1’-I6’ данные о положении для сравнения участков на изображении будут заданы в системе координат, специфичной для камеры, которая захватила это изображение. Чтобы ЦП 304 мог определить положение мяча на площадке из данных о положении и ориентации, ЦП 304 должно быть доступно соотношение между системами координат для каждой камеры 100. Опять, соотношение между различными системами координат определяется относительными положениями камер, и, следовательно, относительные положения камер должны быть доступны ЦП 304.
ЦП 304 может получить множество доверительных значений, при попытке определить соответствующие участки на изображении. Доверительные значения могут соответствовать, например, цвету мяча, форме мяча или узору мяча, и позволят ЦП 304 сфокусировать процесс определения узора мяча на областях изображения, где, вероятно, могут быть найдены соответствующие участки. Например, если из данных, хранящихся в модуле 306 памяти шаблона мяча, ЦП 304 известно, что поверхность мяча в основном белого цвета, то ЦП 304 может искать только светлые участки изображения. Как вариант, ЦП 304 может определить конкретные цвета, которые отсутствуют на поверхности мяча, и, таким образом, предотвратить обработку областей изображения, в которых появляются эти цвета. Это дает преимущество, заключающееся в том, что сокращается обработка, требуемая ЦП 304 при поиске соответствующих участков на изображении.
n
n
n-1
n-1
n
n
n
n
ЦП 304 так же может сфокусировать процесс определения узора мяча на областях каждого изображения в наборе изображений I1’-I6’, где мяч, вероятно, расположен в районе положения мяча на предыдущих захваченных изображениях, которые хранятся в памяти 302. Например, если мяч обнаружен в точке с координатами (х, y) на изображении I1’, захваченном в момент времени t отдельной камерой 100, то ЦП 304 может начать поиск мяча в заданной области, расположенной вблизи точки с координатами (х, у) на следующем изображении I1’, захваченном в момент времени t отдельной камерой 100. Также может использоваться заданное положение мяча, по меньшей мере, на одном другом изображении в том же наборе изображений I1’-I6’, по меньшей мере, одном изображении, захватываемом другой камерой 100. Как вариант, может использоваться любая другая известная в этой области техники технология прогнозируемой обработки изображений. Опять, это дает преимущество, заключающееся в том, что сокращается обработка, требуемая ЦП 304 при поиске соответствующих участков на изображении, так как выбрана разумная начальная точка. Также положение мяча будет определено быстрее.
n
n
ЦП 304 также может устранять шум и/или ошибочные мячи с каждого изображения, используя, например, доверительные значения или используя любой другой подходящий способ, известный в этой области техники. Такие способы могут включать в себя использование данных только из одного изображения или могут включать в себя использование данных из множества изображений. Множество изображений может включать в себя изображения из того же набора I1’-I6’ или может включать в себя изображения из разных наборов, захваченных в различные моменты времени.
n
n
n
Для определения траектории (иногда именуемой скоростью, где под скоростью понимают скорость и направление) мяча на площадке во время интервалов времени, в которые мяч скрыт из вида всех камер, первая последовательность изображений захватывается камерами 100 с первой заданной частотой кадров непосредственно перед интервалом времени, в течение которого мяч скрыт. Эту первую последовательность изображений сохраняют в памяти 302. Затем, вторая последовательность изображений захватывается камерами 100 со второй заданной частотой кадров непосредственно после интервала времени, в течение которого мяч скрыт. Эту вторую последовательность изображений также сохраняют в памяти 302. Для каждого отдельного набора изображений I1’-I6’, захваченных в момент времени t и сохраненных в памяти 302, положение мяча на площадке определяется ЦП 302 в соответствии с тем, как описано выше.
n
n
m
m
n
n
n
n
n
n
n-1
n-1
n-1
n
n-1
Затем ЦП 304 определяет скорость и направление мяча непосредственно перед интервалом времени, в течение которого мяч скрыт, используя заданное положение мяча для каждого набора изображений I1’-I6’ в первой последовательности изображений вместе с первой заданной частотой кадров. Также ЦП 304 определяет скорость и направление мяча непосредственно после интервала времени, в течение которого мяч скрыт, используя заданное положение мяча для каждого набора изображений I1’-I6’ во второй последовательности изображений вместе со второй заданной частотой кадров. Например, для последовательности изображений ЦП 304 может определить скорость мяча в момент времени t, когда был захвачен набор изображений I1’-I6’, путем вычисления разницы между положением мяча на площадке, определенным из набора изображений I1’-I6’, захваченных в момент времени t, и положением мяча на площадке, определенным из предыдущего набора изображений I1’-I6’, захваченных в момент времени t. Затем ЦП 304 делит эту разницу на интервал времени t-t, который для последовательно захваченных наборов изображений равен обратной величине заданной частоты кадров.
Скорость и направление мяча также совместно могут именоваться как скорость мяча.
Используя данные о характеристике воздействия на мяч совместно с определенными скоростями до и после интервала времени, в течение которого мяч был скрыт, ЦП 304 может определить положение мяча во время этого интервала. Данные о характеристике воздействия хранятся в памяти 302 и включают в себя любые данные, пригодные для моделирования траектории мяча в случае, когда мяч подвергается воздействию импульса в то время, когда он скрыт (например, если он ударяется о штангу или если по нему ударяют ногой). Данные о характеристике воздействия могут содержать, например, давление, которому подвергся мяч, информацию об аэродинамике мяча, или как в зависимости от различных температур и при различных погодных условиях изменяются упругие свойства материала, из которого изготовлен мяч. Данные о характеристике воздействия определяют экспериментально, исследуя мяч перед началом футбольного матча, при этом данные показывают величину деформации, которой подвергается мяч при приложении заданной силы воздействия для любого данного момента времени после воздействия.
n
n
Определение траектории скрытого мяча может выполняться автоматически для интервалов времени, в которые ЦП 304 определяет, что мяч не виден. Затем, в случае, если полученная траектория показывает, что весь мяч пересек всю линию ворот, на головную гарнитуру 208 может быть отправлен сигнал, обозначающий гол. Как вариант, чтобы снизить затраты на обработку, определение траектории скрытого мяча может быть инициировано вручную в случаях, когда мяч становится скрытым, находясь очень близко к линии ворот. Такой ручной подход возможен, так как наборы скорректированных изображений I1’-I6’, захваченные при заданной частоте кадров, могут сохраняться в памяти 302 на заданный период времени, например, на 30 секунд, так чтобы быть доступными, если потребуется.
Данные, содержащиеся в модуле 306 памяти шаблона мяча, которые служат признаком характерного узора поверхности мяча, могут быть изменены или обновлены для футбольных мячей с различными характерными узорами (например, для обычных мячей и для мячей повышенной заметности). Более того, у различных производителей мячи имеют различный дизайн. Поэтому, для любого числа различных мячей и мячей, имеющих различный дизайн, в модуле 306 памяти хранится библиотека шаблонов мячей. Такая замена или обновление может производиться, например, с применением модуля 306 памяти шаблона мяча, который является физически съемным и заменяемым модулем памяти, или с применением модуля 306 памяти шаблона мяча, выполненного с возможностью получения новых или обновленных данных в электронном виде из внешнего источника, такого как внешний компьютер (не показан). В случае если модуль 306 памяти шаблона мяча выполнен с возможностью получения новых или обновленных данных в электронном виде, это может выполняться через проводное или беспроводное соединение между внешним источником и модулем 306 памяти шаблона мяча.
Чтобы обновить память 302 данными, показывающими, например, положения камер 100, различные параметры камер 100 и данные о характеристике воздействия на мяч, необходимо, чтобы контроллер 204 имел пользовательский интерфейс (не показан), чтобы такие данные можно было ввести в контроллер 204. Пользовательский интерфейс может содержать, например, обычный дисплей, клавиатуру и мышь или сенсорный интерфейс.Так как решение о засчитывании или не засчитывании гола принимается ЦП 304 исходя из того, находится ли центр мяча за линией ворот на расстоянии большем, чем радиус мяча, то в вариантах осуществления данные, показывающие радиус мяча, содержатся либо в памяти 302, либо в модуле 306 памяти шаблона мяча контроллера 204.
На фиг.4А-4С схематично показаны положения калибровочных контрольных отметок в соответствии с одним вариантом осуществления изобретения.
На фиг.4А схематично показан вид с боковой стороны ворот. Калибровочные контрольные отметки 402 размещены на или рядом с вершиной каждой опоры 116 сетки ворот и внизу каждой штанги 120. Контрольные отметки 402 могут быть размещены в других местах. Тем не менее, важно, чтобы такие места выбирались так, чтобы контрольные отметки 402 были неподвижными на площадке, чтобы любое изменение положения контрольной отметки 402 между одним захваченным изображением и следующим возникало из-за движения камеры 100, а не из-за движения контрольной отметки. Каждую контрольную отметку 402 размещают так, чтобы она была отчетливо видна, по меньшей мере, одной из камер 100 (то есть в полной мере видна, по меньшей мере, одной камере 100, так чтобы калибровочный компьютер 202 камеры мог надежно определить местоположение контрольной отметки 202).
В одном варианте осуществления каждая из камер 100 должна быть способна отчетливо видеть множество контрольных отметок 402, так чтобы на захваченных изображениях можно было эффективно компенсировать движение камеры, даже если одна или несколько контрольных отметок 402 скрываются из поля зрения камеры. Например, контрольные отметки 402 и камеры 100 могут быть размещены так, что каждая камера 100 может видеть одну контрольную отметку 402 внизу штанги 120 и одну контрольную отметку 402 на каждой опоре 116 сетки ворот. Действительно, при размещении контрольных отметок 402 на вершине каждой опоры 116 сетки ворот вероятность того, что на захваченных изображениях контрольные отметки 402 переместятся или будут перекрыты, очень мала.
На фиг.4В схематично показан увеличенный вид контрольных отметок 402 на вершине одной из опор 116 сетки ворот. Две контрольные отметки 402 показаны размещенными так, что каждая контрольная отметка 402 явно попадает в поле зрения различных камер 100 (для ясности камеры 100 показаны намного ближе к контрольным меткам, чем на самом деле). В одном варианте осуществления на вершине опоры 116 сетки ворот может быть размещено большее число контрольных отметок 402, так чтобы каждая попадала в поле зрения различных камер 100.
На фиг.4С схематично показан увеличенный вид контрольной отметки 402 внизу одной из штанг 120. Контрольная отметка 402 показана на фиг.4С с фронтального вида. Каждую контрольную отметку 402, соответствующую отдельной камере 100 размещают таким образом, чтобы она была сориентирована так, чтобы попадать в поле зрения камеры в основном фронтальным видом. Это позволит калибровочному компьютеру 202 камеры, подключенному к камере 100, легче определять положение контрольной отметки 402. Как и на фиг.4В, в предпочтительном варианте осуществления внизу опоры 116 сетки ворот может быть размещено большее число контрольных отметок 402, чем показано, так чтобы каждая отметка попадала в поле зрения различных камер 100.
Как показано на фиг.4А-4С, в одном варианте осуществления контрольная отметка 402 представляет собой прямоугольник, состоящий из светлоокрашенного внутреннего прямоугольника с темной прямоугольной границей. Это позволяет сделать обнаружение положения контрольной отметки 402 на каждом изображении легче, так как имеется конкретный шаблон отметки. Более того, чтобы еще более упростить захват контрольной отметки 402 на каждом изображении, контрольная отметка 402 также может быть выполнена флюоресцирующей и/или отражающей. Размещение контрольных отметок 402 на вершине держателей 116 сетки ворот и внизу штанг 120 является предпочтительным, так как в отличие от других частей ворот эти части совершают очень незначительное движение во время футбольного матча.
На фиг.5А схематично изображен футбольный мяч с характерным узором на его поверхности. В этом конкретном примере узор 502 состоит из темных шестиугольников на светлом фоне. Данные, указывающие характерный узор 502, содержатся в модуле 306 памяти шаблона мяча.
На фиг.5В схематично показана площадка 504 во время футбольного матча, на которой футбольный мяч 500 частично скрыт из вида препятствием 506 (в этом случае препятствие является нога футболиста). В случае, когда изображение площадки захвачено камерой 100, скорректировано калибровочным компьютером 202 камеры, подключенным к камере, а затем передано на контроллер 204, ЦП 304, расположенный в контроллере, обработает изображение, чтобы найти данные о положении и ориентации мяча на изображении, исходя из данных, указывающих характерный узор 502 мяча, хранящихся в модуле 306 памяти шаблона мяча, как было описано выше.
На фиг.5С схематично показан увеличенный вид площадки 504, который включает в себя мяч 500 и препятствие 506. Также на фиг.5С показаны участки 508, 510 изображения площадки, соответствующие характерному узору 502 мяча, и которые, следовательно, обнаружены ЦП 304. Эти подходящие участки 508, 510 соответствуют мячу на изображении площадки. Во многих случаях, где препятствие 506 больше, может быть виден и, следовательно, различим ЦП 304 только один из подходящих участков 508, 510.
Более того, в течение матча изменяются условия освещенности на площадке. Эти изменения освещенности могут привести к тому, что цвета мяча могут стать темнее или светлее. Действительно, если на футбольном поле включено искусственное освещение, то цвет мяча может стать светлее и иметь высветленные зоны там, где искусственный свет отражается от мяча. Чтобы принять это в расчет, к характерному узору мяча, сохраненному в модуле 306 памяти, применяют алгоритм осветления для корректировки с учетом этих изменений. Такие алгоритмы известны в области обработки изображений, так что не будут описаны в этом документе.
n
n
Как было описано выше, ЦП 304 может использовать полученные данные о положении и ориентации мяча на каждом изображении из набора изображений I1’-I6’, чтобы определить реальное положение центра 512 мяча 500 на площадке.
n
n
На фиг.6А-6С схематично показан пример данных об ориентации изображения мяча на площадке. На фиг.6А опять схематично изображен футбольный мяч 500 с характерным узором на 502. Показаны просматриваемые участки 600 и 602, каждый из которых содержит участок 604 и 606 характерного узора соответственно. Предполагается, что для отдельного изображения площадки в захваченном наборе изображений I1’-I6’, просматриваемые участки 600, 602 представляют собой только видимые участки мяча на изображении. В соответствии с тем, что уже описано, участки 604 и 606 характерного узора на просматриваемых участках 600, 602 выделяются ЦП 304 и определяются данные о положении для каждого просматриваемого участка 600, 602. В этом примере участки 604 и 606 характерного узора составляют данные об ориентации мяча 500 на изображении.
На фиг.6В и 6С схематично показан увеличенный вид просматриваемых участков 600 и 602 соответственно. ЦП 304 сопоставляет каждый участок 604, 606 характерного узора с соответствующими участками данных, указывающих характерный узор 502, хранящихся в модуле 306 памяти шаблона мяча. Тогда в сочетании с данными о положении для каждого просматриваемого участка 600, 602 ЦП 304 обладает достаточной информацией, чтобы определить положение центра 512 мяча 500 на изображении. Это имеет место, потому что при заданных данных о положении для каждого просматриваемого участка 600 и 602 на изображении только одно положение центра 512 мяча 500 может обеспечить специфичные участки 604 и 606 характерного узора на каждом соответствующем просматриваемом участке 600 и 602.
n
n
Для простоты на фиг.6А-6С показано, как ЦП 304 определяет положение центра мяча на одном изображении из набора изображений I1’-I6’, используя данные о положении и ориентации мяча только на этом изображении. Теме не менее, было бы невозможно определить трехмерное положение центра мяча на площадке по одному изображению, так как само захваченное изображение является всего лишь двумерным. Более того, если например, на захваченном изображении был виден только просматриваемый участок 600, то для ЦП 304 было бы очень трудно точно определить положение центра мяча на площадке, так как, вероятно, существовало бы множество положений мяча, которые задают, по сути, участок 604 характерного узора на просматриваемом участке 600.
n
n
В действительности, поэтому ЦП 304 выполнен с возможностью использовать данные о положении и ориентации мяча для каждого изображения из захваченного набора изображений I1’-I6’вместе с положениями и различными установками параметров камер 100, чтобы определить трехмерное положение центра мяча на площадке. Например, если существует первый просматриваемый участок с первым участком характерного узора на первом изображении вместе со вторым просматриваемым участком со вторым участком характерного узора на втором изображении, то ЦП 304 способен определить положение центра мяча на площадке, исходя из данных о положении и участка характерного узора и для первого и для второго просматриваемых участков, используя тот же принцип, что описан на фиг.6А-6С. Так как использовались два отдельных изображения (от отдельных камер), то можно определить трехмерное положение центра мяча на площадке.
n
n
n
n
На фиг.7 схематично показана полученная ЦП 304 траектория мяча в течение интервала времени, во время которого мяч скрывается из вида камер 100. Рассматривается мяч, скрытый в момент времени t, когда положение мяча на площадке не может быть точно определено ЦП 304 из набора изображений I1’-I6’, захваченных камерами 100 в момент времени t. Например, мяч может быть окружен большим числом препятствий, так что ни одна часть мяча не видна ни одной камере 100. Как вариант, мяч может быть виден только одной камере 100, в этом случае у ЦП 304 не имеется достаточно данных о положении и ориентации, чтобы определить положение мяча на площадке.
1
1
2
2
1
2
1
2
На фиг.7 показан мяч 500 с центром 512, входящий в область 700 по входной траектории 702 и покидающий скрытую область 700 по выходной траектории 704. ЦП 304 может определить скорость v мяча в момент времени t непосредственно перед тем, как он станет невидимым в скрытой области 700, и скорость v мяча в момент времени t непосредственно после того, как он был невидимым в скрытой области 700, как было объяснено выше. Тогда ЦП 304 может определить скрытую траекторию 708 мяча в скрытой области 700, используя, по меньшей мере, одно обнаруженное положение мяча на площадке в моменты времени t и t, полученную скорость мяча в моменты времени t и t и данные о характеристике воздействия на мяч, сохраненные в памяти 302.
В примере на фиг.7 линия 706 ворот расположена в скрытой области 700. Скрытая траектория 708, определенная ЦП 304 показывает, что центр 512 мяча 500 пересек линию 708 ворот во время интервала времени, в течение которого мяч был скрыт, и поэтому гол был засчитан. Таким образом, варианты осуществления настоящего изобретения позволяют определить, пересек ли мяч линию ворот, даже во время интервалов времени, в течение которых мяч был скрыт из вида камер 100.
При известных ускорениях, скоростях, положениях и относительном времени для входной и выходной траекторий система способна интерполировать информацию о положении/времени путем вычисления сил, действующих на мяч, во время смены траектории. При известных силах, действующих на мяч можно вычислить сжатие мяча и положение/время, когда объект вошел в контакт с мячом.
v
v
v
Так, если известно, что перед тем, как стать невидимым, мяч перемещался со скоростью 1, то известен угол траектории скорость мяча. Если известно, что после того, как стать опять видимым, мяч перемещался со скоростью 2, то известен угол траектории скорость мяча. Так как подразумевается, что в течение скрытого периода к мячу была приложена сила (например, либо вследствие того, что мяч отскакивает от объекта, либо вследствие того, что игрок ударяет по мячу), так что мяч может перемещаться со скоростью 2, то положение, в котором была приложена сила, полагается равным наибольшему расстоянию, пройденному мячом.
v
Так как изменение скорости мяча является результатом приложения к мячу силы, то можно вычислить приложенную к мячу силу. Дополнительно, так как скорость 2 (то есть скорость и направление) мяча известна, то можно осуществить экстраполяцию, когда сила была приложена к мячу. Соответственно, может быть вычислено самое дальнее положение мяча.
Дополнительно, при известном сжатии мяча можно дополнительно установить, когда сила была приложена к мячу. Например, если сила была приложена непосредственно перед тем, как мяч опять стал видимым, мяч будет деформированным из-за прикладывания силы. Однако если сила была приложена непосредственно после того, как мяч скрылся, то мяч восстановит большую часть своей формы, поэтому будет выглядеть менее деформированным. Величину деформации мяча вычисляют в соответствии с давлением мяча (и любой другой соответствующей характеристикой воздействия) и приложенной к мячу силой.
Теперь будет кратко описано функционирование системы в соответствии с фиг.8. Во время игры все камеры 100 захватывают изображения с различных точек обзора ворот, как показано на этапе 800. Также камеры 100 захватывают контрольные отметки 402, расположенные на основании штанги и на вершинах опор 116 сетки ворот. Для каждого изображения определяют положение на изображении, по меньшей мере, одной контрольной отметки 402, как показано на этапе 802. Так как предполагается, что контрольные отметки 402 неподвижны на площадке, то любое движение контрольных отметок 403 между последовательными изображениями происходит из-за движения камер 100. На этапе 804 разница в положении, по меньшей мере, одной контрольной отметки 402, захваченной каждой камерой 100 на последовательных изображениях, используется для определения преобразования движения. Другими словами, так как движение контрольных отметок 402 на изображении происходит из-за движения камеры 100, то все остальные пикселы изображения сдвигаются на ту же величину. Поэтому к положению каждого пиксела на захваченном изображении применяют преобразование движения.
После того, как преобразование движения применено к каждому пикселу, определяют участки каждого изображения, соответствующие характерному узору поверхности мяча, определяют данные о положении и ориентации для каждого соответствующего участка, как показано на этапе 806. Данные о положении и ориентации для каждого изображения затем используют для определения положения мяча на площадке, как показано на этапе 808. Определение соответствующих участков, определение данных о положении и ориентации для соответствующих участков и последующее определение положения мяча на площадке объяснено со ссылкой на фиг.3 и 5А-6С.
На этапе 810, исходя из полученного положения мяча на площадке, принимают решение о том, пересек ли весь мяч всю линию ворот или нет. В случае если сочли, что весь мяч пересек всю линию ворот, то тогда вырабатывают сигнал, обозначающий гол, как показано на фиг.812. Этот сигнал, обозначающий гол, затем отправляют на головную гарнитуру арбитра.
Несмотря на то что вышеизложенное было объяснено со ссылкой на линии ворот, изобретение этим не ограничено. В частности, в вариантах осуществления арбитр мог бы получить указание на то, что мяч пересек любую линию на поле для игры, как например, линию вброса или центральную линию вброса и т.п.
Хотя вышеизложенное было объяснено со ссылкой на мячи, может быть предусмотрен спортивный снаряд любого типа, как например, волан или хоккейная шайба.
Поскольку описанные выше варианты осуществления изобретения реализованы, по меньшей мере, частично, с использованием устройства обработки данных, управляемого программно, надо принять во внимание, что компьютерная программа, обеспечивающая такое программное управление и передачу, запоминающее устройство или другой носитель, посредством которого такая программа предоставляется, предусматривают в качестве аспектов настоящего изобретения.
Очевидно, что в свете вышеизложенных идей возможно множество модификаций и изменений настоящего описания. Поэтому необходимо понимать, что, попадая под объем прилагаемой формулы изобретения, изобретение может использоваться иначе, чем было описано конкретно в этом документе.
Поскольку варианты осуществления изобретения были описаны как реализуемые, по меньшей мере, частично, с использованием устройства обработки данных, управляемого программно, надо принять во внимание, что постоянный машинный носитель информации, содержащий программное обеспечение, такой как оптический диск, магнитный диск, полупроводниковая память и т.п. также рассматривают как вариант осуществления настоящего изобретения.