ПРИЕМНОЕ УСТРОЙСТВО И СИСТЕМА КАМЕРЫ
RECEIVING DEVICE AND CAMERA SYSTEM

Область техники, к которой относится изобретение
Настоящее изобретение относится к приемному устройству и системе камеры для передачи видео.
Уровень техники
В последнее время востребована передача видео с малой задержкой для трансляции прямых передач.
Что касается линии передачи, то востребована передача по асинхронным линиям связи, таким как ЛВС (LAN), Интернет или IP-сети, например NGN, ввиду эффективности затрат и т.п.
В ответ на эти требования был предложен линейный кодек в качестве кодека с малой задержкой (см. Патентную Литературу 1).
Что касается многокамерной системы камеры или видеомагнитофона (VTR), в приемном устройстве предусмотрен вход сигнала синхронизации для синхронизации выходной фазы каждого устройства. Таким образом, необходимо, чтобы выходной видеосигнал был синхронизирован с сигналом синхронизации.
Список ссылочной литературы
ПАТЕНТНАЯ ЛИТЕРАТУРА
Патентная Литература 1: JP 2008-028541 A
Патентная Литература 2: JP 2006-325020 A
Патентная Литература 3: JP H11-275461 A
Патентная Литература 4: JP H01-255382 A
Патентная Литература 5: JP 2006-217384 A
Патентная Литература 6: JP H11-275461 A
Сущность изобретения
ТЕХНИЧЕСКАЯ ЗАДАЧА
Однако, когда устройство A, которое является источником видео (например, камера или видеомагнитофон), не соответствует устройству B, которое является получателем входного сигнала синхронизации, то если видео передают между двумя устройствами, выходной видеосигнал от устройства B не будет корректно синхронизирован с сигналом синхронизации, пока не будет учтена задержка передачи.
В качестве примера будет приведена система, включающая в себя камеру, как устройство A, и блок управления камерой (БУК (CCU)), как устройство B. Для корректной синхронизации исходящего видео с сигналом синхронизации известна технология, в которой, когда блок управления камерой соединяют с камерой, фазу сигнала синхронизации в камере устанавливают с опережением на величину задержки, вызываемую кабелем и т.п., и, таким образом, синхронизируют видеовыход с входящим сигналом синхронизации блока управления камерой (например, см. Патентную Литературу 4 и 5).
Однако данная технология не может быть использована, когда устройство A и устройство B соединены асинхронной линией передачи. Это происходит потому, что в асинхронной линии передачи задержка передачи не является постоянной и изменяется, и данные изменения должны быть поглощены. Если не принимать во внимание задержку передачи, то может возникнуть эффект, когда при увеличении величины задержки видеоинформация не достигнет устройства B даже по достижении времени, когда видео должно быть выведено, и, таким образом, видео будет искажено.
Когда данные от кодека передают с использованием асинхронной линии передачи, такой как IP-сеть, есть множество непредсказуемых компонентов задержки, таких как случайные искажения (дрожание) в кодекс и случайные искажения (дрожание) в линии передачи.
Учитывая это, предложена технология для выполнения устойчивого декодирования, предусматривающая буфер в области данных и осуществляющую синхронизацию (например, см. Патентную Литературу 2).
Однако в соответствии с технологией, раскрытой в вышеприведенной Патентной Литературе 2, несмотря на то, что можно получить устойчивый сигнал на видеовыходе, невозможно получить видео, синхронизированное с входным опорным сигналом синхронизации.
Следовательно, для получения видео на выходе от декодера, которое будет синхронизировано с входным опорным сигналом синхронизации, необходима технология синхронизации видео с использованием кадрового буфера (например, см. Патентную Литературу 3).
Когда кадровый буфер используют для синхронизации выходящей фазы декодера с фазой входного сигнала, задержка на один кадр будет сгенерирована в кадровом буфере.
В частности, такая задержка в кадровом буфере является существенно большой задержкой для устройства передачи видео с малой задержкой, которое использует кодек с малой задержкой и у которого величина задержки составляет несколько линий. Таким образом, такая задержка является большой проблемой для системы передачи с малой задержкой, в которой наиболее значимым признаком является малая задержка.
Кроме того, если синхронизацию выполняют, когда устройство и устройство соединены асинхронной линией передачи, то возникает проблема в том, что, при использовании способа, описанного в Патентной Литературе 3, время задержки от видеовыхода устройства A до видеовхода устройства B будет невозможно настроить на необходимое значение.
Более того, когда продолжительность хранения видеосигналов в кадровом буфере слишком коротка, изменения в задержке передачи не могут быть совмещены, и, таким образом, выводимое видео может быть искажено в случае, когда буфер опустошен или переполнен.
Настоящее изобретение было сделано с учетом вышеописанных проблем, и предметом настоящего изобретения является предложение приемного устройства и системы камеры, способных приспосабливаться к дрожанию задержки передачи в асинхронной линии передачи и способных получать выводимое видео, синхронизированное с входным сигналом синхронизации.
РЕШЕНИЕ ЗАДАЧИ
Для решения вышеописанных задач, согласно одному аспекту настоящего изобретения, предложено приемное устройство, включающее в себя блок декодирования для декодирования видеоданных, передаваемых по линии передачи, блок синхронизированного вывода, синхронизирующий видеоданные, декодированные блоком декодирования, с опорным сигналом синхронизации и выводящий видеоданные, блок получения информации о задержке передачи, получающий информацию, относящуюся к задержке в линии передачи, из входных закодированных данных и информации о времени, и блок передачи сигнала синхронизации, который определяет фазовую информацию для управления фазой входного опорного сигнала синхронизации на основе информации, полученной блоком получения информации о задержке передачи, и передачу фазовой информации по линии передачи.
Блок получения информации о задержке передачи может включать в себя блок измерения задержки передачи, измеряющий время задержки в линии передачи, и блок передачи сигнала синхронизации может определять время, необходимое для передачи, из времени задержки, полученной блоком измерения задержки передачи, и определять фазовую информацию для генерирования сигнала синхронизации, который сдвинут вперед относительно входного опорного сигнала синхронизации на время, необходимое для передачи.
В закодированные данные может быть добавлена информация о времени, и информацию о времени передают в линию передачи. Блок измерения задержки передачи может, на основе информации о времени, добавленной к закодированным данным, и информации о времени приема закодированных данных, выполнять процесс измерения времени задержки в линии передачи множество раз и осуществлять статистическую обработку последовательности множества измеренных времен задержки для определения времени, необходимого для передачи, как допустимого времени задержки передачи. Блок передачи сигнала синхронизации может установить допустимое время задержки передачи, в качестве опережающей фазы сигнала синхронизации, как время, необходимое для передачи, преобразовать входной опорный сигнал синхронизации во время и передать информацию о времени, как фазовую информацию, по линии передачи, и информацию о времени используют для генерирования сигнала синхронизации, сдвинутого вперед на время опережения фазы, необходимого для передачи.
По меньшей мере, линия передачи и блок декодирования могут составлять блок кодека, и величина задержки в блоке кодека может быть предварительно установлена как величина задержки кодека. Блок передачи сигнала синхронизации может определить, в качестве времени, необходимого для передачи, сумму допустимого времени задержки передачи, полученного блоком измерения задержки передачи, и величины задержки кодека и определить фазовую информацию для генерирования сигнала синхронизации, который сдвинут вперед относительно входного опорного сигнала синхронизации на время, необходимое для передачи, и передать фазовую информацию по линии передачи.
В закодированные данные может быть добавлена информация о времени, и информацию о времени передают в линию передачи. Блок измерения задержки передачи, на основе информации о времени, добавленной к закодированным данным, и информации о времени приема закодированных данных, может выполнять процесс измерения времени задержки в линии передачи множество раз и выполнять статистическую обработку последовательности множества измеренных времен задержки для определения допустимого времени задержки передачи как времени, необходимого для передачи. Блок передачи сигнала синхронизации может установить сумму времени допустимого времени задержки передачи и предварительно заданной величины задержки кодека, в качестве опережения фазы сигнала синхронизации, как времени, необходимого для передачи, преобразовать входной опорный сигнал синхронизации во время и передать информацию о времени, как фазовую информацию, по линии передачи, и информацию о времени используют для генерирования сигнала синхронизации, сдвинутого вперед на время опережения фазы, необходимого для передачи.
Блок передачи сигнала синхронизации может записывать время входного опорного сигнала синхронизации для каждого импульса синхронизации и отправлять время в линию передачи.
Приемное устройство может дополнительно включать в себя блок вычисления величины управления фазой, который определяет, на основе информации, полученной блоком получения информации задержки передачи, величину управления фазой для настройки фазы входного опорного сигнала синхронизации. Блок передачи сигнала синхронизации может, на основе величины управления фазой, управлять фазой опорного сигнала синхронизации и передавать отрегулированную фазовую информацию по линии передачи.
Приемное устройство может дополнительно включать в себя блок вычисления статистики, который вычисляет статистическую информацию для информации, относящейся к задержке в линии передачи. Блок вычисления величины управления фазой может определять величину настройки фазы на основе статистической информации.
Приемное устройство может дополнительно включать в себя блок вычисления статистики, который вычисляет статистическую информацию для информации, относящейся к задержке в линии передачи, блок отображения, отображающий статистическую информацию, и блок управления, который получает вводимую величину управления на основе отображения блоком отображения. Блок вычисления величины управления фазой может определять величину управления фазой на основе статистической информации и величины управления.
Блок передачи сигнала синхронизации может включать в себя контроллер фазы, который управляет фазой опорного сигнала синхронизации на основе величины управления фазы, и контроллер фазы может управлять фазой опорного сигнала синхронизации так, что целевую величину управления фазой получают мгновенно.
Блок передачи сигнала синхронизации может включать в себя контроллер фазы, который управляет фазой опорного сигнала синхронизации на основе величины управления фазой, и контроллер фазы может управлять фазой опорного сигнала синхронизации так, что целевую величину управления фазой получают поэтапно.
Информация, относящаяся к задержке в линии передачи, может быть временем задержки в линии передачи или уровнем использования буфера, хранящего закодированные данные.
Для решения вышеуказанных задач, согласно другому аспекту настоящего изобретения, предложена система камеры, включающая в себя блок формирования изображений, выполняющий формирование изображений для получения видеосигнала, линию передачи, передающее устройство, посылающее в линию передачи закодированные данные видеосигнала, полученного при формировании изображений блоком формирования изображений, и приемное устройство, принимающее закодированные данные. Передающее устройство может включать в себя блок кодирования, преобразующий входной видеосигнал в закодированные данные и посылающий закодированные данные в линию передачи, и блок генерирования сигнала синхронизации, генерирующий, на основе фазовой информации, передаваемой по линии передачи, сигнал синхронизации для настройки фазы входного видеосигнала, полученного блоком формирования изображений. Фазовая информация может включать в себя информацию, указывающую, что тайминг сигнала синхронизации, сгенерированного блоком генерирования сигнала синхронизации, должен быть сдвинут вперед на время, необходимое для передачи. Приемное устройство может включать в себя блок декодирования, декодирующий закодированные видеоданные, передаваемые по линии передачи, блок синхронизированного вывода, синхронизирующий видеоданные, декодированные блоком декодирования, с опорным сигналом синхронизации и выводящий видеоданные, блок получения информации о задержке передачи, получающий информацию, относящуюся к задержке в линии передачи, из входных закодированных данных и информации о времени, и блок передачи сигнала синхронизации, определяющий фазовую информацию для настройки фазы входного опорного сигнала синхронизации на основе информации, полученной блоком получения информации о задержке передачи, и передачи фазовой информации по линии передачи.
Фазовая информация может включать в себя информацию, указывающую, что тайминг сигнала синхронизации, сгенерированного блоком генерирования сигнала синхронизации, должен быть сдвинут вперед на время, необходимое для передачи. Блок генерирования сигнала синхронизации может генерировать сигнал синхронизации так, чтобы входной видеосигнал был сдвинут вперед на время, необходимое для передачи. Блок получения информации о задержке передачи может включать в себя блок измерения задержки передачи, измеряющий время задержки в линии передачи. Блок передачи сигнала синхронизации может определить время, необходимое для передачи, из времени, полученного блоком измерения задержки передачи, и определить фазовую информацию для генерирования сигнала синхронизации, сдвинутого вперед относительно входного опорного сигнала на время, необходимое для передачи.
Передающее устройство может дополнительно включать в себя блок добавления информации о времени, который добавляет в закодированные данные информацию о времени, посылаемую в линию передачи. Блок измерения задержки передачи может, на основе информации о времени, добавленной к закодированным данным, и информации о времени приема закодированных данных, выполнять процесс измерения времени задержки в линии передачи множество раз и выполнять статистическую обработку последовательности множества измеренных времен задержки для определения допустимого времени задержки передачи как времени, необходимого для передачи. Блок передачи сигнала синхронизации может установить допустимое время задержки передачи, как сдвинутую вперед фазу сигнала синхронизации, в качестве времени, необходимого для передачи, преобразовать входной опорный сигнал синхронизации во время и передать информацию о времени, как фазовую информацию, на передающее устройство по линии передачи, и информация о времени служит для генерирования сигнала синхронизации, сдвинутого вперед на время опережения фазы, необходимого для передачи. Блок генерирования сигнала синхронизации передающего устройства может, на основе информации о времени, установить фазу сгенерированного сигнала синхронизации со сдвигом вперед.
Блок кодирования, линия передачи и блок декодирования могут составлять блок кодека, и величина задержки в блоке кодека может быть предварительно установлена как величина задержки кодека. Блок передачи сигнала синхронизации может определить, в качестве времени, необходимого для передачи, сумму допустимого времени задержки передачи, полученного блоком измерения задержки передачи, и величины задержки кодека, определить фазовую информацию для генерирования сигнала синхронизации, который сдвинут вперед относительно входного опорного сигнала синхронизации на время, необходимое для передачи, и передать фазовую информацию по линии передачи.
Передающее устройство может дополнительно включать в себя блок добавления информации о времени, который добавляет в закодированные данные информацию о времени, посылаемую в линию передачи. Блок измерения задержки передачи приемного устройства может, на основе информации о времени, добавленной к закодированным данным, и информации о времени приема закодированных данных выполнять процесс измерения времени задержки в линии передачи множество раз и выполнять статистическую обработку последовательности множества измеренных времен задержки для определения допустимого времени задержки передачи как времени, необходимого для передачи. Блок передачи сигнала синхронизации может установить сумму времени допустимого времени задержки передачи и предварительно заданной величины задержки кодека, как сдвига фазы сигнала синхронизации, в качестве времени, необходимого для передачи, преобразовать входной опорный сигнал синхронизации во время и передать информацию о времени, как фазовую информацию, на передающее устройство через линию передачи, и информацию о времени используют для генерирования сигнала синхронизации, сдвинутого вперед на время опережения фазы, необходимого для передачи. Блок генерирования сигнала синхронизации передающего устройства может, на основе информации о времени, установить фазу сгенерированного сигнала со сдвигом вперед.
Приемное устройство может дополнительно включать в себя блок вычисления величины управления фазой, который определяет, на основе информации, полученной блоком получения информации задержки передачи, величину управления фазой для настройки фазы входного опорного сигнала синхронизации. Блок передачи сигнала синхронизации может, на основе величины управления фазой, управлять фазой опорного сигнала синхронизации и передавать настроенную фазовую информацию по линии передачи.
Приемное устройство может дополнительно включать в себя блок вычисления статистики, который вычисляет статистическую информацию для информации, относящейся к задержке в линии передачи. Блок вычисления величины управления фазой может определять величину управления фазой на основе статистической информации.
Приемное устройство может дополнительно включать в себя блок вычисления статистики, который вычисляет статистическую информацию для информации, относящейся к задержке в линии передачи, блок отображения, отображающий статистическую информацию, и блок управления, который получает входную величину управления на основе отображения блоком отображения. Блок вычисления величины управления фазой может определять величину управления фазой на основе статистической информации и величины управления.
ПРЕДПОЧТИТЕЛЬНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ
Согласно настоящему изобретению, может быть реализована передача видео с малой задержкой, которая может приспосабливаться к искажениям задержки передачи в асинхронной линии передачи и которая может получать выводимое видео, синхронизированное с входным сигналом синхронизации.
Краткое описание чертежей
Фиг. 1 - блок-схема, показывающая пример конфигурации системы камеры, которая заимствует устройство передачи видео согласно варианту осуществления настоящего изобретения.
Фиг. 2 - блок-схема, иллюстрирующая базовый принцип генерирования сигнала синхронизации с опережением на время, необходимое для передачи, на стороне передающего устройств согласно варианту осуществления.
Фиг. 3 - блок-схема, иллюстрирующая проблемы в существующих устройствах передачи видео.
Фиг. 4 - блок-схема алгоритма, иллюстрирующая действия при начальной загрузке устройства передачи видео согласно варианту осуществления.
Фиг. 5 - блок-схема, показывающая конфигурацию системы согласно второму варианту осуществления.
Фиг. 6 - блок-схема, показывающая конфигурацию системы согласно второму варианту осуществления.
Фиг. 7 - схематический график, показывающий пример результата статистической обработки.
Фиг. 8 - схематический график, показывающий пример результата статистической обработки.
Фиг. 9 - схематический график, показывающий пример результата статистической обработки.
Фиг. 10 - схематический график, показывающий пример результата статистической обработки.
Фиг. 11 - схематический чертеж, показывающий случай, когда величина опережения фазы изменяется мгновенно.
Фиг. 12 - схематический чертеж, показывающий случай, когда величина опережения фазы изменяется постепенно.
Фиг. 13 - временная диаграмма, показывающая сигналы для каждого тайминга в приемном устройстве 40, показанном на фиг. 6.
Фиг. 14 - блок-схема алгоритма, показывающая процесс формирования принимаемой видеоинформации для вывода величины опережения фазы.
Фиг. 15 - блок-схема алгоритма, показывающая процесс формирования входного сигнала синхронизации для передачи фазовой информации.
Подробное описание изобретения
Далее будут подробно описаны, со ссылками на приложенные чертежи, варианты осуществления настоящего изобретения. Необходимо заметить, что, в данном описании и на приложенных чертежах, конструктивные элементы, которые имеют, по существу, одинаковую функцию и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное пояснение этих конструктивных элементов будет опущено.
Необходимо заметить, что описание будет дано в следующем порядке.
Первый вариант осуществления
1. Сводная общая конфигурация системы камеры, включающей в себя устройство передачи видео
2. Пример конфигурации передающего устройства
3. Пример конфигурации приемного устройства
4. Примерные действия при начальной загрузке
Второй вариант осуществления
1. Общая конфигурация системы камеры
2. Пример статистической информации
3. Настройка величины опережения фазы на основе статистической информации
4. Процедуры обработки в системе по данному варианту осуществления
- Первый вариант осуществления
1. Сводная общая конфигурация системы камеры, включающей в себя устройство передачи видео
Фиг. 1 является блок-схемой, на которой показан пример конфигурации системы камеры, заимствующей устройство передачи видео согласно первому варианту осуществления настоящего изобретения.
Система 10 камеры включает в себя блок 20 формирования изображений, передающее устройство 30, приемное устройство 40 и линию 50 передачи.
Передающее устройство 30, принимающее устройство 40 и линия 50 передачи образуют устройство передачи видео.
Линию 50 передачи используют для передачи сигналов между передающим устройством 30 и приемным устройством 40.
В данном варианте осуществления предполагают, что линия 50 передачи является асинхронной линией передачи, такой как ЛВС (LAN), Интернет или IP-сеть, например NGN. Необходимо заметить, что асинхронная линия передачи имеет флуктуации во времени передачи, и данные флуктуации называют дрожанием.
В данном варианте осуществления сигналы, передаваемые через линию 50 передачи, являются, например, пакетированными.
Система 10 камеры в данном варианте осуществления выполнена со следующими признаками.
В системе 10 камеры, в основном, как показано на фиг. 2, сигнал SYNC синхронизации выводят от передающего устройства 30 и управляют фазой сигнала SYNC синхронизации, посредством чего управляют фазой видеосигнала, получаемого блоком 20 формирования изображения и вводимого в передающее устройство 30.
Тайминг сигнала SYNC синхронизации, выводимого от передающего устройства 30, сдвинут вперед относительно опорного сигнала RSYNC синхронизации, вводимого в принимающее устройство 40, на величину задержки, необходимую для передачи, посредством чего вводимое видео сдвинуто вперед на задержку времени, необходимого для передачи.
Соответственно, система 10 камеры может получить декодированное видео, синхронизированное с опорным сигналом RSYNC синхронизации, вводимым в принимающее устройство 40.
Кроме того, система 10 камеры объединена с функцией измерения величины задержек, генерируемых в линии 50 передачи, и вычисляет минимальную величину задержки (допустимое время задержки передачи), посредством чего реализуется передача видео с малой задержкой. Необходимо заметить, что допустимое время задержки передачи соответствует максимально допустимой задержке передачи и соответствует сумме времени задержки передачи (величиной задержки передачи) и времени ожидания в буфере 400, который поглощает дрожания в асинхронной сети.
Причины для применения вышеописанной конфигурации являются следующими.
В существующих устройствах передачи видео входящее видео имеет свободную фазу. Таким образом, видео, задержанное на время задержки, которое генерируется при кодировании, передаче и декодировании видео, выполнено с возможностью вывода через видеовыход приемника.
При использовании такой конфигурации, даже если величина задержек, генерируемых при кодировании и декодировании, подавляется до низкого уровня с использованием кодека с малой задержкой для целей передачи видео с малой задержкой, необходимо использовать буфер большего объема, чем фактически необходимый объем буфера для поглощения искажений передачи в асинхронной линии передачи.
Это происходит потому, что необходимо иметь запас, так как величина дрожания времени передачи в асинхронной линии передачи, такой как IP-сеть, является неизвестной.
Кроме того, когда необходимо синхронизировать выводимое видео от приемного устройства с опорным сигналом RSYNC синхронизации, например, когда видео от множества камер вводят в коммутатор, как показано на фиг. 3, кадровые буфера FBF для синхронизации видео должны быть предусмотрены на последней ступени декодеров DEC. Задержка, вызываемая данными кадровыми буферами FBF, будет существенной и слишком большой для использования при передаче с малой задержкой.
Таким образом, в данном варианте осуществления, тайминг сигнала SYNC синхронизации, выводимого от передающего устройства 30, сдвинут вперед относительно опорного сигнала RSYNC синхронизации, вводимого в приемное устройство 40, на величину задержки, необходимой для передачи, посредством чего входящее видео сдвинуто вперед на время задержки, необходимого для передачи.
Соответственно, система 10 камеры может получить декодированное видео, которое синхронизировано с опорным сигналом RSYNC синхронизации, вводимого в приемное устройство 40, и выполнена так, что она объединена с функцией измерения величины задержек, генерируемых в линии 50 передачи, так, что определяется оптимальная величина задержки для реализации передачи видео с малой задержкой.
Далее, будут подробно описаны конфигурации и функции блока 20 формирования изображений, передающего устройства 30 и приемного устройства 40, образующих систему 10 камер с вышеописанными признаками.
1. Конфигурация блока 20 формирования изображений
Блок 20 формирования изображений включает в себя устройство съемки изображения, такое как сенсор ПЗС (CCD) или КМОП (CMOS), и схему обработки сигналов, выполняющую обработку сигналов камеры для сигнала, который подвергся фотоэлектрическому преобразованию в устройстве съемки изображений.
Блок 20 формирования изображений выводит видеосигнал VDS, полученный при формировании изображения, на передающее устройство 30.
Блок 20 формирования изображений имеет вход для сигнала синхронизации и имеет функцию синхронизации фазы выходного видеосигнала VDS с входящим сигналом синхронизации посредством настройки тайминга съемки сенсором изображений.
Необходимо заметить, что видеосигнал VDS включает в себя видеосигнал и аудиосигнал.
2. Пример конфигурации передающего устройства 30
Передающее устройство 30 включает в себя кодировщик 31, как блок кодирования, блок 32 добавления отметки времени, как блок добавления информации о времени, блок 33 генерирования сигналов синхронизации и блок 34 хранения информации о времени.
Кодировщик 31 преобразует видеосигнал VDS в закодированные данные и выводит закодированные данные на блок 32 добавления отметки времени.
Блок 32 добавления отметки времени, опираясь на информацию о времени в блоке 34 хранения информации о времени, добавляет в закодированные данные информацию о времени как отметку времени, которая должна быть передана в линию 50 передачи, и передает закодированные данные DENC с добавленной отметкой времени в линию 50 передачи.
Блок 33 генерирования сигналов синхронизации, на основе фазовой информации, переданной от приемного устройства 40 по линии 50 передачи, генерирует сигнал SYNC синхронизации для блока 20 формирования изображений, опираясь на информацию о времени в блоке 34 хранения информации о времени. Блок 20 формирования изображений регулирует тайминг формирования изображений, посредством чего выводит на передающее устройство 30 видеосигнал VDS в фазе с входным сигналом SYNC синхронизации. Соответственно, так настраивают фазу видеосигнала VDS, вводимого в передающее устройство 30.
В данном случае, фазовая информация PHS включает в себя информацию, указывающую, что тайминг сигнала SYNC синхронизации, генерируемый блоком 33 генерирования сигналов синхронизации должен быть сдвинут вперед на время, необходимое для передачи.
Фазовую информацию PHS передают по линии 50 передачи как информацию о времени, полученного преобразованием во время опорного сигнала RSYNC синхронизации, вводимого в приемное устройство 40, для генерирования сигнала SYNC синхронизации, сдвинутого вперед на время разницы фаз, необходимого для передачи.
Фазовая информация будет описана далее более подробно.
Блок 33 генерирования сигнала синхронизации создает сигнал SYNC синхронизации созданием импульсов информации о времени на основе информации о времени, включенной в фазовую информацию PHS, и устанавливает фазу сгенерированного сигнала SYNC синхронизации, сдвинутой вперед.
В данном варианте осуществления, блок 34 хранения информации о времени передающего устройства 30 содержит информацию о времени независимо от приемного устройства 40. Данное времени является информацией, такой как дата и время, единые для всего мира. Можно установить время на правильное время с использованием технологий NTP (Network Time Protocol - Сетевой Протокол Времени), GPS (Global Positioning System - Глобальная Система Позиционирования) или RTC (Real Time Clock - Часы Реального Времени). Соответственно, информация 47 о времени приемного устройства 40 и время в информации 34 о времени настраивают так, что они становятся близки друг к другу.
3. Пример конфигурации приемного устройства 40
Приемное устройство 40 включает в себя блок 41 получения отметки времени, декодер 42 как блок декодирования, буфер 43 как блок синхронизированного вывода, блок 44 вычисления времени задержки, блок 45 преобразования времени сигнала синхронизации, ЦП 46 как блок управления и блок 47 хранения информации о времени.
Блок 41 получения отметки времени и блок 44 вычисления времени задержки образуют блок получения информации о задержке передачи (блок измерения задержки передачи).
Дополнительно, блок 45 преобразования времени задержки синхронизации и ЦП 46 образуют блок передачи сигнала синхронизации.
Кроме того, в данном варианте осуществления, кодировщик 31 и блок 32 добавления отметки времени передающего устройства 30, линия 50 передачи, блок 41 получения отметки времени и декодер 42 образуют блок кодека.
Необходимо отметить, что базовый блок кодека может быть сформирован даже тогда, когда блок 32 добавления отметки времени и блок 41 получения отметки времени не включены в него.
Передача видео с малой задержкой реализуется с использованием кодека с малой задержкой, например, LLVC. Величина задержки в блоке кодека называется "величиной задержки кодека" и меняется в соответствии с алгоритмом или настройками кодека, а также изменяется в соответствии с изображением передаваемого видео.
В приемном устройстве 40, в данном варианте осуществления, максимальное значение величины задержки кодека измеряют заранее, и максимальное значение устанавливают в качестве величины задержки кодека.
Блок 41 получения отметки времени принимает закодированные данные DENC, отправляемые передающим устройством 30 и передаваемые по линии 50 передачи, и получает добавленную информацию отметки времени, указывающую время отправки, и, кроме того, выводит ее в блок 44 вычисления времени задержки. Дополнительно, блок 41 получения отметки времени выводит закодированные данные DENC на декодер 42.
Декодер 42 декодирует принятые закодированные данные DENC и выводит декодированные данные DDEC в буфер 43.
Буфер 43, как блок вывода синхронизированного сигнала, синхронизирует видеоданные DDEC, декодированные декодером 42, с входным опорным сигналом RSYNC синхронизации и выводит их.
В данном варианте осуществления размер буфера 43 может быть сокращен до минимума.
Блок 44 вычисления времени задержки функционирует как блок измерения задержки передачи приемного устройства 40.
Блок 44 вычисления времени задержки, опираясь на информацию о времени в блоке 47 хранения информации о времени, измеряет время задержки в линии 50 передачи на основе информации о времени, добавленной к закодированным данным DENC, и информации о времени приема закодированных данных.
Блок 44 вычисления времени задержки определяет время задержки, необходимое для передачи, используя время задержки каждого пакета, передаваемого по линии 50 передачи, и выполняет их статистическую обработку. Данное значение будет называться "допустимое время задержки передачи".
Как было описано выше, блок 44 вычисления времени задержки измеряет время задержки в линии 50 передачи, непосредственно используя закодированные данные. Блок 44 вычисления времени задержки выполняет измерения для заданного промежутка времени для получения дрожания задержки передачи, и, как только аккумулировано время задержки каждого пакета, выполняет статистическую обработку последовательности времен задержки для вычисления времени задержки в линии 50 передачи.
Блок 45 преобразования времени сигнала синхронизации, опираясь на информацию о времени в блоке 47 хранения информации о времени, преобразует входной опорный сигнал RSYNC синхронизации в информацию о времени и выводит ее на ЦП 46.
ЦП 46 функционирует, в связке с блоком 45 преобразования времени сигнала синхронизации, как блок передачи сигнала синхронизации.
ЦП 46, функционирующий как блок передачи сигнала синхронизации, определяет, в качестве времени, необходимого для передачи, сумму допустимого времени задержки передачи, полученного блоком 44 вычисления времени задержки, и предварительно установленной величины задержки кодека.
ЦП 46 использует определенное таким способом время, необходимое для передачи, в качестве разности фаз сигнала синхронизации, и генерирует, в качестве фазовой информации, информацию о времени для создания сигнала синхронизации, сдвинутого вперед относительно опорного сигнала RSYNC синхронизации, преобразованного во время блоком 45 преобразования времени сигнала синхронизации, на время разницы фаз, необходимого для передачи.
Затем ЦП 46 передает сгенерированную фазовую информацию PHS на передающее устройство 30 по линии 50 передачи.
В ответ на это блок 33 генерирования сигнала синхронизации передающего устройства 30 создает сигнал SYNC синхронизации созданием импульсов информации о времени на основе информации о времени и устанавливает фазу сгенерированного сигнала SYNC синхронизации, сдвинутой вперед.
Необходимо заметить, что блок передачи сигнала синхронизации, включающий в себя блок 45 преобразования времени сигнала синхронизации и ЦП 46, записывает время входного опорного сигнала RSYNC синхронизации для каждого импульса, например, для каждого сигнала вертикальной синхронизации видеосигнала, и передает его как фазовую информацию на передающее устройство 30 по линии 50 передачи.
В данном варианте осуществления, блок 47 хранения информации о времени приемного устройства 40 содержит информацию о времени независимо от передающего устройства 30. Данное время является информацией, такой как дата и время, единые для всего мира. Можно установить время на правильное время с использованием технологий NTP, GPS или RTC. Соответственно, информацию 34 о времени передающего устройства 30 и время в информации 47 о времени настраивают так, что они становятся близки друг к другу.
Несмотря на то, что в данном варианте осуществления суммарное время допустимого времени задержки передачи, полученное блоком 44 вычисления времени задержки, и предварительно установленной величины задержки кодека определяют как время, необходимо для передачи, также возможно использование допустимого времени задержки передачи в качестве времени, необходимого для передачи.
4. Примерные действия при начальной загрузке
На фиг. 4 показана блок-схема алгоритма действий при начальной загрузке устройства передачи видео согласно данному варианту осуществления.
[Этап ST1]
Сначала, на этапе ST1, информацию о времени передающего устройства 30 и приемного устройства 40 устанавливают с помощью модулей 34 и 37 хранения информации о времени.
[Этап ST2]
Затем, на этапе ST2, проверяют, совпадает ли время в передающем устройстве 30 со временем в приемном устройстве 40.
[Этап ST3]
Если на этапе ST2 определено, что время в передающем устройстве 30 совпадает со временем в приемном устройстве 40, обработка переходит к следующему этапу ST3.
Кодировщик 31 передающего устройства 30 преобразует входной видеосигнал VDS в закодированные данные и выводит закодированные данные на блок 32 добавления отметки времени.
Блок 32 добавления отметки времени, опираясь на информацию о времени в блоке 34 хранения информации о времени, добавляет к закодированным данным информацию о времени как отметку времени, отправляемую по линии 50 передачи, и передает закодированные данные DENC с добавленной отметкой времени в линию 50 передачи.
Закодированные данные, переданные по линии 50 передачи, принимает приемное устройство 40.
[Этап ST4]
На этапе ST4 блок 41 получения отметки времени принимает закодированные данные DENC, переданные по линии 50 передачи, и получает добавленную информацию об отметке времени, указывающую время отправки, и, дополнительно, выводит ее на блок 44 вычисления времени задержки и декодер 42.
Затем, блок 44 вычисления времени задержки, опираясь на информацию о времени в блоке 47 хранения информации о времени, измеряет время задержки в линии 50 передачи на основе информации о времени, добавленной к закодированным данным DENC, и информации о времени приема закодированных данных.
Как было описано выше, блок 44 вычисления времени задержки измеряет время задержки в линии 50 передачи, непосредственно используя фактические закодированные данные.
[Этап ST5]
На этапе ST5 блок 44 вычисления времени задержки выполняет измерение в течение заданного промежутка времени для получения дрожания задержки передачи.
По истечении заданного промежутка времени обработка переходит к следующему этапу ST6.
[Этап ST6]
На этапе ST6 блок 44 вычисления времени задержки, после сбора времени задержки каждого пакета, выполняет статистическую обработку последовательности времен задержки для вычисления допустимого времени задержки передачи как времени задержки в линии 50 передачи.
Допустимое время задержки передачи подают на ЦП 46.
[Этап ST7]
На этапе ST7 ЦП 46 определяет, как время, необходимое для передачи, сумму времени допустимого времени задержки передачи, полученной блоком 44 вычисления времени задержки, и предварительно заданной величины задержки кодека.
ЦП 46 использует определенное таким образом время, необходимое для передачи, как разницу фаз сигнала синхронизации, и затем обработка переходит к следующему этапу ST8.
[Этап ST8]
На этапе ST8 блок 45 преобразования времени сигнала синхронизации, опираясь на информацию о времени в блоке 47 хранения информации о времени, преобразует входной опорный сигнал RSYNC синхронизации в информацию о времени и выводит ее на ЦП 46.
ЦП 46 генерирует, как фазовую информацию, информацию о времени для создания сигнала синхронизации, сдвинутого вперед относительно опорного сигнала RSYNC синхронизации, преобразованного во время блоком 45 преобразования времени сигнала синхронизации, на разницу фаз, необходимую для передачи.
Затем, ЦП 46 передает сгенерированную фазовую информацию PHS передающему устройству 30 по линии 50 передачи.
В ответ на это блок 33 генерирования сигнала синхронизации передающего устройства 30 создает сигнал SYNC синхронизации созданием импульсов информации о времени на основе информации о времени и устанавливает фазу сгенерированного сигнала SYNC синхронизации, сдвинутой вперед.
Необходимо заметить, что блок передачи сигнала синхронизации, включающий в себя блок 45 преобразования времени сигнала синхронизации и ЦП 46, записывает время входного опорного сигнала RSYNC синхронизации для каждого импульса синхронизации, например для каждого сигнала вертикальной синхронизации видеосигнала, и передает его, как фазовую информацию, передающему устройству 30 по линии 50 передачи.
[Этап ST9]
На этапе ST9 блок 33 генерирования сигнала синхронизации, на основе фазовой информации PHS, переданной по линии 50 передачи, генерирует сигнал SYNC синхронизации так, чтобы входной видеосигнал VDS был сдвинут вперед на время, необходимое для передачи.
Блок 33 генерирования сигнала синхронизации генерирует сигнал SYNC синхронизации созданием импульсов информации о времени на основе информации о времени, содержащуюся в фазовой информации PHS, и устанавливает фазу сгенерированного сигнала SYNC синхронизации, сдвинутой вперед.
При приеме сигнала SYNC синхронизации, выводимого блоком 33 генерирования сигнала синхронизации, блок 20 формирования изображений регулирует тайминг формирования изображений. Соответственно, блок 20 формирования изображений выводит на кодировщик 31 видеосигнал VDS, синхронизированный с фазой, сдвинутой вперед относительно опорного сигнала RSYNC синхронизации, вводимого в приемное устройство 40, на время разницы фаз, необходимого для передачи.
Кодировщик 31 передающего устройства 30 преобразует входной видеосигнал VDS в закодированные данные так, как описано выше, и выводит закодированные данные на блок 32 добавления отметки времени.
Блок 32 добавления отметки времени, опираясь на информацию о времени в блоке 34 хранения информации о времени, добавляет в закодированные данные, как отметку времени, информацию о времени, которая должна быть отправлена в линию 50 передачи, и передает закодированные данные с добавленной отметкой времени в линию 50 передачи.
Закодированные данные DENC, переданные по линии 50 передачи, принимает приемное устройство 40.
В приемном устройстве 40 блок 41 получения отметки времени принимает закодированные данные DENC, переданные по линии 50 передачи, получает информацию о добавленной отметке времени, указывающей время отправки, и, дополнительно, выводит их в блок 44 вычисления времени задержки и декодер 42.
Декодер 42 декодирует принятые закодированные данные DENC и выводит декодированные видеоданные DDEC в буфер 43.
Буфер 43, как блок вывода синхронизированного сигнала, синхронизирует видеоданные DDEC, декодированные декодером 42, с входным опорным сигналом RSYNC синхронизации и выводит их.
Как было описано выше, согласно данному варианту осуществления сигнал SYNC синхронизации выводят от передающего устройства 30 и управляют фазой сигнала SYNC синхронизации, посредством чего управляют фазой видеосигнала VDS, получаемого блоком 20 формирования изображений и вводимого в передающее устройство 30.
Тайминг сигнала SYNC синхронизации, выводимого от передающего устройства 30, сдвинут вперед относительно опорного сигнала RSYNC синхронизации, вводимого в приемное устройство 40, на величину задержки, необходимой для передачи, посредством чего вводимое видео сдвинуто вперед на время задержки, необходимого для передачи.
Таким образом, согласно данному варианту осуществления, можно получить декодированное видео, синхронизированное с опорным сигналом RSYNC синхронизации, вводимым в приемное устройство 40.
Кроме того, передачу видео с малой задержкой реализуют объединением функции измерения величин задержек, генерируемых в линии 50 передачи, и вычисления минимальной величины задержки.
Таким образом, согласно данному варианту осуществления, может быть реализована передача видео с малой задержкой, которая может приспосабливаться к дрожанию задержки передачи в асинхронной линии передачи, и выводимое видео может быть получено как синхронизированное с входным сигналом синхронизации.
- Второй вариант осуществления
1. Общая конфигурация системы камеры
Далее будет описан второй вариант осуществления настоящего изобретения. Фиг. 5 и 6 являются блок-схемами, на каждой из которых показана конфигурация системы согласно второму варианту осуществления. Как показано на фиг. 5 и 6, система согласно второму варианту осуществления включает в себя блок 20 формирования изображений (камеру), передающее устройство 30, приемное устройство 40 и линию 50 передачи. Базовые конфигурации блока 20 формирования изображений (камеры), приемного устройства 40 и линии 50 передачи совпадают с таковыми для первого варианта осуществления.
Как показано на фиг. 5, передатчик и приемник соединены асинхронной сетью. На фиг. 5 показаны конфигурации камеры и передатчика, а на фиг. 6 показана конфигурация приемника.
Как показано на фиг. 5, блок 20 формирования изображений (камера) включает в себя ПЗС 22 (устройство съемки изображения), ФАПЧ (Фазовая Автоматическая Подстройка Частоты) 24 и блок 26 видеообработки. Как и в первом варианте осуществления, передающее устройство 30 включает в себя блок 32 добавления отметки времени, блок 33 генерирования сигнала синхронизации и блок 34 хранения информации о времени.
Приемное устройство включает в себя блок 41 получения отметки времени, буфер 400, декодер 42, буфер 43, блок 410 вычисления величины задержки передачи, блок 420 вычисления статистики величины задержки передачи, блок 430 отображения статистики величины задержки передачи, блок 440 управления величиной опережения фазы, блок 450 вычисления величины опережения фазы, контроллер 460 фазы, блок 470 преобразования времени сигнала синхронизации, блок 480 измерения периода сигнала синхронизации и блок 47 хранения информации о времени. Блок 410 вычисления величины задержки передачи и блок 470 преобразования времени сигнала синхронизации соответствуют, в указанном порядке, блоку 44 вычисления времени задержки и блоку 45 преобразования времени сигнала синхронизации в первом варианте осуществления. Буфер 400 является буфером для поглощения дрожания задержки передачи, когда передачу выполняют через асинхронную сеть передачи, и поглощает изменения во времени задержки передачи. Следует заметить, что во втором варианте осуществления блок 41 получения отметки времени и блок 410 вычисления величины задержки передачи образуют блок получения информации о задержке передачи. Дополнительно, блок 470 преобразования времени сигнала синхронизации и контроллер 460 фазы образуют блок передачи сигнала синхронизации.
Во втором варианте реализации пользователь может управлять величиной опережения фазы на основе величины задержки передачи. В данном случае, как было описано выше, величиной задержки передачи является время задержки передачи в асинхронной сети. По этой причине, когда величина задержки передачи отображается блоком 430 отображения статистики величины задержки передачи, пользователь, видящий величину задержки передачи, может настроить величину опережения фазы на требуемое значение посредством ввода в блок 440 управления величиной опережения фазы.
Для осуществления пользователем требуемой настройки, блок 420 вычисления статистики величины задержки передачи вычисляет различную статистическую информацию, такую как распределение величины задержки передачи, переход величины задержки передачи, распределение уровня использования буфера и переход уровня использования буфера. Результат вычисления, полученный блоком 420 вычисления статистики величины задержки передачи, отображается блоком 430 отображения статистики величины задержки передачи.
Далее будет приведено более детальное описание с использованием чертежей. Блок 410 вычисления величины задержки передачи, опираясь на информацию о времени в блоке 47 хранения информации о времени, измеряет время задержки в линии 50 передачи на основе информации о времени (отметка времени), добавленной к закодированным данным DENC, и информации о времени получения закодированных данных. Блок 420 вычисления статистки величины задержки передачи принимает время задержки и выполняет для него статистическую обработку. Результат статистической обработки отображается блоком 430 отображения статистики величины задержки передачи. Дополнительно, результат статистической обработки также передается блоку 450 вычисления величины опережения фазы.
2. Пример статистической информации
Фиг. 7-10 являются схематическими графиками, показывающими примерный результат статистической обработки. В данном случае, на фиг. 7 показаны среднее значение, стандартное отклонение, максимальное значение, минимальное значение и гистограмма величины задержки передачи в течение заданного времени. В примере на фиг. 7 показано распределение величины задержки передачи, а также различные значение, такие как среднее значение, минимальное значение, максимальное значение, стандартное отклонение и ограничение времени задержки. В то же время, фиг. 8 является схематическим графиком, показывающим переход величины задержки передачи. В примере, показанном на фиг. 8, показан временной переход среднего значения, стандартного отклонения, максимального значения и минимального значения величины задержки передачи.
На фиг. 9 показаны среднее значение, стандартное отклонение, максимальное значение, минимальное значение и гистограмма уровня использования буфера поглощения дрожания задержки передачи. В примере на фиг. 9, показана гистограмма уровня использования буфера 400 и такие значения уровня использования буфера, как среднее значение (=42%), минимальное значение, максимальное значение и стандартное отклонение. В то же время, фиг. 10 является схематическим графиком, показывающим переход уровня использования буфера, показанного на фиг. 9. В примере на фиг. 10 показан временной переход среднего значения, стандартного отклонения, максимального значения и минимального значения уровня использования буфера поглощения дрожания задержки передачи.
Когда результаты статистической обработки, такие как показанные на фиг. 7-10, отображаются блоком 430 отображения статистики величины задержки передачи, пользователь может в ручном режиме управлять величиной опережения фазы на основе отображаемых данных. В этом случае, пользователь вводит величину управления в блок 440 управления величиной опережения фазы. Введенную величину управления передают в блок 450 вычисления величины опережения фазы. Блок 450 вычисления величины опережения фазы вычисляет оптимальную величину опережения фазы из введенной величины управления и параметра настройки величины опережения фазы, введенного при эксплуатации, и отправляет целевую величину опережения фазы контроллеру 460 фазы.
Блок 470 преобразования времени сигнала синхронизации принимает сигнал VSYNC синхронизации. Блок 470 преобразования времени сигнала синхронизации, опираясь на информацию о времени в блоке 47 хранения времени, преобразует входной опорный сигнал VSYNC синхронизации в информацию о времени и вводит ее в контроллер 460 фазы. Контроллер 460 фазы генерирует, как фазовую информацию, информацию о времени для создания сигнала синхронизации, сдвинутого вперед относительного опорного сигнала VSYN синхронизации, который преобразован во время блоком 470 преобразования времени сигнала синхронизации, на время разницы фаз, необходимого для передачи.
Дополнительно, блок 480 измерения периода сигнала синхронизации измеряет период Т опорного сигнала VSYNC синхронизации. Период Т добавляется к выводу контроллера 460 фазы. Соответственно, время VSYNC, которое должно быть передано камере, запаздывает на один период Т. Соответственно, можно управлять фазой сигнала в следующее время без управления сигналом в прошлом времени. Затем сигнал VSYNC, который должен быть передан камере, передают передатчику 30 по асинхронной сети.
Базовый процесс, выполняемый передающим устройством 30, аналогичен таковому для первого варианта осуществления. Блок 33 генерирования сигнала синхронизации передающего устройства 30 создает сигнал SYNC синхронизации (60 Гц) созданием импульсов информации о времени на основе информации о времени и устанавливает фазу сгенерированного сигнала SYNC синхронизации, сдвинутой вперед. ФАПЧ 24, на основе сигнала SYNC синхронизации, переданного от блока 33 генерирования сигнала синхронизации, выводит сигнал управления устройством 22 съемки изображения (ПЗС). Видеосигнал VDS, полученный устройством 22 съемки изображения посредством процесса формирования изображения, подвергается заданной видеообработке (например, обработке баланса белого или обработке выделения краев) в блоке 26 видеообработки и затем выводится в передающее устройство 30.
3. Настройка величины опережения фазы на основе статистической информации
В режиме ручного управления пользователь может управлять настройкой параметра величины опережения фазы на основе отображаемой информации о статистике задержки передачи. Например, пользователь может, опираясь на результаты статистической обработки, показанные на фиг. 7 и 8, ввести в блок 440 управления величиной опережения фазы величину управления для уменьшения величины опережения фазы, если распределение величины задержки передачи становится близким к нулю. Соответственно, допустимое время задержки передачи становится короче и, таким образом, общее время задержки становится короче, посредством чего достигается малая задержка. В то же время, если распределение величины задержки передачи становится близким к предельному времени задержки, пользователь может ввести в блок 440 управления величиной опережения фазы величину управления для увеличения величины сдвига фазы. Соответственно, допустимое время задержки передачи становится длиннее, и, таким образом, можно приспособиться к длинной задержке передачи, так что искажение видео, вызываемое опустошением буфера, становится маловероятным.
Кроме того, опираясь на результаты статистической обработки, показанные на фиг. 9 и 10, пользователь может выполнить операцию уменьшения величины опережения фазы, если распределение уровня использования буфера является большим. Соответственно, допустимое время задержки передачи становится короче и время ожидания в буфере становится короче. Таким образом, можно добиться малой задержки и одновременно с этим уменьшить уровень использования буфера. В то же время, если распределение уровня использования буфера является малым, пользователь может выполнить операцию увеличения величины опережения фазы. Соответственно, допустимое время задержки передачи становится длиннее, и время ожидания в буфере становится длиннее. Таким образом, уровень использования буфера может быть увеличен. Предпочтительно, настройку выполняют так, чтобы уровень использования буфера был уменьшен настолько, насколько возможно в таком диапазоне, чтобы не допускать опустошения буфера 400.
В качестве параметра настройки для величины опережения фазы, в дополнение к значению величины опережения фазы, можно использовать общее время задержки, уровень отбрасывания задержанных пакетов, смещение величины опережения фазы, максимальный резерв величины задержки, средний уровень использования буфера, максимальный/минимальный уровень использования буфера и т.п.
В автоматическом режиме, блок 450 вычисления величины опережения фазы может вычислить величину опережения фазы на основе результата вычисления, полученного блоком 420 вычисления статистики величины задержки передачи. В этом случае, блок 450 вычисления величины опережения фазы вычисляет величину опережения фазы на основе статистической информации о величине задержки передачи, переданной блоком 420 вычисления статистики величины задержки передачи.
В конкретном примере способа вычисления величины опережения фазы в автоматическом режиме, на основе статистической информации оценивают вероятностное распределение p(t) времени задержки передачи, и из этого распределения определяют минимальное время t_delay задержки передачи, при котором потеря пакетов меньше или равна заданному целевому значению P_loss. Затем время, получаемое прибавлением времени t_misc, отличного от необходимого для передачи, такого как время кодирования/декодирования и время формирования пакетов, к времени t_delay задержки передачи (t_delay+t_misc), устанавливают как величину опережения фазы.
Как было описано выше, допустимое время задержки передачи может быть оптимально настроено на основе распределения величины задержки передачи или уровня использования буфера. Таким образом, можно гарантировано предотвратить превышение величиной задержки передачи предельного времени задержки. Кроме того, также можно гарантировано предотвратить переполнение или опустошение уровня использования буфера.
В частности, для аппаратуры трансляции, требующей высокого качества, крайне важно, чтобы оператор мог проверить, может ли быть гарантировано требуемое качество видео. Например, для видеомагнитофона есть функция мониторинга, указывающая, что воспроизведение кассеты происходит нормально, и такая функция встроена в устройство. Дополнительно, в камеру встроена функция мониторинга оптического уровня для информирования о надежности передачи по оптическому кабелю между системной камерой и блоком управления камерой. При использовании асинхронной сети, на качество передачи также влияет состояние соединения других устройств, совместно использующих сеть. Таким образом, установка функции мониторинга, такой как одна из описанных для данного варианта осуществления, позволит выполнить оптимальную настройку. Соответственно, если состояние линии передачи (например, задержки передачи или их изменения) меняется во время работы, можно гарантировано подавлять искажения в видео настройкой, в зависимости от обстоятельств, допустимого времени задержки передачи и уровня использования буфера.
Фиг. 11 и 12 являются схематическими чертежами, на каждом из которых показан пример способа управления фазой. В данном случае, на фиг. 11 показан вариант, когда величина опережения фазы меняется мгновенно. В этом случае, как показано на фиг. 11, величина опережения фазы меняется мгновенно с фазы, показанной в верхней части чертежа, на фазу, показанную в нижней части чертежа. При использовании данного способа можно быстро настроить фазу, однако он допускает, что синхронизация с сигналом синхронизации на стороне камеры не будет сохранена, и, таким образом, видео будет искажено. При использовании способа, показанного на фиг. 11, можно быстро изменить фазу, но существует возможность, что видео будет искажено. Таким образом, данный способ предпочтительно использовать, в основном, при вставке или удалении сигнала синхронизации, изменении формата видео, в процессе инициализации при начальной загрузке, подготовке к съемке и т.п.
В то же время, на фиг. 12 показан вариант, когда величина опережения фазы меняется постепенно. В этом случае, как показано на фиг. 12, величина опережения фазы меняется постепенно от фазы, показанной в верхней части чертежа, до фазы, показанной в нижней части чертежа. В этом случае, для достижения заданной величины опережения фазы величину опережения фазы понемногу изменяют в пределах, при котором синхронизация с камерой может быть сохранена. В данном способе фаза смещается изменением рабочей частоты камеры 20. Таким образом, поскольку управляющая частота ПЗС 22 постепенно изменяется так, как было описано со ссылкой на фиг. 10, синхронизация с камерой будет сохранена и, таким образом, видео не будет искажено. В то же время, такое изменение величины опережения фазы является более медленным по сравнению со способом, показанным на фиг. 11. С помощью способа, показанного на фиг. 12, можно свести к минимуму искажения в видео. Таким образом, данный способ предпочтительно использовать, в основном, для настройки фазы во время съемки.
Конкретный пример процесса постепенного изменения величины опережения фазы для варианта, показанного на фиг. 12, приведен ниже.
if(t_goal-t_now>Δt_max) then t_next=t_now+Δt_max
else if(t_goal-t_now<-Δt_max) then t_next=t-now-Δt_max
else t_next=t_goal
где, в вышеприведенной формуле,
t_goal: целевое значение величины опережения фазы,
t_now: текущая величина опережения фазы,
t_next: следующая величина опережения фазы,
Δt_max: максимальное значение величины небольшого изменения величины опережения фазы.
Согласно вышеприведенной формуле, осуществляется следующий процесс.
- Когда разница текущей величины опережения фазы с целевым значением величины опережения фазы больше или равна максимальному значению величины небольшого изменения, следующую величину опережения фазы устанавливают как сумму текущей величины опережения фазы и максимального значения величины небольшого изменения.
- Когда разница целевого значения величины опережения фазы с текущей величиной опережения фазы больше или равна максимальной величине небольшого изменения, следующую величину опережения фазы устанавливают как разницу между текущей величиной опережения фазы и максимальным значением величины небольшого изменения.
- Во всех других случаях используют целевое значение величины опережения фазы как следующую величину опережения фазы.
Фиг. 13 является временной диаграммой сигнала для каждого тайминга в приемном устройстве 40, показанного на фиг. 6. Тайминг 1 обозначает состояние, в котором блок 470 преобразования времени сигнала синхронизации преобразует сигнал SYNC синхронизации во время. Таймиг 2 обозначает сигнал (целевое значение), когда фаза сдвинута вперед на целевую величину опережения фазы, выводится от блока 450 вычисления величины опережения сигнала.
Тайминг 3 обозначает сигнал, выводимый от контроллера 460 фазы, и обозначает фактическую величину опережения фазы, когда фаза сдвинута вперед на целевую величину опережения фазы контроллером 460 фазы. Когда целевая величина опережения фазы d1 получена от блока 450 вычисления величины опережения фазы на момент времени t0, фактическая величина опережения фазы, выводимой контроллером 460 фазы, будет сдвинута вперед на d1. Данный случай соответствует варианту, описанному со ссылкой на фиг. 11, в котором фазу переключают мгновенно.
Когда целевая величина опережения фазы изменяется на d2 во время t5, фактическая величина опережения фазы не изменяется сразу, а постепенно стремится к целевому значению в течение времени от времени t5 до t9. Затем, фактическая величина опережения фазы достигает значения d2 во время t9. Данный случай соответствует варианту, описанному со ссылкой на фиг. 12, в котором фазу переключают постепенно.
Тайминг 4, показанный на фиг. 13, обозначает состояние, в котором период, измеренный блоком 480 измерения сигнала синхронизации, добавляют к выходу от контроллера 460 фазы (сигнал тайминга 3). Когда период Т добавлен вышеописанным способом, вывод от контроллера 460 фазы будет задержан на период Т. Как показано на фиг. 5, сигнал тайминга 4 отправляют на передающее устройство 30 и затем отправляют от блока 33 генерирования сигнала синхронизации на ФАПЧ 24 камеры 20.
Таймиг 5 обозначает сигнал управления ПЗС, генерируемый на основе сигнала тайминга 4. Интервалы сигнала синхронизации соответствуют секции одного участка. Когда фактическая величина опережения фазы изменяется от времени t6, интервалы сигнала синхронизации становятся короче, пока фактическая величина опережения фазы не достигнет целевой. Таким образом, секция одного участка становится немного короче. Когда фактическая величина d2 опережения фазы достигает целевого значения, интервалы сигнала синхронизации (секции одного участка) возвращаются в начальное состояние.
Тайминг 6 обозначает сигнал, выводимый, в качестве видео, из буфера 43, в ответ на видеосигнал, передаваемый передающим устройством 30 по сети 50. Сигнал на тайминге 6 содержит задержку передачи, связанную с сетью 50, задержку кодека и т.п.
Как было описано выше, когда фазу, измененную на целевое значение величины опережения фазы, выводят от блока 450 вычисления величины опережения фазы, становится возможным оптимально управлять фактической величиной опережения фазы. Несмотря на то, что на фиг. 13 показан случай для сдвига фазы вперед, данный процесс может быть аналогичным образом выполнен и для задержки фазы.
4. Процедуры обработки в системе по данному варианту осуществления
Далее будет описана работа в соответствии с данным вариантом осуществления. Фиг. 14 является блок-схемой алгоритма, показывающей процесс от приема видеоинформации до получения величины опережения фазы. В то же время, фиг. 15 является блок-схемой алгоритма, показывающей процесс от ввода сигнала синхронизации до передачи фазовой информации.
Сначала, на этапе S101 на фиг. 14, когда приемное устройство 40 принимает видеосигнал, блок 41 получения отметки времени получает отметку времени, добавленную к видеосигналу, и блок 410 вычисления величины задержки передачи вычисляет величины задержки передачи.
На следующем этапе S102 вычисляют статистическую величину на основе последовательности вычисленных величин задержки передачи. В данном случае, статистическую информацию о величине задержки передачи вычисляет блок 420 вычисления статистики величины задержки передачи. Статистическая информация для величин задержки передачи включает в себя среднее значение, разброс, максимальное значение, минимальное значение и т.п. На этапе S102, в дополнение к величине задержки передачи, также вычисляют статистическую информацию использования буфера поглощения дрожания задержки передачи. Как было описано выше, буфер поглощения дрожания задержки передачи является буфером для поглощения изменений во времени задержки передачи, когда передачу осуществляют по асинхронной сети передачи. Как было описано выше, статистическая информация использования буфера включает в себя средний уровень использования, разброс, максимальное значение, минимальное значение, гистограмму и т.п.
На следующем этапе S103, блок 420 вычисления статистики задержки передачи определяет, достаточно ли количество статистических выборок и оно больше или равно заданному числу. Если количество выборок достаточно (больше или равно заданному числу), переходят к этапу S104. На этапе S104 блок 430 отображения статистики задержки передачи отображает статистическую информацию о задержке передачи. В данном случае, отображают статистическую информацию, показанную, например, на фиг. 7-10. В то же время, если на этапе S103 количество выборок не достаточно (меньше заданного числа), процесс завершается.
После этапа S104 процесс переходит к этапу S105, и определяют возможность искажения видео из-за задержки передачи. Если существует большая вероятность искажения видео, выводят предупреждение и переходят к этапу S106. Предупреждение может быть выведено в том случае, когда, на основе статистической информации задержки передачи, определена высокая вероятность искажения видео. Условия для вывода предупреждения включают в себя, например: случай, когда количество данных, находящихся в буфере 400 поглощения дрожания задержки передачи передающего устройства 40, является небольшим, когда уровень потери пакетов становится больше или равен заданному значению и т.п. Предупреждение может быть отображено блоком 430 отображения статистики задержки передачи, может быть звуковым предупреждением и т.п. После этапа S106 процесс переходит к этапу S107. В то же время, если отсутствует высокая вероятность искажения видео, на этапе S106 предупреждение не выводится, и процесс переходит к этапу S107.
На этапе S 107 определяют, является ли режим режимом ручного управления. Если режим является режимом ручного управления, процесс переходит к этапу S108. На этапе S108 блок 440 управления величиной опережения фазы получает вводимую величину управления. На следующем этапе S109 вычисляют величину опережения фазы на основе вводимой величины управления и статистической информации о величине задержки передачи.
В то же время, если на этапе S107 определено, что режим не является режимом ручного управления, то есть является автоматическим режимом, процесс переходит к этапу S111. На этапе S111 вычисляют величину опережения фазы на основе статистической информации. После этапа S109 или S111 процесс переходит к этапу S110. На этапе S110 величину опережения фазы выводят на контроллер 460 фазы. После этапа S110 процесс завершается.
Фиг. 15 является блок-схемой алгоритма, на которой показан процесс определения способа преобразования величины опережения фазы для сдвига вперед фазы сигнала синхронизации. Сначала, на этапе S201, блок 470 преобразования времени сигнала синхронизации выполняет преобразование сигнала синхронизации, и сигнал SYNC синхронизации преобразуют в информацию о времени. На следующем этапе S202 определяют, является ли текущий режим режимом с постепенным изменением величины опережения фазы, и если текущий режим является режимом с постепенным изменением величины опережения фазы, процесс переходит к этапу S203. На этапе S203 величину небольшого изменения для величины опережения фазы вычисляют с использованием Формулы 1, приведенной выше. После этапа S203 переходят к этапу S204 и вычисляют следующую величину опережения фазы. Следующую величину опережения фазы вычисляют прибавлением небольшого изменения к текущей величине опережения фазы.
В то же время, если на этапе S202 определено, что текущий режим не является режимом с постепенным изменением величины опережения фазы, то есть текущий режим является режимом с мгновенным изменением величины опережения фазы, процесс переходит к этапу S207. На этапе S207, в качестве следующей величины опережения фазы, блок вычисления опережения фазы вычисляет окончательное значение величины опережения фазы, и его используют как управляющее значение.
После этапа S204 или S207 процесс переходит к этапу S205. На этапе S205 контроллер 460 фазы сдвигает вперед фазу сигнала синхронизации на основе величины опережения фазы. На следующем этапе S206 к фазе сигнала синхронизации прибавляют период и передают фазовую информацию на передающее устройство 30. После этапа S206 процесс завершается.
Передающее устройство 30 генерирует сигнал синхронизации, на стороне передатчика, на основе принятой фазовой информации и выводит его на камеру 20. В камере 20 управляющую частоту устройства съемки изображений (ПЗС 22) изменяют так, чтобы видео выводилось в фазе с входным сигналом синхронизации.
В соответствии с вышеописанными этапами S101-S110 и S201-S206, выполняемыми неоднократно, величина опережения фазы может постоянно регулироваться. Несмотря на то, что в вышеприведенном описании этапы S102-110 выполняет приемник 40, процесс может быть выполнен вне приемного устройства 40.
Как было описано выше, согласно второму варианту осуществления пользователь может узнать состояние задержки передачи видео или состояния использования буфера посредством просмотра статистической информации. Кроме того, управляя параметром настройки величины опережения фазы на основе данной информации, пользователь может настроить время задержки и качество передачи так, как ему требуется. Кроме того, также возможно, при автоматической настройке величины опережения фазы, предотвратить переполнение или опустошение буфера даже при изменении величины задержки передачи, посредством чего выводимое видео может быть стабильным.
Несмотря на то, что предпочтительные варианты осуществления настоящего изобретения были подробно описаны выше со ссылками на приложенные чертежи, настоящее изобретение этим не ограничено. Для специалистов в данной области техники должно быть понятно, что различные модификации и изменения могут быть выполнены до тех пор, пока они находятся в пределах технического объема приложенной формулы изобретения или ее эквивалентов. Необходимо понимать, что такие модификации и изменения также находятся в пределах технического объема настоящего изобретения.
Список номеров ссылочных позиций
10
Система камер
20
Блок формирования изображений
30
Передающее устройство
31
Кодировщик (блок кодирования)
32
Блок добавления отметки времени (блок добавления информации о времени)
33
Блок генерирования сигнала синхронизации
34
Блок хранения информации о времени
40
Приемное устройство
41
Блок получения отметки времени
42
Декодер (блок декодирования)
43
Буфер (блок вывода синхронизации)
44
Блок вычисления времени задержки (блок измерения задержки передачи)
45
Блок преобразования времени сигнала синхронизации (блок передачи сигнала синхронизации)
46
ЦП (блок передачи сигнала синхронизации и блок управления)
47
Блок хранения информации о времени
50
Линия передачи
400
Буфер
410
Блок вычисления величины задержки передачи
420
Блок вычисления статистики величины задержки передачи
430
Блок отображения статистики задержки передачи
440
Блок управления величиной опережения фазы
450
Блок вычисления величины опережения фазы
460
Контроллер фазы
470
Блок преобразования времени сигнала синхронизации