СПОСОБ И УСТРОЙСТВО ДЛЯ ОБРАБОТКИ ВИДЕО- И АУДИОДАННЫХ, ПРИНИМАЕМЫХ В СИСТЕМЕ ДЕКОДИРОВАНИЯ
METHOD AND APPARATUS FOR PROCESSING VIDEO AND AUDIO DATA RECEIVED IN DECODING SYSTEM

Область техники изобретения
Настоящее изобретение относится к области технологии MPEG-2 (экспертной группы по киноизображению), а более конкретно к способу и устройству для обработки видео- и аудиоданных, принимаемых в системе декодирования, когда временная отметка программ (PCR) является недоступной.
Уровень техники
В MPEG-2 функции восстановления системного тактового генератора и синхронизации видео- и аудиоданных главным образом реализуются согласно временной отметке программ (PCR) и временным меткам представления (PTS) видео- и аудиоданных. PCR обычно задается в информации заголовка потока передачи и используется для того, чтобы восстанавливать системный таймер (STC) идентично стороне кодирования. PTS главным образом задается в информации заголовка пакетированного элементарного потока и используется для того, чтобы указывать время представления текущих данных.
В MPEG-2 указывается то, что PCR и PTS в потоке передачи являются дискретизированными значениями одного системного тактового генератора. На стороне декодирования локальный STC восстанавливается согласно захваченной PCR, чтобы выступать в качестве опорного сигнала для управления синхронизацией видео- и аудиоданных. Затем захваченная PTS определенного потока сравнивается с STC, и принимаемые данные обрабатываются согласно результату сравнения. Процесс конкретно включает в себя следующее.
(1) Если PTS > STC, определяется то, что данные не достигают времени представления, и данные должны быть буферизованы в буфере.
(2) Если PTS = STC, определяется то, что в настоящий момент данные должны представляться.
(3) Если PTS < STC, это указывает то, что данные истекают и должны быть отброшены.
Через предыдущий процесс видеоданные и аудиоданные синхронизируются с соответствующим STC, так что видеоданные и аудиоданные синхронно воспроизводятся.
В случае если PCR не может получаться в системе, приемное MPEG-2-устройство терминала обычно воспроизводит соответствующие данные посредством прямого принятия асинхронного режима воспроизведения.
Предшествующий уровень техники имеет следующую проблему: когда PCR не может получаться в системе, видео- и аудиосигналы воспроизводятся посредством прямого принятия асинхронного режима воспроизведения, т.е. видеоинформация и аудиоинформация не могут синхронно воспроизводиться, приводя к тому, что на эффект приема видеосигналов и аудиосигналов оказывается влияние.
Сущность изобретения
Варианты осуществления настоящего изобретения предоставляют способ и устройство для обработки видео- и аудиоданных, принимаемых в системе декодирования, которые допускают достижение синхронизации видеосигналов и аудиосигналов, когда PCR является недоступной в системе декодирования.
В варианте осуществления настоящее изобретение предоставляет способ для обработки видео- и аудиоданных, принимаемых в системе декодирования. Способ включает в себя следующие этапы:
Когда PCR является недоступной в системе, STC восстанавливается с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных.
STC сравнивается с PTS текущих захваченных видео- и аудиоданных, и определяется режим для обработки текущих захваченных видео- и аудиоданных.
В варианте осуществления настоящее изобретение дополнительно предоставляет устройство для обработки видео- и аудиоданных, принимаемых в системе декодирования. Устройство включает в себя модуль STC-восстановления и модуль обработки данных.
Модуль STC-восстановления выполнен с возможностью восстанавливать STC с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных, когда PCR является недоступной в системе.
Модуль обработки данных выполнен с возможностью сравнивать STC, полученный посредством модуля STC-восстановления, с PTS текущих захваченных видео- и аудиоданных и определять режим для обработки текущих захваченных видео- и аудиоданных согласно результату сравнения.
Из технического решения настоящего изобретения можно видеть то, что посредством принятия технического решения настоящего изобретения, когда PCR является недоступной в системе, и PTS видео- и аудиосигналов являются нормальными, видео- и аудиосигналы синхронизируются нормально; даже если PTS видео- и аудиосигналов являются анормальными, синхронизация видео- и аудиосигналов значительно улучшается, так что синхронизация преимущественно поддерживается.
Краткое описание чертежей
Чтобы сделать техническое решение согласно настоящему изобретению более понятным, прилагаемые чертежи для иллюстрации вариантов осуществления настоящего изобретения или предшествующего уровня техники описываются ниже. Очевидно, что прилагаемые чертежи служат только для примерной цели, и специалисты в данной области техники могут извлекать другие чертежи из таких прилагаемых чертежей без творческих усилий.
Фиг.1 является блок-схемой последовательности операций способа обработки данных в способе согласно варианту осуществления настоящего изобретения;
Фиг.2 является блок-схемой последовательности операций способа переключения режимов в способе согласно варианту осуществления настоящего изобретения;
Фиг.3A является первым схематическим структурным видом устройства согласно варианту осуществления настоящего изобретения;
Фиг.3B является вторым схематическим структурным видом устройства согласно варианту осуществления настоящего изобретения;
Фиг.3C является третьим схематическим структурным видом устройства согласно варианту осуществления настоящего изобретения;
Фиг.4 является функциональной схемой способа согласно варианту осуществления настоящего изобретения, когда γ=0;
Фиг.5 является функциональной схемой способа согласно варианту осуществления настоящего изобретения, когда γ=1; и
Фиг.6 является функциональной схемой способа согласно варианту осуществления настоящего изобретения, когда γ=0-1.
Подробное описание вариантов осуществления
Следующее подробное описание направлено на техническое решение настоящего изобретения со ссылкой на прилагаемые чертежи. Тем не менее, варианты осуществления, которые должны быть описаны, являются только некоторыми вариантами осуществления настоящего изобретения. Специалисты в данной области техники могут извлекать другие варианты осуществления из вариантов осуществления, представленных в данном документе, без творческих усилий, и все такие варианты осуществления охватываются объемом защиты настоящего изобретения.
В варианте осуществления настоящее изобретение предоставляет способ для обработки видео- и аудиоданных, принимаемых в системе декодирования, который включает в себя следующие этапы. Когда PCR является недоступной в системе, STC восстанавливается с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных. STC сравнивается с PTS текущих захваченных видео- и аудиоданных, чтобы определять режим для обработки текущих захваченных видео- и аудиоданных.
Дополнительно, после того, как режим для обработки текущих захваченных видео- и аудиоданных определяется, отслеживается разность между PTS видеоданных и PTS аудиоданных в данных, которые должны воспроизводиться. Абсолютное значение разности сравнивается с заданным пороговым значением, и асинхронный режим воспроизведения принимается в качестве системного режима воспроизведения, когда абсолютное значение превышает или равно пороговому значению; синхронный режим воспроизведения принимается в качестве системного режима воспроизведения, когда абсолютное значение меньше порогового значения.
Для простоты понимания вариантов осуществления настоящего изобретения соответствующие варианты осуществления заявки подробно описываются ниже со ссылкой на прилагаемые чертежи.
В способе для обработки видео- и аудиоданных, принимаемых в системе декодирования согласно варианту осуществления настоящего изобретения, процесс обработки данных показан на фиг.1.
Этап S101: Когда PCR является недоступной в системе, восстановление STC с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных.
Поскольку аудиоданные имеют более стабильную скорость передачи битов, чем данные, STC может восстанавливаться с использованием PTS аудио в варианте осуществления настоящего изобретения.
Способ для восстановления STC с использованием результата линейной комбинации PTS видеоданных и PTS аудиоданных включает в себя вычисление значения результата линейной комбинации согласно формуле и восстановление STC с использованием значения результата линейной комбинации. Формула для вычисления результата PTS' линейной комбинации PTS видеоданных и PTS аудиоданных следующая:
PTS'=γ*vPTS+(1-γ)*aPTS (1),
- где vPTS - это PTS видеоданных, aPTS - это PTS аудиоданных, и γ - это линейный коэффициент, и γ∈[0,1]. PTS' используется для того, чтобы восстанавливать STC.
Этап S102: Сравнение STC с PTS текущих захваченных видео- и аудиоданных и определение режима для обработки текущих захваченных видео- и аудиоданных.
Результат сравнения следующий:
После того, как STC сравнивается с PTS текущих захваченных видео- и аудиоданных, если PTS текущих захваченных видео- и аудиоданных превышает STC, это указывает то, что текущие захваченные данные не достигают времени воспроизведения, и этап S103 выполняется; если PTS текущих захваченных видео- и аудиоданных меньше STC, это указывает то, что текущие захваченные видео- и аудиоданные истекают, и этап S105 выполняется; а когда PTS текущих захваченных видео- и аудиоданных равны STC, этап S104 выполняется.
Этап S103: Буферизация текущих захваченных видео- и аудиоданных.
Этап S104: Определение данных, которые должны воспроизводиться.
Этап S105: Отбрасывание текущих захваченных данных.
Во время предыдущего процесса цель сравнения STC с PTS видеоданных и PTS аудиоданных состоит в том, чтобы управлять состоянием текущих данных и временем представления текущих данных.
В способе для обработки видео- и аудиоданных, принимаемых в системе декодирования согласно варианту осуществления настоящего изобретения, процесс переключения системного режима воспроизведения такой, как показано на фиг.2. Способ включает в себя следующие этапы:
Этап S201: Отслеживание разности между PTS видеоданных и PTS аудиоданных в данных, которые должны воспроизводиться.
Этап S202: Сравнение абсолютного значения разности с заданным пороговым значением. Принятие асинхронного режима воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение превышает или равно пороговому значению, т.е. выполнение этапа S203. Принятие синхронного режима воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение меньше порогового значения, т.е. выполнение этапа S204.
Пороговое значение L задается согласно размерам буферов, выделяемых видеопотоку и аудиопотоку, и скоростям передачи битов видео- и аудиопотоков, и формула для вычисления следующая:
L=α*[(1-γ)*vC/vR+γ*aC/aR]*T (2),
- где α - это коэффициент допуска, имеющий диапазон значений [0,1], и предлагается, что значение α равно 0,5, γ соответствует γ формулы (1), vC - это размер буфера видеопотока, vR - это скорость передачи битов видеопотока, aC - это размер буфера аудиопотока, aR - это скорость передачи битов аудиопотока, и T - это константа, имеющая значение 90 и являющаяся тактом каждой миллисекунды PTS.
Этап S203: Принятие асинхронного режима воспроизведения в качестве системного режима воспроизведения.
Этап S204: Принятие синхронного режима воспроизведения в качестве системного режима воспроизведения.
После того, как синхронный режим воспроизведения принимается в качестве системного режима воспроизведения, STC корректируется с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных.
Этап S205: Отслеживание разности между PTS видеоданных и PTS аудиоданных после того, как система принимает асинхронный режим воспроизведения (этап S203). Переключение системы на синхронный режим воспроизведения, когда абсолютное значение разности меньше порогового значения, и заданное время достигнуто; выполнение этапа S206, когда абсолютное значение разности превышает или равно пороговому значению, и заданное время не достигнуто.
После того, как система переключается на асинхронный режим воспроизведения, STC более не сравнивается с PTS видеоданных и PTS аудиоданных, чтобы управлять состоянием обработки текущих данных и временем представления текущих данных.
Заданное время варьируется от 10 до 60 секунд.
Этап S206: Поддержание текущего режима воспроизведения, когда абсолютное значение разности меньше порогового значения, но заданное время не достигнуто.
Следует отметить, что этап S205 и этап S206 также могут заключаться в следующем: после того, как синхронный режим воспроизведения принимается в качестве системного режима воспроизведения, система переключается на асинхронный режим воспроизведения, когда отслеживается то, что абсолютное значение разности превышает пороговое значение, и заданное время достигнуто; система поддерживается в текущем синхронном режиме воспроизведения, когда отслеживается то, что абсолютное значение разности меньше или равно пороговому значению, и заданное время не достигнуто.
В варианте осуществления настоящее изобретение предоставляет устройство для обработки видео- и аудиоданных, принимаемых в системе декодирования (ссылаясь на фиг.3A). Устройство включает в себя модуль S11 STC-восстановления и модуль S12 обработки данных.
Модуль S11 STC-восстановления выполнен с возможностью восстанавливать STC с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных, когда PCR является недоступной в системе.
Модуль S12 обработки данных выполнен с возможностью сравнивать STC с PTS текущих захваченных видео- и аудиоданных, определять режим для обработки текущих захваченных видео- и аудиоданных согласно результату сравнения.
Что касается фиг.3B, модуль S12 обработки данных включает в себя субмодуль S121 сравнения и субмодуль S122 выполнения обработки данных.
Субмодуль S121 сравнения выполнен с возможностью сравнивать STC, полученный посредством модуля STC-восстановления, с PTS видеоданных и PTS аудиоданных.
Субмодуль S122 выполнения обработки данных выполнен с возможностью, согласно результату сравнения субмодуля сравнения, отбрасывать текущие захваченные видео- и аудиоданные, когда STC превышает PTS текущих захваченных видео- или аудиоданных; буферизовать текущие захваченные данные, когда STC меньше PTS текущих захваченных видео- или аудиоданных; и определять данные, которые должны воспроизводиться, когда STC равен PTS текущих захваченных видео- или аудиоданных.
Дополнительно, ссылаясь на фиг.3B, устройство согласно настоящему изобретению дополнительно может включать в себя модуль S13 мониторинга и модуль S14 определения режима воспроизведения.
Модуль S13 мониторинга выполнен с возможностью отслеживать разность между PTS видеоданных и PTS аудиоданных в данных, которые должны воспроизводиться, после того, как режим для обработки текущих захваченных видео- и аудиоданных определяется.
Модуль S14 определения режима воспроизведения выполнен с возможностью сравнивать абсолютное значение разности с заданным пороговым значением, принимать асинхронный режим воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение превышает или равно пороговому значению, и принимать синхронный режим воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение меньше порогового значения.
Что касается фиг.3B, устройство согласно настоящему изобретению дополнительно может включать в себя модуль S15 переключения режимов, выполненный с возможностью переключать системный режим воспроизведения на синхронный режим воспроизведения после того, как модуль определения режима воспроизведения определяет принять асинхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности меньше порогового значения, и заданное время достигнуто; поддерживать систему в текущем асинхронном режиме воспроизведения после того, как модуль определения режима воспроизведения определяет принять асинхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности превышает или равно пороговому значению, и заданное время не достигнуто.
Альтернативно, ссылаясь на фиг.3C, устройство согласно настоящему изобретению дополнительно включает в себя второй модуль S16 переключения режимов, выполненный с возможностью переключать систему на асинхронный режим воспроизведения после того, как модуль определения режима воспроизведения определяет принять синхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности превышает пороговое значение, и заданное время достигнуто; поддерживать систему в текущем синхронном режиме воспроизведения после того, как модуль определения режима воспроизведения определяет принять синхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности меньше или равно пороговому значению, и заданное время не достигнуто.
Для простоты понимания вариантов осуществления настоящего изобретения соответствующие варианты осуществления заявки подробно описываются ниже со ссылкой на прилагаемые чертежи.
В формуле (1) и формуле (2), γ - это линейный коэффициент, конкретное значение γ определяется оператором согласно опыту использования, и способ для выбора значения γ следующий.
Когда γ=1, это указывает то, что STC восстанавливается с использованием PTS видеопотока.
Когда γ=0, это указывает то, что STC восстанавливается с использованием PTS аудиопотока.
Когда γ∈(0,1), это указывает то, что STC восстанавливается с использованием результата PTS' линейной комбинации PTS видеопотока и PTS аудиопотока.
vPTS представляет PTS видеопотока, а aPTS представляет PTS аудиопотока.
Конкретные решения по реализации, соответствующие трем различным значениям γ, подробно описываются ниже в отношении системного процесса согласно вариантам осуществления настоящего изобретения.
1) Когда γ=0 (ссылаясь на фиг.4), STC восстанавливается с использованием PTS аудиопотока, и процедура реализации следующая.
После того, как поток передачи проходит через демультиплексор, видеопоток и аудиопоток разделяются, и когда программа не имеет PCR, PTS аудиопотока анализируется, и локальный STC восстанавливается с использованием PTS.
После того, как данные в видеопотоке поступают, их PTS анализируется, и затем PTS текущего захваченного видеопотока сравнивается с восстановленным STC, и текущий режим обработки данных согласно результату сравнения определяется. Можно видеть, что когда PTS аудио сравнивается с STC, это эквивалентно тому, чтобы сравнивать с собой, и если PTS видеопотока превышает STC, данные буферизуются; если PTS видеопотока меньше STC, данные отбрасываются; и если PTS видеопотока равна STC, данные, которые должны воспроизводиться, определяются.
В данных, которые должны воспроизводиться, абсолютное значение разности между PTS видеопотока и PTS аудиопотока отслеживается, и разность между PTS видеопотока и PTS аудиопотока сравнивается. Если абсолютное значение разности превышает или равно L, указывая, что видеопоток не может синхронизироваться с аудиопотоком, режим воспроизведения переключается на асинхронный режим воспроизведения. В это время PTS видеопотока и аудиопотока более не сравниваются с STC, чтобы управлять текущим режимом обработки данных. Тем не менее, поскольку предыдущий режим воспроизведения - это синхронный режим воспроизведения, синхронизация может преимущественно поддерживаться в рамках периода времени после того, как режим переключается на асинхронный режим. Если абсолютное значение разности меньше L, STC корректируется с использованием PTS аудио.
После того, как режим переключается на асинхронный режим, разность между PTS видеопотока и PTS аудиопотока продолжает отслеживаться, и если абсолютное значение разности остается меньшим L в течение заданного времени (например, 30 секунд), указывая, что видеопоток снова является синхронным с аудиопотоком, режим переключается на синхронный режим воспроизведения.
2) Когда γ=1 (ссылаясь на фиг.5), STC восстанавливается с использованием PTS видеопотока, и процедура реализации следующая.
После того, как поток передачи проходит через демультиплексор, видеопоток и аудиопоток разделяются, и когда программа не имеет PCR, PTS видеопотока анализируется, и локальный STC восстанавливается с использованием PTS.
После того, как данные в аудиопотоке поступают, PTS текущего захваченного аудиопотока сравнивается с восстановленным STC, и текущий режим обработки данных согласно результату сравнения определяется. Когда PTS видеопотока сравнивается с STC, это эквивалентно тому, чтобы сравнивать с собой, и если PTS аудиопотока превышает STC, данные буферизуются; если PTS аудиопотока меньше STC, данные отбрасываются; и если PTS аудиопотока равна STC, данные, которые должны воспроизводиться, определяются.
В данных, которые должны воспроизводиться, абсолютное значение разности между PTS видеопотока и PTS аудиопотока отслеживается, и разность между PTS видеопотока и PTS аудиопотока сравнивается. Если абсолютное значение разности превышает или равно L, указывая, что видеопоток не может синхронизироваться с аудиопотоком, режим воспроизведения переключается на асинхронный режим воспроизведения. В таком случае PTS видеопотока и аудиопотока более не сравниваются с STC, чтобы управлять текущим режимом обработки данных. Тем не менее, поскольку предыдущий режим воспроизведения - это синхронный режим воспроизведения, синхронизация может преимущественно поддерживаться в рамках периода времени после того, как режим переключается на асинхронный режим. Если абсолютное значение разности меньше L, STC корректируется с использованием PTS аудио.
После того, как режим переключается на асинхронный режим, разность между PTS видеопотока и PTS аудиопотока продолжает отслеживаться, и если абсолютное значение разности остается меньшим L в течение заданного времени (например, 30 секунд), указывая, что видеопоток снова является синхронным с аудиопотоком, режим переключается на синхронный режим воспроизведения.
3) Когда γ между 0 и 1 (ссылаясь на фиг.6), STC восстанавливается с использованием результата PTS' линейной комбинации PTS видеопотока и PTS аудиопотока.
После того, как поток передачи проходит через демультиплексор, видеопоток и аудиопоток разделяются, и когда программа не имеет PCR, во-первых, результат PTS' линейной комбинации PTS видеопотока и PTS аудиопотока вычисляется, чтобы восстанавливать STC. После того, как данные в аудиопотоке и видеопотоке поступают, PTS видеопотока и PTS аудиопотока сравниваются с восстановленным STC, чтобы управлять текущим режимом обработки данных. Когда PTS видеопотока и PTS аудиопотока равны STC, данные, которые должны воспроизводиться, определяются. Между тем, абсолютное значение разности между PTS видеопотока и PTS аудиопотока в данных, которые должны воспроизводиться, отслеживается, и разность между PTS видеопотока и PTS аудиопотока сравнивается. Если абсолютное значение разности превышает или равно L, система переключается на асинхронный режим воспроизведения. В это время PTS видеопотока и аудиопотока более не сравниваются с STC, чтобы управлять текущим режимом обработки данных. Если абсолютное значение разности меньше L, STC корректируется с использованием результата PTS' линейной комбинации, и текущий синхронный режим воспроизведения поддерживается.
После того, как система переключается на асинхронный режим, разность между PTS видеопотока и PTS аудиопотока продолжает отслеживаться, и если абсолютное значение разности меньше порогового значения L (но заданное время не достигнуто), система поддерживается в асинхронном режиме воспроизведения; и если абсолютное значение различного значения остается меньшим L в течение заданного времени (например, 30 секунд), указывая, что видеопоток снова является синхронным с аудиопотоком, система переключается на синхронный режим воспроизведения.
В синхронном режиме синхронизация реализуется в максимально возможной степени с использованием буферизованных данных видеобуфера и аудиобуфера, и недостаток заключается в том, что восстановление STC требует динамического вычисления PTS', что добавляет сложность.
Специалисты в данной области техники могут понимать, что все или часть этапов способа согласно вариантам осуществления настоящего изобретения могут быть реализованы посредством программы, выдающей инструкции релевантным аппаратным средствам. Программа может сохраняться на машиночитаемом носителе хранения данных. Когда программа выполняется, этапы способа согласно вариантам осуществления настоящего изобретения выполняются. Носителем хранения данных может быть магнитный диск, постоянное запоминающее устройство на компакт-дисках (CD-ROM), постоянное запоминающее устройство (ROM) или оперативное запоминающее устройство (RAM).
В заключение, выше приведены просто примерные варианты осуществления настоящего изобретения. Тем не менее, объем настоящего изобретения не ограничен этим. Изменения или замены, легко очевидные для специалистов в данной области техники в рамках технического объема настоящего изобретения, должны находиться в рамках объема настоящего изобретения. Следовательно, объем защиты настоящего изобретения ограничен прилагаемой формулой изобретения.