СПОСОБ И УСТРОЙСТВО СИНХРОННОГО ВОСПРОИЗВЕДЕНИЯ ЗАПИСАННОГО НА ИНТЕРАКТИВНЫЙ НОСИТЕЛЬ ЗАПИСИ ОСНОВНОГО СОДЕРЖИМОГО И ДОПОЛНИТЕЛЬНОГО СОДЕРЖИМОГО К НЕМУ
METHOD AND DEVICE FOR SYNCHRONOUS PLAYING MAIN AND ADDITIONAL CONTENT RECORDED ON INTERACTIVE RECORD MEDIUM

1. ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к способу и устройству синхронного воспроизведения основного содержимого, записанного на интерактивном носителе записи, и дополнительного содержимого к нему.
2. УРОВЕНЬ ТЕХНИКИ
Оптические диски с высокой плотностью записи, позволяющие записывать большие объемы высококачественных цифровых аудио/видеоданных получили широкое распространение. Одним примером таких оптических дисков с высокой плотностью записи является цифровой многофункциональный диск (DVD).
DVD включает область записи потоков данных, в которой хранится цифровое видеосодержимое, и область записи навигационных данных, в которой хранятся навигационные данные, необходимые для управления проигрыванием видеосодержимого.
После загрузки DVD в устройство воспроизведения DVD это устройство сначала считывает навигационные данные, записанные в области записи навигационных данных, и сохраняет навигационные данные во внутренней памяти. Затем устройство воспроизведения DVD воспроизводит видеосодержимое, записанное в области записи потоков данных, используя навигационные данные.
В настоящее время происходит разработка новых интерактивных DVD. В отличие от DVD интерактивный DVD (в дальнейшем именуемый iDVD) содержит данные дополнительного содержимого, относящиеся к основным аудиовидеоданным, записанным на диске.
Дополнительное содержимое (на iDVD именуемое также данными в формате ENAV) обычно содержит документную часть, включающую языки разметки (например, XHTML или SMIL) и каскадные листы стилей, а также часть с данными, включающую изображения в форматах JPEG или PNG, аудиоданные в форматах AC-3, MPEG, DTS или SDDS, анимацию в формате MNG и/или текст.
Различное дополнительное содержимое, относящееся к основным аудио/видеоданным, записанным на носителе записи, предоставляет пользователям больше гибкости и, таким образом, дает возможность пользователям более эффективно использовать основное аудио/видеосодержимое.
Дополнительное содержимое, относящееся к основному содержимому, записанному на носителе записи, должно быть последней информацией. Можно предоставлять дополнительное содержимое посредством широкополосной сети связи (например, интернет), а также посредством носителя записи. Поэтому устройство воспроизведения iDVD должно быть способно проигрывать основные аудио/видеоданные, записанные на iDVD, синхронно с частью дополнительного содержимого, предоставляемого из внешнего источника, если эта часть предназначена для синхронного воспроизведения.
3. РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Целью настоящего изобретения является обеспечение способа и устройства для представления основных аудио/видеоданных, записанных на интерактивном носителе записи, синхронно с дополнительными данными, относящимися к основным данным, после получения дополнительных данных из внешнего источника. Способ и устройство по настоящему изобретению, в частности, сфокусированы на дополнительном содержимом в реальном времени.
Способ воспроизведения носителя записи в соответствии с настоящим изобретением содержит операции получения дополнительных данных, относящихся к основным данным, записанным на носителе записи, и представления дополнительных данных вместе с основными данными, при этом дополнительные данные включают информацию о времени для синхронизации дополнительных данных с основными данными.
Устройство воспроизведения носителя записи в соответствии с настоящим изобретением содержит средство получения дополнительных данных, относящихся к основным данным, записанным на носителе записи, средство хранения для сохранения полученных дополнительных данных и средство определения части основных данных, подлежащей представлению синхронно с дополнительными данными на основе информации о времени, и представления этой части вместе с дополнительными данными.
4. КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Вышеуказанные признаки и другие преимущества настоящего изобретения будут лучше поняты из следующего подробного описания с привлечением сопроводительных чертежей, на которых:
на ФИГ.1 представлена блок-схема примера осуществления устройства воспроизведения интерактивного оптического диска в соответствии с настоящим изобретением;
на ФИГ.2 представлен пример осуществления дополнительных данных, подлежащих представлению вместе с основными аудио/видеоданными, записанными на носителе записи;
на ФИГ.3 и 4 представлены наглядные примеры осуществления документных частей дополнительных данных в соответствии с настоящим изобретением;
на ФИГ.5 показан пример табличной структуры, созданной при анализе дополнительных данных для представления дополнительных данных синхронно с основными данными; и
на ФИГ.6 показан пример экрана, на котором основные данные и дополнительные данные отображаются вместе.
5. ПРИМЕРЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Для более полного понимания изобретения далее будут описаны предпочтительные примеры его осуществления со ссылками на прилагаемые чертежи.
На ФИГ.1 представлена блок-схема примера осуществления устройства воспроизведения интерактивного оптического диска в соответствии с настоящим изобретением. Устройство содержит DVD-подсистему видеопроигрывания 200 для воспроизведения основных аудио/видеоданных, записанных на iDVD 400, и ENAV-подсистему 100 для воспроизведения данных дополнительного содержимого. ENAV-подсистема 100 по настоящему изобретению содержит сетевой менеджер 10 для подключения к внешней сети и осуществления связи по ней, ENAV-буфер 11 для хранения данных в формате ENAV, ENAV синтаксический анализатор/процессор документов 12 для разделения данных в формате ENAV на несколько составляющих на основе атрибутов и обработки частей документов, декодер элементов 13 для декодирования данных в формате ENAV на основе атрибутов, обработчик ENAV-интерфейса 14 для обработки и управления входами, относящимися к данным в формате ENAV, и визуализатор аудио/видеоданных 15 для вывода видеоданных вместе с аудиоданными после помещения видеоданных на видеослое.
Сетевой менеджер 10 загружает последние данные или выбранные данные из различных данных содержимого в формате ENAV, относящихся к основному содержимому, записанному на iDVD 400, с предоставляющего содержимое сервера 300 и сохраняет данные в ENAV-буфере 11. В ENAV-буфер 11 может загружаться содержимое в формате ENAV, записанное на iDVD 400, до проигрывания основного содержимого.
Декодер элементов 13 на основе атрибутов декодирует звук, изображения, текст, анимационные данные и/или потоки данных в реальном времени (например, видеопотоки), составляющие данные в формате ENAV. Обработчик ENAV-интерфейса 14 управляет вводом пользователя и ENAV-буфером 11, выполняет операции, необходимые для ENAV синтаксического анализатора/процессора документов 12, а также осуществляет обмен сигналами (например, запуска DVD, состояния DVD и управления DVD), необходимыми для его работы с DVD-подсистемой видеопроигрывания 200.
Предоставляющий содержимое сервер 300 хранит данные дополнительного содержимого, связанные с данными основного содержимого множества iDVD, и предоставляет дополнительное содержимое, относящееся к выбранному iDVD или выбранному основному аудио/видеосодержимому. Предоставляемое дополнительное содержимое может быть изображениями, анимационными данными или потоками данных в реальном времени. Потоки данных в реальном времени, требующие проигрывания в реальном времени, являются потоками субтитров, включающими текстовые данные или данные титров, потоками субкадров, включающими статические изображения или объекты, выбираемые с помощью графического интерфейса, или видеопотоками. Дополнительное содержимое загружается посредством сетевого менеджера 10 и хранится в ENAV-буфере 11.
Как показано на ФИГ.2, данные в формате ENAV, предоставляемые сервером содержимого 300, содержат, по меньшей мере, одно приложение в формате ENAV (ENAV-приложение №1, №2, №3…). Вместо того чтобы быть предоставленными с сервера содержимого 300, данные в формате ENAV могут быть заранее записаны на iDVD 400. Даже в этом случае, если данные в формате ENAV, записанные на диске, не являются последней версией, последние данные в формате ENAV могут быть загружены с предоставляющего содержимое сервера 300 и сохранены в ENAV-буфере 11.
ENAV-приложение 20 содержит документную часть 21 и часть с данными 22. Как показано на ФИГ.3 и 4, документная часть может быть написана на языках XML, при этом XML-документ содержит связующую информацию для дополнительного содержимого (например, потоков данных в реальном времени) и информацию о времени/атрибутах, необходимую для представления дополнительного содержимого. Информация о времени, записанная в XML-документе, указывает точку синхронизации основных аудио/видеоданных, воспроизводимых с iDVD 400. Например, если основные аудио/видеоданные содержат пакеты пакетированного элементарного потока (PES), а каждый пакет пакетированного элементарного потока имеет отметку времени представления (PTS), причем отметка времени представления пакета пакетированного элементарного потока, подлежащего синхронизации с частью с данными, связанной с XML-документом или включенной в XML-документ, записывается в качестве информации о времени XML-документа.
На ФИГ.3 изображен наглядный пример осуществления XML-документа в соответствии с настоящим изобретением. По меньшей мере, один элемент <realtimestreaming>, включенный в корневой элемент <realtimestreamingset>, указывает информацию об атрибуте представления (или связующую информацию) части с данными, связанной с элементом или включенной в XML-документ. На ФИГ.3 корневой элемент <realtimestreamingset> в качестве глобального атрибута части с данными указывает гарнитуру шрифта fontface = "Arial", цвет color = "FFFFFF" (белый) и продолжительность представления presentation duration = "300". Каждый из включенных элементов может также указывать локальный атрибут, в этом случае локальный атрибут, указанный элементом, отменяет глобальный атрибут, указанный корневым элементом.
На ФИГ.3 элемент <realtimestreaming>, относящийся к тексту "Hello !" ("Здравствуйте !"), указывает время time = "00:03:25:2" в качестве локальной информации о времени/атрибуте соответствующей части с данными ("Hello !"). Информация о времени имеет формат часы: минуты: секунды: кадры. Единица измерения в кадрах зависит от частоты кадров потока, то есть, если частота кадров составляет 30 кадров/с, значение 2 обозначает 2/30 секунды. Информация о времени определяет основные аудио/видеоданные, подлежащие представлению одновременно. Элемент <realtimestreaming>, относящийся к файлу видеоданных в реальном времени "video.mpg", указывает file://cp server/location/video, mpg в качестве связующей информации, время time = "00:14:58:14" в качестве информации о времени/атрибуте и продолжительность duration = "600" в качестве информации о продолжительности представления. Локальная информация об атрибуте имеет приоритет по отношению к глобальной информации об атрибуте. Файл видеоданных "video.mpg" будет представлен в течение 600 секунд (или кадров) из 14 минут 58,467 секунды. Если общее время выполнения файла видеоданных не превышает продолжительности, видеоданные представляют повторно в течение продолжительности представления. Поскольку до проигрывания видеоданных документ обрабатывают ENAV синтаксическим анализатором/процессором обработки документов 12, то видеоданные загружают из места, указанного связующей информацией, и сохраняют в ENAV-буфере 11 до их проигрывания. Элемент <realtimestreaming>, относящийся к объекту, выбираемому с помощью графического интерфейса, и содержащий гиперссылку www.studio.com и клик-тест "Visit Our Website !" ("Посетите наш интернет-сайт !") указывает время time = 01:00:00:0 и цвет color = "FF0000".
На ФИГ.4 показан наглядный пример осуществления XML-документа, который указывает данные изображения вместо видеоданных в качестве его части с данными. В этом случае связующая информация для части с данными указывается в виде "file://drive/location/image.jpg", означая тот факт, что часть с данными уже записана на носителе записи iDVD 400. Оставшаяся часть XML-документа такая же, как и показанная на ФИГ.3.
Теперь будет подробно описано синхронизированное представление основных аудио/видеоданных iDVD 400 и его данных в формате ENAV.
Получая данные в формате ENAV, то есть, ENAV-приложения, как показано на ФИГ.2-4, устройство воспроизведения интерактивного оптического диска, изображенное на ФИГ.1, сохраняет ENAV-приложения в ENAV-буфере 11. ENAV синтаксический анализатор/процессор документов 12 анализирует сохраненные ENAV-приложения одно за другим, формирует таблицу, как показано на ФИГ.5, для всех частей с данными в каждом ENAV-приложении и сохраняет ее в ENAV-буфере 11. Таблица, показанная на ФИГ.5, включает несколько элементов, упорядоченных по типу элемента, каждый пункт соответствует какому-либо элементу. На ФИГ.5 показаны три пункта: субтитр, субкадр и видео.
Пункт субтитра включает различные поля, такие как тип, шрифт, цвет, время представления, продолжительность представления, максимальный размер, место отображения, место в памяти, где хранятся данные, и размер данных. В поле типа хранится информация, указывающая, является субтитр текстовыми данными либо данными в виде изображения. Информация в каждом поле может быть либо получена путем обработки полученного документа, либо задана в соответствии с типом пункта. Значение поля максимального размера задается с учетом ограничения размера изображения или видео, подлежащих представлению на экране. Во время представления данных в формате ENAV декодер элементов 13 ограничивает данные в формате ENAV максимальным размером, если их действительный размер превышает максимальный.
В поле места в памяти хранится физический адрес данных (например, потока субтитров, потока субкадров или видеопотока), хранящихся в буфере 11 или в других устройствах хранения на основе связующей информации, указанной в документе. В поле размера данных хранится размер хранящихся данных.
Пункт субкадра имеет те же поля, что и пункт субтитра, за исключением полей шрифта и цвета. Значения полей в пункте субкадра получают точно так же, как и в пункте субтитра. В поле типа хранится информация, указывающая тип субкадра, например, данные изображения в формате JPEG, данные изображения в формате BMP или данные объекта, выбираемого с помощью графического интерфейса. Тип субкадра определяется по расширению файла, связанного связующей информацией, указанной документом.
Пункт видео имеет те же поля, что и пункт субкадра, и значения его полей получают точно так же, как и в пункте субкадра. В поле типа хранится информация, указывающая тип видео, например, видеоданные в формате MPEG2 или видеоданные в формате MPEG4. Тип видеоинформации определяется по расширению файла, связанного связующей информацией, указанной документом.
Как только в ENAV-буфере 11 создана таблица, показанная на ФИГ.5, обработчик ENAV-интерфейса 14 начинает проигрывание iDVD 400 путем отправки сигнала начала проигрывания DVD-подсистеме видеопроигрывания 200. Получив сигнал начала проигрывания, DVD-подсистема видеопроигрывания 200 декодирует основные аудио/видеоданные, воспроизводимые с iDVD 400, и выводит декодированные данные в визуализатор аудио/видеоданных 15. С началом проигрывания DVD-подсистема видеопроигрывания 200 отправляет обработчику ENAV-интерфейса 14 сигнал запуска DVD для синхронизации представления.
Время представления каждого из элементов, показанных на ФИГ.5, рассчитывается на основании сигнала запуска DVD. Обработчик ENAV-интерфейса 14 следит за временем, которое истекло с момента запуска. Если значение в поле времени представления элемента, хранящегося в таблице, совпадает со временем, обработчик ENAV-интерфейса 14 считывает данные элемента (например, субтитра, субкадра или видеопотока) из буфера 11 или с других устройств хранения и предоставляет данные декодеру элементов 13 с тем, чтобы данные можно было декодировать.
В ином случае DVD-подсистема видеопроигрывания 200 может предоставить отметку времени представления, включенную в декодируемый каждый пакет пакетированного элементарного потока, обработчику ENAV-интерфейса 14, который предоставляет декодеру элементов 13 данные того элемента, чье значение поля времени представления ближе всего к значению отметки времени представления.
Визуализатор аудио/видеоданных 15 формирует экран, на котором субтитр, субкадр и видеоданные, декодированные DVD-подсистемой видеопроигрывания 200 и декодером элементов 13, размещаются согласно их заданным координатам. Местоположение данных в формате ENAV задано информацией о местоположении в таблице, как показано на ФИГ.5, предоставляемой обработчиком ENAV-интерфейса 14 или полученной из информации о местоположении, предоставленной ENAV синтаксическим анализатором/процессором документов 12, который интерпретирует документную часть, хранящуюся в буфере 11 во время представления iDVD 400.
Способ в соответствии с настоящим изобретением предоставляет пользователю интерактивного носителя записи различные услуги, относящиеся к содержимому носителя записи, путем представления дополнительного содержимого, имеющего отношение к основному содержимому, синхронно с основным содержимым.
Несмотря на то что изобретение раскрыто на ограниченном числе примеров осуществления, специалисты благодаря этому раскрытию оценят его многочисленные модификации и изменения. Предполагается, что все такие модификации и изменения находятся в пределах сущности и объема изобретения.