НОСИТЕЛЬ ЗАПИСИ, УСТРОЙСТВО ВОСПРОИЗВЕДЕНИЯ И ИНТЕГРАЛЬНАЯ СХЕМА
RECORDING MEDIUM, PLAYBACK DEVICE AND INTEGRATED CIRCUIT

Область техники, к которой относится изобретение
Настоящее изобретение относится к технологии записи трехмерных и двумерных изображений.
Уровень техники
Двумерные изображения, также называемые моноскопическими изображениями, представляются посредством пикселов на плоскости X-Y, которая применяется к экрану дисплея дисплейного устройства.
Напротив, трехмерные изображения имеют глубину в направлении оси Z в дополнение к пикселам на плоскости X-Y, применяемой к экрану дисплейного устройства. Трехмерные изображения представляются зрителям (пользователям) посредством одновременного воспроизведения изображений для просмотра левым глазом и правым глазом, которые должны просматриваться, соответственно, посредством левого и правого глаза так, что стереоскопический эффект может формироваться. Пользователи должны наблюдать, из пикселов, составляющих трехмерное изображение, пикселы, имеющие положительные координаты по оси Z, перед экраном дисплея, и пикселы, имеющие отрицательные координаты по оси Z, позади экрана дисплея.
Предпочтительно, чтобы оптический диск, сохраняющий трехмерное изображение, имел совместимость с устройством воспроизведения, которое может воспроизводить только двумерные изображения (в дальнейшем в этом документе, такое устройство воспроизведения называется "устройством двумерного воспроизведения"). Это обусловлено тем, что, в противном случае, два типа дисков для трехмерных и двумерных изображений должны быть сформированы так, чтобы устройство двумерного воспроизведения могло воспроизводить содержимое, идентичное сохраненному на диске для трехмерного изображения. Такая компоновка приводит к более высоким затратам. Соответственно, необходимо предоставлять оптический диск, сохраняющий трехмерное изображение, которое воспроизводится как двумерное изображение посредством устройства двумерного воспроизведения и как двумерное или трехмерное изображение посредством устройства воспроизведения, поддерживающего как трехмерные, так и двумерные изображения (в дальнейшем в этом документе, такое устройство воспроизведения называется "устройством двумерного/трехмерного воспроизведения").
Патентный документ 1, идентифицированный ниже, является одним примером документов предшествующего уровня техники, описывающих технологии для обеспечения совместимости при воспроизведении между двумерными и трехмерными изображениями, относительно оптических дисков, сохраняющих трехмерные изображения.
Список библиографических ссылок
Патентные документы
[Патентный документ 1]
Патент Японии номер 3935507
Сущность изобретения
Техническая задача
Между тем, когда осуществляется попытка вводить режим трехмерного воспроизведения в устройство воспроизведения при сохранении совместимости с традиционными устройствами двумерного воспроизведения, проблемой является то, как процедура выбора потока должна обрабатывать событие переключения режима воспроизведения с режима двумерного воспроизведения на режим трехмерного воспроизведения.
Процедура выбора потока - это процедура обработки для определения, из числа элементарных потоков, зарегистрированных в таблице выбора потока, записанной на носитель записи, элементарных потоков, которые должны быть демультиплексированы посредством их идентификации посредством номеров потоков. Таблица выбора потока показывает зарегистрированные элементарные потоки, которым разрешено воспроизводиться, из множества элементарных потоков, которые физически записываются на носитель записи.
Номера потоков, определенные посредством процедуры выбора потока, сохраняются в регистре номеров потоков в устройстве воспроизведения. Процедура выбора потока выполняется, когда изменение состояния происходит в устройстве воспроизведения, например, когда осуществляется переключение между секциями воспроизведения или когда загружается диск. Здесь, если выйти за рамки восприятия традиционных устройств двумерного воспроизведения, изменение режима воспроизведения должно интерпретироваться как изменение состояния устройства, и процедура выбора потока должна выполняться для того, чтобы повторно задавать номера потоков.
Тем не менее, когда процедура выбора потока выполняется вследствие изменения режима воспроизведения, и новые номера потоков сохраняются в регистре номеров потоков, нет гарантии, что языковой атрибут потока после смены режима является идентичным языковому атрибуту перед сменой режима. Это обусловлено тем, что языковые атрибуты потоков управляются посредством номеров потоков, представленных в таблице выбора потока, и атрибуты потока изменяются по мере того, как изменяются номера потоков. Когда такая структура приспосабливается, поток должен задаваться снова после смены режима. Такая двойная работа приводит к неудобству для пользователя.
Следовательно, задача настоящего изобретения заключается в том, чтобы предоставлять носитель записи, который может сохранять языковой атрибут неизменяемым до и после переключения режима воспроизведения.
Решение задачи
Вышеуказанная задача решается посредством носителя записи, на который записаны информация списка воспроизведения и множество элементарных потоков, при этом информация списка воспроизведения включает в себя таблицу выбора базового потока и таблицу выбора расширенного потока, таблица выбора базового потока показывает список элементарных потоков, которые должны воспроизводиться в режиме моноскопического воспроизведения, и включает в себя номера потоков для элементарных потоков, которые должны воспроизводиться в режиме моноскопического воспроизведения, таблица выбора расширенного потока показывает список элементарных потоков, которые должны воспроизводиться в режиме стереоскопического воспроизведения, и элементарные потоки, показанные в таблице выбора расширенного потока, ассоциированы с номерами потоков, включенными в таблицу выбора базового потока.
Преимущества изобретения
В носителе записи, содержащем вышеописанное средство разрешения проблем, когда режим воспроизведения переключается с режима моноскопического воспроизведения на режим стереоскопического воспроизведения, основа, на которой выполняется выбор потока, переключает таблицу выбора базового потока на таблицу выбора расширенного потока.
При вышеописанной структуре, когда режим воспроизведения переключается с режима моноскопического воспроизведения на режим стереоскопического воспроизведения, можно переключать поток, который должен предоставляться в декодер, при сохранении номеров потоков, указанных в таблице выбора потока, как есть, и поддержании языковых атрибутов потоков неизменными до и после смены режима.
Это позволяет изменять режим воспроизведения с режима моноскопического воспроизведения на режим стереоскопического воспроизведения и с режима стереоскопического воспроизведения на режим моноскопического воспроизведения при сохранении языковых атрибутов.
Кроме того, процедура выбора потока в режиме стереоскопического воспроизведения выполняется просто на основе таблицы выбора базового потока. Как результат, содержимое процедуры выбора потока в режиме стереоскопического воспроизведения может быть идентичным содержимому процедуры выбора потока в устройстве воспроизведения, выделенному для моноскопического воспроизведения. Таким образом, полная совместимость может быть гарантирована относительно процедуры выбора потока. Это упрощает обеспечение работы, когда носитель записи, поддерживающий стереоскопическое воспроизведение, загружается в традиционное устройство воспроизведения, выделенное для моноскопического воспроизведения. Поскольку нормальный режим работы гарантируется, когда носитель записи, поддерживающий стереоскопическое воспроизведение, загружается в традиционное устройство воспроизведения, выделенное для моноскопического воспроизведения, производитель устройства воспроизведения может полагать, что носитель записи, поддерживающий стереоскопическое воспроизведение, реализуется на рынке без пользовательской проблемы, приписываемой загрузке носителя записи, поддерживающего стереоскопическое воспроизведение, в традиционное устройство воспроизведения, выделенное для моноскопического воспроизведения.
Краткое описание чертежей
Фиг. 1A-1C показывают вариант осуществления этапа использования носителя записи, устройства воспроизведения, дисплейного устройства и очков;
Фиг. 2 показывает голову пользователя слева на чертеже и изображения скелета динозавра, видимые, соответственно, посредством левого глаза и правого глаза пользователя, справа на чертеже;
Фиг. 3 показывает один пример внутренних структур видеопотоков для просмотра левым глазом и правым глазом для стереоскопического просмотра;
Фиг. 4 показывает то, как реализовывать стереоскопический просмотр в режиме "1 плоскость + смещение";
Фиг. 5 схематично показывает то, как изображение отображается пользователю после того, как кадрирование с использованием значения смещения и наложением выполняется;
Фиг. 6A-6D показывают один пример способа трехмерной глубины;
Фиг. 7 показывает стереоскопическое изображение, сформированное в режиме трехмерной глубины;
Фиг. 8A-8C показывают внутреннюю структуру носителя записи в варианте осуществления 1;
Фиг. 9A и 9B иллюстрируют то, как видеопоток сохраняется в последовательностях PES-пакетов;
Фиг. 10 схематично показывает то, как основной TS мультиплексируется.
Фиг. 11A и 11B показывают внутренние структуры основного TS и суб-TS;
Фиг. 12A-12D показывают внутреннюю структуру информации списка воспроизведения;
Фиг. 13A и 13B показывают один пример таблицы выбора базового потока;
Фиг. 14 показывает внутреннюю структуру таблицы выбора расширенного потока;
Фиг. 15A-15C показывают последовательности регистрации потоков в таблице выбора расширенного потока;
Фиг. 16 показывает то, какие элементарные потоки демультиплексируются из основного TS и суб-TS;
Фиг. 17 показывает то, как обращаются к последовательностям регистрации потоков, предоставленным в таблице выбора базового потока и таблице выбора расширенного потока;
Фиг. 18 показывает изменение назначения номеров потоков;
Фиг. 19 показывает синтаксис для написания таблицы выбора расширенного потока на объектно-ориентированном входном языке компилятора;
Фиг. 20 показывает внутреннюю структуру устройства воспроизведения;
Фиг. 21A-21C показывают, какие идентификаторы пакетов выводятся в модуль демультиплексирования посредством последовательности регистрации комбинированных потоков;
Фиг. 22A-22C показывают, какие идентификаторы пакетов выводятся в модуль демультиплексирования посредством последовательности регистрации комбинированных потоков;
Фиг. 23 показывает обращение к идентификаторам пакетов и вывод пакетов, когда устройство воспроизведения переводится в режим представления B-D, и устройство воспроизведения имеет возможности поддержки B-D;
Фиг. 24 показывает обращение к идентификаторам пакетов и вывод пакетов, когда устройство воспроизведения переводится в режим "1 плоскость + смещение";
Фиг. 25 показывает обращение к идентификаторам пакетов и вывод пакетов, когда устройство воспроизведения переводится в режим двумерного представления;
Фиг. 26 показывает обращение к идентификаторам пакетов и вывод пакетов, когда устройство воспроизведения не имеет возможностей поддержки режима представления B-D;
Фиг. 27 показывает процедуру воспроизведения по списку воспроизведения;
Фиг. 28 показывает процедуру выбора потока;
Фиг. 29 показывает процедуру вывода идентификатора пакета, соответствующего номеру потока;
Фиг. 30 показывает соответствие между файлом 2D/файлом base и файлом dependent;
Фиг. 31A-31C показывают соответствие между файлом перемеженного потока и файлом 2D/файлом base;
Фиг. 32 показывает соответствие между файлом стереоскопического перемеженного потока, файлом 2D, файлом base и файлом dependent.
Фиг. 33 показывает список для двумерного воспроизведения и список для трехмерного воспроизведения;
Фиг. 34 показывает список воспроизведения, сформированный посредством добавления подпути к списку для трехмерного воспроизведения;
Фиг. 35A и 35B показывают список для трехмерного воспроизведения, сформированный посредством добавления индикатора базового просмотра к списку для трехмерного воспроизведения;
Фиг. 36 является блок-схемой последовательности операций способа, показывающей процедуру воспроизведения по элементу воспроизведения;
Фиг. 37A-37C показывают информацию элемента воспроизведения и субэлемента воспроизведения в варианте осуществления 4;
Фиг. 38 показывает указание многоракурсной секции посредством информации элемента воспроизведения и информации субэлемента воспроизведения;
Фиг. 39A-39C показывают стереоскопические изображения, которые должны отображаться, когда соответствующие номера ракурсов задаются;
Фиг. 40 показывает процедуру для считывания файла потока в соответствии с "Multi_clip_entries";
Фиг. 41A-41C показывают внутреннюю структуру файла информации о клипах;
Фиг. 42A и 42B показывают информацию начальных точек экстентов и таблицу карт вхождений, включенную в файл информации о клипах;
Фиг. 43 показывает атрибут потока, включенный в информацию программы;
Фиг. 44 показывает то, как точки входа регистрируются в карте вхождений;
Фиг. 45 показывает то, как ATC-последовательность восстанавливается из блоков данных, составляющих файл стереоскопического перемеженного потока;
Фиг. 46A и 46B показывают внутреннюю структуру модуля считывания, содержащего модуль восстановления ATC-последовательностей;
Фиг. 47 показывает процедуру для восстановления ATC-последовательности;
Фиг. 48A и 48B показывают внутреннюю структуру видеопотока;
Фиг. 49 показывает внутреннюю структуру карты вхождений, которая задается для слайд-шоу;
Фиг. 50 показывает процедуру воспроизведения для списка воспроизведения слайд-шоу;
Фиг. 51A и 51B показывают внутренние структуры модуля демультиплексирования и видеодекодера;
Фиг. 52A и 52B показывают структуры устройств, включающих в себя один декодер и две плоскости в 3D-LR-способе и способе трехмерной глубины;
Фиг. 53A и 53B показывают внутреннюю структуру графического декодера для PG-потока;
Фиг. 54A и 54B показывают внутреннюю структуру декодера текстовых субтитров;
Фиг. 55A и 55B показывают модели декодера для IG-декодера;
Фиг. 56 показывает схемную структуру для синтезирования выводов этих моделей декодера и вывода результата в 3D-LR-режиме;
Фиг. 57 показывает схемную структуру для синтезирования выводов моделей декодера и вывода результата в режиме "1 плоскость + смещение";
Фиг. 58 показывает внутреннюю структуру многослойного оптического диска;
Фиг. 59 показывает формат приложения оптического диска на основе файловой системы;
Фиг. 60 является блок-схемой последовательности операций способа, показывающей процедуру обработки способа записи;
Фиг. 61 является блок-схемой последовательности операций способа, показывающей процедуру для записи AV-файла;
Фиг. 62A и 62B показывают способ изготовления оптического диска;
Фиг. 63 показывает внутреннюю структуру записывающего устройства;
Фиг. 64 показывает структуру устройства двумерного/трехмерного воспроизведения;
Фиг. 65 показывает внутреннюю структуру декодера 4 системных целевых объектов и набора 5a запоминающих устройств плоскостей;
Фиг. 66 показывает внутренние структуры набора 10 регистров и механизма 7b управления воспроизведением;
Фиг. 67 показывает изменение состояния модели выбора режима вывода;
Фиг. 68 является блок-схемой последовательности операций способа, показывающей процедуру для процесса инициализации;
Фиг. 69 показывает "процедуру, когда условие воспроизведения изменяется";
Фиг. 70A-70D показывают назначение битов в регистре настроек проигрывателя для реализации режима трехмерного воспроизведения;
Фиг. 71 показывает внутреннюю структуру модуля 5b синтезирования плоскостей;
Фиг. 72A и 72B показывают данные, в которых содержимое для двумерного и трехмерного режима смешивается, и то, как данные воспроизводятся посредством устройства воспроизведения;
Фиг. 73 является схемой переходов состояний, показывающей переключение между двумерным и трехмерным режимом;
Фиг. 74 показывает возможности поддержки зависимого просмотра и возможности поддержки трехмерной глубины;
Фиг. 75 подробнее показывает параметры системы, расширенные так, чтобы идентифицировать возможности поддержки трехмерного воспроизведения;
Фиг. 76 показывает идентификационную информацию из базы данных для идентификации того, поддерживает или нет устройство воспроизведения структуру данных, которая расширена для трехмерного режима;
Фиг. 77 показывает параметр системы, в котором задаются настройки пользователя, касающиеся формата представления;
Фиг. 78 показывает параметр системы, указывающий формат отображения текущего воспроизведения;
Фиг. 79 показывает назначение битов для сохранения значения коррекции трехмерного смещения;
Фиг. 80A и 80B показывают API пользовательских операций для переключения между способами двумерного и трехмерного отображения;
Фиг. 81 показывает рабочие коды и операнды команды изменения режима "1 плоскость + смещение";
Фиг. 82 показывает команду изменения типа трехмерного представления;
Фиг. 83A-83C показывают, как транспортные потоки для трех режимов сохраняются в файлах;
Фиг. 84 показывает, в форме таблицы, мультиплексирование на уровне транспортных потоков;
Фиг. 85 показывает назначение PID для пакетов транспортного потока (TS);
Фиг. 86A-86C показывают поток первичного видео и поток первичного аудио;
Фиг. 87A-87C показывают PG-потоки, которым назначаются номера потоков 1 и 2;
Фиг. 88A и 88B показывают TS-пакеты, составляющие поток вторичного видео и поток вторичного аудио;
Фиг. 89A и 89B показывают формы для прозрачного соединения двух элементов воспроизведения;
Фиг. 90A-90C показывают типы подпутей для переключения между файлами в межслойной границе;
Фиг. 91 показывает один пример того, как описывать последовательности регистрации потоков для потока первичного видео и потока первичного аудио;
Фиг. 92 показывает один пример того, как описывать последовательности регистрации потоков для потока субтитров PG_text;
Фиг. 93 показывает один пример того, как описывать последовательности регистрации потоков для IG-потока;
Фиг. 94 показывает один пример того, как описывать последовательности регистрации потоков для потока вторичного аудио и потока вторичного видео;
Фиг. 95 является графиком, указывающим временное изменение смещения плоскости потока текстовых субтитров;
Фиг. 96 показывает I-изображение, составляющее фоновое изображение;
Фиг. 97 показывает примерную структуру устройства двумерного/трехмерного воспроизведения, которое реализуется посредством использования интегральной схемы;
Фиг. 98 является функциональной блок-схемой, показывающей типичную структуру процессора потоков;
Фиг. 99 является концептуальной блок-схемой, показывающей модуль 653 переключения и периферийное устройство, когда модулем 653 переключения является DMAC;
Фиг. 100 является функциональной блок-схемой, показывающей типичную структуру модуля 608 AV-вывода;
Фиг. 101 является примерной структурой, подробнее показывающей модуль 608 AV-вывода или часть вывода данных устройства воспроизведения;
Фиг. 102 показывает компоновку шин управления и шин данных в интегральной схеме;
Фиг. 103 показывает компоновку шин управления и шин данных в интегральной схеме;
Фиг. 104 является простой блок-схемой последовательности операций способа, показывающей последовательность операций в устройстве воспроизведения; и
Фиг. 105 является подробной блок-схемой последовательности операций способа, показывающей последовательность операций в устройстве воспроизведения.
Описание вариантов осуществления
Далее описывается вариант осуществления носителя записи и устройства воспроизведения, содержащего средство для решения вышеописанных проблем, со ссылкой на прилагаемые чертежи. Сначала приводится краткое описание принципа стереоскопического просмотра.
В общем, вследствие различия в позиции между правым глазом и левым глазом имеется небольшое различие между изображением, видимым посредством правого глаза, и изображением, видимым посредством левого глаза. Именно это различие предоставляет возможность людям распознавать изображение, которое они видят в трех размерностях. Стереоскопическое отображение реализуется посредством использования параллакса людей, так что моноскопическое изображение выглядит так, как будто оно является трехмерным.
Более конкретно, имеется различие между изображением, видимым посредством правого глаза, и изображением, видимым посредством левого глаза, причем различие соответствует параллаксу людей. Стереоскопическое отображение реализуется посредством отображения двух типов изображений поочередно через регулярные короткие интервалы времени.
"Короткий интервал времени" может быть периодом времени, который является достаточно коротким для того, чтобы предоставлять людям, посредством альтернативных отображений, иллюзию, что они видят трехмерный объект. Способы для реализации стереоскопического просмотра включают в себя способ с использованием голографической технологии и способ с использованием параллактического изображения.
Первый способ, технология голографии, отличается в том, что он позволяет воспроизводить объект трехмерно таким же образом, как человек обычно распознает объект, и что в отношении формирования видео, хотя он признан технологической теорией, он требует (i) компьютера, который может выполнять большой объем вычислений для того, чтобы формировать видео для голографии в режиме реального времени, и (ii) дисплейного устройства, имеющего разрешение, при котором несколько тысяч линий могут быть начерчены на отрезке 1 мм. Для современной технологии чрезвычайно трудно реализовывать такой продукт, и тем самым коммерческие продукты фактически не разработаны.
С другой стороны, второй способ с использованием параллактического изображения имеет преимущество в том, что стереоскопический просмотр может быть реализован только посредством подготовки изображений к просмотру правым глазом и левым глазом. Несколько технологий, включающих в себя способ последовательной сегрегации, разработаны для практического использования с точки зрения того, как инструктировать каждому из правого глаза и левого глаза просматривать только изображения, ассоциированные с ним.
Способ последовательной сегрегации - это способ, при котором изображения для левого глаза и правого глаза поочередно отображаются в направлении временной оси так, что левая и правая сцены накладываются в мозгу посредством эффекта послеизображений глаз, и наложенное изображение распознается как стереоскопическое изображение.
Устройство воспроизведения, описанное в настоящей заявке, является устройством двумерного/трехмерного воспроизведения (проигрывателем), которое, при поддержке режима двумерного воспроизведения и режима трехмерного воспроизведения, может переключаться между этими режимами воспроизведения.
Фиг. 1A-1C показывают вариант осуществления этапа использования носителя записи, устройства воспроизведения, дисплейного устройства и очков. Как показано на фиг. 1A, носитель 100 записи и устройство 200 воспроизведения, совместно с телевизионным приемником 300, трехмерным очками 400 и пультом 500 дистанционного управления, составляют систему домашнего кинотеатра, которая подлежит использованию пользователем.
Носитель 100 записи предоставляет для системы домашнего кинотеатра, например кинофильм.
Устройство 200 воспроизведения соединяется с телевизионным приемником 300 и воспроизводит носитель 100 записи.
Телевизионный приемник 300 предоставляет пользователю интерактивное операционное окружение посредством отображения меню и т.п., а также кинофильма. Пользователь должен носить трехмерные очки 400 для телевизионного приемника 300 настоящего варианта осуществления, чтобы реализовывать стереоскопический просмотр. Здесь, трехмерные очки 400 не являются обязательными, когда телевизионный приемник 300 отображает изображения посредством линзорастрового способа. Телевизионный приемник 300 для линзорастрового способа совмещает изображения для левого и правого глаз вертикально на экране одновременно. Кроме того, ступенчатая линза предоставляется на поверхности экрана дисплея так, что пикселы, составляющие изображение для левого глаза, формируют изображение только в левом глазу, а пикселы, составляющие изображение для правого глаза, формируют изображение только в правом глазу. Это предоставляет возможность левому и правому глазу видеть, соответственно, изображения, которые имеют параллакс, тем самым реализуя стереоскопический просмотр.
Трехмерные очки 400 содержат жидкокристаллические затворы, которые предоставляют возможность пользователю просматривать параллактическое изображение способом последовательной сегрегации или способом поляризационных очков. Здесь, параллактическое изображение - это изображение, которое состоит из пары (i) изображения, которое входит только в правый глаз, и (ii) изображения, которое входит только в левый глаз, так что изображения, соответственно, ассоциированные с правым и левым глазом, соответственно, входят в глаза пользователя, тем самым реализуя стереоскопический просмотр. Фиг. 1B показывает состояние трехмерных очков 400, когда отображается изображение для просмотра левым глазом. В момент, когда изображение для просмотра левым глазом отображается на экране, жидкокристаллический затвор для левого глаза находится в состоянии пропускания света, а жидкокристаллический затвор для правого глаза находится в состоянии блокирования света. Фиг. 1C показывает состояние трехмерных очков 400, когда отображается изображение для просмотра правым глазом. В момент, когда изображение для просмотра правым глазом отображается на экране, жидкокристаллический затвор для правого глаза находится в состоянии пропускания света, а жидкокристаллический затвор для левого глаза находится в состоянии блокирования света.
Пульт 500 дистанционного управления является машиной для приема от пользователя операций для воспроизведения AV. Пульт 500 дистанционного управления является также машиной для приема от пользователя операций в многоуровневом GUI. Чтобы принимать операции, пульт 500 дистанционного управления содержит клавишу меню, клавиши со стрелками, клавишу ENTER, клавишу RETURN и числовые клавиши, при этом клавиша меню используется для того, чтобы вызывать меню, составляющее GUI, клавиши со стрелками используются для того, чтобы перемещать фокус между компонентами GUI, составляющими меню, клавиша ENTER используется для того, чтобы выполнять операцию ввода (определения) для компонента GUI, составляющего меню, клавиша RETURN используется для того, чтобы возвращаться на верхний уровень в многоуровневом меню.
В системе домашнего кинотеатра, показанной на фиг. 1A-1C, режим вывода устройства воспроизведения для инструктирования дисплейному устройству 300 отображать изображения в режиме трехмерного воспроизведения называется "режимом трехмерного вывода", а режим вывода устройства воспроизведения для инструктирования дисплейному устройству 300 отображать изображения в режиме двумерного воспроизведения называется "режимом двумерного вывода".
На этом завершается описание этапа использования носителя записи и устройства воспроизведения.
Настоящий вариант осуществления приспосабливает способ, при котором параллактические изображения, которые должны использоваться для стереоскопического просмотра, сохраняются на носителе записи информации.
Способ параллактического изображения - это способ для реализации стереоскопического просмотра посредством отдельной подготовки изображения для правого глаза и изображения для левого глаза и инструктирования изображению для правого глаза входить только в правый глаз, а изображению для левого глаза - входить только в левый глаз. Фиг. 2 показывает голову пользователя слева на чертеже и изображения скелета динозавра, видимые, соответственно, посредством левого глаза и правого глаза пользователя, справа на чертеже. Когда пропускание и блокирование света повторяется поочередно для правого и левого глаза, левая и правая сцены накладываются в мозгу пользователя посредством эффекта послеизображений глаз, и наложенное изображение распознается как стереоскопическое изображение, появляющееся перед пользователем.
Из параллактических изображений изображение, входящее в левый глаз, называется изображением для левого глаза (L-изображением), а изображение, входящее в правый глаз, называется изображением для правого глаза (R-изображением). Видео, состоящее только из L-изображений, называется видео для просмотра левым глазом, а видео, состоящее только из R-изображений, называется видео для просмотра правым глазом. Кроме того, видеопотоки, которые получаются посредством оцифровки и кодирования со сжатием видео для просмотра правым глазом и видео для просмотра левым глазом, называются видеопотоком для просмотра левым глазом и видеопотоком для просмотра правым глазом соответственно.
Эти видеопотоки для просмотра левым глазом и правым глазом сжимаются посредством межкадрового прогнозирующего кодирования с использованием коррелированного свойства между точками обзора, а также посредством межкадрового прогнозирующего кодирования с использованием коррелированного свойства на временной оси. Изображения, составляющие видеопоток для просмотра правым глазом, сжимаются посредством обращения к изображениям, составляющим видеопоток для просмотра левым глазом, имеющим одинаковые времена отображения. Одним из способов сжатия видео с использованием такого коррелированного свойства между точками обзора является скорректированный стандарт MPEG-4 AVC/H.264, который называется кодированием многовидового видео (MVC). Объединенная группа по видеостандартам (JVT), которая является совместным проектом ISO/IEC MPEG и ITU-T VCEG, в июле 2008 завершила формулирование скорректированного стандарта MPEG-4 AVC/H.264, называемого кодированием многовидового видео (MVC). MVC - это стандарт для кодирования, пакетами, изображений для множества точек обзора. Вследствие использования, при прогнозирующем кодировании, подобия изображений между точками обзора, а также подобия изображений на временной оси, MVC повышает эффективность сжатия по сравнению со способами для кодирования независимых изображений для множества точек обзора.
Видеопоток, из видеопотока для просмотра левым глазом и видеопотока для просмотра правым глазом, кодированного со сжатием посредством MVC, который может быть декодирован независимо, называется "видеопотоком для базового просмотра". Индикатор базового просмотра, который описывается ниже, указывает, какой из видеопотока для просмотра левым глазом и видеопотока для просмотра правым глазом указывается как видеопоток для базового просмотра. Кроме того, видеопоток, из видеопотока для просмотра левым глазом и видеопотока для просмотра правым глазом, который кодирован со сжатием на основе межкадрового коррелированного свойства с данными каждого изображения, составляющими видеопоток для базового просмотра, и который может быть декодирован только после того, как видеопоток для базового просмотра декодирован, называется "потоком для зависимого просмотра".
Видеопоток, из видеопотока для просмотра левым глазом и видеопотока для просмотра правым глазом, кодированного со сжатием с использованием коррелированного свойства между точками обзора, который может быть декодирован независимо, называется "видеопотоком для базового просмотра". Индикатор базового просмотра в информации элемента воспроизведения указывает, какой из видеопотока для просмотра левым глазом и видеопотока для просмотра правым глазом указывается как видеопоток для базового просмотра.
Видеопоток в формате MPEG4-AVC, который формирует основу MVC-видеопотока, описывается далее.
MVC-видеопоток имеет структуру GOP и состоит из закрытых и открытых GOP. Закрытая GOP состоит из IDR-изображения и B-изображений и P-изображений, которые идут после IDR-изображения. Открытая GOP состоит из не-IDR-I-изображения и B-изображений и P-изображений, которые идут после не-IDR-I-изображения.
Не-IDR-I-изображения, B-изображения и P-изображения кодируются со сжатием на основе кадровой корреляции с другими изображениями. B-изображение - это изображение, состоящее из данных серии последовательных макроблоков в двунаправленно прогнозирующем (B) формате, а P-изображение - это изображение, состоящее из данных серии последовательных макроблоков в прогнозирующем (P) формате. B-изображение классифицируется на опорное B (Br) и неопорное B (B) изображение.
В закрытой GOP IDR-изображение располагается в начале. В порядке отображения IDR-изображение не является первым, но изображения (B-изображения и P-изображения), отличные от IDR-изображения, не могут иметь взаимосвязи зависимости с изображениями, существующими в GOP, которая предшествует закрытой GOP. Из этого следует понимать, что закрытая GOP выполняет роль, чтобы осуществлять взаимосвязь зависимости.
Затем описывается внутренняя структура GOP. Каждый фрагмент данных изображений в открытой и закрытой GOP имеет структуру единиц видеодоступа способа кодирования H.264. Каждая единица видеодоступа включает в себя разделитель единицы видеодоступа, набор параметров последовательности, набор параметров изображения и компонент вида.
Компонент вида - это данные изображений, которые кодированы со сжатием на основе корреляции между точками обзора, при этом он имеет структуру единицы доступа.
Разделитель единицы видеодоступа преобразуется в модуль абстрагирования от сети и затем сохраняется в исходном пакете. Считывание из исходного пакета предоставляет произвольный доступ в видеопотоке.
Взаимосвязь между единицей видеодоступа и изображением следующая: "1 единица видеодоступа = 1 изображение". В BD-ROM взаимосвязь ограничена "1 PES-пакет = 1 кадр". Следовательно, когда видео имеет кадровую структуру, "1 PES-пакет = 1 изображение", а когда видео имеет полевую структуру, "1 PES-пакет = 2 изображения". С учетом этого, PES-пакет сохраняет изображение в отношении "один-к-одному".
Фиг. 3 показывает один пример внутренних структур видеопотоков для просмотра левым глазом и правым глазом для стереоскопического просмотра.
Во второй строке по фиг. 3, показываются внутренние структуры видеопотока для просмотра левым глазом. Данный поток включает в себя данные изображений I1, P2, Br3, Br4, P5, Br6, Br7 и P8. Эти данные изображений декодируются согласно временным меткам декодирования (DTS). Первая строка показывает изображение для левого глаза. Изображение для левого глаза воспроизводится посредством воспроизведения данных декодированных изображений I1, P2, Br3, Br4, P5, Br6, Br7 и P9 согласно PTS, в порядке I1, Br3, Br4, P2, Br6, Br7 и P5.
В четвертой строке по фиг. 3, показываются внутренние структуры видеопотока для просмотра правым глазом. Поток вторичного видео включает в себя данные изображений P1, P2, B3, B4, P5, B6, B7 и P8. Эти данные изображений декодируются согласно DTS. Третья строка показывает изображение для правого глаза. Изображение для правого глаза воспроизводится посредством воспроизведения данных декодированных изображений P1, P2, B3, B4, P5, B6, B7 и P8 согласно PTS, в порядке P1, B3, B4, P2, B6, B7 и P5.
Пятая строка показывает то, как состояние трехмерных очков 400 изменяется. Как показано в пятой строке, когда изображение для левого глаза просматривается, затвор для правого глаза закрывается, а когда изображение для правого глаза просматривается, затвор для левого глаза закрывается.
На фиг. 3, например, начальное P-изображение видеопотока для просмотра правым глазом ссылается на I-изображение видеопотока для просмотра левым глазом; B-изображение видеопотока для просмотра правым глазом ссылается на Br-изображение видеопотока для просмотра левым глазом; и второе P-изображение видеопотока для просмотра правым глазом ссылается на P-изображение видеопотока для просмотра левым глазом. Здесь, режим, в котором видеокадры видеопотока для базового просмотра (B) и видеокадры видеопотока для зависимого просмотра (D) поочередно выводятся с циклом отображения 1/48 секунд как "B"-"D"-"B"-"D", называется "режимом представления B-D".
Кроме того, режим, в котором один тип видеокадра повторно выводится два или более раз, в то время как трехмерный режим сохраняется как режим воспроизведения, называется "режимом представления B-B". В "режиме представления B-B" видеокадры независимо воспроизводимого видеопотока для базового просмотра повторно выводятся как "B"-"B"-"B"-"B".
Режим представления B-D и режим представления B-B, описанные выше, являются основными режимами представления в устройстве воспроизведения. Кроме них, режим воспроизведения, называемый режимом "1 плоскость + смещение", доступен в устройстве воспроизведения.
Режим "1 плоскость + смещение" (также называемый "режимом трехмерного смещения") является режимом воспроизведения, в котором стереоскопический просмотр реализуется посредством включения модуля сдвига во вторую половину запоминающего устройства плоскости и оперирования с модулем сдвига. В каждом из периода просмотра левым глазом и периода просмотра правым глазом, модуль смещения плоскости сдвигает координаты пикселов в запоминающем устройстве плоскости в единицах линий влево или вправо, чтобы смещать точку формирования изображений линий просмотра левым глазом и правым глазом вперед или назад так, что зритель может чувствовать изменение в ощущении глубины. Более конкретно, когда координаты пикселов сдвигаются влево в период просмотра левым глазом и вправо в период просмотра правым глазом, точка формирования изображений смещается вперед; а когда координаты пикселов сдвигаются вправо в период просмотра левым глазом и влево в период просмотра правым глазом, точка формирования изображений смещается назад.
При таком сдвиге плоскости, запоминающее устройство плоскости для стереоскопического просмотра должно иметь только одну плоскость. Таким образом, это является оптимальным способом для простого формирования стереоскопических изображений. Тем не менее, сдвиг плоскости просто формирует стереоскопические изображения, причем моноскопические изображения выступают вперед или отступают назад. Следовательно, он подходит для формирования стереоскопического эффекта для меню или субтитра, но не является оптимальным при реализации стереоскопического эффекта для символов или физических объектов. Это обусловлено тем, что он не может воспроизводить впадины или шероховатость гарнитур символов.
Чтобы поддерживать режим "1 плоскость + смещение", устройство воспроизведения имеет следующую структуру. Для воспроизведения графики устройство воспроизведения включает в себя запоминающее устройство плоскости, CLUT-модуль и модуль синтезирования. Модуль сдвига плоскости включается между CLUT-модулем и модулем синтезирования. Модуль сдвига плоскости реализует вышеописанное изменение координат пикселов посредством использования смещения в последовательности смещений, включенной в структуру единицы доступа видеопотока для зависимого просмотра. При этой компоновке уровень обхода пикселов в режиме "1 плоскость + смещение" изменяется синхронно с MVC-видеопотоком. Режим "1 плоскость + смещение" включает в себя режим "1 плоскость + нулевое смещение". Режим "1 плоскость + нулевое смещение" - это режим отображения, который, когда всплывающее меню включено, дает стереоскопический эффект только всплывающему меню посредством задания значения смещения равным нулю.
Фиг. 4 показывает то, как реализовывать стереоскопический просмотр в режиме "1 плоскость + смещение".
Когда видео для просмотра левым глазом должно выводиться в режиме "1 плоскость + смещение", координаты данных изображений, сохраненных в запоминающем устройстве плоскости, называемой PG-плоскостью, сдвигаются к положительному направлению оси X на значение смещения. Запоминающее устройство плоскости затем кадрируется, чтобы не допускать его перекрывание с видеоплоскостью для просмотра левым глазом, и предоставляется для синтезирования с другими плоскостями (см. верхнюю часть фиг. 4).
Когда видео для просмотра правым глазом должно выводиться, координаты данных изображений, сохраненных в запоминающем устройстве плоскости, сдвигаются к отрицательному направлению оси X на значение смещения. Запоминающее устройство плоскости затем кадрируется, чтобы не допускать его перекрывание с видеоплоскостью для просмотра левым глазом, и предоставляется для синтезирования с другими плоскостями (см. нижнюю часть фиг. 4).
Фиг. 5 показывает то, как плоскости изображений отображаются пользователю после кадрирования и наложения с использованием значений смещения. При сдвиге и кадрировании плоскостей изображений с использованием значений смещения можно создавать параллактические изображения для левого и правого глаз. Это позволяет давать глубину моноскопическому изображению. Когда изображение имеет данную глубину, пользователь должен видеть, что моноскопическое изображение высвечивается на экране дисплейного устройства.
Режим представления B-D дополнительно включает в себя способ трехмерной глубины для реализации стереоскопического эффекта посредством использования двумерных изображений и информации глубины, а также 3D-LR-способ для реализации стереоскопического эффекта посредством использования L-изображений и R-изображений.
Способ трехмерной глубины реализуется посредством включения формирователя параллактических изображений во вторую половину видеодекодера, и в способе трехмерной глубины данные изображений для просмотра левым глазом и данные изображений для просмотра правым глазом формируются из (i) каждого фрагмента данных изображений в видеопотоке и (ii) информации глубины каждого пиксела, который составляет данные изображений.
Информация глубины может состоять из данных полутоновых изображений (также называемых данными изображений информации глубины), которые представляют глубину пикселов посредством шкалы полутонов.
Фиг. 6A-6D показывают один пример способа трехмерной глубины. Фиг. 6A показывает двумерное изображение, а фиг. 6B показывает шкалу полутонов, сформированную для двумерного изображения, показанного на фиг. 6A. Шкала полутонов представляется посредством пикселов, которые состоят только из элемента яркости. Чем более яркими (более белыми) являются полутоновые пикселы, тем они являются более поверхностными; и чем более темными являются полутоновые пикселы, тем они являются более глубокими. Фиг. 6C и 6D показывают изображение для левого глаза и изображение для правого глаза, которые формируются с использованием шкалы полутонов, соответственно. Фиг. 7 показывает стереоскопическое изображение, сформированное в режиме трехмерной глубины. Как показано на фиг. 7, посредством формирования изображения для левого глаза и изображения для правого глаза для каждого кадра двумерных изображений, пользователь может пользоваться стереоскопическим просмотром посредством наблюдения изображения для левого глаза и изображения для правого глаза через защитные очки.
В способе трехмерной глубины видеопоток, который может воспроизводиться как двумерное изображение, становится видеопотоком для базового просмотра; и видеопоток, который состоит из данных полутоновых изображений, становится видеопотоком для зависимого просмотра.
Видеопоток для базового просмотра может быть совместно использован посредством режима трехмерной глубины и 3D-LR-режима. Следовательно, можно формировать изображения для режима трехмерной глубины и изображения для 3D-LR-режима посредством комбинирования видеопотока для базового просмотра и видеопотока для режима трехмерной глубины или видеопотока для 3D-LR-режима. Структура управления данными имеет такую форму, чтобы поддерживать эти комбинации так, что способ отображения переключается в соответствии со свойствами проигрывателя и телевизионного приемника, подключенного к нему. Чтобы достигать режима трехмерной глубины, устройство воспроизведения должно содержать специализированные аппаратные средства. Как результат, в настоящей заявке предполагается, если не упомянуто иное, что носитель записи и устройство воспроизведения не поддерживают режим трехмерной глубины.
(Первый вариант осуществления)
Вариант осуществления 1 настоящей заявки относится к усовершенствованию относительно выбора одного из числа множества типов элементарных потоков (ES).
Фиг. 8A-8C показывают внутреннюю структуру носителя записи в варианте осуществления 1. Как показано на фиг. 8A, носитель записи в варианте осуществления 1 сохраняет файл индексных таблиц, файл программы объектов рабочего режима, файл информации списков воспроизведения, файл информации потока и файл потока.
<Файл индексных таблиц>
Файл индексных таблиц - это управляющая информация всего носителя записи. Файл индексных таблиц является первым файлом, который должен считываться посредством устройства воспроизведения после того, как носитель записи загружается в устройство воспроизведения, так что устройству воспроизведения предоставляется возможность уникально идентифицировать диск. Файл индексных таблиц показывает соответствие между каждым тайтлом, составляющим структуру тайтлов оптического диска, и объектом рабочего режима, который указывает рабочий режим. Здесь, структура тайтлов достигает следующего: после загрузки оптического диска, воспроизведение тайтла (первого тайтла воспроизведения) для отображения предупреждения зрителю, логотипа поставщика содержимого и т.д.; после воспроизведения первого тайтла воспроизведения, воспроизведение общего тайтла (который идентифицируется посредством порядкового номера, такого как "1", "2" или "3"), который составляет сюжет фильма; и после воспроизведения тайтла сюжета, воспроизведение тайтла (тайтла меню) и ожидание указания общего тайтла, выбранного пользователем. Здесь, один фильм соответствует множеству тайтлов, которые являются множеством версий фильма. Соответственно, когда фильм имеет только одну версию, взаимосвязь представляется как "фильм=тайтл". Когда фильм имеет множество версий, к примеру версию для показа в кинотеатре, режиссерскую версию и телевизионную версию, каждая из этих версий предоставляется как один тайтл. Устройство воспроизведения содержит регистр номеров тайтлов, сохраняющий номер тайтла для текущего тайтла. Тайтл, воспроизводимый в данный момент, является одним из множества тайтлов, номер тайтла которых в настоящий момент сохраняется в регистре номеров тайтлов. В оптических дисках вышеуказанному первому тайтлу воспроизведения, общим тайтлам и тайтлам меню назначаются объекты рабочего режима, которые задают рабочие режимы соответствующих тайтлов, чтобы задавать рабочий режим, в котором работает каждый тайтл. В этой структуре индексная таблица не показывает напрямую соответствие между тайтлами и видеопотоками, а показывает соответствие между тайтлами и объектами рабочего режима, так что видеопотоки воспроизводятся через объекты рабочего режима. Это обусловлено тем, что она направлена на то, чтобы задавать тайтлы, которые оперируют с объектами рабочего режима без воспроизведения AV.
<Файл программы объектов рабочего режима>
Файл программы объектов рабочего режима сохраняет объекты рабочего режима, которые являются программами, которые задают рабочие режимы устройства воспроизведения. Объект рабочего режима классифицируется на: объект, который записывается как команда; и объект, который записывается на объектно-ориентированном входном языке компилятора. Первый тип объекта рабочего режима предоставляет множество навигационных команд как пакетное задание в устройство воспроизведения в командном рабочем режиме, чтобы оперировать с устройством воспроизведения на основе навигационных команд. Командный рабочий режим называется "HDMV-режимом".
TM
Второй тип объекта рабочего режима предоставляет экземпляры структуры классов в устройство воспроизведения в рабочем режиме на основе объектно-ориентированного входного языка компилятора, чтобы оперировать с устройством воспроизведения на основе экземпляров. Приложения Java могут использоваться как экземпляры структуры классов. Рабочий режим на основе объектно-ориентированного входного языка компилятора называется "BD-J-режимом".
<Файл информации списков воспроизведения>
TM
Файл информации списков воспроизведения - это файл, хранящий информацию, которая используется для того, чтобы инструктировать устройству воспроизведения воспроизводить список воспроизведения. "Список воспроизведения" указывает путь воспроизведения, заданный посредством логического указания порядка воспроизведения секций воспроизведения, причем секции воспроизведения задаются на временной оси транспортных потоков (TS). Список воспроизведения выполняет роль задания последовательности сцен, которые должны отображаться по порядку, посредством указания того, какие части каких TS из множества TS должны воспроизводиться. Информация списка воспроизведения задает "конфигурации" списков воспроизведения. Путь воспроизведения, заданный посредством информации списка воспроизведения, называется "множественным путем". Множественный путь состоит из "основного пути" и одного или более "подпутей". Основной путь задается для основного TS. Подпути задаются для подчиненных потоков. Множество подпутей может быть задано, при этом один основной путь задается. Множество подпутей идентифицируется посредством идентификаторов, называемых идентификаторами подпутей. Позиции глав задаются на временной оси воспроизведения множественного пути. Можно реализовывать произвольный доступ посредством устройства воспроизведения к произвольному моменту времени на временной оси множественного пути посредством инструктирования устройству воспроизведения обращаться к одной из позиций глав. В BD-J-режиме можно начинать AV-воспроизведение посредством множественного пути посредством инструктирования виртуальной машине Java формировать экземпляр проигрывателя JMF (Java Media Framework) для воспроизведения информации списка воспроизведения. Экземпляр JMF-проигрывателя - это данные, которые фактически формируются в динамически распределяемом запоминающем устройстве виртуальной машины на основе класса JMF-проигрывателя. В HDMV-режиме можно начинать AV-воспроизведение посредством множественного пути посредством инструктирования устройству воспроизведения выполнять навигационную команду, инструктирующую то, чтобы выполнять воспроизведение согласно списку воспроизведения. Устройство воспроизведения содержит регистр номеров списков воспроизведения, сохраняющий номер для информации текущего списка воспроизведения. Информация списка воспроизведения, воспроизводимая в данный момент, является одним из множества фрагментов информации списка воспроизведения, номер которого в настоящий момент сохраняется в регистре номеров списков воспроизведения.
<Файл информации потока>
Файлы информации потока - это файлы информации о клипах, которые предоставляются в соответствии "один-к-одному" с файлами потока. Файл информации потока указывает: какая ATC-последовательность создана из последовательности исходных пакетов, которые существуют в файле потока; какая STC-последовательность включается в ATC-последовательность; и какой TS является ATC-последовательностью.
Файл информации потока указывает содержимое файла потока. Следовательно, когда TS в файле потока должен воспроизводиться, необходимо заранее считывать, в запоминающее устройство, файл информации потока, который соответствует файлу потока. Другими словами, при воспроизведении файла потока приспосабливается "принцип предварительного сохранения", в котором файл информации потока заранее считывается в запоминающее устройство. Причина, по которой принцип предварительного сохранения приспосабливается, следующая. Структура данных TS, сохраненного в файле потока, имеет совместимость с европейским стандартом цифровой широковещательной передачи. Таким образом, поток содержит такую информацию, как PCR, PMT и PAT, которая предоставляет возможность обработки потока как широковещательной программы. Тем не менее, нецелесообразно извлекать эту информацию каждый раз, когда воспроизведение выполняется. Это обусловлено тем, что необходимо каждый раз, когда воспроизведение выполняется, осуществлять доступ к низкоскоростному носителю записи, чтобы считывать пакеты, составляющие TS, и анализировать рабочие данные TS-пакетов. Следовательно, файлы информации потока предоставляются в соответствии "один-к-одному" с файлами потока, сохраняющими TS, и файлы информации потока считываются в запоминающее устройство до того, как поток воспроизводится, так что информация TS может выясняться без анализа рабочих данных TS.
<Файл потока>
Файл потока сохраняет одну или более последовательностей исходных пакетов. Исходный пакет - это TS-пакет, к которому присоединяется 4-байтовый TP_Extra_Header. TP_Extra_Header состоит из 2-битового индикатора разрешения копирования и 30-битовой ATS (временная метка поступления). ATS, включенная в TP_Extra_Header, указывает время поступления при передаче реального времени, в которой обеспечивается равновременность.
Из таких последовательностей исходных пакетов последовательность исходных пакетов, временные метки которой являются непрерывными на временной оси таймера поступления (ATC), называется "ATC-последовательностью". ATC-последовательность является последовательностью исходных пакетов, при этом Arrival_Time_Clock, на которые ссылаются Arrival_Time_Stamp, включенные в ATC-последовательность, не включают в себя "неоднородность временной оси поступления". Другими словами, ATC-последовательность является последовательностью исходных пакетов, при этом Arrival_Time_Clock, на которые ссылаются Arrival_Time_Stamp, включенные в ATC-последовательность, являются непрерывными. Именно поэтому каждый исходный пакет, составляющий ATC-последовательность, подвергается процессам непрерывного депакетирования исходных пакетов и процессам непрерывной фильтрации пакетов в то время, когда счетчик синхросигналов подсчитывает таймеры поступления устройства воспроизведения.
Хотя ATC-последовательность является последовательностью исходных пакетов, последовательность TS-пакетов, временные метки которых являются непрерывными на временной оси STC, называется "STC-последовательностью". STC-последовательность является последовательностью TS-пакетов, которые не включают в себя "неоднородность системной временной оси", которая основана на STC (таймер системы), который является системным стандартным временем для TS. Присутствие неоднородности системной временной оси указывается посредством активации "discontinuity_indicator", причем discontinuity_indicator содержится в PCR-пакете, переносящем PCR (временную отметку программ), которая указывается ссылкой посредством декодера, чтобы получать STC. STC-последовательность является последовательностью TS-пакетов, временные метки которых являются непрерывными на временной оси STC. Следовательно, каждый TS-пакет, составляющий STC-последовательность, подвергается непрерывным процессам декодирования, выполняемым посредством декодера, предоставленного в устройстве воспроизведения, в то время когда счетчик синхросигналов подсчитывает системные таймеры устройства воспроизведения.
Каждый основной TS и суб-TS в файле потока управляется как "фрагмент AV-потока", а именно "AV-клип" посредством информации о клипах в файле информации потока, соответствующем файлу потока.
Кроме того, последовательность пакетов, сохраненная в файле потока, содержит информацию управления пакетами (PCR, PMT, PAT), заданную в европейском стандарте цифровой широковещательной передачи, в качестве информации для управления и контроля множества типов PES-потоков.
PCR (временная отметка программ) сохраняет информацию времени STC, соответствующую ATS, которая указывает время, когда PCR-пакет передается в декодер, чтобы достигать синхронизации между ATC (таймер поступления), который является временной осью ATS, и STC (таймер системы), который является временной осью PTS и DTS.
PMT (таблица структуры программ) сохраняет PID в потоках видео, аудио, графика, и т.п., содержащихся в файле транспортного потока, и информации атрибутов потоков, соответствующих PID. PMT также имеет различные дескрипторы, касающиеся TS. Дескрипторы имеют такую информацию, как информация управления копированием, показывающая то, разрешено или нет копирование AV-клипа.
PAT (таблица ассоциаций программ) показывает PID PMT, используемой в TS, и регистрируется посредством PID-компоновки самой PAT.
Эти PCR, PMT и PAT, в европейском стандарте цифровой широковещательной передачи, выполняют роль задания частичных транспортных потоков, составляющих одну широковещательную программу (одну программу). Это предоставляет возможность устройству воспроизведения инструктировать декодеру декодировать TS, как будто он обрабатывает частичные TS, составляющие одну широковещательную программу, в соответствии с европейским стандартом цифровой широковещательной передачи. Эта структура направлена на то, чтобы поддерживать совместимость между устройствами воспроизведения носителей записи и терминалами, соответствующими европейскому стандарту цифровой широковещательной передачи. Из TS, TS, который является базовой осью множественного пути, называется "основным TS"; а TS, который является базовой осью подпути, называется "суб-TS".
Фиг. 8B показывает внутреннюю структуру основного TS. Фиг. 8C показывает внутреннюю структуру суб-TS. Как показано на фиг. 8B, основной TS включает в себя один видеопоток для базового просмотра, 32 PG-потока для базового просмотра, 32 IG-потока для базового просмотра и 32 аудиопотока. Как показано на фиг. 8C, суб-TS включает в себя один видеопоток для зависимого просмотра, 32 PG-потока для зависимого просмотра и 32 IG-потока для зависимого просмотра.
Затем описывается внутренняя структура TS.
Фиг. 9A и 9B подробнее иллюстрируют то, как видеопоток сохраняется в последовательностях PES-пакетов. Первая строка на фиг. 9A показывает последовательность видеокадров видеопотока. Вторая строка показывает последовательность PES-пакетов. Третья строка показывает последовательность TS-пакетов, полученную посредством преобразования последовательности PES-пакетов. Как показано посредством стрелок yy1, yy2, yy3 и yy4, видеопоток состоит из множества единиц видеопредставления (I-изображение, B-изображение, P-изображение). Видеопоток делится на отдельные изображения, и каждое изображение сохраняется в рабочих данных PES-пакета. Каждый PES-пакет имеет PES-заголовок, сохраняющий PTS (временная метка представления), которая является временем отображения изображения, сохраненного в рабочих данных PES-пакета, и DTS (временная метка декодирования), которая является временем декодирования изображения, сохраненного в рабочих данных PES-пакета.
<Последовательность TS-пакетов>
Фиг. 9B показывает формат TS-пакетов, составляющих TS. Первая строка показывает последовательность TS-пакетов. Вторая строка показывает последовательность исходных пакетов.
Как показано в первой строке фиг. 9B, каждый TS-пакет является пакетом фиксированной длины, состоящим из 4-байтового TS-заголовка, переносящего такую информацию, как PID, идентифицирующий поток, и 184-байтовых рабочих данных TS, сохраняющих данные. PES-пакеты делятся и сохраняются в рабочих данных TS.
Как показано во второй строке, к каждому TS-пакету присоединяется 4-байтовый TP_Extra_Header, который должен быть преобразован в 192-байтовый исходный пакет. Такие 192-байтовые исходные пакеты составляют TS. TP_Extra_Header хранит такую информацию, как ATS (Arrival_Time_Stamp). ATS показывает время начала передачи, в которое TS-пакет должен быть передан в PID-фильтр. Исходные пакеты размещаются в TS, как показано в третьей строке. Номера, возрастающие с заголовка TS, называются SPN (номерами исходных пакетов).
<Мультиплексирование в TS>
Фиг. 10 схематично показывает то, как основной TS мультиплексируется. Сначала, видеопоток и аудиопоток (первая строка), соответственно, преобразуются в последовательности PES-пакетов (вторая строка) и дополнительно преобразуются в последовательности TS-пакетов, соответственно (третья строка). Аналогично, поток презентационной графики для базового просмотра и поток интерактивной графики для базового просмотра (седьмая строка) преобразуются в последовательности PES-пакетов, соответственно (шестая строка), и дополнительно преобразуются в последовательности исходных пакетов, соответственно (пятая строка). Видео-, аудио- и графические исходные пакеты, полученные таким образом, размещаются в порядке, указываемом посредством их ATS. Это обусловлено тем, что исходные пакеты должны считываться в буфер считывания согласно их ATS. Основной TS (четвертая строка) состоит из этих исходных пакетов, размещаемых таким образом.
- Элементарные потоки, которые должны быть мультиплексированы в TS
Элементарные потоки (ES), которые должны быть мультиплексированы в этих TS, включают в себя видеопоток, аудиопоток, поток презентационной графики и поток интерактивной графики.
- Видеопоток
Видеопоток, указываемый как поток для базового просмотра, составляет поток первичного видео в приложении "картинка-в-картинке". Приложение "картинка-в-картинке" состоит из потока первичного видео и потока вторичного видео. Поток первичного видео - это видеопоток, состоящий из данных изображений приложения "картинка-в-картинке", которое представляет родительское изображение на экране; а поток вторичного видео - это видеопоток, состоящий из данных изображений приложения "картинка-в-картинке", которое представляет дочернее изображение, которое приспосабливается в родительском изображении.
Данные изображений, составляющие поток первичного видео, и данные изображений, составляющие поток вторичного видео, сохраняются в различных запоминающих устройствах плоскостей после декодирования. Запоминающее устройство плоскости, которое сохраняет данные изображений, составляющие поток вторичного видео, имеет, в первой своей половине, структурный элемент (масштабирование и размещение), который выполняет изменение масштабирования данных изображений, составляющих поток вторичного видео, и размещение координат дисплея данных изображений, составляющих поток вторичного видео.
- Аудиопоток
Аудиопоток классифицируется на поток первичного аудио и поток вторичного аудио. Поток первичного аудио - это аудиопоток, который должен быть основным аудио, когда смешанное воспроизведение выполняется; а поток вторичного аудио - это аудиопоток, который должен быть субаудио, когда смешанное воспроизведение выполняется. Поток вторичного аудио включает в себя информацию для понижающей дискретизации для смешения и информацию для управления усилением.
- Поток презентационной графики (PG)
PG-поток - это графический поток, который может практически полностью синхронизироваться с видео с помощью приспособления конвейера в декодере и подходит для представления субтитров. PG-поток делится на два типа: двумерный PG-поток; и стереоскопический PG-поток. Стереоскопический PG-поток дополнительно делится на два типа: PG-поток для просмотра левым глазом; и PG-поток для просмотра правым глазом. Один из PG-потока для просмотра левым глазом и PG-потока для просмотра правым глазом, который указывается посредством индикатора базового просмотра, становится PG-потоком для базового просмотра, а другой, который не указывается посредством индикатора базового просмотра, становится PG-потоком для зависимого просмотра.
Причина, по которой предоставляется стереоскопический PG-поток, как и двумерный PG-поток, следующая. Например, когда PG-поток представляет символы субтитров, символы субтитров при виде спереди, которые должны отображаться в двумерном режиме, и символы субтитров для левого глаза и правого глаза, которые должны отображаться в 3D-LR-режиме, должны отличаться друг от друга. Поэтому один графический поток изображения при виде спереди отображается в двумерном режиме, и два графических потока (PG-поток для просмотра левым глазом и PG-поток для просмотра правым глазом) отображаются в 3D-LR-режиме. Аналогично, в режиме трехмерной глубины, изображение при виде спереди и полутоновый поток, указывающий информацию глубины, воспроизводятся. Поток "двумерный+смещение" (двумерный совместимый) и 3D-LR-поток не должны предоставляться в смешении.
Можно задавать до 32 двумерных PG-потоков, до 32 PG-потоков для базового просмотра и до 32 PG-потоков для зависимого просмотра. К этим PG-потокам присоединяются различные идентификаторы пакетов. Таким образом, можно инструктировать требуемому PG-потоку из этих PG-потоков подвергаться воспроизведению посредством указания идентификатора пакета для IG-потока, который должен воспроизводиться, для модуля демультиплексирования.
PG-поток для просмотра левым глазом и PG-поток для просмотра правым глазом должны иметь идентичный языковой атрибут, так что, даже если пользователь переключает способ отображения, отображается субтитр, имеющий идентичное содержимое. Таким образом, предполагается, что двумерные субтитры и трехмерные субтитры соответствуют друг другу на основе "один-к-одному" и что двумерный субтитр, не имеющий соответствующего трехмерного субтитра, или трехмерный субтитр, не имеющий соответствующего двумерного субтитра, не должен предоставляться. Это должно не допускать запутывание пользователя, когда способ отображения переключается. При такой структуре, потоки, которые надлежащим образом соответствуют режимам двумерного и трехмерного отображения, выбираются, когда один номер потока указывается. В таком случае, один номер потока должен соответствовать идентичному языковому атрибуту, так что содержимое субтитров для двумерного режима и LR является идентичным.
Практически полная синхронизация с видео достигается вследствие декодирования с помощью приспособленного конвейера. Таким образом, использование PG-потока не ограничено воспроизведением символов, таких как символы субтитров. Например, можно отображать символ фигурки человека фильма, который перемещается синхронно с видео. Таким образом, любое графическое воспроизведение, которое требует практически полной синхронизации с видео, может приспосабливаться в качестве целевого объекта воспроизведения посредством PG-потока.
PG-поток - это поток, который не мультиплексируется в транспортный поток, а представляет субтитр. Поток текстовых субтитров (также называемый потоком textST) тоже является потоком этого вида. Поток textST - это поток, который представляет содержимое субтитра посредством кодов символов.
PG-поток и поток текстовых субтитров регистрируются как идентичный тип потока в идентичной последовательности регистрации потоков без различия между собой по типу. Кроме того, затем во время выполнения процедуры для выбора потока, PG-поток или поток текстовых субтитров, который должен воспроизводиться, определяется согласно порядку потоков, зарегистрированных в последовательности регистрации потоков. Таким образом, PG-потоки и потоки текстовых субтитров подвергаются процедуре выбора потока без различия между собой по типу. Следовательно, они обрабатываются как принадлежащие одному типу потока, называемому "потоком субтитров PG_text".
Поток субтитров PG_text для двумерного воспроизводится в режиме "1 плоскость + смещение". В дальнейшем в этом документе, двумерный поток субтитров PG_text называется потоком субтитров PG_text "1 плоскость + смещение".
- Поток интерактивной графики (IG)
IG-поток - это графический поток, который, при наличии информации для интерактивного режима работы, может отображать меню в ходе выполнения воспроизведения видеопотока и отображать всплывающие меню в соответствии с пользовательскими операциями.
Как имеет место с PG-потоком, IG-поток классифицируется на двумерный IG-поток и стереоскопический IG-поток. Стереоскопический IG-поток классифицируется на IG-поток для просмотра левым глазом и IG-поток для просмотра правым глазом. Один из IG-потока для просмотра левым глазом и IG-потока для просмотра правым глазом, который указывается посредством индикатора базового просмотра, становится IG-потоком для базового просмотра, а другой, который не указывается посредством индикатора базового просмотра, становится IG-потоком для зависимого просмотра. Можно задавать до 32 двумерных IG-потоков, до 32 IG-потоков для базового просмотра и до 32 IG-потоков для зависимого просмотра. К этим IG-потокам присоединяются различные идентификаторы пакетов. Таким образом, можно инструктировать требуемому IG-потоку из этих IG-потоков подвергаться воспроизведению посредством указания идентификатора пакета для IG-потока, который должен воспроизводиться, для модуля демультиплексирования.
Управляющая информация IG-потока (называемая "сегментом интерактивного управления") включает в себя информацию (user_interface_model), которая задает модель пользовательского интерфейса. Пользователь, ответственный за авторскую разработку, может указывать либо "всегда включено", либо "всплывающее меню включено" посредством задания информации модели пользовательского интерфейса, причем для "всегда включено" меню отображаются в ходе выполнения воспроизведения видеопотока, а для "всплывающее меню включено" всплывающие меню отображаются в соответствии с пользовательскими операциями.
Информация интерактивного режима работы в IG-потоке имеет следующее значение. Когда виртуальная машина Java инструктирует механизму управления воспроизведением, который является упреждающим в управлении воспроизведением, начинать воспроизведение списка воспроизведения в соответствии с запросом от приложения, виртуальная машина Java, после инструктирования механизму управления воспроизведением начинать воспроизведение, возвращает ответ в приложение, чтобы уведомлять, что воспроизведение списка воспроизведения начато. Другими словами, в то время когда воспроизведение списка воспроизведения посредством механизма управления воспроизведением продолжается, виртуальная машина Java не переходит в состояние ожидания конца выполнения. Это обусловлено тем, что виртуальная машина Java называется "управляемым событиями" модулем выполнения и может выполнять операции в то время, когда механизм управления воспроизведением воспроизводит список воспроизведения.
С другой стороны, когда, в HDMV-режиме, интерпретатор команд инструктирует механизму управления воспроизведением воспроизводить список воспроизведения, он переходит в состояние ожидания до тех пор, пока выполнение воспроизведения списка воспроизведения не завершено. Соответственно, модуль выполнения команд не может выполнять интерактивный процесс в то время, когда воспроизведение списка воспроизведения посредством механизма управления воспроизведением продолжается. Графический декодер выполняет интерактивные операции вместо интерпретатора команд. Таким образом, чтобы инструктировать графическому декодеру выполнять интерактивные операции, в IG-поток встраивается управляющая информация, задающая интерактивные операции, для которых используются кнопки.
- Режимы отображения, разрешенные для каждого типа потока
Различные режимы трехмерного отображения разрешаются для каждого типа потока. В режиме трехмерного отображения потока первичного видео разрешаются два режима воспроизведения, а именно режим представления B-D и режим представления B-B. Режим представления B-B разрешается для потока первичного видео, только когда всплывающее меню включено. Тип потока первичного видео, когда воспроизведение выполняется в режиме представления B-D, называется "типом стереоскопического B-D-воспроизведения". Тип потока первичного видео, когда воспроизведение выполняется в режиме представления B-B, называется "типом стереоскопического B-B-воспроизведения".
В режиме трехмерного отображения PG-потока, разрешаются три режима воспроизведения, а именно режим представления B-D, режим "1 плоскость + смещение" и режим "1 плоскость + нулевое смещение". Режим "1 плоскость + нулевое смещение" разрешается для PG-потока, только когда всплывающее меню включено. Тип PG-потока, когда воспроизведение выполняется в режиме представления B-D, называется "типом стереоскопического воспроизведения". Тип PG-потока и потока субтитров PG_text, когда воспроизведение выполняется в режиме "1 плоскость + смещение", называется "типом 1 плоскость + смещение". Тип PG-потока и потока субтитров PG_text, когда воспроизведение выполняется в режиме "1 плоскость + нулевое смещение", называется "типом 1 плоскость + нулевое смещение".
В режиме трехмерного отображения потока текстовых субтитров, разрешаются два режима воспроизведения, а именно режим "1 плоскость + смещение" и режим "1 плоскость + нулевое смещение". Режим "1 плоскость + нулевое смещение" разрешается для потока текстовых субтитров, только когда всплывающее меню включено.
В режиме трехмерного отображения IG-потока, разрешаются три режима воспроизведения, а именно режим представления B-D, режим "1 плоскость + смещение" и режим "1 плоскость + нулевое смещение". Режим "1 плоскость + нулевое смещение" разрешается для IG-потока, только когда всплывающее меню включено. В последующем описании предполагается, если не упомянуто иное, что "картинка-в-картинке" не может использоваться во время воспроизведения в режиме трехмерного воспроизведения. Это обусловлено тем, что каждый из режима "картинка-в-картинке" и трехмерного воспроизведения требует двух видеоплоскостей для сохранения данных несжатых изображений. Также предполагается в последующем описании, если не упомянуто иное, что звуковое смешение не может использоваться в режиме трехмерного воспроизведения.
Далее описываются внутренние структуры основного TS и суб-TS. Фиг. 11A и 11B показывают внутренние структуры основного TS и суб-TS.
Фиг. 11A показывает внутреннюю структуру основного TS. Основной TS состоит из следующих исходных пакетов.
Исходный пакет, имеющий идентификатор пакета "0x0100", составляет таблицу program_map (PMT). Исходный пакет, имеющий идентификатор пакета "0x0101", составляет PCR.
Последовательность исходных пакетов, имеющая идентификатор пакета "0x1011", составляет поток первичного видео.
Последовательности исходных пакетов, имеющие идентификаторы пакетов "0x1220"-"0x123F", составляют 32 PG-потока для базового просмотра.
Последовательности исходных пакетов, имеющие идентификаторы пакетов "0x1420"-"0x143F", составляют 32 IG-потока для базового просмотра.
Последовательности исходных пакетов, имеющие идентификаторы пакетов "0x1100"-"0x111F", составляют потоки первичного аудио.
Посредством указания идентификаторов пакетов одного из этих исходных пакетов для модуля демультиплексирования можно инструктировать демультиплексирование и подвергание операциям декодера требуемого элементарного потока из множества элементарных потоков, мультиплексированных в основном транспортные потоки.
Фиг. 11B показывает внутреннюю структуру суб-TS. Суб-TS состоит из следующих исходных пакетов.
Последовательность исходных пакетов, имеющая идентификатор пакета "0x1012", составляет видеопоток для зависимого просмотра. Последовательности исходных пакетов, имеющие идентификаторы пакетов "0x1240"-"0x125F", составляют 32 PG-потока для зависимого просмотра.
Последовательности исходных пакетов, имеющие идентификаторы пакетов "0x1440"-"0x145F", составляют 32 IG-потока для зависимого просмотра.
На этом завершается описание файла потока. Затем приводится подробное пояснение информации списка воспроизведения.
Чтобы задавать вышеописанный множественный путь, внутренние структуры, показанные на фиг. 12A-12D, предоставляются. Фиг. 12A показывает внутреннюю структуру информации списка воспроизведения. Как показано на фиг. 12A, информация списка воспроизведения включает в себя информацию основного пути, информацию подпути, информацию метки списков воспроизведения и расширенные данные. Эти составляющие элементы описываются далее.
1) Информация основного пути состоит из одного или более фрагментов информации основной секции воспроизведения. Фиг. 12B показывает внутренние структуры информации основного пути и информации подпути. Как показано на фиг. 12B, информация основного пути состоит из одного или более фрагментов информации основной секции воспроизведения, и информация подпути состоит из одного или более фрагментов информации подчиненной секции воспроизведения.
Информация основной секции воспроизведения, называемая информацией элемента воспроизведения, является информацией, которая задает одну или более логических секций воспроизведения посредством задания одной или более пар момента времени "in_time" и момента времени "out_time" на временной оси TS-воспроизведения. Устройство воспроизведения содержит регистр номеров элементов воспроизведения, сохраняющий номер элемента воспроизведения для текущего элемента воспроизведения. Элемент воспроизведения, воспроизводимый в данный момент, является одним из множества элементов воспроизведения, номер элемента воспроизведения которых в настоящий момент сохраняется в регистре номеров элементов воспроизведения.
Фиг. 12C показывает внутреннюю структуру информации элемента воспроизведения. Как показано на фиг. 12C, информация элемента воспроизведения включает в себя ссылочную информацию потока, информацию времени начала и времени окончания, информацию состояния соединения и таблицу выбора базового потока.
Ссылочная информация потока включает в себя: "информация имени файла информации о клипах (clip_Information_file_name)", который указывает имя файла для файла информации о клипах, который управляет, как "AV-клипами", транспортными потоками, составляющими элемент воспроизведения; "идентификатор способа кодирования клипа (clip_codec_identifier)", который указывает способ кодирования транспортного потока; и "идентификатор опорной STC (STC_ID_reference)", который указывает STC-последовательности, в которых время начала и время окончания задаются, из STC-последовательностей транспортного потока.
На этом завершается информация элемента воспроизведения.
2) Информация подчиненной секции воспроизведения, называемая информацией подпути, состоит из множества фрагментов информации субэлемента воспроизведения. Фиг. 12D показывает внутреннюю структуру информации субэлемента воспроизведения. Как показано на фиг. 12D, информация субэлемента воспроизведения - это информация, которая задает секции воспроизведения посредством задания пар "in_time" и "out_time" на временной оси STC-последовательности и включает в себя ссылочную информацию потока, информацию времени начала и времени окончания, опорный синхронизирующий элемент воспроизведения и информацию начального времени синхронизации. Ссылочная информация потока, как в информации элемента воспроизведения, включает в себя: "информацию имени файла информации о клипах", "идентификатор способа кодирования клипа" и "идентификатор опорной STC".
"Информация времени начала и времени окончания (SubPlayItem_In_Time, SubPlayItem_Out_Time)" указывает начальную точку и конечную точку субэлемента воспроизведения на временной оси STC-последовательности.
"Опорный синхронизирующий элемент воспроизведения (Sync_Playitem_Id)" является информацией, которая уникально указывает элемент воспроизведения, с которым должен синхронизироваться субэлемент воспроизведения. Субэлемент воспроизведения In_Time существует на временной оси воспроизведения элемента воспроизведения, указываемого посредством этого идентификатора синхронизирующего элемента воспроизведения.
"Информация начального времени синхронизации (Sync_Start_PTS_of_Playitem)" указывает момент времени на временной оси STC-последовательности элемента воспроизведения, указываемого посредством идентификатора синхронизирующего элемента воспроизведения, который соответствует начальной точке субэлемента воспроизведения, указываемого посредством субэлемента воспроизведения In_Time.
3) Информация метки списков воспроизведения - это информация, которая задает точку метки, уникальную для секции воспроизведения. Информация метки списков воспроизведения включает в себя индикатор, указывающий секцию воспроизведения, временную метку, указывающую позицию точки метки на временной оси цифрового потока, и информацию атрибутов, указывающую атрибут точки метки.
Информация атрибутов указывает то, является точка метки, заданная посредством информации метки списков воспроизведения, точкой связывания или меткой входа.
Точка связывания - это точка метки, которая может связываться посредством команды связывания, но не может выбираться, когда операция пропуска главы инструктируется пользователем.
Метка входа - это точка метки, которая может связываться посредством команды связывания и может выбираться, даже если операция пропуска главы инструктируется пользователем.
Команда связывания, встроенная в информацию кнопок IG-потока, указывает позицию для воспроизведения прямого доступа в форме косвенной ссылки через информацию метки списков воспроизведения.
<Таблица выбора базового потока (StreamNumber_table)>
Таблица выбора базового потока показывает список элементарных потоков, которые должны воспроизводиться в режиме моноскопического воспроизведения, и таблица, когда элемент воспроизведения, содержащий саму таблицу выбора базового потока, становится текущим элементом воспроизведения из множества элементов воспроизведения, составляющих список воспроизведения, указывает, для каждого из множества из типов потоков, ES, которому разрешено воспроизводиться, из ES, мультиплексированных в AV-клипах, на которые ссылаются основной путь и подпуть множественного пути. Здесь, типы потоков включают в себя: поток первичного видео в "картинка-в-картинке"; поток вторичного видео в "картинка-в-картинке"; поток первичного аудио в звуковом смешении; поток вторичного аудио в звуковом смешении; поток субтитров PG_text; и поток интерактивной графики. Можно регистрировать ES, которому разрешено воспроизводиться, для каждого из этих типов потоков. Более конкретно, таблица выбора базового потока состоит из последовательностей регистраций потоков. Здесь, регистрация потоков - это информация, которая, когда элемент воспроизведения, содержащий саму таблицу выбора базового потока, становится текущим элементом воспроизведения, указывает, какой поток является ES, разрешенным для воспроизведения. Каждая регистрация потоков ассоциирована с номером потока для потока. Каждая регистрация потоков имеет структуру данных, в которой пара из записи потока и атрибута потока ассоциирована с логическим номером потока. Номер потока в регистрации потоков представляется посредством целого числа, такого как "1", "2" или "3". Наибольший номер потока для типа потока является идентичным числу потоков для типа потока.
Устройство воспроизведения содержит регистр номеров потоков для каждого типа потока, и текущий поток, а именно ES, воспроизводимый в данный момент, указывается посредством номера потока, сохраненного в регистре номеров потоков.
Идентификатор пакета ES, который должен воспроизводиться, записывается в записи потока. При использовании этой структуры, в которой идентификатор пакета ES, который должен воспроизводиться, может быть записан в записи потока, номера потоков, включенные в регистрации потоков, сохраняются в регистрах номеров потоков устройства воспроизведения, и устройство воспроизведения инструктирует своему PID-фильтру выполнять фильтрацию пакетов на основе идентификаторов пакетов, сохраненных в записях потоков регистраций потоков. При такой структуре, TS-пакеты ES, которым разрешено воспроизводиться согласно таблице выбора базового потока, выводятся в декодер, так что ES воспроизводятся.
В таблице выбора базового потока регистрации потоков размещаются в порядке номеров потоков. Когда предусмотрено множество потоков, которые удовлетворяют условию: "воспроизводимый посредством устройства воспроизведения", выбирается поток, соответствующий наибольшему номеру потока в последовательностях регистрации потоков.
При такой структуре, когда обнаружен поток, который не может воспроизводиться посредством устройства воспроизведения, из регистраций потоков в таблице выбора базового потока, поток исключается из воспроизведения. Кроме того, когда предусмотрено множество потоков, которые удовлетворяют условию: "воспроизводимый посредством устройства воспроизведения, и языковой атрибут совпадает с языковой настройкой в устройстве", пользователь, ответственный за авторскую разработку, может передавать устройству воспроизведения то, как выбирать поток с приоритетом из числа множества потоков.
Определяется то, имеется или нет поток, который удовлетворяет условию: "воспроизводимый посредством устройства воспроизведения, и языковой атрибут совпадает с языковой настройкой в устройстве". Кроме того, поток выбирается из числа множества потоков, которые удовлетворяют условию. Процедура для определения и выбора называется "процедурой выбора потока". Процедура выбора потока выполняется, когда текущий элемент воспроизведения переключается, или когда запрос, чтобы переключать поток, вводится пользователем.
Последовательная процедура для выполнения вышеописанного определения и выбора и задания номера потока в регистре номеров потоков устройства воспроизведения, когда изменение состояния происходит в устройстве воспроизведения, например, когда текущий элемент воспроизведения переключается, называется "процедурой, которая должна выполняться при изменении состояния". Поскольку регистры номеров потоков предоставляются надлежащим образом в соответствии с типами потоков, вышеописанная процедура выполняется для каждого типа потока.
Последовательная процедура для выполнения вышеописанного определения и выбора и задания номера потока в регистре номеров потоков устройства воспроизведения, когда запрос, чтобы переключать поток, вводится пользователем, называется "процедурой при запросе на изменение состояния".
Процедура для задания регистров номеров потоков равными начальным значениям последовательностей регистрации потоков, когда BD-ROM загружается, называется "инициализацией".
Приоритеты назначаются равномерно потокам, указываемым в информации субэлемента воспроизведения, и потокам, указываемым в информации элемента воспроизведения, как указано посредством последовательностей регистрации потоков в таблице выбора базового потока. Как результат, даже поток, не мультиплексированный с видеопотоком, предназначается для выбора в качестве потока, который должен воспроизводиться синхронно с видеопотоком, если поток указывается посредством информации субэлемента воспроизведения.
Кроме того, когда устройство воспроизведения может воспроизводить поток, указываемый посредством информации субэлемента воспроизведения, и когда приоритет потока, указываемого посредством информации субэлемента воспроизведения, выше приоритета графического потока, мультиплексированного с видеопотоком, поток, указываемый посредством информации субэлемента воспроизведения, воспроизводится вместо потока, мультиплексированного с видеопотоком.
Фиг. 13A и 13B показывают один пример таблицы выбора базового потока. Фиг. 13A показывает множество последовательностей регистрации потоков, которые предоставляются в таблице выбора базового потока, когда предусмотрены следующие типы потоков: поток первичного видео; поток первичного аудио; PG-поток; IG-поток; поток вторичного видео; и поток вторичного аудио. Фиг. 13B показывает элементарные потоки, которые демультиплексируются из основного TS и суб-TS с использованием таблицы выбора базового потока. Левая сторона фиг. 13B показывает основной TS и суб-TS, средняя часть фиг. 13B показывает таблицу выбора базового потока и модуль демультиплексирования, а правая сторона фиг. 13B показывает поток первичного видео, поток первичного аудио, PG-поток, IG-поток, поток вторичного видео и поток вторичного аудио, которые демультиплексируются на основе таблицы выбора базового потока.
Далее подробно описываются расширенные данные.
Когда список воспроизведения составляет приложение "картинка-в-картинке", метаданные "картинка-в-картинке" должны сохраняться в блоке данных для расширенных данных в файле списков воспроизведения. Когда информация списка воспроизведения означает MVC-видеопоток, расширенная таблица выбора потока должна сохраняться в блоке данных для расширенных данных в файле информации списков воспроизведения.
Когда информация списка воспроизведения означает MVC-видеопоток на диске или MVC-видеопоток в меню воспроизведения стереоскопических IG-потоков, расширенная информация информации подпути (расширение блока подпутей) должна сохраняться в блоке данных для расширенных данных в файле информации списков воспроизведения.
Другие назначения расширенных данных в информации списка воспроизведения зарезервированы.
Когда устройство двумерного воспроизведения находит неизвестные расширенные данные в файле списков воспроизведения, устройство двумерного воспроизведения должно игнорировать расширенные данные.
<Таблица выбора расширенного потока (StreamNumber_table_StereoScopic (SS))>
Таблица выбора расширенного потока показывает список элементарных потоков, которые должны воспроизводиться в режиме стереоскопического воспроизведения, и используется совместно с таблицей выбора базового потока только в режиме стереоскопического воспроизведения. Таблица выбора расширенного потока задает элементарные потоки, которые могут выбираться, когда элемент воспроизведения воспроизводится или когда подпуть, связанный с элементом воспроизведения, воспроизводится.
Таблица выбора расширенного потока указывает элементарные потоки, которым разрешено воспроизводиться только в режиме стереоскопического воспроизведения, и включает в себя последовательности регистрации потоков. Каждый фрагмент информации регистрации потоков в последовательностях регистрации потоков включает в себя номер потока и запись потока, и атрибут потока, соответствующий номеру потока. Таблица выбора расширенного потока означает расширение, которое является уникальным для режима стереоскопического воспроизведения. Следовательно, список воспроизведения, для которого каждый фрагмент информации элемента воспроизведения ассоциирован с таблицей выбора расширенного потока (STN_table_SS), называется "списком для трехмерного воспроизведения".
Каждая запись потока в таблице выбора расширенного потока указывает идентификатор пакета, который должен использоваться при демультиплексировании посредством устройства воспроизведения, когда устройство воспроизведения находится в режиме стереоскопического воспроизведения, и соответствующий номер потока задается в регистре номеров потоков устройства воспроизведения. Отличие от таблицы выбора базового потока заключается в том, что последовательности регистрации потоков в таблице выбора расширенного потока не охватываются посредством процедуры выбора потока. Другими словами, информация регистрации потоков в последовательностях регистрации потоков таблицы выбора базового потока интерпретируется как приоритеты элементарных потоков, и номер потока в любом фрагменте информации регистрации потоков записывается в регистр номеров потоков. Напротив, последовательности регистрации потоков таблицы выбора расширенного потока не охватываются посредством процедуры выбора потока, и информация регистрации потоков таблицы выбора расширенного потока используется только с целью извлечения записи потока и атрибута потока, которые соответствуют определенному номеру потока, когда определенный номер потока сохраняется в регистре номеров потоков.
Предположим, что когда режим воспроизведения переключается с режима двумерного воспроизведения на режим трехмерного воспроизведения, целевая таблица выбора потока также переключает таблицу выбора базового потока на таблицу выбора расширенного потока. Затем, идентификационные данные номеров потоков могут не сохраняться, и идентификационные данные языкового атрибута также могут быть потеряны.
Соответственно, использование таблицы выбора расширенного потока ограничено вышеописанным использованием для того, чтобы сохранять идентификационные данные атрибута потока, такие как языковой атрибут.
Таблица выбора расширенного потока состоит из последовательностей регистрации потоков для потоков для зависимого просмотра, последовательностей регистрации потоков для PG-потоков и последовательностей регистрации потоков для IG-потоков.
Последовательности регистрации потоков в таблице выбора расширенного потока комбинируются с последовательностями регистрации потоков идентичных типов потоков в таблице выбора базового потока. Более конкретно, последовательности регистрации видеопотоков для зависимого просмотра в таблице выбора расширенного потока комбинируются с последовательностями регистрации потока первичного видео в таблице выбора базового потока; последовательности регистрации PG-потока в таблице выбора расширенного потока комбинируются с последовательностями регистрации PG-потока в таблице выбора базового потока; и последовательности регистрации IG-потоков в таблице выбора расширенного потока комбинируются с последовательностями регистрации IG-потоков в таблице выбора базового потока.
После этого комбинирования вышеописанная процедура выполняется для последовательности регистрации потоков в таблице выбора базового потока из двух таблиц после комбинирования.
Фиг. 14 показывает внутреннюю структуру таблицы выбора расширенного потока. Таблица выбора расширенного потока состоит из следующего: "длина", которая указывает полную длину таблицы выбора расширенного потока; "фиксированное смещение в ходе отображения всплывающего меню (Fixed_offset_during_Popup)"; и последовательности регистрации потоков каждого типа потока, соответствующего каждому элементу воспроизведения.
Когда предусмотрено N фрагментов элементов воспроизведения, идентифицированных как элементы воспроизведения #1-#N, последовательности регистрации потоков, надлежащим образом соответствующие элементам воспроизведения #1-#N, предоставляются в таблице выбора расширенного потока. Последовательностями регистрации потоков, соответствующими каждому элементу воспроизведения, являются последовательность регистрации потоков для зависимого просмотра, последовательность регистрации PG-потока и последовательность регистрации IG-потоков.
"Fixed_offset_during_Popup" является фиксированным смещением в ходе отображения всплывающего меню и управляет типом воспроизведения видео или потока субтитров PG_text, когда всплывающее меню задается "активированным" в IG-потоке. Поле "Fixed_offset_during_Popup" задается "активированным", когда поле "user_interface_model" в IG-потоке активировано, а именно когда пользовательский интерфейс всплывающего меню задается "активированным". Кроме того, поле "Fixed_offset_during_Popup" задается "деактивированным", когда поле "user_interface_model" в IG-потоке деактивировано, а именно когда пользовательский интерфейс задается как "AlwaysON".
Когда фиксированное смещение в ходе отображения всплывающего меню задается равным "0", а именно когда всплывающее меню задается "деактивированным" в пользовательском интерфейсе IG-потока, видеопоток находится в режиме представления B-D, стереоскопический PG-поток становится типом стереоскопического воспроизведения, и во время воспроизведения в режиме "1 плоскость + смещение" поток субтитров PG_text находится в режиме "1 плоскость + смещение".
Когда фиксированное смещение в ходе отображения всплывающего меню задается равным "1", а именно когда всплывающее меню задается "активированным" в IG-потоке, видеопоток находится в режиме представления B-B, стереоскопический PG-поток находится в режиме "1 плоскость + смещение", и PG-поток для "1 плоскость + смещение" воспроизводится как тип воспроизведения "1 плоскость + нулевое смещение".
В режиме "1 плоскость + смещение" поток субтитров PG_text становится "1 плоскость + нулевое смещение".
"Информация по числу последовательностей смещений" ("number_of_offset_sequence" на чертеже) указывает число последовательностей смещений в потоке для зависимого просмотра.
Значение информации по числу последовательностей смещений в таблице выбора расширенного потока идентично числу последовательностей смещений, которое включается в поток для зависимого просмотра.
Фиг. 15A-15C показывают последовательности регистрации потоков в таблице выбора расширенного потока.
Фиг. 15A показывает внутреннюю структуру последовательности регистрации видеопотоков для зависимого просмотра. Последовательность регистрации видеопотоков для зависимого просмотра состоит из v(x) фрагментов SS_dependent_view_blocks. Здесь, "v(x)" представляет число потоков первичного видео, которым разрешено воспроизводиться в таблице выбора базового потока информации элемента воспроизведения #x. Передние линии на чертеже указывают детализацию внутренней структуры последовательности регистрации видеопотоков для зависимого просмотра. Как указано посредством передних линий, "SS_dependent_view_block" состоит из номера потока, записи потока, атрибута потока и "number_of_offset_sequence".
Запись потока включает в себя: идентификатор опорного подпути (ref_to_Subpath_id), указывающий подпуть, которому принадлежит путь воспроизведения видеопотока для зависимого просмотра; опорный файл потока (ref_to_subClip_entry_id), указывающий файл потока, в котором сохраняется видеопоток для зависимого просмотра; и идентификатор пакета (ref_to_stream_PID_subclip) видеопотока для зависимого просмотра в этом файле потока.
"Атрибут потока" включает в себя языковой атрибут видеопотока для зависимого просмотра.
"Number_of_offset_sequence" указывает число смещений, предоставленных в видеопотоке для зависимого просмотра.
Последовательности регистрации видеопотоков для зависимого просмотра, показанные на фиг. 15A, указывают, что множество фрагментов информации регистрации потоков предоставляется в соответствии с множеством видеопотоков для зависимого просмотра. Тем не менее, фиг. 15A просто иллюстрирует их структуру данных. Фактически, поскольку обычно имеется только один видеопоток для базового просмотра, число фрагментов информации регистрации потоков для видеопотока для зависимого просмотра равно одному.
Фиг. 15B показывает внутреннюю структуру последовательности регистрации PG-потока. Последовательность регистрации PG-потока состоит из P(x) фрагментов информации регистрации потоков.
Здесь, "P(x)" представляет число PG-потоков, которым разрешено воспроизводиться в таблице выбора базового потока информации элемента воспроизведения #x.
Передние линии на чертеже указывают детализацию общей внутренней структуры последовательностей регистрации PG-потока.
"PGtextST_offset_sequence_id_ref" является информацией опорной последовательности смещений потока субтитров PG_text и указывает последовательность смещений относительно потока субтитров PG_text в режиме "1 плоскость + смещение".
Метаданные смещения предоставляются посредством единицы доступа видеопотока для зависимого просмотра. Устройство воспроизведения должно применять смещение, которое предоставляется посредством этого поля, в плоскость презентационной графики (PG) типа режима "1 плоскость + смещение".
Когда поле имеет неопределенное значение (FF), устройство воспроизведения не применяет это смещение к запоминающему устройству плоскости PG-потоков.
"Is_SS_PG" - это флаг наличия/отсутствия стереоскопической презентационной графики, который указывает достоверность и присутствие записи потока IG для базового просмотра и записи потока и атрибута потока IG для зависимого просмотра в PG-потоке. Когда структура отсутствует в стереоскопическом PG-потоке, это поле должно задаваться равным "0"; а когда структура присутствует в стереоскопическом PG-потоке, это поле должно задаваться равным "1".
"Stream_entry_for_base_view" включает в себя: идентификатор опорного подпути (ref_to_Subpath_id), указывающий подпуть, которому принадлежит путь воспроизведения PG-потока для базового просмотра; опорный файл потока (ref_to_subClip_entry_id), указывающий файл потока, в котором сохраняется PG-поток для базового просмотра; и идентификатор пакета (ref_to_stream_PID_subclip) PG-потока для базового просмотра в этом файле потока.
"Stream_entry_for_dependent_view" включает в себя: идентификатор опорного подпути (ref_to_Subpath_id), указывающий подпуть, которому принадлежит путь воспроизведения PG-потока для зависимого просмотра; опорный файл потока (ref_to_subClip_entry_id), указывающий файл потока, в котором сохраняется PG-поток для зависимого просмотра; и идентификатор пакета (ref_to_stream_PID_subclip) PG-потока для зависимого просмотра в этом файле потока. Когда файл потока, на который ссылается "stream_entry_for_dependent_view" в информации регистрации потоков в таблице выбора расширенного потока, отличается от файла потока, на который ссылается запись потока в таблице выбора базового потока, файл потока, сохраняющий PG-поток для зависимого просмотра, должен считываться.
"Stream_attribute" включает в себя языковые атрибуты PG-потока для базового просмотра и PG-потока для зависимого просмотра.
"SS_PG_textST_offset_sequence_id_ref" является ссылочной информацией для обращения к последовательности смещения для потока субтитров PG_text и указывает последовательность смещений для потока субтитров PG_text. Устройство воспроизведения должно применять смещение, которое предоставляется посредством этого поля, к PG-плоскости.
Когда поле имеет неопределенное значение (FF), устройство воспроизведения не применяет это смещение к запоминающему устройству плоскости PG-потоков.
Фиг. 15C показывает внутреннюю структуру последовательности регистрации IG-потоков. Последовательность регистрации IG-потоков состоит из I(x) фрагментов информации регистрации потоков.
Здесь, "I(x)" представляет число IG-потоков, которым разрешено воспроизводиться в таблице выбора базового потока информации элемента воспроизведения #x. Передние линии на чертеже указывают детализацию общей внутренней структуры последовательностей регистрации IG-потоков.
"IG_offset_sequence_id_ref" является опорной последовательностью смещений интерактивной графики и является опорным значением для идентификатора последовательности IG-потока в режиме "1 плоскость + смещение". Это значение указывает идентификатор последовательности смещений, заданный для последовательности смещений. Как описано выше, метаданные смещения предоставляются посредством видеопотока для зависимого просмотра. Устройство воспроизведения должно применять смещение, которое предоставляется посредством этого поля, к IG-потоку типа режима "1 плоскость + смещение".
Когда поле имеет неопределенное значение (FF), устройство воспроизведения не применяет это смещение к плоскости потока интерактивной графики (IG).
"IG_Plane_offset_direction_during_BB_video" является пользовательским интерфейсом всплывающего меню в режиме представления B-B и указывает направление смещения в IG-плоскости в режиме "1 плоскость + смещение" в то время, когда IG-поток воспроизводится.
Когда это поле задается равным "0", это настройка вида для просмотра спереди. Другими словами, запоминающее устройство плоскости существует между телевизионным приемником и зрителем, и плоскость сдвигается вправо в течение периода просмотра левым глазом, и плоскость сдвигается влево в течение периода просмотра правым глазом.
Когда это поле задается равным "1", это настройка вида для просмотра позади. Другими словами, запоминающее устройство плоскости существует позади телевизионного приемника или экрана, и левая плоскость сдвигается вправо, а правая плоскость сдвигается влево.
"IG_Plane_offset_value_during_BB_video" указывает, в единицах пикселов, значение смещения IG-плоскости в режиме "1 плоскость + смещение" в то время, когда IG-поток воспроизводится посредством пользовательского интерфейса всплывающего меню в режиме представления B-B.
"Is_SS_PG" - это стереоскопический флаг наличия/отсутствия интерактивной графики, который указывает достоверность и присутствие записи потока IG для базового просмотра и записи потока и атрибута потока IG для зависимого просмотра в IG-потоке. Когда структура данных стереоскопического IG-потока отсутствует, это поле должно задаваться равным "0"; и когда IG-поток, которому разрешено воспроизводиться, является стереоскопическим IG-потоком, это поле должно задаваться равным "1".
"Stream_entry_for_base_view" включает в себя: идентификатор опорного подпути (ref_to_Subpath_id), указывающий подпуть, которому принадлежит путь воспроизведения IG-потока для базового просмотра; опорный файл потока (ref_to_subClip_entry_id), указывающий файл потока, в котором сохраняется IG-поток для базового просмотра; и идентификатор пакета (ref_to_stream_PID_subclip) IG-потока для базового просмотра в этом файле потока.
"Stream_entry_for_dependent_view" включает в себя: идентификатор опорного подпути (ref_to_Subpath_id), указывающий подпуть, которому принадлежит путь воспроизведения IG-потока для зависимого просмотра; опорный файл потока (ref_to_subClip_entry_id), указывающий файл потока, в котором сохраняется IG-поток для зависимого просмотра; и идентификатор пакета (ref_to_stream_PID_subclip) IG-потока для зависимого просмотра в этом файле потока. Когда файл потока, на который ссылается "stream_entry_for_dependent_view" в информации регистрации потоков в таблице выбора расширенного потока, отличается от файла потока, на который ссылается запись потока в таблице выбора базового потока, файл потока, сохраняющий IG-поток для зависимого просмотра, должен считываться.
"Stream_attribute" включает в себя языковые атрибуты IG-потока для базового просмотра и IG-потока для зависимого просмотра.
"SS_IG_offset_sequence_id_ref" является опорным значением для идентификатора последовательности смещений для IG-потока стереоскопического типа и указывает последовательность смещений для метаданных смещения видеопотока для зависимого просмотра. Устройство воспроизведения должно применять смещение, которое предоставляется посредством этого поля, к IG-плоскости стереоскопического типа.
Когда поле имеет неопределенное значение (FF), устройство воспроизведения не применяет это смещение к IG-плоскости.
Далее описывается ограничения для таблицы выбора расширенного потока.
Запись потока в стереоскопическом блоке для зависимого просмотра не должна изменяться в списке воспроизведения.
Когда тип записи потока в стереоскопическом блоке для зависимого просмотра - это тип ES (тип потока = 2), который используется посредством подпути, идентификатор опорного подпути и идентификатор опорной записи субклипа (ref_to_subclip_entry_id) не изменяются в списке воспроизведения.
Только двум типам элементарных потоков разрешено быть типами записи потока, записи потока для вида для базового просмотра и записи потока для вида для зависимого просмотра. Два типа следующие: ES (тип потока = 1) в AV-клипе используется посредством элемента воспроизведения; и ES (тип потока = 2) в AV-клипе используется посредством подпути.
В стереоскопическом блоке для зависимого просмотра способ кодирования потока в атрибуте потока задается равным "0x20".
Фиг. 16 показывает то, какие элементарные потоки демультиплексируются из основного TS и суб-TS с использованием таблицы выбора базового потока и таблицы выбора расширенного потока.
Средняя часть фиг. 16 показывает модуль демультиплексирования. Верхняя часть фиг. 16 показывает комбинацию таблицы выбора базового потока и таблицы выбора расширенного потока. Левая сторона фиг. 16 показывает основной TS и суб-TS, а правая сторона фиг. 16 показывает демультиплексированный видеопоток для базового просмотра, видеопоток для зависимого просмотра, PG-поток для базового просмотра, PG-поток для зависимого просмотра, IG-поток для базового просмотра, IG-поток для зависимого просмотра и поток первичного аудио.
Фиг. 17 показывает то, как обращаются к последовательностям регистрации потоков, предоставленным в таблице выбора базового потока и таблице выбора расширенного потока, когда демультиплексирование, показанное на фиг. 16, выполняется. Средняя часть фиг. 17 показывает таблицу выбора базового потока и таблицу выбора расширенного потока.
Часть рядом с левой стороной таблицы выбора базового потока показывает регистры номеров потоков, сохраняющие номера потоков для текущих потоков в устройстве воспроизведения. Часть рядом с правой стороной таблицы выбора базового потока показывает языковые настройки в устройстве воспроизведения. Часть под таблицей выбора базового потока показывает модуль демультиплексирования. Стрелка h1 схематично указывает, что языковая настройка для PG-потока совпадает с языковым атрибутом в информации регистрации потоков #X PG-потока в таблице выбора базового потока. Стрелка h2 схематично указывает задание номера потока "X" в регистр номеров потоков PG-потока.
Стрелка h3 схематично указывает, что языковая настройка для IG-потока совпадает с языковым атрибутом в информации регистрации потоков #Y IG-потока в таблице выбора базового потока. Стрелка h4 схематично указывает задание номера потока "Y" в регистр номеров потоков IG-потока.
Задание номера потока, показанного на фиг. 17, символически указывает, что PG-потоки и IG-потоки, которые должны подвергаться демультиплексированию, определяются в зависимости от результатов процедуры выбора потока, выполняемой для таблицы выбора базового потока.
Стрелка PD1 схематично указывает вывод идентификатора пакета, записанного в записи потока в "SS_dependent_view_block" в таблице выбора расширенного потока. Этот вывод дает возможность модулю демультиплексирования выполнять демультиплексирование, и поток для зависимого просмотра выводится.
Стрелка PD2 схематично указывает вывод идентификатора пакета, соответствующего номеру потока "X", из записей потоков информации регистрации потоков PG-потока в таблице выбора расширенного потока. Стрелка X1 указывает, что вывод идентификатора пакета, указываемый посредством стрелки PD1, связывается с заданием номера X текущего потока в регистре номеров потоков.
Стрелка PD3 схематично указывает вывод идентификатора пакета, соответствующего номеру потока "Y", из записей потоков информации регистрации потоков IG-потока в таблице выбора расширенного потока. Стрелка Y1 указывает, что вывод идентификатора пакета, указываемый посредством стрелки PD3, связывается с заданием номера Y текущего потока в регистре номеров потоков.
Здесь следует отметить, что "быть связанным" в вышеприведенном описании означает то, что вывод идентификатора пакета, записанного в таблице выбора расширенного потока, связывается с фактом, что номер X или Y потоков, из номеров потоков, записанных в последовательностях регистрации потоков PG- или IG-потока в таблице выбора базового потока, задается в регистре номеров потоков как номер PG- или IG-потока для текущего потока.
Этот вывод дает возможность модулю демультиплексирования выполнять демультиплексирование, и PG- или IG-поток выводится.
Фиг. 18 показывает назначение номеров потоков, которые изменяются в зависимости от режима.
Вертикальный столбец слева по фиг. 18 показывает номера потоков: видеопоток #1, аудиопоток #1, аудиопоток #2, PG-поток #1, PG-поток #2, IG-поток #1 и IG-поток #2.
Потоки элементов, размещенные слева по фиг. 18, окруженные посредством пунктирной линии, являются потоками элементов, которые предназначены для демультиплексирования только в режиме двумерного воспроизведения.
Потоки элементов, размещенные справа на фиг. 18, окруженные посредством пунктирной линии, являются потоками элементов, которые предназначены для демультиплексирования только в режиме трехмерного воспроизведения.
Потоки элементов, окруженные посредством комбинированных пунктирных линий левой стороны и правой стороны, являются потоками элементов, которые предназначены для демультиплексирования в режимах двумерного и трехмерного воспроизведения.
На фиг. 18, видеопоток #1 окружается посредством комбинированных пунктирных линий левой стороны и правой стороны. Это указывает то, что видеопоток #1 предназначен для демультиплексирования в режимах двумерного и трехмерного воспроизведения. Здесь следует отметить, что видеопоток для просмотра левым глазом для трехмерного режима также используется как поток двумерного видео, а видеопоток для просмотра правым глазом воспроизводится только в трехмерном режиме, что подсказывается тем фактом, что он окружается только посредством пунктирной линии справа на фиг. 18.
Аудиопотоки #1 и #2 окружаются посредством комбинированных пунктирных линий левой стороны и правой стороны. Это указывает то, что аудиопотоки #1 и #2 предназначены для воспроизведения в режимах двумерного и трехмерного воспроизведения.
Относительно PG-потоков #1 и #2, двумерный PG-поток окружается только посредством пунктирной линии левой стороны, а PG-поток для базового просмотра и PG-поток для зависимого просмотра окружаются только посредством пунктирной линии правой стороны. Это указывает то, что двумерный PG-поток предназначен для воспроизведения только в режиме двумерного воспроизведения, а PG-поток для базового просмотра и PG-поток для зависимого просмотра предназначены для воспроизведения только в режиме трехмерного воспроизведения. Это также применяется к IG-потокам.
Из вышеприведенного описания следует понимать, что, в отношении типа потока "видеопоток", видеопоток для зависимого просмотра добавляется в качестве целевого объекта воспроизведения в режиме трехмерного воспроизведения.
Также следует понимать, что, по мере того, как режим изменяется с режима двумерного воспроизведения на режим трехмерного воспроизведения, целевой объект воспроизведения изменяется от двумерного PG-потока на PG-поток для базового просмотра и PG-поток для зависимого просмотра.
Таблица выбора расширенного потока может создаваться посредством написания описания на объектно-ориентированном входном языке компилятора, как показано на фиг. 19, и подвергания описания действию компилятору. Фиг. 19 показывает синтаксис для написания таблицы выбора расширенного потока на объектно-ориентированном входном языке компилятора.
Оператор "for", переменная управления которого - это "PlayItem_id", формирует цикл, в котором описание последовательности регистрации потоков для зависимого просмотра, последовательности регистрации потоков субтитров PG_text и последовательности регистрации IG-потоков повторяется столько раз, сколько составляет число элементов воспроизведения.
Оператор "for", переменная управления которого - это "primary_video_stream_id", задает последовательность регистрации потоков для зависимого просмотра и последовательность регистрации потоков для зависимого просмотра задается посредством записи "SS_dependent_view_block", которая состоит из "stream_entry", "stream_attribute" и "number_of_offset_sequence", столько раз, сколько составляет число, указываемое посредством "Number_of_primary_video_stream_entries".
Оператор "for", переменная управления которого - это "PG_textST_stream_id", задает последовательность регистрации потоков субтитров PG_text и формирует цикл, в котором описание "PG_text_offset_sequence_id_ref" и "is_SS_PG" повторяется столько раз, сколько составляет число, указываемое посредством "number_of_PG_textST_stream_number_entries". Оператор "if", включенный в этот цикл, переменная управления которого - это "is_SS_PG", задает "stream_entry_for_base_view(),", "stream_entry_for_dependent_view()" и "stream_attribute()", когда "is_SS_PG" равно "1b". С помощью этого оператора "if", "stream_entry_for_base_view()", "stream_entry_for_dependent_view()" и "stream_attribute()" добавляются к последовательностям регистрации потоков только тогда, когда "is_SS_PG" равно "1b". "Stream_entry_for_base_view()", "stream_entry_for_dependent_view()" и "stream_attribute()" не добавляются к последовательностям регистрации потоков, когда "is_SS_PG" равно "0b".
Оператор "for", переменная управления которого - это "IG_stream_id", задает последовательность регистрации IG-потоков и формирует цикл, в котором описание "IG_offset_sequence_id_ref", "IG_plane_offset_direction_during_BB_video", "IG_plane_offset_value_during_BB_video" и "is_SS_IG" повторяется столько раз, сколько составляет число, указываемое посредством "number_of_IG_stream_entries". Оператор "if", включенный в этот цикл, переменная управления которого - это "is_SS_IG", задает "stream_entry_for_base_view(),", "stream_entry_for_dependent_view()" и "stream_attribute()", когда "is_SS_IG" равно "1b". С помощью этого оператора "if", "stream_entry_for_base_view()", "stream_entry_for_dependent_view()" и "stream_attribute()" добавляются к последовательностям регистрации потоков только тогда, когда "is_SS_IG" равно "1b". "stream_entry_for_base_view()", "stream_entry_for_dependent_view()" и "stream_attribute()" не добавляются к последовательностям регистрации потоков, когда "is_SS_IG" равно "0b".
На этом завершается описание носителя записи. Далее подробно описывается устройство воспроизведения.
Фиг. 20 показывает внутреннюю структуру устройства воспроизведения. Как показано на фиг. 20, устройство воспроизведения включает в себя модуль 201 считывания, запоминающее устройство 202, регистр 203 номеров проигрывателя, декодер 204, модуль 205 демультиплексирования, набор 206 запоминающих устройств плоскостей, модуль 207 сдвига, модуль 208 синтезирования слоев, модуль 209 передачи/приема, модуль 210 управления воспроизведением, регистр 211 режимов вывода и конфигурационное запоминающее устройство 212. Внутренняя структура по фиг. 20 состоит из минимума структурных элементов, которые требуются для того, чтобы реализовывать устройство воспроизведения, содержащее средство разрешения проблем. Более подробная внутренняя структура описывается в последующем варианте осуществления.
Модуль 201 считывания считывает, из носителя записи, индексную таблицу, файл программы объекта рабочего режима, файл информации списков воспроизведения, файл информации потока и файл потока.
Запоминающее устройство 202 сохраняет последовательность регистрации комбинированных потоков, которая получается посредством комбинирования таблицы выбора базового потока и таблицы выбора расширенного потока.
Регистр 203 номеров проигрывателя включает в себя регистр номеров видеопотоков для сохранения номера потока для видеопотока, регистр номеров PG-потоков для сохранения номера потока для PG-потока, регистр номеров IG-потоков для сохранения номера потока для IG-потока и регистр номеров аудиопотоков для сохранения номера потока для аудиопотока.
Декодер 204 для каждого типа потока состоит из видеодекодера, PG-декодера и IG-декодера и аудиодекодера.
Модуль 205 демультиплексирования содержит PID-фильтр для выполнения фильтрации пакетов и демультиплексирует, из TS-пакетов во множестве исходных пакетов, считываемых из носителя записи, TS-пакет, который идентифицируется посредством идентификатора пакета, приведенного в последовательности регистрации комбинированных потоков.
Набор 206 запоминающих устройств плоскостей состоит из множества запоминающих устройств плоскостей. Запоминающее устройство плоскости сохраняет, в единицах линий, один экран пиксельных данных, который получается посредством декодирования элементарных потоков. Пиксельные данные выводятся из набора 206 запоминающих устройств плоскостей в соответствии с сигналами горизонтальной и вертикальной синхронизации. Каждое из множества из запоминающих устройств плоскостей сохраняет один экран пиксельных данных, который получается как результат декодирования посредством каждого из видеодекодера, PG-декодера и IG-декодера, соответственно.
Эти запоминающие устройства плоскостей составляют многослойную модель, и данные, хранимые в каждом запоминающем устройстве плоскости, предоставляются для синтезирования слоев. Синтезирование слоев достигается посредством выполнения процесса наложения для всех комбинаций двух слоев в многослойной модели. В процессе наложения накладываются пиксельные значения пиксельных данных, сохраненных в запоминающих устройствах плоскостей двух слоев.
Модуль 207 сдвига сдвигает координаты пикселов.
Модуль 208 синтезирования слоев синтезирует слои во множестве запоминающих устройств плоскостей.
Модуль 209 передачи/приема переходов к фазе передачи данных через фазу взаимной аутентификации и фазу согласования, когда устройство воспроизведения соединяется с другим устройством в системе домашнего кинотеатра через интерфейс. Модуль 209 передачи/приема выполняет передачу данных в фазе передачи.
В фазе согласования выясняются возможности взаимодействующего устройства (в том числе возможности поддержки декодирования, возможности поддержки воспроизведения и частота отображения), и возможности поддержки задаются в регистре настроек проигрывателя, так что способ передачи для последующих передач данных определяется. После фазы взаимной аутентификации и фазы согласования, одна линия пиксельных данных в формате открытого текста/без сжатия в данных изображений после синтезирования слоев передается на дисплейное устройство при высокой скорости передачи в соответствии с периодом горизонтальной синхронизации дисплейного устройства. С другой стороны, в интервалах гашения горизонтальной и вертикальной развертки, аудиоданные в формате открытого текста/без сжатия передаются в другие устройства (в том числе в усилитель и динамик, а также дисплейное устройство), соединенные с устройством воспроизведения. При такой структуре, устройства, такие как дисплейное устройство, усилитель и динамик, могут принимать данные изображений и аудиоданные в формате открытого текста/без сжатия, и воспроизведенный вывод достигается. Дополнительно, когда взаимодействующее устройство имеет возможности поддержки декодирования, транзитная передача видео- и аудиопотоков возможна. В транзитной передаче можно передавать видеопоток и аудиопоток в сжатом/зашифрованном формате как есть.
Модуль 210 управления воспроизведением управляет модулем 201 считывания, чтобы считывать индексную таблицу, объект рабочего режима, информацию списка воспроизведения, информацию о клипах и файл потока из носителя записи, и выполняет управление воспроизведением на основе информации списка воспроизведения и информации о клипах, считанных из носителя записи. При считывании файла потока произвольный доступ может выполняться для того, чтобы считывать исходный пакет, соответствующий произвольному моменту времени на временной оси, из файла потока.
Регистр 211 режимов вывода сохраняет режим воспроизведения.
Конфигурационное запоминающее устройство 212 является энергонезависимым запоминающим устройством, сохраняющим возможности поддержки режима запоминающих устройств плоскостей и текущего режима. Содержимое, которое должно сохраняться в конфигурационном запоминающем устройстве 212, задается производителем устройства воспроизведения. Возможности поддержки режима указывают то, может или нет каждое из множества из запоминающих устройств плоскостей, таких как видеоплоскость, PG-плоскость и IG-плоскость, выполнять соответствующий режим воспроизведения, как описано выше. То, может или нет запоминающее устройство плоскости выполнять режим воспроизведения, определяется на основе типа потока, соответствующего запоминающему устройству плоскости, и на основе того, предусмотрена или нет аппаратная структура для выполнения режима воспроизведения в устройстве воспроизведения.
Текущий режим указывает то, в какой из множества режимов воспроизведения переведены множество запоминающих устройств плоскостей, соответственно.
На этом завершается пояснение устройства воспроизведения. Далее подробно описывается процесс демультиплексирования, выполняемый посредством устройства воспроизведения настоящего варианта осуществления.
Фиг. 21A и 21B показывают то, какие идентификаторы пакетов выводятся в модуль демультиплексирования посредством последовательности регистрации комбинированных потоков.
Фиг. 21A показывает последовательность регистрации комбинированных потоков, используемую при работе, в качестве примера. Последовательность регистрации комбинированных потоков состоит из трех фрагментов информации регистрации потоков, предоставленной в таблице выбора базового потока, и трех фрагментов информации регистрации потоков, предоставленной в таблице выбора расширенного потока. Три фрагмента информации регистрации потоков, предоставленные в таблице выбора базового потока, имеют номера потоков "1", "2" и "3", соответственно, а атрибуты потока в трех фрагментах информации регистрации потоков имеют "английский", "японский язык" и "китайский язык" в качестве языковых атрибутов, соответственно.
Три фрагмента информации регистрации потоков, предоставленные в таблице выбора расширенного потока, имеют номера потоков "1", "2" и "3", соответственно, а атрибуты потока в трех фрагментах информации регистрации потоков имеют "английский", "японский язык" и "китайский язык" в качестве языковых атрибутов, соответственно. Информация регистрации потоков, предоставленная в таблице выбора базового потока, отличается идентификатором пакета, сохраненным в записи потока, от информации регистрации потоков, предоставленной в таблице выбора расширенного потока. Кроме того, информация регистрации потоков, предоставленная в таблице выбора расширенного потока, содержит (i) идентификатор пакета для PG-потока для базового просмотра для режима представления B-D и (ii) идентификатор пакета для PG-потока для зависимого просмотра.
Фиг. 21B показывает задание номера потока и вывод идентификатора пакета, когда такая последовательность регистрации комбинированных потоков предоставляется в устройство воспроизведения, в котором язык задан как "китайский язык", а режим вывода задан как режим двумерного воспроизведения.
Стрелки, идентифицированные посредством "a1", "a2" и "a3", схематично указывают (i) определение того, совпадают или нет языковые настройки друг с другом, (ii) задание номера потока в регистре номеров потоков и (iii) вывод идентификатора пакета в модуль демультиплексирования, соответственно.
В последовательности операций этого примера, определяется то, совпадает или нет языковая настройка устройства воспроизведения с атрибутом потока, содержащимся в информации регистрации потоков, номер потока которой равен "3", и определяется то, что они совпадают. Как результат этого, номер потока "3" этой информации регистрации потоков записывается в регистр номеров потоков. Кроме того, идентификатор пакета, записанный в записи потока таблицы выбора базового потока, выводится в модуль демультиплексирования. После этого, TS-пакет, идентифицированный посредством идентификатора пакета, записанного в записи потока информации регистрации потоков, номер потока которой равен "3" в таблице выбора базового потока, выводится в декодер.
Фиг. 21C показывает задание номера потока и вывод идентификатора пакета, когда такая последовательность регистрации комбинированных потоков предоставляется в устройство воспроизведения, в котором язык задан как "китайский язык", а режим вывода задан как режим представления B-D.
Стрелки, идентифицированные посредством "a4", "a5" и "a6", схематично указывают (i) определение того, совпадают или нет языковые настройки друг с другом, (ii) задание номера потока в регистре номеров потоков и (iii) вывод идентификатора пакета в модуль демультиплексирования, соответственно.
В последовательности операций этого примера, определяется то, совпадает или нет языковая настройка устройства воспроизведения с атрибутом потока, содержащимся в информации регистрации потоков, номер потока которой равен "3", и определяется то, что они совпадают. Как результат этого, номер потока "3" этой информации регистрации потоков записывается в регистр номеров потоков. Кроме того, идентификатор пакета, записанный в записи потока таблицы выбора базового потока, выводится в модуль демультиплексирования. После этого, пара TS-пакетов, идентифицированных посредством пары идентификаторов пакетов, записанных в записи потока информации регистрации потоков, номер потока которой равен "3" в таблице выбора расширенного потока, выводится в декодер.
Фиг. 22A-22C показывают, какие идентификаторы пакетов выводятся в модуль демультиплексирования посредством последовательности регистрации комбинированных потоков.
Фиг. 22A показывает последовательность регистрации комбинированных потоков, используемую при работе, в качестве примера. Последовательность регистрации комбинированных потоков состоит из трех фрагментов информации регистрации потоков, предоставленной в таблице выбора базового потока, и трех фрагментов информации регистрации потоков, предоставленной в таблице выбора расширенного потока. Три фрагмента информации регистрации потоков, предоставленные в таблице выбора базового потока, имеют номера потоков "1", "2" и "3", соответственно, а все атрибуты потока в трех фрагментах информации регистрации потоков имеют "китайский язык" в качестве языковых атрибутов.
Три фрагмента информации регистрации потоков, предоставленные в таблице выбора расширенного потока, имеют номера потоков "1", "2" и "3", соответственно, а все атрибуты потока в трех фрагментах информации регистрации потоков имеют "китайский язык" в качестве языковых атрибутов. Информация регистрации потоков, предоставленная в таблице выбора базового потока, отличается идентификатором пакета, сохраненным в записи потока, от информации регистрации потоков, предоставленной в таблице выбора расширенного потока. Кроме того, информация регистрации потоков, предоставленная в таблице выбора расширенного потока, содержит (i) идентификатор пакета для PG-потока для базового просмотра для режима представления B-D и (ii) идентификатор пакета для PG-потока для зависимого просмотра.
Фиг. 22B показывает задание номера потока и вывод идентификатора пакета, когда такая последовательность регистрации комбинированных потоков предоставляется в устройство воспроизведения, в котором язык задан как "китайский язык", а режим вывода задан как режим двумерного воспроизведения.
Стрелки, идентифицированные посредством "a1", "a2" и "a3", схематично указывают (i) определение того, совпадают или нет языковые настройки друг с другом, (ii) задание номера потока и (iii) вывод идентификатора пакета в модуль демультиплексирования, соответственно.
В последовательности операций этого примера, определяется то, совпадает или нет языковая настройка устройства воспроизведения с атрибутом потока, содержащимся в информации регистрации потоков, номер потока которой равен "1", и определяется то, что они совпадают. Как результат этого, номер потока "1" этой информации регистрации потоков записывается в регистр номеров потоков. Кроме того, идентификатор пакета, записанный в записи потока таблицы выбора базового потока, выводится в модуль демультиплексирования. После этого, TS-пакет, идентифицированный посредством идентификатора пакета, записанного в записи потока информации регистрации потоков, номер потока которой равен "1" в таблице выбора базового потока, выводится в декодер.
Фиг. 22C показывает задание номера потока и вывод идентификатора пакета, когда такая последовательность регистрации комбинированных потоков предоставляется в устройство воспроизведения, в котором язык задан как "китайский язык", а режим вывода задан как режим представления B-D.
Стрелки, идентифицированные посредством "a4", "a5" и "a6", схематично указывают (i) определение того, совпадают или нет языковые настройки друг с другом, (ii) задание номера потока в регистре номеров потоков и (iii) вывод идентификатора пакета в модуль демультиплексирования, соответственно.
В последовательности операций этого примера, определяется то, совпадает или нет языковая настройка устройства воспроизведения с атрибутом потока, содержащимся в информации регистрации потоков, номер потока которой равен "1", и определяется то, что они совпадают. Как результат этого, номер потока "1" этой информации регистрации потоков записывается в регистр номеров потоков. Кроме того, идентификатор пакета, записанный в записи потока таблицы выбора базового потока, выводится в модуль демультиплексирования. После этого, пара TS-пакетов, идентифицированных посредством пары идентификаторов пакетов, записанных в записи потока информации регистрации потоков, номер потока которой равен "1" в таблице выбора расширенного потока, выводится в декодер.
Фиг. 23 показывает обращение к идентификаторам пакетов и вывод пакетов, когда устройство воспроизведения переводится в режим представления B-D, и устройство воспроизведения имеет возможности поддержки B-D.
Стрелки, соединяющие последовательность регистрации комбинированных потоков и модуль демультиплексирования, указывают записи потоков, в которых идентификаторы пакетов, на которые в настоящий момент ссылаются, записываются, из множества последовательностей регистрации потоков в последовательности регистрации комбинированных потоков. Фиг. 23 указывает, что модуль демультиплексирования обращается (i) к идентификатору пакета, записанному в записи потока в последовательности регистрации видеопотоков для базового просмотра в таблице выбора базового потока, (ii) к идентификатору пакета, записанному в записи потока в последовательности регистрации потоков для зависимого просмотра в таблице выбора расширенного потока, (iii) к идентификатору пакета, записанному в записи потока в последовательности регистрации потоков субтитров PG_text в таблице выбора расширенного потока, и (iv) к идентификатору пакета, записанному в записи потока в последовательности регистрации IG-потоков в таблице выбора расширенного потока.
Стрелки, соединяющие модуль демультиплексирования и множество декодеров, указывают TS-пакеты, которые выводятся в соответствующие декодеры, из множества исходных пакетов, существующих в файле перемеженного потока. Как показано на фиг. 23, следующие TS-пакеты выводятся из модуля демультиплексирования в декодеры: TS-пакет, составляющий видеопоток для базового просмотра; TS-пакет, составляющий видеопоток для зависимого просмотра; TS-пакет, составляющий PG-поток для базового просмотра; TS-пакет, составляющий PG-поток для зависимого просмотра; TS-пакет, составляющий IG-поток для базового просмотра; и TS-пакет, составляющий IG-поток для зависимого просмотра.
Фиг. 24 показывает обращение к идентификаторам пакетов и вывод пакетов, когда устройство воспроизведения переводится в режим "1 плоскость + смещение".
Стрелки, соединяющие последовательность регистрации комбинированных потоков и модули сдвига, указывают обращение в режиме "1 плоскость + смещение" (i) к смещению последовательности регистрации потоков, соответствующей PG-потоку в таблице выбора расширенного потока, и (ii) к смещению последовательности регистрации потоков, соответствующей IG-потоку в таблице выбора расширенного потока.
Стрелки, соединяющие модуль демультиплексирования и множество декодеров, указывают TS-пакеты, которые выводятся в соответствующие декодеры, из множества исходных пакетов, существующих в файле потока. Как показано на фиг. 24, следующие TS-пакеты выводятся из модуля демультиплексирования в декодеры: TS-пакет, составляющий видеопоток для базового просмотра; TS-пакет, составляющий PG-поток; TS-пакет, составляющий IG-поток; и TS-пакет, составляющий аудиопоток.
Стрелки, соединяющие видеодекодер и модули сдвига, указывают, что смещение в видеопотоке для зависимого просмотра предоставляется в модуль сдвига для PG-потока и в модуль сдвига для IG-потока на основе вышеописанного обращения к смещению.
Фиг. 25 показывает обращение к идентификаторам пакетов и вывод пакетов, когда устройство воспроизведения переводится в режим двумерного представления.
Стрелки, соединяющие последовательность регистрации комбинированных потоков и модуль демультиплексирования, указывают записи потоков, в которых идентификаторы пакетов, на которые в настоящий момент ссылаются, записываются, из множества последовательностей регистрации потоков в последовательности регистрации комбинированных потоков. Фиг. 25 указывает, что модуль демультиплексирования обращается (i) к идентификатору пакета, записанному в записи потока в последовательности регистрации видеопотоков для базового просмотра в таблице выбора базового потока, (ii) к идентификатору пакета, записанному в записи потока в последовательности регистрации потоков субтитров PG_text в таблице выбора базового потока, и (iii) к идентификатору пакета, записанному в записи потока в последовательности регистрации IG-потоков в таблице выбора базового потока.
Стрелки, соединяющие модуль демультиплексирования и множество декодеров, указывают TS-пакеты, которые выводятся в соответствующие декодеры, из множества исходных пакетов, существующих в файле потока. Как показано на фиг. 25, следующие TS-пакеты выводятся из модуля демультиплексирования в декодеры: TS-пакет, составляющий видеопоток для базового просмотра; TS-пакет, составляющий PG-поток; TS-пакет, составляющий IG-поток; и TS-пакет, составляющий аудиопоток.
Фиг. 26 показывает обращение к идентификаторам пакетов и вывод пакетов, когда устройство воспроизведения не имеет возможностей поддержки режима представления B-D.
Стрелки, соединяющие последовательность регистрации комбинированных потоков и модуль демультиплексирования, указывают записи потоков, в которых идентификаторы пакетов, на которые в настоящий момент ссылаются, записываются, из множества последовательностей регистрации потоков в последовательности регистрации комбинированных потоков. Фиг. 26 указывает, что модуль демультиплексирования обращается (i) к идентификатору пакета, записанному в записи потока в последовательности регистрации видеопотоков для базового просмотра в таблице выбора базового потока, (ii) к идентификатору пакета, записанному в записи потока в последовательности регистрации потоков субтитров PG_text в таблице выбора базового потока, и (iii) к идентификатору пакета, записанному в записи потока в последовательности регистрации IG-потоков в таблице выбора базового потока.
Стрелки, соединяющие модуль демультиплексирования и множество декодеров, указывают TS-пакеты, которые указываются посредством записей потоков в последовательностях регистрации потоков в таблице выбора базового потока и выводятся в соответствующие декодеры, из множества исходных пакетов, существующих в файле перемеженного потока.
Управление воспроизведением, описанное выше, может быть реализовано посредством инструктирования компьютеру выполнять программу, которая формируется посредством написания процедуры обработки, представленной в соответствии с блок-схемами последовательности операций способа фиг. 27-29, на объектно-ориентированном входном языке компилятора.
Фиг. 27 показывает процедуру воспроизведения по списку воспроизведения. В этой блок-схеме последовательности операций способа номер текущего элемента воспроизведения задается равным "1" на этапе S1, и затем управление переходит к циклу, в котором повторяются этапы S2-S6. В этом цикле этапы выполняются следующим образом. Номер потока определяется посредством процедуры выбора потока (этап S2). Файл потока, сохраняющий элементарный поток, соответствующий номеру потока, открывается, и последовательность исходных пакетов считывается из него (этап S3). Инструктируется то, что исходный пакет, из пакетов, которые составляют последовательность исходных пакетов, которая соответствует номеру потока, должен быть демультиплексирован (этап S4). Декодер инструктируется воспроизводить считанный исходный пакет в течение периода от времени начала до времени окончания элемента воспроизведения и в течение периода от времени начала до времени окончания субэлемента воспроизведения (этап S5). Эти этапы, составляющие цикл, повторяются до тех пор, пока номер текущего элемента воспроизведения не становится последним номером. Когда определено, что номер текущего элемента воспроизведения не является последним номером ("Нет" на этапе S6), номер текущего элемента воспроизведения увеличивается, и управление переходит к этапу S2. Когда определено, что номер текущего элемента воспроизведения является последним номером ("Да" на этапе S6), процесс завершается.
Фиг. 28 показывает процедуру выбора потока.
В этой блок-схеме последовательности операций способа таблица выбора базового потока в информации текущего элемента воспроизведения задается в качестве текущей таблицы выбора базового потока (этап S7). После этого этапа следует цикл, состоящий из этапов S8-S17. В этом цикле этапы S10-S17 повторяются для каждого из PG-потока, IG-потока, потока вторичного видео, потока первичного аудио и потока вторичного аудио. На этапе S10, определяется то, является или нет число записей потоков в текущей таблице выбора базового потока, соответствующей потоку x, равным 0. На этапе S11, определяется то, является или нет число записей потоков в текущей таблице выбора базового потока, соответствующей потоку x, равным или превышающим номер потока, сохраненный в регистре номеров потоков.
Когда определяется "Да" на этапе S10 или S11, управление переходит к этапу S17, на котором сохраняется номер потока, сохраненный в регистре номеров потоков.
Когда определяется "Нет" на обоих этапах S10 и S11, управление переходит к этапу S12, на котором определяется то, какие из множества условий удовлетворяются посредством каждого PES-потока, зарегистрированного в текущей таблице выбора базового потока, и затем на этапе S13 определяется то, предусмотрено или нет множество PES-потоков, которые удовлетворяют одной комбинации условий.
Когда определяется, на этапе S13, что имеется только один PES-поток, который удовлетворяет условиям, PES-поток, удовлетворяющий условиям, выбирается в качестве текущего потока (этап S14).
Когда определяется, на этапе S13, что предусмотрено множество PES-потоков, которые удовлетворяют одной комбинации условий, PES-поток, имеющий наивысший приоритет в текущей таблице выбора базового потока, выбирается из числа множества PES-потоков, которые удовлетворяют одной комбинации условий (этап S15). После того, как PES-поток выбирается таким образом, номер потока выбранного PES-потока записывается в регистр номеров потоков (этап S16).
После того как PES-поток, который должен воспроизводиться в текущем элементе воспроизведения, определяется, как описано выше, воспроизведение текущего элемента воспроизведения должно быть запущено. Процедура для воспроизведения текущего элемента воспроизведения основана на режиме вывода, который определяется в "процедуре, когда условие воспроизведения изменяется".
Фиг. 29 показывает процедуру для вывода идентификатора пакета, соответствующего номеру потока. В этой процедуре выполняются этапы определения S17 и S18. На этапе S17, определяется то, является или нет текущим режимом вывода режим двумерного воспроизведения. Когда определяется, на этапе S17, что текущим режимом вывода является режим двумерного воспроизведения, управление переходит к этапу S38, на котором модуль демультиплексирования инструктируется выполнять демультиплексирование на основе записи потока информации регистрации потоков, соответствующей номеру текущего потока, в последовательности регистрации потоков в таблице выбора базового потока.
На этапе S18, определяется то, активирован или нет fixed_offset_during_Popup таблицы выбора расширенного потока. Когда определяется "Нет" на этапе S17 и "Нет" на этапе S18, этапы S19-S30 выполняются.
На этапах S19-S30 видеопотоку присваивается тип стереоскопического B-D, и видеоплоскость переводится в режим представления B-D (этап S19), демультиплексирование на основе идентификатора пакета записи потока на SS_dependent_View_block инструктируется (этап S20), и процесс этапов S21-S26 выполняется.
На этапе S21, определяется то, активирован или нет is_SS_PG в информации регистрации потоков текущего PG-потока. Когда is_SS_PG активирован, PG-потоку присваивается тип стереоскопического воспроизведения (этап S22), и демультиплексирование на основе идентификатора пакета Stream_entry_base_view и Stream_entry_dependent_view информации регистрации потоков, соответствующей текущему PG-потоку, инструктируется (этап S23).
Когда is_SS_PG деактивирован, PG-потоку присваивается тип воспроизведения "1 плоскость + смещение", PG-поток переводится в режим "1 плоскость + смещение" (этап S24), и последовательность смещений, указываемая посредством SS_PG_textST_offset_sequence_id_ref информации регистрации потоков, соответствующей текущему PG-потоку, получается из видеопотока для зависимого просмотра (этап S25), и сдвиг плоскости выполняется на основе полученной последовательности смещений (этап S26).
На этапе S27, определяется то, активирован или нет is_SS_IG в информации регистрации потоков текущего IG-потока. Когда is_SS_IG активирован, демультиплексирование на основе идентификатора пакета Stream_entry_base_view и Stream_entry_dependent_view информации регистрации потоков, соответствующей текущему IG-потоку, инструктируется (этап S28).
Когда is_SS_IG деактивирован, последовательность смещений, указываемая посредством SS_IG_textST_offset_sequence_id_ref информации регистрации потоков, соответствующей текущему IG-потоку, получается из видеопотока для зависимого просмотра (этап S29), и сдвиг плоскости выполняется на основе полученной последовательности смещений (этап S30).
Когда Fixed_offset_during_Popup таблицы выбора расширенного потока активирован, определение на этапе S17 приводит к "Нет", определение на этапе S18 приводит к "Да", и этапы S31-S37 выполняются.
На этапах S31-S37, видеопотоку присваивается тип стереоскопического B-B-воспроизведения, видеоплоскость переводится в режим представления B-B (этап S31), и этапы S32-S37 выполняются.
На этапе S32, определяется то, активирован или нет is_SS_PG в информации регистрации потоков текущего PG-потока. Когда is_SS_PG активирован, управление переходит к этапу S33, на котором PG-поток переводится в тип режима "1 плоскость + смещение", и PG-плоскость переводится в режим "1 плоскость + смещение". Затем, последовательность смещений, указываемая посредством SS_PG_textST_offset_sequence_id_ref, получается из видеопотока для зависимого просмотра (этап S34), и сдвиг плоскости выполняется на основе полученной последовательности смещений (этап S35). После этого управление переходит к этапу S37.
Когда is_SS_PG деактивирован, управление переходит к этапу S36, на котором PG-поток переводится в тип режима "1 плоскость + нулевое смещение", и PG-плоскость переводится в режим "1 плоскость + нулевое смещение". После этого управление переходит к этапу S37.
На этапе S37, сдвиг плоскости выполняется в направлении, указываемом посредством IG_Plane_offset_direction_during_BB_video в информации регистрации потоков текущего IG-потока, на величину, указываемую посредством IG_Plane_offset_value_during_BB_video. При вышеописанном процессе, когда Fixed_offset_during_Popup активирован, стереоскопическое изображение, которое формируется посредством наложения трехмерного субтитра или меню на моноскопическое видеоизображение, может воспроизводиться.
Как описано выше, согласно настоящему варианту осуществления, когда режим воспроизведения переключается с режима двумерного воспроизведения на режим трехмерного воспроизведения, запись потока позволяет выбирать поток, который должен быть демультиплексирован, когда последовательность регистрации потоков для потока присутствует в таблице выбора расширенного потока, и поток идентифицируется посредством номера потока, сохраненного в регистре номеров потоков.
Когда режим воспроизведения переключается с режима двумерного воспроизведения на режим трехмерного воспроизведения, можно изменять поток, который должен быть демультиплексирован, при поддержании номера сохраненным в регистре номеров потоков как есть. При такой структуре, нет необходимости в выполнении процедуры выбора потока, даже если режим переключается. Поскольку процедура выбора потока не должна выполняться, когда режим переключается, ES, имеющие одинаковый языковой атрибут, могут указываться как целевые объекты воспроизведения до и после переключения режима.
(Второй вариант осуществления)
В варианте осуществления 1, на суб-TS, составляющие блоки данных для зависимого просмотра, ссылаются из идентификатора опорной записи субклипа. Вследствие этой структуры, когда суб-TS записываются отдельно от основных TS, суб-TS считываются, когда режим воспроизведения переключается с режима двумерного воспроизведения на режим трехмерного воспроизведения. Это может нарушать прозрачность AV-воспроизведения. В качестве одного усовершенствования относительно этой проблемы, настоящий вариант осуществления предлагает структуру, которая обеспечивает то, что основные TS и суб-TS считываются вместе в устройство воспроизведения. Более конкретно, основной TS и суб-TS перемежаются как пара и записываются как один файл.
Здесь, в качестве предпосылки настоящего варианта осуществления, кратко поясняются файлы в файловой системе UDF. Файл UDF состоит из множества экстентов, управляемых посредством записи файла. "Запись файла" включает в себя "тег дескриптора", "ICB-тег" и "дескриптор выделения".
"Тег дескриптора" - это тег, идентифицирующий, как "запись файла", запись файла, которая включает в себя сам тег дескриптора. Тег дескриптора классифицируется на тег дескриптора записи файла, тег дескриптора разделительной битовой карты и т.д. В случае тега дескриптора записи файла, "261", которое указывает "запись файла", записывается в него.
"ICB-тег" указывает информацию атрибутов записи файлов.
"Дескриптор выделения" включает в себя номер логического блока (LBN), указывающий позицию записи экстента, составляющего младший файл в рамках каталога. Дескриптор выделения также включает в себя данные, которые указывают длину экстента. Старшие два бита данных, которые указывают длину экстента, задаются следующим образом: "00", чтобы указывать выделенный и записанный экстент; "01", чтобы указывать выделенный и незаписанный экстент; и: "11", чтобы указывать экстент, который идет после дескриптора выделения. Когда младший файл в рамках каталога разделяется на множество экстентов, запись файла должна включать в себя множество дескрипторов выделения в соответствии экстентам.
Можно обнаруживать адрес экстента, составляющего файл потока, посредством обращения к дескриптору выделения в записи файла, описанной выше.
Далее описываются файлы в различных типах, которые используются в настоящем варианте осуществления.
<Файл стереоскопического перемеженного потока (FileSS)>
Файл стереоскопического перемеженного потока (FileSS) является файлом потока (2TS-перемеженным файлом), в котором перемежаются два TS, и идентифицируется посредством пятизначного целочисленного значения и расширения (ssif), указывающего файл перемеженного формата для стереоскопического воспроизведения. Файл стереоскопического перемеженного потока состоит из экстента SS[n]. Экстент SS[n] (также называемый EXTSS[n]) идентифицируется посредством индекса "n". Индекс "n" увеличивается по порядку с начала файла стереоскопического перемеженного потока.
Каждый экстент SS[n] состоит из пары блока данных для зависимого просмотра и блока данных для базового просмотра.
Блок данных для зависимого просмотра и блок данных для базового просмотра, составляющие экстент SS[n], являются целевыми объектами перекрестной ссылки посредством файла 2D, файла base и файла dependent. Следует отметить, что перекрестная ссылка означает то, что фрагмент данных, записанный на носитель записи, регистрируется как экстент множества файлов в записях файлов. В настоящем варианте осуществления, начальные адреса и непрерывная длина блока данных для зависимого просмотра и блока данных для базового просмотра регистрируются в записях файлов файла 2D, файла base и файла dependent.
<Файл base (FileBase)>
Файл base (FileBase) является виртуальным файлом потока, который предположительно "сохраняет" основной TS, указываемый посредством информации начальных точек экстентов в информации о клипах, соответствующей файлу 2D. Файл base (FileBase) состоит, по меньшей мере, из одного экстента 1[i] (также называемого EXT1[i]). Экстент 1[i] - это i-й экстент в файле base, где "i" является индексом экстента и увеличивается с "0" в начале файла base. Файл base - это виртуальный файл потока, используемый для того, чтобы обрабатывать файл стереоскопического перемеженного потока, который является 2TS-файлом, как 1TS-файл. Файл base формируется виртуальным способом посредством компоновки его записи файла в запоминающем устройстве устройства воспроизведения.
При фактическом считывании файл base идентифицируется посредством выполнения файла, открытого с помощью имени файла для файла стереоскопического перемеженного потока. Более конкретно, когда файл, открытый с помощью имени файла для файла стереоскопического перемеженного потока, вызывается, промежуточное программное обеспечение устройства воспроизведения формирует, в запоминающем устройстве, запись файла, идентифицирующую экстент в файле base, и открывает файл base виртуальным способом. Файл стереоскопического перемеженного потока может быть интерпретирован как "включающий в себя только один TS", и тем самым можно считывать 2TS-файл стереоскопического перемеженного потока из носителя записи как 1TS-файл base.
Когда только блок данных для базового просмотра должен считываться в режиме представления B-B, только экстенты, составляющие файл base, становятся целевыми объектами считывания. Событие, если режим переключается с режима представления B-B на режим представления B-D, и блок данных для зависимого просмотра и блок данных для базового просмотра могут считываться посредством расширения диапазона считывания от экстентов, составляющих файл base, до экстентов, составляющих файл стереоскопического перемеженного потока. Таким образом, при этой компоновке, эффективность считывания файла не понижается.
<Файл dependent (FileDependent)>
Файл dependent (FileDependent) является файлом потока, который предположительно "сохраняет" суб-TS и состоит из экстента 2[i] (также называемого EXT2[i]). Экстент 2[i] - это i-й экстент в файле dependent, где "i" является индексом экстента и увеличивается с "0" в начале файла dependent. Файл dependent - это виртуальный файл потока, используемый для того, чтобы обрабатывать файл стереоскопического перемеженного потока, который является 2TS-файлом, как 1TS-файл, сохраняющий суб-TS. Файл dependent формируется виртуальным способом посредством компоновки его записи файла в запоминающем устройстве устройства воспроизведения.
К видеопотоку для зависимого просмотра присоединяется имя файла и осуществляется доступ с использованием этого имени файла, которое представляется посредством числа, сформированного посредством добавления "1" к пятизначному целочисленному представлению имени файла для файла стереоскопического перемеженного потока. Носитель записи сохраняет фиктивный файл и "номер, сформированный посредством добавления 1", а именно идентификационный номер видеопотока для зависимого просмотра присоединяется к фиктивному файлу. Следует отметить, что фиктивный файл - это файл, который не сохраняет экстент, а именно существенную информацию, а к нему присоединяется только имя файла. Видеопоток для зависимого просмотра обрабатывается как сохраненный в фиктивном файле.
<Файл 2D (File2D)>
Файл 2D (File2D) - это 1TS-файл потока, сохраняющий основной TS, который воспроизводится в режиме двумерного воспроизведения и состоит из двумерного экстента. Файл 2D идентифицируется посредством пятизначного целочисленного значения и расширения (ssif), указывающего файл перемеженного формата для стереоскопического воспроизведения.
Далее поясняется соответствие между файлом 2D/файлом base и файлом dependent. Фиг. 30 показывает соответствие между файлом 2D/файлом base и файлом dependent.
На фиг. 30, первая строка показывает файл 2D/файл base 00001.m2ts и файл dependent 00002.m2ts. Вторая строка показывает экстенты, которые сохраняют блоки данных для зависимого просмотра и блоки данных для базового просмотра. Третья строка показывает файл стереоскопического перемеженного потока 00001.ssif.
Пунктирные стрелки h1, h2, h3 и h4 показывают файлы, которым принадлежат экстенты EXT1[i] и EXT2[i], причем принадлежность указывается посредством идентификаторов выделения. Согласно принадлежности, направляемой посредством стрелок h1 и h2, экстенты EXT1[i] и EXT1[i+1] регистрируются как экстенты файла base 00001.m2ts.
Согласно принадлежности, направляемой посредством стрелок h3 и h4, экстенты EXT2[i] и EXT2[i+1] регистрируются как экстенты файла dependent 00002.m2ts.
Согласно принадлежности, направляемой посредством стрелок h5, h6, h7 и h8, экстенты EXT1[i], EXT2[i], EXT1[i+1] и EXT2[i+1] регистрируются как экстенты 00001.ssif. Из этого следует понимать, что экстенты EXT1[i] и EXT1[i+1] имеют двойственность принадлежности 00001.ssif и 00001.m2ts. Расширение "ssif" состоит из заглавных букв стереоскопического перемеженного файла и указывает то, что файл имеет перемеженный формат для стереоскопического воспроизведения.
Фиг. 31A-31C показывают соответствие между файлом перемеженного потока и файлом 2D/файлом base.
Третья строка на фиг. 31A показывает внутреннюю структуру файла перемеженного потока. Как показано на фиг. 31A, экстенты EXT1[1] и EXT1[2], сохраняющие блоки данных для базового просмотра, и EXT2[1] и EXT2[2], сохраняющие блоки данных для зависимого просмотра, размещаются поочередно в формате перемежения в файле перемеженного потока.
Первая строка на фиг. 31A показывает внутреннюю структуру файла 2D/файла base. Файл 2D/файл base состоит только из экстентов EXT1[1] и EXT1[2], сохраняющих блоки данных для базового просмотра, для экстентов, составляющих файл перемеженного потока, показанный в третьей строке. Файл 2D/файла base и файл перемеженного потока имеют одинаковое имя, но различные расширения.
Вторая строка на фиг. 31A показывает внутреннюю структуру файла dependent. Файл dependent состоит только из экстентов EXT2[1] и EXT2[2], сохраняющих блоки данных для зависимого просмотра, для экстентов, составляющих файл перемеженного потока, показанный в третьей строке. Имя файла для файла dependent - это значение, превышающее на "1" имя файла для файла перемеженного потока, и они имеют различные расширения.
Не все устройства воспроизведения обязательно поддерживают систему трехмерного воспроизведения. Следовательно, предпочтительно, чтобы даже оптический диск, включающий в себя трехмерное изображение, поддерживал двумерное воспроизведение. Здесь следует отметить, что устройства воспроизведения, поддерживающие только двумерное воспроизведение, не идентифицируют структуру данных, расширенную для трехмерного режима. Устройства двумерного воспроизведения должны осуществлять доступ только к спискам для двумерного воспроизведения и двумерным AV-клипам посредством использования традиционного способа идентификации, предусмотренного для устройств двумерного воспроизведения. С учетом этого видеопотоки для просмотра левым глазом сохраняются в формате файла, который может распознаваться посредством устройств двумерного воспроизведения.
Согласно первому способу, основному TS назначается имя файла, идентичное имени файла в системе двумерного воспроизведения, так что вышеописанное обращение к информации списка воспроизведения может быть реализовано, другими словами, так что основной TS также может использоваться при двумерном воспроизведении, и файлы потока в формате перемежения имеют другое расширение. Фиг. 31B показывает, что файлы "00001.m2ts" и "00001.ssif" связаны друг с другом посредством одного имени файла "00001", хотя первый из них имеет двумерный формат, а второй имеет трехмерный формат.
В традиционном устройстве двумерного воспроизведения список воспроизведения обращается только к AV-клипам основного TS, и поэтому устройство двумерного воспроизведения воспроизводит только файл 2D. С другой стороны, в устройстве трехмерного воспроизведения, хотя список воспроизведения обращается только к файл у2D, сохраняющему основной TS, когда он находит файл, который имеет идентичный идентификационный номер и другое расширение, он определяет то, что файл - это файл потока в формате перемежения для трехмерного изображения и выводит основной TS и суб-TS.
Второй способ состоит в том, чтобы использовать различные папки. Основные TS сохраняются в папках с традиционными именами папок (например, "STREAM"), а суб-TS сохраняются в папках с именами папок, уникальными для трехмерного режима (например, "SSIF"), с идентичным именем файла "00001". В устройстве двумерного воспроизведения список воспроизведения обращается только к файлам в папке "STREAM", а в устройстве трехмерного воспроизведения список воспроизведения обращается только к файлам, имеющим идентичное имя файла в папках "STREAM" и"SSIF", одновременно, позволяя ассоциировать основной TS и суб-TS.
Третий способ использует идентификационные номера. Другими словами, этот способ ассоциирует файлы на основе заранее определенного правила, касающегося идентификационных номеров. Например, когда идентификационный номер файла 2D/файла base равен "00001", файлу dependent назначается идентификационный номер "00002", что выполняется посредством добавления "1" к идентификационному номеру файла 2D/файла base. Тем не менее, файловая система носителя записи обрабатывает файл dependent, которому назначено имя файла согласно правилу, как нематериальный фиктивный файл. Это обусловлено тем, что файл dependent, фактически, является файлом стереоскопического перемеженного потока. Имена файлов, которые ассоциированы друг с другом таким образом, записываются в (i) информацию регистрации потоков в таблице выбора базового потока и (ii) идентификатор опорной записи субклипа (ref_to_STC_iD[0]) в информации регистрации потоков в таблице выбора расширенного потока. С другой стороны, устройство воспроизведения распознает имя файла, которое является значением, превышающим на "1" имя файла, записанное в идентификаторе опорной записи субклипа как имя файла фиктивного файла, и выполняет процесс открытия файла dependent виртуальным способом. Это обеспечивает то, что процедура выбора потока считывает, из носителя записи, файл dependent, который ассоциирован с другими файлами, вышеописанным способом.
На этом завершается описание файла 2D, файла base и файла dependent.
Далее подробно поясняются блоки данных.
<Блок данных для базового просмотра>
Блок данных для базового просмотра (B[i]) является i-ми данными в основном TS. Следует отметить, что основной TS - это TS, указываемый как основной элемент основного пути посредством информации имени файла информации о клипах информации текущего элемента воспроизведения. "I" в B[i] - это индекс, который увеличивается с "0" согласно блоку данных в начале файла base.
Блоки данных для базового просмотра делятся на совместно используемые посредством файла base и файла 2D и не используемые совместно посредством файла base и файла 2D.
Блоки данных для базового просмотра, совместно используемые посредством файла base и файла 2D, и блоки данных для базового просмотра, уникальные для файла 2D, становятся экстентами файла 2D, и они задаются так, чтобы иметь длину, которая не приводит к опустошению буфера в устройстве воспроизведения. Адрес начального сектора блоков данных для базового просмотра записывается в дескрипторе выделения в записи файла для файла 2D.
Блоки данных для базового просмотра, уникальные для файла base, которые не используются совместно посредством файла 2D, не становятся экстентами файла 2D, и тем самым они не задаются так, чтобы иметь длину, которая не приводит к опустошению в одном буфере в устройстве воспроизведения. Блоки данных для базового просмотра задаются так, чтобы иметь меньший размер, а именно длину, которая не приводит к опустошению в двойном буфере в устройстве воспроизведения.
Адреса начальных секторов блока данных для базового просмотра, уникального для файла base, не записываются в дескрипторе выделения в записи файла. Вместо этого на начальный исходный пакет в блоке данных для базового просмотра указывает информация начальных точек экстентов в информации о клипах файла информации о клипах, соответствующего основному TS. Следовательно, адрес начального сектора блока данных для базового просмотра, уникального для файла base, должен получаться посредством использования (i) дескриптора выделения в записи файла для файла стереоскопического перемеженного потока и (ii) информации начальных точек экстентов в информации о клипах.
Когда видом для базового просмотра является вид для просмотра левым глазом, блоком данных для базового просмотра является блок исходных пакетов, который сохраняет части множества типов PES-потоков для двумерного воспроизведения и воспроизведения для просмотра левым глазом, включающие в себя: исходные пакеты, которые сохраняют части видеопотока для просмотра левым глазом; исходные пакеты, которые сохраняют части графического потока для просмотра левым глазом; исходные пакеты, которые сохраняют части аудиопотока, которые воспроизводятся совместно с этими потоками; и информацию управления пакетами (PCR, PMT, PAT), заданную в европейском стандарте широковещательной передачи. Пакеты, составляющие блок данных для базового просмотра, имеют непрерывные ATC, STC и SPN, чтобы обеспечивать прозрачное AV-воспроизведение в течение заранее определенного периода.
<Блок данных для зависимого просмотра>
Блок данных для зависимого просмотра (D[i]) является i-ми данными в суб-TS. Следует отметить, что суб-TS - это TS, указываемый как основной элемент подпути посредством записи потока в последовательности регистрации потоков в таблице выбора расширенного потока, соответствующей информации текущего элемента воспроизведения. "I" в D[i] - это индекс, который увеличивается с "0" согласно блоку данных в начале файла dependent.
Блоки данных для зависимого просмотра становятся экстентами файла dependent и задаются так, чтобы иметь длину, которая не приводит к опустошению в двойном буфере в устройстве воспроизведения.
Кроме того, в непрерывных зонах в носителе записи блок данных для зависимого просмотра располагается перед блоком данных для базового просмотра, который воспроизводится в идентичное время воспроизведения вместе с блоком данных для зависимого просмотра. Поэтому, когда файл стереоскопического перемеженного потока считывается, блок данных для зависимого просмотра считывается перед соответствующим блоком данных для базового просмотра без сбоев.
Адреса начальных секторов блоков данных для зависимого просмотра не записываются в дескрипторе выделения в записи файла для файла 2D, поскольку блоки данных для зависимого просмотра не используются совместно посредством файла 2D. Вместо этого на начальный исходный пакет в блоке данных для зависимого просмотра указывает информация начальных точек экстентов в информации о клипах. Следовательно, адрес начального сектора блока данных для зависимого просмотра должен получаться посредством использования (i) дескриптора выделения в записи файла для файла 2D и (ii) информации начальных точек экстентов в информации о клипах.
Когда видом для зависимого просмотра является вид для просмотра правым глазом, блоком данных для зависимого просмотра является блок исходных пакетов, который сохраняет части множества типов PES-потоков для воспроизведения для просмотра правым глазом, включающие в себя: исходные пакеты, которые сохраняют части видеопотока для просмотра правым глазом; исходные пакеты, которые сохраняют части графического потока для просмотра правым глазом; и исходные пакеты, которые сохраняют части аудиопотока, которые воспроизводятся совместно с этими потоками. Пакеты, составляющие блок данных для зависимого просмотра, имеют непрерывные ATC, STC и SPN, чтобы обеспечивать прозрачное AV-воспроизведение в течение заранее определенного периода. В непрерывных блоках данных для зависимого просмотра и соответствующих блоках данных для базового просмотра, номера исходных пакетов исходных пакетов, составляющих эти блоки, являются непрерывными, но ATS исходных пакетов, составляющих эти блоки, имеют одинаковые значения. Соответственно, множество исходных пакетов, составляющих блоки данных для зависимого просмотра, и множество исходных пакетов, составляющих соответствующие блоки данных для базового просмотра, достигает PID-фильтров в одно ATC-время.
<Классификация экстентов>
Как описано выше, экстенты файла 2D делятся на совместно используемые посредством файла base и не используемые совместно посредством файла base.
Здесь предположим, что экстенты файла 2D - это B[0], B[1], B[2], B[3]2D и B[4]2D, и что экстенты файла base - это B[0], B[1], B[2], B[3]ss и B[4]ss. Из них B[0], B[1] и B[2] являются блоками данных для базового просмотра, совместно используемыми посредством файла base. B[3]2D и B[4]2D являются блоками данных для базового просмотра, уникальными для файла 2D, не используемыми совместно посредством файла base.
Кроме того, B[3]ss и B[4]ss являются блоками данных для базового просмотра, уникальными для файла base, не используемыми совместно посредством файла 2D.
Данные B[3]2D является идентичными с точностью до бита данным B[3]ss. Данные B[4]2D является идентичными с точностью до бита данным B[4]ss.
Блоки данных B[2], B[3]2D и B[4]2D в файле 2D составляют экстенты (большие экстенты), имеющие большую непрерывную длину непосредственно перед позицией, в которой вызывается длинный переход. Таким образом, большие экстенты могут формироваться непосредственно перед длинным переходом в файле 2D. Соответственно, даже когда файл стереоскопического перемеженного потока воспроизводится в режиме двумерного воспроизведения, нет необходимости беспокоиться о возникновении опустошения в буфере считывания.
Файл 2D и файл base имеют сходство, хотя частично отличаются в экстентах. Следовательно, файл 2D и файл base, в общем, называются "файлом 2D/файлом base".
<Длинный переход>
В общем, когда оптический диск приспосабливается в качестве носителя записи, операция для приостановки операции считывания оптической головки воспроизведения и, во время приостановки, размещения оптической головки воспроизведения на следующей области целевых объектов считывания называется "переходом".
Переход классифицируется на переход, который увеличивает или уменьшает скорость вращения оптического диска; переход к дорожке и переход к фокусу. Переход к дорожке - это операция перемещения оптической головки воспроизведения в направлении радиуса диска. Переход к фокусу доступен, когда оптический диск - это многослойный диск, и является операцией перемещения фокуса оптической головки воспроизведения от одного слоя для записи на другой слой для записи. Эти переходы называются "длинными переходами", поскольку они, в общем, требуют длительного времени поиска дорожек и пропуска большого числа секторов при считывании вследствие переходов. Во время перехода приостанавливается операция считывания посредством оптической головки воспроизведения.
Длина части, для которой операция считывания пропускается во время перехода, называется "расстоянием перехода". Расстояние перехода типично представляется посредством числа секторов, включенных в часть. Длинный переход конкретно задается как переход, расстояние перехода которого превышает заранее определенное пороговое значение. Пороговое значение составляет, например, 40000 секторов в стандарте BD-ROM, в соответствии с типом диска и производительностью относительно процесса считывания накопителя.
Типичные позиции, в которых вызывается длинный переход, включают в себя границу между слоями для записи и позицией, в которой один элемент воспроизведения соединяется с n элементов воспроизведения, а именно выполняется множественное соединение.
Здесь, выполняется когда множественное соединение "один-к-n" элементов воспроизведения, первый TS из "n" фрагментов TS, составляющих "n" фрагментов элементов воспроизведения, может быть расположен в позиции непосредственно после TS, который составляет элемент воспроизведения, который предшествует "n" элементам воспроизведения. Тем не менее, любой из второго TS и далее не может быть расположен в позиции непосредственно после TS, который составляет элемент воспроизведения, предшествующий "n" элементам воспроизведения. Когда при множественном соединении "один-к-n", осуществляется переход от одного элемента воспроизведения к любому из второго элемента воспроизведения и далее в "n" элементах воспроизведения, считывание должно пропускать одну или более зон записи TS. Следовательно, длинный переход осуществляется в позиции, в которой существует множественное соединение "один-к-n".
<Путь воспроизведения каждого режима>
Путь воспроизведения режима двумерного воспроизведения состоит из экстентов файла 2D, на который ссылается информация имени файла информации о клипах в информации текущего элемента воспроизведения.
Путь воспроизведения режима представления B-D состоит из экстентов файла стереоскопического перемеженного потока, на который ссылается информация имени файла информации о клипах в информации текущего элемента воспроизведения.
Путь воспроизведения режима представления B-B состоит из экстентов файла base, на который ссылается информация имени файла информации о клипах в информации текущего элемента воспроизведения.
Переключение между этими путями воспроизведения трех режимов может осуществляться посредством выполнения файла, открытого с помощью имени файла, записанного в информации имени файла информации о клипах в информации текущего элемента воспроизведения: как имя файла для файла 2D; как имя файла для файла base; или как имя файла для файла стереоскопического перемеженного потока. Такое переключение между путями воспроизведения не изменяет текущий список воспроизведения или текущий элемент воспроизведения и тем самым может поддерживать прозрачность, когда режим воспроизведения изменяется.
При такой структуре, устройство воспроизведения может считывать блоки данных, подходящие для каждого режима воспроизведения, из носителя записи посредством открытия любого из файла стереоскопического перемеженного потока, файла base и файла 2D на основе информации имени файла информации о клипах в информации текущего элемента воспроизведения.
<Конкретные значения EXT2D, EXT1[n], EXT2[n]>
Наименьшее значение EXT2D определяется так, что когда выполняется воспроизведение в режиме двумерного воспроизведения, опустошение буфера не возникает в буфере считывания устройства воспроизведения в течение периода перехода от каждого блока данных для базового просмотра к следующему блоку данных для базового просмотра.
Наименьшее значение EXT2D представляется посредством следующего выражения, когда проходит период времени Tjump2D(n), когда осуществляется переход от n-го блока данных для базового просмотра к (n+1)-му блоку данных для базового просмотра, каждый блок данных для базового просмотра считывается в буфер считывания со скоростью Rud2D, и блок данных для базового просмотра передается из буфера считывания в видеодекодер со средней скоростью Rbext2D.
[Наименьшее значение EXT2D]≥(Rud2D+Rbext2D)/(Rud2D-Rbext2D)×Tjump2D(n)
Здесь предположим, что экстент, соответствующий блоку данных для базового просмотра B[n]ss, представляется как EXT1[n]. В этом случае, наименьшее значение EXT1[n] определяется так, что, когда выполняется воспроизведение в режиме представления B-D, опустошение буфера не возникает в двойном буфере в течение периода перехода от каждого блока данных для базового просмотра к следующему блоку данных для зависимого просмотра и в течение периода перехода от упомянутого блока данных для зависимого просмотра к следующему блоку данных для базового просмотра.
В настоящем примере двойной буфер состоит из буфера считывания 1 и буфера считывания 2. Буфер считывания 1 является идентичным буферу считывания, предоставленному в устройстве двумерного воспроизведения.
Здесь предположим, что, когда выполняется воспроизведение в режиме представления B-D, проходит период времени Tfjump3D(n), когда осуществляется переход от n-го блока данных для базового просмотра к p-му блоку данных для зависимого просмотра, и проходит период времени TBjump3D(n), когда осуществляется переход от p-го блока данных для зависимого просмотра к (n+1)-му блоку данных для базового просмотра.
Дополнительно предполагается, что каждый блок данных для базового просмотра считывается в буфер считывания 1 со скоростью Rud3D, каждый блок данных для зависимого просмотра считывается в буфер считывания 2 со скоростью Rud3D, и блок данных для базового просмотра передается из буфера считывания 1 в видеодекодер со средней скоростью Rbext3D. Затем наименьшее значение EXT1[n] представляется посредством следующего выражения. Непрерывная длина больших экстентов задается равной значению, которое равно или превышает наименьшее значение.
[Наименьшее значение EXT1[n]]≥(Rud3D×Rbext3D)/(Rud3D-Rbext3D)×(TFjump3D(n)+EXT2[n]/(Rud3D+TBjump3D(n)))
Наименьшее значение EXT2 определяется так, что, когда выполняется воспроизведение в режиме представления B-D, опустошение буфера не возникает в двойном буфере устройства воспроизведения в течение периода перехода от каждого экстента для зависимого просмотра к следующему экстенту данных для базового просмотра и в течение периода перехода от упомянутого экстента для базового просмотра к следующему экстенту для зависимого просмотра.
Наименьшее значение EXT2[n] представляется посредством следующего выражения, когда проходит период времени Tfjump3D(n+1), когда осуществляется переход от (n+1)-го блока данных для базового просмотра к (p+1)-му блоку данных для зависимого просмотра, и блок данных для зависимого просмотра передается из буфера считывания 2 в декодер со средней скоростью Rdext3D.
[Наименьшее значение EXT2[n]]≥(Rud3D+Rbext3D)/(Rud3D-Rdext3D)×(TBjump3D(n)+EXT2[n+1]/(Rud3D+TFjump3D(n+1)))
EXTSS состоит из экстентов видеопотока для базового просмотра и экстентов видеопотока для зависимого просмотра. Таким образом, наименьшее значение EXTSS представляется посредством следующего выражения.
Наименьшее значение EXTSS≥EXT1[n]+EXT2[n]
Фиг. 32 показывает соответствие между файлом стереоскопического перемеженного потока, файлом 2D, файлом base и файлом dependent. Первая строка на фиг. 32 показывает файл 2D, вторая строка показывает блоки данных, записанные на носитель записи, третья строка показывает файл стереоскопического перемеженного потока, четвертая строка показывает файл base и показывает файл dependent.
Блоками данных, показанными во второй строке, являются D[1], B[1], D[2], B[2], D[3], B[3]ss, D[4], B[4]ss, B[3]2D и B[4]2D. Стрелки ex1, ex2, ex3 и ex4 показывают принадлежность, при этом, из этих блоков данных, блоки данных B[1], B[2], B[3]2D и B[4]2D составляют экстенты файла 2D.
Стрелки ex5 и ex6 показывают принадлежность, при этом D[1], B[1], D[2], B[2], D[3], B[3]ss, D[4] и B[4]ss составляют экстенты файла стереоскопического перемеженного потока.
Четвертая строка показывает, что из этих блоков данных, составляющих файл стереоскопического перемеженного потока, B[1], B[2], B[3]ss и B[4]ss составляют экстенты файла base. Пятая строка показывает, что из блоков данных, составляющих файл стереоскопического перемеженного потока, D[1], D[2], D[3] и D[4] составляют экстенты файла dependent.
Фиг. 33 показывает список для двумерного воспроизведения и список для трехмерного воспроизведения. Первая строка показывает информацию списка для двумерного воспроизведения. Вторая строка показывает блоки данных для базового просмотра. Третья строка показывает список для трехмерного воспроизведения. Четвертая строка показывает блоки данных для зависимого просмотра.
Стрелки rf1, rf2 и rf3 показывают путь воспроизведения, сформированный посредством комбинирования расширения "m2ts" и имени файла "00001", описанного в "clip_information_file_name" в информации элемента воспроизведения информации списка для двумерного воспроизведения. В этом случае, путь воспроизведения на стороне для базового просмотра состоит из блоков данных B[1], B[2] и B[3]2D.
Стрелки rf4, rf5, rf6 и rf7 показывают путь воспроизведения, указываемый посредством информации элемента воспроизведения информации списка для трехмерного воспроизведения. В этом примере, путь воспроизведения на стороне для базового просмотра состоит из блоков данных B[1], B[2], B[3]ss и B[4]ss.
Стрелки rf8, rf9, rf10 и rf11 показывают путь воспроизведения, указываемый посредством информации субэлемента воспроизведения информации списка для трехмерного воспроизведения. В этом примере, путь воспроизведения на стороне для зависимого просмотра состоит из блоков данных D[1], D[2], D[3] и D[4]. Эти блоки данных, составляющие пути воспроизведения, указываемые посредством информации элемента воспроизведения и информации субэлемента воспроизведения, могут считываться посредством открытия файлов, которые формируются посредством комбинирования расширения "ssif" и имен файлов, записанных в "clip_information_file_name" в информации элемента воспроизведения.
Как показано на фиг. 33, информация имени файла информации о клипах в списке для трехмерного воспроизведения и информация имени файла информации о клипах в списке для двумерного воспроизведения имеют общие имена файлов. Соответственно, информация списка воспроизведения может быть записана, чтобы включать в себя описание, которое является общим для списка для трехмерного воспроизведения и списка для двумерного воспроизведения (см. как знаки df1 и df2 указывают), чтобы задавать список для трехмерного воспроизведения и список для двумерного воспроизведения. Соответственно, как только информация списка воспроизведения для реализации списка для трехмерного воспроизведения записывается: информация списка воспроизведения выступает в качестве списка для трехмерного воспроизведения, когда режим вывода устройства воспроизведения - это режим стереоскопического вывода; и информация списка воспроизведения выступает в качестве списка для двумерного воспроизведения, когда режим вывода устройства воспроизведения - это режим двумерного вывода. Список для двумерного воспроизведения и список для трехмерного воспроизведения, показанные на фиг. 33, имеют общий фрагмент информации списка воспроизведения, который интерпретируется как список для двумерного воспроизведения или список для трехмерного воспроизведения в зависимости от режима вывода устройства воспроизведения, которое интерпретирует фрагмент информации списка воспроизведения. Это уменьшает время и усилия пользователя, ответственного за авторскую разработку.
Когда основные TS и суб-TS сохраняются в файле стереоскопического перемеженного потока, имя файла для файла 2D записывается в "clip_information_file_name" в информации элемента воспроизведения списка для двумерного воспроизведения, и имя файла для файла base записывается в "clip_information_file_name" в информации элемента воспроизведения списка для трехмерного воспроизведения. Поскольку файл base - это виртуальный файл, и его имя файла является идентичным имени файла стереоскопического перемеженного потока, имя файла для файла стереоскопического перемеженного потока может быть записано в "clip_information_file_name" в информации элемента воспроизведения. Имя файла для файла dependent записывается в "ref_to_subclip_entry_id" в информации регистрации потоков в таблице выбора расширенного потока. Имя файла для файла dependent создается посредством добавления "1" к идентификационному номеру файла стереоскопического перемеженного потока.
Фиг. 34 показывает список воспроизведения, сформированный посредством добавления подпути к списку для трехмерного воспроизведения, показанному на фиг. 33. Список воспроизведения, показанный на фиг. 33 включает в себя только подпуть, идентификатор подпути которого равен "1", тогда как второй подпуть в списке воспроизведения, показанном на фиг. 34, идентифицируется посредством идентификатора подпути "2" и означает блоки данных, отличные от тех, на которые ссылается подпуть 1. Два или более фрагментов информации подпути задают множество видов для просмотра правым глазом, которые имеют различные ракурсы, под которыми объект просматривается правым глазом. Блоки данных в числе, равном числу ракурсов, составляют вид для просмотра правым глазом. Кроме того, подпути предоставляются в числе, равном числу ракурсов.
Можно отображать удобные стереоскопические изображения на основе параллакса для пользователя посредством изменения подпутей, которые должны воспроизводиться синхронно с основными путями, заданными посредством основного TS, состоящего из блоков данных для базового просмотра.
Относительно этой реализации списка для трехмерного воспроизведения, информация списка воспроизведения информация списка воспроизведения выступает в качестве списка для трехмерного воспроизведения, когда режим вывода устройства воспроизведения - это режим стереоскопического вывода, и информация списка воспроизведения выступает в качестве списка для двумерного воспроизведения, когда режим вывода устройства воспроизведения - это режим двумерного вывода. Список для двумерного воспроизведения и список для трехмерного воспроизведения, показанные на фиг. 34, имеют общий фрагмент информации списка воспроизведения, который интерпретируется как список для двумерного воспроизведения или список для трехмерного воспроизведения надлежащим образом в зависимости от режима вывода устройства воспроизведения, которое интерпретирует фрагмент информации списка воспроизведения. Это уменьшает время и усилия пользователя, ответственного за авторскую разработку.
Далее описывается то, как указывать видеопоток для базового просмотра.
В общем, видео для просмотра левым глазом формируется как двумерное видео. Тем не менее, некоторые могут считать, что видео для просмотра правым глазом является подходящим для двумерного видео. Чтобы поддерживать такой запрос, индикатор базового просмотра задается в каждом фрагменте информации элемента воспроизведения, при этом индикатор базового просмотра указывает то, какой из вида для просмотра левым глазом и вида для просмотра правым глазом задан в качестве вида для базового просмотра. Индикатор базового просмотра, заданный в каждом фрагменте информации элемента воспроизведения, указывает, какой из видеопотока для просмотра левым глазом и видеопотока для просмотра правым глазом задан в качестве видеопотока для базового просмотра, какой из PG-потока для просмотра левым глазом и PG-потока для просмотра правым глазом задан в качестве PG-потока для базового просмотра и какой из IG-потока для просмотра левым глазом и IG-потока для просмотра правым глазом задан в качестве IG-потока для базового просмотра.
Как описано выше, блок данных для зависимого просмотра предшествует блоку данных для базового просмотра без сбоев. Как результат, посредством обращения к индикатору базового просмотра можно распознавать, какой из исходного пакета для воспроизведения вида для просмотра правым глазом и исходного пакета для воспроизведения вида для просмотра левым глазом сначала предоставляется в устройство воспроизведения.
Когда видеопоток для просмотра правым глазом указывается как видеопоток для базового просмотра, эта информация инструктирует видеопотоку для просмотра правым глазом поступать в видеодекодер первым, чтобы получать данные несжатых изображений, даже если вид для просмотра правым глазом указывается посредством информации подпути. Кроме того, на основе данных несжатых изображений, полученных посредством декодирования видеопотока для просмотра правым глазом, компенсация движения выполняется. Это делает выбор вида для базового просмотра более гибким.
Фиг. 35A показывает список для трехмерного воспроизведения, сформированный посредством добавления индикатора базового просмотра к списку для трехмерного воспроизведения, показанному на фиг. 33A.
Фиг. 35B показывает то, как индикатор базового просмотра описывается в структуре, задающей элемент воспроизведения, на языке объектно-ориентированного программирования. Фиг. 35B показывает один пример такого описания. Как показано на фиг. 35A и 35B, когда непосредственное значение "0" задается в индикаторе базового просмотра, видеопоток для просмотра левым глазом указывается как видеопоток для базового просмотра; и когда непосредственное значение "1" задается в индикаторе базового просмотра, видеопоток для просмотра правым глазом указывается как видеопоток для базового просмотра.
Индикатор базового просмотра может использоваться, когда поток выводится на дисплейное устройство. Дисплейное устройство использует индикатор базового просмотра, чтобы различать два типа потоков. В системе, в которой используются очки с затворами, отображения очков и дисплейного устройства не могут синхронизироваться, если не распознается то, какой из вида для просмотра левым глазом и вида для просмотра правым глазом является основным изображением, на которое ссылается элемент воспроизведения. Сигнал переключения отправляется в очки с затворами так, что свет пропускается через стекло для левого глаза, когда вид для просмотра левым глазом отображается, и свет пропускается через стекло для правого глаза, когда вид для просмотра правым глазом отображается.
Информация, предоставленная посредством индикатора базового просмотра, также используется в стереоскопических способах для невооруженного глаза, таких как линзорастровый способ, при котором призма включается в экран дисплейного устройства. Это обусловлено тем, что дифференцирование между видом для просмотра левым глазом и видом для просмотра правым глазом необходимо также в таких способах. На этом завершается описание индикатора базового просмотра. Индикатор базового просмотра основан на предпосылке, что либо вид для просмотра левым глазом, либо вид для просмотра правым глазом, из параллактических изображений, могут воспроизводиться как моноскопическое видео.
Фиг. 36 является блок-схемой последовательности операций способа, показывающей процедуру воспроизведения по элементу воспроизведения.
На этапе S41, определяется то, является или нет текущим режимом вывода режим трехмерного вывода. Когда текущим режимом вывода является режим двумерного вывода, цикл, состоящий из этапов S43-S48, выполняется.
На этапе S43, файл потока, который идентифицируется посредством: "xxxxx", описанного в Clip_information_file_name текущего элемента воспроизведения; и расширения "m2ts", открывается. На этапе S44, "In_time" и "Out_time" текущего элемента воспроизведения преобразуются в "Start_SPN[i]" и "End_SPN[i]" с использованием карты вхождений, соответствующей идентификатору пакета видеопотока.
На этапе S45, экстенты, принадлежащие диапазону считывания [i] идентифицируются, чтобы считывать TS-пакет с PID[i] от Start_SPN[i] до End_SPN[i]. На этапе S46, накопитель носителя записи инструктируется непрерывно считывать экстенты, принадлежащие диапазону считывания [i].
Когда текущим режимом вывода является режим стереоскопического вывода, цикл, состоящий из этапов S50-S60, выполняется.
На этапе S50, файл потока, который идентифицируется посредством: "xxxxx", описанного в Clip_information_file_name текущего элемента воспроизведения; и расширения "ssif", открывается. На этапе S51, видеопоток для просмотра левым глазом или правым глазом, который указывается посредством индикатора базового просмотра информации текущего элемента воспроизведения, задается как видеопоток для базового просмотра. Видеопоток для просмотра левым глазом или правым глазом, который не задается как видеопоток для базового просмотра, задается как поток для зависимого просмотра.
На этапе на S52, "In_time" и "Out_time" текущего элемента воспроизведения преобразовывают "Start_SPN[i]" и "End_SPN[i]" с использованием карты вхождений, соответствующей идентификатору пакета видеопотока для базового просмотра.
На этапе S53, субэлемент воспроизведения, соответствующий потоку для зависимого просмотра, идентифицируется. На этапе S54, "In_time" и "Out_time" идентифицированного субэлемента воспроизведения преобразуются в "Start_SPN[j]" и "End_SPN[j]" с использованием карты вхождений [j], соответствующей идентификатору пакета [j] потока для зависимого просмотра.
Экстенты, принадлежащие диапазону считывания [i], идентифицируются, чтобы считывать TS-пакет, имеющий идентификатор пакета [i] от "Start_SPN[i]" до "End_SPN[i]" (этап S55). Экстенты, принадлежащие диапазону считывания [j], идентифицируются, чтобы считывать TS-пакет, имеющий идентификатор пакета [j] от "Start_SPN[j]" до "End_SPN[j]" (этап S56). После этого, на этапе S57, экстенты, принадлежащие диапазонам считывания [i] и [j], сортируются в порядке по возрастанию. На этапе S58, накопитель инструктируется непрерывно считывать экстенты, принадлежащие диапазонам считывания [i] и [j], с помощью отсортированных адресов. После этого, когда последовательность исходных пакетов считывается, на этапе S59, ATC-последовательности для базового просмотра и зависимого просмотра восстанавливаются и предоставляются в PID-фильтры для вида для базового просмотра и вида для зависимого просмотра.
Как описано выше, согласно настоящему варианту осуществления, блоки данных для базового просмотра и зависимого просмотра сохраняются в одном файле стереоскопического перемеженного потока, и когда они предоставляются в декодер, ATC-последовательности для базового просмотра и зависимого просмотра восстанавливаются. При такой структуре, декодер может обрабатывать файл стереоскопического перемеженного потока таким же образом, как обычный файл потока. Таким образом, способ хранения видеопотоков для базового просмотра и зависимого просмотра может положительно использоваться для хранения файла стереоскопического перемеженного потока.
(Третий вариант осуществления)
Вариант осуществления 3 настоящей заявки описывает структуру данных для поддержки многоракурсного воспроизведения.
<Файл стереоскопического перемеженного потока>
Далее поясняется выделение данных в зоне записи для записи файла стереоскопического перемеженного потока для многоракурсного режима.
В зоне записи для записи файла стереоскопического перемеженного потока для многоракурсного режима записывается множество единиц перемежения. Единицы перемежения соответствуют парам из блока данных для базового просмотра и блока данных для зависимого просмотра.
Файл стереоскопического перемеженного потока состоит из единиц перемежения, которые надлежащим образом соответствуют номерам ракурсов 1-4, когда многоракурсная секция включает в себя пары из блока данных для базового просмотра и блока данных для зависимого просмотра, которые должны воспроизводиться, когда номер ракурса задается равным 1-4, соответственно.
Каждая единица перемежения является экстентом SS (EXTSS) в файле перемеженного потока и состоит из: блока данных для базового просмотра (B[i]Ax), который должен считываться, когда номер ракурса x задается в регистре номеров ракурсов; и блок данных для зависимого просмотра (D[i]Ax), который должен считываться, когда номер ракурса x задается в регистре номеров ракурсов. Соответственно, в файле стереоскопического перемеженного потока для многоракурсного режима, одна единица перемежения удовлетворяет вышеописанному требованию EXTSS[i].
Таблица выбора базового потока информации списка воспроизведения указывает идентификатор пакета видеопотока для базового просмотра, которому разрешено воспроизводиться в секции воспроизведения, заданной в информации элемента воспроизведения, и таблица выбора расширенного потока указывает его в соответствии с идентификатором пакета видеопотока для зависимого просмотра, которому разрешено воспроизводиться. Эта структура является идентичной структуре варианта осуществления 1. Фиг. 37A-37C показывают информацию элемента воспроизведения и субэлемента воспроизведения в варианте осуществления 4. Фиг. 37A показывает внутреннюю структуру информации элемента воспроизведения. Фиг. 37B показывает внутреннюю структуру информации субэлемента воспроизведения.
Кроме того, информация элемента воспроизведения и информация субэлемента воспроизведения включают в себя флаг многоракурсного режима (флаг multi_angle), который указывает, составляет или нет элемент воспроизведения многоракурсную секцию.
Когда флаг многоракурсного режима активирован, как информация элемента воспроизведения, так и информация субэлемента воспроизведения включают в себя ссылочную расширенную информацию потока (Multi_clip_entries). Ссылочная расширенная информация потока включает в себя задание второго AV-клипа и далее в информации элемента воспроизведения. Указание AV-клипа состоит из пары из имени файла информации о клипах и идентификатора опорной STC.
Ссылочная информация потока (clip_information_file_name) в информации элемента воспроизведения и ссылочная информация потока (clip_information_file_name) в информации субэлемента воспроизведения указывают файл потока, сохраняющий блок данных для базового просмотра, и файл потока, сохраняющий блок данных для зависимого просмотра, причем файлы потока идентифицируются посредством первого номера ракурса, сохраненного в регистре номеров ракурсов устройства воспроизведения.
Ссылочная расширенная информация потока в информации элемента воспроизведения и информации субэлемента воспроизведения указывают файл потока, сохраняющий блок данных для базового просмотра, и файл потока, сохраняющий блок данных для зависимого просмотра, причем файлы потока идентифицируются посредством второго номера ракурса и далее, сохраненного в регистре номеров ракурсов устройства воспроизведения.
Информация элемента воспроизведения включает в себя информацию времени, указывающую время начала и время окончания на временной оси воспроизведения видеопотока для базового просмотра. Информация субэлемента воспроизведения включает в себя информацию времени, указывающую время начала и время окончания на временной оси воспроизведения видеопотока для зависимого просмотра.
Время начала и время окончания в информации элемента воспроизведения идентичны времени начала и времени окончания в информации субэлемента воспроизведения.
Число файлов потока, указываемое посредством ссылочной расширенной информации потока в информации элемента воспроизведения, является идентичным числу, указываемому посредством ссылочной расширенной информации потока в информации субэлемента воспроизведения.
Фиг. 37C показывает соответствие между In_Time и Out_Time в информации элемента воспроизведения и блоками данных для базового просмотра в единицах перемежения.
Верхняя половина по фиг. 37C показывает четыре STC-последовательности, соответствующие четырем блокам данных для базового просмотра B[1]A1, B[1]A2, B[1]A3 и B[1]A4. Эти блоки данных для базового просмотра B[1]A1, B[1]A2, B[1]A3 и B[1]A4 являются блоками данных для базового просмотра, которые должны считываться, когда номер ракурса задается равным 1, 2, 3 и 4 соответственно.
In_Time в информации элемента воспроизведения указывает время начала воспроизведения, которое является общим для четырех STC-последовательностей, соответствующих четырем блокам данных для базового просмотра.
Out_Time в информации элемента воспроизведения указывает время окончания начала воспроизведения, которое является общим для четырех STC-последовательностей, соответствующих четырем блокам данных для базового просмотра B[1]A1, B[1]A2, B[1]A3 и B[1]A4.
Нижняя половина фиг. 37C показывает четыре STC-последовательности, соответствующие четырем блокам данных для зависимого просмотра D[1]A1, D[1]A2, D[1]A3 и D[1]A4. Эти блоки данных для зависимого просмотра D[1]A1, D[1]A2, D[1]A3 и D[1]A4 являются блоками данных для базового просмотра, которые должны считываться, когда номер ракурса задается равным 1, 2, 3 и 4 соответственно. In_Time в информации элемента воспроизведения указывает время начала воспроизведения, которое является общим для четырех STC-последовательностей, соответствующих четырем блокам данных для зависимого просмотра.
Out_Time в информации элемента воспроизведения указывает время окончания начала воспроизведения, которое является общим для четырех STC-последовательностей, соответствующих четырем блокам данных для зависимого просмотра D[1]A1, D[1]A2, D[1]A3 и D[1]A4.
Фиг. 38 показывает указание многоракурсной секции посредством информации элемента воспроизведения и информации субэлемента воспроизведения. Первая строка по фиг. 38 показывает информацию элемента воспроизведения, включающую в себя "Multi_clip_entries". Вторая строка показывает файл стереоскопического перемеженного потока, на который ссылается "clip_information_file_name" в информации элемента воспроизведения. Третья строка показывает пары из блока данных для базового просмотра и блока данных для зависимого просмотра, которые составляют единицы перемежения. Четвертая строка показывает файл стереоскопического перемеженного потока, на который ссылается "clip_information_file_name" в информации субэлемента воспроизведения. Пятая строка показывает информацию субэлемента воспроизведения.
"Clip_information_file_name" в информации элемента воспроизведения ассоциирован с номером ракурса "1". "Clip_information_file_name" в "Multi_clip_entries" в информации элемента воспроизведения ассоциирован с номерами ракурсов "2", "3" и "4". "Clip_information_file_name", соответствующий номеру ракурса "1", указывает файл потока 00001.ssif в качестве источника предоставления видеопотока для базового просмотра.
"Clip_information_file_name", соответствующий номерам ракурсов "2", "3" и "4", указывает 00002.ssif, 00003.ssif и 00004.ssif в качестве источников предоставления видеопотока для базового просмотра.
"Clip_information_file_name" в информации субэлемента воспроизведения ассоциирован с номером ракурса "1". "Clip_information_file_name" в "Multi_clip_entries" в информации субэлемента воспроизведения ассоциирован с номерами ракурсов "2", "3" и "4". "Clip_information_file_name", соответствующий номеру ракурса "1", указывает файл потока 00001.ssif в качестве источника предоставления видеопотока для зависимого просмотра. "Clip_information_file_name", соответствующий номерам ракурсов "2", "3" и "4", указывает 00002.ssif, 00003.ssif и 00004.ssif в качестве источников предоставления видеопотока для зависимого просмотра.
Файл 00001.ssif включает в себя единицу перемежения, которая состоит из пары блоков данных B[1]A1 и D[1]A1. Файл 00002.ssif включает в себя единицу перемежения, которая состоит из пары блоков данных B[1]A2 и D[1]A2. Файл 00003.ssif включает в себя единицу перемежения, которая состоит из пары блоков данных B[1]A3 и D[1]A3. Файл 00004.ssif включает в себя единицу перемежения, которая состоит из пары блоков данных B[1]A4 и D[1]A4. При осуществлении такого соответствия единицы перемежения считываются посредством устройства воспроизведения в соответствии с заданием номеров ракурсов в устройстве воспроизведения.
Здесь предположим, что файл потока 00001.ssif, на который ссылается ссылочная информация потока в информации субэлемента воспроизведения, сохраняет видеопоток для просмотра левым глазом динозавра, показанного на фиг. 2.
Также предположим, что файл 00002.ssif, на который ссылается "Multi_clip_entries" в информации элемента воспроизведения и субэлемента воспроизведения, сохраняет видеопоток для базового просмотра и видеопоток для просмотра правым глазом, представляющий изображение с ракурса позади динозавра, показанного на фиг. 2.
Дополнительно предположим, что файл 00003.ssif, на который ссылается "Multi_clip_entries" в информации элемента воспроизведения и субэлемента воспроизведения, сохраняет видеопоток для базового просмотра и видеопоток для просмотра правым глазом, представляющий изображение с левого верхнего ракурса динозавра, показанного на фиг. 2.
В этом случае, файлы потока 00001.ssif, 00002.ssif и 00003.ssif избирательно считываются в устройство воспроизведения по мере того, как номер, сохраненный в регистре номеров ракурсов устройства воспроизведения, изменяется.
Фиг. 39A-39C показывают стереоскопические изображения, которые должны отображаться, когда соответствующие номера ракурсов задаются. Фиг. 39A показывает стереоскопическое изображение, которое должно отображаться, когда файл потока, на который ссылается ссылочная информация потока в информации элемента воспроизведения и субэлемента воспроизведения, считывается, когда номер ракурса задается равным "1".
Фиг. 39B показывает стереоскопическое изображение, которое должно отображаться, когда файл потока, на который ссылается "Multi_clip_entries" в ссылочной информации потока в информации элемента воспроизведения и субэлемента воспроизведения, считывается, когда номер ракурса задается равным "2".
Фиг. 39C показывает стереоскопическое изображение, которое должно отображаться, когда файл потока, на который ссылается "Multi_clip_entries" в ссылочной информации потока в информации элемента воспроизведения и субэлемента воспроизведения, считывается, когда номер ракурса задается равным "3".
Таким образом, файл потока, который является источником предоставления потока, изменяется в соответствии с изменением номера ракурса. Следовательно, можно изменять стереоскопическое изображение, которое должно просматриваться, даже если таблица выбора базового потока и таблица выбора расширенного потока имеют идентичную регистрационную информацию.
На этом завершается описание носителя записи в настоящем варианте осуществления. Далее подробно описывается устройство воспроизведения.
Устройство воспроизведения содержит регистр номеров ракурсов для сохранения номера ракурса в качестве структурного элемента, уникального для устройства воспроизведения.
В устройстве воспроизведения настоящего варианта осуществления модуль считывания считывает файл потока, на который ссылается ссылочная информация потока в информации элемента воспроизведения и субэлемента воспроизведения, когда номер ракурса, сохраненный в регистре номеров ракурсов, равен "1".
Модуль считывания считывает файл потока, на который ссылается ссылочная расширенная информация потока в информации элемента воспроизведения и субэлемента воспроизведения, когда номер ракурса, сохраненный в регистре номеров ракурсов, "2" или вперед.
Относительно видеопотока для базового просмотра, воспроизводится часть, соответствующая периоду от времени начала до времени окончания, указываемого посредством информации времени воспроизведения на временной оси для базового просмотра. Относительно видеопотока для зависимого просмотра, воспроизводится часть, соответствующая периоду от времени начала до времени окончания, указываемого посредством информации времени подчиненной секции воспроизведения на временной оси для зависимого просмотра.
Фиг. 40 показывает процедуру для считывания файла потока в соответствии с "Multi_clip_entries".
На этапе S61, определяется то, является или нет номер ракурса, сохраненный в регистре номеров ракурсов, равным "1". Когда номер ракурса равен "1", управление переходит к этапу S62, на котором открывается файл потока, определяющий имя файла "clip_information_file_name" в информации элемента воспроизведения и информации субэлемента воспроизведения.
Когда номер ракурса равен "2" или более, управление переходит к этапу S63, на котором открывается файл потока, определяющий имя файла "clip_information_file_name" в "Multi_clip_entries" в информации элемента воспроизведения и информации субэлемента воспроизведения.
На этапе S64, видеопоток для базового просмотра и видеопоток для зависимого просмотра открываемого файла потока считываются.
Как описано выше, согласно настоящему варианту осуществления, источник предоставления видеопотока для базового просмотра и видеопотока для зависимого просмотра, идентифицированного посредством идентификатора пакета в последовательности регистрации потоков в таблице выбора потока, может переключаться в соответствии с номером ракурса, сохраненным в регистре номеров ракурсов, предоставленном в устройстве воспроизведения. Например, когда номер ракурса, сохраненный в регистре номеров ракурсов, равен "1", определяется то, что источник предоставления видеопотока для базового просмотра и видеопотока для зависимого просмотра - это файл перемеженного потока; а когда номер ракурса, сохраненный в регистре номеров ракурсов, равен "2" или более, определяется то, что источник предоставления видеопотока для базового просмотра и видеопотока для зависимого просмотра - это другой файл потока.
Кроме того, можно предоставлять видеопотоки для базового просмотра и видеопотоки для зависимого просмотра из различных файлов потока в декодер в соответствии с изменением номера ракурса посредством пользовательской операции. Это упрощает переключение ракурса при стереоскопической обработке.
(Четвертый вариант осуществления)
Настоящий вариант осуществления описывает типы подпутей. Более конкретно, настоящий вариант осуществления описывает, какой подпуть должен приспосабливаться, чтобы реализовывать стереоскопическое воспроизведение, описанное в вариантах осуществления выше.
Предусмотрено два типа секций воспроизведения, которые могут быть заданы для видеопотока для зависимого просмотра, чтобы реализовывать стереоскопическое воспроизведение, описанное в вариантах осуществления выше: путь воспроизведения видеопотока для зависимого просмотра "вне мультиплексора" не на диске (тип подпути = 5); и путь воспроизведения видеопотока для зависимого просмотра "вне мультиплексора" на диске (тип подпути = 8).
Во-первых, описывается путь воспроизведения видеопотока для зависимого просмотра "вне мультиплексора" не на диске (тип подпути = 5). Инфраструктура "вне мультиплексора" - это технология для одновременного считывания цифрового потока, записанного на неперезаписываемый носитель записи, такой как BD-ROM, и цифрового потока, записанного в локальное устройство хранения перезаписываемого типа, предоставления считанных цифровых потоков в декодер, так что цифровые потоки воспроизводятся одновременно.
Как результат, субэлементы воспроизведения, которые должны использоваться посредством пути воспроизведения видеопотока для зависимого просмотра "вне мультиплексора", отделяются от основного пути. Когда элемент воспроизведения в списке воспроизведения ассоциирован с подпутем с типом подпути "5", который ссылается на видеопоток для зависимого просмотра, следующие условия должны удовлетворяться.
1) Элемент воспроизведения и субэлемент воспроизведения, ассоциированный с ним, должны быть совмещены в то время, когда они ассоциированы друг с другом. Период воспроизведения субэлемента воспроизведения является идентичным периоду воспроизведения элемента воспроизведения, ассоциированного с ним. Более конкретно:
1-a) Число субэлементов воспроизведения должно быть идентичным числу элементов воспроизведения.
1-b) Информация элемента воспроизведения и информация субэлемента воспроизведения должны соответствовать друг другу на основе каждого фрагмента. Опорный синхронизирующий элемент воспроизведения в i-м субэлементе воспроизведения должен быть "i".
1-c) Начальное время синхронизации опорного элемента воспроизведения в субэлементе воспроизведения должно быть эквивалентным времени начала субэлемента воспроизведения.
1-d) Время начала субэлемента воспроизведения должно быть эквивалентным времени начала в элементе воспроизведения, на который ссылается опорный синхронизирующий элемент воспроизведения в субэлементе воспроизведения.
1-e) Время окончания субэлемента воспроизведения должно быть эквивалентным времени окончания в элементе воспроизведения, на который ссылается опорный синхронизирующий элемент воспроизведения в субэлементе воспроизведения.
2) Когда непрерывные субэлементы воспроизведения соединяются, соединение между субэлементами воспроизведения, указываемыми посредством информации формы соединения субэлементов воспроизведения, должно быть формой соединения (connection_condition=5), которая приводит к полному разрыву, или формой соединения (connection_condition=6), в которой ATC-последовательность и STC-последовательность являются непрерывными друг с другом.
3) Когда ассоциированный тип воспроизведения по списку воспроизведения указывает "последовательное воспроизведение элемента воспроизведения", записи субэлемента воспроизведения должны размещаться в порядке воспроизведения.
4) Записи субэлемента воспроизведения в подпути должны размещаться в порядке, который ассоциирован со значением опорного синхронизирующего элемента воспроизведения. Когда тип воспроизведения по списку воспроизведения ассоциированного списка воспроизведения - это случайное перемешивание, субэлементы воспроизведения должны перекомпоновываться в порядке воспроизведения субэлементов воспроизведения, которые имеют одинаковый опорный синхронизирующий элемент воспроизведения.
Это условия, которые должны удовлетворяться посредством подпути с типом подпути "5".
Подпуть с типом подпути "5" имеет две функции: ES-путь синхронизирующего типа "вне мультиплексора"; и путь воспроизведения видео для зависимого просмотра "вне мультиплексора". AV-клипы, используемые посредством подпути с типом подпути "5", могут состоять из мультиплексированного потока первичного видео, PG-потока, IG-потока, потока вторичного аудио- и видеопотока для зависимого просмотра.
Затем описывается путь воспроизведения видеопотока для зависимого просмотра "вне мультиплексора" на диске (тип подпути = 8). Субэлемент воспроизведения этого типа используется для того, чтобы воспроизводить путь воспроизведения видеопотока для зависимого просмотра, отделенный от основного пути. Субэлемент воспроизведения, ассоциированный с подпутем с типом подпути "8", должен удовлетворять следующим условиям.
1) Элемент воспроизведения и субэлемент воспроизведения, ассоциированный с ним, должны быть совмещены в то время, когда они ассоциированы друг с другом. Период воспроизведения субэлемента воспроизведения является идентичным периоду воспроизведения элемента воспроизведения, ассоциированного с ним. Более конкретно:
1-a) Число субэлементов воспроизведения должно быть идентичным числу элементов воспроизведения.
1-b) Опорный синхронизирующий элемент воспроизведения в i-м субэлементе воспроизведения должен быть "i".
1-c) Начальное время синхронизации опорного элемента воспроизведения в субэлементе воспроизведения должно быть эквивалентным времени начала субэлемента воспроизведения.
1-d) Время начала субэлемента воспроизведения должно быть эквивалентным времени начала в элементе воспроизведения, на который ссылается опорный синхронизирующий элемент воспроизведения в субэлементе воспроизведения.
1-e) Время окончания субэлемента воспроизведения должно быть эквивалентным времени окончания в элементе воспроизведения, на который ссылается опорный синхронизирующий элемент воспроизведения в субэлементе воспроизведения.
1-f) Число "Multi_clip_entries" в субэлементе воспроизведения должно быть идентичным числу "Multi_clip_entries" в элементе воспроизведения, на который ссылается опорный синхронизирующий элемент воспроизведения.
2) Когда непрерывные субэлементы воспроизведения соединяются, соединение между субэлементами воспроизведения, указываемыми посредством информации формы соединения субэлементов воспроизведения, должно быть формой соединения (connection_condition=5), имеющей полный разрыв, или формой соединения (connection_condition=6), в которой ATC-последовательность и STC-последовательность являются непрерывными друг с другом.
3) Когда ассоциированный тип воспроизведения по списку воспроизведения указывает "последовательное воспроизведение элемента воспроизведения", записи субэлемента воспроизведения должны размещаться в порядке воспроизведения.
4) Записи субэлемента воспроизведения в подпути должны размещаться в порядке, который ассоциирован со значением опорного синхронизирующего элемента воспроизведения. Когда тип воспроизведения по списку воспроизведения ассоциированного списка воспроизведения - это случайное перемешивание, субэлементы воспроизведения должны перекомпоновываться в порядке воспроизведения субэлементов воспроизведения, которые имеют одинаковый опорный синхронизирующий элемент воспроизведения.
5) Флаг многоракурсного режима в информации элемента воспроизведения активирован (составляет многоракурсный режим) и ассоциирован с информацией субэлемента воспроизведения с типом подпути "8", информация элемента воспроизведения должна включать в себя ссылочную расширенную информацию потока (Multi_clip_entries).
Идентификатор опорной записи субклипа в записи потока для стереоскопического блока для зависимого просмотра (SS_dependent_view_block) в таблице выбора расширенного потока должен ссылаться на идентификатор записи субклипа в файле информации о клипах, на который ссылается ссылочная информация потока, как на идентификатор, соответствующий первому номеру ракурса в информации субэлемента воспроизведения подпути, на который ссылается идентификатор опорного подпути в записи потока.
Далее описывается элемент воспроизведения, составляющий многоракурсную секцию и типы подпутей. Можно задавать непрозрачный многоракурсный элемент воспроизведения как элемент воспроизведения, составляющий многоракурсную секцию.
Информация элемента воспроизведения в списке для трехмерного воспроизведения, прилагаемая к таблице выбора расширенного потока, имеет флаг "is seamless angle change". Флаг "is seamless angle change" указывает, является изменение ракурса непрозрачным или прозрачным. Когда флаг "is seamless angle change" равен "0" (непрозрачно), список для трехмерного воспроизведения может иметь подпуть (тип подпути = 3) для меню воспроизведения интерактивной графики и подпуть (тип подпути = 9) для стереоскопического меню воспроизведения интерактивной графики.
Когда флаг "is seamless angle change" равен "0" (непрозрачно), список для трехмерного воспроизведения, прилагаемый к таблице выбора расширенного потока, может задавать только подпути вышеуказанных типов подпутей "3", "8" и "9" в качестве подпутей для видеопотока для зависимого просмотра для режима стереоскопического воспроизведения. Другие подпути не могут быть ассоциированы с ним.
Как описано выше, согласно настоящему варианту осуществления, тип подпути для реализации стереоскопического воспроизведения на диске и тип подпути для реализации стереоскопического воспроизведения не на диске предоставляются. Это позволяет реализовывать стереоскопическое воспроизведение посредством одного диска или посредством комбинации диска и другого носителя записи.
(Пятый вариант осуществления)
Настоящий вариант осуществления подробно описывает файл информации о клипах.
Фиг. 41A-41C показывают внутреннюю структуру файла информации о клипах.
Фиг. 41A показывает файл информации о клипах для двумерного режима. Фиг. 41B показывает файл информации о клипах для трехмерного режима. Эти файлы информации о клипах включают в себя "информацию о клипах", "информацию последовательности", "информацию программы" и "информацию характеристических точек".
"Информация о клипах" - это информация, указывающая, для каждой ATC-последовательности, какой тип AV-клипа имеет каждая последовательность исходных пакетов, сохраненная в файле потока. Информация о клипах включает в себя: тип приложения, указывающий тип (такой как фильм, слайд-шоу), в рамки которого подпадает приложение, состоящее из рассматриваемого AV-клипа; тип потока, указывающий тип потока, в рамки которого подпадает рассматриваемый AV-клип; скорость записи TS, являющуюся скоростью передачи TS-пакета в рассматриваемом AV-клипе; ATC-дельту, являющуюся разностью в ATC от ATC-последовательности, составляющей предыдущий AV-клип; и идентификатор способа кодирования, используемого при кодировании.
"Информация последовательности" указывает, для каждой ATC-последовательности, информацию (информацию ATC-последовательностей), которая указывает то, какой тип ATC-последовательности имеют одна или более последовательностей исходных пакетов, сохраненных в файле потока. Информация ATC-последовательностей включает в себя: информацию, указывающую, посредством номера исходного пакета, то, где существует исходный пакет, являющийся начальной точкой ATC; смещения между идентификаторами STC-последовательности и идентификаторами ATC-последовательности; и информацию STC-последовательностей, соответствующую каждой из множества из STC-последовательностей. Каждый фрагмент информации STC-последовательностей включает в себя: номер пакета для исходного пакета, сохраняющего PCR рассматриваемой STC-последовательности; информацию, указывающую то, где в STC-последовательности существует исходный пакет, являющийся начальной точкой STC-последовательности; и время начала воспроизведения и время окончания воспроизведения STC-последовательности.
"Информация программы" указывает структуры программ основного TS и суб-TS, управляемых как "AV-клипы" посредством файла информации о клипах. Информация программы указывает, какие типы ES мультиплексируются в AV-клипе. Более конкретно, информация программы указывает, какие типы идентификаторов пакетов имеют ES, мультиплексированные в AV-клипе, и указывает способ кодирования. Таким образом, информация программы указывает способ кодирования, такой как видео MPEG2 или MPEG4-AVC, который используется для того, чтобы кодировать со сжатием видеопоток.
"Информация характеристических точек" - это информация, указывающая, для каждого ES, то, где существуют характеристические точки множества ES, мультиплексированных в AV-клипе. Информация, указывающая характеристическую точку для каждого ES, называется "картой вхождений".
То, что становится характеристической точкой, различается для каждого типа потока. В случае видеопотоков для базового просмотра и зависимого просмотра характеристическая точка является разделителем единиц доступа I-изображения, которое находится в начале открытой и закрытой GOP. В случае аудиопотока характеристическая точка является разделителем единиц доступа, указывающим начальные позиции аудиокадров, которые существуют через регулярные интервалы времени, например каждую секунду. В случае PG- и IG-потоков, характеристическая точка является разделителем единиц доступа, указывающим начальные позиции наборов для отображения (набора для отображения начала сверхкадра, набора для отображения точки обнаружения), которые содержат все функциональные сегменты, необходимые для отображения, из наборов для отображения графических потоков.
ATC-последовательность и STC-последовательность отличаются тем, как они представляют характеристическую точку. ATC-последовательность представляет характеристическую точку посредством номера исходного пакета. STC-последовательность представляет характеристическую точку посредством использования PTS, которая указывает момент времени на временной оси STC.
С учетом вышеописанных отличий карта вхождений для каждого ES состоит из множества точек входа. Более конкретно, в каждой точке входа, составляющей карту вхождений, номер исходного пакета, который указывает местоположение характеристической точки в ATC-последовательности, ассоциирован с PTS, которая указывает местоположение характеристической точки в STC-последовательности. Дополнительно, каждая точка входа включает в себя флаг ("is_angle_change" флаг), который указывает, доступно или нет изменение ракурса для характеристической точки. Поскольку изменение ракурса доступно в исходном пакете, расположенном в начале единицы перемежения, составляющей многоракурсную секцию, флаг "is_angle_change" в точке входа, указывающей начальный исходный пакет единицы перемежения, всегда задан активированным. Кроме того, точка входа, указывающая начальный исходный пакет единицы перемежения, ассоциируется с In_Time в информации элемента воспроизведения посредством точки входа.
Карта вхождений для каждого ES указывает номера исходных пакетов характеристических точек для соответствующих типов потоков в соответствии PTS. Соответственно, посредством обращения к этой карте вхождений можно получать, из произвольного момента времени в ATC-последовательности, номера исходных пакетов, которые указывают местоположения характеристических точек для ES, которые являются ближайшими к произвольному моменту времени.
На этом завершается пояснение файла информации о клипах для двумерного режима. Затем приводится подробное пояснение файла информации о клипах для трехмерного режима. Фиг. 41B показывает внутреннюю структуру файла информации о клипах для трехмерного режима. Файл информации о клипах для трехмерного режима включает в себя: "зависимую информацию клипа (управляющую информацию для зависимого просмотра)", которая является информацией о клипах для файла dependent; и "базовую информацию клипа (управляющую информацию для базового просмотра)", которая является информацией о клипах для файла base, а также "информацию о клипах для файла 2D", которая является обычной информацией о клипах (управляющей информацией). Причина этого заключается в следующем. Как описано в варианте осуществления 2, файл стереоскопического перемеженного потока сохраняется в каталоге, который отличается от каталога, в котором обычные файлы потока сохраняются, чтобы не допускать их смешивание друг с другом. Соответственно, файлы информации о клипах не могут быть ассоциированы с файлом стереоскопического перемеженного потока. Таким образом, зависимая информация клипа и базовая информация клипа сохраняются в файле информации о клипах для двумерного режима.
Зависимая информация клипа и базовая информация клипа отличаются от файла информации о клипах для двумерного режима тем, что зависимая информация клипа и базовая информация клипа включают в себя метаданные, которые имеют последовательность начальных точек экстентов.
Как показано на фиг. 41B, зависимая информация клипа включает в себя последовательность начальных точек экстентов, и базовая информация клипа также включает в себя последовательность начальных точек экстентов. Последовательность начальных точек экстентов, включенная в зависимую информацию клипа, состоит из множества фрагментов информации начальных точек экстентов, и каждый фрагмент информации начальных точек экстентов указывает номер исходного пакета для каждого исходного пакета, который находится в начале каждого из множества из экстентов, составляющих файл dependent.
Аналогично, последовательность начальных точек экстентов, включенная в базовую информацию клипа, состоит из множества фрагментов информации начальных точек экстентов, и каждый фрагмент информации начальных точек экстентов указывает номер исходного пакета для каждого исходного пакета, который находится в начале каждого из множества из экстентов, составляющих файл base.
Далее описывается техническое значение предоставления множества фрагментов информации начальных точек экстентов.
TS, сохраненные в файлах потока, первоначально являются одним TS только с одной ATC-последовательностью. Соответственно, местоположение начала части, которая создается посредством деления оригинала, не может быть определено, даже если на информацию последовательности файла информации о клипах ссылаются. С другой стороны, начало дробной части также является началом экстента. Таким образом, можно распознавать начало дробной части посредством обращения к информации файловой системы, такой как запись файла или дескриптор экстента. Тем не менее, поскольку информация файловой системы управляется посредством промежуточного программного обеспечения, для приложения чрезвычайно трудно обращаться к информации экстента. С учетом этой проблемы, в настоящем варианте осуществления используется информация начальных точек экстентов, так что порядковый номер пакета, который соответствует рассматриваемому экстенту, указывается в информации о клипах.
Фиг. 41C показывает синтаксис для написания информации начальных точек экстентов на языке программирования.
Оператор "for", переменная управления которого - это "extention_id", формирует цикл, в котором начальная точка экстента, аргумент которой - это "extention_id", повторяется столько раз, сколько составляет "number_of_extention_start_points". Таким образом, можно формировать информацию начальных точек экстентов, соответствующую файлу перемеженного потока, посредством создания оператора "for" посредством записи числа "t", которое представляет число экстентов в файле перемеженного потока, в "number_of_extention_start_points".
Фиг. 42A и 42B показывают информацию начальных точек экстентов и таблицу карт вхождений, включенную в файл информации о клипах. Фиг. 42A показывает структуру структуры таблицы карт вхождений. Передняя линия eh1 указывает детализацию внутренней структуры таблицы карт вхождений. Как указано посредством передней линии eh1, таблица карт вхождений включает в себя "информацию заголовка карты вхождений", "тип начального экстента", "карту вхождений для PID=0x1011", "карту вхождений для PID=0x1012", "карту вхождений для PID=0x1220" и "карту вхождений для PID=0x1221".
"Информация заголовка карты вхождений" хранит информацию, такую как PID видеопотока, указываемые посредством карт вхождений и значений точек входа.
"Тип начального экстента" указывает, какой из экстента, составляющего видеопоток для просмотра левым глазом, и экстента, составляющего видеопоток для просмотра правым глазом, располагается первым.
"Карта вхождений для PID=0x1011", "карта вхождений для PID=0x1012", "карта вхождений для PID=0x1220" и "карта вхождений для PID=0x1221" являются картами вхождений для каждого PES-потока, состоящего из множества типов исходных пакетов. Каждая карта вхождений включает в себя "точки входа", каждая из которых состоит из пары значений SPN и PTS. Также идентификационный номер точки входа называется "идентификатором точки входа" (в дальнейшем называемым EP_ID), причем EP_ID первой точки входа равен "0", и после этого EP_ID для каждой точки входа в последовательном порядке увеличивается на "1". Посредством использования карт вхождений устройство воспроизведения может идентифицировать позицию исходного пакета, соответствующую произвольной позиции на временной оси видеопотока. Например, когда специальное воспроизведение, такое как ускоренная перемотка вперед или перемотка обратно, должно выполняться, I-изображения, зарегистрированные в картах вхождений, могут быть идентифицированы, выбраны и воспроизведены. Это предоставляет эффективную обработку без анализа AV-клипа. Кроме того, карты вхождений создаются для каждого видеопотока, который мультиплексируется в AV-клип, и управляются посредством PID.
Передняя линия eh2 указывает детализацию внутренней структуры карты вхождений для PID=0x1011. Карта вхождений для PID=0x1011 включает в себя точки входа, соответствующие EP_ID=0, EP_ID=1, EP_ID=2 и EP_ID=3. Точка входа, соответствующая EP_ID=0, указывает соответствие между флагом "is_angle_change", заданным как "активированный", SPN=3 и PTS=80000. Точка входа, соответствующая EP_ID=1, указывает соответствие между флагом "is_angle_change", заданным как "деактивированный", SPN=1500 и PTS=270000.
Точка входа, соответствующая EP_ID=2, указывает соответствие между флагом "is_angle_change", заданным как "деактивированный", SPN=3200 и PTS=360000. Точка входа, соответствующая EP_ID=3, указывает соответствие между флагом "is_angle_change", заданным как "деактивированный", SPN=4800 и PTS=450000. Здесь, флаг "is_angle_change" указывает, можно или нет декодировать независимо от самой точки входа. Когда видеопоток кодирован посредством MVC или MPEG-4AVC, и IDR-изображение существует в точке входа, этот флаг задается "активированным". Когда не-IDR-изображение существует в точке входа, этот флаг задается "деактивированным".
Фиг. 42B показывает то, какие исходные пакеты указываются посредством точек входа, включенных в карту вхождений, соответствующую TS-пакету, показывающему PID=0x1011 на фиг. 15A. Точка входа, соответствующая EP_ID=0, указывает SPN=3, и этот номер исходного пакета ассоциирован с PTS=80000. Точка входа, соответствующая EP_ID=1, указывает SPN=1500, и этот номер исходного пакета ассоциирован с PTS=270000.
Точка входа, соответствующая EP_ID=2, указывает SPN=3200, и этот номер исходного пакета ассоциирован с PTS=360000. Точка входа, соответствующая EP_ID=3, указывает SPN=4800, и этот номер исходного пакета ассоциирован с PTS=450000.
Фиг. 43 показывает атрибут потока, включенный в информацию программы.
Передняя линия ah1 указывает детализацию внутренней структуры атрибута потока.
Как указано посредством передней линии ah1, информация атрибутов потока включает в себя: информацию атрибутов потока для видеопотока для просмотра левым глазом, состоящего из TS-пакета, имеющего идентификатор пакета "0x1011"; информацию атрибутов потока для видеопотока для просмотра правым глазом, состоящего из TS-пакета, имеющего идентификатор пакета "0x1012"; информацию атрибутов потока для аудиопотока, состоящего из TS-пакетов, имеющих идентификаторы пакетов "0x1100" и "0x1101"; и информацию атрибутов потока для PG-потока, состоящего из TS-пакетов, имеющих идентификаторы пакетов "0x1220" и "0x1221". Из этого следует понимать, что информация атрибутов потока указывает то, какие атрибуты имеют PES-потоки, при этом PES-потоки состоят из множества типов исходных пакетов. Как указано посредством передней линии ah1, информация атрибутов каждого потока, включенного в AV-клип, регистрируется для каждого PID.
Фиг. 44 показывает то, как точки входа регистрируются в карте вхождений. Первая строка по фиг. 44 показывает временную ось, заданную посредством STC-последовательности. Вторая строка показывает карту вхождений, включенную в информацию о клипах. Третья строка показывает информацию начальных точек экстентов в зависимой информации клипа и информацию начальных точек экстентов в базовой информации клипа. Четвертая строка показывает последовательность исходных пакетов, составляющую ATC-последовательность. Когда карта вхождений указывает исходный пакет, соответствующий SPN=n1 в ATC-последовательности, PTS карты вхождений задается как "PTS=t1" на временной оси STC-последовательности. При этой компоновке можно инструктировать устройству воспроизведения выполнять произвольный доступ к исходному пакету, соответствующему SPN=n1 в ATC-последовательности, во время "PTS=t1". Кроме того, когда карта вхождений указывает исходный пакет, соответствующий SPN=n21 в ATC-последовательности, PTS карты вхождений задается как "PTS=t21" на временной оси STC-последовательности. При этой компоновке можно инструктировать устройству воспроизведения выполнять произвольный доступ к исходному пакету, соответствующему SPN=n21 в ATC-последовательности, во время "PTS=t21".
Посредством использования карт вхождений устройство воспроизведения может идентифицировать исходный пакет, соответствующий произвольной позиции на временной оси видеопотока. Например, когда специальное воспроизведение, такое как ускоренная перемотка вперед или перемотка обратно, должно выполняться, I-изображения, зарегистрированные в картах вхождений, могут быть идентифицированы, выбраны и воспроизведены. Это предоставляет эффективную обработку без анализа AV-клипа.
Кроме того, в третьей строке начальная точка экстента [i] в зависимой информации клипа и начальная точка экстента [j] в базовой информации клипа указываю номера исходных пакетов начала экстентов, составляющих видеопоток для зависимого просмотра и видеопоток для базового просмотра в четвертой строке, соответственно.
При такой структуре можно извлекать только последовательность исходных пакетов, составляющую видеопоток для базового просмотра, посредством считывания исходного пакета, указываемого посредством начальной точки экстента [i] в зависимой информации клипа, через исходный пакет непосредственно перед исходным пакетом, указываемым посредством начальной точки экстента [j] в базовой информации клипа.
Также можно извлекать только последовательность исходных пакетов, составляющую видеопоток для базового просмотра, посредством считывания исходного пакета, указываемого посредством начальной точки экстента [j] в базовой информации клипа, через исходный пакет непосредственно перед исходным пакетом, указываемым посредством начальной точки экстента [i+1] в зависимой информации клипа.
Дополнительно, можно восстанавливать ATC-последовательность, которая составляет видеопоток для базового просмотра, посредством комбинирования исходных пакетов, составляющих видеопоток для базового просмотра; и можно восстанавливать ATC-последовательность, которая составляет видеопоток для зависимого просмотра, посредством комбинирования исходных пакетов, составляющих видеопоток для зависимого просмотра.
Фиг. 45 показывает то, как ATC-последовательность восстанавливается из блоков данных, составляющих файл стереоскопического перемеженного потока.
Четвертая строка по фиг. 45 показывает множество блоков данных, которые составляют файл стереоскопического перемеженного потока. Третья строка показывает последовательность исходных пакетов, мультиплексированную в основном TS и суб-TS.
Вторая строка показывает набор из STC-последовательности 2, составляющей вид для зависимого просмотра, карты вхождений и ATC-последовательности 2, составляющей вид для зависимого просмотра. Первая строка показывает набор из STC-последовательности 1, составляющей вид для зависимого просмотра, карты вхождений и ATC-последовательности 1, составляющей вид для зависимого просмотра. Стрелки, расширяющиеся от третьей строки до первого и вторых строк схематично, показывают это, ATC-последовательности 1 и 2 восстанавливаются из блоков данных двух TS (основной TS и суб-TS) перемеженный в файле стереоскопического перемеженного потока. Эти ATC-последовательности ассоциируются с STC-последовательностями посредством карты вхождений в информации о клипах.
На этом завершается описание носителя записи в настоящем варианте осуществления. Далее подробно описывается устройство воспроизведения.
Устройство воспроизведения в настоящем варианте осуществления имеет структуру, в которой модуль считывания принимает вводы исходных пакетов из двух носителей записи. С этой целью, модуль считывания включает в себя два накопителя и два буфера считывания. Эти два накопителя используются для того, чтобы осуществлять доступ к этим двум носителям записи, соответственно. Эти два буфера считывания используются для того, чтобы временно сохранять ввод исходных пакетов от двух накопителей и выводить их в декодер. Модуль восстановления ATC-последовательностей предоставляется между двумя накопителями и двумя буферами считывания. Модуль восстановления ATC-последовательностей разделяет ATC-последовательность, составляющую поток для базового просмотра, и ATC-последовательность, составляющая поток для зависимого просмотра, от исходных пакетов в файле перемеженного потока, считанном из одного носителя записи, и записывает эти две ATC-последовательности в эти два буфера считывания, соответственно. При такой структуре устройство воспроизведения может обрабатывать ATC-последовательность, составляющую видеопоток для базового просмотра, и ATC-последовательность, составляющую видеопоток для зависимого просмотра, как если они считаны из различных носителей записи, соответственно. Фиг. 46A показывает внутреннюю структуру модуля считывания, содержащего модуль восстановления ATC-последовательностей. Как описано выше, модуль восстановления ATC-последовательностей предоставляется между двумя накопителями и двумя буферами считывания. Стрелка B0 символически указывает ввод исходного пакета от одного накопителя. Стрелка B1 схематично указывает запись ATC-последовательности 1, составляющей видеопоток для базового просмотра. Стрелка D1 схематично указывает запись ATC-последовательности 2, составляющей видеопоток для зависимого просмотра.
Фиг. 46B показывает то, как две ATC-последовательности, полученные посредством модуля восстановления ATC-последовательностей, обрабатываются. PID-фильтры, предоставленные в модуле демультиплексирования, показываются в средней части фиг. 46B. Слева на чертеже показываются две ATC-последовательности, полученные посредством модуля восстановления ATC-последовательностей. Правая сторона чертежа показывает видеопоток для базового просмотра, видеопоток для зависимого просмотра, PG-поток для базового просмотра, PG-поток для зависимого просмотра, IG-поток для базового просмотра и IG-поток для зависимого просмотра, которые получаются при демультиплексировании эти две ATC-последовательности. Демультиплексирование, выполняемое посредством двух ATC-последовательностей, основано на таблице выбора базового потока и таблице выбора расширенного потока, описанной в варианте осуществления 1.
Модуль восстановления ATC-последовательностей реализуется посредством создания программы, которая инструктирует аппаратному ресурсу выполнять процесс, показанный на фиг. 47. Фиг. 47 показывает процедуру для восстановления ATC-последовательности.
На этапе S71, ATC-последовательность для вида для базового просмотра задается в качестве ATC-последовательности 1, а ATC-последовательность для вида для зависимого просмотра задается в качестве ATC-последовательности 2. На этапе S72, информация начальных точек экстентов извлекается из зависимой информации клипа и базовой информации клипа в файле информации о клипах, соответствующем файлу 2D. Управление затем переходит к циклу, состоящему из S73-S77. В этом цикле повторяется следующее: переменные "i" и "j" инициализируются как "1" (этап S73); этапы S74-S76 выполняются; и переменные "i" и "j" увеличиваются (этап S77)
На этапе S74, исходные пакеты от исходного пакета с номером исходного пакета, указываемым посредством начальной точки экстента [i] в зависимой информации клипа, до исходного пакета непосредственно перед исходным пакетом с номером исходного пакета, указываемым посредством начальной точки экстента [j] в базовой информации клипа, добавляются в ATC-последовательность 2.
На этапе S75, исходные пакеты от исходного пакета с номером исходного пакета, указываемым посредством начальной точки экстента [j] в базовой информации клипа, до исходного пакета непосредственно перед исходным пакетом с номером исходного пакета, указываемым посредством начальной точки экстента [i+1] в зависимой информации клипа, добавляются в ATC-последовательность 1.
На этапе S76, определяется то, присутствует или нет начальная точка экстента [i+1]. Когда определено, что начальная точка экстента [i+1] не присутствует, управление переходит к этапу S75, на котором исходные пакеты от исходного пакета с номером исходного пакета, указываемым посредством начальной точки экстента [j] в базовой информации клипа, до последнего исходного пакета файла стереоскопического перемеженного потока добавляются в ATC-последовательность 1.
При повторении вышеописанного процесса блоки данных для базового просмотра собираются в ATC-последовательности 1, и блоки данных для зависимого просмотра собираются в ATC-последовательности 2. После того как ATC-последовательности 1 и 2 восстанавливаются таким образом, запись файла, которая указывает начальный адрес блоков данных для базового просмотра и непрерывную длину посредством числа секторов, формируется в запоминающем устройстве, и файл base виртуально открывается (этап S79). Аналогично, запись файла, которая указывает начальный адрес блоков данных для зависимого просмотра и непрерывную длину посредством числа секторов, формируется в запоминающем устройстве, и файл dependent виртуально открывается (этап S80).
Информация начальных точек экстентов указывает начальный адрес блоков данных посредством номера исходного пакета. Таким образом, начальный адрес блоков данных, представленный посредством номера исходного пакета, и непрерывная длина блоков данных, представленная посредством числа исходных пакетов, должны быть преобразованы в число секторов. Процедура преобразования описывается далее.
Исходные пакеты сегментируются в группы каждый состоящий из 32 исходных пакетов и записываются в три сектора. Каждая группа, состоящая из 32 исходных пакетов, имеет 6144 (=32×192) байты. Это значение эквивалентно размеру трех секторов: 6144 (=2048×3) байты. 32 исходных пакета, сохраненные в трех секторах, называются "совмещенная единица". Исходные пакеты записываются в носитель записи в единицах совмещенных единиц.
Каждые 32 исходных пакета преобразуются в одну совмещенную единицу и записываются в три сектора. Следовательно, частные, полученные посредством деления номеров исходных пакетов на "32", интерпретируются как адреса совмещенных единиц. Кроме того, адрес сектора, ближайший к начальному исходному пакету блока данных, может получаться посредством умножения адреса совмещенной единицы на "3".
Дополнительно, частное, полученное посредством деления на "32" числа исходных пакетов, указывающих непрерывную длину блока данных, интерпретируется как число непрерывных совмещенных единиц. Посредством умножения "3" на число непрерывных совмещенных единиц, непрерывная длина блока данных может представляться посредством числа секторов. Адрес блока данных и непрерывная длина, представленная посредством числа секторов, полученных посредством вышеописанных преобразований, включаются, как дескрипторы выделения, в записи файлов файла base и файла dependent. Таким образом, записи файлов файла base и файла dependent могут быть сформированы виртуально.
<Технический смысл открытия файла base>
Когда произвольный доступ от произвольного момента времени должен выполняться, поиск сектора в рамках файла потока должен выполняться. Поиск сектора - это процесс для идентификации номера исходного пакета для исходного пакета, соответствующего произвольному моменту времени, и считывания файла из сектора, который содержит исходный пакет номера исходного пакета.
Поскольку размер одного экстента, составляющего файл стереоскопического перемеженного потока, является большим, поиск сектора требует широкого диапазона поиска. В этом случае, когда выполняется произвольный доступ от произвольного момента времени, может потребоваться долгое время, чтобы идентифицировать сектор целевых объектов считывания.
Это обусловлено тем, что, в файле перемеженного потока, блоки данных, составляющие видеопоток для базового просмотра и видеопоток для зависимого просмотра, располагаются перемеженным способом составлять один длинный экстент, и дескриптор выделения записи файла для файла перемеженного потока просто указывает начальный адрес длинного экстента.
Напротив, файл base состоит из множества коротких экстентов, и начальный адрес каждого экстента записывается в дескрипторе выделения. Как результат, поиск сектора требует узкого ассортимента поиска. Таким образом, когда выполняется произвольный доступ от произвольного момента времени, сектор целевых объектов считывания может быть идентифицирован в короткое время.
Другими словами, поскольку блоки данных, составляющие видеопоток для базового просмотра, управляются как экстенты файла base, и начальный адрес блока данных записывается в дескрипторе выделения в записи файла, соответствующей файлу base, можно быстро проходить к сектору, включающему в себя исходный пакет, в целевой позиции произвольного доступа, посредством начала поиска сектора с начального адреса экстента, который содержит целевую позицию произвольного доступа.
При вышеописанной структуре, в которой блоки данных, составляющие видеопоток для базового просмотра, управляются как экстенты файла base, и начальный адрес каждого экстента и непрерывная длина записываются в дескрипторе выделения в записи файла, соответствующей файлу base, можно выполнять произвольный доступ от произвольного момента времени в видеопотоке для базового просмотра на высокой скорости.
Более конкретно, поиск сектора выполняется следующим образом. Во-первых, карта вхождений, соответствующая видеопотоку для базового просмотра, используется для того, чтобы обнаруживать номер исходного пакета, который является позицией произвольного доступа, соответствующей произвольному моменту времени.
Затем, информация начальных точек экстентов в информации о клипах, соответствующей видеопотоку для базового просмотра, используется для того, чтобы обнаруживать экстент, который содержит номер исходного пакета, который является позицией произвольного доступа.
Дополнительно, на дескриптор выделения в записи файла, соответствующей файлу base, ссылаются, чтобы идентифицировать адрес начального сектора экстента, который содержит номер исходного пакета, который является позицией произвольного доступа. Затем считывание файла выполняется посредством задания в указателе адреса начального сектора, и анализ пакета выполняется для считанного исходного пакета, чтобы идентифицировать исходный пакет с номером исходного пакета, который является позицией произвольного доступа. Затем идентифицированный исходный пакет считывается. При этой процедуре произвольный доступ к основному TS выполняется эффективно. Это также применяется к суб-TS.
Как описано выше, согласно настоящему варианту осуществления, экстенты видеопотока для базового просмотра и видеопотока для зависимого просмотра в файле перемеженного потока предоставляются в модуль демультиплексирования и декодер после того, как они перекомпоновываются на основе информации начальных точек экстентов. Таким образом, декодер и программа могут обрабатывать, как файлы, виртуально существующие на носителе записи, файл base, сохраняющий видеопоток для базового просмотра и файл dependent, сохраняющий видеопоток для зависимого просмотра.
В этой структуре видеопоток для базового просмотра и видеопоток для зависимого просмотра для стереоскопического просмотра записываются на носитель записи, при этом к видеопотоку для базового просмотра и видеопотоку для зависимого просмотра доступ может осуществляться отдельно. При такой структуре, эффективность обработки устройства воспроизведения повышается.
Здесь следует отметить, что хотя информация начальных точек экстентов может указывать начало экстента в единице байтов, предпочтительно, чтобы начало экстента указывалось в единице фиксированной длины, когда экстенты совмещаются с блоками считывания с фиксированной длиной, такой как ECC-блоки. Это ограничивает объем информации, который требуется для идентификации адресов.
(Шестой вариант осуществления)
Настоящий вариант осуществления относится к усовершенствованию для реализации применения для стереоскопического слайд-шоу.
Слайд-шоу состоит из неподвижных изображений и тем самым требует произвольного доступа с более высокой точностью, чем фильм. Произвольный доступ высокой точности - это произвольный доступ, при котором доступ выполняется в единице "одного изображения", к примеру, доступ к изображению, предшествующему на одно изображение или десять изображений. Карта вхождений видеопотока имеет временную точность приблизительно в одну секунду, к примеру, в интервале одной секунды. Интервал одной секунды может включать в себя 20-30 изображений. Соответственно, когда произвольный доступ должен быть реализован с вышеописанной точностью в единицах изображений с использованием карты вхождений, обращения к карте вхождений недостаточно, а требуется анализ потока.
"Анализ потока" является процессом достижения позиции записи требуемого изображения посредством многократного повторения процесса извлечения заголовка изображения из позиции записи, приведенной в карте вхождений, считывания размера изображения из извлеченного заголовка и идентификации позиции записи следующего изображения на основе считанного размера. Такой анализ заключает в себе частые доступы к потоку. Следовательно, занимает достаточно значительное время то, чтобы просто считывать изображение, которое является предшествующим на три или пять изображений. Поскольку произвольный доступ с точностью изображений требует достаточно значительного времени, когда функция, чтобы отображать предшествующее или последующее изображение или 10 изображений сразу в ответ на пользовательскую операцию, должна добавляться к слайд-шоу, трудно реализовывать эту функцию, имеющую высокий уровень удобства и простоты использования согласно ожиданиям стороны производителя.
Точка входа для слайд-шоу указывает адреса входа изображений в видеопотоке в соответствии временам воспроизведения. Информация метки списков воспроизведения указывает каждый фрагмент данных изображений.
При такой структуре, в которой каждый фрагмент данных изображений указывается посредством точки входа и информации метки списков воспроизведения, когда произвольный доступ с точностью изображений, к примеру, доступ к изображению, которое является предшествующим на одно изображение или три изображения, запрашивается, произвольный доступ с точностью изображений реализуется без анализа видеопотока.
Поскольку можно переходить к позиции записи в видеопотоке с произвольного момента времени на временной оси и можно реализовывать произвольный доступ с точностью изображений, к примеру, доступ к изображению, которое является предшествующим на одно изображение или три изображения, можно создавать приложение, которое может отображать предшествующее или последующее изображение или несколько изображений сразу в ответ на пользовательскую операцию.
В вариантах осуществления выше, видеопоток для стереоскопического воспроизведения имеет перемеженный формат. Тем не менее, когда перемеженный формат приспосабливается, множество фрагментов данных изображений, составляющих слайд-шоу, размещаются, например, в порядке L-L-L, R-R-R. Когда слайд-шоу состоит из множества фрагментов данных изображений, размещаемых таким образом, и множество фрагментов данных изображений указываются посредством соответствующих точек входа, точки входа размещаются в порядке 00:00->00:01->00:02, 00:00->00:01->00:02.
Этот порядок не соответствует такому ограничению для карты вхождений, что точки входа в карте вхождений должны размещаться в порядке по возрастанию времен воспроизведения. С учетом этой проблемы данные изображений, составляющие поток для просмотра левым глазом, и данные изображений, составляющие поток для просмотра правым глазом, включаются в один TS, как ограничение, уникальное для случая, когда типом приложения AV-клипа является слайд-шоу. При такой структуре можно размещать данные изображений, составляющие поток для просмотра левым глазом, и данные изображений, составляющие поток для просмотра правым глазом, в порядке L-R-L-R-L-R и размещать точки входа этих данных изображений так, что времена воспроизведения в точках входа размещаются в порядке 00:00->00:00->00:01->00:01->00:02->00:02->00:03->00:03.
Таким образом, множество фрагментов данных изображений, составляющих один слайд, размещаются в порядке времени, и затем данные изображений мультиплексируются. Затем блок мультиплексированных данных изображений записывается в непрерывные зоны на носитель записи.
Фиг. 48A и 48B показывают внутреннюю структуру видеопотока. Фиг. 48A показывает видеопоток, составляющий приложение фильма. Вторая строка по фиг. 48A показывает файл стереоскопического перемеженного потока, в котором видеопоток для базового просмотра и видеопоток для зависимого просмотра сохраняются в перемеженной форме. На фиг. 48A, R1, R2, R3 и R4 представляют данные изображений, составляющие видеопоток для зависимого просмотра, L1, L2, L3 и L4 представляют данные изображений, составляющие видеопоток для базового просмотра, и R5, R6, R7 и R8 представляют данные изображений, составляющие видеопоток для зависимого просмотра.
Первая строка по фиг. 48A показывает файл потока для видеопотока для зависимого просмотра, который является по сути идентичным файлу перемеженного потока. Он состоит из имени файла и расширения "m2ts". Файл потока для видеопотока для зависимого просмотра состоит из R1, R2, R3, R4, R5, R6, R7 и R8. Таким образом, видеопоток для зависимого просмотра используется в приложении фильма.
Вторая строка по фиг. 48B показывает I-изображения в слайд-шоу неподвижных изображений. Знак "L" представляет изображение для просмотра левым глазом, а знак "R" представляет изображение для просмотра правым глазом. Как показано на фиг. 48B, изображения для просмотра левым глазом и изображения для просмотра правым глазом мультиплексируются и записываются в порядке "L", "R", "L", "R", "L", "R".
Разделитель единиц доступа, предоставленный в начале данных изображений, являющихся неподвижным изображением для базового просмотра, предшествует началу данных изображений, являющихся неподвижным изображением для зависимого просмотра, и конец данных изображений, являющихся неподвижным изображением для зависимого просмотра, предшествует разделителю единиц доступа, представляющему начало данных изображений, являющихся неподвижным изображением для базового просмотра, которое должно воспроизводиться после первого неподвижного изображения для базового просмотра. Исходные пакеты, сохраняющие эти разделители единиц доступа, представляющие начала данных изображений, являющихся неподвижными изображениями для базового просмотра, и исходные пакеты, сохраняющие эти разделители единиц доступа, представляющие начала данных изображений, являющихся неподвижными изображениями для зависимого просмотра, не сохраняют данные изображений кроме собственных данных изображений. Другими словами, данные изображений, представляющие неподвижное изображение для базового просмотра, и данные изображений, представляющие неподвижное изображение для зависимого просмотра, размещаются в зоне записи в порядке вид для базового просмотра->вид для зависимого просмотра->вид для базового просмотра->вид для зависимого просмотра автономным способом.
Тем не менее, как показано в первой строке по фиг. 48B, видеопоток для зависимого просмотра не используется. Таким образом, приложение слайд-шоу не может осуществлять доступ к изображению для просмотра правым глазом как к потоку для зависимого просмотра.
Причина, по которой данные изображений для просмотра левым глазом и данные изображений для просмотра правым глазом мультиплексируются, состоит в том, что, если данные изображений записаны на носитель записи как один экстент, условие для наименьшей длины экстента не должно удовлетворяться. Чтобы удовлетворять условию для наименьшей длины экстента, множество фрагментов данных изображений размещается и мультиплексируется в порядке времени, как описано выше, и мультиплексированные TS записываются. При такой структуре можно сегментировать и записывать TS так, что условие для наименьшей длины экстента удовлетворяется.
Напротив, вследствие незначительности размера, эффективность считывания увеличивается, когда множество фрагментов данных для отображения одного неподвижного изображения размещается как один блок.
Далее описывается, как карта вхождений задается, когда информация (application_type) для указания типа приложения в AV-клипе указывает слайд-шоу (application_type = 2 или 3). Предположим, что для IDR-изображения, которое присутствует в слайд-шоу, PTS задаются так, что воспроизведение выполняется во множество моментов времени (t1-t7) на временной оси. В этом случае, карта вхождений задается для слайд-шоу, как показано на фиг. 49. Фиг. 49 показывает внутреннюю структуру карты вхождений, которая задается для слайд-шоу.
В слайд-шоу карта вхождений задается так, чтобы указывать все изображения. Таким образом, точки входа #1-#7 в карте вхождений указывают моменты времени воспроизведения t1-t7 каждого IDR-изображения в слайд-шоу как времена входа (PTS_EP_start) и ассоциируются с позициями записи (SPN_EP_start).
В этой структуре моменты времени воспроизведения каждого IDR-изображения указываются как времена входа посредством карты вхождений. При такой структуре, когда один из моментов времени воспроизведения t1-t7 должен выбираться в качестве назначения произвольного доступа, дополнительного расхода ресурсов вследствие прохождения через предыдущее IDR-изображение не возникает.
Первая строка по фиг. 49 показывает задание информации метки списков воспроизведения. Вторая строка показывает указание времени начала в информации элемента воспроизведения. Третья строка показывает изображения L и R. Четвертая строка показывает карту вхождений. Пятая строка показывает последовательность исходных пакетов.
В слайд-шоу карта вхождений задается так, чтобы указывать все изображения для просмотра левым глазом и правым глазом. Таким образом, точки входа #1-#7 в карте вхождений указывают моменты времени воспроизведения t1-t7 каждого IDR-изображения в слайд-шоу как времена входа (PTS_EP_start) и ассоциируются с позициями записи (SPN_EP_start).
Когда произвольный доступ выполняется посредством указания момента времени t6 из моментов времени t2, t4 и t6 в качестве назначения доступа, можно осуществлять доступ к позиции записи (SPN=N6), соответствующей моменту времени t6, без прохождения через предыдущее изображение для просмотра левым глазом, поскольку сам момент времени t6 указывается посредством PTS_EP_start.
Поскольку все изображения для просмотра левым глазом указываются посредством PTS_EP_start, можно выполнять произвольный доступ с использованием информации времени на высоких скоростях в слайд-шоу.
Когда "Application_type" в информации о клипах задается равным "2" или "3" наряду с вышеописанным заданием карты вхождений можно указывать, что в карте вхождений присутствуют записи, соответствующие всем изображениям, составляющим слайд-шоу. Это позволяет определять диапазон данных, которые должны считываться, посредством обращения к записям в карте вхождений, и избавляет от необходимости анализировать предшествующие или последующие потоки.
На этом завершается описание носителя записи. Далее подробно описывается устройство воспроизведения. Когда устройство воспроизведения выполняет воспроизведение слайд-шоу, механизм управления воспроизведением выполняет воспроизведение в соответствии с процедурой, показанной на фиг. 50.
Фиг. 50 показывает процедуру воспроизведения для списка воспроизведения слайд-шоу. На этапе S81, номер текущего элемента воспроизведения инициализируется как "1". На этапе S82, определяется то, является или нет тип приложения "clip_Information_file_name" в текущем элементе воспроизведения "слайд-шоу". Когда тип приложения - это "фильм", управление переходит к этапу S83, на котором выполняется процесс для приложения фильма.
Когда тип приложения - это "слайд-шоу", управление переходит к циклу, в котором повторяется процесс, состоящий из этапов S84-S90. В этом цикле определения выполняются на этапах S85 и S86. После этого этапы выполняются следующим образом. Точка входа [i], которая совпадает или является ближайшей ко времени начала текущего элемента воспроизведения, идентифицируется из карты вхождений (этап S87), исходные пакеты от исходного пакета с SPN, указываемым посредством начальной точки экстента [i], до исходного пакета непосредственно перед исходным пакетом с SPN, указываемым посредством начальной точки экстента [i+1], считываются и предоставляются в PID-фильтр на стороне для базового просмотра (этап S88), а исходные пакеты от исходного пакета с SPN, указываемым посредством начальной точки экстента [i+1], до исходного пакета непосредственно перед исходным пакетом с SPN, указываемым посредством начальной точки экстента [i+2], считываются и предоставляются в PID-фильтр на стороне для зависимого просмотра (этап S89). Этапы S87-S89 повторяются до тех пор, пока номер текущего элемента воспроизведения не становится последним номером элемента воспроизведения (этап S94). Если определяется, на этапе S94, что номер текущего элемента воспроизведения является последним номером элемента воспроизведения, номер текущего элемента воспроизведения не увеличивается, и управление возвращается к этапу S85.
На этапе S85, определяется то, выполнена или нет операция пропуска назад. На этапе S86, определяется то, выполнена или нет операция пропуска вперед. Когда определено, что операция пропуска вперед выполнена, номер текущей главы увеличивается (этап S90). Когда определено, что операция пропуска назад выполнена, определяется то, равен или нет номер текущей главы "1" (этап S91). Когда определено, что номер текущей главы не равен "1", номер текущей главы уменьшается (этап S92).
На этапе S93, номер текущего элемента воспроизведения задается равным номеру элемента воспроизведения, на который ссылается "Playitem_ref_id" PlayListMark, соответствующего номеру текущей главы, и затем управление переходит к этапу S55.
Как описано выше, согласно настоящему варианту осуществления, произвольная пара из данных изображений изображения для просмотра левым глазом и данных изображений изображения для просмотра правым глазом может считываться и воспроизводиться без анализа потока. При такой структуре, приложение слайд-шоу, которое может осуществлять доступ к произвольному фрагменту данных изображений посредством произвольного доступа согласно пользовательской операции, может быть легко реализовано.
(Седьмой вариант осуществления)
Настоящий вариант осуществления поясняет модуль демультиплексирования, декодер и аппаратный размер запоминающего устройства плоскости.
Модуль демультиплексирования настоящего варианта осуществления включает в себя пары модуля депакетирования источников и PID-фильтра в числе, равном числу линий потокового ввода.
Фиг. 51A и 51B показывают внутренние структуры модуля демультиплексирования и видеодекодера.
Фиг. 51A показывает модель декодера модуля демультиплексирования. В этом примере, модуль демультиплексирования включает в себя две пары из модуля депакетирования источников и PID-фильтра. Это обусловлено тем, что первоначально модуль демультиплексирования обрабатывает две линии потоковых вводов из двух носителей записи. В режиме двумерного воспроизведения модуль демультиплексирования обрабатывает потоковые вводы из двух носителей записи, а в режиме трехмерного воспроизведения модуль демультиплексирования обрабатывает две линии потоковых вводов, которые являются "L" и "R" и "двумерный" и "глубина".
Как показано на фиг. 51A, модуль демультиплексирования включает в себя модуль 22 депакетирования источников, PID-фильтр 23, модуль 27 депакетирования источников и PID-фильтр 28.
Модуль 22 депакетирования источников в состоянии, когда исходный пакет сохраняется в буфере 2a считывания, в момент, когда значение ATC, сформированное посредством ATC-счетчика, и значение ATS исходного пакета, сохраненное в буфере 2a считывания, становятся идентичными, передает только исходный пакет (TS-пакет) в PID-фильтр 23 в соответствии со скоростью записи AV-клипа. При передаче время ввода в декодер регулируется в соответствии с ATS каждого исходного пакета.
PID-фильтр 23 выводит, из TS-пакетов, выводимых из модуля 22 депакетирования источников, TS-пакеты, PID которых совпадают с PID, требуемыми для воспроизведения, в декодеры согласно PID.
Модуль 26 депакетирования источников, в состоянии, когда исходный пакет сохраняется в буфере 2b считывания, в момент, когда значение ATC, сформированное посредством ATC-счетчика, и значение ATS исходного пакета, сохраненное в буфере 2b считывания, становятся идентичными, передает только исходный пакет (TS-пакет) в PID-фильтр 27 в соответствии с системной скоростью AV-клипа. При передаче время ввода в декодер регулируется в соответствии с ATS каждого исходного пакета.
PID-фильтр 27 выводит, из TS-пакетов, выводимых из модуля 26 депакетирования источников, TS-пакеты, PID которых совпадают с PID, требуемыми для воспроизведения, в декодеры согласно PID.
Затем описывается внутренняя структура декодера 31 первичного видео.
Фиг. 51B показывает внутреннюю структуру декодера 31 первичного видео. Как показано на фиг. 51B, PID-фильтр 23 включает в себя TB 51, MB 52, EB 53, TB 54, MB 55, EB 56, ядро 57 декодера, переключатель 58 буферов, DPB 59 и переключатель 60 изображений.
Транспортный буфер (TB) 51 является буфером для временного сохранения TS-пакета, содержащего видеопоток для просмотра левым глазом, как есть после вывода из PID-фильтра 23.
Буфер мультиплексирования (MB) 52 является буфером для временного сохранения PES-пакета, когда видеопоток выводится из TB в EB. Когда данные передаются из TB в MB, TS-заголовок удаляется от TS-пакета.
Элементарный буфер (EB) 53 является буфером для сохранения единицы видеодоступа в кодированном состоянии. Когда данные передаются из MB в EB, PES-заголовок удаляется.
Транспортный буфер (TB) 54 является буфером для временного сохранения TS-пакета, содержащего видеопоток для просмотра правым глазом, как есть после вывода из PID-фильтра.
Буфер мультиплексирования (MB) 55 является буфером для временного сохранения PES-пакета, когда видеопоток выводится из TB в EB. Когда данные передаются из TB в MB, TS-заголовок удаляется от TS-пакета.
Элементарный буфер (EB) 56 является буфером для сохранения единицы видеодоступа в кодированном состоянии. Когда данные передаются из MB в EB, PES-заголовок удаляется.
Ядро 57 декодера формирует кадровое/полевое изображение посредством декодирования каждой единицы доступа, составляющей видеопоток, в заранее определенных временах декодирования (DTS). Поскольку предусмотрено множество способов кодирования со сжатием, таких как MPEG2, MPEG4 AVC и VC1, которые могут использоваться для того, чтобы кодировать со сжатием видеопоток, который должен быть мультиплексирован в AV-клип, способ декодирования ядра 57 декодера выбирается в соответствии с атрибутом потока. Когда оно декодирует данные изображений, составляющие видеопоток для базового просмотра, ядро 57 декодера выполняет компенсацию движения с использованием данных изображений, которые существуют в будущих и прошлых направлениях, в качестве опорных изображений. Когда он декодирует данные каждого изображения, составляющие видеопоток для зависимого просмотра, ядро 57 декодера выполняет компенсацию движения с использованием данных изображений, которые составляют видеопоток для базового просмотра, в качестве опорных изображений. После того, как данные изображений декодированы таким образом, ядро 57 декодера передает декодированное кадровое/полевое изображение в DPB 59 и передает соответствующее кадровое/полевое изображение в переключатель изображений во время отображения (PTS).
Переключатель 58 буферов определяет то, из какого из EB 53 и EB 56 следующая единица доступа должна извлекаться, посредством использования информации переключения декодирования, которая получена, когда ядро 57 декодера декодирует единицы видеодоступа, и передает изображение из EB 53 или из EB 56 в ядро 57 декодера во время декодирования (DTS), назначенное единице видеодоступа. Поскольку DTS видеопотока для просмотра левым глазом и видеопотока для просмотра правым глазом задаются так, чтобы поступать поочередно в единицах изображений на временной оси, предпочтительно, чтобы единицы видеодоступа передавались в ядро 57 декодера в единицах изображений, когда декодирование выполняется досрочно с игнорированием DTS.
Буфер декодированных изображений (DPB) 59 является буфером для временного сохранения декодированного кадрового/полевого изображения. DPB 59 используется посредством видеодекодера 57 для того, чтобы обращаться к декодированным изображениям, когда видеодекодер 57 декодирует единицу видеодоступа, такую как P-изображение или B-изображение, кодированное посредством межкадрового прогнозирующего кодирования.
Переключатель 60 изображений, когда декодированное кадровое/полевое изображение, передаваемое из видеодекодера 57, должно быть записано в видеоплоскость, переключает назначение записи между видеоплоскостью для просмотра левым глазом и видеоплоскостью для просмотра правым глазом. Когда поток для просмотра левым глазом является целевым, данные несжатых изображений записываются в видеоплоскость для просмотра левым глазом в данный момент, а когда поток для просмотра правым глазом является целевым, данные несжатых изображений записываются в видеоплоскость для просмотра правым глазом в данный момент.
Описывается работа видеодекодера при переключении режима. В LR-способе отображается двумерное изображение, когда режим переключается на режим, в котором выводятся только изображения для просмотра левым глазом. В способе глубины отображается двумерное изображение, когда обработка информации глубины прекращается, и информация глубины не добавляется. Следует отметить, что LR-способ и способ глубины требуют различных данных. Таким образом, когда выполняется переключение между ними, потоки, которые должны быть декодированы, должны повторно выбираться.
Затем описывается размер декодера и запоминающего устройства плоскости в устройстве воспроизведения.
Определение того, должно устройство содержать один декодер или два декодера либо или одну плоскость или две плоскости, выполняется на основе комбинации типа потока и стереоскопического способа.
Когда 3D-LR-способ приспосабливается, и целевым объектом воспроизведения является MVC-видеопоток, устройство воспроизведения содержит один декодер и две плоскости.
Когда способ трехмерной глубины приспосабливается, устройство воспроизведения содержит один декодер и две плоскости, и формирователь параллактических изображений требуется. Это также применяется к потоку первичного видео и потоку вторичного видео. Фиг. 52A и 52B показывают структуры устройств, включающих в себя один декодер и две плоскости в 3D-LR-способе и способе трехмерной глубины. Фиг. 52A показывает структуру устройства, включающего в себя один декодер и две плоскости, когда 3D-LR-способ приспосабливается. Фиг. 52B показывает структуру устройства, включающего в себя один декодер и две плоскости, когда способ трехмерной глубины приспосабливается.
Причина, по которой устройство воспроизведения имеет один декодер, когда MVC-видеопоток воспроизводится, состоит в том, что данные несжатых изображений для просмотра левым глазом и правым глазом используются как опорные изображения, чтобы реализовывать компенсацию движения для макроблоков каждого фрагмента данных сжатых изображений. Данные несжатых изображений для просмотра левым глазом и правым глазом, которые должны использоваться как опорные изображения, сохраняются в буфере декодированных изображений.
На этом завершается описание видеодекодера и видеоплоскости.
Для PG-потока: устройство воспроизведения содержит один декодер и одну плоскость, когда способ "1 плоскость + смещение" приспосабливается; и устройство воспроизведения содержит два декодера и две плоскости, когда 3D-LR-способ или способ трехмерной глубины приспосабливаются.
Для IG-потока: устройство воспроизведения содержит один декодер и одну плоскость, когда способ "1 плоскость + смещение" приспосабливается; и устройство воспроизведения содержит два декодера и две плоскости, когда 3D-LR-способ приспосабливается.
Для потока текстовых субтитров, для которого не может приспосабливаться 3D-LR-способ: устройство воспроизведения содержит один декодер и одну плоскость, когда способ "1 плоскость + смещение" приспосабливается; и устройство воспроизведения содержит один декодер и две плоскости, когда способ трехмерной глубины приспосабливается.
Далее описывается внутренняя структура PG-потока и внутренняя структура PG-декодера для декодирования PG-потока.
Каждый из PG-потока для просмотра левым глазом и PG-потока для просмотра правым глазом включает в себя множество наборов для отображения. Набор для отображения - это набор функциональных сегментов, которые составляют один экран. Функциональные сегменты являются модулями обработки, которые предоставляются в декодер, при этом они сохраняются в рабочих данных PES-пакетов, каждый из которых имеет размер приблизительно 2 Кбайт и подвергается управлению воспроизведением с использованием DTS и PTS.
Набор для отображения делится на следующие типы:
A. Набор для отображения в начале сверхкадра
Набор для отображения в начале сверхкадра - это набор функциональных сегментов, которые начинают управление запоминающим устройством посредством сброса буфера формирования, буфера кодированных данных и графической плоскости в графическом декодере. Набор для отображения в начале сверхкадра включает в себя все функциональные сегменты, требуемые для формирования экрана.
B. Набор для отображения в обычном случае
Набор для отображения в обычном случае - это набор для отображения, который выполняет формирование экрана при продолжении управления запоминающим устройством буфера формирования, буфера кодированных данных и графической плоскости в графическом декодере. Набор для отображения в обычном случае включает в себя функциональные сегменты, которые отличаются от предыдущего набора для отображения.
C. Набор для отображения в точке обнаружения
Набор для отображения в точке обнаружения - это набор для отображения, который включает в себя все функциональные сегменты, требуемые для формирования экрана, но не сбрасывает управление запоминающим устройством буфера формирования, буфера кодированных данных и графической плоскости в графическом декодере. Набор для отображения в точке обнаружения может включать в себя функциональные сегменты, которые отличаются от функциональных сегментов в предыдущем наборе для отображения.
D. Набор для отображения при продолжении сверхкадра
Набор для отображения при продолжении сверхкадра - это набор для отображения, который продолжает управление запоминающим устройством буфера формирования, буфера кодированных данных и графической плоскости в устройстве воспроизведения как есть, когда соединением между элементом воспроизведения, разрешающим воспроизведение PG-потока, и элементом воспроизведения непосредственно перед элементом воспроизведения является "прозрачное соединение" (CC=5), которое приводит к полному разрыву. В этом случае, графические объекты, полученные в буфере объектов и графической плоскости, продолжают присутствовать в буфере объектов и графической плоскости без отбрасывания.
Определенные моменты времени на временной оси воспроизведения STC-последовательности назначаются начальной точке и конечной точке этих наборов для отображения, и одинаковые времена назначаются виду для просмотра левым глазом и виду для просмотра правым глазом. Кроме того, для PG-потока для просмотра левым глазом и PG-потока для просмотра правым глазом, типы наборов для отображения, которые присутствуют в один момент времени на временной оси, являются идентичными. Другими словами, когда набор для отображения на стороне для просмотра левым глазом является набором для отображения в начале сверхкадра, набор для отображения на стороне для просмотра правым глазом, который является одновременно точкой на временной оси STC-последовательности, является набором для отображения в начале сверхкадра.
Дополнительно, когда набор для отображения на стороне для просмотра левым глазом является набором для отображения в точке обнаружения, набор для отображения на стороне для просмотра правым глазом, который является одновременно точкой на временной оси STC-последовательности, является набором для отображения в точке обнаружения.
Каждый набор для отображения включает в себя множество функциональных сегментов. Множество функциональных сегментов включает в себя следующее:
(1) Сегмент задания объекта
Сегмент задания объекта является функциональным сегментом для задания графического объекта. Сегмент задания объекта задает графический объект посредством использования значения кода и длины серии значения кода.
(2) Сегмент задания палитры
Сегмент задания палитры включает в себя данные палитры, которые указывают соответствие между каждым значением кода, яркостью и цветовым различием красного/цветовым различием синего. Одинаковое соответствие между значением кода, яркостью и цветовым различием задается как в сегменте задания палитры графического потока для просмотра левым глазом, так и в сегменте задания палитры графического потока для просмотра правым глазом.
(3) Сегмент задания окна
Сегмент задания окна является функциональным сегментом для задания прямоугольного кадра, называемого "окном", в запоминающем устройстве плоскости, которое используется для того, чтобы расширять несжатый графический объект на экран. Рендеринг графического объекта ограничен внутренней частью запоминающего устройства плоскости, и рендеринг графического объекта не выполняется за пределами окна.
Поскольку часть запоминающего устройства плоскости указывается как окно для отображения графики, устройство воспроизведения не должно выполнять рендеринг графики для всей плоскости. Другими словами, устройство воспроизведения только должно выполнять рендеринг графики для окна, которое имеет ограниченный размер. Рендеринг части плоскости для дисплея, отличной от окна, может опускаться. Это уменьшает нагрузку на программное обеспечение на стороне устройства воспроизведения.
(4) Сегмент формирования экрана
Сегмент формирования экрана является функциональным сегментом для задания формирования экрана с использованием графического объекта и включает в себя множество управляющих элементов для контроллера формирования в графическом декодере. Сегмент формирования экрана является функциональным сегментом, который задает подробно набор для отображения графического потока и задает формирование экрана с использованием графического объекта. Формирование экрана делится на такие типы, как включение/выключение, выход из затемнения/затемнение, изменение цвета, прокрутка и вытеснение/стирание. С помощью формирования экрана, заданного посредством сегмента формирования экрана, можно реализовывать эффекты отображения, к примеру постепенное удаление субтитра, при отображении следующего субтитра.
(5) Сегмент завершения
Сегмент завершения является функциональным сегментом, который находится в конце множества функциональных сегментов, принадлежащих одному набору для отображения. Устройство воспроизведения распознает последовательность сегментов от сегмента формирования экрана до сегмента завершения как функциональные сегменты, которые составляют один набор для отображения.
В PG-потоке начальный момент времени набора для отображения идентифицируется посредством DTS PES-пакета, сохраняющего сегмент формирования экрана, и конечный момент времени набора для отображения идентифицируется посредством PTS PES-пакета, сохраняющего сегмент формирования экрана.
Графический поток для просмотра левым глазом и графический поток для просмотра правым глазом являются пакетированными элементарными потоками (PES). Сегмент формирования экрана сохраняется в PES-пакете. PTS PES-пакета, сохраняющего сегмент формирования экрана, указывает время, когда отображение посредством набора для отображения, которому принадлежит сегмент формирования экрана, должно выполняться.
Значение PTS PES-пакета, сохраняющего сегмент формирования экрана, является одинаковым как для видеопотока для просмотра левым глазом, так и для видеопотока для просмотра правым глазом.
- Модели декодера для PG-декодера
PG-декодер включает в себя: "буфер кодированных данных" для сохранения функциональных сегментов, считываемых из PG-потока; "графический процессор потоков" для получения графического объекта посредством декодирования сегмента формирования экрана; "буфер объектов" для сохранения графического объекта, полученного посредством декодирования; "буфер формирования" для сохранения сегмента формирования экрана; и "контроллер формирования" для декодирования сегмента формирования экрана, сохраненного в буфере формирования, и выполнения формирования экрана на графической плоскости посредством использования графического объекта, сохраненного в буфере объектов, на основе управляющих элементов, включенных в сегмент формирования экрана.
"Транспортный буфер" для регулирования входной скорости TS-пакетов, составляющих функциональные сегменты, предоставляется в местоположении перед графической плоскостью.
Кроме того, в местоположениях после графического декодера предоставляются "графическая плоскость", "CLUT-модуль" для преобразования пиксельных кодов, составляющих графический объект, сохраненный в графической плоскости, в значения яркости/цветового различия на основе сегмента задания палитры и "модуль сдвига" для сдвига плоскости.
Конвейер в PG-потоке позволяет одновременно выполнять следующие процессы: процесс, в котором графический декодер декодирует сегмент задания объекта, принадлежащий определенному набору для отображения, и записывает графический объект в графический буфер; и процесс, в котором графический объект, полученный посредством декодирования сегмента задания объекта, принадлежащего предыдущему набору для отображения, записывается из буфера объектов в запоминающее устройство плоскости.
Фиг. 53A и 53B показывают внутреннюю структуру графического декодера для PG-потока. Фиг. 53A показывает модель декодера для отображения данных в режиме "1 плоскость + смещение". Фиг. 53B показывает модель декодера для отображения данных в LR-режиме.
На фиг. 53A и 53B, сам графический декодер представляется посредством рамки, нарисованной посредством сплошной линии, а часть, которая идет после графического декодера, представляется посредством рамки, нарисованной посредством штрихпунктирной линии.
Фиг. 53A показывает структуру, состоящую из одного графического декодера и одной графической плоскости. Тем не менее, вывод графической плоскости разветвляется на вид для просмотра левым глазом и вид для просмотра правым глазом. Таким образом, два модуля сдвига предоставляются в соответствии с выводами для вида для просмотра левым глазом и вида для просмотра правым глазом, соответственно.
Фиг. 53B показывает, что две последовательности из "транспортного буфера" - "графического декодера" - "графической плоскости", - "CLUT-модули" предоставляются так, что поток для просмотра левым глазом и поток для просмотра правым глазом могут обрабатываться независимо.
Последовательность смещений содержится в видеопотоке для зависимого просмотра. Таким образом, в формате смещения плоскости, один графический декодер предоставляется, и вывод из графического декодера предоставляется в вид для просмотра левым глазом и вид для просмотра правым глазом посредством переключения между ними.
PG-декодер выполняет следующее, чтобы переключаться между двумерным и трехмерным режимом.
1. Взаимное переключение между режимом "1 плоскость + смещение" и двумерным режимом выполняется прозрачно. Это реализуется посредством задания недействительным "смещения".
2. Когда выполняется переключение между 3D-LR-режимом и двумерным режимом, отображение субтитра временно исчезает, поскольку переключение между режимами требует переключения между PID. Это идентично переключению между потоками.
3. Когда выполняется переключение между 3D-LR-режимом и L-режимом, осуществляется переключение на отображение только L (стороны для базового просмотра). Прозрачное переключение возможно, но имеется возможность того, что позиция отображения может сдвигаться.
Когда выполняется переключение между режимом трехмерной глубины и двумерным режимом, можно переключаться между графическими объектами прозрачно, в фоне, в то время когда двумерное изображение отображается, посредством формирования графических объектов для просмотра левым глазом и правым глазом заранее посредством декодирования информации глубины, указываемой посредством шкалы полутонов.
Когда переключение выполняется посредством PG-декодера, переключение режима глубин, или "1 плоскость + смещение", на двумерный режим является простым. Тем не менее, в случае 3D-LR-способа, графические объекты для стереоскопического просмотра и двумерного режима отличаются друг от друга. Таким образом, PG-поток, который обрабатывается, когда переключение должно быть выполнено, должен изменяться, и имеется возможность того, что графический объект не отображается до тех пор, пока следующий PG-поток не предоставляется.
Чтобы предотвращать возникновение периода, в котором графический объект не отображается, переключение только на графический объект для базового просмотра, а не двумерный графический объект для просмотра спереди, доступно. В этом случае, изображение, немного сдвинутое влево, может отображаться. Кроме того, управляющие данные могут задаваться так, чтобы указывать, какой способ должен использоваться, когда стереоскопический PG переключается на двумерный PG.
- Модели декодера для декодера текстовых субтитров
Декодер текстовых субтитров состоит из множества фрагментов данных описания субтитров.
Декодер текстовых субтитров включает в себя: "процессор субтитров" для отделения текстового кода и управляющей информации из данных описания субтитров; "буфер управляющей информации" для сохранения текстового кода, отделенного от данных описания субтитров; "модуль рендеринга текста" для расширения текстового кода в буфере управляющей информации до битовой карты посредством использования данных шрифтов; "буфер объектов" для сохранения битовой карты, получаемой посредством расширения; и "модуль управления рендерингом" для управления воспроизведением текстовых субтитров вдоль временной оси посредством использования управляющей информации, отделенной от данных описания субтитров.
Перед декодером текстовых субтитров имеются: "буфер предварительной загрузки шрифтов" для предварительной загрузки данных шрифтов; "TS-буфер" для регулирования входной скорости TS-пакетов, составляющих поток текстовых субтитров; и "буфер предварительной загрузки субтитров" для предварительной загрузки потока текстовых субтитров перед воспроизведением элемента воспроизведения.
После графического декодера следует "графическая плоскость"; "CLUT-модуль" для преобразования пиксельных кодов, составляющих графический объект, сохраненный в графической плоскости, в значения яркости и цветового различия на основе сегмента задания палитры; и "модуль сдвига" для сдвига плоскости.
Фиг. 54A и 54B показывают внутреннюю структуру декодера текстовых субтитров. Фиг. 54A показывает модель декодера для декодера текстовых субтитров в режиме "1 плоскость + смещение". Фиг. 54B показывает модель декодера для декодера текстовых субтитров в 3D-LR-способе. На фиг. 54A и 54B, сам декодер текстовых субтитров представляется посредством рамки, нарисованной посредством сплошной линии, часть, которая идет после декодера текстовых субтитров, представляется посредством рамки, нарисованной посредством штрихпунктирной линии, а часть, которая предшествует декодеру текстовых субтитров, представляется посредством рамки, нарисованной посредством пунктирной линии.
Фиг. 54A показывает, что вывод графической плоскости разветвляется на вид для просмотра левым глазом и вид для просмотра правым глазом. Таким образом, два модуля сдвига предоставляются в соответствии с выводами для вида для просмотра левым глазом и вида для просмотра правым глазом, соответственно.
Фиг. 54B показывает, что графическая плоскость для просмотра левым глазом и графическая плоскость для просмотра правым глазом предоставляются, и что битовая карта, расширенная посредством декодера текстовых субтитров, записывается в графические плоскости. В декодере текстовых субтитров 3D-LR-способа расширена информация цветовой палитры, и три цвета добавлены для "глубины" в дополнение к трем цветам для символов, фона и границы субтитра. Механизм рендеринга может подготавливать посредством рендеринга субтитр.
Поток текстовых субтитров отличается от PG-потока в следующем. Другими словами, данные шрифтов и код символа отправляются, а не графические данные отправляются как битовая карта, так что механизм рендеринга формирует субтитр. Таким образом, стереоскопический просмотр субтитра реализуется в режиме "1 плоскость + смещение". Когда текстовый субтитр отображается в режиме "1 плоскость + смещение", переключение между режимами выполняется посредством переключения между наборами шрифтов или переключения между способами рендеринга. Также известен способ для переключения между режимами посредством задания набора шрифтов L/R или набора шрифтов OpenGL. Также можно для механизма рендеринга выполнять трехмерное отображение.
В 3D-LR-режиме стереоскопическое воспроизведение реализуется посредством задания набора шрифтов и набора шрифтов OpenGL для вида для базового просмотра независимо от набора шрифтов и набора шрифтов OpenGL для вида для зависимого просмотра. Также можно для механизма рендеринга подготавливать посредством рендеринга трехмерный шрифт, чтобы реализовывать стереоскопическое воспроизведение.
В режиме трехмерной глубины изображения глубины формируются посредством механизма рендеринга.
На этом завершается описание потока текстовых субтитров и декодера текстовых субтитров. Далее описывается внутренняя структура IG-потока и структура IG-декодера.
- IG-поток
Каждый из IG-потока для просмотра левым глазом и IG-потока для просмотра правым глазом включает в себя множество наборов для отображения. Каждый набор для отображения включает в себя множество функциональных сегментов. Как имеет место с PG-потоком, набор для отображения делится на следующие типы: набор для отображения в начале сверхкадра, набор для отображения в обычном случае, набор для отображения в точке обнаружения и набор для отображения при продолжении сверхкадра.
Множество функциональных сегментов, принадлежащих этим наборам для отображения, включает в себя следующие типы.
(1) Сегмент задания объекта
Сегмент задания объекта IG-потока является идентичным сегменту задания PG-потока. Тем не менее, графический объект IG-потока задает начальный эффект и конечный эффект страниц, обычные, выбираемые и активные состояния элементов кнопок. Сегменты задания объекта группируются на сегменты, которые задают идентичное состояние элементов кнопок, и сегменты, которые составляют изображение с идентичными эффектами. Группа сегментов задания объекта, задающих идентичное состояние, называется "набором графических данных".
(2) Сегмент задания палитры
Сегмент задания палитры IG-потока является идентичным сегменту задания палитры PG-потока.
(3) Сегмент интерактивного управления
Сегмент интерактивного управления включает в себя множество фрагментов информации страниц. Информация страниц - это информация, которая задает формирование экрана многостраничного меню. Каждый фрагмент информации страниц включает в себя последовательность эффектов, множество фрагментов информации кнопок и опорное значение идентификатора палитры.
Информация кнопок - это информация, которая реализует формирование интерактивного экрана на каждой странице, составляющей многостраничное меню, посредством отображения графического объекта как одного состояния элемента кнопки.
Последовательность эффектов составляет начальный эффект или конечный эффект с использованием графического объекта и включает в себя информацию эффектов, при этом начальный эффект воспроизводится до того, как страница, соответствующая информации страниц, отображается, а конечный эффект воспроизводится после того, как страница отображается.
Информация эффектов - это информация, которая задает формирование каждого экрана для воспроизведения начального эффекта или конечного эффекта. Информация эффектов включает в себя: объект формирования экрана, который задает формирование экрана, которое должно выполняться в окне (частичной зоне), заданном посредством сегмента задания окна в графической плоскости; и информацию периода эффектов, которая указывает интервал времени между текущим экраном и следующим экраном в одной зоне.
Объект формирования экрана в последовательности эффектов задает управление, которое является аналогичным управлению, заданному посредством сегмента формирования экрана PG-потока. Из множества сегментов задания объекта сегмент задания объекта, который задает графический объект, используемый для начального эффекта, располагается в местоположении, которое предшествует сегменту задания объекта, который задает графический объект, используемый для элемента кнопки.
Каждый фрагмент информации кнопок в информации страниц - это информация, что формирование интерактивного экрана на каждой странице, составляющей многостраничное меню, посредством отображения графического объекта как одно состояние элемента кнопки. Информация кнопок включает в себя команду задания страницы кнопок, которая, когда соответствующий элемент кнопки становится активным, инструктирует устройству воспроизведения выполнять процесс задания страницы, кроме первой страницы, в качестве текущей страницы.
Чтобы позволить смещению в сдвиге плоскости изменяться для каждой страницы во время воспроизведения IG-потока, навигационная команда для изменения смещения включается в информацию кнопок, и "автоактивация" навигационной команды заранее задается в соответствующем фрагменте информации кнопок. Это позволяет автоматически изменять значение или направление смещения, заданное в информации регистрации потоков IG-потока.
(4) Сегмент завершения
Сегмент завершения является функциональным сегментом, который находится в конце множества функциональных сегментов, принадлежащих одному набору для отображения. Последовательности сегментов от сегмента интерактивного управления до сегмента завершения распознаются как функциональные сегменты, которые составляют один набор для отображения.
Далее приводятся управляющие элементы сегмента интерактивного управления, которые являются идентичными как для графического потока для просмотра левым глазом, так и для графического потока для просмотра правым глазом: информация смежности кнопок; временная метка тайм-аута выбора; длительность пользовательского тайм-аута; и информация тайм-аута формирования.
1. Информация смежности кнопок
Информация смежности кнопок - это информация, которая указывает кнопку, которая должна изменяться на выбранное состояние, когда операция с клавишами, указывающая любое из перемещений вверх, вниз, влево и вправо, выполняется в то время, когда определенная кнопка, смежная с указанной кнопкой, находится в выбранном состоянии.
2. Временная метка тайм-аута выбора
Временная метка тайм-аута выбора указывает время тайм-аута, которое требуется для того, чтобы автоматически активировать элемент кнопки на текущей странице и инструктировать устройству воспроизведения выполнять элемент кнопки.
3. Длительность пользовательского тайм-аута
Длительность пользовательского тайм-аута указывает время тайм-аута, которое требуется для того, чтобы возвращать текущую страницу к первой странице, так что только первая страница отображается.
4. Информация тайм-аута формирования
Информация тайм-аута формирования указывает период времени, который требуется для того, чтобы завершать отображение интерактивного экрана посредством сегмента интерактивного управления. Относительно IG-потока начальный момент времени набора для отображения идентифицируется посредством DTS PES-пакета, сохраняющего сегмент интерактивного управления, а конечный момент времени набора для отображения идентифицируется посредством времени тайм-аута формирования сегмента интерактивного управления. Одинаковая DTS и одинаковое время тайм-аута формирования задаются для вида для просмотра левым глазом и для вида для просмотра правым глазом.
- Модели декодера для IG-декодера
IG-декодер включает в себя: "буфер кодированных данных" для сохранения функциональных сегментов, считываемых из IG-потока; "графический процессор потоков" для получения графического объекта посредством декодирования сегмента формирования экрана; "буфер объектов" для сохранения графического объекта, полученного посредством декодирования; "буфер формирования" для сохранения сегмента формирования экрана; и "контроллер формирования" для декодирования сегмента формирования экрана, сохраненного в буфере формирования, и выполнения формирования экрана на графической плоскости посредством использования графического объекта, сохраненного в буфере объектов, на основе управляющих элементов, включенных в сегмент формирования экрана.
"Транспортный буфер" для регулирования входной скорости TS-пакетов, составляющих функциональные сегменты, предоставляется в местоположении перед графической плоскостью.
Кроме того, в местоположениях после графического декодера предоставляются "графическая плоскость", "CLUT-модуль" для преобразования пиксельных кодов, составляющих графический объект, сохраненный в графической плоскости, в значения яркости/цветового различия на основе сегмента задания палитры и "модуль сдвига" для сдвига плоскости.
Фиг. 55A и 55B показывают модели декодера для IG-декодера. На фиг. 55A и 55B, сам IG-декодер представляется посредством рамки, нарисованной посредством сплошной линии, часть, которая идет после графического декодера, представляется посредством рамки, нарисованной посредством штрихпунктирной линии, а часть, которая предшествует IG-декодеру, представляется посредством рамки, нарисованной посредством пунктирной линии.
Фиг. 55A показывает модель декодера для отображения IG-потока двумерного формата в LR-формате в режиме "1 плоскость + смещение". Фиг. 55B показывает модель декодера IG-потока для отображения данных LR-формата.
Эти декодеры включают в себя схему для отражения значений параметров системы на смещения так, что программа может управлять информацией глубины графики меню.
Фиг. 55B показывает модель с двумя декодерами, которая предоставляет возможность изменения значения смещения с использованием команды. Соответственно, в этой модели декодера, информация глубины меню может изменяться посредством команды. Следует отметить, что различные значения смещения могут быть заданы для вида просмотра левым глазом и вида для просмотра правым глазом. С другой стороны, в способе глубины смещение является недопустимым.
Контроллер формирования в графическом декодере реализует начальное отображение интерактивного экрана посредством отображения текущей кнопки, из множества элементов кнопок на интерактивном экране, с использованием графических данных из набора графических данных, соответствующего выбранному состоянию, и отображения оставшихся кнопок с использованием набора графических данных, соответствующего обычному состоянию.
Когда пользовательская операция, указывающая любое из перемещений вверх, вниз, влево и вправо, выполняется, он записывает, в регистр номеров кнопки, номер элемента кнопки, который присутствует в направлении, указываемом посредством пользовательской операции, из множества элементов кнопок в обычном состоянии и является смежным с текущей кнопкой, причем запись инструктирует элементу кнопки, ставшему новой текущей кнопкой, изменяться с обычного состояния на выбранное состояние.
На интерактивном экране, когда выполняется пользовательская операция для изменения элемента кнопки с выбранного состояния на активное состояние, интерактивный экран обновляется посредством извлечения графических данных, составляющих активное состояние, из набора графических данных и отображения извлеченных графических данных.
Обновление интерактивного экрана должно выполняться совместно для вида для просмотра левым глазом и вида для просмотра правым глазом. Таким образом, предпочтительно, чтобы графический декодер для просмотра левым глазом и графического декодера для просмотра правым глазом имели общий контроллер формирования для модели с двумя декодерами.
В вышеописанном случае обмен реализуется посредством использования одной навигационной команды как для вида для просмотра левым глазом, так и для вида для просмотра правым глазом стереоскопического IG-потока и задания одной структуры кнопок как для трехмерного графического объекта, так и для двумерного графического объекта.
При переключении между двумерным IG-потоком и стереоскопическим IG-потоком отображаемый графический объект можно изменять только тогда, когда атрибут и номер и т.п. навигационной команды и информации кнопок являются идентичными для обоих из них. Переключение 3D-LR-режима на отображение только L-изображения может осуществляться без перезагрузки, но имеется возможность того, что позиция отображения может сдвигаться. Предпочтительно, чтобы устройство воспроизведения выполняло переключение на основе флага, заданного так, чтобы указывать, что приспосабливается создателем тайтлов.
Далее приводятся пояснения относительно переключения между режимами.
- Перезагрузка не происходит, когда выполняется переключение между режимом "1 плоскость + смещение" и двумерным режимом. Это обусловлено тем, что IG-поток не должен перезагружаться, и только аннулирование смещения требуется.
- Перезагрузка происходит, когда выполняется переключение между 3D-LR-режимом и двумерным режимом. Это обусловлено тем, что потоки являются различными.
- Перезагрузка не происходит, когда выполняется переключение между режимом трехмерной глубины и двумерным режимом, если декодирование информации глубины завершено при предварительной загрузке.
- Прозрачное воспроизведение не может быть гарантировано, если перезагрузка IG-потока происходит в связи с переключением между двумерным режимом и трехмерным режимом, даже если модель предварительной загрузки, которая считывает IG-поток в запоминающее устройство перед началом AV-воспроизведения, приспособлена.
На этом завершается описание IG-потока и IG-декодера. Ниже подробно описывается запоминающее устройство плоскости.
Далее описывается структура запоминающего устройства плоскости в способе режима "1 плоскость + смещение".
Синтезирование слоев в запоминающем устройстве плоскости достигается посредством выполнения процесса наложения для всех комбинаций слоев в многослойной модели. В процессе наложения накладываются пиксельные значения пиксельных данных, сохраненных в запоминающих устройствах плоскостей двух слоев. Синтезирование слоев посредством модуля 208 синтезирования слоев достигается посредством выполнения процесса наложения для всех комбинаций двух слоев из слоев в многослойной модели. В процессе наложения пиксельные значения пиксельных данных, сохраненных в запоминающих устройствах плоскостей двух слоев, накладываются в многослойной модели запоминающего устройства плоскости.
Наложение между слоями выполняется следующим образом. Коэффициент пропускания б как весовой коэффициент умножается на пиксельное значение в единице строк в запоминающем устройстве плоскости определенного слоя, и весовой коэффициент (1-коэффициент пропускания б) умножается на пиксельное значение в единице строк в запоминающем устройстве плоскости слоя ниже определенного слоя. Пиксельные значения с этими весовыми коэффициентами яркости суммируются. Полученное в результате пиксельное значение задается в качестве пиксельного значения в единице строк в слое. Синтезирование слоев реализуется посредством повторения этого наложения между слоями для каждой пары соответствующих пикселов в единице строк в смежных слоях в многослойной модели.
Модуль умножения для умножения каждого пиксельного значения на коэффициент пропускания, чтобы реализовывать синтезирование слоев, модуль сложения для сложения пикселов и модуль масштабирования/размещения для выполнения масштабирования и размещения вторичного видео предоставляются в местоположениях после запоминающего устройства плоскости, а также вышеописанного CLUT-модуля, модуля сдвига и т.п.
Фиг. 56 показывает схемную структуру для синтезирования выводов этих моделей декодера и вывода результата в 3D-LR-режиме. На фиг. 56, многослойные модели, состоящие из плоскости первичного видео, плоскости вторичного видео, PG-плоскости и IG-плоскости, представляются посредством рамок, нарисованных посредством сплошной линии, а части, которые идут после запоминающих устройств плоскостей, представляются посредством рамок, нарисованных посредством штрихпунктирной линии. Как показано на фиг. 56, предусмотрено две вышеописанные многослойные модели. Кроме того, имеются две части после запоминающих устройств плоскостей.
При структуре запоминающего устройства плоскости для 3D-LR-способа, которая содержит две пары из многослойной модели и части после запоминающего устройства плоскости, две пары из плоскости первичного видео, плоскости вторичного видео, PG-плоскости и IG-плоскости предоставляются для вида просмотра левым глазом и вида для просмотра правым глазом, и выводы из каждого запоминающего устройства плоскости синтезируются, как синтезирование слоев, отдельно для вида для просмотра левым глазом и вида для просмотра правым глазом.
Плоскость вторичного видео, как имеет место с плоскостью первичного видео, может отображаться в 3D-LR-режиме или в режиме трехмерной глубины. Кроме того, при PG-потоке, можно отображать моноскопическое изображение так, чтобы высвечиваться на экране перед фоном, посредством назначения смещения двумерному изображению.
Фиг. 57 показывает схемную структуру для синтезирования выводов моделей декодера и вывода результата в режиме "1 плоскость + смещение".
На фиг. 57, многослойная модель, состоящая из плоскости первичного видео для просмотра левым глазом, плоскости первичного видео для просмотра правым глазом, плоскости вторичного видео, PG-плоскости и IG-плоскости, представляется посредством рамки, нарисованной посредством сплошной линии, а часть, которая идет после запоминающего устройства плоскости, представляется посредством рамки, нарисованной посредством штрихпунктирной линии. Как показано на фиг. 57, предусмотрена только одна вышеописанная многослойная модель. Кроме того, имеется две части после запоминающего устройства плоскости.
В способе режима "1 плоскость + смещение" плоскости первичного видео предоставляются, по одной для каждого вида для просмотра левым глазом и вида для просмотра правым глазом. Плоскость вторичного видео, PG-плоскость и IG-плоскость предоставляются, по одной для вида для просмотра левым глазом и для вида для просмотра правым глазом. Имеется только одно запоминающее устройство плоскости как для вида для просмотра левым глазом, так и для вида для просмотра правым глазом. При такой структуре, вышеописанное синтезирование слоев выполняется для выводов для просмотра левым глазом и правым глазом.
Устройство воспроизведения в своей основе имеет аппаратную структуру, включающую в себя два декодера и две плоскости, поскольку требуется поддерживать как режим представления B-D, так и режим "1 плоскость + смещение". Когда режим переключается на режим "1 плоскость + смещение" или режим двумерного воспроизведения, устройство воспроизведения имеет структуру "1 декодер + 1 плоскость", что делает недействительной одну из двух пар "1 декодер + 1 плоскость".
Когда режим переключается с режима трехмерного воспроизведения на режим двумерного воспроизведения, и структура устройства воспроизведения изменяется со структуры "2 декодера + 2 плоскости" на структуру "1 декодер + 1 плоскость", целевым объектом демультиплексирования становятся только TS-пакеты, составляющие L-изображение. Кроме того, пользователь, просматривающий как L-, так и R-изображения через трехмерные очки, в итоге просматривает только L-изображение, как только режим переключается с режима трехмерного воспроизведения на режим двумерного воспроизведения.
Это изменение от просмотра двумя глазами на просмотр одним глазом увеличивает нагрузку на глаз, и пользователю может быть нанесен вред. С учетом этого, в настоящем варианте осуществления, когда такое изменение возникает, целевой объект PID-фильтра изменяется от TS-пакетов, составляющих L- и R-изображения, на TS-пакеты, составляющие L-изображение, и управление запоминающим устройством в графическом декодере сбрасывается. При этом изменении субтитр временно удаляется, чтобы не допускать вреда для пользователя.
Как описано выше, согласно настоящему варианту осуществления, субтитр в запоминающем устройстве плоскости временно сбрасывается, когда структура декодера переключается со структуры с 2 декодерами на структуру с 1 декодером. Это уменьшает нагрузку на глаз, вызываемую, когда просмотр пользователя изменяется от просмотра двумя глазами на просмотр одним глазом.
(Восьмой вариант осуществления)
Настоящий вариант осуществления описывает изготовление носителей записи, описанных в вариантах осуществления выше, а именно этап изготовления носителя записи.
Каждый из носителей записи, описанных в вариантах осуществления выше, может быть сформирован как BD-ROM-диск, который является многослойным оптическим диском, BD-RE-диск, имеющий совместимость с BD-ROM-диском, BD-R-диск или AVC-HD-носитель.
Фиг. 58 показывает внутреннюю структуру многослойного оптического диска.
Первая строка по фиг. 58 показывает BD-ROM, являющийся многослойным оптическим диском. Вторая строка показывает дорожки в горизонтально идущем формате, хотя они фактически формируются по спирали в слоях для записи. Эти спиральные дорожки в слоях для записи обрабатываются как одна непрерывная зона тома. Зона тома состоит из начальной зоны, слоев для записи из слоев для записи 1-3 и конечной зоны, при этом начальная зона находится на внутренней окружности, конечная зона находится на внешней окружности, а слои для записи из слоев для записи 1-3 находятся между начальной зоной и конечной зоной. Слои для записи из слоев для записи 1-3 составляют одно последовательное логическое адресное пространство.
Зона тома секционируется на единицы, в которых может осуществляться доступ к оптическому диску, и порядковые номера назначаются единицам доступа. Порядковые номера называются логическими адресами. Считывание данных с оптического диска выполняется посредством указания логического адреса. Здесь, в случае неперезаписываемого диска, такого как BD-ROM, в основном, секторы с последовательными логическими адресами также являются последовательными в физическом расположении на оптическом диске. Другими словами, данные, хранимые в секторах с последовательными логическими адресами, могут считываться без выполнения операции поиска дорожки. Тем не менее, на границах между слоями для записи, последовательное считывание данных невозможно, даже если логические адреса являются последовательными. Таким образом, предполагается, что логические адреса границ между слоями для записи заранее регистрируются в записывающем устройстве.
В зоне тома управляющая информация файловой системы записывается непосредственно после начальной зоны. После этого существует зона раздела, управляемая посредством управляющей информации файловой системы. Файловая система - это система, которая выражает данные на диске в единицах, называемых каталогами и файлами. В случае BD-ROM файловой системой является UDF (универсальный формат диска). Даже в случае повседневного PC (персонального компьютера), когда данные записываются с помощью файловой системы, называемой FAT или NTFS, данные, записанные на жестком диске в рамках каталогов и файлов, могут использоваться на компьютере, тем самым повышая удобство и простоту использования. Файловая система позволяет считывать логические данные таким же образом, как в обычном PC, с использованием структуры каталогов и файлов.
Четвертая строка показывает, как назначаются зоны в зоне файловой системы, управляемой файловой системой. Как показано в четвертой строке, зона записи не-AV-данных существует на стороне крайней внутренней окружности в зоне файловой системы; f зона записи AV-данных существует непосредственно после зоны записи не-AV-данных. Пятая строка показывает содержимое, записанное в зону записи не-AV-данных и зону записи AV-данных. Как показано в пятой строке, экстенты, составляющие AV-файлы, записываются в зону записи AV-данных; f экстенты, составляющие не-AV-файлы, которые являются файлами, отличными от AV-файлов, записываются в зону записи не-AV-данных.
Фиг. 59 показывает формат приложения оптического диска на основе файловой системы.
Каталог BDMV - это каталог, в который записываются такие данные, как содержимое AV и управляющая информация, используемая в BD-ROM. Пять подкаталогов, называемых "каталогом PLAYLIST," "каталогом CLIPINF," "каталогом STREAM," "каталогом BDJO," "каталогом JAR" и "каталогом META", существуют в рамках каталога BDMV. Кроме того, два типа файлов (т.е. index.bdmv и MovieObject.bdmv) размещаются в рамках каталога BDMV.
Файл "index.bdmv" (имя файла "index.bdmv" является фиксированным) сохраняет индексную таблицу.
Файл "MovieObject.bdmv" (имя файла "MovieObject.bdmv" является фиксированным) сохраняет один или более кинообъектов. Кинообъект - это файл программы, который задает управляющую процедуру, которая должна выполняться посредством устройства воспроизведения в рабочем режиме (HDMV-режиме), в котором объектом управления является интерпретатор команд. Кинообъект включает в себя одну или более команд и флаг маски, при этом флаг маски задает то, маскировать вызов меню или вызов тайтла, когда вызов выполняется пользователем в GUI.
Файл программы (XXXXX.bdjo - "XXXXX" является переменным, а расширение "bdjo" является фиксированным), которому присваивается расширение "bdjo", существует в каталоге BDJO. Файл программы сохраняет BD-J-объект, который задает управляющую процедуру, которая должна выполняться посредством устройства воспроизведения в BD-J-режиме. BD-J-объект включает в себя "таблицу управления приложениями". "Таблица управления приложениями" в BD-J-объекте - это таблица, которая используется для того, чтобы инструктировать устройству воспроизведения выполнять обмен служебной информацией между приложениями, причем тайтл рассматривается как жизненный цикл. Таблица управления приложениями включает в себя "идентификатор приложения" и "управляющий код", при этом "идентификатор приложения" указывает приложение, которое должно выполняться, когда тайтл, соответствующий BD-J-объекту, становится текущим тайтлом. BD-J-приложения, жизненные циклы которых задаются посредством таблицы управления приложениями, конкретно называются "BD-J-приложениями". Управляющий код, когда он задается как автозапуск, указывает, что приложение должно загружаться в динамически распределяемое запоминающее устройство и активироваться автоматически; а когда он задается как текущий, указывает, что приложение должно загружаться в динамически распределяемое запоминающее устройство и активироваться после того, как вызов от другого приложения принимается. С другой стороны, некоторые BD-J-приложения не завершают свои операции, даже если тайтл завершается. Такие BD-J-приложения называются "не ограниченными тайтлами приложениями".
TM
TM
Материально таким приложением Java является архивный файл Java (YYYYY.jar), сохраненный в каталоге JAR в рамках каталога BDMV.
TM
Приложение может быть, например, приложением Java, которое состоит из одной или более программ xlet, загруженных в динамически распределяемое запоминающее устройство (также называемое рабочим запоминающим устройством) виртуальной машины. Приложение состоит из программ xlet, загруженных в рабочее запоминающее устройство, и данных.
В "каталоге PLAYLIST" находится файл информации списков воспроизведения ("xxxxx.mpls" - "XXXXX" является переменным, а расширение "mpls" является фиксированным), которому присваивается расширение "mpls".
В "каталоге CLIPINF" находится файл информации о клипах ("xxxxx.clpi" - "XXXXX" является переменным, а расширение "clpi" является фиксированным), которому присваивается расширение "clpi".
Экстенты, составляющие файлы, существующие в каталогах, поясняемых выше, записываются в зону не-AV-данных.
"Каталог STREAM" - это каталог, сохраняющий файл транспортного потока. В "каталоге STREAM" находится файл транспортного потока ("xxxxx.m2ts" - "XXXXX" является переменным, а расширение "m2ts" является фиксированным), которому присваивается расширение "m2ts".
Вышеописанные файлы формируются во множестве секторов, которые являются физически непрерывными в зоне раздела. Зона раздела является зоной, к которой осуществляет доступ файловая система, и включает в себя "зону, в которую записывается дескриптор набора файлов", "зону, в которую записывается дескриптор конца", "зону каталога ROOT", "зону каталога BDMV", "зону каталога JAR", "зону каталога BDJO", "зону каталога PLAYLIST", "зону каталога CLIPINF" и "зону каталога STREAM". Далее поясняются эти зоны.
"Дескриптор набора файлов" включает в себя номер логического блока (LBN), который указывает сектор, в который запись файла каталога ROOT записывается, из зон каталогов. "Конечный дескриптор" указывает завершение дескриптора набора файлов.
Затем приводится подробное описание зон каталогов. Вышеописанные зоны каталогов имеют общую внутреннюю структуру. Другими словами, каждая из "зон каталогов" состоит из "записи файла", "файла каталогов" и "зоны записи файлов вложенного файла".
"Запись файла" включает в себя "тег дескриптора", "ICB-тег" и "дескриптор выделения".
"Тег дескриптора" - это тег, который указывает, что объект, имеющий тег дескриптора, является записью файла.
"ICB-тег" указывает информацию атрибутов записи файлов.
"Дескриптор выделения" включает в себя номер логического блока (LBN), который указывает позицию записи файла каталогов. Выше описана запись файла. Затем приводится подробное описание файла каталогов.
"Файл каталогов" включает в себя "дескриптор идентификации файла вложенного каталога" и "дескриптор идентификации файла для вложенного файла".
"Дескриптор идентификации файла вложенного каталога" является информацией, на которую ссылаются, чтобы осуществлять доступ к вложенному каталогу, который принадлежит самому файлу каталогов, и состоит из идентификационной информации вложенного каталога, длины названия каталога для вложенного каталога, адреса записи файла, который указывает номер логического блока для блока, в который запись файла вложенного каталога записывается, и названия каталога для вложенного каталога.
"Дескриптор идентификации файла для вложенного файла" является информацией, на которую ссылаются, чтобы получать доступ к файлу, который принадлежит самому файлу каталогов и состоит из идентификационной информации вложенного файла, длины имени вложенного файла, адреса записи файла, который указывает номер логического блока для блока, в который запись файла для вложенного файла записывается, и имени файла для вложенного файла.
Дескрипторы идентификации файлов для файлов каталогов для каталогов указывают логические блоки, в которые записываются записи файлов вложенного каталога и вложенного файла. Посредством отслеживания дескрипторов идентификации файлов, следовательно, можно проходить от записи файла каталога ROOT к записи файла каталога BDMV и проходить от записи файла каталога BDMV к записи файла каталога PLAYLIST. Аналогично, можно проходить к записям файлов каталога JAR, каталога BDJO, каталога CLIPINF и каталога STREAM.
"Зона записи файлов вложенного файла" является зоной, в которой материально находится вложенный файл, который принадлежит каталогу. "Запись файла" младшей записи и одного или более "экстентов" записывается в "зону записи файлов вложенного файла".
Файл потока, который составляет основной признак настоящей заявки, является зоной записи файлов, которая существует в зоне каталогов каталога, которому принадлежит файл. Можно осуществлять доступ к файлу транспортного потока посредством отслеживания дескрипторов идентификации файлов для файлов каталогов и дескрипторов выделения записей файлов.
Выше описана внутренняя структура носителя записи. Далее описывается то, как формировать носитель записи, показанный на фиг. 58 и 59, а именно форма способа записи.
Способ записи настоящего варианта осуществления включает в себя не только вышеописанную запись в реальном времени, при которой AV-файлы и не-AV-файлы формируются в режиме реального времени и записываются в зону записи AV-данных и зону записи не-AV-данных, но также и запись с предварительным форматированием, при которой потоки битов, которые должны записываться в зону тома, формируются заранее, мастер-диск формируется на основе потоков битов и мастер-диск тиражируется, тем самым обеспечивая возможность серийного производства оптических дисков. Способ записи настоящего варианта осуществления применим либо к записи в реальном времени, либо к записи с предварительным форматированием.
Фиг. 60 является блок-схемой последовательности операций способа, показывающей процедуру обработки способа записи. На этапе S101, записывающее устройство импортирует материал с данными, такой как фильм, аудио, субтитр и меню. На этапе S102, оно получает PES-потоки посредством оцифровки и кодирования со сжатием материала с данными согласно стандарту MPEG. На этапе S103, оно получает AV-клип посредством мультиплексирования PES-потоков и формирует соответствующую информацию о клипах. На этапе S104, оно сохраняет AV-клип и информацию о клипах в различные файлы, соответственно.
На этапе S105, записывающее устройство формирует управляющую информацию для списка воспроизведения, который задает путь воспроизведения AV-клипов, и для программы, которая задает управляющую процедуру с использованием списка воспроизведения. На этапе S106, оно записывает, на носитель записи, AV-клипы, информацию о клипах, список воспроизведения, программу и другую управляющую информацию.
Фиг. 61 является блок-схемой последовательности операций способа, показывающей процедуру для записи AV-файла.
На этапе S401, записывающее устройство формирует запись файла в запоминающем устройстве записывающего устройства посредством создания "xxxxx.ssif". На этапе S402, определяется то, обеспечены или нет непрерывные зоны свободных секторов. Когда непрерывные зоны свободных секторов обеспечены, управление переходит к этапу S403, на котором записывающее устройство записывает последовательность исходных пакетов, составляющую блок данных для зависимого просмотра, в непрерывные зоны свободных секторов в числе, равном EXT2[i]. После этого этапы S404-S408 выполняются. Когда определяется, на этапе S402, что непрерывные зоны свободных секторов не обеспечены, управление переходит к этапу S409, на котором выполняется специальный процесс, и затем процесс завершается.
Этапы S404-S408 составляют цикл, в котором процесс этапов S404-S406 и S408 повторяются до тех пор, пока не определяется "Нет" на этапе S407.
На этапе S405, записывающее устройство записывает последовательность исходных пакетов, составляющую блок данных для базового, просмотра в непрерывные зоны свободных секторов в числе, равном EXT1[i]. На этапе S406, оно добавляет, в запись файла, дескриптор выделения, который указывает начальный адрес последовательности исходных пакетов и непрерывную длину, и регистрирует его как экстент. В связи с этим оно записывает, в информацию о клипах, информацию начальных точек экстентов, которая указывает начальный номер исходного пакета.
Этап S407 задает условие для завершения цикла. На этапе S407, определяется то, имеется или нет незаписанный исходный пакет в блоках данных для базового просмотра и зависимого просмотра. Когда определено, что имеется незаписанный исходный пакет, управление переходит к этапу S408, чтобы продолжать цикл. Когда определено, что нет незаписанного исходного пакета, управление переходит к этапу S410.
На этапе S408, определяется то, имеются или нет непрерывные зоны сектора. Когда определено, что имеются непрерывные зоны сектора, управление переходит к этапу S403. Когда определено, что нет непрерывных зон сектора, управление возвращается к этапу S402.
На этапе S410, "xxxxx.ssif" закрывается, и запись файла записывается на носитель записи. На этапе S411, "xxxxx.m2ts" создается, и запись файла "xxxxx.m2ts" формируется в запоминающем устройстве. На этапе S412, дескриптор выделения, который указывает непрерывную длину и начальный адрес экстента блока данных для базового просмотра, уникального для файла 2D, добавляется в запись файла "xxxxx.m2ts". На этапе S413, "xxxxx.m2ts" закрывается, и запись файла записывается.
На этапе S404, определяется то, имеется или нет точка осуществления длинного перехода в диапазоне "EXTss+EXT2D". В настоящем примере предполагается, что точкой осуществления длинного перехода является граница между слоями. Когда определено, что имеется точка осуществления длинного перехода в диапазоне "EXTss+EXT2D", управление переходит к этапу S420, на котором создается копия блока данных для базового просмотра, и блоки B[i]ss и B[i]2D данных для базового просмотра записываются в зону непосредственно перед точкой осуществления длинного перехода, и затем управление переходит к этапу S406. Они становятся экстентами файла 2D и экстентами файла base.
Когда способ записи должен быть реализован посредством технологии записи в реальном времени, записывающее устройство для осуществления способа записи создает AV-клип в режиме реального времени и сохраняет AV-клип на BD-RE, BD-R, жестком диске или полупроводниковой карте памяти.
В этом случае, AV-клип может быть транспортным потоком, который получается по мере того, как записывающее устройство кодирует аналоговый входной сигнал в режиме реального времени, или транспортным потоком, который получается по мере того, как записывающее устройство дифференцирует цифровой входной транспортный поток. Записывающее устройство для выполнения записи в реальном времени включает в себя: видеокодер для получения видеопотока посредством кодирования видеосигнала; аудиокодер для получения аудиопотока посредством кодирования аудиосигнала; мультиплексор для получения цифрового потока в формате MPEG2-TS посредством мультиплексирования видеопотока, аудиопотока и т.п.; и модуль пакетирования источников для преобразования TS-пакетов, составляющих цифровой поток в формате MPEG2-TS, в исходные пакеты. Записывающее устройство сохраняет цифровой поток MPEG2, преобразованный в формат исходного пакета, в файл с AV-клипами и записывает файл с AV-клипами на BD-RE, BD-R и т.п. Когда цифровой поток записывается, модуль управления записывающего устройства выполняет процесс формирования информации о клипах и информации списка воспроизведения в запоминающем устройстве. Более конкретно, когда пользователь запрашивает процесс записи, модуль управления создает файл с AV-клипами и файл информации о AV-клипе в BD-RE или BD-R.
После этого, когда начальная позиция GOP в видеопотоке обнаруживается из транспортного потока, который вводится снаружи устройства, или когда GOP видеопотока создается посредством кодера, модуль управления записывающего устройства получает (i) PTS внутреннего изображения, которое размещается в начале GOP, и (ii) номер пакета для исходного пакета, который сохраняет начальную часть GOP и дополнительно записывает пару из PTS и номера пакета в карту вхождений файла информации о клипах как пару из записи EP_PTS и записи EP_SPN. После этого каждый раз, когда GOP формируется, пара из записи EP_PTS и записи EP_SPN записывается дополнительно в карту вхождений файла информации о клипах. Таким образом, когда начальная часть GOP - это IDR-изображение, флаг "is_angle_change", заданный как "деактивированный", добавляется к паре из записи EP_PTS и записи EP_SPN. Кроме того, когда начальная часть GOP - это не IDR-изображение, флаг "is_angle_change", заданный как "деактивированный", добавляется к паре из записи EP_PTS и записи EP_SPN.
Дополнительно, информация атрибутов потока в файле информации о клипах задается в соответствии с атрибутом потока, который должен записываться. После того, как клип и информация о клипах формируются и записываются на BD-RE или BD-R, информация списка воспроизведения, задающая путь воспроизведения через карту вхождений в информации о клипах, формируется и записывается на BD-RE или BD-R. Когда этот процесс выполняется с помощью технологии записи в реальном времени, иерархическая структура, состоящая из AV-клипа, информации о клипах и информации списка воспроизведения, получается в BD-RE или BD-R.
На этом завершается описание записывающего устройства для осуществления способа записи посредством записи в реальном времени. Затем приводится описание записывающего устройства для осуществления способа записи посредством записи с предварительным форматированием.
Способ записи посредством записи с предварительным форматированием реализуется как способ изготовления оптического диска, включающий в себя процедуру авторской разработки.
Способ изготовления оптического диска включает в себя этап авторской разработки, этап подписывания, этап получения ключа носителя, этап шифрования ключа носителя, этап физического форматирования, этап встраивания идентификатора, этап изготовления мастер-диска и этап тиражирования. Фиг. 62A и 62B показывают способ изготовления оптического диска. На этапе авторской разработки S201 на фиг. 62A, формируется поток битов, представляющий всю зону тома оптического диска.
На этапе подписывания S202 запрос на подпись выполняется к AACS LA, чтобы изготавливать оптический диск. Более конкретно, часть, которая извлекается из потока битов, отправляется в AACS LA. Следует отметить, что AACS LA - это организация для управления лицензированием технологий защиты произведений, охраняемых авторским правом, для цифровых бытовых электроприборов следующего поколения. Веб-узлы авторской разработки и веб-узлы изготовления мастер-дисков лицензируются посредством AACS LA, при этом веб-узлы авторской разработки выполняют авторскую разработку оптических дисков с использованием устройств авторской разработки, а веб-узлы изготовления мастер-дисков выполняют изготовление мастер-диска с использованием устройств изготовления мастер-дисков. AACS LA также управляет ключами носителей и информацией запрета. AACS LA подписывает и возвращает часть потока битов.
На этапе получения ключа носителя S203, ключ носителя получается из AACS LA. Ключ носителя, предоставленный от AACS LA, не является фиксированным. Ключ носителя обновляется на новый, когда число изготовленных оптических дисков достигает определенного числа. Обновление ключа носителя позволяет исключать определенных производителей или устройства и делать ключ шифрования недействительным посредством использования информации запрета, даже если ключ шифрования взламывается.
На этапе шифрования ключа носителя S204, ключ, используемый для шифрования потока битов, шифруется посредством использования ключа носителя, полученного на этапе получения ключа носителя.
На этапе физического форматирования S205, выполняется физическое форматирование потока битов.
На этапе встраивания идентификатора S206, идентификатор, который является уникальным и не может обнаруживаться посредством обычных устройств, встраивается, как электронный водяной знак, в поток битов, который должен записываться на оптический диск. Это предотвращает серийное производство пиратских копий посредством неавторизованного изготовления мастер-диска.
На этапе изготовления мастер-диска S207, формируется мастер-диск оптического диска. Во-первых, фоторезистивный слой формируется на стеклянной подложке, лазерный луч испускается на фоторезистивный слой в соответствии с требуемыми канавками или ямками, и затем фоторезистивный слой подвергается процессу экспонирования и процессу проявления. Канавки или ямки представляют значения битов, составляющих поток битов, который подвергнут модуляции восемь-шестнадцать. После этого мастер-диск оптического диска формируется на основе фоторезиста, поверхность которого задана неровной посредством лазерной резки в соответствии с канавками или ямками.
На этапе тиражирования S208, копии оптического диска создаются посредством серийного производства с использованием мастер-диска оптического диска.
Фиг. 62B показывает процедуру обработки этапа авторской разработки.
На этапе S301, создается структура тайтлов BD-ROM. На этом этапе, формируется информация структуры тайтлов. Информация структуры тайтлов задает, с использованием древовидной структуры, взаимосвязи между единицами воспроизведения (такими как тайтл, кинообъект, BD-J-объект и список воспроизведения) в BD-ROM. Более конкретно, информация структуры тайтлов формируется посредством задания узлов, которые надлежащим образом соответствуют следующему: "название диска" BD-ROM, который должен быть создаваться; "тайтл", который может воспроизводиться из index.bdmv; "кинообъект и BD-J-объект", составляющие тайтл; и "список воспроизведения", который воспроизводится из кинообъекта и BD-J-объекта, и соединения этих узлов с границами.
На этапе S302, импортируются видео, аудио, неподвижное изображение и субтитр, которые использоваться для тайтла.
На этапе S303, данные BD-ROM-сценариев формируются посредством выполнения процесса редактирования для информации структуры тайтлов в соответствии с пользовательской операцией, принимаемой через GUI. Следует отметить, что данные BD-ROM-сценариев - это информация для инструктирования устройству воспроизведения воспроизводить AV-поток в единицах тайтлов. В BD-ROM сценарий - это информация, заданная как индексная таблица, кинообъект или список воспроизведения. Данные BD-ROM-сценариев включают в себя информацию материалов, составляющих потоки, секцию воспроизведения, информацию, указывающую маршрут воспроизведения, компоновку экрана меню и информацию перехода из меню.
Этап S304 - это процесс кодирования, в котором PES-потоки получаются посредством выполнения кодирования на основе данных BD-ROM-сценариев.
Этап S305 - это процесс мультиплексирования, в котором AV-клипы получаются посредством мультиплексирования PES-потоков.
На этапе S306, формируется база данных для данных, которые должны записываться на BD-ROM. Здесь, база данных - это общее название индексной таблицы, кинообъекта, списка воспроизведения, BD-объекта и т.п., заданных в BD-ROM, как описано выше.
TM
На этапе S307, AV-файл и не-AV-файл формируются в формате файловой системы, соответствующем BD-ROM, посредством использования вводов программы Java, AV-клипа, полученного в процессе мультиплексирования, и базы данных BD-ROM.
Затем приводится описание записывающего устройства, которое должно использоваться для творчества на этапе авторской разработки. Записывающее устройство, описанное здесь, используется пользователями, занимающимися авторской разработкой, в производственной студии для распространения киносодержимого. Форма использования записывающего устройства настоящего изобретения является следующей: цифровой поток и сценарий формируются в соответствии с операцией пользователями, занимающимися авторской разработкой, при этом цифровой поток представляет кинотайтл и формируется посредством кодирования со сжатием в соответствии со стандартом MPEG, и сценарий описывает, как кинотайтл должен воспроизводиться, поток битов тома для BD-ROM, включающий в себя эти данные, формируется, и поток битов тома записывается на носитель записи, который должен доставляться на веб-узел изготовления мастер-дисков.
Фиг. 63 показывает внутреннюю структуру записывающего устройства. Как показано на фиг. 63, записывающее устройство включает в себя видеокодер 501, модуль 502 создания материала, модуль 503 формирования сценариев, модуль 504 формирования BD-программ, процессор 505 мультиплексирования и процессор 506 форматов.
Видеокодер 501 формирует видеопотоки для просмотра левым глазом и правым глазом посредством кодирования несжатых изображений битовой карты для просмотра левым глазом и правым глазом в соответствии со способом сжатия, таким как MPEG4-AVC или MPEG2. Таким образом, видеопоток для просмотра правым глазом формируется посредством кодирования кадров, которые соответствуют видеопотоку для просмотра левым глазом, способом межкадрового прогнозирующего кодирования. В процессе межкадрового прогнозирующего кодирования информация глубины для трехмерного изображения извлекается из векторов движения изображений для просмотра левым глазом и правым глазом, и информация глубины сохраняется в модуль 501a хранения информации глубины кадров. Видеокодер 501 выполняет сжатие изображений с использованием относительных характеристик между изображениями посредством извлечения векторов движения в единицах макроблоков 8×8 или 16×16.
В процессе извлечения векторов движения в единицах макроблоков движущееся изображение, передним планом которого является человек, а фоном является дом, определяется в качестве целевого объекта извлечения вектора движения. В этом случае, межкадровое прогнозирование выполняется между изображением для левого глаза и изображением для правого глаза. При этом процессе вектор движения не обнаруживается из части изображения, соответствующей "дому", а вектор движения обнаруживается из части изображения, соответствующей "человеку".
Обнаруженный вектор движения извлекается, и информация глубины формируется в единицах кадров, когда отображается трехмерное изображение. Информацией глубины является, например, изображение, имеющее разрешение, идентичное разрешению кадра, имеющего глубину в восемь битов.
Модуль 502 создания материала формирует потоки, такие как аудиопоток, поток интерактивной графики и поток презентационной графики, и записывает формируемые потоки в модуль 502a хранения аудиопотока, модуль 502b хранения потока интерактивной графики и модуль 502c хранения потока презентационной графики.
При формировании аудиопотока модуль 502 создания материала формирует аудиопоток посредством кодирования несжатого аудио LinearPCM посредством такого способа сжатия, как AC3. Кроме этого, модуль 502 создания материала формирует поток презентационной графики в формате, соответствующем стандарту BD-ROM, на основе файла информации субтитров, который включает в себя изображение субтитров, распределение времени отображения и эффекты субтитров, такие как выход из затемнения и затемнение. Кроме того, модуль 502 создания материала формирует поток интерактивной графики в формате для экрана меню, соответствующего стандарту BD-ROM, на основе файла меню, который описывает растровые изображения, переход кнопок, размещаемых в меню, и эффекты отображения.
Модуль 503 формирования сценариев формирует сценарий в формате BD-ROM, в соответствии с информацией каждого потока, сформированного посредством модуля 502 создания материала, и операцией, вводимой пользователями, занимающимися авторской разработкой, через GUI. Здесь, сценарий означает файл, такой как индексный файл, файл кинообъектов или файл списков воспроизведения. Кроме того, модуль 503 формирования сценариев формирует файл параметров, который описывает, из какого потока состоит каждый AV-клип для реализации процесса мультиплексирования. Файл, сформированный здесь, такой как индексный файл, файл кинообъектов или файл списков воспроизведения, имеет структуру данных, описанную в вариантах осуществления 1 и 2.
Модуль 504 формирования BD-программ формирует исходный код для файла BD-программы и формирует BD-программу в соответствии с запросом от пользователя, который принимается через пользовательский интерфейс, такой как GUI. Таким образом, программа файла BD-программы может использовать информацию глубины, выводимую из видеокодера 501, чтобы задавать глубину GFX-плоскости.
Процессор 505 мультиплексирования формирует AV-клип в формате MPEG2-TS посредством мультиплексирования множества потоков, описанных в данных BD-ROM-сценариев, таких как видеопоток для просмотра левым глазом, видеопоток для просмотра правым глазом, видео, аудио, субтитр и кнопка. При его формировании процессор 505 мультиплексирования также формирует файл информации о клипах, который составляет пару с AV-клипом.
Процессор 505 мультиплексирования формирует файл информации о клипах посредством ассоциирования, как пары, (i) карты вхождений, сформированной посредством самого процессора 505 мультиплексирования, и (ii) информации атрибутов, которая указывает аудиоатрибут, атрибут изображения и т.п. для каждого потока, включенного в AV-клип. Файл информации о клипах имеет структуру, которая описана выше в каждом варианте осуществления.
Процессор 506 форматов формирует образ диска в UDF-формате посредством компоновки, в формате, соответствующем стандарту BD-ROM, данных BD-ROM-сценариев, сформированных посредством модуля 503 формирования сценариев, файла BD-программы, сформированного посредством модуля 504 формирования BD-программ, AV-клипа и файла информации о клипах, сформированного посредством процессора 505 мультиплексирования, и каталогов и файлов в формате, соответствующем стандарту BD-ROM, где UDF-формат - это файловая система, соответствующая стандарту BD-ROM. Процессор 506 форматов записывает поток битов, представляющий образ диска, в модуль хранения потока битов BD-ROM.
Таким образом, процессор 506 форматов формирует трехмерные метаданные для PG-потока, IG-потока и потока вторичного видео посредством использования информации глубины, выводимой из видеокодера 501. Кроме того, процессор 506 форматов автоматически задает компоновку изображения на экране так, чтобы не перекрываться с объектом в трехмерном изображении, и регулирует значение смещения так, что глубины не перекрывают друг друга. Макет файла образа диска, сформированного таким образом, задается так, чтобы иметь структуру данных макета файла, которая уже описана. Сформированный образ диска преобразуется в данные для тиражирования BD-ROM, и процесс тиражирования выполняется для данных. BD-ROM формируется таким образом.
(Девятый вариант осуществления)
Настоящий вариант осуществления описывает внутреннюю структуру устройства двумерного/трехмерного воспроизведения, которое имеет интегрированные функции устройств воспроизведения, описанных в вариантах осуществления выше.
Фиг. 64 показывает структуру устройства двумерного/трехмерного воспроизведения. Устройство двумерного/трехмерного воспроизведения включает в себя BD-ROM-накопитель 1, буфер 2a считывания, буфер 2b считывания, переключатель 3, декодер 4 системных целевых объектов, набор 5a запоминающих устройств плоскостей, модуль 5b синтезирования плоскостей, модуль 6 HDMI-передачи/приема, модуль 7 управления воспроизведением, запоминающее устройство 9 управляющей информации, набор 10 регистров, модуль 11 выполнения программ, запоминающее устройство 12 программ, HDMV-модуль 13, BD-J-платформу 14, промежуточное программное обеспечение 15, модуль 16 управления режимами, процессор 17 пользовательских событий, локальное устройство 18 хранения и энергонезависимое запоминающее устройство 19.
BD-ROM-накопитель 1, аналогично устройству двумерного воспроизведения, считывает данные из BD-ROM-диска на основе запроса от модуля 7 управления воспроизведением. AV-клипы, считанные из BD-ROM-диска, передаются в буфер 2a или 2b считывания.
Когда трехмерное изображение должно воспроизводиться, модуль 7 управления воспроизведением выдает запрос на считывание, который инструктирует, чтобы считывать блок данных для базового просмотра и блок данных для зависимого просмотра поочередно в единицах экстентов. BD-ROM-накопитель 1 считывает экстенты, составляющие блок данных для базового просмотра, в буфер 2a считывания, и считывает экстенты, составляющие блок данных для зависимого просмотра, в буфер 2b считывания. Когда трехмерное изображение должно воспроизводиться, BD-ROM-накопитель 1 должен иметь более высокую скорость считывания, чем BD-ROM-накопитель для устройства двумерного воспроизведения, поскольку необходимо одновременно считывать как блок данных для базового просмотра, так и блок данных для зависимого просмотра.
Буфер 2a считывания является буфером, который может быть реализован, например, посредством двухпортового запоминающего устройства, и сохраняет данные блоков данных для базового просмотра, считываемых посредством BD-ROM-накопителя 1.
Буфер 2b считывания является буфером, который может быть реализован, например, посредством двухпортового запоминающего устройства, и сохраняет данные блоков данных для зависимого просмотра, считываемых посредством BD-ROM-накопителя 1.
Переключатель 3 используется для того, чтобы переключать источник данных, который должен вводиться в буферы считывания, между BD-ROM-накопителем 1 и локальным устройством 18 хранения.
Декодер 4 системных целевых объектов декодирует потоки посредством выполнения процесса демультиплексирования для исходных пакетов, считываемых в буфер 2a считывания и буфер 2b считывания.
Набор 5a запоминающих устройств плоскостей состоит из множества запоминающих устройств плоскостей. Запоминающие устройства плоскостей включают в себя запоминающие устройства для сохранения видеоплоскости для просмотра левым глазом, видеоплоскости для просмотра правым глазом, плоскости вторичного видео, плоскости интерактивной графики (IG-плоскости) и плоскости презентационной графики (PG-плоскости).
Модуль 5b синтезирования плоскостей выполняет синтезирование плоскостей, поясненное в вариантах осуществления выше. Когда изображение должно выводиться на телевизионный приемник и т.п., вывод соответствует трехмерной системе. Когда необходимо воспроизводить изображение для просмотра левым глазом и изображение для просмотра правым глазом поочередно посредством использования очков с затвором, изображение выводится как есть. Когда изображение должно выводиться, например, на линзорастровый телевизионный приемник, временный буфер подготавливается, изображение для просмотра левым глазом первым передается во временный буфер, и изображение для просмотра левым глазом и изображение для просмотра правым глазом выводятся одновременно после того, как изображение для просмотра правым глазом передается.
Модуль 6 HDMI-передачи/приема выполняет фазу аутентификации и фазу согласования, описанную в варианте осуществления 1, в соответствии, например, с HDMI-стандартом, где HDMI означает мультимедийный интерфейс высокой четкости. В фазе согласования модуль 6 HDMI-передачи/приема может принимать, от телевизионного приемника, (i) информацию, указывающую, поддерживает он или нет стереоскопическое отображение, (ii) информацию, касающуюся разрешения для моноскопического отображения, и (iii) информацию, касающуюся разрешения для стереоскопического отображения.
Модуль 7 управления воспроизведением включает в себя механизм 7a воспроизведения и механизм 7b управления воспроизведением. Когда инструктируется от модуля 11 выполнения программ и т.п. воспроизводить список для трехмерного воспроизведения, модуль 7 управления воспроизведением идентифицирует блок данных для базового просмотра элемента воспроизведения, который является целевым объектом воспроизведения в списке для трехмерного воспроизведения, и идентифицирует блок данных для зависимого просмотра субэлемента воспроизведения в трехмерном подпути, который должен воспроизводиться синхронно с элементом воспроизведения. После этого модуль 7 управления воспроизведением интерпретирует карту вхождений соответствующего файла информации о клипах и запрашивает BD-ROM-накопитель 1, чтобы поочередно считывать экстент блока данных для базового просмотра и экстент блока данных для зависимого просмотра с началом в точке начала воспроизведения на основе типа начального экстента, который указывает, какой из экстента, составляющего видеопоток для базового просмотра, и экстента, составляющего видеопоток для зависимого просмотра, располагается первым. Когда воспроизведение запускается, первый экстент полностью считывается в буфер 2a считывания или буфер 2b считывания, а затем запускается передача из буфера 2a считывания и буфера 2b считывания в декодер 4 системных целевых объектов.
Механизм 19 воспроизведения выполняет функции AV-воспроизведения. Функции AV-воспроизведения в устройстве воспроизведения - это группа традиционных функций, пришедших от DVD- и CD-проигрывателей. Функции AV-воспроизведения включают в себя: воспроизведение, остановка, пауза, отключение паузы, отключение стоп-кадра, прямое воспроизведение (с указанием скорости воспроизведения посредством непосредственного значения), обратное воспроизведение (с указанием скорости воспроизведения посредством непосредственного значения), изменение аудио, изменение данных изображений для вторичного видео и изменение ракурса.
Механизм 7b управления воспроизведением выполняет функции воспроизведения по списку воспроизведения. Функции воспроизведения по списку воспроизведения означают, что из вышеописанных функций AV-воспроизведения функции воспроизведения и остановки выполняются в соответствии с информацией текущего списка воспроизведения и информацией текущего клипа, при этом информация текущего списка воспроизведения составляет текущий список воспроизведения.
Запоминающее устройство 9 управляющей информации является запоминающим устройством для сохранения информации текущего списка воспроизведения и информации текущего клипа. Информация текущего списка воспроизведения - это фрагмент информации списка воспроизведения, который является в настоящий момент целевым объектом обработки, из множества фрагментов информации списка воспроизведения, к которой может осуществляться доступ из BD-ROM, накопителя на встроенных носителях или накопителя на съемных носителях. Информация текущего клипа - это фрагмент информации о клипах, которая является в настоящий момент целевым объектом обработки, из множества фрагментов информации о клипах, к которой может осуществляться доступ из BD-ROM, накопителя на встроенных носителях или накопителя на съемных носителях.
Набор 10 регистров является набором регистров настроек/состояния проигрывателя, который является набором регистров, включающим в себя регистр общего назначения для сохранения произвольной информации, которая должна использоваться посредством содержимого, а также регистр состояния проигрывателя и регистр настроек проигрывателя, описанные в вариантах осуществления выше.
Модуль 11 выполнения программ является процессором для выполнения программы, сохраненной в файле BD-программы. При работе согласно сохраненной программе, модуль 11 выполнения программ выполняет следующие операции управления: (1) инструктирование модулю 7 управления воспроизведением воспроизводить список воспроизведения; и (2) передача, в декодер системных целевых объектов, PNG/JPEG,, который представляет меню или графику для игры, так что она отображается на экране. Эти операции управления могут выполняться свободно в соответствии со структурой программы, и то, как выполняются операции управления, определяется посредством процесса программирования BD-J-приложения в процессе авторской разработки.
TM
Запоминающее устройство 12 программ сохраняет текущий динамический сценарий, который предоставляется в интерпретатор команд, который является оператором в HDMV-режиме, и в платформу Java, которая является оператором в BD-J-режиме. Текущий динамический сценарий является текущим выполняемым целевым объектом, который является одним из Index.bdmv, BD-J-объекта и кинообъекта, записанного на BD-ROM. Запоминающее устройство 12 программ включает в себя динамически распределяемое запоминающее устройство.
Динамически распределяемое запоминающее устройство - это область стека для сохранения байтовых кодов системного приложения, байтовых кодов BD-J-приложения, параметров системы, используемых посредством системного приложения, и параметров приложения, используемых посредством BD-J-приложения.
HDMV-модуль 13 является виртуальным DVD-проигрывателем, который является оператором в HDMV-режиме и является модулем выполнения в HDMV-режиме. HDMV-модуль 13 имеет интерпретатор команд и выполняет управление в HDMV-режиме посредством интерпретации и выполнения навигационной команды, составляющей кинообъект. Навигационная команда описывается в синтаксисе, который напоминает синтаксис, используемый в DVD-видео. Соответственно, можно реализовывать аналогичное DVD-видео управление воспроизведением посредством выполнения навигационной команды.
TM
BD-J-платформа 14 является платформой Java, которая является оператором в BD-J-режиме и полностью реализуется с помощью персонального базового профиля (PBP 1.0) Java2Micro_Edition (J2ME) и технических требований для глобально выполняемых MHP (GEM1.0.2) для пакетных мультимедийных целевых объектов. BD-J-платформа 14 состоит из загрузчика классов, интерпретатора байтовых кодов и диспетчера приложений.
Загрузчик классов является одним из системных приложений и загружает BD-J-приложение посредством считывания байтовых кодов из файла класса, существующего в архивном файле JAR, и сохранения байтовых кодов в динамически распределяемое запоминающее устройство.
TM
Интерпретатор байтовых кодов называется виртуальной машиной Java. Интерпретатор байтовых кодов преобразует (i) байтовые коды, составляющие BD-J-приложение, сохраненное в динамически распределяемом запоминающем устройстве, и (ii) байтовые коды, составляющие системное приложение, в собственный код, и инструктирует MPU выполнять собственные коды.
Диспетчер приложений является одним из системных приложений и выполняет обмен служебной информацией между приложениями для BD-J-приложения на основе таблицы управления приложениями в BD-J-объекте, к примеру, в начале или при завершении BD-J-приложения. На этом завершается внутренняя структура BD-J-платформы.
Промежуточное программное обеспечение 15 является операционной системой для встроенного программного обеспечения и состоит из ядра и драйвера устройства. Ядро предоставляет BD-J-приложению функцию, уникальную для устройства воспроизведения, в ответ на запрос интерфейса прикладного программирования (API) от BD-J-приложения. Промежуточное программное обеспечение 15 также реализует управление аппаратными средствами, такое как запуск обработчика прерываний, посредством отправки сигнала прерывания.
Модуль 16 управления режимами хранит Index.bdmv, который считан с BD-ROM, накопителя на встроенных носителях или накопителя на съемных носителях, и выполняет управление режимами и управление ветвлением. Управление посредством управления режимами является назначением модулей, чтобы инструктировать либо BD-J-платформе, либо HDMV-модулю выполнять динамический сценарий.
Процессор 17 пользовательских событий принимает пользовательскую операцию через пульт дистанционного управления и инструктирует модулю 11 выполнения программ или модулю 7 управления воспроизведением выполнять процесс, как инструктировано посредством принимаемой пользовательской операции. Например, когда пользователь нажимает кнопку на пульте дистанционного управления, процессор 17 пользовательских событий инструктирует модулю 11 выполнения программ выполнять команду, включенную в кнопку. Например, когда пользователь нажимает кнопку ускоренную перемотку вперед/перемотки обратно в пульте дистанционного управления, процессор 17 пользовательских событий инструктирует модулю 7 управления воспроизведением выполнять процесс ускоренной перемотки вперед/перемотки обратно для AV-клипа в настоящий момент воспроизводимого списка воспроизведения.
Локальное устройство 18 хранения включает в себя накопитель на встроенных носителях для осуществления доступа к жесткому диску и накопитель на съемных носителях для осуществления доступа к полупроводниковой карте памяти и сохраняет загруженное дополнительное содержимое, данные, которые должны использоваться посредством приложений, и другие данные. Зона для сохранения дополнительного содержимого разделяется на небольшие зоны в числе, равном числу BD-ROM. Кроме того, зона для сохранения данных, используемых посредством приложений разделяется на небольшие зоны в числе, равном числу приложений.
Энергонезависимое запоминающее устройство 19 является носителем записи, т.е. например, читаемым/перезаписываемым запоминающим устройством и является носителем, таким как флэш-память или FeRAM, который может сохранять записанные данные, даже если ему не предоставляется питание. Энергонезависимое запоминающее устройство 19 используется для того, чтобы сохранять резервную копию набора 10 регистров.
Затем описывается внутренняя структура декодера 4 системных целевых объектов и набора 5a запоминающих устройств плоскостей. Фиг. 65 показывает внутреннюю структуру декодера 4 системных целевых объектов и набора 5a запоминающих устройств плоскостей. Как показано на фиг. 65, декодер 4 системных целевых объектов и набор 5a запоминающих устройств плоскостей включают в себя ATC-счетчик 21, модуль 22 депакетирования источников, PID-фильтр 23, STC-счетчик 24, ATC-счетчик 25, модуль 26 депакетирования источников, PID-фильтр 27, декодер 31 первичного видео, видеоплоскость 32 для просмотра левым глазом, видеоплоскость 33 для просмотра правым глазом, декодер 34 вторичного видео, плоскость 35 вторичного видео, PG-декодер 36, PG-плоскость 37, IG-декодер 38, IG-плоскость 39, декодер 40 первичного аудио, декодер 41 вторичного аудио, микшер 42, механизм 43 рендеринга, GFX-плоскость 44 и запоминающее устройство 45 рендеринга.
Декодер 31 первичного видео декодирует видеопоток для просмотра левым глазом и записывает результат декодирования, а именно, несжатый видеокадр, в видеоплоскость 32 для просмотра левым глазом.
Видеоплоскость 32 для просмотра левым глазом является запоминающим устройством плоскости, которое может сохранять данные изображений с разрешением, например, 1920×2160 (1280×1440).
Видеоплоскость 33 для просмотра правым глазом является запоминающим устройством плоскости, которое может сохранять данные изображений с разрешением, например, 1920×2160 (1280×1440).
Декодер 34 вторичного видео, имеющий такую же структуру, как плоскость первичного видео, выполняет декодирование входного потока вторичного видео и записывает результирующие изображения плоскости вторичного видео согласно соответствующим временам отображения (PTS).
Плоскость 35 вторичного видео сохраняет данные изображений для вторичного видео, которое выводится из декодера 4 системных целевых объектов как результат декодирования потока вторичного видео.
PG-декодер 36 извлекает и декодирует поток презентационной графики из TS-пакетов, вводимых из модулей депакетирования источников, и записывает результирующие несжатые графические данные в PG-плоскость согласно соответствующим временам отображения (PTS).
PG-плоскость 37 сохраняет несжатый графический объект, который получается посредством декодирования потока презентационной графики.
IG-декодер 38 извлекает и декодирует поток интерактивной графики из TS-пакетов, вводимых из модуля депакетирования источников, и записывает результирующий несжатый графический объект в IG-плоскость согласно соответствующим временам отображения (PTS).
IG-плоскость 39 сохраняет несжатый графический объект, который получается посредством декодирования потока интерактивной графики.
Декодер 40 первичного аудио декодирует поток первичного аудио.
Декодер 41 вторичного аудио декодирует поток вторичного аудио.
Микшер 42 смешивает результат декодирования декодера 40 первичного аудио с результатом декодирования декодера 41 вторичного аудио.
Механизм 43 рендеринга, содержащий инфраструктурной программное обеспечение, такое как Java2D или OPEN-GL, декодирует JPEG-данные/PNG-данные в соответствии с запросом от BD-J-приложения. Механизм 43 рендеринга также получает изображение или виджет и записывает его в IG-плоскость или фоновую графическую плоскость. Данные изображений, полученные посредством декодирования JPEG-данных, используются как обои GUI и записываются в фоновую графическую плоскость. Данные изображений, полученные посредством декодирования PNG-данных, записываются в IG-плоскость, которая должна использоваться для того, чтобы реализовывать дисплей с кнопками с прилагаемой анимацией. Эти изображения и/или виджеты, полученные посредством декодирования JPEG/PNG-данных, используются посредством BD-J-приложения для того, чтобы отображать меню для приема выбора тайтла, субтитра или аудио или составлять часть GUI для игры, которая работает вместе с потоковым воспроизведением, когда играют в игру. Изображения и/или виджеты также используются для того, чтобы составлять экран обозревателя на веб-узле WWW, когда BD-J-приложение осуществляет доступ к веб-узлу WWW.
GFX-плоскость 44 является запоминающим устройством плоскости, в которое записываются графические данные, такие как JPEG или PNG после того, как они декодируются.
Запоминающее устройство 45 рендеринга является запоминающим устройством, в которое считываются JPEG-данные и PNG-данные, которые должны быть декодированы посредством механизма рендеринга. Кэш-зона выделяется для этого запоминающего устройства изображения, когда BD-J-приложение выполняет режим прямого воспроизведения. Режим прямого воспроизведения реализуется посредством комбинирования экрана обозревателя на веб-узле WWW с потоковым воспроизведением посредством BD-ROM. Кэш-зона является кэш-памятью для сохранения текущего и предыдущего экрана обозревателя в режиме прямого воспроизведения и сохраняет несжатые PNG-данные или несжатые JPEG-данные, которые составляют экран обозревателя.
Как описано выше, согласно настоящему варианту осуществления, носитель записи, который включает в себя характеристики, описанные в вариантах осуществления выше, как единое целое может быть реализован как BD-ROM, и устройство воспроизведения, которое включает в себя характеристики, описанные в вариантах осуществления выше, как единое целое может быть реализовано как устройство воспроизведения BD-ROM.
(Десятый вариант осуществления)
Настоящий вариант осуществления подробно описывает набор регистров.
Набор регистров состоит из множества регистров состояния проигрывателя и множества регистров настроек проигрывателя. Каждый из регистров состояния проигрывателя и регистров настроек проигрывателя является 32-битовым регистром, и ему назначается номер регистра так, что регистр, к которому должен осуществляться доступ, идентифицируется посредством номера регистра.
Позиции битов для битов (32 бита), которые составляют каждый регистр, представляются как "b0"-"b31". Из них бит "b31" представляет самый старший бит, а бит "b0" представляет самый младший бит. Для 32 битов, битовая последовательность от бита "bx" до бита "by' представляется посредством [bx:by].
Значение произвольного битового диапазона [bx:by] в 32-битовой последовательности, сохраненной в регистре настроек проигрывателя/регистре состояния проигрывателя определенного номера регистра, обрабатывается как переменная среды (также называемая "параметром системы" или "переменной проигрывателя"), которая является переменной операционной системы, в которой выполняется программа. Программа, которая управляет воспроизведением, может получать параметр системы через системное свойство или интерфейс прикладного программирования (API). Кроме того, если не указано иное, программа может перезаписывать значения регистра настроек проигрывателя и регистра состояния проигрывателя. Относительно BD-J-приложения требуется, чтобы полномочия получать или перезаписывать параметры системы, предоставлялись посредством таблицы управления разрешениями в архивном файле JAR.
Регистр состояния проигрывателя - это аппаратный ресурс для сохранения значений, которые должны использоваться как операнды, когда MPU устройства воспроизведения выполняет арифметическую операцию или битовую операцию. Регистр состояния проигрывателя также сбрасывается к начальным значениям, когда оптический диск загружается, и достоверность сохраненных значений проверяется. Значениями, которые могут сохраняться в регистре состояния проигрывателя, являются номер текущего тайтла, номер текущего списка воспроизведения, номер текущего элемента воспроизведения, номер текущего потока, номер текущей главы и т.д. Значения, сохраненные в регистре состояния проигрывателя, являются временными значениями, поскольку регистр состояния проигрывателя сбрасывается к начальным значениям каждый раз, когда оптический диск загружается. Значения, сохраненные в регистре состояния проигрывателя, становятся недопустимыми, когда оптический диск выдается или когда устройство воспроизведения выключается.
Регистр настроек проигрывателя отличается от регистра состояния проигрывателя тем, что он содержит средства регулирования мощности. С помощью средств регулирования мощности значения, сохраненные в регистре настроек проигрывателя, сохраняются в энергонезависимое запоминающее устройство, когда устройство воспроизведения выключается, и значения восстанавливаются, когда устройство воспроизведения включается. Значения, которые могут быть заданы в регистре настроек проигрывателя, включают в себя: различные конфигурации устройства воспроизведения, которые определяются изготовителем устройства воспроизведения, когда устройство воспроизведения доставляется; различные конфигурации, которые задаются пользователем в соответствии с процедурой установления; и возможности поддержки взаимодействующего устройства, которые обнаруживаются через согласование с взаимодействующим устройством, когда устройство соединяется с взаимодействующим устройством.
Фиг. 66 показывает внутренние структуры набора 10 регистров и механизма 7b управления воспроизведением.
Левая сторона фиг. 66 показывает внутренние структуры набора 10 регистров, а правая сторона показывает внутренние структуры механизма 7b управления воспроизведением.
Далее описываются регистры состояния проигрывателя и регистры настроек проигрывателя с соответствующими назначенными номерами регистров.
PSR1 является регистром номеров потоков для аудиопотока и сохраняет номер текущего аудиопотока.
PSR2 является регистром номеров потоков для PG-потока и сохраняет номер текущего PG-потока.
PSR4 задается равным значению в диапазоне от "1" до "100", чтобы указывать номер текущего тайтла.
PSR5 задается равным значению в диапазоне от "1" до "999", чтобы указывать номер текущей главы; и задается равным значению "0xFFFF", чтобы указывать, что номер главы является недопустимым в устройстве воспроизведения.
PSR6 задается равным значению в диапазоне от "0" до "999", чтобы указывать номер текущего списка воспроизведения.
PSR7 задается равным значению в диапазоне от "0" до "255", чтобы указывать номер текущего элемента воспроизведения.
PSR8 задается равным значению в диапазоне от "0" до "0xFFFFFFFF", чтобы указывать текущий момент времени воспроизведения (текущий PTM) с временной точностью 45 кГц.
PSR10 является регистром номеров потоков для IG-потока и сохраняет номер текущего IG-потока.
PSR21 указывает, должен или нет пользователь выполнять стереоскопическое воспроизведение.
PSR22 указывает значение режима вывода.
PSR23 используется для задания "возможностей дисплея для видео". Он указывает то, имеет или нет дисплейное устройство, подключенное к устройству воспроизведения, возможности выполнять стереоскопическое воспроизведение.
PSR24 используется для задания "возможностей проигрывателя для трехмерного режима". Он указывает то, имеет или нет устройство воспроизведения возможности выполнять стереоскопическое воспроизведение.
С другой стороны, механизм 7b управления воспроизведением включает в себя модуль 8 выполнения процедур для уникального определения режима вывода текущего списка воспроизведения посредством обращения к PSR4, PSR6, PSR21, PSR23 и PSR24 и таблице выбора потока информации текущего списка воспроизведения в запоминающем устройстве 9 управляющей информации. "Возможности проигрывателя для трехмерного режима", сохраненные в PSR24, означают возможности устройства воспроизведения, касающиеся трехмерного воспроизведения в целом. Таким образом, они могут обозначаться просто как "трехмерные возможности".
PSR23 задает режим вывода, и модель выбора изменения состояния задается, как показано на фиг. 67.
Фиг. 67 показывает изменение состояния модели выбора режима вывода. В этой модели выбора существуют два общих состояния. Два общих состояния представляются посредством "недопустимое" и "допустимое" в овалах. "Недопустимое" указывает, что режим вывода является недопустимым, а "допустимое" указывает, что режим вывода является допустимым.
Общее состояние сохраняется, если изменение состояния не возникает. Изменение состояния вызывается посредством начала воспроизведения по списку воспроизведения, навигационной команды, изменения режима вывода, запрошенного посредством BD-J-приложения, или перехода к BD-J-тайтлу. Когда изменение состояния происходит, процедура для получения предпочтительного режима вывода выполняется.
Стрелки jm1, jm2, jm3,..., показанные на фиг. 31, представляют события, которые инициируют изменения состояния. Изменения состояния на фиг. 31 включают в себя следующее.
"Загрузка диска" означает состояние, в котором BD-ROM загружен.
"Начало представления" означает то, чтобы "начинать воспроизведение по списку воспроизведения" в HDMV-режиме. В BD-J-режиме, это означает ответвляться на BD-J-тайтл. Это обусловлено тем, что, в BD-J-режиме, ответвление на BD-J-тайтл не обязательно означает то, что список воспроизведения начинает воспроизводиться.
"Переход к BD-J-тайтлу" означает то, чтобы ответвляться на BD-J-тайтл. Более конкретно, он указывает, что тайтл (BD-J-тайтл), который ассоциирован с BD-J-приложением в индексной таблице, становится текущим тайтлом.
"Начало воспроизведения по списку воспроизведения" означает то, что номер списка воспроизведения, идентифицирующий список воспроизведения, задается равным PSR, и информация списка воспроизведения считывается в запоминающее устройство как информация текущего списка воспроизведения.
"Изменение режима вывода" означает то, что режим вывода изменяется, когда BD-J-приложение вызывает API. "Завершение представления", в HDMV-режиме, означает то, что воспроизведение списка воспроизведения завершается; а в BD-J-режиме, означает то, что BD-J-тайтл переходит к тайтлу (HDMV-тайтлу), который ассоциирован с кинообъектом в индексной таблице.
Когда диск загружается, состояние режима вывода переходит к временному состоянию "инициализация". После этого состояние режима вывода переходит к недопустимому состоянию.
Состояние выбора режима вывода сохраняется как "недопустимое" до тех пор, пока начало воспроизведения (начало представления) не активируется. "Начинать представление", в HDMV-режиме, означает то, что список воспроизведения запущен, чтобы воспроизводиться; а в BD-J-режиме, означает то, что BD-J-тайтл запущен, чтобы воспроизводиться, и некоторая операция BD-J-приложения начата. Это не обязательно означает то, что список воспроизведения начал воспроизводиться.
Когда начало представления активируется, состояние режима вывода переходит к временному состоянию "процедура, когда условие воспроизведения изменяется".
Режим вывода переходит к "допустимое" в зависимости от результата "процедуры, когда условие воспроизведения изменяется". Режим вывода переходит к "недопустимое", когда режим вывода является действующим, и начало представления завершено.
Навигационная команда в кинообъекте должна выполняться до того, как список воспроизведения начинает воспроизводиться, поскольку поставщик содержимого задает предпочтительный режим вывода с помощью команды. Когда выполняется навигационная команда в кинообъекте, состояние переходит к "недопустимое" в этой модели.
Фиг. 68 является блок-схемой последовательности операций способа, показывающей процедуру для процесса инициализации.
На этапе S501, определяется то, выполняется или нет не связанное с диском BD-J-приложение. На этапе S502, определяется то, указывает или нет информация возможностей поддержки стереоскопического отображения в PSR23 "предусмотрены возможности", и указывает или нет информация initial_output_mode в Index.bdmv "режим стереоскопического вывода".
Когда определяется "Да" на этапе S501, текущий вывод сохраняется на этапе S503. Когда определяется "Нет" на этапе S1 и "Да" на этапе S502, режим вывода в PSR22 переводится в режим стереоскопического вывода на этапе S504. Когда определяется "Нет" на этапе S501 и No на этапе S502, режим вывода в PSR22 переводится в режим двумерного вывода на этапе S505.
Фиг. 69 показывает "процедуру, когда условие воспроизведения изменяется". На этапе S511, определяется то, является или нет режимом вывода в PSR22 режим двумерного вывода. На этапе S513, определяется то, указывает или нет информация возможностей поддержки стереоскопического отображения в PSR23 "1" и при этом таблица выбора расширенного потока существует в списке воспроизведения.
Когда определяется "Да" на этапе S511, текущий режим вывода не изменяется на этапе S512. Когда определяется "Нет" на этапе S511 и "Да" на этапе S513, текущий режим вывода не изменяется (этап S512). Когда определяется "Нет" на этапе S511 и No на этапе S513, текущий режим вывода переводится в режим двумерного вывода (этап S514).
Когда список воспроизведения начинает воспроизводиться, следует принимать во внимание то, что PES-потоки, которые могут воспроизводиться в соответствующих элементах воспроизведения, задаются в таблицах выбора потока соответствующих элементов воспроизведения. Поэтому, когда текущий элемент воспроизведения начинает воспроизводиться, во-первых, необходимо выбирать оптимальный элемент для воспроизведения из числа PES-потоков, которым разрешено воспроизводиться в таблице выбора потока текущего элемента воспроизведения. Процедура для этого выбора называется "процедурой выбора потока".
Далее описывается назначение битов в регистре настроек проигрывателя для реализации режима трехмерного воспроизведения. Регистрами, которые должны использоваться для реализации режима трехмерного воспроизведения, являются PSR21, PSR22, PSR23 и PSR24. Фиг. 70A-70D показывают назначение битов в регистре настроек проигрывателя для реализации режима трехмерного воспроизведения.
Фиг. 70A показывает назначение битов в PSR21. В примере, показанном на фиг. 70A, самый младший бит "b0" представляет настройку режима вывода. Когда бит "b0" задается равным "0b", он указывает режим двумерного вывода, а когда бит "b0" задается равным "1b", он указывает режим стереоскопического вывода. Навигационная команда или BD-J-приложение не могут перезаписывать значение, заданное в PSR21.
Фиг. 70B показывает назначение битов в PSR22.
Самый младший бит "b0" в PSR22 представляет текущий режим вывода. Когда режим вывода изменяется, видеовывод устройства воспроизведения должен изменяться в соответствии с ним. Значение режима вывода управляется посредством модели выбора.
Фиг. 70C показывает назначение битов в PSR23. Как показано на фиг. 70C, самый младший бит "b0" в PSR23 представляет возможности поддержки стереоскопического отображения подключенной телевизионной системы. Более конкретно, когда бит "b0" задается равным "0b", он указывает, что подключенная телевизионная система "не допускает стереоскопическое представление"; а когда бит "b0" задается равным "1b", он указывает, что подключенная телевизионная система "допускает стереоскопическое представление".
Эти значения автоматически задаются до того, как воспроизведение запускается, когда устройство воспроизведения поддерживает интерфейс, который выполняет согласование с дисплейным устройством. Когда эти значения не задаются автоматически, они задаются пользователем.
Фиг. 70D показывает назначение битов в PSR24. Как показано на фиг. 70D, самый младший бит "b0" в PSR24 представляет возможности поддержки стереоскопического отображения устройства воспроизведения. Более конкретно, когда бит "b0" задается равным "0b", он указывает, что стереоскопическое представление не допускается; а когда бит "b0" задается равным "1b", он указывает, что стереоскопическое представление допускается.
Как описано выше, согласно настоящему варианту осуществления, достоверность режима вывода может сохраняться, даже если состояние воспроизведения изменяется, или запрос, чтобы переключаться между потоками, принимается от пользователя.
(Одиннадцатый вариант осуществления)
Настоящий вариант осуществления относится к усовершенствованию, в котором сдвиг плоскости выполняется на основе трехмерных метаданных, встроенных в запоминающее устройство или промежуточное программное обеспечение.
Фиг. 71 показывает внутреннюю структуру модуля 5b синтезирования плоскостей. Как показано на фиг. 27, модуль 5b синтезирования плоскостей включает в себя модули 61a, 61b и 61c кадрирования для кадрирования данных несжатых изображений, сохраненных в плоскости, и графических данных на основе трехмерных метаданных, встроенных в запоминающее устройство, модуль 61d кадрирования для кадрирования несжатых графических данных, сохраненных в плоскости, на основе программного API, переключатель 62 для переключения между видеоплоскостью 32 для просмотра левым глазом и видеоплоскостью 33 для просмотра правым глазом, чтобы принимать вывод из них, и модули 63, 64, 65 и 66 сложения для выполнения сложения плоскостей.
Запоминающие устройства плоскостей включают в себя видеоплоскость для просмотра левым глазом, видеоплоскость для просмотра правым глазом, плоскость вторичного видео, PG-плоскость, IG-плоскость и GFX-плоскость, которые размещаются в заявленном порядке. В видеоплоскость для просмотра левым глазом и видеоплоскость для просмотра правым глазом данные изображений записываются поочередно во время PTS посредством декодера 4 системных целевых объектов. Модуль 5b синтезирования плоскостей выбирает либо видеоплоскость для просмотра левым глазом, либо видеоплоскость для просмотра правым глазом, в которую данные изображений записываются во время PTS, и передает данные из выбранной видеоплоскости в процесс наложения, так что они накладываются с плоскостью вторичного видео, PG-плоскостью и IG-плоскостью.
Как описано выше, согласно настоящему варианту осуществления, можно выполнять сдвиг плоскости на основе смещения, встроенного в запоминающее устройство или промежуточное программное обеспечение.
(Двенадцатый вариант осуществления)
Настоящий вариант осуществления описывает данные, в которых содержимое для двумерного и трехмерного режима смешивается, и то, какую структуру должно иметь устройство воспроизведения, чтобы обрабатывать данные, когда режим трехмерной глубины разрешается как режим представления B-D.
В последующем описании настоящего варианта осуществления предполагается, что (совместимый с двумерным режимом) трехмерный диск может воспроизводиться посредством устройства двумерного воспроизведения.
(Совместимый с двумерным режимом) трехмерный диск удовлетворяет требованиям двумерного диска относительно структуры/потока навигационных данных и условия компоновки файлов относительно двумерного воспроизведения. Таким образом, устройство двумерного воспроизведения может воспроизводить только связанную с двумерным режимом часть содержимого, сохраненного на (совместимом с двумерным режимом) трехмерном диске.
Устройство трехмерного воспроизведения также может воспроизводить связанную с двумерным режимом часть содержимого, когда оно переключается на режим двумерного воспроизведения.
Трехмерный диск (только для трехмерного режима) не может воспроизводиться посредством устройства двумерного воспроизведения, поскольку его условие компоновки файлов оптимизировано для трехмерного режима. Это обусловлено тем, что 3D-LR-потоки мультиплексируются в один TS, чтобы увеличивать TS-скорость трехмерного режима так, чтобы превышать наибольшую TS-скорость, которую может поддерживать устройство двумерного воспроизведения. Когда устройство двумерного воспроизведения пытается воспроизводить трехмерный диск (только для трехмерного режима), программа инструктирует устройству двумерного воспроизведения переходить к экрану предупреждения, и устройство двумерного воспроизведения не переходит к воспроизведению диска только для трехмерного режима. Тем не менее, даже в таком случае, только первый тайтл воспроизведения и заранее определенный тайтл должны воспроизводиться посредством устройства двумерного воспроизведения.
Когда режим переключается на режим двумерного отображения, отображаются только изображения для базового просмотра. Потоки, подготовленные к двумерному режиму, отсутствуют.
Фиг. 72A и 72B показывают данные, в которых содержимое для двумерного и трехмерного режима смешивается, и то, как данные воспроизводятся посредством устройства воспроизведения.
Фиг. 72A показывает, в форме таблицы, соответствие между содержимым, записанным на различных дисках, и способами воспроизведения различных устройств воспроизведения. Верхняя строка по фиг. 72A указывает двумерный диск, совместимый с двумерным режимом трехмерный диск и трехмерный диск только для трехмерного режима. Крайний левый столбец по фиг. 72A указывает устройство двумерного воспроизведения и устройство воспроизведения с поддержкой трехмерного режима. Следует отметить, что устройство воспроизведения с поддержкой трехмерного режима означает устройство воспроизведения, которое может выполнять как двумерное, так и трехмерное воспроизведение. Когда устройство воспроизведения с поддержкой трехмерного режима воспроизводит диск, на котором записано только двумерное содержимое, оно может отображать только двумерное содержимое.
Согласно соответствию, показанному в таблице по фиг. 72A, устройство двумерного воспроизведения, не поддерживающее трехмерный режим, не может воспроизводить диски, которые включают в себя только содержимое для трехмерного режима. Между тем, невозможно пользователям отличать трехмерный диск от двумерного диска просто посредством его формы. Соответственно, пользователи могут ошибочно пытаться воспроизводить трехмерный диск в устройстве двумерного воспроизведения и не понимать, почему изображения или аудио не воспроизводятся, что случается.
В качестве средства для предотвращения такого случая рассматривается гибридный диск, содержащий как двумерное содержимое, так и трехмерное содержимое, так что устройство двумерного воспроизведения может воспроизводить диск, даже если он содержит трехмерное содержимое. Гибридный диск может быть выполнен так, что устройство трехмерного воспроизведения может воспроизводить трехмерное содержимое, содержащееся на гибридном диске, а устройство двумерного воспроизведения может воспроизводить двумерное содержимое, содержащееся на гибридном диске.
Тем не менее, когда AV-поток для двумерного режима и AV-поток для трехмерного режима независимо записываются на диске, даже перекрывающиеся данные записываются. Это требует дополнительной величины емкости. Следовательно, необходимо совместно использовать часть данных, которая является общей для AV-потока для двумерного режима и AV-потока для трехмерного режима, ограничивать размер данных по мере необходимости и обеспечивать то, что соответствующие данные воспроизводятся как в устройстве двумерного воспроизведения, так и в устройстве трехмерного воспроизведения.
Далее описывается управляющая информация, которая используется для того, чтобы управлять данными.
Фиг. 72B показывает внутреннюю структуру индексной таблицы. Как показано на фиг. 72B, программа, которая выполняется совместно для устройства двумерного воспроизведения и устройства трехмерного воспроизведения, записывается в записи, которая соответствует первому тайтлу воспроизведения. При такой структуре обеспечивается работа, когда диск загружается в устройство двумерного воспроизведения.
Фиг. 73 является схемой переходов состояний, показывающей переключение между двумерным и трехмерным режимом.
Левая сторона фиг. 73 показывает изменение состояния видео. Видео состоит из трех состояний: состояние L; состояние L+R; и состояние L+глубина.
Изменение состояния (1) происходит, когда осуществляется переключение в выводе. Изменение состояния (2) возникает, когда осуществляется переключение в выводе.
Изменение состояния (3) происходит, когда переключаются потоки целевых объектов декодирования. Прозрачное переключение не гарантируется.
Правая сторона фиг. 73 показывает изменение состояния графики. Графика - это графика субтитров, графика субтитров рендеринга и графика меню.
Изменение состояния (4) происходит, когда возникает переключение смещения между плоскостями.
Изменение состояния (5) происходит, когда осуществляется переключение в выводе.
Изменение состояния (6) происходит, когда переключаются потоки целевых объектов декодирования. Прозрачное переключение не гарантируется. Воспроизведение AV прерывается, когда предварительно загруженные потоки переключаются.
Изменение состояния (7) происходит, когда потоки целевых объектов декодирования переключаются. Прозрачное переключение не гарантируется.
Изменение состояния (8) происходит, когда осуществляется переключение с L на LR или с LR на L. Потоки целевых объектов декодирования не переключаются.
(Тринадцатый вариант осуществления)
Настоящий вариант осуществления описывает параметры системы, требуемые для трехмерного воспроизведения.
Фиг. 74-79 показывают параметры системы, требуемые для трехмерного воспроизведения.
Фиг. 74 показывает возможности поддержки зависимого просмотра и возможности поддержки трехмерной глубины.
Фиг. 75 показывает параметры системы, расширенные так, чтобы подробнее идентифицировать возможности поддержки трехмерного воспроизведения. Более конкретно, назначение битов для этого расширения следующее: битовая последовательность [b22:b16] назначается способу "1 плоскость + смещение"; битовая последовательность [b14:b8] назначается способу трехмерной глубины; и битовая последовательность [b6:b0] назначается 3D-LR-способу. Биты, составляющие эти битовые последовательности, указывают, присутствуют или нет возможности поддержки, относительно каждой из плоскости фоновых изображений, плоскости первичного видео, плоскости вторичного видео, плоскости текстового субтитра, PG-плоскости, IG-плоскости и плоскость Java-графики.
Фиг. 76 показывает идентификационную информацию из базы данных для идентификации того, поддерживает или нет устройство воспроизведения структуру данных, которая расширена для трехмерного режима. Идентификационная информация из базы данных включает в себя число версий форматов приложения, которые поддерживаются посредством устройства воспроизведения, и тем самым становится информацией профиля проигрывателя. Информация также может использоваться для того, чтобы определять то, может или нет устройство обрабатывать управляющие данные, которые расширены для трехмерного режима, когда программа выбирает поток, который должен воспроизводиться.
Фиг. 77 показывает параметр системы, в котором задаются настройки пользователя, касающиеся формата представления. Например, когда один диск содержит данные для LR-способа и данные для способа глубины, программа, записанная на диске, может выбирать список воспроизведения, который включает в себя данные, соответствующие настройкам пользователя, посредством обращения к значению параметра системы. В примере, показанном на фиг. 77, настройка трехмерного представления, заданная равной: "00b", указывает режим двумерного представления; "01b", указывает режим 3D-LR-представления; и "10b", указывает режим представления трехмерной глубины.
Фиг. 78 показывает параметр системы, указывающий формат отображения текущего воспроизведения. Посредством обращения к параметру системы программа может определять то, какой из двумерного способа и LR-способа использовать при отображении графики меню и т.п.
В примере, показанном на фиг. 78, тип трехмерного представления, заданный равным: "00b", указывает режим двумерного представления; "01b", указывает режим 3D-LR-представления; и "10b", указывает режим представления трехмерной глубины.
Кроме того, биты "b31"-"b16" назначаются для запоминающих устройств плоскостей фонового изображения, первичного видео, вторичного видео, текстового субтитра и Java-графики. Можно указывать для каждого способа то, доступен или нет трехмерный способ.
Здесь описывается коррекция значения смещения. Соответствующее значение смещения может различаться в зависимости от размера дисплея. Когда соответствующие значения смещения для различных размеров дисплея задаются в устройстве воспроизведения, устройство воспроизведения может выполнять более надлежащее отображение посредством регулирования значений параметров системы, когда оно отображает графику субтитров или графику меню посредством способа смещения. Фиг. 79 показывает назначение битов для сохранения значения коррекции трехмерного смещения. Бит [b15] указывает тип смещения. Бит [b14] указывает направление. Битовая последовательность [b13:b8] указывает трехмерное смещение для просмотра правым глазом. Бит [b7] указывает тип смещения. Бит [b6] указывает направление. Битовая последовательность [b5:b0] указывает трехмерное смещение для просмотра левым глазом. Тип смещения, заданный равным: "0", указывает задание посредством непосредственного значения и указывает, что значение смещения, заданное в графическом потоке, является недопустимым; и "1", указывает, что это значение коррекции для коррекции к значению смещения, заданному в графическом потоке. Направление, заданное равным: "0", указывает отрицательное направление; и "1", указывает положительное направление. "Трехмерное смещение для просмотра правым глазом" указывает смещение для просмотра правым глазом, а "трехмерное смещение для просмотра левым глазом" указывает смещение для просмотра левым глазом.
Значения этого параметра системы могут быть заданы из программы на диске. В этом случае, данный параметр системы может использоваться для того, чтобы изменять глубину графики, например, в зависимости от сцены.
(Пользовательская операция переключения двумерного/трехмерного режима)
Далее описывается API пользовательской операции переключения двумерного/трехмерного режима. Фиг. 80A и 80B показывают API пользовательских операций для переключения между способами двумерного и трехмерного отображения. API, показанный на фиг. 80A, имеет аргумент для идентификации способа отображения, на который должен переключаться текущий способ. Данный API является API между процессором пользовательских событий и промежуточным программным обеспечением. Формат описания этого API следующий: "Change3DpresentationType (3DpresentationType)". В качестве аргумента "3D Presentation Type" может указываться любой из "00:2D", "01:3D-LR" и "10:3D-Depth".
Индикатор относительно того, разрешать или нет использование API "Change3DpresentationType", может встраиваться в таблицу масок пользовательских операций. Фиг. 80B показывает пример описания на исходном коде, когда "Change3DpresentationType" описывается в таблице масок пользовательских операций (UO_mask_table).
(Изменение трехмерного смещения)
Далее описывается команда изменения трехмерного смещения.
Фиг. 81 показывает рабочие коды и операнды команды изменения режима "1 плоскость + смещение". Верхняя часть фиг. 81 показывает назначение битов рабочему коду и операндам. Эта команда имеет два операнда, которые могут указывать смещение для просмотра правым глазом и смещение для просмотра левым глазом.
(Команда переключения двумерного/трехмерного режима)
Нижняя часть фиг. 81 показывает команду переключения двумерного/трехмерного режима. Операнд этой команды может указывать любое из "двумерный", "1 плоскость + смещение", "3D-LR" и "трехмерная глубина".
(Переключение между режимами воспроизведения в трехмерном режиме)
Далее описывается команды, используемые для переключения между режимами воспроизведения в трехмерном режиме. Команды могут использоваться для того, чтобы изменять значения вышеописанных параметров системы и переключаться между способами отображения.
Фиг. 82 показывает команду изменения типа трехмерного представления. Верхняя часть фиг. 82 показывает назначение битов. Битовая последовательность [b63:b32] "тип трехмерного отображения" в этой команде указывает, что режим воспроизведения изменяется.
Нижняя часть фиг. 82 показывает формат команды задания значения смещения графики. Эта команда задает тип трехмерного воспроизведения в любом PSR (задание типа трехмерного представления как PSRxx), и операнд может указывать любое из "двумерный", "1 плоскость + смещение", "3D-LR" и "трехмерная глубина" в качестве режима после переключения.
(Четырнадцатый вариант осуществления)
Настоящий вариант осуществления описывает способ совместного использования части, общей для двумерного AV-потока и трехмерного AV-потока, так что размер данных ограничен необходимым минимумом.
Фиг. 83A-83C показывают, как транспортные потоки для трех режимов сохраняются в файлах. Как показано на этих чертежах, чтобы эффективно считывать, с диска, блоки данных, требуемые для LR-способа, и блоки данных, требуемые для способа глубины, блоки данных для просмотра левым глазом (L), блоки данных для просмотра правым глазом (R) и блоки данных для глубины (D), записываются на диске перемеженным способом. На блоки данных для каждого режима ссылается файловая система, так что три файла потока перемеженных AV-клипов задаются в носителе записи.
Список воспроизведения для двумерного воспроизведения (список для двумерного воспроизведения) ссылается на файл, содержащий блоки данных для просмотра левым глазом (L), а список воспроизведения для LR-способа (список для трехмерного воспроизведения (LR)) ссылается на AV-клип, содержащий блоки данных для просмотра левым глазом (L), и AV-клип, содержащий блоки данных для просмотра правым глазом (R).
Далее описывается способ записи для записи блоков данных для просмотра левым глазом (L), блоков данных для просмотра правым глазом (R) и блоков данных для глубины (D) на диск перемеженным способом.
Эти блоки данных, размещаемые перемеженным способом, составляют файл стереоскопического перемеженного потока. На файл стереоскопического перемеженного потока перекрестно ссылаются следующие три файла. Первый файл - это файл потока клипа 1 (двумерный/L), который содержит только блоки данных для просмотра левым глазом (L). Второй файл - это файл потока клипа 2 (R), который содержит только блоки данных для просмотра правым глазом (R). Третий файл - это файл потока клипа 3 (D), который содержит только блоки данных для глубины (D). Когда такая перекрестная ссылка реализуется, устройство воспроизведения должно считывать только файл потока, соответствующий режиму воспроизведения из трех режимов, когда устройство воспроизведения переводится в режим воспроизведения.
Верхняя часть фиг. 83A показывает, что в файле стереоскопического перемеженного потока блоки данных для просмотра левым глазом (L), блоки данных для просмотра правым глазом (R) и блоки данных для глубины (D) размещаются в порядке R, L, D, R. L, D перемеженным способом.
Часть под верхней частью фиг. 83A показывает три файла потока, которые, соответственно сохраняют клип 1 (двумерный/L), клип 2 (R) и клип 3 (D). Перекрестная ссылка указывает, что клип 1 (двумерный/L) сохраняет только блоки данных для просмотра левым глазом (L), клип 2 (R) сохраняет только блоки данных для просмотра правым глазом (R), а клип 3 (D) сохраняет только блоки данных для глубины (D). Левая сторона фиг. 83A показывает три режима: двумерный; 3D-LR; и трехмерная глубина. Линии, соединяющие три режима с тремя файлами потока, показывают взаимосвязь использования, указывающую то, какие AV-клипы используются посредством каких режимов.
Взаимосвязь использования указывает, что на AV-клип 1 можно ссылаться в любом из двумерного режима, 3D-LR-режима и режима трехмерной глубины; на AV-клип 2 можно ссылаться только в 3D-LR-режиме; и на AV-клип 3 можно ссылаться только в режиме трехмерной глубины.
Другой способ для реализации перекрестной ссылки состоит в том, чтобы пакетировать блоки данных для просмотра левым глазом (L) и для просмотра правым глазом (R), которые требуются для 3D-LR-режима, в файл потока одного AV-клипа и пакетировать блоки данных для просмотра левым глазом (L) и глубины (D), которые требуются для режима трехмерной глубины, в файл потока одного AV-клипа.
Правая сторона фиг. 83B показывает три файла потока, которые соответственно сохраняют клип 1 (двумерный/L), клип 2 (LR) и клип 3 (LD). Перекрестная ссылка указывает, что клип 1 (двумерный/L) сохраняет только блоки данных для просмотра левым глазом (L), клип 2 (LR) сохраняет блоки данных для просмотра левым глазом (L) и для просмотра правым глазом (R), а клип 3 (LD) сохраняет блоки данных для просмотра левым глазом (L) и глубины (D).
Левая сторона фиг. 83B показывает три режима: двумерный; 3D-LR; и трехмерная глубина. Линии, соединяющие три режима с тремя файлами потока, показывают взаимосвязь использования, указывающую то, какие AV-клипы используются посредством каких режимов.
Взаимосвязь использования указывает, что на AV-клип 1 можно ссылаться только в двумерном режиме; на AV-клип 2 можно ссылаться только в 3D-LR-режиме; и на AV-клип 3 можно ссылаться только в режиме трехмерной глубины.
Еще один другой способ для реализации перекрестной ссылки состоит в том, чтобы мультиплексировать блоки данных для просмотра левым глазом (L), для просмотра правым глазом (R) и глубины (D) в один транспортный поток так, что на них могут ссылаться списки воспроизведения, которые соответствуют трем режимам воспроизведения.
Правая сторона фиг. 83C показывает транспортный поток, в котором мультиплексируются блоки данных для просмотра левым глазом (L), для просмотра правым глазом (R) и глубины (D). Левая сторона фиг. 83C показывает три списка воспроизведения: список для двумерного воспроизведения; список для трехмерного воспроизведения (LR); и список для трехмерного воспроизведения (глубина). Линии, соединяющие три списка воспроизведения с файлом потока, показывают взаимосвязь использования, указывающую то, какие AV-клипы используются посредством каких режимов.
Любой из вышеописанных способов может использоваться для того, чтобы записывать данные, и в любом из вышеописанных способов идентификаторы потока заранее назначаются потокам. Это упрощает и повышает эффективность извлечения каждого типа данных.
Фиг. 84 показывает, в форме таблицы, мультиплексирование на уровне транспортных потоков. Верхняя строка по фиг. 84 указывает AV-клипы для: двумерный/L (клип1 (двумерный/L); R (клип2 (R); и глубина (клип3 (D)) и 1 клип. Крайний левый столбец по фиг. 84 указывает поток первичного видео, поток первичного аудио, PG-поток, IG-поток, поток вторичного видео и поток вторичного аудио. В примере, показанном на фиг. 84, клипы 1, 2 и 3 располагаются перемеженным способом. Устройство двумерного воспроизведения воспроизводит только AV-клип 1, устройство воспроизведения 3D-LR воспроизводит AV-клипы 1 и 2, и устройство воспроизведения трехмерной глубины воспроизводит AV-клипы 1 и 3.
(Пятнадцатый вариант осуществления)
Настоящий вариант осуществления описывает то, какие элементарные потоки каких идентификаторов пакетов подвергаются воспроизведению, в соответствии с номером потока, заданным в устройстве воспроизведения, когда устройство воспроизведения переводится в любой из 3D-LR-режима, режима трехмерной глубины и режима "1 плоскость + смещение".
В последующем описании настоящего варианта осуществления предполагается, что идентификаторы пакетов (PID) графических потоков для двумерного, LR и глубины сегментируются в диапазоне +20/40/60. Следует отметить, что любое значение PID может указываться непосредственно из таблицы выбора потока.
В случае PG-потока задается, например, следующее правило: чтобы ассоциировать двумерный PG-поток со стереоскопическим PG-потоком, PID мультиплексированных потоков ассоциируются так, что PID стереоскопического PG-потока получаются посредством добавления 0x20/0x40/0x60 к PID двумерного PG-потока.
Фиг. 85 показывает назначение PID для пакетов транспортного потока (TS). AV-клипы содержат TS-пакеты, которым назначаются эти PID.
Фиг. 86A-86C показывают поток первичного видео и поток первичного аудио.
Рамки, представленные посредством пунктирных линий на фиг. 86A, показывают то, какие TS-пакеты каких PID являются целевым объектами демультиплексирования в каждом режиме вывода. Пример, показанный на фиг. 86A, указывает, что: TS-пакеты, составляющие вид для базового просмотра, являются целевыми объектами демультиплексирования в двумерном режиме; TS-пакеты, составляющие "вид для базового просмотра + вид для зависимого просмотра", являются целевыми объектами демультиплексирования в 3D-LR-режиме; и TS-пакеты, составляющие "вид для базового просмотра + информацию глубины", являются целевыми объектами демультиплексирования в режиме трехмерной глубины. Более конкретно, когда устройство воспроизведения находится в двумерном режиме, TS-пакет PID=0x1101 является целевым объектом демультиплексирования.
Когда устройство воспроизведения находится в 3D-LR-режиме, TS-пакет PID=0x1101 и TS-пакет PID=0x1012 являются целевыми объектами демультиплексирования.
Когда устройство воспроизведения находится в режиме трехмерной глубины, TS-пакет PID=0x1101 и TS-пакет PID=0x1013 являются целевыми объектами демультиплексирования.
Таблица, показанная на фиг. 86B показывает комбинации, с которыми не может сосуществовать поток вторичного видео. Согласно фиг. 86B, поток вторичного видео не может сосуществовать с комбинацией вида для базового просмотра MPEG-4 AVC как потока для базового просмотра и вида для зависимого просмотра MPEG-4 AVC как потока для зависимого просмотра. Кроме того, поток вторичного видео не может сосуществовать с комбинацией потока для базового просмотра и потока для зависимого просмотра, оба из которых являются MPEG-4 AVC; и комбинацией потока для базового просмотра и потока для зависимого просмотра, оба из которых являются VC-1.
Кроме того, поток вторичного видео не может сосуществовать с комбинацией потока для базового просмотра и потока для зависимого просмотра, оба из которых являются MPEG-2 Video.
Фиг. 86C показывает внутренние структуры потоков первичного аудио, которым назначены номера потоков 1, 2 и 3, соответственно. В основном, аудиопоток используется совместно для двумерного режима и трехмерного режима. Рамки, представленные посредством пунктирной линии, указывают TS-пакеты, которые являются целевыми объектами демультиплексирования в трех режимах. На фиг. 86C, предполагается, что аудиопоток с PID=0x1101 является потоком с расширенным каналом.
Когда номер потока для аудиопотока задается равным "1" в режиме двумерного/трехмерного воспроизведения, TS-пакет с PID=0x1100 становится целевым объектом демультиплексирования.
Когда номер потока для аудиопотока задается равным "2" в режиме двумерного/трехмерного воспроизведения, TS-пакет с PID=0x1101 становится целевым объектом демультиплексирования.
Когда номер потока для аудиопотока задается равным "3" в режиме двумерного воспроизведения, TS-пакет с PID=0x1102 становится целевым объектом демультиплексирования.
Фиг. 87A-87C показывают TS-пакеты, составляющие PG-поток, IG-поток и поток текстовых субтитров.
Фиг. 87A показывает PG-потоки, которым назначаются номера потоков 1 и 2. Двумерный субтитр и трехмерный субтитр соответствуют друг другу один-к-одному.
Рамки, представленные посредством пунктирной линии на чертежах, указывают TS-пакеты, которые являются целевыми объектами демультиплексирования в трех режимах: режим двумерного воспроизведения; 3D-LR-режим; и режим трехмерной глубины.
Когда номер потока для PG-потока задается равным "1" в режиме трехмерной глубины, PG-поток, состоящий из TS-пакета с PID=0x1260, воспроизводится.
Когда номер потока для PG-потока задается равным "1" в двумерном режиме, режиме "1 плоскость + смещение" или 3D-LR-режиме, TS-пакет с PID=0x1200 становится целевым объектом демультиплексирования.
Когда номер потока для PG-потока задается равным "2" в режиме трехмерной глубины, PG-поток, состоящий из TS-пакета с PID=0x1261, становится целевым объектом демультиплексирования.
Когда номер потока для PG-потока задается равным "2" в двумерном режиме или режиме "1 плоскость + смещение", PG-поток, состоящий из TS-пакета с PID=0x1201, становится целевым объектом демультиплексирования.
Когда номер потока для PG-потока задается равным "2" в 3D-LR-режиме, PG-поток, состоящий из TS-пакетов с PID=0x1221 и PID=0x1241, становится целевым объектом демультиплексирования.
Фиг. 87B показывает потоки текстовых субтитров.
Когда номер потока для потока текстовых субтитров задается равным "1" в двумерном режиме, TS-пакет с PID=0x1800 становится целевым объектом демультиплексирования. Когда номер потока для потока текстовых субтитров задается равным "2" в двумерном режиме, TS-пакет с PID=0x1800 также становится целевым объектом демультиплексирования.
Когда номер потока для потока текстовых субтитров задается равным "1" или "2" в режиме "1 плоскость + смещение (3D-LR)" или режиме трехмерной глубины, TS-пакет с PID=0x1801 становится целевым объектом демультиплексирования.
Фиг. 87C показывает IG-потоки.
Когда номер потока для IG-потока задается равным "1" в режиме трехмерной глубины, TS-пакет с PID=0x1460 становится целевым объектом демультиплексирования. Когда номер потока для IG-потока задается равным "2" в режиме трехмерной глубины, TS-пакет с PID=0x1461 становится целевым объектом демультиплексирования.
Когда номер потока для IG-потока задается равным "1" в двумерном режиме или режиме "1 плоскость + смещение", TS-пакет с PID=0x1400 становится целевым объектом демультиплексирования. Когда номер потока для IG-потока задается равным "2" в двумерном режиме или режиме "1 плоскость + смещение", TS-пакет с PID=0x1401 становится целевым объектом демультиплексирования.
Когда номер потока для IG-потока задается равным "1" в 3D-LR-режиме (2Dec), TS-пакет с PID=0x1400 становится целевым объектом демультиплексирования. Когда номер потока для IG-потока задается равным "2" в 3D-LR-режиме (2Dec), TS-пакет с PID=0x1421 и TS-пакет с PID=0x1441 становятся целевыми объектами демультиплексирования.
Фиг. 88A и 88B показывают TS-пакеты, составляющие поток вторичного видео и поток вторичного аудио.
Фиг. 88A показывает поток вторичного аудио.
Когда номер потока задается равным "1" в 3D-LR-режиме, TS-пакет для просмотра правым глазом с PID=0x1B20 и TS-пакет для просмотра левым глазом с PID=0x1B00 становятся целевыми объектами демультиплексирования.
Когда номер потока задается равным "1" в двумерном режиме, TS-пакет для просмотра левым глазом с PID=0x1B00 становится целевым объектом демультиплексирования.
Когда номер потока задается равным "1" в режиме "1 плоскость + смещение", TS-пакет для просмотра левым глазом с PID=0x1B00 и информацией смещения становится целевым объектом демультиплексирования.
Когда номер потока задается равным "1" в режиме трехмерной глубины, TS-пакет для просмотра левым глазом с PID=0x1B00 и TS-пакет для информации глубины с PID=0x1B40 становятся целевыми объектами демультиплексирования.
Когда номер потока задается равным "2" в любом из режимов, TS-пакет для просмотра левым глазом с PID=0x1B00 становится целевым объектом демультиплексирования.
Когда поток первичного видео имеет формат трехмерного отображения, можно для потока вторичного видео выбирать любой из режима двумерного воспроизведения, режима "1 плоскость + смещение", 3D-LR-режима и режима трехмерной глубины в зависимости от возможностей поддержки декодирования устройства воспроизведения и формата отображения потока первичного видео.
Далее поясняется случай, когда поток первичного аудио смешивается, чтобы выводиться.
Поток вторичного аудио, аналогично потоку первичного аудио, может быть одинаковым как в двумерном, так и в трехмерном режиме, или может отдельно подготавливаться к двумерному и трехмерному режиму, соответственно. Когда он отдельно подготавливается к двумерному и трехмерному режиму, расширенный поток может быть задан или он может быть сегментирован.
Фиг. 88B показывает потоки вторичного аудио.
Когда номер потока задается равным "1" в режиме двумерного воспроизведения, TS-пакет с PID=0x1100 становится целевым объектом демультиплексирования. Когда номер потока задается равным "1" в режиме трехмерного воспроизведения, TS-пакет с PID=0x1100 также становится целевым объектом демультиплексирования.
Когда номер потока задается равным "2" в двумерном или трехмерном режиме воспроизведения, TS-пакет с PID=0x1101 становится целевым объектом демультиплексирования.
Когда номер потока задается равным "3" в режиме двумерного воспроизведения, TS-пакет с PID=0x1102 становится целевым объектом демультиплексирования. Когда номер потока задается равным "3" в режиме трехмерного воспроизведения, TS-пакет с PID=0x1103 становится целевым объектом демультиплексирования.
На этом завершается описание управления потоками для формата двумерного/трехмерного отображения.
(Шестнадцатый вариант осуществления)
Настоящий вариант осуществления относится к усовершенствованию, касающемуся состояния соединения, указываемого посредством информации состояния соединения.
Информация состояния соединения указывает тип соединения для соединения между текущим элементом воспроизведения и предыдущим элементом воспроизведения, когда соответствующий элемент воспроизведения становится текущим элементом воспроизведения, указываемым посредством информации текущего элемента воспроизведения. Здесь следует отметить, что элемент воспроизведения состоит из STC-последовательности, для которой задаются In_Time и Out_Time, и ATC-последовательности, состоящей из "родителя" STC-последовательности. Соединение между элементом воспроизведения и предыдущим элементом воспроизведения подпадает под любой из следующих трех типов в зависимости от того, соединяются или нет ATC-последовательности непрерывно либо соединяются или нет STC-последовательности непрерывно.
Первый - это тип соединения, называемый "connection_condition = 1", в котором ATC-последовательности и STC-последовательности не соединяются непрерывно, и прозрачное воспроизведение не гарантируется.
Второй - это тип соединения, называемый "connection_condition = 5", в котором ATC-последовательности не являются непрерывными, и полный разрыв присутствует в STC-последовательностях. В типе соединения, заключающем в себе полный разрыв, в двух видеопотоках, которые воспроизводятся непрерывно, (i) начальное время первой единицы видеопредставления в видеопотоке, который размещается непосредственно после точки соединения, и (ii) конечное время последней единицы видеопредставления в видеопотоке, который размещается непосредственно перед точкой соединения, являются непрерывными на временной оси системного таймера. Это делает прозрачное соединение возможным.
С другой стороны, в двух аудиопотоках, которые воспроизводятся непрерывно через точку соединения ATC-последовательности, предусмотрено перекрытие между (i) начальным временем первой единицы аудиопредставления в аудиопотоке, который размещается непосредственно после точки соединения, и (ii) конечным временем последней единицы аудиопредставления в аудиопотоке, который размещается непосредственно перед точкой соединения. Относительно этого перекрытия аудиовывод подавляется.
Третий - это тип соединения, называемое "connection_condition = 6", в котором ATC-последовательности и STC-последовательности соединяются непрерывно. В этом типе соединения точка соединения двух видеопотоков через соединение совпадает с границей между GOP.
Прозрачное соединение в "connection_condition = 5" реализуется посредством следующей процедуры.
Дифференциальное значение ATC (ATC_delta) между текущей ATC-последовательностью и предыдущей ATC-последовательностью сохраняется в информации о клипах. Таким образом, значение (ATC2), измеряемое посредством счетчика синхросигналов для обработки ATC_Sequence, составляющей текущий элемент воспроизведения, получается посредством прибавления ATC_delta к значению (ATC1), измеряемому посредством счетчика синхросигналов для обработки ATC_Sequence, составляющей предыдущий элемент воспроизведения.
Кроме того, значение смещения под названием "STC_delta" получается, когда элементы воспроизведения переключаются.
Значение "STC_delta" добавляется к значению (STC1), измеряемому посредством счетчика синхросигналов для обработки STC-последовательности, составляющей предыдущий элемент воспроизведения. Это приводит к значению (STC2), измеряемому посредством счетчика синхросигналов для обработки STC-последовательности, составляющей новый текущий элемент воспроизведения.
Значение смещения "STC_delta" получается посредством следующего уравнения, где "PTS1(1stEND)" представляет начальное время отображения последнего изображения, воспроизводимого в первой STC-последовательности, "Tpp" представляет период отображения изображения, "PTS2(2ndSTART)" представляет начальное время отображения первого изображения, воспроизводимого во второй STC-последовательности, и следует принимать во внимание, что когда CC = 5, время "PTS1(1stEND)+Tpp" должно совпадать со временем "PTS2(2ndSTART)".
STC_delta = PTS1(1stEND)+Tpp-PTS2(2ndSTART)
Здесь, таблица выбора базового потока и таблица выбора расширенного потока рассматриваются. Когда вышеописанное прозрачное соединение должно быть реализовано, требуется то, чтобы таблицы были одинаковыми для непрерывных двух фрагментов информации элемента воспроизведения. Тем не менее, таблица выбора базового потока и таблица выбора расширенного потока могут различаться по способу задания файла.
ES в двух файлах потока и ES, мультиплексированные в одном клипе, могут быть соединены прозрачно, когда одни ES разрешены как в таблице выбора базового потока, так и в таблице выбора расширенного потока, при условии, что потоки имеют идентичные атрибуты потока и т.д.
Другими словами, информация элемента воспроизведения для перемежения 2TS и информация элемента воспроизведения для мультиплексирования 1TS может соединяться между собой, когда идентичные ES разрешены как в таблице выбора базового потока, так и в таблице выбора расширенного потока.
Вышеописанные соединения возникают в следующих случаях:
a) соединение информации элемента воспроизведения в многоракурсной секции;
b) соединение информации элемента воспроизведения для содержимого диска и загруженного содержимого; и
c) соединение информации элемента воспроизведения для движущегося изображения и неподвижного изображения.
Фиг. 89A и 89B показывают формы для прозрачного соединения двух элементов воспроизведения. Фиг. 89A показывает структуру для прозрачного соединения потоков в двух файлах с клипами и потоков, мультиплексированных в одном клипе.
Фиг. 89B показывает задание In_Time и Out_Time в субэлементе воспроизведения. Субэлементы воспроизведения, включенные в подпути типов 8, 9, 10, имеют идентичное начальное и конечное время в качестве соответствующей информации элемента воспроизведения.
(Семнадцатый вариант осуществления)
Настоящий вариант осуществления предлагает, чтобы, когда совместно используемый для трехмерного/двумерного режима блок B[i]ss данных и блок B[i]2D данных только для двумерного режима предоставляются в каждом слое для записи многослойного оптического диска, предоставлялся путь воспроизведения, который воспроизводится через эти блоки данных.
Согласно записи файлов потока, раскрытых в предыдущем варианте осуществления, блок B[i]ss данных только для трехмерного режима и блок B[i]2D данных только для двумерного режима записываются непосредственно перед межслойной границей. Таким образом, новый подпуть задается как трехмерный обходной путь для переключения между файлами, на которые ссылаются в межслойной границе устройство двумерного воспроизведения и устройство трехмерного воспроизведения.
Фиг. 90A-90C показывают типы подпутей для переключения между файлами в межслойной границе. Фиг. 90A показывает, что: когда тип подпути равен "8", подпуть является видом для зависимого просмотра для LR; когда тип подпути равен "9", подпуть является видом для зависимого просмотра для глубины; а когда тип подпути равен "10", подпуть является трехмерным обходным путем для переключения между файлами, на которые ссылаются в межслойной границе устройство двумерного воспроизведения и устройство трехмерного воспроизведения. Когда нет необходимости переключаться между двумерным и трехмерным режимом в одном списке воспроизведения, список воспроизведения может разделяться.
В диске только для трехмерного режима (без выделения для устройства двумерного воспроизведения), не используется обход посредством подпути типа "10", а воспроизводится клип, на который ссылается информация элемента воспроизведения.
Фиг. 90B показывает AV-клипы, составляющие подпути с типами подпутей "8" и "9". Фиг. 90C показывает AV-клипы, составляющие подпуть с типом подпути "10". Как описано выше в других вариантах осуществления, AV-клип для двумерного воспроизведения и AV-клип для трехмерного воспроизведения должны отделяться друг от друга в позиции, такой как межслойная граница, в которой осуществляется длинный переход. Именно поэтому субэлемент воспроизведения с типом подпути "10" состоит из AV-клипа 2 и AV-клипа 3.
(Восемнадцатый вариант осуществления)
В вариантах осуществления выше, таблица выбора расширенного потока поддерживает 3D-LR-способ и режим "1 плоскость + смещение". Настоящий вариант осуществления также предоставляет описание таблицы выбора расширенного потока, которая поддерживает способ трехмерной глубины.
Далее поясняется то, как описывать последовательности регистрации потоков для разрешения воспроизведения потока первичного видео и потока первичного аудио.
Фиг. 91 показывает один пример того, как описывать, с помощью исходного кода, последовательности регистрации потоков для разрешения воспроизведения потока первичного видео и потока первичного аудио.
Первый оператор "for" задает последовательность регистрации потоков потока первичного видео и является оператором цикла, который задает "dependent_view_is_available", "depth_is_available" и два оператора "if" столько раз, сколько составляет число потоков первичного видео.
"Dependent_view_is_available" указывает, существует или нет блок данных для просмотра правым глазом. "Depth_is_available" указывает, существует или нет блок данных для глубины. Когда такой блок данных существует, "Stream_entry" в этом цикле включает в себя PID для идентификации файла с клипами, которая соответствует блоку данных, и для идентификации целевых данных в файле с клипами.
Оператор "if", условное выражение которого - это "dependent_view_is_available" в операторе "for", указывает, что запись потока и атрибут потока добавляются, если "dependent_view_is_available" является допустимым.
Оператор "if", условное выражение которого - это "depth_is_available" в операторе "for", указывает, что запись потока и атрибут потока добавляются, если "depth_is_available" является допустимым.
Второй оператор "for" задает последовательность регистрации потоков потока первичного аудио и является оператором цикла, который задает "replace_3D_audio_stream", запись потока и атрибут потока столько раз, сколько составляет число потоков первичного аудио.
"Replace_3D_audio_stream" указывает, должен или нет аудиопоток заменяться во время выполнения режима трехмерного воспроизведения.
(Поток субтитров PG_text)
Далее поясняется то, как описывать последовательности регистрации потоков для разрешения воспроизведения потока субтитров PG_text. Это поясняется таким образом, что обнаруживается то, существуют или нет данные LR-способа и информация глубины, в соответствии с одним номером потока, и необходимые файлы указываются.
Фиг. 92 показывает один пример того, как описывать, с помощью исходного кода, последовательности регистрации потоков для потока субтитров PG_text.
Оператор "for" на чертеже задает цикл, в котором "offset_is_available", указывающий то, допустимо или нет смещение, "LR_streams_are_available", указывающий то, допустим или нет LR-способ, "Depth_stream_is_available", указывающий то, допустим или нет способ трехмерной глубины, и три оператора "if" повторяются столько раз, сколько составляет число потоков текстовых субтитров.
Оператор "if", условное выражение которого - это "offset_is_available", указывает, что запись потока и атрибут потока добавляются, если "offset_is_available" является допустимым.
Оператор "if", условное выражение которого - это "LR_streams_are_available", указывает, что запись потока для просмотра левым глазом, запись потока для просмотра правым глазом и атрибут потока добавляются, если "LR_streams_are_available" является допустимым.
Оператор "if", условное выражение которого - это "Depth_stream_is_available", указывает, что запись потока и атрибут потока добавляются, если "Depth_stream_is_available" является допустимым.
(IG-поток)
Далее поясняется то, как описывать последовательности регистрации потоков для разрешения воспроизведения потока субтитров PG_text.
Фиг. 93 показывает один пример того, как описывать последовательности регистрации потоков для IG-потока.
Оператор "for" на чертеже включает в себя "offset_is_available", "LR_streams_are_available", "Depth_stream_is_available" и три оператора "if" столько раз, сколько составляет число потоков текстовых субтитров.
Оператор "if", условное выражение которого - это "offset_is_available", указывает, что запись потока и атрибут потока добавляются, если "offset_is_available" является допустимым.
Оператор "if", условное выражение которого - это "LR_streams_are_available", указывает, что запись потока для просмотра левым глазом, запись потока для просмотра правым глазом и атрибут потока добавляются, если "LR_streams_are_available" является допустимым.
Оператор "if", условное выражение которого - это "Depth_stream_is_available", указывает, что запись потока и атрибут потока добавляются, если "Depth_stream_is_available" является допустимым.
Фиг. 94 показывает один пример того, как описывать последовательности регистрации потоков для потока вторичного аудио и потока вторичного видео.
(Поток вторичного аудио)
Далее поясняется то, как описывать последовательности регистрации потоков для разрешения воспроизведения потока вторичного аудио.
Первый оператор "for" формирует цикл, в котором набор из "replace_3D_audio_stream", записи потока и атрибута потока задается столько раз, сколько составляет число потоков вторичного аудио. "Replace_3D_audio_stream" указывает, должен или нет поток вторичного аудио заменяться во время выполнения режима трехмерного воспроизведения.
Второй оператор "for" включает в себя пару "dependent_view_is_available" и "Depth_is_available" и два оператора "if".
Оператор "if", условное выражение которого - это "dependent_view_is_available", указывает, что запись потока и атрибут потока добавляются, если "dependent_view_is_available" является допустимым.
Оператор "if", условное выражение которого - это "Depth_is_available", указывает, что запись потока и атрибут потока добавляются, если "Depth_is_available" является допустимым.
(Поток вторичного видео)
Далее поясняется то, как описывать последовательности регистрации потоков для разрешения воспроизведения потока вторичного видео.
Второй оператор "for" - это оператор цикла, в котором "dependent_view_is_available", "Depth_is_available" и два оператора "if" задаются столько раз, сколько составляет число потоков вторичного видео.
Оператор "if", условное выражение которого - это "dependent_view_is_available" в операторе "for", указывает, что запись потока и атрибут потока добавляются, если "dependent_view_is_available" является допустимым.
Оператор "if", условное выражение которого - это "Depth_is_available" в операторе "for", указывает, что запись потока и атрибут потока добавляются, если "Depth_is_available" является допустимым.
Как описано выше, согласно настоящему варианту осуществления, можно создавать таблицу выбора расширенного потока, которая может поддерживать способ трехмерной глубины, а также 3D-LR-способ и режим "1 плоскость + смещение".
(Девятнадцатый вариант осуществления)
Настоящий вариант осуществления поясняет смещение плоскости потока текстовых субтитров.
Поток текстовых субтитров (textST) не мультиплексируется в AV-потоке. Соответственно, когда поток текстовых субтитров должен воспроизводиться, существенные данные потока текстовых субтитров и шрифты, которые используются для того, чтобы расширять текст, должны предварительно загружаться в запоминающее устройство. Кроме того, то, какие языки потоков текстовых субтитров могут обычно отображаться, задается во флагах возможностей поддержки, предоставленных в соответствии с языковыми кодами в устройстве воспроизведения BD-ROM. С другой стороны, на флаги возможностей поддержки не обязательно ссылаться, когда воспроизводится субтитр посредством PG-потока. Это обусловлено тем, что субтитр посредством PG-потока может воспроизводиться только посредством расширения сжатого по длинам серий субтитра.
Выше описана общая структура потока текстовых субтитров. Далее описывается усовершенствование потока текстовых субтитров, уникального для режима трехмерного воспроизведения. Для потока текстовых субтитров (состоящего из TS-пакетов 0x1801), который является целевым объектом воспроизведения в режиме "1 плоскость + смещение (3D-LR)" и режиме трехмерной глубины, смещение плоскости может обновляться в единице кадров, и структура палитры для плоскости может добавляться. Они реализуются, чтобы отвечать такой потребности, что для того, чтобы изменять глубину плавно, только информация смещения должна отправляться для каждого кадра в декодер текстовых субтитров.
С помощью различий между двумя фрагментами информации смещения можно изменять глубину линейно во времени. Также можно изменять смещение посредством плавного регулирования скорости посредством линейного дополнения интервала между двумя точками.
Фиг. 95 является графиком, указывающим временное изменение смещения плоскости потока текстовых субтитров. На фиг. 95 пунктирная линия указывает нелинейное добавление, а сплошная линия указывает линейное добавление.
Как описано выше, согласно настоящему варианту осуществления, линейное добавление и нелинейное добавление могут использоваться для того, чтобы задавать смещение плоскости. Это позволяет плавно изменять уровень выхода за пределы субтитра.
(Двадцатый вариант осуществления)
Настоящий вариант осуществления относится к усовершенствованию запоминающего устройства плоскости, существующего в самом нижнем слое в многослойной модели плоскости. Запоминающее устройство плоскости называется запоминающим устройством фоновой плоскости и сохраняет фоновое изображение (обои). Данные, хранимые в запоминающем устройстве фоновой плоскости, используются как фоновое изображение (обои), когда всплывающее меню интерактивной графики воспроизводится или когда BD-J-приложение отображает всплывающее меню. В настоящем варианте осуществления данные, хранимые в фоновой плоскости, изменяются так, что формат отображения изменяется, когда поток первичного видео переключается между двумерным и трехмерным режимом. Фиг. 96 показывает I-изображение, составляющее фоновое изображение. Чтобы задавать фоновое изображение (обои), JPEG или I-кадр указывается для каждого из L и R. Когда выполняется переключение между двумерным и трехмерным режимом, левое или правое изображение, которое указывается посредством атрибута MainView (= L или R), отображается.
(Двадцать первый вариант осуществления)
Устройство 200 воспроизведения, приведенное в варианте осуществления 8, содержит локальное устройство хранения, включающее в себя накопитель на встроенных носителях и накопитель на съемных носителях, и имеет структуру с учетом того, что данные записываются в эти хранилища. Это указывает то, что устройство воспроизведения настоящей заявки также имеет функцию записывающего устройства. Когда устройство 200 воспроизведения выступает в качестве записывающего устройства, информация списка воспроизведения, включающая в себя таблицу выбора расширенного потока, записывается следующим образом.
i) Когда устройство 200 воспроизведения имеет такую функцию, чтобы принимать услугу изготовления по запросу или услугу электронной розничной торговли (MODEST), запись BD-J-объекта выполняется следующим образом.
Другими словами, когда устройство 200 воспроизведения принимает предоставление BD-J-объекта посредством услуги изготовления по запросу или услуги электронной розничной торговли (MODEST), каталог по умолчанию и каталог MODEST создаются согласно корневому каталогу съемного носителя, и каталог BDMV создается в рамках каталога MODEST. Этот каталог MODEST является первым каталогом MODEST, который создается, когда услуга принимается в первый раз. Когда пользователь принимает услугу во второй раз или далее, модуль управления в устройстве 200 воспроизведения создает каталог MODEST, который соответствует услуге второго раза или далее.
Как описано выше, после получения информации списка воспроизведения модуль управления записывает запускающую программу в каталог по умолчанию и записывает BD-J-объект в каталог BDMV в рамках каталога по умолчанию. Запускающая программа - это программа, которая должна выполняться первой, когда носитель записи загружается в устройство 200 воспроизведения. Запускающая программа инструктирует устройству 200 воспроизведения отображать меню для приема от пользователя операции для выбора каталога BDMV и инструктирует устройству 200 воспроизведения выполнять функцию изменения маршрута. Функция изменения корневого каталога - это функция, которая, когда пользователь выполняет операцию выбора для меню, инструктирует ему распознавать каталог MODEST, которому выбранный каталог BDMV принадлежит, как корневой каталог. С помощью функции изменения корневого каталога можно выполнять управление воспроизведением на основе информации списка воспроизведения, полученной посредством управляющей процедуры, идентичной процедуре для воспроизведения BD-ROM.
ii) Реализация как записывающего устройства, реализующего управляемое копирование
Записывающее устройство может записывать цифровой поток управляемым копированием.
TM
Управляемое копирование является технологией, при которой, когда цифровой поток, информация списка воспроизведения, информация о клипах или прикладная программа должна быть скопирована с неперезаписываемого носителя записи, такого как BD-ROM, на другой оптический диск (BD-R, BD-RE, DVD-R, DVD-RW, DVD-RAM и т.п.), жесткий диск, съемный носитель (карта памяти в формате SD, карта памяти, карта памяти в формате Compact Flash, носитель типа смарт-карта, мультимедийная карта и т.п.) имеет связь с сервером, чтобы выполнять аутентификацию, и разрешает копирование, только если аутентификация завершается успешно. Эта технология позволяет выполнять операции управления, такие как ограничение числа операций резервного копирования и разрешение резервного копирования только платно.
Когда копирование с BD-ROM на BD-R или BD-RE должно выполняться, и источник копирования и назначение копирования имеют одинаковую емкость записи, управляемое копирование требует только последовательного копирования потока битов на BD-ROM от крайней внутренней окружности к крайней внешней окружности.
Когда управляемое копирование является копированием, которое предполагает копирование между различными типами носителей, транскодирование необходимо. Здесь, "транскодирование" означает процесс для адаптации цифрового потока, записанной на BD-ROM, к формату приложения носителя назначения копирования посредством преобразования формата цифрового потока из формата транспортного потока MPEG2 в формат программного потока MPEG2 и т.п. или повторного кодирования после уменьшения скоростей передачи битов, назначенных видеопотоку и аудиопотоку. При транскодировании, необходимо получать AV-клип, информацию о клипах и информацию списка воспроизведения посредством выполнения вышеописанного процесса записи в реальном времени.
Как описано выше, согласно настоящему варианту осуществления, можно реализовывать устройства воспроизведения, описанные в предыдущих вариантах осуществления как устройства записи/воспроизведения сдвоенного типа.
(Двадцать второй вариант осуществления)
Настоящий вариант осуществления относится к усовершенствованию аудиопотока.
Способы кодирования аудиопотока включают в себя DD/DD+, DTS-HD и DD/MLP, а также LPCM. Аудиокадр аудиопотоков, кодированных посредством таких способов кодирования, как DD/DD+, DTS-HD и DD/MLP, состоит из базовых данных и расширенных данных. Базовыми данными и расширенными данными DD/DD+ являются, соответственно, независимый субпоток и зависимый субпоток; базовыми данными и расширенными данными DTS-HD являются, соответственно, базовый субпоток и расширенный субпоток; и данными и расширенными данными DD/MLP являются, соответственно, DD-данные и MLP-аудио.
Чтобы поддерживать эти способы кодирования, устройство воспроизведения содержит: регистр конфигурации, который указывает, для каждого способа кодирования, присутствуют или нет возможности поддержки стереовоспроизведения или возможности поддержки объемного воспроизведения; регистр языковых настроек, который указывает языковую настройку устройства воспроизведения; и регистр номеров потоков, который сохраняет номер аудиопотока для аудиопотока, который является целевым объектом воспроизведения. Так же, чтобы выбирать целевой объект воспроизведения из числа множества аудиопотоков, устройство воспроизведения выполняет процедуру, которая определяет то, какие из множества условий удовлетворяются посредством каждого из множества аудиопотоков, записанных на носитель записи, и выбирает аудиопоток на основе комбинации условий, удовлетворяемых посредством каждого аудиопотока.
Множество условий включает в себя первое, второе и третьи условия. Первое условие состоит в том, может или нет аудиопоток воспроизводиться, что определяется посредством сравнения способа кодирования аудиопотока со значением, заданным в регистре конфигурации. Второе условие состоит в том, совпадают или нет языковые атрибуты, что определяется посредством сравнения языкового кода аудиопотока со значением, заданным в регистре языковых настроек. Третье условие состоит в том, может или нет объемный вывод выполняться, что определяется посредством сравнения числа каналов аудиопотока со значением, заданным в регистре конфигурации.
Когда нет аудиопотока, который удовлетворяет всем из первого, второго и третьего условий, аудиопоток, который, из аудиопотоков, удовлетворяющих первому и второму условиям, является первым, зарегистрированным в STN_table, выбирается, и номер потока выбранного аудиопотока задается в регистре номеров потоков (PSR1) в устройстве воспроизведения. При этой процедуре оптимальный аудиопоток выбирается. Регистр настроек в устройстве воспроизведения включает в себя первую группу флагов, соответствующих базовым данным множества способов кодирования, и вторую группу флагов, соответствующую расширенным данным множества способов кодирования. Первая группа флагов состоит из множества флагов, которые указывают, для каждого способа кодирования, то, может или нет обрабатываться объемный вывод базовых данных. Вторая группа флагов состоит из множества флагов, которые указывают, для каждого способа кодирования, то, может или нет обрабатываться объемный вывод расширенных данных.
На аудиопотоки не оказывает влияния способ воспроизведения телевизионного приемника. Таким образом, аудиопотоки могут быть совместно использованы посредством двумерного режима и трехмерного режима, если аудиопотоки, имеющие звуковой эффект и локализацию в канале 5.1 и т.п., записываются.
Двумерный режим и трехмерный режим в формате отображения отличаются по визуальному отображению. Вышеописанные способы кодирования, приспособленные в аудиопотоках, могут локализовывать звук перед отображением с использованием многоканального режима, к примеру, канала 5.1.
В вышеуказанном случае расширенное многоканальное воспроизведение доступно только в устройствах воспроизведения, которые поддерживают способ многоканального расширения. Вышеописанные способы кодирования уже поддерживают способ многоканального расширения, и нет необходимости изменять аудио между двумерным режимом и трехмерным режимом.
Тем не менее, если требуется, чтобы двумерный режим и трехмерный режим имели различные локализации источника звука, расширенные части, которые могут воспроизводиться только посредством устройств трехмерного воспроизведения, могут задаваться в аудиопотоках, или аудио, которое должно воспроизводиться, может переключаться между двумерным режимом и трехмерным режимом.
Чтобы режим двумерного воспроизведения и режим трехмерного воспроизведения имели различные локализации источника звука и т.п., расширенные данные для режима трехмерного воспроизведения задаются в единице аудиодоступа, составляющей аудиопоток, и последовательность регистрации потоков для аудиопотока задается в таблице выбора расширенного потока так, что различные TS-пакеты демультиплексируются в режиме двумерного воспроизведения и режиме трехмерного воспроизведения. Кроме того, затем, в режиме трехмерного воспроизведения, аудиопоток для режима трехмерного воспроизведения воспроизводится. Таким образом, локализация источника звука, уникальная для режима трехмерного воспроизведения, может быть реализована.
Тем не менее, даже когда различные аудиопотоки воспроизводятся в режиме двумерного воспроизведения и режиме трехмерного воспроизведения, потоки, имеющие идентичный номер потока, должны иметь идентичный языковой атрибут. Относительно номера потока не должно быть аудио, которое может воспроизводиться только в двумерном режиме, или аудио, которое может воспроизводиться только в трехмерном режиме. Это правило необходимо для того, чтобы не допускать запутывание пользователя, когда осуществляется переключение между режимом двумерного воспроизведения и режимом трехмерного воспроизведения.
Даже когда различные аудиопотоки подготавливаются к режиму двумерного воспроизведения и режиму трехмерного воспроизведения, соответственно, языковой атрибут аудиопотока для двумерного режима должен быть задан согласованным с языковым атрибутом аудиопотока для трехмерного режима.
(Двадцать третий вариант осуществления)
Настоящий вариант осуществления описывает примерную структуру устройства воспроизведения для воспроизведения данных со структурой, описанной в предыдущем варианте осуществления, которое реализуется посредством использования интегральной схемы 603.
Фиг. 97 показывает примерную структуру устройства двумерного/трехмерного воспроизведения, которое реализуется посредством использования интегральной схемы.
Модуль 601 интерфейса носителя принимает (считывает) данные из носителя и передает данные в интегральную схему 603. Следует отметить, что модуль 601 интерфейса носителя принимает данные структуры, описанной в предыдущем варианте осуществления. Модулем 601 интерфейса носителя является, например: накопитель, когда носителем является оптический или жесткий диск; интерфейс платы, когда носителем является полупроводниковое запоминающее устройство, такое как SD-карта или запоминающее устройство USB; CAN-тюнер или Si-тюнер, когда носителем являются широковещательные волны, в том числе и CATV; или сетевой интерфейс, когда носителем является Ethernet, беспроводная LAN или линия беспроводной связи общего пользования.
Запоминающее устройство 602 является запоминающим устройством для временного сохранения данных, принимаемых (считываемых) из носителя, и данных, которые обрабатываются посредством интегральной схемы 603. Например, SDRAM (синхронное динамическое оперативное запоминающее устройство), DDRx SDRAM (синхронное динамическое оперативное запоминающее устройство с удвоенной скоростью передачи данных x; x=1, 2, 3 …), и т.п. используется как запоминающее устройство 602. Следует отметить, что число запоминающих устройств 602 не является фиксированным, а может составлять одно или два, или более, в зависимости от необходимости.
Интегральная схема 603 является системной LSI для выполнения видео-аудиообработки для данных, передаваемых из модуля 601 интерфейса, и включает в себя главный модуль 606 управления, процессор 605 потоков, процессор 607 сигналов, модуль 609 управления запоминающим устройством и модуль 608 AV-вывода.
Главный модуль 606 управления включает в себя ядро процессора, имеющее таймерную функцию и функцию обработки прерываний. Ядро процессора управляет интегральной схемой 603 в целом согласно программе, сохраненной в запоминающем устройстве программ и т.п. Следует отметить, что базовое программное обеспечение, такое как OS (системное программное обеспечение), заранее сохраняется в запоминающем устройстве программ и т.п.
Процессор 605 потоков, под управлением главного модуля 606 управления, принимает данные, передаваемые из носителя через модуль 601 интерфейса, и сохраняет их в запоминающее устройство 602 через шину данных в интегральной схеме 603. Процессор 605 потоков, под управлением главного модуля 606 управления, также разделяет принимаемые данные на базовые видеоданные и базовые аудиоданные. Как описано выше, на носителе AV-клипы для двумерного/L видеопотока для просмотра левым глазом включения и AV-клипы для R, включающие в себя видеопоток для просмотра правым глазом, размещаются перемеженным способом в состоянии, когда каждый клип разделяется на определенное число экстентов. Соответственно, главный модуль 606 управления выполняет управление так, что когда интегральная схема 603 принимает данные для левого глаза, включающие в себя видеопоток для просмотра левым глазом, принимаемые данные сохраняются в первой зоне в запоминающем устройстве 602; а когда интегральная схема 603 принимает данные для правого глаза, включающие в себя видеопоток для просмотра правым глазом, принимаемые данные сохраняются во второй зоне в запоминающем устройстве 602. Следует отметить, что данные для левого глаза принадлежат экстенту для левого глаза, и данные для правого глаза принадлежат экстенту для правого глаза. Также заметка, что первая и вторая зоны в запоминающем устройстве 602 могут быть зонами, сформированными посредством логического разделения запоминающего устройства, или могут быть физически различными запоминающими устройствами.
Процессор 607 сигналов, под управлением главного модуля 606 управления, декодирует, соответствующим способом, базовые видеоданные и базовые аудиоданные, разделяемые посредством процессора 605 потоков. Базовые видеоданные записаны после кодирования посредством такого способа, как MPEG-2, MPEG-4 AVC, MPEG-4 MVC или SMPTE VC-1. Кроме того, базовые аудиоданные записаны после кодирования со сжатием посредством такого способа, как Dolby AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD или Линейный PCM. Таким образом, процессор 607 сигналов декодирует базовые видеоданные и базовые аудиоданные способами, соответствующими им. Моделями процессора 607 сигналов являются различные декодеры варианта осуществления 9, показанного на фиг. 65.
Модуль 609 управления запоминающим устройством регулирует доступы к запоминающему устройству 602 посредством функциональных блоков в интегральной схеме.
Модуль 608 AV-вывода, под управлением главного модуля 606 управления, выполняет наложение базовых видеоданных, декодированных посредством процессора 607 сигналов, или преобразование формата базовых видеоданных и т.п., и выводит данные, подвергнутые таким процессам, за пределы интегральной схемы 603.
Фиг. 98 является функциональной блок-схемой, показывающей типичную структуру процессора 605 потоков. Процессор 605 потоков включает в себя модуль 651 интерфейса потоков в устройстве, модуль 652 демультиплексирования и модуль 653 переключения.
Модуль 651 интерфейса потоков в устройстве является интерфейсом для передачи данных между модулем 601 интерфейса и интегральной схемой 603. Модуль 651 интерфейса потоков в устройстве может быть следующим: SATA (последовательный интерфейс ATA), ATAPI (пакетный интерфейс ATA) или PATA (параллельный интерфейс ATA), когда носителем является оптический диск или жесткий диск; интерфейс платы, когда носителем является полупроводниковое запоминающее устройство, такое как SD-карта или запоминающее устройство USB; интерфейс тюнера, когда носителем являются широковещательные волны, в том числе и CATV; или сетевой интерфейс, когда носителем является Ethernet, беспроводная LAN или линия беспроводной связи общего пользования. Модуль 651 интерфейса потоков в устройстве может иметь часть функции модуля 601 интерфейса, или модуль 601 интерфейса может встраиваться в интегральную схему 603, в зависимости от типа носителя.
Модуль 652 демультиплексирования разделяет данные для воспроизведения, передаваемые из носителя, включающего в себя видео и аудио, на базовые видеоданные и базовые аудиоданные. Каждый экстент, описанный ранее, состоит из исходных пакетов видео, аудио, PG (субтитр), IG (меню) и т.п. (зависимые исходные пакеты могут не включать в себя аудио). Модуль 652 демультиплексирования разделяет на данные для воспроизведения на базовые видео-TS-пакеты и базовые аудио-TS-пакеты на основе PID (идентификатора), включенного в каждый исходный пакет. Модуль 652 демультиплексирования передает данные после разделения в процессор 607 сигналов. Моделью модуля 652 демультиплексирования является, например, модуль депакетирования источников и PID-фильтр варианта осуществления 9, показанного на фиг. 65.
Модуль 653 переключения переключает назначение вывода (назначение хранения) так, что когда модуль 651 интерфейса потоков в устройстве принимает данные для левого глаза, принимаемые данные сохраняются в первой зоне в запоминающем устройстве 602; а когда интегральная схема 603 принимает данные для правого глаза, принимаемые данные сохраняются во второй зоне в запоминающем устройстве 602. Здесь, модулем 653 переключения является, например, DMAC (контроллер прямого доступа к памяти). Фиг. 99 является концептуальной блок-схемой, показывающей модуль 653 переключения и периферийное устройство, когда модулем 653 переключения является DMAC. DMAC, под управлением главного модуля 606 управления, передает данные, принимаемые посредством интерфейса потоков в устройстве, и адрес назначения хранения данных в модуль 609 управления запоминающим устройством. Более конкретно, DMAC переключает назначение вывода (назначение хранения) в зависимости от принимаемых данных посредством передачи адреса 1 (первой зоны хранения) в модуль 609 управления запоминающим устройством, когда интерфейс потоков в устройстве принимает данные для левого глаза, и передачи адреса 2 (второй зоны хранения) в модуль 609 управления запоминающим устройством, когда интерфейс потоков в устройстве принимает данные для правого глаза. Модуль 609 управления запоминающим устройством сохраняет данные в запоминающее устройство 602 в соответствии с адресом назначения хранения, отправляемым от DMAC. Следует отметить, что выделенная схема для управления модулем 653 может предоставляться вместо главного модуля 606 управления.
В вышеприведенном описании модуль 651 интерфейса потоков в устройстве, модуль 652 демультиплексирования и модуль 653 переключения поясняются как типичная структура процессора 605 потоков. Тем не менее, процессор 605 потоков дополнительно может включать в себя модуль механизма шифрования для расшифровки принимаемых зашифрованных данных, ключевых данных и т.п., модуль управления безопасностью для управления выполнением протокола аутентификации устройств между носителем и устройством воспроизведения и для хранения секретного ключа и контроллер для прямого доступа к памяти. Выше пояснено, что когда данные, принимаемые из носителя, сохраняются в запоминающее устройство 602, модуль 653 переключения переключает назначение хранения в зависимости от того, являются принимаемые данные данными для левого глаза или данными для правого глаза. Тем не менее, без ограничения этим, данные, принимаемые из носителя, могут быть временно сохранены в запоминающее устройство 602 и затем, когда данные должны быть переданы в модуль 652 демультиплексирования, данные могут разделяться на данные для левого глаза и данные для правого глаза.
Фиг. 100 является функциональной блок-схемой, показывающей типичную структуру модуля 608 AV-вывода. Модуль 608 AV-вывода включает в себя модуль 681 наложения изображений, модуль 682 преобразования формата видеовывода и модуль 683 интерфейса аудио/видеовывода.
Модуль 681 наложения изображений накладывает декодированные базовые видеоданные. Более конкретно, модуль 681 наложения изображений накладывает PG (субтитр) и IG (меню) на видеоданные для просмотра левым глазом или видеоданные для просмотра правым глазом в единицах изображений. Моделью модуля 681 наложения изображений является, например, вариант осуществления 11 и фиг. 71.
Модуль 682 преобразования формата видеовывода выполняет следующие процессы и т.п. по мере необходимости: процесс изменения размеров для увеличения или уменьшения декодированных базовых видеоданных; процесс IP-преобразования для преобразования способа сканирования с построчного способа на чересстрочный способ и наоборот; процесс уменьшения уровня шума для удаления шума; и процесс преобразования частоты кадров для преобразования частоты кадров.
Модуль 683 интерфейса аудио/видеовывода кодирует, в соответствии с форматом передачи данных, базовые видеоданные, которые подвергнуты наложению изображений и преобразованию формата, и декодированные базовые аудиоданные. Следует отметить, что, как описано ниже, модуль 683 интерфейса аудио/видеовывода может предоставляться вне интегральной схемы 603.
Фиг. 101 является примерной структурой, подробнее показывающей модуль 608 AV-вывода или часть вывода данных устройства воспроизведения. Интегральная схема 603 настоящего варианта осуществления и устройства воспроизведения поддерживает множество форматов передачи данных для базовых видеоданных и базовых аудиоданных. Модуль 683 интерфейса аудио/видеовывода, показанный на фиг. 100, соответствует модулю 683a интерфейса аналогового видеовывода, модулю 683b интерфейса цифрового видео/аудиовывода и модулю 683c интерфейса аналогового аудиовывода.
Модуль 683a интерфейса аналогового видеовывода преобразует и кодирует базовые видеоданные, которые подвергнуты процессу наложения изображений и процессу преобразования формата вывода, в формат аналогового видеосигнала и выводит результат преобразования. Модулем 683a интерфейса аналогового видеовывода является, например: составной видеокодер, который поддерживает любой из способа NTSC, способа PAL и способа SECAM; кодер для сигнала S-видео (с Y/C-разделением); кодер для компонентного видеосигнала; или DAC (цифроаналоговый преобразователь).
Модуль 683b интерфейса цифрового видео/аудиовывода синтезирует декодированные базовые аудиоданные с базовыми видеоданными, подвергнутыми наложению изображений и преобразованию формата вывода, шифрует синтезированные данные, кодирует в соответствии со стандартом передачи данных и выводит кодированные данные. Модулем 683b интерфейса цифрового видео/аудиовывода является, например, HDMI (мультимедийный интерфейс высокой четкости).
Модуль 683c интерфейса аналогового аудиовывода, которым является аудио-DAC и т.п., выполняет цифроаналоговое преобразование для декодированных базовых аудиоданных и выводит аналоговые аудиоданные.
Формат передачи базовых видеоданных и базовых аудиоданных может переключаться в зависимости от устройства приема данных (терминала ввода данных), поддерживаемого посредством дисплейного устройства/динамика, или может переключаться в соответствии с выбором пользователем. Кроме того, можно передавать множество фрагментов данных, соответствующих одному содержимому, параллельно посредством множества форматов передачи, без ограничения передачей посредством одного формата передачи.
В вышеприведенном описании модуль 681 наложения изображений модуль 682 преобразования формата видеовывода и модуль 683 интерфейса аудио/видеовывода поясняются как типичная структура модуля 608 AV-вывода. Тем не менее, модуль 608 AV-вывода дополнительно может включать в себя, например, модуль графического механизма для выполнения графической обработки, такого как процесс фильтрации, синтезирование изображений, рисование кривых и трехмерное отображение.
На этом завершается описание структуры устройства воспроизведения в настоящем варианте осуществления. Следует отметить, что все функциональные блоки, включенные в интегральную схему 603, могут не быть встроенными, и что, наоборот, запоминающее устройство 602, показанное на фиг. 97, может встраиваться в интегральную схему 603. Кроме того, в настоящем варианте осуществления, главный модуль 606 управления и процессор 607 сигналов описаны как различные функциональные блоки. Тем не менее, без ограничения этим, главный модуль 606 управления может выполнять часть процесса, выполняемого посредством процессора 607 сигналов.
Маршрут шин управления и шин данных в интегральной схеме 603 разрабатывается произвольным способом в зависимости от процедуры обработки каждого блока обработки или содержимого обработки. Тем не менее, шины данных могут размещаться так, что блоки обработки соединяются непосредственно, как показано на фиг. 102, или могут размещаться так, что блоки обработки соединяются через запоминающее устройство 602 (модуль 609 управления запоминающим устройством), как показано на фиг. 103.
Интегральная схема 603 может быть многокристальным модулем, который формируется посредством оформления множества микросхем как одного комплекта, и ее внешним видом является одна LSI. Также можно реализовывать системную LSI с использованием FPGA (программируемой пользователем вентильной матрицы), которая может быть перепрограммирована после изготовления LSI, или реконфигурируемого процессора, в котором соединения и компоновка схемных элементов в рамках LSI могут быть переконфигурированы.
Далее поясняется работа устройства воспроизведения, имеющего вышеописанную структуру.
Фиг. 104 является блок-схемой последовательности операций способа, показывающей процедуру воспроизведения, в которой данные принимаются (считываются) из носителя, декодируются и выводятся как видеосигнал и аудиосигнал.
S601: данные принимаются (считываются) из носителя (модуль 601 интерфейса->процессор 605 потоков).
S603: данные, принимаемые (считываемые) на S601, разделяются на различные данные (базовые видеоданные и базовые аудиоданные) (процессор 605 потоков).
S603: различные данные, сформированные посредством разделения на S602, декодируются посредством соответствующего формата (процессор 607 сигналов).
S604: из различных данных, декодированных на S603, базовые видеоданные подвергаются процессу наложения (модуль 608 AV-вывода).
S605: базовые видеоданные и базовые аудиоданные, подвергнутые процессам на S602-S604, выводятся (модуль 608 AV-вывода).
Фиг. 105 является блок-схемой последовательности операций способа, показывающей подробную процедуру воспроизведения. Каждая из операций и процессов выполняется под управлением главного модуля 606 управления.
S701: модуль 651 интерфейса потоков в устройстве процессора 605 потоков принимает (считывает) данные (список воспроизведения, информацию о клипах и т.д.), которые отличаются от данных, хранимых на носителе, которые должны воспроизводиться, и необходимы для воспроизведения данных, через модуль 601 интерфейса и сохраняет принимаемые данные в запоминающее устройство 602 (модуль 601 интерфейса, модуль 651 интерфейса потоков в устройстве, модуль 609 управления запоминающим устройством, запоминающее устройство 602).
S702: главный модуль 606 управления распознает способ сжатия видео- и аудиоданных, сохраненных на носителе, посредством обращения к атрибуту потока, включенному в принимаемую информацию о клипах, и инициализирует процессор 607 сигналов так, что соответствующая обработка декодирования может выполняться (главный модуль 606 управления).
S703: модуль 651 интерфейса потоков в устройстве процессора 605 потоков принимает (считывает) данные видео/аудио, которое должно воспроизводиться, из носителя через модуль 601 интерфейса и сохраняет принимаемые данные в запоминающее устройство 602 через процессор 605 потоков и модуль 609 управления запоминающим устройством. Следует отметить, что данные принимаются (считываются) в единицах экстентов, и главный модуль 606 управления управляет модулем 653 переключения так, что когда данные для левого глаза принимаются (считываются), принимаемые данные сохраняются в первой зоне; а когда данные для правого глаза принимаются (считываются), принимаемые данные сохраняются во второй зоне, и модуль 653 переключения переключает назначение вывода данных (назначение хранения) (модуль 601 интерфейса, модуль 651 интерфейса потоков в устройстве, главный модуль 606 управления, модуль 653 переключения, модуль 609 управления запоминающим устройством, запоминающее устройство 602).
S704: данные, хранимые в запоминающем устройстве 602, передаются в модуль 652 демультиплексирования процессора 605 потоков, и модуль 652 демультиплексирования идентифицирует базовые видеоданные (основное видео, субвидео), PG (субтитр), IG (меню) и базовые аудиоданные (аудио, субаудио) на основе PID, включенных в исходные пакеты, составляющие потоковые данные, и передает данные в каждый соответствующий декодер в процессоре 607 сигналов в единицах TS-пакетов (модуль 652 демультиплексирования).
S705: каждый в процессоре 607 сигналов выполняет процесс декодирования для передаваемых TS-пакетов соответствующим способом (процессор 607 сигналов).
S706: из базовых видеоданных, декодированных посредством процессора 607 сигналов, данные, соответствующие видеопотоку для просмотра левым глазом и видеопотоку для просмотра правым глазом, изменяются на основе дисплейного устройства (модуль 682 преобразования формата видеовывода).
S707: PG (субтитр) и IG (меню) накладывается на видеопоток, измененный на S706 (модуль 681 наложения изображений).
S708: IP-преобразование, которое является преобразованием способа сканирования, выполняется для видеоданных после наложения на S707 (модуль 682 преобразования формата видеовывода).
S709: кодирование, цифроаналоговое преобразование и т.п. выполняется для базовых видеоданных и базовых аудиоданных, подвергнутых вышеописанных процессам, на основе формата вывода данных дисплейного устройства/динамик или формата передачи данных для передачи в дисплейное устройство/динамик. Составной видеосигнал, сигнал S-видео, компонентный видеосигнал и т.п. поддерживаются для аналогового вывода базовых видеоданных. Кроме того, HDMI поддерживается для цифрового устройства вывода базовых видеоданных и базовых аудиоданных (модуль 683 интерфейса аудио/видеовывода).
S710: базовые видеоданные и базовые аудиоданные, подвергнутые процессу на S709, выводятся и передаются на дисплейное устройство/динамик (модуль 683 интерфейса аудио/видеовывода, дисплейное устройство/динамик).
На этом завершается описание последовательности операций устройства воспроизведения в настоящем варианте осуществления. Следует отметить, что результат процесса может временно сохраняться в запоминающее устройство 602 каждый раз, когда процесс завершается. Кроме того, в вышеуказанной последовательности операций модуль 682 преобразования формата видеовывода выполняет процесс изменения размеров и процесс IP-преобразования. Тем не менее, без ограничения этим, процессы могут опускаться по мере необходимости, или другие процессы (процесс уменьшения уровня шума, процесс преобразования частоты кадров и т.д.) могут выполняться. Кроме того, процедуры обработки могут изменяться, если возможно.
<Дополнительные замечания>
Выше описано настоящее изобретение через оптимальные варианты осуществления, которые распознает заявитель к настоящему моменту. Тем не менее, дополнительные усовершенствования или изменения могут быть добавлены в отношении следующих технических разделов. То, выбирать или нет какой-либо из вариантов осуществления либо усовершенствований и изменений для того, чтобы реализовывать изобретение, является необязательным и может быть определено субъективностью разработчика.
(Соответствие между файлами)
В варианте осуществления 3, в качестве конкретного примера ассоциирования с использованием идентификационной информации идентификационный номер вида для просмотра правым глазом формируется посредством добавления "1" к идентификационному номеру вида для просмотра левым глазом. Тем не менее, без ограничения этим, идентификационный номер вида для просмотра правым глазом может быть сформирован посредством добавления "10000" к идентификационному номеру вида для просмотра левым глазом.
Когда способ связывания должен быть реализован, чтобы ассоциировать файлы посредством имен файлов, сторона устройства воспроизведения требует механизма для обнаружения связанных файлов и механизма для обнаружения файла на основе заранее определенного правила и воспроизведения файлов, на которые не ссылается список воспроизведения. Устройства воспроизведения с поддержкой трехмерного режима требуют вышеописанных механизмов, когда они используют любой из таких способов связывания. Тем не менее, при такой структуре, нет необходимости использовать различные типы списков воспроизведения, чтобы воспроизводить как двумерные, так и трехмерные изображения и можно выполнять с возможностью список воспроизведения работать безопасно в традиционных устройствах двумерного воспроизведения, которые уже широко распространены.
Как в способе глубины, в котором используется шкала полутонов, когда стереоскопическое изображение не может воспроизводиться только с одним потоком, необходимо отличать поток посредством назначения ему другого расширения, чтобы не допускать воспроизведение отдельно посредством устройства по ошибке. В связи с идентификацией файла, который не может воспроизводиться отдельно, необходимо не допускать запутывание пользователя, когда на трехмерный файл ссылаются из существующего устройства через DLNA (альянс цифровых домашних сетей). Можно реализовывать информацию по спариванию только посредством имен файлов посредством назначения одинакового номера файла и различных расширений.
(Способы стереоскопического просмотра)
Согласно способу параллактического изображения, используемому в варианте осуществления 1, для изображения левого глаза и для правого глаза отображаются поочередно в направлении временной оси. Как результат, например, когда 24 изображения отображаются в секунду в обычном двумерном фильме, 48 изображений, для комбинации изображений для левого глаза и для правого глаза, должны отображаться в секунду в трехмерном фильме. Соответственно, этот способ является подходящим для дисплейных устройств, которые перезаписывают каждый экран на относительно высоких скоростях. Стереоскопический просмотр с использованием параллактических изображений используется в развлекательных устройствах парков с аттракционами и установлен технологически. Следовательно, можно сказать, что этот способ в скором времени будет введен в бытовое практическое использование. Предложены различные другие технологии, такие как способ двухцветного разделения, в качестве способов для реализации стереоскопического просмотра с использованием параллактических изображений. В вариантах осуществления способ последовательной сегрегации и способ поляризационных очков использованы в качестве примеров. Тем не менее, настоящее изобретение не ограничено этими способами до тех пор, пока параллактические изображения используются.
Кроме того, без ограничения ступенчатой линзой, телевизионный приемник 300 может использовать другие устройства, такие как жидкокристаллический элемент, которые имеют функцию, идентичную функции ступенчатой линзы. Дополнительно можно реализовывать стереоскопический просмотр посредством предоставления вертикального поляризационного фильтра для пикселов для левого глаза и предоставления горизонтального поляризационного фильтра для пикселов для правого глаза и инструктирования зрителю просматривать экран через пару поляризационных очков, которая содержит вертикальный поляризационный фильтр для левого глаза и горизонтальный поляризационный фильтр для правого глаза.
(Цель применения вида для просмотра левым глазом и вида для просмотра правым глазом)
Вид для просмотра левым глазом и вид для просмотра правым глазом могут подготавливаться не только для того, чтобы применяться к видеопотоку, представляющему сюжет, но также и применяться к эскизам. Как имеет место с видеопотоком, устройство двумерного воспроизведения отображает традиционные двумерные эскизы, но устройство трехмерного воспроизведения выводит эскиз для левого глаза и эскиз для правого глаза, подготовленные к трехмерному режиму, в соответствии с системой трехмерного отображения.
Аналогично, вид для просмотра левым глазом и вид для просмотра правым глазом могут применяться к изображениям меню, эскизам каждой сцены для поиска главы и уменьшенным изображениям каждой сцены.
(Варианты осуществления программы)
Прикладная программа, описанная в каждом варианте осуществления настоящего изобретения, может быть сформирована следующим образом. Сначала разработчик программного обеспечения пишет с помощью языка программирования исходную программу, которая исполняет каждую блок-схему последовательности операций способа и функциональный компонент. В ходе этой записи разработчик программного обеспечения использует структуру классов, переменные, переменные типа "массив", вызовы внешних функций и т.п., которые соответствуют структуре предложений используемого языка программирования.
Написанная исходная программа отправляется в компилятор в качестве файлов. Компилятор транслирует исходную программу и создает объектную программу.
Трансляция, используемая посредством компилятора, включает в себя такие процессы, как синтаксический анализ, оптимизацию, выделение ресурсов и генерирование кода. При синтаксическом анализе, анализируются символы и фразы, структура предложений и значение исходной программы, и исходная программа преобразуется в промежуточную программу. В ходе оптимизации промежуточная программа подвергается таким процессам, как настройка базовых элементов, анализ потоков управления и анализ потоков данных. В ходе выделения ресурсов, чтобы адаптироваться к наборам инструкций целевого процесса, переменные в промежуточной программе выделяются для регистра или запоминающего устройства целевого процессора. В ходе генерирования кода каждая промежуточная инструкция в промежуточной программе преобразуется в программный код, и получается объектная программа.
Сформированная объектная программа состоит из одного или более программных кодов, которые инструктируют компьютеру выполнять каждый этап на блок-схеме последовательности операций способа или каждую процедуру функциональных компонентов. Предусмотрены различные типы управляющих программ, такие как собственный код процессора и байтовый код JAVA™. Также предусмотрены различные формы реализации этапов программных кодов. Например, когда каждый этап может быть реализован с помощью внешней функции, операторы вызова внешних функций используются в качестве программных кодов. Программные коды, которые реализуют один этап, принадлежат различным объектным программам. В RISC-процессоре, в котором типы инструкций ограничены, каждый этап блок-схемы последовательности операций способа может быть реализован посредством комбинирования инструкций арифметических операций, инструкций логических операций, инструкций ветвления и т.п.
После того как объектная программа сформирована, программист активирует компоновщик. Компоновщик выделяет области в памяти объектным программам и соответствующим библиотечным программам и связывает их для того, чтобы формировать загрузочный модуль. Сформированный загрузочный модуль основан на допущении, что он считывается посредством компьютера и инструктирует компьютеру выполнять процедуры, указанные на блок-схемах последовательности операций способа, и процедуры функциональных компонентов. Программа, описанная здесь, может записываться на машиночитаемом носителе записи и может предоставляться пользователю в этой форме.
(Воспроизведение оптического диска)
BD-ROM-накопитель содержит оптическую головку, которая включает в себя полупроводниковый лазер, коллимированную линзу, расщепитель луча, объектив, собирающую линзу и детектор света. Световые лучи, испускаемые из полупроводникового лазера, проходят через коллимированную линзу, расщепитель луча и объектив и собираются на информационной поверхности оптического диска.
Собранные световые лучи отражаются/дифрагируются на оптическом диске, проходят через объектив, расщепитель луча и коллимированную линзу и собираются в детекторе света. Сигнал воспроизведения формируется в зависимости от количества света, собранного в детекторе света.
(Варианты носителя записи)
Носитель записи, описанный в каждом варианте осуществления, указывает общий коробочный носитель как единое целое, включающее в себя оптический диск и полупроводниковую карту памяти. В каждом варианте осуществления предполагается, в качестве одного примера, что носителем записи является оптический диск, на который необходимые данные заранее записываются (например, существующий неперезаписываемый оптический диск, такой как BD-ROM или DVD-ROM). Тем не менее, настоящее изобретение не ограничено этим. Например, настоящее изобретение может реализовываться следующим образом: (i) получение трехмерного содержимого, которое включает в себя данные, необходимые для того, чтобы реализовывать настоящее изобретение, и распространение посредством широковещательной передачи или через сеть; (ii) запись трехмерного содержимого на перезаписываемый оптический диск (например, существующий перезаписываемый оптический диск, такой как BD-RE, DVD-RAM) с использованием терминала, имеющего функцию записи на оптический диск (функция может встраиваться в устройство воспроизведения, или устройство не обязательно может быть устройством воспроизведения); и (iii) применение оптического диска с записанным трехмерным содержимым к устройству воспроизведения настоящего изобретения.
(Варианты осуществления записывающего устройства и устройства воспроизведения в форме полупроводниковой карты памяти)
Далее описываются варианты осуществления записывающего устройства для записи структуры данных каждого варианта осуществления на полупроводниковое запоминающее устройство и устройства воспроизведения для их воспроизведения.
Во-первых поясняется механизм для защиты авторского права на данные, записанные на BD-ROM, в качестве предполагаемой технологии.
Некоторые из данных, записанных на BD-ROM, возможно, зашифрованы, как требуется с учетом конфиденциальности данных.
Например, BD-ROM может содержать, в качестве зашифрованных данных, данные, соответствующие видеопотоку, аудиопотоку или потоку, включающему в себя вышеозначенное.
Далее описывается расшифровка зашифрованных данных для данных, записанных на BD-ROM.
Устройство воспроизведения в форме полупроводниковой карты памяти заранее сохраняет данные (например, ключ устройства), которые соответствуют ключу, который необходим для расшифровки зашифрованных данных, записанных на BD-ROM.
С другой стороны, на BD-ROM заранее записываются (i) данные (например, блок ключа носителя (MKB), соответствующий вышеуказанному ключу устройства), которые соответствуют ключу, который необходим для расшифровки зашифрованных данных, и (ii) зашифрованные данные (например, зашифрованный ключ тайтла, соответствующий вышеуказанному ключу устройства и MKB), которые формируются посредством шифрования самого ключа, который необходим для расшифровки зашифрованных данных. Здесь следует отметить, что ключ устройства, MKB и зашифрованный ключ тайтла обрабатываются как набор и дополнительно ассоциированы с идентификатором (например, идентификатором тома), записанным в зоне (называемой BCA) BD-ROM, которая вообще не может быть скопирована. Задана такая структура, что зашифрованные данные не могут расшифровываться, если эти элементы комбинируются некорректно. Только если комбинация является корректной, ключ (например, ключ тайтла, который получается посредством расшифровки зашифрованного ключа тайтла посредством использования вышеуказанного ключа устройства, MKB и идентификатора тома), который необходим для расшифровки зашифрованных данных, может извлекаться. Зашифрованные данные могут расшифровываться посредством использования извлеченного ключа.
Когда устройство воспроизведения пытается воспроизводить BD-ROM, загруженный в устройство, оно не может воспроизводить зашифрованные данные, если само устройство не имеет ключа устройства, который составляет пару (или соответствует) с зашифрованным ключом тайтла и MKB, записанным на BD-ROM. Это обусловлено тем, что ключ (ключ тайтла), который необходим для расшифровки зашифрованных данных, зашифрован и записан на BD-ROM как зашифрованный ключ тайтла, и ключ, который необходим для расшифровки зашифрованных данных, не может извлекаться, если комбинация MKB и ключа устройства является некорректной.
Наоборот, когда комбинация зашифрованного ключа тайтла, MKB, ключа устройства и идентификатора тома является корректной, видеопоток и аудиопоток декодируются посредством декодера с использованием вышеуказанного ключа (например, ключа тайтла, который получается посредством расшифровки зашифрованного ключа тайтла посредством использования ключа устройства, MKB и идентификатора тома), который необходим для расшифровки зашифрованных данных. Устройство воспроизведения имеет такую структуру.
На этом завершается описание механизма для защиты авторского права на данные, записанные на BD-ROM. Здесь следует отметить, что этот механизм не ограничен BD-ROM, а может быть применимым, например, к читаемому/перезаписываемому полупроводниковому запоминающему устройству (такому как портативное полупроводниковое запоминающее устройство, к примеру, SD-карта) для реализации.
Затем описывается процедура воспроизведения в устройстве воспроизведения в форме полупроводниковой карты памяти. В случае, если устройство воспроизведения воспроизводит оптический диск, оно имеет такую структуру, чтобы считывать данные, например, через накопитель на оптических дисках. С другой стороны, в случае, если устройство воспроизведения воспроизводит полупроводниковую карту памяти, оно имеет такую структуру, чтобы считывать данные через интерфейс для считывания данных из полупроводниковой карты памяти. Более конкретно, устройство воспроизведения может иметь такую структуру, что когда полупроводниковая карта памяти вставляется в гнездо (не проиллюстрировано), предусмотренное в устройстве воспроизведения, устройство воспроизведения и полупроводниковая карта памяти электрически соединяются друг с другом через интерфейс полупроводниковой карты памяти, и устройство воспроизведения считывает данные из полупроводниковой карты памяти через интерфейс полупроводниковой карты памяти.
(Варианты осуществления приемного устройства)
Устройство воспроизведения, поясняемое в каждом варианте осуществления, может быть реализовано как терминал, который принимает данные (распространяемые данные), которые соответствуют данным, поясняемым в каждом варианте осуществления, из сервера распространения для услуги электронного распространения и записывает принимаемые данные на полупроводниковую карту памяти.
Такой терминал может быть реализован посредством задания для устройства воспроизведения, поясняемого в каждом варианте осуществления, такой структуры, чтобы выполнять эти операции, или может быть реализован как выделенный терминал, который отличается от устройства воспроизведения, поясняемого в каждом варианте осуществления, и сохраняет распространяемые данные на полупроводниковую карту памяти. Далее поясняется случай, когда устройство воспроизведения используется. Кроме того, в этом пояснении SD-карта используется в качестве полупроводникового запоминающего устройства назначения записи.
Когда устройство воспроизведения должно записывать распространяемые данные на карту памяти в формате SD, вставленную в гнездо, предусмотренное в нем, устройство воспроизведения сначала отправляет запросы на сервер распространения (не проиллюстрирован), который сохраняет распространяемые данные, чтобы передавать распространяемые данные. Таким образом, устройство воспроизведения считывает идентификационную информацию для уникальной идентификации вставленной карты памяти в формате SD (например, идентификационную информацию, уникально назначенную каждой карте памяти в формате SD, более конкретно, порядковый номер и т.п. карты памяти в формате SD) из карты памяти в формате SD и передает считанную идентификационную информацию на сервер распространения вместе с запросом на распространение.
Идентификационная информация для уникальной идентификации карты памяти в формате SD соответствует, например, идентификатору тома, описанному ранее.
С другой стороны, сервер распространения сохраняет необходимые данные (например, видеопоток, аудиопоток и т.п.) в зашифрованном состоянии, так что необходимые данные могут расшифровываться посредством использования заранее определенного ключа (например, ключа тайтла).
Сервер распространения, например, хранит закрытый ключ так, что он может динамически формировать различные фрагменты информации открытого ключа надлежащим образом в соответствии с идентификационными номерами, уникально назначенными каждой полупроводниковой карте памяти.
Кроме того, сервер распространения имеет такую структуру, чтобы иметь возможность шифровать сам ключ (ключ тайтла), который необходим для расшифровки зашифрованных данных (другими словами, сервер распространения имеет такую структуру, чтобы иметь возможность формировать зашифрованный ключ тайтла).
Сформированная информация открытого ключа включает в себя, например, информацию, соответствующую вышеописанному MKB, идентификатору тома и зашифрованному ключу тайтла. При такой структуре, когда, например, комбинация идентификационного номера полупроводниковой карты памяти, открытого ключа, содержащегося в информации открытого ключа, которая должна поясняться позже, и ключа устройства, который заранее записывается на устройство воспроизведения, является корректной, ключ (например, ключ тайтла, который получается посредством расшифровки зашифрованного ключа тайтла посредством использования ключа устройства, MKB и идентификационного номера полупроводникового запоминающего устройства), необходимый для расшифровки зашифрованных данных, получается, и зашифрованные данные расшифровываются посредством использования полученного необходимого ключа (ключа тайтла).
После этого устройство воспроизведения записывает принимаемый фрагмент информации открытого ключа и распространяемых данных в зону записи полупроводниковой карты памяти, вставленной в его гнездо.
Затем приводится описание примера способа для расшифровки и воспроизведения зашифрованных данных для данных, содержащихся в информации открытого ключа, и распространяемых данных, записанных в зону записи полупроводниковой карты памяти.
Принимаемая информация открытого ключа сохраняет, например, открытый ключ (например, вышеописанный MKB и зашифрованный ключ тайтла), информацию подписи, идентификационный номер полупроводниковой карты памяти и список устройств, который является информацией, касающейся устройств, которые должны становиться недействительным.
Информация подписи включает в себя, например, хэш-значение информации открытого ключа.
Список устройств является, например, информацией для идентификации устройств, которые могут воспроизводиться неавторизованным способом. Информация, например, используется для того, чтобы уникально идентифицировать устройства, части устройств и функций (программы), которые могут воспроизводиться неавторизованным способом, и состоит, например, из ключа устройства и идентификационного номера устройства воспроизведения, которые заранее записываются на устройство воспроизведения, и идентификационного номера декодера, предоставленного в устройстве воспроизведения.
Далее описывается воспроизведение зашифрованных данных для распространяемых данных, записанных в зону записи полупроводниковой карты памяти.
Во-первых, проверяется то, может или нет использоваться сам ключ расшифровки до того, как зашифрованные данные расшифровываются посредством использования ключа расшифровки.
Более конкретно, следующие проверки осуществляются.
(1) Проверка того, совпадает или нет идентификационная информация полупроводниковой карты памяти, содержащаяся в информации открытого ключа, с идентификационным номером полупроводниковой карты памяти, заранее сохраненным на полупроводниковой карте памяти.
(2) Проверка того, совпадает или нет хэш-значение информации открытого ключа, вычисленное в устройстве воспроизведения, с хэш-значением, включенным в информацию подписи.
(3) Проверка на основе информации, включенной в список устройств, того, является или нет подлинным устройство воспроизведения, чтобы выполнять воспроизведение (например, ключ устройства, показанный в списке устройств, включенном в информацию открытого ключа, совпадает с ключом устройства, заранее сохраненным в устройстве воспроизведения).
Эти проверки могут выполняться в любом порядке.
После вышеописанных проверок (1)-(3) устройство воспроизведения выполняет управление, чтобы не расшифровывать зашифрованные данные, когда любое из следующих условий удовлетворяется: (i) идентификационная информация полупроводниковой карты памяти, содержащаяся в информации открытого ключа, не совпадает с идентификационным номером полупроводниковой карты памяти, заранее сохраненным на полупроводниковой карте памяти; (ii) хэш-значение информации открытого ключа, вычисленное в устройстве воспроизведения, не совпадает с хэш-значением, включенным в информацию подписи; и (iii) устройство воспроизведения, чтобы выполнять воспроизведение, не является подлинным.
С другой стороны, когда все условия: (i) идентификационная информация полупроводниковой карты памяти, содержащаяся в информации открытого ключа, совпадает с идентификационным номером полупроводниковой карты памяти, заранее сохраненным на полупроводниковой карте памяти; (ii) хэш-значение информации открытого ключа, вычисленное в устройстве воспроизведения, совпадает с хэш-значением, включенным в информацию подписи; и (iii) устройство воспроизведения, чтобы выполнять воспроизведение, является подлинным, удовлетворяются, определяется то, что комбинация идентификационного номера полупроводникового запоминающего устройства, открытого ключа, содержащегося в информации открытого ключа, и ключа устройства, который заранее записывается на устройство воспроизведения, является корректной, и зашифрованные данные расшифровываются посредством использования ключа, необходимого для расшифровки (ключа тайтла, который получается посредством расшифровки зашифрованного ключа тайтла посредством использования ключа устройства, MKB и идентификационного номера полупроводникового запоминающего устройства).
Когда зашифрованными данными являются, например, видеопоток и аудиопоток, видеодекодер расшифровывает (декодирует) видеопоток посредством использования вышеописанного ключа, необходимого для расшифровки (ключа тайтла, который получается посредством расшифровки зашифрованного ключа тайтла), и аудиодекодер расшифровывает (декодирует) аудиопоток посредством использования вышеописанного ключа, необходимого для расшифровки.
При такой структуре, когда устройства, части устройств и функции (программы), которые могут использоваться неавторизованным способом, известны во время электронного распространения, и т.п. список устройств, показывающий такие устройства, может распространяться. Это предоставляет возможность устройству воспроизведения, принявшему список, запрещать расшифровку с использованием информации открытого ключа (самого открытого ключа), когда устройство воспроизведения включает в себя что-либо из показанного в списке. Следовательно, даже если комбинация идентификационного номера полупроводникового запоминающего устройства, самого открытого ключа, содержащегося в информации открытого ключа, и ключа устройства, который заранее записывается на устройство воспроизведения, является корректной, управление выполняется для того, чтобы не расшифровывать зашифрованные данные. Это позволяет не допускать использование распространяемых данных посредством неподлинного устройства.
Предпочтительно, чтобы идентификатор полупроводниковой карты памяти, который заранее записывается на полупроводниковую карту памяти, сохранялся в сверхзащищенной зоне записи. Это обусловлено тем, что когда идентификационный номер (например, порядковый номер карты памяти в формате SD), который заранее записывается на полупроводниковую карту памяти, имитирован, неавторизованное копирование становится простым. Более конкретно, уникальные, хотя различные идентификационные номера, соответственно, назначаются полупроводниковым картам памяти, если идентификационные номера имитированы так, чтобы совпадать, вышеописанное определение в (1) не имеет смысла, и можно копировать неавторизованным способом столько полупроводниковых карт памяти, сколько имеется имитаций.
Поэтому предпочтительно, чтобы информация, такая как идентификационный номер полупроводниковой карты памяти, хранилась в сверхзащищенной зоне записи.
Чтобы реализовывать это, полупроводниковая карта памяти, например, может иметь структуру, в которой зона записи для записи сверхконфиденциальных данных, таких как идентификатор полупроводниковой карты памяти (в дальнейшем в этом документе, зона записи означает вторую зону записи), предоставляется отдельно от зоны записи для записи обычных данных (в дальнейшем в этом документе, зона записи означает первую зону записи), схема управления для управления доступами ко второй зоне записи предоставляется, и вторая зона записи доступна только через схему управления.
Например, данные могут быть зашифрованы так, что зашифрованные данные записываются во вторую зону записи, и в схему управления может быть встроена схема для расшифровки зашифрованных данных. В этой структуре, когда осуществляется доступ ко второй зоне записи, схема управления расшифровывает зашифрованные данные и возвращает расшифрованные данные. В качестве другого примера, схема управления может хранить информацию, указывающую местоположение, в котором данные сохраняются во второй зоне записи, и когда осуществляется доступ ко второй зоне записи, схема управления идентифицирует соответствующую ячейку запоминающего устройства данных и возвращает данные, которые считываются из идентифицированной ячейки запоминающего устройства.
Приложение, которое выполняется в устройстве воспроизведения и должно записывать данные на полупроводниковую карту памяти с использованием электронного распространения, выдает, в схему управления через интерфейс карты памяти, запрос на доступ, запрашивающий, чтобы осуществлять доступ к данным (например, идентификационному номеру полупроводниковой карты памяти), записанным во вторую зону записи. При приеме запроса схема управления считывает данные из второй зоны записи и возвращает данные в приложение, выполняющееся в устройстве воспроизведения. Она отправляет идентификационный номер полупроводниковой карты памяти и запрашивает сервер распространения, чтобы распространять данные, такие как информация открытого ключа и соответствующие распространяемые данные. Информация открытого ключа и соответствующие распространяемые данные, которые отправляются из сервера распространения, записываются в первую зону записи.
Кроме того, предпочтительно, чтобы приложение, которое выполняется в устройстве воспроизведения и должно записывать данные на полупроводниковую карту памяти с использованием электронного распространения, заранее проверяло то, имитировано или нет приложение, до того, как выдает, в схему управления через интерфейс карты памяти, запрос на доступ, запрашивающий, чтобы осуществлять доступ к данным (например, идентификационному номеру полупроводниковой карты памяти), записанным во вторую зону записи. Для проверки этого может использоваться, например, существующий цифровой сертификат, соответствующий стандарту X.509.
Кроме того, к распространяемым данным, записанным в первую зону записи полупроводниковой карты памяти, доступ не обязательно может осуществляться через схему управления, предоставленную в полупроводниковой карте памяти.
Промышленная применимость
Носитель записи информации настоящего изобретения сохраняет трехмерное изображение, но может воспроизводиться и в устройствах воспроизведения двумерных изображений и в устройствах воспроизведения трехмерных изображений. Это позволяет распространять киносодержимое, такое как кинотайтлы, сохраняющие трехмерные изображения, без сложностей для потребителей в том, чтобы знать о совместимости. Это стимулирует кинорынок и рынок коммерческих устройств. Соответственно, носитель записи и устройство воспроизведения настоящего изобретения имеют значительное удобство и простоту использования в кинопромышленности и отрасли изготовления коммерческих устройств.
Описание символов
100 - носитель записи
200 - устройство воспроизведения
300 - дисплейное устройство
400 - трехмерные очки
500 - пульт дистанционного управления