НОСИТЕЛЬ ЗАПИСИ, ИМЕЮЩИЙ СТРУКТУРУ ДАННЫХ ДЛЯ УПРАВЛЕНИЯ ВОСПРОИЗВЕДЕНИЕМ ДАННЫХ ДОПОЛНИТЕЛЬНОГО ПРЕДСТАВЛЕНИЯ, А ТАКЖЕ СПОСОБЫ И УСТРОЙСТВА ЗАПИСИ И ВОСПРОИЗВЕДЕНИЯ
RECORDING MEDIUM WITH DATA STRUCTURE FOR MANAGING PLAYBACK OF SUPPLEMENTARY PRESENTATION DATA, AS WELL AS METHODS AND APPARATUS FOR RECORDING AND PLAYING BACK

1. Область техники, к которой относится изобретение
Настоящее изобретение относится к носителю записи высокой плотности, такому как оптические диски, а в частности к дискам стандарта blu-ray, предназначенным только для чтения.
2. Предшествующий уровень техники
Сегодня доступны на рынке оптические диски, которые способны хранить большие количества данных высококачественного видео и аудио. Цифровой многофункциональный диск (DVD) является одним примером такого оптического диска. С недавних пор DVD-плееры и DVD-рекордеры доступны на рынке и становятся одними из наиболее популярных электронных продуктов среди потребителей.
Данные дополнительного представления, такие как информация субтитров, которая должна быть отображена на экране во время воспроизведения DVD-тайтла (наибольшего элемента компоновки данных на DVD) (например, фильма) в общем случае записаны на DVD как данные растрового форматированного изображения. Во время воспроизведения основных аудио/видео данных, записанных на цифровом многофункциональном диске, информация дополнительного представления считывается с цифрового многофункционального диска и выводится на внешнее устройство, такое как ТВ-приемник, после последовательности этапов обработки сигнала таким образом, что данные дополнительного представления отображаются на экране внешнего устройства. С помощью DVD-плеера пользователь может выбрать и наблюдать желаемый субтитр на ТВ-приемнике во время воспроизведения DVD-тайтла.
Недавно стандартизация новых оптических дисков с более высокой плотностью, чем DVD, например диск только для чтения стандарта blu-ray (BD-ROM), находилась в разработке. Спецификации стандарта и способы предоставления высокого уровня гибкости в управлении и отображении данных дополнительного представления, которые записаны на оптическом диске или доставлены от сервера поставщика содержимого через Интернет, еще не установлены.
3. Сущность изобретения
Носитель записи согласно настоящему изобретению включает в себя структуру данных для управления воспроизведением данных дополнительного представления.
В одном варианте осуществления носитель записи хранит, по меньшей мере, один субэлемент воспроизведения, который идентифицирует более чем одно имя файла информации клипа. Каждый файл информации клипа, именованный субэлементом воспроизведения, указывает ассоциированный клип данных дополнительного представления, подлежащий воспроизведению с носителя записи, а данные дополнительного представления в каждом клипе ассоциированы, по меньшей мере, с частью данных основного представления, записанных на носителе записи. Субэлемент воспроизведения также указывает единый интервал представления для ассоциированных клипов.
В одном варианте осуществления область навигации также хранит, по меньшей мере, один элемент воспроизведения, который указывает, по меньшей мере, часть данных основного представления, подлежащую их воспроизведению. Здесь элемент воспроизведения идентифицирует имя файла информации клипа, которое указывает клип данных основного представления, подлежащий воспроизведению, а файлы информации клипа, идентифицированные субэлементом воспроизведения и элементом воспроизведения, являются отдельными файлами.
В другом примерном варианте осуществления носитель записи хранит, по меньшей мере, один список воспроизведения, включающий в себя информацию навигации для воспроизведения данных основного представления и данных дополнительного представления, ассоциированных с данными основного представления. Информация навигации также указывает тип подпути, с которым ассоциированы данные дополнительного представления. Более конкретно список воспроизведения включает в себя субэлемент воспроизведения, который представляет информацию навигации для воспроизведения более чем одного клипа данных дополнительного представления с носителя записи, а субэлемент воспроизведения указывает единый интервал представления для ассоциированных клипов.
В одном варианте осуществления тип подпути - это путь представления текстовых субтитров.
В еще одном варианте осуществления носитель записи хранит отдельные клипы данных дополнительного представления и, по меньшей мере, один отдельный клип данных основного представления. Здесь данные дополнительного представления ассоциированы с данными основного представления. Носитель записи также хранит субэлемент воспроизведения, представляющий информацию навигации для воспроизведения отдельных клипов данных дополнительного представления для одного и того же интервала представления, и элемент воспроизведения, предоставляющий информацию навигации для воспроизведения клипа данных основного представления.
Настоящее изобретение дополнительно предоставляет устройства и способы для записи и воспроизведения структуры данных согласно настоящему изобретению.
4. Перечень чертежей
Сопровождающие чертежи, которые включены для того, чтобы обеспечить дополнительное понимание изобретения, иллюстрируют примерные варианты осуществления изобретения и вместе с описанием служат для того, чтобы объяснить принципы настоящего изобретения. На чертежах:
фиг.1-4 - иллюстрации вариантов осуществления структуры файловой системы, структуры навигационных данных и тома диска оптического диска в соответствии с настоящим изобретением;
фиг.5-20 - иллюстрации вариантов осуществления структуры навигационных данных в соответствии с настоящим изобретением для связывания множества потоков текстовых субтитров с основным аудио/видео потоком;
фиг.21 - блок-схема устройства воспроизведения оптического диска в соответствии с настоящим изобретением; и
фиг.22-24 - блок-схемы вариантов осуществления компонентов устройств воспроизведения оптического диска в соответствии с настоящим изобретением.
5. Режимы осуществления изобретения
Для того чтобы изобретение могло быть полностью понятно, примерные варианты его осуществления будут теперь описаны со ссылкой на сопровождающие чертежи.
Файловая структура оптического диска, такого как BD-ROM, в соответствии с одним вариантом осуществления настоящего изобретения показана на фиг.1. Корневой каталог (ROOT) включает в себя, среди прочего, по меньшей мере, один каталог BD. Каталог BD включает в себя файл index.bdmv, файл MovieObject.bdmv, файл JavaObject.bdmv, каталог PLAYLIST, каталог CLIPINF и каталог STREAM. Каждый из этих файлов и каталогов будет обсужден в деталях ниже.
Каталог PLAYLIST включает в себя множество файлов (*.mpls) списка воспроизведения, каталог CLIPINF включает в себя множество файлов (*.clpi) информации клипа и каталог STREAM включает в себя множество форматированных в транспортный поток MPEG2 файлов (*.m2ts) клипов аудио/видео (A/V) потока. Файл списка воспроизведения ассоциирован и идентифицирует, по меньшей мере, один файл информации клипа. Файл информации клипа, в свою очередь, ассоциирован и идентифицирует файл клипа A/V-потока, подлежащего воспроизведению.
Файлы MovieObject.bdmv или JavaObject.bdmv включают в себя выполняемые команды навигации или программу команд для управления воспроизведением списков воспроизведения. Фиг.2 иллюстрирует пример элементов фильма в файле MovieObject.bdmv. Как показано на фиг.2, команды навигации, содержащиеся в элементах фильма, включают в себя, среди прочего, воспроизведение списка воспроизведения и переход к другому элементу фильма в ответ на запрос пользователя.
Файл index.bdmv связывает объекты фильма и/или Java-объекты, например множество тайтлов. Например, как показано на фиг.3, объекты фильма связаны с элементами индексной таблицы, которая включает в себя, например, множество тайтлов (с тайтл#1 по тайтл#n) и меню тайтлов.
Соответственно файл index.bdmv, файл MovieObject.bdmv и/или файл JavaObject.bdmv обеспечивают иерархическую структуру для управления воспроизведением списков воспроизведения, а файлы списка воспроизведения и файлы информации клипа обеспечивают иерархическую структуру для управления воспроизведением файлов клипов A/V-потока.
Как показано на фиг.4, том диска BD-ROM организован в информационную область файловой системы, область базы данных и область A/V-потока. Область базы данных включает в себя общие файлы и область информации списков воспроизведения и область информации клипов. Общие файлы и область информации списков воспроизведения хранят общие файлы, такие как файл MovieObject.bdmv и каталог PLAYLIST. Область информации клипов хранит файлы информации клипа. Файлы (*.m2ts) клипов, отформатированные в транспортный поток MPEG2, принадлежащие тайтлам, хранятся в области A/V-потока.
В BD-ROM в соответствии с настоящим изобретением в дополнение к основным видеоданным могут быть записаны данные дополнительного представления, такие как данные субтитров растрового формата, данные субтитров текстового формата и/или т.д. Любые из двух или и те и другие данные из данных субтитров растрового формата и данных субтитров текстового формата (далее в данном документе упоминаемых как растровые субтитры и текстовые субтитры соответственно) могут быть объединены с основными видеоданными перед тем, как они записываются на BD-ROM (упоминается как 'in-mux') или могут быть записаны отдельно на диск без объединения (упоминается как 'out-of-mux').
Данные дополнительного представления, такие как данные растровых субтитров или данные текстовых субтитров, могут быть также доставлены с сервера поставщика содержимого (СР-сервера) через сети, такие как Интернет. Данные текстовых субтитров с СР-сервера могут быть переданы в формате транспортного потока MPEG2 (TS) или предварительно определенном формате бинарного потока, подобном формату расширяемого языка разметки (XML). Множество данных текстовых субтитров могут быть доставлены с СР-сервера так, чтобы предоставить субтитры на нескольких различных языках. Кроме того, потоки других типов, подобных аудиопотокам, могут быть доставлены с СР-сервера вместе с данными субтитров.
В устройстве воспроизведения оптического диска в соответствии с настоящим изобретением данные дополнительного представления, которые либо считаны с оптического диска, либо доставлены с СР-сервера, могут быть связаны с основными видеоданными таким образом, что данные дополнительного представления выбираются и отображаются соответствующе разным способом в ответ на пользовательский запрос при воспроизведении основных видеоданных, что будет описано ниже более детально.
Новые структуры навигационных данных, основанные на списке воспроизведения, элементе воспроизведения, субэлементе воспроизведения или предопределенной структуре, определены и используются так, чтобы связать данные дополнительного представления с основным A/V-потоком, считываемым с оптического диска.
Структуры навигационных данных применимы, когда данные вспомогательного представления записаны на BD-ROM или когда они уже сохранены в памяти, такой как жесткий диск (HDD), ОЗУ, флэш-память и т.д. в устройстве оптического воспроизведения. В эту память могут быть загружены (или выгружены) данные дополнительного представления, доставленные с СР-сервера (или считанные с BD-ROM).
В случае, когда поток данных текстовых субтитров сохранен в памяти, информация навигации или информация связывания, требуемая для того, чтобы ассоциировать поток текстовых субтитров в памяти с основным A/V-потоком, может иметь различное представление, основанное на использовании схемы представления унифицированного указателя информационного ресурса (URL), которая будет описана ниже.
Представление в URL-стиле информации связывания может быть определено соответствующим именем каталога, в котором поток текстовых субтитров сохранен по Web-адресу СР-сервера, который доставляет поток текстовых субтитров. Например, если Web-адрес это 'http://A-studio.com/filename.ext' ('http://A-studio.соm/имя файла.расширение') или 'ftp://A-studio.com/filename.ext' ('ftp://A-studio.соm/имя файла.расширение'), то представление в URL-стиле становится 'URL=lid://bd-disc-name/directories/filename.ext' ('URL=lid://имя-bd-диска/каталоги/имя файла.расширение'), где lid представляет локальный идентификатор. Когда устройство воспроизведения оптического диска начинает воспроизводить, файл на СР-сервере 'http://A-studio.com/filename.ext' или 'ftp://A-studio.com/filename.ext' может быть загружен автоматически в каталог 'lid://bd-disc-name/directories' ('lid://имя-bd-диска/каталоги') в памяти, а представление в URL-стиле информации связывания становится как 'URL=lid://bd-disc-name/directories/filename.ext' ('URL=lid://имя-bd-диска/каталоги/имя файла.расширение').
Как и другое представление в URL-стиле, представление в URL-стиле информации связывания может быть определено соответствующим именем каталога, в котором поток текстовых субтитров сохраняется в имя диска и/или имя тайтла, и/или номер главы. Например, представление в URL-стиле становится ' URL=lid://bd-disc-name/directories или title-name или chapter-number/filename.ext' ('URL=lid://имя-bd-диcкa/кaтaлoги или имя-тайтла или номер-главы/имя файла.расширение'). Когда устройство воспроизведения оптического диска начинает воспроизводить оптический диск, файл потока текстовых субтитров, записанный на нем, может быть выгружен автоматически в каталог 'lid://bd-disc-name/directories or title-name or chapter-number' ('lid://имя-bd-диска/каталоги или имя-тайтла или номер-главы') в локальной постоянной памяти. Например, представление в URL-стиле становится 'URL=lid://bd-disc-name/directories или title-name или chapter-number/filename.ext' ('URL=lid://имя-bd-диска/каталоги или имя-тайтла или номер-главы/имя файла.расширение').
В качестве другого представления в URL-стиле, представление в URL-стиле информации связывания может быть определено на основе имени каталога и/или имени файла, обозначенного автором. Например, для того чтобы вставить ссылку на каталог, в котором записан поток текстовых субтитров на оптическом диске, и/или адрес URL Web-страниц, содержащих поток текстовых субтитров, на СР-сервере, поле 'directory and/or filename' ('каталог и/или имя_файла') может быть вставлено в информацию клипа текстовых субтитров или отдельную информацию каталога и файла текстовых субтитров. На основе полей 'directory and/or filename' потоки текстовых субтитров выгружаются и/или загружаются в память. В этом случае представление в URL-стиле становится 'URL=P://directory_1/sub_directory_2/-/filename.ext' ('URL=P://каталог_1/подкаталог_2/-/имя_файла.расширение').
Как другое представление в URL-стиле, основанное на HTTP или FTP имя каталога может быть непосредственно указано в представлении в URL-стиле информации связывания. Например, представление в URL-стиле может стать 'URL=http или ftp://A-studio.com/directories/filename.ext'. В этом случае память может интерпретировать имена каталогов и файлов из представлений 'http://A-studio.com/directories/filename.ext', или 'ftp://A-studio.com/directories/filename.ext', или 'lid://A-studio.com/directories/filename.ext' или обозначенного имени каталога и файла, которое автоматически интерпретируется при воспроизведении.
Навигационные структуры для эффективного связывания потоков дополнительного представления, которые доставлены с оптического диска или СР-сервера, с основным A/V-потоком, записанным на оптическом диске, описываются в данном документе ниже более детально. Только в целях примера каждый вариант осуществления использует пример данных текстовых субтитров в качестве данных дополнительного представления.
Фиг.5 иллюстрирует первый вариант осуществления структуры данных согласно настоящему изобретению. Как показано, один объект фильма или Java-объект ассоциирован и инструктирует воспроизведение списка воспроизведения. Список воспроизведения включает в себя элемент воспроизведения и некоторое количество субэлементов воспроизведения, два в этом примере. Элемент воспроизведения - это структура данных, предоставляющая начало (или момент входа) и конец (или момент выхода) для воспроизведения файла клипа, с которым элемент воспроизведения косвенно связан. Это графически представлено на фиг.5 двунаправленной стрелкой, помеченной Playitem (элемент воспроизведения). Также графически показано на фиг.5, что элемент воспроизведения идентифицирует файл информации клипа, который идентифицирует клип данных основного A/V-потока для того, чтобы его воспроизвести.
Каждый из субэлементов воспроизведения, принадлежащих списку воспроизведения (SubPlayItem #1, #2), связан с ассоциированным файлом информации клипа. Как показано на фиг.5, файлы информации клипа, идентифицированные субэлементами воспроизведения, предназначены для текстовых субтитров, а каждый файл информации клипа идентифицирует отличающийся от других поток текстовых субтитров. Отличающиеся потоки текстовых субтитров предоставляют текстовые субтитры на разных языках. Например, на фиг.5 первый поток текстовых субтитров, ассоциированный с первым субэлементом воспроизведения, предоставляет данные текстовых субтитров на английском языке, а второй поток текстовых субтитров, ассоциированный со вторым элементом воспроизведения, предоставляет данные текстовых субтитров на корейском языке. Соответственно в этом варианте осуществления множество субэлементов воспроизведения используются для того, чтобы связать множество потоков текстовых субтитров с основным A/V-потоком.
Другими словами, каждый их потоков текстовых субтитров ассоциирован уникальным образом с одним из множества субэлементов воспроизведения, принадлежащих списку воспроизведения. Выбор потока текстовых субтитров делается на уровне списка воспроизведения. Поток текстовых субтитров конкретного языка выбирается посредством выбора субэлемента воспроизведения, принадлежащего списку воспроизведения, который ассоциирован с желаемым языком, во время воспроизведения основного A/V-потока, указанного элементом воспроизведения в списке воспроизведения. Соответственно во время воспроизведения основного A/V-потока воспроизводятся данные выбранных текстовых субтитров.
Имя файла клипа, ассоциированное с субэлементом воспроизведения, может также быть представлено схемой URL-представления. В альтернативном варианте осуществления информация клипа потока текстовых субтитров может быть включена в информацию клипа, соответствующую основному A/V-потоку.
Фиг.6 иллюстрирует пример структуры данных субэлемента воспроизведения согласно этому варианту осуществления настоящего изобретения. Как показано на фиг.6, синтаксис субэлемента воспроизведения включает в себя, среди прочего, поле 'Clip_Information_file_name' ('Имя_файла_информации_клипа'), указывающее на данные текстовых субтитров или файл информации, поле 'SubPlayItem_type' ('Тип_субэлемента_воспроизведения'), указывающее ассоциирован или нет субэлемент воспроизведения с потоком текстовых субтитров (например, SubPlayItem_type установлен в 3, чтобы указать текстовый субтитр), и поле 'Application' ('Приложение') для указания ориентированной на приложение дополнительной информации о потоке текстовых субтитров, такой как тип приложения потока текстовых субтитров (субтитр, караоке и т.д.) и код языка (английский, корейский и т.д.).
Субэлемент воспроизведения также включает в себя поле 'length' ('длина'), указывающее длину субэлемента воспроизведения, поле 'Clip_Codec_identifier' ('Идентификатор_кодека_клипа'), указывающее кодирование данных, поле 'ref_to_STC_id' ('ссылка_на_идентификатор_STС'), указывающее идентификатор системного времени для файла потока клипа, ассоциированного с субэлементом воспроизведения, и поля 'SubPlayItem_IN_time'
('Время_начала_субэлемента_воспроизведения') и
'SubPlayItem_OUT_time' ('Время_окончания_субэлемента_воспроизведения'), указывающие начальное время представления и конечное время представления, которое определяет интервал воспроизведения файла потока клипа, ассоциированного с субэлементом воспроизведения. Таким же образом элемент воспроизведения определяет интервал воспроизведения основного A/V-потока. Ссылаясь опять на фиг.5, фиг.5 графически представляет интервал представления для каждого субэлемента воспроизведения двунаправленными стрелками, помеченными SubPlayItem 1 и SubPlayItem 2. Как показано посредством фиг.5, интервал представления субэлементов воспроизведения, а следовательно, потоков текстовых субтитров, падает в интервал представления элемента воспроизведения. Это графически передает идею того, что потоки текстовых субтитров ассоциированы с основным A/V-потоком и воспроизводятся, когда выбраны, во время воспроизведения основного A/V-потока. Графическое представление, используемое на фиг.5, будет повторно использовано в графическом представлении других вариантов осуществления настоящего изобретения.
Фиг.7 иллюстрирует второй вариант осуществления структуры данных согласно настоящему изобретению. В этом втором варианте осуществления настоящего изобретения множество списков воспроизведения используются для того, чтобы связать множество потоков текстовых субтитров с основным A/V-потоком. Как показано на фиг.7, один объект фильма или Java-объект ассоциирован с множеством списков воспроизведения (PlayList #1, #2 в этом примере), каждый из которых включает в себя один элемент воспроизведения и один субэлемент воспроизведения. Элемент воспроизведения, принадлежащий к каждому из множества списков воспроизведения, ассоциирован с информацией клипа в основном A/V-потоке. Каждый из множества субэлементов воспроизведения соответственно ассоциирован с информацией клипа (т.е. файлом информации клипа), а каждая информация клипа уникальным образом соответствует единственно одному из множества потоков текстовых субтитров на разных языках (поток #1 для английского и поток #2 для корейского).
Другими словами, объект фильма или Java-объект связан с множеством списков воспроизведения, а один субэлемент воспроизведения, принадлежащий каждому списку воспроизведения, в свою очередь, ассоциирован уникальным образом с одним из множества потоков текстовых субтитров. Поток текстовых субтитров конкретного языка выбирается посредством выбора одного списка воспроизведения на уровне объекта.
Чтобы быть точным, только один субэлемент воспроизведения, ассоциированный с потоком текстовых субтитров, может быть включен в каждый список воспроизведения. Для доступного для броузинга (просмотра) приложения показа слайдов еще один субэлемент воспроизведения может быть включен для связывания аудиопотока. Имя файла клипа, ассоциированное с субэлементом воспроизведения, может быть представлено схемой URL-представления. В альтернативном варианте осуществления информация клипа потока текстовых субтитров может быть включена в информацию клипа, соответствующую основному A/V-потоку.
Фиг.8 иллюстрирует пример структуры данных субэлемента воспроизведения и части структуры данных списка воспроизведения согласно этому варианту осуществления настоящего изобретения. Как показано на фиг.8, синтаксис субэлемента воспроизведения такой же, что и синтаксис субэлемента воспроизведения, описанный выше со ссылкой на фиг.6 за исключением дополнительного поля 'is_repeat_SubPlayItem' ('повтор_субэлемента_воспроизведения'), которое зарезервировано для будущего использования.
Часть синтаксиса списка воспроизведения, AppInfoPlayList, показанная на фиг.8, включает в себя поле 'PlayList_playback_type' ('Тип_воспроизведения_списка_воспроизведения') для указания того, входит ли в состав поле 'Application'. Например, если поле 'Application' включено в состав, то поле 'PlayList_playback_type' устанавливается в 4. Как показано на фиг.8, поле 'Application' в синтаксисе списка воспроизведения такое же, что и поле 'Application' в синтаксисе субэлемента воспроизведения. В этом варианте осуществления поле 'Application' может быть включено либо в синтаксис списка воспроизведения, либо в синтаксис субэлемента воспроизведения, либо в оба синтаксиса.
В связи с этим вариантом осуществления на уровне объекта может существовать реестр языков субтитров, который указывает доступные языки субтитров. Командные процедуры объекта фильма или Java-программы выполняют изменения в потоке текстовых субтитров, изменяя списки воспроизведения со ссылкой на данный реестр. Пример такого реестра описан ниже со ссылкой на фиг.10.
Фиг.9 иллюстрирует третий вариант осуществления структуры данных согласно настоящему изобретению. В этом третьем варианте осуществления настоящего изобретения множество объектов (фильма или Java) используются для того, чтобы связать множество потоков текстовых субтитров с основным A/V-потоком. Как показано на фиг.9, каждый из множества объектов фильма или Java-объектов, чьи конфигурации похожи на конфигурации объектов для многоканального воспроизведения, ассоциирован уникально со списком воспроизведения (PlayList #1, #2 в этом примере). Элемент воспроизведения, принадлежащий каждому списку воспроизведения, ассоциирован с информацией клипа в основном A/V-потоке. Каждый список воспроизведения также включает в себя субэлемент воспроизведения, ассоциированный с информацией клипа, которая уникальным образом соответствует одному из множества потоков текстовых субтитров на разных языках (поток #1 для английского и поток #2 для корейского в этом примере).
Другими словами, множество объектов фильма или Java-объектов связаны соответствующим образом с каждым из множества списков воспроизведения, а каждый субэлемент воспроизведения ассоциирован уникальным образом с одним из множества потоков текстовых субтитров. Поток текстовых субтитров отдельного языка выбирается изменением объектов на уровне объекта.
Чтобы быть точным, только один субэлемент воспроизведения, ассоциированный с потоком текстовых субтитров, может быть включен в каждый список воспроизведения. Для доступного для броузинга приложения показа слайдов другой субэлемент воспроизведения может быть включен для связывания аудиопотока. Имя файла клипа, ассоциированное с субэлементом воспроизведения, может быть представлено схемой URL-представления. В альтернативном варианте осуществления информация клипа потока текстовых субтитров может также быть включена в информацию клипа, соответствующую основному A/V-потоку.
Синтаксис субэлемента воспроизведения в этом варианте осуществления такой же, что и описанный выше со ссылкой на фиг.8. Например, поля 'Clip_Information_file_name', 'SubPlayItem_type' и 'Application' включены в синтаксис списка воспроизведения и синтаксис субэлемента воспроизведения, как описано во втором варианте осуществления со ссылкой на фиг.8. На уровне объекта может существовать реестр языков субтитров для того, чтобы указывать доступные языки субтитров. Командные процедуры объекта фильма или Java-программы выполняют изменения в потоках текстовых субтитров, изменяя списки воспроизведения со ссылкой на данный реестр.
Фиг.10 иллюстрирует примерный вариант осуществления этого реестра. Как показано, реестр языков субтитров включает в себя, среди прочего, тип субтитров и код языка. Например, если тип субтитров имеет длину в два бита и установлен в '01', тип субтитра указывает субтитр растрового формата. Если он установлен в '10', тип субтитров указывает текстовый субтитр.
Фиг.11 иллюстрирует четвертый вариант осуществления структуры данных согласно настоящему изобретению. В этом четвертом варианте осуществления настоящего изобретения используется элемент воспроизведения для связывания множества потоков текстовых субтитров с основным A/V-потоком. Как показано на фиг.11, один объект фильма или Java-объект ассоциирован со списком воспроизведения. Один элемент воспроизведения из списка воспроизведения ассоциирован с информацией клипа в основном A/V-потоке. Кроме того, элемент воспроизведения также ассоциирован с множеством информации клипа, каждая из которых соответствует соответственно каждому из множества потоков текстовых субтитров на разных языках (поток #1 для английского и поток #2 для корейского в этом примере).
Другими словами, элемент воспроизведения, принадлежащий списку воспроизведения, связан с основным A/V-потоком и множеством потоков текстовых субтитров. Выбор потока текстовых субтитров делается на уровне клипа или потока. Поток текстовых субтитров конкретного языка выбирается посредством выбора файла потока текстовых субтитров на основе списка воспроизведения при воспроизведении A/V-потока.
Имя файла клипа, ассоциированное с элементом воспроизведения, может быть представлено схемой URL-представления. Также информация клипа потоков текстовых субтитров может быть включена в информацию клипа, соответствующую основному A/V-потоку.
Как показано на фиг.12, синтаксис элемента воспроизведения включает в себя, среди прочего, имя файла информации клипа 'Clip_Information_file_name[0]', поле 'exist_text_subtitle' ('существование_текстового_субтитра') для указания того, включены ли в состав потоки текстовых субтитров, и поле 'is_multi_angle' ('есть_множество_ракурсов') для указания того, обеспечивает ли элемент воспроизведения многоракурсные основные A/V-потоки.
Если поле 'exist_text_subtitle' указывает, что потоки текстовых субтитров включены в состав, то элемент воспроизведения дополнительно включает в себя поле 'number_of_text_subtitles' ('количество_текстовых_субтитров') для представления количества текстовых субтитров, поле 'is_seamless_text_subtitle_change' ('есть_плавное_изменение_текстового_субтитра') для указания того, возможно или нет плавное изменение между потоками текстовых субтитров, и поле 'Application' ('приложение'), как обсуждалось выше со ссылкой на фиг.8. Для каждого из текстовых субтитров, указанного полем 'number_of_text_subtitles', элемент воспроизведения предоставляет имя файла информации клипа. Имя файла информации клипа предоставляет либо имя файла информации клипа, который указывает клип потока текстовых субтитров, либо непосредственно указывает имя клипа потока текстовых субтитров.
Фиг.13 иллюстрирует пятый вариант осуществления структуры данных согласно настоящему изобретению. В этом пятом варианте осуществления настоящего изобретения используется субэлемент воспроизведения для того, чтобы связать множество потоков текстовых субтитров с основным A/V-потоком. Как показано на фиг.13, один объект фильма или Java-объект ассоциирован со списком воспроизведения. Элемент воспроизведения, принадлежащий списку воспроизведения, ассоциирован с информацией клипа в основном A/V-потоке, как было описано со ссылкой на первый вариант осуществления. Один субэлемент воспроизведения, принадлежащий списку воспроизведения, ассоциирован с множеством файлов информации клипа, каждый из которых уникальным образом соответствует одному из множества потоков текстовых субтитров на разных языках (поток #1 для английского и поток #2 для корейского в этом примере). Должно быть понятно, что потоки текстовых субтитров в этом и других вариантах осуществления не ограничены двумя языками или этими двумя языками.
Другими словами, один субэлемент воспроизведения, принадлежащий списку воспроизведения, связан с множеством потоков текстовых субтитров. Выбор потока текстовых субтитров производится на уровне клипа или потока. Поток текстовых субтитров конкретного языка выбирается посредством изменения файлов потока текстовых субтитров на основе списка воспроизведения при воспроизведении A/V-потока.
Более конкретно, только один субэлемент воспроизведения, ассоциированный с разными потоками текстовых субтитров, может быть включен в каждый список воспроизведения. По существу, интервал проигрывания или воспроизведения (например, 'SubPlayItem_IN_time' и 'SubPlayItem_OUT_time') является одним и тем же для каждого клипа потока текстовых субтитров.
Для доступного для броузинга приложения показа слайдов другой субэлемент воспроизведения может быть включен для связывания аудиопотока. Имя файла клипа, ассоциированное с субэлементом воспроизведения, может быть представлено схемой URL-представления. Информация клипа потоков текстовых субтитров может также быть включена в информацию клипа, соответствующую основному A/V-потоку.
Фиг.14 иллюстрирует пример структуры данных субэлемента воспроизведения согласно этому варианту осуществления настоящего изобретения. Как показано, синтаксис субэлемента воспроизведения включает в себя, среди прочего, поле 'SubPlayItem_type' для указания того, ассоциирован или нет субэлемент воспроизведения с потоками текстовых субтитров (например, SubPlayItem_type установлен в 3 для текстовых субтитров), поле 'number_of_text_subtitles' для представления количества текстовых субтитров, поле 'is_seamless_text_subtitle_change' для указания того, возможно или нет плавное изменение между потоками текстовых субтитров, и поле 'Application', как описано в предыдущих вариантах осуществления.
Синтаксис субэлемента воспроизведения также включает в себя поля 'SubPlayItem_IN_time' и 'SubPlayItem_OUT_time', указывающие время начала представления и время окончания представления, которые определяют интервал проигрывания или воспроизведения файлов потока клипа, ассоциированных с субэлементом воспроизведения. Соответственно когда поле 'SubPlayItem_type' указывает, что субэлемент воспроизведения ассоциирован с текстовыми субтитрами, интервал представления определяет одинаковое время воспроизведения для каждого из текстовых субтитров, на который ссылается субэлемент воспроизведения. Для каждого текстового субтитра, предоставленного полем 'number__of_text_subtitles', субэлемент воспроизведения предоставляет имя файла информации клипа. Имя файла информации клипа предоставляет либо имя файла информации клипа, который указывает клип потока текстовых субтитров, либо непосредственно указывает имя клипа потока текстовых субтитров.
Фиг.15 иллюстрирует шестой вариант осуществления структуры данных согласно настоящему изобретению. В этом шестом варианте осуществления настоящего изобретения используется дополнительная структура данных информации управления текстовыми субтитрами, чтобы связать множество потоков текстовых субтитров с основным A/V-потоком. Как показано на фиг.15, один объект фильма или Java-объект ассоциирован со списком воспроизведения. Один элемент воспроизведения из списка воспроизведения ассоциирован с информацией клипа в основном A/V-потоке. Один субэлемент воспроизведения, принадлежащий списку воспроизведения, связан с информацией управления текстовым субтитром. Информация управления текстовым субтитром, в свою очередь, ассоциирована с множеством информации клипа, каждая из которых соответствует уникальным образом одному из множества потоков текстовых субтитров на разных языках (поток #1 для английского и поток #2 для корейского в этом примере).
Другими словами, уровень информации управления текстовыми субтитрами добавляется для того, чтобы управлять потоками текстовых субтитров. Ссылка на информацию управления текстовыми субтитрами основывается на субэлементе воспроизведения на уровне списка воспроизведения. Каждый список воспроизведения включает в себя один субэлемент воспроизведения, ассоциированный с информацией управления текстовыми субтитрами.
Для доступного для броузинга приложения показа слайдов еще один субэлемент воспроизведения может быть включен для связывания аудиопотока. Имя файла клипа, ассоциированное с субэлементом воспроизведения, может быть представлено схемой URL-представления. Информация клипа потоков текстовых субтитров может также быть включена в информацию клипа, соответствующую основному A/V-потоку.
Фиг.16 иллюстрирует пример структуры данных субэлемента воспроизведения и информации управления текстовыми субтитрами согласно этому варианту осуществления настоящего изобретения. Как показано на фиг.16, синтаксис субэлемента воспроизведения включает в себя, среди прочего, поле 'length', указывающее длину субэлемента воспроизведения, поле 'Clip_Information_file_name' для хранения имени файла информации управления текстовыми субтитрами, поле 'SubPlayItem_type' для указания того, ассоциирован ли или нет субэлемент воспроизведения с потоками текстовых субтитров (например, SubPlayItem_type устанавливают в 3, чтобы указать потоки текстовых субтитров), поля 'SubPlayItem_IN_time' и 'SubPlayItem_OUT_time', как описано в предыдущих вариантах осуществления, и поле 'Application', как описывалось в предыдущих вариантах осуществления.
Синтаксис информации управления текстовыми субтитрами включает в себя, среди прочего, поле 'number_of_text_subtitles' для представления количества текстовых субтитров, поле 'is_seamless_text_subtitle_change' для указания того, возможно ли или нет плавное изменение между потоками текстовых субтитров, и поле 'Application', как описывалось в предыдущих вариантах осуществления. Для каждого текстового субтитра, предоставленного полем 'number_of_text_subtitles', субэлемент воспроизведения предоставляет имя файла информации клипа. Имя файла информации клипа предоставляет либо имя файла информации клипа, которое указывает клип потока текстовых субтитров, либо непосредственно указывает имя клипа потока текстовых субтитров. Поле 'Application' включено либо в синтаксис субэлемента воспроизведения, либо в синтаксис информации управления текстовыми субтитрами.
Фиг.17 иллюстрирует седьмой вариант осуществления структуры данных согласно настоящему изобретению. В этом седьмом варианте осуществления настоящего изобретения дополнительная структура данных информации управления текстовыми субтитрами ассоциирована с объектом на уровне объекта и используется, чтобы связать множество потоков текстовых субтитров с основным A/V-потоком. Как показано на фиг.17, объект фильма или Java-объект ассоциирован со списком воспроизведения, а один элемент воспроизведения, принадлежащий списку воспроизведения, ассоциирован с информацией клипа в основном A/V-потоке. Имя файла клипа объекта фильма или Java-объекта может быть представлено схемой URL-представления. Объект фильма или Java-объект также непосредственно связан с информацией управления текстовыми субтитрами. Информация управления текстовыми субтитрами, в свою очередь, ассоциирована с множеством информации клипов, каждая из которых соответствует уникальным образом одному из множества потоков текстовых субтитров разных языков (поток #1 для английского и поток #2 для корейского в этом примере).
Информация управления текстовыми субтитрами определяется на уровне объекта, и поэтому управление множеством потоков текстовых субтитров осуществляется на уровне информации управления текстовыми субтитрами. В этом варианте осуществления информация управления текстовыми субтитрами имеет такой же синтаксис, что и описанный выше со ссылкой на фиг.16.
Фиг.18 иллюстрирует восьмой вариант осуществления структуры данных согласно настоящему изобретению. В этом восьмом варианте осуществления настоящего изобретения дополнительная структура данных информации управления текстовыми субтитрами включена в объект фильма или Java-объект и используется для того, чтобы связать множество потоков текстовых субтитров с основным A/V-потоком. Как показано на фиг.18, объект фильма или Java-объект ассоциирован со списком воспроизведения, а один элемент воспроизведения, принадлежащий списку воспроизведения, ассоциирован с информацией клипа в основном A/V-потоке. На основе информации управления текстовыми субтитрами объект фильма или Java-объект непосредственно ассоциирован с множеством информации клипов, каждая из которых соответствует уникальным образом одному из множества потоков текстовых субтитров на разных языках (поток #1 для английского и поток #2 для корейского в этом примере).
Информация управления текстовыми субтитрами находится по ссылке, а управление множеством потоков текстовых субтитров осуществляется на уровне объекта. Имя файла клипа в объекте фильма или Java-объекте может быть представлено схемой URL-представления.
Фиг.19 иллюстрирует пример структуры данных информации управления текстовыми субтитрами согласно этому варианту осуществления настоящего изобретения. Как показано, синтаксис информации управления текстовыми субтитрами включает в себя, среди прочего, поле 'number_of_text_subtitles' для представления количества текстовых субтитров и поле ' is_seamless_text_subtitle_change' для указания того, возможно ли или нет плавное изменение между потоками текстовых субтитров.
Для каждого текстового субтитра, предоставленного полем 'number_of_text_subtitles', субэлемент воспроизведения предоставляет поле 'Clip_Information_file_name', поле 'Target_PlayList' ('Целевой_Список_воспроизведения'), поле 'Target_PlayItem' ('Целевой_Элемент_воспроизведения') и поле 'Application'. Имя файла информации клипа предоставляет либо имя файла информации клипа, которая указывает клип потока текстовых субтитров, либо непосредственно указывает имя клипа потока текстовых субтитров. Поле 'Application' является таким же, что и описанное в предыдущих вариантах осуществления. Поля 'Target_PlayList' и 'Target_PlayItem' предназначены для хранения индексной информации списков воспроизведения и/или элементов воспроизведения, которые ассоциированы однозначным соответствием с множеством потоков текстовых субтитров.
Фиг.20 иллюстрирует другой вариант осуществления структуры данных для информации управления текстовыми субтитрами. Как показано на фиг.20, синтаксис информации управления текстовыми субтитрами согласно этому варианту осуществления является таким же, что и на фиг.19, кроме того, что для каждого потока текстовых субтитров, указанного полем 'number_of_text_subtitles', синтаксис может дополнительно включать в себя поле 'Source_Clip_file_URL' ('URL_исходного_файла_клипа') для хранения информации о расположении потоков текстовых субтитров; например, каталог на оптическом диске высокой плотности или URL-адрес во Всемирной Паутине (World Wide Web).
Фиг.21 иллюстрирует устройство воспроизведения оптического диска согласно варианту осуществления настоящего изобретения. Как показано, устройство включает в себя оптическую головку 11 для считывания данных с BD-ROM 10; переключатель 12 исходных потоков; память 13; Java-процессор 14; процессор 15 текстовых субтитров; первый демультиплексор (demux) 16; второй демультиплексор (demux) 17; переключатель 18 исходных графических представлений; средство 19 формирования отображения шрифтов; интерактивный графический декодер 20; графический декодер 21 представления; видеодекодер 22; переключатель 23 интерактивных графических данных; селектор 24 графических данных представления; плата 25 интерактивной графики; плата 26 графического представления; видеоплата 27; плата 28 фонового изображения; несколько смесителей 29, 30, 31 и микрокомпьютер 32.
Устройство воспроизведения оптического диска может быть подсоединено к СР-серверу 300 через Интернет 200. СР-сервер 300 предоставляет потоки растровых субтитров или потоки текстовых субтитров, которые могут быть в формате транспортного потока (TS) MPEG2 или предопределенным бинарным потоком XML-формата.
Навигационные данные, описанные прежде со ссылкой на фиг.5-19, считываются с BD-ROM 10. На основе навигационных данных, предназначенных для связывания потоков текстовых субтитров с основными A/V-потоками, микрокомпьютер 32 выполняет последовательности операций управления так, чтобы воспроизвести поток текстовых субтитров, который считывается с BD-ROM и/или доставляется от СР-сервера 300 во время воспроизведения основного A/V-потока.
Поток текстовых субтитров от СР-сервера 300 может быть мультиплексированным потоком только потоков текстовых субтитров на множестве языков или мультиплексированным потоком потоков текстовых субтитров и аудиопотоков. Потоки растровых или текстовых субтитров, доставленных от СР-сервера 300, выгружаются в память 13, которой является HDD, ОЗУ, флэш-память и т.д.
Процесс декодирования потоков растровых и текстовых субтитров будет описан ниже в деталях. Поток текстовых субтитров, записанный на BD-ROM в формате TS MPEG2 потока отдельно от основного A/V-потока, считывается с BD-ROM и может затем быть выгружен в память 13. Поток текстовых субтитров затем доставляется к процессору 15 текстовых субтитров через переключатель 12 исходных потоков и второй демультиплексор 17. Процессор 15 текстовых субтитров может быть сконфигурирован как компонент Java-процессора 14 или быть отдельным текстовым процессором, как показано.
На основе потока текстовых субтитров, обработанного процессором 15 текстовых субтитров, графические данные представления шрифта генерируются средством 19 формирования отображения шрифтов и затем вводятся в селектор 24 графических данных представления. Графические данные представления, соответствующие, например, потоку растровых субтитров, могут также быть доставлены к селектору 24 графических данных преставления из памяти 13 через переключатель 12, первый демультиплексор 16 или второй демультиплексор 17, переключатель 18 исходных графических представлений и графический декодер 21 представления. Как будет понятно, графический декодер 21 представления декодирует графические данные представления. Селектор 24 графических данных представления в одном варианте осуществления выборочно отбирает одни из графических данных представления из средства 19 формирования отображения шрифтов (графические данные текстовых субтитров) или из графического декодера 21 представления (графические данные растровых субтитров) и доставляет эти данные к плате 26 графического представления.
Между тем, воспроизводимые данные заднего фона (если они есть) доставляются посредством переключателя 12 к плате 28 фонового изображения, а воспроизводимые A/V-данные доставляются посредством переключателя 12 к видеодекодеру 22 через первый демультиплексор 16. Видеодекодер 22 декодирует A/V-данные. Смеситель 29 смешивает декодированные A/V-данные с данными заднего фона (если они есть). Смеситель 30 смешивает выходные данные смесителя 29 с выходными данными из платы 26 графического представления.
Таким образом, либо растровые субтитры, либо текстовые субтитры могут быть отображены вместе с основными видеоизображениями. Как упоминалось прежде, и поток текстовых субтитров, и поток растровых субтитров могут быть доставлены от СР-сервера 300.
Когда поток текстовых субтитров был записан на BD-ROM в предопределенном бинарном формате, таком как XML, поток текстовых субтитров выгружается в память 13 и затем доставляется непосредственно к процессору 15 текстовых субтитров, обходя второй демультиплексор 17. На основе выходных данных процессора 15 текстовых субтитров, графические данные представления шрифтов формируются средством 19 формирования отображения шрифтов и затем вводятся в селектор 24 графических данных представления. Здесь графические данные представления либо из средства 19 формирования отображения шрифтов (графические данные текстовых субтитров), либо из графического декодера 21 представления (графические данные растрового субтитра) отбираются выборочно как выходные данные. Выходные данные селектора 24 графических данных представления доставляются в плату 26 графического представления так, что либо растровые субтитры, либо текстовые субтитры могут быть отображены вместе с основными видеоизображениями. Это совершается смесителем 30, который смешивает выходные данные из смесителя 29 и платы 26 графического представления. Также оба или любой из потока текстовых субтитров и потоков растровых субтитров могут быть доставлены от СР-сервера 300.
Интерактивные графические данные, такие как кнопка селектора меню, доставляются декодеру 20 интерактивной графики через демультиплексор 16, а выходные данные декодера 20 интерактивной графики являются входными данными в переключателе 23 интерактивных графических данных. Интерактивные графические данные могут также быть доставлены из Java-процессора 14 и/или средства 19 формирования отображения шрифтов и являются входными данными в переключателе 23 интерактивных графических данных. Переключатель 23 интерактивных графических данных определяет, какие входные данные выбраны как выходные данные для платы 25 интерактивной графики. Выходные данные платы 25 интерактивной графики затем смешиваются смесителем 31 с выходными данными из смесителя 30.
Селектор 24 интерактивных графических данных может быть реализован как переключатель или как смеситель, как показано на фиг.22 и 23 соответственно. Более конкретно, в то время как текстовые субтитры и растровые субтитры не могут быть отображены одновременно, если принят вариант осуществления на основе переключателя, вариант осуществления смесителя обеспечивает возможность одновременного отображения двух субтитров на неперекрывающихся областях экрана. Более того, вместо использования селектора 24 интерактивных графических данных может быть дополнительно использована плата 40 текстового представления, как показано на фиг.24, так, чтобы отобразить текстовые субтитры, доставленные из средства 19 формирования отображения шрифтов. Как будет понятно, этот вариант осуществления также использует дополнительный смеситель, чтобы смешивать выходные данные из платы 40 текстового представления и смесителя 31. В конфигурации по фиг.24 текстовые субтитры и растровые субтитры могут быть отображены независимо друг от друга.
Настоящее изобретение предоставляет носитель записи, имеющий структуру данных для управления воспроизведением данных дополнительного представления, и предоставляет способы и устройства для записи структуры данных на носитель записи.
В то время как изобретение было раскрыто со ссылкой на ограниченное число вариантов осуществления, специалисты в данной области техники, имеющие преимущество в виде этого открытия, оценят многочисленные его модификации и вариации. Например, описанное со ссылкой на оптический диск Blu-ray ROM в нескольких примерах, настоящее изобретение не ограничено этим стандартом оптического диска или оптических дисков. Имеется в виду, что все такие модификации и вариации охватываются объемом изобретения.