(57)【特許請求の範囲】
【請求項１】
記憶手段に記憶された字幕データとオブジェクト画像データとについて、表示するタイミングと前記オブジェクト画像データについては更に表示位置座標とに関する情報を管理する管理手段と、
前記記憶手段に記憶されている字幕データとオブジェクト画像データとの表示に関する複数の言語の中から指定された言語を選択する言語選択手段と、
撮影手段で撮影された画像の中からスクリーン領域を検出してディスプレイにおけるスクリーン位置を特定する特定手段と、
前記言語選択手段で選択された言語に対応する字幕データを前記管理手段で管理されているタイミングに従って前記特定手段で特定されたスクリーン位置の外側に表示し、且つ、前記言語選択手段で選択された言語に対応するオブジェクト画像データを前記管理手段で管理されているタイミングに従って前記表示位置座標を前記特定手段で特定されたスクリーン位置の座標系に変換した位置に表示する表示制御手段と、
を有することを特徴とする情報提供システム。
【請求項２】
前記スクリーンの四隅には、マーカが設けられ、
前記特定手段は、前記撮影手段で撮影された画像から検出した前記四隅のマーカにより前記スクリーン領域を検出して前記ディスプレイにおけるスクリーン位置を特定することを特徴とする請求項１に記載の情報提供システム。
【請求項３】
前記表示制御手段は、前記選択された言語に対応する字幕データを前記特定されたスクリーン位置の外側におけるユーザ指定の位置に表示することを特徴とする請求項１又は２に記載の情報提供システム。
【請求項４】
情報提供システムが実行する情報提供方法であって、
記憶手段に記憶された字幕データとオブジェクト画像データとについて、表示するタイミングと前記オブジェクト画像データについては更に表示位置座標とに関する情報を管理する管理ステップと、
前記記憶手段に記憶されている字幕データとオブジェクト画像データとの表示に関する複数の言語の中から指定された言語を選択する言語選択ステップと、
撮影手段で撮影された画像の中からスクリーン領域を検出してディスプレイにおけるスクリーン位置を特定する特定ステップと、
前記言語選択ステップで選択された言語に対応する字幕データを前記管理ステップで管理されているタイミングに従って前記特定ステップで特定されたスクリーン位置の外側に表示し、且つ、前記言語選択ステップで選択された言語に対応するオブジェクト画像データを前記管理ステップで管理されているタイミングに従って前記表示位置座標を前記特定ステップで特定されたスクリーン位置の座標系に変換した位置に表示する表示制御ステップと、
を含むことを特徴とする情報提供方法。
【請求項５】
コンピュータに、
記憶手段に記憶された字幕データとオブジェクト画像データとについて、表示するタイミングと前記オブジェクト画像データについては更に表示位置座標とに関する情報を管理する管理ステップと、
前記記憶手段に記憶されている字幕データとオブジェクト画像データとの表示に関する複数の言語の中から指定された言語を選択する言語選択ステップと、
撮影手段で撮影された画像の中からスクリーン領域を検出してディスプレイにおけるスクリーン位置を特定する特定ステップと、
前記言語選択ステップで選択された言語に対応する字幕データを前記管理ステップで管理されているタイミングに従って前記特定ステップで特定されたスクリーン位置の外側に表示し、且つ、前記言語選択ステップで選択された言語に対応するオブジェクト画像データを前記管理ステップで管理されているタイミングに従って前記表示位置座標を前記特定ステップで特定されたスクリーン位置の座標系に変換した位置に表示する表示制御ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提供システム、情報提供方法、及びプログラムに関する。
【背景技術】
【０００２】
映画館で上映される外国で作成された映画については、外国語で上映して日本語の字幕を映しこむケースと、日本語に吹き替えて字幕を映さないで上映するケースとがある。このような工夫により、様々な観客に対応できるようになる。しかしながら、例えば前者のケースでは、幾つかの問題が残されている。
例えば、２ヵ国語の字幕に対応するためには、同じスクリーン（会場）で行う場合には別の時間帯で２回上演をするか、同じ時間帯で上演したい場合は言語毎にスクリーンを設定する必要がある。つまり、言語毎に時間帯と会場とを確保しなければならない。また、例えば、日本語の字幕で上映するとしても、ある年齢層に合わせて字幕を作成することになり、言葉遣いや漢字の使い方によっては若年層に分かり難い表現が混入するおそれがある。
近年、バーチャルリアリティを利用し、観客が装着したＨＭＤ（Head Mounted Display）に字幕を表示する技術が開示されている（例えば、特許文献１参照。）。この技術では、ＨＭＤに字幕が表示されるので、同じスクリーンを見ている複数の観客が、それぞれ好きな言語の字幕を見ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−０６９０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、ＨＭＤに表示される字幕がＨＭＤ内の所定座標付近に固定されて表示されるという問題がある。
【０００５】
本発明はこのような問題点に鑑みなされたもので、字幕情報をより適切に表示することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明に係る情報提供システムは、記憶手段に記憶された字幕データとオブジェクト画像データとについて、表示するタイミングと前記オブジェクト画像データについては更に表示位置座標とに関する情報を管理する管理手段と、前記記憶手段に記憶されている字幕データとオブジェクト画像データとの表示に関する複数の言語の中から指定された言語を選択する言語選択手段と、撮影手段で撮影された画像の中からスクリーン領域を検出してディスプレイにおけるスクリーン位置を特定する特定手段と、前記言語選択手段で選択された言語に対応する字幕データを前記管理手段で管理されているタイミングに従って前記特定手段で特定されたスクリーン位置の外側に表示し、且つ、前記言語選択手段で選択された言語に対応するオブジェクト画像データを前記管理手段で管理されているタイミングに従って前記表示位置座標を前記特定手段で特定されたスクリーン位置の座標系に変換した位置に表示する表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、字幕情報をより適切に表示することができる。
【図面の簡単な説明】
【０００８】
【図１】ＨＭＤの一例を示す図である。
【図２】ＡＲ提供システムの一例を示す図である。
【図３Ａ】ＨＭＤのハードウェア構成の一例を示す図である。
【図３Ｂ】プロジェクタのハードウェア構成の一例を示す図である。
【図４】ＨＭＤ及びプロジェクタの機能構成の一例を示す図である。
【図５】字幕データのデータ構造の一例を示す図である。
【図６】情報提供システムのシーケンスの一例を示す図である。
【図７】データ配信処理に係るフローチャートの一例を示す図である。
【図８】表示制御処理に係るフローチャートの一例を示す図である。
【図９Ａ】ＨＭＤの表示態様の一例を示す図である。
【図９Ｂ】ＨＭＤの表示態様の一例を示す図である。
【図１０】字幕情報のデータ構造の一例を示す図である。
【図１１】データ配信処理に係るフローチャートの一例を示す図である。
【図１２】字幕情報のデータ構造の一例を示す図である。
【図１３】管理テーブルのデータ構造の一例を示す図である。
【図１４】データ配信処理に係るフローチャートの一例を示す図である。
【図１５】表示制御処理に係るフローチャートの一例を示す図である。
【図１６】字幕の表示タイミングの一例を示す図である。
【図１７Ａ】ＨＭＤの表示態様の一例を示す図である。
【図１７Ｂ】ＨＭＤの表示態様の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
（第１の実施形態）
図１は、本実施形態に係るＨＭＤの一例（ＨＭＤ１００）を示す図である。ＨＭＤ１００は、表示装置（コンピュータ）の一例であり、ディスプレイ１０を有する。
本実施形態では、ユーザは、ＨＭＤ１００を頭部に装着し、画像が映し出されるスクリーン９００を、ディスプレイ１０を介して見ることで映画を鑑賞する。
この際、ディスプレイ１０には、シーンに応じた字幕情報（ＡＲデータの一例）がスクリーン９００の外側に位置するように表示される。
本実施形態では、現実空間に整合する位置にＡＲデータ（コンピュータグラフィックス画像など）をディスプレイ１０に表示することで、拡張された現実感（ＡＲ：Augmented Reality）をユーザに提供する。
【００１１】
図２は、ＡＲ提供システムの一例（情報提供システム）を示す図である。情報提供システムは、ＨＭＤ１００及びプロジェクタ２００を含んで構成される。ＨＭＤ１００及びプロジェクタ２００は、互いに無線通信が可能に構成されている。
ＨＭＤ１００は、ＨＭＤ１００における各種の制御を司る制御機能１２０と、字幕の言語の指定を受け付ける言語指定機能１３０とを有する。
プロジェクタ２００は、情報提供装置（コンピュータ）の一例であり、フィルム２２０を読み込んでスクリーン９００に画像を映し出す投影機能２１０と、各種のデータ２４０を用いてプロジェクタ２００における各種の制御を司る制御機能２３０と、を有する。
【００１２】
例えば、プロジェクタ２００の制御機能２３０は、投影機能２１０によりフィルム２２０の読み込みに応じて字幕データが読み出されると、一連の字幕データ（字幕情報）をＨＭＤ１００に送信する。なお、字幕データの詳細については、図５を参照して説明する。
他方、ＨＭＤ１００の制御機能１２０は、ＨＭＤ１００に設けられている撮影装置１５を介してリアルタイムに現実空間を捉える。また、制御機能１２０は、撮影装置１５の映像からスクリーン９００に設けられたマーカ（９１０、９２０、９３０、９４０）を認識することでスクリーン９００（外形）を特定し、ディスプレイ１０におけるスクリーン９００の外側に字幕情報を表示する。
なお、制御機能１２０、言語指定機能１３０、制御機能２３０の詳細については、図４を参照して説明する。
【００１３】
図３Ａは、ＨＭＤ１００のハードウェア構成の一例を示す図である。ＨＭＤ１００は、ディスプレイ１０、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤ（Hard Disk）１４、撮影装置１５、入力装置１６、及びインタフェース装置１７を有する。
ディスプレイ１０は、表示部の一例であり、透過型の液晶ディスプレイ等であり、ＡＲデータを表示すると共に、ディスプレイ１０を介して現実空間を視認可能に構成される。ＣＰＵ１１は、必要に応じて、ＲＯＭ１２、ＨＤ１４などからプログラムを読み出してプログラムを実行する。プログラムが実行されることで、ＨＭＤ１００における機能、及び後述のフローチャートに係る処理が実現される。
【００１４】
ＲＯＭ１２は、ＨＭＤ１００の電源投入時に最初に読み込まれるプログラム等を記憶する。ＲＡＭ１３は、ＨＭＤ１００のメインメモリとして機能する。ＨＤ１４は、プログラムに加えてＣＰＵ１１により算出された数値データ等を記憶する。
なお、ＨＭＤ１００は、ＲＡＭ１３、ＨＤ１４などの記憶部に記憶される各種の情報を、ＣＤ−ＲＯＭ、ＵＳＢ等の媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
撮影装置１５は、現実空間の撮影を行う。入力装置１６は、操作ボタンなどを含んで構成され、操作ボタンの操作（ユーザ操作）に応答して各種の情報を入力する。インタフェース装置１７は、外部装置（プロジェクタ２００等）と通信を行い、後述の機器ＩＤ、言語データなどを送信し、字幕情報などを受信する。インタフェース装置１７で受信されたデータは、ＲＡＭ１３、ＨＤ１４などの記憶部に記憶される。
【００１５】
図３Ｂは、プロジェクタ２００のハードウェア構成の一例を示す図である。プロジェクタ２００は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、ＨＤ（Hard Disk）２４、入力装置２５、出力装置２６、記録媒体ドライブ装置２７、及びインタフェース装置２８を有する。
ＣＰＵ２１は、必要に応じて、ＲＯＭ２２、ＨＤ２４などからプログラムを読み出してプログラムを実行する。プログラムが実行されることで、プロジェクタ２００における機能、及び後述のフローチャートに係る処理が実現される。
【００１６】
ＲＯＭ２２は、プロジェクタ２００の電源投入時に最初に読み込まれるプログラム等を記憶する。ＲＡＭ２３は、プロジェクタ２００のメインメモリとして機能する。ＨＤ２４は、プログラムに加えてＣＰＵ２１により算出された数値データ等を記憶する。
なお、プロジェクタ２００は、ＲＡＭ２３、ＨＤ２４などの記憶部に記憶される各種の情報を、ＣＤ−ＲＯＭ、ＵＳＢ等の媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
【００１７】
入力装置２５は、ボタン等の入力デバイスを含んで構成され、ユーザによる入力デバイスの操作に応答してプロジェクタ２００に各種の情報を入力する。なお、入力装置２５としては、遠隔制御を行うための機器の操作、情報処理装置に接続されたキーボードやマウスの操作などを介して、プロジェクタ２００に各種の情報を入力する構成を採用してもよい。出力装置２６は、各種の情報をスクリーン９００に映し出す。
記録媒体ドライブ装置２７は、記録媒体ドライブ装置２７にセットされたフィルム等の記録媒体２９を読み込み、記録された各種の情報を読み出す。インタフェース装置２８は、外部装置（ＨＭＤ１００等）と通信を行い、字幕情報などを送信し、後述の機器ＩＤ、言語データなどを受信する。インタフェース装置２８で受信されたデータは、ＲＡＭ２３、ＨＤ２４などの記憶部に記憶される。
【００１８】
図４は、ＨＭＤ１００及びプロジェクタ２００の機能構成の一例を示す図である。ＨＭＤ１００は、表示制御部３１、通信部３２、及び入力部３３を有する。
表示制御部３１は、ＣＰＵ１１、撮影装置１５などを介して、ディスプレイ１０における表示を制御する。例えば、表示制御部３１は、字幕情報の位置、大きさ、範囲、明るさ等を調整してディスプレイ１０に表示する。
通信部３２は、インタフェース装置１７を介して行われる通信を制御する。例えば、通信部３２は、後述の機器ＩＤ、言語データなどをプロジェクタ２００に送信し、字幕情報などをプロジェクタ２００から受信する。
入力部３３は、操作ボタンの操作に応答して入力される情報を管理する。例えば、入力部３３は、操作ボタンの操作に応答して複数種類の言語から一の言語の指定を受け付け、指定された言語を識別可能な識別情報の一例である言語データを通信部３２に通知する。なお、指定された言語データは、ＲＡＭ１３等の記憶部に格納される。
【００１９】
他方、プロジェクタ２００は、データ管理部４１及び通信部４２を有する。
データ管理部４１は、ＣＰＵ２１、記録媒体ドライブ装置２７などを介して、プロジェクタ２００における各種のデータを管理する。例えば、データ管理部４１は、複数種類の言語に対応して設けられた複数種類の字幕データがフィルムから読み出された場合、ＨＭＤ１００から受信した言語データに対応する一連の字幕データ（字幕情報）を通信部４２に通知する。
通信部４２は、インタフェース装置２８を介して行われる通信を制御する。例えば、通信部３２は、字幕情報をＨＭＤ１００に送信し、後述の機器ＩＤ、言語データなどをＨＭＤ１００から受信する。
【００２０】
図５は、字幕データのデータ構造の一例を示す図である。
本実施形態では、字幕データは、「０」又は「１」を示す情報であり、フィルムの字幕トラックに設けられている。より詳細に説明すると、フィルムには、映像トラック、音声トラック（より広義には「音トラック」）、及び字幕トラックが設けれ、映像トラックと音声トラックと字幕トラックとが記録媒体ドライブ装置２７で同時に読み込まれる。なお、映像トラックには、映像情報が記録され、音声トラックには、音声情報が記録されている。
換言するならば、映像情報、及び音声情報に同期するように（同期可能に）字幕データがフィルムに予め設けられ、プロジェクタ２００は、映像情報、及び音声情報に同期して字幕情報が表示されるように字幕データを読み出す。
【００２１】
例えば、字幕に対応する映像情報が記録されたフィルム上の地点よりも前の地点に当該字幕の字幕データが記録され、プロジェクタ２００により、映像情報が映し出されるまでに一連の字幕データが読み出されると、一連の字幕データを字幕情報としてＨＭＤ１００に送信され、ＨＭＤ１００により字幕情報が表示される。上述の構成により、映像、音声、及び字幕の同期が実現される。
また、字幕トラックには、複数種類の言語に対応する複数種類の字幕データが設けられている。なお、プロジェクタ２００は、映像情報、音声情報と共に、全ての種類の字幕データを同時に読み出す。
【００２２】
図６は、情報提供システムのシーケンスの一例を示す図である。
ＳＱ３００では、ＨＭＤ１００は、言語指定処理を行う。より具体的には、ＨＭＤ１００の入力部３３は、入力装置１６の操作に応答して、複数種類の言語のうちから一の言語の指定を受け付け、受け付けた言語を識別可能な言語データを特定する。
ＳＱ３１０では、ＨＭＤ１００の通信部３２は、ＨＭＤ１００を識別可能な機器ＩＤと特定された言語データとをプロジェクタ２００に送信する。なお、機器ＩＤは、ＨＭＤ１００の出荷時の製造番号であってもよいし、管理者により予め設定された値であってもよい。
【００２３】
ＳＱ３２０では、プロジェクタ２００のデータ管理部４１は、データ配信処理を行う。例えば、データ管理部４１は、通信部４２を介して受信された機器ＩＤ及び言語データを対応付けてＨＤ２４に格納し、フィルムの読み込みに応答して、ＨＭＤ１００が要求する言語の字幕情報を通信部４２を介して送信する。なお、データ配信処理の詳細については図７を参照して説明する。
ＳＱ３３０では、プロジェクタ２００の通信部４２は、字幕情報をＨＭＤ１００に送信する。ここで、図６では、ＳＱ３３０の処理は、データ配信処理において行われるが、便宜上、データ配信処理の後に行われるように示している。なお、ＳＱ３５０、ＳＱ３７０、及びＳＱ３８０についても同様である。
【００２４】
ＳＱ３４０では、ＨＭＤ１００の表示制御部３１は、表示制御処理を行う。例えば、表示制御部３１は、通信部３２を介して受信された字幕情報を、観客により指定された各種の設定、ＨＭＤ１００の位置及び姿勢、並びに映画館の明るさに適合するように調整してディスプレイ１０に表示する。なお、表示制御処理の詳細については図８を参照して説明する。
そして、データ管理部４１による記録媒体ドライブ装置２７を介したフィルムの読み込みが終了するまで、字幕情報の送信処理と表示制御処理とが行われる（ＳＱ３５０〜ＳＱ３９０）。
【００２５】
図７は、データ配信処理に係るフローチャートの一例を示す図である。
まず、データ管理部４１は、記録媒体ドライブ装置２７を介して、映像トラック、音声トラック、及び字幕トラックを読み込む（Ｓ４００）。
この際、データ管理部４１は、字幕トラックの字幕データを言語ごとにＲＡＭ２３に格納する。例えば、音声トラックに日本語、英語、及び中国語の夫々に対応する字幕データが記録されている場合、データ管理部４１は、日本語の字幕データ、英語の字幕データ、中国語の字幕データを識別してＲＡＭ２３に格納する。
そして、データ管理部４１は、一連の字幕データとなったと判断した場合、Ｓ４１０の処理を行う。なお、一連の字幕データの判別方法については、適宜の方法を採用できる。例えば、データ管理部４１は、字幕トラックに設けられる開始符号及び終了符号の間に設けられている字幕データを一連の字幕データであると判別する。また、例えば、字幕トラックに設けられる特定符号ごとの字幕データを一連の字幕データであると判別する。
【００２６】
次に、データ管理部４１は、通信部４２を介して各ＨＭＤから受信された機器ＩＤと各ＨＭＤから要求された言語の言語データとをもとに、要求された言語の字幕情報を各ＨＭＤに通信部４２を介して送信する（Ｓ４１０）。
例えば、機器ＩＤがＨＭＤ１００を示す「１００」であり、言語データが日本語を示す「ＪＰ」である場合、上述したように、ＨＤ２４には機器ＩＤ「１００」と言語データ「ＪＰ」とが対応付けられて記憶されている。すなわち、Ｓ４１０の処理では、データ管理部４１は、ＨＤ２４に記憶されている機器ＩＤと言語データとを順次に読み出し、「１００」及び「ＪＰ」をＨＤ２４から読み出しとき、通信部４２を介して、ＲＡＭ２３に記憶されている日本語の字幕情報をＨＭＤ１００に送信する。
【００２７】
次に、データ管理部４１は、記録媒体ドライブ装置２７による、映像トラック、音声トラック、及び字幕トラックの読み込みが完了したか否かを判断する（Ｓ４２０）。このとき、データ管理部４１は、完了したと判断した場合、処理を終了し、他方、完了していないと判断した場合、Ｓ４００の処理を行う。
【００２８】
図８は、表示制御処理に係るフローチャートの一例を示す図である。
まず、表示制御部３１は、撮影装置１５の映像をもとにスクリーン９００を特定し、ディスプレイ１０におけるスクリーン９００の位置を算出する（Ｓ５００）。
本実施形態では、スクリーン９００の四隅には、スクリーン９００の外形を示すマーカが設けられ、表示制御部３１は、マーカによりスクリーン９００を特定する。なお、スクリーン９００を特定する方法については、上述の構成に限られるものではなく、パターン認識などの公知の方法を採用してもよい。
【００２９】
また、スクリーンの９００の四隅に設けられるマーカが赤外線を発し、赤外線検出装置により検出されたマーカをもとにスクリーン９００が特定される構成を採用してもよい。この場合、赤外線検出装置は、撮影装置１５に含まれていてもよいし、撮影装置１５に代えて設けられていてもよい。また、赤外線検出装置は、上述のような受動型センサに限られるものではなく、能動型センサでも本実施形態を実現できる。
このように、赤外線を発するマーカを用いることで、観客に不快感などを与えることなく、スクリーン９００を特定することができ、更には、映画館などの暗い場所においても正確にスクリーン９００を特定することができる。付言するならば、撮影装置１５として赤外線カメラを採用してもよく、この場合も同様の効果が得られる。
【００３０】
次に、表示制御部３１は、字幕情報をディスプレイ１０に表示する。より詳細に説明すると、表示制御部３１は、Ｓ５００で算出した位置を用いて、ディスプレイ１０におけるスクリーン９００の外側（外側領域）に字幕情報を表示する。この位置特定の演算（Ｓ５００）には、従来から用いられている技術を適用する。より具体的には、撮影装置１５における座標系をディスプレイ１０における座標系に変換する。これにより撮影装置１５で捉えた各マーカ位置に基づきディスプレイ１０内でスクリーン９００の相当領域が特定できる。表示制御部３１は、外側領域のうちディスプレイ１０におけるスクリーン９００の外形から一定の距離に字幕情報を表示する。
ディスプレイ１０におけるスクリーン９００の上下左右の何れに表示するかは、ユーザにより指定される構成であってもよいし、上下左右の外側領域の最も広い領域に決定される構成であってもよいし、ＨＭＤ１００の位置、姿勢などに応じて決定される構成であってもよいし、これらを組み合わせてもよい。
【００３１】
ここで、ＨＭＤ１００の位置に応じて決定される構成を採用した場合、表示制御部３１は、例えば、ＨＭＤ１００がスクリーン９００の正面に位置しないときは、図９Ａに示すようにＨＭＤ１００がスクリーン９００に近い側に字幕情報を表示する。
また、例えば、ＨＭＤ１００の姿勢に応じて決定される構成を採用した場合、表示制御部３１は、ＨＭＤ１００が傾いているとき、例えば図９Ｂに示すようにユーザがスクリーン９００に対してやや下方向を見たとき、つまりＨＭＤ１００がスクリーン９００の正面に位置しないときは、表示制御部３１は、上下左右の外側領域の最も広い領域を特定し、特定した領域に字幕情報を表示する。
【００３２】
本実施形態によれば、映画などの字幕をユーザが所望する言語とすることができ、更には、その映像を邪魔することなくユーザに字幕を提供することができる。
なお、本実施形態は、上述の構成に限られるものではない。例えば、読み出された字幕データがＨＭＤ１００に適宜に送信され、ＨＭＤ１００で一連の字幕データが字幕情報とされる構成を採用してもよい。
【００３３】
（第２の実施形態）
第１の実施形態では、字幕データがフィルムに記録されていたが、本実施形態では、字幕情報（一連の字幕データ）がＨＤ２４などの記憶部に記憶されている。なお、第１の実施形態と同じ構成については、同一の符号を用いて説明を適宜省略する。
【００３４】
図１０は、字幕情報のデータ構造の一例を示す図である。
映像情報、及び音声情報は、ＨＤ２４に記憶され、映像情報、及び音声情報の少なくとも一方が読み出されるタイミングごとにタイミングＩＤ５１（映像情報に対して同期をとる際の指標となる標識情報の一例である。）が付されている。他方、字幕情報については、映像情報、及び音声情報の少なくとも一方のタイミングＩＤ５１に対応するタイミングＩＤ（５２〜５６）が対応付けられてＨＤ２４に記憶されている。
なお、映像情報、及び音声情報は、フィルムに記録されていてもよい。
【００３５】
ここで、映像情報、及び音声情報が読み出される際には、まず、付されているタイミングＩＤが読み出され、読み出されたタイミングＩＤに対応する字幕情報がＨＤ２４から読み出される。そして、プロジェクタ２００により読み出されたタイミングＩＤ及び字幕情報がＨＭＤ１００に送信され、ＨＭＤ１００により字幕情報が表示される。これにより、映像、音声、及び字幕の同期が実現される。
また、ＨＤ２４には、複数種類の言語に対応する複数種類の字幕情報が同様に記憶されている。
なお、本実施形態は、上述の構成に限られるものではない。例えば、映像情報、音声情報、及び字幕情報は、インタフェース装置２８を介して接続される記憶装置に記憶されていてもよい。
【００３６】
図１１は、データ配信処理に係るフローチャートの一例を示す図である。
まず、データ管理部４１は、記録媒体ドライブ装置２７を介して、映像トラック及び音声トラックを読み込み、タイミングＩＤを読み出したときはタイミングＩＤをＲＡＭ２３に格納する（Ｓ６００）。
次に、データ管理部４１は、読み出した情報がタイミングＩＤであるか否かを判断する（Ｓ６１０）。このとき、データ管理部４１は、タイミングＩＤであると判断した場合、Ｓ６２０の処理を行い、他方、タイミングＩＤでないと判断した場合、Ｓ６００の処理を行う。
【００３７】
Ｓ６２０では、データ管理部４１は、読み出したタイミングＩＤに対応する字幕情報をＨＤ２４から抽出する。このとき、データ管理部４１は、複数種類の言語に対応する全ての字幕情報を抽出する。
次に、データ管理部４１は、Ｓ４１０と同様に、各ＨＭＤから受信した機器ＩＤと各ＨＭＤから要求された言語の言語データとをもとに、要求された言語の字幕情報及びそのタイミングＩＤを各ＨＭＤに通信部４２を介して送信する（Ｓ６３０）。なお、データ管理部４１は、タイミングＩＤに対応する字幕情報が抽出されていないときは、タイミングＩＤのみを送信する。
次に、データ管理部４１は、映像トラック及び音声トラックの読み込みが完了したか否かを判断する（Ｓ６４０）。このとき、データ管理部４１は、完了したと判断した場合、処理を終了し、他方、完了していないと判断した場合、Ｓ６００の処理を行う。
そして、ＨＭＤ１００では、表示制御処理が行われ、ディスプレイ１０におけるスクリーン９００の外側に字幕情報が表示される。
【００３８】
なお、Ｓ６３０の処理では、字幕情報及び対応するタイミングＩＤを各ＨＭＤに送信する構成を採用したが、この構成に限られるものではない。
例えば、プロジェクタ２００は、ＨＭＤ１００から言語データを受信した際に、言語データの言語の全ての字幕情報及び対応付けられているタイミングＩＤをＨＭＤ１００に送信し、Ｓ６３０の処理ではタイミングＩＤを送信する構成を採用してもよい。
また、例えば、ＨＭＤ１００は、言語の指定を受け付けた際に字幕情報及び対応付けられているタイミングＩＤをＨＤ２４から取得し、プロジェクタ２００は、Ｓ６３０の処理ではタイミングＩＤを送信する構成を採用してもよい。
これらの場合、Ｓ６２０の抽出処理と同様の処理が表示制御処理で行われる。
本実施形態によれば、字幕情報がフィルムに設けられていないので、言語の種類の追加の要望に、より容易に対応することができる。なお、本実施形態では、第１の実施形態の効果も奏する。
【００３９】
（第３の実施形態）
本実施形態では、スクリーン９００に映し出されたオブジェクト（手紙、新聞、雑誌、看板など）に重畳して、予め記憶されたオブジェクト情報（ＡＲデータの一例）がディスプレイ１０に表示される。すなわち、本実施形態では、第２の実施形態と同様に字幕情報がＨＤ２４に記憶され、更に、映像に係るオブジェクト情報などがＨＤ２４に記憶されている。なお、第１の実施形態、及び第２の実施形態と同じ構成については、同一の符号を用いて説明を適宜省略する。
【００４０】
図１２は、字幕情報のデータ構造の一例を示す図である。
映像情報、及び音声情報については、ＨＤ２４に記憶されていても、フィルムに記録されていてもよいが、映像情報、及び音声情報の少なくとも一方が読み出されるタイミングごとにタイミングＩＤ５１が付されている。他方、字幕情報については、タイミングＩＤ５１に対応するタイミングＩＤ（５２〜５６）が対応付けられてＨＤ２４に記憶されている。
また、本実施形態では、タイミングＩＤ５１に対応するタイミングＩＤ（５７、５８）が対応付けられてオブジェクト情報（画像データ、フリーデータなど）がＨＤ２４に記憶されている。オブジェクト情報は、映像中のオブジェクトに係る情報である。例えば、ＨＭＤ１００で日本語の指定が受け付けられている場合、オブジェクトとして中国語の手紙が映し出されているときに、日本語の手紙を示すために、管理者は、オブジェクト情報として日本語の手紙の画像データをタイミングＩＤに関連付けてＨＤ２４に予め記憶しておく。
【００４１】
ここで、映像情報、及び音声情報が読み出される際には、付されているタイミングＩＤが読み出され、読み出されたタイミングＩＤに対応する字幕情報、及びオブジェクト情報が読み出される。そして、プロジェクタ２００により読み出されたタイミングＩＤ、字幕情報、及びオブジェクト情報がＨＭＤ１００に送信され、ＨＭＤ１００により字幕情報、及びオブジェクト情報が表示される。これにより、映像、音声、字幕、及びオブジェクトの同期が実現される。
また、ＨＤ２４には、複数種類の言語に対応する複数種類の字幕情報が同様に記憶されている。
なお、本実施形態は、上述の構成に限られるものではない。例えば、映像情報、音声情報、字幕情報、及びオブジェクト情報は、インタフェース装置２８を介して接続される記憶装置に記憶されていてもよい。
【００４２】
図１３は、字幕情報などを管理する管理テーブルのデータ構造の一例を示す図である。
管理テーブルには、タイミングＩＤ、言語の種類、字幕の内容、字幕を表示する時間を調整する時間調整、オブジェクトを表示する位置を示す表示位置、オブジェクトの大きさを調整する大きさ調整の情報が格納されている。
管理テーブルの各種の情報は、管理者等により、映画の開始前に予め設定されているものとする。なお、本実施形態では、データの管理には、データベースなどで用いられる管理テーブルを採用しているが、表計算などが可能なアプリケーションで扱われる表形式のファイルであってもよいし、カンマ区切りのファイルであってもよい。
【００４３】
図１４は、データ配信処理に係るフローチャートの一例を示す図である。なお、Ｓ７００、Ｓ７１０、Ｓ７２０、及びＳ７５０の処理は、基本的には、Ｓ６００、Ｓ６１０、Ｓ６２０、及びＳ６４０の処理と同様であるので説明を省略する。ただし、Ｓ７２０では、データ管理部４１は、字幕情報に対する調整時間の情報が設定されている場合、調整時間の情報も抽出する。
【００４４】
Ｓ７３０では、データ管理部４１は、読み出したタイミングＩＤに対応するオブジェクト情報をＨＤ２４から抽出する。なお、データ管理部４１は、複数種類の言語に対応するオブジェクト情報が存在するときは、全てのオブジェクト情報を抽出する。
次に、データ管理部４１は、Ｓ４１０やＳ６３０と同様に、各ＨＭＤから受信した機器ＩＤと各ＨＭＤから要求された言語の言語データとをもとに、要求された言語の字幕情報と抽出したオブジェクト情報とそのタイミングＩＤとを各ＨＭＤに通信部４２を介して送信する。なお、データ管理部４１は、タイミングＩＤに対応する字幕情報及びオブジェクト情報が抽出されていないときは、タイミングＩＤのみを送信する。
【００４５】
図１５は、表示制御処理に係るフローチャートの一例を示す図である。なお、Ｓ８００の処理は、基本的には、Ｓ５００の処理と同様であるので説明を省略する。
Ｓ８１０では、表示制御部３１は、Ｓ５１０の処理と同様の処理を行うと共に、字幕情報と共に時間調整の情報が受信されたときは、タイマーに時間調整の情報（値）をセットする。
ここで、表示制御部３１は、タイミングＩＤを受信すると、基本的には、現在表示している字幕情報を消去し、次のタイミングＩＤ及び字幕情報を受信すると、タイマーに値がセットされているときはその値が経過した後に、その字幕情報の表示を行う。ただし、入力装置１６を介して字幕を延長して表示する旨の指定（延長表示指定）が入力部３３で受け付けられているときは、表示制御部３１は、タイマーにセットされた値が経過した後に、現在表示している字幕情報を消去して次の字幕情報の表示を行う。
【００４６】
図１６に、字幕の表示タイミングの一例を示す。上段には、延長表示指定が受け付けられていないときの字幕の表示タイミングを示し、下段には、延長表示指定が受け付けられているときの字幕の表示タイミングを示す。
ここで、本実施形態では、図１６の上段に示すように、基本的には、シーンに応じた字幕が表示される。より具体的には、第１のシーン（シーン１）から第２のシーン（シーン２）に映像が切り替わると（第２のシーンのタイミングＩＤが受信されると）、第１のシーンの字幕が消去される。しかしながら、小学生などは、字幕を読む速度が遅いため、第１のシーンの字幕を読み終わる前に第１のシーンの字幕が消去されてしまうことがある。
そこで、本実施形態では、延長表示指定が受け付けられると、図１６の下段に示すように、第２のシーンのタイミングＩＤが受信されて第２のシーンが開始されても、第２のシーンの字幕が表示されるまで（第２のシーンのタイミングＩＤを受信してから１０秒後まで）は、第１のシーンの字幕を表示する。なお、字幕の長さに応じて字幕を表示する時間を変更する構成としてもよい。この場合、第１のシーンの字幕と第２のシーンの字幕とが第２のシーンで同時に表示されることがある。
このように、延長表示指示を受け付けることにより字幕を表示する時間を変更することができるので、観客は、字幕を把握しやすくなる。
【００４７】
Ｓ８２０では、表示制御部３１は、ひずみ処理を行う。ひずみ処理では、表示制御部３１は、スクリーン９００の歪みに応じて表示用のオブジェクトの形状を変形する。なお、形状を変形する処理については、一般的な手法を用いて実現できるので、詳細な説明は省略する。
また、表示制御部３１は、オブジェクト情報と共に送信される大きさ調整の情報をもとに、ディスプレイ１０におけるスクリーン９００の大きさに対応して表示用のオブジェクトの大きさを変更する。本実施形態では、大きさ調整の情報は、スクリーン９００の縦の長さを１としたときのオブジェクトの縦の長さを示す値（割合）である。
【００４８】
Ｓ８３０では、表示制御部３１は、歪み処理後のオブジェクト情報をディスプレイ１０に表示する。より具体的には、表示制御部３１は、オブジェクト情報と共に送信される表示位置の座標情報をもとに、ディスプレイ１０における表示位置を決定する。本実施形態では、座標情報は、スクリーン９００の左上に設けられているマーカ（マーカ９１０）を原点とした座標系のデータである。
例えば、ＨＭＤ１００で日本語の字幕の指定が受け付けられている場合、図１７Ａに示すような中国語の手紙６０がスクリーン９００に表示される際、図１７Ｂに示すような日本語の手紙のオブジェクト情報がプロジェクタ２００から送信され、スクリーン９００上の中国語の手紙６０に重ねられるように位置合わせが行われて日本語の手紙６５がディスプレイ１０に表示される。
【００４９】
Ｓ８４０では、表示制御部３１は、オプション処理を行う。オプション処理では、表示制御部３１は、フリーデータを受信した場合、フリーデータに応じて処理を行う。
例えば、表示制御部３１は、残虐なシーン、子供に見せたくないシーンなどを示すフリーデータをもとに、一部又は全部の映像を覆って隠す処理（モザイク処理）を行う。
本実施形態によれば、観客の年齢などに応じて字幕を提供することができる。また、本実施形態によれば、映像のオブジェクトについても、指定された言語に、より容易に対応することができる。なお、本実施形態では、第１の実施形態の効果、及び第２の実施形態の効果も奏する。
【００５０】
また、本実施形態は、上述の構成に限られるものではない。
例えば、表示制御部３１は、字幕情報の表示に係る処理（Ｓ８１０）とオブジェクト情報の表示に係る処理（Ｓ８２０、Ｓ８３０）とを並行して行ってもよいし、オブジェクト情報の表示に係る処理を字幕情報の表示に係る処理よりも先に行ってもよい。
また、例えば、表示制御部３１は、映画館（会場）の明るさに応じてオブジェクト情報の明るさを調整する処理を行ってもよい。会場の明るさについては、撮影装置１５の映像から取得してもよいし、明るさを検知する検知装置をＨＭＤ１００に設けて、検知装置により取得されてもよい。
【００５１】
ＨＤ２４には３Ｄのオブジェクト情報が記憶されている。よって、表示制御部３１は、映画が３Ｄ映画である場合、映画のシーンに合わせて３Ｄのオブジェクト情報をディスプレイ１０に表示する。なお、表示制御部３１は、２Ｄ映画である場合でも、映画のシーンに合わせて３Ｄのオブジェクト情報をディスプレイ１０に表示してもよい。
また、観客の３６０oの顔写真を事前に登録し（ＨＤ２４に記憶し）、プロジェクタ２００は、予め規定したタイミングで顔写真を読み出してＨＭＤ１００に送信し、ＨＭＤ１００は、ディスプレイ１０に顔写真を表示する。例えば、映画に登場する特定の人物が映し出されるときに、自分の顔写真が特定の人物の顔に重ねられてディスプレイ１０に表示される。
【００５２】
なお、上述した実施形態では、映像がフィルムに記録されている例で説明したが、映像・音声・字幕をすべてデジタルデータで記録しても同様に実施することができる。
また、上述した実施形態では、ＨＭＤ１００側から言語データをプロジェクタ２００に送信する例で説明したが、ＨＭＤ１００に言語選択スイッチ（入力装置１６の一例）を設け、プロジェクタ２００から多チャンネルで無線配信された字幕情報の中から、ユーザによる言語選択スイッチの操作に応じた言語の字幕情報（字幕情報チャンネル）を選択的に受信するようにしてもよい。この場合、言語選択スイッチは、物理的なスイッチでも、ソフトウェア構成のスイッチでも構わない。付言するならば、第１の実施形態、及び第２の実施形態についてもこの構成を採用することができる。
【００５３】
（その他の実施形態）
また、上述の実施形態では、映画館のスクリーン９００に適用して説明したが、家に設置されるテレビに適用してもよい。
また、記録媒体２９、ＨＤ２４、インタフェース装置２８を介して接続される記憶装置は、記憶媒体の一例である。
付言するならば、上述した構成については、適宜組み合わせて採用することができる。
【００５４】
上述した構成によれば、字幕を映しこむ場合、映像の一部に重なってしまう事態を避けることができ、作品のどこかに字幕が重なってしまい見栄えを悪くしてしまうことがない。
また、字幕は、基本的には台詞やキャプションなどに対応して表示されるが、作品によっては、映像に映し出される新聞紙や雑誌などの記事に意味があるものが存在する。これに対し、上述した構成によれば、意味のある記事の部分が原語表示されたままで表示される問題を解決できる。
このように、上述した構成によれば、字幕情報をより適切に表示することができる。
【００５５】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００５６】
１００  ＨＭＤ
２００  プロジェクタ
【図１】
0005715842.tif 000002
【図２】
0005715842.tif 000003
【図３Ａ】
0005715842.tif 000004
【図３Ｂ】
0005715842.tif 000005
【図４】
0005715842.tif 000006
【図５】
0005715842.tif 000007
【図６】
0005715842.tif 000008
【図７】
0005715842.tif 000009
【図８】
0005715842.tif 000010
【図９Ａ】
0005715842.tif 000011
【図９Ｂ】
0005715842.tif 000012
【図１０】
0005715842.tif 000013
【図１１】
0005715842.tif 000014
【図１２】
0005715842.tif 000015
【図１３】
0005715842.tif 000016
【図１４】
0005715842.tif 000017
【図１５】
0005715842.tif 000018
【図１６】
0005715842.tif 000019
【図１７Ａ】
0005715842.tif 000020
【図１７Ｂ】
0005715842.tif 000021