(57)【特許請求の範囲】
【請求項１】
テロップ入力装置と３Ｄテロップ座標生成装置と３Ｄテロップデータ生成装置と３Ｄテロップ画像信号生成装置と画枠歪み警報装置を備え、３Ｄ撮像装置で取得した画像信号に基づき３Ｄ映像表示する３Ｄ映像再生表示装置と組み合わせて使用される３Ｄ字幕制作装置であって、
前記テロップ入力装置は、テロップを構成する文字情報や図形情報を入力して３Ｄ映像に挿入する挿入テロップのコンテンツデータを出力し、
前記３Ｄテロップ座標生成装置は、３Ｄ画面における３Ｄテロップの表示を適宜の３Ｄ位置に移動して指定するポインター操作卓を付属して、指定された表示位置に対応する３Ｄ座標情報を算定して出力し、
前記３Ｄテロップデータ生成装置は、前記３Ｄテロップ座標生成装置から３Ｄテロップの座標情報を入力し、前記テロップ入力装置から前記挿入テロップのコンテンツデータを入力し、前記３Ｄ映像のタイムコードを入力して、前記挿入テロップに係るテロップデータを生成して出力し、
前記３Ｄテロップ画像信号生成装置は、前記テロップデータ生成装置から前記テロップデータを入力して、前記挿入テロップを３Ｄ映像表示するための左目用および右目用の１対の映像信号を生成して出力し、
前記警報装置は左目用または右目用の映像信号中において前記挿入テロップの表示位置が画面からはみ出たときに警報信号を発生することを特徴とする３Ｄ字幕制作装置。
【請求項２】
前記３Ｄ映像再生表示装置は、３Ｄ撮像装置により取得した３Ｄ映像データを直接にあるいは記憶媒体を介して入力し、テロップを挿入する画像を指定して該画像の３Ｄ映像データを供給する表示画像指定装置と、前記３Ｄ映像データに基づいて左目用画像データと右目用画像データを再生して左右映像信号として供給する左右映像信号再生装置と、前記の左目用画像データと右目用画像データを表示装置に３Ｄ映像として表示させるための画像信号に変成する３Ｄ映像表示装置と、前記画像信号に基づき３Ｄ映像表示する３Ｄディスプレーと、前記３Ｄ字幕生成装置で発生した前記挿入テロップの３Ｄ映像信号を前記３Ｄ映像データから再生した前記左右映像信号と合成して、テロップ挿入後の３Ｄ映像信号を生成する左目用画像合成装置と右目用画像合成装置とを備えることを特徴とする請求項１記載の３Ｄ字幕制作装置。
【請求項３】
前記ポインター操作卓は、左目用画像および右目用画像におけるポインターまたはテロップ表示の位置を、コンバージェンス面に平行な面内で上下左右に移動させる第１キーと、前記ポインターまたはテロップ表示に対する左目視線と右眼視線とが前記コンバージェンス面と交わる２点の中点と前記ポインターまたはテロップ表示を結ぶ直線に沿って奥行き方向に移動させる第２キーを備えることを特徴とする請求項１または２記載の３Ｄ字幕制作装置。
【請求項４】
前記ポインター操作卓は、左目用画像および右目用画像におけるポインターまたはテロップ表示の位置をそれぞれの画像中で独立に移動できるようにするボタンを備え、該ボタンを操作して独立移動が可能になったときには、前記第１キーと前記第２キーを操作するときに、前記左目用画像および右目用画像についてそれぞれ独立に前記ポインターまたはテロップ表示の位置を上下左右にあるいは奥行き方向に移動させることができることを特徴とする請求項３記載の３Ｄ字幕制作装置。
【請求項５】
前記警報装置は、さらに、前記の左目用または右目用の映像信号の一方において前記挿入テロップの表示位置が画枠からはみ出て表示されないときに、前記一方の映像信号において画枠をはみ出た前記挿入テロップに対応する前記の左目用または右目用の映像信号の他方における挿入テロップの表示を削除することによって、あるいは前記挿入テロップの表示を画枠より内側に移動させることによって、画枠歪み効果を削減することを特徴とする請求項１から４のいずれか１項に記載の３Ｄ字幕制作装置。
【請求項６】
前記警報装置は、前記の左目用および右目用の映像信号において前記挿入テロップを見通す視線の交角が設定された上限値以上または設定された下限値以下であるときに、警報信号を発生することを特徴とする請求項１から５のいずれか１項に記載の３Ｄ字幕制作装置。
【請求項７】
テロップを構成する文字情報や図形情報を入力して３Ｄ映像に挿入する挿入テロップのコンテンツデータを出力するテロップ入力工程と、
３Ｄ画面における３Ｄテロップの表示を適宜の３Ｄ位置に移動させて指定する工程と、
指定された表示位置に対応する３Ｄ座標情報を算定して出力する３Ｄテロップ座標生成工程と、
３Ｄテロップの座標情報を入力し、前記挿入テロップのコンテンツデータを入力し、前記３Ｄ映像のタイムコードを入力して、前記挿入テロップに係るテロップデータを生成して出力する３Ｄテロップデータ生成工程と、
前記テロップデータを入力して、前記挿入テロップを３Ｄ映像表示するための左目用および右目用の１対の映像信号を生成して出力する３Ｄテロップ画像信号生成工程と、
左目用または右目用の映像信号中において前記挿入テロップの表示位置が画面からはみ出たときに警報信号を発生する警報工程と
を含むことを特徴とする３Ｄ字幕制作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体撮像装置で取得した３Ｄ映像に添付して映像と一緒に立体的に表示する字幕などの３Ｄコンテンツを制作する装置に関する。
【背景技術】
【０００２】
近年、立体映像技術は著しく発達してきている。立体映像（３Ｄ映像）は、たとえば、視差を持つ左右一対の撮像手段で撮影し、撮影して得られた左右一対の動画像をモニターやスクリーンに表示するもので、それぞれの画像を左右の目で別々に捉えて脳で合成することにより、立体視化する。
【０００３】
立体視には、左右画像を時分割で交互に表示し、液晶シャッターを備えたメガネで左右画像を交互に観察する時間分割立体表示方式や、左右画像をそれぞれ偏光軸が直交する偏光フィルタを通した上で、同一面に重ねて偏光表示し、左右で偏光軸が直交する偏光フィルタメガネを通して見ることにより左右画像に分離する偏光フィルタ眼鏡方式、液晶表示画面の水平１ドットライン毎に偏光方向が９０度変化する液晶フィルタなどを設置し左目用と右目用の画像を交互に並べ、右回転円偏光板と左回転円偏光板を左右に配置した円偏光メガネで見ることにより分離された左右用の映像をそれぞれ左右の目で同時に見て立体視する円偏光方式など、各種の原理に基づく装置が利用されている。なお、特殊な表示機構を使って、裸眼で立体映像を観察することができるようにした方法もある。
【０００４】
３Ｄ映像により、映像中のオブジェクトの形状や運動のリアリティが各段に向上するので、実写映画やアニメーション映画(動画)、またテレビジョン放送などに広く普及することが期待される。
【０００５】
従来の２Ｄ映像においては、本編映像に対して、表題やクレジットタイトル、翻訳文や聴覚障害者用の文など演者の台詞を文字表現した字幕、映像に関連した文字情報、映像に無関係な文字情報、さらに割り書きやバルーンなど、カメラで取得した画像以外の適宜な文字や図形等からなる字幕コンテンツあるいはテロップを付加して表示することが普通に行われる。また、近年、画面上に複数の話者が登場する場面では、従来のテロップでは聴覚障害者に誰の発言なのか分かりにくいということから、話者それぞれに個別の色を設定して、話者の発言を色分けして表示したり、画面中の話者の位置に表示したりする場合がある。
【０００６】
テレビジョン放送において２D映像にテロップを挿入する場合、完成された２Ｄ映像を観察しながら、スクリーン中のテロップを置く位置を決めて、テロップデータを生成して記憶させ、放送時に、テロップデータのキー情報に基づいてテロップを元の２Ｄ映像に重ねて表示する。テレビジョン放送においては、テロップ発生装置（テレビ投射映写機）あるいはスーパーインポーズ付加装置などを使って、テロップ表示を決める情報を持った挿入字幕データに基づいて電子的に処理することにより、テレビカメラを通さずに形成した所望のテロップを適宜の位置に映し出して、テロップ付きの２Ｄ映像を表示装置に表示させることができる。
【０００７】
図１０は、テレビジョン放送で使用される従来の２Ｄテロップの典型的な制作方法を説明する図面である。順次送出される２Ｄ映像のうち所望の画面から別の所望の画面まで所望のテロップ「こんにちは」を挿入するものとする。この場合、テロップの挿入を開始する画面と挿入を終了する画面をタイムコードＴＣで指定して、別途入力され記憶された文字テロップ「こんにちは」を画面中の指定位置に重ねて表示した画像信号を形成する。
【０００８】
したがって、テロップ挿入のために使用されるテロップデータは、挿入開始タイムコード、挿入終了タイムコード、字幕１ページ分の文章や図形、字幕あるいはテロップの属性（表示色、背景色、フラッシング、フォント、ルビなど）、等の情報を持つようにされる。
なお、テロップ挿入後の映像について形成された画像信号を記憶装置や記憶媒体に記憶させて、記憶されたテロップ挿入済み映像信号により放送あるいは放映することもできる。
【０００９】
これに対して、３D映像にテロップを挿入する場合、映像中のテロップは表示奥行きに応じて左目用と右目用の画像中の配置が異なる。また、３Ｄ映像は２Ｄ映像より大きな情報量を有し、これにふさわしいテロップ付与方法が望まれる。また３Ｄテロップ自体も２Ｄテロップより大きな表現力を備えているため、より高度な演出が必要とされる。
【００１０】
ところが、従来は、両画像に対してテロップを別々に制作し、２枚の字幕スクリーンを同期させて再生するようにする必要があった。また、文字や図形を３Ｄ映像に挿入する場合、挿入する図形等をＣＧで制作し、図形等の奥行き位置の演出設計をして作成したＣＧ映像を、編集段階において、立体カメラで実写した３Ｄ映像と合成していた。
このように、３Ｄ映像に複雑なテロップを挿入する場合には、それぞれの設計書に基づいて、３Ｄ映像を撮影する段階で、同時並行的にテロップのＣＧを制作し立体（奥行き）設計を行って、両方が完成した後に合成する手順が普通であった。
【００１１】
このような左目用画像と右目用画像に対応する２枚の字幕スクリーンを形成するときには、試行錯誤の繰り返しが必要で簡単に電子的に処理することができなかったため、手作業による膨大な時間と手間を要していた。
したがって、特に３D映像のテレビジョン放送において、従来のスーパーインポーズ付加装置を使う場合のように、実際の映像を観察しながら、短い編集時間内でテロップを３D映像中で適切な立体表示をするように編集して放映することは困難であった。
【００１２】
さらに、３D映像のテロップには画枠歪みが発生する場合がある。画枠歪みは、画面の左右いずれかの縁近辺で、左目用画像と右目用画像のいずれかが画面の左右の縁からはみ出して一方の画像が欠けることにより、両目で立体視したときに画面の手前位置に再生されるはずの立体映像が画面位置に張り付いているように感じられる現象である。
【００１３】
テロップの画枠歪みは、たとえば、人の話の内容を表記したテロップを話者の動きに合わせて移動させたり、動物の鳴き声や乗り物の音などに着目してその音源の位置が変化するのに合わせてテロップの表示位置を変化させたり、音の演出に連携させたテロップのフレームインやフレームアウトの演出をしたり、テロップ表示を拡大させたりする場合など、テロップを左右に移動させたり画面の横方向に広げたりするときに生じやすい。
画枠歪みは、自然な立体視を妨げるばかりでなく、目の衛生を損ねるため、避けなければならない。
【００１４】
特許文献１には、「立体視画像及びそのフレーム内でテロップを付与したい立体視オブジェクトを認識し、全体の立体視を阻害せずに、人的ノウハウに依存することなく、自動的に簡易に立体視向けテロップ発生が行えるようにすること（段落０００４）」を目的として、立体画像中の立体視オブジェクトに自動的にテロップを付与するようにしたテロップ発生装置が開示されている。
【００１５】
開示された装置は、テロップを付与するオブジェクトの立体表示を自動的に追跡して、その座標値の差をステレオ画像の視差量としてテロップを立体表示するもので、被写体の立体的な動きに合わせてテロップを画面内に表示するという課題を解決したものである。
しかし、特許文献１には、オブジェクトから独立したテロップの設定に係る技術について開示されていない。また、テロップの画枠歪みを抑制する技術的思想について、なんら記載がない。したがって、開示された装置は、適宜の３Ｄテロップの設定ができ、かつ、画枠歪みを有効に回避する汎用的な３Ｄ字幕制作装置として、適宜な字幕表示をさせるために使用できるものではない。
【００１６】
なお、特許文献２には、立体映像表示装置における、字幕を立体表示する字幕挿入手段が記載されているが、単に文字や図形を左目用画像信号と右目用画像信号に挿入すると説明するだけで、字幕の立体表示位置を定める方法や表示位置を動的に変動させる方法などについては記載がない。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００６−３２５１６５号公報
【特許文献２】特開平１１―１６４３２９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
３Ｄ映像は２Ｄ映像にはない多くの情報を持っており、多彩な情報にふさわしい字幕付与の方法や、字幕あるいはテロップを機動的に表示する方法が望まれている。しかし、たとえば、画面上に複数の話者が登場する場合に複数の字幕を挿入する方法や、話者が画面上を移動する場合に字幕を話者に追従して移動させる方法などを用いる場合でも、編集作業に膨大な時間と労力が必要とされる。また、たとえば、動物の鳴き声や乗り物の音などの音源に合わせてテロップを移動させたり、テロップのフレームインやフレームアウトさせたりする要求に応えるためにも膨大な時間と労力が求められる。
さらに、編集者は、テロップの画枠歪みを抑制することが求められ、このために神経を使って編集作業を行わなければならない。両眼視で立体画像化する場合に、両目の視線が交わる角度が大きすぎて、たとえば１２°以上になると目に疲労を与え、左右視線の交差角が負になると立体視をすることが困難である。
【００１９】
そこで、本願発明の解決しようとする課題は、３Ｄ映像の中に文字や図形の３Ｄ字幕あるいは３Ｄテロップを挿入する場合、従来の２Ｄ映像に字幕を挿入する制作過程に近い作業により３Ｄ字幕あるいは３Ｄテロップを制作でき、かつ、３Ｄ字幕あるいは３Ｄテロップの画枠歪みを排除しやすい、３Ｄ字幕制作装置を提供することである。また、左右視線の交差角が所定の範囲を超えないように管理しながら、３Ｄ字幕を制作する３Ｄ字幕制作装置を提供することである。
【課題を解決するための手段】
【００２０】
本発明に係る３Ｄ字幕制作装置は、テロップ入力装置と３Ｄテロップ座標生成装置と３Ｄ字幕情報データ（３Ｄテロップデータ）生成装置と３Ｄテロップ画像信号生成装置と画枠歪み警報装置を備えることを特徴とする。
テロップ入力装置は字幕（テロップ）を構成する文字情報や図形情報を入力して３Ｄディスプレーに表示するテロップのコンテンツデータを出力する。３Ｄテロップ座標生成装置は３Ｄ画面における３Ｄテロップの表示位置に対応する座標情報を算定して出力する。３Ｄテロップデータ生成装置は３Ｄテロップ座標生成装置から３Ｄテロップの座標情報を入力しテロップ入力装置からテロップのコンテンツデータを入力し３Ｄ映像のタイムコードを入力してテロップデータを生成して出力する。３Ｄテロップ画像信号生成装置はテロップデータ生成装置からテロップデータを入力してテロップの３Ｄ映像表示をするための左目用および右目用の１対の映像信号を生成して出力する。また、警報装置は左目用または右目用の字幕情報の表示位置が画面からはみ出たときに警報信号を発生する。
【００２１】
本発明に係る３Ｄ字幕制作装置は、通常、３Ｄ撮像装置で取得した画像信号に基づき３Ｄ映像表示する３Ｄ映像再生表示装置と組み合わせて使用される。また、３Ｄ字幕制作装置に３Ｄ映像再生表示装置を要素として組み込むように構成してもよい。
３Ｄ映像再生表示装置は、たとえば、３Ｄ撮像装置により取得した３Ｄ映像データを直接にあるいは記憶媒体を介して入力し、テロップを挿入する画像を指定してその画像の３Ｄ映像データを供給する表示画像指定装置と、３Ｄ映像データを再生して左目用画像データと右目用画像データを生成して供給する左右映像信号再生装置と、左目用画像データと右目用画像データを表示装置に３Ｄ映像として表示させるための画像信号に変成する３Ｄ映像表示装置と、画像信号に基づき３Ｄ映像表示する３Ｄディスプレーを備える。
【００２２】
３Ｄ映像再生表示装置は、さらに、３Ｄ字幕制作装置とＤ映像再生表示装置を組み合わせるため、３Ｄ字幕生成装置で発生したテロップの３Ｄ映像信号を３Ｄ映像データから再生した左右映像信号と合成して、テロップ挿入後の３Ｄ映像信号を生成するため、左目用画像合成装置と右目用画像合成装置を備えている。
映像表示は、通常の映像再生装置と同様に、静止画像、コマ送り、早送り、頭出し、など適宜に制御できることが好ましい。
【００２３】
本発明に係る３Ｄ字幕制作装置を用いれば、字幕編集者は、３Ｄ映像表示を見ながら映像表示の状態を制御して、予め準備されたテロップや、画像に適合するように作成される適宜なテロップなどを選択して入力することができる。
また、３Ｄ映像中の３Ｄテロップの３Ｄ位置をポインターあるいはテロップ自体の画像を観察しながら、３Ｄ字幕制作装置に付属するポインター操作卓を操作し、位置決めして決定すると、テロップ座標生成装置がテロップの座標を算定して、３Ｄテロップデータ生成装置に入力することができる。
【００２４】
ポインターは、３Ｄテロップ座標生成装置と３Ｄテロップデータ生成装置とテロップ画像信号生成装置と３Ｄ映像再生表示装置を介して、３Ｄディスプレーの画面中、適宜の３Ｄ位置にポインター像を形成させて表示することができる。このように表示されたポインターの３Ｄ位置をテロップの表示位置とすることができる。また、ポインターを表示する代わりに、テロップそのものを表示するようにしてもよい。
ポインターあるいはテロップを表示している３Ｄ画像のタイムコードは、たとえば３Ｄ映像再生表示装置の表示画像指定装置から入力することができる。
このようにして収集したデータに基づいて、３Ｄテロップデータ生成装置でテロップデータを形成する。
【００２５】
３Ｄ映像の変化につれて字幕表示位置を変化させる場合にも、映像を歩進させてはポインター像またはテロップの３Ｄ位置を変化させて、そのときの位置情報を画面のタイムコードと一緒に字幕情報として取り込むことにより、対応することができる。なお、字幕表示の移動軌跡を補間曲線で指定するようにしてもよい。このようにテロップの移動軌跡を関数で指定する場合も、３Ｄ画像におけるテロップ位置は、映像の１画面を表す１対の左右目用画像毎にテロップの具体的な配置として表示することにより具体化する必要がある。
【００２６】
テロップデータは、記憶装置に格納したり可搬の情報記録装置に書き込んだりしておき、放送するときに３Ｄ映像信号と一緒に読み出して字幕表示に利用する。
テロップを３Ｄ映像再生表示装置に表示させる場合、テロップデータを３Ｄ映像再生表示装置に供給すると、左目用および右眼用の画像合成装置がテロップの内容を３Ｄ映像と重ねた状態に合成して３Ｄ表示装置を介して、３Ｄディスプレー１８に３Ｄテロップを挿入した３Ｄ映像として表示させることができる。
【００２７】
３Ｄ映像放送では、このように３Ｄテロップを挿入した３Ｄ映像として構成された映像信号を送信して、各家庭等の３Ｄディスプレーに表示させればよい。
また、映画館やビデオ装置で上映するためには、テロップデータに基づいて３Ｄ映像に３Ｄ字幕を挿入した状態の映像信号としてフィルムや記録媒体に収納したものを利用することができる。
【００２８】
さらに、本発明に係る３Ｄ字幕制作装置は、字幕情報の３Ｄ表示に用いる左目用画像と右目用画像のいずれかに表示されるテロップが左右の画枠からはみ出た場合に警報を発生するので、編集者は、はみ出たテロップ、あるいはテロップを構成し分割が可能なテロップ要素、に関わる左目用と右目用の１対の画像を画面の内側に移動したり、縮小して画面に収まるように変更したり、さらには消去したりするなど、随時、テロップの形状や位置を修正してテロップの画枠歪み効果を抑制することができる。
【００２９】
本発明に係る３Ｄ字幕制作装置は、テロップを挿入する位置に係る情報を３Ｄ映像に置いたポインターにより指定することができる。３Ｄ字幕制作装置は、字幕編集者の指定に基づいて、ポインター像を形成して３Ｄディスプレーの３Ｄ映像表示画面中に立体表示することができる。ポインター像は、画面中の上下方向位置が同一な同大同形の像として左目用画像と右目用画像に書き込まれることにより表示装置に立体表示される。ポインター像の３Ｄ位置は、左目で左目用画像中のポインター像を見通す視線と、右目で右目用画像中のポインター像を見通す視線との交点位置として与えられる。したがって、視線の交角が小さくなればポインター像は目から遠くなり、交角が大きくなればポインター像は目に近づくことになる。
【００３０】
画面におけるポインター像の位置は、ポインター操作卓を介して左右画像独立に調整することができるようになっているので、３Ｄ映像中のオブジェクトの位置に配置する場合は、左目用画像と右目用画像のそれぞれにおいてポインター像の位置をそのオブジェクトと同じ位置に合わせるようにすればよい。もちろん、ポインター像を適宜な空間位置に配置することも可能である。
また、ポインター操作卓には、ポインター像を画面中で任意の方向に移動させる操作キーを備えているので、任意の３Ｄ位置に配置されたポインター像を、左右方向、上下方向、および奥行き方向に、適宜移動させることができる。
こうして配置されたポインター像の３Ｄ位置をテロップ表示位置として指定することができる。
【００３１】
また、テロップの表示サイズを画面中の奥行き位置に従って変化させるようにすることができる。すなわち、テロップが手前にあるとき大きな文字や図形で表し、後方に配置されたときには小さく表示することにより、映像の立体感とよりよく整合させる工夫を行うことができる。なお、このように、テロップが手前で大きくなるように構成するときは、テロップの一部が画面の左右枠からはみ出ることがある。このとき、左右画像の一方が枠をはみ出るために表示されない場合に、画枠歪みが生じて看者の視覚に障害を与える危険がある。このため、本発明の３Ｄ字幕制作装置は、このような状況を検出すると、画枠歪みの警報を発生して、編集者が看者に対する危険を回避するように演出方法を変更することを促すことができる。
【００３２】
また、３Ｄ映像中のテロップが挿入された画面は、表示されるフィールドごとに準備されなければならないが、編集者がフィールド１枚ごとにテロップ位置を規定して挿入画面を制作するのでは、余りにも多くの労力が必要となる。そこで、本発明の３Ｄ字幕制作装置は、適宜の間隔でテロップ位置指定を行えば、中間位置については指定した直線関数や曲線関数で補間して位置を決定できるようにすることができる。
この場合にも、画枠歪みの発生が予測されるときには警報を発生することができる。
【００３３】
なお、テロップ要素を見るときの視差が予め指定された範囲外になる場合には、警報装置を介して編集者に警報することにより、安全を確保しやすくすることが好ましい。さらに、警報装置は、テロップ要素を３Ｄ映像中に挿入するときに移動範囲が指定した制限値以上にならないように調整したり、また、範囲外になるテロップ要素を削除したり範囲内に留まるように位置調整したりすることが可能であることが好ましい。
このようにして、画枠歪みの発生や過剰な視差になることを防ぎ、３Ｄ映像を見るとき安全な位置に挿入されたテロップ要素のみにすることができる。
【００３４】
なお、本発明に係る３Ｄ字幕制作装置における、テロップ入力装置と３Ｄテロップデータ生成装置と３Ｄテロップ座標生成装置と３Ｄテロップ画像信号生成装置と警報装置とは、論理を実行する電子回路により構成することができるが、プログラムで制御することによりそれぞれの機能を遂行するようにした汎用または専用のコンピュータによって構成することもできる。
【発明の効果】
【００３５】
本発明に係る３Ｄ字幕制作装置は、２Ｄ映像データにテロップを挿入する手順に準ずる比較的簡単な手順を用いて、３Ｄ映像データにテロップを挿入することができる。したがって、編集に長い時間を掛けられないテレビ放送などにおけるテロップ挿入作業を実行可能にする。また、３Ｄテロップにおいて発生しやすい画枠歪み等を容易に抑制あるいは排除して、看者の視覚に与える害を予防することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の１つの実施形態に係る３Ｄ字幕制作装置の構成図である。
【図２】本実施形態におけるポインター操作卓の例を示す斜視図である。
【図３】本実施形態における３Ｄ字幕制作装置の使用手順例を表す流れ図である。
【図４】本実施形態において、ポインターを上下左右に移動させる原理を説明する図面である。
【図５】本実施形態において、ポインターを奥行き方向に移動させる原理を説明する図面である。
【図６】本実施形態における画枠歪み効果およびその抑制方法について説明する図面である。
【図７】本実施形態における画枠歪み効果の別の抑制方法について説明する図面である。
【図８】本実施形態におけるテロップに図形装飾を加える場合の注意点を説明する図面である。
【図９】本実施形態において、奥行き方向に変化するテロップの例を示す図面である。
【図１０】従来の２Ｄ映像表示におけるテロップの挿入方法の例を説明する図面である。
【発明を実施するための形態】
【００３７】
以下、本発明に係る３Ｄ字幕制作装置について、図面を参照しながら詳しく説明する。なお、図面においては、同じ機能を有する構成部材については同じ参照番号を付して説明を簡約にし、説明の重複を避けるようにした。
【００３８】
図１は本発明の１つの実施形態に係る３Ｄ字幕制作装置の構成図である。
本実施形態の３Ｄ字幕制作装置は、３Ｄ映像再生表示装置１０とテロップ挿入装置２０を組み合わせて構成される。３Ｄ映像再生表示装置１０には、３Ｄディスプレー１８が付属し、テロップ挿入装置２０には、モニター２４と、キーボード２３や図示しないマウスなどの通常のデータ入力手段、およびポインター操作卓２６が付属する。
【００３９】
３Ｄ映像再生表示装置１０は、表示画像指定装置１１と表示画像コントローラ１２と左右映像信号再生装置１３と左目用画像合成装置１４と右目用画像合成装置１５と３Ｄ映像表示装置１６と映像記憶装置１７を備える。
【００４０】
表示画像指定装置１１は、ＤＶＤなどの可搬式記憶媒体３１に記録された３Ｄ映像信号を入力して画像メモリに格納し、編集者により表示画像コントローラ１２を使って指定された３Ｄ映像信号を出力する。表示画像コントローラ１２は、従来の２Ｄ映像再生装置と同様、表示画像指定装置１１を操作し、格納された３Ｄ映像信号を選択して、静止画像、コマ送り、早送り、頭出し、など映像再生を適宜に制御して、表示画像を決めることができるようになっている。
【００４１】
左右映像信号再生装置１３は、表示画像指定装置１１から出力された３Ｄ画像信号を入力して３Ｄ映像表示に使用する右目用画像と左目用画像の画像信号を再生して出力する。
左目用画像合成装置１４と右目用画像合成装置１５は、それぞれ、ＤＶＤなどの可搬式記憶媒体３１から取得した３Ｄ映像における左目用と右目用の画像信号と、テロップ挿入装置２０から供給されるテロップの左目用と右目用の画像信号を合成して、３Ｄディスプレー１８に表示する３Ｄ画像のための左目用と右目用の画像信号を生成して供給する。
【００４２】
３Ｄ映像表示装置１６は、左目用と右目用の画像信号を入力して、３Ｄディスプレー１８に３Ｄ映像を表示できるような３Ｄ映像信号に変成して出力する。なお、映像記憶装置１７は、３Ｄ映像信号を格納して、必要に応じて３Ｄ映像表示装置１６で再生して３Ｄディスプレー１８に映像表示させることができる。また、映像記憶装置１７に格納された３Ｄ映像信号を可搬式記憶媒体３２に記録して、別の３Ｄディスプレーで再生させることもできる。
【００４３】
３Ｄディスプレー１８は、３Ｄ映像表示装置１６から入力する３Ｄ映像信号により、３Ｄテロップを挿入した３Ｄ映像を表示する。入力する３Ｄ映像信号に従って、３Ｄディスプレー１８には、テロップのない３Ｄ映像や、テロップだけの３Ｄ映像や、静止した３Ｄ画像なども表示される。なお、本実施例における３Ｄ映像は、３Ｄディスプレーの構成に従って、シャッター眼鏡や液晶シャッターを着装するなどして、右目に右目用映像を左目に左目用映像を見せることにより、立体視させるものである。
【００４４】
テロップ挿入装置２０は、テロップ入力装置２１と３Ｄテロップ座標生成装置２５と３Ｄテロップデータ生成装置２７と３Ｄテロップ画像信号生成装置２８と警報装置２９を備える。
テロップ入力装置２１は、文書編成や図形生成をするための編集機能２２を付帯し、キーボード２３やマウスを使いモニター２４を利用して文字データや図形データなどからなるテロップコンセプトを生成して入力し、記憶装置に格納し、また３Ｄテロップデータ生成装置２７に出力する。テロップコンセプトには、表示色、背景色、文字のフォント、ルビ、フラッシングの有無、吹き出しなどの装飾、その他、テロップの表示属性に関する情報を含む。
なお、モニター２４は、テロップを構成する文字や図形を表示し、またテロップデータを形成する上で必要な情報入力を補助する事項を表示するが、モニター２４に表示する一部もしくは全部の内容を３Ｄディスプレー１８に表示して、編集時の操作性を向上させることもできる。
【００４５】
３Ｄテロップ座標生成装置２５は、テロップ自体あるいはテロップ位置を代表するポインターを３Ｄディスプレー１８上の適宜の３Ｄ位置に表示させるために使用される左右各画像面上の座標値を算定して、供給する。ポインター操作卓２６は、３Ｄディスプレー１８に表示されたテロップあるいはポインターの３Ｄ位置を適宜の位置に移動して指定するためのコントローラである。
【００４６】
３Ｄテロップデータ生成装置２７は、３Ｄ映像再生表示装置１０の表示画像指定装置１１から供給される表示画像のタイムコードＴＣを入力し、テロップ入力装置２１からテロップコンテンツを入力し、さらにテロップ座標生成装置２５からテロップの表示位置情報を入力して、テロップを３Ｄディスプレーに表示するために使うテロップデータを生成して出力する。なお、生成したテロップデータは、記憶装置に格納して使用に備える。また、テロップデータは可搬式記憶媒体３３に記録して、他の装置であるいは後の時刻に使用できるようにすることもできる。
テロップデータは、挿入開始タイムコード、挿入終了タイムコード、挿入テロップコンセプト、挿入位置、表示属性、表示軌跡、テロップの拡大縮小、フレームインおよびフレームアウトなどの表示モード、などに関する情報を含む。
【００４７】
３Ｄテロップ画像信号生成装置２８は、テロップデータに基づいて、３Ｄディスプレー１８に３Ｄ表示するテロップの左目用画像と右目用画像を生成して、３Ｄ映像再生表示装置１０の左目用画像合成装置１４と右目用画像合成装置１５に供給する。
警報装置２９は、表示するテロップ要素の左目用画像と右目用画像のいずれかが左右の画枠からはみ出す場合にこれを検出して、テロップ編集者に音声や画像を介して警報を発する機能を有する。
【００４８】
図２は、ポインター操作卓２６の概略を説明する斜視図である。テロップ編集者は、操作卓２６を介して、３Ｄディスプレー１８に表示されるポインターの３Ｄ位置を指定することができる。
操作卓２６には、十字キー４１と、スライドキー４２と、いくつかの押しボタンスイッチ４４，４５，４６，・・・とが配置されている。また、ポインターの座標や各種設定値などを表示する表示盤４３を備えてもよい。さらに、操作の自由度を上げるため、図示しないトラッキングボールやジョイスティックなどを設けてもよい。
【００４９】
十字キー４１は、操作卓上面に設けられ前後左右の２方向に揺動して、３Ｄ画像中のポインターを奥行き位置は変えずに横方向と縦方向に移動させるスイッチである。十字キー４１の横方向の腕はポインターの横方向の運動制御を行い、腕の右側を押し込めばポインターは横方向右側に移動し、左側を押し込めばポインターは横方向左側に移動する。また、縦方向の腕はポインターの縦方向の運動制御を行い、腕の上側を押し込めばポインターは上の方向に移動し、下側を押し込めば下の方向に移動する。なお、十字キー４１は、長押しによりそれぞれの方向に高速移動するように構成しても良い。また、選択により、ポインター表示を左目用画像と右目用画像のそれぞれで独立に移動させることもできる。
【００５０】
スライドキー４２は、押し引きすることでキーが前後方向に摺動するスイッチで、３Ｄ映像中のポインターの奥行き方向の移動を指示する。スライドキー４２は、キーを向う側に押せば指定されたポインターが画面中で遠方に移動し、手前側に引けばポインターが手前に移動する。たとえば、左目用画像面と右目用画像面における左右方向の表示位置差を増減することでポインターの奥行き方向の移動をさせることができる。
スライドキー４２は押し付け深さや押し付け継続時間によってポインターの遠近運動方向と速度を指定するものであっても良い。
【００５１】
押しボタンスイッチ４４，４５，４６は、ボタンを押すことにより、ポインターの位置決定や、ポインターの初期位置に戻す指令や、ポインターの左目用画像と右目用画像の連携を絶って単独に移動させる切り替えなどを行うスイッチである。なお、押しボタンスイッチは、必要に応じて、４個以上設けても良い。
【００５２】
オペレータは、ポインター操作卓２６のスライドキー４２と十字キー４１を操作して、ポインターの位置を３Ｄ映像中の任意の位置に移動させることができる。
なお、ポインターの移動を行う操作端として、トラックボールやジョイスティックで、スライドキー４２と十字キー４１の組み合わせに代替することもできる。これらは、操作性に差があり、操作する者の嗜好もあるので、選択できるようにしておいてもよい。
【００５３】
図３は、本発明装置の使用例における手順を表す流れ図である。
編集者は、３Ｄ映像再生表示装置１０の表示画像コントローラ１２を操作することにより、編集対象の映像を記憶装置あるいは可搬式記憶媒体３１から読み出して３Ｄディスプレー１８に表示させ、テロップを挿入するべき画像で停止させる（Ｓ１１）。映像中のフレームにはそれぞれタイムコードＴＣが振られており、停止した画像のフレームに係るタイムコードは、テロップ挿入装置２０の３Ｄテロップデータ生成装置２７に供給される。
【００５４】
画像に合わせて、画面に挿入する文章や図形で形成されたテロップを入力する（Ｓ１２）。モニター２４とキーボード２３を使って、ワープロ機能を用いてテロップの文章を構成したり、製図機能を用いて図形を入力したりすることができる。また、テロップを映像に合わせて予め形成して、記憶装置や可搬式記憶媒体に格納しておき、画面に適合するテロップを読み出して利用することもできる。
【００５５】
テロップを挿入する３Ｄ位置をポインターで指定する（Ｓ１３）。ポインターは、３Ｄディスプレー１８の画面に３Ｄ表示されていて、ポインター操作卓２６を用い３Ｄテロップ座標生成装置２５を介して、３Ｄ位置を動かすことができる。ポインター位置の初期値は、３Ｄ映像をとった３Ｄ撮像装置の左右１対のカメラにおける２本の光軸が交差する輻輳点に設定することが好ましい。このとき、ポインターは、左目用画像と右目用画像のいずれも中央に位置するので、３Ｄ映像面の中央、画面と同じ奥行き位置に位置することになる。
【００５６】
ポインターは、ポインター操作卓２６の十字キー４１を操作して奥行き位置を変えずに面内を上下左右に移動させることができ、さらにスライドキー４２を用いて奥行き方向に移動させることができる。
ポインター操作卓２６を操作して、ポインターを映像中の意図するテロップ位置に置くことができたときに確定ボタン４４を操作すると、３Ｄテロップ座標生成装置２５がポインターの位置情報（左右両画面中の座標）を生成して、３Ｄテロップデータ生成装置２７に送信する（Ｓ１４）。
【００５７】
３Ｄテロップデータ生成装置２７は、入力されたタイムコード、テロップの位置情報、テロップの内容などに基づいて、その時点で３Ｄディスプレー１８に表示された画像に挿入するテロップに関するテロップデータを生成する（Ｓ１５）。
【００５８】
生成されたテロップデータは、３Ｄテロップ画像信号生成装置２８に供給される。３Ｄテロップ画像信号生成装置２８は、テロップデータに基づいて、テロップを３Ｄ表示するための左目用画像および右目用画像を表す１対の画像信号を生成し、３Ｄ映像再生表示装置１０の左目用画像合成装置１４と右目用画像合成装置１５にそれぞれ供給する。左目用画像合成装置１４と右目用画像合成装置１５は、テロップの左目用画像および右目用画像とテロップを挿入しようとする３Ｄ映像に係る左目用画像および右目用画像とを合成して、テロップ付き画像を表示するための３Ｄ表示画像信号に変成し、３Ｄ映像表示装置１６を介して３Ｄディスプレー１８にテロップ付き３Ｄ画像を表示させる（Ｓ１６）。
【００５９】
つぎに、警報装置２９が、テロップの画枠歪み効果が発生するか否かを評価する（Ｓ１７）。
画枠歪み効果は、左目用画像と右目用画像のいずれかで一部が画面の左右枠からはみ出して表示されないときに、被写体あるいはテロップが正常の３Ｄ位置にあるようには見えなくなる現象である。コンバージェンス面より手前に再生される被写体やテロップに顕著で、被写体等が画面手前でなくコンバージェンス面上にあるように感じられる。画枠歪みは立体視を害するばかりか、看者の視覚に違和感を与え、目の衛生上も好ましくない。なお、被写体等がコンバージェンス面より後方に再生されるケースでは、左目用画像と右目用画像のいずれかが画枠からはみ出しても画枠歪みは生じにくいが、この場合でも目の衛生には好ましくない。
テロップの画枠歪み効果は、テロップの要素に係る左目用画像と右目用画像のいずれかが画面からはみ出て表示されない部分があるか否かで判定することができる。
【００６０】
画枠歪み効果が生じない場合は、図中ステップ２０に進む。
一方、画枠歪み効果が生じると判定されたときは、テロップ編集者に警報を与える（Ｓ１８）。警報は、音声によってもよいし、画枠歪み効果を呈するテロップ要素を点滅させるなどの表示によってもよい。
【００６１】
警報が発生したときは、編集者は、テロップ位置を再調整して、左右目用画像のいずれもが画枠からはみ出さないように演出する。あるいは、被写体等の画枠からはみ出す部分の左右目用画像をいずれも削除するようにしてもよい（Ｓ１９）。なお、画枠歪み効果を判定し削除などにより対応する便宜のため、テロップを細分してタイル様の要素の集合と見なし、タイル部分ごとに判定や削除などを施すようにしてもよい。たとえば文章であれば、字毎に分けて判定し、画枠歪みを呈する端の文字から削除していくことで、自然な３Ｄ表示とすることができる。
【００６２】
また、本実施態様における３Ｄ字幕制作装置では、左右目用画像のいずれかでテロップ要素（またはタイル部分）が画枠からはみ出した場合に、他方の画像における対応のテロップ要素（またはタイル部分）とともに自動的に削除するようにしたり、画枠に達したところでテロップ要素の運動を停止させていずれも画枠からはみ出ないようにしたりして、画枠歪み効果を防止するようにすることもできる。
【００６３】
なお、左右の画枠に近づくと左右目画像の位置偏差を徐々に小さくしていって、画枠に達したときに位置偏差をゼロとすることによりテロップ要素を２Ｄ映像化して、コンバージェンス面上に表示されるようにしてもよい。このようにすると、立体映像が立体視を保持しながらなだらかに平面化するので、視覚に大きな違和感を与えない。
また、これらの処置は予め選択しておけば、機械的に実行することができるので、編集者の手によらず、警報装置２９によって実施するようにすることができる。
【００６４】
このようにして、画枠歪みのないテロップを添付した３Ｄ画像を形成することができたら、３Ｄテロップデータ生成装置２７は、必要な情報を収集し、テロップに関して得られたテロップデータを形成して、記憶装置に記憶する（Ｓ２０）。テロップデータは、テロップを挿入した映像画面に係るタイムコード、画面に挿入する１頁分のテロップの内容、テロップの要素それぞれの挿入位置、大きさ、表示色や背景色やフラッシングの有無などの表示属性、などに関する情報を含む。
【００６５】
つぎに、画像の画面を次のものに差し替えてテロップに関するテロップデータをさらに生成する必要があるかを判定する（Ｓ２１）。画面の差し替えを必要とする場合は、ふたたびステップ１１に戻って、テロップの表示位置や画像のタイムコードの取り込み、テロップの要素毎の配置、画枠歪み効果の除去、などの手順を踏んで、得られたテロップデータを記憶させて（Ｓ２０）、再びテロップデータ生成の作業を終えるか否かの判断を行う（Ｓ２１）。
【００６６】
一連のテロップ挿入作業が終了した場合は、改めて新しい画像を取り込まず、挿入開始時の画像すなわち初めの画像におけるテロップ位置（始点）と、挿入終了時すなわち最後の画像におけるテロップ位置（終点）の間でテロップ要素がどう移動するかを、移動軌跡を指定することで確定する（Ｓ２２）。
【００６７】
テロップ要素の軌跡は、始点と終点の間で直線的に形成することもできるし、適宜な曲線に沿って移動するように形成することもできる。曲線状軌跡は、曲線の式を指定する方法や、適当な間隔で表示位置を指定し、指定した表示位置を通るような近似曲線を生成させることにより指定する方法などがある。
【００６８】
テロップ挿入開始からテロップ挿入終了まで、テロップ要素の３Ｄ位置、テロップ要素の大きさ、表示色と背景色、フラッシング、フォント、ルビ、吹き出し等の装飾、を決めて、画面毎の挿入テロップのテロップデータを生成して、記憶装置に記憶する（Ｓ２３）。記憶内容は、適宜編集して可搬式記憶媒体３３に記録して保存し、３Ｄ映像再生時に使用して３Ｄテロップを挿入することができる。
【００６９】
なお、テロップデータは、各画面（フレーム）ごとに生成して記憶し、映像再生装置に供給して３Ｄ映像に挿入して表示させる代わりに、テロップの挿入開始時におけるテロップデータと、テロップ要素毎の移動軌跡やテロップ毎の拡大縮小、フラッシング間隔、など動的挙動の状態とを指定したデータを生成して記憶し、３Ｄ表示の時にこれらデータに従って各画面毎のテロップ画面を生成して、テロップの３Ｄ表示を行うようにすることもできる。
【００７０】
テロップ挿入開始から挿入終了までのテロップ表示を指令するテロップデータは、挿入開始タイムコード、挿入終了タイムコード、「挿入するテロップの要素１、挿入奥行き位置情報１、表示属性１（表示色、背景色、フラッシング、フォント、ルビ、吹き出しなどの装飾）、表示軌跡１（挿入開始位置、挿入終了位置、軌跡開始タイムコード、軌跡終了タイムコード、など）、表示モード１（拡大、縮小、フレームイン、フレームアウト）」、「挿入するテロップの要素２、挿入奥行き位置情報２、表示属性２、表示軌跡２、表示モード２」、・・・、「挿入するテロップの要素ｎ、挿入奥行き位置情報ｎ、表示属性ｎ、表示軌跡ｎ、表示モードｎ」、などの情報を有するものとして形成されるものであってもよい。
【００７１】
また、テロップ表示位置を決めるときにポインターを使う代わりに、テロップ自体を３Ｄ表示させて、ポインター操作卓２６によりテロップ表示を直接望む位置に移動させて最終的な３Ｄ表示位置を決定するようにしてもよい。
さらに、テロップを挿入した３Ｄ映像の表示信号を可搬式記憶媒体３２に記録して、３Ｄ映像再生時に合成して利用するようにしてもよい。この場合は、テロップ情報を使ってテロップ画像を再生し３Ｄ映像に挿入するための複雑な演算手順を省略して、テロップ挿入後の３Ｄ映像を直接的に処理して３Ｄディスプレー１８に表示することができる。
【００７２】
テロップを３Ｄ表示するためには、左目用画像と右目用画像に分解する必要があるが、このとき生成されるテロップ要素の左右目間の視差が安全な範囲内であることが要求される。たとえば、左目用画面と右目用画面の対象テロップを見るとき、左目と右目の視線を内向きに交差させて寄り目になる場合は視線方向の差が０°から約１２°の範囲から外れると、立体視することにより疲労が生じるようになる。また、発明者らの知見によると、左右視線の交角が約２４°を超える領域および−１°以下の領域では、立体視ができないことが分かっている。
【００７３】
そこで、本実施態様における３Ｄ字幕制作装置では、テロップ要素を見るときの視差が予め指定された範囲外になる場合には、警報装置２９を介して編集者に警報することにより、安全を確保しやすくしている。さらに、警報装置２９は、警報を発するばかりでなく、テロップ要素を３Ｄ映像中に挿入するときに移動範囲が指定した制限値以上にならないように調整したり、また、範囲外になるテロップ要素を削除したり範囲内に留まるように位置調整したりすることによって、自動的に画像の安全を確保するようにしてもよい。
このようにして、３Ｄ映像を見るとき安全な位置に挿入されたテロップ要素のみにすることができる。
【００７４】
ここで、３Ｄテロップの３Ｄ位置を３Ｄ画像中でポインター操作卓２６により移動させる原理を説明する。
初めに、ポインターの３Ｄ位置を指定する場合について説明する。
３Ｄテロップ座標生成装置２５は、ポインター操作卓２６からリセット指令を受け取ると、ポインターを初期位置のコンバージェンス点に表示する。ポインターは、左目用画像と右目用画像のいずれにおいてもカメラの光軸が交わる点に配置された左右画面で同じ大きさの像となり、両眼視するときに視差がなく、画面の中央で画面と重なる奥行き位置に存在する画像となって、３Ｄディスプレー１８に３Ｄ映像と重ねて表示される。
【００７５】
先に述べたように、ポインターを３Ｄディスプレー１８の表示画面上で上下左右の方向に移動させる場合は、ポインター操作卓２６の十字キー４１を横方向あるいは縦方向に操作する。
図４は、画面中のポインターを上下左右に移動させる原理を視線の変化に基づいて説明する図面である。なお、左右に離れた両目で観察するため、ポインター像は左目用画像と右目用画像で同じ高さに表示される。
【００７６】
図４に示されたように、左目Ｌと右目Ｒを結ぶ線と平行の位置にコンバージェンス面Ｃがあり、コンバージェンス面Ｃから外れた位置（図４ではコンバージェンス面Ｃの奥）にポインターＰが置かれていて、ポインターＰがコンバージェンス面Ｃと平行な面Ｔ内をｐ１，ｐ２，ｐ３と移動する場合、左目Ｌが移動するポインターＰを見通す視線がコンバージェンス面Ｃと交わる点ｃ１ｌ，ｃ２ｌ，ｃ３ｌ（左目用画像に当たる）と、右目ＲがポインターＰを見通す視線がコンバージェンス面Ｃと交わる点ｃ１ｒ，ｃ２ｒ，ｃ３ｒ（右目用画像に当たる）との偏差Ｄは、変わらない。
【００７７】
したがって、十字キー４１を操作してポインターを上下方向に移動させるときは、３Ｄテロップ座標生成装置２５は十字キー４１の動きに従い、左目用画像と右目用画像のいずれも同じ量だけ上下方向にポインター像を動かせばよい。また、十字キー４１を操作してポインターを左右の方向に移動させるときは、左目用画像と右目用画像のいずれも同じ量だけ左右方向に像を動かせばよい。すると、左目用画像と右目用画像におけるポインターの表示位置同士の偏差Ｄは変わらないので、ポインター像は画面中の奥行き位置を変えずに上下左右に移動する。
【００７８】
また、ポインターを奥行き方向に移動させる場合は、ポインター操作卓２６のスライドキー４２を前後方向に操作する。
図５は、画面中のポインターを奥行き方向に移動させる原理を視線の変化に基づいて説明する図面である。
図５に示すように、適宜の位置に表示されたポインターＰを奥行き方向に移動させる場合は、左目Ｌと右目Ｒを結ぶ線分の中点ＯとポインターＰを結ぶ直線に沿ってポインターＰが移動するようにすることが好ましい。
【００７９】
ポインターｐ１を見通す左目の視線がコンバージェンス面と交わる位置ｃ１ｌ、すなわちポインターＰの左目用画像中の位置ｃ１ｌと、ポインターｐ１を見通す右目の視線がコンバージェンス面と交わる位置ｃ１ｒ、すなわち右目用画像中の位置ｃ１ｒを結ぶ線分の中点Ｍと、左目Ｌと右目Ｒを結ぶ線分の中点Ｏとを結ぶ直線の上でポインターＰが移動する限り、ポインターＰの左目用画像中の位置ｃ２ｌ，ｃ３ｌ，・・・と右目用画像中の位置ｃ２ｒ，ｃ３ｒ，・・・の各々を結ぶ線分の中点Ｍの位置は変わらない。
【００８０】
したがって、スライドキー４２が前後方向に操作されたときは、ポインターＰを見通す右目の視線と左目の視線がコンバージェンス面と交わる点同士を結ぶ線分の中点Ｍの位置を保持して、この中点Ｍからの水平方向の偏差ｄが左右で等しくなる点に、ポインターＰの左目用画像中の表示位置と右目用画像中の表示位置があるようにしながら、偏差ｄの大きさによりポインターＰの奥行き位置を変化させることが好ましい。
この方法では、ポインターＰはコンバージェンス面Ｃに投影した面上の位置を変化させずに、奥行き位置のみを移動させることができる。
【００８１】
なお、ポインターＰの位置指定をするときに、ポインター操作卓２６の操作により、ポインターＰの左目用画像中の位置と右目用画像中の位置の連関を解除して、左目用画像中におけるポインターＰの位置と右目用画像中のポインターＰの位置をそれぞれ独立に厳密に指定することもできる。それぞれの画像中の位置を指定するときは、３Ｄ表示された画像を片目で見ることにより、一方の画像ずつ取り出して、それぞれの画像中で目的の被写体の位置にポインターＰを移動させて配置し、後に二つの画像を用いて立体視するようにすればよい。
このようにして、十字キー４１とスライドキー４２により、ポインターＰを映像空間中の任意の位置に配置することができる。
【００８２】
なお、たとえば、サッカー競技の３Ｄ映像において、運動しているサッカー選手を認識できるように選手の映像に選手名を付与する場合など、３Ｄ映像中の被写体に付随して運動するポインターを用いる場合では、被写体の画像内における位置をポインターで正確に指定して、選手名の表記をポインターと一緒に動かすようにすればよい。
【００８３】
なお、上記において、ポインターを利用する代わりに、テロップ表示を直接動かしながら位置設定をするようにしてもよい。挿入するテロップ自体を表示しながら位置選択や位置決定を行う場合は、テロップ付き３Ｄ映像におけるバランスや整合性などを同時に評価しながらテロップ編集をすることができる。
【００８４】
また、テロップ編集は、画枠歪み効果を抑制し、また、左右目の輻輳角制限を満たすようにして、安全な３Ｄ表示とする必要がある。
図６は、画枠歪み効果およびその抑制方法について説明する図面である。図６（ａ）は、テロップ「こんにちは」が画面下部に立体表示された例について、左目用画像と右目用画像を表す。「こんにちは」の文字の位置が左右の画像中で大きく異なるため、文字は手前側に浮かんで見える。テロップを左方向にスクロールすると、図６（ｂ）のような状態になる。右目用画像における「こんにちは」の文字が左枠からはみ出して一部が消えているので、両眼観察したときに立体化に失敗して、「こんにちは」の文字がコンバージェンス面の奥行き位置に存在するように感じられる場合が生じる。この場合、視覚に違和感をもたらし視力に疲労を与えることがある。
【００８５】
そこで、このような場合は、図６（ｃ）に示したように、テロップが画枠をはみ出さないように、左目用画像と右目用画像の両方でテロップの表示位置を画像内に引き戻すことによって、画枠歪み効果を抑制することが好ましい。
本実施態様の３Ｄ字幕制作装置では、左目用と右目用のいずれかのテロップ表示位置が画面からはみ出たときに警報信号を発生して、テロップ編集者に注意を促すことができる。また、テロップ表示位置が画面からはみ出そうになったときに、スクロールの進行を止めるため、３Ｄ字幕制作装置が自動的にテロップ表示が画面内に留まるように左目用と右目用のテロップ位置を停止させるようにすることもできる。
【００８６】
図７は、画枠歪み効果の別の抑制方法について説明する図面である。図７（ａ）は、テロップ「こんにちは」が文字毎に分割されたテロップ要素として処理された場合で、テロップが画面下部に立体表示されるように形成された左目用画像と右目用画像を表す。両眼視すると、「こんにちは」の文字は、図６（ａ）と同様に手前側に浮かんで見える。テロップを左方向にスクロールして、図７（ｂ）に示す位置に移動するとする。このとき、右目用画像におけるテロップ要素「こ」と「ん」の表示が左枠からはみ出して消えているので、左目用画像中のテロップ要素「こ」と「ん」の表示をテロップから削除することにより、テロップはいずれも立体視が可能な「にちは」となり、画枠歪みを起こさないようにすることができる。
【００８７】
図８は、テロップの文字に図形装飾を加えた演出において注意すべきことを説明する図面である。図８は、３Ｄ映像中の人物が「おはよう」と挨拶したことをテロップに表示したもので、人物の口元から発生するように表示される吹き出しを用いて装飾している。吹き出しは、左目用画像と右目用画像のいずれにおいても、人物の表示位置に従って同じ左右位置偏差をもって表示すれば、テロップは３Ｄ表示された人物の奥行き位置と同じ奥行きに３Ｄ表示される。
しかし、吹き出しは文字表記を囲んだ図形であるため、文字より早く画枠に到達してはみ出し、立体感を失うことになる。このため、吹き出しを含めたテロップ全体を監視しておいて、その一部が画枠に到達したら、画枠に到達する前にテロップを消去したりテロップの形状や位置を変更したりするなどの適切な対処を求めて警報を発するようにすることが好ましい。
【００８８】
図９は、奥行き方向に変化するテロップの例を示す図面である。図９は、テロップの挿入に当たって、対象オブジェクトの移動に合わせてフレームインおよびフレームアウトをし、テロップの奥行き位置に対応してテロップ表示を拡大縮小する演出を行った例を示す。この場合にも、画枠歪み効果を考慮するべきことは当然である。
【００８９】
図９に示した例は、列車が図９（ａ）に表した画面の右奥位置から、図９（ｂ）に表した左手前の位置まで移動する３Ｄ映像に対して、列車の位置で図９（ｃ）左図に示したような「ボーボー」という音が発生する様子を表現したテロップを挿入したものである。
「ボーボー」という音は、列車が遠くにいるときは小さいので表示も小さくし、手前に来るに従って音が大きくなることを示すために表示も大きくなるようにする。また、文字表示には音源から放出されることを表すメガフォンマークの装飾を付している。
【００９０】
図９（ｃ）右部に示したテロップデータを使って、左目用画像と右目用画像に指定のテロップを挿入する。テロップデータとして、挿入開始タイムコード、挿入終了タイムコード、文字のフォントや飾り、大きさなどの装飾、テロップの表示位置、テロップ表示位置の変化（軌跡）、テロップの拡大率などの属性が指定され、３Ｄテロップデータ生成装置２７から３Ｄテロップ画像信号生成装置２８に提供され、３Ｄ映像再生表示装置１０に供給されて、ここで、テロップが挿入された状態の３Ｄ映像が生成されることによって、３Ｄディスプレー１８における立体画像表示に反映される。
【００９１】
図９（ｄ），（ｅ）は、それぞれ挿入開始タイムコードと挿入終了タイムコードに対応するテロップ挿入状態の３Ｄ映像を３Ｄディスプレー１８に３Ｄ表示するための左目用画像（左図）および右目用画像（右図）を示す。
列車は画面の右上奥から左下の手前位置まで、徐々に近づいてくる。この間、列車は「ボーボー」という汽笛音が時々発生するので、耳の不自由な者のために、画面に文字表示を挿入したものである。音は列車から発生されるため、文字表示は列車と一緒に移動させている。また、「ボーボー」の音は列車が遠くにいるときに小さく、画面手前に近づくほど大きくなるので、文字表示の大きさも発生源の位置が奥行き方向に遠い場合に小さく、手前方向に近づくほど大きく表示させるようにして、視覚的に音の大きさの変化を知ることができるようにした。
【００９２】
なお、図９に示す例では、テロップ「ボーボー」は、列車の動きに従って立体的に表示されるが、列車が画面右下部に近づいたときには、右目用画像に表示したテロップが画枠をはみ出そうになるので、指定された挿入終了タイムコードの付された画面に達するまでは、テロップ表示位置を画面の内側にずらして、最後まで文字表示が読めるようにしてある。
また、テロップ挿入装置２０でテロップデータを用いた演算を行うことにより、フレーム毎に左目用画像と右眼用画像におけるテロップ挿入位置や大きさを自動的に決定して、テロップを挿入するようにしてもよい。
【産業上の利用可能性】
【００９３】
本発明の３Ｄ字幕制作装置を用いることにより、従来の３Ｄ映像に用いるテロッパーを踏襲した手順によって、３Ｄ映像に３Ｄテロップを挿入することができるので、３Ｄ放送の映像信号や３Ｄ映画のフィルムを制作する場合に迅速にテロップ編集が可能となる。また、テロップ編集時に画枠歪みの発生を報知したり装置が自動的に画枠歪みの発生を防止したりするので、３Ｄ映像を見る者の目に与える害を抑制することができる。
本発明の３Ｄ字幕制作装置は、特に、撮影後放映までの時間が十分でない３Ｄ放送における報道番組などにおいて、重要な役割を果たすことになる。
【符号の説明】
【００９４】
１０  ３Ｄ映像再生表示装置
１１  表示画像指定装置
１２  表示画像コントローラ
１３  左右映像信号再生装置
１４  左目用画像合成装置
１５  右目用画像合成装置
１６  ３Ｄ映像表示装置
１７  映像記憶装置
１８  ３Ｄディスプレー
２０  テロップ挿入装置
２１  テロップ入力装置
２２  編集機能
２３  キーボード
２４  モニター
２５  ３Ｄテロップ座標生成装置
２６  ポインター操作卓
２７  ３Ｄテロップデータ生成装置
２８  ３Ｄテロップ画像信号生成装置
２９  警報装置
３１  可搬式記憶媒体（ＤＶＤ）
３２  可搬式記憶媒体
３３  可搬式記憶媒体
４１  十字キー
４２  スライドキー
４３  表示盤
４４，４５，４６  押しボタンスイッチ
【図１】
0005427087.tif 000002
【図２】
0005427087.tif 000003
【図３】
0005427087.tif 000004
【図４】
0005427087.tif 000005
【図５】
0005427087.tif 000006
【図６】
0005427087.tif 000007
【図７】
0005427087.tif 000008
【図８】
0005427087.tif 000009
【図９】
0005427087.tif 000010
【図１０】
0005427087.tif 000011