(57)【要約】【課題】３Ｄの主画像に３Ｄの副画像を重畳して表示する場合に、ユーザの目の疲労を軽減する。【解決手段】画像処理装置は、２Ｄ表示用の字幕画像５１の表示位置を左目用のオフセット方向にオフセット量offsetだけずらすことにより左目用の字幕データを生成し、そのようにずらしたときの軌跡領域の透明度の低い黒色の画像を軌跡画像５２として軌跡データを生成する。また、画像処理装置は、右目用の字幕データについても、左目用の字幕データと同様に処理する。本発明は、例えば、３Ｄ画像を合成する画像処理装置に適用することができる。【選択図】図９
2011139262.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄ表示用の副画像を構成する左目用の副画像と右目用の副画像のうちの左目用の副画像を、２Ｄ表示用の副画像の表示位置を所定の方向に所定の量だけずらすことにより生成する左目用副画像生成手段と、
前記右目用の副画像を前記２Ｄ表示用の副画像の表示位置を前記所定の方向と反対の方向に前記所定の量だけずらすことにより生成する右目用副画像生成手段と、
前記２Ｄ表示用の副画像の表示位置を前記所定の方向に前記所定の量だけずらしたときの軌跡領域を含む領域である左目用軌跡領域の透明度の低い所定の色の画像を左目用の軌跡画像として生成する左目用軌跡画像生成手段と、
前記２Ｄ表示用の副画像の表示位置を前記所定の方向と反対の方向に前記所定の量だけずらしたときの軌跡領域を含む領域である右目用軌跡領域の透明度の低い所定の色の画像を右目用の軌跡画像として生成する右目用軌跡画像生成手段と、
前記左目用の副画像と前記左目用の軌跡画像を、３Ｄ表示用の主画像を構成する左目用の主画像と右目用の主画像のうちの左目用の主画像に重畳し、前記右目用の副画像と前記右目用の軌跡画像を前記右目用の主画像に重畳する重畳手段と
を備える画像処理装置。
【請求項２】
前記左目用の軌跡画像と前記右目用の軌跡画像の色は、黒色である
請求項１に記載の画像処理装置。
【請求項３】
前記２Ｄ表示用の副画像とともに、その２Ｄ表示用の副画像に対応する３Ｄ表示用の副画像の生成に用いられる前記所定の方向および前記所定の量を取得する取得手段
をさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記副画像は、１画面に表示される全字幕を含む矩形領域の画像であり、
前記左目用軌跡領域は、前記左目用の副画像に隣接する矩形領域であり、
前記右目用軌跡領域は、前記右目用の副画像に隣接する矩形領域である
請求項１に記載の画像処理装置。
【請求項５】
前記副画像は、１文字単位の字幕の画像であり、
前記左目用の軌跡画像は、１画面に表示される字幕の各文字の画像の前記左目用軌跡領域の透明度の低い所定の色の画像であり、
前記右目用の軌跡画像は、１画面に表示される字幕の各文字の画像の前記右目用軌跡領域の透明度の低い所定の色の画像である
請求項１に記載の画像処理装置。
【請求項６】
画像処理装置が、
３Ｄ表示用の副画像を構成する左目用の副画像と右目用の副画像のうちの左目用の副画像を、２Ｄ表示用の副画像の表示位置を所定の方向に所定の量だけずらすことにより生成する左目用副画像生成ステップと、
前記右目用の副画像を前記２Ｄ表示用の副画像の表示位置を前記所定の方向と反対の方向に前記所定の量だけずらすことにより生成する右目用副画像生成ステップと、
前記２Ｄ表示用の副画像の表示位置を前記所定の方向に前記所定の量だけずらしたときの軌跡領域を含む領域である左目用軌跡領域の透明度の低い所定の色の画像を左目用の軌跡画像として生成する左目用軌跡画像生成ステップと、
前記２Ｄ表示用の副画像の表示位置を前記所定の方向と反対の方向に前記所定の量だけずらしたときの軌跡領域を含む領域である右目用軌跡領域の透明度の低い所定の色の画像を右目用の軌跡画像として生成する右目用軌跡画像生成ステップと、
前記左目用の副画像と前記左目用の軌跡画像を、３Ｄ表示用の主画像を構成する左目用の主画像と右目用の主画像のうちの左目用の主画像に重畳し、前記右目用の副画像と前記右目用の軌跡画像を前記右目用の主画像に重畳する重畳ステップと
を含む画像処理方法。
【請求項７】
コンピュータに、
３Ｄ表示用の副画像を構成する左目用の副画像と右目用の副画像のうちの左目用の副画像を、２Ｄ表示用の副画像の表示位置を所定の方向に所定の量だけずらすことにより生成する左目用副画像生成ステップと、
前記右目用の副画像を前記２Ｄ表示用の副画像の表示位置を前記所定の方向と反対の方向に前記所定の量だけずらすことにより生成する右目用副画像生成ステップと、
前記２Ｄ表示用の副画像の表示位置を前記所定の方向に前記所定の量だけずらしたときの軌跡領域を含む領域である左目用軌跡領域の透明度の低い所定の色の画像を左目用の軌跡画像として生成する左目用軌跡画像生成ステップと、
前記２Ｄ表示用の副画像の表示位置を前記所定の方向と反対の方向に前記所定の量だけずらしたときの軌跡領域を含む領域である右目用軌跡領域の透明度の低い所定の色の画像を右目用の軌跡画像として生成する右目用軌跡画像生成ステップと、
前記左目用の副画像と前記左目用の軌跡画像を、３Ｄ表示用の主画像を構成する左目用の主画像と右目用の主画像のうちの左目用の主画像に重畳し、前記右目用の副画像と前記右目用の軌跡画像を前記右目用の主画像に重畳する重畳ステップと
を含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、３Ｄの主画像に３Ｄの副画像を合成して表示する場合に、ユーザの目の疲労を軽減することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
映画等のコンテンツとしては２Ｄ画像が主流であるが、最近では、３Ｄ画像が注目を集めている。
【０００３】
３Ｄコンテンツを再生する再生装置としては、２Ｄ表示用の字幕データに基づいて３Ｄ表示用の字幕データを生成し、その字幕データに基づいて３Ｄの字幕を表示する装置がある。なお、２Ｄ表示用の字幕データは、字幕画像のビットマップ画像データ（以下、単に画像データという）と表示位置とにより構成される。ここでは、字幕画像は、１画面に表示される全字幕を含む矩形領域の画像であるものとする。
【０００４】
このような再生装置では、図１に示すように、３Ｄ表示用の字幕データのうちの左目用の字幕データが、２Ｄ表示用の字幕データの表示位置を所定のオフセット量offsetだけ水平方向（左右方向）の一方向（図１の例では右方向）にずらすことにより生成される。また、右目用の字幕データが、２Ｄ表示用の字幕データの表示位置を所定のオフセット量offsetだけ水平方向の他方向（図１の例では左方向）にずらすことにより生成される。
【０００５】
そして、左目用の字幕データに基づいて、左目用の字幕画像の画像データが、３Ｄ表示用の映画等の主画像の画像データのうちの左目用の主画像の画像データに重畳され、右目用の字幕データに基づいて、右目用の字幕画像の画像データが、右目用の主画像の画像データに重畳される。
【０００６】
この重畳の方法としては、例えば、以下の２つの方法がある。
【０００７】
第１の方法は、各目用に字幕画像の画面データ（以下、字幕プレーンという）を生成し、各目ごとに字幕プレーンを主画像の画面データ（以下、ビデオプレーンという）に重畳する方法である。
【０００８】
具体的には、第１の方法では、図２に示すように、例えば、２Ｄ表示用の字幕データに含まれる字幕画像の左上の表示位置が画面上のｘｙ座標の位置(x,y)であるとき、まず、その位置をｘ座標の正の方向にオフセット量offsetだけずらした位置(x+offset,y)に字幕画像の左上が配置される画面の画面データが左目用字幕プレーンとして生成される。そして、左目用字幕プレーンが、左目用のビデオプレーンである左目用ビデオプレーンに重畳され、左目用プレーンが生成される。
【０００９】
また、２Ｄ表示用の字幕データに含まれる字幕画像の左上の表示位置(x,y)をｘ座標の負の方向にオフセット量offsetだけずらした位置(x-offset,y)に字幕画像の左上が配置される画面の画面データが右目用字幕プレーンとして生成される。そして、右目用字幕プレーンが、右目用のビデオプレーンである右目用ビデオプレーンに重畳され、右目用プレーンが生成される。
【００１０】
第２の方法は、字幕プレーンをオフセット量offsetだけ水平方向の一方向にずらして左目用ビデオプレーンに重畳し、字幕プレーンをオフセット量offsetだけ水平方向の他方向にずらして右目用ビデオプレーンに重畳する方法である。
【００１１】
具体的には、第２の方法では、図３に示すように、２Ｄ表示用の字幕データに基づく字幕プレーンが、オフセット量offsetだけｘ座標の正の方向にずらされて左目用ビデオプレーンに重畳され、左目用プレーンが生成される。また、字幕プレーンが、オフセット量offsetだけｘ座標の負の方向にずらされて右目用ビデオプレーンに重畳され、右目用プレーンが生成される。
【００１２】
なお、図２の左目用字幕プレーンに対応する画面および右目用字幕プレーンに対応する画面または図３の字幕プレーンにおいて、字幕画像が配置されない領域は、透明の画像となっており、左目用プレーンおよび右目用プレーンに対応する画面の、その領域には主画像が配置される。
【００１３】
また、図２および図３の例では、字幕画像内の字幕「ＡＢＣ」以外の領域は、透明な画像となっており、左目用プレーンおよび右目用プレーンに対応する画面の、その領域にも主画像が配置されている。
【００１４】
以上のようにして左目用プレーンおよび右目用プレーンが生成されると、左目用プレーンに基づいて左目用の画面が表示デバイスに表示され、ユーザの左目に見せられるとともに、右目用プレーンに基づいて右目用の画面が表示デバイスに表示され、ユーザの右目に見せられる。これにより、ユーザは、３Ｄの字幕が合成された３Ｄの主画像を見ることができる。
【００１５】
例えば、図４Ａに示すように、左目用の字幕画像がオフセット量offsetだけ右方向にずらされ、右目用の字幕画像がオフセット量offsetだけ左方向にずらされている場合には、焦点位置が表示デバイス面より手前側（ユーザ側）になり、字幕画像が飛び出て見える。
【００１６】
一方、図４Ｂに示すように、左目用の字幕画像がオフセット量offsetだけ左方向にずらされ、右目用の字幕画像がオフセット量offsetだけ右方向にずらされている場合には、焦点位置が表示デバイス面より奥側になり、字幕画像が引っ込んで見える。
【００１７】
なお、図４は、表示デバイスに表示された画像を見ているユーザを頭上から見た図である。このことは、後述する図５においても同様である。
【００１８】
また、図５Ａや図５Ｂに示すように、一般的に、字幕画像は、主画像より手前側に３Ｄ表示される。
【００１９】
３Ｄコンテンツを再生する再生装置としては、３Ｄの主画像に対して３Ｄのテロップを合成して表示する装置もある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開平１０−３２７４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
上述したように、２Ｄ表示用の字幕データに基づいて３Ｄ表示用の字幕データを生成する再生装置では、図６Ａに示すように、同一の字幕画像１の表示位置を左右にオフセット量offsetだけずらすことにより右目用字幕プレーンと左目用字幕プレーンが生成される。
【００２２】
従って、この右目用字幕プレーンと左目用字幕プレーンによっては、図６Ｂに示すように、目の焦点位置の奥行き方向が変化されて厚みの無い字幕画像が３Ｄ表示されるだけであり、厚みのある字幕画像を見せることはできない。また、字幕画像１をオフセット量offsetだけずらしたときの右目用の画面における軌跡領域２と左目用の画面における軌跡領域３には、主画像が表示される。
【００２３】
よって、例えば、図６Ｂに示すように、軌跡領域２および軌跡領域３の主画像によって字幕画像の奥側に３Ｄ表示される主画像が、３Ｄの字幕画像の境界から見えてしまい、これによりユーザの目の焦点位置が頻繁に変わってしまう。その結果、ユーザの目が疲労する。
【００２４】
本発明は、このような状況に鑑みてなされたものであり、３Ｄの主画像に３Ｄの副画像を合成して表示する場合に、ユーザの目の疲労を軽減することができるようにするものである。
【課題を解決するための手段】
【００２５】
本発明の一側面の画像処理装置は、３Ｄ表示用の副画像を構成する左目用の副画像と右目用の副画像のうちの左目用の副画像を、２Ｄ表示用の副画像の表示位置を所定の方向に所定の量だけずらすことにより生成する左目用副画像生成手段と、前記右目用の副画像を前記２Ｄ表示用の副画像の表示位置を前記所定の方向と反対の方向に前記所定の量だけずらすことにより生成する右目用副画像生成手段と、前記２Ｄ表示用の副画像の表示位置を前記所定の方向に前記所定の量だけずらしたときの軌跡領域を含む領域である左目用軌跡領域の透明度の低い所定の色の画像を左目用の軌跡画像として生成する左目用軌跡画像生成手段と、前記２Ｄ表示用の副画像の表示位置を前記所定の方向と反対の方向に前記所定の量だけずらしたときの軌跡領域を含む領域である右目用軌跡領域の透明度の低い所定の色の画像を右目用の軌跡画像として生成する右目用軌跡画像生成手段と、前記左目用の副画像と前記左目用の軌跡画像を、３Ｄ表示用の主画像を構成する左目用の主画像と右目用の主画像のうちの左目用の主画像に重畳し、前記右目用の副画像と前記右目用の軌跡画像を前記右目用の主画像に重畳する重畳手段とを備える画像処理装置である。
【００２６】
本発明の一側面の画像処理方法およびプログラムは、本発明の一側面の画像処理装置に対応する。
【００２７】
本発明の一側面においては、３Ｄ表示用の副画像を構成する左目用の副画像と右目用の副画像のうちの左目用の副画像が、２Ｄ表示用の副画像の表示位置を所定の方向に所定の量だけずらすことにより生成され、前記右目用の副画像が前記２Ｄ表示用の副画像の表示位置を前記所定の方向と反対の方向に前記所定の量だけずらすことにより生成され、前記２Ｄ表示用の副画像の表示位置を前記所定の方向に前記所定の量だけずらしたときの軌跡領域を含む領域である左目用軌跡領域の透明度の低い所定の色の画像が左目用の軌跡画像として生成され、前記２Ｄ表示用の副画像の表示位置を前記所定の方向と反対の方向に前記所定の量だけずらしたときの軌跡領域を含む領域である右目用軌跡領域の透明度の低い所定の色の画像が右目用の軌跡画像として生成され、前記左目用の副画像と前記左目用の軌跡画像が、３Ｄ表示用の主画像を構成する左目用の主画像と右目用の主画像のうちの左目用の主画像に重畳され、前記右目用の副画像と前記右目用の軌跡画像が前記右目用の主画像に重畳される。
【００２８】
本発明の一側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２９】
本発明の一側面によれば、３Ｄの主画像に３Ｄの副画像を合成して表示する場合に、ユーザの目の疲労を軽減することができる。
【図面の簡単な説明】
【００３０】
【図１】３Ｄ表示用の字幕データの生成方法を説明する図である。
【図２】字幕画像を主画像に重畳する第１の重畳方法を説明する図である。
【図３】字幕画像を主画像に重畳する第２の重畳方法を説明する図である。
【図４】３Ｄの字幕画像の見え方を説明する図である。
【図５】字幕画像と主画像の奥行き方向の位置関係を示す図である。
【図６】字幕画像が重畳された主画像の見え方を説明する図である。
【図７】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図８】図７の３Ｄ字幕生成部の構成例を示すブロック図である。
【図９】右目用字幕プレーンと左目用字幕プレーンを説明する図である。
【図１０】３Ｄ画像の見え方を説明する図である。
【図１１】字幕表示処理を説明するフローチャートである。
【図１２】字幕画像の他の例を説明する図である。
【図１３】字幕画像と主画像の奥行き方向の他の位置関係を示す図である。
【図１４】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００３１】
＜一実施の形態＞
［画像処理装置の一実施の形態の構成例］
図７は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００３２】
図７の画像処理装置１０は、ビデオデコーダ１１、字幕デコーダ１２、バッファ１３、３Ｄ字幕生成部１４、重畳部１５、および表示部１６により構成される。画像処理装置１０は、ＢＤ（Blu-Ray（登録商標） Disc ）などの記録媒体から読み出されたり、ネットワークなどを介して外部の装置から受信された３Ｄ表示用の主画像のビデオデータと２Ｄ表示用の字幕データとを用いて、字幕画像が合成された主画像の３Ｄ表示を行う。
【００３３】
具体的には、画像処理装置１０のビデオデコーダ１１には、３Ｄ表示用の主画像のビデオデータが入力される。ビデオデコーダ１１は、入力された３Ｄ表示用の主画像のビデオデータをデコードし、その結果得られる左目用ビデオプレーンと右目用ビデオプレーンを重畳部１５に供給する。
【００３４】
字幕デコーダ１２には、オフセット量offset並びに左目用および右目用のオフセット方向がオフセット情報として付加された２Ｄ表示用の字幕データが入力される。なお、オフセット方向とは、水平方向の一方向であり、左目用のオフセット方向と、右目用のオフセット方向は反対の方向である。
【００３５】
字幕デコーダ１２は、入力された２Ｄ表示用の字幕データに対してデコード処理を行う。また、字幕デコーダ１２は、その結果得られる字幕データと、２Ｄ表示用の字幕データに付加されているオフセット情報とを対応付けてバッファ１３に供給する。バッファ１３は、字幕デコーダ１２から供給される字幕データとオフセット情報を対応付けて一時的に保持する。
【００３６】
３Ｄ字幕生成部１４は、バッファ１３から字幕データとオフセット情報を読み出す。３Ｄ字幕生成部１４は、読み出された字幕データに含まれる表示位置(x,y)を、オフセット情報に含まれるオフセット方向にオフセット量offsetだけずらす。３Ｄ字幕生成部１４は、その結果得られる表示位置(x±offset,y)に字幕画像を配置するとともに、字幕画像の表示位置をずらしたときの字幕画像の軌跡領域に軌跡画像（詳細は後述する）を配置した画面の画像データを、左目用字幕プレーンおよび右目用字幕プレーンとして生成する。そして、３Ｄ字幕生成部１４は、左目用字幕プレーンと右目用字幕プレーンを重畳部１５に供給する。
【００３７】
重畳部１５は、ビデオデコーダ１１からの左目用ビデオプレーンに３Ｄ字幕生成部１４からの左目用字幕プレーンを重畳し、左目用プレーンを生成する。また、重畳部１５は、ビデオデコーダ１１からの右目用ビデオプレーンに３Ｄ字幕生成部１４からの右目用字幕プレーンを重畳し、右目用プレーンを生成する。そして、重畳部１５は、左目用プレーンと右目用プレーンを表示部１６に供給する。
【００３８】
表示部１６は、例えば、重畳部１５から供給される左目用プレーンと右目用プレーンに基づいて、左目用の画面と右目用の画面を時分割で表示する。このとき、ユーザは、例えば、左目用の画面と右目用の画面の切り替えに同期したシャッタ付き眼鏡を装着し、左目用の画面を左目だけで見て、右目用の画面を右目だけで見る。これにより、ユーザは、３Ｄの字幕が合成された３Ｄの主画像を見ることができる。
【００３９】
以上のように、画像処理装置１０は、２Ｄ表示用の字幕データを用いて字幕の３Ｄ表示を行うので、字幕の３Ｄ表示に対応していない従来の装置と互換性がある。
【００４０】
なお、画像処理装置１０においてバッファ１３は設けられなくてもよい。
【００４１】
［３Ｄ字幕生成部の構成例］
図８は、図７の３Ｄ字幕生成部１４の構成例を示すブロック図である。
【００４２】
図８に示すように、３Ｄ字幕生成部１４は、取得部２１、左目用字幕プレーン生成部２２、および右目用字幕プレーン生成部２３により構成される。
【００４３】
取得部２１は、バッファ１３から字幕データとオフセット情報を読み出して取得する。取得部２１は、字幕データ並びにオフセット情報に含まれるオフセット量offsetおよび左目用のオフセット方向を左目用字幕プレーン生成部２２に供給する。また、取得部２１は、字幕データ並びにオフセット情報に含まれるオフセット量offsetおよび右目用のオフセット方向を右目用字幕プレーン生成部２３に供給する。
【００４４】
左目用字幕プレーン生成部２２は、字幕画像生成部３０、軌跡検出部３１、軌跡画像生成部３２、およびプレーン生成部３３により構成される。
【００４５】
字幕画像生成部３０は、取得部２１から供給される字幕データに含まれる表示位置を、取得部２１からのオフセット量offsetだけ左目用のオフセット方向にずらすことにより、左目用の字幕データを生成する。
【００４６】
軌跡検出部３１は、取得部２１から供給される字幕データに対応する字幕画像を、取得部２１からのオフセット量offsetだけ左目用のオフセット方向にずらしたときの字幕画像の軌跡領域の左目用の画面上の位置およびサイズを検出する。軌跡検出部３１は、その位置およびサイズを表す軌跡情報を軌跡画像生成部３２に供給する。
【００４７】
軌跡画像生成部３２は、軌跡検出部３１から供給される軌跡情報に基づいて、軌跡領域を黒色で塗りつぶすためのデータを軌跡データとして生成する。具体的には、軌跡画像生成部３２は、軌跡領域のサイズの黒色の画像(以下、軌跡画像という)の画像データ、その画像データの表示位置としての軌跡領域の左目用の画面上の位置、および主画像との合成比率を表すアルファブレンド量を１に指定するデータを軌跡データとして生成する。
【００４８】
なお、アルファブレンド量は０以上１以下の値をとるものであり、アルファブレンド量が大きいほど透明度が低く、アルファブレンド量が小さいほど透明度が高い。例えば、アルファブレンド量が１である場合、そのアルファブレンド量に対応する画像データは完全不透過で合成される。また、アルファブレンド量が０である場合、そのアルファブレンド量に対応する画像データは完全透明で合成される。
【００４９】
軌跡画像生成部３２は、以上のような軌跡データをプレーン生成部３３に供給する。
【００５０】
プレーン生成部３３は、字幕画像生成部３０から供給される左目用の字幕データに含まれる表示位置に字幕画像を配置し、軌跡画像生成部３２から供給される軌跡データに含まれる表示位置に軌跡画像を配置した画面の画像データを左目用字幕プレーンとして生成する。そして、プレーン生成部３３は、左目用字幕プレーンと軌跡データに含まれるアルファブレンド量を重畳部１５に供給する。これにより、重畳部１５は、左目用字幕プレーンの軌跡画像をアルファブレンド量で左目用ビデオプレーンに合成する。
【００５１】
右目用字幕プレーン生成部２３は、左目用字幕プレーン生成部２２と同様に、字幕画像生成部４０、軌跡検出部４１、軌跡画像生成部４２、およびプレーン生成部４３により構成される。
【００５２】
なお、右目用字幕プレーン生成部２３の各部の処理は、オフセット方向が左目用字幕プレーン生成部２２におけるオフセット方向と反対方向であること、および、プレーン生成部４３により生成された画像データを右目用字幕プレーンとすること以外、左目用字幕プレーン生成部２２の各部の処理と同様であるので、説明は省略する。
【００５３】
［右目用字幕プレーンと左目用字幕プレーンの説明］
図９は、３Ｄ字幕生成部１４により生成される右目用字幕プレーンと左目用字幕プレーンを説明する図である。
【００５４】
図９Ａに示すように、右目用字幕プレーンは、２Ｄ表示用の字幕データに対応する字幕画像５１がオフセット方向（図９の例では左方向）にオフセット量offsetだけずらして配置され、そのようにずらされたときの字幕画像５１の軌跡領域に軌跡画像５２が配置された画面のデータである。
【００５５】
また、図９Ｂに示すように、左目用字幕プレーンは、字幕画像５１がオフセット方向（図９の例では右方向）にオフセット量offsetだけずらして配置され、そのようにずらされたときの字幕画像５１の軌跡領域に軌跡画像５３が配置された画面のデータである。
【００５６】
なお、図９Ａに示すように、右目用の画面において、字幕画像５１と軌跡画像５２は隣接し、図９Ｂに示すように、左目用の画面において、字幕画像５１と軌跡画像５３は隣接している。また、軌跡画像５２と軌跡画像５３は、垂直方向（上下方向）の長さが字幕画像５１と同一で、水平方向（左右方向）の長さがオフセット量offsetである矩形の画像となる。
【００５７】
［字幕画像が重畳された主画像の見え方］
図１０は、表示部１６に表示される左目用の画面と右目用の画面による３Ｄ画像の見え方を説明する図である。
【００５８】
なお、図１０では、図９に示した右目用字幕プレーンが合成された右目用プレーンと左目用字幕プレーンが合成された左目用プレーンによって左目用の画面と右目用の画面が表示されたときの３Ｄ画像の見え方について説明する。図１０は、表示部１６に表示されている画像を見ているユーザを頭上から見た図である。
【００５９】
図１０に示すように、右目用の画面上の字幕画像５１と左目用の画面上の字幕画像５１に挟まれた領域は、軌跡画像５２および軌跡画像５３によって主画像が黒く塗りつぶされているので、３Ｄの字幕画像の境界から３Ｄの字幕画像の背景が見えない。従って、ユーザの目の焦点位置が頻繁に変わらず、目の疲労を軽減することができる。
【００６０】
［画像処理装置の処理の説明］
図１１は、画像処理装置１０の３Ｄ字幕生成部１４による字幕表示処理を説明するフローチャートである。
【００６１】
ステップＳ１１において、３Ｄ字幕生成部１４の取得部２１は、字幕画像を表示するかどうかを判定する。例えば、取得部２１は、ユーザから字幕画像の表示が指示された場合、字幕画像を表示すると判定し、ユーザから字幕画像の表示が指示されていない場合、字幕画像を表示しないと判定する。
【００６２】
ステップＳ１１で字幕画像を表示すると判定された場合、ステップＳ１２において、取得部２１は、バッファ１３から表示対象の字幕画像の字幕データを読み出して取得する。
【００６３】
ステップＳ１３において、取得部２１は、バッファ１３から表示対象の字幕画像のオフセット情報を読み出して取得する。そして、取得部２１は、ステップＳ１２で取得された字幕データ並びにステップＳ１３で取得されたオフセット情報に含まれるオフセット量offsetおよび左目用のオフセット方向を左目用字幕プレーン生成部２２に供給する。また、取得部２１は、ステップＳ１２で取得された字幕データ並びにステップＳ１３で取得されたオフセット情報に含まれるオフセット量offsetおよび右目用のオフセット方向を右目用字幕プレーン生成部２３に供給する。
【００６４】
なお、図１１では、オフセット情報に含まれる左目用のオフセット方向が、画面上のxy座標の正のｘ方向であり、右目用のオフセット方向が、負のｘ方向であるものとする。
【００６５】
ステップＳ１４において、字幕画像生成部３０は、取得部２１から供給される字幕データに含まれる表示位置(x,y)を、取得部２１からのオフセット量offsetだけ左目用のオフセット方向にずらすことにより、左目用の字幕データを生成する。
【００６６】
ステップＳ１５において、軌跡検出部３１は、取得部２１から供給される字幕データに対応する字幕画像を、取得部２１からの左目用のオフセット方向にオフセット量offsetだけずらしたときの字幕画像の軌跡領域の左目用の画面上の位置およびサイズを検出する。軌跡検出部３１は、その位置およびサイズを表す軌跡情報を軌跡画像生成部３２に供給する。
【００６７】
ステップＳ１６において、軌跡画像生成部３２は、軌跡検出部３１から供給される軌跡情報に基づいて、軌跡領域を黒色で塗りつぶすためのデータを軌跡データとして生成し、プレーン生成部３３に供給する。
【００６８】
ステップＳ１７において、プレーン生成部３３は、字幕画像生成部３０から供給される左目用の字幕データに含まれる表示位置(x+offset,y)に字幕画像を配置し、軌跡画像生成部３２からの軌跡データに含まれる表示位置に軌跡画像Llocusを配置した画面の画像データを左目用字幕プレーンとして生成する。そして、プレーン生成部３３は、左目用字幕プレーンと軌跡データに含まれるアルファブレンド量を重畳部１５に供給する。
【００６９】
ステップＳ１８において、右目用字幕プレーン生成部２３の字幕画像生成部４０は、取得部２１から供給される字幕データに含まれる表示位置(x,y)を、取得部２１からのオフセット量offsetだけ右目用のオフセット方向にずらすことにより、右目用の字幕データを生成する。
【００７０】
ステップＳ１９において、軌跡検出部４１は、取得部２１から供給される字幕データに対応する字幕画像を、取得部２１からの右目用のオフセット方向にオフセット量offsetだけずらしたときの字幕画像の軌跡領域の右目用の画面上の位置およびサイズを検出する。軌跡検出部３１は、その位置およびサイズを表す軌跡情報を軌跡画像生成部４２に供給する。
【００７１】
ステップＳ２０において、軌跡画像生成部４２は、軌跡検出部４１から供給される軌跡情報に基づいて、軌跡領域を黒色で塗りつぶすためのデータを軌跡データとして生成し、プレーン生成部４３に供給する。
【００７２】
ステップＳ２１において、プレーン生成部４３は、字幕画像生成部４０から供給される右目用の字幕データに含まれる表示位置(x-offset,y)に字幕画像を配置し、軌跡画像生成部４２からの軌跡データに含まれる表示位置に軌跡画像Rlocusを配置した画面のプ画像データを右目用字幕プレーンとして生成する。そして、プレーン生成部４３は、右目用字幕プレーンと軌跡データに含まれるアルファブレンド量を重畳部１５に供給し、処理をステップＳ２２に進める。
【００７３】
一方、ステップＳ１１で字幕画像を表示すると判定されない場合、ステップＳ１２乃至Ｓ２１の処理はスキップされ、処理はステップＳ２２に進む。
【００７４】
ステップＳ２２において、取得部２１は、主画像の表示が終了したかどうかを判定する。例えば、ユーザから主画像の表示の終了が指示されたか、または、３Ｄ表示用の主画像のビデオデータが画像処理装置１０に入力されなくなった場合、取得部２１は、主画像の表示が終了したと判定する。一方、ユーザから主画像の表示の終了が指示されていないか、または、３Ｄ表示用の主画像のビデオデータが画像処理装置１０に入力されている場合、取得部２１は、主画像の表示が終了していないと判定する。
【００７５】
ステップＳ２２で主画像の表示が終了したと判定されない場合、処理はステップＳ１１に戻り、主画像の表示が終了するまで、ステップＳ１１乃至Ｓ２２の処理が繰り返される。
【００７６】
一方、ステップＳ２２で主画像の表示が終了したと判定された場合、処理は終了する。
【００７７】
[字幕画像の他の例]
図１２は、字幕画像の他の例を説明する図である。
【００７８】
図１２の字幕画像は、上述したような１画面に表示される全字幕を含む矩形領域の画像ではなく、１文字単位の字幕の画像である。図１２の例では、字幕画像は、字幕としての「Ａ」の画像、「Ｂ」の画像、および「Ｃ」の画像である。
【００７９】
この場合、図１２に示すように、１画面に表示される字幕の各文字の画像が、それぞれ、２Ｄ表示用の字幕データに含まれる表示位置から右目用のオフセット方向（図１２の例では左方向）にオフセット量offsetだけずらした位置に配置された画面の画像データが、右目用字幕プレーンとして生成される。そして、１画面に表示される字幕の各文字の画像の表示位置をそれぞれずらしたときの軌跡領域７１を黒色で塗りつぶすためのデータが、軌跡データとして生成される。
【００８０】
同様に、１文字単位の字幕の画像が、それぞれ、２Ｄ表示用の字幕データに含まれる表示位置から左目用のオフセット方向（図１２の例では右方向）にオフセット量offsetだけずらした位置に配置された画面のプレーンが、左目用字幕プレーンとして生成される。そして、１文字単位の字幕の画像の表示位置をそれぞれずらしたときの軌跡領域７２を黒色で塗りつぶすためのデータが、軌跡データとして生成される。
【００８１】
なお、本実施の形態では、３Ｄの字幕画像が３Ｄの主画像より手前側（ユーザ側）に表示される場合について説明したが、図１３に示すように、３Ｄの字幕画像が３Ｄの主画像より奥側に表示される場合についても同様に、軌跡画像５２および軌跡画像５３を主画像に重畳することにより、３Ｄの字幕画像の境界から３Ｄの字幕画像の前景が見えない。従って、ユーザの目の焦点位置が頻繁に変わらず、ユーザの目の疲労を軽減することができる。
【００８２】
以上のように、画像処理装置１０は、２Ｄ表示用の字幕データに含まれる表示位置を左目用のオフセット方向にオフセット量offsetだけずらすことにより左目用の字幕データを生成し、そのようにずらしたときの軌跡領域の透明度の低い黒色の画像を軌跡画像Llocusとして軌跡データを生成する。また、画像処理装置１０は、右目用の字幕データについても、左目用の字幕データと同様に処理する。そして、画像処理装置１０は、左目用の字幕データに対応する字幕画像と左目用の軌跡データに対応する軌跡画像Llocusを、左目用の主画像に重畳し、右目用の字幕データに対応する字幕画像と右目用の軌跡データに対応する軌跡画像Rlocusを右目用の主画像に重畳する。
【００８３】
これにより、図１０や図１３で説明したように、３Ｄの字幕画像の境界から３Ｄの字幕画像の背景や前景が見えなくなる。従って、ユーザの目の焦点位置が頻繁に変わらず、目の疲労を軽減することができる。
【００８４】
なお、上述した説明では、軌跡領域が黒色で塗りつぶされたが、塗りつぶす色はこれに限定されず、灰色、字幕の色などにすることができる。また、上述した説明では、軌跡画像のアルファブレンド量は１とされ、軌跡画像の透明度は０であったが、主画像を塗りつぶすことができれば、これに限定されない。例えば、軌跡画像のアルファブレンド量は、字幕画像のアルファブレンド量と同一にしてもよい。
【００８５】
また、字幕データには、字幕画像の画像データそのものではなく、字幕の文字コードを記述した文字列と色情報が含まれるようにしてもよい。この場合、字幕デコーダ１２では、文字列と色情報に基づいて字幕画像の画像データが生成される。
【００８６】
さらに、上述した説明では、オフセット情報は、字幕データに付加されて供給されるようにしたが、画像処理装置１０内の図示せぬ記憶部に予め記憶されているようにしてもよい。この場合、３Ｄの字幕の奥行き方向の位置は常に一定になる。
【００８７】
また、上述した説明では、軌跡領域が黒色で塗りつぶされるようにしたが、黒色で塗りつぶされる領域は、軌跡領域を含む領域であればよく、軌跡領域そのものでなくてもよい。
【００８８】
本発明は、主画像に字幕画像を合成する場合だけでなく、主画像に字幕画像以外の副画像（例えば、メニュー画像）を合成する場合にも適用できる。
【００８９】
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【００９０】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【００９１】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【００９２】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【００９３】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【００９４】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【００９５】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【００９６】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【００９７】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【００９８】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【００９９】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１００】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１０１】
１０  画像処理装置，  １４  ３Ｄ字幕生成部，  １５  重畳部，  ２１  取得部，  ２２  左目用字幕プレーン生成部，  ２３  右目用字幕プレーン生成部，  ３０  字幕画像生成部，  ３２  軌跡画像生成部，  ３３  プレーン生成部，  ４０  字幕画像生成部，  ４２  軌跡画像生成部，  ４３  プレーン生成部
【図１】
2011139262.tif 000003
【図２】
2011139262.tif 000004
【図３】
2011139262.tif 000005
【図４】
2011139262.tif 000006
【図５】
2011139262.tif 000007
【図６】
2011139262.tif 000008
【図７】
2011139262.tif 000009
【図８】
2011139262.tif 000010
【図９】
2011139262.tif 000011
【図１０】
2011139262.tif 000012
【図１１】
2011139262.tif 000013
【図１２】
2011139262.tif 000014
【図１３】
2011139262.tif 000015
【図１４】
2011139262.tif 000016