(57)【要約】【課題】字幕等の副画像を３Ｄの主画像に重畳して表示させる場合において、副画像の奥行方向の表示位置によらず、常に同一の大きさの副画像を視聴者に知覚させる。【解決手段】字幕制御部３２は、３Ｄの主画像の視差情報に基づいて字幕画像の視差を決定するとともに、その字幕画像の視差に基づいて字幕画像の拡大縮小率を決定する。字幕画像生成部３３は、その拡大縮小率にしたがって字幕画像を拡大または縮小する。また、字幕画像生成部３３は、字幕画像の視差に基づいて字幕画像を左右方向にずらすことにより、左眼用の字幕画像と右眼用の字幕画像を生成する。画像合成部３４は、左眼用の字幕画像および右眼用の字幕画像と、左眼用の主画像および右眼用の主画像を各眼用ごとに合成する。本発明は、例えば、３Ｄの主画像に副画像を合成する画像処理装置に適用することができる。【選択図】図６
2011199389.tif 000002
【特許請求の範囲】
【請求項１】
左眼用の主画像と右眼用の主画像からなる３Ｄの主画像の視差に基づいて、前記３Ｄの主画像に重畳する副画像の視差を決定するとともに、その副画像の視差に基づいて前記副画像の拡大縮小率を決定する決定手段と、
前記拡大縮小率にしたがって前記副画像を拡大または縮小する拡縮処理手段と、
前記副画像の視差に基づいて前記副画像を左右方向にずらすことにより、左眼用の副画像と右眼用の副画像を生成する生成手段と、
前記拡大または縮小され、前記左右方向にずらされることにより生成された前記左眼用の副画像および前記右眼用の副画像と、前記左眼用の主画像および右眼用の主画像を各眼用ごとに合成する合成手段と
を備える画像処理装置。
【請求項２】
前記３Ｄの主画像の視差を検出する検出手段
をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記３Ｄの主画像の視差と前記副画像の画面上の位置とに基づいて、前記副画像の視差を決定する
請求項１に記載の画像処理装置。
【請求項４】
前記副画像は複数あり、
前記決定手段は、前記３Ｄの主画像の視差と各副画像の画面上の位置とに基づいて、各副画像の視差を決定するとともに、各副画像の視差に基づいて各副画像の拡大縮小率を決定し、
前記拡縮処理手段は、前記副画像ごとに、その副画像の拡大縮小率にしたがって前記副画像を拡大または縮小し、
前記生成手段は、前記副画像ごとに、その副画像の視差に基づいて前記副画像を左右方向にずらすことにより、左眼用の副画像と右眼用の副画像を生成する
請求項３に記載の画像処理装置。
【請求項５】
前記副画像は、字幕である
請求項１に記載の画像処理装置。
【請求項６】
画像処理装置が、
左眼用の主画像と右眼用の主画像からなる３Ｄの主画像の視差に基づいて、前記３Ｄの主画像に重畳する副画像の視差を決定するとともに、その副画像の視差に基づいて前記副画像の拡大縮小率を決定する決定ステップと、
前記拡大縮小率にしたがって前記副画像を拡大または縮小する拡縮処理ステップと、
前記副画像の視差に基づいて前記副画像を左右方向にずらすことにより、左眼用の副画像と右眼用の副画像を生成する生成ステップと、
前記拡大または縮小され、前記左右方向にずらされることにより生成された前記左眼用の副画像および前記右眼用の副画像と、前記左眼用の主画像および右眼用の主画像を各眼用ごとに合成する合成ステップと
含む画像処理方法。
【請求項７】
コンピュータに、
左眼用の主画像と右眼用の主画像からなる３Ｄの主画像の視差に基づいて、前記３Ｄの主画像に重畳する副画像の視差を決定するとともに、その副画像の視差に基づいて前記副画像の拡大縮小率を決定する決定ステップと、
前記拡大縮小率にしたがって前記副画像を拡大または縮小する拡縮処理ステップと、
前記副画像の視差に基づいて前記副画像を左右方向にずらすことにより、左眼用の副画像と右眼用の副画像を生成する生成ステップと、
前記拡大または縮小され、前記左右方向にずらされることにより生成された前記左眼用の副画像および前記右眼用の副画像と、前記左眼用の主画像および右眼用の主画像を各眼用ごとに合成する合成ステップと
を含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像変換方法、およびプログラムに関し、特に、字幕等の副画像を３Ｄの主画像に重畳して表示させる場合において、副画像の奥行方向の表示位置によらず、常に同一の大きさの副画像を視聴者に知覚させることができるようにした、画像処理装置、画像変換方法、およびプログラムに関する。
【背景技術】
【０００２】
昨今、両眼立体視を用いた３Ｄ映画の実用化が進み、民生機器による３Ｄコンテンツの再生環境が整いつつある。このような状況において、３Ｄ映画等の主画像に重畳される字幕やメニュー画面等の副画像の表示方法が問題視され始めている。
【０００３】
例えば、字幕の、表示面に対して垂直な方向である奥行き方向の表示位置を、字幕データおよび主画像データに多重化する画像処理装置が考案されている（例えば、特許文献１参照）。
【０００４】
しかしながら、特許文献１には、字幕の奥行方向の表示位置の決定方法について明示されておらず、また、時間的にダイナミックに字幕の奥行方向の表示位置を変更する方法についても記載がない。
【０００５】
従って、特許文献１の画像処理装置では、図１に示すように山１１および木１２からなる３Ｄの主画像の奥行方向の表示位置が時間的に変化する場合、図１Ａに示すように字幕１３の奥行方向の表示位置が主画像より手前側（ユーザ側）になったり、奥側（表示面側）になったりすることがある。
【０００６】
図１Ａに示すように、字幕１３の奥行方向の表示位置が主画像よりも手前側である場合、ユーザは、字幕１３を見るときに手前側に視点を合わせる、即ち輻輳角を大きくする必要がある。一方、ユーザは、主画像を見るときには奥側に視点を合わせる、即ち輻輳角を小さくする必要がある。従って、字幕１３と主画像の奥行方向の表示位置の距離の差が大きい場合、字幕１３と主画像の両方を同時に見る際に視点を大きく瞬時に移動させる必要がある。よって、この場合、表示画像は非常に見づらく、かつ目が疲れる画像となる。
【０００７】
また、図１Ｂに示すように、字幕１３の奥行方向の表示位置が主画像より奥側である場合、字幕１３の手前側に表示される主画像が存在すると、その主画像に字幕１３が埋もれたように見える。従って、表示画像は非常に不自然で、かつ目が疲れる画像となる。
【０００８】
そこで、３Ｄの主画像に付与されている、または、３Ｄの主画像から抽出された、主画像の奥行方向の表示位置の最大値に応じて字幕の奥行方向の表示位置を制御するシステムがある（例えば、特許文献２参照）。なお、ここでは、奥行方向の表示位置は手前側ほど値が大きくなるものとする。
【０００９】
このようなシステムでは、主画像の奥行方向の表示位置が時間的に変化する場合であっても、主画像の奥行方向の表示位置の最大値に基づいて、字幕１３の奥行方向の表示位置を常に主画像より手前側の主画像に最も近い位置にすることができる。例えば主画像の奥行方向の位置が図２Ａに示す位置から図２Ｂに示す位置に時間的に変化する場合であっても、字幕１３の奥行方向の表示位置を常に木１２より手前側の木１２に最も近い位置にすることができる。従って、表示画像は、字幕１３が主画像より手前側にある自然な画像であり、かつ、視点の移動量が小さい見やすい画像となる。
【００１０】
ところで、特許文献２に記載されているシステムにおいて、例えば、図３に示すように、主画像を構成する山１１は時間的に変化せず、車１４が時間とともに図３Ａに示す奥側から図３Ｂに示す手前側に移動する場合、字幕１３も奥側から手前側に移動する。このとき、車１４は手前側に移動することにより全視野に占める大きさが変化するため、車１４の表示サイズは大きくなるが、字幕１３の表示サイズは変化しない。
【００１１】
より具体的には、図４Ａに示すように横幅Ｗ１の車１４が視距離ｄ１の位置から観察されたときの全視野に対する車１４の視野角がθ１である場合、同一の横幅Ｗ１の車１４が視距離ｄ１より短い視距離ｄ２の位置から観察されたときの全視野に対する車１４の視野角はθ１より大きいθ２になる。従って、表示画像内の車１４の横幅は、図４Ａの場合に比べて図４Ｂの場合の方が大きくなる。
【００１２】
しかしながら、字幕１３の表示サイズは字幕１３の奥行方向の表示位置によって変化しない。従って、全視野に対する字幕１３の視野角は視距離に依存せず一定となり、図５Ｂに示すように視距離ｄ４の位置から観察されたときの全視野に対する字幕１３の視野角は、図５Ａに示すように視距離ｄ４より長い視距離ｄ３の位置から観察されたときの全視野に対する字幕１３の視野角と同一の視野角θ３である。従って、横幅Ｗ３の字幕１３の奥行方向の表示位置が視距離ｄ３の位置から視距離ｄ４の位置に移動する場合、図５Ｂに示すように、視聴者は、字幕１３の横幅が、横幅Ｗ３から横幅Ｗ３より小さい横幅Ｗ４に変化したと錯覚する。このような現象は、視覚が有する「大きさの恒常性」に影響されており、錯視としても知られている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００４−２７４１２５公報
【特許文献２】国際公開第０８／１１５２２２号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【００１４】
以上のように、特許文献２に記載されているシステムでは、字幕の奥行方向の表示位置によらず、字幕の表示サイズが一定であるため、視聴者は、字幕の奥行方向の表示位置が奥側に移動する場合には字幕が大きくなったように感じる。一方、字幕の奥行方向の表示位置が手前側に移動する場合には、視聴者は、字幕が小さくなったように感じる。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、字幕等の副画像を３Ｄの主画像に重畳して表示させる場合において、副画像の奥行方向の表示位置によらず、常に同一の大きさの副画像を視聴者に知覚させることができるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の一側面の画像処理装置は、左眼用の主画像と右眼用の主画像からなる３Ｄの主画像の視差に基づいて、前記３Ｄの主画像に重畳する副画像の視差を決定するとともに、その副画像の視差に基づいて前記副画像の拡大縮小率を決定する決定手段と、前記拡大縮小率にしたがって前記副画像を拡大または縮小する拡縮処理手段と、前記副画像の視差に基づいて前記副画像を左右方向にずらすことにより、左眼用の副画像と右眼用の副画像を生成する生成手段と、前記拡大または縮小され、前記左右方向にずらされることにより生成された前記左眼用の副画像および前記右眼用の副画像と、前記左眼用の主画像および右眼用の主画像を各眼用ごとに合成する合成手段とを備える画像処理装置である。
【００１７】
本発明の一側面の画像処理方法およびプログラムは、本発明の一側面の画像処理装置に対応する。
【００１８】
本発明の一側面においては、左眼用の主画像と右眼用の主画像からなる３Ｄの主画像の視差に基づいて、前記３Ｄの主画像に重畳する副画像の視差が決定されるとともに、その副画像の視差に基づいて前記副画像の拡大縮小率が決定され、前記拡大縮小率にしたがって前記副画像が拡大または縮小され、前記副画像の視差に基づいて前記副画像が左右方向にずらされることにより、左眼用の副画像と右眼用の副画像が生成され、前記拡大または縮小され、前記左右方向にずらされることにより生成された前記左眼用の副画像および前記右眼用の副画像と、前記左眼用の主画像および右眼用の主画像が各眼用ごとに合成される。
【発明の効果】
【００１９】
本発明の一側面によれば、字幕等の副画像を３Ｄの主画像に重畳して表示させる場合において、副画像の奥行方向の表示位置によらず、常に同一の大きさの副画像を視聴者に知覚させることができる。
【図面の簡単な説明】
【００２０】
【図１】主画像と字幕の奥行方向の表示位置の例を示す図である。
【図２】主画像と字幕の奥行方向の表示位置の他の例を示す図である。
【図３】主画像の奥行方向の表示位置が変化した場合の主画像と字幕の表示例を示す図である。
【図４】視距離の変化に伴う視野角の変化を説明する図である。
【図５】錯視を説明する図である。
【図６】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図７】字幕画像の視差の第１の決定方法を説明する図である。
【図８】字幕画像の視差の第２の決定方法を説明する図である。
【図９】字幕画像の視差の第３の決定方法を説明する図である。
【図１０】３Ｄ画像の結像位置を説明する図である。
【図１１】画像の結像位置と視聴者の網膜像の大きさの関係を説明する図である。
【図１２】図６の字幕画像生成部の構成例を示すブロック図である。
【図１３】字幕画像の第１の生成方法を説明する図である。
【図１４】字幕画像の第２の生成方法を説明する図である。
【図１５】画像処理装置による画像合成処理を説明するフローチャートである。
【図１６】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００２１】
＜一実施の形態＞
［画像処理装置の一実施の形態の構成例］
図６は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００２２】
図６の画像処理装置３０は、視差検出部３１、字幕制御部３２、字幕画像生成部３３、および画像合成部３４により構成される。画像処理装置３０は、入力された画面単位の３Ｄの主画像に、画面単位の字幕の画像である字幕画像を重畳して出力する。
【００２３】
具体的には、画像処理装置３０の視差検出部３１には、外部から画面単位の左眼用の主画像と右眼用の主画像により構成される３Ｄの主画像が入力される。視差検出部３１は、入力された左眼用の主画像と右眼用の主画像の水平方向（左右方向）の表示位置の差分（ディスパリティ）を表す画素数を、所定の単位（例えば、画素、複数画素からなるブロック）ごとに視差として検出する。
【００２４】
なお、左眼用の主画像の水平方向の表示位置が右眼用の主画像の水平方向の表示位置より右側である場合、視差は正の値で表し、左側である場合、視差は負の値で表す。即ち、視差が正の値である場合、主画像の奥行方向の表示位置は表示面より手前側になり、視差が負の値である場合、主画像の奥行方向の表示位置は表示面より奥側になる。
【００２５】
また、視差検出部３１は、検出された視差に基づいて、３Ｄの主画像の画面全体の視差を表す視差情報を字幕制御部３２に供給する。視差情報としては、３Ｄの主画像の画面全体の視差のうちの最大値および最小値、画面全体の視差のヒストグラム、画面全体の各位置の視差を表す視差マップなどを用いることができる。
【００２６】
字幕制御部３２（決定手段）は、視差検出部３１から供給される視差情報に基づいて、字幕画像生成部３３により生成される字幕画像の視差を決定する。また、字幕制御部３２は、字幕画像の視差に基づいて、字幕画像の拡大縮小率を決定する。字幕制御部３２は、決定された視差と拡大縮小率を字幕制御情報として字幕画像生成部３３に供給する。
【００２７】
字幕画像生成部３３には、外部から１画面分の字幕を表示するための情報である字幕情報が入力される。なお、字幕情報は、例えば、１画面分の字幕の文字列のフォント情報を含むテキスト情報または１画面分の字幕と、１画面分の字幕の画面上の位置を表す配置情報とにより構成される。字幕画像生成部３３は、入力された字幕情報に基づいて、主画像の解像度と同一の字幕画像を生成する。
【００２８】
字幕画像生成部３３は、字幕制御部３２から供給される字幕制御情報のうちの拡大縮小率に基づいて、生成された字幕画像を２次元的に拡大または縮小する。また、字幕画像生成部３３は、字幕制御部３２から供給される字幕制御情報のうちの視差に基づいて、字幕画像を左右方向にずらすことにより、左眼用の字幕画像と右眼用の字幕画像を生成する。そして、字幕画像生成部３３は、左眼用の字幕画像と右眼用の字幕画像を画像合成部３４に供給する。
【００２９】
画像合成部３４は、外部から入力された左眼用の主画像および右眼用の主画像と、字幕画像生成部３３から供給される左眼用の字幕画像および右眼用の字幕画像を各眼用ごとに合成する。画像合成部３４は、合成の結果得られる左眼用の画像と右眼用の画像を出力する。
【００３０】
なお、図６の画像処理装置３０では、視差検出部３１が視差を検出するようにしたが、視差は外部で検出され、外部から視差情報が入力されるようにしてもよい。この場合、画像処理装置３０には、視差検出部３１は設けられない。
【００３１】
［字幕画像の視差の決定方法の説明］
図７乃至図９は、字幕制御部３２による字幕画像の視差の決定方法を説明する図である。
【００３２】
図７に示すように、視差検出部３１から視差の最小値と視差の最大値が視差情報として供給される場合、字幕制御部３２は、例えば、視差の最大値を字幕画像の視差に決定する。これにより、字幕画像の奥行方向の表示位置は、最も手前側の主画像と同一の位置になる。
【００３３】
また、図８に示すように、視差検出部３１から視差のヒストグラムが視差情報として供給される場合、字幕制御部３２は、例えば、そのヒストグラムにおいて最大値からの面積（図８中斜線領域の面積）が全体の面積のｘ％となる視差を字幕画像の視差に決定する。
【００３４】
さらに、図９に示すように、視差検出部３１から視差マップが視差情報として供給される場合、字幕制御部３２は、例えば、字幕情報に含まれる配置情報に基づいて、字幕画像の画面上の位置における主画像の視差の最大値を字幕画像の視差に決定する。
【００３５】
具体的には、図９に示すように、画面上の右端部に配置される字幕４１の視差は、主画像の右端部の視差の最大値に決定され、画面上の中央下部に配置される字幕４２の視差は、主画像の中央下部の視差の最大値に決定される。なお、図９の視差マップにおける濃度の大きさは、視差の小ささを表している。即ち、濃度が小さい図中白い部分の視差は大きく、その部分は手前側に表示され、濃度が大きい図中黒い部分の視差は小さく、その部分は奥側に表示される。従って、図９の場合、主画像の右端部の視差は、中央下部の視差より小さく、字幕４１は、字幕４２より奥側に表示される。
【００３６】
また、１画面内に複数の字幕が存在する場合には、字幕制御部３２は、字幕情報に含まれる各字幕の配置情報と視差マップに基づいて、字幕ごとに視差を決定し、全字幕の視差を字幕画像の視差として字幕画像生成部３３に供給する。この場合、各字幕の視差に基づいて、拡大縮小率も字幕ごとに決定され、全字幕の拡大縮小率が字幕画像の拡大縮小率として出力される。
【００３７】
なお、字幕画像の視差の決定方法は、図７乃至図９で説明した方法に限定されず、字幕画像が３Ｄの主画像に重畳された際に視聴者にとって見やすい位置に表示されるような方法であれば、どのような方法であってもよい。
【００３８】
［拡大縮小率の決定方法の説明］
図１０および図１１は、字幕制御部３２による拡大縮小率の決定方法を説明する図である。
【００３９】
図１０は、左眼用の画像Ｐｒと右眼用の画像Ｐｌからなる３Ｄ画像の結像位置を説明する図である。
【００４０】
図１０において、左眼用の画像Ｐｒと右眼用の画像Ｐｌの水平方向の表示位置の差分の距離Ｌは、以下の式（１）で表わされる。
【００４１】
Ｌ＝ｄ×ｐ
・・・（１）
【００４２】
なお、式（１）において、ｄは、左眼用の画像Ｐｒと右眼用の画像Ｐｌからなる３Ｄ画像の視差（画素数）であり、ｐは、３Ｄ画像を表示する表示装置の画素の水平方向の大きさである。
【００４３】
また、視聴者が、左眼用の画像Ｐｒと右眼用の画像Ｐｌからなる３Ｄ画像を、ベースライン（両眼間距離）ｂの両眼により、視距離ｖの位置から視聴する場合、左眼用の画像Ｐｒと右眼用の画像Ｐｌが結像する位置Ｐは、表示面より距離ｚだけ手前になる。なお、距離Ｌ、ベースラインｂ、視距離ｖ、および距離ｚの関係は、以下の式（２）で表される。
【００４４】
【数１】
2011199389.tif 000003
【００４５】
さらに、式（２）が変形されると、距離ｚは、以下の式（３）で表される。
【００４６】
【数２】
2011199389.tif 000004
【００４７】
また、図１１は、幅ｗの画像の結像位置と視聴者の網膜像の大きさの関係を説明する図である。
【００４８】
図１１に示すように、表示面に幅ｗの画像が結像された場合に、視距離ｖの位置で視聴する視聴者の網膜に投影される画像の幅をｗ０とする。一方、表示面よりも距離ｚだけ手前に幅ｗの画像が結像された場合に、視距離ｖの位置で視聴する視聴者の網膜に投影される画像の幅をｗ１とする。本来、網膜面は眼球内にあり、かつ湾曲しているが、ここでは説明を簡単にするために眼球よりも後ろにある平面として記載している。このとき、幅ｗ０と幅ｗ１の間には以下の式（４）が成り立つ。
【００４９】
【数３】
2011199389.tif 000005
【００５０】
ここで、図１０で説明したように、距離Ｌの３Ｄの画像は、表示面よりも距離ｚだけ手前に結像する。従って、表示面よりも距離ｚだけ手前に位置する３Ｄの画像が視聴者の網膜上に幅ｗ１の画像として投影されるためには、以下の式（５）で表される拡大縮小率Ｓで、距離Ｌの幅ｗの３Ｄの画像を拡大または縮小して表示させる必要がある。
【００５１】
【数４】
2011199389.tif 000006
【００５２】
式（５）によれば、拡大縮小率Ｓは距離Ｌとベースラインｂのみに依存され、視距離ｖには依存しない。ここで、ベースラインｂは、大人のベースラインの標準値（約65mm）等に固定することができる。ベースラインｂが固定値である場合、拡大縮小率Ｓは距離Ｌによって一意に決定される。
【００５３】
また、式（１）に示したように、距離Ｌは、視差ｄと表示装置の画素の大きさｐによって決定されるので、表示装置の画素の大きさｐが既知であれば、距離Ｌは視差ｄから求めることが可能である。
【００５４】
従って、字幕制御部３２は、字幕画像の視差ｄと既知である表示装置の画素の大きさpＰを用いて式（１）により距離Ｌを算出し、その距離Ｌと予め設定されているベースラインｂを用いて式（５）により拡大縮小率Ｓを求める。
【００５５】
これにより、字幕画像の奥行方向の表示位置が表示画面の位置である場合、距離Ｌが０になるため、拡大縮小率Ｓは１となる。また、字幕画像の奥行き方向の表示位置が表示画面より奥側にある場合には、距離Ｌが負の値になるため、拡大縮小率Ｓは１より小さい値となる。即ち、字幕画像の奥行き方向の表示位置が表示画面より奥側にある場合には、字幕画像は縮小される。一方、字幕画像の奥行き方向の表示位置が表示画面より手前側にある場合には、距離Ｌが正の値になるため、拡大縮小率Ｓは１より大きい値となる。即ち、字幕画像の奥行き方向の表示位置が表示画面より奥側にある場合には、字幕画像は拡大される。
【００５６】
以上のようにして字幕画像が拡大または縮小されることにより、字幕画像の奥行方向の表示位置が表示面より手前側であっても奥側であっても、網膜上に投影される字幕画像の幅が、常に、その奥行方向の表示位置に元の字幕画像を表示させたときと同一となる。従って、字幕画像の奥行方向の表示位置が移動した場合であっても、視聴者は、字幕画像の大きさが同一であると知覚することができる。
【００５７】
なお、ベースラインｂは、予め設定されていてもよいし、ユーザにより設定されるようにしてもよい。また、画素の大きさｐは、ユーザにより設定されてもよいし、表示装置から送信されてくるようにしてもよい。
【００５８】
［字幕画像生成部の構成例］
図１２は、図６の字幕画像生成部３３の構成例を示すブロック図である。
【００５９】
図１２に示すように、字幕画像生成部３３は、字幕画像変換部５１、拡縮処理部５２、視差画像生成部５３により構成される。
【００６０】
字幕画像生成部３３の字幕画像変換部５１は、入力された字幕情報と予め設定された主画像の解像度に基づいて、主画像と同一の解像度の字幕画像を生成し、拡縮処理部５２に供給する。
【００６１】
拡縮処理部５２は、図６の字幕制御部３２から供給される字幕制御情報のうちの拡大縮小率にしたがって、字幕画像変換部５１から供給される字幕画像に対してデジタルフィルタ処理を行い、字幕画像を２次元的に拡大または縮小する。なお、字幕制御部３２から複数の字幕の拡大縮小率が供給される場合には、拡縮処理部５２は、字幕画像内の各字幕を、その字幕の拡大縮小率にしたがって２次元的に拡大または縮小する。拡縮処理部５２は、拡大または縮小された字幕画像を視差画像生成部５３に供給する。
【００６２】
視差画像生成部５３は、図６の字幕制御部３２から供給される字幕制御情報のうちの視差に基づいて、拡縮処理部５２から供給される字幕画像を左右方向にずらすことにより、左眼用の字幕画像および右眼用の字幕画像を生成する。
【００６３】
具体的には、視差画像生成部５３は、字幕画像を左方向および右方向に視差の半分だけそれぞれシフトすることにより、左眼用の字幕画像および右眼用の字幕画像を生成する。そして、視差画像生成部５３は、左眼用の字幕画像および右眼用の字幕画像を画像合成部３４（図６）に出力する。
【００６４】
なお、視差画像生成部５３は、字幕画像を左右の両方向にシフトするのではなく、一方向にシフトすることにより、左眼用の字幕画像および右眼用の字幕画像を生成するようにしてもよい。この場合、視差画像生成部５３は、字幕画像を左右の一方向に視差分だけシフトすることにより左眼用の字幕画像または右眼用の字幕画像の一方を生成し、シフト前の字幕画像をそのまま他方とする。
【００６５】
また、字幕制御情報のうちの視差が整数値である場合には、視差画像生成部５３は、字幕画像のシフトを単純な画素シフトで行うが、視差が実数値である場合には、視差画像生成部５３は、字幕画像のシフトをデジタルフィルタ処理による補間で行う。
【００６６】
さらに、字幕制御部３２から複数の字幕の視差が供給される場合には、視差画像生成部５３は、字幕画像内の各字幕を、その字幕の視差に基づいて左右方向にずらすことにより、左眼用の字幕画像および右眼用の字幕画像を生成する。
【００６７】
［字幕画像の生成方法の説明］
図１３は、字幕情報がテキスト情報と配置情報により構成される場合の字幕画像の生成方法を説明する図である。
【００６８】
図１３に示すように、字幕情報がテキスト情報と配置情報により構成される場合には、字幕画像変換部５１は、そのテキスト情報に基づいて字幕を生成し、その字幕を配置情報が表す位置に配置することにより字幕画像を生成する。図１３の例では、テキスト情報（text）が「subtitles」という文字列のフォント情報を含み、配置情報（position）が中央下部（bottom center）を表している。従って、「subtitles」という文字の字幕が画面上の中央下部に配置された字幕画像が生成される。なお、字幕画像の水平方向の画素数は、主画像の水平方向の画素数と同一のｉｈであり、垂直方向の画素数は、主画像の垂直方向の画素数と同一のｉｖである。即ち、字幕画像の解像度は、主画像の解像度と同一である。
【００６９】
図１４は、字幕情報が字幕と配置情報により構成される場合の字幕画像の生成方法を説明する図である。
【００７０】
図１４に示すように、字幕情報が字幕と配置情報により構成される場合には、字幕画像変換部５１は、その字幕を配置情報が表す位置に配置することにより字幕画像を生成する。図１４の例では、字幕（image）が「subtitles」という文字の画像であり、配置情報（position）が中央下部（bottom center）を表している。従って、「subtitles」という文字の画像が画面上の中央下部に配置された字幕画像が生成される。なお、図１４の場合も、図１３の場合と同様に、字幕画像の水平方向の画素数は、主画像の水平方向の画素数と同一のｉｈであり、垂直方向の画素数は、主画像の垂直方向の画素数と同一のｉｖである。
【００７１】
[画像処理装置の処理の説明]
図１５は、画像処理装置３０による画像合成処理を説明するフローチャートである。この画像合成処理は、例えば、３Ｄの主画像および字幕情報が画像処理装置３０に入力されたとき、開始される。
【００７２】
ステップＳ１１において、画像処理装置３０の視差検出部３１（図６）は、外部から入力された３Ｄの主画像の視差を、所定の単位ごとに検出する。視差検出部３１は、検出された視差に基づいて視差情報を字幕制御部３２に供給する。
【００７３】
ステップＳ１２において、字幕制御部３２は、視差検出部３１から供給される視差情報に基づいて、字幕画像生成部３３により生成される字幕画像の視差を決定する。
【００７４】
ステップＳ１３において、字幕制御部３２は、ステップＳ１１で決定された字幕画像の視差に基づいて、字幕画像の拡大縮小率を決定する。字幕制御部３２は、決定された視差と拡大縮小率を字幕制御情報として字幕画像生成部３３に供給する。
【００７５】
ステップＳ１４において、字幕画像生成部３３の字幕画像変換部５１（図１２）は、入力された字幕情報に基づいて３Ｄの主画像と同一の解像度の字幕画像を生成し、拡縮処理部５２に供給する。
【００７６】
ステップＳ１５において、拡縮処理部５２は、図６の字幕制御部３２から供給される字幕制御情報のうちの拡大縮小率にしたがって、字幕画像変換部５１から供給される字幕画像を２次元的に拡大または縮小する。拡縮処理部５２は、拡大または縮小された字幕画像を視差画像生成部５３に供給する。
【００７７】
ステップＳ１６において、視差画像生成部５３は、図６の字幕制御部３２から供給される字幕制御情報のうちの視差に基づいて、拡縮処理部５２から供給される字幕画像を左右方向にずらすことにより、左眼用の字幕画像および右眼用の字幕画像を生成する。そして、視差画像生成部５３は、左眼用の字幕画像および右眼用の字幕画像を画像合成部３４（図６）に出力する。
【００７８】
ステップＳ１７において、画像合成部３４は、外部から入力された左眼用の主画像および右眼用の主画像と、視差画像生成部５３から供給される左眼用の字幕画像および右眼用の字幕画像とを各眼用ごとに合成する。
【００７９】
ステップＳ１８において、画像合成部３４は、合成の結果得られる左眼用の画像と右眼用の画像を出力し、処理を終了する。
【００８０】
以上のように、画像処理装置３０は、３Ｄの主画像の視差情報に基づいて字幕画像の視差を決定し、その視差に基づいて左眼用の字幕画像と右眼用の字幕画像を生成する。従って、３Ｄの主画像に対して最適な奥行方向の位置に字幕を表示することができる。
【００８１】
また、画像処理装置３０は、字幕画像の視差に基づいて字幕画像の拡大縮小率を決定し、その拡大縮小率にしたがって字幕画像を拡大または縮小する。従って、字幕の奥行方向の表示位置によらず、常に同一の大きさの字幕を視聴者に知覚させることができる。以上により、画像処理装置３０では、視聴者が見やすく疲れないように字幕を表示することができる。
【００８２】
なお、上述した説明では、３Ｄの主画像に重畳される画像が字幕であるものとしたが、３Ｄの主画像に重畳される画像は、ロゴ、メニュー画面等の字幕以外の副画像であってもよい。
【００８３】
また、画像処理装置３０に入力される３Ｄの主画像および字幕情報は、所定の記録媒体から再生されたものであってもよいし、放送波やネットワークによって送信されてきたものであってもよい。
【００８４】
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【００８５】
そこで、図１６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【００８６】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【００８７】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【００８８】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【００８９】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【００９０】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【００９１】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【００９２】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【００９３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【００９４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００９５】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９６】
３０  画像処理装置，  ３１  視差検出部，  ３２  字幕制御部，  ３４  画像合成部，  ５２  拡縮処理部，  ５３  視差画像生成部
【図１】
2011199389.tif 000007
【図２】
2011199389.tif 000008
【図３】
2011199389.tif 000009
【図４】
2011199389.tif 000010
【図５】
2011199389.tif 000011
【図６】
2011199389.tif 000012
【図７】
2011199389.tif 000013
【図８】
2011199389.tif 000014
【図９】
2011199389.tif 000015
【図１０】
2011199389.tif 000016
【図１１】
2011199389.tif 000017
【図１２】
2011199389.tif 000018
【図１３】
2011199389.tif 000019
【図１４】
2011199389.tif 000020
【図１５】
2011199389.tif 000021
【図１６】
2011199389.tif 000022