(57)【要約】【課題】視聴者にとって違和感のない画像の画像信号を生成する。【解決手段】立体視用の左眼用画像信号および右眼用画像信号を生成する三次元画像処理装置１００であって、左眼用画像信号および右眼用画像信号の各画素位置において、互いに重なり合って表示される複数のオブジェクトの各々について、オブジェクトの左眼用画像と右眼用画像との間の位置ずれ量であるオフセットが大きいほど、大きくなるように画像合成時のブレンド率を決定するブレンド率決定部１５０と、左眼用画像信号および右眼用画像信号の各画素位置において、ブレンド率決定部１５０で決定されたブレンド率に基づいて、複数のオブジェクトの画素値を合成することにより、前記左眼用画像信号および前記右眼用画像信号をそれぞれ生成する合成部１６０とを備える。【選択図】図４
2011070450.tif 000002
【特許請求の範囲】
【請求項１】
立体視用の左眼用画像信号および右眼用画像信号を生成する三次元画像処理装置であって、
左眼用画像信号および右眼用画像信号の各画素位置において、互いに重なり合って表示される複数のオブジェクトの各々について、オブジェクトの左眼用画像と右眼用画像との間の位置ずれ量であるオフセットが大きいほど、大きくなるように画像合成時のブレンド率を決定するブレンド率決定部と、
前記左眼用画像信号および前記右眼用画像信号の各画素位置において、前記ブレンド率決定部で決定された前記ブレンド率に基づいて、前記複数のオブジェクトの画素値を合成することにより、前記左眼用画像信号および前記右眼用画像信号をそれぞれ生成する合成部と
を備える三次元画像処理装置。
【請求項２】
前記ブレンド率決定部は、前記左眼用画像信号および前記右眼用画像信号の各画素位置において、互いに重なり合って表示される前記複数のオブジェクトのうち、オフセットが最も大きいオブジェクトのブレンド率を１００％と決定し、他のオブジェクトのブレンド率を０％と決定する
請求項１記載の三次元画像処理装置。
【請求項３】
前記複数のオブジェクトは、字幕のオブジェクトを含む
請求項２記載の三次元画像処理装置。
【請求項４】
さらに、前記複数のオブジェクトの各々について、三次元表示を行なった際に手前に表示されるオブジェクトほど大きくなるように前記オフセットを決定するオフセット制御部を備え、
前記ブレンド率決定部は、前記オフセット制御部で決定された前記オフセットに基づいて、前記ブレンド率を決定する
請求項１〜３のいずれか１項に記載の三次元画像処理装置。
【請求項５】
前記オフセット制御部は、オブジェクトの選択入力を受け付ける選択入力受付部を有し、前記選択入力受付部で受け付けられたオブジェクトのオフセットが最大になるように、前記受け付けられたオブジェクトのオフセットを決定する
請求項４記載の三次元画像処理装置。
【請求項６】
前記オフセット制御部は、三次元表示を行なった際に第１オブジェクトが第２オブジェクトの奥から手前に遷移して表示される場合には、前記第１オブジェクトの前記オフセットを段階的に大きくする
請求項４または５記載の三次元画像処理装置。
【請求項７】
さらに、オブジェクトの表示領域が前記左眼用画像信号または前記右眼用画像信号の表示可能領域外に存在する場合には、前記オブジェクトの表示領域を、前記表示可能領域内に制限するリミット部を備える
請求項１〜６のいずれか１項に記載の三次元画像処理装置。
【請求項８】
前記リミット部は、オブジェクトの表示領域が前記左眼用画像信号および前記右眼用画像信号のうちの一方の画像信号の表示可能領域外に存在する場合には、前記一方の画像信号上で、前記オブジェクトの表示領域を、前記一方の画像信号の表示可能領域内に移動させるとともに、他方の画像信号上で、前記オブジェクトの表示領域を、前記一方の画像信号上で移動させたのと反対方向に、前記一方の画像信号上で移動させたのと同じ移動量だけ移動させる
請求項７記載の三次元画像処理装置。
【請求項９】
前記リミット部は、さらに、表示領域を移動させた前記オブジェクトのオフセットを、現在の値よりも小さい値に更新する
請求項８記載の三次元画像処理装置。
【請求項１０】
前記リミット部は、オブジェクトの表示領域が前記左眼用画像信号または前記右眼用画像信号の表示可能領域外に存在する場合には、前記表示可能領域外の前記オブジェクトの領域を、前記左眼用画像信号および前記右眼用画像信号から削除する
請求項７記載の三次元画像処理装置。
【請求項１１】
前記複数のオブジェクトは、複数の前記オフセットを有する動画像のオブジェクトを含み、
前記動画像のオブジェクトのオフセットが、三次元表示を行なった際に前記動画像のオブジェクトよりも手前に表示されるオブジェクトのオフセットよりも大きくなる場合には、前記動画像のオブジェクトのオフセットを、前記手前に表示されるオブジェクトのオフセットに更新する
請求項１〜１０のいずれか１項に記載の三次元画像処理装置。
【請求項１２】
立体視用の左眼用画像信号および右眼用画像信号を生成する三次元画像処理装置の制御方法であって、
ブレンド率決定部が、左眼用画像信号および右眼用画像信号の各画素位置において複数のオブジェクトが重なって表示される場合に、重なって表示される前記複数のオブジェクトの各々について、オブジェクトの左眼用画像と右眼用画像との間の位置ずれ量であるオフセットが大きいほど、大きくなるように画像合成時のブレンド率を決定するブレンド率決定ステップと、
合成部が、前記左眼用画像信号および前記右眼用画像信号の各画素位置において、前記ブレンド率決定ステップにおいて決定された前記ブレンド率に基づいて、前記複数のオブジェクトの画素値を合成することにより、前記左眼用画像信号および前記右眼用画像信号をそれぞれ生成する合成ステップと
を含む三次元画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は三次元画像処理装置およびその制御方法に関し、特に、サムネイルや字幕などのオブジェクトを、他のオブジェクトと奥行き間を変化させて表示するための画像信号を生成する三次元画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
従来、写真のサムネイルなどのオブジェクトを、複数重ね合わせた画像信号を生成する二次元画像処理装置が知られている。図３０は、従来の二次元画像処理装置の構成の一例を示すブロック図である。二次元画像処理装置３００は、デコーダ３１０と、第１メモリ３２１と、第２メモリ３２２と、第３メモリ３２３と、表示位置制御部３３１〜３３３と、合成部３５０とを含む。
【０００３】
デコーダ３１０は、第１〜第３オブジェクトの画像信号が符号化された符号化データを復号することにより、第１〜第３オブジェクトの画像信号を生成する。第１メモリ３２１〜第３メモリ３２３は、デコーダ３１０で生成された第１〜第３オブジェクトの画像信号をそれぞれ記憶する。表示位置制御部３３１〜３３３は、第１メモリ３２１〜第３メモリ３２３に記憶されている第１〜第３オブジェクトの表示位置をそれぞれ決定する。合成部３５０は、表示位置制御部３３１〜３３３で表示位置がそれぞれ決定された第１〜第３オブジェクトを合成して、表示する。
【０００４】
例えば、第１〜第３オブジェクトがそれぞれサムネイルＡ〜Ｃであり、図３１（ａ）に示されるように、サムネイルＡおよびＣの上にサムネイルＢが重ね合わせて表示されているものとする。このとき、サムネイルＡが選択されたとすると、図３１（ｂ）に示されるように、選択されたサムネイルＡが最も大きく表示されるように表示位置制御部３３１によってサムネイルＡの表示位置の決定が行なわれる。また、合成部３５０は、サムネイルＣおよびＢの上にサムネイルＡが表示されるように、各画素において、サムネイルＡ、ＢおよびＣのブレンド率を決定する。その後、合成部３５０は、各画素において、ブレンド率に従い、サムネイルの合成を行う。例えば、サムネイルＡ、ＢおよびＣが重なっている画素においては、サムネイルＡ、Ｂ、Ｃの順に大きくなるようなブレンド率が決定される。これにより、サムネイルＡが最も前面に表示されるような画像が生成される。
【０００５】
一方、視聴者が立体的に感じる二次元画像である三次元画像を表示する三次元画像表示装置が知られている（例えば、特許文献１参照）。また、近年では、このような三次元画像を表示する機能を有する家庭用テレビが実現されつつある。
【０００６】
この三次元画像表示装置は、互いに視差を有する右眼用画像と左眼用画像とを表示することにより、視聴者が立体的に感じる画像を表示する。例えば、三次元画像表示装置は、右眼用画像と左眼用画像とを１フレームごとに交互に表示する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１２４７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の三次元画像表示装置に、従来の二次元画像処理装置２００で用いられている合成技術を適用すると、視聴者にとって違和感のある画像が表示されるという問題がある。
【０００９】
図３２を用いてこの問題について説明する。図３２（ａ）に示すように、サムネイルＡおよびＣの上にサムネイルＢが重ね合わせて表示されているものとする。この場合、各サムネイルを立体的に表示させるために、左眼用画像と右眼用画像との間に視差を設けるように、各サムネイルの表示制御が予め行なわれているものとする。本図では、立体感を出すために、各サムネイルにハッチングを施した影をつけており、この影の幅が大きいほど視差が大きくなる。以下の図でも同様の表現をする。
【００１０】
このとき、サムネイルＡが選択されると、従来と同様にサムネイルＡが最も大きく表示されるような表示位置の決定が行なわれ、かつサムネイルＡが最も前面に表示されるようにブレンド率が決定される。これにより、図３２（ｂ）に示されるような画像が表示される。この画像では、サムネイルＡおよびＢが重なった画素位置においては、サムネイルＡのブレンド率のほうがサムネイルＢのブレンド率よりも大きくなるため、サムネイルＡの画像の方がサムネイルＢの画像よりも強調して表示される。その一方、サムネイルＡの視差はサムネイルＢの視差よりも小さい。このため、本来、後側にあるべきサムネイルＢがサムネイルＡよりも前面に浮き出て表示される。よって、視聴者にとって違和感のある画像が表示されてしまう。
【００１１】
本発明は上述の課題を解決するためになされたものであり、視聴者にとって違和感のない画像の画像信号を生成することができる三次元画像処理装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明のある局面に係る三次元画像処理装置は、立体視用の左眼用画像信号および右眼用画像信号を生成する三次元画像処理装置であって、左眼用画像信号および右眼用画像信号の各画素位置において、互いに重なり合って表示される複数のオブジェクトの各々について、オブジェクトの左眼用画像と右眼用画像との間の位置ずれ量であるオフセットが大きいほど、大きくなるように画像合成時のブレンド率を決定するブレンド率決定部と、前記左眼用画像信号および前記右眼用画像信号の各画素位置において、前記ブレンド率決定部で決定された前記ブレンド率に基づいて、前記複数のオブジェクトの画素値を合成することにより、前記左眼用画像信号および前記右眼用画像信号をそれぞれ生成する合成部とを備える。
【００１３】
この構成によると、オブジェクトのオフセットとブレンド率とを連動させ、オフセットが大きい場合にはブレンド率を大きくするような制御が行なわれる。このため、視聴者にとって違和感のない画像の画像信号を生成することができる。
【００１４】
好ましくは、前記ブレンド率決定部は、前記左眼用画像信号および前記右眼用画像信号の各画素位置において、互いに重なり合って表示される前記複数のオブジェクトのうち、オフセットが最も大きいオブジェクトのブレンド率を１００％と決定し、他のオブジェクトのブレンド率を０％と決定する。
【００１５】
この構成によると、オフセットが最大のオブジェクトのみを表示させるような制御が行なわれる。このため、視聴者にとって違和感のない画像の画像信号を生成することができる。
【００１６】
さらに好ましくは、上述の三次元画像処理装置は、さらに、前記複数のオブジェクトの各々について、三次元表示を行なった際に手前に表示されるオブジェクトほど大きくなるように前記オフセットを決定するオフセット制御部を備え、前記ブレンド率決定部は、前記オフセット制御部で決定された前記オフセットに基づいて、前記ブレンド率を決定する。
【００１７】
この構成によると、複数のオブジェクトの前後位置関係に基づいて、各オブジェクトのオフセットおよびブレンド率を決定することができる。
【００１８】
さらに好ましくは、前記オフセット制御部は、オブジェクトの選択入力を受け付ける選択入力受付部を有し、前記選択入力受付部で受け付けられたオブジェクトのオフセットが最大になるように、前記受け付けられたオブジェクトのオフセットを決定する。
【００１９】
この構成によると、選択されたオブジェクトを最前面に表示させることが可能となる。
【００２０】
さらに好ましくは、前記オフセット制御部は、三次元表示を行なった際に第１オブジェクトが第２オブジェクトの奥から手前に遷移して表示される場合には、前記第１オブジェクトの前記オフセットを段階的に大きくする。
【００２１】
この構成によると、選択されたオブジェクトを徐々に前面に表示させるという視覚的効果を視聴者に与えることができる。
【００２２】
さらに好ましくは、上述の三次元画像処理装置は、さらに、オブジェクトの表示領域が前記左眼用画像信号または前記右眼用画像信号の表示可能領域外に存在する場合には、前記オブジェクトの表示領域を、前記表示可能領域内に制限するリミット部を備える。
【００２３】
さらに好ましくは、前記リミット部は、オブジェクトの表示領域が前記左眼用画像信号および前記右眼用画像信号のうちの一方の画像信号の表示可能領域外に存在する場合には、前記一方の画像信号上で、前記オブジェクトの表示領域を、前記一方の画像信号の表示可能領域内に移動させるとともに、他方の画像信号上で、前記オブジェクトの表示領域を、前記一方の画像信号上で移動させたのと反対方向に、前記一方の画像信号上で移動させたのと同じ移動量だけ移動させる。
【００２４】
この構成によると、左眼用画像信号と右眼用画像信号との間の視差が小さくなるため、オブジェクト同士の前後位置関係が崩れる可能性があるが、オブジェクトの全体を表示することができ、三次元表示した際に視聴者にとって違和感のない画像の画像信号を生成することができる。
【００２５】
また、前記リミット部は、オブジェクトの表示領域が前記左眼用画像信号または前記右眼用画像信号の表示可能領域外に存在する場合には、前記表示可能領域外の前記オブジェクトの領域を、前記左眼用画像信号および前記右眼用画像信号から削除してもよい。
【００２６】
この構成によると、三次元表示した際にサムネイルの一部が削除されて表示されるが、サムネイル同士の前後位置関係は崩さずに、サムネイルを表示することができ、三次元表示した際に視聴者にとって違和感のない画像の画像信号を生成することができる。
【００２７】
さらに好ましくは、前記複数のオブジェクトは、複数の前記オフセットを有する動画像のオブジェクトを含み、前記動画像のオブジェクトのオフセットが、三次元表示を行なった際に前記動画像のオブジェクトよりも手前に表示されるオブジェクトのオフセットよりも大きくなる場合には、前記動画像のオブジェクトのオフセットを、前記手前に表示されるオブジェクトのオフセットに更新する。
【００２８】
この構成によると、背面のオブジェクトの一部の領域が前面のオブジェクトよりも前面に表示されることがなくなり、視聴者にとって違和感のない画像の画像信号を生成することができる。
【００２９】
なお、本発明は、このような特徴的な処理部を備える三次元画像処理装置として実現することができるだけでなく、三次元画像処理装置に含まれる特徴的な処理部をステップとする三次元画像処理装置の制御方法として実現することができる。また、三次元画像処理装置の制御方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【００３０】
さらに、本発明は、このような三次元画像処理装置の機能の一部または全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような三次元画像処理装置を備えるデジタルテレビ等の三次元画像表示装置として実現したり、このような三次元画像表示装置を含む三次元画像表示システムとして実現したりできる。
【発明の効果】
【００３１】
本発明によると、視聴者にとって違和感のない画像の画像信号を生成することができる三次元画像処理装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態１に係る三次元画像表示システムの構成を示すブロック図である。
【図２Ａ】左眼用画像と右眼用画像の画像データを含む出力三次元画像データの一例を示す図である。
【図２Ｂ】左眼用画像と右眼用画像の画像データを含む出力三次元画像データの他の一例を示す図である。
【図３】左眼用画像および右眼用画像の一例を示す図である。
【図４】本発明の実施の形態１に係る三次元画像処理装置の構成を示すブロック図である。
【図５】オフセット制御部の構成を示すブロック図である。
【図６】ブレンド率決定部のさらに詳細な構成を示すブロック図である。
【図７】サムネイルのオフセットおよび表示位置の遷移を示す図である。
【図８】図７に示す遷移時にオフセット制御部が実行する処理のタイミングチャートである。
【図９】サムネイルのオフセットおよび表示位置の遷移を示す図である。
【図１０】図９に示す遷移時にオフセット制御部が実行する処理のタイミングチャートである。
【図１１】サムネイルのオフセットおよび表示位置の遷移を示す図である。
【図１２】図１１に示す遷移時にオフセット制御部が実行する処理のタイミングチャートである。
【図１３】表示パネルに表示される画像の一例を示す図である。
【図１４】ブレンド率制御部が実行する処理のタイミングチャートである。
【図１５】Ｌ／Ｒブレンド率合成部のＬブレンド率生成部が実行する処理のタイミングチャートである。
【図１６】サムネイルのオフセットおよび表示位置の遷移を示す図である。
【図１７】本発明の実施の形態１の変形例に係るブレンド率決定部の構成を示すブロック図である。
【図１８】前後情報生成部が実行する処理のタイミングチャートである。
【図１９】本発明の実施の形態２に係る三次元画像処理装置の構成を示すブロック図である。
【図２０】三次元表示されるサムネイルの表示位置の変化を示す図である。
【図２１】Ｌ表示位置リミット制御部およびＲ表示位置リミット制御部が実行する処理のタイミングチャートである。
【図２２】オフセット減算制御部が実行する処理のタイミングチャートである。
【図２３】三次元表示されるサムネイルの表示位置の変化を示す図である。
【図２４】本発明の２の変形例に係るＬ表示位置リミット制御部およびＲ表示位置リミット制御部が実行する処理のタイミングチャートである。
【図２５】本発明の実施の形態３に係る三次元画像表示システムの構成を示すブロック図である。
【図２６】本発明の実施の形態３に係る三次元画像処理装置の構成を示すブロック図である。
【図２７】字幕のグラフィックオフセットの方がビデオオフセットよりも大きい場合の出力三次元画像データの一例を示す図である。
【図２８】字幕データのグラフィックオフセットの方がビデオオフセットよりも小さい領域を示す図である。
【図２９】字幕のグラフィックオフセットの方がビデオオフセットよりも小さい場合の出力三次元画像データの一例を示す図である。
【図３０】従来の二次元画像処理装置の構成の一例を示すブロック図である。
【図３１】サムネイルの表示位置の遷移を示す図である。
【図３２】従来の課題を説明するための図である。
【発明を実施するための形態】
【００３３】
以下、本発明に係る三次元画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。
【００３４】
（実施の形態１）
本発明の実施の形態１に係る三次元画像処理装置は、写真のサムネイルに代表されるオブジェクトが複数重なり合って表示されている場合に、視聴者にとって違和感のない立体視用の画像信号を生成する。
【００３５】
まず、本発明の実施の形態１に係る三次元画像処理装置を含む三次元画像表示システムの構成を説明する。
【００３６】
図１は、本発明の実施の形態１に係る三次元画像表示システムの構成を示すブロック図である。
【００３７】
図１に示す三次元画像表示システム１１は、サムネイル表示装置１５と、シャッタメガネ４３とを含む。
【００３８】
サムネイル表示装置１５は、ＢＤ（ブルーレイディスク）等の光ディスク４１に記録されている写真データなどの二次元画像データまたは三次元画像データからサムネイルを生成して、三次元表示可能な形式に変換し、変換後の三次元画像データを表示する。
【００３９】
サムネイル表示装置１５は、入力部３１と、三次元画像処理装置１００と、表示パネル２６と、トランスミッタ２７とを備える。
【００４０】
入力部３１は、光ディスク４１に記録されている符号化二次元画像データ５０を取得する。符号化二次元画像データ５０は、写真データを符号化したデータである。なお、符号化されたデータは、写真データに限定されるものではなく、映像データなどの他のデータであってもよい。
【００４１】
三次元画像処理装置１００は、入力部３１により取得された符号化二次元画像データ５０に含まれる写真データのサムネイルを三次元表示可能な形式に変換することにより、出力三次元画像データ５８を生成し、出力三次元画像データ５８を出力する。
【００４２】
表示パネル２６は、三次元画像処理装置１００より出力される出力三次元画像データ５８を表示する。
【００４３】
図２Ａに示すように、出力三次元画像データ５８は、左眼用画像５８Ｌと右眼用画像５８Ｒの画像データを含む。以下では、左眼用画像５８Ｌといった場合、適宜、左眼用画像５８Ｌの画像データのことも示すものとする。右眼用画像５８Ｒについても同様である。三次元画像処理装置１００は、左眼用画像５８Ｌのみを含むフレームと右眼用画像５８Ｒのみを含むフレームとが交互に配置される出力三次元画像データ５８を生成する。この出力三次元画像データ５８は、例えば、６０ｐ（フレームレートが６０ｆｐｓのプログレッシブ方式）の画像データである。
【００４４】
トランスミッタ２７は、無線通信を用いて、シャッタメガネ４３を制御する。
【００４５】
シャッタメガネ４３は、例えば、視聴者が装着する液晶シャッタメガネであり、左眼用液晶シャッタと右眼用液晶シャッタとを備える。トランスミッタ２７は、左眼用画像５８Ｌと右眼用画像５８Ｒとの表示タイミングにあわせて、左眼用液晶シャッタおよび右眼用液晶シャッタの開閉を制御する。具体的には、トランスミッタ２７は、左眼用画像５８Ｌが表示されている期間は、シャッタメガネ４３の左眼用液晶シャッタを開き、かつ右眼用液晶シャッタを閉じる。また、トランスミッタ２７は、右眼用画像５８Ｒが表示されている期間は、シャッタメガネ４３の左眼用液晶シャッタを閉じ、かつ右眼用液晶シャッタを開く。このような表示タイミングおよびシャッタ開閉タイミングの制御により、視聴者の左眼には左眼用画像５８Ｌの画像が、右眼には右眼用画像５８Ｒの画像が、それぞれ選択的に入射する。
【００４６】
なお、視聴者の左眼および右眼に、左眼用画像５８Ｌおよび右眼用画像５８Ｒを選択的に入射させる方法は、この方法に限定されず、これ以外の方法を用いてもよい。
【００４７】
例えば、図２Ｂに示すように、出力三次元画像データ５８は、各フレーム内に左眼用画像５８Ｌと右眼用画像５８Ｒとが市松状に配置されていてもよい。この場合、表示パネル２６には左眼用の画素上に形成された左眼用偏光フィルムと、右眼用の画素上に形成された右眼用偏光フィルムとを備えることにより、左眼用画像５８Ｌと右眼用画像５８Ｒとに異なる偏光（直線偏光または円偏光等）をかける。また、シャッタメガネ４３の代わりに、上記偏光にそれぞれ対応する左眼用および右眼用の偏光フィルタを備える偏光メガネを用いることで、視聴者の左眼および右眼に、左眼用画像５８Ｌおよび右眼用画像５８Ｒを入射させることができる。
【００４８】
図３は、左眼用画像５８Ｌおよび右眼用画像５８Ｒの一例を示す図である。
【００４９】
図３に示すように、左眼用画像５８Ｌと右眼用画像５８Ｒとに含まれるオブジェクトは、撮影位置からオブジェクトの距離に応じた視差を有する。この視差のことを、以下「オフセット」と言う。三次元表示した際に、オフセットが大きいほど、オブジェクトは、前面（視聴者に近い位置）に表示され、オフセットが小さいほど、オブジェクトは、後面（視聴者に遠い位置）に表示される。
【００５０】
次に、三次元画像処理装置１００の構成を説明する。
【００５１】
図４は、三次元画像処理装置１００の構成を示すブロック図である。
【００５２】
図４に示すように三次元画像処理装置１００は、デコーダ１１０と、メモリ部１２０と、表示位置制御部１３０と、オフセット制御部１４０と、ブレンド率決定部１５０と、合成部１６０と、Ｌ／Ｒ切替え制御部１７０と、セレクタ１８０とを含む。
【００５３】
デコーダ１１０は、入力部３１で取得された符号化二次元画像データ５０を復号することにより、複数の写真データを生成する。
【００５４】
メモリ部１２０は、デコーダ１１０で生成された複数の写真データを記憶する。
【００５５】
表示位置制御部１３０は、写真データに対応して設けられ、写真データの表示位置を決定するする。
【００５６】
オフセット制御部１４０は、複数の写真データの前後位置関係に基づいて、各写真データのオフセットを決定する。前後位置関係とは、複数の写真を重ね合わせて表示した際の位置関係のことである。
【００５７】
ブレンド率決定部１５０は、表示位置制御部１３０で決定された各写真データの表示位置と、オフセット制御部１４０で決定された各写真データのオフセットとに基づいて、各写真データのブレンド率を決定する。
【００５８】
合成部１６０は、ブレンド率決定部１５０で決定されたブレンド率に基づいて、複数の写真データの画素値を合成することにより、左眼用画像５８Ｌおよび右眼用画像５８Ｒを生成し、生成した左眼用画像５８Ｌおよび右眼用画像５８Ｒを出力する。
【００５９】
セレクタ１８０は、Ｌ／Ｒ切替え制御部１７０からの制御信号に従い、合成部１６０より出力される左眼用画像５８Ｌおよび右眼用画像５８Ｒのいずれか一方を選択し、選択した画像を出力する。
【００６０】
Ｌ／Ｒ切替え制御部１７０は、セレクタ１８０から左眼用画像５８Ｌと右眼用画像５８Ｒとが６０ｐで交互に出力されるように制御信号を生成し、セレクタ１８０に出力する。Ｌ／Ｒ切替え制御部１７０およびセレクタ１８０の処理により、セレクタ１８０からは左眼用画像５８Ｌと右眼用画像５８Ｒとが交互にされた出力三次元画像データ５８が生成される。この出力三次元画像データ５８は、６０ｐの画像データである。
【００６１】
次に、メモリ部１２０について詳細な構成に説明する。
【００６２】
図４に示すように、メモリ部１２０は、第１メモリ１２１と、第２メモリ１２２と、第３メモリ１２３とを含む。第１メモリ１２１〜第３メモリ１２３は、デコーダ１１０で復号された写真データをそれぞれ１つずつ記憶する。なお、これらのメモリは、写真データの枚数だけ用意される。本実施の形態では、写真データは３つあるものとして説明を行う。
【００６３】
次に、表示位置制御部１３０の詳細な構成について説明する。
【００６４】
図４に示すように、表示位置制御部１３０は、写真データの枚数と同じ数だけ設けられ、Ｌ表示位置制御部１３２Ｌと、Ｒ表示位置制御部１３２Ｒとを含む。なお、紙面の都合上、図４には、２つの表示位置制御部１３０を図示している。以下では、第１メモリ１２１に接続される表示位置制御部１３０について説明するが、第２メモリ１２２または第３メモリ１２３に接続される表示位置制御部１３０についても同様の処理が実行される。このため、その詳細な説明は繰り返さない。
【００６５】
Ｌ表示位置制御部１３２Ｌは、第１メモリ１２１に記憶されている写真データから、当該写真データを縮小することによりサムネイルを生成し、オフセット制御部１４０で決定されたオフセットに基づいて、左眼用画像５８Ｌにおける生成したサムネイルの表示位置を決定する。
【００６６】
Ｒ表示位置制御部１３２Ｒは、第１メモリ１２１に記憶されている写真データから、当該写真データを縮小することによりサムネイルを生成し、オフセット制御部１４０で決定されたオフセットに基づいて、右眼用画像５８Ｒにおける生成したサムネイルの表示位置を決定する。
【００６７】
次に、ブレンド率決定部１５０の詳細な構成について説明する。
【００６８】
図４に示すようにブレンド率決定部１５０は、複数のＬ／Ｒブレンド率合成部１５２と、ブレンド率制御部１５６とを含む。
【００６９】
ブレンド率制御部１５６は、オフセット制御部１４０で決定された各サムネイルのオフセットに基づいて、サムネイルの合成順序を決定する。合成順序とは、三次元表示した際に手前に（視聴者の近くに）表示されるほど上位とされ、視聴者から遠くに表示されるほど下位とされる順序のことである。
【００７０】
Ｌ／Ｒブレンド率合成部１５２は、表示位置制御部１３０と一対一に対応して設けられている。Ｌ／Ｒブレンド率合成部１５２は、Ｌ表示位置制御部１３２ＬおよびＲ表示位置制御部１３２Ｒで決定されたサムネイルの表示位置と、ブレンド率制御部１５６で決定されたサムネイルの合成順序とに基づいて、左眼用画像５８Ｌおよび右眼用画像５８Ｒの各々の各画素位置におけるサムネイルのブレンド率を決定する。
【００７１】
次に、合成部１６０の詳細な構成について説明する。
【００７２】
合成部１６０は、Ｌ合成部１６２Ｌと、Ｒ合成部１６２Ｒとを含む。
【００７３】
Ｌ合成部１６２Ｌは、左眼用画像５８Ｌの各画素位置において、複数のＬ／Ｒブレンド率合成部１５２でそれぞれ求められた複数のサムネイルのブレンド率に基づいて、複数のサムネイルの画素値を合成することにより、左眼用画像５８Ｌを生成する。Ｌ合成部１６２Ｌは、生成した左眼用画像５８Ｌをセレクタ１８０に出力する。
【００７４】
Ｒ合成部１６２Ｒは、右眼用画像５８Ｒの各画素位置において、複数のＬ／Ｒブレンド率合成部１５２でそれぞれ求められた複数のサムネイルのブレンド率に基づいて、複数のサムネイルの画素値を合成することにより、右眼用画像５８Ｒを生成する。Ｒ合成部１６２Ｒは、生成した右眼用画像５８Ｒをセレクタ１８０に出力する。
【００７５】
次に、オフセット制御部１４０の詳細な構成について説明する。
【００７６】
図５は、オフセット制御部１４０の構成を示すブロック図である。
【００７７】
オフセット制御部１４０は、オフセット記憶部１４１と、選択入力受付部１４２と、前後位置関係制御部１４３と、オフセット加算制御部１４４と、オフセット出力部１４５とを含む。
【００７８】
オフセット記憶部１４１は、予め定められた固定オフセット１〜Ｎを記憶している。
【００７９】
選択入力受付部１４２は、視聴者からサムネイルの選択入力を受け付ける。例えば、リモコンやキーボードなどの入力機器を用いてサムネイルが選択された場合に、サムネイルの選択入力として、選択されたサムネイルの識別子を受け付ける。
【００８０】
前後位置関係制御部１４３は、サムネイル毎に予め定められている前後位置関係に基づいて、オフセット記憶部１４１に記憶されている固定オフセットを選択する。また、前後位置関係制御部１４３は、選択入力受付部１４２によりサムネイルの識別子が受け付けられた場合には、受け付けられた識別子により特定されるサムネイルの前後位置を最も前に移動させることにより、各サムネイルの前後位置関係を変更する。前後位置関係が変更された後に、前後位置関係制御部１４３は、再度、オフセット記憶部１４１に記憶されている固定オフセットを選択する。
【００８１】
オフセット加算制御部１４４は、前後位置関係制御部１４３において値を増加させるオフセットの変更が生じた場合には、前後位置関係制御部１４３より変更前のオフセットと変更後のオフセットとを受け、変更後のオフセットになるまで、所定タイミング毎に変更前のオフセットに所定値を累積加算する。オフセット出力部１４５は、前後位置関係制御部１４３で選択されたオフセットまたはオフセット加算制御部１４４で累積加算された後のオフセットを、Ｌ表示位置制御部１３２Ｌ、Ｒ表示位置制御部１３２Ｒおよびブレンド率制御部１５６に出力する。
【００８２】
次に、ブレンド率決定部１５０の詳細な構成について説明する。
【００８３】
図６は、ブレンド率決定部１５０のさらに詳細な構成を示すブロック図である。ブレンド率決定部１５０は、Ｌ／Ｒブレンド率合成部１５２と、ブレンド率制御部１５６とを含む。図６では、紙面の都合上、Ｌ／Ｒブレンド率合成部１５２を１つしか記載していないが、図４を用いて説明したように実際には表示位置制御部１３０の数だけ存在する。
【００８４】
ブレンド率制御部１５６は、比較制御部１５７と、合成順序生成部１５８とを含む。
【００８５】
比較制御部１５７は、オフセット制御部１４０で決定された各サムネイルのオフセットを比較し、オフセットの大小関係を決定する。
【００８６】
合成順序生成部１５８は、比較制御部１５７で決定されたオフセットの大小関係にしたがって、サムネイルの合成順序を生成する。つまり、合成順序生成部１５８は、オフセットの値が大きいほど合成順序を上位とする。合成順序とは、複数のサムネイルの画素値を合成する際のブレンド率の順位のことであり、合成順序が高いほどブレンド率が高くなるような制御が、Ｌ／Ｒブレンド率合成部１５２において行なわれる。
【００８７】
Ｌ／Ｒブレンド率合成部１５２は、ブレンド率記憶部１５３と、Ｌブレンド率生成部１５４Ｌと、Ｒブレンド率生成部１５４Ｒとを含む。
【００８８】
ブレンド率記憶部１５３は、予め定められた固定ブレンド率１〜Ｍを記憶している。ここで、固定ブレンド率ｊ（ｊ＝１〜Ｍ）は、ｊの値が小さいほど大きいものとする。
【００８９】
Ｌブレンド率生成部１５４Ｌは、Ｌ表示位置制御部１３２Ｌで決定された左眼用画像５８Ｌにおけるサムネイルの表示位置と、合成順序生成部１５８で決定されたサムネイルの合成順序とに基づいて、左眼用画像５８Ｌの各画素位置において、ブレンド率記憶部１５３に記憶されている固定ブレンド率を選択する。つまり、Ｌブレンド率生成部１５４Ｌは、複数のサムネイルが重なり合っている画素位置においては、合成順序生成部１５８で決定されたサムネイルの合成順序が高いほど、大きな値の固定ブレンド率を、ブレンド率記憶部１５３に記憶されている固定ブレンド率の中から選択する。Ｌブレンド率生成部１５４Ｌは、選択した固定ブレンド率を、Ｌ合成部１６２Ｌに出力する。
【００９０】
同様に、Ｌブレンド率生成部１５４Ｌは、Ｒ表示位置制御部１３２Ｒで決定された右眼用画像５８Ｒにおけるサムネイルの表示位置と、合成順序生成部１５８で決定されたサムネイルの合成順序とに基づいて、右眼用画像５８Ｒの各画素位置において、ブレンド率記憶部１５３に記憶されている固定ブレンド率を選択する。つまり、Ｒブレンド率生成部１５４Ｒは、複数のサムネイルが重なり合っている画素位置においては、合成順序生成部１５８で決定されたサムネイルの合成順序が高いほど、大きな値の固定ブレンド率を、ブレンド率記憶部１５３に記憶されている固定ブレンド率の中から選択する。Ｒブレンド率生成部１５４Ｒは、選択した固定ブレンド率を、Ｒ合成部１６２Ｒに出力する。
【００９１】
次に、各処理部の処理について詳細に説明する。
【００９２】
以下の説明では、第１メモリ１２１から第３メモリ１２３に、３枚の写真データが記憶されているものとし、それら３枚の写真データのサムネイルをサムネイルＡ、ＢおよびＣとする。
【００９３】
まず、オフセット制御部１４０が実行する３つの処理（オフセット制御部１４０による第１の処理〜第３の処理）について詳細に説明する。
【００９４】
（オフセット制御部１４０による第１の処理）
図７は、サムネイルのオフセットおよび表示位置の遷移を示す図である。また、図８は、図７に示す遷移時にオフセット制御部１４０が実行する処理のタイミングチャートである。
【００９５】
図７（ａ）に示すように、サムネイルＡ〜Ｃの前後位置関係（合成順序）は、最も前面からサムネイルＢ、Ａ、Ｃの順に予め設定されているものとする。このため、前後位置関係制御部１４３は、サムネイルＢ、Ａ、Ｃの順に大きくなるようにオフセットをオフセット記憶部１４１から選択する。例えば、図８に示すように、垂直同期信号に従ってＬ／Ｒ切替え制御部１７０が、Ｌ制御信号（図中「Ｌ」と記載）またはＲ制御信号（図中「Ｒ」と記載）を１垂直同期期間毎に切替えているものとする。Ｌ制御信号の出力タイミングでは、Ｌ合成部１６２Ｌで生成された左眼用画像５８Ｌがセレクタ１８０より出力され、Ｒ制御信号の出力タイミングでは、Ｒ合成部１６２Ｒで生成された右眼用画像５８Ｒがセレクタ１８０より出力される。また、前後位置関係制御部１４３は、例えば、サムネイルＡのオフセットとして、固定オフセット１（例えば、大きさ３０）を選択したものとする（図中「前後位置関係制御」と記載）。すると、オフセット出力部１４５は、前後位置関係制御部１４３が選択した固定オフセット１を、Ｌ表示位置制御部１３２Ｌ、Ｒ表示位置制御部１３２Ｒおよびブレンド率制御部１５６に出力する（図中、「オフセット＿Ａ」と記載）。
【００９６】
次に、選択入力受付部１４２において、視聴者からサムネイルＡの選択入力が受け付けられたものとする。この場合、前後位置関係制御部１４３は、選択されたサムネイルＡのオフセットが最大になるように、オフセットの再選択を行う。つまり、前後位置関係制御部１４３は、オフセットの大きさがサムネイルＡ、Ｂ、Ｃの順になるように、オフセットの再選択を行う。例えば、図８に示すように、前後位置関係制御部１４３は、固定オフセット１の代わりに、固定オフセット１よりも値の大きい固定オフセット２（例えば、大きさ４４）を再選択する。これにより、サムネイルＢ、Ａ、Ｃの順に設定されている合成順序が、サムネイルＡが１番になるように変更される。つまり、図７（ｂ）に示すように、合成順序が、サムネイルＡ、Ｂ、Ｃの順に変更される。また、オフセット出力部１４５は、前後位置関係制御部１４３が再選択した固定オフセット２を、Ｌ表示位置制御部１３２Ｌ、Ｒ表示位置制御部１３２Ｒおよびブレンド率制御部１５６に出力する。
【００９７】
図７および図８に示したオフセット制御部１４０による第１の処理によると、視聴者がサムネイルの選択を行うと、選択されたサムネイルのオフセットを最大にすることができる。このため、三次元表示時の違和感を無くすことができる。また、選択したサムネイルを即座に前面に表示させることができる。
【００９８】
また、Ｌ表示位置制御部１３２Ｌは、固定オフセット１の場合よりも、固定オフセット２の場合の方が、サムネイルＡが大きく表示されるように、サムネイルＡの左眼用画像５８Ｌにおける表示位置制御を行なう。同様に、Ｒ表示位置制御部１３２Ｒは、固定オフセット１の場合よりも、固定オフセット２の場合の方が、サムネイルＡが大きく表示されるように、サムネイルＡの右眼用画像５８Ｒにおける表示位置制御を行なう。
【００９９】
（オフセット制御部１４０による第２の処理）
オフセット制御部１４０による第１の処理においては、サムネイルの選択入力が行われると、即座にオフセットの切替えも行われた。第１の処理の代わりにオフセット制御部１４０は、以下に説明する第２の処理を実行してもよい。第２の処理では、サムネイルの選択入力が行われると、オフセットを即座に切替えるのではなく、徐々に切替える。
【０１００】
図９は、サムネイルのオフセットおよび表示位置の遷移を示す図である。また、図１０は、図９に示す遷移時にオフセット制御部１４０が実行する処理のタイミングチャートである。
【０１０１】
図９（ａ）に示すように、サムネイルＡ〜Ｃの合成順序は、最も前面からサムネイルＢ、Ａ、Ｃの順に予め設定されているものとする。このため、前後位置関係制御部１４３は、サムネイルＢ、Ａ、Ｃの順に大きくなるようにオフセットをオフセット記憶部１４１から選択する。例えば、図１０に示すように、垂直同期信号に従ってＬ／Ｒ切替え制御部１７０が、Ｌ制御信号（図中「Ｌ」と記載）またはＲ制御信号（図中「Ｒ」と記載）を１垂直同期期間毎に切替えているものとする。また、前後位置関係制御部１４３は、例えば、サムネイルＡのオフセットとして、固定オフセット１（例えば、大きさ３０）を選択したものとする（図中「前後位置関係制御」と記載）。すると、オフセット出力部１４５は、前後位置関係制御部１４３が選択した固定オフセット１を、Ｌ表示位置制御部１３２Ｌ、Ｒ表示位置制御部１３２Ｒおよびブレンド率制御部１５６に出力する（図中、「オフセット＿Ａ」と記載）。
【０１０２】
次に、選択入力受付部１４２において、視聴者からサムネイルＡの選択入力が受け付けられたものとする。この場合、前後位置関係制御部１４３は、選択されたサムネイルＡのオフセットが最大になるように、オフセットの再選択を行う。つまり、前後位置関係制御部１４３は、オフセットの大きさがサムネイルＡ、Ｂ、Ｃの順になるように、オフセットの再選択を行う。例えば、図１０に示すように、前後位置関係制御部１４３は、固定オフセット１の代わりに、固定オフセット１よりも値の大きい固定オフセット２（例えば、大きさ４４）を再選択する。
【０１０３】
オフセット加算制御部１４４は、前後位置関係制御部１４３において再選択された固定オフセット２になるまで、２垂直同期期間毎に、選択前の固定オフセット１に所定値を累積加算する。例えば、図１０に示すように、前後位置関係制御部１４３は、固定オフセット２（大きさ４４）になるまで、２垂直同期期間毎に、固定オフセット１（大きさ３０）に、所定値２を累積加算する。その結果、オフセットは、３０、３２、３４、３６、３８、４０、４２、４４と順に更新される。図９（ｂ）および図９（ｃ）は、オフセットが３０から４４に遷移途中のサムネイルを示しており、サムネイルＡの面積が徐々に大きくなるとともに、徐々にオフセットが大きくなることを示している。また、サムネイルＡの合成順序が徐々に上がってきていることを示している。
【０１０４】
図１０に示すように、サムネイルＡのオフセットは最終的に固定オフセット２（４４）になる。これに伴い、図９（ｄ）に示すようにサムネイルＡの合成順序が１番になる。
【０１０５】
図９および図１０に示したオフセット制御部１４０による第２の処理によると、視聴者がサムネイルの選択を行うと、選択されたサムネイルのオフセットを最大にすることができる。このため、三次元表示時の違和感を無くすことができる。また、選択したサムネイルを徐々に前面に表示させるという視覚的効果を視聴者に与えることができる。
【０１０６】
（オフセット制御部１４０による第３の処理）
オフセット制御部１４０による第１の処理においては、サムネイルの選択入力が行われると、オフセットの切替えが行われた。第１の処理の代わりにオフセット制御部１４０は、以下に説明する第３の処理を実行してもよい。第３の処理は、サムネイルの選択入力が行われると、オフセットの切替えが行われる点では、第１の処理と同じである。しかし、第３の処理では、選択入力されたサムネイル用のオフセットがオフセット記憶部１４１に記憶されており、選択入力時にはそのオフセットが選択される点が第１の処理とは異なる。
【０１０７】
図１１は、サムネイルのオフセットおよび表示位置の遷移を示す図である。また、図１２は、図１１に示す遷移時にオフセット制御部１４０が実行する処理のタイミングチャートである。
【０１０８】
例えば、サムネイルＡ、ＢおよびＣには、予め固定オフセット１、２および３がそれぞれ割り当てられている。また、固定オフセット１、２および３の大きさは、それぞれ、４０、６０および２０であるものとする。このとき、図１１（ａ）に示すように、選択入力受付部１４２においてサムネイルＡの選択入力が受け付けられたものとする（図１２の「選択情報抽出」）。すると、前後位置関係制御部１４３は、図１２に示すように、サムネイルＡのオフセットとして、オフセット記憶部１４１の中から固定オフセットＮ１（例えば、大きさ１４０）を選択する（図１２の「オフセット＿Ａ」）。以下の説明では、固定オフセットＮ１、Ｎ２およびＮ３は、選択入力されたサムネイル用のオフセットであるものとする。また、固定オフセットＮ１、Ｎ２およびＮ３は、通常のオフセット（固定オフセット１、２、３）よりも大きな値とする。
【０１０９】
図１１（ｂ）に示すように、選択入力受付部１４２からの選択入力がない場合には、図１２に示すように、前後位置関係制御部１４３は、サムネイルＡ、ＢおよびＣに、固定オフセット１、２および３をそれぞれ割り当てる。
【０１１０】
図１１（ｃ）に示すように、選択入力受付部１４２においてサムネイルＣの選択入力が受け付けられたものとする。すると、前後位置関係制御部１４３は、図１２に示すように、サムネイルＣのオフセットとして、オフセット記憶部１４１の中から固定オフセットＮ３（例えば、大きさ１２０）を選択する（図１２の「オフセット＿Ｃ」）。
【０１１１】
さらに、図１１（ｄ）に示すように、選択入力受付部１４２においてサムネイルＢの選択入力が受け付けられたものとする。すると、前後位置関係制御部１４３は、図１２に示すように、サムネイルＢのオフセットとして、オフセット記憶部１４１の中から固定オフセットＮ２（例えば、大きさ１６０）を選択する（図１２の「オフセット＿Ｂ」）。
【０１１２】
図１１および図１２に示したオフセット制御部１４０による第３の処理によると、視聴者がサムネイルの選択を行うと、選択されたサムネイルのオフセットを最大にすることができる。このため、三次元表示時の違和感を無くすことができる。
【０１１３】
なお、オフセット制御部１４０による第１の処理から第３の処理は、組み合わせてもよい。例えば、オフセット制御部１４０は、第２の処理と第３の処理を組み合わせた処理を実行してもよい。
【０１１４】
（ブレンド率決定部１５０による処理）
次に、ブレンド率決定部１５０が実行する処理について詳細に説明する。
【０１１５】
まず、図１３および図１４を参照して、ブレンド率制御部１５６が実行する処理について説明する。
【０１１６】
図１３は、表示パネル２６に表示される画像の一例を示す図である。ある１水平同期期間において走査線１３０１上の画像表示が行われる。
【０１１７】
図１４は、ブレンド率制御部１５６が実行する処理のタイミングチャートである。「水平表示」は、走査線１３０１上を左から右へ走査したときの水平走査信号であり、Ｈｉｇｈのときがアクティブ期間を示し、Ｌｏｗのときがブランキング期間を示している。
【０１１８】
「サムネイル＿Ａ」は、Ｈｉｇｈの区間においてサムネイルＡが描画され、Ｌｏｗの区間においてはサムネイルＡが描画されないことを示している。同様に、「サムネイル＿Ｂ」は、Ｈｉｇｈの区間においてサムネイルＢが描画され、Ｌｏｗの区間においてはサムネイルＢが描画されないことを示している。また、「サムネイル＿Ｃ」は、Ｈｉｇｈの区間においてサムネイルＣが描画され、Ｌｏｗの区間においてはサムネイルＣが描画されないことを示している。
【０１１９】
「比較制御」は、比較制御部１５７において比較対象とされるオフセットを有するサムネイルを示している。つまり、１３０１を左から走査していくと、最初は、比較対象とされるオフセットは存在しないが、サムネイルＣのみが表示されるため、サムネイルＣのオフセットのみが比較対象とされる。次に、サムネイルＡおよびＣが重なり合って表示されるため、サムネイルＡおよびＣのオフセットが比較対象とされる。次に、サムネイルＡ〜Ｃが重なり合って表示されるため、サムネイルＡ〜Ｃのオフセットが比較対象とされる。その後、サムネイルＡおよびＢが重なり合って表示されるため、サムネイルＡおよびＢのオフセットが比較対象とされる。次に、サムネイルＢのみが表示されるため、サムネイルＢのオフセットのみが比較対象とされる。最後に、いずれのサムネイルも表示されないため、比較対象がなくなる。
【０１２０】
比較制御部１５７は、これらの比較対象とされたオフセット内で、オフセットの大小関係を決定する。合成順序生成部１５８は、比較制御部１５７で決定されたオフセットの大小関係に従って、オフセットの値が大きいほど合成順序が上位となるように、サムネイルの合成順序を決定する。合成順序の結果を図１４の「合成順序生成」に示している。合成順序生成１は、合成順序が１番のサムネイルを示し、合成順序生成２は、合成順序が２番のサムネイルを示し、合成順序生成３は、合成順序が３番のサムネイルを示している。
【０１２１】
つまり、まず、いずれのサムネイルにも合成順序がついていない状態から、サムネイルＣが合成順序１番とされる。その後、合成順序が、サムネイルＡ、Ｃの順に変更される。その後、合成順序が、サムネイルＢ、Ａ、Ｃの順に変更される。次に、合成順序が、サムネイルＢ、Ａの順に変更される。次に、合成順序が、サムネイルＢの順に変更される。最後に、いずれのサムネイルにも合成順序が付けられない状態に遷移する。
【０１２２】
次に、Ｌ／Ｒブレンド率合成部１５２が実行する処理について説明する。
【０１２３】
図１５は、Ｌ／Ｒブレンド率合成部１５２のＬブレンド率生成部１５４Ｌが実行する処理のタイミングチャートである。本図は、図１４のタイミングチャートと同様、図１３に示す走査線１３０１上の画像を表示する際のタイミングチャートを示している。以下では、Ｌブレンド率生成部１５４Ｌの処理について説明するが、Ｒブレンド率生成部１５４Ｒの処理も同様である。そのため、その詳細な説明は繰り返さない。
【０１２４】
図１５の水平表示および合成順序生成は、図１４に示した水平表示および合成順序生成と同じである。このため、その詳細な説明は繰り返さない。
【０１２５】
図１５の「Ｌブレンド率生成」は、Ｌブレンド率生成部１５４Ｌにより生成されるサムネイルＡ〜Ｃのブレンド率を示す。Ｌブレンド率生成部１５４Ｌは、走査線１３０１上の各画素位置において、合成順序生成部１５８より合成順序を受け取り、固定ブレンド率１をブレンド率記憶部１５３より選択し、合成順序が１番のサムネイルに固定ブレンド率１を割り当てる。同様に、Ｌブレンド率生成部１５４Ｌは、固定ブレンド率２をブレンド率記憶部１５３より選択し、合成順序が２番のサムネイルに固定ブレンド率２を割り当てる。さらに、Ｌブレンド率生成部１５４Ｌは、固定ブレンド率３をブレンド率記憶部１５３より選択し、合成順序が３番のサムネイルに固定ブレンド率３を割り当てる。
【０１２６】
図１５に示すように、まず合成順序がついていない状態から、サムネイルＣが合成順序１番とされると、サムネイルＣに固定ブレンド率１が割り当てられる。次に、合成順序がサムネイルＡ、Ｃの順に変更されると、サムネイルＡ、Ｃに固定ブレンド率１、２がそれぞれ割り当てられる。次に、合成順序がサムネイルＢ、Ａ、Ｃの順に変更されると、サムネイルＢ、Ａ、Ｃに、固定ブレンド率１、２、３がそれぞれ割り当てられる。次に、合成順序がサムネイルＢ、Ａの順に変更されると、サムネイルＢ、Ａに、固定ブレンド率１、２がそれぞれ割り当てられる。さらに、合成順序がサムネイルＢの順に変更されると、サムネイルＢに固定ブレンド率１が割り当てられる。最終的に、合成順序が付けられない状態に遷移すると、いずれのサムネイルにも固定ブレンド率は割り当てられない。
【０１２７】
Ｌ合成部１６２Ｌでは、画素毎に、Ｌブレンド率生成部１５４Ｌで決定されたブレンド率に従いサムネイルの画素値を合成し、左眼用画像５８Ｌを生成する。例えば、ｎ枚のサムネイルＳｉ（ｉ＝１〜ｎ）のブレンド率をＢｉ（ｉ＝１〜ｎ）とする。また、画素位置（ｘ，ｙ）におけるサムネイルＳｉの画素値をＳｉ（ｘ，ｙ）とすると、同画素位置における合成後の画像ＳＳの画素値ＳＳ（ｘ，ｙ）は次式（１）により算出される。なお、Ｒ合成部１６２Ｒも同様にサムネイルの画素値の合成を行ない、右眼用画像５８Ｒを生成する。
【０１２８】
【数１】
2011070450.tif 000003
【０１２９】
以上説明したように、本実施の形態に係る三次元画像処理装置によると、サムネイルのオフセットとブレンド率とを連動させ、オフセットが大きい場合にはブレンド率を大きくするような制御が行なわれる。このため、視聴者にとって違和感のない画像の画像信号を生成することができる。
【０１３０】
例えば、図１６（ａ）に示すようにサムネイルＡおよびＣの上にサムネイルＢが重ね合わせて表示されている三次元画像において、サムネイルＡが選択されたとする。この場合、図１６（ｂ）に示すように、サムネイルＡのオフセットが最大とされる。また、サムネイルＡのブレンド率が最大とされる。このため、三次元表示を行なった際に、サムネイルＡが最も手前に位置すると感じる出力三次元画像データ５８を生成することができる。よって、視聴者にとって違和感のない画像の画像信号を生成することができる。
【０１３１】
（実施の形態１の変形例）
実施の形態１では、複数のサムネイルが重なり合う画素位置においては、ブレンド率に従い複数のサムネイルの画素値がブレンドされ、背面のサムネイルが透けて見えるような効果を与えた。本変形例では、複数のサムネイルが重なり合う画素位置においては、最前面のサムネイルのみの表示を可能とし、背面のサムネイルが透けて見えないようにする。
【０１３２】
本変形例では、ブレンド率決定部１５０の構成が異なる以外は、実施の形態１と同じである。このため、ブレンド率決定部１５０について説明を行ない、他の構成要素に対する説明は繰り返さない。
【０１３３】
図１７は、ブレンド率決定部１５０の構成を示すブロック図である。
【０１３４】
ブレンド率決定部１５０は、Ｌ／Ｒブレンド率合成部１５２と、ブレンド率制御部１５６とを含む。実施の形態１では、ブレンド率決定部１５０は複数設けられることとしたが、本変形例においては、１つしか設けられないものとする。
【０１３５】
ブレンド率制御部１５６の構成は、実施の形態１に示したものと同じである。
【０１３６】
Ｌ／Ｒブレンド率合成部１５２は、前後情報生成部１５９を含む。前後情報生成部１５９は、全てのＬ表示位置制御部１３２ＬおよびＲ表示位置制御部１３２Ｒに接続されている。前後情報生成部１５９は、Ｌ表示位置制御部１３２Ｌで決定された左眼用画像５８Ｌにおけるサムネイルの表示位置と、合成順序生成部１５８で決定されたサムネイルの合成順序とに基づいて、左眼用画像５８Ｌの各画素位置において、最前面に表示されるサムネイルを決定する。前後情報生成部１５９は、右眼用画像５８Ｒの各画素位置についても、同様に、最前面に表示されるサムネイルを決定する。以下では、左眼用画像５８Ｌについてのみ説明する。右眼用画像５８Ｒについての処理も同様であるため、その詳細な説明は繰り返さない。
【０１３７】
図１８は、前後情報生成部１５９が実行する処理のタイミングチャートである。本図は、図１４のタイミングチャートと同様、図１３に示す走査線１３０１上の画像を表示する際のタイミングチャートを示している。
【０１３８】
同図において、水平表示、サムネイル＿Ａ、サムネイル＿Ｂ、サムネイル＿Ｃ、合成順序生成は、図１８に示したものと同じである。
【０１３９】
信号「Ｌ前後情報生成」は、合成順序が１番となる区間を示す信号であり、Ｌ前後情報生成Ａ〜Ｃの３つの信号があるものとする。Ｌ前後情報生成Ａは、サムネイルＡの合成順序が１番となるときＨｉｇｈとなり、それ以外の場合にＬｏｗとなる信号である。Ｌ前後情報生成Ｂは、サムネイルＢの合成順序が１番となるときＨｉｇｈとなり、それ以外の場合にＬｏｗとなる信号である。Ｌ前後情報生成Ｃは、サムネイルＣの合成順序が１番となるときＨｉｇｈとなり、それ以外の場合にＬｏｗとなる信号である。前後情報生成部１５９は、合成順序生成部１５８から出力される合成順序に従い、これら３つの信号のレベルを制御する。
【０１４０】
信号「Ｌ前後表示制御」は、最前面に表示するサムネイルを示す信号である。つまり、Ｌ前後表示制御は、合成順序が１番となるサムネイルを示し、合成順序が１番となるサムネイルが存在しない場合には、背景（ＢＧ）を示す。つまり、前後情報生成部１５９は、走査線１３０１上を左から右に走査した際に、背景（ＢＧ）、サムネイルＣ、サムネイルＡ、サムネイルＢ、背景（ＢＧ）の順で、Ｌ前後表示制御をＬ合成部１６２Ｌに出力する。Ｌ合成部１６２Ｌは、左眼用画像５８Ｌの走査線１３０１上の各画素において、Ｌ前後表示制御を参照することにより、最前面に表示するサムネイルを決定する。例えば、Ｌ前後表示制御において、サムネイルＡが指定されている画素においては、サムネイルＡの画素値をそのまま左眼用画像５８Ｌの画素値とし、他のサムネイルの画素値との合成は行わない。Ｌ前後表示制御においてサムネイルＢまたはＣが指定されている場合も同様である。Ｌ前後表示制御において、背景が指定されている場合には、その位置にはサムネイルが存在しないため、背景の画素値をそのまま左眼用画像５８Ｌの画素値とする。
【０１４１】
以上説明したように、実施の形態１の変形例に係る三次元画像処理装置によると、オフセットが最大のサムネイルのみを表示させるような制御が行なわれる。このような制御は、最前面のサムネイルのブレンド率を１００％とし、それ以外のブレンド率を０％とすることと等価である。このため、視聴者にとって違和感のない画像の画像信号を生成することができる。
【０１４２】
（実施の形態２）
次に、実施の形態２について説明する。実施の形態２は、実施の形態１と三次元画像処理装置の構成が異なる。
【０１４３】
図１９は、本発明の実施の形態２に係る三次元画像処理装置の構成を示すブロック図である。
【０１４４】
三次元画像処理装置１００は、図４に示した実施の形態１に係る三次元画像処理装置１００の構成に加えて、表示位置制御部１３０とブレンド率決定部１５０との間にリミット部１９０を備えている。
【０１４５】
リミット部１９０は、表示位置制御部１３０で求められた各サムネイルの表示領域が左眼用画像５８Ｌまたは右眼用画像５８Ｒの表示可能領域外に存在する場合に、サムネイルの表示領域を、左眼用画像５８Ｌおよび右眼用画像５８Ｒの表示可能領域内に制限する。
【０１４６】
リミット部１９０は、各Ｌ表示位置制御部１３２Ｌに対応して設けられる複数のＬ表示位置リミット制御部１９２Ｌと、各Ｒ表示位置制御部１３２Ｒに対応して設けられる複数のＲ表示位置リミット制御部１９２Ｒと、オフセット制御部１４０に接続されたオフセット減算制御部１９４とを含む。
【０１４７】
図２０および図２１を参照して、リミット部１９０が実行する処理について説明する。図２０は、三次元表示されるサムネイルの表示位置の変化を示す図であり、図２０（ａ）は、リミット部１９０による処理前のサムネイルの表示位置を示し、図２０（ｂ）は、リミット部１９０による処理後のサムネイルの表示位置を示す。
【０１４８】
図２１は、Ｌ表示位置リミット制御部１９２ＬおよびＲ表示位置リミット制御部１９２Ｒが実行する処理のタイミングチャートである。
【０１４９】
図２０（ａ）に示すように、三次元表示された際にサムネイル２００１の表示位置が、左眼用画像５８Ｌまたは右眼用画像５８Ｒの表示可能領域外に存在するものとする。このとき、走査線２００２上を左から右へ走査したときのサムネイルの表示位置を図２１に示す。
【０１５０】
図２１の「水平表示」は、走査線２００２上を左から右へ走査したときの水平走査信号であり、Ｈｉｇｈのときがアクティブ期間を示し、Ｌｏｗのときがブランキング期間を示している。
【０１５１】
「Ｌ表示位置制御（前）」は、Ｌ表示位置制御部１３２Ｌより出力される左眼用画像５８Ｌにおけるサムネイルの表示期間を示す信号である。Ｈｉｇｈの期間はサムネイルが表示される期間を示し、Ｌｏｗの期間はサムネイルが表示されない期間を示す。
【０１５２】
「Ｒ表示位置制御（後）」は、Ｒ表示位置制御部１３２Ｒより出力される右眼用画像５８Ｒにおけるサムネイルの表示期間を示す信号である。Ｈｉｇｈの期間はサムネイルが表示される期間を示し、Ｌｏｗの期間はサムネイルが表示されない期間を示す。
【０１５３】
図２１からわかるようにＬ表示位置制御（前）が、水平表示がＨｉｇｈになるよりも早いタイミングでＨｉｇｈになっている。このため、左眼用画像５８Ｌにおいて表示されないサムネイルの領域が生じる。
【０１５４】
このため、Ｌ表示位置リミット制御部１９２Ｌは、左眼用画像５８Ｌにおけるサムネイルの表示位置を右側にずらすために、Ｌ表示位置制御（前）を全体的に右側にずらした信号「Ｌ表示位置制御（後）」を生成する。なお、Ｌ表示位置リミット制御部１９２Ｌは、水平表示がＨｉｇｈになるタイミング以降にＨｉｇｈになる位置までＬ表示位置制御（前）をずらし、Ｌ表示位置制御（後）を生成する。
【０１５５】
一方、Ｒ表示位置リミット制御部１９２Ｒは、右眼用画像５８Ｒにおけるサムネイルの表示位置を左側にずらすために、Ｌ表示位置リミット制御部１９２ＬがＬ表示位置制御（前）を右側にずらしたのと同じ量だけ、Ｒ表示位置制御（前）を左側にずらし、Ｒ表示位置制御（後）を生成する。
【０１５６】
Ｌ／Ｒブレンド率合成部１５２は、Ｌ表示位置リミット制御部１９２Ｌで生成されたＬ表示位置制御（後）がＨｉｇｈになるタイミングにおいてサムネイルが表示されるように、走査線２００２上における表示位置を決定する。その上で、Ｌ／Ｒブレンド率合成部１５２は、ブレンド率を決定する処理を行う。また、Ｌ／Ｒブレンド率合成部１５２は、Ｒ表示位置リミット制御部１９２Ｒで生成されたＲ表示位置制御（後）がＨｉｇｈになるタイミングにおいてサムネイルが表示されるように、走査線２００２上における表示位置を決定する。その上で、Ｌ／Ｒブレンド率合成部１５２は、ブレンド率を決定する処理を行う。
【０１５７】
図２２は、オフセット減算制御部１９４が実行する処理のタイミングチャートである。オフセット減算制御部１９４は、表示位置制御の変更が行なわれると、サムネイルのオフセットをｏｆｓ１からｏｆｓ２に変更する。ここで、ｏｆｓ２はｏｆｓ１よりも小さな値である。また、オフセット減算制御部１９４は、表示位置制御の変更が行なわれると、サムネイルのオフセットｏｆｓ１から、ずらし量ｌｉｍｉｔを減じることにより、オフセットをｏｆｓ１−ｌｉｍｉｔに変更してもよい。
【０１５８】
リミット部１９０において表示位置の制御とオフセットの変更を行うことにより、図２０（ｂ）に示されるように、三次元表示した際にサムネイル２００３の全体が表示される。サムネイル２００３は、図２０（ａ）に示したサムネイル２００１に比べ、奥側に表示される。このため、前後位置関係が崩れる可能性があるが、サムネイルの全体を表示することができ、三次元表示した際に視聴者にとって違和感のない画像の画像信号を生成することができる。
【０１５９】
（実施の形態２の変形例）
実施の形態２では、サムネイルの表示領域が左眼用画像５８Ｌまたは右眼用画像５８Ｒの表示可能領域外に存在する場合に、サムネイルの表示位置の制御を行なうことにより、サムネイルの表示領域を、左眼用画像５８Ｌおよび右眼用画像５８Ｒの表示可能領域内に制限した。本変形例では、同様の場合に、サムネイルの表示領域の一部を左眼用画像５８Ｌおよび右眼用画像５８Ｒから削除することにより、サムネイルの表示領域を、左眼用画像５８Ｌおよび右眼用画像５８Ｒの表示可能領域内に制限する。
【０１６０】
図２３および図２４を参照して、リミット部１９０が実行する処理について説明する。図２３は、三次元表示されるサムネイルの表示位置の変化を示す図であり、図２３（ａ）は、リミット部１９０による処理前のサムネイルの表示位置を示し、図２３（ｂ）は、リミット部１９０による処理後のサムネイルの表示位置を示す。
【０１６１】
図２４は、Ｌ表示位置リミット制御部１９２ＬおよびＲ表示位置リミット制御部１９２Ｒが実行する処理のタイミングチャートである。各信号の意味は、図２１に示したものと同じであるが、Ｌ表示位置制御（後）およびＲ表示位置制御（後）の生成方法が異なる。つまり、Ｌ表示位置リミット制御部１９２Ｌは、水平表示のアクティブ区間外におけるＬ表示位置制御（前）の信号をＬｏｗにすることにより、Ｌ表示位置制御（後）を生成する。また、Ｒ表示位置リミット制御部１９２Ｒは、Ｌ表示位置制御（後）とのバランスを取るために、Ｌ表示位置制御（前）においてＨｉｇｈからＬｏｗに変化させたのと同一の長さだけ、Ｒ表示位置制御（前）のＨｉｇｈの区間の左端をＬｏｗに変化させる。これにより、Ｒ表示位置リミット制御部１９２Ｒは、Ｒ表示位置制御（後）を生成する。
【０１６２】
本変形例ではオフセット減算制御部１９４は処理を行わない。つまり、オフセットの変更は行われない。
【０１６３】
リミット部１９０において表示位置の制御を行なうことにより、図２３（ｂ）に示されるように、三次元表示した際にサムネイル２００４の一部が削除されて表示される。このように、三次元表示した際にサムネイルの一部が削除されて表示されるが、サムネイルの前後位置関係は崩さずに、サムネイルを表示することができ、三次元表示した際に視聴者にとって違和感のない画像の画像信号を生成することができる。
【０１６４】
（実施の形態３）
実施の形態１および２では、サムネイルを重ねて表示させるための画像信号を生成する三次元画像処理装置について説明した。実施の形態３では、映像に字幕や図形などのグラフィックを重ね合わせて表示させるための画像信号を生成する三次元画像処理装置について説明する。
【０１６５】
まず、実施の形態３に係る三次元画像処理装置を含む三次元画像表示システムの構成を説明する。
【０１６６】
図２５は、本発明の実施の形態３に係る三次元画像表示システムの構成を示すブロック図である。
【０１６７】
図２５に示す三次元画像表示システム１０は、デジタルテレビ２０と、デジタルビデオレコーダ３０と、シャッタメガネ４３とを含む。デジタルテレビ２０とデジタルビデオレコーダ３０とは、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ケーブル４０を介して接続されている。
【０１６８】
デジタルビデオレコーダ３０は、ＢＤ（ブルーレイディスク）等の光ディスク４１に記録されている三次元画像データを三次元表示可能な形式に変換し、変換後の三次元画像データを、ＨＤＭＩケーブル４０を経由してデジタルテレビ２０へ出力する。
【０１６９】
デジタルテレビ２０は、放送波４２に含まれる三次元画像データを三次元表示可能な形式に変換した上で表示する。例えば、放送波４２は、地上デジタルテレビ放送、および衛星デジタルテレビ放送等である。また、デジタルテレビ２０は、デジタルビデオレコーダ３０により出力される三次元画像データを表示する。
【０１７０】
なお、デジタルビデオレコーダ３０は、光ディスク４１以外の記録媒体（例えば、ハードディスクドライブおよび不揮発性メモリ等）に記録されている三次元画像データを三次元表示可能な形式に変換してもよい。また、デジタルビデオレコーダ３０は、放送波４２に含まれる三次元画像データ、またはインターネット等の通信網を経由して取得した三次元画像データを三次元表示可能な形式に変換してもよい。また、デジタルビデオレコーダ３０は、外部の装置により、外部入力端子（図示せず）等に入力された三次元画像データを三次元表示可能な形式に変換してもよい。
【０１７１】
同様に、デジタルテレビ２０は、光ディスク４１およびその他の記録媒体に記録されている三次元画像データを三次元表示可能な形式に変換してもよい。また、デジタルテレビ２０は、インターネット等の通信網を経由して取得した三次元画像データを三次元表示可能な形式に変換してもよい。また、デジタルテレビ２０は、デジタルビデオレコーダ３０以外の外部の装置により、外部入力端子（図示せず）等に入力された三次元画像データを三次元表示可能な形式に変換してもよい。
【０１７２】
また、デジタルテレビ２０とデジタルビデオレコーダ３０とは、ＨＤＭＩケーブル４０以外の規格のケーブルにより接続されていてもよいし、無線通信網により接続されていてもよい。
【０１７３】
デジタルビデオレコーダ３０は、入力部３１と、三次元画像処理装置１００Ｂと、ＨＤＭＩ通信部３３とを備える。
【０１７４】
入力部３１は、光ディスク４１に記録されている符号化三次元画像データ５１を取得する。
【０１７５】
三次元画像処理装置１００Ｂは、入力部３１により取得された符号化三次元画像データ５１を三次元表示可能な形式に変換することにより、出力三次元画像データ５３を生成する。
【０１７６】
ＨＤＭＩ通信部３３は、三次元画像処理装置１００Ｂにより生成された出力三次元画像データ５３を、ＨＤＭＩケーブル４０を経由してデジタルテレビ２０へ出力する。
【０１７７】
なお、デジタルビデオレコーダ３０は、生成した出力三次元画像データ５３を、当該デジタルビデオレコーダ３０が備える記憶部（ハードディスクドライブおよび不揮発性メモリ等）に記憶してもよいし、当該デジタルビデオレコーダ３０に着脱可能な記録媒体（光ディスク等）に記録してもよい。
【０１７８】
デジタルテレビ２０は、入力部２１と、ＨＤＭＩ通信部２３と、三次元画像処理装置１００と、表示パネル２６と、トランスミッタ２７とを備える。
【０１７９】
入力部２１は、放送波４２に含まれる符号化三次元画像データ５５を取得する。
【０１８０】
ＨＤＭＩ通信部２３は、ＨＤＭＩ通信部３３により出力された出力三次元画像データ５３を取得し、入力三次元画像データ５７として出力する。
【０１８１】
三次元画像処理装置１００は、入力部２１により取得された符号化三次元画像データ５５を三次元表示可能な形式に変換することにより、出力三次元画像データ５８を生成し、出力三次元画像データ５８を出力する。また、三次元画像処理装置１００は、ＨＤＭＩ通信部２３より出力された入力三次元画像データ５７を用いて、出力三次元画像データ５８を生成し、出力三次元画像データ５８を出力する。
【０１８２】
表示パネル２６は、三次元画像処理装置１００より出力される出力三次元画像データ５８を表示する。
【０１８３】
次に、三次元画像処理装置１００の構成を説明する。三次元画像処理装置１００Ｂも三次元画像処理装置１００と同様の構成を有する。このため、三次元画像処理装置１００についてのみ詳細に説明を行ない、三次元画像処理装置１００Ｂについての説明は繰り返さない。
【０１８４】
図２６は、三次元画像処理装置１００の構成を示すブロック図である。
【０１８５】
図２６に示すように三次元画像処理装置１００は、Ｌビデオデコーダ２０１Ｌと、Ｒビデオデコーダ２０１Ｒと、Ｌフレームメモリ２０２Ｌと、Ｒフレームメモリ２０２Ｒと、Ｌ画像出力制御部２０３Ｌと、Ｒ画像出力制御部２０３Ｒと、ビデオオフセット算出部２０４と、制御部２０５と、Ｌグラフィックデコーダ２０６Ｌと、Ｒグラフィックデコーダ２０６Ｒと、Ｌグラフィックメモリ２０７Ｌと、Ｒグラフィックメモリ２０７Ｒと、Ｌ画像出力制御部２０８Ｌと、Ｒ画像出力制御部２０８Ｒと、グラフィックオフセット算出部２０９と、Ｌ合成部１６２Ｌと、Ｒ合成部１６２Ｒと、Ｌ／Ｒ切替え制御部１７０と、セレクタ１８０とを含む。
【０１８６】
Ｌビデオデコーダ２０１Ｌは、符号化三次元画像データ５５に含まれる左眼用の符号化ビデオデータを１フレームずつ復号することにより、左眼用ビデオデータを生成する。
【０１８７】
Ｌフレームメモリ２０２Ｌは、Ｌビデオデコーダ２０１Ｌで生成された左眼用ビデオデータをフレーム毎に記憶するメモリである。
【０１８８】
Ｌ画像出力制御部２０３Ｌは、Ｌフレームメモリ２０２Ｌに記憶されている左眼用ビデオデータを所定のフレームレートで出力する。
【０１８９】
Ｒビデオデコーダ２０１Ｒは、符号化三次元画像データ５５に含まれる右眼用の符号化ビデオデータを１フレームずつ復号することにより、右眼用ビデオデータを生成する。
【０１９０】
Ｒフレームメモリ２０２Ｒは、Ｒビデオデコーダ２０１Ｒで生成された右眼用ビデオデータをフレーム毎に記憶するメモリである。
【０１９１】
Ｒ画像出力制御部２０３Ｒは、Ｒフレームメモリ２０２Ｒに記憶されている右眼用ビデオデータを所定のフレームレートで出力する。
【０１９２】
ビデオオフセット算出部２０４は、Ｌフレームメモリ２０２Ｌに記憶されている左眼用ビデオデータとＲフレームメモリ２０２Ｒに記憶されている右眼用ビデオデータとから、両データの左右方向のずれ量をオフセットとして求める。ずれ量の算出は、左眼用ビデオデータと右眼用ビデオデータとのパターンマッチングを行うことにより行われる。例えば、左眼用ビデオデータより切り出した所定サイズのブロック（例えば、８×８画素のブロック）を右眼用ビデオデータ上で走査することにより、対応するブロックの位置を求め、両ブロック間の距離をずれ量（オフセット）として求める。オフセットは、画素毎またはブロック毎に求められる。以下、ビデオオフセット算出部２０４で算出されたオフセットのことをビデオオフセットという。
【０１９３】
Ｌグラフィックデコーダ２０６Ｌは、符号化三次元画像データ５５に含まれる左眼用の符号化グラフィックデータを１フレームずつ復号することにより、左眼用グラフィックデータを生成する。
【０１９４】
Ｌグラフィックメモリ２０７Ｌは、Ｌグラフィックデコーダ２０６Ｌで生成された左眼用グラフィックデータを１フレーム毎に記憶するメモリである。
【０１９５】
Ｌ画像出力制御部２０８Ｌは、Ｌグラフィックメモリ２０７Ｌに記憶されている左眼用グラフィックデータを所定のフレームレートで出力する。
【０１９６】
Ｒグラフィックデコーダ２０６Ｒは、符号化三次元画像データ５５に含まれる右眼用の符号化グラフィックデータを１フレームずつ復号することにより、右眼用グラフィックデータを生成する。
【０１９７】
Ｒグラフィックメモリ２０７Ｒは、Ｒグラフィックデコーダ２０６Ｒで生成された右眼用グラフィックデータを１フレーム毎に記憶するメモリである。
【０１９８】
Ｒ画像出力制御部２０８Ｒは、Ｒグラフィックメモリ２０７Ｒに記憶されている右眼用グラフィックデータを所定のフレームレートで出力する。
【０１９９】
グラフィックオフセット算出部２０９は、Ｌグラフィックメモリ２０７Ｌに記憶されている左眼用グラフィックデータとＲグラフィックメモリ２０７Ｒに記憶されている右眼用グラフィックデータとから、両データの左右方向のずれ量をオフセットとして求める。ずれ量の算出は、左眼用グラフィックデータと右眼用グラフィックデータとのパターンマッチングを行うことにより行われる。例えば、左眼用グラフィックデータより切り出した所定サイズのブロック（例えば、８×８画素のブロック）を右眼用グラフィックデータ上で走査することにより、対応するブロックの位置を求め、両ブロック間の距離をずれ量（オフセット）として求める。オフセットは、画素毎またはブロック毎に求められる。以下、グラフィックオフセット算出部２０９で算出されたオフセットのことをグラフィックオフセットという。
【０２００】
制御部２０５は、ビデオオフセット算出部２０４で算出されたビデオオフセットと、グラフィックオフセット算出部２０９で算出されたグラフィックオフセットとを、画素毎またはブロック毎に比較する。
【０２０１】
Ｌ合成部１６２Ｌは、制御部２０５での比較結果に基づいて、Ｌ画像出力制御部２０３Ｌより出力された左眼用ビデオデータに、Ｌ画像出力制御部２０８Ｌより出力された左眼用グラフィックデータを重ね合わせて左眼用画像５８Ｌとして出力する。つまり、Ｌ合成部１６２Ｌは、グラフィックオフセットの方がビデオオフセットよりも大きい画素またはブロックについてのみ、左眼用グラフィックデータの重ね合わせを行う。
【０２０２】
同様に、Ｒ合成部１６２Ｒは、制御部２０５での比較結果に基づいて、Ｒ画像出力制御部２０３Ｒより出力された右眼用ビデオデータに、Ｒ画像出力制御部２０８Ｒより出力された右眼用グラフィックデータを重ね合わせて右眼用画像５８Ｒとして出力する。つまり、Ｒ合成部１６２Ｒは、グラフィックオフセットの方がビデオオフセットよりも大きい画素またはブロックについてのみ、右眼用グラフィックデータの重ね合わせを行う。
【０２０３】
なお、Ｌ合成部１６２ＬおよびＲ合成部１６２Ｒにおいて、重ね合わせの際は、透過処理は行なわない。つまり、実施の形態１の変形例と同様に、左眼用グラフィックデータまたは右眼用グラフィックデータのブレンド率を１００％とし、左眼用ビデオデータまたは右眼用ビデオデータのブレンド率を０％として重ね合わせを行う。
【０２０４】
セレクタ１８０は、Ｌ合成部１６２ＬおよびＲ合成部１６２Ｒに接続され、Ｌ／Ｒ切替え制御部１７０からの制御信号に従い、左眼用画像５８Ｌおよび右眼用画像５８Ｒのいずれか一方を選択し、選択した画像を出力する。Ｌ／Ｒ切替え制御部１７０は、セレクタ１８０から左眼用画像５８Ｌと右眼用画像５８Ｒとが所定のフレームレートで交互に出力されるように制御信号を生成し、セレクタ１８０に出力する。Ｌ／Ｒ切替え制御部１７０およびセレクタ１８０の処理により、セレクタ１８０からは左眼用画像５８Ｌと右眼用画像５８Ｒとが交互に配置された出力三次元画像データ５８が生成される。
【０２０５】
次に、三次元画像処理装置１００が実行する処理について具体例を挙げながら説明する。
【０２０６】
図２７は、字幕のグラフィックオフセットの方がビデオオフセットよりも大きい場合の出力三次元画像データ５８の一例を示す図である。図２７（ａ）は、左眼用画像５８Ｌの一例を示す図であり、図２７（ｂ）は、右眼用画像５８Ｒの一例を示す図である。
【０２０７】
グラフィックデータには、字幕データ２７０１と、メニューデータ２７０２とが含まれるものとする。図２７（ａ）および図２７（ｂ）では、実線で示した長方形が左眼用画像５８Ｌおよび右眼用画像５８Ｒをそれぞれ示しており、上位長方形外の範囲は、表示パネル２６には表示されない。字幕データ２７０１のグラフィックオフセットはビデオオフセットよりも大きいため、Ｌ合成部１６２ＬおよびＲ合成部１６２Ｒは、字幕データ２７０１を左眼用ビデオデータおよび右眼用ビデオデータにそれぞれ重ね合わせ、左眼用画像５８Ｌおよび右眼用画像５８Ｒをそれぞれ生成する。左眼用画像５８Ｌおよび右眼用画像５８Ｒを三次元表示した際には、字幕データ２７０１は手前に表示される。このため、視聴者に違和感のない画像の画像信号を生成することができる。
【０２０８】
図２８および図２９は、字幕のグラフィックオフセットの方がビデオオフセットよりも小さい場合の処理について説明するための図である。
【０２０９】
図２８は、字幕データのグラフィックオフセットの方がビデオオフセットよりも小さい領域を示す図である。
【０２１０】
図２８（ａ）は、左眼用画像５８Ｌにおいて字幕データ２８０１のグラフィックオフセットがビデオオフセットよりも小さい領域２８０２を、ハッチングを施して示している。同様に、図２８（ｂ）は、右眼用画像５８Ｒにおいて字幕データ２８０１のグラフィックオフセットがビデオオフセットよりも小さい領域２８０３を、ハッチングを施して示している。つまり、領域２８０２および２８０３は、三次元表示した際に、ビデオデータのほうが字幕データ２８０１よりも前面に位置する領域である。
【０２１１】
図２９は、字幕のグラフィックオフセットの方がビデオオフセットよりも小さい場合の出力三次元画像データ５８の一例を示す図である。図２９（ａ）は、左眼用画像５８Ｌの一例を示す図であり、図２９（ｂ）は、右眼用画像５８Ｒの一例を示す図である。
【０２１２】
図２９（ａ）に示すように、Ｌ合成部１６２Ｌは、領域２８０２においては、グラフィックデータに字幕データ２８０１を重ね合わせることは行わない。このため、領域２８０２において、ビデオデータの画素値を画素値とする左眼用画像５８Ｌが生成される。
【０２１３】
同様に、図２９（ｂ）に示すように、Ｒ合成部１６２Ｒは、領域２８０３においては、グラフィックデータに字幕データ２８０１を重ね合わせることは行わない。このため、領域２８０３において、ビデオデータの画素値を画素値とする右眼用画像５８Ｒが生成される。
【０２１４】
このため、左眼用画像５８Ｌおよび右眼用画像５８Ｒを三次元表示した際には、領域２８０２および２８０３においては、ビデオデータが手前に表示される。このため、視聴者に違和感のない画像の画像信号を生成することができる。
【０２１５】
以上、本発明の実施の形態に係る三次元画像処理装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０２１６】
例えば、サムネイルは、写真のサムネイルではなく、映像のサムネイルであってもよい。この場合、映像のサムネイルは、各画素において異なるオフセットを有し、オフセットはフレーム毎に変化する。このため、サムネイルが重なり合った領域において、背面のサムネイルのオフセットが前面のサムネイルのオフセットよりも大きくなる場合がある。このような場合には、背面のサムネイルの一部の領域が前面のサムネイルよりも前面に表示されることを防止するため、背面のサムネイルのオフセットが前面のサムネイルのオフセットよりも大きくなった場合には、背面のサムネイルのオフセットを前面のサムネイルのオフセットと同じ値に更新するようにしてもよい。これにより、背面のサムネイルの一部の領域が前面のサムネイルよりも前面に表示されることがなくなり、視聴者にとって違和感のない画像の画像信号を生成することができる。
【０２１７】
また、上記説明では、オフセットを決定した後に、オフセットに連動させてブレンド率を決定したが、ブレンド率を決定した後に、ブレンド率に連動させてオフセットを決定するようにしてもよい。
【０２１８】
また、上記説明では、予め定められた固定ブレンド率の中からブレンド率を選択することとしているが、オフセットに連動させてブレンド率を決定するようにしてもよい。つまり、オフセットに所定の係数を掛け合わせたものをブレンド率とするようにしてもよい。
【０２１９】
また、上記説明では、専用メガネ（シャッタメガネ４３）を用いる場合を例に述べたが、専用メガネを用いない方式にも本発明を適用できる。
【０２２０】
また、上記説明では、三次元画像に、異なる視差を有する左眼用画像と右眼用画像とが含まれる例を述べたが、三次元画像に異なる視差を有する３以上の画像が含まれてもよい。
【０２２１】
また、上記説明では、三次元画像処理装置１００は、左眼用画像５８Ｌと右眼用画像５８Ｒとを個別に出力しているが、左眼用画像５８Ｌと右眼用画像５８Ｒとを合成したうえで出力してもよい。
【０２２２】
また、上記説明では、本発明に係る三次元画像処理装置１００をデジタルテレビおよびデジタルビデオレコーダに適用した例を述べたが、本発明に係る三次元画像処理装置１００は、デジタルテレビ以外の三次元画像を表示する三次元画像表示装置（例えば、携帯電話機器、パーソナルコンピュータ等）に適用できる。また、本発明に係る三次元画像処理装置１００は、デジタルビデオレコーダ以外の三次元画像を出力する三次元画像出力装置（例えば、ＢＤプレーヤ等）に適用できる。
【０２２３】
また、上記実施の形態１〜３に係る三次元画像処理装置１００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されてもよい。
【０２２４】
また、集積回路化はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２２５】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
【０２２６】
また、本発明の実施の形態１〜３に係る三次元画像処理装置１００および１００Ｂの機能の一部または全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０２２７】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０２２８】
また、上記実施の形態１〜３およびそれらの変形例に係る三次元画像処理装置１００および１００Ｂの機能のうち少なくとも一部を組み合わせてもよい。
【０２２９】
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【０２３０】
さらに、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【０２３１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０２３２】
本発明は、三次元画像処理装置に適用でき、特に、デジタルテレビ、デジタルビデオレコーダおよび三次元表示可能な画像信号を生成するパーソナルコンピュータ等に適用できる。
【符号の説明】
【０２３３】
１０、１１  三次元画像表示システム
１５  サムネイル表示装置
２０  デジタルテレビ
２１、３１  入力部
２３、３３  ＨＤＭＩ通信部
２６  表示パネル
２７  トランスミッタ
３０  デジタルビデオレコーダ
４０  ケーブル
４１  光ディスク
４２  放送波
４３  シャッタメガネ
５１、５５  符号化三次元画像データ
５３、５８  出力三次元画像データ
５７  入力三次元画像データ
５８Ｌ  左眼用画像
５８Ｒ  右眼用画像
１００、１００Ｂ  三次元画像処理装置
１１０、３１０  デコーダ
１２０  メモリ部
１２１、３２１  第１メモリ
１２２、３２２  第２メモリ
１２３、３２３  第３メモリ
１３０、３３１、３３２、３３３  表示位置制御部
１３２Ｌ  Ｌ表示位置制御部
１３２Ｒ  Ｒ表示位置制御部
１４０  オフセット制御部
１４１  オフセット記憶部
１４２  選択入力受付部
１４３  前後位置関係制御部
１４４  オフセット加算制御部
１４５  オフセット出力部
１５０  ブレンド率決定部
１５２  Ｌ／Ｒブレンド率合成部
１５３  ブレンド率記憶部
１５４Ｌ  Ｌブレンド率生成部
１５４Ｒ  Ｒブレンド率生成部
１５６  ブレンド率制御部
１５７  比較制御部
１５８  合成順序生成部
１５９  前後情報生成部
１６０、３５０  合成部
１６２Ｌ  Ｌ合成部
１６２Ｒ  Ｒ合成部
１７０  Ｌ／Ｒ切替え制御部
１８０  セレクタ
１９０  リミット部
１９２Ｌ  Ｌ表示位置リミット制御部
１９２Ｒ  Ｒ表示位置リミット制御部
１９４  オフセット減算制御部
２０１Ｌ  Ｌビデオデコーダ
２０１Ｒ  Ｒビデオデコーダ
２０２Ｌ  Ｌフレームメモリ
２０２Ｒ  Ｒフレームメモリ
２０３Ｌ、２０８Ｌ  Ｌ画像出力制御部
２０３Ｒ、２０８Ｒ  Ｒ画像出力制御部
２０４  ビデオオフセット算出部
２０５  制御部
２０６Ｌ  Ｌグラフィックデコーダ
２０６Ｒ  Ｒグラフィックデコーダ
２０７Ｌ  Ｌグラフィックメモリ
２０７Ｒ  Ｒグラフィックメモリ
【図１】
2011070450.tif 000004
【図２Ａ】
2011070450.tif 000005
【図２Ｂ】
2011070450.tif 000006
【図３】
2011070450.tif 000007
【図４】
2011070450.tif 000008
【図５】
2011070450.tif 000009
【図６】
2011070450.tif 000010
【図７】
2011070450.tif 000011
【図８】
2011070450.tif 000012
【図９】
2011070450.tif 000013
【図１０】
2011070450.tif 000014
【図１１】
2011070450.tif 000015
【図１２】
2011070450.tif 000016
【図１３】
2011070450.tif 000017
【図１４】
2011070450.tif 000018
【図１５】
2011070450.tif 000019
【図１６】
2011070450.tif 000020
【図１７】
2011070450.tif 000021
【図１８】
2011070450.tif 000022
【図１９】
2011070450.tif 000023
【図２０】
2011070450.tif 000024
【図２１】
2011070450.tif 000025
【図２２】
2011070450.tif 000026
【図２３】
2011070450.tif 000027
【図２４】
2011070450.tif 000028
【図２５】
2011070450.tif 000029
【図２６】
2011070450.tif 000030
【図２７】
2011070450.tif 000031
【図２８】
2011070450.tif 000032
【図２９】
2011070450.tif 000033
【図３０】
2011070450.tif 000034
【図３１】
2011070450.tif 000035
【図３２】
2011070450.tif 000036