(57)【要約】【課題】３Ｄコンテンツを擬似的に立体表示可能な表示処理装置、表示処理方法およびプログラムを提供する。【解決手段】立体画像Ｐａの左眼用画像Ｐｌと右眼用画像Ｐｒを取得する画像取得部１１と、左眼用画像と右眼用画像に含まれる画像要素毎に視差ｄを計算する視差計算部１３と、左眼用画像または右眼用画像として選択された選択画像に含まれる画像要素のうち、視差が所定の閾値ｄｔ未満となる画像要素の領域をぼかし領域ｐｂに設定する領域設定部１４と、選択画像のぼかし領域にぼかし処理を施すぼかし処理部１５と、ぼかし処理を施した選択画像と、ぼかし処理を施す前の選択画像とを切替えて表示させる表示制御部１６とを備える。【選択図】図３
2012100116.tif 000002
【特許請求の範囲】
【請求項１】
立体画像の左眼用画像と右眼用画像を取得する画像取得部と、
前記左眼用画像と前記右眼用画像に含まれる画像要素毎に視差を計算する視差計算部と、
前記左眼用画像または前記右眼用画像として選択された選択画像に含まれる画像要素のうち、前記視差が所定の閾値未満となる前記画像要素の領域をぼかし領域に設定する領域設定部と、
前記選択画像の前記ぼかし領域にぼかし処理を施すぼかし処理部と、
前記ぼかし処理を施した前記選択画像と、前記ぼかし処理を施す前の前記選択画像とを切替えて表示させる表示制御部と
を備える表示処理装置。
【請求項２】
前記左眼用画像と前記右眼用画像について、画像横方向で前記画像要素の境界をなすエッジ成分を検出するエッジ検出部をさらに備え、
前記視差計算部は、前記左眼用画像と前記右眼用画像の前記エッジ成分の画像横方向の位置の差に基づき前記視差を計算し、
前記領域設定部は、前記選択画像に含まれる前記エッジ成分のうち、前記視差が所定の閾値未満となる前記エッジ成分に沿う領域を前記ぼかし領域に設定する、請求項１に記載の表示処理装置。
【請求項３】
前記エッジ検出部は、前記左眼用画像と前記右眼用画像について、一画素と左または右に隣接する画素との間で輝度または色の差が所定閾値以上の画素を前記エッジ成分として検出する、請求項２に記載の表示処理装置。
【請求項４】
前記エッジ検出部は、前記左眼用画像と前記右眼用画像について、一画素と左に隣接する画素との間の輝度または色の差と、前記一画素と右に隣接する画素との間の輝度または色の差との差が所定閾値以上の画素を前記エッジ成分として検出する、請求項２に記載の表示処理装置。
【請求項５】
前記ぼかし処理部は、前記視差が小さいほど前記ぼかし領域に施すぼかし効果を大きくする、請求項１に記載の表示処理装置。
【請求項６】
前記ぼかし処理部は、前記視差が小さいほど前記ぼかし領域の幅を大きくする、請求項２に記載の表示処理装置。
【請求項７】
前記表示制御部の制御下で、前記ぼかし処理を施した前記選択画像と、前記ぼかし処理を施す前の前記選択画像とを切替えて表示する画像表示部をさらに備える、請求項１に記載の表示処理装置。
【請求項８】
立体画像の左眼用画像と右眼用画像を取得し、
前記左眼用画像と前記右眼用画像に含まれる画像要素毎に視差を計算し、
前記左眼用画像または前記右眼用画像として選択された選択画像に含まれる画像要素のうち、前記視差が所定の閾値未満となる前記画像要素の領域をぼかし領域に設定し、
前記選択画像の前記ぼかし領域にぼかし処理を施し、
前記ぼかし処理を施した前記選択画像と、前記ぼかし処理を施す前の前記選択画像とを切替えて表示させること
を含む表示処理方法。
【請求項９】
立体画像の左眼用画像と右眼用画像を取得し、
前記左眼用画像と前記右眼用画像に含まれる画像要素毎に視差を計算し、
前記左眼用画像または前記右眼用画像として選択された選択画像に含まれる画像要素のうち、前記視差が所定の閾値未満となる前記画像要素の領域をぼかし領域に設定し、
前記選択画像の前記ぼかし領域にぼかし処理を施し、
前記ぼかし処理を施した前記選択画像と、前記ぼかし処理を施す前の前記選択画像とを切替えて表示させること
を含む表示処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示処理装置、表示処理方法およびプログラムに係り、特に３Ｄコンテンツを擬似的に立体表示する表示処理装置、表示処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、三次元の画像や映像を含むコンテンツ（３Ｄコンテンツ）の普及とともに、３Ｄコンテンツを立体表示する三次元（３Ｄ）ディスプレイ等が普及しつつある。しかし、３Ｄディスプレイの普及が３Ｄコンテンツの普及に追いついておらず、従来の二次元（２Ｄ）ディスプレイで３Ｄコンテンツを表示する機会が多くある。この場合、２Ｄディスプレイでは、例えば３Ｄコンテンツであることを示すアイコンとともに３Ｄコンテンツが平面的に表示される。よって、ユーザは、立体的に表示された状態での３Ｄコンテンツの雰囲気を直感的に知ることができない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来、２Ｄコンテンツに画像処理を施して擬似的な３Ｄコンテンツを生成する技術が知られている。しかし、この技術は、特徴量抽出処理等に多くの演算リソースを必要とするので、立体的に表示された状態での３Ｄコンテンツの雰囲気を簡易に示すことを目的として、３Ｄコンテンツを擬似的に立体表示するという用途にはあまり適していない。
【０００４】
本発明は、３Ｄコンテンツを擬似的に立体表示可能な表示処理装置、表示処理方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００５】
本発明のある観点によれば、立体画像の左眼用画像と右眼用画像を取得する画像取得部と、左眼用画像と右眼用画像に含まれる画像要素毎に視差を計算する視差計算部と、左眼用画像または右眼用画像として選択された選択画像に含まれる画像要素のうち、視差が所定の閾値未満となる画像要素の領域をぼかし領域に設定する領域設定部と、選択画像のぼかし領域にぼかし処理を施すぼかし処理部と、ぼかし処理を施した選択画像と、ぼかし処理を施す前の選択画像とを切替えて表示させる表示制御部とを備える表示処理装置が提供される。
【０００６】
また、表示処理装置は、左眼用画像と右眼用画像について、画像横方向で画像要素の境界をなすエッジ成分を検出するエッジ検出部をさらに備え、視差計算部は、左眼用画像と右眼用画像のエッジ成分の画像横方向の位置の差に基づき視差を計算し、領域設定部は、選択画像に含まれるエッジ成分のうち、視差が所定の閾値未満となるエッジ成分に沿う領域をぼかし領域に設定してもよい。
【０００７】
また、エッジ検出部は、左眼用画像と右眼用画像について、一画素と左または右に隣接する画素との間で輝度または色の差が所定閾値以上の画素をエッジ成分として検出してもよい。
【０００８】
また、エッジ検出部は、左眼用画像と右眼用画像について、一画素と左に隣接する画素との間の輝度または色の差と、一画素と右に隣接する画素との間の輝度または色の差との差が所定閾値以上の画素をエッジ成分として検出してもよい。
【０００９】
また、ぼかし処理部は、視差が小さいほどぼかし領域に施すぼかし効果を大きくしてもよい。
【００１０】
また、ぼかし処理部は、視差が小さいほどぼかし領域の幅を大きくしてもよい。
【００１１】
また、表示処理装置は、表示制御部の制御下で、ぼかし処理を施した選択画像と、ぼかし処理を施す前の選択画像とを切替えて表示する画像表示部をさらに備えてもよい。
【００１２】
本発明の他の観点によれば、立体画像の左眼用画像と右眼用画像を取得し、左眼用画像と右眼用画像に含まれる画像要素毎に視差を計算し、左眼用画像または右眼用画像として選択された選択画像に含まれる画像要素のうち、視差が所定の閾値未満となる画像要素の領域をぼかし領域に設定し、選択画像のぼかし領域にぼかし処理を施し、ぼかし処理を施した選択画像と、ぼかし処理を施す前の選択画像とを切替えて表示させることを含む表示処理方法が提供される。
【００１３】
本発明の他の観点によれば、上記表示処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体３４を用いて提供されてもよく、通信手段等を介して提供されてもよい。
【発明の効果】
【００１４】
本発明によれば、３Ｄコンテンツを擬似的に立体表示可能な表示処理装置、表示処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る表示処理装置の構成を示すブロック図である。
【図２】表示処理装置のハードウェア構成の一例を示すブロック図である。
【図３】本発明の一実施形態に係る表示処理方法の一手順を示すフロー図である。
【図４】本発明の一実施形態に係る表示処理方法の他の手順を示すフロー図である。
【図５】立体画像として捉えられる被写体の一例を示す図である。
【図６】図５に示した被写体を捉えた立体画像の左眼用画像と右眼用画像の一例を示す図である。
【図７】図６に示した左眼用画像と右眼用画像から検出されたエッジ成分からなるエッジ画像を示す図である。
【図８Ａ】図６に示した左眼用画像の部分領域におけるエッジ成分の検出の一例を示す図である（１／２）。
【図８Ｂ】図６に示した左眼用画像の部分領域におけるエッジ成分の検出の一例を示す図である（２／２）。
【図９Ａ】図８Ａ、８Ｂに示したエッジ成分の検出の他の例を示す図である（１／２）。
【図９Ｂ】図８Ａ、８Ｂに示したエッジ成分の検出の他の例を示す図である（２／２）。
【図１０】図７に示したエッジ成分の位置の差に基づき求められる視差を示す図である。
【図１１Ａ】図６に示した左眼用画像の部分領域における視差の計算方法の一例を示す図である（１／２）。
【図１１Ｂ】図６に示した左眼用画像の部分領域における視差の計算方法の一例を示す図である（２／２）。
【図１２】選択画像の部分領域におけるぼかし領域の設定の一例を示す図である。
【図１３】図１２に示したぼかし領域の設定の他の例を示す図である。
【図１４】ぼかし処理を施した選択画像の一例を示す図である。
【図１５】図１３に示したぼかし処理済みの選択画像と、ぼかし処理前の選択画像との切替え表示を示す図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
［１．表示処理装置１０の構成］
まず、図１と図２を参照して、本発明の一実施形態に係る表示処理装置１０の構成について説明する。
【００１８】
本発明の一実施形態に係る表示処理装置１０は、従来の２Ｄディスプレイである。表示処理装置１０は、テレビジョン装置、パーソナルコンピュータ、携帯情報端末、携帯電話、ビデオプレイヤ、ゲームプレイヤ等であってもよく、これらの一部であってもよい。なお、表示処理装置１０には、液晶型、プラズマ型、有機ＥＬ型等、任意の表示形式が採用される。
【００１９】
図１は、本発明の一実施形態に係る表示処理装置１０の構成を示している。図１に示すように、表示処理装置１０は、画像取得部１１、エッジ検出部１２、視差計算部１３、領域設定部１４、ぼかし処理部１５、表示制御部１６、画像表示部１７、通信部１８、操作入力部１９、記憶部２０を有している。なお、図１には、表示処理装置１０の主要な機能構成のみが示されている。
【００２０】
画像取得部１１は、立体画像Ｐａの左眼用画像Ｐｌと右眼用画像Ｐｒを取得する。立体画像Ｐａは、左右の眼に生じる視差ｄ（視差の総称）を利用して、その画像を立体的に視認させる画像である。立体画像Ｐａは、左眼により視認される左眼用画像Ｐｌと、右眼により視認される右眼用画像Ｐｒとからなる。これらの画像は、別々の画像として取得されてもよく、一体化された画像として取得されて左眼用画像Ｐｌと右眼用画像Ｐｒに区分されてもよい。これらの画像は、記憶部２０から取得されてもよく、通信部１８を通じて外部装置（不図示）から取得されてもよい。取得された画像は、エッジ検出部１２に供給される。なお、以下では、これらの画像が別々の画像として、互いに関連付けて記憶部２０に記憶されている場合を想定して説明する。
【００２１】
エッジ検出部１２は、左眼用画像Ｐｌと右眼用画像Ｐｒについて、画像横方向で画像要素の境界をなすエッジ成分を検出する。エッジ成分は、これらの画像において、画像横方向に隣接または近接する画素のうち、輝度ｂ（輝度の総称）および／または色の変化が所定の閾値以上である画素として検出される。エッジ成分を検出するために、これらの画像は、モノクロ画像であれば輝度成分を含むデータ、カラー画像であればＲ／Ｇ／Ｂ成分、Ｙ／Ｃｂ／Ｃｒ成分等を含むデータとして処理される。エッジ成分の検出結果は、各画像中の位置情報として視差計算部１３に供給される。なお、視差ｄ（視差の総称）の計算およびぼかし領域ｐｂの設定に、エッジ成分を用いない場合、エッジ検出部１２に代えて、視差ｄの計算およびぼかし領域ｐｂの設定に用いる他の画像要素を検出するための要素が設けられる。
【００２２】
視差計算部１３は、左眼用画像Ｐｌと右眼用画像Ｐｒに含まれる画像要素毎に視差ｄを計算する。視差計算部１３は、特に、左眼用画像Ｐｌと右眼用画像Ｐｒのエッジ成分の画像横方向の位置の差に基づき視差ｄを計算する。画像要素は、視差ｄの計算に利用可能な画像成分であり、エッジ成分でもよく、他の成分でもよいが、本実施形態では、特に、エッジ成分の画像横方向の位置の差に基づき視差ｄを計算する場合について説明する。視差ｄの計算結果は、エッジ成分毎の視差ｄとして領域設定部１４に供給される。また、視差ｄの計算結果は、記憶部２０に記憶されることが望ましい。
【００２３】
領域設定部１４は、左眼用画像Ｐｌまたは右眼用画像Ｐｒとして選択された選択画像に含まれる画像要素のうち、視差ｄが所定の閾値ｄｔ未満となる画像要素の領域をぼかし領域ｐｂに設定する。領域設定部１４は、特に、選択画像に含まれる画像要素のうち、視差ｄが所定の閾値ｄｔ未満となるエッジ成分に沿う領域をぼかし領域ｐｂに設定する。
【００２４】
選択画像は、立体画像Ｐａを擬似的に立体表示する場合に用いられる画像である。選択画像は、後述するように、ぼかし処理を施された選択画像と、ぼかし処理を施される前の選択画像との組合せとして、立体表示に用いられる。画像要素は、ぼかし領域ｐｂの設定に利用可能な画像成分であり、エッジ成分でもよく、他の成分でもよいが、本実施形態では、特に、エッジ成分に沿う領域にぼかし領域ｐｂを設定する場合について説明する。
【００２５】
ぼかし領域ｐｂは、例えば、エッジ成分に沿う一定幅の画素領域として設定される。ここで、後述するように、エッジ成分は、その視差ｄが小さいほど、選択画像の奥行き側に位置する被写体Ｏ（被写体の総称）を表している。このため、視差ｄが所定の閾値ｄｔ未満となるエッジ成分に沿う領域にぼかし領域ｐｂを設定することは、選択画像の奥行き側に位置する被写体Ｏをぼかして表すことになる。ぼかし領域ｐｂの設定結果は、選択画像中の位置情報としてぼかし処理部１５に供給される。
【００２６】
ぼかし処理部１５は、選択画像のぼかし領域ｐｂにぼかし処理を施す。ぼかし処理では、エッジ成分を不明瞭にするために、ぼかし領域ｐｂの画素について、例えば、輝度を下げたり、色を薄くしたりする処理が行われる。ぼかし処理の処理結果は、ぼかし処理済みの選択画像として記憶部２０に記憶される。なお、記憶部２０には、ぼかし処理済みの選択画像に関連付けて、ぼかし処理前の選択画像（つまり選択画像）が記憶されている。
【００２７】
操作入力部１９は、ユーザからの操作入力を受ける。操作入力部１９は、例えば、リモコン、ボタン、スイッチ、キーボード、マウス、タッチパッドとして構成される。
【００２８】
表示制御部１６は、ぼかし処理済みの選択画像と、ぼかし処理前の選択画像とを切替えて画像表示部１７に表示させる。表示制御部１６は、これらの画像を記憶部２０から読み出して、画像表示部１７に交互に供給する。つまり、一方の画像が表示された後、所定の条件を満たすと他方の画像が代わりに表示され、表示の切替えが同様に繰返される。ここで、表示の切替えは、所定時間の経過に基づき自動で行われてもよく、操作入力部１９からの操作入力に基づき手動で行われてもよい。
【００２９】
通信部１８は、立体画像Ｐａに関する画像データを外部装置との間で送受信する。画像データは、画像取得部１１に供給される画像のデータでもよく、画像表示部１７に供給されるデータでもよい。外部装置は、スチルカメラ、ビデオカメラ等の撮像装置であってもよく、テレビジョン装置、パーソナルコンピュータ、携帯情報端末、携帯電話、ビデオプレイヤ、ゲームプレイヤ等であってもよい。
【００３０】
記憶部２０は、立体画像Ｐａに関する画像データを記憶している。記憶部２０は、少なくとも、ぼかし処理済みの選択画像と、ぼかし処理前の選択画像を記憶している。また、記憶部２０は、エッジ成分の検出結果、視差ｄの計算結果、ぼかし領域ｐｂの設定結果等を記憶してもよい。
【００３１】
図２は、表示処理装置１０のハードウェア構成の一例を示している。図２に示すように、表示処理装置１０は、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、記録媒体３４、入出力インタフェース３５、操作入力デバイス３６、表示デバイス３７、通信インタフェース３８およびバス３９を有する。バス３９は、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、記録媒体３４、入出力インタフェース３５、通信インタフェース３８を相互接続する。
【００３２】
ＭＰＵ３１は、ＲＯＭ３２、ＲＡＭ３３、記録媒体３４等に格納されたプログラムを読出し、ＲＡＭ３３上に展開して実行することで、表示処理装置１０の動作を制御する。ＭＰＵ３１は、特に、画像取得部１１、エッジ検出部１２、視差計算部１３、領域設定部１４、ぼかし処理部１５、表示制御部１６として機能する。なお、特に、表示処理に関連する要素は、専用のプロセッサ等として構成されてもよい。ＲＡＭ３３および／または記録媒体３４は、記憶部２０として機能する。
【００３３】
入出力インタフェース３５は、表示処理装置１０に接続される外部装置（不図示）との間でデータ等を入出力する。操作入力デバイス３６は、キーボード、マウス、タッチパネル等からなり、デバイスを通じて入力された操作入力を入出力インタフェース３５を介してＭＰＵ３１に供給する。表示デバイス３７は、例えば、詳細は後述するが、ぼかし処理済の選択画像とぼかし処理前の選択画像とを切替えて表示する。表示デバイス３７は、特に画像表示部１７として機能する。通信インタフェース３８は、通信回線を通じて外部装置との間で画像データ等を送受信する。通信インタフェース３８は、特に通信部１８として機能する。
【００３４】
［２．表示処理装置１０の動作］
つぎに、図３から図１５を参照して、本発明の一実施形態に係る表示処理装置１０の動作について説明する。
【００３５】
図３は、本発明の一実施形態に係る表示処理方法の一手順を示している。図３に示すように、表示処理装置１０では、まず、画像取得部１１が立体画像Ｐａの左眼用画像Ｐｌと右眼用画像Ｐｒを取得する（ステップＳ１１）。つぎに、視差計算部１３が両方の画像に含まれる画像要素毎に視差ｄを計算する（ステップＳ１２）。つぎに、領域設定部１４が左眼用画像Ｐｌまたは右眼用画像Ｐｒとして選択された選択画像の画像要素のうち、視差ｄが所定の閾値ｄｔ未満となる画像要素の領域をぼかし領域ｐｂに設定する（ステップＳ１３）。つぎに、ぼかし処理部１５が選択画像のぼかし領域ｐｂにぼかし処理を施す（ステップＳ１４）。そして、表示制御部１６がぼかし処理済みの選択画像と、ぼかし処理前の選択画像とを切替えて画像表示部１７に表示させる（ステップＳ１５）。なお、選択画像は、ぼかし領域ｐｂの設定以前の任意の時点で選択される。
【００３６】
図４は、本発明の一実施形態に係る表示処理方法の他の手順を示している。この手順では、視差ｄの計算とぼかし領域ｐｂの設定がエッジ成分に基づき行われる。図４に示すように、両方の画像が取得されると（ステップＳ１１）、エッジ検出部１２が各画像について、画像横方向で画像要素の境界をなすエッジ成分を検出する（ステップＳ１６）。つぎに、視差計算部１３が両画像のエッジ成分の画像横方向の位置の差に基づき視差ｄを計算する（ステップＳ１７）。つぎに、領域設定部１４が選択画像の画像要素のうち、視差ｄが所定の閾値ｄｔ未満となるエッジ成分に沿う領域をぼかし領域ｐｂに設定する（ステップＳ１８）。そして、選択画像にぼかし処理が施された後（ステップＳ１４）に、ぼかし処理済みの選択画像とぼかし処理前の選択画像が切替えて表示される（ステップＳ１５）。
【００３７】
以下では、図５から図１５を参照して、図４に示したエッジ成分に基づく表示処理方法について具体的に説明する。
【００３８】
図５は、立体画像Ｐａとして捉えられる被写体Ｏの一例を示す図である。図５に示すように、立体画像Ｐａには、前景となる人物Ｏ１と、背景となる立木Ｏ２、ヨットＯ３、雲・水平線Ｏ４とが被写体Ｏとして捉えられる。各被写体Ｏは、画像の奥行き方向にある程度の距離で隔てられている。具体的には、人物Ｏ１、立木Ｏ２、ヨットＯ３、雲・水平線Ｏ４の順序で、ある程度の距離で隔てられている。図５に示す被写体Ｏを捉えた立体画像Ｐａでは、画像の手前側に前景の被写体Ｏ１が配置され、奥行き側に背景の被写体Ｏ２〜Ｏ４が配置される。なお、図５は、立体画像Ｐａとして捉えられる被写体Ｏの一例を示しているにすぎず、本発明は、画像の奥行き方向にある程度の距離で隔てられている複数の被写体Ｏを捉えている立体画像Ｐａに適用することができる。なお、立体画像Ｐａでは、画像の手前側の被写体ほど濃いハッチングが施されている。
【００３９】
図６は、図５に示した被写体Ｏを捉えた立体画像Ｐａの左眼用画像Ｐｌと右眼用画像Ｐｒの一例を示している。なお、左眼用画像Ｐｌと右眼用画像Ｐｒは、図５に示した被写体Ｏの一部を捉えている。図６に示すように、左眼用画像Ｐｌと右眼用画像Ｐｒとを対比すると、視差ｄを生じ易い前景の被写体Ｏ１は、画像横方向の位置が変化している。つまり、左眼用画像Ｐｌでは、前景の被写体Ｏ１が背景の被写体Ｏ２〜Ｏ４に対して右方向に変位している一方、右眼用画像Ｐｒでは、前景の被写体Ｏ１が背景の被写体Ｏ２〜Ｏ４に対して左方向に変位している。一方、視差ｄを生じ難い背景の被写体Ｏ２〜Ｏ４は、左眼用画像Ｐｌと右眼用画像Ｐｒにおける殆ど同じ位置に配置されている。より詳しくは、前景の被写体Ｏ１に比べると変位が小さいが、立木Ｏ２、ヨットＯ３、雲・水平線Ｏ４の順序で、つまり、画像の手前側に位置する被写体Ｏほど、画像横方向に変位している。なお、左眼用画像Ｐｌと右眼用画像Ｐｒでは、画像の手前側の被写体ほど濃いハッチングが施されている。
【００４０】
図７は、図６に示した左眼用画像Ｐｌと右眼用画像Ｐｒから検出されたエッジ成分からなるエッジ画像Ｈｌ、Ｈｒを示す図である。図７に示すように、エッジ成分は、被写体Ｏの輪郭に沿って検出されている。左眼用画像Ｐｌと右眼用画像Ｐｒでは、視差ｄの発生状況に応じてエッジ成分の検出結果が異なる。ここで、エッジ成分の検出結果は、各画像中におけるエッジ成分の位置情報として表される。エッジ成分の検出結果は、画素の座標情報として表されてもよく、エッジ成分の有無を示すマトリクス情報として表されてもよい。
【００４１】
図８Ａ、８Ｂは、図６に示した左眼用画像Ｐｌ中、ヨットＯ３の一部を表す部分領域におけるエッジ成分の検出の一例を示している。図８Ａ、８Ｂに示す例では、画像横方向に隣接する画素のうち、輝度差Δｂ（輝度差の総称）が所定の閾値Δｂｔ１以上の画素がエッジ成分として検出される。なお、エッジ成分は、色差に基づき検出されてもよく、輝度差Δｂと色差に基づき検出されてもよい。
【００４２】
図８Ａでは、画素ｐｌ１と隣接画素ｐｌ２の輝度ｂｌ１、ｂｌ２が読み出されて比較される。この場合、輝度差Δｂ＝｜ｂｌ１−ｂｌ２｜＜Δｂｔ１であるので、画素ｐｌ１および画素ｐｌ２のいずれもエッジ成分としては検出されない。一方、図８Ｂでは、左眼用画像Ｐｌが右方向に走査され、画素ｐｌ２と隣接画素ｐｌ３の輝度ｂｌ２、ｂｌ３が読み出されて比較される。この場合、輝度差Δｂ＝｜ｂｌ２−ｂｌ３｜≧Δｂｔ１であるので、画素ｐｌ２または画素ｐｌ３のいずれかがエッジ成分として検出される。なお、エッジ成分として検出する画素は、左眼用画像Ｐｌと右眼用画像Ｐｒとの間で統一されていれば、左側の画素（画素ｐｌ２等）または右側の画素（画素ｐｌ３等）のどちらでもよいが、以下では、左側の画素をエッジ成分として検出する場合について説明する。
【００４３】
図９Ａ、９Ｂは、図８Ａ、８Ｂに示した場合におけるエッジ成分の検出の他の例を示している。図９Ａ、９Ｂに示す例では、画像横方向に近接する画素のうち、輝度差Δｂが所定の閾値Δｂｔ２以上の画素がエッジ成分として検出される。なお、所定の閾値Δｂｔ２は、所定の閾値Δｂｔ１と同一の値でもよく、異なる値でもよい。また、エッジ成分は、色差に基づき検出されてもよく、輝度差Δｂと色差に基づき検出されてもよい。
【００４４】
図９Ａでは、互いに隣接する画素ｐｌ１、ｐｌ２、ｐｌ３の輝度ｂｌ１、ｂｌ２、ｂｌ３が読出される。そして、画素ｐｌ１と画素ｐｌ２の第１の輝度差Δｂ１＝｜ｂｌ１−ｂｌ２｜と、画素ｐｌ２と画素ｐｌ３の第２の輝度差Δｂ２＝｜ｂｌ２−ｂｌ３｜が求められて比較される。この場合、第１の輝度差Δｂ１と第２の輝度差Δｂ２の差Δｂ＝｜Δｂ１―Δｂ２｜＜Δｂｔ２であるので、画素ｐｌ２がエッジ成分としては検出されない。一方、図９Ｂでは、画素ｐｌ３の輝度ｂｌ３´が図９Ａに示した輝度ｂｌ３とは異なっている。この場合、第１の輝度差Δｂ１と第２の輝度差Δｂ２´＝｜ｂｌ２−ｂｌ３´｜との差Δｂ´＝｜Δｂ１―Δｂ２´｜≧Δｂｔ２であるので、画素ｐｌ２がエッジ成分として検出される。
【００４５】
図８Ａ、８Ｂおよび図９Ａ、９Ｂでは、左眼用画像Ｐｌ中、ヨットＯ３の一部を表す部分領域におけるエッジ成分の検出の例について説明した。しかし、左眼用画像Ｐｌ中、他の被写体Ｏのエッジ成分についても同様に検出される。また、右眼用画像Ｐｒについても同様にエッジ成分が検出される。なお、エッジ成分の検出例では、左眼用画像Ｐｌ中の部分領域の画像要素が模式的に示されている。
【００４６】
図１０は、図７に示したエッジ成分の位置の差に基づき求められる視差ｄを示している。左眼用画像Ｐｌ中の被写体Ｏは、右眼用画像Ｐｒ中の被写体Ｏに対して右方向に変位し、右眼用画像Ｐｒ中の被写体Ｏは、左眼用画像Ｐｌ中の被写体Ｏに対して左方向に変位している。図１０では、左眼用画像Ｐｌのエッジ画像Ｈｌと右眼用画像Ｐｒのエッジ画像Ｈｒとを上下に並べて配置して対比することで、人物Ｏ１、立木Ｏ２、ヨットＯ３、雲・水平線Ｏ４のエッジ成分の一部における視差ｄ１、ｄ２、ｄ３、ｄ４がそれぞれに表されている。ここで、視差ｄの計算結果は、各エッジ成分に関連付けられた情報として表される。なお、エッジ成分の視差ｄは、同一被写体Ｏでも部分的に異なる値として計算される場合もあるが、以下では、説明を容易にするために、被写体Ｏ毎に同一の値として計算される場合を想定する。
【００４７】
図１０に示すように、視差ｄを生じ易い前景の被写体Ｏ１では、相対的に大きな視差ｄ１が生じている。一方、視差ｄを生じ難い背景の被写体Ｏ２〜Ｏ４では、小さな視差ｄ２、ｄ３が生じるか、視差ｄ４が生じていない。より詳しくは、人物Ｏ１、立木Ｏ２、ヨットＯ３、雲・水平線Ｏ４の順序で、つまり、画像の手前側に位置する被写体Ｏほど視差ｄが生じている（ｄ４＜ｄ３＜ｄ２＜ｄ１）。以下では、人物Ｏ１、立木Ｏ２、ヨットＯ３、雲・水平線Ｏ４のエッジ成分について、ｄ１＝５画素分、ｄ２＝３画素分、ｄ３＝２画素分、ｄ４＝０画素分の視差ｄがそれぞれに計算されている場合を想定する。
【００４８】
図１１Ａ、１１Ｂは、図６に示した左眼用画像Ｐｌ中、ヨットＯ３の一部を表す部分領域における視差ｄの計算方法の一例を示している。図１１Ａ、１１Ｂに示す例では、左眼用画像Ｐｌと右眼用画像Ｐｒのエッジ成分の対比に基づき視差ｄ１〜ｄ４が計算されている。ここでは、左眼用画像Ｐｌを基準として、エッジ成分に相当する画素の輝度差Δｂと所定の閾値Δｂｔ３との比較に基づき視差ｄを計算する場合について説明する。なお、所定の閾値Δｂｔ３は、所定の閾値Δｂｔ１、Δｂｔ２と同一の値でもよく、異なる値でもよい。また、視差ｄは、色差に基づき計算されてもよく、輝度差Δｂと色差に基づき計算されてもよい。なお、視差ｄの計算方法の例では、左眼用画像Ｐｌまたは右眼用画像Ｐｒ中の部分領域の画像要素が模式的に示されている。
【００４９】
図１１Ａに示すように、左眼用画像Ｐｌ中では、任意のエッジ成分に相当する画素ｐｌ４の輝度ｂｌ４が読出される。一方、右眼用画像Ｐｒ中では、画素ｐｌ４の位置情報に基づき、右眼用画像Ｐｒ中で同一位置にある画素ｐｒ４の輝度ｂｒ４が読出される。そして、画素ｐｌ４と画素ｐｒ４の輝度ｂｌ４、ｂｒ４の比較に基づき、同一のエッジ成分か否かが判定される。この場合、輝度差Δｂ＝｜ｂｌ４−ｂｒ４｜≧Δｂｔ３であるので、画素ｐｌ４と画素ｐｒ４が同一のエッジ成分としては特定されない。
【００５０】
一方、図１１Ｂでは、右眼用画像Ｐｒが左方向に走査され、画素ｐｒ４の左隣の画素ｐｒ５の輝度ｂｒ５が読み出され、画素ｐｌ４の輝度ｂｌ４と比較される。この場合も、輝度差Δｂ＝｜ｂｌ４−ｂｒ５｜≧Δｂｔ３であるので、画素ｐｌ４と画素ｐｒ５が同一のエッジ成分としては特定されない。つぎに、画素ｐｒ４の２つ左隣の画素ｐｒ６の輝度ｂｒ６が読み出され、画素ｐｌ４の輝度ｂｌ４と比較される。この場合、輝度差Δｂ＝｜ｂｌ４−ｂｒ６｜＜Δｂｔ３であるので、画素ｐｌ４と画素ｐｒ６が同一のエッジ成分として特定される。よって、エッジ成分の視差がｄ＝２画素分として計算され、エッジ成分に関連付けて記憶される。
【００５１】
ここで、左眼用画像Ｐｌを基準として同一のエッジ成分を特定する場合、右眼用画像Ｐｒ中の被写体Ｏが左眼用画像Ｐｌ中の被写体Ｏに対して左方向に変位しているので、右眼用画像Ｐｒが左方向に走査される。一方、右眼用画像Ｐｒを基準として同一のエッジ成分を特定する場合には、左眼用画像Ｐｌ中の被写体Ｏが右眼用画像Ｐｒ中の被写体Ｏに対して右方向に変位しているので、左眼用画像Ｐｌが右方向に走査される。これにより、同一のエッジ成分を効率的に特定することができる。
【００５２】
なお、図１１Ａ、１１Ｂでは、一画素の輝度差Δｂに基づき同一のエッジ成分を特定する場合について説明した。しかし、エッジ成分の特定精度を向上するために、一画素に代えて隣接する数画素の輝度差Δｂに基づき同一のエッジ成分を特定してもよい。また、図１１Ｂに示す例では、画像を画素単位で走査することで、２つ隣の画素に基づき同一のエッジ成分が特定された。しかし、相当数の画素を走査しても、同一のエッジ成分を特定することができない場合には、当該エッジ成分について同一のエッジ成分の特定を中断してもよい。
【００５３】
図１２は、選択画像の部分領域におけるぼかし領域ｐｂの設定の一例を示す図である。なお、図１２は、左眼用画像Ｐｌが選択画像として選択され、視差ｄが所定閾値ｄｔ＝５画素分未満となるエッジ成分に沿う領域をぼかし領域ｐｂに設定する場合について説明する。なお、ぼかし領域ｐｂは、視差ｄがｄｔ＝１０画素分未満、ｄｔ＝３画素分未満となるエッジ成分に沿う領域等として設定されてもよい。ここで、ぼかし領域ｐｂの設定結果は、各エッジ成分に関連付けられた情報として表される。ぼかし領域ｐｂの設定結果は、画素の座標情報として表されてもよく、ぼかし領域ｐｂに相当するか否かを示すマトリクス情報として表されてもよい。
【００５４】
図１２には、選択画像中、ヨットＯ３の一部を表す部分領域におけるぼかし領域ｐｂの設定の一例が示されている。なお、図１２、図１３では、斜線を施された領域としてぼかし領域ｐｂが示されている。ここで、前述したように、ヨットＯ３のエッジ成分では、２画素分の視差ｄ３が計算されている。この場合、図１２に示すように、例えば、エッジ成分に相当する画素ｐｌ２と、左右に隣接する画素ｐｌ１、ｐｌ３とからなる幅３画素の領域がぼかし領域ｐｂに設定される。同様にして、ヨットＯ３のエッジ成分に沿う幅３画素の領域がぼかし領域ｐｂに設定される。
【００５５】
同様に、３画素分の視差ｄ２を伴う立木Ｏ２のエッジ成分、０画素分の視差ｄ４を伴う雲・水平線Ｏ４のエッジ成分についても、エッジ成分に沿う幅３画素の領域がぼかし領域ｐｂに設定される。一方、５画素分の視差ｄ１を伴う人物Ｏ１のエッジ成分については、視差ｄが所定閾値（５画素分未満）以上であるので、ぼかし領域ｐｂには設定されない。なお、ぼかし領域ｐｂの設定例では、左眼用画像Ｐｌ中の部分領域の画像要素が模式的に示されている。
【００５６】
図１３は、図１２に示したぼかし領域ｐｂの設定の他の例を示す図である。図１３に示す例では、視差ｄが小さいエッジ成分ほど、ぼかし効果を大きくするように、ぼかし領域ｐｂの幅が大きく設定される。例えば、図１０に示す例では、立木Ｏ２、ヨットＯ３、雲・水平線Ｏ４のエッジ成分について、３画素分の視差ｄ２、２画素分の視差ｄ３、０画素分の視差ｄ４がそれぞれに計算されている。
【００５７】
図１３には、選択画像中、立木Ｏ２の一部を表す部分領域、ヨットＯ３の一部を表す部分領域、雲・水平線Ｏ４の一部を表す部分領域におけるぼかし領域ｐｂの設定の一例が示されている。図１３に示すように、視差ｄが小さいエッジ成分ほど、ぼかし効果を大きくするために、ぼかし領域ｐｂの幅が大きく設定されている。具体的には、立木Ｏ２のエッジ成分について、画素ｐｌ５等の１画素分の幅を有するぼかし領域ｐｂが設定されている。ヨットＯ３のエッジ成分について、画素ｐｌ２、ｐｌ３等の２画素分の幅を有するぼかし領域ｐｂが設定されている。雲・水平線Ｏ４のエッジ成分について、画素ｐｌ７、ｐｌ８、ｐｌ９等の３画素分の幅を有するぼかし領域ｐｂが設定されている。
【００５８】
図１４は、図１２に示したぼかし領域ｐｂにぼかし処理を施した選択画像を示す図である。図１２に示す選択画像では、立木Ｏ２の輪郭、ヨットＯ３の輪郭、雲・水平線Ｏ４の輪郭に沿ってぼかし処理が施されている。ぼかし処理では、選択画像中、ぼかし領域ｐｂの画素について、例えば、輝度を下げたり、色を薄くしたりする処理が行われる。図１４では、立木Ｏ２の輪郭、ヨットＯ３の輪郭、雲・水平線Ｏ４の輪郭を不明瞭な線で表すことで、ぼかし処理の結果が示されている。ぼかし処理を施された選択画像は、ぼかし処理を施される前の選択画像Ｐｌとは別に、ぼかし処理済みの選択画像Ｂｌとして記憶される。
【００５９】
図１５は、図１３に示したぼかし処理済みの選択画像Ｂｌと、ぼかし処理前の画像Ｐｌとの切替え表示を示す図である。表示処理装置１０では、ぼかし処理を完了すると、図１５に示すような、ぼかし処理済みの選択画像Ｂｌと、ぼかし処理前の選択画像Ｐｌとが読み出されて交互に切替えて表示される。なお、表示の切り替えは、所定時間の経過に基づき自動で行われてもよく、操作入力に基づき手動で行われてもよい。
【００６０】
これにより、ぼかし処理済みの選択画像Ｂｌとぼかし処理前の選択画像Ｐｌを切替えて表示することで、ぼかし処理済みの選択画像Ｂｌの背景成分に対して、ぼかし処理済みの選択画像Ｂｌの前景成分とぼかし処理前の選択画像Ｐｌの前景成分が浮きあがって見えるような視覚効果が演出される。なお、本実施形態では、例えば、被写体Ｏ１が前景成分、被写体Ｏ２〜Ｏ３が背景成分となる。よって、ユーザは、立体画像Ｐａが擬似的に立体表示されることで、立体的に表示された状態での立体画像Ｐａの雰囲気を直感的に知ることができる。
【００６１】
特に、エッジ成分に基づく表示処理では、左眼用画像Ｐｌと右眼用画像Ｐｒエッジ成分に基づき視差ｄが計算され、視差ｄが所定の閾値ｄｔ未満となるエッジ成分に沿うぼかし領域ｐｂにぼかし処理が施される。よって、多くの演算リソースを必要とせずに、高速に表示処理を行うことができる。このため、立体的に表示された状態での立体画像Ｐａの雰囲気を簡易に示すことを目的として、立体画像Ｐａを擬似的に立体表示するという用途には非常に適している。
【００６２】
［３．まとめ］
以上説明したように、本発明の一実施形態にかかる表示処理装置１０によれば、立体画像Ｐａの左眼用画像Ｐｌと右眼用画像Ｐｒを用いて画像要素の視差ｄが計算され、視差ｄが所定の閾値ｄｔ未満となる画像要素の領域（ぼかし領域ｐｂ）にぼかし処理が施される。そして、ぼかし処理済みの画像（例えば画像Ｂｌ）とぼかし処理前の画像（例えば画像Ｐｌ）とが切替えて表示される。これにより、ぼかし処理済みの画像（例えば画像Ｂｌ）の背景成分に対して、ぼかし処理済みの画像（例えば画像Ｂｌ）の前景成分とぼかし処理前の画像（例えば画像Ｐｌ）の前景成分が浮きあがって見えるような視覚効果が演出される。よって、ユーザは、立体画像Ｐａが擬似的に立体表示されることで、立体的に表示された状態での立体画像Ｐａの雰囲気を直感的に知ることができる。
【００６３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００６４】
例えば、上記説明では、エッジ成分に基づきぼかし処理する場合について説明したが、エッジ成分に代えて他の画像要素に基づきぼかし処理してもよい。また、上記説明では、エッジ成分に沿う領域のみをぼかし処理する場合について説明したが、エッジ成分に代えて他の画像要素の領域をぼかし処理してもよい。
【００６５】
また、上記説明では、視差ｄが小さい画像要素ほど、ぼかし領域ｐｂを大きく設定する場合について説明したが、ぼかし領域ｐｂを大きくする代わりに、またはそれとともに、輝度を下げる程度を大きくしたり、色を薄くする程度を大きくしたりしてもよい。いずれの場合でも、視差ｄが小さい画像要素ほど、ぼかし効果を大きくすることができる。
【００６６】
また、上記説明では、表示処理装置１０と画像表示部１７とが一体に構成されている場合について説明したが、表示処理装置１０と画像表示部１７とが別々に構成されてもよい。この場合、表示処理装置１０は、図２に示した入出力インタフェース３５、通信インタフェース３８等を通じて、ディスプレイ、モニター等として構成される画像表示部１７に接続されてもよい。
【００６７】
また、上記説明では、立体画像Ｐａを擬似的に立体表示する場合について説明したが、同様の原理で立体映像を擬似的に立体表示してもよい。
【符号の説明】
【００６８】
１０    表示処理装置
１１    画像取得部
１２    エッジ検出部
１３    視差計算部
１４    領域設定部
１５    ぼかし処理部
１６    表示制御部
１７    画像表示部
Ｐａ    立体画像
Ｐｌ    左眼用画像
Ｐｒ    右眼用画像
ｄ    視差
ｐｂ    ぼかし領域
【図１】
2012100116.tif 000003
【図２】
2012100116.tif 000004
【図３】
2012100116.tif 000005
【図４】
2012100116.tif 000006
【図５】
2012100116.tif 000007
【図６】
2012100116.tif 000008
【図７】
2012100116.tif 000009
【図８Ａ】
2012100116.tif 000010
【図８Ｂ】
2012100116.tif 000011
【図９Ａ】
2012100116.tif 000012
【図９Ｂ】
2012100116.tif 000013
【図１０】
2012100116.tif 000014
【図１１Ａ】
2012100116.tif 000015
【図１１Ｂ】
2012100116.tif 000016
【図１２】
2012100116.tif 000017
【図１３】
2012100116.tif 000018
【図１４】
2012100116.tif 000019
【図１５】
2012100116.tif 000020