(57)【要約】  主要被写体よりも手前にある物体のうち、ずれベクトルの大きさが所定の閾値以上である場合物体を対象被写体と判定する。左目用画像から右目用画像の背景画像を抽出し、右目用画像の背景画像を右目用画像に合成して右目用画像から対象被写体を削除する。また、左目用画像の右目用画像における対象被写体の位置に対象被写体を合成することで、左目用画像に対象被写体を二重表示させる。 対象被写体が削除された右目用画像と対象被写体が二重表示された左目用画像とがモニタ１６に表示され、立体表示が行われる。これにより、対象被写体を三次元に見えないようにすることができる。ひいては、ユーザーの目の疲弊を考慮して立体画像を表示することが可能となる。
2012002106.tif 000002
【特許請求の範囲】
【請求項１】
左目用画像及び右目用画像を取得する取得部と、
前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示部と、
前記左目用画像及び前記右目用画像を前記表示部に表示させた時に、前記表示部の表示面から飛び出す方向の視差を有する被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出する対象被写体抽出部と、
前記対象被写体抽出部により抽出された前記対象被写体に基づいて前記左目用画像及び前記右目用画像に対して画像処理を行う画像処理部であって、前記左目用画像における前記対象被写体の位置及び前記右目用画像における前記対象被写体の位置の２つの位置に前記対象被写体の画像（以下、対象被写体像という）を表示させる処理（以下、前記対象被写体像を二重表示させる処理という）を前記左目用画像及び前記右目用画像のいずれか一方（以下、第１の画像という）に対して行うと共に、前記左目用画像及び前記右目用画像のうちの前記第１の画像以外の画像（以下、第２の画像という）から前記対象被写体像を削除する処理を行う、又は前記対象被写体像を二重表示させる処理を前記左目用画像及び前記右目用画像に対して行う画像処理部と、
前記画像処理部により画像処理が行われた左目用画像及び右目用画像を前記表示部に表示させる表示制御部と、
を備える立体画像表示装置。
【請求項２】
前記対象被写体抽出部は、前記表示部の表示面から飛び出す方向の視差が所定の大きさ以上である被写体を前記対象被写体として抽出する請求項１に記載の立体画像表示装置。
【請求項３】
前記左目用画像及び前記右目用画像から主要被写体を抽出する主要被写体抽出部と、
前記左目用画像における前記主要被写体の位置と、前記右目用画像における前記主要被写体の位置とが一致するように前記左目用画像又は前記右目用画像を水平方向にずらすことで視差ずらしを行う視差ずらし部とを、さらに備え、
前記対象被写体抽出部は、前記視差ずらし部により視差ずらしが行われた後の左目用画像又は右目用画像のそれぞれから前記対象被写体を抽出し、
前記画像処理部は、前記視差ずらし部により視差ずらしが行われた後の左目用画像における前記対象被写体の位置及び前記視差ずらし部により視差ずらしが行われた後の右目用画像における前記対象被写体の位置の２つの位置に前記対象被写体像を表示させることで前記対象被写体像を二重表示させる、請求項１又は２に記載の立体画像表示装置。
【請求項４】
前記左目用画像及び前記右目用画像から所定の被写体を抽出し、前記所定の被写体の前記第１の画像における位置に対する前記第２の画像における位置のずれを示すずれベクトルを前記所定の被写体のずれベクトルとして算出する処理を前記左目用画像及び前記右目用画像に含まれる全ての被写体に対して行うずれベクトル算出部をさらに備え、
前記対象被写体抽出部は、前記ずれベクトル算出部により算出されたずれベクトルに基づいて前記対象被写体を抽出する、請求項１から３のいずれかに記載の立体画像表示装置。
【請求項５】
前記画像処理部は、
前記第１の画像から前記対象被写体像を抽出し、この前記第１の画像から抽出された対象被写体像から前記ずれベクトル算出部により前記対象被写体に対して算出されたずれベクトルだけ移動させた位置に前記対象被写体像を合成することで、前記第１の画像に前記対象被写体像を二重表示させる装置と、
前記第２の画像から前記対象被写体像及びその周囲の画像を抽出し、この前記第２の画像から抽出された周囲の画像に基づいて前記第２の画像における前記対象被写体の背景（以下、背景画像という）を前記第１の画像から抽出し、この前記第１の画像より抽出された背景画像を前記第２の画像の前記抽出された対象被写体像に重ねて合成することで前記第２の画像から前記対象被写体像を削除する装置と、
を有する、請求項４に記載の立体画像表示装置。
【請求項６】
前記画像処理部は、前記第１の画像から前記対象被写体像を抽出し、この前記第１の画像から抽出された対象被写体像から前記ずれベクトル算出部により前記対象被写体に対して算出されたずれベクトルだけ移動させた位置に前記対象被写体像を半透明化して合成することで、前記第１の画像に前記対象被写体像を二重表示させる、請求項５に記載の立体画像表示装置。
【請求項７】
前記画像処理部は、前記第１の画像から前記対象被写体像を抽出し、この前記第１の画像から抽出された対象被写体像から前記ずれベクトル算出部により前記対象被写体に対して算出されたずれベクトル（以下、対象被写体のずれベクトルという）だけ移動させた位置に前記対象被写体像を半透明化して合成すると共に、前記第２の画像から前記対象被写体像を抽出し、この前記第２の画像から抽出された対象被写体像から前記対象被写体のずれベクトルの大きさだけ前記対象被写体のずれベクトルと反対方向に移動させた位置に前記対象被写体像を半透明化して合成することで、前記第１の画像及び前記第２の画像に前記対象被写体像を二重表示させる、請求項４に記載の立体画像表示装置。
【請求項８】
前記画像処理部は、
前記第１の画像から前記対象被写体像を抽出し、この前記第１の画像から抽出された対象被写体像から前記ずれベクトル算出部により前記対象被写体に対して算出されたずれベクトル（以下、対象被写体のずれベクトルという）だけ移動させた位置に前記対象被写体像を半透明化して合成すると共に、前記第２の画像から前記対象被写体像を抽出し、この前記第２の画像から抽出された対象被写体像から前記対象被写体のずれベクトルの大きさだけ前記対象被写体のずれベクトルと反対方向に移動させた位置に前記対象被写体像を半透明化して合成する装置と、
前記第２の画像から前記対象被写体像及びその周囲の画像を抽出し、この前記第２の画像から抽出された周囲の画像に基づいて前記第２の画像における前記対象被写体の背景（以下、背景画像という）を前記第１の画像から抽出し、前記第１の画像から抽出された背景画像を半透明化して前記第２の画像の前記抽出された対象被写体像に重ねて合成すると共に、前記第１の画像から前記対象被写体像及びその周囲の画像を抽出し、この前記第１の画像から抽出された周囲の画像に基づいて前記第１の画像における背景画像を前記第２の画像から抽出し、この前記第２の画像から抽出された背景画像を半透明化して前記第１の画像の前記抽出された対象被写体像に重ねて合成する装置と、
を有する、請求項４に記載の立体画像表示装置。
【請求項９】
前記画像処理部は、前記半透明化の度合いを前記対象被写体の大きさに基づいて変更する、請求項６から８のいずれかに記載の立体画像表示装置。
【請求項１０】
左目用画像及び右目用画像を取得するステップと、
前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示部に前記左目用画像及び前記右目用画像を表示させた時に、前記表示部の表示面から飛び出す方向の視差を有する被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出するステップと、
前記抽出された対象被写体に基づいて前記左目用画像及び前記右目用画像に対して画像処理を行うステップであって、前記左目用画像における前記対象被写体の位置及び前記右目用画像における前記対象被写体の位置の２つの位置に前記対象被写体の画像（以下、対象被写体像という）を表示させる処理（以下、前記対象被写体像を二重表示させる処理という）を前記左目用画像及び前記右目用画像のいずれか一方（以下、第１の画像という）に対して行うと共に、前記左目用画像及び前記右目用画像のうちの前記第１の画像以外の画像（以下、第２の画像という）から前記対象被写体像を削除する処理を行う、又は前記対象被写体像を二重表示させる処理を前記左目用画像及び前記右目用画像に対して行うステップと、
前記画像処理が行われた左目用画像及び右目用画像を前記表示部に表示させるステップと、
を備える立体画像表示方法。
【請求項１１】
コンピュータで実行可能な命令を含むコンピュータプログラムであって、
左目用画像及び右目用画像を取得する機能と、
前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示部に前記左目用画像及び前記右目用画像を表示させた時に、前記表示部の表示面から飛び出す方向の視差を有する被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出する機能と、
前記抽出された対象被写体に基づいて前記左目用画像及び前記右目用画像に対して画像処理を行う機能であって、前記左目用画像における前記対象被写体の位置及び前記右目用画像における前記対象被写体の位置の２つの位置に前記対象被写体の画像（以下、対象被写体像という）を表示させる処理（以下、前記対象被写体像を二重表示させる処理という）を前記左目用画像及び前記右目用画像のいずれか一方（以下、第１の画像という）に対して行うと共に、前記左目用画像及び前記右目用画像のうちの前記第１の画像以外の画像（以下、第２の画像という）から前記対象被写体像を削除する処理を行う、又は前記対象被写体像を二重表示させる処理を前記左目用画像及び前記右目用画像に対して行う機能と、
前記画像処理が行われた左目用画像及び右目用画像を前記表示部に表示させる機能と、
を１以上のコンピュータに実現させることができる、コンピュータプログラム。
【請求項１２】
コンピュータで実行可能な命令を含むコンピュータプログラムを記録した、コンピュータで読み取り可能な記録媒体であって、前記コンピュータプログラムは、
左目用画像及び右目用画像を取得する機能と、
前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示部に前記左目用画像及び前記右目用画像を表示させた時に、前記表示部の表示面から飛び出す方向の視差を有する被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出する機能と、
前記抽出された対象被写体に基づいて前記左目用画像及び前記右目用画像に対して画像処理を行う機能であって、前記左目用画像における前記対象被写体の位置及び前記右目用画像における前記対象被写体の位置の２つの位置に前記対象被写体の画像（以下、対象被写体像という）を表示させる処理（以下、前記対象被写体像を二重表示させる処理という）を前記左目用画像及び前記右目用画像のいずれか一方（以下、第１の画像という）に対して行うと共に、前記左目用画像及び前記右目用画像のうちの前記第１の画像以外の画像（以下、第２の画像という）から前記対象被写体像を削除する処理を行う、又は前記対象被写体像を二重表示させる処理を前記左目用画像及び前記右目用画像に対して行う機能と、
前記画像処理が行われた左目用画像及び右目用画像を前記表示部に表示させる機能と、
を１以上のコンピュータに実現させることができる、記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体画像表示装置、立体画像表示方法、立体画像表示プログラム及び記録媒体に係り、特に、ユーザーの目の疲弊を考慮して立体画像を表示可能な立体画像表示装置、立体画像表示方法、立体画像表示プログラム及び記録媒体に関する。
【背景技術】
【０００２】
立体画像を再生する方法として、例えばパララックスバリア方式と呼ばれる方法を用いた立体表示装置がある。左目用の画像と右目用の画像のそれぞれを画像の垂直走査方向に短冊状に分解し、交互に並べて一枚の画像とし、画像と短冊状のスリットとを重ねて表示すると、短冊状に配置された左目用の画像はユーザーの左眼で視認され、右目用の画像は右眼で視認される。【０００３】
図１３Ａは、２つの撮像系を搭載し、右撮像系で右目用画像を撮影し、左撮像系で左目用画像を撮影する多眼力メラを用いて立体撮影した時の物体Ａ、物体Ｂ、物体Ｃと多眼力メラの位置関係を示す。右撮像系の光軸と左撮像系の光軸が交わる場所がクロスポイントである。物体Ａ、物体Ｂはクロスポイントより多眼カメラに近い側（以下、手前側という）にあり、物体Ｃはクロスポイントより多眼カメラから遠い側（以下、奥側という）にある。【０００４】
このようにして撮影された画像を立体表示装置で表示すると、クロスポイントにある被写体は表示面上に表示されているように見え（視差量が０）、クロスポイントより手前側にある被写体は表示面より飛びだして見え、クロスポイントより奥側にある被写体は表示面より引っこんで見える。すなわち、図１３Ｂに示すように、物体Ｃは表示面より引っこんで見え、物体Ａは表示面より少し飛びだして見え、物体Ｂは表示面よりかなり飛びだして見える。【０００５】
このような立体表示装置のうち、特に小型で持ち運びが可能な立体表示装置では、大型の立体表示装置と比較して立体表示装置とユーザー（ユーザーの両眼）との距離が短くなる。そのため、図１３Ｂ中の物体Ｂのように表示装置からの飛び出し量が大きくなると、ユーザーが寄り目になりすぎて疲弊してしまう可能性が大きくなる。【０００６】
このような問題を解決するために、特許文献１には、撮影した三次元画像を再生した場合に、三次元表示に適さない場合には、別の表示形態（例えば、２次元表示や、視差量を小さくして立体感を弱くなるように補正した三次元表示）で表示することが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５―１６７３１０号公報
【発明の概要】
【０００８】
しかしながら、特許文献１に記載の発明では、三次元画像の立体感がなくなったり、全体的に立体感が弱くなったりしてしまうという問題がある。
【０００９】
特許文献１に記載の発明に記載の方法以外に、ユーザーが寄り目になり過ぎるのを防止する方法として、最も手前にある被写体が表示面上に表示されるように、左目用の画像と右目用の画像の視差を調整することが考えられる。しかしながら、最も手前にある物体を表示面上に表示させようとすると、全ての被写体が表示面の奥方向に立体表示されるように調整することとなるため、遠景（奥側にある被写体）が見づらくなってしまうという問題がある。
【００１０】
本発明はこのような事情に鑑みてなされたもので、ユーザーが寄り目になりすぎず、かつ遠景が見づらくなることを防止し、ユーザーの目の疲弊を防止することができる立体画像表示装置、立体画像表示方法、立体画像表示プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、第１の態様に係る立体画像表示装置は、左目用画像及び右目用画像を取得する取得部と、前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示部と、前記左目用画像及び前記右目用画像を前記表示部に表示させた時に、前記表示部の表示面から飛び出す方向の視差を有する被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出する対象被写体抽出部と、前記対象被写体抽出部により抽出された前記対象被写体に基づいて前記左目用画像及び前記右目用画像に対して画像処理を行う画像処理部であって、前記左目用画像における前記対象被写体の位置及び前記右目用画像における前記対象被写体の位置の２つの位置に前記対象被写体の画像（以下、対象被写体像という）を表示させる処理（以下、前記対象被写体像を二重表示させる処理という）を前記左目用画像及び前記右目用画像のいずれか一方（以下、第１の画像という）に対して行うと共に、前記左目用画像及び前記右目用画像のうちの前記第１の画像以外の画像（以下、第２の画像という）から前記対象被写体像を削除する処理を行う、又は前記対象被写体像を二重表示させる処理を前記左目用画像及び前記右目用画像に対して行う画像処理部と、前記画像処理部により画像処理が行われた左目用画像及び右目用画像を前記表示部に表示させる表示制御部と、を備える。【００１２】
第１の態様に係る立体画像表示装置によれば、左目用画像及び右目用画像を表示部に表示させた時に、表示部の表示面から飛び出す方向の視差を有する被写体（以下、対象被写体という）を左目用画像及び右目用画像のそれぞれから抽出し、左目用画像における対象被写体の位置及び右目用画像における対象被写体の位置の２つの位置に対象被写体像を表示させる処理（以下、対象被写体像を二重表示させる処理という）を左目用画像及び右目用画像のいずれか一方（以下、第１の画像という）に対して行い、かつ前記左目用画像及び前記右目用画像のうちの前記第１の画像以外の画像（以下、第２の画像という）から前記対象被写体像を削除する処理を行い、処理後の右目用画像及び左目用画像を立体表示させる。これにより、対象被写体を三次元に見えないようにすることができる。【００１３】
また、第１の態様に係る立体画像表示装置によれば、対象被写体を左目用画像及び右目用画像のそれぞれから抽出し、対象被写体像を二重表示させる処理を左目用画像及び右目用画像に対して行い、処理後の右目用画像及び左目用画像を立体表示させる。これにより、対象被写体を立体視できないようにすることができる。これにより、対象被写体を三次元に見えにくくすることができる。【００１４】
したがって、ユーザーが寄り目になりすぎず、ユーザーの目の疲弊を防止することができる。また、対象被写体以外は画像処理を行わないため、遠景が見づらくなることを防止することもできる。【００１５】
第２の態様によれば、第１の態様に係る立体画像表示装置において、前記対象被写体抽出部は、前記表示部の表示面から飛び出す方向の視差が所定の大きさ以上である被写体を前記対象被写体として抽出する。【００１６】
第２の態様に係る立体画像表示装置では、表示部の表示面から飛び出す方向の視差が所定の大きさ以上である被写体を対象被写体として抽出するため、ユーザーの目を疲労させない程度の飛び出し量の被写体を対象被写体として抽出することを防止することができる。【００１７】
第３の態様によれば、第１又は第２の態様に係る立体画像表示装置は、前記左目用画像及び前記右目用画像から主要被写体を抽出する主要被写体抽出部と、前記左目用画像における前記主要被写体の位置と、前記右目用画像における前記主要被写体の位置とが一致するように前記左目用画像又は前記右目用画像を水平方向にずらすことで視差ずらしを行う視差ずらし部とをさらに備え、前記対象被写体抽出部は、前記視差ずらし部により視差ずらしが行われた後の左目用画像又は右目用画像のそれぞれから前記対象被写体を抽出し、前記画像処理部は、前記視差ずらし部により視差ずらしが行われた後の左目用画像における前記対象被写体の位置及び前記視差ずらし部により視差ずらしが行われた後の右目用画像における前記対象被写体の位置の２つの位置に前記対象被写体を表示させることで前記対象被写体を二重表示させる。【００１８】
第３の態様に係る立体画像表示装置では、左目用画像における主要被写体の位置と右目用画像における主要被写体の位置とが一致するように左目用画像又は右目用画像を水平方向にずらすことで視差ずらしが行われた後の左目用画像又は右目用画像のそれぞれから対象被写体を抽出する。また、視差ずらしが行われた後の左目用画像における対象被写体の位置及び視差ずらしが行われた後の右目用画像における対象被写体の位置の２つの位置に対象被写体を表示させることで対象被写体を二重表示させる。これにより、主要被写体が表示面に表示され、主要被写体より手前側にある被写体について画像処理を行うことができる。主要被写体が表示面に表示されるため、ユーザーが主要被写体に注目した際に、ユーザーの目の焦点が表示面に合うことになる。そのため、ユーザーの目の疲労をさらに軽減することが出来る。【００１９】
第４の態様によれば、第１から第３のいずれかの態様に係る立体画像表示装置は、前記左目用画像及び前記右目用画像から所定の被写体を抽出し、前記所定の被写体の前記第１の画像における位置に対する前記第２の画像における位置のずれを示すずれベクトルを前記所定の被写体のずれベクトルとして算出する処理を前記左目用画像及び前記右目用画像に含まれる全ての被写体に対して行うずれベクトル算出部をさらに備え、前記対象被写体抽出部は、前記ずれベクトル算出部により算出されたずれベクトルに基づいて前記対象被写体を抽出する。【００２０】
第４の態様に係る立体画像表示装置では、第１の画像の位置に対する第２の画像の位置のずれを示すずれベクトルを左目用画像及び右目用画像に含まれる全ての被写体に対して算出し、ずれベクトルに基づいて対象被写体を抽出する。これにより、対象被写体を容易に抽出することができる。【００２１】
第５の態様によれば、第４の態様に係る立体画像表示装置において、前記画像処理部は、前記第１の画像から前記対象被写体像を抽出し、この前記第１の画像から抽出された対象被写体像から前記ずれベクトル算出部により前記対象被写体に対して算出されたずれベクトルだけ移動させた位置に前記対象被写体像を合成することで、前記第１の画像に前記対象被写体像を二重表示させる装置と、前記第２の画像から前記対象被写体像及びその周囲の画像を抽出し、この前記第２の画像から抽出された周囲の画像に基づいて前記第２の画像における前記対象被写体の背景（以下、背景画像という）を前記第１の画像から抽出し、この前記第１の画像より抽出された背景画像を前記第２の画像の前記抽出された対象被写体像に重ねて合成することで前記第２の画像から前記対象被写体像を削除する装置と、を有する。【００２２】
第５の態様に係る立体画像表示装置では、第１の画像から対象被写体像を抽出し、第１の画像の対象被写体から対象被写体のずれベクトルだけ移動させた位置に対象被写体像を合成することで、第１の画像に対象被写体像を二重表示させる。また、第２の画像から対象被写体像及びその周囲の画像を抽出し、第２の画像から抽出された周囲の画像に基づいて第２の画像の背景画像を第１の画像から抽出し、第１の画像より抽出された背景画像を第２の画像の対象被写体像に重ねて合成することで前記第２の画像から前記対象被写体像を削除する。これにより、対象被写体を三次元に見えないようにすることができる。【００２３】
第６の態様によれば、第５の態様に係る立体画像表示装置において、前記画像処理部は、前記第１の画像から前記対象被写体像を抽出し、この前記第１の画像から抽出された対象被写体像から前記ずれベクトル算出部により前記対象被写体に対して算出されたずれベクトルだけ移動させた位置に前記対象被写体像を半透明化して合成することで、前記第１の画像に前記対象被写体像を二重表示させる。【００２４】
第６の態様に係る立体画像表示装置では、第１の画像から対象被写体像を抽出し、第１の画像の対象被写体から対象被写体のずれベクトルだけ移動させた位置に対象被写体像を半透明化して合成することで、第１の画像に対象被写体を二重表示させる。これにより、主要被写体を目立たなくすることができる。【００２５】
第７の態様によれば、第４の態様に係る立体画像表示装置において、前記画像処理部は、前記第１の画像から前記対象被写体像を抽出し、この前記第１の画像から抽出された対象被写体像から前記ずれベクトル算出部により前記対象被写体に対して算出されたずれベクトル（以下、対象被写体のずれベクトルという）だけ移動させた位置に前記対象被写体像を半透明化して合成すると共に、前記第２の画像から前記対象被写体像を抽出し、この前記第２の画像から抽出された対象被写体像から前記対象被写体のずれベクトルの大きさだけ前記対象被写体のずれベクトルと反対方向に移動させた位置に前記対象被写体像を半透明化して合成することで、前記第１の画像及び前記第２の画像に前記対象被写体像を二重表示させる。【００２６】
第７の態様に係る立体画像表示装置では、第１の画像から対象被写体像を抽出し、第１の画像の対象被写体から対象被写体のずれベクトルだけ移動させた位置に対象被写体像を半透明化して合成することで、第１の画像に対象被写体像を二重表示させると共に、第２の画像から対象被写体像を抽出し、第２の画像の対象被写体から対象被写体のずれベクトルの大きさだけ対象ベクトルの方向と反対方向に移動させた位置に対象被写体像を半透明化して合成することで、第２の画像に対象被写体像を二重表示させる。これにより、対象被写体を三次元に見えにくくすることができる。【００２７】
第８の態様によれば、第４の態様に係る立体画像表示装置において、前記画像処理部は、前記第１の画像から前記対象被写体像を抽出し、この前記第１の画像から抽出された対象被写体像から前記ずれベクトル算出部により前記対象被写体に対して算出されたずれベクトル（以下、対象被写体のずれベクトルという）だけ移動させた位置に前記対象被写体像を半透明化して合成すると共に、前記第２の画像から前記対象被写体像を抽出し、この前記第２の画像から抽出された対象被写体像から前記対象被写体のずれベクトルの大きさだけ前記対象被写体のずれベクトルと反対方向に移動させた位置に前記対象被写体像を半透明化して合成する装置と、前記第２の画像から前記対象被写体像及びその周囲の画像を抽出し、この前記第２の画像から抽出された周囲の画像に基づいて前記第２の画像における前記対象被写体の背景（以下、背景画像という）を前記第１の画像から抽出し、前記第１の画像から抽出された背景画像を半透明化して前記第２の画像の前記抽出された対象被写体像に合成すると共に、前記第１の画像から前記対象被写体像及びその周囲の画像を抽出し、この前記第１の画像から抽出された周囲の画像に基づいて前記第１の画像における背景画像を前記第２の画像から抽出し、この前記第２の画像から抽出された背景画像を半透明化して前記第１の画像の前記抽出された対象被写体像に合成する装置と、を有する。【００２８】
第８の態様に係る立体画像表示装置では、第１の画像から対象被写体像を抽出し、第１の画像の対象被写体像から対象被写体のずれベクトルだけ移動させた位置に対象被写体像を半透明化して合成することで、第１の画像に対象被写体像を二重表示させると共に、第２の画像から対象被写体像を抽出し、第２の画像の対象被写体像から対象被写体のずれベクトルの大きさだけ対象ベクトルの方向と反対方向に移動させた位置に対象被写体像を半透明化して合成することで、第２の画像に対象被写体像を二重表示させる。また、第２の画像から対象被写体像及びその周囲の画像を抽出し、第２の画像から抽出された周囲の画像に基づいて第２の画像の背景画像を第１の画像から抽出し、第１の画像から抽出された背景画像を半透明化して第２の画像の対象被写体像に重ねて合成すると共に、第１の画像から対象被写体像及びその周囲の画像を抽出し、第１の画像から抽出された周囲の画像に基づいて第１の画像の背景画像を第２の画像から抽出し、第２の画像から抽出された背景画像を半透明化して第１の画像の対象被写体像に重ねて合成する。これにより、対象被写体を三次元に見えにくくすることができる。【００２９】
第９の態様によれば、第６から第８の態様のいずれかに係る記載の立体画像表示装置において、前記画像処理部は、前記半透明化の度合いを前記対象被写体の大きさに基づいて変更する。【００３０】
第９の態様に係る立体画像表示装置では、半透明化の度合いが対象被写体の大きさに基づいて変更される。これにより、対象被写体を三次元に見えないようにしたり、三次元に見えにくくしたりする効果を高めることができる。【００３１】
第１０の態様に係る立体画像表示方法は、左目用画像及び右目用画像を取得するステップと、前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示部に前記左目用画像及び前記右目用画像を表示させた時に、前記表示部の表示面から飛び出す方向の視差を有する被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出するステップと、前記抽出された対象被写体に基づいて前記左目用画像及び前記右目用画像に対して画像処理を行うステップであって、前記左目用画像における前記対象被写体の位置及び前記右目用画像における前記対象被写体の位置の２つの位置に前記対象被写体の画像（以下、対象被写体像という）を表示させる処理（以下、前記対象被写体像を二重表示させる処理という）を前記左目用画像及び前記右目用画像のいずれか一方（以下、第１の画像という）に対して行うと共に、前記左目用画像及び前記右目用画像のうちの前記第１の画像以外の画像（以下、第２の画像という）から前記対象被写体像を削除する処理を行う、又は前記対象被写体像を二重表示させる処理を前記左目用画像及び前記右目用画像に対して行うステップと、前記画像処理が行われた左目用画像及び右目用画像を前記表示部に表示させるステップと、を備える。【００３２】
また、第１０態様に係る立体画像表示方法に含まれる各ステップをコンピュータに実現させることが出来る、コンピュータで実行可能な命令を含むコンピュータプログラムも、このコンピュータプログラムをコンピュータに実行させることにより、上記目的を達成することが出来る。さらに、上記コンピュータプログラムを記録したコンピュータで読み取り可能な記録媒体も、この記録媒体を介してコンピュータにこのコンピュータプログラムをインストールして実行させることにより、上記目的を達成することが出来る。
【発明の効果】
【００３３】
本発明によれば、ユーザーが寄り目になりすぎず、かつ遠景が見づらくなることを防止し、ユーザーの目の疲弊を防止することができる。
【図面の簡単な説明】
【００３４】
【図１Ａ】本発明の第１の実施の形態の多眼デジタルカメラ１の概略正面図である。
【図１Ｂ】本発明の第１の実施の形態の多眼デジタルカメラ１の概略背面図である。
【図２】多眼デジタルカメラ１の電気的な構成を示すブロック図である。
【図３】多眼デジタルカメラ１の３Ｄ／２Ｄ変換部１３５の内部構成を示すブロック図である。
【図４】多眼デジタルカメラ１の２Ｄ処理のフローチャートである。
【図５Ａ】多眼デジタルカメラ１の２Ｄ処理を説明する図（その１）である。
【図５Ｂ】多眼デジタルカメラ１の２Ｄ処理を説明する図（その２）である。
【図５Ｃ】多眼デジタルカメラ１の２Ｄ処理を説明する図（その３）である。
【図５Ｄ】多眼デジタルカメラ１の２Ｄ処理を説明する図（その４）である。
【図５Ｅ】多眼デジタルカメラ１の２Ｄ処理を説明する図（その５）である。
【図５Ｆ】多眼デジタルカメラ１の２Ｄ処理を説明する図（その６）である。
【図５Ｇ】多眼デジタルカメラ１の２Ｄ処理を説明する図（その７）である。
【図５Ｈ】多眼デジタルカメラ１の２Ｄ処理を説明する図（その８）である。
【図５Ｉ】多眼デジタルカメラ１の２Ｄ処理を説明する図（その９）である。
【図５Ｊ】多眼デジタルカメラ１の２Ｄ処理を説明する図（その１０）である。
【図６】本発明の第２の実施の形態の多眼デジタルカメラ２の３Ｄ／２Ｄ変換部１３５の内部構成を示すブロック図である。
【図７】多眼デジタルカメラ２の２Ｄ処理のフローチャートである。
【図８Ａ】多眼デジタルカメラ２の２Ｄ処理を説明する図（その１）である。
【図８Ｂ】多眼デジタルカメラ２の２Ｄ処理を説明する図（その２）である。
【図８Ｃ】多眼デジタルカメラ２の２Ｄ処理を説明する図（その３）である。
【図８Ｄ】多眼デジタルカメラ２の２Ｄ処理を説明する図（その４）である。
【図８Ｅ】多眼デジタルカメラ２の２Ｄ処理を説明する図（その５）である。
【図９】本発明の第３の実施の形態の多眼デジタルカメラ３の３Ｄ／２Ｄ変換部１３５の内部構成を示すブロック図である。
【図１０】多眼デジタルカメラ３の２Ｄ処理のフローチャートである。
【図１１Ａ】多眼デジタルカメラ３の２Ｄ処理を説明する図（その１）である。
【図１１Ｂ】多眼デジタルカメラ３の２Ｄ処理を説明する図（その２）である。
【図１１Ｃ】多眼デジタルカメラ３の２Ｄ処理を説明する図（その３）である。
【図１１Ｄ】多眼デジタルカメラ３の２Ｄ処理を説明する図（その４）である。
【図１１Ｅ】多眼デジタルカメラ３の２Ｄ処理を説明する図（その５）である。
【図１１Ｆ】多眼デジタルカメラ３の２Ｄ処理を説明する図（その６）である。
【図１１Ｇ】多眼デジタルカメラ３の２Ｄ処理を説明する図（その７）である。
【図１１Ｈ】多眼デジタルカメラ３の２Ｄ処理を説明する図（その８）である。
【図１１Ｉ】多眼デジタルカメラ３の２Ｄ処理を説明する図（その９）である。
【図１１Ｊ】多眼デジタルカメラ３の２Ｄ処理を説明する図（その１０）である。
【図１１Ｋ】多眼デジタルカメラ３の２Ｄ処理を説明する図（その１１）である。
【図１２】多眼デジタルカメラ３の２Ｄ処理の変形例を示す図である。
【図１３Ａ】カメラと被写体との位置関係を示す図である。
【図１３Ｂ】図１３Ａに示す位置関係で撮影された右目用画像、左目用画像及び立体画像である。
【発明を実施するための形態】
【００３５】
以下、添付図面に従って本発明に係る立体画像表示装置、立体画像表示方法及び立体画像表示プログラムを実施するための最良の形態について詳細に説明する。
【００３６】
＜第１の実施の形態＞
図１Ａ及び１Ｂは、本発明に係る立体画像表示装置を有する多眼デジタルカメラ１の概略図である。図１Ａは正面図であり、図１Ｂは背面図である。多眼デジタルカメラ１は、複数（図１Ａ及び１Ｂでは２個を例示）の撮像系を備えた多眼デジタルカメラ１であって、同一被写体を複数視点（図１では左右二つの視点を例示）からみた立体画像や、単視点画像（２次元画像）が撮影可能である。また、多眼デジタルカメラ１は、静止画に限らず、動画、音声の記録再生も可能である。
【００３７】
多眼デジタルカメラ１のカメラボディ１０は、略直方体の箱状に形成されており、その正面には、図１Ａに示すように、主として、バリア１１、右撮像系１２、左撮像系１３、フラッシュ１４、マイク１５が設けられている。また、カメラボディ１０の上面には、主として、レリーズスイッチ２０、ズームボタン２１が設けられている。
【００３８】
一方、カメラボディ１０の背面には、図１Ｂに示すように、モニタ１６、モードボタン２２、視差調整ボタン２３、２Ｄ／３Ｄ切り替えボタン２４、ＭＥＮＵ／ＯＫボタン２５、十字ボタン２６、ＤＩＳＰ／ＢＡＣＫボタン２７が設けられている。
【００３９】
バリア１１は、カメラボディ１０の前面に摺動可能に装着され、バリア１１が上下に摺動することにより開状態と閉状態とが切り替えられる。通常は、図１Ａ中の点線に示すように、バリア１１は上端、すなわち閉状態に位置されており、対物レンズ１２ａ、１３ａ等はバリア１１によって覆われている。これにより、レンズなどの破損が防止される。バリア１１が摺動されることにより、バリアが下端、すなわち開状態に位置される（図１Ａ実線参照）と、カメラボディ１０前面に配設されたレンズ等が露呈される。図示しないセンサによりバリア１１が開状態であることが認識されると、ＣＰＵ１１０（図２参照）により電源がＯＮされ、撮影が可能となる。
【００４０】
右目用の画像を撮影する右撮像系１２及び左目用の画像を撮影する左撮像系１３は、屈曲光学系を有する撮影レンズ群、絞り兼用メカシャッタ１２ｄ、１３ｄ及び撮像素子１２２、１２３（図２参照）を含む光学ユニットである。右撮像系１２及び左撮像系１３の撮影レンズ群は、主として、被写体からの光を取り込む対物レンズ１２ａ、１３ａ、対物レンズから入射した光路を略垂直に折り曲げるプリズム（図示せず）、ズームレンズ１２ｃ、１３ｃ（図２参照）、フォーカスレンズ１２ｂ、１３ｂ（図２参照）等で構成される。
【００４１】
フラッシュ１４は、キセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。
【００４２】
モニタ１６は、４：３の一般的なアスペクト比を有するカラー表示が可能な液晶モニタであり、立体画像と平面画像の両方が表示可能である。モニタ１６の詳細な構造は図示しないが、モニタ１６は、その表面にパララックスバリア表示層を備えたパララックスバリア式３Ｄモニタである。モニタ１６は、各種設定操作を行なう際の使用者インターフェース表示パネルとして利用され、画像撮影時には電子ビューファインダとして利用される。
【００４３】
モニタ１６は、立体画像を表示するモード（３Ｄモード）と、平面画像を表示するモード（２Ｄモード）とが切り替えが可能である。３Ｄモードにおいては、モニタ１６のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示する。２Ｄモードや使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。
【００４４】
なお、モニタ１６は、パララックスバリア式には限定されず、レンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。また、モニタ１６は液晶モニタに限定されず、有機ＥＬなどが採用されてもよい。
【００４５】
レリーズスイッチ２０は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。多眼デジタルカメラ１は、静止画撮影時（例えば、モードボタン２２で静止画撮影モード選択時、又はメニューから静止画撮影モード選択時）、このレリーズスイッチ２０を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、動画撮影時（例えば、モードボタン２２で動画撮影モード選択時、又はメニューから動画撮影モード選択時）、このレリーズスイッチ２０を全押しすると、動画の撮影を開始し、再度全押しすると、撮影を終了する。
【００４６】
ズームボタン２１は、右撮像系１２及び左撮像系１３のズーム操作に用いられ、望遠側へのズームを指示するズームテレボタン２１Ｔと、広角側へのズームを指示するズームワイドボタン２１Ｗとで構成されている。
【００４７】
モードボタン２２は、デジタルカメラ１の撮影モードを設定する撮影モード設定部として機能し、このモードボタン２２の設定位置により、デジタルカメラ１の撮影モードが様々なモードに設定される。撮影モードは、動画撮影を行う「動画撮影モード」と、静止画撮影を行う「静止画撮影モード」とに分けられ、「静止画撮影モード」は例えば、絞り、シャッタスピード等がデジタルカメラ１によって自動的に設定される「オート撮影モード」、人物の顔を抽出して撮影を行う「顔抽出撮影モード」、動体撮影に適した「スポーツ撮影モード」、風景の撮影に適した「風景撮影モード」、夕景及び夜景の撮影に適した「夜景撮影モード」、絞りの目盛りを使用者が設定し、シャッタスピードをデジタルカメラ１が自動的に設定する「絞り優先撮影モード」、シャッタスピードを使用者が設定し、絞りの目盛りをデジタルカメラ１が自動的に設定する「シャッタスピード優先撮影モード」、絞り、シャッタスピード等を使用者が設定する「マニュアル撮影モード」等がある。
【００４８】
視差調整ボタン２３は、立体画像撮影時に視差を電子的に調整するボタンである。視差調整ボタン２３の右側を押下することにより、右撮像系１２で撮影された画像と左撮像系１３で撮影された画像との視差が所定の距離だけ大きくなり、視差調整ボタン２３の左側を押下することにより、右撮像系１２で撮影された画像と左撮像系１３で撮影された画像との視差が所定の距離だけ小さくなる。
【００４９】
２Ｄ／３Ｄ切り替えボタン２４は、単視点画像を撮影する２Ｄ撮影モードと、多視点画像を撮影する３Ｄ撮影モードの切り替えを指示するためのスイッチである。
【００５０】
ＭＥＮＵ／ＯＫボタン２５は、撮影及び再生機能の各種設定画面（メニュー画面）の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、多眼デジタルカメラ１が持つ全ての調整項目の設定が行われる。撮影時にＭＥＮＵ／ＯＫボタン２５が押されると、モニタ１６にたとえば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整などの設定画面が表示され、再生時にＭＥＮＵ／ＯＫボタン２５が押されると、モニタ１６に画像の消去などの設定画面が表示される。多眼デジタルカメラ１は、このメニュー画面で設定された条件に応じて動作する。
【００５１】
十字ボタン２６は、各種のメニューの設定や選択あるいはズームを行うためのボタンであり、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。たとえば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、上ボタンにモニタ１６の明るさを替える機能が割り当てられ、下ボタンにセルフタイマーのＯＮ／ＯＦＦや時間を切り替える機能が割り当てられる。また、再生時には、右ボタンにコマ送りの機能が割り当てられ、左ボタンにコマ戻しの機能が割り当てられる。また、上ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ１６に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。
【００５２】
ＤＩＳＰ／ＢＡＣＫボタン２７は、モニタ１６の表示切り替えを指示するボタンとして機能し、撮影中、このＤＩＳＰ／ＢＡＣＫボタン２７が押されると、モニタ１６の表示が、ＯＮ→フレーミングガイド表示→ＯＦＦに切り替えられる。また、再生中、このＤＩＳＰ／ＢＡＣＫボタン２７が押されると、通常再生→文字表示なし再生→マルチ再生に切り替えられる。また、ＤＩＳＰ／ＢＡＣＫボタン２７は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
【００５３】
図２は、多眼デジタルカメラ１の主要な内部構成を示すブロック図である。多眼デジタルカメラ１は、主として、ＣＰＵ（Central Processing Unit）１１０、操作部（レリーズスイッチ２０、ＭＥＮＵ／ＯＫボタン２５、十字ボタン２６等）１１２、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１１４、ＶＲＡＭ（Video Random Access Memory）１１６、ＡＦ検出部１１８、ＡＥ／ＡＷＢ検出部１２０、撮像素子１２２、１２３、ＣＤＳ／ＡＭＰ（Correlated Double Sampler/Amplifier）１２４、１２５、Ａ／Ｄ変換器１２６、１２７、画像入力コントローラ１２８、画像信号処理部１３０、圧縮伸張処理部１３２、立体画像生成部１３３、ビデオエンコーダ１３４、３Ｄ／２Ｄ変換部１３５、メディアコントローラ１３６、音入力処理部１３８、記録メディア１４０、フォーカスレンズ駆動部１４２、１４３、ズームレンズ駆動部１４４、１４５、絞り駆動部１４６、１４７、タイミングジェネレータ（ＴＧ）１４８、１４９で構成される。
【００５４】
ＣＰＵ１１０は、多眼デジタルカメラ１の全体の動作を統括的に制御する。ＣＰＵ１１０は、右撮像系１２と左撮像系１３の動作を制御する。右撮像系１２と左撮像系１３とは、基本的に連動して動作を行うが、各々個別に動作させることも可能である。また、ＣＰＵ１１０は、右撮像系１２及び左撮像系１３で得られた２つの画像データを短冊状の画像断片とし、これがモニタ１６に交互に表示されるような表示用画像データを生成する。３Ｄモードで表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。
【００５５】
ＳＤＲＡＭ１１４には、このＣＰＵ１１０が実行する制御プログラムであるファームウェア、制御に必要な各種データ、カメラ設定値、撮影された画像データ等が記録されている。
【００５６】
ＶＲＡＭ１１６は、ＣＰＵ１１０の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【００５７】
ＡＦ検出部１１８は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＦ制御に必要な物理量を算出する。ＡＦ検出部１１８は、右撮像系１２から入力された画像信号に基づいてＡＦ制御を行う右撮像系ＡＦ制御回路と、左撮像系１３から入力された画像信号に基づいてＡＦ制御を行う左撮像系ＡＦ制御回路とで構成される。本実施の形態のデジタルカメラ１では、撮像素子１２２、１２３から得られる画像のコントラストによりＡＦ制御が行われ（いわゆるコントラストＡＦ）、ＡＦ検出部１１８は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。ＣＰＵ１１０は、このＡＦ検出部１１８で算出される焦点評価値が極大となる位置を検出し、その位置にフォーカスレンズ群を移動させる。すなわち、フォーカスレンズ群を至近から無限遠まで所定のステップで移動させ、各位置で焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる。
【００５８】
ＡＥ／ＡＷＢ検出部１２０は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ１１０は、このＡＥ／ＡＷＢ検出部１２０から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、算出した撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタスピードを決定する。また、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。ＣＰＵ１１０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する。
【００５９】
撮像素子１２２、１２３は、所定のカラーフィルタ配列（例えば、ハニカム配列、ベイヤ配列）のＲ、Ｇ、Ｂのカラーフィルタが設けられたカラーＣＣＤで構成されている。撮像素子１２２、１２３は、フォーカスレンズ１２ｂ、１３ｂ、ズームレンズ１２ｃ、１３ｃ等によって結像された被写体光を受光し、この受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。撮像素子１２２、１２３の光電荷蓄積・転送動作は、ＴＧ１４８、１４９からそれぞれ入力される電荷排出パルスに基づいて電子シャッタ速度（光電荷蓄積時間）が決定される。
【００６０】
すなわち、撮像素子１２２、１２３に電荷排出パルスが入力されている場合には、撮像素子１２２、１２３に電荷が蓄えられることなく排出される。それに対し、撮像素子１２２、１２３に電荷排出パルスが入力されなくなると、電荷が排出されなくなるため、撮像素子１２２、１２３において電荷蓄積、すなわち露光が開始される。撮像素子１２２、１２３で取得された撮像信号は、ＴＧ１４８、１４９からそれぞれ与えられる駆動パルスに基づいてＣＤＳ／ＡＭＰ１２４、１２５に出力される。
【００６１】
ＣＤＳ／ＡＭＰ１２４、１２５は、撮像素子１２２、１２３から出力された画像信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）を行い、増幅してＲ、Ｇ、Ｂのアナログの画像信号を生成する。
【００６２】
Ａ／Ｄ変換器１２６、１２７は、ＣＤＳ／ＡＭＰ１２４、１２５で生成されたＲ、Ｇ、Ｂのアナログの画像信号デジタルの画像信号に変換する。
【００６３】
画像入力コントローラ１２８は、所定容量のラインバッファを内蔵しており、ＣＰＵ１１０からの指令に従い、ＣＤＳ／ＡＭＰ／ＡＤ変換部から出力された１画像分の画像信号を蓄積して、ＶＲＡＭ１１６に記録する。
【００６４】
画像信号処理部１３０は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。以下、撮像素子１２２から出力された画像信号から生成された画像データを右目用画像データ（以下、右目用画像という）といい、撮像素子１２３から出力された画像信号から生成された画像データを左目用画像データ（以下、左目用画像という）という。
【００６５】
圧縮伸張処理部１３２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。
【００６６】
立体画像生成部１３３は、右目用画像及び左目用画像をモニタ１６で立体表示が可能なように加工する。例えば、パララックスバリア式のモニタである場合には、立体画像生成部１３３は、再生に用いる右目用画像及び左目用画像をそれぞれ短冊状に区切り、短冊状の右目用画像と左目用画像とを交互に並べた表示用画像データを生成する。表示用画像データは、立体画像生成部１３３からビデオエンコーダ１３４を介してモニタ１６に出力される。
【００６７】
ビデオエンコーダ１３４は、モニタ１６への表示を制御する。すなわち、立体画像生成部１３３で生成された表示用画像データ等をモニタ１６に表示するための映像信号（たとえば、ＮＴＳＣ（National Television System Committee）信号やＰＡＬ（Phase Alternation by Line）信号、ＳＥＣＡＭ（Sequential Couleur A Memorie）信号）に変換してモニタ１６に出力するとともに、必要に応じて所定の文字、図形情報をモニタ１６に出力する。これにより、右目用画像及び左目用画像がモニタ１６に立体表示される。
【００６８】
本実施の形態では、右目用画像及び左目用画像がモニタ１６に表示された時の飛びだし量にもとづいて立体視に不適切な被写体（以下、対象被写体という）を抽出し、右目用画像及び左目用画像がモニタ１６に表示された時に対象被写体が三次元に見えないようにする処理、もしくは三次元に見えにくくする処理（以下、２Ｄ処理という）を右目用画像及び左目用画像に対して行う。この画像処理は、３Ｄ／２Ｄ変換部１３５で行われる。以下、３Ｄ／２Ｄ変換部１３５について説明する。
【００６９】
図３は、３Ｄ／２Ｄ変換部１３５の内部構成を示すブロック図である。３Ｄ／２Ｄ変換部１３５は、主として、視差量算出部１５１、ずれベクトル算出部１５２、３Ｄ不適切物体判定／抽出部１５３、背景抽出部１５４、画像合成部１５５とで構成される。
【００７０】
視差量算出部１５１は、右目用画像及び左目用画像から主要被写体を抽出し、抽出した主要被写体の視差量（すなわち、主要被写体の視差が０となる場合との視差量）を算出する。主要被写体は、顔検出部（図示せず）により認識された人物や、主要顔（例えば画像中央付近にある顔）、合焦した被写体、ユーザーにより選択された被写体等様々な方法で選択することができる。
【００７１】
視差量は、大きさと方向を持っており、方向は主要被写体を奥側へ移動させる方向（本実施の形態では、右目用画像を右側に移動させる方向）、主要被写体を手前側へ移動させる方向（本実施の形態では、右目用画像を左側に移動させる方向）の２通りのいずれかである。なお、主要被写体を奥側へ移動させる方向は、左目用画像を左側に移動させる方向でもよいし、主要被写体を手前側へ移動させる方向は、左目用画像を右側に移動させる方向でもよいが、本実施の形態では後述するように基準画像を左目用画像とするため、右目用画像を右側又は左側へ移動させる方向とした。
【００７２】
視差量算出部１５１で算出された視差量はずれベクトル算出部１５２及び画像合成部１５５に入力される。
【００７３】
ずれベクトル算出部１５２は、視差量算出部１５１で算出された視差量に基づいて、右目用画像を視差量だけ移動させた視差ずらしを行い、右目用画像の主要被写体の位置と、左目用画像の主要被写体の位置とを一致させる。そして、ずれベクトル算出部１５２は、視差ずらし後の右目用画像及び左目用画像から各被写体毎のずれベクトルを算出する。
【００７４】
ずれベクトル算出部１５２におけるずれベクトルの算出は、以下の順番で行われる。（１）視差ずらし後の右目用画像及び左目用画像から全ての被写体を抽出する。（２）右目用画像及び左目用画像のうちの一方の画像（以下、基準画像という）からある被写体の特徴点を抽出するとともに、右目用画像及び左目用画像のうちの基準画像以外の画像（以下、従画像という）から特徴点に対応する対応点を検出する。なお、本実施の形態では、左目用画像を基準画像とする。（３）基準画像の特徴点を基準とした従画像の対応点のズレ量を大きさ、方向を有するずれベクトルとして算出する。（４）（２）及び（３）の処理を（１）で抽出された被写体全てに対して行われるまで繰り返す。これにより、各被写体毎にずれベクトルが算出される。ずれベクトル算出部１５２で算出されたずれベクトルは３Ｄ不適切物体判定／抽出部１５３及び画像合成部１５５に入力される。
【００７５】
３Ｄ不適切物体判定／抽出部１５３は、ずれベクトル算出部１５２から入力されたずれベクトルに基づいて対象被写体を抽出する。本実施の形態では、ずれベクトルの向きが左方向、すなわちクロスポイントより手前側にあり（表示面から飛び出す方向の視差を有する）、かつずれベクトルの大きさが閾値以上の被写体を対象被写体として抽出する。これにより、表示面から飛び出す方向の視差が所定の大きさ以上の被写体を対象被写体として抽出することができる。
【００７６】
この閾値は、モニタ１６の大きさ、ユーザーとモニタ１６との距離等によって異なる。したがって、モニタ１６の仕様に応じて予め閾値を設定しておき、３Ｄ不適切物体判定／抽出部１５３の図示しない記憶領域に記憶させておく。また、操作部１１２を介してユーザーが閾値を設定できるようにしてもよい。３Ｄ不適切物体判定／抽出部１５３で抽出された対象被写体の情報は、背景抽出部１５４及び画像合成部１５５に入力される。
【００７７】
また、この所定の閾値を、対象被写体の大きさに応じて変更するようにしてもよい。これは、対象被写体の大きさと閾値との関係を３Ｄ不適切物体判定／抽出部１５３の図示しない記憶領域に記憶しておき、ずれベクトル算出部１５２で抽出された対象被写体の大きさに基づいて使用する閾値を決定すればよい。
【００７８】
背景抽出部１５４は、右目用画像における対象被写体の背景（以下、右目用画像の背景画像という）を左目用画像から抽出する。背景抽出部１５４で左目用画像から抽出された右目用画像の背景画像は画像合成部１５５に入力される。背景抽出部１５４の処理の詳細については、後に詳述する。
【００７９】
画像合成部１５５は、ずれベクトル算出部１５２から入力されたずれベクトル及び３Ｄ不適切物体判定／抽出部１５３から入力された対象被写体の情報に基づいて、左目用画像に対象被写体の画像（以下、対象被写体像という）を合成することで、左目用画像に対象被写体像を二重表示させる。合成する位置は、右目用画像における対象被写体の位置である。また、画像合成部１５５は、３Ｄ不適切物体判定／抽出部１５３から入力された対象被写体の情報及び背景抽出部１５４から入力された右目用画像の背景画像に基づいて、右目用画像に右目用画像の背景画像を合成することで右目用画像から対象被写体像を削除する。画像合成部１５５の処理の詳細については、後に詳述する。
【００８０】
このように生成された右目用画像及び左目用画像は、３Ｄ／２Ｄ変換部１３５からの出力として立体画像生成部１３３等の各ブロックに出力される。３Ｄ／２Ｄ変換部１３５から出力された右目用画像及び左目用画像は、既に説明した方法と同じ方法により、立体画像生成部１３３によってモニタ１６で立体表示が可能なように加工され、ビデオエンコーダ１３４を介してモニタ１６に出力される。これにより、３Ｄ／２Ｄ変換部１３５で画像処理された右目用画像及び左目用画像がモニタ１６に立体表示される。
【００８１】
図２の説明に戻る。メディアコントローラ１３６は、圧縮伸張処理部１３２で圧縮処理された各画像データを記録メディア１４０に記録する。
【００８２】
音入力処理部１３８は、マイク１５に入力され、図示しないステレオマイクアンプで増幅された音声信号が入力され、この音声信号の符号化処理を行う。
【００８３】
記録メディア１４０は、多眼デジタルカメラ１に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。
【００８４】
フォーカスレンズ駆動部１４２、１４３は、ＣＰＵ１１０からの指令に従い、フォーカスレンズ１２ｂ、１３ｂをそれぞれ光軸方向に移動させ、焦点位置を可変する。
【００８５】
ズームレンズ駆動部１４４、１４５は、ＣＰＵ１１０からの指令に従い、ズームレンズ１２ｃ、１３ｃそれぞれ光軸方向に移動させ、焦点距離を可変する。
【００８６】
絞り兼用メカシャッタ１２ｄ、１３ｄは、それぞれ絞り駆動部１４６、１４７のアイリスモータに駆動されることにより、その開口量を可変して、撮像素子１２３への入射光量を調整する。
【００８７】
絞り駆動部１４６、１４７は、ＣＰＵ１１０からの指令に従い、絞り兼用メカシャッタ１２ｄ、１３ｄの開口量を可変して、撮像素子１２３への入射光量をそれぞれ調整する。また、絞り駆動部１４６、１４７は、ＣＰＵ１１０からの指令に従い、絞り兼用メカシャッタ１２ｄ、１３ｄを開閉して、撮像素子１２２、１２３への露光／遮光それぞれを行う。
【００８８】
以上のように構成された多眼デジタルカメラ１の作用について説明する。
【００８９】
（Ａ）撮影モード
バリア１１を閉状態から開状態へと摺動させると、多眼デジタルカメラ１の電源が投入され、多眼デジタルカメラ１は、撮影モードの下で起動する。撮影モードとしては、２Ｄモードと、同一被写体を２視点からみた立体画像を撮影する３Ｄ撮影モードとが設定可能である。また、３Ｄモードとしては、右撮像系１２及び左撮像系１３を用いて同時に所定の視差で立体画像を撮影する３Ｄ撮影モードが設定可能である。撮影モードの設定は、多眼デジタルカメラ１が撮影モードで駆動中にＭＥＮＵ／ＯＫボタン２５が押下されることによりモニタ１６に表示されたメニュー画面において、十字ボタン２６等により「撮影モード」を選択することによりモニタ１６に表示された撮影モードメニュー画面から設定可能である。
【００９０】
（１）２Ｄ撮影モード
ＣＰＵ１１０は、右撮像系１２又は左撮像系１３（本実施の形態では左撮像系１３）を選択し、左撮像系１３の撮像素子１２３によって撮影確認画像用の撮影を開始する。すなわち、撮像素子１２３で連続的に画像が撮像され、その画像信号が連続的に処理されて、撮影確認画像用の画像データが生成される。
【００９１】
ＣＰＵ１１０は、モニタ１６を２Ｄモードとし、生成された画像データを順次ビデオエンコーダ１３４に加え、表示用の信号形式に変換してモニタ１６に出力する。これにより、撮像素子１２３で捉えた画像がモニタ１６に立体表示される。モニタ１６の入力がデジタル信号に対応している場合は、ビデオエンコーダ１３４は不要であるが、モニタ１６の入力仕様に合致した信号形態に変換する必要がある。
【００９２】
ユーザ（使用者）は、モニタ１６に立体表示される撮影確認画像を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。
【００９３】
上記撮影スタンバイ状態時にレリーズスイッチ２０が半押しされると、ＣＰＵ１１０にＳ１ＯＮ信号が入力される。ＣＰＵ１１０はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光時には、撮像素子１２３を介して取り込まれる画像信号の積算値等に基づいて被写体の明るさを測光する。この測光した値（測光値）は、本撮影時における絞り兼用メカシャッタ１３ｄの絞り値、及びシャッタ速度の決定に使用される。同時に、検出された被写体輝度より、フラッシュ１４の発光が必要かどうかを判断する。フラッシュ１４の発光が必要と判断された場合には、フラッシュ１４をプリ発光させ、その反射光に基づいて本撮影時のフラッシュ１４の発光量を決定する。
【００９４】
レリーズスイッチ２０が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。
【００９５】
まず、ＣＰＵ１１０は、前記測光値に基づいて決定した絞り値に基づいて絞り駆動部１４７を介して絞り兼用メカシャッタ１３ｄを駆動するとともに、前記測光値に基づいて決定したシャッタ速度になるように撮像素子１２３での電荷蓄積時間（いわゆる電子シャッタ）を制御する。
【００９６】
また、ＣＰＵ１１０は、ＡＦ制御時にはフォーカスレンズを至近から無限遠に対応するレンズ位置に順次移動させるとともに、レンズ位置毎に撮像素子１２３を介して取り込まれた画像のＡＦエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値をＡＦ検出部１１８から取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズを移動させるコントラストＡＦを行う。
【００９７】
この際、フラッシュ１４を発光させる場合は、プリ発光の結果から求めたフラッシュ１４の発光量に基づいてフラッシュ１４を発光させる。
【００９８】
被写体光は、フォーカスレンズ１３ｂ、ズームレンズ１３ｃ、絞り兼用メカシャッタ１３ｄ、赤外線カットフィルタ４６、及び光学ローパスフィルタ４８等を介して撮像素子１２３の受光面に入射する。
【００９９】
撮像素子１２３の各フォトダイオードに蓄積された信号電荷は、ＴＧ１４９から加えられるタイミング信号に従って読み出され、電圧信号（画像信号）として撮像素子１２３から順次出力され、ＣＤＳ／ＡＭＰ１２５に入力される。
【０１００】
ＣＤＳ／ＡＭＰ１２５は、ＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、ＣＰＵ１１０から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力される画像信号を増幅する。
【０１０１】
ＣＤＳ／ＡＭＰ１２５から出力されたアナログの画像信号は、Ａ／Ｄ変換器１２７において、デジタルの画像信号に変換され、この変換された画像信号（Ｒ、Ｇ、ＢのＲＡＷデータ）は、ＳＤＲＡＭ１１４に転送され、ここに一旦蓄えられる。
【０１０２】
ＳＤＲＡＭ１１４から読み出されたＲ、Ｇ、Ｂの画像信号は、画像信号処理部１３０に入力される。画像信号処理部１３０では、ホワイトバランス調整回路によりＲ、Ｇ、Ｂの画像信号ごとにデジタルゲインをかけることでホワイトバランス調整が行われ、ガンマ補正回路によりガンマ特性に応じた階調変換処理が行われ、同時化回路により単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各色信号の位相を合わせる同時化処理が行われる。同時化されたＲ、Ｇ、Ｂの画像信号は、更に輝度・色差データ生成回路により輝度信号Ｙと色差信号Ｃｒ、Ｃｂ（ＹＣ信号）に変換され輪郭強調などの所定の信号処理が行われる。画像信号処理部１３０で処理されたＹＣ信号は再びＳＤＲＡＭ１１４に蓄えられる。
【０１０３】
上記のようにしてＳＤＲＡＭ１１４に蓄えられたＹＣ信号は、圧縮伸張処理部１３２によって圧縮され、所定のフォーマットの画像ファイルとして、メディアコントローラ１３６を介して記録メディア１４０に記録される。静止画のデータは、Ｅｘｉｆ規格（Exchangeable image file format specification, 日本電子工業振興協会で規格化された画像メタデータのフォーマット）に従った画像ファイルとして記録メディア１４０に格納される。Ｅｘｉｆファイルは、主画像のデータを格納する領域と、縮小画像（サムネイル画像）のデータを格納する領域とを有している。撮影によって取得された主画像のデータから画素の間引き処理その他の必要なデータ処理を経て、規定サイズ（例えば、１６０×１２０又は８０×６０ピクセルなど）のサムネイル画像が生成される。こうして生成されたサムネイル画像は、主画像とともにＥｘｉｆファイル内に書き込まれる。また、Ｅｘｉｆファイルには、撮影日時、撮影条件、顔検出情報等のタグ情報が付属されている。
【０１０４】
多眼デジタルカメラ１のモードを再生モードに設定すると、ＣＰＵ１１０は、メディアコントローラ１３６にコマンドを出力し、記録メディア１４０に最後に記録された画像ファイルを読み出させる。
【０１０５】
読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部１３２に加えられ、非圧縮の輝度／色差信号に伸張され、立体画像生成部１３３で立体画像とされたのち、ビデオエンコーダ１３４を介してモニタ１６に出力される。これにより、記録メディア１４０に記録されている画像がモニタ１６に再生表示される（１枚画像の再生）。２Ｄ撮影モードで撮影された画像は、平面画像がモニタ１６全面に２Ｄモードで表示される。
【０１０６】
画像のコマ送りは、十字ボタン２６の左右のキー操作によって行なわれ、十字ボタン２６の右キーが押されると、次の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。また、十字ボタンの左キーが押されると、一つ前の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。
【０１０７】
モニタ１６に再生表示された画像を確認しながら、必要に応じて、記録メディア１４０に記録された画像を消去することができる。画像の消去は、画像がモニタ１６に再生表示された状態でＭＥＮＵ／ＯＫボタン２５が押下されることによって行われる。
【０１０８】
（２）３Ｄ撮影モードに設定されている場合
撮像素子１２２及び撮像素子１２３によって撮影確認画像用の撮影を開始する。すなわち、撮像素子１２２及び撮像素子１２３で同じ被写体が連続的に撮像され、その画像信号が連続的に処理され、撮影確認画像用の立体画像データが生成される。ＣＰＵ１１０は、モニタ１６を３Ｄモードに設定し、生成された画像データはビデオエンコーダ１３４で順次表示用の信号形式に変換されて、それぞれモニタ１６に出力される。これにより撮影確認画像用の立体画像データがモニタ１６に立体表示される。
【０１０９】
ユーザ（使用者）は、モニタ１６に立体表示される撮影確認画像を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。
【０１１０】
上記撮影スタンバイ状態時にレリーズスイッチ２０が半押しされると、ＣＰＵ１１０にＳ１ＯＮ信号が入力される。ＣＰＵ１１０はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光は、右撮像系１２又は左撮像系１３（本実施の形態では左撮像系１３）の一方で行う。また、ＡＦ制御は、右撮像系１２及び左撮像系１３のそれぞれで行う。ＡＥ測光、ＡＦ制御は２Ｄ撮影モードと同一であるため、詳細な説明を省略する。
【０１１１】
レリーズスイッチ２０が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。右撮像系１２及び左撮像系１３のそれぞれで撮影された画像データを生成する処理については、２Ｄ撮影モードと同一であるため、説明を省略する。
【０１１２】
ＣＤＳ／ＡＭＰ１２４、１２５でそれぞれ生成された２枚の画像データからは、２Ｄ撮影モードと同様の方法により、圧縮画像データが２個生成される。圧縮された２枚の画像データは、関連付けられて１ファイルとして記憶メディア１３７に記憶される。記憶形式としては、ＭＰフォーマット等を用いることができる。
【０１１３】
（Ｂ）再生モード
多眼デジタルカメラ１のモードを再生モードに設定すると、ＣＰＵ１１０は、メディアコントローラ１３６にコマンドを出力し、記録メディア１４０に最後に記録された画像ファイルを読み出させる。読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部１３２に加えられ、非圧縮の輝度／色差信号に伸張され、３Ｄ／２Ｄ変換部１３５で対象被写体に対して２Ｄ処理が行われる。
【０１１４】
図４は、３Ｄ／２Ｄ変換部１３５で対象被写体に対して２Ｄ処理を行う処理の流れを示すフローチャートである。
【０１１５】
ステップＳ１０において、圧縮伸張処理部１３２で非圧縮の輝度／色差信号に伸張された画像データ、すなわち右目用画像、左目用画像が３Ｄ／２Ｄ変換部１３５に入力される。
【０１１６】
ステップＳ１１において、視差量算出部１５１は、右目用画像、左目用画像を取得し、右目用画像及び左目用画像から主要被写体を抽出し、抽出した主要被写体の視差量を算出する。図５Ａに示すように物体Ａが主要被写体である場合には、視差量算出部１５１は、左目用画像における物体Ａの位置と、右目用画像における物体Ａの位置とを比較して視差量を算出する。図５Ａの場合には、右目用画像における物体Ａの位置が左目用画像における物体Ａの位置に対して左側にａだけずれているため、視差量は大きさがａ、方向は右目用画像を右側へ移動させる方向と算出される。なお、図５Ａから５Ｊにおいて、左目用画像中の物体Ｂと物体Ｃに網掛けや斜線をかけているが、これは左目用画像中の物体Ｂ及び物体Ｃと、右目用画像中の物体Ｂ及び物体Ｃとを区別しやすくすることにより、説明を分りやすくするためである。右目用画像と左目用画像とで物体Ｂと物体Ｃが異なっていることを意味するのではない。
【０１１７】
ステップＳ１２において、ステップＳ１１で算出された視差量は、ずれベクトル算出部１５２に入力される。ずれベクトル算出部１５２は、図５Ｂに示すように右目用画像を視差量だけ（図５Ｂの例では大きさａで右方向に）移動させた視差ずらしをおこない、視差ずらし後の右目用画像及び左目用画像から各被写体毎のずれベクトルを算出する。図５Ａから５Ｊに示す例では、視差ずらしの結果、物体Ａのずれベクトルは０となっているため、物体Ｂ、Ｃについてずれベクトルを算出する。
【０１１８】
図５Ｃは、図５Ｂに示す左目用画像と右目用画像とを重ねた図である。視差ずらしの結果、主要被写体よりも手前にある物体と奥にある物体とでは、ずれベクトルの方向が逆となる。図５Ｃに示すように、物体Ｂは物体Ａより手前側にあり、物体Ｃは物体Ａより奥側にあるため、物体Ｂのずれベクトル（以下、ずれベクトルＢという）の方向は左方向となり、物体Ｃのずれベクトル（以下、ずれベクトルＣという）の方向は右方向となる。
【０１１９】
ステップＳ１３において、ステップＳ１２で算出されたずれベクトルＢ、ずれベクトルＣは３Ｄ不適切物体判定／抽出部１５３に入力される。ずれベクトルの方向から主要被写体よりも手前にある物体か否かを判定することが出来るため、３Ｄ不適切物体判定／抽出部１５３は、ずれベクトルＢ、ずれベクトルＣの方向に基づいて対象被写体の候補を抽出する。対象被写体はクロスポイントより手前側にある被写体であるため、ずれベクトルが左向きとなっている被写体、図５Ａから５Ｊに示す例では物体Ｂを対象被写体の候補として抽出する。
【０１２０】
ステップＳ１４において、３Ｄ不適切物体判定／抽出部１５３は、ステップＳ１３で抽出された対象被写体の候補のずれベクトルの大きさが所定の閾値以上であるか否かを判断する。
【０１２１】
ステップＳ１５において、対象被写体の候補のずれベクトルの大きさが所定の閾値以上である場合（ステップＳ１４でＹＥＳ）には、３Ｄ不適切物体判定／抽出部１５３は、対象被写体の候補を対象被写体と判定する。図５Ａから５Ｊに示す例では、物体Ｂが対象被写体と判定される。そして、この物体Ｂを立体表示させることが適切ではない被写体として、以下のステップＳ１８及びＳ１９を物体Ｂに対して行う。
【０１２２】
対象被写体の候補のずれベクトルの大きさが所定の閾値以上でない場合（ステップＳ１４でＮＯ）は、ステップＳ１５を行わずステップＳ１６へ進む。
【０１２３】
ステップＳ１６において、３Ｄ不適切物体判定／抽出部１５３は、ステップＳ１４、Ｓ１５の処理が全ての対象被写体の候補について行われたかを判断する。全ての対象被写体の候補についてステップＳ１４、Ｓ１５の処理が行われていない場合（ステップＳ１６でＮＯ）には、再度ステップＳ１４、Ｓ１５を行う。
【０１２４】
ステップＳ１７において、全ての対象被写体の候補についてステップＳ１４、Ｓ１５の処理が行われた場合（ステップＳ１６でＹＥＳ）には、３Ｄ不適切物体判定／抽出部１５３は、ステップＳ１４〜Ｓ１６までの処理で対象被写体があると判定されたかを判断する。
【０１２５】
対象被写体が無い場合（ステップＳ１７でＮＯ）には、ステップＳ２０へ進む。
【０１２６】
ステップＳ１８において、対象被写体がある場合（ステップＳ１７でＹＥＳ）には、背景抽出部１５４は、左目用画像から右目用画像の背景画像を抽出し、画像合成部１５５は右目用画像の背景画像を右目用画像の対象被写体像に重ねて合成して右目用画像から対象被写体像を削除する。ステップＳ１８について、図５Ｄから５Ｇを用いて説明する。ステップＳ１８は、図５Ｂに示すように主要被写体が一致となる（視差量が０となる）ような視差ずらしが行われた右目用画像、左目用画像に対して行われる。
【０１２７】
図５Ｄに示すように、背景抽出部１５４は、右目用画像から対象被写体像（ここでは物体Ｂの画像）をその周辺の画像を含めて抽出する。周辺の画像の抽出は、例えば物体Ｂを含む矩形、円、楕円形等の領域を抽出するようにすればよい（図５Ｄでは点線で表示している）。
【０１２８】
次に、図５Ｅに示すように、背景抽出部１５４は、右目用画像から抽出された物体Ｂの周辺の画像と同等の画像を含む領域を左目用画像から例えばパターンマッチング法により検索する。ここで検索される領域は、周辺画像の抽出で用いた領域と略同一の大きさ、形状とする。なお、背景抽出部１５４が用いる方法はパターンマッチング法に限定されず、さまざまな公知の方法を用いることができる。
【０１２９】
そして、図５Ｆに示すように、背景抽出部１５４は、図５Ｅで検索された領域のなかから、右目用画像の背景画像を抽出する。これは、図５Ｅで左目用画像のなかから検索された領域（図５Ｆの点線で囲まれた領域）のうち、図５Ｄで抽出された領域内の物体Ｂがある部分（図５Ｆの斜線部分に相当）を抜きだすようにすればよい。背景抽出部１５４は、抽出した背景画像を画像合成部１５５に出力する。
【０１３０】
最後に、図５Ｇに示すように、画像合成部１５５は、右目用画像の背景画像を右目用画像の物体Ｂの画像に重ねて合成する。左目用画像と右目用画像には視差があるため、抽出した背景画像をそのまま右目用画像に上書きすると、境界でずれが生じる。したがって、背景画像の境界をぼかしたり、モーフィング技術を用いて背景画像を変形させたりしてから合成する。これにより、右目用画像から物体Ｂの画像（すなわち、対象被写体像）が削除される。
【０１３１】
ステップＳ１９において、ステップＳ１８と平行して、画像合成部１５５は、左目用画像に対象被写体像を合成することで、左目用画像に対象被写体像を二重表示させる。合成する位置は、右目用画像における対象被写体の位置である。ステップＳ１９について、図５Ｈ、５Ｉを用いて説明する。ステップＳ１９は、ステップＳ１８と同様、図５Ｂに示すように主要被写体の視差量が０となるような視差ずらしが行われた右目用画像、左目用画像に対して行われる。
【０１３２】
図５Ｈに示すように、画像合成部１５５は、右目用画像から物体Ｂの画像を抽出する。また、画像合成部１５５は、左目用画像から物体Ｂの画像を抽出するとともに、物体Ｂの位置を抽出する。
【０１３３】
ステップＳ１２で算出されたずれベクトルは画像合成部１５５に入力されている。したがって、画像合成部１５５は、図５Ｉに示すように、左目用画像の物体Ｂの画像の位置からずれベクトルＢだけ移動させた位置に右目用画像から抽出された物体Ｂの画像を合成する処理を左目用データ画像に対して行なう。これにより、左目用画像には、左目用画像における物体Ｂの位置、及び左目用画像における物体Ｂの位置からずれベクトルＢだけ移動させた位置、すなわち右目用画像における物体Ｂの位置の２箇所に物体Ｂが表示される。これにより、左目用画像に物体Ｂの画像（すなわち、対象被写体像）が二重表示される。
【０１３４】
ステップＳ２０において、画像合成部１５５は、ステップＳ１８で物体Ｂの画像が削除された右目用画像と、ステップＳ１９で物体Ｂの画像が二重表示された左目用画像とを立体画像生成部１３３に出力する。立体画像生成部１３３は、ステップＳ１８で物体Ｂの画像が削除された右目用画像と、ステップＳ１９で物体Ｂの画像が二重表示された左目用画像とをモニタ１６で立体表示が可能なように加工し、ビデオエンコーダ１３４を介してモニタ１６に出力する。
【０１３５】
これにより、図５Ｊに示すように、物体Ｂの画像が削除された右目用画像と物体Ｂの画像が二重表示された左目用画像とがモニタ１６に表示され、立体表示が行われる（１枚画像の再生）。モニタ１６に表示された右目用画像には物体Ｂが含まれていないため、図５Ｊに示す場合には物体Ｂは三次元に見えない。そのため、物体Ｂの過度な飛びだし感を無くした表示を行なうことができる。
【０１３６】
画像のコマ送りは、十字ボタン２６の左右のキー操作によって行なわれ、十字ボタン２６の右キーが押されると、次の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。また、十字ボタンの左キーが押されると、一つ前の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。次の画像ファイル、一つ前の画像ファイルに対しても図４に示す処理がおこなわれ、２Ｄ処理された画像がモニタ１６に立体表示される。
【０１３７】
モニタ１６に再生表示された画像を確認しながら、必要に応じて、記録メディア１４０に記録された画像を消去することができる。画像の消去は、画像がモニタ１６に再生表示された状態でＭＥＮＵ／ＯＫボタン２５が押下されることによって行われる。
【０１３８】
本実施の形態によれば、表示面から飛び出し方向の視差が過度な被写体を、三次元に見えない（立体視できない）状態にして表示を行なうことができる。そのため、過度の飛びだし感がなくなり、ユーザーの眼疲労を軽減させることができる。また、対象被写体以外は２Ｄ処理を行わないため、遠景が見づらくなることを防止することもできる。
【０１３９】
なお、本実施の形態では、対象被写体の抽出をずれベクトルの大きさ及び向きにもとづいて行なったが、対象被写体の抽出にずれベクトルの大きさを用いることは必須ではなく、対象被写体の抽出をずれベクトルの向きのみで行ってもよい。この場合には、クロスポイントより手前側にあり、モニタ１６の表示面より飛びだして見える被写体、すなわち表示面から飛び出す方向の視差を有する被写体が対象被写体として抽出される。ただし、モニタ１６の表示面より飛びだして見える量によっては、ユーザーの眼を疲弊させない場合も考えられるため、対象被写体の抽出をずれベクトルの向き及び大きさに基づいて行うのが望ましい。
【０１４０】
また、本実施の形態では、右目用画像を視差量だけ移動させた視差ずらしを行なって主要被写体の視差量を０とし（主要被写体とクロスポイントとを一致させ）、視差ずらし後の右目用画像及び左目用画像から各被写体毎のずれベクトルの算出、対象被写体の削除、対象被写体の二重表示を行なったが、主要被写体の視差量を０とすることは必須ではない。この場合には、撮像素子１２２、１２３から出力された画像信号から生成された状態の右目用画像及び左目用画像から各被写体毎のずれベクトルの算出、対象被写体の削除、対象被写体の二重表示を行なうようにすればよい。ただし、主要被写体の視差量を０とすると、主要被写体が表示面に表示されるため、ユーザーが主要被写体に注目した際に、ユーザーの目の焦点が表示面に合うことになる。そのため、ユーザーの目の疲労を軽減させるためには、主要被写体の視差量を０とすることが望ましい。
【０１４１】
また、本実施の形態では、主要被写体の視差量が０となるように右目用画像を視差量だけ移動させた視差ずらしを行なったが、対象被写体の大きさに応じて視差ずらしの大きさ（以下、視差ずらし量という）を変えるようにしてもよい。例えば、２重表示された対象被写体が占める領域（以下、２重表示領域という）の占める割合が閾値を超えた場合には、飛び出し量の少なくなる方向、すなわち主要被写体を奥側へ移動させる方向（本実施の形態では、右目用画像を右側に移動させる方向）で視差ずらし量を変更するようにしてもよい。例えば、図５ＡからＪに示す場合には、大きさがａ（視差ずらし量は＋ａ）で方向が右目用画像を右側に移動させる方向の視差量で右眼用の画像の視差ずらしが行われているが、２重表示領域の占める割合が閾値を超えた場合には右目用画像を更に右方向に移動させ、右目用画像の視差ずらし量をａより大きくする。このように、全体的に表示面からの飛び出し量を少なくする方向に右目用画像を移動させる。これにより、２重表示領域の占める割合を少なくすることができる。また、視差ずらし量を変えることでずれベクトルが小さく算出されるため、２Ｄ処理の閾値が擬似的に上がることとなり、立体表示が行われる範囲を拡大することができる。
【０１４２】
また、２重表示領域の占める割合が一定時間継続して閾値を越えた場合に、飛び出し量の少なくなる方向、すなわち主要被写体を奥側へ移動させる方向で視差ずらし量を時間と共に変更するようにしてもよい。例えば、図５Ａから５Ｊに示す場合には、２重表示領域の占める割合が一定時間継続して閾値を超えた場合には、一定時間経過後に時間と共に右目用画像を更に右方向に移動させ、右目用画像の視差ずらし量をａよりすこしずつ大きくしていく。これにより、時間と共に２重表示領域の占める割合を少なくすることができる。また、時間と共に立体表示が行われる範囲を拡大することができる。
【０１４３】
また、本実施の形態では、左目用画像で対象被写体の二重表示を行ない、右目用画像から対象被写体を削除したが、左目用画像、右目用画像は逆でもよい。
【０１４４】
＜第２の実施の形態＞
本発明の第１の実施の形態は、左目用画像で対象被写体の二重表示を行ない、右目用画像から対象被写体を削除することにより２Ｄ処理を行なったが、２Ｄ処理はこれに限られない。
【０１４５】
本発明の第２の実施の形態は、２Ｄ処理において、左目用画像及び右目用画像で対象被写体の二重表示を行なう形態である。以下、第２の実施の形態の多眼デジタルカメラ２について説明する。第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
【０１４６】
多眼デジタルカメラ２の主要な内部構成について説明する。多眼デジタルカメラ１と多眼デジタルカメラ２との差異は３Ｄ／２Ｄ変換部１３５Ａのみであるため、３Ｄ／２Ｄ変換部１３５Ａについてのみ説明する。
【０１４７】
図６は、３Ｄ／２Ｄ変換部１３５Ａの内部構成を示すブロック図である。３Ｄ／２Ｄ変換部１３５Ａは、主として、視差量算出部１５１、ずれベクトル算出部１５２、３Ｄ不適切物体判定／抽出部１５３、画像合成部１５５Ａで構成される。
【０１４８】
画像合成部１５５Ａは、ずれベクトル算出部１５２から入力されたずれベクトル及び３Ｄ不適切物体判定／抽出部１５３から入力された対象被写体の情報に基づいて、左目用画像に対象被写体像を半透明化して合成することで、左目用画像に対象被写体像を二重表示させる。合成する位置は、右目用画像における対象被写体の位置である。また、画像合成部１５５Ａは、ずれベクトル算出部１５２から入力されたずれベクトル及び３Ｄ不適切物体判定／抽出部１５３から入力された対象被写体の情報に基づいて、右目用画像に対象被写体像を半透明化して合成することで右目用画像に対象被写体像を半透明化して二重表示させる。合成する位置は、左目用画像における対象被写体の位置である。画像合成部１５５Ａの処理の詳細については、後に詳述する。
【０１４９】
次に、多眼デジタルカメラ２の作用について説明する。多眼デジタルカメラ１と多眼デジタルカメラ２との差異は２Ｄ処理のみであるため、多眼デジタルカメラ２の作用については、２Ｄ処理のみについて説明する。
【０１５０】
図７は、３Ｄ／２Ｄ変換部１３５Ａで対象被写体に対して２Ｄ処理を行う処理の流れを示すフローチャートである。なお、図４に示すフローと同一の部分については、詳細な説明を省略する。
【０１５１】
ステップＳ１０において、圧縮伸張処理部１３２で非圧縮の輝度／色差信号に伸張された画像データ、すなわち右目用画像、左目用画像が３Ｄ／２Ｄ変換部１３５に入力される。
【０１５２】
ステップＳ１１において、視差量算出部１５１は、右目用画像、左目用画像を取得し、右目用画像及び左目用画像から主要被写体を抽出し、抽出した主要被写体の視差量を算出する。図８Ａに示すように物体Ａが主要被写体である場合には、視差量算出部１５１は、左目用画像における物体Ａの位置と、右目用画像における物体Ａの位置とを比較して視差量を算出する。なお、図８Ａから８Ｅにおいて、左目用画像中の物体Ｂと物体Ｃに網掛けや斜線をかけているが、これは左目用画像中の物体Ｂ及び物体Ｃと、右目用画像中の物体Ｂ及び物体Ｃとを区別しやすくすることにより、説明を分りやすくするためである。右目用画像と左目用画像とで物体Ｂと物体Ｃが異なっていることを意味するのではない。
【０１５３】
ステップＳ１２において、ステップＳ１１で算出された視差量は、ずれベクトル算出部１５２に入力される。ずれベクトル算出部１５２は、図８Ｂに示すように右目用画像を視差量だけ移動させた視差ずらしをおこない、視差ずらし後の右目用画像及び左目用画像から各被写体毎のずれベクトルを算出する。図８Ａから８Ｅに示す例では、視差ずらしの結果、物体Ａはずれベクトルが０となっているため、物体Ｂ、Ｃについてずれベクトルを算出する。
【０１５４】
ステップＳ１３において、ステップＳ１２で算出されたずれベクトルＢ、ずれベクトルＣは３Ｄ不適切物体判定／抽出部１５３に入力される。３Ｄ不適切物体判定／抽出部１５３は、ずれベクトルの方向の方向に基づいて対象被写体の候補を抽出する。
【０１５５】
ステップＳ１４において、３Ｄ不適切物体判定／抽出部１５３は、ステップＳ１３で抽出された対象被写体の候補のずれベクトルの大きさが所定の閾値以上であるか否かを判断する。
【０１５６】
ステップＳ１５において、対象被写体の候補のずれベクトルの大きさが所定の閾値以上である場合（ステップＳ１４でＹＥＳ）には、３Ｄ不適切物体判定／抽出部１５３は、対象被写体の候補を対象被写体と判定する。図８Ａから８Ｅに示す例では、物体Ｂが対象被写体と判定される。そして、この物体Ｂを立体表示させることが適切ではない被写体として、以下のステップＳ２１及びＳ２２を物体Ｂに対して行う。
【０１５７】
対象被写体の候補のずれベクトルの大きさが所定の閾値以上でない場合（ステップＳ１４でＮＯ）は、ステップＳ１５を行わずステップＳ１６へ進む。
【０１５８】
ステップＳ１６において、３Ｄ不適切物体判定／抽出部１５３は、ステップＳ１４、Ｓ１５の処理が全ての対象被写体の候補について行われたかを判断する。全ての対象被写体の候補についてステップＳ１４、Ｓ１５の処理が行われていない場合（ステップＳ１６でＮＯ）には、再度ステップＳ１４、Ｓ１５を行う。
【０１５９】
ステップＳ１７において、全ての対象被写体の候補についてステップＳ１４、Ｓ１５の処理が行われた場合（ステップＳ１６でＹＥＳ）には、３Ｄ不適切物体判定／抽出部１５３は、ステップＳ１４〜Ｓ１６までの処理で対象被写体があると判定されたかを判断する。
【０１６０】
対象被写体が無い場合（ステップＳ１７でＮＯ）には、ステップＳ２３へ進む。
【０１６１】
ステップＳ２１において、対象被写体がある場合（ステップＳ１７でＹＥＳ）には、画像合成部１５５Ａは、左目用画像に対象被写体像を半透明化して合成することで、左目用画像に対象被写体を二重表示させる。合成する位置は、右目用画像における対象被写体の位置である。ステップＳ２１について、図８Ｃ、８Ｄを用いて説明する。ステップＳ２１は、図８Ｂに示すように主要被写体の視差量が０となるような視差ずらしが行われた右目用画像、左目用画像に対して行われる。
【０１６２】
図８Ｃに示すように、画像合成部１５５Ａは、右目用画像から物体Ｂの画像を抽出する。また、画像合成部１５５Ａは、左目用画像から物体Ｂの画像を抽出するとともに、物体Ｂの位置を抽出する。
【０１６３】
ステップＳ１２で算出されたずれベクトルは画像合成部１５５に入力されている。したがって、画像合成部１５５Ａは、図８Ｄに示すように、左目用画像の物体Ｂの画像の位置からずれベクトルＢだけ移動させた位置に、右目用画像から抽出された物体Ｂの画像を半透明化して合成する処理を左目用データ画像に対して行なう。
【０１６４】
半透明化して合成する処理は、合成対象である右目用画像から抽出された物体Ｂの画素と、非合成対象である左目用画像の画素との間の重み付けを規定し、この重み付けで右目用画像から抽出された物体Ｂを左目用画像に重畳することによって行うことができる。重み付けは任意に設定が可能であり、重み付けを変えることにより半透明化の度合いを変えることができる。
【０１６５】
これにより、左目用画像には、左目用画像における物体Ｂの位置、及び左目用画像における物体Ｂの位置からずれベクトルＢだけ移動させた位置、すなわち右目用画像における物体Ｂの位置の２箇所に物体Ｂの画像が表示される。すなわち、左目用画像に対象被写体像が二重表示される。
【０１６６】
ステップＳ２２において、画像合成部１５５Ａは、ステップＳ２１と同様の方法により、右目用画像に対象被写体像を半透明化して合成することで、図８Ｅに示すように右目用画像に対象被写体像を二重表示させる。合成する位置は、左目用画像における対象被写体の位置である。すなわち、画像合成部１５５Ａは、左目用画像から物体Ｂの画像を抽出し、かつ右目用画像から物体Ｂの画像を抽出するとともに、物体Ｂの位置を抽出する。そして、画像合成部１５５Ａは、右目用画像の物体Ｂの画像の位置からずれベクトルＢだけずれベクトルＢの方向と反対方向に移動させた位置に左目用画像から抽出された物体Ｂの画像を半透明化して合成する処理を右目用データ画像に対して行なうこれにより、右目用画像には、右目用画像における物体Ｂの位置、及び右目用画像における物体Ｂの位置からずれベクトルＢの大きさだけずれベクトルＢと反対方向に移動させた位置、すなわち左目用画像における物体Ｂの位置の２箇所に物体Ｂの画像が表示される。つまり、右目用画像に対象被写体像が二重表示される。なお、ステップＳ２２は、ステップＳ２１と同様、図８Ｂに示すように主要被写体の視差量が０となるような視差ずらしが行われた右目用画像、左目用画像に対して行われる。
【０１６７】
ステップＳ２３において、画像合成部１５５Ａは、ステップＳ２１、２２で物体Ｂの画像が二重表示された右目用画像及び左目用画像を立体画像生成部１３３に出力する。立体画像生成部１３３は、ステップＳ２１、２２で物体Ｂの画像が二重表示された右目用画像及び左目用画像をモニタ１６で立体表示が可能なように加工し、ビデオエンコーダ１３４を介してモニタ１６に出力する。
【０１６８】
これにより、図８Ｅに示すように、物体Ｂが二重表示された右目用画像及び左目用画像がモニタ１６に表示され、立体表示が行われる（１枚画像の再生）。モニタ１６に表示された右目用画像及び左目用画像には、撮影された物体Ｂが含まれているため、物体Ｂは立体表示される。しかしながら、立体表示に用いられる物体Ｂに並んで立体表示に用いられない物体Ｂが半透明で表示されているため、ユーザーの意識が分断され、物体Ｂの立体感を和らげることができる。
【０１６９】
本実施の形態によれば、対象被写体が三次元に見えにくくなるため、過度な飛びだし感をもって表示される被写体の立体感を和らげることができる。そのため、ユーザーの眼疲労を軽減させることができる。
【０１７０】
＜第３の実施の形態＞
本発明の第２の実施の形態は、半透明化された対象被写体を合成することにより左目用画像及び右目用画像で対象被写体の二重表示を行なったが、２Ｄ処理はこれに限られない。
【０１７１】
本発明の第３の実施の形態は、２Ｄ処理において、撮影された対象被写体を半透明化するとともに半透明化された対象被写体を合成することで、左目用画像及び右目用画像で対象被写体を半透明で二重表示を行なう形態である。以下、第３の実施の形態の多眼デジタルカメラ３について説明する。第１の実施の形態及び第２の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
【０１７２】
多眼デジタルカメラ２の主要な内部構成について説明する。多眼デジタルカメラ１と多眼デジタルカメラ３との差異は３Ｄ／２Ｄ変換部１３５Ｂのみであるため、３Ｄ／２Ｄ変換部１３５Ｂについてのみ説明する。
【０１７３】
図９は、３Ｄ／２Ｄ変換部１３５Ｂの内部構成を示すブロック図である。３Ｄ／２Ｄ変換部１３５Ｂは、主として、視差量算出部１５１、ずれベクトル算出部１５２、３Ｄ不適切物体判定／抽出部１５３、背景抽出部１５４Ａ、画像合成部１５５Ａで構成される。
【０１７４】
背景抽出部１５４Ａは、右目用画像の背景画像を左目用画像から抽出する。また、背景抽出部１５４Ａは、左目用画像における対象被写体の背景（以下、左目用画像の背景画像という）を右目用画像から抽出する。背景抽出部１５４Ａで抽出された右目用画像の背景画像は画像合成部１５５Ａに入力される。背景抽出部１５４Ａの処理の詳細については、後に詳述する。
【０１７５】
次に、多眼デジタルカメラ３の作用について説明する。多眼デジタルカメラ１と多眼デジタルカメラ３との差異は２Ｄ処理のみであるため、多眼デジタルカメラ３の作用については、２Ｄ処理のみについて説明する。
【０１７６】
図１０は、３Ｄ／２Ｄ変換部１３５Ｂで対象被写体に対して２Ｄ処理を行う処理の流れを示すフローチャートである。なお、図４、図７に示すフローと同一の部分については、詳細な説明を省略する。
【０１７７】
ステップＳ１０において、圧縮伸張処理部１３２で非圧縮の輝度／色差信号に伸張された画像データ、すなわち右目用画像、左目用画像が３Ｄ／２Ｄ変換部１３５に入力される。
【０１７８】
ステップＳ１１において、視差量算出部１５１は、右目用画像、左目用画像を取得し、右目用画像及び左目用画像から主要被写体を抽出し、抽出した主要被写体の視差量を算出する。図１１Ａに示すように物体Ａが主要被写体である場合には、視差量算出部１５１は、左目用画像における物体Ａの位置と、右目用画像における物体Ａの位置とを比較して視差量を算出する。なお、図１１Ａから１１Ｋにおいて、左目用画像中の物体Ｂと物体Ｃに網掛けや斜線をかけているが、これは左目用画像中の物体Ｂ及び物体Ｃと、右目用画像中の物体Ｂ及び物体Ｃとを区別しやすくすることにより、説明を分りやすくするためである。右目用画像と左目用画像とで物体Ｂと物体Ｃが異なっていることを意味するのではない。
【０１７９】
ステップＳ１２において、ステップＳ１１で算出された視差量は、ずれベクトル算出部１５２に入力される。ずれベクトル算出部１５２は、図１１Ｂに示すように右目用画像を視差量だけ移動させた視差ずらしをおこない、視差ずらし後の右目用画像及び左目用画像から各被写体毎のずれベクトルを算出する。図１１Ａから１１Ｋに示す例では、視差ずらしの結果、物体Ａはずれベクトルが０となっているため、物体Ｂ、Ｃについてずれベクトルを算出する。
【０１８０】
ステップＳ１３において、ステップＳ１２で算出されたずれベクトルＢ、ずれベクトルＣは３Ｄ不適切物体判定／抽出部１５３に入力される。３Ｄ不適切物体判定／抽出部１５３は、ずれベクトルの方向の方向に基づいて対象被写体の候補を抽出する。
【０１８１】
ステップＳ１４において、３Ｄ不適切物体判定／抽出部１５３は、ステップＳ１３で抽出された対象被写体の候補のずれベクトルの大きさが所定の閾値以上であるか否かを判断する。
【０１８２】
ステップＳ１５において、対象被写体の候補のずれベクトルの大きさが所定の閾値以上である場合（ステップＳ１４でＹＥＳ）には、３Ｄ不適切物体判定／抽出部１５３は、対象被写体の候補を対象被写体と判定する。図１１Ａから１１Ｋに示す例では、物体Ｂが対象被写体と判定される。そして、この物体Ｂを立体表示させることが適切ではない被写体として、以下のステップＳ２１、Ｓ２２、Ｓ２４及びＳ２５を物体Ｂに対して行う。
【０１８３】
対象被写体の候補のずれベクトルの大きさが所定の閾値以上でない場合（ステップＳ１４でＮＯ）は、ステップＳ１５を行わずステップＳ１６へ進む。
【０１８４】
ステップＳ１６において、３Ｄ不適切物体判定／抽出部１５３は、ステップＳ１４、Ｓ１５の処理が全ての対象被写体の候補について行われたかを判断する。全ての対象被写体の候補についてステップＳ１４、Ｓ１５の処理が行われていない場合（ステップＳ１６でＮＯ）には、再度ステップＳ１４、Ｓ１５を行う。
【０１８５】
ステップＳ１７において、全ての対象被写体の候補についてステップＳ１４、Ｓ１５の処理が行われた場合（ステップＳ１６でＹＥＳ）には、３Ｄ不適切物体判定／抽出部１５３は、ステップＳ１４〜Ｓ１６までの処理で対象被写体があると判定されたかを判断する。
【０１８６】
対象被写体が無い場合（ステップＳ１７でＮＯ）には、ステップＳ２０へ進む。
【０１８７】
ステップＳ２４において、対象被写体がある場合（ステップＳ１７でＹＥＳ）には、背景抽出部１５４Ａは、左目用画像から右目用画像の背景画像を抽出し、画像合成部１５５Ａは右目用画像の背景画像を右目用画像に半透明化して合成する。ステップＳ２４について、図１１Ｃから１１Ｆを用いて説明する。ステップＳ２４は、図１１Ｂに示すように主要被写体の視差量が０となるような視差ずらしが行われた右目用画像、左目用画像に対して行われる。
【０１８８】
図１１Ｃに示すように、背景抽出部１５４Ａは、右目用画像から対象被写体像（ここでは物体Ｂの画像）をその周辺の画像を含めて抽出する。周辺の画像の抽出は、例えば物体Ｂを含む矩形、円、楕円形等の領域を抽出するようにすればよい（図１１Ｃでは点線で表示している）。
【０１８９】
次に、図１１Ｄに示すように、背景抽出部１５４Ａは、右目用画像から抽出された物体Ｂの周辺の画像と同等の画像を含む領域を左目用画像から例えばパターンマッチング法により検索する。ここで検索される領域は、周辺画像の抽出で用いた領域と略同一とする。
【０１９０】
そして、図１１Ｅに示すように、背景抽出部１５４Ａは、図１１Ｄで検索された領域のなかから、右目用画像の背景画像を抽出する。これは、図１１Ｄで左目用画像のなかから検索された領域のうち、図１１Ｃで抽出された領域内の物体Ｂがある部分（図１１Ｅの斜線部分に相当）を抜きだすようにすればよい。背景抽出部１５４Ａは、抽出した背景画像を画像合成部１５５Ａに出力する。
【０１９１】
最後に、図１１Ｆに示すように、画像合成部１５５Ａは、右目用画像の背景画像を右目用画像の物体Ｂの画像に重ねて半透明化して合成する。左目用画像と右目用画像には視差があるため、抽出した背景画像をそのまま右目用画像に上書きすると、境界でずれが生じる。したがって、背景画像の境界をぼかしたり、モーフィング技術を用いて背景画像を変形させたりしてから合成する。
【０１９２】
半透明化して合成する処理は、合成対象である右目用画像の背景画像の画素と、非合成対象である右目用画像の物体Ｂの画素との間の重み付けを既定し、この重み付けで右目用画像の背景画像を右目用画像の物体Ｂに重畳することによって行うことができる。重み付けは設定が可能であり、重み付けを変えることにより半透明化の度合い（以下、透過率という）を変えることができる。これにより、右目用画像に背景画像が半透明化して合成される。
【０１９３】
ステップＳ２５において、背景抽出部１５４Ａは、ステップＳ２４と同様の方法により、右目用画像から左目用画像の背景画像を抽出し、画像合成部１５５は左目用画像に左目用画像の背景画像を半透明化して合成する。ステップＳ２５は、図１１Ｂに示すように主要被写体の視差量が０となるような視差ずらしが行われた右目用画像、左目用画像に対して行われる。
【０１９４】
すなわち、背景抽出部１５４Ａは、左目用画像から対象被写体像（ここでは物体Ｂの画像）をその周辺の画像を含めて抽出し、抽出された物体Ｂの周辺の画像と同等の画像を含む領域を右目用画像からパターンマッチング法により検索し、右目用画像から検索された領域のなかから、左目用画像の背景画像を抽出する。そして、画像合成部１５５Ａは、左目用画像の背景画像を左目用画像の物体Ｂの画像に重ねて合成する。これにより、図１１Ｇに示すように、左目用画像に背景画像が半透明化して合成される。
【０１９５】
ステップＳ２１において、ステップＳ１８、Ｓ２４と平行して、画像合成部１５５Ａは、図１１Ｈ、１１Ｉ（図８Ｃ、８Ｄと同一）に示すように、左目用画像に対象被写体像を半透明化して合成することで、左目用画像に対象被写体像を二重表示させる。合成する位置は、右目用画像における対象被写体の位置である。これにより、右目用画像に物体Ｂの画像が二重表示される。ステップＳ２１は、図１１Ｂに示すように主要被写体の視差量が０となるような視差ずらしが行われた右目用画像、左目用画像に対して行われる。
【０１９６】
ステップＳ２２において、画像合成部１５５Ａは、ステップＳ２１と同様の方法により、右目用画像に対象被写体像を半透明化して合成することで、図１１Ｊ（図８Ｅと同一）に示すように右目用画像に対象被写体像を二重表示させる。合成する位置は、左目用画像における対象被写体の位置である。これにより、右目用画像に物体Ｂの画像が二重表示される。なお、ステップＳ２２は、ステップＳ２１と同様、図１１Ｂに示すように主要被写体の視差量が０となるような視差ずらしが行われた右目用画像、左目用画像に対して行われる。
【０１９７】
ステップＳ２６において、画像合成部１５５Ａは、ステップＳ２４、Ｓ２５で背景画像が半透明化して合成された右目用画像及び左目用画像、及びステップＳ２１、２２で対象被写体像が二重表示された右目用画像及び左目用画像を立体画像生成部１３３に出力する。
【０１９８】
立体画像生成部１３３は、ステップＳ２１で物体Ｂの画像が二重表示された左目用画像と、ステップＳ２５で背景画像が半透明化して合成された左目用画像とを合成する。これにより、図１１Ｋに示すように、左目用画像に表示された２つの物体Ｂの画像がそれぞれ半透明化される。また、立体画像生成部１３３は、ステップＳ２２で物体Ｂの画像が二重表示された右目用画像と、ステップＳ２４で背景画像が半透明化して合成された右目用画像とを合成する。これにより、図１１Ｋに示すように、右目用画像に表示された２つの物体Ｂの画像がそれぞれ半透明化される。
【０１９９】
立体画像生成部１３３は、並列表示された対象被写体像（ここでは物体Ｂの画像）がそれぞれ半透明化された右目用画像及び左目用画像をモニタ１６で立体表示が可能なように加工し、ビデオエンコーダ１３４を介してモニタ１６に出力する。
【０２００】
これにより、図１１Ｋに示すように、物体Ｂが半透明で二重表示された右目用画像及び左目用画像がモニタ１６に表示され、立体表示が行われる（１枚画像の再生）。モニタ１６に表示された右目用画像及び左目用画像には、撮影された物体Ｂが含まれているため、物体Ｂは立体表示される。しかしながら、立体表示に用いられる物体Ｂは半透明化されているため、ユーザーが物体Ｂに視線をもっていかなくなる。また、立体表示に用いられる物体Ｂに並んで立体表示に用いられない物体Ｂが半透明で表示されているため、ユーザーの意識が分断される。そのため、物体Ｂの立体感を和らげることができる。
【０２０１】
本実施の形態によれば、対象被写体が三次元に見えにくくなるため、過度な飛びだし感をもって表示される被写体の立体感を和らげることができる。そのため、ユーザーの眼疲労を軽減させることができる。
【０２０２】
なお、本実施の形態では、左目用画像及び右目用画像に対象被写体像を半透明化して並列表示することにより２Ｄ処理を行なったが、対象被写体像を半透明化して並列表示するのは左目用画像、右目用画像のどちらかでもよい。例えば、図１２に示すように、左目用画像のみ対象被写体像を半透明化して並列表示し、右目用画像から対象被写体像を削除してもよい。この場合には、図１０のステップＳ２４〜Ｓ２２の処理の代わりに、右目用画像から背景画像を抽出して対象被写体を削除し（ステップＳ１８）、左目用画像に背景画像を半透明化して合成して対象被写体像を半透明化し（ステップＳ２５）、左目用画像に対象被写体像を半透明化して合成して左目用画像に対象被写体を二重表示させる（ステップＳ２１）処理を行えばよい。または、図１０のステップＳ２６の処理の代わりに、ステップＳ２１で対象被写体像が二重表示された左目用画像と、ステップＳ２５で背景画像が半透明化して合成された左目用画像とを合成した画像、すなわち並列表示された２つの対象被写体像がそれぞれ半透明化された左目用画像と、ステップＳ１８で対象被写体像が削除された右目用画像とをモニタ１６で立体表示が可能なように加工し、ビデオエンコーダ１３４を介してモニタ１６に出力する処理を行えばよい。
【０２０３】
また、図１２に示す変形例において、左目用画像に並列表示された対象被写体像のうち、右目用画像の位置に表示された対象被写体像のみを半透明化するようにしてもよい。この場合には、図１０のステップＳ２４からＳ２２の処理の代わりに、右目用画像から背景画像を抽出して対象被写体像を削除し（ステップＳ１８）、左目用画像に対象被写体像を半透明化して合成して左目用画像に対象被写体を二重表示させ（ステップＳ２１）、これらをモニタ１６で立体表示が可能なように加工し、ビデオエンコーダ１３４を介してモニタ１６に出力するようにすればよい。
【０２０４】
また、本実施の形態において、対象被写体像を半透明化して合成するときの透過率を対象被写体の大きさに基づいて変更するようにしてもよい。例えば、対象被写体の大きさが大きくなるにつれて透過率を高くすることが考えられる。これは、画像合成部１５５Ａがずれベクトル算出部１５２で抽出された対象被写体の大きさを取得し、画像合成部１５５Ａの図示しない記憶領域に記憶された対象被写体の大きさと透過率との関係に基づいて透過率を決定するようにすればよい。これは、第３の実施の形態のみでなく、第２の実施の形態及び第３の実施の形態の変形例にも適用できる。
【０２０５】
なお、第１から第３の実施の形態は、多眼デジタルカメラのモニタ１６に表示させるときの処理を例に説明したが、多眼デジタルカメラ等で撮影された画像を携帯型のパソコンや立体表示が可能なモニタ等の表示装置に出力し、携帯型のパソコンや立体表示が可能なモニタで画像を立体視する場合にも適用可能である。すなわち、本発明は、多眼デジタルカメラ、表示装置などの装置に適用してもよいし、これらの装置にインストールされ、実行されるプログラムにも適用できる。
【０２０６】
また、第１から第３の実施の形態は、多眼デジタルカメラのモニタ１６という小型で持ち運びが可能な表示装置を例に説明したが、テレビ、スクリーン等の大型の表示装置にも適用できる。ただし、本発明は、小型の表示装置のほうがより効果がある。
【０２０７】
また、第１から第３の実施の形態では、静止画を撮影する場合を例に説明したが、本発明はスルー画像や動画を撮影する場合にも適用できる。スルー画像や動画の場合には、静止画の場合と同じ方法により主要被写体を選択してもよいし、追跡中の動体（ユーザーによる選択等）を主要被写体としてもよい。また、静止画撮影時に、静止画撮影の前に行なわれたスルー画像撮影中に追跡していた動体を静止画撮影時の主要被写体としてもよい。
【０２０８】
また、動画撮影時には、対象被写体の候補のずれベクトルの大きさが所定の閾値以上であるときに対象被写体と判定する処理（ステップＳ１５）に代えて、対象被写体の候補のずれベクトルの大きさが所定の閾値以上となる状況が一定時間継続した場合に対象被写体と判定するようにしてもよい。これにより、対象被写体の候補のずれベクトルの大きさが所定の閾値近辺を前後することにより、２重表示がされたりされなかったりするというハンチングを防止することができる。
【０２０９】
本発明は、プログラムによっても実現可能である。この場合、本発明に係る立体画像表示処理をコンピュータに実施させるプログラムを用意し、このプログラムをコンピュータにインストールする。そして、コンピュータでこのプログラムを実行させる。また、本発明に係る立体画像表示処理をコンピュータに実施させるプログラムを記録媒体に記録し、この記録媒体を介して該プログラムをコンピュータにインストールすることも可能である。記録媒体として、例えば、光磁気ディスク、フレキシブルディスク、メモリーチップ等が挙げられる。
【符号の説明】
【０２１０】
１：多眼デジタルカメラ、１０：カメラボディ、１１：バリア、１２：右撮像系、１３：左撮像系、１４：フラッシュ、１５：マイク、１６：モニタ、２０：レリーズスイッチ、２１：ズームボタン、２２：モードボタン、２３：視差調整ボタン、２４：２Ｄ／３Ｄ切り替えボタン、２５：ＭＥＮＵ／ＯＫボタン、２６：十字ボタン、２７：ＤＩＳＰ／ＢＡＣＫボタン、１１０：ＣＰＵ、１１２：操作部、１１４：ＳＤＲＡＭ、１１６：ＶＲＡＭ、１１８：ＡＦ検出部、１２０：ＡＥ／ＡＷＢ検出部、１２２、１２３：撮像素子、１２４、１２５：ＣＤＳ／ＡＭＰ、１２６、１２７：Ａ／Ｄ変換器、１２８：画像入力コントローラ、１３０：画像信号処理部、１３３：立体画像生成部、１３２：圧縮伸張処理部、１３４：ビデオエンコーダ、１３５：３Ｄ／２Ｄ変換部、１３６：メディアコントローラ、１４０：記録メディア、１３８：音入力処理部、１４２、１４３：フォーカスレンズ駆動部、１４４、１４５：ズームレンズ駆動部、１４６、１４７：絞り駆動部、１４８、１４９：タイミングジェネレータ（ＴＧ）、１５１：視差量算出部、１５２：ずれベクトル算出部、１５３：３Ｄ不適切物体判定／抽出部、１５４、１５４Ａ：背景抽出部、１５５、１５５Ａ：画像合成部
【図１Ａ】
2012002106.tif 000003
【図１Ｂ】
2012002106.tif 000004
【図２】
2012002106.tif 000005
【図３】
2012002106.tif 000006
【図４】
2012002106.tif 000007
【図５Ａ】
2012002106.tif 000008
【図５Ｂ】
2012002106.tif 000009
【図５Ｃ】
2012002106.tif 000010
【図５Ｄ】
2012002106.tif 000011
【図５Ｅ】
2012002106.tif 000012
【図５Ｆ】
2012002106.tif 000013
【図５Ｇ】
2012002106.tif 000014
【図５Ｈ】
2012002106.tif 000015
【図５Ｉ】
2012002106.tif 000016
【図５Ｊ】
2012002106.tif 000017
【図６】
2012002106.tif 000018
【図７】
2012002106.tif 000019
【図８Ａ】
2012002106.tif 000020
【図８Ｂ】
2012002106.tif 000021
【図８Ｃ】
2012002106.tif 000022
【図８Ｄ】
2012002106.tif 000023
【図８Ｅ】
2012002106.tif 000024
【図９】
2012002106.tif 000025
【図１０】
2012002106.tif 000026
【図１１Ａ】
2012002106.tif 000027
【図１１Ｂ】
2012002106.tif 000028
【図１１Ｃ】
2012002106.tif 000029
【図１１Ｄ】
2012002106.tif 000030
【図１１Ｅ】
2012002106.tif 000031
【図１１Ｆ】
2012002106.tif 000032
【図１１Ｇ】
2012002106.tif 000033
【図１１Ｈ】
2012002106.tif 000034
【図１１Ｉ】
2012002106.tif 000035
【図１１Ｊ】
2012002106.tif 000036
【図１１Ｋ】
2012002106.tif 000037
【図１２】
2012002106.tif 000038
【図１３Ａ】
2012002106.tif 000039
【図１３Ｂ】
2012002106.tif 000040
【国際調査報告】
2012002106.tif 000041
2012002106.tif 000042
2012002106.tif 000043