(57)【要約】【課題】２次元画像から正確な立体画像を生成する。【解決手段】２次元画像から立体表示用の右眼用画像および左眼用画像を生成する画像処理装置であって、２次元画像、および、２次元画像の撮像に伴い測定される２次元画像内の少なくとも１つの測定点の奥行き情報を入力する入力部と、２次元画像内に含まれる対象物体を特定する物体特定部と、２次元画像内の各測定点の奥行き情報から、対象物体上の少なくとも１箇所の奥行きを取得する取得部と、２次元画像、対象物体の立体形状および対象物体上の少なくとも１箇所に対応する奥行きに基づいて、右眼用画像および左眼用画像を生成する生成部と、を備える画像処理装置を提供する。【選択図】図３
2013168729.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像から立体表示用の右眼用画像および左眼用画像を生成する画像処理装置であって、
前記２次元画像、および、前記２次元画像の撮像に伴い測定される前記２次元画像内の少なくとも１つの測定点の奥行き情報を入力する入力部と、
前記２次元画像内に含まれる対象物体を特定する物体特定部と、
前記２次元画像内の各測定点の前記奥行き情報から、前記対象物体上の少なくとも１箇所の奥行きを取得する取得部と、
前記２次元画像、前記対象物体の立体形状および前記対象物体上の少なくとも１箇所に対応する奥行きに基づいて、前記右眼用画像および前記左眼用画像を生成する生成部と、
を備える画像処理装置。
【請求項２】
前記入力部は、前記奥行き情報として、撮像装置の撮像範囲内における予め定められたフォーカス点の距離情報を入力する請求項１に記載の画像処理装置。
【請求項３】
複数の物体の立体形状を表す立体情報を記憶する立体情報記憶部を更に備え、
前記物体特定部は、前記立体情報記憶部に記憶された立体形状を検索して前記対象物体を特定し、
前記生成部は、前記対象物体上の前記少なくとも１箇所の奥行きおよび前記対象物体の立体形状に応じて、前記２次元画像内の前記対象物体の表示範囲の奥行きを算出する奥行算出部を有する
請求項１または２に記載の画像処理装置。
【請求項４】
前記取得部は、前記対象物体上の複数の測定点の複数の奥行き情報を取得し、
前記奥行算出部は、前記対象物体上の前記複数の測定点の前記奥行き情報が、前記対象物体の立体形状に応じて算出した対応する位置の奥行きと基準以上異なる場合、前記対象物体上の表示領域の各位置の奥行きを、前記対象物体上の前記複数の測定点の前記奥行き情報を補間して前記２次元画像内の前記対象物体の表示範囲の奥行きとする
請求項３に記載の画像処理装置。
【請求項５】
前記生成部は、前記２次元画像内の前記対象物体の表示範囲の各画素を、当該画素に対応付けられた奥行きに応じたシフト量分水平方向にシフトして前記右眼用画像および前記左眼用画像を生成する請求項３または４に記載の画像処理装置。
【請求項６】
前記２次元画像において手前側の他の物体により隠された前記対象物体の隠蔽部分が、各画素を水平方向にシフトすることにより前記右眼用画像および前記左眼用画像の少なくとも一方上に現れる場合に、前記生成部は、前記対象物体の立体形状に応じて前記右眼用画像および前記左眼用画像の少なくとも一方上に現れる前記隠蔽部分に対応する画像を生成する請求項３から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記入力部は、前記対象物体および前記対象物体を隠蔽する他の物体の少なくとも一方が撮像装置に対して相対的に移動した２以上の前記２次元画像を入力し、
前記生成部は、少なくとも１つの前記２次元画像において前記他の物体により隠された前記対象物体の隠蔽部分に対応する画像を他の前記２次元画像から補って、前記右眼用画像および前記左眼用画像を生成する
請求項３から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記入力部は、連続撮像された複数の前記２次元画像、および、前記複数の２次元画像のそれぞれの撮像に伴い測定された前記奥行き情報を入力し、
前記物体特定部は、前記複数の２次元画像のそれぞれに含まれる前記対象物体を特定し、
前記取得部は、連続撮像された前記複数の２次元画像のうち一の２次元画像に含まれる測定点が存在しない対象物体上の少なくとも１箇所に対応する奥行きを、前記連続撮像の間における前記対象物体の移動ベクトル、および、連続撮像された前記複数の２次元画像のうち他の２次元画像の撮像に伴い測定された奥行き情報に基づき取得する
請求項３から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記奥行算出部は、前記２次元画像内の対象物体以外の領域の奥行きを、前記２次元画像の撮像に伴い測定される前記２次元画像内の少なくとも１つの測定点の前記奥行き情報に基づき算出する請求項３から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記奥行算出部は、前記対象物体の手前に配置された測定点が存在しない物体に対して、前記対象物体より小さい奥行きを設定する請求項３から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記立体情報記憶部は、複数の物体のうち少なくとも１つの物体について、デフォルトの奥行きが対応付けられた立体形状を記憶し、
前記奥行算出部は、前記対象物体の立体形状がデフォルトの奥行きが対応付けられた立体形状であることを条件として、前記２次元画像内の前記対象物体の表示範囲の奥行きを、前記デフォルトの奥行きに設定する
請求項３から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記対象物体上の測定点の前記奥行き情報に基づいて、前記立体情報記憶部に記憶された前記立体形状を更新する更新部を更に備える請求項３から１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記物体特定部が前記立体情報記憶部に記憶されていない立体形状の物体を前記２次元画像から抽出した場合に、前記立体情報記憶部に新たに抽出した物体を登録する登録部を更に備える請求項３から１２のいずれか一項に記載の画像処理装置。
【請求項１４】
２次元画像から立体表示用の右眼用画像および左眼用画像を生成する処理をコンピュータに実行させるプログラムであって、
前記２次元画像、および、前記２次元画像の撮像に伴い測定される前記２次元画像内の少なくとも１つの測定点の奥行き情報を入力する入力ステップと、
前記２次元画像内に含まれる対象物体を特定する物体特定ステップと、
前記２次元画像内の各測定点の前記奥行き情報から、前記対象物体上の少なくとも１箇所の奥行きを取得する取得ステップと、
前記２次元画像、前記対象物体の立体形状および前記対象物体上の少なくとも１箇所に対応する奥行きに基づいて、前記右眼用画像および前記左眼用画像を生成する生成ステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
２次元画像から立体表示用の右眼用画像および左眼用画像を生成する画像処理装置が知られている。このような画像処理装置は、被写体の距離を算出して、２次元画像から右眼用画像および左眼用画像を生成する。
［先行技術文献］
［特許文献］
［特許文献１］  特開２００９−１６８９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、このような画像処理装置は、被写体の距離を誤って推定して、現実とは異なる立体感を与える画像を生成してしまう場合があった。例えば、ポスターに描かれた人物等を実際の人物と誤って判断して、ポスターに描かれた人物に立体感を与えてしまい、違和感のある立体画像を生成してしまう場合があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、２次元画像から立体表示用の右眼用画像および左眼用画像を生成する画像処理装置であって、前記２次元画像、および、前記２次元画像の撮像に伴い測定される前記２次元画像内の少なくとも１つの測定点の奥行き情報を入力する入力部と、前記２次元画像内に含まれる対象物体を特定する物体特定部と、前記２次元画像内の各測定点の前記奥行き情報から、前記対象物体上の少なくとも１箇所の奥行きを取得する取得部と、前記２次元画像、前記対象物体の立体形状および前記対象物体上の少なくとも１箇所に対応する奥行きに基づいて、前記右眼用画像および前記左眼用画像を生成する生成部と、を備える画像処理装置を提供する。
【０００５】
本発明の第２の態様においては、２次元画像から立体表示用の右眼用画像および左眼用画像を生成する処理をコンピュータに実行させるプログラムであって、前記２次元画像、および、前記２次元画像の撮像に伴い測定される前記２次元画像内の少なくとも１つの測定点の奥行き情報を入力する入力ステップと、前記２次元画像内に含まれる対象物体を特定する物体特定ステップと、前記２次元画像内の各測定点の前記奥行き情報から、前記対象物体上の少なくとも１箇所の奥行きを取得する取得ステップと、前記２次元画像、前記対象物体の立体形状および前記対象物体上の少なくとも１箇所に対応する奥行きに基づいて、前記右眼用画像および前記左眼用画像を生成する生成ステップと、をコンピュータに実行させるプログラムを提供する。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係る撮像装置１０の構成を示す。
【図２】本実施形態に係る撮像装置１０により撮像される２次元画像２００、および、撮像装置１０により生成される各測定点の奥行き情報の一例を示す。
【図３】本実施形態に係る立体画像処理部３０の構成を示す。
【図４】本実施形態に係る撮像装置１０の処理フローを示す。
【図５】図４に続く撮像装置１０の処理フローを示す。
【図６】２次元画像２００から生成される右眼用画像２１０および左眼用画像２２０の一例を示す。
【図７】フラットパネルディスプレイ３１０を撮像して得られた２次元画像２０１の一例を示す。
【図８】サラダボウル３３０およびビン３４０を撮像して得られた２次元画像２０２の一例を示す。
【図９】移動している車３５０を連続撮像して得られた２次元画像２０３の一例を示す。
【図１０】コンピュータ用モニタ３８０およびグラス３９０を撮像して得られた２次元画像２０５の一例を示す。
【図１１】山４００を撮像して得られた２次元画像２０６の一例を示す。
【図１２】本実施形態の変形例に係る立体画像処理部３０の構成を示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、本実施形態に係る撮像装置１０の構成を示す。撮像装置１０は、被写体を撮像して２次元画像を生成する。さらに、撮像装置１０は、撮像した２次元画像から立体表示用の右眼用画像および左眼用画像を生成する。
【００１０】
撮像装置１０は、撮像素子１２と、アナログ処理部１４と、ＡＦ用素子１６と、駆動制御部１８と、デジタル処理部２０と、表示制御部２２と、記憶部２４と、入出力部２６と、立体画像処理部３０とを備える。撮像素子１２は、ＣＣＤおよびＣＭＯＳセンサ等であり、レンズにより受光面に結像された像を撮像して画像信号を生成する。アナログ処理部１４は、撮像素子１２により生成されたアナログ信号をデジタルに変換して画像データを生成する。
【００１１】
ＡＦ用素子１６は、当該撮像装置１０の撮像範囲内における予め定められた少なくとも１つの測定点の奥行き情報を検出する。奥行き情報とは、撮像位置から、測定点に対応する被写体までの被写体距離を表す情報をいう。奥行き情報は、一例として、当該撮像装置１０のレンズから、測定点に対応する被写体の位置までの絶対距離である。また、奥行き情報は、フォーカスが合っている被写体から、測定点に対応する被写体の位置までの距離を表す相対距離であってもよい。また、ＡＦ用素子１６は、このような奥行き情報を、一例として、位相差ＡＦ（オートフォーカス）方式により生成する。
【００１２】
駆動制御部１８は、ＡＦ用素子１６により検出された各測定点の奥行き情報に応じてフォーカシングレンズ等を駆動して、撮像素子１２の受光面に結像される像のフォーカス位置を制御する。また、駆動制御部１８は、各測定点の奥行き情報を立体画像処理部３０に供給する。
【００１３】
デジタル処理部２０は、アナログ処理部１４により生成された画像データに対して色補間処理および画質改善処理等の処理をして、２次元画像を生成する。デジタル処理部２０は、一例として、静止画の２次元画像を生成する。
【００１４】
表示制御部２２は、当該撮像装置１０に裏面等に設けられた表示装置に、デジタル処理部２０において生成された２次元画像を表示させる。記憶部２４は、デジタル処理部２０において生成された２次元画像を記憶する。入出力部２６は、記憶部２４に記憶されている２次元画像を所定のフォーマットで符号化して外部メモリ等に転送する。
【００１５】
立体画像処理部３０は、記憶部２４に記憶されている２次元画像、および、当該２次元画像の撮像に伴い測定される当該２次元画像内の少なくとも１つの測定点の奥行き情報から、立体表示用の右眼用画像および左眼用画像を生成する。立体画像処理部３０により生成された右眼用画像および左眼用画像は、入出力部２６を介して外部メモリ等に転送される。
【００１６】
図２は、本実施形態に係る撮像装置１０により撮像される２次元画像２００、および、撮像装置１０により生成される各測定点の奥行き情報の一例を示す。
【００１７】
撮像装置１０は、ユーザにより指定された撮像範囲内における２次元画像を撮像する。さらに、撮像装置１０は、２次元画像の撮像に伴い、２次元画像内の少なくとも１つの測定点に対して、奥行き情報を生成する。
【００１８】
撮像装置１０によって奥行き情報が生成される少なくとも１つの測定点の２次元画像内における位置は、当該撮像装置１０の設定等において予め定められている。例えば、図２に示されるように、撮像装置１０の撮像範囲内における予め定められた複数個所（例えば、数１０ポイント）が予め設定されている。
【００１９】
また、撮像装置１０は、複数の測定点のうち、予め定められたアルゴリズムにより選択された何れかの１つの測定点またはユーザにより選択された何れか１つの測定点を最適測定点として設定してもよい。この場合、撮像装置１０は、最適測定点に対する被写体にピントが合うようにフォーカシングレンズ等を駆動させる。
【００２０】
また、撮像装置１０は、最適測定点の周囲に奥行き情報が略同一の他の測定点が存在する場合、最適測定点と同一の奥行き情報を有する複数の測定点の範囲の中心を、固視点として設定してもよい。そして、この場合、撮像装置１０は、固視点の奥行き情報に基づき、立体表示用の画像を生成するための基準距離（例えば、視差零の被写体の位置）を生成してもよい。
【００２１】
図３は、本実施形態に係る立体画像処理部３０の構成を示す。立体画像処理部３０は、２次元画像から立体的表示用の右眼用画像および左眼用画像を生成する。立体画像処理部３０は、入力部３２と、立体情報記憶部３４と、物体特定部３６と、取得部３８と、生成部４０とを有する。
【００２２】
入力部３２は、２次元画像、および、２次元画像の撮像に伴い測定される２次元画像内の少なくとも１つの測定点の奥行き情報を入力する。本実施形態においては、入力部３２は、奥行き情報として、当該撮像装置１０の撮像範囲内における、位相差ＡＦ方式によって測定された予め定められたフォーカス点の被写体距離を入力する。
【００２３】
立体情報記憶部３４は、予め登録された複数の物体の立体形状を表す立体情報を記憶する。立体情報記憶部３４は、物体を所定方向から撮像した場合における、当該物体の表面の各位置における被写体距離を表すデータを、立体形状を表す立体情報として記憶する。例えば、立体情報記憶部３４は、物体を所定距離離れた位置から撮像した場合における、当該物体の表面の各位置までの奥行きを例えば画素毎に表す２次元配列データを、立体形状を表す立体情報として記憶する。また、例えば、立体情報記憶部３４は、物体の形状を３次元座標等により表す３次元データを、立体形状を表す立体情報として記憶してもよい。
【００２４】
物体特定部３６は、入力部３２が入力した２次元画像内に含まれる対象物体を特定する。本実施形態においては、物体特定部３６は、２次元画像内に含まれる少なくとも１つの被写体のそれぞれについて、被写体がどのような立体形状を有しているかを立体情報記憶部３４に記憶された立体形状を検索して推定し、立体形状を推定できた被写体を対象物体として特定する。
【００２５】
取得部３８は、２次元画像内の各測定点の奥行き情報から、対象物体上の少なくとも１箇所の奥行きを取得する。本実施形態においては、取得部３８は、撮像範囲内の複数の測定点の中から、物体特定部３６により特定された対象物体の表示範囲内の少なくとも１つの測定点を選択する。そして、取得部３８は、選択した少なくとも１つの測定点に対応する奥行き情報から、その測定点における対象物体の奥行きを取得する。即ち、取得部３８は、奥行き情報がフォーカス点からの相対的な距離を表す場合には、撮像装置のレンズからの絶対的な距離に変換する。
【００２６】
生成部４０は、２次元画像、対象物体の立体形状および対象物体上の少なくとも１箇所に対応する奥行きに基づいて、右眼用画像および左眼用画像を生成する。本実施形態においては、奥行算出部４２と、画像生成部４４とを含む。
【００２７】
奥行算出部４２は、対象物体上の少なくとも１箇所の奥行きおよび対象物体の立体形状に応じて、２次元画像内の対象物体の表示範囲の奥行きを算出する。この場合において、奥行算出部４２は、一例として、対象物体の表示範囲の奥行きを画素単位で算出する。
【００２８】
さらに、奥行算出部４２は、２次元画像内の対象物体以外の領域の奥行きを、２次元画像内の少なくとも１つの測定点の奥行き情報に基づき算出する。奥行算出部４２は、一例として、２次元画像内の各測定点の奥行き情報のそれぞれを直線補間して、対象物体以外の領域の奥行きを画素単位で算出する。
【００２９】
画像生成部４４は、２次元画像の各画素（即ち、対象物体の表示範囲および対象物体の表示範囲外の各画素）を、当該画素に対応付けられた奥行きに応じたシフト量分水平方向にシフトして右眼用画像および左眼用画像を生成する。画像生成部４４による右眼用画像および左眼用画像の生成方法の一例については、図６を参照して更に説明する。
【００３０】
なお、立体画像処理部３０は、撮像装置１０ではなく他の装置に備えられてもよい。例えば、立体画像処理部３０は、立体表示機能を有するディスプレイに備えられてもよい。
【００３１】
図４は、本実施形態に係る立体画像処理部３０の処理フローを示す。図５は、図４に続く立体画像処理部３０の処理フローを示す。
【００３２】
立体画像処理部３０は、予め登録された複数の物体の立体形状を表すデータを記憶している。図４の例において、撮像装置１０は、ビンの立体形状を表す立体情報１０２、カップの立体形状を表す立体情報１０４、車の立体形状を表す立体情報１０６、および、フラットパネルディスプレイの立体形状を表す立体情報１０８を記憶している。
【００３３】
また、立体画像処理部３０は、２次元画像を入力する。立体画像処理部３０は、撮像時において、２次元画像を撮像する。図４の例においては、立体画像処理部３０は、ビンの被写体像１１２およびカップの被写体像１１４を含む２次元画像２００を入力した。
【００３４】
また、立体画像処理部３０は、２次元画像とともに、当該２次元画像の撮像に伴い測定される２次元画像内の少なくとも１つの測定点の奥行き情報を入力する。図４の例においては、立体画像処理部３０は、撮像範囲内において、３行３列で配置された９個所の測定点のそれぞれの奥行き情報１２０を取得した。
【００３５】
そして、立体画像処理部３０は、以下のステップＳ１１〜ステップＳ１４の処理を順次に実行して立体表示用の右眼用画像および左眼用画像を生成する。
【００３６】
まず、ステップＳ１１において、立体画像処理部３０は、２次元画像内に含まれる少なくとも１つの被写体のそれぞれについて、被写体がどのような立体形状を有しているかを立体情報記憶部３４に記憶された立体形状を検索して推定し、立体形状を推定できた被写体を対象物体として特定する。
【００３７】
立体画像処理部３０は、一例として、２次元画像に含まれる被写体の２次元形状をエッジ検出等により切り出す。続いて、立体画像処理部３０は、立体情報記憶部３４に記憶された複数の物体の立体形状を表す立体情報から、当該物体を撮像した場合に得られる２次元形状を導き出す。続いて、立体画像処理部３０は、２次元画像内に含まれる各被写体のそれぞれについて、当該被写体の２次元形状と、複数の立体形状のそれぞれの立体情報から導き出した２次元形状とを比較して、形状が一致するか否かを判断する。立体画像処理部３０は、形状が一致した場合には、その被写体の立体形状が、一致した立体情報が表す立体形状であると判断する。
【００３８】
なお、立体画像処理部３０は、立体情報から導き出される２次元形状を拡大、縮小および回転等をして、被写体の２次元形状と比較してもよい。また、立体画像処理部３０は、立体情報が３次元データである場合には、立体形状を３次元的に回転させて、多数の方向から立体形状を見た場合に得られる２次元形状を導き出してもよい。
【００３９】
図４の例においては、立体画像処理部３０は、２次元画像２００に含まれる被写体像１１２を、ビンの立体形状に対応する対象物体１３２と特定した。また、図４の例においては、立体画像処理部３０は、２次元画像２００に含まれる被写体像１１４を、カップの立体形状に対応する対象物体１３４と特定した。
【００４０】
続いて、ステップＳ１２において、立体画像処理部３０は、２次元画像内の各測定点の奥行き情報から、特定した各対象物体上の少なくとも１箇所の奥行きを取得する。立体画像処理部３０は、一例として、特定した対象物体のそれぞれについて、２次元画像からエッジ検出等により切り出した当該対象物体の表示領域と、奥行き情報の複数の測定点の位置と比較して、当該対象物体の表示領域内に含まれる少なくとも１つの測定点を選択する。そして、立体画像処理部３０は、特定した対象物体のそれぞれについて、選択した測定点から、当該対象物体上の少なくとも１箇所の奥行きを取得する。
【００４１】
図４の例においては、立体画像処理部３０は、ビンの対象物体１３２およびカップの対象物体１３４のそれぞれについて、１箇所の奥行きを取得している。より具体的には、立体画像処理部３０は、ビンの対象物体１３２上の少なくとも１箇所に対応する奥行きとして、３行３列で配置された９個所の測定点のうち１行目２列目の１つの測定点１４２に対応する奥行き情報に示された被写体距離を取得している。また、立体画像処理部３０は、カップの対象物体１３４上の少なくとも１箇所に対応する奥行きとして、３行３列で配置された９個所の測定点のうち３行目２列目の１つの測定点１４４に対応する奥行き情報に示された被写体距離を取得している。
【００４２】
続いて、ステップＳ１３において、立体画像処理部３０は、対象物体のそれぞれについて、当該対象物体上の少なくとも１箇所の奥行きおよび当該対象物体の立体形状に応じて、対象物体の表示範囲の奥行きを画素単位で算出する。立体画像処理部３０は、一例として、対象物体の立体形状から、当該対象物体の撮像方向と同方向から撮像した場合における、当該対象物体の表面の各位置までの奥行きを画素単位で表すマップを生成する。続いて、立体画像処理部３０は、対象物体上における少なくとも１箇所の奥行きが、測定点から取得された奥行きと一致するように、マップの各値を全体的に前側または後側にシフトさせる。そして、立体画像処理部３０は、以上の処理を各対象物体のそれぞれについて実行する。これにより、立体画像処理部３０は、対象物体の表示範囲の奥行きを画素単位で算出することができる。
【００４３】
図５の例においては、立体画像処理部３０は、ビンである対象物体１３２の表示領域内の画素位置毎の奥行きを、ビンの立体形状を表す立体情報１０２および対象物体１３２上の測定点１４２の奥行きに基づき算出した。また、図５の例において、立体画像処理部３０は、カップである対象物体１３４の表示領域内の画素位置毎の奥行きを、カップの立体形状を表す立体情報１０４および対象物体１３４上の測定点１４４の奥行きに基づき算出した。
【００４４】
続いて、ステップＳ１４において、立体画像処理部３０は、２次元画像内の対象物体以外の領域の奥行きを、２次元画像内の少なくとも１つの測定点の奥行き情報に基づき算出する。奥行算出部４２は、一例として、対象物体を除く全ての領域について、当該２次元画像の撮像時において測定された各測定点の奥行き情報に示された被写体距離を直線補間して、画素単位の奥行きを算出する。図５の例においては、立体画像処理部３０は、ビンである対象物体１３２およびカップである対象物体１３４を除く全領域の画素毎の奥行きを、３行３列で配置された９個所の測定点に対応する奥行き情報１２０から算出した。
【００４５】
続いて、ステップＳ１５において、立体画像処理部３０は、２次元画像、２次元画像内の対象物体の表示範囲の各画素の奥行き、および、対象物体の表示範囲外の各画素の奥行きに基づき、右眼用画像および左眼用画像を生成する。この場合において、立体画像処理部３０は、固視点における奥行き情報に示された被写体距離に応じて、立体表示用の画像を生成するための基準距離（例えば、右眼用画像および左眼用画像の視差零の被写体の距離）を設定する。右眼用画像および左眼用画像の生成方法の一例については、図６を参照して更に説明する。
【００４６】
本実施形態に係る立体画像処理部３０によれば、以上のステップＳ１１からステップＳ１５の処理を実行することにより、２次元画像から、被写体の細部の立体形状を正確に再現する立体表示用の右眼用画像および左眼用画像を生成することができる。例えば、図２に示されたような立方体を撮像した２次元画像から立体表示用の右眼用画像および左眼用画像を生成する場合であれば、立体画像処理部３０は、立方体のエッジの形状を正確に再現した立体表示用の画像を生成することができる。
【００４７】
図６は、２次元画像２００から生成される右眼用画像２１０および左眼用画像２２０の一例を示す。立体画像処理部３０は、２次元画像２００の各画素を当該画素に対応付けられた奥行きに応じたシフト量分水平方向にシフトして右眼用画像２１０および左眼用画像２２０を生成する。
【００４８】
より具体的には、立体画像処理部３０は、２次元画像２００の各画素を、奥行きに応じたシフト量分右側にシフトして右眼用画像２１０を生成する。また、立体画像処理部３０は、２次元画像２００の各画素を、奥行きに応じたシフト量分左側にシフトして左眼用画像２２０を生成する。この場合において、立体画像処理部３０は、奥行きが遠いほど（遠い距離の被写体ほど）、シフト量を大きくする。また、この場合において、立体画像処理部３０は、表示時において画面位置に表示すべき画素のシフト量を零とする。また、立体画像処理部３０は、右眼用画像２１０と左眼用画像２２０との画素位置の差が眼幅以下となるようにシフト量を設定する。これにより、立体画像処理部３０は、２次元画像２００の各被写体を画面位置から後ろ側に位置するような立体画像を生成することができる。
【００４９】
また、立体画像処理部３０は、画面位置よりも手前側に飛び出して表示する場合には、２次元画像２００の各画素を、画面位置からの飛出し量に応じたシフト両分左側にシフトして右眼用画像２１０を生成し、画面位置からの飛出し量に応じたシフト両分右側にシフトして左眼用画像２２０を生成する。これにより、立体画像処理部３０は、被写体の一部を画面から手前側に飛び出しているような立体画像を生成することができる。
【００５０】
また、立体画像処理部３０は、２次元画像２００の撮像時において取得された固視点の画素が予め定められた基準距離に表示されるように、シフト量を設定してもよい。これにより、立体画像処理部３０は、撮像時にフォーカスを合わせた被写体を適切な距離に表示させることができる。
【００５１】
図７は、フラットパネルディスプレイ３１０を撮像して得られた２次元画像２０１の一例を示す。２次元画像から立体画像への変換をサポートする方法として、顔認識および画像認識等により人物および動物等を識別して、人物および動物等と識別された被写体に対して、強制的に立体感を与える方法が知られている。しかし、このような方法を採用した場合、例えば、ポスターに描かれた人物およびモニタに表示された人物に立体感が与えられ、違和感のある立体用画像が生成されてしまう。
【００５２】
そこで、本実施形態において、取得部３８は、対象物体上の複数の測定点の複数の奥行き情報を取得する。続いて、奥行算出部４２は、対象物体上の複数の測定点の奥行き情報が、対象物体の立体形状に応じて算出した対応する位置の奥行きと基準以上異なるかどうかを判断する。そして、奥行算出部４２は、対象物体上の複数の測定点の奥行き情報が、対象物体の立体形状に応じて算出した対応する位置の奥行きと基準以上異なる場合、対象物体上の表示領域の各位置の奥行きを、対象物体上の複数の測定点の奥行き情報を補間して２次元画像内の対象物体の表示範囲の奥行きとする。
【００５３】
例えば、図７に示されるように、フラットパネルディスプレイ３１０内に犬３２０が表示された２次元画像２０１から、立体表示用の右眼用画像および左眼用画像を生成するとする。このような場合、取得部３８は、対象物体である犬３２０上に位置する複数の測定点３２２、３２４のそれぞれにおける奥行き情報を取得する。
【００５４】
奥行算出部４２は、取得した複数の測定点３２２、３２４のそれぞれにおける奥行き情報と、対象物体に対応する立体形状（犬の立体形状）に基づき算出された対応する位置の奥行きとの差を算出する。奥行算出部４２は、算出した差が基準値以上となる場合には、対象物体が撮像された範囲の画素毎の奥行きを、取得した複数の測定点３２２、３２４のそれぞれにおける奥行き情報を補間することにより生成する。これにより、立体画像処理部３０によれば、例えばポスターおよびモニタに表示された人物等に誤って立体感を与えることを防止することができる。
【００５５】
図８は、サラダボウル３３０およびビン３４０を撮像して得られた２次元画像２０２の一例を示す。ある一の被写体、および、この一の被写体の手前側に配置された他の被写体を撮像した場合、一の被写体の一部が手前側の他の物体により隠蔽された２次元画像が撮像される場合がある。このような２次元画像から立体表示用の右眼用画像および左眼用画像を生成すると、立体画像処理部３０は、２次元画像上においては存在していない一の被写体の隠蔽部分を、右眼用画像または左眼用画像に表示させなければならない場合がある。
【００５６】
そこで、２次元画像において手前側の他の物体により隠された対象物体の隠蔽部分が、各画素を水平方向にシフトすることにより右眼用画像および左眼用画像の少なくとも一方上に現れる場合に、生成部４０は、対象物体の立体形状に応じて右眼用画像および左眼用画像の少なくとも一方上に現れる隠蔽部分に対応する画像を生成する。生成部４０は、一例として、対象物体の立体形状から隠蔽部分における対象物体の表示範囲を推定して、対象物体の表示範囲内の画素を、対象物体における隠蔽されていない領域の画素から補間して生成する。
【００５７】
例えば、撮像装置１０は、図８に示されるように、被写体としてサラダボウル３３０と、サラダボウル３３０の後ろに位置するビン３４０とを含む２次元画像２０２を撮像したとする。２次元画像２０２においては、ビン３４０の下側の一部分が、サラダボウル３３０により隠蔽されている。
【００５８】
生成部４０は、このような２次元画像２０２から右眼用画像および左眼用画像を生成する場合、ビン３４０の立体形状に基づき、ビン３４０の隠蔽部分の形状（下側の部分の形状）を推定する。そして、生成部４０は、右眼用画像および左眼用画像のうち推定した範囲内の画素を、隠蔽されていないビン３４０の画素から補間して生成する。これにより、立体画像処理部３０によれば、２次元画像上では隠蔽されている部分の画素を含む右眼用画像および左眼用画像を生成することができる。
【００５９】
また、相対的に移動する２つの被写体が重複して、一方の被写体が他方の被写体により隠蔽される場合もある。このような場合において、入力部３２は、対象物体および対象物体を隠蔽する他の物体の少なくとも一方が撮像装置に対して相対的に移動した２以上の２次元画像を入力してもよい。例えば、入力部３２は、撮像装置１０が相対的に移動する２つの被写体を連続して撮像した２以上の２次元画像を入力する。
【００６０】
そして、この場合、生成部４０は、少なくとも１つの２次元画像において他の物体により隠された対象物体の隠蔽部分に対応する画像を他の２次元画像から補って、右眼用画像および左眼用画像を生成する。このような処理を行っても、立体画像処理部３０は、２次元画像上では隠蔽されている部分の画素を含む右眼用画像および左眼用画像を生成することができる。
【００６１】
図９は、移動している車３５０を連続撮像して得られた２次元画像２０３の一例を示す。測定点は、撮像範囲の中心近傍に設定され、撮像範囲の周縁領域には設定されていない場合がある。このような場合、立体画像処理部３０は、周縁領域に存在するような対象物体については、表示領域内に測定点を含まないので、立体形状に基づき奥行きを算出することができない。
【００６２】
しかし、撮像範囲内の中心から周縁へと向かう方向に移動している対象物体を撮像した場合、過去に撮像した２次元画像において、既に対象物体の奥行き情報を取得していた可能性がある。そこで、入力部３２は、連続撮像された複数の２次元画像、および、複数の２次元画像のそれぞれの撮像に伴い測定された奥行き情報を入力する。物体特定部３６は、複数の２次元画像のそれぞれに含まれる対象物体を特定する。そして、取得部３８は、連続撮像された複数の２次元画像のうち一の２次元画像に含まれる測定点が存在しない対象物体上の少なくとも１箇所に対応する奥行きを、連続撮像の間における対象物体の移動ベクトル、および、連続撮像された複数の２次元画像のうち他の２次元画像の撮像に伴い測定された奥行き情報に基づき取得する。
【００６３】
図９の例においては、入力部３２は、連続撮像された２枚の２次元画像２０３−１、２０３−２、および、連続撮像された２枚の２次元画像のそれぞれの測定点３５２−１、３５２−２の奥行き情報を入力する。続いて、物体特定部３６は、連続撮像された２枚の２次元画像２０３−１、２０３−２のそれぞれの中から、車３５０を対象物体を特定する。
【００６４】
続いて、取得部３８は、複数の２次元画像のそれぞれについて、当該２次元画像内の各測定点の奥行き情報から対象物体上の少なくとも１箇所の奥行きを取得する。ここで、取得部３８は、１つも測定点を含まない対象物体を検出した２次元画像については、連続撮像された他の２次元画像を参照して、対象物体上の少なくとも１箇所の奥行きを取得する。
【００６５】
図９の例においては、連続撮像された２枚の２次元画像２０３−１、２０３−２のうち、時間的に後の２次元画像２０３−２に含まれる車３５０上には、測定点が存在しない。従って、図９の例においては、取得部３８は、時間的に後の２次元画像２０３−２に含まれる車３５０上の少なくとも１箇所の奥行きを、時間的に前の２次元画像２０３−１内の各測定点の奥行き情報から取得する。
【００６６】
より具体的には、取得部３８は、１つも測定点が存在しない対象物体が、他の２次元画像内の何れの位置から移動するかまたは他の２次元画像内の何れの位置へと移動するかを示す移動ベクトルを取得する。取得部３８は、移動ベクトルを、連続撮像された複数の２次元画像から演算で算出してもよいし、当該撮像装置１０内の符号化装置等から取得してもよい。また、取得部３８は、位相差ＡＦ（オートフォーカス）方式において選択されたフォーカス中心位置の変化を移動ベクトルとして取得してもよい。
【００６７】
取得部３８は、移動ベクトルから、１つも測定点が存在しない対象物体と同一の対象物体を、他の２次元画像内の対象物体から検出する。そして、取得部３８は、他の２次元画像内における同一の対象物体上の少なくとも１つの測定点の奥行き情報を、１つも測定点が存在しない対象物体の奥行きとして取得する。図９の例においては、取得部３８は、時間的に前の２次元画像２０３−１に含まれる車３５０上に存在する測定点３５２−１の奥行き情報を、時間的に後の２次元画像２０３−２に含まれる車３５０の奥行きとして取得する。これにより、立体画像処理部３０は、撮像範囲の周縁領域の対象物体についても、正確に奥行きを取得することができる。
【００６８】
なお、連続撮像中において対象物体の画面内の位置のみならず奥行き情報も変化する場合、入力部３２は、同一の被写体の奥行き情報の変化も入力してもよい。そして、この場合、取得部３８は、１つも測定点が存在しない対象物体の奥行きを、他の複数の２次元画像において取得された当該対象物体の奥行き情報の変化量に基づき、上述のように取得した奥行きを更に補正してもよい。
【００６９】
図１０は、コンピュータ用モニタ３８０およびグラス３９０を撮像して得られた２次元画像２０５の一例を示す。表示領域内に測定点を含まない対象物体であっても、測定点を含む対象物体よりも手前側に位置していることがわかれば、少なくともその測定点を含む対象物体よりも奥行きが小さいと判断できる。
【００７０】
そこで、奥行算出部４２は、対象物体の手前に配置された測定点が存在しない物体に対して、対象物体より小さい奥行きを設定する。例えば、図１０の例においては、グラス３９０は、コンピュータ用モニタ３８０の手前側に位置している。また、コンピュータ用モニタ３８０は、表示領域内に測定点３８２を含む。しかし、グラス３９０は、表示領域内に１つも測定点を含まない。従って、奥行算出部４２は、画像演算処理等により、グラス３９０がコンピュータ用モニタ３８０よりも手前側に位置していることが判断できれば、グラス３９０にコンピュータ用モニタ３８０より小さい奥行きを設定する。これにより、立体画像処理部３０によれば、対象物体の奥行きをより正確に設定することができる。
【００７１】
図１１は、山４００を撮像して得られた２次元画像２０６の一例を示す。山を撮像した場合、その被写体距離はほぼ無限遠となる。従って、被写体の立体形状によっては、どのような２次元画像内に含まれていても、奥行きが予め定まる場合がある。
【００７２】
そこで、立体情報記憶部３４は、複数の物体のうち少なくとも１つの物体について、デフォルトの奥行きが対応付けられた立体形状を記憶する。そして、奥行算出部４２は、対象物体の立体形状がデフォルトの奥行きが対応付けられた立体形状であることを条件として、２次元画像内の対象物体の表示範囲の奥行きを、デフォルトの奥行きに設定する。
【００７３】
例えば、図１１の例においては、立体情報記憶部３４は、山の立体形状を記憶するとともに、山の立体形状を有する対象物体のデフォルトの奥行きとして無限遠を記憶する。そして、奥行算出部４２は、対象物体が山であることが特定された場合には、当該山の全ての領域の画素に対応する奥行きを無限遠とする。これにより、立体画像処理部３０によれば、予め定められた立体形状の対象物体に対してより正確に奥行きを設定することができる。
【００７４】
図１２は、本実施形態の変形例に係る立体画像処理部３０の構成を示す。変形例に係る立体画像処理部３０は、図３に示される本実施形態に係る立体画像処理部３０と略同一の機能および構成を有するので、略同一の機能および構成を有する構成要素については図面中同一の符号を付けて、相違点を除き説明を省略する。
【００７５】
変形例に係る立体画像処理部３０は、更新部５２と、登録部５４とを更に有する。更新部５２は、対象物体上の測定点の奥行き情報に基づいて、立体情報記憶部３４に記憶された立体形状を更新する。立体情報記憶部３４に記憶されている物体の立体形状が、撮像装置１０が実際に撮像する被写体の立体形状と一部異なっている場合もある。例えば、カップの形状は様々であり、撮像装置１０の使用者が頻繁に撮像するカップの立体形状と、立体情報記憶部３４に予め記憶されているカップの立体形状とが少し異なっている場合がある。
【００７６】
このような場合であっても、更新部５２は、撮像した対象物体上の実際の測定点の奥行き情報に基づいて、立体情報記憶部３４に記憶された立体形状を変更するので、使用者が頻繁に撮像する対象物体の形状に近づけることができる。従って、本変形例に係る立体画像処理部３０によれば、撮像を繰り返すことで、より正確な立体画像を生成させることができる。
【００７７】
登録部５４は、物体特定部３６が立体情報記憶部３４に記憶されていない立体形状の物体を２次元画像から抽出した場合に、立体情報記憶部３４に新たに抽出した物体を登録する。撮影を繰り返した場合、立体情報記憶部３４に記憶されていない立体形状の物体を被写体として撮像する場合もある。そこで、登録部５４は、撮像装置１０が立体情報記憶部３４に記憶されていない立体形状の対象物体を撮像した場合には、当該対象物体上の複数の測定点の奥行き情報から、当該対象物体の立体形状を表す立体情報を生成する。
【００７８】
また、登録部５４は、例えば、微小量ずつ撮像位置をずらしながら同一の物体を繰り返して撮像することにより物体の表面の各位置までの距離情報を細かいピッチで取得し、これらの多数の測定点の奥行き情報から、対象物体の立体形状を生成してもよい。そして、登録部５４は、このように生成した立体形状を表す立体情報を立体情報記憶部３４に記憶させる。これにより、本変形例に係る立体画像処理部３０は、立体情報記憶部３４内に記憶される立体形状を増やすことができる。
【００７９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８０】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８１】
１０  撮像装置、１２  撮像素子、１４  アナログ処理部、１６  ＡＦ用素子、１８  駆動制御部、２０  デジタル処理部、２２  表示制御部、２４  記憶部、２６  入出力部、３０  立体画像処理部、３２  入力部、３４  立体情報記憶部、３６  物体特定部、３８  取得部、４０  生成部、４２  奥行算出部、４４  画像生成部、５２  更新部、５４  登録部、１０２  立体情報、１０４  立体情報、１０６  立体情報、１０８  立体情報、１１２  被写体像、１１４  被写体像、１２０  奥行き情報、１３２  対象物体、１３４  対象物体、１４２  測定点、１４４  測定点、２００  ２次元画像、２０１  ２次元画像、２０２  ２次元画像、２０３  ２次元画像、２０５  ２次元画像、２０６  ２次元画像、２１０  右眼用画像、２２０  左眼用画像、３１０  フラットパネルディスプレイ、３２０  犬、３２２  測定点、３２４  測定点、３３０  サラダボウル、３４０  ビン、３５０  車、３５２  測定点、３８０  コンピュータ用モニタ、３８２  測定点、３９０  グラス、４００  山
【図１】
2013168729.tif 000003
【図２】
2013168729.tif 000004
【図３】
2013168729.tif 000005
【図４】
2013168729.tif 000006
【図５】
2013168729.tif 000007
【図６】
2013168729.tif 000008
【図７】
2013168729.tif 000009
【図８】
2013168729.tif 000010
【図９】
2013168729.tif 000011
【図１０】
2013168729.tif 000012
【図１１】
2013168729.tif 000013
【図１２】
2013168729.tif 000014