(57)【要約】【課題】撮影者の指等の障害物により、撮影時における画角の一部が遮られていても、取得された視点画像から生成される立体視用画像を見やすくする。【解決手段】判定部３１が、撮影部２１Ａ，２１Ｂが取得した視点画像の画角に障害物が含まれるか否かを判定する。具体的には、視点画像の周囲の所定範囲の領域に障害物が含まれるか否かを判定する。判定が肯定されると、修正部３２が、障害物が含まれる障害物領域を立体視可能なように、撮影部２１Ａ，２１Ｂが取得した視点画像を修正する。３次元処理部３０が、修正された視点画像を用いて３次元処理を行い、立体表示用画像を生成する。【選択図】図３
2010288253.tif 000002
【特許請求の範囲】
【請求項１】
立体視を行う立体視用画像を作成するために、複数の視点から同一被写体を撮影した複数の視点画像を取得する画像取得手段と、
前記複数の視点画像のいずれかに、前記撮影時における画角の一部を遮る障害物が含まれるか否かを判定する判定手段と、
前記判定が肯定されると、前記複数の視点画像のうちの前記障害物を含む視点画像以外の他の視点画像から、前記障害物を含む視点画像における前記障害物についての障害物領域に対応する対応領域を抽出し、該対応領域に含まれるオブジェクトに所定の視差を付与し、該視差が付与された対応領域を前記障害物領域に重畳させる処理を行う修正手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記修正手段は、前記所定の視差を、前記障害物を含む視点画像における前記障害物領域以外の領域における視差量に基づいて決定する手段であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記複数の視点画像の取得前に、該複数の視点画像についてのプレ視点画像を取得するプレ画像取得手段と、
該複数のプレ視点画像を立体視表示可能な表示手段と、
前記複数のプレ視点画像のいずれかに前記障害物が含まれることを通知する、所定の視差量を持って前記複数のプレ視点画像のそれぞれに重畳される警告情報を生成する警告情報生成手段とをさらに備え、
前記判定手段は、前記複数のプレ視点画像のいずれかに、前記障害物が含まれるか否かを判定する手段であり、前記警告情報生成手段は、該判定が肯定されると前記警告情報を生成し、該警告情報を前記複数のプレ視点画像のそれぞれに重畳する手段であり、前記表示手段は、前記警告情報が重畳された前記プレ視点画像を立体視可能に表示する手段であることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記警告情報生成手段は、前記複数のプレ視点画像のうちの前記障害物を含むプレ視点画像における前記障害物に対応する障害物領域の縁部、および前記障害物を含むプレ視点画像以外の他のプレ視点画像における前記障害物領域に対応する対応領域の縁部に付与する、前記所定の視差量を有する縁取り画像を、前記警告情報として生成する手段であることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記警告情報生成手段は、前記複数のプレ視点画像のうちの前記障害物を含むプレ視点画像における前記障害物に対応する障害物領域、および前記障害物を含むプレ視点画像以外の他のプレ視点画像における前記障害物領域に対応する対応領域に付与する、前記所定の視差量を有する警告画像を、前記警告情報として生成する手段であることを特徴とする請求項３記載の画像処理装置。
【請求項６】
前記所定の視差量の絶対値が、前記複数のプレ視点画像間の視差量を代表する代表視差量よりも大きいことを特徴とする請求項３から５のいずれか１項記載の画像処理装置。
（以下の請求項７−９追加）
【請求項７】
前記複数の視点画像の取得前に、該複数の視点画像についてのプレ視点画像を取得するプレ画像取得手段と、
該複数のプレ視点画像を立体視表示可能な表示手段と、
前記複数のプレ視点画像のいずれかに前記障害物が含まれることを通知するための通知画像を前記表示手段に行う通知表示制御手段とをさらに備え、
前記判定手段は、前記複数のプレ視点画像のいずれかに、前記障害物が含まれるか否かを判定する手段であり、前記通知表示制御手段は、該判定が肯定されると前記表示手段に前記通知画像を表示する手段であることを特徴とする請求項１または２記載の画像処理装置。
【請求項８】
前記判定手段は、前記複数のプレ視点画像の端部を基準とする所定範囲の領域、および前記複数のプレ視点画像における前記立体視用画像作成に用いられる画像領域の端部を基準とする所定範囲の領域のいずれかに基づいて、前記障害物が含まれるか否かを判定する手段であることを特徴とする請求項３から７のいずれか１項記載の画像処理装置。
【請求項９】
前記判定手段は、前記複数の視点画像の端部を基準とする所定範囲の領域、および前記複数の視点画像における前記立体視用画像作成に用いられる画像領域の端部を基準とする所定範囲の領域のいずれかに基づいて、前記障害物が含まれるか否かを判定する手段であることを特徴とする請求項１から８のいずれか１項記載の画像処理装置。
【請求項１０】
立体視を行う立体視用画像を作成するために、複数の視点から同一被写体を撮影した複数の視点画像を取得し、
前記複数の視点画像のいずれかに、前記撮影時における画角の一部を遮る障害物が含まれるか否かを判定し、
前記判定が肯定されると、前記複数の視点画像のうちの前記障害物を含む視点画像以外の他の視点画像から、前記障害物を含む視点画像における前記障害物についての障害物領域に対応する対応領域を抽出し、該対応領域に含まれるオブジェクトに所定の視差を付与し、該視差が付与された対応領域を前記障害物領域に重畳させる処理を行うことを特徴とする画像処理方法。
【請求項１１】
立体視を行う立体視用画像を作成するために、複数の視点から同一被写体を撮影した複数の視点画像を取得する手順と、
前記複数の視点画像のいずれかに、前記撮影時における画角の一部を遮る障害物が含まれるか否かを判定する手順と順と、
前記判定が肯定されると、前記複数の視点画像のうちの前記障害物を含む視点画像以外の他の視点画像から、前記障害物を含む視点画像における前記障害物についての障害物領域に対応する対応領域を抽出し、該対応領域に含まれるオブジェクトに所定の視差を付与し、該視差が付与された対応領域を前記障害物領域に重畳させる処理を行う手順とを有する画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視を行う立体視用画像を作成するために、複数の視点から同一被写体を撮影することにより取得した視点画像に対して修正処理を施す画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
同一の被写体を異なる複数の視点から撮影することにより取得した複数の視点画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できることが知られている。立体視表示の具体的な手法として、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な立体視表示モニタに表示して立体視する手法が提案されている。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより立体視用画像を生成して、立体視表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に高速で切り替えて表示することにより、残像効果によって立体視表示を行う方式も提案されている（スキャンバックライト方式）。
【０００３】
また、このような立体視表示を行うための撮影を行う、複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラは立体視表示用のモニタを備えているため、複数の撮影部が取得した画像から立体視用画像を生成し、生成した立体視用画像を立体視表示用のモニタに立体視表示することができる。
【０００４】
ところで、複眼カメラのみならず、デジタルカメラの小型化により、撮影時に撮影部の画角内に撮影者の指が写り込んでしまう、いわゆる指掛かりが問題となっている。このため、撮影者の指が画角内に含まれているか否かを判定し、含まれている場合にはその旨を撮影者に通知するための警告を行う手法が提案されている（特許文献１，２参照）。また、特許文献１には、さらに指が含まれる領域を撮影により取得した画像から削除する手法も提案されている。また、警告を行うための文字、図形等のキャラクタを、立体視可能なように視点画像に重畳する手法も提案されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−４０７１２号公報
【特許文献２】特開２００８−８５６３８号公報
【特許文献３】特開平６−３３５０２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上述した複眼カメラにおいては、撮影時にはフレーミングを行うためにスルー画像がモニタに立体視表示される。ここで、複眼カメラにおける複数の撮影部のうちの１つの撮影部の画角に指が掛かっている場合、指掛かりが発生している視点画像における指掛かりの領域と、他の視点画像における指掛かりの領域に対応する領域とが重なって表示される。このため、立体視表示されたスルー画像を見ても指掛かりが発生しているか否かを確認することが困難であることから、指掛かりが発生した状態で撮影を行ってしまう場合がある。このように指掛かりが発生した状態で撮影を行ってしまうと、撮影により取得した視点画像から立体視用画像を生成した場合、立体視用画像が指掛かりによって見にくくなってしまう。
【０００７】
本発明は上記事情に鑑みなされたものであり、撮影者の指等の障害物により、撮影時における画角の一部が遮られていても、取得された視点画像から生成される立体視用画像を見やすくすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明による画像処理装置は、立体視を行う立体視用画像を作成するために、複数の視点から同一被写体を撮影した複数の視点画像を取得する画像取得手段と、
前記複数の視点画像のいずれかに、前記撮影時における画角の一部を遮る障害物が含まれるか否かを判定する判定手段と、
前記判定が肯定されると、前記立体視用画像において前記障害物領域が立体視可能なように、前記複数の視点画像のうちの少なくとも前記障害物を含む視点画像における前記障害物に対応する障害物領域に対して、所定の修正処理を行う修正手段とを備えたことを特徴とするものである。
【０００９】
とくに、前記障害物を含む視点画像以外の他の視点画像における前記障害物領域に対応する対応領域を抽出し、該対応領域に含まれるオブジェクトに所定の視差を付与し、該視差が付与された対応領域を前記障害物領域に重畳させる処理を行うことを特徴とするものである。
【００１０】
「障害物」としては、撮影者の指、手の他、撮影者が撮影時に手に持っており、撮影部の画角内に入ってしまったもの（例えば携帯電話のストラップ）等、撮影者が意図しないで、視点画像に含まれてしまうものが挙げられる。
【００１１】
「少なくとも前記障害物を含む視点画像における前記障害物に対応する障害物領域に対して所定の修正処理を行う」とは、障害物領域のみならず、障害物領域以外の領域にも修正処理を行うことを意味する。また、障害物を含む視点画像のみならず、障害物部を含まない他の視点画像に対しても、障害物領域が立体視可能なような修正処理を行ってもよいことをも意味する。なお、障害物領域以外の領域または他の視点画像に対する修正処理としては、障害物領域が立体視しやすくなるように、障害物領域以外の領域または他の視点画像に含まれるオブジェクトの視差量を変更したり、障害物領域以外の領域または他の視点画像の明るさや色を変更することをも含む。
【００１２】
また、本発明による画像処理装置においては、前記修正手段を、前記所定の視差を、前記障害物を含む視点画像における前記障害物領域以外の領域における視差量に基づいて決定する手段としてもよい。
【００１３】
「障害物領域以外の領域」とは、障害物領域以外の全領域のみならず、例えば障害物領域の近傍の領域のような一部の領域も含む。
【００１４】
また、本発明による画像処理装置においては、前記複数の視点画像の取得前に、該複数の視点画像についてのプレ視点画像を取得するプレ画像取得手段と、
該複数のプレ視点画像を立体視表示可能な表示手段と、
前記複数のプレ視点画像のいずれかに前記障害物が含まれることを通知する、所定の視差量を持って前記複数のプレ視点画像のそれぞれに重畳される警告情報を生成する警告情報生成手段とをさらに備えるものとし、
前記判定手段を、前記複数のプレ視点画像のいずれかに、前記障害物が含まれるか否かを判定する手段とし、前記警告情報生成手段を、該判定が肯定されると前記警告情報を生成し、該警告情報を前記複数のプレ視点画像のそれぞれに重畳する手段とし、前記表示手段を、前記警告情報が重畳された前記プレ視点画像を立体視可能に表示する手段としてもよい。
【００１５】
「プレ視点画像」とは、複数の視点画像を取得する前に、撮影時におけるフレーミングのために取得される画像であり、例えばレリーズボタンを押下する前に、撮影装置のモニタに表示されるスルー画像、またはレリーズボタンを半押しすることにより取得されるプレ撮影画像をプレ視点画像として用いることができる。
【００１６】
この場合、前記警告情報生成手段を、前記複数のプレ視点画像のうちの前記障害物を含むプレ視点画像における前記障害物に対応する障害物領域の縁部、および前記障害物を含むプレ視点画像以外の他のプレ視点画像における前記障害物領域に対応する対応領域の縁部に付与する、前記所定の視差量を有する縁取り画像を、前記警告情報として生成する手段としてもよい。
【００１７】
またこの場合、前記警告情報生成手段を、前記複数のプレ視点画像のうちの前記障害物を含むプレ視点画像における前記障害物に対応する障害物領域、および前記障害物を含むプレ視点画像以外の他のプレ視点画像における前記障害物領域に対応する対応領域に付与する、前記所定の視差量を有する警告画像を、前記警告情報として生成する手段としてもよい。
【００１８】
またこの場合、前記所定の視差量の絶対値を、前記複数のプレ視点画像間の視差量を代表する代表視差量よりも大きくしてもよい。
【００１９】
「代表視差量」としては、複数のプレ視点画像の視差量を代表する視差量であり、例えば、複数のプレ視点画像の全体、またはあらかじめ定められた所定領域についての視差量の平均値および最大値等を用いることができる。
【００２０】
また、本発明による画像処理装置においては、前記複数の視点画像の取得前に、該複数の視点画像についてのプレ視点画像を取得するプレ画像取得手段と、
該複数のプレ視点画像を立体視表示可能な表示手段と、
前記複数のプレ視点画像のいずれかに前記障害物が含まれることを通知するための通知画像を前記表示手段に行う通知表示制御手段とをさらに備えるものとし、
前記判定手段を、前記複数のプレ視点画像のいずれかに、前記障害物が含まれるか否かを判定する手段とし、前記通知表示制御手段を、該判定が肯定されると前記表示手段に前記通知画像を表示する手段としてもよい。
【００２１】
「通知画像」としては、複数のプレ視点画像のいずれかに障害物が含まれることが認識できればどのような画像であってもよく、例えば、プレ視点画像およびプレ視点画像から得られる立体視用画像（以下プレ立体視用画像とする）において、障害物の領域を特定の色にて表示したり、障害物の領域を点滅表示したりする画像を用いることができる。また、複数のプレ視点画像のうち、障害物が含まれるプレ視点画像のみ、障害物が含まれるプレ視点画像のみから作成した立体視用画像、障害物が含まれるプレ視点画像の両端部あるいは障害物が含まれる端部のみの画像、複数のプレ視点画像から作成したパノラマ画像を通知画像として用いることができる。なお、パノラマ画像とは、その画角内にすべてのプレ視点画像の画角が含まれるように、複数のプレ視点画像を合成して得られる、プレ視点画像のそれぞれよりも画角が広い画像である。
【００２２】
また、本発明による画像処理装置においては、前記判定手段を、前記複数のプレ視点画像の端部を基準とする所定範囲の領域、および前記複数のプレ視点画像における前記立体視用画像作成に用いられる画像領域の端部を基準とする所定範囲の領域のいずれかに基づいて、前記障害物が含まれるか否かを判定する手段としてもよい。
【００２３】
また、本発明による画像処理装置においては、前記判定手段を、前記複数の視点画像の端部を基準とする所定範囲の領域、および前記複数の視点画像における前記立体視用画像作成に用いられる画像領域の端部を基準とする所定範囲の領域のいずれかに基づいて、前記障害物が含まれるか否かを判定する手段としてもよい。
【００２４】
「プレ視点画像（および視点画像、以下、視点画像等とする）の端部を基準とする所定範囲の領域」としては、視点画像等の端部より内側における所定範囲の領域を意味する。なお、本発明による視点画像等は撮像素子を用いた撮像により取得されるが、表示あるいは保存等に適したサイズとするために、撮像素子のサイズの画像の周囲の領域を削除する場合がある。このため、視点画像等の端部としては、撮像素子のサイズの画像の端部および撮像素子のサイズの画像の周囲の領域を削除した後の画像の端部のいずれであってもよいものである。
【００２５】
なお、複数の視点画像等の間には視差があるため、複数の視点画像等から立体視用画像を作成する場合、複数の視点画像等のすべてに含まれる画像の範囲のみが立体視用画像の作成に使用される。「視点画像等における前記立体視用画像作成に用いられる画像領域の端部」としては、複数の視点画像等のそれぞれにおける立体視用画像の作成に使用される領域の端部を基準とする内側、外側および内側および外側のその双方における所定範囲の領域を意味する。また、本発明による視点画像等は撮像素子を用いた撮像により取得されるが、表示あるいは保存等に適したサイズとするために、撮像素子のサイズの画像の周囲の領域を削除する場合がある。このため、端部の外側の領域としては、複数の視点画像等のそれぞれにおける立体視用画像の作成に使用される領域の端部から、撮像素子のサイズの画像の端部までの間の任意の位置を端部とする領域を用いることができる。
【００２６】
本発明による画像処理方法は、立体視を行う立体視用画像を作成するために、複数の視点から同一被写体を撮影した複数の視点画像を取得し、
前記複数の視点画像のいずれかに、前記撮影時における画角の一部を遮る障害物が含まれるか否かを判定し、
前記判定が肯定されると、前記複数の視点画像のうちの前記障害物を含む視点画像以外の他の視点画像から、前記障害物を含む視点画像における前記障害物についての障害物領域に対応する対応領域を抽出し、該対応領域に含まれるオブジェクトに所定の視差を付与し、該視差が付与された対応領域を前記障害物領域に重畳させる処理を行うことを特徴とするものである。
【００２７】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２８】
本発明によれば、複数の視点から同一被写体を撮影した複数の視点画像が取得され、複数の視点画像のいずれかに、撮影時における画角の一部を遮る障害物が含まれるか否かが判定される。そして、判定が肯定されると、立体視用画像において障害物領域が立体視可能なように、複数の視点画像のうちの少なくとも障害物を含む視点画像における障害物に対応する障害物領域に対して、所定の修正処理が行われる。このため、修正された視点画像を用いて立体視用画像を生成した場合、障害物領域についても立体視を行うことができる。したがって、取得された視点画像に障害物が含まれていても、立体視用画像を見やすくすることができる。
【００２９】
とくに、障害物を含む視点画像以外の他の視点画像における障害物領域に対応する対応領域を抽出し、対応領域に含まれるオブジェクトに所定の視差を付与し、視差が付与された対応領域を障害物領域に重畳させる処理を所定の修正処理として行うことにより、立体視用画像において障害物領域が立体視可能なように所定の修正処理を行うことができる。
【００３０】
この際、所定の視差を、障害物を含む視点画像における障害物領域以外の領域における視差量に基づいて決定することにより、立体視用画像における立体感の違和感をなくすことができる。
【００３１】
また、複数の視点画像の取得前に複数の視点画像についてのプレ視点画像を取得するに際し、複数のプレ視点画像のいずれかに障害物が含まれる場合に、複数のプレ視点画像のいずれかに障害物が含まれることを通知する、所定の視差量を持って複数のプレ視点画像のそれぞれに重畳する警告情報を生成し、警告情報を複数のプレ視点画像のそれぞれに重畳して立体視可能に表示することにより、撮影者は撮影前に障害物の存在の有無を確認することができる。
【００３２】
また、複数のプレ視点画像のうちの障害物を含むプレ視点画像における障害物に対応する障害物領域の縁部、および障害物を含むプレ視点画像以外の他のプレ視点画像における障害物領域に対応する対応領域の縁部に付与する、所定の視差量を有する縁取り画像を警告情報として生成したり、障害物領域および対応領域に付与する所定の視差量を有する警告画像を警告情報として生成することにより、障害物の領域を容易に撮影者に知らせることができる。
【００３３】
この際、所定の視差量の絶対値を、複数のプレ視点画像間の視差量を代表する代表視差量よりも大きくすることにより、警告情報を立体視するとその立体感が他の部分と大きく異なるものとなる。したがって、撮影者は障害物の存在をより確実に認識することができる。
【００３４】
また、複数の視点画像の取得前に複数の視点画像についてのプレ視点画像を取得するに際し、複数のプレ視点画像のいずれかに障害物が含まれる場合に、複数のプレ視点画像のいずれかに障害物が含まれることを通知する通知画像を表示することにより、撮影者は撮影前に障害物の存在の有無を確認することができる。
【００３５】
また、複数の視点から同一被写体を撮影するための複眼カメラにより撮影を行う場合、撮影者の指は取得される画像の縁部に現れる。このため、複数のプレ視点画像または視点画像の端部を基準とする所定範囲の領域、および複数のプレ視点画像または視点画像における立体視用画像作成に用いられる画像領域の端部を基準とする所定範囲の領域のいずれかに基づいて、障害物が含まれるか否かを判定することにより、プレ視点画像または視点画像に障害物が含まれるか否かを確実に判定することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態による画像処理装置を適用した複眼カメラの正面側斜視図
【図２】本発明の実施形態による画像処理装置を適用した複眼カメラの背面側斜視図
【図３】複眼カメラの内部構成を示す概略ブロック図
【図４】撮影部の構成を示す図
【図５】立体視用画像の画像ファイルのファイルフォーマットを示す図
【図６】モニタの構成を示す図
【図７】レンチキュラーシートの構成を示す図
【図８】３次元処理を説明するための図
【図９】障害物が含まれる画像および障害物が含まれない画像を示す図
【図１０】障害物が含まれるか否かを判定する領域を示す図
【図１１】二値化した第１および第２の画像を示す図
【図１２】二値化した第１および第２の画像の画素値の差分値の絶対値の算出を示す図
【図１３】ステレオマッチング処理を説明するための図
【図１４】視差を説明するための図
【図１５】視差補正処理を説明するための図
【図１６】障害物が含まれるか否かを判定する領域を示す図
【図１７】撮像素子が取得した画像と実際の画像との差異を説明するための図
【図１８】障害物が含まれるか否かを判定する領域を示す図
【図１９】障害物が含まれるか否かを判定する領域を示す図
【図２０】修正処理を説明するための図
【図２１】警告情報の生成処理を説明するための図
【図２２】警告情報の他の例を示す図
【図２３】警告情報の他の例を示す図
【図２４】スルー画像の撮影時において行われる処理を示すフローチャート
【図２５】撮影処理が行われた以降の処理を示すフローチャート
【図２６】３つの撮影部を有する複眼カメラにおいて取得される画像ファイルのフォーマットを示す図（その１）
【図２７】第１の画像に障害物が含まれた場合の画像ファイルのフォーマットを示す図（その１）
【図２８】３つの撮影部を有する複眼カメラにおいて取得される画像ファイルのフォーマットを示す図（その２）
【図２９】第１の画像に障害物が含まれた場合の画像ファイルのフォーマットを示す図（その２）
【図３０】通知画像の表示の第１の例を示す図
【図３１】通知画像の表示の第２の例を示す図
【図３２】通知画像の表示の第３の例を示す図
【図３３】通知画像の表示の第４の例を示す図
【図３４】通知画像の表示の第５の例を示す図
【図３５】通知画像の表示の第６の例を示す図
【図３６】通知画像の表示の第７の例を示す図
【発明を実施するための形態】
【００３７】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像処理装置を適用した複眼カメラの正面側斜視図、図２は背面側斜視図である。図１に示すように、複眼カメラ１の上部には、レリーズボタン２、電源ボタン３およびズームレバー４が備えられている。デジタルカメラ１の正面には、フラッシュ５および２つの撮影部２１Ａ，２１Ｂのレンズが配設されている。また、背面には、各種表示を行う液晶モニタ（以下単にモニタとする）７および各種操作ボタン８が配設されている。
【００３８】
図３は複眼カメラ１の内部構成を示す概略ブロック図である。図３に示すように第１の実施形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。なお、撮影部２１Ａ，２１Ｂは、被写体を見込む輻輳角を持って、あらかじめ定められた基線長となるように配置されている。なお、輻輳角および基線長の情報は内部メモリ２７に記憶されている。
【００３９】
図４は撮影部２１Ａ，２１Ｂの構成を示す図である。図４に示すように撮影部２１Ａ，２１Ｂは、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、撮像素子１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。
【００４０】
レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、撮影制御部２２が行うＡＦ処理により得られる合焦データおよび不図示のズームレバーを操作することにより得られるズームデータに基づいて、不図示のレンズ駆動部によりその位置が調整される。
【００４１】
絞り１１Ａ，１１Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。
【００４２】
シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。
【００４３】
撮像素子１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、撮像素子１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００４４】
ＡＦＥ１４Ａ，１４Ｂは、撮像素子１３Ａ，１３Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００４５】
Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。
【００４６】
撮影制御部２２は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部はレリーズボタン２の半押し操作により撮影部２１Ａ，２１Ｂが取得したプレ画像に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ，２１Ｂに出力する。
【００４７】
ここで、ＡＦ処理による焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。
【００４８】
また、撮影制御部２２は、レリーズボタン２の全押し操作により、撮影部２１Ａ，２１Ｂに対して第１および第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮影の指示を行う。なお、レリーズボタン２が操作される前は、撮影制御部２２は、撮影範囲を確認させるための、第１および第２の画像Ｇ１，Ｇ２の本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１Ａ，２１Ｂに対して行う。
【００４９】
画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。
【００５０】
圧縮／伸長処理部２４は、画像処理部２３によって処理が施された第１および第２の画像Ｇ１，Ｇ２の本画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルＦ０を生成する。この立体視用の画像ファイルＦ０には、第１および第２の画像Ｇ１，Ｇ２の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角および撮影日時等の付帯情報、および視点位置を表す視点情報が格納される。
【００５１】
図５は立体視用画像の画像ファイルのファイルフォーマットを示す図である。図５に示すように立体視用の画像ファイルＦ０は、第１の画像Ｇ１の付帯情報Ｈ１、第１の画像Ｇ１の視点情報Ｓ１、第１の画像Ｇ１の画像データ（画像データについても参照符号Ｇ１を用いるものとする）、第２の画像Ｇ２の付帯情報Ｈ１、第２の画像Ｇ２の視点情報Ｓ２、および第２の画像Ｇ２の画像データが格納されてなる。また、図示はしないが、第１および第２の画像Ｇ１，Ｇ２についての付帯情報、視点情報および画像データの前後には、データの開始位置および終了位置を表す情報が含まれる。また、付帯情報Ｈ１，Ｈ２には第１および第２の画像Ｇ１，Ｇ２の撮影日、基線長、および輻輳角の情報が含まれる。また、付帯情報Ｈ１，Ｈ２には第１および第２の画像Ｇ１，Ｇ２のサムネイル画像も含まれる。なお、視点情報としては、例えば左側の撮影部から順に付与した視点位置の番号を用いることができる。
【００５２】
フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００５３】
メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込みと読み込みの制御を行う。
【００５４】
内部メモリ２７は、複眼カメラ１において設定される各種定数、およびＣＰＵ３５が実行するプログラム等を記憶する。
【００５５】
表示制御部２８は、撮影時においてフレームメモリ２５に格納された第１および第２の画像Ｇ１，Ｇ２および第１および第２の画像Ｇ１，Ｇ２から生成された立体視用画像ＧＲをモニタ７に表示させたり、記録メディア２９に記録されている第１および第２の画像Ｇ１，Ｇ２および立体視用画像ＧＲをモニタ７に表示させたりする。
【００５６】
図６はモニタ７の構成を示す図である。図６に示すように、モニタ７は、ＬＥＤにより発光するバックライトユニット４０および各種表示を行うための液晶パネル４１を積層し、液晶パネル４１にレンチキュラーシート４２を取り付けることにより構成されている。
【００５７】
図７はレンチキュラーシートの構成を示す図である。図７に示すようにレンチキュラーシート４２は、複数のシリンドリカルレンズ４３を並列に並べることにより構成されている。
【００５８】
また、本実施形態による複眼カメラ１は３次元処理部３０、判定部３１、修正部３２、および警告情報生成部３３を備える。
【００５９】
３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２をモニタ７に立体視表示させるために、第１および第２の画像Ｇ１，Ｇ２に３次元処理を行って立体視用画像ＧＲを生成する。図８は３次元処理を説明するための図である。図８に示すように３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２を垂直方向に短冊状に切り取り、レンチキュラーシート４２におけるシリンドリカルレンズ４３のそれぞれに、位置が対応する短冊状に切り取った第１および第２の画像Ｇ１，Ｇ２を交互に配置するように３次元処理を行って、立体視用画像ＧＲを生成する。なお、３次元処理部３０は、後述する修正部３２が第１および第２の画像Ｇ１，Ｇ２を修正した場合には、修正した画像を用いて立体視用画像ＧＲを生成する。
【００６０】
また、３次元処理部３０は、立体視用画像ＧＲの立体感を適切なものとするために、第１および第２の画像Ｇ１，Ｇ２の視差を補正するようにしてもよい。ここで、視差は、第１および第２の画像Ｇ１，Ｇ２の双方に含まれる被写体の、第１および第２の画像Ｇ１，Ｇ２の横方向における画素位置の相違として算出することができる。視差を調整することにより、立体視用画像ＧＲに含まれる被写体の立体感を適切なものとすることができる。
【００６１】
ここで、撮影者が本実施形態による複眼カメラ１を用いて撮影を行う場合、モニタ７に表示される立体視用のスルー画像を見ながらフレーミングを行うが、この際、レリーズボタン２を押下する右手の指が撮影部２１Ｂの画角内に入ってしまい、撮影部２１Ｂの画角の一部を遮ってしまう場合がある。このような場合、図９に示すように撮影部２１Ａにより取得される第１の画像Ｇ１には、何ら障害物は含まれないが、撮影部２１Ｂにより取得される第２の画像Ｇ２には、右下角部に指が障害物として含まれてしまうため、第１の画像Ｇ１に見られる２本の木の一部が見えなくなってしまう。
【００６２】
（以下判定の処理を追加）
判定部３１は、第１および第２の画像Ｇ１，Ｇ２（本画像およびスルー画像の双方を含む）に、指等の障害物が含まれるか否かを判定する。以下、判定の処理について具体的に説明する。ここで、第１および第２の画像Ｇ１，Ｇ２のいずれかに障害物が含まれる場合、障害物は図９に示すように、画像の端部から内側の領域に含まれる。このため、判定部３１は、図１０に示すように、第１および第２の画像Ｇ１，Ｇ２の端部から所定範囲の斜線で示す領域Ｒ１，Ｒ２においてのみ、障害物が含まれるか否かを判定する。ここで、領域Ｒ１，Ｒ２の範囲は第１および第２の画像Ｇ１，Ｇ２の端部からあらかじめ定められた画素数の範囲とする。なお、画素数はユーザが設定してもよく、複眼カメラ１においてあらかじめ設定されたものであってもよい。また、領域Ｒ１，Ｒ２の範囲は、第１および第２の画像Ｇ１，Ｇ２の縦あるいは横の長さに対する比率により設定してもよい。
【００６３】
そして判定部３１は、図１１に示すように領域Ｒ１，Ｒ２の画像を二値化し、図１２に示すように領域Ｒ１，Ｒ２における対応する画素位置同志で二値化した画素値の差分値の絶対値を算出する。ここで、障害物がない場合、領域Ｒ１，Ｒ２の二値化した画素値同志の差分値の絶対値は０に近い値となるが、障害物が存在する領域においては差分値の絶対値は比較的大きい値となる。したがって、判定部３１は、差分値の絶対値が所定のしきい値よりも大きい画素を検出し、その画素が所定数（例えば５０画素）以上集まっている領域が存在する場合に、第１および第２の画像Ｇ１，Ｇ２のいずれかに障害物が含まれると判定する。
【００６４】
なお、判定部３１は、領域Ｒ１，Ｒ２について、ステレオマッチング処理により領域Ｒ１，Ｒ２間のマッチングエラーを算出し、マッチングエラーとなる画素が所定数以上集まっている領域が存在する場合に、第１および第２の画像Ｇ１，Ｇ２のいずれかに障害物が含まれると判定するようにしてもよい。ここで、ステレオマッチング処理は、第１および第２の画像Ｇ１，Ｇ２における対応する画素位置を探索する手法である。本実施形態においては、撮影部２１Ａ，２１Ｂの垂直方向の位置は同一であるため、判定部３１は、図１３に示すように、領域Ｒ１内の各画素について、各画素を中心とした所定サイズ（例えば５×５画素）のウィンドウＭ１を設定し、ウィンドウＭ１を領域Ｒ２上をｘ方向にのみ移動しながら、ウィンドウＭ１とウィンドウＭ１に対応するウィンドウＭ２との相関値を算出し、最も大きい相関となる相関値を得た領域Ｒ２上の画素を、ウィンドウＭ１を設定した画素に対応する画素として求めるようマッチングを行う。
【００６５】
なお、相関は下記の式（１）により算出すればよい。なお、式（１）は、領域Ｒ１，Ｒ２内の画素（ｘ，ｙ）を中心とするサイズがｎ×ｎのウィンドウＭ１，Ｍ２を用いて、差の絶対値の総和、すなわち相関値ＳＡＤ（Sum of Absolute Difference）を算出するものである。また、下記の式（２）により、差の二乗による相関値ＳＳＤ（Sum of Squared intensity Difference）を算出してもよい。なお、相関値ＳＡＤ、ＳＳＤのいずれも、値が小さいほど相関が大きくなる。
【数１】
2010288253.tif 000003
【００６６】
そして、判定部３１は、領域Ｒ１における全画素位置において算出した相関値のうち、最小となる相関値を領域Ｒ１にマッピングする。ここで、第１および第２の画像Ｇ１，Ｇ２に障害物が含まれない場合、領域Ｒ１，Ｒ２間においては対応する画素が存在することから、最小となる相関値は比較的小さい値となる。一方、第１および第２の画像Ｇ１，Ｇ２のいずれか一方に障害物が含まれる場合、障害物の領域については領域Ｒ１，Ｒ２において対応する画素が存在しないため、最小となる相関値は比較的大きい値となる。
【００６７】
したがって、判定部３１は、マッピングされた相関値が所定のしきい値よりも大きい画素を検出し、その画素が所定数（例えば５０画素）以上集まっている領域が存在する場合に、第１および第２の画像Ｇ１，Ｇ２のいずれかに障害物が含まれると判定する。
【００６８】
なお、判定部３１は、第１および第２の画像Ｇ１，Ｇ２のいずれに障害物が含まれるかを判定するものであってもよい。この場合、第１および第２の画像Ｇ１，Ｇ２における障害物が含まれると判定された領域について、その領域の画素値と領域の周囲の画素値とを比較し、画素値が大きく異なる画像の方に障害物が含まれると判定するようにすればよい。
【００６９】
一方、本実施形態においては、第１および第２の画像Ｇ１，Ｇ２に人物が含まれており、第１および第２の画像Ｇ１，Ｇ２における人物の視差は、図１４に示すように表すことができる。ここで、３次元処理部３０が第１および第２の画像Ｇ１，Ｇ２の視差を補正して、第１および第２の画像Ｇ１，Ｇ２に含まれる人物の視差が０となるようにした場合、図１５に示すように、第１および第２の画像Ｇ１，Ｇ２が互いに重なり合う、太線で囲んだ画像領域Ｇ１１，Ｇ１２のみを用いて立体視用画像ＧＲが作成されることとなる。このため、判定部３１は、複眼カメラ１において視差量の補正が設定されている場合、図１６に示すように画像領域Ｇ１１，Ｇ１２の端部から所定範囲の斜線により示す領域Ｒ１１，Ｒ１２においてのみ、障害物が含まれるか否かを判定するようにしてもよい。
【００７０】
また、第１および第２の画像Ｇ１，Ｇ２は、撮像素子１３Ａ，１３Ｂにより撮像されて取得されるが、実際にモニタ７に表示されたり、記録メディア２９に記録されたりする画像は、図１７に示すように、撮像素子１３Ａ，１３Ｂが取得した第１および第２の画像Ｇ１，Ｇ２における破線より外側の周囲の領域を削除したものとなっている。このため、判定部３１は、図１８に示すように、画像領域Ｇ１１，Ｇ１２の端部から所定範囲の領域Ｒ１１，Ｒ１２を、図１７に示す破線の領域まで拡大するようにしてもよい。また、図１９に示すように、第１および第２の画像Ｇ１，Ｇ２の端部にまで領域Ｒ１１，Ｒ１２を拡大してもよいことはもちろんである。また、破線の領域から第１および第２の画像Ｇ１，Ｇ２の端部までの間の任意の位置まで領域Ｒ１１，Ｒ１２を拡大してもよい。この場合、どこまで領域Ｒ１１，Ｒ１２を拡大するかについては、撮影者が設定できるようにしておくことが好ましい。
【００７１】
なお、上記の領域Ｒ１，Ｒ２，Ｒ１１，Ｒ１２の範囲は、あらかじめ複眼カメラ１において設定されていてもよく、どのように障害物を検出する領域を設定するかを撮影者が切り替えることができるようにしてもよい。
【００７２】
（以上まで追加）
なお、第１および第２の画像Ｇ１，Ｇ２に障害物が含まれるか否かの判定は、上記の手法に限定されるものではなく、公知の任意の手法を用いることができる。例えば、特許文献１に記載されたように、時間的に連続するスルー画像を参照しつつ、フレーミングの変化に伴って、変化しない部分が存在することを検出する手法、あるいは、特許文献３に記載されたように、第１および第２の画像Ｇ１，Ｇ２を複数の領域に分割し、各領域の輝度値を算出し、輝度値が他の領域と大きく異なる領域が存在する場合に、障害物が含まれると判定する手法等を用いることができる。
【００７３】
修正部３２は、第１および第２の画像Ｇ１，Ｇ２の本画像に障害物が含まれる場合に、障害物が含まれる画像を修正する。以下、修正処理について説明する。図２０は修正処理を説明するための図である。なお、ここでは、図９に示すように第２の画像Ｇ２に障害物が含まれる場合の処理について説明する。まず、修正部３２は、第２の画像Ｇ２における障害物を含む障害物領域Ａ１を抽出し、さらに第２の画像Ｇ２における障害物領域Ａ１に隣接する所定幅を有する領域Ａ２を抽出する。なお、所定幅としては、第２の画像Ｇ２の横幅の画素数の１０％程度の幅を用いるものとするが、これに限定されるものではない。また、領域Ａ２は障害物領域Ａ１に隣接する必要はなく、障害物領域Ａ１の近傍の領域であってもよく、障害物領域Ａ１以外のすべての領域であってもよい。
【００７４】
そして修正部３２は、抽出した領域Ａ２に含まれるオブジェクトを認識し、領域Ａ２をオブジェクトに応じた複数の領域に分割する。本実施形態においては、領域Ａ２には、手前側の木、奥側の木および背景が含まれるため、修正部３２は、領域Ａ２を手前側の木の領域Ａ２１、奥側の木の領域Ａ２２および背景の領域Ａ２３に分割する。そして、領域Ａ２１〜Ａ２３毎に、視差量の平均値を算出する。具体的には、第１の画像Ｇ１において、第１の画像Ｇ１における障害物領域Ａ１に対応する対応領域Ａ１′を抽出し、領域Ａ１′に対してオブジェクト認識処理を行い、対応領域Ａ１′をオブジェクトに応じた複数の領域に分割する。本実施形態においては、対応領域Ａ１′には、手前側の木、奥側の木および背景が含まれるため、修正部３２は、対応領域Ａ１′を手前側の木の領域Ａ１１、奥側の木の領域Ａ１２および背景の領域Ａ１３に分割する。
【００７５】
そして、領域Ａ１１〜Ａ１３と領域Ａ２１〜Ａ２３との相関に基づいて、領域Ａ１１〜Ａ１３と領域Ａ２１〜Ａ２３との対応関係を求める。本実施形態においては、手前側の木の領域である領域Ａ１１と領域Ａ２１、奥側の木の領域である領域Ａ１２と領域Ａ２２、背景の領域である領域Ａ１３と領域Ａ２３とが対応する。そして、修正部３２は、領域Ａ１１〜Ａ１３の第１の画像Ｇ１上における水平方向の位置が、第２の画像Ｇ２上における領域Ａ２１〜Ａ２３の水平方向の位置と一致するように、対応領域Ａ１′を加工して修正領域Ａ１″を生成する。さらに、第２の画像Ｇ２の障害物領域Ａ１に修正領域Ａ１″を重畳することにより、第２の画像Ｇ２を修正して修正済みの第２の画像Ｇ２′を生成する。
【００７６】
このように生成された第２の画像Ｇ２′と第１の画像Ｇ１とから立体視用画像ＧＲを生成して立体視表示すると、障害物に邪魔されることなく、良好に立体視が可能となる。
【００７７】
警告情報生成部３３は、第１および第２の画像Ｇ１，Ｇ２のスルー画像に障害物が含まれる場合に、その旨を表す警告情報を生成する。以下、警告情報の生成について説明する。図２１は警告情報の生成処理を説明するための図である。なお、ここでは、図９に示すように第１および第２の画像Ｇ１，Ｇ２における第２の画像Ｇ２に障害物が含まれる場合の処理について説明する。まず、警告情報生成部３３は、第２の画像Ｇ２における障害物領域Ａ１以外の領域Ａ３１を抽出する。そして領域Ａ３１内の各画素の画素位置と、第１の画像Ｇ１における対応する画素の画素位置との水平方向の位置の差を各画素の視差量として算出し、さらに視差量の代表値を算出する。なお、視差量の代表値としては、視差量の平均値または最大値を用いることができるが、本実施形態においては最大値を用いるものとする。なお、領域Ａ３１内の視差量のみならず、上記修正部３２において行った場合と同様に、障害物領域Ａ１に隣接する領域Ａ２についての視差量の代表値を算出するようにしてもよい。
【００７８】
そして、視差量の代表値よりも大きい視差を有する、障害物領域Ａ１および対応領域Ａ１′の縁部に付与する縁取り画像Ｅ１，Ｅ２を警告情報として生成し、第１および第２の画像Ｇ１，Ｇ２に縁取り画像Ｅ１，Ｅ２をそれぞれ重畳する。
【００７９】
このように縁取り画像Ｅ１，Ｅ２が重畳された第１および第２の画像Ｇ１，Ｇ２から立体視用画像ＧＲを生成して立体視表示すると、障害物の部分において立体視用画像ＧＲを立体視できないものの、縁取りが立体視できるため、縁取りの存在により、撮影者の指等の障害物により画角が遮られていることを撮影者に知らせることができる。
【００８０】
なお、図２１においては、警告情報として障害物領域Ａ１および対応領域Ａ１′の縁部に付与する縁取り画像を用いているが、図２２に示すように、障害物領域Ａ１および対応領域Ａ１′の全面に付与するテクスチャＴ１，Ｔ２を警告情報として用いてもよい。また障害物領域Ａ１および対応領域Ａ１′の色を、障害物の色とは異なる色にて塗りつぶすようにしてもよい。例えば障害物領域Ａ１に含まれる画素の平均色を算出し、色相環上において平均色とから離れた角度（例えば９０度、１８０度、２７０度等）の色を障害物領域Ａ１および対応領域Ａ１′の色としてもよい。また、塗りつぶした色を点滅させるようにしてもよい。また、図２３に示すように、「障害物あり」の文字を警告情報として用いてもよい。いずれの場合においてもテクスチャＴ１，Ｔ２および文字は、縁取り画像Ｅ１，Ｅ２と同様に、上記視差量の代表値よりも大きい視差量を有するように、第１および第２の画像Ｇ１，Ｇ２に重畳される。
【００８１】
また、視差量の代表値の最大値よりも大きくなるように警告情報の視差量を設定しているが、視差量の代表値の逆方向の視差量となるように視差量を設定してもよい。これにより、障害物の領域付近において、飛び出して見えるような立体感を有する場合であっても、警告情報が奥側にあるように見えることとなるため、警告情報を確認しやすくなる。
【００８２】
ＣＰＵ３５は、レリーズボタン２、ズームレバー４および各種操作ボタン８を含む入力部３４からの信号に応じて複眼カメラ１の各部を制御する。
【００８３】
データバス３６は、複眼カメラ１を構成する各部およびＣＰＵ３５に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。
【００８４】
次いで、本実施形態において行われる処理について説明する。図２４は本実施形態において、レリーズボタン２が押下される前のスルー画像の撮影時において行われる処理を示すフローチャートである。なお、ここでは警告情報として縁取り画像を用いるものとして説明する。撮影者が複眼カメラ１の電源ボタン３を操作して電源をオンとすることによりＣＰＵ３５が処理を開始し、撮影部２１Ａ，２１Ｂにより第１および第２の画像Ｇ１，Ｇ２のスルー画像を取得する（ステップＳＴ１）。そして、判定部３１が、第１および第２の画像Ｇ１，Ｇ２のスルー画像に障害物が含まれるか否かを判定する（ステップＳＴ２）。ステップＳＴ２が肯定されると、警告情報生成部３３が、第１および第２の画像Ｇ１，Ｇ２における障害物領域を抽出し（ステップＳＴ３）、さらに第１および第２の画像Ｇ１，Ｇ２の視差量の代表値を算出する（ステップＳＴ４）。そして視差量の代表値よりも大きい視差となるように、第１および第２の画像Ｇ１，Ｇ２に重畳する縁取り画像を警告情報として生成し（ステップＳＴ５）、警告情報を第１および第２の画像Ｇ１，Ｇ２に重畳する（ステップＳＴ６）。
【００８５】
続いて、３次元処理部３０が、警告情報が重畳された第１および第２の画像Ｇ１，Ｇ２のスルー画像から立体視用画像ＧＲを生成し（ステップＳＴ７）、立体視用画像ＧＲのスルー画像をモニタ７に表示する（ステップＳＴ８）。なお、ステップＳＴ２が否定された場合は、第１および第２の画像Ｇ１，Ｇ２に警告情報を重畳することなく、ステップＳＴ７に進み、立体視用画像ＧＲを生成する。
【００８６】
そして、ＣＰＵ３５はレリーズボタン２が押下されたか否かを判定し（ステップＳＴ９）、ステップＳＴ９が否定されるとステップＳＴ１に戻り、ステップＳＴ１以降の処理を繰り返す。ステップＳＴ９が肯定されると、撮影処理を実行し（ステップＳＴ１０）、処理を終了する。これにより、第１および第２の画像Ｇ１，Ｇ２の本画像が取得される。
【００８７】
なお、図２４に示すフローチャートにおいては、スルー画像において障害物領域が含まれるか否かを判定しているが、レリーズボタン２が半押しされされることにより取得されるプレ画像において障害物領域が含まれるか否かを判定するようにしてもよい。この場合、ステップＳＴ９の処理においては、レリーズボタン２が全押しされたか否かを判定することとなる。
【００８８】
次いで、撮影処理が行われて第１および第２の画像Ｇ１，Ｇ２の本画像が取得された以降の処理について説明する。図２５は撮影処理が行われた以降の処理を示すフローチャートである。なお、ここでは、第２の画像Ｇ２に障害物が含まれるものとして説明する。撮影処理が行われることによりＣＰＵ３５が処理を開始し、第１および第２の画像Ｇ１，Ｇ２の本画像を取得する（ステップＳＴ２１）。そして、判定部３１が、第１および第２の画像Ｇ１，Ｇ２の本画像に障害物が含まれるか否かを判定する（ステップＳＴ２２）。ステップＳＴ２２が肯定されると、修正部３２が、第１および第２の画像Ｇ１，Ｇ２における障害物領域Ａ１を抽出し（ステップＳＴ２３）、障害物領域Ａ１の近傍の領域Ａ２をオブジェクトに応じた複数の領域に分割する（ステップＳＴ２４）。
【００８９】
そして、修正部３２は、分割した領域毎に第１および第２の画像Ｇ１，Ｇ２の視差量を算出し（ステップＳＴ２５）、さらに障害物がない方の画像（第１の画像Ｇ１）から、障害物領域Ａ１に対応する対応領域Ａ１′を抽出する（ステップＳＴ２６）。さらに修正部３２は、視差量に応じて対応領域Ａ１′を加工し（ステップＳＴ２７）、これにより得られる修正領域Ａ１″を第２の画像Ｇ２の障害物領域Ａ１に重畳することにより第２の画像Ｇ２を修正して修正済みの第２の画像Ｇ２′を生成する（ステップＳＴ２８）。
【００９０】
続いて、３次元処理部３０が、第１の画像Ｇ１および修正済みの第２の画像Ｇ２′から立体視用画像ＧＲを生成し（ステップＳＴ２９）、さらにＣＰＵ３５が立体視用画像ＧＲを出力し（ステップＳＴ３０）、処理を終了する。なお、ステップＳＴ２２が否定された場合は、第１および第２の画像Ｇ１，Ｇ２を修正することなく、ステップＳＴ２９に進み、立体視用画像ＧＲを生成する。また、出力は、立体視用画像ＧＲの画像ファイルを生成して記録メディア２９に記録するための、圧縮／伸長処理部２４および記録メディア２９への出力であってもよく、表示のためのモニタ７への出力であってもよい。
【００９１】
このように、本実施形態によれば、第１および第２の画像Ｇ１，Ｇ２に障害物が含まれるか否かを判定し、判定が肯定されると、障害物領域Ａ１が立体視可能なように修正処理を行うようにしたものである。このため、修正された画像を用いて立体視用画像を生成した場合、障害物を含む領域についても、立体視を行うことができる。したがって、取得された画像に障害物が含まれていても、立体視用画像を見やすくすることができる。
【００９２】
また、スルー画像に障害物が含まれる場合に警告情報を立体視表示するようにしため、撮影者は撮影前に障害物の存在の有無を確認することができる。
【００９３】
この際、警告情報の視差量を、第１および第２の画像Ｇ１，Ｇ２の視差量を代表する代表視差量よりも大きくすることにより、警告情報の立体感が他の部分と大きく異なるものとなる。したがって、撮影者は障害物の存在をより確実に認識することができる。
【００９４】
また、複眼カメラにより撮影を行う場合、撮影者の指等の障害物は第１および第２の画像Ｇ１，Ｇ２の縁部に現れる。このため、第１および第２の画像Ｇ１，Ｇ２の端部を基準とする所定範囲の領域Ｒ１，Ｒ２，Ｒ１１，Ｒ１２内の領域についてのみ、障害物が含まれるか否かを判定することにより、第１および第２の画像Ｇ１，Ｇ２に障害物が含まれるか否かを確実に判定することができる。
【００９５】
なお、上記実施形態においては、修正部３２において、障害物を含む画像のみを修正しているが、障害物領域Ａ１以外の他の領域または障害物を含まない他の画像を修正するようにしてもよい。この場合、他の領域または他の画像については、障害物領域Ａ１が立体視しやすくなるように、他の領域または他の画像に含まれるオブジェクトの視差量を変更したり、他の領域または他の画像の明るさや色を変更したりすればよい。
【００９６】
また、上記実施形態においては、２つの撮影部２１Ａ，２１Ｂを備えた複眼カメラ１について説明しているが、３以上の撮影部を備えた複眼カメラにおいても、本発明による画像処理装置を適用することができることはもちろんである。
【００９７】
また、上記実施形態による複眼カメラにおいて、障害物を含む画像が取得された場合、障害物を含む画像を画像ファイルＦ０に格納しないようにしてもよい。この場合、３以上の撮影部を備えた複眼カメラにおいては、障害物を含む画像以外の２以上の画像が画像ファイルＦ０に格納されるため、画像ファイルＦ０に含まれる画像を用いて立体視表示することができるが、２つの撮影部を備えた複眼カメラの場合、画像ファイルＦ０には障害物を含まない１つの画像のみが格納されることとなるため、立体視表示を行うことができないこととなる。
【００９８】
図２６は３つの撮影部を有する複眼カメラにおいて取得される画像ファイルのフォーマットを示す図である。図２６に示すように、３つの撮影部を有する複眼カメラにおいては、第１から第３の画像Ｇ１〜Ｇ３が取得されるため、画像ファイルＦ０には第１から第３の画像Ｇ１〜Ｇ３の付帯情報Ｈ１〜Ｈ３、視点情報Ｓ１〜Ｓ３および画像データＧ１〜Ｇ３が格納される。なお、図示はしないが、第１〜第３の画像Ｇ１〜Ｇ３についての付帯情報、視点情報および画像データの前後には、データの開始位置および終了位置を表す情報が含まれる。また、付帯情報Ｈ１〜Ｈ３には第１から第３の画像Ｇ１〜Ｇ３のサムネイル画像がそれぞれ含まれる。
【００９９】
ここで、第１から第３の画像Ｇ１〜Ｇ３のうち、第１の画像Ｇ１に障害物が含まれる場合、図２７に示すように、画像ファイルＦ０には、第２および第３の画像Ｇ２，Ｇ３の画像データおよび第２および第３の画像Ｇ２，Ｇ３の付帯情報Ｈ２，Ｈ３のみが格納されることとなる。この場合、画像ファイルＦ０に記録されていない第１の画像Ｇ１については、その視点位置の画像が格納されていないことが分かるように、付帯情報Ｈ２またはＨ３に、例えば「記録視点番号＝２，３、未記録視点番号＝１」のような情報を記述することが好ましい。
【０１００】
また、画像ファイルＦ０のフォーマットとしては、図２８に示すように第１から第３の画像Ｇ１〜Ｇ３の画像データを１つにまとめて画像ファイルＦ０に格納することも可能である。この場合、画像ファイルＦ０には、付帯情報Ｈ０、視点情報Ｓ０および画像データＧ０が格納される。なお、付帯情報Ｈ０には第１から第３の画像Ｇ１〜Ｇ３の撮影日、基線長および輻輳角の情報が含まれる。また、視点情報Ｓ０には、左画像視点番号＝１、中央画像視点番号＝２、右画像視点番号＝３というように視点位置の情報が含まれる。画像ファイルＦ０がこのようなフォーマットを有する場合において、第１の画像Ｇ１に障害物が含まれる場合、図２９に示すように第２および第３の画像Ｇ２，Ｇ３の画像データのみが画像ファイルＦ０に格納される。この場合、視点情報Ｓ０には、左画像視点番号＝２、右画像視点番号＝３、未記録視点番号＝１というように視点位置の情報が含まれる。
【０１０１】
（以下、表示の態様を追加）
なお、上記実施形態においては、警告情報が重畳された第１および第２の画像Ｇ１，Ｇ２のスルー画像から立体視用画像ＧＲを生成し、立体視用画像ＧＲのスルー画像をモニタ７に表示するしているが、第１および第２の画像Ｇ１，Ｇ２に障害物が含まれることを表す通知画像を表示するようにしてもよい。以下、通知画像について説明する。図３０〜図３６は通知画像の表示の第１〜第７の例を示す図である。
【０１０２】
図３０に示すように通知画像の第１の例は、第１および第２の画像Ｇ１，Ｇ２のうち、障害物が含まれる画像（ここでは第２の画像Ｇ２）のみを通知画像としたものである。図３１に示すように通知画像の第２の例は、第１および第２の画像Ｇ１，Ｇ２のうち、障害物が含まれる画像（ここでは第２の画像Ｇ２）のみを通知画像とし、さらに障害物領域の色を他の領域の色と異なる色により塗りつぶしたり点滅させたりするようにしたものである。なお、図３１においては、障害物領域の色が他の領域と異なったり点滅したりしていることを斜線にて示している。
【０１０３】
図３２に示すように通知画像の第３の例は、第１および第２の画像Ｇ１，Ｇ２のうち、障害物が含まれる画像（ここでは第２の画像Ｇ２）のみを用いて図８に示すように３次元処理を行って立体視用画像ＧＲ１を作成し、立体視用画像ＧＲ１を通知画像としたものである。
【０１０４】
図３３に示すように通知画像の第４の例は、第１および第２の画像Ｇ１，Ｇ２のうち、障害物が含まれる画像（ここでは第２の画像Ｇ２）を第１の画像Ｇ１として用いて図８に示すように３次元処理を行って立体視用画像ＧＲ２を作成し、立体視用画像ＧＲ２を通知画像としたものである。なお、図３２および図３３においては説明を容易にするために、第２の画像Ｇ２の中心付近の画像のみを用いて作成した立体視用画像のみを示している。
【０１０５】
図３４に示すように通知画像の第５の例は、第１および第２の画像Ｇ１，Ｇ２のうち、障害物が含まれる画像（ここでは第２の画像Ｇ２）の両端の一部の領域のみを通知画像としたものである。
【０１０６】
図３５に示すように通知画像の第６の例は、第１および第２の画像Ｇ１，Ｇ２のうち、障害物が含まれる画像（ここでは第２の画像Ｇ２）の障害物が含まれる側の一部の領域のみを通知画像としたものである。
【０１０７】
図３６に示すように通知画像の第７の例は、第１および第２の画像Ｇ１，Ｇ２の全領域が含まれるように第１および第２の画像Ｇ１，Ｇ２をパノラマ合成したパノラマ画像を通知画像としたものである。
【０１０８】
なお、以上の通知画像の第１例から第７例については、いずれの通知画像とするかを撮影者が複眼カメラ１において設定できるようにしてもよい。
【０１０９】
また、上記実施形態においては、立体視用画像ＧＲを記録メディア２９に記録しているが、第１および第２の画像Ｇ１，Ｇ２に障害物が含まれる場合には、障害物が含まれない画像のみを記録メディア２９に記録するようにしてもよい。この場合、立体視用画像ＧＲおよび障害物が含まれない画像のいずれを記録メディア２９に記録するかについては、撮影者が複眼カメラ１において設定できるようにすることが好ましい。
【０１１０】
（以上、追加）
以上、本発明の実施形態に係る複眼カメラ１について説明したが、コンピュータを、３次元処理部３０、判定部３１、修正部３２および警告情報生成部３３に対応する手段として機能させ、図２４，２５に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【符号の説明】
【０１１１】
１    複眼カメラ
７    モニタ
２１Ａ，２１Ｂ    撮影部
３０    ３次元処理部
３１    判定部
３２    修正部
３３    警告情報生成部
【図１】
2010288253.tif 000004
【図２】
2010288253.tif 000005
【図３】
2010288253.tif 000006
【図４】
2010288253.tif 000007
【図５】
2010288253.tif 000008
【図６】
2010288253.tif 000009
【図７】
2010288253.tif 000010
【図８】
2010288253.tif 000011
【図９】
2010288253.tif 000012
【図１０】
2010288253.tif 000013
【図１１】
2010288253.tif 000014
【図１２】
2010288253.tif 000015
【図１３】
2010288253.tif 000016
【図１４】
2010288253.tif 000017
【図１５】
2010288253.tif 000018
【図１６】
2010288253.tif 000019
【図１７】
2010288253.tif 000020
【図１８】
2010288253.tif 000021
【図１９】
2010288253.tif 000022
【図２０】
2010288253.tif 000023
【図２１】
2010288253.tif 000024
【図２２】
2010288253.tif 000025
【図２３】
2010288253.tif 000026
【図２４】
2010288253.tif 000027
【図２５】
2010288253.tif 000028
【図２６】
2010288253.tif 000029
【図２７】
2010288253.tif 000030
【図２８】
2010288253.tif 000031
【図２９】
2010288253.tif 000032
【図３０】
2010288253.tif 000033
【図３１】
2010288253.tif 000034
【図３２】
2010288253.tif 000035
【図３３】
2010288253.tif 000036
【図３４】
2010288253.tif 000037
【図３５】
2010288253.tif 000038
【図３６】
2010288253.tif 000039