(57)【要約】【課題】様々な状況において被写体までの距離を推定できる状況把握装置を提供する。【解決手段】撮像装置１が備える状況把握装置は、画像取得部１０２と、構造物特定部１１２と、距離取得部１２２と、主被写体判定部１１４と、主被写体距離決定部１２４とを備える。画像取得部１０２は、対象シーンの画像を取得する。構造物特定部１１２は、対象シーンの遠近方向又はその直交方向に直線画像情報を有する構造物を検出する。距離取得部１２２は、構造物を構成する構造物直線の距離を取得する。主被写体判定部１１４は、画像に含まれる前記構造物とは異なる主対象物を判定する。主被写体距離決定部１２４は、構造物の像と主対象物の像を利用して、主対象物までの距離を決定する。【選択図】図１
2016142658.tif 000002
【特許請求の範囲】
【請求項１】
対象シーンの画像を取得する画像取得部と、
前記対象シーンの遠近方向又はその直交方向に直線画像情報を有する構造物を検出する構造物特定部と、
前記構造物を構成する構造物直線の距離を取得する距離取得部と、
前記画像に含まれる前記構造物とは異なる主対象物を判定する主対象物判定部と、
前記構造物の像と前記主対象物の像を利用して、前記主対象物までの距離を決定する距離分布判定部と
を備える状況把握装置。
【請求項２】
前記距離分布判定部は、前記構造物の像と前記主対象物の像の特徴比較によって、前記構造物直線の距離を基準にした、前記主対象物の遠近関係を判定する、請求項１に記載の状況把握装置。
【請求項３】
前記距離分布判定部は、前記構造物の像のコントラストと前記主対象物の像のコントラストとによって、前記構造物直線の距離を基準にした、前記主対象物の遠近関係を判定する、請求項１に記載の状況把握装置。
【請求項４】
さらに、前記主対象物の前後にある第２の構造物を判定する構造物検出部を備える、請求項１に記載の状況把握装置。
【請求項５】
対象シーンの画像を取得することと、
前記対象シーンの遠近方向又はその直交方向に直線画像情報を有する構造物を検出することと、
前記構造物を構成する構造物直線の距離を取得することと、
前記画像に含まれる前記構造物とは異なる主対象物を判定することと、
前記構造物の像と前記主対象物の像を利用して、前記主対象物までの距離を決定することと
を含む状況把握方法。
【請求項６】
対象シーンの画像を取得することと、
前記対象シーンの遠近方向又はその直交方向に直線画像情報を有する構造物を検出することと、
前記構造物を構成する構造物直線の距離を取得することと、
前記画像に含まれる前記構造物とは異なる主対象物を判定することと、
前記構造物の像と前記主対象物の像を利用して、前記主対象物までの距離を決定することと
をコンピュータに実行させる状況把握のためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、状況把握装置、状況把握方法、及び状況把握のためのプログラムに関する。
【背景技術】
【０００２】
一般に、撮像装置において注目する被写体に対して自動的に合焦させるオートフォーカス機能が知られている。例えば特許文献１には、被写体の動きに追随して合焦させることに係る技術が開示されている。特許文献１には、領域検出手段と、位置変化検出手段と、判定手段とを備える撮像装置が開示されている。領域検出手段は、画像の特徴毎に特徴量を算出し、特徴量により定まる少なくとも２つの領域を検出する。位置変化検出手段は、フレーム間における当該少なくとも２つの領域の位置の変化を検出する。判定手段は、位置変化検出手段による検出結果に基づいて、被写体までの距離が変化したか否かを判定する。特許文献１の技術によれば、合焦の方向が前ピンか後ピンかを予測することができる旨が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１６０８７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
オートフォーカス動作において、例えば、逆光の場合や被写体のコントラストが低い場合など、合焦状態を得ることが難しい状況がある。このような場合においても素早いオートフォーカスが求められる。素早いオートフォーカスを実現するためには、被写体までの距離を取得する必要がある。
【０００５】
本発明は、様々な状況において被写体までの距離を推定できる状況把握装置、状況把握方法、及び状況把握のためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、状況把握装置は、対象シーンの画像を取得する画像取得部と、前記対象シーンの遠近方向又はその直交方向に直線画像情報を有する構造物を検出する構造物特定部と、前記構造物を構成する構造物直線の距離を取得する距離取得部と、前記画像に含まれる前記構造物とは異なる主対象物を判定する主対象物判定部と、前記構造物の像と前記主対象物の像を利用して、前記主対象物までの距離を決定する距離分布判定部とを備える。
【０００７】
本発明の一態様によれば、状況把握方法は、対象シーンの画像を取得することと、前記対象シーンの遠近方向又はその直交方向に直線画像情報を有する構造物を検出することと、前記構造物を構成する構造物直線の距離を取得することと、前記画像に含まれる前記構造物とは異なる主対象物を判定することと、前記構造物の像と前記主対象物の像を利用して、前記主対象物までの距離を決定することとを含む。
【０００８】
本発明の一態様によれば、状況把握のためのプログラムは、対象シーンの画像を取得することと、前記対象シーンの遠近方向又はその直交方向に直線画像情報を有する構造物を検出することと、前記構造物を構成する構造物直線の距離を取得することと、前記画像に含まれる前記構造物とは異なる主対象物を判定することと、前記構造物の像と前記主対象物の像を利用して、前記主対象物までの距離を決定することとをコンピュータに実行させる。
【発明の効果】
【０００９】
本発明によれば、様々な状況において被写体までの距離を推定できる状況把握装置、状況把握方法、及び状況把握のためのプログラムを提供できる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る撮像装置の構成例の概略を示すブロック図。
【図２】第１の実施形態に係るカメラ制御処理の一例を示すフローチャート。
【図３】第１の実施形態に係る撮影状況の一例を説明するための図。
【図４】第１の実施形態に係る撮影状況の一例を説明するための図。
【図５】第１の実施形態に係る主被写体距離推定処理の一例を示すフローチャート。
【図６】第１の実施形態に係る枠形状特定処理の一例を示すフローチャート。
【図７】第２の実施形態に係る撮影状況の一例を説明するための図。
【図８】第２の実施形態に係る撮影状況の一例を説明するための図。
【図９】第２の実施形態に係る主被写体距離推定処理の一例を示すフローチャート。
【図１０】第２の実施形態に係る枠形状特定処理の一例を示すフローチャート。
【図１１】第３の実施形態に係る撮影状況の一例を説明するための図。
【図１２】第３の実施形態に係る主被写体距離推定処理の一例を示すフローチャート。
【図１３】第３の実施形態に係る放射状構造物特定処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
本発明の第１の実施形態について図面を参照して説明する。本実施形態に係る撮像装置１の構成例の概略を図１に示す。図１に示すように、撮像装置１は、制御部１００と、レンズユニット２１２と、撮像部２１４と、記録部２２２と、画像記録部２２４と、操作部２２６と、表示部２２８と、姿勢判定部２３０とを備える。
【００１２】
制御部１００は、撮像装置１の各部の動作の制御及び画像処理を含む各種演算を行う。制御部１００は、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）、又はＡｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ（ＡＳＩＣ）等を含む。制御部１００は、１つのＣＰＵ等で構成されてもよいし、複数のＣＰＵ又はＡＳＩＣ等が組み合わされて構成されてもよい。制御部１００の動作は、例えば記録部２２２や制御部１００内の記録領域に記録されたプログラムに従って行われる。制御部１００については、後に詳述する。
【００１３】
レンズユニット２１２は、複数のレンズを含み、撮像部２１４に含まれる撮像素子の撮像面に被写体の像を形成する。レンズユニット２１２は、フォーカスの調整のためのフォーカスレンズを含む。レンズユニット２１２は、フォーカスレンズの位置によって、無限遠から至近まで様々な位置について合焦することができる。
【００１４】
撮像部２１４は、撮像素子やＡ／Ｄ変換器等を含む。撮像部２１４は、レンズユニット２１２によって結像された被写体像に基づいて、画像データを生成する。生成された画像データは、制御部１００へと出力される。
【００１５】
記録部２２２は、制御部１００の動作に用いられるプログラムや各種パラメータ等を記録している。画像記録部２２４は、撮像部２１４で生成され、制御部１００で画像処理を施されることで作成された画像データを記録する。画像記録部２２４は、例えば、撮像装置１と着脱自在な不揮発性の記録媒体を含む。
【００１６】
操作部２２６は、ボタン、スライダ、ダイヤル、タッチパネル等、入力を行うための各種部材を含む。操作部２２６は、例えば、撮影動作を入力するためのレリーズスイッチや、撮影モードや再生モードを選択するためのモード選択ダイヤル等を含む。
【００１７】
表示部２２８は、例えば液晶ディスプレイを含む。表示部２２８は、制御部１００の制御下で、撮像により得られた画像や各種情報を表示する。表示部２２８に含まれる表示素子には、液晶ディスプレイに限らず、有機ＥＬディスプレイ等、他の表示素子が用いられてもよい。
【００１８】
姿勢判定部２３０は、撮像装置１の姿勢を検出する。姿勢判定部２３０は、例えば加速度センサや磁気センサを含む。検出された加速度に基づいて撮像装置１の傾きが求まり、検出された磁気に基づいて撮像装置１が向いている方位が求まる。姿勢判定部２３０は、加速度及び磁気に係る情報を制御部１００へと出力する。これらの情報に基づいて、撮像装置１の姿勢が特定され、この姿勢に基づいて、水平方向や鉛直方向が特定される。こうして得られた水平方向や鉛直方向は、後述する構造物の水平又は鉛直の線を特定する際に利用される。もちろん、このような構造物の水平又は鉛直の線を特定する機能（重力方向やそれに直交する方向の検出を行う機能）は、空や水平線や文字の並びや人の立っている形や目鼻立ちを画像から判定しても代用できる。つまり、姿勢判定部は、撮像結果などからも判定できる構成にされてもよい。
【００１９】
制御部１００は、画像取得部１０２と、画像判定部１１０と、距離取得部１２２と、主被写体距離決定部１２４と、フォーカス調整部１３２と、レンズ制御部１３４と、操作判定部１４２と、画像処理部１４４と、表示制御部１４６とを含む。
【００２０】
画像取得部１０２は、撮像部２１４の動作を制御し、また、撮像により得られた撮影画像に係るデータを撮像部２１４から取得する。
【００２１】
画像判定部１１０は、画像取得部１０２から撮影画像のデータを取得し、当該画像に含まれる被写体についての解析を行う。画像判定部１１０は、構造物特定部１１２と主被写体判定部１１４とを含む。構造物特定部１１２は、撮影画像に含まれる構造物を特定する。構造物特定部１１２は、人工的に組み立てられた建築物、乗り物やその一部や外部、内部（壁や天井や窓、組み込まれた棚や照明）、さらには、その調度、用具、室内に収まる机や収納道具など、また、道路や電柱、信号、標識などの立体構造物を判定するものである。これら立体構造物の第一義的な特徴は、重力に逆らって地上に形状を留めるために、地面に略垂直方向に立てられた支えや柱を有することと考えられる。さらにその複数の柱に均一な力がかかりやすく、また、その上部のものが転げ落ちないように、柱と垂直方向、地面と水平方向に梁が渡され、それらに沿って壁面が設けられる場合が多い。これらの部材の輪郭部などの直線画像情報（構造物直線）は、以下のような理由で直交する事が多い。つまり柱と壁だけの単なる壁面であると倒壊するし、居住や、その他物品の配置スペースや作業スペースがないので、対向する関係で同様の柱と梁を設けて直方体にする場合が多い。建物を例にすれば、これらの柱と梁に合わせた方向に延長した四辺形で壁や天井や窓、照明や調度が設けられ、調度類であれば、棚や扉、引き出し、画面なども同様に地面に水平、垂直の関係で規定される直線部を多く有する。前述の直方体内に収める調度、道具類は、鉛直方向に見た時に四辺形になっているものも多い。したがって、多くの部屋や廊下は、四辺形またはその組合せで出来ている。屋外でも道路やそこに点在する電柱や標識なども略同じ幅で敷設されている場合が多い。これらも、上述の重力方向と、構造物を構成する直線の関係を判定して「構造物」として検出され得る。このような構造物は、同じ幅とか遠近に伸びるとか、遠近に直交する方向の広がりを有する等、明確な特定の規則を持った直線を有するがゆえに様々な情報を包含しており、中でも遠近方向の情報を取るのに利用しやすい。構造物特定部１１２は、例えば撮影画像に含まれる窓枠を特定する。構造物特定部１１２が特定する構造物は、先に述べたように、窓枠に限らず、柱、梁、机など、屋内に存在する構造物や、建築物など、屋外に存在する構造物など、種々の構造物であってよいが、ここでは最も単純な例（シーンの説明でも、その検出方法でも）として窓を取り上げる。窓は、同じ幅とか遠近に伸びるとか特徴を有すると共に、遠近に直交する方向の広がりと、その情報を有する等、明確な特定の規則を持った直線からなる構造物の好例である。主被写体判定部１１４は、撮影画像に含まれる主被写体を特定し、主被写体に係る状態を判定する。ここで、主被写体とは、撮影者が撮影において合焦させたいと考える主な被写体である。
【００２２】
距離取得部１２２は、構造物特定部１１２で特定された構造物までの距離を取得する。距離取得部１２２は、例えば構造物に合焦させることで、撮像装置１から当該構造物までの距離を取得する。
【００２３】
主被写体距離決定部１２４は、主被写体判定部１１４によって特定された主被写体の状態と、距離取得部１２２によって取得された構造物までの距離とに基づいて、撮像装置１から主被写体まで距離の目安を決定する。
【００２４】
フォーカス調整部１３２は、例えば画像のコントラストの評価値に基づいて、被写体に合焦させるためのフォーカスレンズの位置を求める。フォーカス調整部１３２は、主被写体に対する合焦を行ったり、距離取得部１２２と連携して構造物に対する合焦を行ったりする。また、フォーカス調整部１３２は、主被写体に対して合焦するために、主被写体距離決定部１２４によって決定された主被写体までの距離を目安として用いる。フォーカス調整部１３２は、合焦させるためのフォーカスレンズの位置をレンズ制御部１３４へと出力する。なお、フォーカス調整部１３２によって行われるオートフォーカスには、コントラスト検出方式のものに限らず、位相差検出方式等、種々の方式が用いられ得る。
【００２５】
レンズ制御部１３４は、フォーカス調整部１３２からフォーカスレンズの位置に係る情報を取得し、その情報に基づいて、レンズユニット２１２のフォーカスレンズの動作を制御する。このように、フォーカス調整部１３２及びレンズ制御部１３４は、オートフォーカス動作を制御するオートフォーカス制御部として機能する。
【００２６】
操作判定部１４２は、操作部２２６への操作を検出し、得られた操作情報を制御部１００の各部へ伝達する。なお、図１において、操作部２２６から各部へとつながる線の図示は省略されている。
【００２７】
画像処理部１４４は、画像取得部１０２から撮影画像を取得して、この撮影画像に対して各種画像処理を施す。画像処理部１４４は、画像処理後の画像データに基づいて、画像を表示部２２８に表示させるため、表示制御部１４６に画像データを出力する。また、画像処理部１４４は、画像処理後の画像データを例えば画像記録部２２４に記録させる。
【００２８】
表示制御部１４６は、画像処理部１４４から画像データを取得して、そのデータに基づいて画像を表示部２２８に表示させる。
【００２９】
次に本実施形態に係る撮像装置１の動作について説明する。図２のフローチャートを参照して、撮像装置１のカメラ制御に係る処理の概略を説明する。
【００３０】
ステップＳ１０１において、制御部１００は、撮影を行うための撮影モードであるか否かを判定する。モードの入力は、例えば操作部２２６のモード選択ダイヤルを用いて行われる。撮影モードであるとき、処理はステップＳ１０２に進む。
【００３１】
ステップＳ１０２において、制御部１００は、撮像部２１４から画像データを取得し、当該画像データに対して画像処理を施す。制御部１００は、画像処理を施した画像を、表示部２２８に表示させることで、ライブビュー画像の表示を実行する。以下、撮像部２１４によって得られた画像を撮影画像と称することにする。
【００３２】
ステップＳ１０３において、制御部１００は、ライブビュー表示されている画像に含まれる主被写体を推定する。主被写体は、例えば撮影画像の中央部の被写体であるものとされる。また、主被写体は、例えば顔検出等のパターンマッチングで特定される被写体であってもよいし、被写体追尾技術を用いて追尾されている被写体であってもよい。以下の説明では一例として、主被写体は撮影画像の中央部にあると仮定した場合を例に挙げて説明する。
【００３３】
ステップＳ１０４において、制御部１００は、主被写体に合焦可能であるか否かを判定する。合焦可能であるとき、処理はステップＳ１０５に進む。ステップＳ１０５において、制御部１００は、フォーカス合わせのための処理を行う。すなわち、制御部１００は、主被写体に対して合焦するようにフォーカスレンズを動作させる。フォーカス合わせには、例えばコントラスト検出方式が用いられ得る。その後、処理はステップＳ１０６に進む。
【００３４】
ステップＳ１０６において、制御部１００は、例えば操作部２２６のレリーズスイッチが押圧されるといった撮影操作がされたか否かを判定する。撮影操作がされていないとき、処理はステップＳ１０１に戻る。一方、撮影操作がされたとき、処理はステップＳ１０７に進む。
【００３５】
ステップＳ１０７において、制御部１００は、撮影動作を行う。すなわち、制御部１００は、撮像部２１４に撮影動作を行わせて、撮像部２１４から画像データを取得する。撮像部２１４は、取得した画像データに対して画像処理を施し、処理後の画像データを画像記録部２２４に記録する。その後、処理はステップＳ１０１に戻る。
【００３６】
ステップＳ１０４において、主被写体に合焦可能でないと判定されたとき、処理はステップＳ１０８に進む。例えば、撮影状況が逆光であったり、主被写体のコントラストが低かったりする場合、なかなか合焦が成功せず、合焦可能でないと判定される。
【００３７】
ステップＳ１０８において、制御部１００は、主被写体距離推定処理を行う。主被写体距離推定処理は、構造物の特徴を利用して主被写体のおおよその距離を推定する処理である。
【００３８】
例えば図３に示す状況や図４に示す状況を考える。図３及び図４の外枠は、撮像部２１４によって画像が取得される撮影領域３１０を示す。この撮影領域３１０内の画像には、窓枠３１４が含まれている。図３に示す場面は、窓の向こう側に存在する飛行機３１６を主被写体とし、飛行機３１６に合焦したい場面である。図４に示す場面は、窓の手前側に存在する花３１８を主被写体とし、花３１８に合焦したい場面である。図３に示す場面において、飛行機３１６は、窓枠３１４よりも遠くに位置する。図４に示す場面において、花３１８は、窓枠３１４よりも近くに位置する。主被写体距離推定処理では、例えば窓枠のような構造物を特定し、その構造物よりも遠いか近いかといった情報を取得する。
主被写体距離推定処理については、後にさらに詳述する。
【００３９】
主被写体距離推定処理によって主被写体のおおよその距離の推定値が取得されたら、処理はステップＳ１０９に進む。ステップＳ１０９において、制御部１００は、推定された主被写体の距離と現在のフォーカスレンズのレンズ位置で合焦する距離とを比較する。ステップＳ１１０において、制御部１００は、ステップＳ１０９の比較結果に基づいて、フォーカスレンズの移動方向を決定する。ステップＳ１１１において、制御部１００は、フォーカス合わせ処理を行う。この際、ステップＳ１１０で決定されたフォーカスレンズの移動方向に係る情報が利用される。フォーカス合わせは、例えばコントラスト検出方式が用いられているとき、フォーカスレンズの移動に伴うコントラストの評価値の変化を解析し、コントラストの評価値が最大となるフォーカスレンズの位置を探索することで行われる。ここで、ステップＳ１１０で決定された移動方向が利用されることで、合焦しているか否かの探索範囲が狭まり、より早い合焦が実現され得る。
【００４０】
ステップＳ１１２において、制御部１００は、フォーカス合わせが完了したか否か、すなわち、合焦できたか否かを判定する。合焦できたとき、処理はステップＳ１０６に進む。一方、合焦できなかったとき、処理はステップＳ１１３に進む。
【００４１】
ステップＳ１１３において、制御部１００は、フォーカス位置を、ステップＳ１０８で推定した主被写体のおおよその距離に設定する。その後、処理はステップＳ１０６に進む。
【００４２】
ステップＳ１０１において、撮影モードでないと判定されたとき、処理はステップＳ１１４に進む。撮影モード以外の動作の詳細な説明は省略し、簡単に説明する。ステップＳ１１４において、制御部１００は、再生モードであるか否かを判定する。再生モードであるとき、処理はステップＳ１１５に進む。ステップＳ１１５において、制御部１００は、画像を再生する。すなわち、制御部１００は、画像記録部２２４から画像データを読み出し、その画像を表示部２２８に表示させる。ステップＳ１１６において、制御部１００は、再生画像を変更させる指示が入力されたか否か、すなわち、表示画像を変更させるか否かを判定する。再生画像を変更させないとき、処理はステップＳ１０１に戻る。一方、再生画像を変更させるとき、処理はステップＳ１１７に進む。ステップＳ１１７において、制御部１００は、再生画像を変更する。すなわち、制御部１００は、画像記録部２２４から別の画像データを読み込み、その画像を表示部２２８に表示させる。その後、処理はステップＳ１０１に戻る。
【００４３】
ステップＳ１１４において、再生モードでないと判定されたとき、処理はステップＳ１１８に進む。ステップＳ１１８において、制御部１００は、他の装置と通信を行い画像の送信又は受信を行う。その後、処理はステップＳ１０１に戻る。
【００４４】
次に、ステップＳ１０８で行われる主被写体距離推定処理について、図５に示すフローチャートを参照して説明する。
【００４５】
ステップＳ２０１において、制御部１００は、枠形状特定処理を行う。枠形状特定処理は、ライブビュー画像に含まれる枠形状をした構造物を特定する処理である。枠形状特定処理について、図６に示すフローチャートを参照して説明する。
【００４６】
ステップＳ３０１において、制御部１００は、画像の上下方向の中央部において、すなわちＹ軸方向の中点において、横方向、すなわちＸ軸方向にコントラスト値を調べ、コントラストが変化する点であるコントラスト変化点を特定する。ここで、コントラスト変化点は、中心から左右に順に調べられ、左側で明暗の変化が検出された点の座標をＸ０１とし、右側で明暗の変化が検出された点の座標をＸ０２とする。なお、コントラスト変化点の探索が中心から行われるのは、主被写体が中央部にあることを想定しているからであり、主被写体を囲む枠形状の構造物を検出したいからである。
【００４７】
ステップＳ３０２において、制御部１００は、Ｘ０１が所定の値Ｘ１よりも小さく、かつ、Ｘ０２が所定の値Ｘ２よりも大きいか否かを判定する。すなわち、左側に検出されたコントラスト変化点が所定の位置よりも左側であり、かつ、右側に検出されたコントラスト変化点が所定の位置よりも右側であるか否かが判定される。Ｘ０１が所定の値Ｘ１よりも小さく、かつ、Ｘ０２が所定の値Ｘ２よりも大きいとき、処理はステップＳ３０３に進む。
【００４８】
ステップＳ３０３において、制御部１００は、画像の上下方向の上から１／４の箇所において、横方向、すなわちＸ軸方向にコントラスト値を調べ、コントラストが変化する点であるコントラスト変化点を特定する。ここで、コントラスト変化点は、中心から左右に順に調べられ、左側で明暗の変化が検出された点の座標をＸ１１とし、右側で明暗の変化が検出された点の座標をＸ１２とする。
【００４９】
ステップＳ３０４において、制御部１００は、Ｘ１１が所定の値Ｘ１よりも小さく、かつ、Ｘ１２が所定の値Ｘ２よりも大きいか否かを判定する。Ｘ１１が所定の値Ｘ１よりも小さく、かつ、Ｘ１２が所定の値Ｘ２よりも大きいとき、処理はステップＳ３０５に進む。
【００５０】
ステップＳ３０５において、制御部１００は、Ｘ０１とＸ１１との差異が所定の値より小さく、かつ、Ｘ０２とＸ１２との差異が所定の値より小さいか否かを判定する。Ｘ０１とＸ１１との差異、及びＸ０２とＸ１２との差異が所定の値より小さいとき、処理はステップＳ３０６に進む。すなわち、画像の上下方向の中央部及び上から１／４の位置において横方向にコントラスト値を調べてコントラスト変化点が左右に発見され、左側に発見されたコントラスト変化点を結んだ線が左辺とほぼ平行であり、かつ、右側に発見されたコントラスト変化点を結んだ線が右辺とほぼ平行であるとき、処理はステップＳ３０６に進む。
【００５１】
ステップＳ３０６において、制御部１００は、画像に枠形状が含まれると結論する。その後、枠形状特定処理は終了し、処理は主被写体距離推定処理に戻る。
【００５２】
ステップＳ３０２において、Ｘ０１が所定の値Ｘ１よりも小さくない、又は、Ｘ０２が所定の値Ｘ２よりも大きくないと判定されたとき、処理はステップＳ３０７に進む。ステップＳ３０７において、制御部１００は、画像に枠形状が含まれないと結論する。その後、枠形状特定処理は終了し、処理は主被写体距離推定処理に戻る。
【００５３】
ステップＳ３０４において、Ｘ１１が所定の値Ｘ１よりも小さくない、又は、Ｘ１２が所定の値Ｘ２よりも大きくないと判定されたとき、処理はステップＳ３０８に進む。また、ステップＳ３０５において、Ｘ０１とＸ１１との差異が所定の値より小さく、かつ、Ｘ０２とＸ１２との差異が所定の値より小さいことはないと判定されたとき、処理はステップＳ３０８に進む。
【００５４】
ステップＳ３０８において、制御部１００は、画像の上下方向の下から１／４の箇所において、横方向、すなわちＸ軸方向にコントラスト値を調べ、コントラストが変化する点であるコントラスト変化点を特定する。ここで、コントラスト変化点は、中心から左右に順に調べられ、左側で明暗の変化が検出された点の座標をＸ２１とし、右側で明暗の変化が検出された点の座標をＸ２２とする。
【００５５】
ステップＳ３０９において、制御部１００は、Ｘ２１が所定の値Ｘ１よりも小さく、かつ、Ｘ２２が所定の値Ｘ２よりも大きいか否かを判定する。Ｘ２１が所定の値Ｘ１よりも小さく、かつ、Ｘ２２が所定の値Ｘ２よりも大きいとき、処理はステップＳ３１０に進む。
【００５６】
ステップＳ３１０において、制御部１００は、Ｘ０１とＸ２１との差異が所定の値より小さく、かつ、Ｘ０２とＸ２２との差異が所定の値より小さいか否かを判定する。Ｘ０１とＸ２１との差異、及びＸ０２とＸ２２との差異が所定の値より小さいとき、処理はステップＳ３０６に進む。すなわち、画像の上下方向の中央部及び下から１／４の位置において横方向にコントラスト値を調べてコントラスト変化点が左右に発見され、左側に発見されたコントラスト変化点を結んだ線が左辺とほぼ平行であり、かつ、右側に発見されたコントラスト変化点を結んだ線が右辺とほぼ平行であるとき、処理はステップＳ３０６に進む。すなわち、画像に枠形状が含まれると結論される。
【００５７】
ステップＳ３０９において、Ｘ２１が所定の値Ｘ１よりも小さくない、又は、Ｘ２２が所定の値Ｘ２よりも大きくないと判定されたとき、処理はステップＳ３０７に進む。また、ステップＳ３０５において、Ｘ０１とＸ２１との差異が所定の値より小さく、かつ、Ｘ０２とＸ２２との差異が所定の値より小さいことはないと判定されたとき、処理はステップＳ３０７に進む。すなわち、これらの場合、画像に枠形状が含まれないと結論される。
【００５８】
なお、ここでは縦方向に伸びる構造物を検出する場合の例を示したが、例えば窓枠の上下の辺のように横方向に伸びる構造物も同様にして検出することができる。
【００５９】
図５に戻って、主被写体距離推定処理について説明を続ける。ステップＳ２０１の枠形状特定処理の後、処理はステップＳ２０２に進む。ステップＳ２０２において、制御部１００は、画像の周辺部に枠が存在するか否かを判定する。枠が存在しないと判定されたとき、処理はステップＳ２０３に進む。ステップＳ２０３において、制御部１００は、主被写体の距離は不明であると結論する。その後、主被写体距離推定処理は終了し、処理はカメラ制御処理に戻る。
【００６０】
ステップＳ２０２において、枠が存在すると判定されたとき、処理はステップＳ２０４に進む。ステップＳ２０４において、制御部１００は、撮像装置１から検出された枠までの距離を推定する。枠までの距離は、例えば当該枠に対して合焦することで求められる。
【００６１】
ステップＳ２０５において、制御部１００は、枠の内接部が明るいか否かを判定する。すなわち、ここでは検出された枠が図３又は図４のように窓枠等であり、建物等の内側から外側を見ている状態か否かの判断が行われる。枠が窓枠等であり内側から外側を見ているとき、晴れた日など外が明るい場合には、一般に枠の内側は枠よりも明るくなる。内接部が明るくないと判定されたとき、処理はステップＳ２０３に進み、主被写体の距離は不明であると結論される。一方、内接部が明るいと判定されたとき、処理はステップＳ２０６に進む。
【００６２】
ステップＳ２０６において、制御部１００は、撮影画像の中央部が明るいか否かを判定する。中央部が明るいときは、図３に示すように、中央部にある主被写体が窓等の外側にある場合であると推測される。中央部が明るいとき、処理はステップＳ２０７に進む。ステップＳ２０７において、制御部１００は、主被写体は、枠よりも遠いと特定する。その後、主被写体距離推定処理は終了し、処理はカメラ制御処理に戻る。
【００６３】
ステップＳ２０６において、撮影画像の中央部が明るくないと判定されたとき、すなわち、中央部が暗いと判定されたとき、処理はステップＳ２０８に進む。中央部が暗いときは、図４に示すように、中央部にある主被写体が窓等の内側にある場合である。ステップＳ２０８において、制御部１００は、主被写体は、枠よりも近いと特定する。その後、主被写体距離推定処理は終了し、処理はカメラ制御処理に戻る。
【００６４】
ここでは、屋外の太陽光と室内の人工照明との違いに注目して、すなわち中央部の明るさに注目して主被写体が窓よりも遠いか近いかを判定しているが、これに限らない。例えば、主被写体の大きさに注目して、主被写体が小さいとき、窓よりも遠く、主被写体が大きいとき、窓よりも近いと判断してもよい。太陽光下の被写体は人工照明下の被写体よりはるかに明るいので、相対比較でなく、明るさの絶対値で、窓の外か屋内かを判定してもよい。
【００６５】
一般に、例えば窓越しに内側から外側にある被写体を撮影したり、窓を背景として窓の内側にある被写体を逆光条件下で撮影したりする場合、被写体のコントラストを検出することが困難であるために、オートフォーカスが困難である。本実施形態によれば、主被写体に合焦できなくなった場合に、例えば窓枠といった枠状の構造物を検出し、上述のようなオートフォーカスが困難な撮影状況であるか否かが判定される。オートフォーカスが困難な撮影状況である場合には、合焦させたい被写体が存在する枠の中央部の明るさに基づいて、被写体が窓の外側にあるのか内側にあるのかを判定する。窓枠等の構造物に対しては、比較的合焦が容易であるので、当該窓枠等までの距離は、比較的容易に求まる。この窓枠等を基準として、被写体が遠いか近いかが判別されれば、上述のような状況におけるオートフォーカスにおいて、主被写体に対する合焦状態を探索する範囲が狭められるので、オートフォーカスに係る困難性は低減する。
【００６６】
このように、被写体像に基づいた画像を取得する画像取得部があり、上記撮影被写体の遠近方向、又はその直交方向に直線画像情報を有する構造物（窓）を検出する構造物特定部によって、構造物直線の距離を取得して、前記画像に含まれる上記構造物とは異なる主被写体を判定できれば、上記構造物像と上記主被写体像とを利用して、前記主被写体までの距離を決定する主被写体距離決定部を備える撮像装置として、距離測定やピント合わせが迅速なものを提供できる。
【００６７】
例えば、電車などの乗り物の窓から写真を撮りたいことがある。車窓から写真を撮る場合、電車などが移動しているため、速写性が求められる。すなわち、困難な状況であるにも関わらず、素早く被写体に対して合焦状態を得る必要がある。このようなシーンにおいても、本実施形態に係る技術は効果を奏する。
【００６８】
この場合は、窓のすぐ外のものは動いており、窓の内側は相対的に止まって見えるので、このような補助情報（画像特徴情報）を遠近判定に利用してもよい。また、構造物と対象物の遠近は、撮像部（または、レンズや撮像素子などその一部）を振ってみて、その像の変化によって判定することもできる。つまり、左右や前後に振って変化が大きい方が近く、変化が小さいものは近い。
【００６９】
なお、一般に撮影者は、被写体の水平又は垂直な線を、水平又は垂直に写るように撮影しようとする。このため、本実施形態では、窓枠の検出を垂直な線に基づいて行うように構成されている。また、窓枠に限らず構造物は、直線によって構成されることが多いので、直線を探索することで構造物は発見されやすい。また、一般に撮影画像において構造物のコントラストは高いので、構造物までの距離は得られやすい。このため、構造物を基準として被写体までの距離の推定が行われている。構造物に限らず、他の被写体が基準として用いられてもよい。
【００７０】
このように、対象シーン（または被写体像）に基づいた画像を取得する画像取得部があれば、上記撮影被写体の遠近方向、又はその直交方向に直線画像情報を有する構造物（窓）を検出する構造物特定部によって、シーンの遠近関係を即座に把握することが可能となる。複数の直線の組合せで、構造物やそれを手がかりにしたシーンの遠近分布を判定する、と言い換えてもよい。
【００７１】
これは、撮影者は多くの場合、垂直に立ったり座ったりして重力を基準に活動しており、その重力と直交する方向を見て暮らしており、その方向の撮影を行うシーンが多いために、可能となった撮影用（又は観察用）状況把握方法と言える。このような考え方であれば、ユーザが立って使っているか、あるいは地面に沿った遠近方向を見ているかなどを判定する判定部を有してもよい。
【００７２】
構造物直線の距離を取得して、前記画像に含まれる上記構造物とは異なる主被写体を判定できれば、上記構造物像と上記主被写体像を利用して、前記主被写体までの距離を決定する主被写体距離決定部を備える撮像装置として、距離測定やピント合わせが迅速なものを提供できる。さらに、対象シーンの画像を取得する画像取得部と、上記シーンの遠近方向、又はその直交方向に直線画像情報を有する構造物を検出する構造物特定部と、前記構造物を構成する構造物直線の距離を取得する距離取得部と、前記画像に含まれる上記構造物とは異なる主対象物を判定する主対象物判定部と、上記構造物像と、上記主対象物像を利用して、前記対象物までの距離を決定する距離分布判定部とを備える状況把握装置として応用することもできる。
【００７３】
窓枠利用の場合、枠に重なった部分が見えるか見えないかで遠近判定することができる。つまり、構造物を基準に距離を推定するが、その遠近関係は、距離そのもの以外の像の特徴、つまり、明るさや像の動き方や、重なり方などで判定することができる。
【００７４】
［第２の実施形態］
第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。第１の実施形態は、窓の内外の被写体の撮影において、窓の外が明るい場合、すなわち、一般的には撮影時刻が昼間であって太陽の明かりによって窓の外が照らされている場合について説明した。これに対して、本実施形態では、撮影時刻が夜間であって、窓の外が暗くて夜景が広がっている場合について説明する。
【００７５】
例えば図７及び図８に示すように、撮影領域３２０内に、窓枠３２４が存在する。ここでは、建物の内部から建物の外側が写る向きに撮影する場合を考える。撮影時刻は夜間であり、窓枠３２４の向こう側の建物の外部には夜景が広がっている、図７に示す場合では、主被写体は、夜景を構成する屋外の建物や看板等である。一方、図８に示す場合では、主被写体は、建物内部にいる人物３２８である。
【００７６】
本実施形態に係るカメラ制御処理は、第１の実施形態の場合と同様である。本実施形態では、主被写体距離推定処理と枠形状特定処理とが第１の実施形態の場合と異なる。本実施形態に係る主被写体距離推定処理について図９を参照して説明する。
【００７７】
ステップＳ４０１において、制御部１００は、枠形状特定処理を行う。ステップＳ４０２において、制御部１００は、画像の周辺部に枠が存在するか否かを判定する。枠が存在しないと判定されたとき、処理はステップＳ４０３に進む。ステップＳ４０３において、制御部１００は、主被写体の距離は不明であると結論される。その後、主被写体距離推定処理は終了し、処理はカメラ制御処理に戻る。
【００７８】
ステップＳ４０２において、枠が存在すると判定されたとき、処理はステップＳ４０４に進む。ステップＳ４０４において、制御部１００は、撮像装置１から検出された枠までの距離を推定する。枠までの距離は、例えば枠に対して合焦することで求められる。
【００７９】
ステップＳ４０５において、制御部１００は、枠の内接部が暗いか否かを判定する。すなわち、ここでは検出された枠が図７又は図８のように窓枠等であり、建物等の内側から外側を見ている状態か否かの判断が行われる。枠が窓枠等であり建物の内側から外側を見ているとき、枠の内接部は枠よりも暗くなる。内接部が暗くないと判定されたとき、処理はステップＳ４０３に進み、主被写体の距離は不明であると結論される。一方、内接部が暗いと判定されたとき、処理はステップＳ４０６に進む。
【００８０】
ステップＳ４０６において、制御部１００は、中央部の照明が枠部の照明と異なるか否かを判定する。図７に示すように、主被写体が屋外の建物や看板であるとき、主被写体が含まれる中央部における照明と枠部における照明とは、例えば色温度等、照明の質が異なるものとなる。一方、図８に示すように、主被写体が屋内の人や物であるとき、主被写体が含まれる中央部における照明と枠部における照明とは質が同一のものとなる。中央部の照明と枠部の照明とが異なるとき、処理はステップＳ４０７に進む。ステップＳ４０７において、制御部１００は、主被写体は、枠よりも遠いと特定する。その後、主被写体距離推定処理は終了し、処理はカメラ制御処理に戻る。
【００８１】
ステップＳ４０６において、中央部の照明と枠部の照明とが異ならないとき、処理はステップＳ４０８に進む。ステップＳ４０８において、制御部１００は、主被写体は、枠よりも近いと特定する。その後、主被写体距離推定処理は終了し、処理はカメラ制御処理に戻る。
【００８２】
次に、ステップＳ４０１で行われる枠形状特定処理について説明する。ここで行われる枠形状特定処理は、図６を参照して説明した第１の実施形態の枠形状特定処理と同様でもよい。一方で、画像の構図が図７及び図８のような場合、図６を参照して説明した第１の実施形態の枠形状特定処理では、窓枠３２４を特定することができない。ここでは、図７及び図８に示すような場合でも窓枠３２４を特定することができる処理方法を示す。なお、ここで示す方法は、第１の実施形態と組み合わせて用いられてもよいことはもちろんである。
【００８３】
本実施形態に係る枠形状特定処理について図１０を参照して説明する。ステップＳ５０１において、制御部１００は、画像の中央を基準として左端方向又は右端方向、及び、画像の上端方向又は下端方向にコントラスト変化点を探索する。
【００８４】
ステップＳ５０２において、制御部１００は、明暗変化があるか検出されたか否かを判定する。明暗変化がないとき、処理はステップＳ５０７に進む。一方、明暗変化があるとき、処理はステップＳ５０３に進む。
【００８５】
ステップＳ５０３において、制御部１００は、画像上部又は下部を基準に画面左端方向又は右端方向に、ステップＳ５０１と同様に、コントラスト変化点を探索する。また、制御部１００は、画像左部又は右部を基準に画面上端方向又は下端方向にコントラスト変化点を探索する。
【００８６】
ステップＳ５０４において、制御部１００は、発見されたコントラスト変化点を結んだとき、コントラスト変化点は直線状に並んでいるか否かを判定する。直線状でないとき、処理はステップＳ５０７に進む。一方、直線状であるとき、処理はステップＳ５０５に進む。ステップＳ５０５において、制御部１００は、コントラスト変化点を結ぶことで得られた複数の直線が平行又は直交であるか否かを判定する。平行又は直交でないとき、処理はステップＳ５０７に進む。一方、平行又は直交であるとき、処理はステップＳ５０６に進む。ここで、平行又は直交の判断は、厳密な判断である必要はなく、略平行や略直交であるか否かの判定であってよい。
【００８７】
ステップＳ５０６において、制御部１００は、画像に枠形状が含まれていると結論する。その後、枠形状特定処理は終了し、処理は主被写体距離推定処理に戻る。コントラスト変化点を結ぶことで得られる直線が、平行であったり直交であったりするとき、これらのコントラスト変化点は例えば窓枠や柱や天井や梁等であることが考えられる。窓枠や柱や天井や梁等は、互いに平行に配置されていたり、直交するように配置されていたりするためである。なお、撮影者は一般に水平及び鉛直を意識して撮像を行う。このため、コントラスト変化点を示す直線が、水平や鉛直に配置されているか否かを判定し、水平や鉛直に配置されているとき、画像に枠形状が含まれていると結論するように構成されてもよい。
【００８８】
また、ステップＳ５０７において、制御部１００は、画像に枠形状が含まれないと結論する。その後、枠形状特定処理は終了し、処理は主被写体距離推定処理に戻る。
【００８９】
本実施形態によれば、一般にオートフォーカスが困難であるとされる、撮影時刻が夜間であって、窓越しに夜景を撮影したり、その夜景を背景に室内の被写体を撮影したりするときに、被写体が窓の外側にあるのか内側にあるのかが判定され得る。窓枠等の構造物に対しては、比較的合焦が容易であるので、この窓枠等を基準として、被写体が遠いか近いかが判別されることで、上述のような状況におけるオートフォーカスの困難性が低減され得る。つまり、構造物を基準に距離を推定するが、その遠近関係は、前の実施例と同様、構造物と主被写体の明るさや像の動き方や、重なり方などで判定することができる。室内の照明成分などを利用してもよい。構造物内を照らす照明のスペクトル成分と主被写体を照らすスペクトル成分を比較し、それが同じなら構造物より前、異なるならそれより外、などという判定ができる。こうした比較対象を一括して像特徴と呼ぶ。
【００９０】
［第３の実施形態］
第３の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。第１の実施形態は、窓の内外の被写体の撮影において、窓枠を基準として主被写体までの距離を推定する例を示した。これに対して本実施形態では、屋内において、近くから遠くまで連続的につながる構造物を基準として、主被写体までの距離を推定する例を示す。本実施形態に係る技術は、例えば逆光の場合のように、主被写体のコントラストが低くオートフォーカスで合焦しにくい場合などに用いられ得る。ここで書いている天井のラインなど建物内部の構造物直線は、同じ幅とか遠近に伸びるとか明確な特徴を有すると共に、遠近方向及びそれに直交する方向の情報を有する等、明確な特定の規則を持った直線からなる構造物の好例である。
【００９１】
例えば図１１に示すように、撮影領域３３０内に、近くから遠くまで連続的につながる天井の模様や梁などの構造物３３４が存在する場合を考える。このように近くから遠くまで連続的につながる構造物３３４は、遠近法的に１つの消失点へ収束するように放射状に見える。また、構造物３３４は、近くから遠くまで連続的に存在するので、その距離に応じてコントラストが異なる。この構造物３３４のコントラストと主被写体３３８のコントラストとを比較することで、主被写体の距離が推定される。
【００９２】
本実施形態に係るカメラ制御処理は、第１の実施形態の場合と同様である。本実施形態では、主被写体距離推定処理が第１の実施形態の場合と異なる。本実施形態に係る主被写体距離推定処理について図１２を参照して説明する。
【００９３】
ステップＳ６０１において、制御部１００は、放射状構造物特定処理を行う。放射状構造物特定処理について、図１３に示すフローチャートを参照して説明する。放射状構造物特定は、同じ幅でも近距離のものは左右に離れて見えるものが、遠距離においては、それが遠ざかって狭く見えるので、どんどん狭まって見えるという像の特徴を利用して構造物の特徴を判定するもので、いわば遠近法による判定方法である。室内の天井や壁や見下ろしたビルの屋上や建物の側面や道路など、多くのシーンでこれが活用できる。道の幅がだんだん狭まる場合もあり、建物の外壁の遠近の連なりなども放射状に見える。また、実際に放射状の線がなくとも、だんだん遠ざかっているように、遠近方向に配置された柱や電柱や建物の先端などを結ぶ仮想的な線が放射線状になっているような場合を応用例としてもよい。
【００９４】
ステップＳ７０１において、制御部１００は、画像の上下方向の上から１／１０の位置における横方向のコントラスト変化点を特定し、また、画像の上下方向の上から１／５の位置における横方向のコントラスト変化点を特定する。ステップＳ７０２において、制御部１００は、ステップＳ７０１で特定された上から１／１０の位置におけるコントラスト変化点と、上から１／５の位置におけるコントラスト変化点とを対応付ける。例えば、上から１／１０の位置と１／５の位置とにおいて、画像の左右方向の中心部から順に、類似するコントラスト変化点を対応付けて、複数のコントラスト変化点のセットを作成する。さらに、対応付けられたコントラスト変化点を結ぶ直線を決定する。
【００９５】
ステップＳ７０３において、制御部１００は、ステップＳ７０２で決定されたコントラスト変化点を結ぶ複数の直線が１点に収束するような放射状の配置になっているか否かを判定する。放射状であるとき、処理はステップＳ７０４に進む。ステップＳ７０４において、制御部１００は、画像に放射状構造物が含まれていると結論する。その後、放射状構造物特定処理は終了し、処理は主被写体距離推定処理に戻る。ステップＳ７０３の判定において、放射状でないと判定されたとき、処理はステップＳ７０５に進む。ステップＳ７０５において、制御部１００は、画像に放射状構造物が含まれていないと結論する。その後、放射状構造物特定処理は終了し、処理は主被写体距離推定処理に戻る。
【００９６】
図１２に戻って主被写体距離推定処理について説明する。放射状構造物特定処理の後、処理はステップＳ６０２に進む。ステップＳ６０２において、制御部１００は、放射状構造物が存在するか否かを判定する。すなわち、放射状構造物特定処理によって放射状構造物が特定されたか否かを判定する。放射状構造物が存在しないとき、処理はステップＳ６０３に進む。ステップＳ６０３において、制御部１００は、放射線利用の主被写体の距離は不明であると結論されるので、挽回策として、主被写体背後の構造物（ここでは重なり具合で窓枠が後ろと分かる）を判定し、窓枠の距離から、それより近いと判定すればいよい。このような挽回策の導入によって、さらに、上記主被写体の前後にある第２の構造物を判定する構造物検出部を備える状況把握装置、という発明となる。この考え方は、放射線検出の有無にかかわらず有効なので、遠近法的放射線判定は行わず、最初から構造物との重なり具合だけの適用も可能である。室内には、机やロッカーなど、多くの構造物が存在して遠近把握の助けとなっている。机の向こうとか、箪笥の前とか、重なりで判定し、その後で机や箪笥の距離を考慮する方法である。その後、主被写体距離推定処理は終了し、処理はカメラ制御処理に戻る。
【００９７】
ステップＳ６０２において、放射状構造物が存在すると判定されたとき、処理はステップＳ６０４に進む。ステップＳ６０４において、制御部１００は、撮像装置１から放射状構造物の何れかの位置までの距離を推定する。この位置は、例えば撮影領域内の放射状構造物の中点であったり、現在のフォーカス位置においてコントラストの変化が大きい箇所であったりする。この位置までの距離は、例えば放射状構造物に対して合焦することで求められる。
【００９８】
ステップＳ６０５において、制御部１００は、主被写体がある画像の中央部と構造物の遠部とのコントラストが同様であるか否かを判定する。コントラストが同様であるとき、処理はステップＳ６０６に進む。ステップＳ６０６において、制御部１００は、主被写体は遠いと判定する。その後、主被写体距離推定処理は終了し、処理はカメラ制御処理に戻る。なお、主被写体の輪郭が不明瞭な場合は、このようなコントラストを比較する事は困難なので、コントラストの絶対値ではなく、主被写体の輪郭に沿ってコントラスト変化を追ってみたり、撮像のピント位置を変えて見たりしてコントラストの相対的な変化も考慮して、構造物のコントラストと比較して主被写体と構造物の遠近関係を把握してもよい。
【００９９】
ステップＳ６０５において、中央部と構造物の遠部とのコントラストが同様でないと判定されたとき、処理はステップＳ６０７に進む。ステップＳ６０７において、制御部１００は、主被写体は近いと判定する。その後、主被写体距離推定処理は終了し、処理はカメラ制御処理に戻る。
【０１００】
本実施形態によっても、照明の具合や被写体の特性等のためにオートフォーカスが困難であるときに、室内の構造物の距離を参考として、被写体が遠いか近いかが判別されることで、上述のような状況におけるオートフォーカスの困難性が低減され得る。このように明快な画像情報や遠近情報を持つ構造物を基準に、その画像のコントラスト分布を利用して構造物と、その他のものの遠近関係の把握を行っている。つまり、構造物を基準に距離を推定するが、その遠近関係は、前の実施例と同様、構造物と主被写体の明るさや像の動き方や、重なり方などを加味して、コントラストをさらに考慮して（これらを像特徴とする）判定することができる。もちろん、背後に第２の構造物を見つけ、それとの重なり具合を判定して、像特徴としてもよい。このような場合、対象シーンの画像を取得する画像取得部と、上記対象シーンの遠近方向、又はその直交方向に直線画像情報を有する構造物を検出する構造物特定部と、前記構造物を構成する構造物直線の距離を取得する距離取得部と、前記画像に含まれる上記構造物とは異なる主対象物を判定する主対象物判定部と、上記構造物像と上記主対象物像を利用して、さらに第２の構造物像を判定し、上記主被写体と上記第２の構造物の像の特徴から前記対象物までの距離を決定する距離分布判定部とを備えるという形の状況把握装置が提供され得る。
【０１０１】
なお、第１乃至第３の実施形態は、組み合わせて用いられてもそれぞれ組み合わせて用いられてもよいことはもちろんである。例えば、撮影時刻や、撮影画像の平均輝度等に基づいて、第１の実施形態に示した主被写体距離推定処理と第２の実施形態に示した主被写体距離推定処理とが選択されて用いられてもよい。また、第１乃至第３の実施形態に係る主被写体距離推定処理が順次に行われ、主被写体までの距離の最適な推定値が選択されるように構成されてもよい。
【０１０２】
以上、各実施形態で説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムを用いて実現され得る。このプログラムは、記録媒体や記録部に収められ得る。この記録媒体又は記録部への記録の方法は様々であり、製品出荷時に記録されてもよく、配布された記録媒体が利用されて記録されてもよく、インターネットを介したダウンロードが利用されて記録されてもよい。
【０１０３】
上述の撮像装置１のような構成は、例えばスマートフォンやタブレット端末といった情報携帯端末にも適用され得る。情報携帯端末には、ウェアラブル端末も含まれる。特に、ユーザ操作が簡単にできないウェアラブル機器でこうした技術は重要である。また、コンシューマ用のカメラ等に限らず、特に構造物内を対象にした監視カメラや、検査用等の産業用機器や、工業用の内視鏡でも有効活用でき、ミクロの世界でいえば、構造物は建物ではなく道具や治具や処置具が構造物と呼べ、顕微鏡や、各種医療用の観察装置にも適用され得る。この場合は、重力を基準とする以外にも、遠近方向に伸びている事が規定できれば、ピント合わせに有効利用が可能である。もちろん、ピント合わせに限るものではなく、構造物とその他のものの遠近関係や遠近分布を即座に把握する方法や装置に利用できることは言うまでもない。
【０１０４】
なお、本発明の上記実施形態には、以下の発明も含まれる。
［１］  
被写体像に基づいた画像を取得する画像取得部と、
前記画像に含まれる構造物を特定する構造物特定部と、
前記構造物までの距離である構造物距離を取得する距離取得部と、
前記画像に含まれる主被写体の状態を判定する主被写体判定部と、
前記主被写体の前記状態に基づいて、前記構造物距離を利用して、前記主被写体までの距離の目安を決定する主被写体距離決定部と
を備える撮像装置。
［２］  
前記主被写体の前記状態は、前記主被写体の明るさ、前記主被写体への照明光の特性、及び前記主被写体のコントラストのうち少なくとも何れか１つを含む、［１］に記載の撮像装置。
［３］  
前記構造物は、窓枠を含む、［１］に記載の撮像装置。
［４］  
前記主被写体までの前記距離の目安を利用して、オートフォーカス動作を制御するオートフォーカス制御部をさらに備える、［１］に記載の撮像装置。
［５］  
前記オートフォーカス制御部は、前記主被写体までの前記距離の目安を利用して、合焦の探索を行う範囲を制限する、［４］に記載の撮像装置。
［６］  
被写体像に基づいた画像を取得することと、
前記画像に含まれる構造物を特定することと、
前記構造物までの距離である構造物距離を取得することと、
前記画像に含まれる主被写体の状態を判定することと、
前記主被写体の前記状態に基づいて、前記構造物距離を利用して、前記主被写体までの距離の目安を決定することと
を含む被写体距離推定方法。
［７］  
被写体像に基づいた画像を取得することと、
前記画像に含まれる構造物を特定することと、
前記構造物までの距離である構造物距離を取得することと、
前記画像に含まれる主被写体の状態を判定することと、
前記主被写体の前記状態に基づいて、前記構造物距離を利用して、前記主被写体までの距離の目安を決定することと
をコンピュータに実行させる被写体距離推定のためのプログラム。
【符号の説明】
【０１０５】
１…撮像装置、１００…制御部、１０２…画像取得部、１１０…画像判定部、１１２…構造物特定部、１１４…主被写体判定部、１２２…距離取得部、１２４…主被写体距離決定部、１３２…フォーカス調整部、１３４…レンズ制御部、１４２…操作判定部、１４４…画像処理部、１４６…表示制御部、２１２…レンズユニット、２１４…撮像部、２２２…記録部、２２４…画像記録部、２２６…操作部、２２８…表示部、２３０…姿勢判定部。
【図１】
2016142658.tif 000003
【図２】
2016142658.tif 000004
【図３】
2016142658.tif 000005
【図４】
2016142658.tif 000006
【図５】
2016142658.tif 000007
【図６】
2016142658.tif 000008
【図７】
2016142658.tif 000009
【図８】
2016142658.tif 000010
【図９】
2016142658.tif 000011
【図１０】
2016142658.tif 000012
【図１１】
2016142658.tif 000013
【図１２】
2016142658.tif 000014
【図１３】
2016142658.tif 000015