(57)【要約】      （修正有）【課題】良好に距離を測定し得る距離測定装置、距離測定方法及び撮像装置を提供することにある。【解決手段】視点が互いに異なる複数の画像を取得し得る撮像部１０１ａ、１０１ｂと、撮像部１０１ａ、１０１ｂに対して光学的に共役な位置に配された投影部１０２ａを用いて任意の領域にパターン光を投影した状態で撮像部１０１ａ、１０１ｂによって複数の画像を取得し、撮像部１０１ａ、１０１ｂによって取得された複数の画像に基づいて距離を測定するように制御を行う制御部１０４とを有している。【選択図】図１
2018189443.tif 000002
【特許請求の範囲】
【請求項１】
視点が互いに異なる複数の画像を取得し得る撮像部と、
前記撮像部に対して光学的に共役な位置に配された投影部を用いて任意の領域にパターン光を投影した状態で前記撮像部によって前記複数の画像を取得し、前記撮像部によって取得された前記複数の画像に基づいて距離を測定するように制御を行う制御部と
を有することを特徴とする距離測定装置。
【請求項２】
前記制御部は、前記投影部を用いて投影される前記パターン光のパターン、照度、又は、波長を、領域毎に制御し得ることを特徴とする請求項１に記載の距離測定装置。
【請求項３】
前記制御部は、前記撮像部によって取得される前記画像に基づいて、前記パターン光を投影する領域を決定することを特徴とする請求項１又は２に記載の距離測定装置。
【請求項４】
前記制御部は、前記撮像部によって取得される前記画像内の各々の領域のテクスチャの空間周波数に基づいて、前記パターン光を投影する前記領域を決定することを特徴とする請求項３に記載の距離測定装置。
【請求項５】
前記制御部は、前記撮像部によって取得される前記複数の画像に基づいた距離の測定の可否に基づいて、前記パターン光を投影する領域を決定することを特徴とする請求項１又は２に記載の距離測定装置。
【請求項６】
前記制御部は、前記パターン光を投影した状態で前記撮像部によって取得される前記複数の画像に基づいて距離を測定し得ない第１の領域に対して、前記パターン光とはパターン、照度、又は、波長が異なる他のパターン光を投影した状態で、前記撮像部によって取得される複数の画像に基づいて距離を測定するように制御することを特徴とする請求項１から５のいずれか１項に記載の距離測定装置。
【請求項７】
前記制御部は、前記パターン光を投影した際の前記第１の領域の輝度が第１の閾値未満である場合には、前記パターン光の照度よりも高い照度の前記他のパターン光を前記第１の領域に投影した状態で前記撮像部によって取得される前記複数の画像に基づいて距離を測定するように制御することを特徴とする請求項６に記載の距離測定装置。
【請求項８】
前記制御部は、前記パターン光を投影した際の前記第１の領域の輝度が第１の閾値未満である場合には、前記パターン光の波長とは異なる波長の前記他のパターン光を前記第１の領域に投影した状態で前記撮像部によって取得される前記複数の画像に基づいて距離を測定するように制御することを特徴とする請求項６に記載の距離測定装置。
【請求項９】
前記制御部は、前記パターン光を投影した状態で前記撮像部によって取得される前記複数の画像に基づいて距離を測定し得ない第２の領域の輝度が第２の閾値以上である場合には、前記投影部とは異なる位置に配された他の投影部を用いて前記第２の領域にパターン光を投影した状態で前記撮像部により取得される複数の画像に基づいて距離を測定するように制御を行うことを特徴とする請求項１から８のいずれか１項に記載の距離測定装置。
【請求項１０】
前記制御部は、繰り返しパターンが存在する領域に前記パターン光が投影されるように制御を行うことを特徴とする請求項１から９のいずれか１項に記載の距離測定装置。
【請求項１１】
前記撮像部に対して光学的に共役な位置に配された他の撮像部を更に備え、
前記撮像部と前記他の撮像部とは、撮影感度又は撮影波長域が互いに異なることを特徴とする請求項１から１０のいずれか１項に記載の距離測定装置。
【請求項１２】
前記制御部は、前記撮像部に対して光学的に共役な位置に配された他の投影部を用いてパターン光を投影した状態で前記撮像部によって取得される複数の画像にも基づいて距離を算出するように制御し、
前記投影部によって投影される前記パターン光と前記他の投影部によって投影される前記パターン光とは、波長又は照度が互いに異なることを特徴とする請求項１から１１のいずれか１項に記載の距離測定装置。
【請求項１３】
前記撮像部は、互いに異なる位置に配された複数の撮像素子を含むことを特徴とする請求項１から１２のいずれか１項に記載の距離測定装置。
【請求項１４】
前記撮像部は、３つ以上の前記撮像素子を含むことを特徴とする請求項１３に記載の距離測定装置。
【請求項１５】
前記撮像部の少なくとも一つは、撮像光学系の第１の瞳領域を通過する第１の光束に応じた信号を取得する第１の分割画素と、前記撮像光学系の前記第１の瞳領域とは異なる第２の瞳領域を通過する第２の光束に応じた信号を取得する第２の分割画素とを含む単位画素が２次元状に配された撮像素子を備えることを特徴とすることを特徴とする請求項１から１３のいずれか１項に記載の距離測定装置。
【請求項１６】
撮像部に対して光学的に共役な位置に配された投影部を用いて任意の領域にパターン光を投影した状態で、視点が互いに異なる複数の画像を前記撮像部によって取得するステップと、
前記撮像部によって取得された前記複数の画像に基づいて距離を測定するステップと
を有することを特徴とする距離測定方法。
【請求項１７】
視点が互いに異なる複数の画像を取得し得る撮像部と、
前記撮像部に対して光学的に共役な位置に配された投影部を用いて任意の領域にパターン光を投影した状態で前記撮像部によって前記複数の画像を取得し、前記撮像部によって取得された前記複数の画像に基づいて距離を測定するように制御を行う制御部と
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離測定装置、距離測定方法及び撮像装置に関する。
【背景技術】
【０００２】
近時では、撮影によって得られた画像から距離情報を取得する技術が提案されている。例えば、異なる視点の複数の画像を取得し、取得した複数の画像間の相関に基づいて視差量を求め、求められた視差量に基づいて距離を測定することが提案されている（特許文献１）。また、テクスチャの乏しい被写体にパターン光を投影することによって相関の測定精度を向上し、これにより距離の測定精度を向上する技術が提案されている（非特許文献１，特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５１９２０９６号公報
【特許文献２】特開２００８−２３２７７６号公報
【特許文献３】特開平１１−１９０８１６号公報
【特許文献４】特開２００７−９６４３７号公報
【特許文献５】特開２０００−２０７５６４号公報
【非特許文献】
【０００４】
【非特許文献１】S.B.Kang, J.A.Webb, C.L.Zitnick, and T.Kanade, “A Multibaseline Stereo System with Active Illumination and Real-time Image Acquisition”, Proceedings of IEEE International Conference on Computer Vision, (1995) p.88-93,
【非特許文献２】高木幹雄、下田陽久、「新編  画像解析ハンドブック」、東京大学出版会、2004
【非特許文献３】Beth Horn, et. al., “Comparison of Segmentation Approaches”, Decision Analyst Inc., (2009).
【非特許文献４】A. Rabinovich, et. al., “Objects in context”, 2007 IEEE 11th International Conference on Computer Vision, (2007).
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、必ずしも良好に距離を測定し得ない場合があった。
本発明の目的は、良好に距離を測定し得る距離測定装置、距離測定方法及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
実施形態の一観点によれば、視点が互いに異なる複数の画像を取得し得る撮像部と、前記撮像部に対して光学的に共役な位置に配された投影部を用いて任意の領域にパターン光を投影した状態で前記撮像部によって前記複数の画像を取得し、前記撮像部によって取得された前記複数の画像に基づいて距離を測定するように制御を行う制御部とを有することを特徴とする距離測定装置が提供される。
【発明の効果】
【０００７】
本発明によれば、良好に距離を測定し得る距離測定装置、距離測定方法及び撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態による撮像装置を示すブロック図である。
【図２】投影部の例を示す図である。
【図３】投影部と撮像部との間に視差が生じている場合の例を示す図である。
【図４】第１実施形態による撮像装置の動作を示すフローチャートである。
【図５】セグメンテーションの例を示す図である。
【図６】主被写体の位置を検出する手法を示すフローチャートである。
【図７】グルーピングの例を示す図である。
【図８】特性値マップを示す図である。
【図９】ブロックマッチングの例を示す図である。
【図１０】被写体までの距離と視差との関係を示す図である。
【図１１】第２実施形態による撮像装置を示すブロック図である。
【図１２−１】撮像部を示す図である。
【図１２−２】撮像部を示す図である。
【図１３】第２実施形態における撮像装置の動作を示すフローチャートである。
【図１４】第２実施形態の変形例（その１）による撮像装置の動作を示すフローチャートである。
【図１５】第２実施形態の変形例（その２）による撮像装置を示すブロック図である。
【図１６】第３実施形態による撮像装置を示すブロック図である。
【発明を実施するための形態】
【０００９】
本発明の実施の形態について図面を用いて以下に詳細に説明する。なお、本発明は以下の実施形態に限定されるものではない。また、以下の実施形態を適宜組み合わせてもよい。
【００１０】
［第１実施形態］
第１実施形態による距離測定装置、距離測定方法及び撮像装置について図面を用いて説明する。図１は、第１実施形態による撮像装置を示すブロック図である。
図１に示すように、本実施形態による撮像装置１００は、距離測定装置（測距装置）１０７を備えている。本実施形態による距離測定装置１０７は、視点が互いに異なる複数の画像を取得し得る撮像部１０１ａ、１０１ｂと、パターン光を投影し得る投影部１０２ａと、処理部１０３と、制御部１０４と、光学素子１０６ａと、メモリ１０８とを備えている。
【００１１】
撮像部（第１の撮像部）１０１ａには、不図示の撮像面に不図示の複数の画素がマトリクス状に配された撮像素子（イメージセンサ）１０９ａが備えられている。撮像部１０１ａには、撮像光学系（レンズユニット）１１０ａが備えられている。撮像光学系１１０ａは、撮像部１０１ａから着脱不能であってもよいし着脱可能であってもよい。撮像部１０１ａは、被写体１０５を撮影することによって第１の画像（第１の画像データ）を取得する。
【００１２】
撮像部（第２の撮像部）１０１ｂには、不図示の撮像面に不図示の複数の画素がマトリクス状に配された撮像素子（イメージセンサ）１０９ｂが備えられている。撮像部１０１ｂには、撮像光学系１１０ｂが備えられている。撮像光学系１１０ｂは、撮像部１０１ｂから着脱不能であってもよいし着脱可能であってもよい。撮像部１０１ｂは、被写体１０５を撮影することによって第２の画像（第２の画像データ）を取得する。
【００１３】
撮像部１０１ａと撮像部１０１ｂとは互いに異なる位置に配されている。従って、撮像部１０１ａと撮像部１０１ｂとによって取得される第１の画像と第２の画像との間には視差が生じている。このように互いに視差が生じている画像は、視差画像とも称される。第１の画像と第２の画像とによって視差画像が構成される。なお、撮像部一般について説明する際には、符号１０１を用い、個々の具体的な撮像部について説明する際には、符号１０１ａ、１０１ｂを用いることとする。撮像部１０１によって取得される画像（画像データ）は、例えば、カラー画像であってもよいし、輝度画像（グレースケール画像）であってもよい。カラー画像は、例えば、ＲＧＢの色情報を含んでいる。輝度画像は、明るさ情報（輝度情報）から成り、色情報を含んでいない。撮像部１０１ａと撮像部１０１ｂとが相俟って撮像部を構成していると考えることもできる。撮像部１０１ａと撮像部１０１ｂとによって構成されている撮像部が、互いに異なる位置に配された複数の撮像素子１０９ａ、１０９ｂを含んでいると考えることもできる。撮像部１０１によって取得される画像、即ち、画像データは、処理部１０３に入力される。
【００１４】
処理部（演算部）１０３は、撮像部１０１ａから入力される第１の画像と撮像部１０１ｂから入力される第２の画像とを、メモリ１０８に記憶する。メモリ１０８は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やフラッシュメモリ等によって構成し得る。処理部１０３は、第１の画像と第２の画像との相関を求めるための演算、即ち、相関演算を行い得る。処理部１０３は、相関演算によって取得される相関値に基づいて、被写体１０５までの距離（距離値）を求め得る。処理部１０３は、こうして求められる距離値に基づいて、距離値の２次元分布を示す画像である距離画像を生成し得る。処理部１０３は、撮像部１０１によって取得される画像や、上記のようにして生成される距離画像等に基づいて、任意の領域（範囲、箇所）にパターン光の投影（投射）を行うための投影制御情報（領域照明情報）を生成し得る。投影制御情報は、例えば、当該領域にパターン光を投影するか否か、どのようなパターンにするか、パターン光の照度（明るさ）、パターン光の色（波長）等を示す情報である。処理部１０３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｃｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉａｌ  Ｓｉｇｉｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等によって構成し得る。
【００１５】
投影部（投射部）１０２ａは、投影可能範囲のうちの任意の領域にパターン光を投影し得る。投影部１０２ａは、撮像部１０１に対して光学的に共役な位置に配されている。具体的には、投影部１０２ａは、撮像部１０１ａに対して光学的に共役な位置に配置されている。即ち、投影部１０２ａの射出瞳は、プリズムやハーフミラー等の光学素子１０６ａを介して、撮像部１０１ａの入射瞳に対して光学的に共役な位置に配置されている。撮像部１０１の視野の少なくとも一部と、投影部１０２ａの投影可能範囲の少なくとも一部とは、互いに重複している。投影部１０２ａの投影可能範囲は、撮像部１０１の視野と一致しているか、撮像部１０１の視野を包含していることが好ましい。
【００１６】
制御部１０４は、撮像装置１００全体の制御を司る。制御部１０４は、投影制御情報に基づいて投影部１０２ａを制御することによって、投影部１０２ａの投影可能範囲内の任意の領域にパターン光を適宜投影する。投影部１０２ａは、単色のパターン光を投影することもできるし、カラーのパターン光を投影することもできる。即ち、投影部１０２ａは、互いに色が異なる複数のパターン光を任意の領域に適宜投影することが可能である。制御部１０４は、例えばＣＰＵ等によって構成し得る。処理部１０３と制御部１０４が相俟って制御部を構成していると考えることもできる。制御部１０４は、投影部１０２ａを用いて投影されるパターン光のパターン、照度、又は、波長を、領域毎に制御し得る。制御部１０４は、撮像部１０１によって取得される画像に基づいて、パターン光を投影する領域を決定し得る。制御部１０４は、撮像部１０１によって取得される画像内の各々の領域のテクスチャの空間周波数に基づいて、パターン光を投影する領域を決定し得る。また、制御部１０４は、撮像部１０１によって取得される複数の画像に基づいた距離の測定の可否に基づいて、パターン光を投影する領域を決定し得る。また、制御部１０４は、パターン光を投影した状態で撮像部１０１によって取得される複数の画像に基づいて距離を測定し得ない第１の領域に対して、当該パターン光とはパターン、照度、又は、波長が異なる他のパターン光を投影するように制御し得る。そして、当該他のパターン光を投影した状態で、撮像部によって取得される複数の画像に基づいて距離を測定するように制御し得る。また、制御部１０４は、パターン光を投影した際の第１の領域の輝度が第１の閾値未満である場合には、当該パターン光の照度よりも高い照度の他のパターン光を第１の領域に投影するように制御し得る。そして、当該他のパターン光を投影した状態で撮像部１０１によって取得される複数の画像に基づいて距離を測定するように制御し得る。制御部１０４は、パターン光を投影した際の第１の領域の輝度が第１の閾値未満である場合には、当該パターン光の波長とは異なる波長の他のパターン光を第１の領域に投影し得る。そして、当該他のパターン光を投影した状態で撮像部１０１によって取得される複数の画像に基づいて距離を測定するように制御し得る。制御部１０４は、繰り返しパターンが存在する領域にパターン光が投影されるように制御を行い得る。
【００１７】
図２は、投影部の例を示す図である。図２（ａ）及び図２（ｂ）は、透過型の投影部の例を示している。図２（ａ）に示すように、投影部１０２ａには、光源２０１と、透過型の光変調器２０２と、投影レンズ２０３とが備えられている。光源２０１からは、光が発せられる。光源２０１としては、例えば、白色光を発する半導体発光素子等が用いられる。かかる半導体発光素子としては、例えば、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等が用いられる。また、かかる半導体発光素子として、レーザダイオード（ＬＤ：Ｌａｓｅｒ  Ｄｉｏｄｅ）等を用いるようにしてもよい。
【００１８】
光変調器（光変調素子）２０２は、光源２０１から発せられる光を変調するためのものである。光変調器２０２としては、例えば透過型の電気光学パネル等が用いられる。透過型の電気光学パネルとしては、例えば透過型の液晶パネル等が用いられる。図２（ｂ）は、光変調器２０２に備えられた画素の例を示す図である。図２（ｂ）に示すように、光変調器２０２には、複数の単位画素（画素）２０４が備えられている。複数の単位画素２０４は、２次元状に、即ち、マトリクス状に配列されている。各々の単位画素２０４には、赤色（Ｒ）に対応する画素Ｒと、緑色（Ｇ）に対応する画素Ｇと、青色（Ｂ）に対応する画素Ｂとがそれぞれ備えられている。画素Ｒには、赤色のカラーフィルタが備えられており、画素Ｇには、緑色のカラーフィルタが備えられており、画素Ｂには、青色のカラーフィルタが備えられている。各々の画素Ｒ、Ｇ，Ｂを通過する光が、これらのカラーフィルタによってそれぞれ着色される。光変調器２０２は、上述した投影制御情報に基づいて、各々の画素Ｒ，Ｇ，Ｂに対する制御を行うことによって、光源２０１から発せられる光を変調、即ち、空間変調する。投影制御情報は、各々の単位画素２０４に含まれるＲ，Ｇ，Ｂの各画素の輝度を示す情報を含む。
なお、汎用のプロジェクタ等において広く用いられる集光光学系等が、光源２０１と光変調器２０２との間に備えられていてもよい。
【００１９】
投影レンズ（投射レンズ）２０３としては、例えば、凸レンズ等が用いられる。投影レンズ２０３は、光変調器２０２によって変調された光を拡大し、被写体を構成する所定面にパターン光を投影する。例えば、被写体を構成する床面に、かかるパターン光が投影され得る。また、床面に配された家具等の物体に、かかるパターン光が投影され得る。
【００２０】
投影部１０２ａは、例えば、図２（ａ）に示すような投影可能範囲（投射可能範囲）Ｔ内の任意の領域にパターン光を投影し得る。投影可能範囲Ｔの範囲は、床面Ｆの範囲と同等であってもよいし、床面Ｆの範囲より広くてもよいし、床面Ｆの範囲より狭くてもよい。図２（ａ）に示すように、例えば、投影領域（投射領域）Ｔ１〜Ｔ４と非投影領域（非投射領域）Ｔｂとが、投影可能範囲Ｔ内に位置する。投影領域Ｔ１〜Ｔ４は、パターン光が投影される領域である。非投影領域Ｔｂは、投影可能範囲Ｔのうちのパターン光が投影されない領域である。投影部１０２ａは、投影制御情報に基づいて光変調器２０２を制御することによって、パターン光の投影を行う。上述したように、投影制御情報は、当該領域にパターン光を投影するか否か、どのようなパターンにするか、パターン光の照度、パターン光の色等を示す情報である。従って、投影部１０２ａは、投影可能範囲のうちのある領域にはパターン光が投影され、投影可能範囲のうちのある領域にはパターン光が投影されないように、パターン光の投影を行うことができる。また、投影部１０２ａは、パターンの種類を領域毎に設定することができ、パターン光の明るさも領域毎に設定することができ、パターン光の色も領域毎に設定することができる。
【００２１】
図２（ｃ）は、反射型の投影部の例を示している。図２（ｃ）に示すように、投影部１０２ａには、光源２０１と、反射型の光変調器２０５と、投影レンズ２０３とが備えられている。反射型の光変調器２０５としては、例えば、ＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）等を用い得る。図２（ｄ）は、光変調器２０５に備えられたマイクロミラーの例を示す図である。図２（ｄ）に示すように、光変調器２０５には、可動式のマイクロミラー２０６が複数備えられている。複数のマイクロミラー２０６は、マトリクス状に配されている。光変調器２０５は、上述した投影制御情報に基づいて、各々のマイクロミラー２０６に対する制御を行うことによって、光源２０１から発せられる光を変調、即ち、空間変調する。投影部１０２ａには、光源２０１を制御する不図示の光源制御部（光源ドライバ）と、光変調器２０５に備えられた複数のマイクロミラー２０６の各々の傾斜（回転）を制御する不図示のＤＭＤ制御部（ＤＭＤドライバ）とが備えられている。パターン光の色（波長）やパターン光の照度（光量、明るさ）等を光源制御部によって適宜調整しつつ、各々のマイクロミラー２０６の傾斜をＤＭＤ制御部によって適宜制御する。これによって、投影領域Ｔ１〜Ｔ４へのパターン光の投影や非投影領域Ｔｂへのパターン光の非投影を制御し得る。
【００２２】
図２（ｅ）は、自発光パネルを用いた投影部の例を示している。図２（ｅ）に示すように、投影部１０２ａには、自発光素子がマトリクス状に配された自発光パネル２０７と、投影レンズ２０３とが備えられている。自発光パネル２０７としては、例えば、有機発光ダイオードがマトリクス状に配された有機ＥＬパネルや、発光ダイオードがマトリクス状に配されたＬＥＤパネル等を用い得る。
【００２３】
なお、投影部１０２ａは、これらに限定されるものではない。例えば、投影領域Ｔ１〜Ｔ４にそれぞれ対応するように複数のシャッタ（図示せず）を光源２０１の前方に配し、これらのシャッタを適宜開閉することによって、投影領域Ｔ１〜Ｔ４にパターン光を適宜投影するようにしてもよい。また、図２（ｃ）及び図２（ｄ）においては、反射型の光変調器２０５としてＤＭＤを用いる場合を例に説明したが、反射型の光変調器２０５はＤＭＤに限定されるものではない。例えば、反射型の液晶パネルであるＬＣＯＳ（Ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｏｎ  ｓｉｌｉｃｏｎ）等を光変調器２０５として用いるようにしてもよい。また、レーザ光源とガルバノミラーとを組み合わせたガルバノスキャナ等を投影部１０２ａに用いるようにしてもよい。
【００２４】
このように、投影部１０２ａは、投影可能範囲のうちのある領域にはパターン光が投影され、投影可能範囲のうちのある領域にはパターン光が投影されないように、パターン光の投影を行うことができる。また、投影部１０２ａは、パターンの種類を領域毎に設定することができ、パターン光の明るさも領域毎に設定することができ、パターン光の色も領域毎に設定することができる。
【００２５】
上述したように、撮像部１０１ａに対して光学的に共役な位置に投影部１０２ａが配置されている。即ち、投影部１０２ａの射出瞳は、プリズムやハーフミラー等の光学素子１０６ａを介して、撮像部１０１ａの入射瞳に対して光学的に共役な位置に配置されている。撮像部１０１ａに対して光学的に共役な位置に投影部１０２ａを配置しているのは、以下のような理由によるものである。投影部１０２ａの射出瞳が、撮像部１０１の入射瞳に対して光学的に共役な位置に配置されていない場合には、投影部１０２ａと撮像部１０１との間で視差が生じている。図３は、投影部１０２ａと撮像部１０１との間に視差が生じている場合の例を示す図である。撮像部１０１によって取得される画像３０１に基づいて、被写体１０５の注目箇所３０４にパターン光を投影しようとした場合、投影部１０２ａと撮像部１０１との間に視差が存在していると、以下のようになる。即ち、このような場合、投影部１０２ａと撮像部１０１との位置関係や、撮像部１０１から注目箇所３０４までの距離値ｚ等が特定できないと、投影部１０２ａから見たエピポーラ線上のどこに注目箇所３０４が存在するのかを特定し得ない。このため、このような場合には、投影部１０２から注目箇所３０４にパターン光を投影することは困難である。このような理由により、本実施形態では、撮像部１０１ａに対して光学的に共役な位置に投影部１０２ａが配置されている。
【００２６】
図４は、本実施形態による撮像装置の動作を示すフローチャートである。
まず、ステップＳ４０１において、制御部１０４は、パターン光を投影していない状態で撮像部１０１を用いて撮像を行うことにより、画像を取得する。
ステップＳ４０２において、処理部１０３は、ステップＳ４０１において取得された画像を用いて、例えば以下のようにして投影制御情報を生成する。即ち、処理部１０３は、ステップＳ４０１において取得された画像に対して、例えばスーパーピクセルを用いたグラフカット等によって、領域分割、即ち、セグメンテーションを行う。図５は、セグメンテーションの例を示す図である。図５（ａ）は、入力画像、即ち、ステップＳ４０１において取得される画像の例を示している。図５（ａ）に示すように、画像５０１には、被写体５０２、５０３が含まれている。処理部１０３は、このような画像５０１に対して、以下のようにしてグループ化を行う。即ち、当該グループの評価値と当該要素の評価値との間の差異が予め設定された閾値以下である場合には、当該要素を当該グループに合体する。一方、当該グループの評価値と当該要素の評価値との間の差異が閾値を超える場合には、当該要素を当該グループに合体しない。かかる要素は、例えば画素であってもよいし、ブロフであってもよい。かかる評価値は、座標、輝度値、色情報等に基づいて決定され得る。輝度値や色情報は、例えばＹＣｒＣｂのデータを変換することによって得られる。このような手法でグループ化を行うことによって、図５（ｂ）に示すようなグループ５０４，５０５，５０６、即ち、セグメントが生成される。なお、このようなグループ化の手法は、例えば、非特許文献２に記載されている。このようなグループ化の手法は、領域成長法と称される。図５（ｃ）は、セグメンテーションが行われた状態を示している。こうして、ステップＳ４０１において取得された画像５０１に対してセグメンテーションが行われる。この後、処理部１０３は、セグメンテーションによって得られたセグメント、即ち、関心領域に対して、Ｗａｖｅｌｅｔ解析、周波数解析等によってテクスチャの解析等を行う。処理部１０３は、テクスチャの解析の結果等に基づいて、投影制御情報を生成する。投影制御情報は、上述したように、例えば、当該領域にパターン光を投影するか否か、どのようなパターンにするか、パターン光の照度（光量）、パターン光の色（波長）等を制御するための情報である。処理部１０３は、例えば、テクスチャが乏しい領域に対してはパターン光が投影され、テクスチャが豊富な領域に対してはパターン光が投影されないような投影制御情報を生成する。例えば、当該領域に十分細かいテクスチャが存在しているにもかかわらず、当該領域に対してパターン光を投影した場合には、相関値の分解能がかえって低下してしまうことにもなりかねない。従って、例えば、十分に細かいテクスチャが存在している領域に対しては、パターン光が投影されないような投影制御情報が生成される。また、繰り返しパターンが存在する領域にパターン光を照射する場合には、当該繰り返しパターンの補色の繰り返しパターンによって当該繰り返しパターンが消去されるとともに、当該領域に所望のパターンの光が投影されるような投影制御情報を生成してもよい。また、色やテクスチャ等によって被写体の材質や反射率等を推定し、パターン光の色や照度等を適宜調整してもよい。例えば、黒色の領域は反射率が低い可能性が高いため、大きい照度のパターン光が投影されるようにしてもよい。また、パターン光が投影される領域の広さに基づいて、パターンの種類を適宜設定するようにしてもよい。また、パターン光が投影される領域の面の傾きに基づいて、パターンの種類を適宜設定するようにしてもよい。面の傾きは、例えば、階調の変化勾配に基づいて推定し得る。パターンの種類としては、バー状パターン、チェッカ状パターン、円形状パターン等が挙げられる。例えば、撮像部１０１の光軸に対して法線が大きく傾いた面に対しては、円形状パターンの光を投影すると、算出される距離値の精度は低下するが、ロバストな対応付けが可能となる。
【００２７】
なお、投影制御情報の生成方法は、上記のような手法に限定されるものではない。例えば、主被写体が位置する領域にパターン光が投影され、主被写体が位置する領域以外の領域にパターン光が投影されないような投影制御情報を生成するようにしてもよい。このような投影制御情報は、例えば、以下のようにして検出される主被写体の位置に基づいて生成し得る。
【００２８】
図６は、主被写体の位置を検出する手法を示すフローチャートである。ステップＳ６０１において、処理部１０３は、ステップＳ４０１において取得される画像に対して、以下のようにしてグルーピング、即ち、グループ化の処理を行う。図７は、グルーピングの例を示す図である。図７（ａ）は、ステップＳ４０１において取得される画像７０１を示している。画像７０１は、カラー画像又は輝度画像である。図７（ｂ）は、ラスタ・スキャンを示す図である。矢印は、ラスタ・スキャンを概念的に示している。図７（ｂ）において矢印を用いて示すように、画像７０１の左上からスキャンが開始され、右下に達するまでスキャンが行われる。グループ化の処理は、画素を単位として行われてもよいし、局所的な画素の集合であるブロックを単位として行われてもよい。ここでは、ブロックを単位としてグループ化が行われる場合を例に説明するが、画素を単位とした場合にもブロックを単位とした場合と同様にグループ化を行い得る。処理部１０３は、あるブロックＧ（ｘ，ｙ）と、当該ブロックＧ（ｘ，ｙ）の上側に位置するブロックＧ（ｘ，ｙ−１）と、当該ブロックＧ（ｘ，ｙ）の左側に位置するブロックＧ（ｘ−１，ｙ）との間で、以下のような判定を行う。即ち、これらのブロックが同一のグループに含まれるか否かの判定を行う。処理部１０３は、このような判定を順次行うことによって、結果的にすべての隣接ブロック間で同一のグループに含まれるか否かの判定を行うことができる。この際、画像７０１の上辺に位置するブロック、即ち、ｙ＝０のブロックは、当該ブロックの上側にブロックが存在しないため、このような判定の処理は行われない。また、画像７０１の左辺に位置するブロック、即ち、ｘ＝０のブロックは、当該ブロックの左側にブロックが存在しないため、このような判定の処理は行われない。処理部１０３は、判定の結果を、メモリ１０８に記録する。例えば、第１番目に検出されたグループに対応するブロックには、例えば１という番号が付される。例えば、第２番目に検出されたグループに対応するブロックには、例えば２という番号が付される。例えば、第３番目に検出されたグループに対応するブロックには、例えば３という番号が付される。ブロックに番号等を付す処理は、ラベリングと称される。図７（ｃ）は、ラベリングが行われた状態を示す図である。図７（ｃ）に示すように、被写体７０２に対応するブロックには１という番号が付されており、被写体７０３に対応するブロックには２という番号が付されており、被写体７０４に対応するブロックには３という番号が付されている。処理部１０３は、あるブロックの評価値と当該ブロックに隣接するブロックの評価値との差異が予め設定された閾値以下である場合には、これらのブロックは同一のグループに属するものと判定する。一方、処理部１０３は、あるブロックの評価値と当該ブロックに隣接するブロックの評価値との差異が閾値を超える場合には、これらのブロックは同一のグループに属しないものと判定する。かかる評価値は、階調、具体的には、輝度値や色情報等に基づいて決定され得る。また、かかる評価値は、被写体までの距離である距離値に基づいても決定され得る。
【００２９】
ステップＳ６０２において、処理部１０３は、画像内に位置する各々のグループ、換言すれば、撮影空間内に位置する各々のグループの特性を示す値である特性値を算出する。かかる特性値は、後述するステップＳ６０３において主被写体領域を決定するために用いられるものである。かかる特性値としては、主被写体度を挙げることができる。例えば、処理部１０３は、各々のグループに対応する被写体に対して、特性値である主被写体度を算出する。主被写体度は、当該グループに対応する被写体までの距離Ｊ、画像内における当該グループの幅Ｃ、画像内における当該グループの高さＨ、画像の中心から当該グループの重心位置までの距離Ｐ等に基づいて、総合的に算出される。例えば、以下のような式（１）に基づいて、主被写体度Ｓを算出することが可能である。
Ｓ ＝ （ａ１×Ｃ＋ａ２×Ｈ）／Ｐ ＋ ａ３×Ｊ  ・・・（１）
【００３０】
なお、式（１）において、ａ１、ａ２、ａ３は、重み付け定数である。また、被写体までの距離Ｊは、例えば当該被写体の各部までの平均距離であってもよいし、当該被写体までの距離の代表値であってもよい。被写体までの距離Ｊは、例えば、撮像部１０１ａによって取得される第１の画像と撮像部１０１ｂによって取得される第２の画像との相関に基づいて算出し得る。被写体までの距離Ｊが、当該被写体の各部までの平均距離である場合、例えば各々のブロック毎に被写体の各部までの距離が算出される。
【００３１】
図８は、特性値マップを示す図である。図８（ａ）は、図７（ａ）に示す画像７０１に対応する特性値マップ８０１である。図８において、輝度が高いほど、特性値は高い。即ち、図８において白になっている部分は最も特性値が高く、図８において黒になっている部分は最も特性値が低い。図８（ａ）に示す数値は、特性値の高い順を示している。図８（ａ）に示す数値が小さいほど、特性値は高い。図８（ａ）に示すように、画像７０１に占める面積が大きく、画像７０１内において中央に近く、撮像装置１００に近い箇所に位置している被写体７０３は、特性値が高くなる。一方、画像７０１に占める面積が小さく、画像７０１内において周辺部に位置し、撮像装置１００から遠い箇所に位置している被写体７０２は、特性値が低くなる。
【００３２】
ステップＳ６０３において、処理部１０３は、例えば以下のようにして主被写体領域を選択する。例えば、処理部１０３は、主被写体度の高いグループを主被写体に対応するグループと判定し、主被写体に対応するグループと判定されたグループに属するブロックに対応する領域を主被写体領域とする。上述したように、図８（ａ）において、数値が小さいほど、特性値は高い。従って、特性値が最も高い被写体は、図８（ａ）において１という数値が付された箇所に位置する被写体である。図７（ｃ）において２が付されている領域が、特性値が最も高い領域に対応している。従って、図７（ｃ）において、２とラベリングされている領域が、主被写体領域と判定される。
【００３３】
ステップＳ６０４において、処理部１０３は、ステップＳ６０３において判定された主被写体領域の領特性値が閾値以上であるか否かを判定する。当該特性値が閾値以上である場合には（ステップＳ６０４においてＹＥＳ）、即ち、画像に主被写体が存在している場合には、主被写体が存在していることを示すフラグを発行し、ステップＳ６０５に移行する。一方、当該特性値が閾値未満である場合には（ステップＳ６０４においてＮＯ）、即ち、画像に主被写体が存在していない場合には、主被写体が存在していないことを示すフラグを発行し、図６に示す処理を終了する。
【００３４】
ステップＳ６０５において、処理部１０３は、主被写体の位置を判定する。主被写体の位置は、例えば、主被写体に対応する画素の座標に基づいて判定される。
こうして、主被写体が画像内に含まれているか否か、及び、当該主被写体の位置等を示す主被写体情報が取得される。
【００３５】
処理部１０３は、こうして得られた主被写体情報に基づいて、主被写体領域のみにパターン光が投影されるような投影制御情報を生成する。図８（ｂ）は、投影制御情報の例を示す図である。図８（ｂ）において１が付されている領域は、パターン光が投影される領域を示している。図８（ｂ）において１が付されている領域は、図７（ｃ）において２が付されている領域、即ち、被写体７０３に対応する領域に対応している。パターン光としては、例えば、最もオーソドックスなパターンであるバー状パターン等が用いられ得る。
このように、主被写体が位置する領域にパターン光が投影され、主被写体が位置する領域以外の領域にパターン光が投影されないような投影制御情報を生成するようにしてもよい。
【００３６】
ステップＳ４０３において、制御部１０４は、ステップＳ４０２において生成された投影制御情報に基づいて投影部１０２ａを用いてパターン光を投影した状態で、撮像部１０１ａと撮像部１０１ｂとを用いて撮像を行う。これにより、所望の領域にパターン光が照射された状態の第１の画像及び第２の画像が取得される。
ステップＳ４０４において、処理部１０３は、ステップＳ４０３において取得された第１の画像と第２の画像との相関に基づいて、画像中の各箇所までの距離を求める距離測定を行う。そして、処理部１０３は、距離測定の結果に基づいて距離値の２次元分布を示す距離画像（距離マップ）を生成する。所望の領域にパターン光が照射された状態で撮影された第１の画像と第２の画像とに基づいて相関値が求められ、当該相関値に基づいて距離値が求められるため、良好な距離画像を得ることができる。
【００３７】
なお、こうして得られた距離画像は、例えば以下のような処理に用い得る。例えば、距離画像によって示される距離値に基づいて、任意の箇所に合焦させる処理、即ち、オートフォーカス処理を行うことが可能である。また、撮像部１０１ａにより取得された画像に対して、距離画像によって示される距離値の２次元分布に基づいた処理を適宜行うことによって、任意のボケ付加処理等を行うことが可能である。また、距離画像によって示される距離値の２次元分布に基づいて、リフォーカス処理等を行うことも可能である。
【００３８】
第１の画像と第２の画像との相関は、例えば以下のようにして求めることができる。図９は、ブロックマッチングの例を示す図である。ブロックマッチングは、相関によって対応点を検出する一手法である。図９の左側に位置する第１の画像９０１は基準画像であり、図９の右側に位置する第２の画像９０２は参照画像である。第１の画像９０１は、例えば撮像部１０１ａによって取得される画像であり、第２の画像９０２は、例えば撮像部１０１ｂによって取得される画像である。基準画像である第１の画像９０１と参照画像である第２の画像９０２との間の動きベクトルは、視差に対応する。処理部１０３は、第１の画像９０１のうちの点（注目点）９０４を中心とした所定サイズの部分領域をテンプレート９０３として設定する。処理部１０３は、第２の画像９０２のうちに任意の探索範囲９０７を設定し、点（注目点、対応点）９０５を中心とした所定サイズの部分領域９０６を探索範囲９０７内において順次移動させる。処理部１０３は、部分領域９０６を順次移動させながら、テンプレート９０３と部分領域９０６とが最も合致する位置を探索する。なお、第１の画像９０１や第２の画像９０２は、カラー画像であってもよいし、輝度画像であってもよいし、微分画像等の変調画像であってもよい。処理部１０３は、テンプレート９０３と部分領域９０６との類似度を例えば以下のようにして算出する。即ち、処理部１０３は、例えば、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関等の相関演算によって、類似度を求める。正規化相互相関における類似度Ｒ（ｘ，ｙ，ｘ′，ｙ′）は、以下のような式（２）、（３）によって算出される。
【数１】
2018189443.tif 000003
【数２】
2018189443.tif 000004
【００３９】
なお、（ｘ，ｙ）は、基準画像Ｉ内、即ち、第１の画像９０１内におけるテンプレート９０３の中心の位置を示している。即ち、（ｘ，ｙ）は、点（注目点）９０４の位置を示している。（ｘ′，ｙ′）は、参照画像Ｉ′内、即ち、第２の画像９０２内における部分領域９０６の中心の位置を示している。即ち、（ｘ′，ｙ′）は、点（対応点）９０５の位置を示している。Ｉ（ｘ、ｙ）（ｉ，ｊ）は、テンプレート９０３に対応する画像を示している。Ｉ′（ｘ′、ｙ′）（ｉ，ｊ）は、部分領域９０６に対応する画像を示している。
【００４０】
処理部１０３は、部分領域９０６を探索範囲９０７内において順次移動させながら、テンプレート９０３と部分領域９０６との類似度を一通り算出した結果、最も類似度が高くなるような点９０５を点９０４に対応する点（対応点）とみなす。かかる類似度としては、例えば相関スコア等が挙げられる。処理部１０３は、点９０４と、当該点９０４に対応する点（対応点）９０５とに基づいて、動きベクトルを求める。オクルージョンがなければ、基本的に第１の画像９０１に設定される点９０４の数だけ動きベクトルが算出される。動きベクトルは、第１の画像９０１のうちの点９０４の位置を始点とし、第２の画像９０２のうちの点９０５の位置を終点とするベクトルによって表される。かかるベクトルは、以下のような式（４）によって表される。
（ｘ，ｙ，ｘ′，ｙ′）ｉ、  ｉ＝１，．．．，ｍ（ｍ：動きベクトルの個数）  ・・・（４）
【００４１】
なお、部分領域９０６を探索範囲９０７内において順次移動させることによって取得される相関スコアに対して、多項式フィッティングを実施し、より高精度に類似度のピーク位置を算出するようにしてもよい。また、第１の画像９０１と第２の画像９０２とを高画素化する処理等を行うことによって、点９０４に対応する点９０５をサブピクセル精度で算出するようにしてもよい。
【００４２】
処理部１０３は、第１の画像内の全ての点（画素）に対応する点（画素）を第２の画像内において求めることにより、密な対応点画像を取得する。第１の画像９０１のうちの点９０４と、第２の画像９０２のうちの点９０５との間の位置ずれ量ｄ＝（ｘ’−ｘ）は視差と称される。
【００４３】
図１０は、被写体までの距離と視差との関係を示す図である。視差をｄ、撮像部１０１から被写体までの距離をｚとすると、以下のような式（５）が成立する。
【数３】
2018189443.tif 000005
なお、Ｂは、基線長であり、具体的には、撮像部１０１ａと撮像部１０１ｂとの間の距離である。λは、画素サイズである。ｆは、撮像部１０１の焦点距離である。処理部１０３は、このような式（５）に基づいて、距離値ｚの２次元分布を示す距離画像を生成する。
【００４４】
このように、本実施形態によれば、投影部１０２に対して光学的に共役な位置に配された撮像部１０１ａによって取得される画像に基づいて投影制御情報が生成され、当該投影制御情報に基づいて投影部１０２によってパターン光の投影が行われる。このため、本実施形態によれば、所望の領域にパターン光を投射することができ、良好に距離を測定し得る距離測定装置及びその距離測定装置を備えた撮像装置を提供することができる。
【００４５】
［第２実施形態］
第２実施形態による距離測定装置、距離測定方法及び撮像装置について図面を用いて説明する。図１１は、本実施形態による撮像装置１１００を示すブロック図である。図１乃至図１０に示す第１実施形態による撮像装置等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
【００４６】
図１１に示すように、本実施形態による撮像装置１１００は、距離測定装置１１０２を備えている。距離測定装置１１０２は、１つの撮像部１１０１と、３つの投影部１０２ａ〜１０２ｃと、処理部１０３と、制御部１０４と、光学素子１０６ａ、１０６ｂと、メモリ１０８とを備えている。
【００４７】
図１２（ａ）は、撮像部１１０１を示す図である。図１２（ａ）に示すように、撮像部１１０１のボディ（本体）１２１６内には、撮像素子１２０２が備えられている。また、撮像部１１０１の本体１２１６には、レンズ１２０１を含む撮像光学系（レンズ、レンズユニット）１２０７が備えられる。撮像光学系１２０７は、射出瞳１２０５が互いに異なる第１の瞳領域１２０６ａと第２の瞳領域１２０６ｂに分割されるように構成された撮像光学系、即ち、瞳分割光学系である。撮像光学系１２０７は、撮像部１１０１の本体１２１６から着脱可能であってもよいし、本体１２１６から着脱不能であってもよい。撮像部１１０１は、撮像光学系１２０７の第１の瞳領域１２０６ａと第２の瞳領域１２０６ｂとをそれぞれ通過する第１の光束１２１４ａと第２の光束１２１４ｂによって形成される複数の光学像、即ち、第１の光学像と第２の光学像とを取得し得る。第１の光学像は、Ａ像とも称され、第２の光学像は、Ｂ像とも称される。処理部（演算部）１０３は、撮像部１１０１によって取得されるＡ像とＢ像との相対的な位置ずれ量である視差量を算出し、基線長に基づいた変換係数を用いて視差量をデフォーカス量に変換することによって、被写体までの距離を算出する。換言すれば、処理部１０３は、基線長と、幾何学的関係とに基づいて、視差量を距離値に換算する。例えば、第１の瞳領域１２０６ａを通過する第１の光束１２１４ａの重心と第２の瞳領域１２０６ｂを通過する第２の光束１２１４ｂの重心との間の射出瞳１２０５上における間隔が基線長に対応する。こうして、撮像部１１０１から被写体までの距離が求められる。
【００４８】
撮像素子１２０２の撮像面（画素アレイ領域）１２１５には、多数の単位画素１２０７Ｒ、１２０７Ｇ、１２０７Ｂがマトリクス状に配されている。図１２（ｂ）は、撮像素子１２０２の撮像面１２１５に配された単位画素１２０７Ｒ、１２０７Ｇ、１２０７Ｂのレイアウトを示す図である。図１２（ｂ）に示すように、ｘｙ平面上に単位画素（測距画素）１２０７Ｒ、１２０７Ｇ、１２０７Ｂが配列されている。このような配列は、ベイヤ配列と称されている。なお、ここでは、単位画素１２０７Ｒ、１２０７Ｇ、１２０７Ｂの配列がベイヤ配列になっている場合を例に説明するが、単位画素１２０７Ｒ、１２０７Ｇ、１２０７Ｂの配列はベイヤ配列に限定されるものではなく、適宜設定し得る。なお、単位画素一般について説明する際には、符号１２０７を用い、具体的な単位画素について説明する際には、符号１２０７Ｒ、１２０７Ｇ、１２０７Ｂを用いることとする。図１２（ｃ）は、各々の単位画素の断面図である。図１２（ｃ）に示すように、半導体基板１２０９には、光電変換部１２０８Ｒａ、１２０８Ｒｂ、１２０８Ｇａ、１２０８Ｇｂ、１２０８Ｂａ、１２０８Ｂｂが形成されている。なお、光電変換部一般について説明する際には、符号１２０８を用い、具体的な光電変換部について説明する際には、符号１２０８Ｒａ、１２０８Ｒｂ、１２０８Ｇａ、１２０８Ｇｂ、１２０８Ｂａ、１２０８Ｂｂを用いることとする。半導体基板１２０９としては、例えばシリコン基板が用いられている。光電変換部１２０８は、例えばイオン注入法によって形成されている。赤色（Ｒ）の単位画素１２０７Ｒは、光電変換部１２０８Ｒａが備えられた分割画素１２０７Ｒａと、光電変換部１２０８Ｒｂが備えられた分割画素１２０７Ｒｂとを備えている。緑色（Ｇ）の単位画素１２０７Ｇは、光電変換部１２０８Ｇａが備えられた分割画素１２０７Ｇａと、光電変換部１２０８Ｇｂが備えられた分割画素１２０７Ｇｂとを備えている。青色（Ｂ）の単位画素１２０７Ｂは、光電変換部１２０８Ｂａが備えられた分割画素１２０７Ｂａと、光電変換部１２０８Ｂｂが備えられた分割画素１２０７Ｂｂとを備えている。分割画素１２０７Ｒａ、１２０７Ｇａ、１２０７Ｂａは、Ａ像を取得するためのものであり、分割画素１２０７Ｒｂ、１２０７Ｇｂ、１２０７Ｂｂは、Ｂ像を取得するためのものである。
【００４９】
光電変換部１２０８が形成された半導体基板１２０９上には、層間絶縁膜１２１１が形成されている。層間絶縁膜１２１１には、図示しない配線等が形成されている。層間絶縁膜１２１１には、導波路１２１０が埋め込まれている。導波路１２１０は、各々の単位画素１２０７Ｒ、１２０８Ｇ、１２０７Ｂに対してそれぞれ形成されている。導波路１２１０が埋め込まれた層間絶縁膜１２１１上には、カラーフィルタ１２１２Ｒ、１２１２Ｇ、１２１２Ｂがそれぞれ形成されている。カラーフィルタ１２１２Ｒは、Ｒの単位画素１２０７Ｒに形成されており、カラーフィルタ１２１２Ｇは、Ｇの単位画素１２０７Ｇに形成されており、カラーフィルタ１２１２Ｂは、Ｂの単位画素１２０７Ｂに形成されている。カラーフィルタ１２１２Ｒは、赤色の波長帯域に応じた分光特性を備えており、これにより、赤色の波長帯域の光が光電変換部１２０８Ｒａ、１２０８Ｒｂに達するようになっている。カラーフィルタ１２１２Ｇは、緑色の波長帯域に応じた分光特性を備えており、これにより、緑色の波長帯域の光が光電変換部１２０８Ｇａ、１２０８Ｇｂに達するようになっている。カラーフィルタ１２１２Ｂは、青色の波長帯域に応じた分光特性を備えており、これにより、青色の波長帯域の光が光電変換部１２０８Ｂａ、１２０８Ｂｂに達するようになっている。カラーフィルタ１２１２Ｒ、１２１２Ｇ、１２１２Ｂが形成された層間絶縁膜１２１１上には、マイクロレンズ１２１３がそれぞれ形成されている。マイクロレンズ１２１３は、各々の単位画素１２０７Ｒ、１２０７Ｇ、１２０７Ｂに対してそれぞれ形成されている。
【００５０】
射出瞳１２０５のうちの第１の瞳領域１２０６ａを通過した第１の光束１２１４ａが、分割画素１２０７Ｒａ、１２０７Ｇａ、１２０７Ｂａにそれぞれ到達するようになっている。射出瞳１２０５のうちの第２の瞳領域１２０６ｂを通過した第２の光束１２１４ｂが、分割画素１２０７Ｒｂ、１２０７Ｇｂ、１２０７Ｂｂにそれぞれ到達するようになっている。多数の分割画素１２０７Ｒａ、１２０７Ｇａ、１２０７Ｂａによって取得される信号の集合によって、第１の画像、即ち、Ａ像を形成する第１の信号が構成される。分割画素１２０７Ｒｂ、１２０７Ｇｂ、１２０７Ｂｂによって取得される信号の集合によって、第２の画像、即ち、Ｂ像を形成する第２の信号が構成される。分割画素１２０７Ｒａ、１２０７Ｇａ、１２０７Ｂａは、Ａ像を得るための画素であるため、Ａ画素とも称される。分割画素１２０７Ｒｂ、１２０７Ｇｂ、１２０７Ｂｂは、Ｂ像を得るための画素であるため、Ｂ画素とも称される。こうして取得されたＡ像及びＢ像は、処理部１０３に伝送され、処理部１０３において測距演算処理が行われる。
【００５１】
処理部１０３は、Ａ像とＢ像との間のずれ量、即ち、像ずれ量に基づいて、距離情報であるデフォーカス量を算出する。被写体１０５の光学像は、撮像光学系１２０７を介して撮像素子１２０２に結像される。図１２（ａ）は、射出瞳１２０５を通過した第１の光束１２１４ａと第２の光束１２１４ｂとが結像面１２０３においてそれぞれ焦点を結び、デフォーカスした光学像が撮像素子１２０２の撮像面１２１５に達している状態を示している。なお、デフォーカスとは、結像面１２０３と撮像面１２１５とが一致しておらず、結像面１２０３が撮像面１２１５に対して光軸１２０４の方向にずれている状態のことである。デフォーカス量は、光軸１２０４の方向における撮像面１２１５と結像面１２０３との間の距離である。処理部１０３は、デフォーカス量に基づいて被写体１０５までの距離を算出する。Ａ像とＢ像との間の相対的な位置ずれを示す像ずれ量ｒと、デフォーカス量ΔＬとの間には、以下の式（６）のような関係が成立する。
【数４】
2018189443.tif 000006
なお、Ｗは、基線長である。Ｌは、光軸１２０４の方向における撮像面１２１５と射出瞳１２０５との間の距離である。基線長Ｗは、第１の瞳領域１２０６ａを通過する第１の光束１２１４ａの重心と第２の瞳領域１２０６ｂを通過する第２の光束１２１４ｂの重心との間の射出瞳１２０５上における間隔に相当する。
【００５２】
式（６）は、換算係数Ｋを用いて、以下の式（７）のように簡略化することができる。
【数５】
2018189443.tif 000007
なお、デフォーカス量の算出方法は、上記のような手法に限定されるものではなく、他の公知の手法を適宜用いるようにしてもよい。
【００５３】
投影部（第１の投影部）１０２ａは、撮像部１１０１に対して光学的に共役な位置に配置されている。即ち、投影部１０２ａの射出瞳は、プリズムやハーフミラー等の光学素子１０６ａを介して、撮像部１１０１の入射瞳に対して光学的に共役な位置に配置されている。投影部（第２の投影部）１０２ｂは、撮像部１１０１に対して光学的に共役な位置に配置されている。即ち、投影部１０２ｂの射出瞳は、プリズムやハーフミラー等の光学素子１０６ｂを介して、撮像部１１０１の入射瞳に対して光学的に共役な位置に配置されている。このように、本実施形態では、撮像部１１０１に対して光学的に共役な位置に２つの投影部１０２ａ、１０２ｂが配されている。撮像部１１０１の視野の少なくとも一部と、投影部１０２ａ、１０２ｂの投影可能範囲の少なくとも一部とは、互いに重複している。投影部１０２ａ、１０２ｂの投影可能範囲は、撮像部１１０１の視野と一致しているか、撮像部１１０１の視野を包含していることが好ましい。
【００５４】
投影部１０２ａは、第１実施形態において上述した投影部１０２ａと同様に、投影可能範囲内の所望の領域にパターン光を投影し得る。投影部１０２ａは、単色のパターン光を投影することもできるし、カラーのパターン光を投影することもできる。
【００５５】
投影部（第２の投影部）１０２ｂは、投影部１０２ａによって投影されるパターン光とは異なるパターン光を投影し得る。例えば、投影部１０２ｂは、投影部１０２ａによって投影されるパターン光の波長（色）とは異なる波長のパターン光を投影し得る。例えば、投影部１０２ａによって可視光のパターン光が投影され、投影部１０２ｂによって近赤外域のパターン光が投影されるようにしてもよい。また、投影部１０２ｂは、投影部１０２ａによって投影されるパターン光の照度とは異なる照度のパターン光を投影し得る。例えば、投影部１０２ａによって投影されるパターン光に対して著しく照度の高いパターン光が投影部１０２ｂによって投影されるようにしてもよい。制御部１０４は、撮像部１１０１に対して光学的に共役な位置に配された他の投影部１０２ｂを用いてパターン光を投影した状態で撮像部１１０１によって取得される複数の画像にも基づいて距離を算出するように制御し得る。投影部１０２ａによって投影されるパターン光と他の投影部１０２ｂによって投影されるパターン光とは、波長又は照度が互いに異なっている。
【００５６】
投影部（第３の投影部）１０２ｃは、撮像部１１０１や投影部１０２ａ、１０２ｂに対して光学的に共役でない位置に配されている。制御部１０４は、パターン光を投影した状態で撮像部１１０１によって取得される複数の画像に基づいて距離を測定し得ない第２の領域の輝度が第２の閾値以上である場合には、以下のような制御を行い得る。即ち、制御部１０４は、投影部１０２ａとは異なる位置に配された他の投影部１０２ｃを用いて第２の領域にパターン光を投影し得る。そして、当該他の投影部１０２ｃを用いて第２の領域にパターン光を投影した状態で撮像部１１０１により取得される複数の画像に基づいて距離を測定するように制御を行い得る。
【００５７】
図１３は、本実施形態における撮像装置の動作を示すフローチャートである。
ステップＳ１３０１において、制御部１０４は、パターン光を投影していない状態で撮像部１１０１を用いて画像を取得する。
ステップＳ１３０２において、処理部１０３は、撮像部１１０１によって取得された第１の画像及び第２の画像、即ち、視差画像を用いて被写体１０５までの距離を算出する。被写体１０５のうちのテクスチャが存在する部分については、距離を良好に求め得る。一方、被写体１０５のうちのテクスチャが存在していない部分や繰り返しのテクスチャが存在している部分等については、距離を良好に求め得ない。処理部１０３は、被写体１０５のテクスチャの解析等を行うことにより、距離を良好に求め得ない領域に対して好適なパターン光を照射するための第１の投影制御情報（第１の領域照明情報）を生成する。
【００５８】
ステップＳ１３０３において、制御部１０４は、ステップＳ１３０２において生成した第１の投影制御情報に基づいて投影部（第１の投影部）１０２ａを用いてパターン光を投影した状態で、撮像部１１０１を用いて撮像を行う。
ステップＳ１３０４において、処理部１０３は、ステップＳ１３０３において取得された第１の画像と第２の画像との相関に基づいて、画像中の各箇所までの距離を求める距離測定を行う。処理部１０３は、ステップＳ１３０２において既に距離を良好に求め得た領域に対しても、距離測定を行う。パターン光を投射した状態で取得された視差画像に基づいて距離が算出されるため、ステップＳ１３０２において距離を良好に求め得た領域よりも広い領域において、距離を良好に求め得る。処理部１０３は、こうして取得した距離値に基づいて、距離値の２次元分布を示す距離画像を生成する。しかしながら、第１の投射制御情報に基づいたパターン光が投影された状態で取得される視差画像に基づいて距離を測定しても、距離を良好に求め得ない領域が存在する場合がある。例えば、被写体のうちの低反射率の領域は、パターン光を投影しても十分な反射光が得られないため、距離を良好に求め得ない場合がある。また、当該領域の色とパターン光の色との差異が十分でない場合には、パターン光を投影しても十分なテクスチャが当該領域に付与されず、距離を良好に求め得ない場合がある。また、当該領域において鏡面反射した光が撮像部１１０１に達する場合には、画素値（輝度）が飽和してしまうため、距離を良好に求め得ない。そこで、本実施形態では、以下のような処理が行われる。
【００５９】
ステップＳ１３０５において、処理部１０３は、距離を良好に求め得ない領域の画素値が予め設定された第１の閾値未満である否かを判定する。当該領域の画素値が第１の閾値未満である場合には、当該領域の反射率が極めて低いことや、ステップＳ１３０３において投影部１０２ａを用いて投影されたパターン光の色と当該領域の色との差異が十分でないことが考えられる。従って、この場合には（ステップＳ１３０５においてＹＥＳ）、ステップＳ１３０６に移行する。一方、当該領域の画素値が第１の閾値以上である場合には（ステップＳ１３０５においてＮＯ）、ステップＳ１３０９に移行する。
【００６０】
ステップＳ１３０６において、処理部１０３は、第２の投影制御情報を生成する。例えば、投影部（第２の投影部）１０２ｂによって大照度（大光量）のパターン光が当該領域に投影されるような第２の投影制御情報が形成される。また、処理部１０３は、ステップＳ１３０３において投影部１０２ａを用いて投影されたパターン光の色と十分に異なる色のパターン光が当該領域に投影されるような第２の投影制御情報を形成してもよい。このようなパターン光を当該領域に投影すれば、当該領域に十分なテクスチャを付することが可能となる。
【００６１】
ステップＳ１３０７において、制御部１０４は、ステップＳ１３０６において生成した第２の投影制御情報に基づいて投影部（第２の投影部）１０２ｂを用いてパターン光を投影した状態で、撮像部１１０１を用いて撮影する。
ステップＳ１３０８において、処理部１０３は、ステップＳ１３０７において取得された第１の画像と第２の画像との相関に基づいて、画像中の各箇所までの距離を求める距離測定を行う。処理部１０３は、既に距離を良好に求め得た領域に対しては、距離測定を改めて行ってもよいし、距離測定を改めて行わなくてもよい。第２の投射制御情報に基づいて投影部１０２ｂを用いてパターン光を投影した状態で取得される視差画像に基づいて距離が算出されるため、ステップＳ１３０４において良好に距離を求め得なかった領域においても、良好に距離を求め得る場合がある。例えば、当該領域の反射率が低い場合や、ステップＳ１３０３において投影部１０２ａを用いて投影されたパターン光の色と当該領域の色との差異が十分でない場合には、当該領域までの距離をステップＳ１３０８において良好に求め得る。処理部１０３は、新たに良好に取得し得た距離値を用いて、ステップＳ１３０４において生成した距離画像を更新する。こうして、より良好な距離画像が得られることとなる。
【００６２】
ステップＳ１３０９において、処理部１０３は、距離を良好に求め得ない領域の画素値が予め設定された第２の閾値以上である否かを判定する。なお、第２の閾値は、第１の閾値以上である。当該領域の画素値が第２の閾値以上である場合には、当該領域で鏡面反射した光が撮像部１１０１に達していると考えられる。従って、この場合には（ステップＳ１３０９においてＹＥＳ）、ステップＳ１３１０に移行する。一方、当該領域の画素値が第２の閾値未満である場合には（ステップＳ１３０９においてＮＯ）、図１３に示す処理を終了する。
【００６３】
ステップＳ１３１０において、処理部１０３は、第３の投影制御情報を生成する。処理部１０３は、撮像部１１０１に対して光学的に共役でない投影部（第３の投影部）１０２ｃによってパターン光が投影されるような第３の投影制御情報を生成する。撮像部１１０１に対して光学的に共役でない投影部１０２ｃ、即ち、投影部１０２ａに対して光学的に共役でない投影部１０２ｃによってパターン光を投影するようにすれば、当該領域において鏡面反射した光が撮像部１１０１に達するのを防止し得る。
ステップＳ１３１１において、制御部１０４は、ステップＳ１３１０において生成した第３の投影制御情報に基づいて投影部（第３の投影部）１０２ｃを用いてパターン光を投影した状態で、撮像部１１０１を用いて撮影する。
【００６４】
ステップＳ１３１２において、処理部１０３は、ステップＳ１３１１において取得された第１の画像と第２の画像との相関に基づいて、画像中の各箇所までの距離を求める距離測定を行う。処理部１０３は、既に距離を良好に求め得た領域に対しては、距離測定を改めて行ってもよいし、距離測定を改めて行わなくてもよい。第３の投射制御情報に基づいて投影部１０２ｃを用いてパターン光を投影した状態で取得される視差画像に基づいて距離が算出される。このため、ステップＳ１３０４やステップＳ１３０８において良好に距離を求め得なかった領域においても、良好に距離を求め得る場合がある。例えば、投影部１０２ａ、１０２ｂを用いて投影したパターン光が当該領域において鏡面反射して撮像部１１０１に達していた場合には、当該領域までの距離をステップＳ１３１２において良好に求め得る。処理部１０３は、既に生成した距離画像を新たに良好に取得し得た距離値を用いて更新する。こうして、より良好な距離画像が得られることとなる。
【００６５】
本実施形態によれば、第１の投影制御情報と異なる第２又は第３の投影制御情報に基づいて投影部１０２ｂ、１０２ｃを用いて投影されるパターン光を投影した状態で取得される視差画像に基づいて、距離値が求められる。このため、第１の投影制御情報に基づいて投影部１０２ａを用いて投影されるパターン光を投影した状態で取得される視差画像に基づいて距離値を良好に取得し得ない領域に対しても、良好に距離値を求めることができる。このため、本実施形態によれば、より良好に距離を測定することができる距離測定装置及びその距離測定装置を備えた撮像装置を提供することができる。
【００６６】
（変形例（その１））
本実施形態の変形例（その１）による距離測定装置、距離測定方法及び撮像装置について図１４を用いて説明する。図１４は、本変形例による撮像装置の動作を示すフローチャートである。本実施形態による撮像装置の構成は、図１１及び図１２を用いて上述した撮像装置の構成と同様である。ステップＳ１４０１において、制御部１０４は、投影部（第１の投影部）１０２ａの投影可能範囲の全域にパターン光を投影した状態で、撮像部１１０１を用いて撮像を行う。ステップＳ１４０２〜Ｓ１４１０は、図１３を用いて上述したステップＳ１３０４〜Ｓ１３１２と同様であるため、説明を省略する。パターン光を投影することなく距離を測定することが困難な環境下等においては、このようにして距離を測定するようにしてもよい。
【００６７】
（変形例（その２））
本実施形態の変形例（その２）による距離測定装置、距離測定方法及び撮像装置について図１５を用いて説明する。図１５は、本変形例による撮像装置を示すブロック図である。図１５に示すように、本変形例による撮像装置１５００は、距離測定装置１５０３を備えている。距離測定装置１５０３は、２つの撮像部１１０１、１５０１と、３つの投影部１０２ａ〜１０２ｃと、処理部１０３と、制御部１０４と、光学素子１０６ａ、１０６ｂと、メモリ１０８とを備えている。
【００６８】
撮像部１５０１は、撮像部１１０１に対して光学的に共役な位置に配置されている。即ち、撮像部１５０１の入射瞳は、プリズムやハーフミラー等の光学素子１５０２を介して、撮像部１１０１の入射瞳に対して光学的に共役な位置に配置されている。撮像部１５０１は、撮像部１５０１には、撮像素子１５０４が備えられている。また、撮像部１５０１には、撮像光学系（レンズ、レンズユニット）１５０５が備えられる。撮像光学系１５０５は、撮像光学系１２０７と同様に、射出瞳が互いに異なる第１の瞳領域と第２の瞳領域に分割されるように構成された撮像光学系、即ち、瞳分割光学系である。撮像光学系１５０５は、撮像部１５０１の本体から着脱可能であってもよいし着脱不能であってもよい。撮像部１５０１には、撮像部１１０１と同様に、撮像素子１５０４が備えられている。撮像素子１５０４は、撮像素子１２０２と同様に、撮像光学系１５０５の第１の瞳領域と第２の瞳領域とをそれぞれ通過する第１の光束と第２の光束によって形成される複数の光学像、即ち、第１の光学像と第２の光学像とを取得し得る。撮像部１５０１の撮影感度は、撮像部１１０１の撮影感度と異なっている。撮像部１１０１の撮影感度は例えば比較的低く設定されている。一方、撮像部１５０１の撮影感度は例えば比較的高くに設定されている。撮像部１１０１の撮影感度が比較的低く設定されているため、撮像部１１０１によって取得される視差画像に基づいて距離を測定すれば、被写体の輝度が比較的高い場合であっても距離を良好に測定し得る。一方、撮像部１５０１の撮影感度が比較的高く設定されているため、撮像部１１０１によって取得される視差画像に基づいて距離を測定すれば、被写体の輝度が比較的低い場合であっても距離を良好に測定し得る。そして、これらの結果を適宜用いて距離画像を生成すれば、良好な距離画像を得ることができる。
【００６９】
なお、ここでは、撮像部１１０１の撮影感度と撮像部１５０１の撮影感度とを異ならせる場合を例に説明したが、これに限定されるものではない。例えば、撮像部１１０１の撮影波長域と撮像部１５０１の撮影波長域とを異ならせてもよい。撮像部１１０１の撮影波長域は、例えば可視光域とする。撮像部１５０１の撮影波長域は、例えば近赤外域とする。処理部１０３は、撮像部１１０１によって取得される視差画像を用いて距離測定を行う。また、処理部１０３は、撮像部１５０１によって取得される視差画像を用いて距離測定を行う。そして、これらの結果を適宜用いて距離画像を生成すれば、良好な距離画像を得ることができる。
【００７０】
［第３実施形態］
本実施形態による距離測定装置、距離測定方法及び撮像装置について図１６を用いて説明する。図１６は、本実施形態による撮像装置を示すブロック図である。図１乃至図１５に示す第１又は第２実施形態による撮像装置等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
【００７１】
図１６に示すように、本実施形態による撮像装置１６００は、距離測定装置１６０１を備えている。距離測定装置１６０１は、３つの撮像部１０１ａ〜１０１ｃと、３つの投影部１０２ａ、１０２ｃ、１０２ｄと、処理部１０３と、制御部１０４と、光学素子１０６、１０６ｂと、メモリ１０８とを備えている。撮像部１０１ｃの構成は、図１を用いて上述した撮像部１０１ａ、１０１ｂの構成と同様である。撮像部１０１ａ〜１０１ｃは、互いに異なる位置に配されており、互いに異なる視点から撮影を行う。本実施形態によれば、互いに異なる位置に配された３つの撮像部１０１ａ〜１０１ｃを用いて画像を取得するため、互いに視差が生じている３つの画像が得られる。３つの撮像部を用いた撮影は、３眼ステレオ視とも称される。撮像部（第３の撮像部）１０１ｃには、不図示の撮像面に不図示の複数の画素がマトリクス状に配された撮像素子（イメージセンサ）１０９ｃが備えられている。撮像部１０１ｃには、撮像光学系（レンズユニット）１１０ｃが備えられている。撮像光学系１１０ｃは、撮像部１０１ｃから着脱不能であってもよいし着脱可能であってもよい。撮像部１０１ｃは、被写体１０５を撮影することによって第１の画像（第３の画像データ）を取得する。
【００７２】
投影部１０２ａは、撮像部１０１ａに対して光学的に共役な位置に配置されている。即ち、投影部１０２ａの射出瞳は、プリズムやハーフミラー等の光学素子１０６ａを介して、撮像部１０１ａの入射瞳に対して光学的に共役な位置に配置されている。投影部１０２ｄは、撮像部１０１ｂに対して光学的に共役な位置に配置されている。即ち、投影部１０２ｃの射出瞳は、プリズムやハーフミラー等の光学素子１０６ｃを介して、撮像部１０１ｂの入射瞳に対して光学的に共役な位置に配置されている。
【００７３】
制御部１０４は、投影部１０２ａを用いて所望の領域にパターン光を投影した状態で、撮像部１０１ａ〜１０１ｃを用いて撮像を行い、互いに視差が生じている３つの画像からなる第１の視差画像を取得する。
また、制御部１０４は、投影部１０２ｃを用いて所望の領域にパターン光を投影した状態で、撮像部１０１ａ〜１０１ｃを用いて撮像を行い、互いに視差が生じている３つの画像からなる第２の視差画像を取得する。
【００７４】
第１の視差画像を取得する際には、第１の視差画像を取得するために最適なパターン光が投影部１０２ａから投影される。第２の視差画像を取得する際には、第２の視差画像を取得するために最適なパターン光が投影部１０２ｄから投影される。第１の視差画像を取得する際に投影部１０２ａによって投影されるパターン光と、第２の視差画像を取得する際に投影部１０２ｄによって照射されるパターン光とは互いに異なっている。
【００７５】
処理部１０３は、第１の視差画像に基づいて、例えばマルチベースラインステレオ法により、距離を測定する。また、処理部１０３は、第２の視差画像に基づいて、例えばマルチベースラインステレオ法により、距離を測定する。そして、処理部１０３は、これらの結果を適宜用いて距離画像を生成する。本実施形態によれば、互いに視差が生じている３つの画像を用いて距離が測定されるため、より高精度に距離を測定することができる。
【００７６】
［変形実施形態］
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、第１実施形態において、撮像部１０１ａ、撮像部１０１ｂ、光学素子１０６ａ、投影部１０２ａ、処理部１０３、制御部１０４等が、撮像装置１００の不図示のボディ内に備えられていてもよい。
【００７７】
また、第２実施形態では、撮像部１１０１と別個に処理部１０３や制御部１０４が配されている場合を例に説明したが、これに限定されるものではない。例えば、撮像部１１０１のボディ１２１６内に、処理部１０３、制御部１０４、光学素子１０６ａ，１０６ｂ、投影部１０２ａ〜１０２ｃ等が備えられていてもよい。
また、第３実施形態において、撮像部１０１ａ〜１０１ｃ、光学素子１０６ａ、１０６ｃ、投影部１０２ａ、１０２ｃ、１０２ｄ、処理部１０３、制御部１０４等が、撮像装置１６００の不図示のボディ内に備えられていてもよい。
【００７８】
また、上記実施形態では、処理部（演算部）１０３と制御部１０４とが別個に備えられている場合を例に説明したが、これに限定されるものではない。処理部１０３と制御部１０４とが一体になっていてもよい。処理部１０３を制御部の一部と捉えることもできる。制御部１０４や処理部１０３をシステムＬＳＩ等によって構成するようにしてもよい。
また、被写体の有無、被写体の位置、被写体の領域等を検出する手法は、上記実施形態に限定されるものではない。例えば、画像における輝度の変化や色の変化等に基づいて、被写体の位置、被写体の領域等を検出するようにしてもよい（特許文献３参照）。また、距離情報に基づいて、被写体の有無、被写体の位置、被写体の領域等を検出するようにしてもよい（特許文献４参照）。また、輝度勾配の変化に基づいて、被写体の有無、被写体の位置、被写体の領域等を検出するようにしてもよい（特許文献５参照）。また、Ｋ−ｍｅａｎｓクラスタリング等を用いて、被写体の位置、被写体の領域等を検出するようにしてもよい（非特許文献３）。
【００７９】
また、上記実施形態において、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）のような特徴量算出方法を補助的に行い、これにより得られた情報を補助的に用いて、被写体の領域等を更に精密に求めるようにしてもよい。例えば、ＳＩＦＴ特徴量を更にＢｏＦ（Ｂｕｇ  Ｏｆ  Ｆｅａｔｕｒｅｓ）特徴に集約し、かかるＢｏＦ特徴を用いて被写体の領域を精密に求めるようにしてもよい。また、ＢｏＦ特徴のような多次元特徴量を、主被写体の有無の判定や、主被写体らしさの判定等に用いるようにしてもよい（非特許文献４）。また、ニューラルネットワーク、ディープラーニング、多分木等の識別器に、主被写体候補のオブジェクトの像から抽出した多次元特徴量を、撮像装置のメーカやユーザが事前に学習させておいてもよい。そして、画像から抽出した多次元特徴量に対して検索を実行し、主被写体らしさの尤度を算出するようにしてもよい。これにより、メーカやユーザが主被写体と考える任意の被写体を、柔軟に主被写体として認識することが可能となる。また、Ｇｒａｐｈ  Ｃｕｔ等の技術を補助的に用いて、被写体の領域を検出するようにしてもよい。また、時間方向における領域情報の変化を、境界の検出精度の向上に利用するようにしてもよい。
また、第３実施形態では、３つの撮像部が備えられている場合を例に説明したが、４つ以上の撮像部が備えられていてもよい。
【００８０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８１】
１００…撮像装置
１０１ａ〜１０１ｃ…撮像部
１０２ａ〜１０２ｄ…投影部
１０３…処理部
１０４…制御部
１０５…被写体
【図１】
2018189443.tif 000008
【図２】
2018189443.tif 000009
【図３】
2018189443.tif 000010
【図４】
2018189443.tif 000011
【図５】
2018189443.tif 000012
【図６】
2018189443.tif 000013
【図７】
2018189443.tif 000014
【図８】
2018189443.tif 000015
【図９】
2018189443.tif 000016
【図１０】
2018189443.tif 000017
【図１１】
2018189443.tif 000018
【図１２−１】
2018189443.tif 000019
【図１２−２】
2018189443.tif 000020
【図１３】
2018189443.tif 000021
【図１４】
2018189443.tif 000022
【図１５】
2018189443.tif 000023
【図１６】
2018189443.tif 000024