(57)【要約】【課題】  被写体までの距離を精度良く算出できる画像処理装置を実現する。【解決手段】  実施形態によれば、画像処理装置は、取得部と、処理部とを具備する。前記取得部は、第１波長帯域の光を透過する第１フィルタ領域と、第２波長帯域の光を透過する第２フィルタ領域とを備え、前記第１波長帯域と前記第２波長帯域は共通の波長帯域を含むフィルタ部を通過した光を受光するイメージセンサを有する撮像装置を用いて撮像された、キャリブレーションのための第１被写体が撮像された第１画像と、第２被写体が撮像された第２画像とを取得する。前記処理部は、前記イメージセンサを用いて、キャリブレーションのための第１被写体が撮像された第１画像と、第２被写体が撮像された第２画像とを取得し、前記第１画像と前記第２画像とを用いて前記第２被写体までの距離を算出する。【選択図】  図８
2020041973.tif 000002
【特許請求の範囲】
【請求項１】
第１波長帯域の光を透過する第１フィルタ領域と、第２波長帯域の光を透過する第２フィルタ領域とを備え、前記第１波長帯域と前記第２波長帯域は共通の波長帯域を含むフィルタ部を通過した光を受光するイメージセンサを有する撮像装置を用いて撮像された、キャリブレーションのための第１被写体が撮像された第１画像と、第２被写体が撮像された第２画像とを取得する取得部と、
前記第１画像と前記第２画像とを用いて前記第２被写体までの距離を算出する処理部とを具備する画像処理装置。
【請求項２】
前記処理部は、前記第１画像を用いて前記フィルタ部の向きを算出し、前記フィルタ部の向きと前記第２画像とを用いて前記第２被写体までの距離を算出する請求項１記載の画像処理装置。
【請求項３】
前記処理部は、
前記フィルタ部の向きに基づいて前記第２画像を回転した補正画像を生成し、
前記補正画像を用いて前記第２被写体までの距離を算出する請求項２記載の画像処理装置。
【請求項４】
前記処理部は、前記撮像装置を用いて取得された画像上のぼけを補正するためのぼけ補正フィルタと前記補正画像とを用いて、前記第２被写体までの距離を算出する請求項３記載の画像処理装置。
【請求項５】
前記処理部は、
前記フィルタ部の向きに基づいて、前記撮像装置を用いて取得された画像上のぼけを補正するためのぼけ補正フィルタを変更し、
変更された前記ぼけ補正フィルタと前記第２画像とを用いて、前記第２被写体までの距離を算出する請求項２記載の画像処理装置。
【請求項６】
前記第１被写体は、１つ以上の円形または多角形の要素を含むキャリブレーションチャートである請求項１記載の画像処理装置。
【請求項７】
前記第１被写体は、複数の円形または多角形の要素が等間隔で配置されたキャリブレーションチャートである請求項１記載の画像処理装置。
【請求項８】
請求項１乃至請求項７のいずれか一項に記載の画像処理装置と、
前記撮像装置とを具備する測距装置。
【請求項９】
前記撮像装置は、前記第１フィルタ領域を透過した光と前記第２フィルタ領域を透過した光とが通過する１つ以上のレンズを備えるレンズユニットをさらに具備し、
前記フィルタ部から前記レンズユニット内の開口部までの距離は、前記フィルタ部側の前記レンズユニットの端部から前記開口部までの距離よりも長い請求項８記載の測距装置。
【請求項１０】
前記撮像装置は、
前記フィルタ部を保持するフィルタ枠と、
前記フィルタ枠に連結し、前記レンズユニットの第１端部に着脱可能に取り付けられる取り付け部とをさらに具備し、
前記取り付け部が前記レンズユニットの前記第１端部に取り付けられた場合、前記フィルタ部から前記レンズユニット内の開口部までの距離は、前記第１端部から前記開口部までの距離よりも長い請求項９記載の測距装置。
【請求項１１】
前記フィルタ枠は、前記フィルタ部の向きを調節するために光軸を中心として回転自在である請求項１０記載の測距装置。
【請求項１２】
前記撮像装置は、前記フィルタ枠を前記取り付け部に対して固定する固定部をさらに具備する請求項１１記載の測距装置。
【請求項１３】
前記フィルタ枠は円筒形状を有し、
前記取り付け部は、前記フィルタ枠の少なくとも一部を囲む円筒形状を有する請求項１０乃至請求項１２のいずれか一項に記載の測距装置。
【請求項１４】
前記固定部は、ネジとロックリングの少なくとも一方を備える請求項１２記載の測距装置。
【請求項１５】
前記固定部は、前記レンズユニットが取り付けられたカメラ本体、または前記レンズユニットを備える電子機器の筐体を挟み込むクリップ形状を有する請求項１２記載の測距装置。
【請求項１６】
前記撮像装置は、レンズフードが着脱可能に取り付けられる第２取り付け部を備えるレンズフード枠をさらに具備し、
前記レンズフード枠は、前記第２取り付け部に取り付けられたレンズフードの向きを調節するために光軸を中心として回転自在である請求項８記載の測距装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置および測距装置に関する。
【背景技術】
【０００２】
２つのカメラやステレオカメラ（複眼のカメラ）で画像を撮像し、その画像から被写体までの距離を取得する技術が知られている。また近時、１つのカメラ（単眼のカメラ）で撮像された画像から被写体までの距離を取得する技術が提案されている。
【０００３】
１つのカメラで撮像された画像から被写体までの距離を取得する方法として、開口部にカラーフィルタが配置されたカメラを用いる方法がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１０２７３３号公報
【特許文献２】特開２０１７−４０６４２号公報
【特許文献３】特開２０１２−２８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カメラは１つ以上のレンズを含むレンズユニットを備え、開口部はそのレンズユニットの内部に位置する。そのため市販のカメラ内の開口部にカラーフィルタを配置することは困難であり、また開口部に一旦配置されたカラーフィルタの向きを変更することも困難である。
【０００６】
本発明が解決しようとする課題は、被写体までの距離を精度良く算出できる画像処理装置および測距装置を提供することである。
【課題を解決するための手段】
【０００７】
実施形態によれば、画像処理装置は、取得部と、処理部とを具備する。前記取得部は、第１波長帯域の光を透過する第１フィルタ領域と、第２波長帯域の光を透過する第２フィルタ領域とを備え、前記第１波長帯域と前記第２波長帯域は共通の波長帯域を含むフィルタ部を通過した光を受光するイメージセンサを有する撮像装置を用いて撮像された、キャリブレーションのための第１被写体が撮像された第１画像と、第２被写体が撮像された第２画像とを取得する。前記処理部は、前記イメージセンサを用いて、キャリブレーションのための第１被写体が撮像された第１画像と、第２被写体が撮像された第２画像とを取得し、前記第１画像と前記第２画像とを用いて前記第２被写体までの距離を算出する。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る画像処理装置および撮像装置を含む測距装置の一構成例を示すブロック図。
【図２】図１の撮像装置に設けられるフィルタの一構成例を示す図。
【図３】図２のフィルタが有する透過率特性の例を示す図。
【図４】図１の撮像装置における光線変化と撮像画像上のぼけ形状との関係の例を説明するための図。
【図５】図１の撮像装置による撮像画像上のぼけを利用して、被写体までの距離を算出する方法の例を説明するための図。
【図６】図１の測距装置によって実行される測距処理の手順の例を示すフローチャート。
【図７】図１の撮像装置に設けられるフィルタユニットおよびレンズユニットの構成の例を示す断面図。
【図８】図１の撮像装置の構造の例を示す斜視図。
【図９】図１の撮像装置に設けられるフィルタユニットにおいて、止めネジを用いてフィルタの向きが固定される例を示す斜視図。
【図１０】図１の撮像装置に設けられるフィルタユニットにおいて、ロックリングを用いてフィルタの向きが固定される例を示す斜視図。
【図１１】図１の撮像装置の構造の別の例を示す斜視図。
【図１２】図１の測距装置に設けられる画像処理部の機能構成の例を示すブロック図。
【図１３】図１の撮像装置によって撮像されるキャリブレーションチャートの例を示す図。
【図１４】図１の撮像装置を用いて図１３のキャリブレーションチャートを撮像した場合に取得される第１画像の例を示す図。
【図１５】図１の測距装置によって、図１４の第１画像と測距対象の被写体が撮像された第２画像とを用いて当該被写体までの距離が算出される例を説明するための図。
【図１６】図１４の第１画像からフィルタの向きが算出される例を示す図。
【図１７】図１の測距装置によって実行されるキャリブレーション処理の手順の例を示すフローチャート。
【図１８】図１の測距装置によって実行される、フィルタの向きに関する補正機能を有する測距処理の手順の別の例を示すフローチャート。
【図１９】図１の測距装置によって、図１４の第１画像と測距対象の被写体が撮像された第２画像とを用いて当該被写体までの距離が算出される別の例を説明するための図。
【図２０】図１の撮像装置を用いて取得されたキャリブレーションチャートの画像から、撮像装置の画角が算出される例を示す図。
【図２１】図１の撮像装置を用いて傾いたキャリブレーションチャートの画像が取得された場合に、当該画像が補正される例を示す図。
【図２２】図１の撮像装置を用いて取得された画像上のぼけからフィルタの位置ずれ検出される例を示す図。
【図２３】図１の撮像装置を用いて取得された画像に、フィルタ枠の影が写り込んでいる例を示す図。
【図２４】図１の撮像装置の構造の別の例を示す斜視図。
【図２５】図１の撮像装置に設けられたディスプレイに表示されるガイド画面の例を示す図。
【図２６】図１の撮像装置の構造のさらに別の例を示す斜視図。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照して説明する。
【００１０】
（第１実施形態）  
まず、図１を参照して、第１実施形態に係る撮像装置を備える測距装置の構成を説明する。この測距装置１は、画像を撮像し、撮像された画像を用いて被写体の位置を実スケールで推定する。推定される被写体の位置は、撮像地点から被写体までの距離（奥行きとも称する）を少なくとも含み、例えば、三次元空間の座標として表される。
【００１１】
この測距装置１は、画像を撮像する撮像部１１と、撮像された画像を処理する画像処理部１２とを備える。測距装置１は、撮像部１１と画像処理部１２とを備える１つの装置として実現されてもよいし、撮像部１１に相当する撮像装置と、画像処理部１２に相当する画像処理装置とのような複数の装置で構成されるシステムとして実現されてもよい。あるいは、撮像装置１１が画像処理部１２をさらに備えていてもよい。撮像部１１は、被写体の画像と当該被写体までの距離に関する情報とを一度の撮影で取得する機能を有する。撮像部１１は、この機能により、例えば撮像時の被写体までの距離情報が符号化された画像を取得する。また、画像処理部１２は、例えば、コンピュータ、または各種電子機器に内蔵される組み込みシステムとして実現され得る。画像処理部１２は、撮像部１１により撮像された１つ以上の画像を用いて、被写体の三次元情報（例えば、被写体の三次元座標、被写体までの距離等）を生成する機能を有している。
【００１２】
測距装置１はディスプレイ１３をさらに備えていてもよい。画像処理部１２はディスプレイ１３に映像信号を送出し、ディスプレイ１３はその映像信号に基づく画面画像を表示する。表示される画面画像には、撮像画像が含まれていてもよいし、撮像画像を処理することにより得られた様々な情報が含まれていてもよい。
【００１３】
図１に示すように、撮像部１１は、フィルタユニット２とレンズユニット（例えばレンズ鏡筒）３とイメージセンサ４１とを備える単眼カメラによって構成され得る。レンズユニット３の一端は、イメージセンサ４１を備えるカメラ本体に対して着脱自在である。フィルタユニット２は、レンズユニット３の他端に対して着脱自在である。撮像部１１は、イメージセンサ４１を備えるカメラ本体にレンズユニット３の一端が直接的にまたは間接的に装着され、レンズユニット３の他端にフィルタユニット２が直接的にまたは間接的に取り付けられて構成されてもよい。
【００１４】
カメラ本体とレンズユニット３とは、機械的および光学的に結合する嵌合構造であるマウントを備え得る。例えば、カメラ本体側のマウント（レンズマウントとも称する）と、レンズユニット３側のマウント（ボディマウントとも称する）とが対応する形状を有している場合、レンズマウントとボディマウントとを結合することによりカメラ本体にレンズユニット３が装着される。マウントの装着形態には例えばねじ込み式（スクリューマウント）とバヨネット式とがあり、いずれの装着形態であってもよい。
【００１５】
また例えば、カメラ本体側のレンズマウントとレンズユニット３側のボディマウントとが対応する形状を有していない場合、これら形状を媒介するマウントアダプタを用いてカメラ本体にレンズユニット３の一端が間接的に装着される。つまり、カメラ本体にレンズユニット３の一端が間接的に装着されるとは、例えば、カメラ本体にマウントアダプタが装着され、このマウントアダプタにレンズユニット３の一端が取り付けられることを意味する。
【００１６】
また、レンズユニット３の他端にフィルタユニット２が間接的に取り付けられるとは、例えば、レンズユニット３の他端にフィルタユニット２とは別のフィルタが取り付けられ、その別のフィルタにフィルタユニット２が取り付けられることを意味する。
【００１７】
フィルタユニット２は、互いに異なる波長帯域の光（例えば互いに異なる色成分の光）を透過する複数のフィルタ領域を含む光学フィルタ２１（以下、単にフィルタとも称する）を備える。複数の波長帯域の一部は重複していてもよい。フィルタ２１は、例えば２色のカラーフィルタ領域である第１フィルタ領域２１１と第２フィルタ領域２１２とで構成される。例えば、第１フィルタ領域２１１は第１波長帯域の光を透過する。第２フィルタ領域２１２は第２波長帯域の光を透過する。第１波長帯域と第２波長帯域は共通の波長帯域を含む。  
レンズユニット３は１つ以上のレンズ３１を備える。
【００１８】
イメージセンサ４１は、フィルタ２１とレンズ３１とを透過（通過）した光を受光し、受光した光を電気信号に変換（光電変換）する。イメージセンサ４１には、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が用いられる。イメージセンサ４１は、少なくとも二種類の撮像素子を含み、例えば、赤色（Ｒ）の光を受光する撮像素子を含む第１センサ４１１と、緑色（Ｇ）の光を受光する撮像素子を含む第２センサ４１２と、青色（Ｂ）の光を受光する撮像素子を含む第３センサ４１３とを備える。各撮像素子は、対応する波長帯域の光を受光し、受光した光を電気信号に変換する。この電気信号をＡ／Ｄ変換することによりカラー画像を生成することができる。以下では、画像のＲ成分、Ｇ成分、Ｂ成分である色成分画像（波長成分画像とも称する）を、それぞれＲ画像、Ｇ画像、Ｂ画像とも称する。なお、赤色、緑色、青色の撮像素子毎の電気信号を用いて、Ｒ画像、Ｇ画像、Ｂ画像をそれぞれ生成することもできる。つまり、撮像部１１は、一度の撮像（ワンショット）で、カラー画像、Ｒ画像、Ｇ画像、およびＢ画像の少なくとも１つを生成することができる。
【００１９】
次いで図２はフィルタ２１の構成の例を示す。フィルタ２１は互いに異なる光の波長帯域（色成分）を透過する複数のフィルタ領域を有し、２つ以上のフィルタ領域は撮像装置１１（レンズ３１）の光学中心２１３に対して非点対称な形状である。フィルタ２１は、例えば二色のカラーフィルタ領域である第１フィルタ領域２１１と第２フィルタ領域２１２とで構成される。フィルタ２１の中心は撮像装置１１の光学中心２１３と一致している。第１フィルタ領域２１１および第２フィルタ領域２１２はそれぞれ、光学中心２１３に対して非点対称である形状を有している。また例えば、２つのフィルタ領域２１１，２１２は重複せず、且つ２つのフィルタ領域２１１，２１２によってフィルタ２１の全領域を構成している。
【００２０】
図２に示す例では、第１フィルタ領域２１１および第２フィルタ領域２１２はそれぞれ、円形のフィルタ２１が光学中心２１３を通る線分（境界線とも称する）２１４で分割された半円の形状を有している。第１フィルタ領域２１１はイメージセンサ４１で受光される光の色（例えば赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ））の内、第１の組み合わせの複数色（例えば赤色および緑色）を透過する。第２フィルタ領域２１２はイメージセンサ４１で受光される光の色の内、第１の組み合わせとは異なる第２の組み合わせの複数色（例えば青色および緑色）を透過する。したがって、第１フィルタ領域２１１と第２フィルタ領域２１２とからなるフィルタ２１の全面は共通の光の色（例えば緑色）を透過する。第１フィルタ領域２１１は、例えばイエロー（Ｙ）のフィルタ領域であり、第２フィルタ領域２１２は、例えばシアン（Ｃ）のフィルタ領域である。なお、第１フィルタ領域２１１がマゼンタ（Ｍ）のフィルタ領域であって、第２フィルタ領域２１２がイエロー（Ｙ）のフィルタ領域であってもよい。さらに、第１フィルタ領域２１１がシアン（Ｃ）のフィルタ領域であって、第２フィルタ領域２１２がマゼンタ（Ｍ）のフィルタ領域であってもよい。
【００２１】
各カラーフィルタが透過する波長帯域は異なる。１つのフィルタ領域が透過する光の波長帯域の一部と、別の１つのカラーフィルタ領域が透過する光の波長帯域の一部は、例えば重複する。１つのカラーフィルタ領域が透過する光の波長帯域は、例えば別の１つのカラーフィルタ領域が透過する光の波長帯域を含んでもよい。
【００２２】
なお、第１フィルタ領域２１１と第２フィルタ領域２１２とは、任意の波長帯域の透過率を変更するフィルタ、任意方向の偏光光を通過させる偏光フィルタ、または任意の波長帯域の集光パワーを変更するマイクロレンズであってもよい。例えば、任意の波長帯域の透過率を変更するフィルタは、原色フィルタ（ＲＧＢ）、補色フィルタ（ＣＭＹ）、色補正フィルタ（ＣＣ−ＲＧＢ／ＣＭＹ）、赤外線・紫外線カットフィルタ、ＮＤフィルタ、または遮蔽板であってもよい。第１フィルタ領域２１１や第２フィルタ領域２１２がマイクロレンズである場合は、レンズにより光線の集光の分布に偏りが生じることでぼけの形状が変化する。
【００２３】
以下では説明を分かりやすくするために、図２に示すフィルタ２１において、第１フィルタ領域２１１がイエロー（Ｙ）のフィルタ領域であり、第２フィルタ領域２１２がシアン（Ｃ）のフィルタ領域である場合を主に例示する。
【００２４】
図２に示したフィルタ２１が、例えばカメラの開口部に配置されることにより、開口部が２色で二分割された構造開口であるカラー開口が構成される。このカラー開口を透過する光線に基づいて、イメージセンサ４１は画像を生成する。イメージセンサ４１に入射する光の光路上において、フィルタ２１とイメージセンサ４１との間にレンズ３１が配置されてもよい。イメージセンサ４１に入射する光の光路上において、レンズ３１とイメージセンサ４１との間にフィルタ２１が配置されてもよい。レンズ３１が複数設けられる場合、フィルタ２１は２つのレンズ３１の間に配置されてもよい。
【００２５】
第２センサ４１２に対応する波長帯域の光は、イエローの第１フィルタ領域２１１とシアンの第２フィルタ領域２１２の両方を透過する。第１センサ４１１に対応する波長帯域の光は、イエローの第１フィルタ領域２１１を透過し、シアンの第２フィルタ領域２１２を透過しない。第３センサ４１３に対応する波長帯域の光は、シアンの第２フィルタ領域２１２を透過し、イエローの第１フィルタ領域２１１を透過しない。
【００２６】
なお、ある波長帯域の光がフィルタまたはフィルタ領域を透過するとは、フィルタまたはフィルタ領域が高い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰（すなわち、光量の低下）が極めて小さいことを意味する。また、ある波長帯域の光がフィルタまたはフィルタ領域を透過しないとは、光がフィルタまたはフィルタ領域に遮蔽されることであり、例えば、フィルタまたはフィルタ領域が低い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰が極めて大きいことを意味する。例えばフィルタまたはフィルタ領域は、ある波長帯域の光を吸収することにより光を減衰させる。
【００２７】
図３は、第１フィルタ領域２１１および第２フィルタ領域２１２の透過率特性の例を示す。なお、可視光の波長帯域のうち７００ｎｍより長い波長の光に対する透過率は図示を省略してあるが、その透過率は７００ｎｍの場合に近いものである。図３に示すイエローの第１フィルタ領域２１１の透過率特性２１５では、波長帯域が６２０ｎｍから７５０ｎｍ程度のＲ画像に対応する光と、波長帯域が４９５ｎｍから５７０ｎｍ程度のＧ画像に対応する光とが高い透過率で透過され、波長帯域が４５０ｎｍから４９５ｎｍ程度のＢ画像に対応する光がほとんど透過されていない。また、シアンの第２フィルタ領域２１２の透過率特性２１６では、Ｂ画像およびＧ画像に対応する波長帯域の光が高い透過率で透過され、Ｒ画像に対応する波長帯域の光がほとんど透過されていない。
【００２８】
したがって、Ｒ画像（第１センサ４１１）に対応する波長帯域の光はイエローの第１フィルタ領域２１１のみを透過し、Ｂ画像（第３センサ４１３）に対応する波長帯域の光はシアンの第２フィルタ領域２１２のみを透過する。Ｇ画像（第２センサ４１２）に対応する波長帯域の光は、第１フィルタ領域２１１と第２フィルタ領域２１２を透過する。
【００２９】
このようなＲ画像、Ｂ画像およびＧ画像上のぼけの形状は被写体までの距離ｄに応じて、より詳細には距離ｄと合焦距離ｄｆとの差分に応じて変化する。合焦距離ｄｆは、撮像位置から、画像上にぼけが発生しない（すなわちピントが合う）合焦位置までの距離である。また、各フィルタ領域２１１，２１２が光学中心２１３に対して非点対称な形状であるので、Ｒ画像上およびＢ画像上のぼけの形状は、被写体が合焦距離ｄｆよりも手前にあるか、それとも奥にあるかによって異なり、また偏っている。Ｒ画像上およびＢ画像上のぼけの偏りの方向は、撮像位置から見て、被写体が合焦距離ｄｆよりも手前にあるか、それとも奥にあるかによってそれぞれ反転する。
【００３０】
図４を参照して、フィルタ２１を備える撮像部１１における光線変化と撮像画像上のぼけ形状との関係について説明する。  
被写体２１０が合焦距離ｄｆよりも奥にある場合（ｄ＞ｄｆ）、イメージセンサ４１によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）は、Ｒ画像、Ｇ画像およびＢ画像でそれぞれ異なっている。例えば、Ｒ画像のぼけ関数２０１Ｒは左側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数２０１Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数２０１Ｂは右側に偏ったぼけの形状を示している。
【００３１】
また、被写体２１０が合焦距離ｄｆにある場合（ｄ＝ｄｆ）、イメージセンサ４１によって撮像された画像にはほとんどぼけが発生しない。この画像のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像およびＢ画像でほぼ同じである。すなわち、Ｒ画像のぼけ関数２０１Ｒ、Ｇ画像のぼけ関数２０１Ｇ、およびＢ画像のぼけ関数２０１Ｂは、偏りのないぼけの形状を示している。
【００３２】
また、被写体２１０が合焦距離ｄｆよりも手前にある場合（ｄ＜ｄｆ）、イメージセンサ４１によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像およびＢ画像でそれぞれ異なっている。すなわち、Ｒ画像のぼけ関数２０１Ｒは右側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数２０１Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数２０１Ｂは左側に偏ったぼけの形状を示している。
【００３３】
このように、被写体２１０が合焦距離ｄｆよりも手前または奥にある場合、イエローの第１フィルタ領域２１１を透過した光線に基づくＲ画像のぼけ関数２０１Ｒ，２０３Ｒは非対称であり、またシアンの第２フィルタ領域２１２を透過した光線に基づくＢ画像のぼけ関数２０１Ｂ，２０３Ｂも非対称である。そして、そのＲ画像のぼけ関数２０１Ｒ，２０３Ｒは、Ｂ画像のぼけ関数２０１Ｂ，２０３Ｂとは異なっている。
【００３４】
図５はこのような画像上のぼけを利用して被写体２１０までの距離を算出（推定）する方法を示す。図５に示す例では、フィルタ２１はイエローの第１フィルタ領域２１１とシアンの第２フィルタ領域２１２とによって構成されている。そのため、Ｒ画像に対応する波長帯域の光が第１フィルタ領域２１１に対応する部分５１Ｒを通過し、Ｇ画像に対応する波長帯域の光が第１フィルタ領域２１１および第２フィルタ領域２１２に対応する部分５１Ｇを通過し、Ｂ画像に対応する波長帯域の光が第２フィルタ領域２１２に対応する部分５１Ｂを通過する。
【００３５】
このようなフィルタ２１を用いて撮像された画像上にぼけが生じた場合、Ｒ画像、Ｇ画像およびＢ画像上のぼけはそれぞれ異なる形状になる。図５に示すように、Ｇ画像のぼけ関数５２Ｇは左右対称であるぼけの形状を表している。また、Ｒ画像のぼけ関数５２ＲおよびＢ画像のぼけ関数５２Ｂは非点対称であるぼけの形状を表し、ぼけの偏りはそれぞれ異なっている。
【００３６】
Ｒ画像のぼけ関数５２ＲおよびＢ画像のぼけ関数５２Ｂには、Ｒ画像およびＢ画像上の非点対称なぼけを左右対称なぼけに補正するためのぼけ補正フィルタ５３，５４が適用され、ぼけ補正フィルタ５３、５４が適用された後のぼけ関数がＧ画像のぼけ関数５２Ｇと一致するかどうかが判定される。ぼけ補正フィルタ５３，５４は複数用意されており、複数のぼけ補正フィルタ５３、５４のそれぞれは、被写体との複数の距離にそれぞれ対応する。あるぼけ補正フィルタ５３，５４が適用されたぼけ関数が、Ｇ画像のぼけ関数５２Ｇと一致した場合には、そのぼけ補正フィルタ５３，５４に対応する距離が、撮影された被写体２１０までの距離に決定される。
【００３７】
このぼけ関数が一致しているかどうかの判定には、例えば、ぼけ補正フィルタが適用されたＲ画像またはＢ画像と、Ｇ画像との相関が用いられる。したがって例えば、複数のぼけ補正フィルタから、ぼけ補正フィルタが適用されたぼけ関数とＧ画像のぼけ関数との相関がより高くなるぼけ補正フィルタを探索することで、画像上の各画素に写る被写体までの距離が推定される。
【００３８】
ぼけ補正フィルタが適用されたＲ画像またはＢ画像と、Ｇ画像との相関を示す相関値には、例えば、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ  Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、Ｃｏｌｏｒ  Ａｌｉｇｎｍｅｎｔ  Ｍｅａｓｕｒｅ、等が用いられ得る。
【００３９】
また、あるぼけ補正フィルタ５３，５４が適用されたぼけ関数５５Ｒ，５５Ｂが、Ｇ画像のぼけ関数５２Ｇと一致しているかどうかの判定に、ぼけ補正フィルタが適用されたＲ画像またはＢ画像とＧ画像との相違度が用いられてもよい。この相違度がより低くなる距離を求めることで、被写体までの距離を算出することができる。相違度には、例えば、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、等が用いられ得る。
【００４０】
なお、ぼけ補正フィルタ５３が適用されたＲ画像のぼけ関数が、ぼけ補正フィルタ５４が適用されたＢ画像のぼけ関数と一致するかどうかが判定されてもよい。これらぼけ補正フィルタ５３，５４は同一の距離に対応する。ぼけ補正フィルタ５３が適用されたＲ画像のぼけ関数が、ぼけ補正フィルタ５４が適用されたＢ画像のぼけ関数と一致した場合には、それらぼけ補正フィルタ５３，５４に対応する距離が、撮影された被写体２１０までの距離に決定される。
【００４１】
このように、２つの色成分画像上のぼけ（例えば、ぼけ関数、ぼけ形状）の相対的な関係が、被写体までの距離と相関を持つので、画像処理部１２はこの相関関係を予めキャリブレーションして保持することもできる。キャリブレーションにより、一方の色成分画像上のぼけを他方の色成分画像上のぼけに補正するためのぼけ補正量と、被写体までの距離との対応を示すルックアップテーブル（ＬＵＴ）やモデルが作成される。例えば、Ｒ画像またはＢ画像のぼけ関数をＧ画像のぼけ関数と一致させるために用いられるぼけ補正フィルタ５３，５４と被写体までの距離との対応を示すＬＵＴまたはモデルが作成される。なお、ぼけ補正量の代わりに、一方の色成分画像上のぼけと他方の色成分画像上のぼけとの関係を示す、例えばぼけの大きさのような他の値（パラメータ）が用いられてもよい。このＬＵＴまたはモデルを参照することにより、ぼけ補正量を被写体までの距離に変換することができる。
【００４２】
図６のフローチャートは、画像処理部１２によって実行される測距処理の手順の例を示す。測距処理では、撮像部１１により取得された画像を用いて、撮像された時点の撮像部１１の位置から画像に写っている被写体までの距離が算出される。
【００４３】
まず、画像処理部１２は、撮像部１１から画像が取得されたか否かを判定する（ステップＳ１１）。画像処理部１２は、例えば撮像部１１によって新たな画像が生成された場合に、撮像部１１から画像が取得されたと判断する。また、画像処理部１２は、撮像部１１によって生成され、ストレージ等に格納された１つ以上の画像から、１つの画像を取得してもよい。撮像部１１から画像が取得されていない場合（ステップＳ１１のＮＯ）、ステップＳ１１に戻り、撮像部１１から画像が取得されたか否かが再度判定される。
【００４４】
撮像部１１から画像が取得された場合（ステップＳ１１のＹＥＳ）、画像処理部１２は取得された画像内の注目画素を設定する（ステップＳ１２）。注目画素は、例えば画像の左上端の画素から右下端の画素までラスタ走査の順に設定され得る。また、画像上のエッジに対応する画素が注目画素として設定されてもよい。
【００４５】
次いで画像処理部１２は、あるぼけ補正量に対応するぼけ補正フィルタを取得する（ステップＳ１３）。画像処理部１２は、例えば予め用意された複数のぼけ補正量にそれぞれ対応する複数のぼけ補正フィルタ５３，５４から、１つのぼけ補正フィルタを取得する。画像処理部１２は、取得されたぼけ補正フィルタをＲ画像またはＢ画像内の注目画素を含む第１領域に適用することにより、補正された第１領域を生成する（ステップＳ１４）。第１領域は、例えば注目画素を中心とする特定のサイズの領域である。
【００４６】
そして画像処理部１２は、補正された第１領域と、Ｇ画像内の注目画素を含む第２領域とが一致したか否かを判定する（ステップＳ１５）。第２領域は、例えば注目画素を中心とする第１領域と同一のサイズを有する領域である。なお、画像処理部１２は、補正された第１領域と第２領域とが一致したか否かを判定する代わりに、補正された第１領域と第２領域との相関値が第１閾値を超えているか否かを、あるいは補正された第１領域と第２領域との相違度が第２閾値未満であるか否かを判定してもよい。補正された第１領域と第２領域とが一致していない場合（ステップＳ１５のＮＯ）、ステップＳ１３に戻り、別のぼけ補正フィルタを用いた処理が行われる。
【００４７】
補正された第１領域と第２領域とが一致した場合（ステップＳ１５のＹＥＳ）、画像処理部１２は、適用されたぼけ補正フィルタに対応するぼけ補正量に基づいて、被写体までの距離を算出する（ステップＳ１６）。この算出には、上述したように、ぼけ補正量と被写体までの距離との対応を示すＬＵＴやモデルが用いられてもよい。
【００４８】
次いで画像処理部１２は、取得された画像内に、被写体までの距離を算出すべき別の画素があるか否かを判定する（ステップＳ１７）。被写体までの距離を算出すべき別の画素がある場合（ステップＳ１７のＹＥＳ）、ステップＳ１２に戻り、その別の画素に写っている被写体までの距離を算出するための処理が行われる。
【００４９】
被写体までの距離を算出すべき別の画素がない場合（ステップＳ１７のＮＯ）、処理を終了する。
【００５０】
以上により、画像処理部１２は、撮像部１１によって取得された画像を用いて、画像内の各画素に写っている被写体までの距離を算出することができる。
【００５１】
ところで、フィルタ２１は、被写体までの距離を精度良く算出するために、理想的にはレンズユニット３内の開口部に設けられることが望ましい。図７に示すように、レンズユニット３内の開口部３Ａの位置は、レンズユニット３内に配置される１つ以上のレンズ３１１，３１２，３１３の各々の光学特性、レンズ３１１，３１２，３１３の配置等に基づく光学設計によって決定される。開口部３Ａは、いずれか２つのレンズ３１１，３１２，３１３の間、レンズユニット３の第１端部３Ｅ−１とレンズ３１１（すなわち第１端部３Ｅ−１に最も近いレンズ）との間、またはレンズユニット３の第２端部３Ｅ−２とレンズ３１３（すなわち第２端部３Ｅ−２に最も近いレンズ）との間に位置する。
【００５２】
フィルタ２１が開口部３Ａに設けられたレンズユニットを利用するには、例えば、開口部３Ａにフィルタ２１が組み込まれた特殊なレンズユニットを製造するか、あるいは市販のレンズユニットを分解し、開口部３Ａにフィルタ２１を挿入し、レンズユニットを組み立てなおして改造する必要がある。このような方法は汎用性に乏しく、一般的なユーザが、開口部３Ａにフィルタ２１が設けられたレンズユニットを利用することは困難である。
【００５３】
また、被写体のエッジがフィルタ２１内の第１フィルタ領域２１１と第２フィルタ領域２１２との境界線２１４と直交する場合（例えば撮像されるシーンが境界線２１４に直交するエッジを多く含む場合）、被写体までの距離に応じたぼけを含む画像が得られず、画像から被写体までの距離を算出する測距性能が劣化する。このような場合には、被写体のエッジと、第１フィルタ領域２１１と第２フィルタ領域２１２との境界線２１４とが直交しないように、フィルタ２１の向きを変更すること（すなわちフィルタ２１を回転させること）により、被写体までの距離を精度良く算出可能な画像を取得できる。
【００５４】
さらに、開口部３Ａに配置されたフィルタ２１の向きは振動等で意図しない向きにずれることがある。しかし、レンズユニット３内部の開口部３Ａに配置されたフィルタ２１の向きを変更することは、ユーザにとって非常に困難な作業である。
【００５５】
そのため本実施形態では、フィルタ２１がレンズユニット３の外部に設けられる。フィルタ２１は、開口部３Ａから距離Ｄ１だけ離間した、レンズユニット３の外部の位置に設けられる。フィルタ２１から開口部３Ａまでの距離Ｄ１は、フィルタ２１を含むフィルタユニット２が取り付けられるレンズユニット３の第１端部３Ｅ−１から開口部３Ａまでの距離Ｄ２よりも長い。これにより、種々のレンズユニット３（あるいはレンズユニット３を備えるカメラ）に対して、レンズユニット３の構造を変更することなく、フィルタ２１を備えるフィルタユニット２を容易に取り付けられる。またユーザが容易に操作できるレンズユニット３の外部にフィルタユニット２が設けられるので、被写体上のエッジ等に応じてフィルタ２１の向きも容易に調節できる。
【００５６】
図８は本実施形態に係る撮像装置１１の構造の例を示す。撮像装置１１は、フィルタ２１を備えるフィルタユニット２と、１つ以上のレンズ３１を備えるレンズユニット３と、イメージセンサ４１を備えるカメラ本体４とから構成される。フィルタユニット２およびレンズユニット３は、例えば円筒形状を有する。撮像装置１１は、カメラ本体４に画像処理部１２が設けられた測距装置１であってもよい。また、カメラ本体４にディスプレイ１３が組み込まれていてもよい。以下では説明を分かりやすくするために、撮像装置１１において、カメラ本体４からフィルタユニット２への向きを前方と称し、フィルタユニット２からカメラ本体４への向きを後方と称する。
【００５７】
カメラ本体４の正面には、レンズユニット３を装着するためのレンズマウント４２が設けられている。レンズマウント４２には、レンズユニット３の第２端部３Ｅ−２に設けられるボディマウント（図示せず）が結合される。これによりレンズユニット３がカメラ本体４に装着される。ここではレンズユニット３が交換レンズである例を示したが、レンズユニット３は、コンパクトデジタルカメラ、スマートフォンまたはタブレットＰＣに設けられるカメラ等のように、カメラ本体４に固定され一体化されていてもよい。
【００５８】
レンズユニット３の第１端部３Ｅ−１には、フィルタユニット２を取り付けるためのネジ部３２が設けられている。ネジ部３２は、一般的なレンズユニット３（交換レンズ）において、レンズ３１を保護するためのプロテクタや各種のフィルタ（例えばＵＶカットフィルタ、偏光フィルタ等）を取り付けるために設けられているものであってもよい。
【００５９】
フィルタユニット２はフィルタ２１を保持するフィルタ枠２２と、フィルタ枠２２に連結する取り付け部２３とを備える。フィルタ枠２２は、例えば円形のフィルタ２１を保持するために円筒形状を有する。取り付け部２３はフィルタ枠２２の少なくとも一部を囲み、支持する円筒形状を有する。
【００６０】
また取り付け部２３は、レンズユニット３の第１端部３Ｅ−１に着脱可能に取り付けられる。取り付け部２３は、フィルタユニット２をレンズユニット３の第１端部３Ｅ−１に取り付けるためのネジ部２３１を備える。ネジ部２３１をレンズユニット３のネジ部３２に螺合させることにより、フィルタユニット２がレンズユニット３に取り付けられる。この取り付けにより、取り付け部２３がレンズユニット３に対して固定される。
【００６１】
なお、レンズユニット３に取り付けられた別のフィルタ等に設けられるネジ部３２に、フィルタユニット２のネジ部２３１が螺合されてもよい。すなわちその別のフィルタ等を挟んで、フィルタユニット２がレンズユニット３に取り付けられてもよい。フィルタユニット２のネジ部２３１は、対応するネジ部３２を有する他の円筒形状の対象への取り付けを可能とするものである。
【００６２】
フィルタ枠２２は光軸１５を中心として（すなわち光学中心２１３に対して）回転自在である構造を有する。つまりフィルタ枠２２は、光軸１５を中心として回転することによりフィルタ２１の向き（すなわち回転方向の角度）を調節できる調節機構を有する。したがってユーザは、フィルタ枠２２を回転させる操作を行うことで、フィルタ２１の向きを被写体上のエッジ等に応じて適切に変更できる。フィルタ２１の向きは、例えばフィルタ２１内の第１フィルタ領域２１１と第２フィルタ領域２１２との境界線２１４の方向で特定される。以下ではこの境界線２１４の方向をフィルタ２１の向きとも称する。
【００６３】
また図９に示すように、フィルタ枠２２は取り付け部２３の側面を貫通するネジ２３２を固定部として用いて、取り付け部２３に対して固定される。ネジ２３２が締め付けられた場合、フィルタ枠２２が取り付け部２３に対して固定される。一方、ネジ２３２が緩められた場合、フィルタ枠２２は回転自在になる。ネジ２３２には、例えばネジ頭部がネジ部と同じ大きさである止めネジが用いられる。
【００６４】
あるいは図１０に示すように、フィルタ枠２２はロックリング２５と、取り付け部２３に設けられる締め付け部２４１，２４３とを固定部として用いて、取り付け部２３に対して固定されてもよい。２つの締め付け部２４１，２４３は、例えばフィルタ枠２２を上方と下方から挟み込むように設けられる。締め付け部２４１の基端部２４１Ａは取り付け部２３の上部に支持（固定）され、基端部２４１Ａからフィルタ枠２２に接触する先端部２４１Ｂに亘って連続的に延出されている。また、締め付け部２４３の基端部２４３Ａは取り付け部２３の下部に支持（固定）され、基端部２４３Ａからフィルタ枠２２に接触する先端部２４３Ｂに亘って連続的に延出されている。
【００６５】
各先端部２４１Ｂ，２４３Ｂには、光軸１５に対して外側に、ネジ状の刻みを有するテーパ２４２，２４４が設けられている。同様のネジ状の刻みを内側に有するロックリング２５がテーパ２４２，２４４のネジ状の刻みに対してねじ込まれることにより、フィルタ枠２２が取り付け部２３に対して固定される。一方、ロックリング２５が緩められた場合、フィルタ枠２２は回転自在になる。
【００６６】
フィルタ枠２２を取り付け部２３に対して固定するための機構（固定部）は、上述した構成に限られず、例えばフィルタ枠２２と取り付け部２３との間の摩擦力で簡易的に固定される機構であってもよいし、あるいはフィルタ枠２２が取り付け部２３に圧入されることによって固定力を得る機構であってもよい。つまりフィルタ枠２２は、取り付け部２３との摩擦力により、または取り付け部２３に対する圧入により、取り付け部２３に対する位置が保持され得る。
【００６７】
フィルタユニット２には、フィルタ枠２２が取り付け部２３に対して固定された後に、取り付け部２３に対するフィルタ枠２２の位置を調整する機構がさらに設けられていてもよい。この機構は、例えば図９に示した例と同様に、取り付け部２３の側面を貫通してフィルタ枠２２に接触し得る微調整用のネジである。微調整用のネジは、取り付け部２３に対するフィルタ枠２２の位置を、例えば水平方向と垂直方向に調整（シフト）できるように複数設けられ得る。これにより微調整用のネジを締め付けるか、あるいは緩めることにより、取り付け部２３に対するフィルタ枠２２の位置を調整できる。
【００６８】
次いで図１１は、撮像装置１１がレンズフード８を取り付けるための構造をさらに有する例を示す。レンズフード８はその一端にネジ部８１を有している。レンズフード８には、円筒形状以外のレンズフード（例えば花形のレンズフード）のように、取り付けられるべき向きを有するものがある。
【００６９】
フィルタ枠２２には、その前方に、レンズフード８を取り付けるためのレンズフード枠２９がさらに設けられる。レンズフード枠２９の前方の端部には、例えばその内側に、レンズフード８が着脱自在に取り付けられるネジ部２９１（取り付け部）が設けられる。このネジ部２９１にレンズフード８のネジ部８１を螺合させることにより、レンズフード８がレンズフード枠２９に取り付けられる。
【００７０】
レンズフード枠２９は光軸１５を中心として（すなわち光学中心２１３に対して）摺動可能（回転自在）である構造を有する。つまりレンズフード枠２９は、光軸１５を中心として回転することによりレンズフード８の向きを調整できる構造を有する。したがってユーザは、レンズフード枠２９を回転させる操作を行うことで、レンズフード８の向きを適切に変更できる。
【００７１】
以上の構成により、撮像装置１１においてフィルタ２１が容易に取り付けられる。フィルタ２１は、第１波長帯域の光を透過する第１フィルタ領域２１１と、第２波長帯域の光を透過する第２フィルタ領域２１２とを備える。第１波長帯域と第２波長帯域は共通の波長帯域を含む。フィルタ枠２２は、フィルタ２１を保持する。取り付け部２３は、フィルタ枠２２に連結し、レンズユニット３の第１端部３Ｅ−１に着脱可能に取り付けられる。取り付け部２３がレンズユニット３の第１端部３Ｅ−１に取り付けられた場合、フィルタ２１からレンズユニット３内の開口部３Ａまでの距離は、第１端部３Ｅ−１から開口部３Ａまでの距離よりも長い。
【００７２】
このように、フィルタ枠２２に連結する取り付け部２３はレンズユニット３の第１端部３Ｅ−１に取り付けられ、着脱自在である。したがって撮像装置１１において、フィルタ２１が容易に取り付けられると共に、フィルタ２１の向きも容易に変更できる。
【００７３】
ところで画像処理部１２は、図５および図６を参照して上述したように、ある特定の方向（例えば、水平方向、垂直方向等）にぼけの偏りが生じることを前提としたぼけ補正フィルタを用いて、画像に写った被写体までの距離を算出する。フィルタ２１の向きが想定された方向からずれることは画像処理部１２における測距性能を劣化させ得る。測距性能を高めるためには、撮像時のフィルタ２１の向きを、前提としている画像上に生じるぼけの偏りの方向に対応するように設定すること、すなわちフィルタ２１の向きを、前提としている画像上に生じるぼけの偏りの方向に直交するように設定することが必要である。
【００７４】
例えばＲ画像およびＢ画像上に生じるぼけの偏りが水平方向であることを前提としたぼけ補正フィルタが用意されている場合、フィルタ２１の向き（より詳しくはフィルタ２１内の境界線２１４の向き）を垂直方向に設定しておくことで、その意図された水平方向のぼけの偏りが発生した画像を取得できる。また例えばＲ画像およびＢ画像上に生じるぼけの偏りが垂直方向であることを前提としたぼけ補正フィルタが用意されている場合、フィルタ２１（境界線２１４）の向きを水平方向に設定しておくことで、その意図された垂直方向のぼけの偏りが発生した画像を取得できる。
【００７５】
しかしユーザによる手動の作業では、フィルタ２１の向きを、前提としている画像上に生じるぼけの偏りの方向に対応するように正確に設定することが困難であり得る。
【００７６】
そのため本実施形態では、画像処理部１２がフィルタ２１の向きに関する補正のための機能を有する。画像処理部１２は上述した撮像装置１１を用いて、キャリブレーションのための第１被写体（例えばキャリブレーションチャート）が撮像された第１画像と、測距対象の第２被写体が撮像された第２画像とを取得する。そして画像処理部１２は、これら第１画像と第２画像とを用いて第２被写体までの距離を算出する。画像処理部１２は、第１画像を用いてフィルタ２１の向きを算出し、そのフィルタ２１の向きと第２画像とを用いて第２被写体までの距離を算出できる。例えば算出されたフィルタ２１の向きに基づいて第２画像が補正され、補正された第２画像からぼけ補正フィルタ５３，５４を用いて第２被写体までの距離が算出される。
【００７７】
図１２は画像処理部１２の機能構成の例を示す。画像処理部１２は、取得部１２１、キャリブレーション処理部１２２、補正部１２３、および距離算出部１２４を備える。
【００７８】
取得部１２１は撮像装置１１を用いて画像を取得する。取得部１２１は、撮像装置１１内のイメージセンサによって送出された信号を用いて画像を生成してもよい。あるいは取得部１２１は、撮像装置１１によって生成され、ストレージ（メモリ）等に保存された画像を取得してもよい。取得部１２１は、例えばキャリブレーションのための第１被写体が撮像された第１画像を取得する。第１被写体は例えばキャリブレーションチャートである。また取得部１２１は例えば第１画像が取得された後に、測距対象の第２被写体が撮像された第２画像を取得する。第２被写体は複数であってもよい。
【００７９】
なお、取得された第２画像をストレージ等に保存しておいて、第１画像が取得されてもよい。つまり、保存されている第２画像とその後に取得された第１画像とを用いて、第２画像に撮像された被写体までの距離が算出されてもよい。この場合、第２画像の撮像時と第１画像の撮像時とで撮像装置１１に設けられるフィルタ２１の向きは変更されないものとする。
【００８０】
図１３はキャリブレーションチャート６の例を示す。キャリブレーションチャート６は例えば撮像対象となる平面を有するボード（例えば平板）であって、その平面上に１つ以上の円形または多角形の要素６１を含む。キャリブレーションチャート６に複数の要素６１が含まれる場合、それら複数の要素６１は等間隔で配置される。
【００８１】
またキャリブレーションチャート６において、要素６１の部分とそれ以外の背景部分６２とが高いコントラストを有するように、各部分の色が設定されることが望ましい。例えば要素６１を黒に、背景部分６２を白に設定する。また例えば要素６１を白に、背景部分６２を黒に設定する。
【００８２】
図１３に示す例では、キャリブレーションチャート６は、白い背景部分６２と、黒い円形である８１個（＝９×９）の要素６１とで構成されている。各要素６１は、隣り合う要素６１との間隔がＸｃｍである二次元のマトリクス状に配置されている。
【００８３】
図１４は、フィルタ２１を備える撮像装置１１を用いて、キャリブレーションチャート６の一部が撮像された第１画像７１の例を示す。第１画像７１上には、撮像時における撮像装置１１からキャリブレーションチャート６までの距離に応じたぼけが発生している。また、撮像時のフィルタ２１の向きに対応する方向にぼけの偏りが生じている。
【００８４】
ここでは一例として、被写体までの距離を算出するために、画像上の水平方向にぼけの偏りが発生すること、すなわちフィルタ２１内の境界線２１４の方向が垂直方向であることを前提としたぼけ補正フィルタが用いられる場合について説明する。
【００８５】
キャリブレーションチャート６上のある要素６１を撮像して得られた、第１画像７１上の要素７１１には、水平方向ではない方向にぼけの偏りが生じている。つまり、第１画像７１において、要素７１１のＧ成分７１１Ｇに対して水平方向に、要素７１１のＲ成分７１１ＲおよびＢ成分７１１Ｂが位置していない。Ｒ成分７１１ＲはＧ成分７１１Ｇの右斜め上側にずれ、Ｂ成分７１１ＢはＧ成分７１１Ｇの左斜め下側にずれている。もし要素７１１に水平方向のぼけの偏りが生じているならば、Ｒ成分７１１ＲはＧ成分７１１Ｇに対して水平に右側にずれ、Ｂ成分７１１ＢはＧ成分７１１Ｇに対して水平に左側にずれる。したがって、第１画像７１を撮像した時点におけるフィルタ２１内の境界線２１４の方向は垂直方向ではなかったと云える。
【００８６】
図１５に示すように、キャリブレーション処理部１２２、補正部１２３、および距離算出部１２４は、キャリブレーションチャート６（すなわち第１被写体）が撮像された第１画像７１と、測距対象の第２被写体が撮像された第２画像７７とを用いて第２被写体までの距離を算出する。
【００８７】
より具体的には、まずキャリブレーション処理部１２２は、第１画像７１を用いて撮像時のフィルタ２１の向き（より詳しくはフィルタ２１内の境界線２１４の方向）２１Ｄを算出する。図１６を参照して、第１画像７１上の要素７１１から、第１画像７１が撮像された時点におけるフィルタ２１内の境界線２１４の方向が算出される例を説明する。
【００８８】
キャリブレーション処理部１２２は、要素７１１のＲ成分７１１Ｒの重心７２ＲとＢ成分７１１Ｂの重心７２Ｂとをそれぞれ算出する。キャリブレーション処理部１２２は、重心７２Ｒと重心７２Ｂとをつなぐ線分の方向を、第１画像７１上のぼけの偏りの方向７１Ｄとして決定する。このぼけの偏りの方向７１Ｄは、第１画像７１上の垂直方向７１Ｖに対して角度θｂを有している。また、ぼけの偏りの方向７１Ｄとフィルタ２１内の境界線２１４の方向２１Ｄとは直交するので、フィルタ２１内の境界線２１４の方向２１Ｄは、第１画像７１上の垂直方向７１Ｖに対して角度（９０°−θｂ）を有している。キャリブレーション処理部１２２は、ぼけの偏りの方向７１Ｄを示す角度θｂと、フィルタ２１内の境界線２１４の方向２１Ｄを示す角度（９０°−θｂ）とを算出する。
【００８９】
なお、フィルタ２１が３つ以上のフィルタ領域で構成される場合、キャリブレーション処理部１２２は、第１画像７１を用いて、フィルタ２１の向き２１Ｄとして、いずれか２つのフィルタ領域の境界線の方向を算出してもよいし、フィルタ２１内の複数の境界線の方向をそれぞれ算出してもよい。
【００９０】
図１５に戻り、補正部１２３は、フィルタ２１の境界線２１４の方向２１Ｄに基づいて第２画像７７を補正することにより、補正された第２画像７８を生成する。図１５に示す例では、補正部１２３は第２画像７７を、フィルタ２１の境界線２１４の方向２１Ｄを示す角度（９０°−θｂ）だけ時計回りに回転させることにより、補正された第２画像７８を生成する。これにより第２画像７７上の被写体７７Ａに生じているぼけの偏りの方向は、補正された第２画像７８上の被写体７８Ａでは、前提とされているぼけの偏りの方向（例えば水平方向）に補正される。
【００９１】
そして距離算出部１２４は、補正された第２画像７８を用いて第２被写体までの距離を算出する。距離算出部１２４は、例えば予め用意された複数のぼけ補正量にそれぞれ対応する複数のぼけ補正フィルタ５３，５４と補正された第２画像７８とを用いて第２被写体までの距離を算出する。距離を算出する具体的な方法については、図５および図６を参照して上述した通りである。以上により、フィルタ２１の向き２１Ｄが、前提とされているぼけの偏りの方向に対応していない場合にも、第２画像７８上の被写体までの距離を精度良く算出することができる。
【００９２】
なお、画像処理部１２は通知部１２５をさらに備えていてもよい。通知部１２５は、キャリブレーション処理部１２２によって算出されたフィルタ２１の向き２１Ｄ（例えば角度（９０°−θｂ））をユーザに通知する。ユーザは、この通知に応じてフィルタ２１を保持するフィルタ枠２２を回転させることにより、フィルタ２１の向き２１Ｄを、前提としている画像上に生じるぼけの偏りの方向に対応するように調整すること、すなわちフィルタ２１の向き２１Ｄが、前提としている画像上に生じるぼけの偏りの方向に直交するように調整することもできる。この場合、補正部１２３による第２画像７７の補正は必要なく、距離算出部１２４は、撮像装置１１で取得された第２画像７７上の被写体までの距離を、予め用意された複数のぼけ補正量にそれぞれ対応する複数のぼけ補正フィルタ５３，５４を用いて容易に算出できる。
【００９３】
図１７のフローチャートは、画像処理部（あるいは画像処理装置）１２によって実行されるキャリブレーション処理の手順の例を示す。
【００９４】
まず画像処理部１２は、キャリブレーションチャート６が撮像された第１画像７１を取得する（ステップＳ２１）。画像処理部１２は、第１画像７１に写ったキャリブレーションチャート６内のある要素７１１のＲ成分７１１Ｒの重心７２ＲとＢ成分７１１Ｂの重心７２Ｂとを算出する（ステップＳ２２）。そして、画像処理部１２は、第１画像７１上の垂直方向７１Ｖに対して、Ｒ成分７１１Ｒの重心７２ＲとＢ成分７１１Ｂの重心７２Ｂとをつなぐ線分がなす角度θｂを算出する（ステップＳ２３）。角度θｂは、第１画像７１上のぼけの偏りの方向７１Ｄを示す。ぼけの偏りの方向７１Ｄとフィルタ２１内の境界線２１４の方向とは直交するので、画像処理部１２は、フィルタ２１の向き（フィルタ２１内の境界線２１４の方向）２１Ｄを示す角度（９０°−θｂ）を算出できる。
【００９５】
また画像処理部１２は、フィルタ２１の向き２１Ｄをユーザに通知してもよい（ステップＳ２４）。画像処理部１２は、例えばディスプレイ１３の画面にフィルタ２１の向き２１Ｄを示す角度（９０°−θｂ）を表示する。
【００９６】
また図１８のフローチャートは、画像処理部１２によって実行される、フィルタの向きに関する補正機能を有する測距処理の手順の例を示す。測距処理では、撮像装置１１により取得された第２画像７７を用いて、撮像された時点の撮像装置１１の位置から第２画像７７に写っている第２被写体までの距離が算出される。ここでは、この測距処理が実行される前に図１７に示したキャリブレーション処理の実行が完了し、且つ第１画像７１と第２画像７７とで撮像時のフィルタ２１の向き２１Ｄが変更されていないことを想定する。
【００９７】
まず画像処理部１２は、撮像装置１１を用いて第２画像７７が取得されたか否かを判定する（ステップＳ３１）。第２画像７７が取得されていない場合（ステップＳ３１のＮＯ）、ステップＳ３１に戻り、撮像装置１１を用いて第２画像７７が取得されたか否かが再度判定される。
【００９８】
第２画像７７が取得された場合（ステップＳ３１のＹＥＳ）、画像処理部１２は、撮像時のフィルタ２１の向き２１Ｄを示す角度（９０°−θｂ）に基づいて第２画像７７を回転した補正画像７８を生成する（ステップＳ３２）。これにより、第２画像７７上のぼけの偏りの方向７１Ｄが水平方向に補正される。
【００９９】
画像処理部１２は取得された補正画像７８内の注目画素を設定する（ステップＳ３３）。注目画素は、例えば補正画像７８の左上端の画素から右下端の画素までラスタ走査の順に設定され得る。また、補正画像７８上のエッジに対応する画素が注目画素として設定されてもよい。
【０１００】
次いで画像処理部１２は、あるぼけ補正量に対応するぼけ補正フィルタを取得する（ステップＳ３４）。画像処理部１２は、例えば予め用意された複数のぼけ補正量にそれぞれ対応する複数のぼけ補正フィルタから、１つのぼけ補正フィルタを取得する。画像処理部１２は、取得されたぼけ補正フィルタを、補正画像７８のＲ成分の画像（以下Ｒ画像と称する）またはＢ成分の画像（以下Ｂ画像と称する）内の注目画素を含む第１領域に適用することにより、補正された第１領域を生成する（ステップＳ３５）。第１領域は、例えば注目画素を中心とする特定のサイズの領域である。
【０１０１】
そして画像処理部１２は、補正された第１領域と、補正画像７８のＧ成分の画像（以下Ｇ画像と称する）内の注目画素を含む第２領域とが一致したか否かを判定する（ステップＳ３６）。第２領域は、例えば注目画素を中心とする第１領域と同一のサイズを有する領域である。なお、画像処理部１２は、補正された第１領域と第２領域とが一致したか否かを判定する代わりに、補正された第１領域と第２領域との相関値が第１閾値を超えているか否かを、あるいは補正された第１領域と第２領域との相違度が第２閾値未満であるか否かを判定してもよい。補正された第１領域と第２領域とが一致していない場合（ステップＳ３６のＮＯ）、ステップＳ３４に戻り、別のぼけ補正フィルタを用いた処理が行われる。
【０１０２】
補正された第１領域と第２領域とが一致した場合（ステップＳ３６のＹＥＳ）、画像処理部１２は、適用されたぼけ補正フィルタに対応するぼけ補正量に基づいて、被写体までの距離を算出する（ステップＳ３７）。この算出には、上述したように、ぼけ補正量と被写体までの距離との対応を示すＬＵＴやモデルが用いられてもよい。
【０１０３】
次いで画像処理部１２は、補正画像７８内に、被写体までの距離を算出すべき別の画素があるか否かを判定する（ステップＳ３８）。被写体までの距離を算出すべき別の画素がある場合（ステップＳ３８のＹＥＳ）、ステップＳ３３に戻り、その別の画素に写っている被写体までの距離を算出するための処理が行われる。
【０１０４】
被写体までの距離を算出すべき別の画素がない場合（ステップＳ３８のＮＯ）、処理を終了する。
【０１０５】
以上により、画像処理部１２は、キャリブレーション処理で取得されたフィルタ２１の向き２１Ｄと撮像装置１１によって取得された第２画像７７とを用いて、第２画像７７内の各画素に写っている被写体までの距離を算出することができる。
【０１０６】
なお図１９に示すように、補正画像７８を生成することなく、第２画像７７内の各画素に写っている被写体までの距離を算出することもできる。図１９に示す例では、補正部１２３は、第１画像７１を用いて算出されたフィルタ２１の向き２１Ｄに応じて変更されたぼけ補正フィルタ５６，５７を算出する。画像処理部１２は、例えば予め用意された複数のぼけ補正量にそれぞれ対応する複数のぼけ補正フィルタ５３，５４をフィルタ２１の向き２１Ｄに応じて変更することにより、ぼけ補正フィルタ５６，５７を算出する。
【０１０７】
距離算出部１２４は、この変更されたぼけ補正フィルタ５６，５７と第２画像７７とを用いて第２被写体までの距離を算出する。距離を算出する具体的な方法は、図５および図６を参照して上述した方法と同様である。
【０１０８】
また図２０に示すように、キャリブレーション処理部１２２は、キャリブレーションチャート６を撮像した第１画像７１を用いて撮像装置１１の画角（有効画角とも称する）を算出することもできる。図２０では説明を分かりやすくするために、ぼけが発生していない第１画像７１Ａを例示している。またここでは、キャリブレーションチャート６上の隣り合う要素間の距離が２ｃｍであり、且つキャリブレーションチャート６が撮像装置１１の位置から３０ｃｍ離れた位置に設置されていることを想定する。
【０１０９】
第１画像７１Ａには、実空間の高さ１０ｃｍ（＝２×５）、幅１４ｃｍ（＝２×７）の領域が撮像されている。この場合、水平方向の画角および垂直方向の画角は以下のように算出される。  
水平画角θｈ＝２×ａｔａｎ（１４／３０／２）＝２６．３°  
垂直画角θｖ＝２×ａｔａｎ（１０／３０／２）＝１８．９°
【０１１０】
このように、キャリブレーションチャート６を撮像した第１画像７１を用いて撮像装置１１の画角を算出することができる。例えばレンズユニット３にフィルタユニット２を取り付ける前後それぞれでキャリブレーションチャート６を撮像した画像を取得し、画角を算出することにより、フィルタユニット２を取り付けることによる画角の変化を計測することができる。
【０１１１】
撮像されるキャリブレーションチャート６は、撮像装置１１と正対していることが望ましい。撮像装置１１に正対したキャリブレーションチャート６を撮像するためには、例えば水準器等を用いて水平に設置された撮像装置１１で、鉛直方向に立てられたキャリブレーションチャート６を正面から撮像する必要がある。
【０１１２】
撮像装置１１に正対していないキャリブレーションチャート６が撮像されたならば、傾いたキャリブレーションチャート６が撮像された画像が取得される。このような場合、キャリブレーション処理部１２２は、キャリブレーションチャート６の傾きが補正された画像を生成し、その補正画像を用いてフィルタ２１の向き２１Ｄ、画角等の算出を行う。
【０１１３】
図２１に示す例では、撮像装置１１によって、傾いたキャリブレーションチャート６が撮像された画像７４３が取得されている。キャリブレーション処理部１２２は、画像７４３上の要素を検出し、画像７４３上で水平方向に並んでいるべき要素群をつなぐ線分７４３Ｘと、画像７４３上で垂直方向に並んでいるべき要素群をつなぐ線分７４３Ｙとを検出する。なおこの例では、線分７４１Ｙは垂直方向に延び、傾いていない。
【０１１４】
キャリブレーション処理部１２２は、算出された線分７４１Ｘの傾きおよび線分７４１Ｙの傾きに基づき、例えばカメラキャリブレーションに用いられるＺｈａｎｇの手法（Zhengyou Zhang、“A Flexible New Technique for Camera Calibration”、［online］、１９９８年１２月２日、Technical Report MSR-TR-98-71、［平成３０年９月１２日検索］、インターネット＜URL：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr98-71.pdf＞）を用いて、傾きが補正された画像７４４を生成する。キャリブレーション処理部１２２は、例えば線分７４１Ｘの傾きが水平方向に、線分７４１Ｙの傾きが垂直方向になるように画像７４３を回転させ、傾きが補正された画像７４４を生成する。これによりキャリブレーション処理部１２２は、撮像装置１１と正対して撮像されたキャリブレーションチャート６の画像を用いる場合と同様にして、補正画像７４４を用いてフィルタ２１の向き２１Ｄ、画角等を算出できる。
【０１１５】
さらに、フィルタ２１（フィルタユニット２）はレンズユニット３に対して、フィルタ２１の中心２１３が撮像装置１１の光軸１５と一致しない位置（すなわち光軸１５がフィルタ２１の中心を通らない位置）に取り付けられることがある。このようにレンズユニット３に対するフィルタ２１の位置ずれがある場合、レンズ３１に光を透過するフィルタ２１内の第１フィルタ領域２１１の面積と第２フィルタ領域２１２の面積とが不均一になる。
【０１１６】
図２２は、フィルタ２１の中心２１３が光軸１５と一致していない場合に、撮像装置１１によって取得されたキャリブレーションチャート６の画像上の要素７５１の例を示す。ここでは、フィルタ２１の中心２１３が光軸１５と一致せず、例えばイエローの第１フィルタ領域２１１の面積が、シアンの第２フィルタ領域２１２の面積よりも広くなっていることを想定する。
【０１１７】
キャリブレーション処理部１２２は、取得された画像上の要素７５１において、例えばＲ成分のぼけ７５１Ｒの大きさＳｒとＢ成分のぼけ７５１Ｂの大きさＳｂとを比較することにより、フィルタ２１の中心２１３が光軸１５と一致していないことを検出する。検出のために用いられる要素７５１は、例えば画像上の中央付近に位置していることが望ましい。
【０１１８】
イエローの第１フィルタ領域２１１の面積がシアンの第２フィルタ領域２１２の面積よりも広い場合、取得された画像上の要素７５１において、広い第１フィルタ領域２１１を透過する赤の波長帯域の光により得られるＲ成分のぼけ７５１Ｒの大きさＳｒは、狭い第２フィルタ領域２１２を透過する青の波長帯域の光により得られるＢ成分のぼけ７５１Ｂの大きさＳｂよりも大きい。したがってキャリブレーション処理部１２２は、Ｒ成分およびＢ成分のそれぞれのぼけの大きさに基づいて、フィルタ領域２１１，２１２の面積が均一でなく、またいずれのフィルタ領域２１１，２１２の面積がより広く（あるいは狭く）なっているかを検出できる。
【０１１９】
通知部１２５は、キャリブレーション処理部１２２による処理結果を用いて、フィルタ２１の位置がずれていること、フィルタ２１の中心２１３が光軸１５と一致していないこと、フィルタ領域２１１，２１２の面積が均一でないこと、いずれのフィルタ領域の面積がより広くなっているか等を、ユーザに通知する。ユーザはこの通知に応じて、レンズユニット３に対してフィルタ２１を正しく取り付けることができる。
【０１２０】
またフィルタ２１の中心２１３が光軸１５と一致していない場合には、図２３に示すように、撮像装置１１によって取得される画像７６にフィルタ枠２２等のフィルタユニット２の一部による影が写り込むこともある。取得された画像７６には、キャリブレーションチャート６の要素６１が撮像された領域７６１と、フィルタ枠２２等による影が写り込んだことによって欠けた領域７６２とが含まれている。
【０１２１】
キャリブレーション処理部１２２は、フィルタ２１を取り付ける前の第１画角とフィルタ２１を取り付けた後の第２画角とを比較し、第１画角と第２画角との差が閾値を超えている場合に、フィルタ枠２２等による影が画像７６に写り込んでいると判断する。通知部１２５は、フィルタ枠２２等による影が画像７６に写り込んでいることをユーザに通知する。ユーザはこの通知に応じて、レンズユニット３に対してフィルタ２１を正しく取り付けることができる。
【０１２２】
なお、フィルタユニット２はクリップ形状を有していてもよい。図２４は撮像装置１１の構造の別の例を示す。ここでは撮像装置１１が、レンズユニット３およびイメージセンサ４１を備えるスマートフォン１Ａと、クリップ形状を有するフィルタユニット２Ａとして実現される場合を例示する。スマートフォン１Ａは一例であって、レンズユニット３（レンズ３１）上に重ね合わせるように、クリップ形状のフィルタユニット２Ａを取り付けられる電子機器であればよい。この電子機器には、例えばレンズユニット３が取り付けられたカメラ本体４や、レンズユニット３を備える電子機器（例えばタブレットＰＣ）が含まれ得る。
【０１２３】
スマートフォン１Ａは画像処理部１２およびディスプレイ１３を備えていてもよい。この場合、フィルタユニット２が取り付けられたスマートフォン１Ａは、撮像装置１１として用いられるだけでなく、測距装置１として用いることもできる。
【０１２４】
図２４（Ａ）に示すように、クリップ形状のフィルタユニット２Ａは、スマートフォン１Ａの筐体を挟み込むための２つのクリップ部２０１，２０２を備える。クリップ部２０１，２０２は、スマートフォン１Ａの筐体に対してフィルタユニット２Ａを固定する固定部である。クリップ部２０１の第１端部２０１Ｅ−１はフィルタ２１を保持する薄い円筒形状を有する。クリップ部２０２の第１端部２０２Ｅ−１も同様の薄い円筒形状を有するが、フィルタ２１は保持されていない。
【０１２５】
クリップ部２０１の第２端部２０１Ｅ−２とクリップ部２０２の第２端部２０２Ｅ−２とを外側から挟み込むように力を加えることで、クリップ部２０１の第１端部２０１Ｅ−１とクリップ部２０２の第１端部２０２Ｅ−１は開放される。クリップ部２０１の第２端部２０１Ｅ−２とクリップ部２０２の第２端部２０２Ｅ−２とに力が加えられなければ、クリップ部２０１の第１端部２０１Ｅ−１とクリップ部２０２の第１端部２０２Ｅ−１は閉じる。
【０１２６】
図２４（Ｂ）に示すように、ユーザはクリップ部２０１の第２端部２０１Ｅ−２とクリップ部２０２の第２端部２０２Ｅ−２とを外側から挟み込むように力を加えて第１端部２０１Ｅ−１，２０２Ｅ−１を開放し、フィルタ２１がレンズユニット３を覆うように第１端部２０１Ｅ−１と第１端部２０２Ｅ−１との間にスマートフォン１Ａを挟み込む。
【０１２７】
ユーザはさらに、スマートフォン１Ａを挟み込んでいる第１端部２０１Ｅ−１および第１端部２０２Ｅ−１の位置および向きを調節することもできる。この調節のために、第１端部２０１Ｅ−１および第１端部２０２Ｅ−１に移動や回転のための微動ステージが組み込まれていてもよい。微動ステージは、例えば第１端部２０１Ｅ−１および第１端部２０２Ｅ−１を水平方向および垂直方向にそれぞれシフトする微調整ネジを備える。
【０１２８】
ユーザはレンズユニット３（より詳しくはレンズユニット３に内蔵されるレンズ３１）とフィルタ２１とが光学的に正しく結合されるように調節する。より具体的には、ユーザはフィルタ２１の中心が光軸１５上（すなわちレンズユニット３の中心上）に位置するように第１端部２０１Ｅ−１，２０２Ｅ−１を移動する。
【０１２９】
ユーザはさらに、フィルタ２１内の境界線２１４の方向がスマートフォン１Ａの垂直方向４５、水平方向４６等のある特定の方向に設定されるように、第１端部２０１Ｅ−１，２０２Ｅ−１を回転することもできる。その際、スマートフォン１Ａのディスプレイ１３の画面には、フィルタ２１内の境界線２１４の方向を特定の方向に設定するためのガイドが表示されてもよい。
【０１３０】
図２５はディスプレイ１３に表示されるガイド画面９０の例を示す。このガイド画面９０には、例えばフィルタ２１内の境界線２１４の現在の方向を示す線９１と、境界線２１４の現在の方向を特定の方向（ここでは垂直方向４５）に設定するためにフィルタユニット２を回転すべき向き９２（ここでは時計回り）とが示されている。ガイド画面９０を用いることにより、ユーザはフィルタ２１の向きを容易に調節できる。
【０１３１】
ガイド画面９０には、フィルタ２１の向きだけでなく、キャリブレーションによって得られた画角等の処理結果や被写体までの距離のような測距処理の結果が表示されてもよい。さらに、ガイド画面９０には、取り付けられるべき位置（すなわちフィルタ２１の中心が光軸１５に一致する位置）からずれた位置にフィルタ２１が取り付けられていること、フィルタ枠２２等の影が画像に写り込んでいること等が示されてもよい。
【０１３２】
なお、フィルタユニット２Ａの形状および構造は、レンズユニット３を備えるスマートフォン１Ａの筐体等に取り付けることができればどのような形状および構造であってもよい。
【０１３３】
例えば図２６に示すように、フィルタユニット２Ａは、レンズユニット３を備えるスマートフォン１Ａの筐体全体を嵌め込んで取り付けるケース（あるいはカバー）の形状を有していてもよい。ケース形状のフィルタユニット２Ａでは、スマートフォン１Ａに取り付けられた場合にレンズユニット３上に重なる位置に、フィルタ２１を保持するフィルタ枠２２が設けられる。フィルタ枠２２は回転可能であり、ユーザはフィルタ２１の向きを任意の方向に調節できる。
【０１３４】
以上により、レンズユニット３がフィルタユニット２を取り付けるための構造を有していない場合にも、レンズユニット３を備える筐体に対してレンズユニット３上に重なるようにフィルタユニット２を取り付けられるので、ハードウェア構成によってフィルタ２１の向きを精度良く調節できる。フィルタ２１の向きが調節されることにより、撮像装置１１（例えばスマートフォン１Ａ）を用いて理想的なぼけ（すなわち意図したぼけ）が発生した画像を取得できる。
【０１３５】
以上説明したように、本実施形態によれば被写体までの距離を精度良く算出できる。フィルタ２１は、第１波長帯域の光を透過する第１フィルタ領域２１１と、第２波長帯域の光を透過する第２フィルタ領域２１２とを備える。第１波長帯域と第２波長帯域は共通の波長帯域を含む。取得部１２１は、フィルタ２１を通過した光を受光するイメージセンサ４１を有する撮像装置１１を用いて撮像された、キャリブレーションのための第１被写体が撮像された第１画像７１と、第２被写体が撮像された第２画像７７とを取得する。画像処理部１２は、第１画像７１と第２画像７７とを用いて第２被写体までの距離を算出する。
【０１３６】
これによりフィルタ２１がレンズユニット３の外部に設けられる場合にも、レンズユニット３に取り付けられたフィルタ２１の向きを考慮して、被写体までの距離を精度良く算出できる。
【０１３７】
なお、上述したキャリブレーションのための構成は、フィルタ２１がレンズユニット３内の開口部３Ａに設けられる場合にも適用できる。したがって、例えば開口部３Ａに配置されたフィルタ２１の向きが振動等で意図しない向きにずれた場合にも、撮像装置１１を用いて取得された画像からその画像上の被写体までの距離を精度良く算出できる。
【０１３８】
また、本実施形態に記載された様々な機能の各々は、回路（処理回路）によって実現されてもよい。処理回路の例には、中央処理装置（ＣＰＵ）のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム（命令群）を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたＣＰＵ以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。
【０１３９】
また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【０１４０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１４１】
１…測距装置、１１…撮像部（撮像装置）、１２…画像処理部（画像処理装置）、１３…ディスプレイ、１５…光軸、１２１…取得部、１２２…キャリブレーション処理部、１２３…補正部、１２４…距離算出部、１２５…通知部、２…フィルタユニット、２１…フィルタ、２１１…第１フィルタ領域、２１２…第２フィルタ領域、２１３…光学中心、２１４…境界線、２２…フィルタ枠、２３…取り付け部、３…レンズユニット、３１…レンズ、３Ａ…開口部、４…カメラ本体、４１…イメージセンサ、４１１…第１センサ、４１２…第２センサ、４１３…第３センサ、４２…レンズマウント。
【図１】
2020041973.tif 000003
【図２】
2020041973.tif 000004
【図３】
2020041973.tif 000005
【図４】
2020041973.tif 000006
【図５】
2020041973.tif 000007
【図６】
2020041973.tif 000008
【図７】
2020041973.tif 000009
【図８】
2020041973.tif 000010
【図９】
2020041973.tif 000011
【図１０】
2020041973.tif 000012
【図１１】
2020041973.tif 000013
【図１２】
2020041973.tif 000014
【図１３】
2020041973.tif 000015
【図１４】
2020041973.tif 000016
【図１５】
2020041973.tif 000017
【図１６】
2020041973.tif 000018
【図１７】
2020041973.tif 000019
【図１８】
2020041973.tif 000020
【図１９】
2020041973.tif 000021
【図２０】
2020041973.tif 000022
【図２１】
2020041973.tif 000023
【図２２】
2020041973.tif 000024
【図２３】
2020041973.tif 000025
【図２４】
2020041973.tif 000026
【図２５】
2020041973.tif 000027
【図２６】
2020041973.tif 000028