(57)【要約】【課題】  １台のカメラでデプス情報を簡単に求めることができる電子機器及び通知方法を提供すること。【解決手段】  実施形態による電子機器は、第１波長域を透過する第１領域と第２波長域を透過する第２領域とを有するフィルタを含むカメラにより撮影された画像であって、前記第１領域を透過した第１波長域に基づく第１色成分画像と前記第２領域を透過した第２波長域に基づく第２色成分画像とを含む画像を入力する入力手段と、前記第１色成分画像と前記第２色成分画像における色情報の偏りに基づいてデプス情報の計算に対する有効領域をユーザに通知する処理手段を具備する。【選択図】図１８
2020048034.tif 000002
【特許請求の範囲】
【請求項１】
第１波長域を透過する第１領域と第２波長域を透過する第２領域とを有するフィルタを含むカメラにより撮影された画像であって、前記第１領域を透過した前記第１波長域に基づく第１色成分画像と前記第２領域を透過した前記第２波長域に基づく第２色成分画像とを含む画像を入力する入力手段と、
前記第１色成分画像と前記第２色成分画像における色情報の偏りに基づいてデプス情報の計算に対する有効領域をユーザに通知する処理手段と、
を具備する電子機器。
【請求項２】
前記デプス情報は、前記第１色成分画像のぼけの形状と前記第２色成分画像のぼけの形状に基づき求められる請求項１記載の電子機器。
【請求項３】
前記処理手段は、複数の撮影パラメータの中の少なくとも１つの撮影パラメータに基づいて前記有効領域を取得または計算する請求項１記載の電子機器。
【請求項４】
前記処理手段は、前記少なくとも１つの撮影パラメータを含む有効領域取得要求を外部機器に送信し、前記少なくとも１つの撮影パラメータに応じた前記有効領域を前記外部機器から受信する請求項３記載の電子機器。
【請求項５】
前記複数の撮影パラメータの中の少なくとも１つの撮影パラメータに基づいて前記カメラの光学的特性分布をシミュレーションした結果から求められた前記有効領域を記憶するメモリをさらに具備する請求項３記載の電子機器。
【請求項６】
前記複数の撮影パラメータは、前記カメラのレンズの開口と前記フィルタとの距離、前記カメラのセンササイズ、前記レンズの焦点距離又は前記レンズの明るさを含む請求項３乃至請求項５のいずれか一項記載の電子機器。
【請求項７】
前記フィルタは、前記カメラのレンズの先端または先端よりも被写体側に配置、または前記レンズの後端または後端よりもイメージセンサ側に配置される請求項１乃至請求項３のいずれか一項記載の電子機器。
【請求項８】
前記処理手段は、前記画像の中のデプス情報を求める物体が指定されると、前記物体のエッジ成分の方向を検出し、検出した前記エッジ成分の方向に応じた情報を通知する請求項７記載の電子機器。
【請求項９】
前記処理手段は、前記入力手段により入力された前記画像の中から前記有効領域内の画像を抽出し、抽出した前記有効領域内の画像を表示部で表示する請求項１記載の電子機器。
【請求項１０】
前記処理手段は、前記画像の中のデプス情報を求める測定対象が前記有効領域内に位置するように撮影するためのガイダンスを音声、テキスト、映像の少なくともいずれかによって通知する請求項１記載の電子機器。
【請求項１１】
表示部で表示されている前記画像の中のデプス情報を求める測定対象をユーザ操作、前記有効領域内のデプス情報の分布、映像からの物体認識のいずれかにより特定する特定手段をさらに具備する請求項１記載の電子機器。
【請求項１２】
前記処理手段は、前記画像の中のデプス情報を求める測定対象が前記有効領域内にないことを判定すると、再撮影をすることを推奨するガイダンスを通知する請求項１記載の電子機器。
【請求項１３】
前記処理手段は、表示部で表示される前記画像上に前記有効領域を示すガイドラインを色、明度、コントラストの少なくともいずれかによって表現する請求項１記載の電子機器。
【請求項１４】
前記入力手段により入力された前記画像を表示する表示部をさらに具備し、
前記処理手段は、前記有効領域に応じて前記画像の色ずれを補償し、補償後の画像を表示する請求項１記載の電子機器。
【請求項１５】
前記入力手段により入力された前記画像を表示する表示部をさらに具備し、
前記処理手段は、前記画像とともに前記有効領域および前記有効領域を求めるために利用したデプス推定に関する信頼度の少なくともいずれかを前記表示部で表示させる請求項１記載の電子機器。
【請求項１６】
第１波長域を透過する第１領域と第２波長域を透過する第２領域とを有するフィルタを含むカメラにより撮影された画像であって、前記第１領域を透過した第１波長域に基づく第１色成分画像と前記第２領域を透過した第２波長域に基づく第２色成分画像とを含む画像を入力することと、
入力された前記第１色成分画像と前記第２色成分画像における色情報の偏りに基づいてデプス情報の計算に対する有効領域をユーザに通知すること、
を具備する通知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は電子機器及び通知方法に関する。
【背景技術】
【０００２】
撮影画像とデプス情報を同時に取得する手法としてステレオカメラを用いる手法が知られている。しかし、２台のカメラが必要であることと、視差確保のためには２台のカメラの間隔を長くする必要があるため、この手法を実現する装置が大型化する。そのため、１台のカメラでデプス情報を求める手法が望まれている。その一例として、イメージセンサが撮像する複数の色成分毎の画像のぼけの形状差に基づいてデプス情報を求める技術が提案されている。画像に色成分毎のぼけを生じさせるために、異なる色成分を通過する少なくとも２つの領域からなるフィルタを用いて画像が撮影される。異なる色成分の透過特性を持つフィルタを利用し、デプス情報を求めるための機構をカラー開口と呼称する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１０２７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像の中央、周辺等のどの部分においても画像に色成分毎のぼけが生じるためには、異なる色成分の透過特性を持つフィルタはレンズ開口に配置することが好ましい。しかし、このためには、カメラレンズを特注する必要又は市販のカメラレンズを改造する必要がある。このため、１台のカメラでデプス情報を求めることは簡単ではなかった。
【０００５】
本発明の目的は、１台のカメラでデプス情報を簡単に求めることができる電子機器及び通知方法を提供することである。
【課題を解決するための手段】
【０００６】
実施形態による電子機器は、第１波長域を透過する第１領域と第２波長域を透過する第２領域とを有するフィルタを含むカメラにより撮影された画像であって、前記第１領域を透過した第１波長域に基づく第１色成分画像と前記第２領域を透過した第２波長域に基づく第２色成分画像とを含む画像を入力する入力手段と、前記第１色成分画像と前記第２色成分画像における色情報の偏りに基づいてデプス情報の計算に対する有効領域をユーザに通知する処理手段を具備する。
【図面の簡単な説明】
【０００７】
【図１】フィルタをレンズの開口に追加した場合の被写体の距離による光線の変化の一例を示す図である。
【図２】フィルタの一例を示す図である。
【図３】フィルタの第１フィルタ領域および第２フィルタ領域の透過率特性の一例を示す図である。
【図４】フィルタをレンズ開口に配置した場合の光線の変化の一例を示す図である。
【図５】フィルタをレンズの先端より外側に配置した場合の光線の変化の一例を示す図である。
【図６】第１実施形態による電子機器の外観の一例を示す図である。
【図７】第１実施形態による電子機器の電気的構成の一例を示すブロック図である。
【図８】イメージセンサの構造の一例を示す図である。
【図９】イメージセンサのカラーフィルタの一例を示す図である。
【図１０】フィルタによる光線変化とぼけの形状の関係の一例を示す図である。
【図１１】第１実施形態による電子機器の機能構成の一例を示すブロック図である。
【図１２】第１実施形態における基準画像のぼけ関数の一例を示す図である。
【図１３】第１実施形態における対象画像のぼけ関数の一例を示す図である。
【図１４】第１実施形態におけるぼけ補正フィルタの一例を示す図である。
【図１５】第１実施形態における有効領域決定部の一例を示す図である。
【図１６】第１実施形態における有効領域の決定の一例を示す図である。
【図１７】第１実施形態における有効領域テーブルの一例を示す図である。
【図１８】第１実施形態における有効領域を示すガイドラインの一例を示す図である。
【図１９】第１実施形態における有効領域通知の一例を示すフローチャートである。
【図２０】第２実施形態による電子機器の外観の一例を示す図である。
【図２１】第２実施形態による電子機器を含むシステムの一例を示す図である。
【図２２】第２実施形態における電子機器を含むシステムによる有効領域通知の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、実施の形態について図面を参照して説明する。なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。
【０００９】
［デプス情報の取得原理］  
図１は、異なる波長域の透過特性を持つフィルタ１０をレンズ１２の開口に追加した場合の被写体の距離による光線の変化の一例を示す。図２は、フィルタ１０の一例を示す図である。フィルタ１０は、複数、例えば２つの第１フィルタ領域１０ａと第２フィルタ領域１０ｂを含む。ｘ方向が左右方向、ｙ方向が上下方向であり、左右方向は被写体から見た場合の左右方向である。フィルタ１０の中心は、レンズの光学中心１６と一致している。第１フィルタ領域１０ａと第２フィルタ領域１０ｂは互いに重ならないように配置される。図２に示す例では、第１フィルタ領域１０ａと第２フィルタ領域１０ｂは、それぞれ、円形のフィルタ１０が光学中心１６を通る垂直方向の線分で左右に分割された半円の形状を有している。イメージセンサが赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の色成分画像を撮影する場合、第１フィルタ領域１０ａはＲ、Ｇ、Ｂの中の第１の２色の組み合わせの光に対応する波長域を透過し、第２フィルタ領域１０ｂは第１の２色の組み合わせとは異なる第２の２色の組み合わせの光に対応する波長域を透過する。
【００１０】
図３は、第１フィルタ領域１０ａおよび第２フィルタ領域１０ｂの透過率特性の一例を示す。例えば、第１フィルタ領域１０ａは、赤と緑の光の波長域を透過するイエロー（Ｙ）フィルタからなり、第２フィルタ領域１０ｂは緑と青の光の波長域を透過するシアン（Ｃ）フィルタからなる。第１フィルタ（イエローフィルタ）領域１０ａの透過率特性１８ａは、Ｒ画像およびＧ画像に対応する波長域の光に対する透過率が高く、Ｂ画像に対応する波長域の光をほとんど透過しない。第２フィルタ（シアンフィルタ）領域１０ｂの透過率特性１８ｂは、Ｂ画像およびＧ画像に対応する波長域の光に対する透過率が高く、Ｒ画像に対応する波長域の光をほとんど透過しない。
【００１１】
このため、図１に示すように、開口を通過する光線がＲ、Ｇ、Ｂの色成分画像毎に変化する。Ｇ画像の波長域の光は第１フィルタ（イエローフィルタ）領域１０ａと第２フィルタ（シアンフィルタ）領域１０ｂの両方を通過するが、Ｒ画像の波長域の光は第１フィルタ（イエローフィルタ）領域１０ａのみを通過し、Ｂ画像の波長域の光は第２フィルタ（シアンフィルタ）領域１０ｂのみを通過する。このため、撮像画像のＲ画像とＢ画像のぼけの形状が被写体までの距離ｄに応じて変化する。また、開口が２分割されているので、Ｒ画像とＢ画像のぼけの偏り方向が合焦面ｄｆの前後で反転する。そのため、前ぼけと後ぼけが識別可能であり、ぼけの形状から被写体までの距離ｄに応じたデプス情報を求めることができる。
【００１２】
なお、フィルタ１０はレンズ開口に配置する代わりに、イメージセンサ１４に入射する光の光路上において、フィルタ１０とイメージセンサ１４との間にレンズ１２を配置してもよいし、レンズ１２とイメージセンサ１４との間にフィルタ１０を配置してもよい。さらに、レンズ１２が複数のレンズからなる場合には、フィルタ１０はいずれかのレンズ１２の間に配置してもよい。また、Ｙフィルタ又はＣフィルタの代わりに赤と青の光の波長域を透過するマゼンタ（Ｍ）フィルを用いても良い。また、フィルタ１０の領域数は２に限らず、３以上でも良い。領域の形状は円の中心を通る直線で全体を分割する構成に限らず、モザイク状に複数の領域が配置される構成でもよい。
【００１３】
［デプス推定に不必要な色ずれ］  
中央、周辺等の画像のどの部分においても画像に複数の色成分毎のぼけを生じさせるためには、フィルタはレンズ開口に配置することが好ましい。しかし、このためには、カメラレンズを特注する必要又は市販のカメラレンズを改造する必要がある。このため、レンズの外側にカラーファイルを配置することが考えられている。図４と図５は、フィルタをレンズ開口に配置した場合とレンズ先端より外側（被写体側）に配置した場合の光線の変化の違いの一例を示す。図４、図５はｙ軸のプラス側（上側）から見た図である。図４（ａ）、（ｂ）に示すように、フィルタ１０をレンズ１２の開口に配置すると、被写体の中央部、周辺部からの光線も第１フィルタ領域１０ａと第２フィルタ領域１０ｂの両方を均等に通過してイメージセンサ１４に入射される。しかし、フィルタ１０をレンズ１２先端より被写体側、例えばレンズ先端のフィルタ取り付け用のネジにフィルタ１０をねじ込んで固定する又はスマートフォンの広角レンズアタッチメントのようにレンズ１２の前面にフィルタ１０をクリップ等により固定する場合、図５（ａ）に示すように、被写体の中央部からの光線は第１フィルタ領域１０ａと第２フィルタ領域１０ｂの両方を均等に通過してイメージセンサ１４に入射される。しかし、図５（ｂ）に示すように、被写体の周辺部からの光線は第１フィルタ領域１０ａと第２フィルタ領域１０ｂのいずれか一方をより多く通過し、他方をより少なく通過してイメージセンサ１４に入射される。このように、フィルタが左右に第１、第２フィルタ領域に分割されている場合、イメージセンサ１４は被写体の左右両端部ではＲ画像とＢ画像を均等に撮影することができず、Ｒ画像とＢ画像とのバランスが崩れ、デプス推定に不必要な好ましくない色ずれが生じる。
【００１４】
ただし、フィルタ１０をレンズ開口以外に配置した場合、デプス情報を全く測定できない訳ではなく、画面中央領域の被写体のデプス情報を求めることはできるが、周辺領域の被写体のデプス情報を精度良く求めることができない場合があるだけである。イメージセンサ１４がＲ画像とＢ画像を均等に撮影できる被写体の領域は画像撮影時のカメラの光学特性に関する諸パラメータ（以下、撮影パラメータと称する）により決まるので、デプス情報の測定誤差が実用上問題ない程度に小さい領域、すなわちデプス情報の信頼度がある基準の信頼度より高い領域を特定することができる。また、常に画面全体のデプス情報を求める必要があるとは限らず、中央の領域に位置する被写体の部分のデプス情報が求められれば良いこともある。
【００１５】
実施形態では、複数の色成分に距離に応じて異なるぼけを生じさせるフィルタ１０をレンズ開口以外に配置し、デプス情報の信頼度をユーザに通知する。信頼度が低い場合は、カメラの構図を変えて撮影し直す等により、信頼度の高いデプス情報を求めることができる。これにより、カメラレンズを特注する必要又は市販のカメラレンズを改造する必要がなく、１台のカメラで簡単にデプス情報を求めることができる電子機器及び通知方法が提供される。
【００１６】
［第１実施形態の外観］  
図６は第１実施形態の電子機器の外観を示す。図６（ａ）は斜視図、図６（ｂ）は断面構造を示す側面図である。第１実施形態の電子機器としてはスマートフォン４０が利用できる。スマートフォン４０は、画像を撮像し、撮像した画像を処理する機能を有する電子機器の一例である。なお、実施形態としては、スマートフォン４０に限らず、カメラ、カメラ機能を有する携帯電話機やＰＤＡ（Personal Digital Assistant, Personal Data Assistant）といった携帯情報端末又はカメラ機能を有するパーソナルコンピュータ等も利用できる。
【００１７】
スマートフォン４０のカメラレンズ４２の前面を覆うようにクリップ式のアタッチメント４４がスマートフォン４０に装着される。アタッチメント４４はカメラレンズ４２の口径より大口径の第１鏡筒４６を備えており、第１鏡筒４６の内側に第２鏡筒４８が挿入される。第２鏡筒４８の先端にフィルタ５２が配置される。フィルタ５２は図２に示したフィルタ１０と同様にイエローの第１フィルタ領域５２ａとシアンの第２フィルタ領域５２ｂからなる。ユーザが第２鏡筒４８に対して回転力を与えると、第２鏡筒４８は第１鏡筒４６に対して回転される。これにより、フィルタ５２の向き（第１フィルタ領域５２ａと第２フィルタ領域５２ｂによる領域分割線の向き）が調整可能である。ユーザが回転力を与えないと、第２鏡筒４８は第１鏡筒４６に対して静止している。なお、イモネジ（図示しない）等を第１鏡筒４６に設け、フィルタ５２の向きが調整された後は、第２鏡筒４８の回転を抑止しても良い。
【００１８】
デプス情報が求められる被写体の条件として、エッジが延びる方向（エッジ方向）がある。柱のように垂直の物体のエッジ方向は水平方向であり、机のように水平な物体のエッジ方向は垂直方向である。フィルタの領域分割方向と被写体のエッジ方向が平行ではない場合、デプス情報を求めることができる。図２に示すフィルタでは２つの領域が左右に並んでいるので、分割方向は縦方向である。そのため、図２に示すフィルタを用いてデプス情報を求めることができる被写体は水平エッジである垂直の物体である。ここでは、デプス情報を求めたい被写体のエッジ方向は水平方向であると仮定する。アタッチメント４４はこのような被写体に適するようにフィルタの領域分割方向が被写体のエッジ方向と交差するように装着される。そのため、アタッチメント４４の装着位置を決めるためのマーカ４６ａが第１鏡筒４６の表面に記され、マーカ４８ａが第２鏡筒４８の表面に記されている。マーカ４６ａがスマートフォン４０のＬＥＤ４０ａに合うようにアタッチメント４４がスマートフォン４０に装着され、マーカ４８ａとマーカ４６ａの位置が揃うように第２鏡筒４８が第１鏡筒４６に対して位置決めされる。この場合、エッジ方向が水平方向である被写体のデプス情報が求められる。被写体のエッジ方向が水平方向ではない場合は、この後、フィルタ５２の領域分割線の方向がエッジ方向と交差するようにユーザによって第２鏡筒４８が回転され、フィルタ５２の向きが調整される。
【００１９】
第２鏡筒４８は第１鏡筒４６の内側に設けたが、第１鏡筒４６の外側に設けても良い。
また、被写体のエッジ方向がフィルタ５２の領域分割線と平行である場合、スマートフォン４０自体を回転して領域分割線の方向がエッジ方向と交差するように回転しても良い。この場合、フィルタ５２は回転できなくても良いので、第２鏡筒４８は不要で、第１鏡筒４６にフィルタ５２が設けられても良い。
【００２０】
［第１実施形態の電気的構成］  
図７は、スマートフォン４０の電気的構成の一例を示すブロック図である。スマートフォン４０は、フィルタ５２、レンズ４２を介して入射された被写体像を撮影するイメージセンサ５４、ＣＰＵ５６、ＲＡＭ５８、ディスプレイ６０、通信部６２、不揮発性メモリ６４、メモリカードスロット６６及びオーディオ出力部６８を備える。イメージセンサ５４、ＣＰＵ５６、ＲＡＭ５８、ディスプレイ６０、通信部６２、不揮発性メモリ６４、メモリカードスロット６６及びオーディオ出力部６８は、バスライン６９を介して相互に接続される。
【００２１】
ＣＰＵ５６は、スマートフォン４０内の様々なコンポーネントの動作を制御するプロセッサである。ＣＰＵ５６は、ストレージデバイスである不揮発性メモリ６４からＲＡＭ５８にロードされる様々なプログラムを実行する。不揮発性メモリ６４には種々のアプリケーションプログラム以外にＯＳ（Operating System）６４ａも格納する。種々のアプリケーションプログラムの一例はデプス計算プログラム６４ｂ、有効領域通知プログラム６４ｃである。不揮発性メモリ６４には、イメージセンサ１４によって撮影された画像や、その画像に対するプログラム６４ｂ、６４ｃによる処理結果も格納され得る。
【００２２】
通信部６２は、有線通信または無線通信を実行するように構成されたインターフェース機器である。通信部６２は、信号を有線または無線で送信する送信部と、信号を有線又は無線で受信する受信部とを含む。例えば、通信部６２はインターネット９２を介して外部のサーバ９４にスマートフォン４０を接続することができる。
【００２３】
ディスプレイ６０は、たとえばＬＣＤ（Liquid Crystal Display）である。ディスプレイ６０は、ＣＰＵ５６等によって生成される表示信号に基づいて画面イメージを表示する。例えば、ディスプレイ６０は撮像した画像やデプス情報を表示する機能や、信頼度そのものあるいは信頼度に応じた情報をテキスト、アイコン、マーク等として表示することによりユーザに信頼度を通知する機能を有する。ディスプレイ６０はタッチスクリーンディスプレイであってもよい。その場合、たとえば、ＬＣＤの上面にタッチパネルが配置される。タッチパネルは、ＬＣＤの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等がタッチパネルによって検出される。
【００２４】
オーディオ出力部６８はスピーカ、イヤホンジャック等であり、信頼度そのものあるいは信頼度に応じた情報を音声としてユーザに通知する。
メモリカードスロット６６には、ＳＤ（登録商標）メモリカードやＳＤＨＣ（登録商標）メモリカードのような各種の可搬記憶媒体であるメモリカードが挿入され得る。メモリカードスロット６６に記憶媒体が挿入された場合、その記憶媒体に対するデータの書き込みおよび読み出しが実行され得る。データは、例えば画像データや距離データである。
【００２５】
アプリケーションプログラムはスマートフォン４０に内蔵されていなくても良い。例えば、デプス計算プログラム６４ｂがスマートフォン４０ではなく、サーバ９４に備えられていても良い。この場合、イメージセンサ５４で撮像した画像が通信部６２によりサーバ９４に送信され、サーバ９４に備わるデプス計算プログラムによりデプス情報が求められ、デプス情報がスマートフォン４０に返送されれば良い。また、デプス計算プログラム６４ｂと有効領域通知プログラム６４ｃがスマートフォン４０ではなく、ともにサーバ９４に備えられていても良い。この場合、イメージセンサ５４で撮像した画像がサーバ９４に通信部６２により送信され、サーバ９４に備わるデプス計算プログラムによりデプス情報が求められるとともに、サーバ９４に備わる有効領域通知プログラムにより有効領域が決定され、デプス情報、有効領域の通知情報がスマートフォン４０に返送されれば良い。
【００２６】
［イメージセンサ］  
イメージセンサ５４、例えばＣＣＤ型のイメージセンサは、２次元マトリクス状に配列された受光素子としてのフォトダイオードと、フォトダイオードが入射光を光電変換することにより発生された信号電荷を転送するＣＣＤとからなる。図８は、フォトダイオードの部分の断面構造の一例を示す。ｐ型シリコン基板７０の表面領域に多数のｎ型半導体領域７２が形成され、ｐ型基板４２とｎ型半導体領域７２とのｐｎ接合により多数のフォトダイオードが形成される。ここでは、２つのフォトダイオードが１つの画素を構成する。そのため、各フォトダイオードはサブ画素とも称される。各フォトダイオードの間には、クロストーク抑制用の遮光膜７４が形成される。ｐ型シリコン基板７０の上にトランジスタや各種配線等が設けられる多層の配線層７６が形成される。
【００２７】
配線層７６の上にカラーフィルタ８０が形成される。カラーフィルタ８０は、画素毎に例えば赤（Ｒ）、緑（Ｇ）または青（Ｂ）の光を透過する多数のフィルタ要素の２次元アレイ状に配列からなる。このため、各画素はＲ、Ｇ、Ｂのいずれかの色成分の画像情報しか発生しない。画素で発生されない他の２色の色成分の画像情報は、周囲の画素の色成分画像情報から補間により求められる。周期的な繰り返しパターンの撮影においては、補間の際にモアレや偽色が発生することがある。これを防止するために、図示していないが、石英等からなり、繰り返しパターンを多少ぼかす光学的ローパスフィルタがレンズ４２とイメージセンサ５４との間に配置されてもよい。光学的ローパスフィルタを設ける代わりに、画像信号の信号処理で同様な効果を得るようにしてもよい。
【００２８】
カラーフィルタ８０の上にマイクロレンズアレイ８２が形成される。マイクロレンズアレイ８２は１画素に対応する１対のマイクロレンズ８２ａ、８２ｂの２次元アレイ状の配列からなる。図８は、表面入射型のイメージセンサ５４を示したが、裏面入射型でもよい。１画素を構成する２つのフォトダイオードは、一対のマイクロレンズ８２ａ、８２ｂを介してレンズ４２の射出瞳（Exit pupil）の異なる領域を通過した光を受光するように構成され、所謂瞳分割が実現されている。
【００２９】
図９（ａ）は、各画素を構成するフォトダイオード８４ａ、８４ｂとマイクロレンズ８２ａ、８２ｂとの関係の一例を示す平面図である。図９（ａ）に示すように、第１のサブ画素としてのフォトダイオード８４ａにはフィルタ５２の第１フィルタ領域１０ａを通過した光が入射される。第２のサブ画素としてのフォトダイオード８４ｂにはフィルタ５２の第２フィルタ領域１０ｂを通過した光が入射される。
【００３０】
図９（ｂ）はカラーフィルタ８０の一例を示す。カラーフィルタ８０は、例えばベイヤー配列の原色カラーフィルタである。これにより、イメージセンサ５４は、赤色の光をセンスするＲ画素、緑色の光をセンスするＧ画素及び青色の光をセンスするＢ画素を備える。なお、カラーフィルタ８０は、補色フィルタでもよい。さらに、カラー画像を撮影する必要が無くデプス情報だけを求めればよい場合は、イメージセンサ５４はカラーセンサである必要は無く、モノクロセンサでもよく、カラーフィルタ８０は無くてもよい。
【００３１】
なお、イメージセンサ１４としては、ＣＣＤ型のセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のセンサを用いても良い。
［フィルタによるぼけ形状］  
図１０を参照して、フィルタ５２による光線変化とぼけの形状について説明する。フィルタ５２はイエローの第１フィルタ領域５２ａとシアンの第２フィルタ領域５２ｂからなる。被写体８８が合焦距離ｄｆよりも奥にある場合（ｄ＞ｄｆ）、イメージセンサ５４によって撮像された画像にはぼけが発生する。この画像上のぼけの形状を示すぼけ関数（ＰＳＦ：Point Spread Function）は、Ｒ画像、Ｇ画像およびＢ画像でそれぞれ異なっている。Ｒ画像のぼけ関数１０１Ｒは左側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数１０１Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数１０１Ｂは右側に偏ったぼけの形状を示している。
【００３２】
被写体８８が合焦距離ｄｆにある場合（ｄ＝ｄｆ）、イメージセンサ５４によって撮像された画像にはほとんどぼけが発生しない。この画像上のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像およびＢ画像でほぼ同じである。すなわち、Ｒ画像のぼけ関数１０２Ｒ、Ｇ画像のぼけ関数１０２Ｇ、およびＢ画像のぼけ関数１０２Ｂは、偏りのないぼけの形状を示している。
【００３３】
被写体８８が合焦距離ｄｆよりも手前にある場合（ｄ＜ｄｆ）、イメージセンサ５４によって撮像された画像にはぼけが発生する。この画像上のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像及びＢ画像でそれぞれ異なっている。Ｒ画像のぼけ関数１０３Ｒは右側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数１０３Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数１０３Ｂは左側に偏ったぼけの形状を示している。
【００３４】
本実施形態では、このような特性を利用して、画像の画素毎に被写体までのデプス情報を算出する。
［実施形態の機能構成］  
図１１はスマートフォン４０の機能構成の一例を示すブロック図である。カラーフィルタ１０からイメージセンサ５４までの矢印は光の経路を示す。イメージセンサ５４から先の矢印は電気信号の経路を示す。
【００３５】
フィルタ５２の第１フィルタ（Ｙ）領域５２ａを通過した赤色の光がレンズ４２を介してイメージセンサ５４のＲ画素（第１センサと称する）５４ａに入射され、フィルタ５２の第１フィルタ（Ｙ）領域５２ａを通過した緑色の光がレンズ４２を介してイメージセンサ５４のＧ画素（第２センサと称する）５４ｂに入射される。フィルタ５２の第２フィルタ（Ｃ）領域５２ｂを通過した緑色の光がレンズ４２を介してイメージセンサ５４の第２センサ５４ｂに入射され、フィルタ５２の第２フィルタ（Ｃ）領域５２ｂを通過した青色の光がレンズ４２を介してイメージセンサ５４のＢ画素（第３センサと称する）５４ｃに入射される。
【００３６】
第１センサ５４ａ、第２センサ５４ｂ及び第３センサ５４ｃの出力信号が画像入力部１０２に入力される。画像入力部１０２は、ぼけ関数(Point spread function、PSF)が偏りのないぼけの形状を示すＧ画像を基準画像として取得し、ぼけ関数が偏ったぼけの形状を示すＲ画像およびＢ画像の一方または両方を対象画像として取得する。対象画像と基準画像は、同一のカメラにより同時刻に撮像された画像である。
【００３７】
画像入力部１０２の出力信号がディスプレイ６０に供給されるとともに、デプス計算部１０４と有効領域決定部１０６に供給される。デプス計算部１０４と有効領域決定部１０６の出力もディスプレイ６０に供給される。
［デプス計算］  
デプス計算部１０４は、ぼけ補正フィルタを用いて画像に写る被写体までのデプス情報を画素毎に算出する。なお、画素毎にデプス情報を算出する代わりに、複数の画素の集合の画素ブロック単位でデプス情報を算出しても良い。ぼけ補正フィルタとは、対象画像に対して演算されると、演算後の対象画像と基準画像との相関が演算前の対象画像と基準画像との相関より高くなるようなフィルタである。補正画像と基準画像との相関を計算する手法については後述する。ぼけ補正フィルタと演算されると、対象画像のボケの形状が基準画像のぼけの形状に近づく。
【００３８】
実施形態では、画像に写る被写体までの距離を複数の距離に想定して作成した複数の距離毎の複数のぼけ補正フィルタを用意しておく。対象画像のぼけ形状を補正した補正画像を生成し、複数のぼけ補正フィルタの中から、補正画像と基準画像との相関が最も高くなるぼけ補正フィルタを探す。相関が最も高くなるぼけ補正フィルタに対応する距離が被写体までのデプス情報として決定される。しかし、あらかじめ用意した複数のぼけ補正フィルタの中から１つのぼけ補正フィルタを選ぶ代わりに、上記の条件を満たすぼけ補正フィルタを演算により求めても良い。
【００３９】
デプス計算部１０４は、さらに算出したデプスから、画像の各画素を距離に応じて着色した距離画像を出力してもよい。
撮像画像のぼけ関数は、フィルタ５２の形状（領域分割の態様）と、被写体の位置とピント位置との距離によって決定する。図１２は、実施形態に係る基準画像のぼけ関数の一例を示す図である。図１２に示すように、第２センサ５４ｂに対応する緑色の光の波長領域が透過する開口形状は点対称形である円形状であるため、ぼけ関数で示されるぼけの形状は、ピント位置の前後で変化はなく、被写体とピント位置との間の距離の大きさによってぼけの幅が変化する。このようなぼけの形状を示すぼけ関数は、被写体の位置とピント位置との間の距離の大きさによってぼけの幅が変化するガウス関数として表現できる。なお、ぼけ関数は、被写体の位置とピント位置との距離によってぼけの幅が変化するピルボックス関数として表現してもよい。
【００４０】
一方、図１３は、実施形態に係る対象画像のぼけ関数の一例を示す図である。なお、各図の中心は（ｘ、ｙ）＝（０，０）である。図１３に示すように、対象画像（たとえばＲ画像）のぼけ関数は、被写体がピント位置よりも遠方にあるｄ＞ｄｆの場合、ｘ＞０においてぼけの幅が減衰するガウス関数として表現できる。また、対象画像（たとえばＲ画像）のぼけ関数は、被写体がピント位置よりも近方にあるｄ＜ｄｆの場合、ｘ＜０においてぼけの幅が減衰するガウス関数として表現できる。他方の対象画像（たとえばＢ画像）のぼけ関数は、被写体がピント位置よりも遠方にあるｄ＞ｄｆの場合、ｘ＜０においてぼけの幅が減衰するガウス関数として表現できる。また、Ｂ画像のぼけ関数は、被写体がピント位置よりも近方にあるｄ＜ｄｆの場合、ｘ＞０においてぼけの幅が減衰するガウス関数として表現できる。
【００４１】
基準画像のぼけ関数と対象画像のぼけ関数とを解析することにより、対象画像のぼけ形状を基準画像のぼけ形状へ補正するための複数のぼけ補正フィルタを求めることができる。
図１４は、実施形態に係るぼけ補正フィルタの一例を示す図である。ぼけ補正フィルタは、第１フィルタ領域５２ａと第２フィルタ領域５２ｂの境界の線分（垂直方向）の中心点を通り、この線分に直交する直線上（水平方向）に分布する。その分布は、想定する距離毎にピーク点（直線上の位置、高さ）とピーク点からの広がり方とが異なる図示のような山状の分布となる。対象画像のぼけ形状は、ぼけ補正フィルタを用いて、任意の距離を想定した様々なぼけ形状に補正することができる。つまり、任意の距離を想定した補正画像を生成することができる。
【００４２】
デプス計算部１０４は、生成した補正画像と基準画像とのぼけ形状が最も近似または一致する距離を撮像画像の各画素で求める。ぼけ形状の一致度は、各画素を中心とする任意サイズの矩形領域における補正画像と基準画像との相関を計算すれば良い。ぼけ形状の一致度の計算は、既存の類似度評価手法を用いれば良い。デプス計算部１０４は、補正画像と基準画像とで相関が最も高くなる補正フィルタが対応する距離を求め、各画素に写る被写体までのデプス情報を算出する。たとえば、既存の類似度評価手法は、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）、Color Alignment Measure等を利用すれば良い。本実施形態では、自然画像の色成分が局所的には線形な関係を持つ特性を有することを利用したColor Alignment Measureを利用する。Color Alignment Measureでは、撮像画像の対象画素を中心とする局所境域の色分布の分散から、相関関係を表す指標が算出される。
【００４３】
［デプス情報の信頼度通知］  
実施形態は、デプス計算部１０４により計算されたデプス情報の信頼度を求め、信頼度に応じた情報をユーザに通知する機能を有する。信頼度に応じた情報通知の一例として、信頼度が基準信頼度より高い画素からなる有効領域を求め、有効領域をユーザに通知することがある。この通知に関する図１１に示す有効領域決定部１０６のいくつかの例を図１５（ａ）、（ｂ）、（ｃ）に示す。
【００４４】
図１５（ａ）に示す有効領域決定部１０６ａは有効領域計算部１１２と撮影パラメータ入力部１１４を備える。有効領域は撮影パラメータにより決まるので、有効領域計算部１１２は撮影パラメータ入力部１１４から入力される撮影パラメータに応じて有効領域を計算する。
【００４５】
撮影パラメータは、レンズの明るさ（Ｆ値）、焦点距離、フィルタとレンズ開口との距離及びイメージセンサのサイズ等を含む。撮影パラメータ入力部１１４はディスプレイ６０でパラメータ入力・選択画面を表示させ、ディスプレイ６０に設けられたタッチパネルを用いてユーザが各撮影パラメータを入力できるように構成されていても良い。なお、レンズの明るさ、焦点距離及びイメージセンサのサイズはスマートフォン４０に固有の値であるので、有効領域通知プログラム６４ｃをスマートフォン４０にインストールする際に自動的に入力されるように構成しても良い。また、レンズ４２が光学ズーム機能を備えている場合は、焦点距離は可変であるので、ズーム機構から焦点距離情報が入力されるように構成しても良い。フィルタとレンズ開口との距離はアタッチメント４４に固有の値であるので、アタッチメント４４毎に入力する必要がある。しかし、撮影パラメータ入力部１１４がアタッチメント４４の種類毎にこの距離を格納しているテーブルを備え、ユーザが距離そのものではなくアタッチメント４４の種類を入力するように構成しても良い。
【００４６】
図２に示すようなフィルタ１０と同様な縦分割の構成のフィルタ５２が用いられる場合、有効領域は画面中央を中心とした一定の幅の縦長領域であるので、有効領域計算部１１２は撮影パラメータに基づき有効領域の左右の端の座標（例えば、画面の左右方向の中心からの画素数）を計算する。
【００４７】
有効領域の計算の一例を説明する。画面の全画素について画素値が既知である被写体、例えば真っ白な背景を図２に示すようなフィルタ５２を用いて撮影すると、撮影画像は、図１６（ａ）に示すように左右方向の中央付近は白、右端になるにつれて青みがかかり、左端になるにつれて赤みを帯びるようになる。図１６（ａ）の破線部における撮影画像の画素値（輝度）の断面プロファイルを図１６（ｂ）に示す。撮影パラメータが分かれば、断面プロファイルは光学シミュレーションプログラムにより計算できる。そのため、有効領域計算部１１２は、撮影パラメータ入力部１１４から入力された撮影パラメータに基づいて光学シミュレーションにより図１６（ｂ）に示すような断面プロファイルを計算する。そして、有効領域計算部１１２はＲ画素値とＢ画素値が所定輝度以上である有効領域の左右の端部の位置座標を計算する。所定輝度は基準信頼度に関連する。なお、有効領域を決める基準信頼度はデプス情報の測定誤差の許容値（デプス要求レベルと称する）に応じて異ならせても良い。すなわち、デプス要求レベルが高い場合は、所定輝度は高くなり有効領域は狭くなり、デプス要求レベルが低い場合は、所定輝度は低くなり、有効領域は広くなる。デプス要求レベルも撮影パラメータ入力部１１４から入力される。決定された有効領域に関する情報はディスプレイ６０で表示される又はオーディオ出力部６８を介して音声として出力される。
【００４８】
図１５（ｂ）に示す有効領域決定部１０６ｂは撮影パラメータ入力部１１４と有効領域取得部１１６と有効領域メモリ１１８を備える。図１５（ａ）に示す有効領域計算部１１２により種々の撮影パラメータとデプス要求レベルについて光学シミュレーションにより図１６（ｂ）に示すような断面プロファイルが予め計算され、種々の撮影パラメータとデプス要求レベルについての有効領域を示す有効領域テーブルが有効領域メモリ１１８に格納される。なお、デプス要求レベルは必須ではなく、テーブルとして予め有効領域を保持する場合は、撮影パラメータのみに応じた予め計算された有効領域を示す情報を保持し、有効領域をデプス要求レベルに応じて可変としなくても良い。なお、光学シミュレーションプログラムによる計算をせずに、画面の全画素について画素値が既知である被写体、例えば真っ白な背景を撮影した撮影画像を解析して、Ｒ画素値とＢ画素値が所定輝度以上である有効領域の左右の端部の位置座標を求めて、これらをメモリ１１８に格納しても良い。
【００４９】
有効領域メモリ１１８内の有効領域テーブルの一例を図１７に示す。有効領域取得部１１６は撮影パラメータ入力部１１４から入力される撮影パラメータ及びデプス要求レベルに対応する有効範囲の情報を有効領域メモリ１１８から読み出す。レンズが光学ズーム機能を備える場合、焦点距離は可変であるが、ある程度の焦点距離範囲について有効領域は同じであるので、焦点距離の可変範囲内のいくつかの焦点距離範囲毎に有効領域を求めてテーブルに登録すれば良い。有効領域メモリ１１８から読み出された有効領域に関する情報はディスプレイ６０で表示される又はオーディオ出力部６８を介して音声として出力される。
有効領域は、機械学習によって統計的に求めることもできる。正しいデプス情報が分かっているシーン及び／又は画素パターンに対し、ある撮影パラメータにおいてデプスを推定すれば、推定誤差を求めることができる。十分な数のシーン及び／又は画素パターンに対して推定誤差を求めれば、撮影パラメータとシーン及び／又は画像パターンの間の推定誤差の統計量が得られる。そのため、撮影パラメータとシーン及び／又は画像パターンが特定されると、図１５（ａ）の有効領域計算部１１２は推定誤差の統計量を得ることができる。
例えば統計量として分散を利用する場合、推定誤差の分散が大きい領域は、信頼度が低い領域だと判定することができる。統計量と信頼度の間の関係を表現する統計モデルは、正しいデプス情報が既知の学習データを準備すれば、ニューラルネットワークなどの機械学習によって獲得することができる。獲得した統計モデルは、撮影パラメータ入力部１１４にて保持しておき、有効領域の計算時に有効領域計算部１１２に入力する。これにより、有効領域計算部１１２は、撮影パラメータとシーン及び／又は画像パターンと機械学習による統計モデルに基づいて信頼度を求め、信頼度が基準信頼度より高い有効領域を求めることができる。
【００５０】
図１５（ａ）に示す有効領域計算部１１２と図１５（ｂ）に示す有効領域メモリ１１８は実施形態のスマートフォン４０内に備える必要はなく、サーバ９４に設けても良い。図１５（ｃ）はこの場合の有効領域決定部１０６ｃの一例を示す。有効領域決定部１０６ｃは撮影パラメータ入力部１１４と有効領域取得部１２０を備える。撮影パラメータ入力部１１４から有効領域取得部１２０に入力された撮影パラメータが通信部６２を介してサーバ９４に送信される。サーバ９４で有効領域が計算され又は有効領域メモリから読み出され、有効領域に関する情報が通信部６２に返送され、有効領域取得部１２０は有効領域に関する情報を取得する。通信部６２により受信した有効領域に関する情報はディスプレイ６０で表示される又はオーディオ出力部６８を介して音声として出力される。
【００５１】
図１８はディスプレイ６０で表示される有効領域に関する情報の一例を示す。画像入力部１０２で取得した画像がディスプレイ６０で表示される。この画像上に有効領域の左右端を示す一対のガイドライン１２４が表示される。ユーザはガイドライン１２４が表示される画像を見て、デプスを求める測定対象が有効領域内に位置するか否かを確認することができる。測定対象が有効領域外に位置する場合、構図を変える等により測定対象が有効領域内に位置するようにすることができる。このため、レンズ開口以外に位置するフィルタにより色ずれが発生しても、測定対象のデプス情報の測定誤差を許容値以下にすることができる。なお、フィルタ１０の配置方向（第１フィルタ領域と第２フィルタ領域の境界線の方向）を垂直方向としたので、有効領域は画面中央を中心とした一定の幅の縦長領域であるが、フィルタ１０の配置方向に応じて有効領域は異なる。例えば、フィルタ１０の配置方向を水平方向としたので、有効領域は画面中央を中心とした一定の幅の横長領域となる。
【００５２】
図１８の変形例として、ガイドライン１２４を表示する代わりに、有効領域のみをクリッピングした画像を表示しても良い。すなわち、図１８の右側のガイドラインの右側及び左側のガイドラインの左側の画像の代わりに、一定の輝度、例えば黒の背景を表示しても良い。さらに、有効領域と非有効領域とで色、明度又はコントラストを変えて画像を表示しても良い。なお、画像の色、明度又はコントラストを変えて画像を表示する場合、有効領域と非有効領域とで二値的に変えることに限らず、信頼度に応じて連続的に変更しても良い。信頼度そのものは、図１６を参照して説明したように、撮影画像の画素値（輝度）の断面プロファイルに基づいて求めることができる。例えば、Ｒ画素値とＢ画素値の差が大きい断面位置は色ずれがあり信頼度が低く、Ｒ画素値とＢ画素値の差が小さい断面位置は色ずれが無く信頼度が高いと判断できる。さらに、撮影画像の各画素を信頼度に応じて着色した信頼度マップを表示、保存しても良いし、画素毎の信頼度（数値）を画素に対応するテーブルの形で表示、保存しても良い。信頼度マップや信頼度テーブルは撮影画像とともに表示しても良い。
また、有効領域はディスプレイ６０に映像として表示することによりユーザに提示してもよいし、あらかじめ有効領域やガイドライン１２４の位置が定まっていればディスプレイ６０上に有効領域以外の映像がユーザに見えないように有効領域以外にシールを貼るなど物理的な手段で有効領域をユーザに提示してもよい。
【００５３】
図１９は、第１実施形態による信頼度に応じた情報の通知の一例を示すフローチャートである。ブロック１５２で、ユーザはデプス計算プログラム６４ｂと有効領域通知プログラム６４ｃを起動する。ブロック１５４で、ユーザはアタッチメント４４をスマートフォン４０のレンズ４２の前面に装着する。デプス情報を求める測定対象が図１８に示すように、エッジ方向が鉛直方向の物体の場合、ユーザは、第１鏡筒４６のマーカ４６ａがスマートフォン４０のＬＥＤ４０ａに合うようにアタッチメント４４の向きを決め、第２鏡筒４８のマーカ４８ａがマーカ４６ａと揃うように第２鏡筒４８の向きを決める。なお、測定対象のエッジ方向が水平方向の場合は、ユーザは、第１鏡筒４６のマーカ４６ａがスマートフォン４０のＬＥＤ４０ａに合うようにアタッチメント４４の向きを決めた後、第２鏡筒４８のマーカ４８ａがマーカ４６ａと９０度ずれるように第２鏡筒４８の向きを決める。
【００５４】
ブロック１５６で、ユーザは、カメラアプリケーションプログラム（図示しないが、不揮発性メモリ６４内に格納されている）を起動する。カメラアプリケーションプログラムが起動されると、ブロック１５８で、ディスプレイ６０はイメージセンサ５４から出力されるスルー画像を表示する。
【００５５】
ブロック１６２で、ユーザは、タッチパッドを用いて撮影パラメータ（アタッチメント４４の種類）を入力する。なお、撮影パラメータの入力はブロック１５８の実行後ではなく、ブロック１６４の実行までに行えば良い。例えば、ブロック１５２でデプス計算プログラム６４ｂと有効領域通知プログラム６４ｃが起動されると、設定画面が表示され、その段階で撮影パラメータが入力されても良い。なお、スマートフォン４０固有の撮影パラメータであるレンズの明るさ、焦点距離及びイメージセンサのサイズはスマートフォン４０に固有の値であり、ユーザの入力は不要としたが、これらもユーザが入力しても良い。
【００５６】
ブロック１６４で、有効領域決定部１０６は撮影パラメータに（場合によってはデプス要求レベルにも）基づいて有効領域を計算する（図１５（ａ）の場合）、有効領域メモリ１１８から読み出す（図１５（ｂ）の場合）又は通信部６２を介してサーバ９４から取得する（図１５（ｃ）の場合）。ブロック１６６で、有効領域決定部１０６から有効情報の左右の端部の座標情報がディスプレイ６０に供給され、図１８に示すようにスルー画像上に有効領域の左右端を示す一対のガイドライン１２４が表示される。
【００５７】
ブロック１６８で、有効領域決定部１０６は、画像解析して、スルー画像において背景と物体を識別する。背景はコントラストの無い一定の輝度値の領域であり、物体はコントラストがあり輝度値の差がある領域である。有効領域決定部１０６は、物体を認識すると、物体をデプス測定対象とする。また、画像認識技術や物体検出技術によって物体らしい領域を抽出してもよい。なお、デプス測定対象は画像解析を用いて自動的に認識することに限らず、ユーザがタッチパネル上で選択してもよい。
【００５８】
ブロック１７２で、有効領域決定部１０６は、デプス測定対象が有効領域内に位置するか否かを判定する。デプス測定対象が有効領域内に位置しない場合（ブロック１７２のノーの判定）、ブロック１７４で、有効領域決定部１０６は、デプス測定対象を有効領域内に位置させるような撮影ガイダンスをユーザへ通知する。ガイダンスの例は、「より右」、「より左」等の構図を変えるようなテキストをディスプレイ６０で表示することや、「より右」、「より左」等の構図を変えるような音声ガイドをオーディオ出力部６８から出力することを含む。
【００５９】
ブロック１６８の画像解析の際、コントラストから被写体のエッジ方向も認識するようにし、ブロック１７２で、被写体のエッジ方向が水平方向である、すなわち被写体のエッジ方向とフィルタ５２の領域分割線の方向とが交差すると判断した場合、ブロック１７４のガイダンスはフィルタ５２の向きを９０度回転させるような内容でも良い。
このようなガイドをユーザに通知することにより、ユーザはデプス測定対象を有効領域内に確実に位置させることができる、デプス測定対象が有効領域内に位置した後、ユーザはシャッタ操作を行う。そのため、ブロック１７６で、シャッタが押されたか否か判定される。シャッタが押されない場合、ブロック１６４からの処理が繰り返される。シャッタが押された場合、デプス測定対象が有効領域内に位置すると判断でき、ブロック１７８でデプス情報が画素毎に計算され、デプス情報が表示又は保存される。デプス情報は、画像の各画素を距離に応じて着色した距離画像として表示、保存しても良いし、画素毎のデプス情報（数値）を画素に対応するテーブルの形で表示、保存しても良い。
【００６０】
さらに、距離画像に対応する撮影画像も保存することがあるが、撮影画像は色ずれが生じる場合があり、そのまま表示すると見苦しいことがある。色ずれの範囲は有効領域と対応しているので、有効領域を決めるための撮影パラメータに基づいて色ずれを補償して、色ずれの無い撮影画像とすることもできる。画素毎の信頼度が求められている場合は、信頼度に色ずれを補償することもできる。そのため、距離画像に対応する撮影画像を保存する場合は、色ずれを補償してから保存しても良い。
【００６１】
なお、デプス情報の計算はシャッタ操作に関わらず、有効領域の取得と並行してブロック１６４等でスルー画像の各フレームに対して行っても良い。この場合、ブロック１６８のデプス測定対象は画像解析によりコントラストに基づき認識するのではなく、デプス情報に基づいて認識しても良い。これは、デプス情報はある有限の距離までしか求めることができず、無限遠の物体のデプス情報は求めることができないからである。
【００６２】
第１実施形態によれば、複数の色成分に距離に応じて異なるぼけを生じさせるフィルタ５２をスマートフォン４０のレンズ４２の前面に装着する。フィルタ５２は少なくとも２つのフィルタ領域を有する。フィルタ５２の設置方法やカメラ光学系の撮影パラメータによっては、レンズ開口の端部において、複数の色成分の光が均等に通過せず、いずれかの色成分の光が他の色成分の光よりも多く通過し、デプス推定に不必要な好ましくない色ずれ（色情報の偏り）が生じ、画面全体においてデプス情報を精度良く求めることができない場合がある。第１実施形態では、デプス情報を精度良く求めることができる有効領域がユーザに通知される。また、測定対象が有効領域内に位置しない場合、測定対象を有効領域内に位置させるためのガイダンスも通知される。このため、測定対象のデプス情報を精度良く求めることができるように撮影が行われることが期待される。第１実施形態によれば、カメラレンズを特注する必要又は市販のカメラレンズを改造する必要がなく、１台のカメラで簡単にデプス情報を求めることができる電子機器及び通知方法が提供される。
【００６３】
以下、他の実施形態を説明する。以下の説明で、第１実施形態と対応する構成要素は同一の参照数字を付して詳細な説明は省略する。
［第２実施形態］  
図２０は第２実施形態の電子機器の外観を示す。図２０（ａ）は斜視図、図２０（ｂ）は断面構造を示す側面図である。第２実施形態の電子機器としてはカメラ２０２が利用できる。
【００６４】
カメラ２０２のレンズ２０４の先端のフィルタ取り付け用のネジに第１鏡筒２０６がねじこまれている。あるいは、第１鏡筒２０６はレンズ２０４の先端にバヨネット式の固定手段で取り付けられても良い。第１鏡筒２０６の内側に第２鏡筒２０８が挿入される。第２鏡筒２０８の先端にフィルタ２１２が配置される。フィルタ２１２は第１実施形態のフィルタ５２と同様にイエローの第１フィルタ領域２１２ａとシアンの第２フィルタ領域２１２ｂからなる。ユーザが第２鏡筒２０８に対して回転力を与えると、第２鏡筒２０８は第１鏡筒２０６に対して回転される。これにより、フィルタ２１２の向き（第１フィルタ領域２１２ａと第２フィルタ領域２１２ｂによる領域分割線の向き）が調整可能である。ユーザが回転力を与えないと、第２鏡筒２０８は第１鏡筒２０６に対して静止している。なお、イモネジ（図示しない）等を第１鏡筒２０６に設け、フィルタ２１２の向きが調整された後は、第２鏡筒２０８の回転を抑止しても良い。
【００６５】
第２鏡筒２０８は第１鏡筒２０６の内側に設けたが、第１鏡筒２０６の外側に設けても良い。
また、被写体のエッジ方向がフィルタ２１２の領域分割線と異なる方向の場合、カメラ２０２自体を回転して領域分割線の方向がエッジ方向と揃うように回転しても良い。この場合、フィルタ２１２は回転できなくても良いので、第２鏡筒２０８は不要で、第１鏡筒２０６にフィルタ２１２が設けられても良い。
【００６６】
カメラ２０２の電気的構成は第１実施形態のスマートフォン４０の電気的構成の一例とほぼ同じであるが、デプス計算プログラム６４ｂと有効領域通知プログラム６４ｃがインストールされていない点が図７と異なる。デプス計算プログラムと有効領域通知プログラムは第２の機器に備えられる。
【００６７】
第２の機器はサーバ９４でも良いし、カメラ２０２の所有者の所有するパーソナルコンピュータでも良い。図２１は、デプス計算プログラムと有効領域通知プログラムを備えるパーソナルコンピュータ２３０とカメラ２０２との連携の一例を示す。カメラ２０２の撮影画像（静止画像）はメモリカードスロット２２０内のメモリカード２２２に保存される。カメラ２０２のメモリカードスロット２２０から取り出されたメモリカード２２２がパーソナルコンピュータ２３０のメモリカードスロット２３２に挿入される。パーソナルコンピュータ２３０はメモリカードスロット２３２内のメモリカード２２２から画像を読み出す。これにより、カメラ２０２のイメージセンサ２１４で撮像した画像がパーソナルコンピュータ２３０に送られる。なお、カメラ２０２が通信機能を備えている場合は、メモリカード２２２を介する必要はなく、カメラ２０２のイメージセンサ２１４で撮像した画像がパーソナルコンピュータ２３０に通信される。
【００６８】
パーソナルコンピュータ２３０は、第１実施形態のスマートフォン４０と同様にデプス計算、有効領域通知処理を行う。
図２２は、第２１実施形態による信頼度に応じた情報の通知の一例を示すフローチャートである。図２２のフローチャートは、カメラ２０２の撮影画像が保存されたメモリカード２２２がパーソナルコンピュータ２３０のメモリカードスロット２３２に挿入された状態で開始されるとする。
【００６９】
ブロック３０２で、ユーザはパーソナルコンピュータ２３０でデプス計算プログラムと有効領域通知プログラムを起動する。ブロック３０４で、パーソナルコンピュータ２３０はメモリカード２２２から画像を読み出す。
ブロック３０６で、ユーザは撮影パラメータとデプス要求レベルを入力する。なお、デプス要求レベルの入力を必要としない場合もある。さらに、カメラ２０２が撮影パラメータを画像とともに記録する機能を有する場合は、画像とともに撮影パラメータがパーソナルコンピュータ２３０に読み込まれるので、ユーザの入力は不要である。
【００７０】
ブロック３０８で、パーソナルコンピュータ２３０は画像を表示する。数フレームの画像の一覧を表示しても良いし、１フレームずつ切り替えて表示しても良い。ブロック３１２でユーザはデプス計算する画像フレームを選択する。
ブロック３１４で、パーソナルコンピュータ２３０は、有効領域通知プログラムにより有効領域を決定する。パーソナルコンピュータ２３０は、第１実施形態と同様に、撮影パラメータに基づいて有効領域を計算しても良いし、パーソナルコンピュータ２３０が備える有効領域メモリから撮影パラメータに基づいて有効領域情報を読み出しても良いし、通信部を介してさらに他の機器、例えばサーバ９４から有効領域情報を取得しても良い。
【００７１】
ブロック３１６で、パーソナルコンピュータ２３０は、第１実施形態と同様に、図１８に示すように、選択されたフレーム画像をディスプレイ２３６で表示するとともに、有効領域の左右端を示す一対のガイドライン１２４を表示する。
ブロック３１８で、パーソナルコンピュータ２３０は、画像解析によりコントラストの無い一定の輝度値の領域である背景とコントラストがあり輝度値の差がある領域である物体を識別し、物体をデプス測定対象として認識する。なお、デプス測定対象は画像解析によりコントラストに基づき認識するのではなく、ユーザがタッチパネル上で選択してもよい。
【００７２】
ブロック３２２で、パーソナルコンピュータ２３０は、デプス測定対象が有効領域内に位置するか否かを判定する。デプス測定対象が有効領域内に位置しない場合（ブロック３１２のノーの判定）、ブロック３２４で、当該フレームはデプス情報を測定できない旨のアラートを通知する。アラートは再撮影を促すものでも良い。アラートはディスプレイ２３６で表示しても良いし、図示しないオーディオ出力部から音声として出力しても良い。さらに、アラートをフレーム画像に対応付けて保存しても良い。こうすることにより、ブロック２１２でデプス情報を計算するフレームを選ぶ場合、測定対象が有効領域外に位置することを一度判定したフレームを再度選択する無駄を省くことができる。また、デプス測定対象が有効領域のどちら側の領域外に位置するかもアラート情報として画像とともに保存しておくと、撮影し直す際、アラートが保存されているフレームをカメラ２０２で表示しアラートも出力することにより、構図を決める際のガイドとすることもできる。
【００７３】
その後、ブロック３２６で、パーソナルコンピュータ２３０は、別のフレームが選択されたか否かを判定する。別のフレームが選択されない場合は、動作を終了する。別のフレームが選択された場合、パーソナルコンピュータ２３０は、ブロック２０８以降のブロックの処理を再度実行する。
【００７４】
デプス測定対象が有効領域内に位置する場合（ブロック３１２のイエスの判定）、ブロック３２８で、パーソナルコンピュータ２３０は、デプス計算プログラムにより、デプス情報を画素毎に計算し、デプス情報を表示又は保存する。第１実施形態と同様に、デプス情報は、画像の各画素を距離に応じて着色した距離画像でも良いし、画素毎のデプス情報（数値）を画素に対応するテーブルの形でも良い。
【００７５】
第２実施形態によれば、第１実施形態の効果に加えて、電子機器であるカメラ２０２にはデプス計算プログラムと有効領域通知プログラムをインストールする必要が無い効果がある。これらのプログラムは、カメラの画像が転送される第２の電子機器、例えばサーバやパーソナルコンピュータに備えられれば良く、個々のカメラで処理するよりも高速でデプス計算、有効領域通知をすることができる。
【００７６】
［応用例］  
次に、デプス情報を求める電子機器の応用例を説明する。
実施形態の電子機器は、カメラで撮影している空間への侵入物を検出して、警報を発する監視システムに応用することができる。監視システムでは、例えば、店舗、駐車場等における人や車の流れ等が把握され、特定エリアへの人物の侵入が監視される。また、自動ドアの前に人物が移動してくることが検出されると、ドアが開けられるようにしても良い。
【００７７】
実施形態の電子機器は、移動体制御システムにも応用することができる。このシステムでは、移動体、例えば、移動ロボット（Automated Guided Vehicle）や掃除ロボット、コミュニケーションロボットなど自律的に移動するロボット、自動車を含む車両、ドローンや飛行機などの飛翔体及び船舶等の進行方向の被写体が撮像され、加速、減速、停止、衝突回避、方向転換、及びエアバック等の安全装置の作動等が制御される。このシステムは、自動車の前方を撮像するいわゆるフロントカメラや、バック時に後方を撮像するいわゆるリアカメラも含む。さらに、静止しているロボットアームの先端等にカメラが設置され、ロボットアームの物体把持が制御されるようにしても良い。
【００７８】
ドローンに応用される場合、上空からのひび割れや電線破断等の点検時に、カメラで点検対象が撮影され、点検対象との距離が検出され、あるいは点検対象が基準距離よりも手前にあるか、それとも奥にあるかが判定される。この検出結果または判定結果に基づいて、点検対象との距離が一定になるようにドローンの推力が制御される。これにより、ドローンを点検対象に並行して飛行させることができる。
【００７９】
また、ドローンの飛行時に、カメラで地面方向が撮影され、地面からのドローンまでの高さが検出され、あるいは地面からの高さが基準距離よりも手前にあるか、それとも奥にあるかが判定される。この検出結果または判定結果に基づいて、地面からの高さが指定された高さになるようにドローンの推力を制御される。これにより、ドローンを指定された高さで飛行させることができる。
【００８０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００８１】
４２…レンズ、５２…フィルタ、５４…イメージセンサ、６０…ディスプレイ、６２…通信部、６４ｂ…デプス計算プログラム、６４ｃ…有効領域通知プログラム。
【図１】
2020048034.tif 000003
【図２】
2020048034.tif 000004
【図３】
2020048034.tif 000005
【図４】
2020048034.tif 000006
【図５】
2020048034.tif 000007
【図６】
2020048034.tif 000008
【図７】
2020048034.tif 000009
【図８】
2020048034.tif 000010
【図９】
2020048034.tif 000011
【図１０】
2020048034.tif 000012
【図１１】
2020048034.tif 000013
【図１２】
2020048034.tif 000014
【図１３】
2020048034.tif 000015
【図１４】
2020048034.tif 000016
【図１５】
2020048034.tif 000017
【図１６】
2020048034.tif 000018
【図１７】
2020048034.tif 000019
【図１８】
2020048034.tif 000020
【図１９】
2020048034.tif 000021
【図２０】
2020048034.tif 000022
【図２１】
2020048034.tif 000023
【図２２】
2020048034.tif 000024