(57)【要約】【課題】ＡＦにかかる計算工数を抑制できる。【解決手段】撮像制御装置は変換部１５１、ボケ量算出部１５２、ボケ量データ拡張部１５３、比較部１５４及び制御方法決定部１５６を有する。ボケ量算出部１５２は第１深度Ｖで取得された第１画像信号、第２深度Ｖ＋αで取得された第２画像信号、及び第３深度Ｖ−βで取得された第３画像信号に対してエッジに関する第１ボケ量、第２ボケ量及び第３ボケ量を算出する。ボケ量データ拡張部１５３は、第１拡張ボケ量データ、第２拡張ボケ量データ及び第３拡張ボケ量データに拡張する。制御方法決定部１５６は、比較部１５４において第１拡張ボケ量データが第２拡張ボケ量データより大きいと判定された領域をバックフォーカス領域と設定し、第１拡張ボケ量データが第３拡張ボケ量データより大きいと判定された領域をフロントフォーカス領域と設定する。【選択図】図２
2020086216.tif 000002
【特許請求の範囲】
【請求項１】
第１深度で取得された第１画像信号、前記第１深度より深い第２深度で取得された第２画像信号、及び前記第１深度より浅い第３深度で取得された第３画像信号をそれぞれ、第１輝度信号、第２輝度信号及び第３輝度信号に変換する変換部と、
前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号に基づいて、エッジに関する第１ボケ量、第２ボケ量及び第３ボケ量をそれぞれ算出するボケ量算出部と、
前記算出された第１ボケ量、第２ボケ量及び第３ボケ量をそれぞれ、エッジ周辺画素に関する第１拡張ボケ量データ、第２拡張ボケ量データ及び第３拡張ボケ量データに拡張するボケ量データ拡張部と、
前記第１拡張ボケ量データ、前記第２拡張ボケ量データ、及び前記第３拡張ボケ量データを比較する比較部と、
前記比較部において前記第１拡張ボケ量データが前記第２拡張ボケ量データより大きいと判定された領域をバックフォーカス領域と設定し、前記第１拡張ボケ量データが前記第３拡張ボケ量データより大きいと判定された領域をフロントフォーカス領域と設定することでフォーカスを制御する制御方法決定部と、
を備える、撮像制御装置。
【請求項２】
前記制御方法決定部は、前記バックフォーカス領域及び前記フロントフォーカス領域以外の領域については、コントラスト方式でフォーカスを制御する、請求項１に記載の撮像制御装置。
【請求項３】
前記制御方法決定部は、前記バックフォーカス領域については深度を負方向に調整し、前記フロントフォーカス領域については深度を正方向に調整する、請求項１に記載の撮像制御装置。
【請求項４】
前記ボケ量算出部は、前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号についてのグラディエントと、前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号をローパスフィルタで平滑した後の輝度信号のグラディエントとに基づいて、エッジに関する第１ボケ量、第２ボケ量及び第３ボケ量をそれぞれ算出する、請求項１に記載の撮像制御装置。
【請求項５】
撮像部を更に備え、
請求項１から４のいずれか一項に記載の撮像制御装置と、
を備える撮像装置。
【請求項６】
第１深度で取得された第１画像信号、前記第１深度より深い第２深度で取得された第２画像信号、及び前記第１深度より浅い第３深度で取得された第３画像信号をそれぞれ、第１輝度信号、第２輝度信号及び第３輝度信号に変換する処理と、
前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号に基づいてエッジに関する第１ボケ量、第２ボケ量及び第３ボケ量をそれぞれ算出する処理と、
前記算出された第１ボケ量、第２ボケ量及び第３ボケ量をそれぞれ、エッジ周辺画素に関する第１拡張ボケ量データ、第２拡張ボケ量データ及び第３拡張ボケ量データに拡張する処理と、
前記第１拡張ボケ量データ、前記第２拡張ボケ量データ及び前記第３拡張ボケ量データを比較する処理と、
前記第１拡張ボケ量データが前記第２拡張ボケ量データより大きいと判定された領域をバックフォーカス領域と設定し、前記第１拡張ボケ量データが前記第３拡張ボケ量データより大きいと判定された領域をフロントフォーカス領域と設定することでフォーカスを制御する処理と、
をコンピュータに実行させる撮像制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像制御装置、撮像装置及び撮像制御プログラムに関し、特に、静止画及び動画カメラで採用されるオートフォーカス（ＡＦ）技術を用いた撮像制御装置、撮像装置及び撮像制御プログラムに関する。
【背景技術】
【０００２】
ビデオカメラやスマートフォンに搭載されたカメラユニットなどの撮像装置では、オートフォーカス（以下、「ＡＦ」と称する場合もある）として、高精度化や小型化に有利なため、コントラスト方式が広く利用されている。コントラスト方式では、コントラスト信号がピークとなるようにフォーカス制御が行われる。しかし、コントラスト方式は、探索範囲が比較的大きくなることが多いために合焦スピードが不十分であり、対象の変化（動きや照明など）に対して脆弱であるといった問題を有する。
【０００３】
この問題に対処するため、近年ＤＦＤ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）型ＡＦが利用されている。ＤＦＤ方式は、特殊な光学系や専用センサを用いずに高速・高精度のＡＦを行うことができる。特許文献１には、１）２つの深度の画像の取得、２）全焦点画像の作成、３）全焦点画像に２つの深度におけるボケパラメータを施し、複数の深度に合焦しているときのボケ画像（２セット）を生成する、４）取得済みの２つの深度画像と２セットのボケマップの類似性を評価して距離マップを作る、５）２つの距離マップを合成する、というプロセスが開示されている。また、特許文献２には、全焦点画像を作成後にそれを基に作成した２つの深度におけるボケマップを作成し、それらの大小関係から焦点に対する大小判定を行うことにより距離マップを作成することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１１／１５８５１５号
【特許文献２】特開２０１６−１１１６０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１、２では、ＡＦに際して、全焦点画像の作成が必要になる。このプロセスは比較的時間を要するものであるためＡＦのスピードに影響するといった問題がある。さらに特許文献２では、合焦近辺でボケ半径０が判定しにくい場合があり、それに対する解決法が第３実施形態に記載されている（例えば、特許文献２の段落００４６〜００４７参照）が、この計算コストも小さくない。
【０００６】
本開示は、このような事情に鑑みなされたものであり、ＡＦにかかる計算工数を抑制できる撮像制御装置、撮像装置及び撮像制御プログラムを提供するものである。
【課題を解決するための手段】
【０００７】
本発明の第１の態様にかかる撮像制御装置は、第１深度で取得された第１画像信号、前記第１深度より深い第２深度で取得された第２画像信号、及び前記第１深度より浅い第３深度で取得された第３画像信号をそれぞれ、第１輝度信号、第２輝度信号及び第３輝度信号に変換する変換部と、
前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号に基づいて、エッジに関する第１ボケ量、第２ボケ量及び第３ボケ量をそれぞれ算出するボケ量算出部と、
前記算出された第１ボケ量、第２ボケ量及び第３ボケ量をそれぞれ、エッジ周辺画素に関する第１拡張ボケ量データ、第２拡張ボケ量データ及び第３拡張ボケ量データに拡張するボケ量データ拡張部と、
前記第１拡張ボケ量データ、前記第２拡張ボケ量データ、及び前記第３拡張ボケ量データを比較する比較部と、
前記比較部において前記第１拡張ボケ量データが前記第２拡張ボケ量データより大きいと判定された領域をバックフォーカス領域と設定し、前記第１拡張ボケ量データが前記第３拡張ボケ量データより大きいと判定された領域をフロントフォーカス領域と設定することでフォーカスを制御する制御方法決定部と、
を備えるものである。
【０００８】
本発明の第２の態様にかかる撮像装置は、撮像部と上記の撮像制御装置とを備えるものである。さらに、本発明の第３の態様にかかる撮像制御プログラムは、  第１深度で取得された第１画像信号、前記第１深度より深い第２深度で取得された第２画像信号、及び前記第１深度より浅い第３深度で取得された第３画像信号をそれぞれ、第１輝度信号、第２輝度信号及び第３輝度信号に変換する処理と、
前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号に基づいてエッジに関する第１ボケ量、第２ボケ量及び第３ボケ量をそれぞれ算出する処理と、
前記算出された第１ボケ量、第２ボケ量及び第３ボケ量をそれぞれ、エッジ周辺画素に関する第１拡張ボケ量データ、第２拡張ボケ量データ及び第３拡張ボケ量データに拡張する処理と、
前記第１拡張ボケ量データ、前記第２拡張ボケ量データ及び前記第３拡張ボケ量データを比較する処理と、
前記第１拡張ボケ量データが前記第２拡張ボケ量データより大きいと判定された領域をバックフォーカス領域と設定し、前記第１拡張ボケ量データが前記第３拡張ボケ量データより大きいと判定された領域をフロントフォーカス領域と設定することでフォーカスを制御する処理と、
をコンピュータに実行させるものである。
【発明の効果】
【０００９】
本発明により、ＡＦにかかる計算工数を抑制できる撮像制御装置、撮像装置及び撮像制御プログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る撮像装置の構成を示すブロック図である。
【図２】制御部の機能ブロック図である。
【図３】ＡＦ制御のフローチャートである。
【図４】深度と対象物との位置関係を説明する図である。
【図５】深度と対象物との位置関係を説明する図である。
【図６】ボケ量算出部の詳細な機能ブロック図である。
【図７】ボケ量算出処理の詳細なフローチャートである。
【図８】ガウシアンフィルタに用いられるオペレータの一例を示す図である。
【図９】Ｓｏｂｅｌ畳み込みに用いられるオペレータの一例を示す図である。
【図１０】深度に対するボケ量の折れ線グラフである。
【図１１】基準グラフと正方向にαシフトしたグラフとを比較する図である。
【図１２】基準グラフと負方向にβシフトしたグラフとを比較する図である。
【図１３】ボケ量の折れ線グラフにおける、フロントフォーカス領域、コントラスト方式による領域、バックフォーカス領域を示す図である。
【発明を実施するための形態】
【００１１】
以下、本開示を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本開示が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。
【００１２】
図１は、本実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、例えばハンディタイプのビデオカメラである。本実施形態に係る撮像装置１００は、フォーカスレンズ１１２を光軸方向へ移動させてオートフォーカスを行うための制御部１５０を含む撮像制御装置を内蔵する。撮像装置は、撮像部を含む本体ユニットに対してオートフォーカスを行うための撮像制御ユニットが装着される構成であっても構わない。また、以下においては、動画像の撮像を前提として説明するが、静止画像の撮像機能を主たる機能とする撮像装置であっても構わない。
【００１３】
光学系１１０は、ズームレンズ１１１、フォーカスレンズ１１２および補正レンズ１１３を含む。ズームレンズ１１１は、光学系１１０の焦点距離を変更するように光軸方向に移動する。フォーカスレンズ１１２は、特定距離の被写体にピントが合うように光軸方向に移動する。補正レンズ１１３は、撮像素子１３０に結像する被写体像のブレが軽減するように光軸に直交する平面方向へ移動する。
【００１４】
被写体像は光学系１１０を通過して撮像素子１３０の結像面に結像する。なお、図においてはズームレンズ１１１、フォーカスレンズ１１２、補正レンズ１１３の順に示しているが、レンズ要素の配置はこの順に限らない。また、ひとつのレンズが複数の機能を担う構成であっても構わない。
【００１５】
撮像素子１３０は、被写体像である光学像を光電変換する素子であり、例えばＣＭＯＳセンサが用いられる。撮像素子１３０で光電変換された被写体信号は、アナログフロントエンド（ＡＦＥ）１３２を介してデジタル信号に変換され、バスライン１３１へ送られる。メモリ１３３は、例えばＳＲＡＭなどの揮発性メモリであるワークメモリと、例えばＳＳＤなどの不揮発性記録媒体であるシステムメモリとを含む。ワークメモリは、ＡＦＥ１３２から受け取った被写体信号をフレーム単位の画像信号として画像処理部１３４へ引き渡したり、画像処理部１３４が画像処理する途中段階において一時的な記憶領域を提供したりする。システムメモリは、撮像装置１００の動作時に必要な定数、変数、設定値、制御プログラム等を保持する。
【００１６】
画像処理部１３４は、設定されている撮像モードやユーザからの指示に応じて、画像データを特定の画像フォーマットの画像ファイルに変換する。例えば、動画像としてＭＰＥＧファイルを生成する場合、連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。また、画像処理部１３４は、例えば液晶ディスプレイであるモニタ１３６で表示する映像信号を、画像ファイルへの変換に並行して、あるいは画像ファイルへの変換を行うことなく単独で生成する。表示処理部１３５は、受け取った映像信号をモニタ１３６で表示するための表示信号に変換する。
【００１７】
画像処理部１３４によって処理された動画像ファイルは、出力処理部１３７および記録媒体インターフェース１３８を介して、記録媒体２０１に記録される。記録媒体２０１は、撮像装置１００に対して着脱可能な不揮発性メモリ（例えば、フラッシュメモリ等）である。また、出力処理部１３７は、通信ＩＦ１３９を介して、外部機器へ動画像ファイルを送信することもできる。通信ＩＦ１３９は、例えばインターネットへ接続するための無線ＬＡＮユニットである。
【００１８】
撮像装置１００は、ユーザからの操作を受け付ける複数の操作部材１４０を備えている。制御部１５０は、これら操作部材１４０が操作されたことを検知し、操作に応じた動作を実行する。制御部１５０は、例えばＣＰＵ（Central Processing Unit）であり、撮像装置１００を構成する各要素を直接的または間接的に制御する。制御部１５０による制御は、メモリ１３３から読みだされた制御プログラム等によって実現される。制御部１５０は、細分化された処理のそれぞれを実行する機能演算部としての機能も担う。具体的な機能演算部としての処理については、後述する。
【００１９】
補正レンズ駆動部１６１は、補正レンズ１１３を移動させるボイスコイルモータを含む。制御部１５０は、振れ検出センサで検出されたブレを打ち消すように補正レンズ１１３を目標位置へ移動させるための駆動信号を補正レンズ駆動部１６１へ送信する。フォーカス駆動部１６２は、フォーカスレンズ１１２を光軸方向へ移動させるためのモータを含む。フォーカス駆動部１６２は、連続して取得される画像信号のコントラスト情報に基づいて制御部１５０が生成するＡＦ制御信号を受信してフォーカスレンズ１１２を移動させる（詳細は後述する）。ズーム駆動部１６３は、ズームレンズ１１１を光軸方向へ移動させるためのモータを含む。ズーム駆動部１６３は、ユーザの指示に基づいて制御部１５０が生成するズーム制御信号を受信してズームレンズ１１１を移動させる。
【００２０】
ここで、本発明の特徴部分である、画像の各画素においてフロントフォーカスか、バックフォーカスかを決定することでオートフォーカスを制御する撮像制御装置について説明する。
【００２１】
図２は、図１に示した制御部１５０の内部を、処理ごとの機能演算部として模式的に表した機能ブロック図である。図３は、ＡＦ制御のフローチャートである。制御部１５０は、ＡＦ制御に関して、変換部１５１と、ボケ量算出部１５２と、ボケ量データ拡張部１５３と、比較部１５４と、制御方法決定部１５６と、を有している。
【００２２】
図２に示すように、制御部１５０は、画像処理部１３４（図１）から異なる深度Ｖ，Ｖ＋α、Ｖ−βの３種類の画像信号Ｆｖ、Ｆｖ＋α、Ｆｖ−βを取り込む。
【００２３】
なお、本実施の形態において、画像信号Ｆは、Ｒ（赤色）成分、Ｇ（緑色）成分、Ｂ（青色）成分の３原色で表現されるＲＧＢ信号であるが、特にこれに限られず、ＨＳＶ信号又はＹＵＶ信号であってもよいし、白黒画像信号であってもよい。
【００２４】
ここで、図４及び図５を参照して、深度と対象物との位置関係を説明する。図４は、第１画像信号を取得する第１深度（本例では、Ｖ）と、第２画像信号を取得する第１深度より深い第２深度（本例では、Ｖ＋α）の位置関係を説明するための模式図である。図５は、第１画像信号を取得する第１深度（本例では、Ｖ）と、第３画像信号を取得する第１深度より浅い第３深度（本例では、Ｖ−β）の位置関係を説明するための模式図である。
【００２５】
図４では、レンズ１１１からｄｆ離れた位置に対象物Ｏｆが存在する場合、対象物からの光線群がレンズ１１１を通過した後に深度Ｖの撮像素子１３０上に集光する。一方、レンズ１１１からｄｂａｃｋ離れた位置（合焦している対象物Ｏｆよりレンズ１１１に近い位置）に対象物Ｏｂａｃｋが存在する場合、このバックフォーカスとなっている対象物は第１深度Ｖより深い第２深度Ｖ＋αで集光する。つまり、対象物Ｏｂａｃｋは撮像素子１３０の表面の複数の点で集光するので、ボケた画像となる。
【００２６】
また、図５では、レンズ１１１からｄｆｒｏｎｔ離れた位置（合焦している対象物よりレンズ１１１から遠い位置）に対象物が存在する場合、このフロントフォーカスとなっている対象物は、第１深度Ｖより浅い第３深度Ｖ−βで集光する。この場合も、撮像素子１３０の表面の複数の点で集光するので、ボケた画像となる。図４及び図５に示すｃは、「錯乱円径（diameter of CoC）」と呼ばれる場合がある。
【００２７】
なお、画像処理部１３４は、深度Ｖにおける映像とほぼ同時に深度Ｖ＋α及び深度Ｖ−βにおける映像を取得するものとする。ここにおけるα及びβは、視覚的に合焦深度が変化することが検知できる程度の値とし、開口や焦点距離により異なるので都度決定するものとする。またα及びβは同一でなくても構わないが近い値（例えば、α／β＜１／２、あるいはα／β＜１／３）とする。
【００２８】
以上のように、取得された３枚の画像はそれぞれ、画像信号Ｆｖ、Ｆｖ＋α、Ｆｖ−βとして制御部１５０に取り込まれる。
【００２９】
これらの画像信号Ｆｖ、Ｆｖ＋α、Ｆｖ−βは、変換部１５１（本例ではＲＧＢ→Ｙ変換部）に入力され、輝度信号に変換される（図３のステップＳ１）。この変換は信号規格に基づくマトリクス演算で行われるが、Ｇ信号で代用してもよい。
【００３０】
次に、ボケ量算出部１５２で行われるボケ量の算出方法（図３のステップＳ２）について説明する。
本実施の形態では、このボケ量の算出方法について、「Shaojie Zhuo, Terence Sim; "Defocus map estimation from a single image", Pattern Recognition, Volume 44, Issue 9, September 2011, Pages 1852-1858（非特許文献１）」に記載の公知の方法を採用する。以下、非特許文献１に記載のボケ量の算出方法の要部について説明する。
【００３１】
理想的なステップエッジは次のようにモデル化することができる。
【数１】
2020086216.tif 000003
・・・（式１）
ｕ（ｘ）はステップ関数であり、Ａはエッジの振幅、Ｂはエッジからのオフセット距離である。
【００３２】
対象物が焦点距離ｄｆに置かれた場合、対象物からのすべての光線は一つのセンサ点に収束し、画像は鮮明に見える。一方、距離ｄにある別の対象物からの光線は、複数のセンサ点に到達し、ボケた画像となる（図４参照）。
【００３３】
図４及び図５を用いて前述した錯乱円径は、次式で与えられる。
【数２】
2020086216.tif 000004
・・・（式２）
ここでｆ０は焦点距離であり、Ｎは、カメラのストップナンバーである。ｃは、対象物の距離ｄの単調増加関数である。
【００３４】
理想的なステップエッジが焦点ずれのボケを表すガウシアン関数（標準偏差σ）でぼかされたものを画像中のエッジｉ（ｘ）とすることができる。
【数３】
2020086216.tif 000005
・・・（式３）
【００３５】
これをさらにガウシアン関数（標準偏差σ０）で再度ぼかしたリブラー画像を作ると、原画とリブラー画像のエッジのグラディエント比の絶対値Ｒが次式(４)で与えられる。
【数４】
2020086216.tif 000006
・・・（式４）
【００３６】
エッジのグラディエントは、エッジ振幅Ａとボケ量σの両方に依存するが、グラディエント比の絶対値Ｒはエッジ振幅Ａの影響を排除し、ボケ量σ及びσ０のみに依存する。したがって、エッジ位置における最大値Ｒが与えられると、次式により、未知のボケ量σを算出することができる。
【数５】
2020086216.tif 000007
・・・（式５）
【００３７】
以上のように、原画とリブラー画像のエッジのグラディエント比の絶対値Ｒを求めることで、ボケ量を算出することができる。
【００３８】
上記ボケ量の算出処理を、図６及び図７を参照して順に詳細に説明する。
図６は、図２に示すボケ量算出部１５２の内部の詳細な機能ブロック図である。図７は、図２に示すボケ量算出部１５２で行われるボケ量の算出の処理フロー図である。
【００３９】
図６に示すように、入力された輝度信号は、平滑化部１５２１においてガウシアンフィルタなどのローパスフィルタを用いて平滑化される（図７のステップＳ２００）。ここでは、図８に示すガウシアンフィルタに用いられる公知のオペレータを使用する。なお、ガウシアンフィルタの詳細は、非特許文献２（Ｒ．Ｆｉｓｈｅｒ、外３名、"Gaussian Smoothing"、［ｏｎｌｉｎｅ］、２００３年、Ｒ．Ｆｉｓｈｅｒ、外３名、平成３０年１１月７日検索］、インターネット(https://homepages.inf.ed.ac.uk/rbf/HIPR2/gsmooth.htm）を参照されたい。
【００４０】
平滑化された（リブラーされた：re-blurred）輝度信号については、水平及び垂直方向グラディエント算出部１５２２において、エッジにおける水平方向及び垂直方向のグラディエントが算出される（ステップＳ２０１）。同様に、平滑されていない（平滑前の）輝度信号も、水平及び垂直方向グラディエント算出部１５２２において、エッジにおける水平方向及び垂直方向のグラディエントが算出される（ステップＳ２０２）。ここでは、図９のＳｏｂｅｌ畳み込みカーネルのようなオペレータを使用することができる。なお、Ｓｏｂｅｌ畳み込みカーネルの詳細については、非特許文献３（R. Fisher、外３名、" Sobel Edge Detector"、［online］、２００３年、R. Fisher、外３名、平成３０年１１月７日検索］、インターネット(https://homepages.inf.ed.ac.uk/rbf/HIPR2/sobel.htm)）を参照されたい。
【００４１】
グラディエント絶対値算出部１５２３は、平滑前後のグラディエントの平方和の平方根を求めることでエッジにおけるグラディエントの絶対値を算出する（ステップＳ２０３）。
【００４２】
グラディエント絶対値比算出部１５２４は、平滑前後のグラディエントの絶対値の比Ｒを算出する（ステップＳ２０４）。
【００４３】
ボケ量算出部１５２５は、グラディエントの絶対値の比Ｒを上記式５に代入することで、エッジにおけるボケ量を算出する（ステップＳ２０５））。最後に、外れ値除去平滑化部１５２６は、算出されたボケ量に対して、外れ値の除去と平滑化を行う（ステップＳ２０６）。こうして求められたデータを以後の処理に用いる。
【００４４】
ここで、再び図２及び図３に戻って、ＡＦ制御の処理フローを説明する。図２に示すボケ量データ拡張部１５３は、上記ボケ量データを、エッジ近傍のボケ量データが得られていない画素（エッジ周辺画素）に拡張する（ステップＳ３）。これは後述のバックフォーカスか、あるいはフロントフォーカスかを決定するためのデータの大小比較において、特定画素に対応する画素が存在しないという状況を防ぐためのものである。上記方式により得られているボケ量データはエッジ周辺のみに得られるものであるため、焦点深度設定の違い、変形、微妙な大きさの変化によって、ある画像内のエッジが、比較する画像内のエッジと完全に一致しない場合がある。例えば、複数（二枚）の画像の比較にあたって、片方に存在するエッジがもう片方には（ボケてしまって）存在しない、または変形してしまったり、位置が変わってしまったりしているといった場合が想定される。このような場合、データを拡張することにより、対応画素におけるデータ不在をかなり防ぐことができる。データの拡張には、例えば式(６)で与えられるユークリッド距離Ｌが最小となるような画素におけるデータを利用する。
【数６】
2020086216.tif 000008
・・・(式６)
【００４５】
ただし、ｒ，ｇ，ｂはテクスチャ画像のボケ量データのない画素（Ｉ，Ｊ）におけるＲＧＢ値であり、ｒｃ，ｇｃ，ｂｃはボケ量データが既知の画素（Ｉｃ，Ｊｃ）におけるＲＧＢ値である。またｎは１などの適当な定数としている。このようなデータ拡張により、位置と色の近い画素からデータを転用することができる。それぞれの拡張後のボケ量データを「拡張ボケ量データＥσｖ」、「拡張ボケ量データ（Ｅσｖ＋α）」、「拡張ボケ量データＥσｖ−β」と呼ぶことにする。
【００４６】
図１０〜図１４を参照して、焦点深度の異なるボケ量データの大小比較によるＡＦ制御の決定方法について説明する。図１０は、焦点深度とボケ量の関係を示す。図１０に示すように、深度が合焦位置Ｖのとき、ボケ量が０となり、合焦位置Ｖの前後において、Ｖ字状に線形増加する。本例では、結果的にＲの範囲が限定されるので、導出されるσの範囲も限定される。そのため、ボケ量σはσｍｉｎからσｍａｘまでの範囲で折れ線の特性を示すことになる。この折れ線グラフを基準グラフと称する。本例では、Ｒの下限は１．１程度、上限は８．０程度とする。これは、Ｒの下限については測定可能な最も緩やかなエッジから得られる値である。Ｒの上限は自然画で現実的な強いエッジから得られる値である。これらを上記式（１）に代入すると、０．１２６＜σ＜２．１８が得られる。
【００４７】
前述のボケ量データの拡張により、特定の画素に対応する拡張ボケ量データＥσｖと拡張ボケ量データＥσｖ＋αを算出し、比較部１５４（図２）は、拡張ボケ量データＥσｖと拡張ボケ量データＥσｖ＋αとの比較を行う（図３のステップＳ４）。具体的には、比較部１５４は、輝度信号（Ｖ）のボケ量Ｅσｖと輝度信号（Ｖ＋α）のボケ量Ｅσｖ＋αとの差分Ｐを算出する。図１１に示すように、基準グラフＥσｖ（実線）と、それを正方向にαシフトしたグラフＥσｖ＋α（点線）の大小関係を比較する。シフトされたグラフは対象物Ｏｂａｃｋが第２深度Ｖ＋αで集光することを示しており（図４参照）、合焦する（つまり、ボケ量が低下する）対象物Ｏｆは、この対象物Ｏｂａｃｋより奥側（レンズから遠い方）に位置することを示している。したがって、シフトされたグラフは、シフトしていないグラフよりもボケ量の低い部分をバックフォーカス領域と見なすことができる（ステップＳ６）。以上より、制御方法決定部１５６は、フォーカス駆動部１６２に対して、合焦位置を負方向に移動させる（調整する）ように（バックフォーカスするよう）、ＡＦ制御信号を送信する（ステップＳ７）。
【００４８】
一方、前述のボケ量データの拡張により、特定の画素に対応する拡張ボケ量データＥσｖと拡張ボケ量データＥσｖ−βが存在する場合、比較部１５４（図２）は、拡張ボケ量データ（Ｖ）と拡張ボケ量データ（Ｖ−β）を比較する（図３のステップＳ５）。具体的には、比較部１５４は、輝度信号（Ｖ）のボケ量Ｅσｖと輝度信号（Ｖ−β）のボケ量Ｅσｖ−βとの差分Ｑを算出する。図１２に示すように、基準グラフＥσｖ（実線）と、それを負方向にβシフトしたグラフ（点線）の大小関係を比較する。シフトされたグラフは、対象物Ｏｆｒｏｎｔが、第３深度Ｖ−βで集光することを示しており（図５参照）、合焦する（つまり、ボケ量が低下する）対象物Ｏｆは、この対象物Ｏｆｒｏｎｔより手前側（レンズに近い位置）に位置することを示している。したがって、シフトされたグラフは、シフトされたグラフは、シフトされないグラフよりもボケ量の低い部分をフロントフォーカスと見なすことができる（ステップＳ６）。以上より、制御方法決定部１５６は、フォーカス駆動部１６２に対して、合焦位置を正方向に移動させる（調整する）ように（フロントフォーカスするよう）、ＡＦ制御信号を送信する（ステップＳ８）。
【００４９】
制御方法決定部１５６は、上記比較部１５４による大小比較により、焦点深度Ｖにおける撮像データについてフロントフォーカス領域及びバックフォーカス領域を識別することができる。さらに、制御方法決定部１５６は、前述のボケ量データの拡張により、フロントフォーカス領域でもバックフォーカス領域でもない部分についてはコントラスト方式を使用する領域と判定する（図３のステップＳ９）。図１３は、ボケ量の折れ線グラフにおける、フロントフォーカス領域、コントラスト方式による領域、及びバックフォーカス領域を示す図である。
【００５０】
以上、本実施の形態の撮像制御装置によれば、全焦点画像を作成せずに、ＤＦＤ方式に基づき、３種の深度におけるボケ量の評価を行い、その大小関係を比較することで、フォーカスの前後判定を行うことで合焦範囲を素早く絞り込むことができる。また、絞り込んだ後はコントラスト方式などの従来法によってフォーカス制御を行うため、トータルの計算工数を軽減できる。
【００５１】
さらに、本実施の形態の撮像制御装置によれば、フロントフォーカスと判定された部分は正方向に合焦深度をシフトして再評価し、バックフォーカスと判定された部分は負方向に合焦深度をシフトして再評価することができる。さらに、コントラスト方式を使用する領域についても比較的狭い範囲の探索で済むため、トータルのフォーカス制御時間を短縮することができる。
【００５２】
また、以上で説明した複数の例は、適宜組み合わせて実施されることもできる。
【００５３】
また、上記実施の形態において、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラム等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００５４】
また、上記の撮像制御プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−Ｒ／Ｗ（CD-ReWritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００５５】
１００            撮像装置
１１０            光学系
１１１            ズームレンズ
１１１            レンズ
１１２            フォーカスレンズ
１１３            補正レンズ
１３０            撮像素子
１３１            バスライン
１３３            メモリ
１３４            画像処理部
１３５            表示処理部
１３６            モニタ
１３７            出力処理部
１４０            操作部材
１５０            制御部
１５１            変換部
１５２            ボケ量算出部
１５３            ボケ量データ拡張部
１５４            比較部
１５６            制御方法決定部
１６１            補正レンズ駆動部
１６２            フォーカス駆動部
１６３            ズーム駆動部
２０１            記録媒体
１５２１          平滑化部
１５２２          垂直方向グラディエント算出部
１５２３          グラディエント絶対値算出部
１５２４          グラディエント絶対値比算出部
１５２５          ボケ量算出部
１５２６          外れ値除去平滑化部
【図１】
2020086216.tif 000009
【図２】
2020086216.tif 000010
【図３】
2020086216.tif 000011
【図４】
2020086216.tif 000012
【図５】
2020086216.tif 000013
【図６】
2020086216.tif 000014
【図７】
2020086216.tif 000015
【図８】
2020086216.tif 000016
【図９】
2020086216.tif 000017
【図１０】
2020086216.tif 000018
【図１１】
2020086216.tif 000019
【図１２】
2020086216.tif 000020
【図１３】
2020086216.tif 000021