(57)【要約】  撮像装置は、変倍機能を有する光学系と、複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、前記撮像素子が出力した信号に基づいて、光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、前記画像処理部は、前記光学系が対象物体の１点に合焦しているときの焦点距離によって特定される光軸方向における範囲の長さが前記対象物体に基づく長さよりも大きい場合は前記範囲内の１点に合焦している第１画像を生成し、前記範囲の長さが前記対象物体に基づく長さよりも小さい場合は前記範囲外の１点と前記範囲内の１点とに合焦している第２画像を生成する。
2018061876.tif 000002
【特許請求の範囲】
【請求項１】
変倍機能を有する光学系と、
複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、
前記撮像素子が出力した信号に基づいて、光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、
前記画像処理部は、前記光学系が対象物体の１点に合焦しているときの焦点距離によって特定される光軸方向における範囲の長さが前記対象物体に基づく長さよりも大きい場合は前記範囲内の１点に合焦している第１画像を生成し、前記範囲の長さが前記対象物体に基づく長さよりも小さい場合は前記範囲外の１点と前記範囲内の１点とに合焦している第２画像を生成する撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記対象物体に基づく長さは、前記対象物体の向き又は大きさに基づく長さである撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記対象物体に基づく長さは、前記光軸方向における前記対象物体の長さである撮像装置。
【請求項４】
請求項２又は請求項３に記載の撮像装置において、
前記対象物体の向き又は大きさを検出する検出部を備え、
前記画像処理部は、前記検出部が検出した前記対象物体の向き又は大きさによって変更される前記対象物体に基づく長さに基づいて、前記第１画像又は前記第２画像を生成する撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記検出部は、前記画像処理部が生成した画像に基づいて前記対象物体の向き又は大きさを検出する撮像装置。
【請求項６】
請求項１から請求項５までの何れか１項に記載の撮像装置において、
前記範囲は、前記光学系が有する前記変倍機能によって前記焦点距離が変更された場合に長さが短くなる範囲であり、
前記画像処理部は、前記焦点距離が変更されて前記範囲の長さが短くなり、前記範囲の長さが前記対象物体に基づく長さよりも小さくなる場合に、前記第２画像を生成する撮像装置。
【請求項７】
変倍機能を有する光学系と、
複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、
前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、
前記画像処理部は、前記光学系が対象物体の１点に合焦しているときの焦点距離によって特定される前記光軸方向における範囲に前記対象物体の全てが含まれる場合は前記範囲内の１点に合焦している第１画像を生成し、前記対象物体の少なくとも１部が前記範囲外に含まれる場合は前記範囲外の１点と前記範囲内の１点とに合焦している第２画像を生成する撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記範囲は、前記光学系が有する前記変倍機能によって前記焦点距離が変更された場合に狭くなる範囲であり、
前記画像処理部は、前記焦点距離が変更されて前記範囲が狭くなり、前記対象物体の少なくとも１部が前記範囲外に含まれる場合に、前記第２画像を生成する撮像装置。
【請求項９】
請求項１から請求項８までの何れか１項に記載の撮像装置において、
前記画像処理部は、前記範囲外に含まれる前記対象物体の１点と前記範囲内の１点とに合焦している前記第２画像を生成する撮像装置。
【請求項１０】
請求項９に記載の撮像装置において、
前記画像処理部は、前記範囲外に含まれる前記対象物体の１点と前記範囲内に含まれる前記対象物体の１点とに合焦している前記第２画像を生成する撮像装置。
【請求項１１】
請求項１から請求項１０までの何れか１項に記載の撮像装置において、
前記範囲は、前記光学系が有する前記変倍機能によって変更される前記焦点距離に基づく範囲である撮像装置。
【請求項１２】
請求項１１に記載の撮像装置において、
前記範囲は、被写界深度に基づく範囲である撮像装置。
【請求項１３】
請求項１から請求項１２の何れか１項に記載の撮像装置において、
前記画像処理部は、前記第１画像で合焦している範囲より広い範囲で合焦している前記第２画像を生成する撮像装置。
【請求項１４】
変倍機能を有する光学系と、
複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、
前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、
前記画像処理部は、対象物体が被写界深度内に位置している場合は前記被写界深度内の１点に合焦している第１画像を生成し、前記対象物体の１部が前記被写界深度外に位置している場合は前記被写界深度外に位置している前記対象物体の１点と前記被写界深度内に位置している前記対象物体の１点とに合焦している第２画像を生成する撮像装置。
【請求項１５】
変倍機能を有する光学系と、
複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、
前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、
前記画像処理部は、対象物体の全てにピントが合っていると判断した場合は前記対象物体にピントが合っていると判断される第１画像を生成し、前記対象物体の１部にピントが合っていないと判断した場合は前記対象物体の全てにピントが合っていると判断される第２画像を生成する撮像装置。
【請求項１６】
光学系と、
複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、被写体から出て前記光学系及び前記マイクロレンズを通過した光を各画素群で受光し、受光した前記光に基づいた信号を出力する撮像素子と、
前記撮像素子が出力した信号に基づいて画像データを生成する画像処理部と、を備え、
前記画像処理部は、光軸方向における前記被写体の一端又は他端が被写界深度に含まれないと判断されると、前記一端が被写界深度に含まれる第１画像データと前記他端が被写界深度に含まれる第２画像データとに基づいて第３画像データを生成する撮像装置。
【請求項１７】
請求項１６に記載の撮像装置において、
前記第３画像データは、前記一端及び前記他端にピントが合っているように見える画像データである撮像装置。
【請求項１８】
請求項１６または請求項１７に記載の撮像装置において、
前記第３画像データは、前記被写体の光軸方向における大きさによって、ピントが合っているように見える範囲が異なる撮像装置。
【請求項１９】
請求項１６から請求項１８までのいずれか一項に記載の撮像装置において、
前記画像処理部は、前記被写体の光軸方向における大きさに基づいて前記第３画像データを生成する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
リフォーカス処理により任意像面の画像を生成するリフォーカスカメラが知られている（例えば、特許文献１）。リフォーカス処理により生成された画像は、通常の撮影画像と同様に、ピントが合っている被写体とピントが合っていない被写体とが含まれる可能性がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国特開２０１５−３２９４８号公報
【発明の概要】
【０００４】
第１の態様によると、撮像装置は、変倍機能を有する光学系と、複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、前記撮像素子が出力した信号に基づいて、光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、前記画像処理部は、前記光学系が対象物体の１点に合焦しているときの焦点距離によって特定される光軸方向における範囲の長さが前記対象物体に基づく長さよりも大きい場合は前記範囲内の１点に合焦している第１画像を生成し、前記範囲の長さが前記対象物体に基づく長さよりも小さい場合は前記範囲外の１点と前記範囲内の１点とに合焦している第２画像を生成する。
第２の態様によると、撮像装置は、変倍機能を有する光学系と、複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、前記画像処理部は、前記光学系が対象物体の１点に合焦しているときの焦点距離によって特定される前記光軸方向における範囲に前記対象物体の全てが含まれる場合は前記範囲内の１点に合焦している第１画像を生成し、前記対象物体の少なくとも１部が前記範囲外に含まれる場合は前記範囲外の１点と前記範囲内の１点とに合焦している第２画像を生成する。
第３の態様によると、撮像装置は、変倍機能を有する光学系と、複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、前記画像処理部は、対象物体が被写界深度内に位置している場合は前記被写界深度内の１点に合焦している第１画像を生成し、前記対象物体の１部が前記被写界深度外に位置している場合は前記被写界深度外に位置している前記対象物体の１点と前記被写界深度内に位置している前記対象物体の１点とに合焦している第２画像を生成する。
第４の態様によると、撮像装置は、変倍機能を有する光学系と、複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、前記画像処理部は、対象物体の全てにピントが合っていると判断した場合は前記対象物体にピントが合っていると判断される第１画像を生成し、前記対象物体の１部にピントが合っていないと判断した場合は前記対象物体の全てにピントが合っていると判断される第２画像を生成する。
第５の態様によると、撮像装置は、光学系と、複数のマイクロレンズと、複数の画素を含む画素群を複数有し、被写体から出て前記光学系及び前記マイクロレンズを通過した光を各画素群で受光し、受光した前記光に基づいた信号を出力する撮像素子と、前記撮像素子が出力した信号に基づいて画像データを生成する画像処理部と、を備え、前記画像処理部は、光軸方向における前記被写体の一端又は他端が被写界深度に含まれないと判断されると、前記一端が被写界深度に含まれる第１画像データと前記他端が被写界深度に含まれる第２画像データとに基づいて第３画像データを生成する。
【図面の簡単な説明】
【０００５】
【図１】撮像システムの構成を模式的に示す図
【図２】撮像装置の構成を模式的に示すブロック図
【図３】撮像部の構成を模式的に示す斜視図
【図４】リフォーカス処理の原理を説明する図
【図５】画像合成による合焦範囲の変化を模式的に示す図
【図６】撮像装置の画角を模式的に示す上面図
【図７】画像の例を示す図
【図８】撮像装置の動作を示すフローチャート
【図９】撮像装置の構成を模式的に示すブロック図
【図１０】撮像装置の動作を示すフローチャート
【図１１】撮像装置の動作を示すフローチャート
【図１２】注目被写体と被写界深度との関係を例示する上面図
【発明を実施するための形態】
【０００６】
（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置を用いた撮像システムの構成を模式的に示す図である。撮像システム１は、所定の監視対象エリア（例えば河川、港湾、空港、都市など）の監視を行うシステムである。撮像システム１は、撮像装置２および表示装置３を有する。
【０００７】
撮像装置２は、１つ以上の監視対象４を含む広い範囲を撮像可能に構成される。ここでいう監視対象とは、例えば、船や、乗船している乗組員、貨物、飛行機、人、鳥等の監視の対象となる物体があげられる。撮像装置２は、後述する画像を所定周期（例えば３０分の１秒）ごとに表示装置３に出力する。表示装置３は、例えば液晶パネルなどにより、撮像装置２が出力した画像を表示する。監視を行うオペレータは、表示装置３の表示画面を見て監視業務を行う。
【０００８】
撮像装置２は、パン、チルト、およびズーム等が可能に構成される。オペレータが、表示装置３に設けられた不図示の操作部材（タッチパネルなど）を操作すると、撮像装置２は、その操作に応じてパン、チルト、ズームなどの種々の動作を行う。これにより、オペレータは、広範囲を子細に監視することができる。
【０００９】
図２は、撮像装置２の構成を模式的に示すブロック図である。撮像装置２は、撮像光学系２１、撮像部２２、画像処理部２３、レンズ駆動部２４、パン・チルト駆動部２５、制御部２６、および出力部２７を備える。
【００１０】
撮像光学系２１は、撮像部２２に向けて被写体像を結像させる。撮像光学系２１は、複数のレンズ２１１を有する。複数のレンズ２１１には、撮像光学系２１の焦点距離を調節可能な変倍（ズーム）レンズ２１１ａが含まれる。すなわち、撮像光学系２１は、ズーム機能を有する。
撮像部２２は、マイクロレンズアレイ２２１および受光素子アレイ２２２を有する。撮像部２２の構成については後に詳述する。
【００１１】
画像処理部２３は、画像生成部２３１ａおよび画像合成部２３１ｂを有する。画像生成部２３１ａは、受光素子アレイ２２２が出力した受光信号に対して後述する画像処理を実行し、任意像面の画像である第１画像を生成する。詳細は後述するが、画像生成部２３１ａは、１回の受光により受光素子アレイ２２２が出力した受光信号から、複数の像面の画像を生成することができる。画像合成部２３１ｂは、画像生成部２３１ａが生成した複数の像面の画像に対して、後述する画像処理を実行し、それら複数の像面の画像の各々よりも被写界深度が深い（ピントの合っている範囲が広い）第２画像を生成する。以後説明で使用する被写界深度は、ピントが合っているとみなせる範囲（被写体がボケていないとみなせる範囲）を被写界深度と定義する。つまり、計算式で算出される被写界深度に限られない。例えば、計算式で算出される被写界深度に所定の範囲を付加した範囲または除去した範囲でもよい。計算式で算出される被写界深度が、合焦位置を基準に５ｍの範囲だった場合、所定範囲（例えば1ｍ）を前後に付加した７ｍの範囲を被写界深度とみなしてもよい。所定範囲（例えば０．５ｍ）を前後から除去した４ｍの範囲を被写界深度とみなしてもよい。所定範囲は予め定められた数値でもよいし、後に出てくる注目被写体４ｂの大きさや向きによって変更されてもよい。また、画像から被写界深度（ピントが合っているとみなせる範囲、被写体がボケていないとみなせる範囲）を検出してもよい。例えば、画像処理の技術を使用し、ピントが合っている被写体と合っていない被写体とを検出することができる。
【００１２】
レンズ駆動部２４は、不図示のアクチュエータにより、複数のレンズ２１１を光軸Ｏ方向に駆動する。例えば、この駆動により変倍レンズ２１１ａが駆動されると、撮像光学系２１の焦点距離が変化し、ズームすることができる。
パン・チルト駆動部２５は、不図示のアクチュエータにより、撮像装置２の向きを左右方向および上下方向に変化させる。換言すると、パン・チルト駆動部２５は、撮像装置２のヨー角およびピッチ角を変化させる。
【００１３】
制御部２６は、不図示のＣＰＵおよびその周辺回路により構成される。制御部２６は、所定の制御プログラムを不図示のＲＯＭから読み込んで実行することにより、撮像装置２の各部の制御を行う。これらの各機能部は、上述した所定の制御プログラムによりソフトウェア的に実装される。なお、これらの各機能部を、電子回路などにより実装してもよい。
出力部２７は、画像処理部２３が生成した画像を表示装置３へ出力する。
【００１４】
（撮像部２２の説明）
図３（ａ）は、撮像部２２の構成を模式的に示す斜視図であり、図３（ｂ）は、撮像部２２の構成を模式的に示す断面図である。マイクロレンズアレイ２２１は、撮像光学系２１（図２）を通過した光束を受光する。マイクロレンズアレイ２２１は、ピッチｄで二次元状に配列された複数のマイクロレンズ２２３を有する。マイクロレンズ２２３は、撮像光学系２１の方向に凸の形状を有する凸レンズである。
【００１５】
受光素子アレイ２２２は、二次元状に配列された複数の受光素子２２５を有する。受光素子アレイ２２２は、受光面が、マイクロレンズ２２３の焦点位置と一致するように配置される。換言すると、マイクロレンズ２２３の前側主面と受光素子アレイ２２２の受光面との距離は、マイクロレンズ２２３の焦点距離ｆに等しい。なお、図３では、マイクロレンズアレイ２２１と受光素子アレイ２２２との間隔を実際よりも広く図示している。
【００１６】
図３において、マイクロレンズアレイ２２１の各マイクロレンズ２２３には、被写体の異なる部位からの光が入射する。マイクロレンズアレイ２２１に入射した被写体からの光は、マイクロレンズアレイ２２１を構成するマイクロレンズ２２３によって複数に分割される。各マイクロレンズ２２３を通過した光はそれぞれ、対応するマイクロレンズ２２３の後ろ（Ｚ軸プラス方向）に配置された複数の受光素子２２５に入射する。以下の説明では、１つのマイクロレンズ２２３に対応する複数の受光素子２２５を、受光素子群２２４と称する。つまり、１つのマイクロレンズ２２３を通過した光は、そのマイクロレンズ２２３に対応する１つの受光素子群２２４に入射する。受光素子群２２４に含まれる各受光素子２２５は、被写体のある部位からの光であって撮像光学系２１の異なる領域を通過した光をそれぞれ受光する。
【００１７】
各々の受光素子２２５に入射する光の入射方向は、受光素子２２５の位置によって定まる。マイクロレンズ２２３と、その後ろの受光素子群２２４に含まれる各受光素子２２５との位置関係は、設計情報として既知である。つまり、マイクロレンズ２２３を介して各受光素子２２５に入射する光線の入射方向は既知である。従って、受光素子２２５の受光出力は、その受光素子２２５に対応する所定の入射方向からの光の強度（光線情報）を意味する。以下、受光素子２２５に入射する所定の入射方向からの光を、光線と呼ぶ。
【００１８】
（画像生成部２３１ａの説明）
画像生成部２３１ａは、以上のように構成された撮像部２２の受光出力に対して、画像処理であるリフォーカス処理を実行する。リフォーカス処理は、上述した光線情報（所定の入射方向からの光の強度）を用いて、任意像面の画像を生成する処理である。任意像面の画像とは、撮像光学系２１の光軸Ｏ方向に設定された複数の像面から任意に選択した像面の画像のことである。
【００１９】
図４は、リフォーカス処理の原理を説明する図である。図４には、被写体４ａ、被写体４ｂ、撮像光学系２１、および撮像部２２を横方向（Ｘ軸方向）から見た様子を模式的に図示している。
【００２０】
撮像部２２から距離Ｌａだけ離れている被写体４ａの像は、撮像光学系２１により像面４０ａに結像される。撮像部２２から距離Ｌｂだけ離れている被写体４ｂの像は、撮像光学系２１により像面４０ｂに結像される。以下の説明において、像面に対応する被写体側の面を、被写体面と称する。また、リフォーカス処理の対象として選択された像面に対応する被写体面を、選択された被写体面と呼ぶことがある。例えば、像面４０ａに対応する被写体面は、被写体４ａが位置する面である。
【００２１】
画像生成部２３１ａは、リフォーカス処理において、像面４０ａ上に複数の光点（ピクセル）を定める。画像生成部２３１ａは、例えば４０００×３０００ピクセルの画像を生成するのであれば、４０００×３０００箇所の光点を定める。被写体４ａのある１点からの光は、一定の広がりを持って撮像光学系２１に入射する。その光は、像面４０ａ上のある１つの光点を通過して、一定の広がりを持って１つ以上のマイクロレンズに入射する。その光は、そのマイクロレンズを介して１つ以上の受光素子に入射する。画像生成部２３１ａは、像面４０ａ上に定めた１つの光点について、その光点を通過する光線がどのマイクロレンズを介してどの受光素子に入射するかを特定する。画像生成部２３１ａは、特定した受光素子の受光出力を足し合わせた値を、その光点のピクセル値とする。画像生成部２３１ａは、以上の処理を、各光点について実行する。画像生成部２３１ａは、このような処理によって像面４０ａの画像を生成する。像面４０ｂの場合も同様である。
【００２２】
以上で説明した処理により生成された像面４０ａの画像は、被写界深度５０ａの範囲で合焦している（ピントが合っている）とみなせる画像になる。なお、実際の被写界深度は、前側（撮像光学系２１側）が浅く、後側が深くなるが、図４では簡単のため前後が均等であるように図示している。以降の説明や図についても同様である。画像処理部２３は、画像生成部２３１ａが生成した画像の被写界深度５０ａを、撮像光学系２１の焦点距離、撮像光学系２１の絞り値（Ｆ値）、被写体４０ａまでの距離Ｌａ（撮影距離）、および撮像部２２の許容錯乱円径等に基づいて演算する。なお、撮影距離は、撮像部２２の出力信号から周知の方法により演算することが可能である。例えば、撮像部２２が出力した受光信号を用いて注目被写体までの距離を測定してもよいし、瞳分割位相差方式やＴｏＦ方式などの方法により被写体までの距離を測定してもよいし、撮影距離を測定するセンサを撮像装置２に別途設けそのセンサの出力を用いてもよい。
【００２３】
（画像合成部２３１ｂの説明）
画像生成部２３１ａによって生成された画像は、選択された像面の前後の一定範囲（焦点深度）に位置する被写体像にピントが合っているとみなすことができる。換言すると、その画像は、選択された被写体面の前後の一定範囲（被写界深度）に位置する被写体にピントが合っているとみなすことができる。その範囲に位置する被写体に比べて、その範囲外に位置する被写体は、鮮鋭度が劣った状態（いわゆるボケ状態、ピントが合っていない状態）になっている可能性がある。
【００２４】
被写界深度は、撮像光学系２１の焦点距離が長いほど浅くなり、短いほど深くなる。つまり、監視対象４を望遠で撮像した場合は、監視対象４を広角で撮像した場合に比べて、被写界深度は浅くなる。画像合成部２３１ｂは、画像生成部２３１ａにより生成された複数の画像を合成することにより、合成前の個々の画像よりも合焦範囲が広い（被写界深度が深い、ピントが合っている範囲が広い）合成画像を生成する。これにより、撮像光学系２１が望遠状態である場合であっても、表示装置３にはピントの合っている範囲が広い鮮鋭な画像が表示される。
【００２５】
図５は、画像合成による合焦範囲の変化を模式的に示す図である。図５において、紙面右方向は至近方向を、紙面左方向は無限遠方向をそれぞれ示す。いま、図５（ａ）に示すように、画像生成部２３１ａが第１の被写体面４１の画像（１つ目の画像）と、第２の被写体面４２の画像（２つ目の画像）を生成したものとする。１つ目の画像の被写界深度は、第１の被写体面４１を含む第１の範囲５１である。２つ目の画像の被写界深度は、第２の被写体面４２を含む第２の範囲５２である。画像合成部２３１ｂが、これら１つ目の画像と２つ目の画像を合成して生成した合成画像は、第１の範囲５１と第２の範囲５２の両方の範囲が合焦範囲５３となる。つまり、画像合成部２３１ｂは、合成対象の画像よりも広い合焦範囲５３を有する合成画像を生成する。
【００２６】
画像合成部２３１ｂは、２つよりも多い数の画像を合成することもできる。より多くの画像から合成画像を生成すれば、合成画像の合焦範囲はより広くなる。なお、図５（ａ）に例示した第１の範囲５１と第２の範囲５２は連続した範囲となっているが、図５（ｂ）のように、合成対象の各画像の合焦範囲は不連続であってもよいし、図５（ｃ）のように、一部が重複していてもよい。
【００２７】
画像合成部２３１ｂによる画像合成処理の一例について説明する。画像合成部２３１ｂは、１つ目の画像の各ピクセルについて、コントラスト値を算出する。コントラスト値は、鮮鋭度の高さを表す数値であり、例えば周囲８ピクセル（もしくは上下左右に隣接する４ピクセル）との画素値の差の絶対値の積算値である。画像合成部２３１ｂは、２つ目の画像についても同様に、各ピクセルについてコントラスト値を算出する。
【００２８】
画像合成部２３１ｂは、１つ目の画像の各ピクセルについて、２つ目の画像の同じ位置のピクセルとコントラスト値を比較する。画像合成部２３１ｂは、よりコントラスト値が高い方のピクセルを、合成画像におけるその位置のピクセルとして採用する。以上の処理によって、１つ目の画像の合焦範囲と２つ目の画像の合焦範囲の両方でピントが合っている合成画像が得られる。
【００２９】
なお、以上で説明した合成画像の生成方法は一例であり、これとは異なる方法で合成画像を生成することもできる。例えば、ピクセル単位ではなく、複数のピクセルから成るブロック単位（例えば、４ピクセル×４ピクセルのブロック単位）でコントラスト値の算出および合成画像への採用を行ってもよい。また、被写体検出を行い、被写体単位でコントラスト値の算出と合成画像への採用とを行ってもよい。つまり、第１の画像および第２の画像から、鮮鋭に写っている被写体（被写界深度に含まれる被写体）をそれぞれ切り出して１つの画像に貼り合わせることにより、合成画像を作成してもよい。また、撮影距離を測定するセンサから被写体までの距離をもとめ、その距離に基づいて合成画像を生成してもよい。例えば、至近から第２の範囲５２の終点（又は第１の範囲の始点）までに含まれる被写体は第２の画像から切り出し、第２の範囲５２の終点（又は第１の範囲の始点）から無限遠までに含まれる被写体は第１の画像から切り出して合成画像を作成することがあげられる。その他、１つ目の画像や２つ目の画像よりも広い合焦範囲を得られるのであれば、どのような方法で合成画像を生成してもよい。出力部２７は、画像生成部２３１ａが生成した特定の像面の画像か、画像合成部２３１ｂが合成した合成画像か、のいずれかを所定周期ごとに表示装置３に出力する。
【００３０】
（撮像システム１全体の動作の説明）
以下、図６〜図８を使用して撮像システム１全体の動作を説明する。
【００３１】
図６（ａ）は、第１の焦点距離における撮像装置２の画角６１を模式的に示す上面図であり、図６（ｂ）は、第２の焦点距離における撮像装置２の画角６２を模式的に示す上面図である。第１の焦点距離は、第２の焦点距離よりも短い焦点距離である。つまり、第１の焦点距離は、第２の焦点距離よりも広角側の焦点距離であり、第２の焦点距離は、第１の焦点距離よりも望遠側の焦点距離である。表示装置３は、図６（ａ）に示す状態のとき、表示画面に相対的に広い画角６１の画像を表示する（例えば、図７（ａ））。表示装置３は、図６（ｂ）に示す状態のとき、表示画面に相対的に狭い画角６２の画像を表示する（例えば、図７（ｂ））。
図８は、撮像装置２の動作をしめすフローチャートである。
【００３２】
ステップＳ１において、撮像装置２の制御部２６は、撮像光学系２１、撮像部２２、画像処理部２３、レンズ駆動部２４、パン・チルト駆動部２５等を制御し、例えば図６（ａ）に示す状態のような、被写体４ａ、被写体４ｂ、および被写体４ｃを含む広角な範囲を撮像させる。制御部２６は、出力部２７を制御し、広角な範囲で撮像した画像を表示装置３に出力させる。表示装置３は、図７（ａ）の画像を表示することができる。
ステップＳ２において、オペレータは、図６（ａ）のときに表示された画像を見て、被写体４ｂについて子細を確認したいと考え、被写体４ｂを拡大して表示することを所望したとする。オペレータは、不図示の操作部材を操作して、被写体４ｂへの注目指示（ズーム指示）を不図示の操作部材を介して撮像装置２に入力する。以下の説明において、ここでオペレータが選択した被写体４ｂを注目被写体４ｂ（対象物体）と称する。
【００３３】
制御部２６は、注目指示（ズーム指示）が入力されると、レンズ駆動部２４およびパン・チルト駆動部２５にそれぞれ駆動指示を出力する。この駆動指示により、注目被写体４ｂを撮像画面内に捉えたまま、撮像光学系２１の焦点距離が第１の焦点距離からより望遠側の第２の焦点距離に変化する。つまり、撮像光学系２１の画角が、図６（ａ）に示す状態から図６（ｂ）に示す状態に変化する。その結果、表示装置３の表示画面には図７（ａ）に示す画像から図７（ｂ）に示す画像に切り替わり、注目被写体４ｂがより大きく表示されるようになる。オペレータは注目被写体４ｂを子細に観察することができる。一方、画像生成部２３１ａが生成する画像の被写界深度（ピントが合っているとみなせる範囲）は、撮像光学系２１の焦点距離が望遠側に変化することにより狭くなる。つまり、図６（ａ）に示す状態で注目被写体４ｂを観察する場合（図７（ａ））より、図６（ｂ）に示す状態で注目被写体４ｂを観察する場合（図７（ｂ））の方が、被写界深度は狭くなる。結果、注目被写体４ｂのうち一部は被写界深度内に位置するが、注目被写体４ｂのうち一部は被写界深度外に位置し、被写界深度外に位置する注目被写体４ｂの部分にピントが合っていない（ボケている）状況が起こりえる。
【００３４】
ステップＳ３において、制御部２６は、図７（ｂ）の被写界深度を演算する。被写界深度の演算は、撮像光学系２１の焦点距離、撮像光学系２１の絞り値（Ｆ値）、被写体４０ａまでの距離Ｌａ（撮影距離）の何れかが変更されたときに行ってもよいし、所定間隔（例えば３０分の１秒）ごとに画像生成部２３１ａにより生成される画像の被写界深度を演算してもよい。
【００３５】
ステップＳ４において、制御部２６は、ステップＳ３で演算した被写界深度が所定範囲よりも大きいか小さいかを判断する。被写界深度が所定範囲よりも大きいと判断した場合はステップＳ５へ進み、小さいと判断した場合はステップＳ６へ進む。
【００３６】
ステップＳ５において、制御部２６は画像処理部２３を制御し、画像生成部２３１ａに１つの像面の画像（第１画像）を生成させる。つまり、演算した被写界深度の光軸方向における長さが、所定値（例えば１０ｍ）より長い場合には、第１画像を生成する。所定値は、予め記憶部に記憶された数値でもよいし、オペレータによって入力された数値でもよい。また、後述するような注目被写体４ｂの向きや大きさによって定められる数値でもよい。ここでいう所定像面は、例えば、注目被写体４ｂが指定されていない場合は合成可能範囲の中央近傍に設定し、より多数の被写体４が合焦範囲に入るようにすればよい。また、注目被写体４ｂが指定されている場合は、注目被写体４ｂが合焦範囲に入るように、例えば注目被写体４ｂの中央近傍に設定すればよい。画像生成部２３１ａは、被写界深度内の１点に合焦している画像を生成してもよい。この被写界深度内の１点は、注目被写体４ｂのうちの１点であってよい。
【００３７】
ステップＳ６において、制御部２６は画像処理部２３を制御し、画像生成部２３１ａに複数の像面の画像（複数の第１画像）を生成させる。つまり、演算した被写界深度の光軸方向における長さが、所定値（例えば１０ｍ）より短い場合には、複数の第１画像を生成させる。複数の第１画像のうち１つは、被写界深度内の１点に合焦している画像である。また、複数の第１画像のうちさらにもう１つは、被写界深度外の１点に合焦している画像である。この被写界深度外の１点は、注目被写体４ｂのうち被写界深度外に含まれる１点であってよい。
【００３８】
ステップＳ７において、制御部２６は画像処理部２３を制御し、それら複数の画像を画像合成部２３１ｂに合成させる。これにより、画像合成部２３１ｂは、画像生成部２３１ａが生成した画像（第１画像）よりも被写界深度が深い（合焦範囲が広い、ピントの合っている範囲が広い）合成画像（第２画像）を生成する。被写界深度内の１点と被写界深度外の１点とに合焦している画像を生成する。被写界深度内の１点は、注目被写体４ｂのうち被写界深度内に含まれる１点であってよい。被写界深度外の１点は、注目被写体４ｂのうち被写界深度外に含まれる１点であってよい。
【００３９】
ステップＳ８において、制御部２６は出力部２７を制御し、画像生成部２３１ａが生成した画像又は画像合成部２３１ｂが生成した画像を、表示装置３に出力させる。
【００４０】
ステップＳ９において、制御部２６は不図示の電源スイッチが操作され電源オフ指示が入力されたか否かを判定する。電源オフ指示が入力されていなかった場合、制御部２６は処理をステップＳ１に進める。他方、電源オフ指示が入力されていた場合、制御部２６は図８に示す処理を終了する。
【００４１】
なお、画像生成部２３１ａは、注目被写体４ｂを含む最小の枚数の画像を生成してもよい。例えば図６（ｂ）に例示する状態において、注目被写体４ｂの光軸Ｏ方向のサイズ（大きさ）は、１つの画像の被写界深度の３倍程度であるとする。画像生成部２３１ａは、このとき第１範囲５４を被写界深度とする画像と、第２範囲５５を被写界深度とする画像と、第３範囲５６を被写界深度とする画像を生成する。第１範囲５４は注目被写体４ｂの前方を含む範囲であり、第２範囲５５は注目被写体４ｂの中央を含む範囲であり、第３範囲５６は注目被写体４ｂの後方を含む範囲である。
【００４２】
なお、ここで画像処理部２３が被写界深度と比較する「所定範囲（所定値）」は、撮像システム１が監視対象とする注目被写体の光軸Ｏ方向のサイズに基づいて予め定めておいてもよい。例えば撮像システム１が全長１００ｍ程度の船舶を監視対象に想定しているのであれば、所定範囲を１００ｍの範囲とすることが考えられる。画像処理部２３は、被写界深度が１００ｍを上回るか否かに応じて、第１画像を生成するか第２画像を生成するか切り替えることができる。
【００４３】
以上で説明した撮像システム１の動作の効果について説明する。表示装置３が表示する画像は、注目被写体４ｂに対してズームアップしたとき、被写界深度が相対的に浅い画像になる。従って、注目被写体４ｂの奥行き方向（撮像光学系２１の光軸Ｏ方向）におけるサイズによっては、画像生成部２３１ａが生成した画像において、注目被写体４ｂの全体が被写界深度に収まらなくなる。例えば、注目被写体４ｂが大型の船舶であり、光軸Ｏに並行に停泊している場合、船体の一部（例えば中央部分）にのみピントが合い、船体の残り（例えば船首や船尾）がボケている画像が表示されてしまう。
【００４４】
そこで、画像生成部２３１ａが船体の各部にピントの合っている画像を複数生成し、画像合成部２３１ｂがそれら複数の画像を合成すれば、合成画像は船体の全部にピントが合った画像になる。つまり、画像生成部２３１ａにより生成された複数の画像を画像合成部２３１ｂが合成すれば、それらの画像よりも深い被写界深度を有し、かつ、被写界深度に注目被写体４ｂの全体が収まっている合成画像を生成することができる。
【００４５】
このような合成画像の生成には、画像生成部２３１ａによる１枚の画像の生成に比べて、より多くの演算量を必要とする。具体的には、画像生成部２３１ａはより多くの画像を生成しなければならず、それに加えて、画像合成部２３１ｂによる合成処理が必要になる。従って、表示装置３が画像合成部２３１ｂによる合成画像を常に表示するようにすると、フレームレートの低下や、表示の遅延などといった問題が生じる可能性がある。
【００４６】
本実施の形態の一例において、画像合成部２３１ｂは、被写界深度が所定範囲以下となった場合にのみ合成画像を生成するようにしてもよい。また、画像生成部２３１ａは、必要最小限の画像しか生成しないようにしてもよい。そのため、上述した方法に比べて、より少ない演算量で監視対象の注目被写体４ｂを効果的に観察可能である。演算量が少なくなるので、表示装置３の表示の遅延やフレームレートの低下などといった問題が生じにくい。
【００４７】
なお、画像生成部２３１ａは、必ずしも注目被写体４ｂの全体を含むように複数の画像を生成しなくてもよい。例えば図６（ｂ）の状態のとき、画像生成部２３１ａが第１範囲５４を被写界深度とする画像と第３範囲５６を被写界深度とする画像とを生成するようにしてもよい。このようにした場合であっても、画像合成部２３１ｂにより合成される画像は、１枚の画像よりも被写界深度が深い画像となるので、監視対象の注目被写体４ｂを効果的に観察可能である。
【００４８】
上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像部２２は、複数の受光素子２２５を含む受光素子群２２４を複数有し、変倍機能を有する光学系である撮像光学系２１とマイクロレンズ２２３とを通過した光を受光素子群２２４でそれぞれ受光し、受光した光に基づいた信号を出力する。画像処理部２３は、撮像部２２が出力した信号に基づいて、光軸Ｏ方向において異なる位置にある複数の物体のうち少なくとも１つの被写体の１点に合焦している画像を生成する。画像処理部２３は、撮像光学系２１が対象物体（注目被写体）の１点に合焦しているときの焦点距離によって特定される光軸Ｏ方向における範囲の長さが対象物体に基づく長さよりも大きい場合は範囲内の１点に合焦している第１画像を生成する。画像処理部２３は、その範囲の長さが対象物体に基づく長さよりも小さい場合は範囲外の１点と範囲内の１点とに合焦している第２画像を生成する。このようにしたので、注目被写体の全体にピントが合った画像を表示する、注目被写体の監視に好適な撮像装置を提供することができる。また、必要最小限の画像合成を行うため、限られた演算資源および消費電力で、遅延なく監視画像を表示することができる。
【００４９】
（２）対象物体に基づく長さとは、対象物体の向き又は大きさに基づく長さであり、例えば光軸Ｏ方向における対象物体の長さである。このようにしたので、少なくとも注目被写体の全体にピントが合った画像を表示することができる。
【００５０】
（３）上記の範囲は、撮像光学系２１が有する変倍機能によって焦点距離が変更された場合に長さが短くなる範囲である。画像処理部２３は、焦点距離が変更されてその範囲の長さが短くなり、その範囲の長さが対象物体に基づく長さよりも小さくなる場合に、第２画像を生成する。このように、状況によっては合成処理を行うことなしに画像を表示するので、限られた演算資源および消費電力で、遅延なく監視画像を表示することができる。
【００５１】
（４）画像処理部２３は、上記の範囲外に含まれる対象物体の１点とその範囲内の１点とに合焦している第２画像を生成する。このようにしたので、より広い範囲にピントが合った、監視に好適な画像を表示することができる。
【００５２】
（５）画像処理部２３は、上記の範囲外に含まれる対象物体の１点とその範囲内に含まれる対象物体の１点とに合焦している第２画像を生成する。このようにしたので、より広い範囲にピントが合った、監視に好適な画像を表示することができる。
【００５３】
（６）上記の範囲は、撮像光学系２１が有する変倍機能によって変更される焦点距離に基づく範囲である。その範囲は、例えば被写界深度に基づく範囲である。このようにしたので、ズームイン・ズームアウトに追従して監視に最適な画像を表示することができる。
【００５４】
（７）画像処理部２３は、第１画像で合焦している範囲より広い範囲で合焦している第２画像を生成する。このようにしたので、より広い範囲にピントが合った、監視に好適な画像を表示することができる。
【００５５】
以上で説明した画像処理部２３は、想定される被写体に応じて予め設定された所定範囲を被写界深度と比較し、比較結果に応じて生成する画像を切り替えていたが、所定範囲を予め複数定めておき、オペレータの指示に応じて制御に用いる所定範囲を切り替え可能としてもよい。例えば画像処理部２３は、オペレータの指示に応じて、大型の船舶に対応する第１の所定範囲と、小型の船舶に対応する第２の所定範囲とを切り替えて使用してもよい。例えば画像処理部２３は、オペレータがキーボード等の入力装置により入力した値を上述した所定範囲とし、被写界深度と比較してよい。
【００５６】
以上で説明した画像処理部２３は、画像合成部２３１ｂに、被写界深度がちょうど注目被写体（対象物体）の全体を含む合成画像を生成させていた。画像処理部２３は、画像合成部２３１ｂに、より広い範囲を被写界深度に含む合成画像を生成させてもよい。例えば画像処理部２３は、画像生成部２３１ａにより生成された１つの画像における被写界深度が浅いほど、画像合成部２３１ｂにより生成される画像の被写界深度が深くなるよう、画像合成部２３１ｂに合成画像を生成させてもよい。すなわち、画像処理部２３は、画像生成部２３１ａにより生成された１つの画像における被写界深度が浅いほど、画像合成部２３１ｂにより多くの画像を合成させてもよい。
【００５７】
以上で説明した画像処理部２３は、画像生成部２３１ａと画像合成部２３１ｂを備え、画像生成部２３１ａが生成した複数の画像を画像合成部２３１ｂが合成して第２画像を生成する例を上述したが、これに限定されない。例えば、撮像部２２の出力から直接に第２画像を生成してもよい。この場合、画像合成部２３１ｂは備えなくてもよい。
【００５８】
（第２の実施の形態）
第１の実施の形態に係る撮像装置２は、予め定められた所定範囲と被写界深度とを比較する。第２の実施の形態に係る撮像装置１００２は、注目被写体（対象物体）の奥行き方向（光軸方向）のサイズ（長さ）を検出し、そのサイズに応じた所定範囲（所定値）を被写界深度と比較する。つまり、第２の実施の形態に係る撮像装置１００２は、注目被写体のサイズに応じて、被写界深度と比較する所定範囲（所定値）を自動的に決定する。注目被写体のサイズは、奥行き方向の長さだけに限られず、注目被写体の向きや大きさも含んでよい。
【００５９】
図７は、第２の実施の形態に係る撮像装置１００２の構成を模式的に示すブロック図である。以下、第１の実施の形態に係る撮像装置２（図２）との差異を中心に説明し、第１の実施の形態と同様の部位については説明を省略する。
【００６０】
撮像装置１００２は、制御部２６（図２）を置き換える制御部１０２６、画像処理部２３を置き換える画像処理部１２３１、および検出部１２３２を有する。検出部１２３２は、画像生成部２３１ａにより生成された画像に対して画像認識処理を行うことにより、注目被写体の光軸Ｏ方向におけるサイズを検出する。また、レーザやレーダ等によって注目被写体の光軸Ｏ方向におけるサイズを検出してもよい。
【００６１】
画像処理部１２３１は、撮像光学系２１の焦点距離、撮像光学系２１の絞り値（Ｆ値）、被写体４０ａまでの距離Ｌａ（撮影距離）の何れかが変更されたときに、被写界深度を演算する。または、所定間隔（例えば３０分の１秒）ごとに、画像生成部２３１ａにより生成される画像の被写界深度を演算してもよい。画像処理部１２３１は、画像生成部２３１ａに１つの像面の画像を生成させる。検出部１２３２は、画像生成部２３１ａにより生成された画像に対して、例えばテンプレートマッチング等の周知の画像処理を実行することにより、注目被写体の種別を検出する。検出部１２３２は、例えば注目被写体が大型の船舶であるのか、中型の船舶であるのか、小型の船舶であるのかを検出する。検出部１２３２は、検出結果に応じて異なるサイズを、注目被写体のサイズとして画像処理部１２３１に通知する。画像処理部１２３１は、通知されるサイズごとに異なる所定範囲（所定値）を記憶している。画像処理部１２３１は、通知されたサイズに対応する所定範囲と、演算した被写界深度とを比較する。画像処理部１２３１は、演算した被写界深度が所定範囲より大きい場合には、画像生成部２３１ａに１つの象面の画像（第１画像）を生成させる。出力部２７は、生成された第１画像を表示装置３に出力する。
【００６２】
画像処理部１２３１は、演算した被写界深度が所定範囲以下である場合には、画像生成部２３１ａに更に１つ以上の像面の画像を生成させる。画像処理部１２３１は、先に生成させた１つの像面の画像と、更に生成させた１つ以上の像面の画像とを画像合成部２３１ｂに合成させる。これにより、画像合成部２３１ｂは、画像生成部２３１ａが生成した画像（第１画像）よりも被写界深度が深い（合焦範囲が広い）合成画像（第２画像）を生成する。出力部２７は、画像合成部２３１ｂが生成した合成画像を、表示装置３に出力する。その他の撮像装置２の動作は、第１の実施の形態と同様でよい（図８）。
【００６３】
上述した実施の形態によれば、第１の実施の形態による作用効果に加えて、次の作用効果が得られる。
（８）検出部１２３２は、対象物体の向きや大きさを検出する。画像処理部１２３１は、検出部１２３２が検出した対象物体の向きや大きさによって変更される対象物体に基づく長さに基づいて、第１画像又は第２画像を生成する。このようにしたので、注目被写体の全体にピントが合った画像を表示することができる。
【００６４】
（９）検出部１２３２は、画像処理部１２３１が生成した画像に基づいて対象物体の向きや大きさを検出する。このようにしたので、多様な種類の注目被写体に的確に対応可能な、柔軟性のある装置を提供することができる。
【００６５】
以上で説明した検出部１２３２は、画像処理の一種である被写体認識処理により、注目被写体の奥行き方向（光軸Ｏ方向）のサイズを検出する。検出部１２３２がこのサイズを検出する方法は、画像処理に限定されない。
【００６６】
例えば検出部１２３２は、撮像部２２が出力した受光信号を用いて注目被写体までの距離を測定することにより、注目被写体の奥行き方向（光軸Ｏ方向）のサイズを検出してもよい。例えば検出部１２３２は、注目被写体の各部について距離を測定し、最も近い部位までの距離と最も遠い部位までの距離との差を注目被写体の奥行き方向（光軸Ｏ方向）のサイズとして検出する。
【００６７】
例えば検出部１２３２は、瞳分割位相差方式やＴｏＦ方式などの周知の方法により距離を測定するセンサを有する。例えば検出部１２３２は、このセンサにより注目被写体の各部について距離を測定し、最も近い部位までの距離と最も遠い部位までの距離との差を注目被写体の奥行き方向（光軸Ｏ方向）のサイズとして検出する。
【００６８】
例えば検出部１２３２は、上述した方法とは異なる方法により注目被写体の奥行き方向（光軸Ｏ方向）のサイズを検出するセンサを有する。例えば検出部１２３２は、このセンサを用いて、注目被写体の奥行き方向（光軸Ｏ方向）のサイズを検出する。センサの具体例として、例えば船舶である注目被写体を撮像するイメージセンサと、撮像結果から船体に記載されている認識番号や名前等を抽出しネットワークを介して外部のサーバ等にその認識番号等に対応する船舶のサイズを問い合わせる通信部とを有するセンサが挙げられる。この場合、例えば、船舶に書かれている船舶の認識番号や名前から、その船舶のサイズをインターネットから抽出することができる。
【００６９】
（第３の実施の形態）
第１の実施の形態に係る撮像装置２または第２の実施の形態に係る撮像装置１００２は、所定範囲と被写界深度とを比較し、比較結果に基づいて第１画像又は第２画像を生成していた。第３の実施の形態に係る撮像装置１０２は、注目被写体（対象物体）が被写界深度に含まれているか否かを判断し、判断結果に基づいて第１画像又は第２画像を生成する。以下、第１の実施の形態に係る撮像装置２（図２）との差異を中心に説明し、第１の実施の形態と同様の部位については説明を省略する。
【００７０】
図１０に示すフローチャートを使用して撮像装置１０２の動作を説明する。
ステップＳ１において、撮像装置２の制御部２６は、撮像光学系２１、撮像部２２、画像処理部２３、レンズ駆動部２４、パン・チルト駆動部２５等を制御し、例えば図６（ａ）に示す状態のような、被写体４ａ、被写体４ｂ、および被写体４ｃを含む広角な範囲を撮像させる。制御部２６は、出力部２７を制御し、広角な範囲で撮像した画像を表示装置３に出力させる。表示装置３は、図７（ａ）の画像を表示することができる。
【００７１】
ステップＳ２において、オペレータは、図６（ａ）のときに表示された画像を見て、被写体４ｂについて子細を確認したいと考え、被写体４ｂを拡大して表示することを所望したとする。オペレータは、不図示の操作部材を操作して、被写体４ｂへの注目指示（ズーム指示）を不図示の操作部材を介して撮像装置２に入力する。以下の説明において、ここでオペレータが選択した被写体４ｂを注目被写体４ｂ（対象物体）と称する。
【００７２】
制御部２６は、注目指示（ズーム指示）が入力されると、レンズ駆動部２４およびパン・チルト駆動部２５にそれぞれ駆動指示を出力する。この駆動指示により、注目被写体４ｂを撮像画面内に捉えたまま、撮像光学系２１の焦点距離が第１の焦点距離からより望遠側の第２の焦点距離に変化する。つまり、撮像光学系２１の画角が、図６（ａ）に示す状態から図６（ｂ）に示す状態に変化する。その結果、表示装置３の表示画面には図７（ａ）に示す画像から図７（ｂ）に示す画像に切り替わり、注目被写体４ｂがより大きく表示されるようになる。オペレータは注目被写体４ｂを子細に観察することができる。一方、画像生成部２３１ａが生成する画像の被写界深度（ピントが合っているとみなせる範囲）は、撮像光学系２１の焦点距離が望遠側に変化することにより狭くなる。つまり、図６（ａ）に示す状態で注目被写体４ｂを観察する場合（図７（ａ））より、図６（ｂ）に示す状態で注目被写体４ｂを観察する場合（図７（ｂ））の方が、被写界深度は狭くなる。結果、注目被写体４ｂのうち一部は被写界深度内に位置するが、注目被写体４ｂのうち一部は被写界深度外に位置し、被写界深度外に位置する注目被写体４ｂの部分にピントが合っていない（ボケている）状況が起こりえる。
ステップＳ１０３において、制御部２６は、注目被写体４ｂの位置と被写界深度の位置との位置関係を検出する被写体位置判定処理を実行する。被写体位置判定処理による位置関係の検出方法は、後に図１１を使用して詳述する。
ステップＳ１０４において、制御部２６は、ステップＳ１０３において実行した被写体位置判定処理の結果、被写界深度に注目被写体４ｂの全てが含まれると判断された場合には処理をステップＳ１０５へ進める。制御部２６は、注目被写体４ｂの少なくとも一部が被写界深度外に含まれると判断した場合には、処理をステップＳ１０６へ進める。
【００７３】
ステップＳ１０５において、制御部２６は画像処理部２３を制御し、画像生成部２３１ａに１つの像面の画像（第１画像）を生成させる。つまり、演算した被写界深度の光軸方向における長さが、所定値（例えば１０ｍ）より長い場合には、第１画像を生成する。所定値は、予め記憶部に記憶された数値でもよいし、オペレータによって入力された数値でもよい。また、後述するような注目被写体４ｂの向きや大きさによって定められる数値でもよい。ここでいう所定像面は、例えば、注目被写体４ｂが指定されていない場合は合成可能範囲の中央近傍に設定し、より多数の被写体４が合焦範囲に入るようにすればよい。また、注目被写体４ｂが指定されている場合は、注目被写体４ｂが合焦範囲に入るように、例えば注目被写体４ｂの中央近傍に設定すればよい。画像生成部２３１ａは、被写界深度内の１点に合焦している画像を生成してもよい。この被写界深度内の１点は、注目被写体４ｂのうちの１点であってよい。
【００７４】
ステップＳ１０６において、制御部２６は画像処理部２３を制御し、画像生成部２３１ａに複数の像面の画像（複数の第１画像）を生成させる。つまり、演算した被写界深度の光軸方向における長さが、所定値（例えば１０ｍ）より短い場合には、複数の第１画像を生成させる。複数の第１画像のうち１つは、被写界深度内の１点に合焦している画像である。また、複数の第１画像のうちさらにもう１つは、被写界深度外の１点に合焦している画像である。この被写界深度外の１点は、注目被写体４ｂのうち被写界深度外に含まれる１点であってよい。
【００７５】
ステップＳ１０７において、制御部２６は画像処理部２３を制御し、それら複数の画像を画像合成部２３１ｂに合成させる。これにより、画像合成部２３１ｂは、画像生成部２３１ａが生成した画像（第１画像）よりも被写界深度が深い（合焦範囲が広い、ピントの合っている範囲が広い）合成画像（第２画像）を生成する。被写界深度内の１点と被写界深度外の１点とに合焦している画像を生成する。被写界深度内の１点は、注目被写体４ｂのうち被写界深度内に含まれる１点であってよい。被写界深度外の１点は、注目被写体４ｂのうち被写界深度外に含まれる１点であってよい。
【００７６】
ステップＳ１０８において、制御部２６は出力部２７を制御し、画像生成部２３１ａが生成した画像又は画像合成部２３１ｂが生成した画像を、表示装置３に出力させる。
【００７７】
ステップＳ１０９において、制御部２６は不図示の電源スイッチが操作され電源オフ指示が入力されたか否かを判定する。電源オフ指示が入力されていなかった場合、制御部２６は処理をステップＳ１に進める。他方、電源オフ指示が入力されていた場合、制御部２６は図８に示す処理を終了する。
【００７８】
図１１に示すフローチャートを使用して、図１０のステップＳ１０３で実行される被写体位置判定処理について詳述する。
ステップＳ３１において、制御部２６は、注目被写体４ｂの位置を検出する。注目被写体４ｂの位置の検出の方法は第１の実施の形態や第２の実施の形態で上述した方法を用いればよい。
【００７９】
ステップＳ３２において、制御部２６は、被写界深度を演算する。演算された被写界深度は、注目被写体４ｂの１点（合焦しているとみなすことができる点）を基準に前側被写界深度と後側被写界深度を有する。
【００８０】
ステップＳ３３において、制御部２６は、ステップＳ３１で検出した注目被写体４ｂの位置と、ステップＳ３２で演算した被写界深度の位置と、を比較する。制御部２６は、両者の位置を比較することにより、注目被写体４ｂが被写界深度内に含まれているか否かを判断する。制御部２６は、例えば注目被写体４ｂの最前部までの距離と被写界深度の最前部までの距離とを比較する。制御部２６は、前者の距離が後者の距離よりも短ければ、すなわち注目被写体４ｂの最前部が被写界深度の最前部に収まっていなければ、注目被写体４ｂが被写界深度内に含まれていないと判断する。同様に制御部２６は、例えば注目被写体４ｂの最後部までの距離と被写体深度の最後部までとの距離を比較する。制御部２６は、前者の距離が後者の距離よりも長ければ、すなわち注目被写体４ｂの最後部が被写体深度の最後部に収まっていなければ、注目被写体４ｂが被写界深度内に含まれていないと判断する。比較の結果、図１２（ａ）に示すように注目被写体４ｂが被写界深度内に含まれているか、図１２（ｂ）（ｃ）に示すように注目被写体４ｂの一部が被写界深度外に含まれているかを判断する。図１２（ａ）に示す状態の場合は、注目被写体４ｂの全てが被写界深度内に含まれているので、注目被写体４ｂ全体にピントが合っている（ボケていない）とみなすことができる。図１２（ｂ）（ｃ）に示す状態の場合は、注目被写体４ｂの少なくとも一部が被写界深度内に含まれていないため、被写界深度内に含まれていない注目被写体４ｂの部分はピントが合っていない（ボケている）とみなすことができる。言い換えると、被写界深度外に含まれている注目被写体４ｂの部分はピントが合っていない（ボケている）とみなすことができる。制御部２６は、被写体位置判定処理において、図１２（ａ）に示す状態であると判断した場合、図１０のステップＳ１０４において、処理をステップＳ１０５に進める。制御部２６は、被写体位置判定処理において、図１２（ｂ）または図１２（ｃ）に示す状態であると判断した場合、図１０のステップＳ１０４において、処理をステップＳ１０６に進める。
【００８１】
上述した実施の形態によれば、第１の実施の形態と同様の作用効果が得られる。
【００８２】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。上述した各構成部全てを備える必要はなく、任意の組み合わせでもよい。また、上記の実施形態に限らず、任意の組み合わせでもよい。
【００８３】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１６年第１９２２５３号（２０１６年９月２９日出願）
【符号の説明】
【００８４】
１…撮像システム、２…撮像装置、３…表示装置、２１…撮像光学系、２２…撮像部、２３、１２３１…画像処理部、２４…レンズ駆動部、２５…パン・チルト駆動部、１０２６、２６…制御部、２７…出力部、２２１…マイクロレンズアレイ、２２２…受光素子アレイ、２２３…マイクロレンズ、２２４…受光素子群、２２５…受光素子、２３１ａ…画像生成部、２３１ｂ…画像合成部、１２３２…検出部
【図１】
2018061876.tif 000003
【図２】
2018061876.tif 000004
【図３】
2018061876.tif 000005
【図４】
2018061876.tif 000006
【図５】
2018061876.tif 000007
【図６】
2018061876.tif 000008
【図７】
2018061876.tif 000009
【図８】
2018061876.tif 000010
【図９】
2018061876.tif 000011
【図１０】
2018061876.tif 000012
【図１１】
2018061876.tif 000013
【図１２】
2018061876.tif 000014
【手続補正書】
【提出日】令和1年5月23日(2019.5.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光学系と、
複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、
前記撮像素子が出力した信号に基づいて、光軸方向における第１範囲に合焦している第１画像データを生成する画像処理部と、を備え、
前記画像処理部は、前記第１範囲を含み且つ前記第１範囲より大きい第２範囲に合焦している第２画像データを生成可能である撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記画像処理部は、前記第１範囲に少なくとも一部が含まれる物体の光軸方向の大きさに基づいて、前記第２範囲に合焦している前記第２画像データを生成する撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記画像処理部は、前記第１範囲が前記物体の光軸方向の大きさよりも小さい場合、前記物体の光軸方向の大きさよりも大きい前記第２範囲に合焦している前記第２画像データを生成する撮像装置。
【請求項４】
請求項２又は請求項３に記載の撮像装置において、
前記画像処理部は、光軸方向において、前記物体の少なくとも一部が前記第１範囲外に含まれる場合、前記物体を含む前記第２範囲に合焦している前記第２画像データを生成する撮像装置。
【請求項５】
請求項２から請求項４までの何れか１項に記載の撮像装置において、
前記画像処理部は、前記光学系によって焦点距離が変更されてズームされると、前記第２範囲に合焦している前記第２画像データを生成する撮像装置。
【請求項６】
請求項２から請求項５までの何れか１項に記載の撮像装置において、
前記画像処理部は、前記光学系によって焦点距離が変更されて前記物体の少なくとも一部が前記第１範囲外に含まれると、前記第２範囲に合焦している前記第２画像データを生成する撮像装置。
【請求項７】
変倍機能を有する光学系と、
複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、
前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、
前記画像処理部は、前記光学系が対象物体の１点に合焦しているときの焦点距離によって特定される前記光軸方向における範囲に前記対象物体の全てが含まれる場合は前記範囲内の１点に合焦している第１画像を生成し、前記対象物体の少なくとも１部が前記範囲外に含まれる場合は前記範囲外の１点と前記範囲内の１点とに合焦している第２画像を生成する撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記範囲は、前記光学系が有する前記変倍機能によって前記焦点距離が変更された場合に狭くなる範囲であり、
前記画像処理部は、前記焦点距離が変更されて前記範囲が狭くなり、前記対象物体の少なくとも１部が前記範囲外に含まれる場合に、前記第２画像を生成する撮像装置。
【請求項９】
請求項７から請求項８までの何れか１項に記載の撮像装置において、
前記画像処理部は、前記範囲外に含まれる前記対象物体の１点と前記範囲内の１点とに合焦している前記第２画像を生成する撮像装置。
【請求項１０】
請求項９に記載の撮像装置において、
前記画像処理部は、前記範囲外に含まれる前記対象物体の１点と前記範囲内に含まれる前記対象物体の１点とに合焦している前記第２画像を生成する撮像装置。
【請求項１１】
請求項７から請求項１０までの何れか１項に記載の撮像装置において、
前記範囲は、前記光学系が有する前記変倍機能によって変更される前記焦点距離に基づく範囲である撮像装置。
【請求項１２】
請求項１１に記載の撮像装置において、
前記範囲は、被写界深度に基づく範囲である撮像装置。
【請求項１３】
請求項７から請求項１２の何れか１項に記載の撮像装置において、
前記画像処理部は、前記第１画像で合焦している範囲より広い範囲で合焦している前記第２画像を生成する撮像装置。
【請求項１４】
変倍機能を有する光学系と、
複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、
前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、
前記画像処理部は、対象物体が被写界深度内に位置している場合は前記被写界深度内の１点に合焦している第１画像を生成し、前記対象物体の１部が前記被写界深度外に位置している場合は前記被写界深度外に位置している前記対象物体の１点と前記被写界深度内に位置している前記対象物体の１点とに合焦している第２画像を生成する撮像装置。
【請求項１５】
変倍機能を有する光学系と、
複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、
前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、
前記画像処理部は、対象物体の全てにピントが合っていると判断した場合は前記対象物体にピントが合っていると判断される第１画像を生成し、前記対象物体の１部にピントが合っていないと判断した場合は前記対象物体の全てにピントが合っていると判断される第２画像を生成する撮像装置。
【請求項１６】
光学系と、
複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、被写体から出て前記光学系及び前記マイクロレンズを通過した光を各画素群で受光し、受光した前記光に基づいた信号を出力する撮像素子と、
前記撮像素子が出力した信号に基づいて画像データを生成する画像処理部と、を備え、
前記画像処理部は、光軸方向における前記被写体の一端又は他端が被写界深度に含まれないと判断されると、前記一端が被写界深度に含まれる第１画像データと前記他端が被写界深度に含まれる第２画像データとに基づいて第３画像データを生成する撮像装置。
【請求項１７】
請求項１６に記載の撮像装置において、
前記第３画像データは、前記一端及び前記他端にピントが合っているように見える画像データである撮像装置。
【請求項１８】
請求項１６または請求項１７に記載の撮像装置において、
前記第３画像データは、前記被写体の光軸方向における大きさによって、ピントが合っているように見える範囲が異なる撮像装置。
【請求項１９】
請求項１６から請求項１８までのいずれか一項に記載の撮像装置において、
前記画像処理部は、前記被写体の光軸方向における大きさに基づいて前記第３画像データを生成する撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
第１の態様によると、撮像装置は、光学系と、複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、前記撮像素子が出力した信号に基づいて、光軸方向における第１範囲に合焦している第１画像データを生成する画像処理部と、を備え、前記画像処理部は、前記第１範囲を含み且つ前記第１範囲より大きい第２範囲に合焦している第２画像データを生成可能である。
第２の態様によると、撮像装置は、変倍機能を有する光学系と、複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、前記画像処理部は、前記光学系が対象物体の１点に合焦しているときの焦点距離によって特定される前記光軸方向における範囲に前記対象物体の全てが含まれる場合は前記範囲内の１点に合焦している第１画像を生成し、前記対象物体の少なくとも１部が前記範囲外に含まれる場合は前記範囲外の１点と前記範囲内の１点とに合焦している第２画像を生成する。
第３の態様によると、撮像装置は、変倍機能を有する光学系と、複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、前記画像処理部は、対象物体が被写界深度内に位置している場合は前記被写界深度内の１点に合焦している第１画像を生成し、前記対象物体の１部が前記被写界深度外に位置している場合は前記被写界深度外に位置している前記対象物体の１点と前記被写界深度内に位置している前記対象物体の１点とに合焦している第２画像を生成する。
第４の態様によると、撮像装置は、変倍機能を有する光学系と、複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記光学系と前記マイクロレンズとを通過した光を各画素群でそれぞれ受光し、受光した前記光に基づいた信号を出力する撮像素子と、前記撮像素子が出力した信号に基づいて、前記光学系の光軸方向において異なる位置にある複数の物体のうち少なくとも１つの物体の１点に合焦している画像を生成する画像処理部と、を備え、前記画像処理部は、対象物体の全てにピントが合っていると判断した場合は前記対象物体にピントが合っていると判断される第１画像を生成し、前記対象物体の１部にピントが合っていないと判断した場合は前記対象物体の全てにピントが合っていると判断される第２画像を生成する。
第５の態様によると、撮像装置は、光学系と、複数のマイクロレンズと、複数の画素を含む画素群を複数有し、被写体から出て前記光学系及び前記マイクロレンズを通過した光を各画素群で受光し、受光した前記光に基づいた信号を出力する撮像素子と、前記撮像素子が出力した信号に基づいて画像データを生成する画像処理部と、を備え、前記画像処理部は、光軸方向における前記被写体の一端又は他端が被写界深度に含まれないと判断されると、前記一端が被写界深度に含まれる第１画像データと前記他端が被写界深度に含まれる第２画像データとに基づいて第３画像データを生成する。
【国際調査報告】
2018061876.tif 000015
2018061876.tif 000016
2018061876.tif 000017
2018061876.tif 000018