(57)【要約】【課題】深度マップ及び全焦点画像の両方を高速・高精度に得ることのできる情報取得装置を提供する。【解決手段】焦点位置を移動可能に構成されており、対象の像を形成する光学系部10と、前記形成された像を光電変換する撮像部21を含み、当該光電変換された信号と所定の荷重関数に基づく参照信号との積を時間積分した信号を画像として出力するセンサ部20と、前記出力された画像に基づいて対象の全焦点画像及び深度マップを生成する画像処理部40と、を備え、光学系部10では、焦点位置を移動させながら対象の像を形成し、センサ部20は、前記所定の荷重関数として定数関数及び第一関数群を用いて前記時間積分した信号としてそれぞれ、通常画像及び第一相関画像群を出力し、画像処理部40では前記通常画像に基づいて全焦点画像を生成すると共に、当該生成された全焦点画像及び前記第一相関画像ペアに基づいて深度マップを生成する。【選択図】図１
2019106587.tif 000002
【特許請求の範囲】
【請求項１】
焦点位置を移動可能に構成されており、対象の像を形成する光学系部と、
前記形成された像を光電変換する撮像部を含み、当該光電変換された信号と所定の荷重関数に基づく参照信号との積を時間積分した信号を画像として出力するセンサ部と、
前記出力された画像に基づいて対象の全焦点画像及び深度マップを生成する画像処理部と、を備え、
前記光学系部では、焦点位置を移動させながら対象の像を形成し、
前記センサ部は、前記所定の荷重関数として定数関数及び第一関数群を用いて前記時間積分した信号としてそれぞれ、通常画像及び第一相関画像群を出力し、
前記画像処理部では前記通常画像に基づいて全焦点画像を生成すると共に、当該生成された全焦点画像及び前記第一相関画像ペアに基づいて深度マップを生成することを特徴とする情報取得装置。
【請求項２】
焦点位置を移動可能に構成されており、対象の像を形成する光学系部と、
前記形成された像を光電変換する撮像部を含み、当該光電変換された信号と所定の荷重関数に基づく参照信号との積を時間積分した信号を画像として出力するセンサ部と、
前記出力された画像に基づいて対象の全焦点画像及び深度マップを生成する画像処理部と、を備え、
前記光学系部では、焦点位置を移動させながら対象の像を形成し、
前記センサ部は、前記所定の荷重関数として定数関数及び第一関数群を用いて前記時間積分した信号として第一画像群を出力し、
前記画像処理部では前記第一画像群を変換することによって通常画像及び第一相関画像群を求めたうえで、前記通常画像に基づいて全焦点画像を生成すると共に、当該生成された全焦点画像及び前記第一相関画像ペアに基づいて深度マップを生成することを特徴とする情報取得装置。
【請求項３】
前記センサ部では、前記第一関数群として互いに位相が異なる関数群を用い、
前記画像処理部では、前記第一相関画像群に反映されている互いに異なる位相に基づいて各画素位置における合焦時刻を推定し、当該推定した合焦時刻に基づいて前記深度マップを生成することを特徴とする請求項１または２に記載の情報取得装置。
【請求項４】
前記センサ部では、前記所定の荷重関数としてさらに、互いに異なる所定期間のみで一定値を有し当該所定期間外では値がゼロとなる第二関数群を用いて、時間積分された信号として第二相関画像群をさらに出力し、
前記画像処理部では、前記第一相関画像群に反映されている互いに異なる位相に基づいて各画素位置における合焦時刻の候補を推定し、さらに、当該推定された候補の中から、前記第二相関画像群にのうち対応画素位置が最も鮮明となる画像に対応する前記所定期間にあるものを、合焦時刻に対応するものとして確定させることを特徴とする請求項３に記載の情報取得装置。
【請求項５】
前記光学系部では、アクチュエータにより略等速で焦点位置を移動させながら対象の像を形成し、
当該アクチュエータの駆動制御信号と同期することによって、前記所定の参照信号が与えられることを特徴とする請求項１ないし４のいずれかに記載の情報取得装置。
【請求項６】
前記画像処理部では、前記光学系部において焦点位置を移動させながら対象の像を形成する場合に対応する、深さ不変の所定の点広がり関数を用いたデコンボリューション演算によって、前記通常画像から全焦点画像を生成することを特徴とする請求項１ないし５のいずれかに記載の情報取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間相関イメージセンサを利用することで深度マップ及び全焦点画像の両方を高速・高精度に得ることのできる情報取得装置に関する。
【背景技術】
【０００２】
種々の産業応用が存在するカメラを用いた三次元形状計測に関して、種々の手法が提案されている。
【０００３】
例えば、2つ以上のカメラ及び／又は画像を用いたステレオ再構成によるものや、3次元ボリューム（視体積）に対して評価関数を計算するものがある。ステレオ再構成は例えば特許文献１に開示の「三次元形状測定方法および装置」があり、視体積に対して評価関数を計算するものは例えば特許文献２に開示の「距離情報出力装置及び３次元形状復元装置」がある。これらは点のマッチングや非線形最適化などを伴い、計算コストが高いという問題がある。また、複数のカメラ及び／又は画像を必要とするという問題もある。
【０００４】
一方、１台のカメラでパッシブに、すなわち、対象に対する特別なパターン光の照射等の追加処理を必要とせずに、対象への距離（深度）を計算することで三次元形状計測を実現する手法として、画像のぼけ量から深度を推定するDFD(Depth From Defocus)が知られている。DFDを用いた深度推定は例えば、特許文献３に開示の「距離情報取得装置、撮像装置、及びプログラム」や非特許文献１に開示のものがある。しかしながら、DFDではボケた画像を用いるので、対象におけるテクスチャ等がボケてしまうという問題がある。
【０００５】
ここで、画像ボケのない全焦点画像を得る手法として、例えば特許文献４に開示の「全焦点画像生成方法」等では、焦点位置の異なる複数の画像に関してウェーブレット変換を施して多重解像度画像を生成することで焦点位置に関する確率分布を生成し、当該確率分布に関する評価関数を最小化するものとして各画素位置の焦点位置を求め、全焦点画像を得ている。しかしながら、当該手法は焦点位置の異なる複数の画像を必要とし、評価関数の最小化等の計算コストが高いという問題がある。また、特許文献４等に対する別アプローチとして、1枚のみのボケを含む画像から深度マップを推定したうえで、深度に対応するPSFを用いたデコンボルーション演算を施して全焦点画像を計算することも可能ではあるが、DFDにおける深度マップは正確ではないため、当該計算される全焦点画像は不安定であるという問題がある。
【０００６】
さらに、関連手法として、非特許文献１や特許文献５に開示される手法では、被写界深度(DoF; Depth of Field; ピントが合っているとみなせる深度範囲)を拡張することを目的とし、カメラのフォーカスリング（撮像面の位置及び／又は方向）を回しながら撮像するという操作によって得られる1枚のボケた画像に対して、所定の撮像条件下においては当該撮像操作に対応したPSF(点広がり関数)がほぼ深さ不変となることを利用し、当該深さ不変のPSFによるデコンボリューション演算を適用することで全焦点画像（すなわち、DoFが拡張された画像）を得ることができる。しかしながら、深さ不変の性質を利用していることから、当該手法においては深度マップを得ることができない。
【０００７】
また、パッシブな深度計測のその他の手法として、開口を特別な形状として構成することによって開口に情報を埋め込む符号化開口（Coded Aperture）があり、例えば非特許文献２に開示されている。しかしながら、当該符号化開口の手法は比較的鮮明な全焦点画像が得られるものの、（深度マップのレイヤ構造が単純であることを前提とした手法であるという制約のために、）もう一方で得られる深度マップが不連続となってしまうことや、中間データとしてのレイヤ化された深度マップに対して場合によっては人手による指定作業が必要になってしまうことといった問題がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平6-74723号公報
【特許文献２】特開2008-015863号公報
【特許文献３】特開2010-117593号公報
【特許文献４】特開2013-84152号公報
【特許文献５】国際公開第2009/120718号
【特許文献６】特開平10-281868号公報
【非特許文献】
【０００９】
【非特許文献１】S. Kuthirummal, H. Nagahara, C. Zhou and S.K. Nayar, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 99, Mar. 2010.
【非特許文献２】Levin, Anat, et al. "Image and depth from a conventional camera with a coded aperture." ACM transactions on graphics (TOG) 26.3 (2007): 70.
【非特許文献３】Kaneda, K., Ishida, S., Ishida, A., & Nakamae, E. (1992). Image processing and synthesis for extended depth of field of optical microscopes. The Visual Computer, 8(5-6), 351-360.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
以上のように、従来技術は次のことを実現しようとしても困難であるという点で課題があった。すなわち、パッシブ計測によって、（１）距離情報が連続的で稠密な深度マップと、（２）全焦点画像と、の両方を同時に高速・高精度に再構成可能とすることは、従来技術では困難であった。ここで、これら両方を高速・高精度に実現することは、例えば3次元モデリングやデジタルヘリテージその他といったように、種々の産業上の応用を可能とするものである。
【００１１】
本発明は、上記従来技術の課題に鑑み、深度マップ及び全焦点画像の両方を高速・高精度に得ることのできる情報取得装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明は情報取得装置であって、焦点位置を移動可能に構成されており、対象の像を形成する光学系部と、前記形成された像を光電変換する撮像部を含み、当該光電変換された信号と所定の荷重関数との積を時間積分した信号を画像として出力するセンサ部と、前記出力された画像に基づいて対象の全焦点画像及び深度マップを生成する画像処理部と、を備え、前記光学系部では、焦点位置を移動させながら対象の像を形成し、前記センサ部は、前記所定の荷重関数として定数関数及び第一関数群を用いて前記時間積分した信号としてそれぞれ、通常画像及び第一相関画像群を出力し、前記画像処理部では前記通常画像に基づいて全焦点画像を生成すると共に、当該生成された全焦点画像及び前記第一相関画像ペアに基づいて深度マップを生成することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、深度マップ及び全焦点画像の両方を高速・高精度に得ることができる。
【図面の簡単な説明】
【００１４】
【図１】一実施形態に係る情報取得装置の機能ブロック図である。
【図２】一実施形態に係る情報取得装置の動作のフローチャートである。
【図３】積算点広がり関数（IPSF）に関連する各式に現れる主要な変数の関係を模式的に示す図である。
【図４】一例としての、個別の撮像素子ごとのセンサ部（時間相関イメージセンサ）の回路図である。
【図５】一例としての、互いに連動して時間変化する位置及び荷重関数を模式的に示すグラフである。
【図６】関数IP1が示す挙動を数値的に確認したグラフである。
【図７】一例としての、個別の撮像素子ごとのセンサ部（時間相関イメージセンサ）の回路図である。
【図８】荷重関数の例としての折れ線関数を示す図である。
【発明を実施するための形態】
【００１５】
図１は一実施形態に係る情報取得装置1の機能ブロック図である。図示する通り、情報取得装置1は、光学系部10、センサ部20、AD変換部30及び画像処理部40を備える。ここで図示する通り、光学系部10、センサ部20及び画像処理部40はさらに以下のような概略的機能を有する機能部を備える。（各機能部の詳細は後述する。）
【００１６】
光学系部10は、1つ以上のレンズ等で構成された光学素子機構11と、アクチュエータ等で構成され光学素子機構11及び／又は撮像面21を駆動することにより撮像面21に形成される対象OBの像IMBの結像位置を調整可能に構成された、すなわち、光学素子機構11の焦点位置を調整可能に構成された駆動部12と、を備える。
【００１７】
センサ部20は、例えば前掲の特許文献６に「時間相関検出型イメージセンサ」等として開示されている既存技術である時間相関イメージセンサとして構成することができ、当該時間相関イメージセンサを実現するための構成として、複数の撮像素子が平面上に配列されて構成されており、各素子において対象OBの像IMBを光電変換して得られる光電変換信号を積分回路23へ出力する撮像面21と、積分回路23へ各参照信号を出力する参照信号生成部22と、光電変換信号と参照信号との積を積分した信号として各画像（アナログ信号形式）を得る積分回路23と、を備える。なお、当該積分することが光電変換信号と参照信号との間の時間相関を求めることに相当する。詳細は後述するが、積分回路23では各参照信号と積分することにより通常画像g0と、実部画像Re(g1)及び虚部画像Im(g1)のペアとして構成される第一相関画像ペアg1の元となる画像ペア（後述）と、第二相関画像群s1,s2,s3と、を得てAD変換部30へと出力する。
【００１８】
AD変換部30は積分回路23から上記得られた各画像（アナログ信号形式）をAD変換した各デジタル画像を画像処理部40へと出力する。ここで、図示されるようにデジタル化された通常画像g0及び第一相関画像ペアg1の元となる画像ペアが変換部45へと出力され、デジタル化された第二相関画像群s1,s2,s3が位相確定部43へと出力される。
【００１９】
画像処理部40は、全焦点画像生成部41、位相推定部42、位相確定部43、深度マップ推定部44及び変換部45を備える。なお、画像処理部40はハードウェア構成としてはCPU等によって実現することができ、その各機能部ではデジタル画像（及び関連するデジタルデータ）を対象として処理を行なうので、その説明の際に画像等がデジタルである旨の言及は省略する。
【００２０】
変換部45は、AD変換部30から得た通常画像g0及び第一相関画像ペアg1の元となる画像ペアを用いて、第一相関画像ペアg1の元となる画像ペアの各々から通常画像g0を減算することによって第一相関画像ペアg1を得る。変換部45は当該得た第一相関画像ペアg1を位相推定部43へと出力すると共に、通常画像g0をそのまま全焦点画像生成部41へと出力する。
【００２１】
全焦点画像生成部41は（AD変換部30から得たものと同じである）変換部45から得た通常画像g0にウィナーデコンボルーションを施す等により全焦点画像rを得て、当該全焦点画像rを画像処理部40からの第一出力となすと共に、位相推定部42へも出力する。位相推定部42は変換部45から得た第一相関画像ペアg1及び全焦点画像生成部41から得た全焦点画像rを用いて第一相関画像ペアg1の各画素位置における位相（その詳細は後述する）の候補を推定し、当該推定した位相候補を位相確定部43へと出力する。位相確定部43はAD変換部30から得た第二相関画像群s1,s2,s3を用いて位相推定部42から得た各画素位置における位相候補（各画素位置に対して複数の位相候補がある）の中から位相を１つに確定し、当該確定させた1つの位相を深度マップ生成部44へと出力する。深度マップ生成部44は位相確定部43から得た各画素位置で確定した位相を用いて深度マップ（全焦点画像生成部41で得た全焦点画像rに対応する深度マップ）を算出し、当該深度マップを画像処理部40からの第二出力となす。
【００２２】
なお、以上の図１の構成において、AD変換部30はセンサ部20に含まれる構成であってもよい。
【００２３】
図２は、一実施形態に係る情報取得装置1の動作のフローチャートである。ステップS1では、光学系部10において駆動部12による駆動で焦点位置を変えながら対象OBの撮像を行い（すなわち、対象OBの像IMBのボケ状態を変化させながら撮像を行い）、これと同時にセンサ部20において参照信号生成部22から所定の参照信号群を出力しながら各画像g0,g1（元となるもの）,s1,s2,s3を取得してから、ステップS2へと進む。
【００２４】
ステップS2では、ステップS1で取得した各画像g0,g1（元となるもの）,s1,s2,s3をAD変換部30でデジタル画像に変換したうえで画像処理部40の各部で処理することにより、ステップS1の撮像に対応する全焦点画像及び深度マップを出力して、当該図２のフローは終了する。
【００２５】
なお、以上の図２のフローは所定のフレームレートで定まる各時刻に関して実行することができ、当該フレームレートにおいてリアルタイムに全焦点画像及び深度マップを出力するようにすることもできる。
【００２６】
以下、図２のように動作する図１の情報取得装置1の各部の処理内容の詳細を説明するが、そのためにまず、本発明の原理を説明する。本発明は、前掲の非特許文献１や特許文献５に開示の既存手法である、焦点位置を変えながら対象を撮像する際の深さ不変PSFを利用する手法を、いわば拡張したものに相当する。（なお、本発明において、焦点位置を変えながらの撮像は図２のステップS1において実行される。）すなわち、当該深さ不変PSFを利用する既存手法においては取得不可能となってしまう深度情報を、参照信号との時間相関を取得する時間相関イメージセンサの利用によって取得可能とするのが本発明である。
【００２７】
具体的には、深さ不変PSFとして既存手法において利用されている積算された(Integrated)PSFをIPSF（積算PSF）と呼び式IP0で表すこととすると、本発明の原理は当該IP0をさらに拡張して参照信号との時間相関演算の効果も考慮したIPSFとしてのIP1を新たに導入し、利用することによるものである。以下、既存手法で利用していたIP0を簡潔に説明した後、本発明で利用するIP1をさらに説明する。
【００２８】
（既存手法におけるIP0の説明）
fを焦点距離、dを対象までの距離（すなわち深度）、vをピントが合っているときのレンズと撮像素子（撮像面）との距離とすると、以下の通りのレンズの式が成立する。
1/f=1/d+1/v
ここで、レンズを撮像素子方向に等速sで動かすことで時刻tの位置p（ピントが合っている場合がp=vに該当する位置p）が以下のように与えられるものとする。ここでp0は時刻t=0での位置である。
p=p0+st
すると、時刻tのボケの大きさσ(t)は、対象までの距離が移動量に比べて十分に大きければ以下のようになる。ここでDは開口の大きさである。
σ(t)=(D/v)|v-p(t)|
式の簡略化のため、a=D(v-p0)/v, b=Ds(d-f)/fdと置くことで以下のようになる。（ここで特に、当該a,bは深度dに依存するものである。）
σ(t)=|a-bt|
【００２９】
図３に、以上のそれぞれの式に現れる主要な変数の関係の模式例を示す。図３においてグレー表記されているのが、ピントが合っている際のレンズ、開口及び光線である。
【００３０】
深さdにおけるPSFは、上記のボケ量σ=σ(d,t)を用いてガウシアンにより以下の式(1)のようにモデル化することができ、既存手法においては以下の式(2)のようにこれを1フレーム分に相当する露光時間t（0≦t≦T）に渡って時間積分したIPSFとしてIP0を定義し、これが深さdに依存しないものであることを見出している。そして、既存手法における等速移動撮像で得られる通常画像g0は以下の式(3)のように、全焦点画像rとIP0との畳み込みで与えられることから、この逆の演算によって全焦点画像rを求めることが可能である。（なお、後述するように本発明における通常画像g0及び全焦点画像rもこれと同様のものであり同様の関係が成立するので、同じ変数名としてg0及びrを用いている。）以下の式(1)〜(3)及び以降の各式において例えばr(x)におけるx等は、2次元ベクトルx=(X,Y)∈R2として画素位置を表すものとする。
【００３１】
【数１】
2019106587.tif 000003
【００３２】
（本発明で利用するIP1の説明）
本発明では、上記の既存手法ではその情報が失われて取得不能であった対象までの深度dを求める。ここで、ちょうどピントが合う時刻（合焦時刻）をσ(d,t)=0となるような時刻t=τとして定義する。この定義により、深度dは以下の式(4)のように表すことができる。
d={(p0+sτ)f}/{f-(p0+sτ)}      (4)
【００３３】
概略説明としては既に言及してあるが、本発明では、具体的には以下の式(5)のように時間相関イメージセンサ（すなわち、センサ部20）により複素正弦波ejωtで変調して得られる複素変調画像としての相関画像g1（第一相関画像ペアg1）を利用する。ここで、式(5)においてはその次の式(6)で定義される関数IP1（既存手法の式(2)のIP0を拡張したものに相当するIP1）を利用することで、相関画像g1を全焦点画像rと当該定義したIP1との畳み込みで表現している。
【００３４】
【数２】
2019106587.tif 000004
【００３５】
そして、本発明では特に、P1(x)を深度dに依存しない2次元x∈R2のあるPSFとして、以下の式(6-1)が成立することを利用する。
IP1∝ejωτP1(x)      (6-1)
すなわち、形式的な定義としては式(6)で与えられることにより既存手法のIP0を拡張する形で導入した本発明におけるIP1(x,d)は、式(6-1)の右辺に比例する（∝）ものであり、従って、深度dには依存しないものである。すなわち、「IP1(x,d)=IP1(x)」である。従って、本発明の深度マップ取得の原理は次のようなものである。すなわち、式(6-1)の関数形を有する関数IP1における深度不変性によって、式(5)の畳み込みで与えられる相関画像g1の位相（積分では定数となる、ejωτの項で与えられる位相）が合焦時刻τと対応関係を有するものとなるので、相関画像g1から各画素位置xでの合焦時刻τを得ることが可能となり、式(4)の関係からさらに各画素位置xの深度dを得ることが可能となる。
【００３６】
なお、IP1が深度dに依存しないことの説明については補足説明において後述することとし、以下では当該依存しないことを前提として、図１の情報取得装置1の各部の詳細説明を行うこととする。当該詳細説明は以下の３つのトピックごとに順に行うこととする。
＜センサ部20に関して＞
＜光学系部10の焦点位置を動かながらの撮像とセンサ部20での参照信号との関係に関して＞
＜画像処理部40において全焦点画像r及び深度マップを得る処理に関して＞
【００３７】
＜センサ部20に関して＞
図４は、撮像部21を構成する個別の撮像素子（画像の各ピクセルに対応する撮像素子）の一例としての、フォトダイオードPDごとのセンサ部20の回路図を示すものである。図示する通り各フォトダイオードPDには、それぞれの参照信号との間で時間相関積分を得るための6つの共通の素子群Ei(i=1,2, …, 6)が並列接続されている。各素子群Ei(i=1,2, …, 6)は、図示する通り次のように構成されている。すなわち、フォトダイオードPDの電流信号I（すなわち光量に比例する光電変換信号）及びゲート印可される参照信号Viに比例した電流を得るためのトランジスタQi(i=1,2, …, 6)と、当該比例電流を蓄積するためのキャパシタCi(i=1,2, …, 6)と、が直列接続されて備わると共に、当該トランジスタQi及びキャパシタCiの間に分岐して接続され、ゲート印可される読み出し信号yseli(1,2, …, 6)に応答して画像のフレームレートに同期してキャパシタCiに蓄積された当該比例電流の積分値（蓄積電荷）を出力outi(i=1,2, …, 6)として読み出すトランジスタのスイッチSWi(i=1,2, …, 6)をさらに備えて、各素子群Eiは構成されている。なお、時間相関イメージセンサとしてのセンサ部20における参照信号Viは撮像部21を構成する全ての撮像素子（画像の全ピクセル）において共通のものが印可される。
【００３８】
当該図４のように構成されることにより、各素子群Eiにおいては出力outiを以下の式(7)のような荷重関数fi(i=1,2, …, 6)による変調を適用した参照信号Vi(i=1,2, …, 6)（すなわち印可電圧Vi）とフォトダイオードPDの電流Iとの積の時間積分、すなわち、時間相関値に比例するものとして得ることができる。kは比例係数であり、各素子群Eiにおいて共通である。（すなわち、各素子群Eiを構成する各素子特性（トランジスタQiやキャパシタCiの各特性等）は互いに共通である。）
【００３９】
【数３】
2019106587.tif 000005
【００４０】
上記の式(7)で、前述の式(1)〜(6)等の説明と同様に、画像の1フレーム分に相当する露光時間としてt（0≦t≦T）を用いている。
【００４１】
以上のような図４の回路構成と機能ブロック図としての図１のセンサ部20との対応関係は次の通りである。前述の通り、図１の撮像部21の各画素が図４のフォトダイオードPDに対応する。当該画素ごとの対応のもとでさらに、図１の参照信号生成部22に対応する構成は図４の回路には含まれないが、参照信号生成部22で生成した参照信号は各印可電圧Viとして各トランジスタQiのゲートに入力される。そして、当該画素ごとの対応のもとでさらに、図１の積分回路23に対応する構成が図４の各素子群Eiであり、各積分値outiとして各画像を出力する。
【００４２】
なお前述の通り、センサ部20自体は前掲の非特許文献６等で開示される既存技術である時間相関イメージセンサとして構成されており、本発明の一実施形態においては図４を参照して上記において示したように、これを６個の荷重関数fiで変調された参照信号Viを入力することによって利用している。
【００４３】
＜光学系部10の焦点位置を動かながらの撮像とセンサ部20での荷重関数との関係＞
当該関係はすなわち、図２のステップS1の詳細に相当するものである。一実施形態では以下の各式(8-0)ないし(8-6)のように1フレーム分の露光時間t（0≦t≦T）において当該関係を設定することができる。
【００４４】
【数４】
2019106587.tif 000006
【００４５】
図５は、以上の式(8-0)ないし(8-6)の互いに連動して時間変化する位置p及び各荷重関数fiをそれぞれ[8-0]ないし[8-6]として模式的なグラフとして示したものである。式(8-0)は1フレーム分の露光時間t（0≦t≦T）において、前述のIP0及びIP1の説明の際と全く同様に、光学系部10においてレンズと撮像素子との間の距離pを等速sで動かすようにする旨を表しており、式(8-1)〜(8-6)は当該動きと連動させる形で同露光時間t（0≦t≦T）内において参照信号生成部22から入力する参照信号V1〜V6を変調する荷重関数f1〜f6の一例を与えている。
【００４６】
ここで特に、式(8-1)で与えられる荷重関数f1を用いて前述の式(7)の時間相関積分を積分回路23において出力することで、通常画像g0を得ることができる。なお、式(7)において荷重関数f1=1（すなわち定数）とした場合、フォトダイオードPDの電流をフレーム時間に渡ってそのまま蓄積することによる通常の意味での画像に該当することとなるため、「通常画像g0」と称している。
【００４７】
また同様に、式(8-2)及び(8-3)で与えられる荷重関数f2及びf3を用いて前述の式(7)の時間相関積分を積分回路23において出力することで、第一相関画像ペアg1における実部画像Re(g1)及び虚部画像Im(g1)をそれぞれ得ることができる。すなわち、式(8-2)及び(8-3)のコサイン関数及びサイン関数は、オイラーの公式（ejωτ=cosωτ+jsinωτ）によって前述の式(5)及び(6)での位相項ejωτに対応するものである。なお、式(8-2)及び(8-3)の周波数ω（複素正弦波の角周波数ω）はω=2π/Tとなるように、すなわち対応する周期が露光時間Tとなるように定める。式(8-2)及び(8-3)において一例として周波数ωのコサイン関数及びサイン関数によって与えていることからも明らかなように、一実施形態では荷重関数f2及びf3は露光時間Tにおける第一の直交関数群として与えるようにすることができる。
【００４８】
また同様に、式(8-4)、(8-5)及び(8-6)で与えられる荷重関数f4、f5及びf6を用いて前述の式(7)の時間相関積分を積分回路23において出力することで、第二相関画像群の各画像s1、s2及びs3をそれぞれ得ることができる。式(8-4)、(8-5)及び(8-6)の具体的な関数形よりも明らかなように、一実施形態では参照信号f4、f5及びf6は露光時間Tにおける第二の直交関数群として与えるようにすることができる。
【００４９】
なお、荷重関数fiと参照信号Viとの関係は次のように与えることで、荷重関数fiによって変調した参照信号Viを与えるようにすることができる。ここで、Va,Vb,vは定電圧（時間によらず一定となる電圧）であり、Va>v（絶対値）である。
V1=Va+v・f1
V2=Va+v・f2
V3=Va+v・f3
V4=Vb・f4
V5=Vb・f5
V6=Vb・f6
【００５０】
＜変換部45での減算処理に関して＞
上記の参照信号V1,V2,V3の関係及び式(8-1),(8-2),(8-3)の荷重関数f1,f2,f3の具体的な関数形より明らかなように、変換部45では、参照信号V2及びV3として得られる第一相関画像ペアg1の元となる画像ペアの各々から参照信号V1として得られる通常画像g0を減算することで、以下のような第一相関画像ペアg1を得ることができる。当該減算はデジタル値で与えられている画素ごとに行えばよい。なお、前掲の式(7)に倣って各画素における時間相関積分（アナログ値）の形で第一相関画像ペアg1を記載すると以下の通りであり、変換部45ではデジタル値として当該第一相関画像ペアg1を得ることとなる。
【００５１】
【数５】
2019106587.tif 000007
【００５２】
＜画像処理部40において全焦点画像r及び深度マップを得る処理に関して＞
以下、画像処理部40の各部41,42,43の処理内容の詳細を順に説明する。
【００５３】
全焦点画像生成部41は、通常画像g0が全焦点画像rと前述の式(2)の深さ不変積算PSFとしてのIP0とのコンボルーション（畳み込み）で得られる画像にノイズが乗ったものであるという関係（以下の式(9)の関係）に基づき、この逆操作としてのデコンボリューションにより全焦点画像rを算出する。具体的には例えば、既存手法であるウィナーフィルターによるウィナーデコンボリューションで全焦点画像rを生成すればよく、以下の式(10)で与えられる原画像としての全焦点画像rのフーリエ変換R(u,v)を逆フーリエ変換して全焦点画像rを生成すればよい。
g0(x)=IP0(x)*r(x)+n(x)      (9)
R(u,v)=H*S/{|F [IP0]|2S+N}      (10)
【００５４】
上記の式(9),(10)にてxは前述の通り2次元画素位置であり、n(x)はノイズであり、*は畳み込み演算である。また、F[・]は信号等・のフーリエ変換であり、例えばF [IP0]はIP0のフーリエ変換である。また、H=F [IP0], R=F[r],N=F[n]であり、それぞれフーリエ変換として求めればよい。
【００５５】
なお、前掲の非特許文献１や特許文献５に開示されるものとして既に説明した通り、前述の式(2)で与えられる関数IP0は、ほぼ深さ不変であり、且つ、画像内の位置xによってもその関数形がほぼ変わらない（位置xを中心にほぼ等しい高さ且つほぼ等しい広がりとなる2次元ガウシアンに類した形状を有する）という性質を有するものであることが、PSFのモデル式（簡易モデルとしてのピルボックス関数及び式(1)のガウシアン関数の両者でそれぞれモデル化したもの）を積分したもの（すなわち式(2)）に対して具体的な数値を与えることで経験的に知られている。すなわち、関数IP0(x)のxは図３のように光軸中心（画像中心であり、x=0（原点）とする）に像の中心ができる場合のものとして説明したが、像の中心が画像中心x=0からずれてx0となる場合も関数形は（ほぼ）同じであり、単に平行移動した関数形IP0(x-x0)（にほぼ近いもの）となることが経験的に知られている。そこで、本発明においても同様に、光学系部10における関数IP0の具体的な関数形（深さd及び位置xに依存せず一定となる関数形）を予め、当該光学系部10の所定のカメラパラメータや式(8-0)で設定される所定の移動範囲等のもとで数値データ等によるモデルとして求めておき、以上の式(9),(10)に基づくデコンボリューション演算を行うことによって全焦点画像rを得ることができる。
【００５６】
位相推定部42では、前述の関数IP1による畳み込み演算の式(5)及び当該関数IP1の具体的な関数形を与える式(6-1)から第一相関画像ペアg1（実部画像Re(g1)及び虚部画像Im(g1)）に関して成立する以下の式(11)及び(12)に基づいて、第一相関画像ペアg1の各画素位置xに関して、その位相τ（正確には位相ωτだが比例関係であるため、以下適宜位相τとする）の候補を推定する。
Re(g1)=cos(ωτ)P1*r      (11)
Im(g1)=sin(ωτ)P1*r      (12)
【００５７】
上記の式(11)及び(12)はすなわち、実部画像Re(g1)及び虚部画像Im(g1)は、関数P1と全焦点画像rとの畳み込みで得られる共通の画像P1*rに、それぞれcos(ωτ)及びsin(ωτ)を乗じて得られる画像となることを表している。ここで、乗ずる値としてのcos(ωτ)及びsin(ωτ)は合焦時刻τを通じて画素位置依存となっている。（なお、式(6-1)での比例係数を1としているが、以下の計算による位相候補推定結果は式(11)及び(12)の比率によって決まるものであるため、当該比例係数の具体的な値によらず成立するものである。）
【００５８】
当該式(11)及び(12)に基づいて具体的に、位相τの候補は次のように推定すればよい。すなわち、数学関係式「cos2θ＋sin2θ=1」を適用することを考えて、当該式(11)及び(12)のそれぞれを2乗したものの和で与えられる画像（すなわち、式(11)及び(12)の各画素位置xにおいてその画素値を2乗したうえで、当該両者を加算した画像）を以下の式(13)のように求めることができる。
|g1|2=|Re(g1)2+j・Im(g1)2|
=|Re(g1)|2+|Im(g1)|2
=|cos(ωτ)P1*r|2+|sin(ωτ)P1*r|2
={cos2(ωτ)+sin2(ωτ)}・|P1*r|2
=|P1*r|2                      (13)
【００５９】
さらに、当該式(13)の平方を取ることで、絶対値画像|g1|を以下の式(14)のように求めることができる。式(13),(14)より明らかなように、絶対値画像|g1|とは、各画素位置xの画素値が、式(11)及び(12)の実部画像Re(g1)及び虚部画像Im(g1)の位置xの各画素値を2乗和して平方した値で与えられる画像となる。
|g1|=|P1*r|      (14)
【００６０】
従って、以上の式(11),(12),(14)を全て満たすようなものとして、各画素位置xにおける位相τの複数の候補τ[候補](x)を求めることができる。式で表現すれば、以下の式(15)又は(16)で与えられるような集合が当該求められる候補である。ここで、{A；Aが満たす条件}という表記で、要素Aからなる集合を表記している。
{τ[候補](x)；「|cos(ωτ[候補](x))|=Re(g1(x))/|g1(x)|」
且つ「|sin(ωτ[候補](x))|=Im(g1(x))/| g1(x)|」}        (15)
{τ[候補](x)；|tan(ωτ[候補](x))|=|Im(g1(x))/Re(g1(x))|}        (16)
なお、式(16)は逆正接arctan2を用いて以下の式(17)のように書くこともできる。
ωτ[候補](x)=ωτ1(x), π-ωτ1(x), π+ωτ1(x), 2π-ωτ1(x)      (17)
ここで、ωτ1(x)=arctan2(Re(g1(x))/|g1(x)|, Im(g1(x))/| g1(x)|)であり、角度（位相）ωτ1(x)は第一象限にある、すなわち、0≦ωτ1(x)≦π/2である。
【００６１】
なお、当該集合の要素（すなわち候補の数）は式(16)のタンジェント関数（絶対値）の周知のグラフ形からも明らかなように、一般に0≦ωτ<2πの範囲において2通りの候補としてのτが存在しうることとなる。また、式(16)から候補を求める場合は式(14)の絶対値画像の計算は省略してよい。2通りの候補としてのτが存在しえることは以下の通りである。
【００６２】
すなわち、(17)で表される解をそれぞれ(11),(12)に代入すると以下[1]〜[4]のようになる。
[1]cos(ωt)P1r=Re(g1)
sin(ωt)P1r=Im(g1)
[2]cos(π-ωt)P1r= -cos(ωt)P1r =Re(g1)
sin(π-ωt)P1r= sin(ωt)P1r =Im(g1)
[3]cos(π+ωt)P1r= -cos(ωt)P1r =Re(g1)
sin(π+ωt)P1r= -sin(ωt)P1r =Im(g1)
[4]cos(2π-ωt)P1r= cos(ωt)P1r =Re(g1)
sin(2π-ωt)P1r= -sin(ωt)P1r =Im(g1)
従って、g1≠0の仮定の下では[1]と[3]（Re(g1)とIm(g1)が同符号のとき）もしくは[2]と[4](Re(g1)とIm(g1)が反対符号のとき)の組しか同時には存在できない。換言すれば、Re(g1)とIm(g1)の符号から即座に候補は2つに絞られることとなる。（これは、(11)→(17)は成立するが、(17)→(11)は成立するとは限らないことに起因する。）
【００６３】
位相確定部43は、上記の位相推定部42が各画素位置xにおいて求めた4通り又は2通りの候補τ[候補](x)の中から、１つのものを当該画素位置xにおける合焦時刻に対応するものとして確定する。概略説明でも説明したように、当該確定するに際して、第二相関画像群s1,s2,s3を参照する。
【００６４】
ここで、第二相関画像群s1,s2,s3に関して、これをそれぞれ得るための荷重関数f4,f5,f6は前述の式(8-4)ないし(8-6)及びそのグラフ模式例を図５の[8-4]ないし[8-6]に示したように、具体的には当該1フレーム分の時間全体t（0≦t≦T）のうち、露光（通常画像と同様の一定の露光）を前半の1/3、中盤の1/3及び後半の1/3のみの期間にそれぞれ限定するという機能を有する荷重関数である。
【００６５】
従って、位相確定部43では具体的には、荷重関数f4,f5,f6によって当該露光期間が全体の1/3となるいずれかの期間に限定して撮像された画像（すなわち、露光期間が限定された通常画像）にそれぞれ相当する第二相関画像群s1,s2,s3の各画像を比較することで、各画素位置xにおいて最も鮮明（ぼけが少ない）と判定される画像を特定したうえで、当該画像に対応する荷重関数f4,f5,f6（のうち、特定された１つ）が露光期間として与えている期間内に存在するような１つの候補τ[候補](x)を、合焦位置に該当するものとして確定することができる。
【００６６】
ここで、各画素位置xに関して第二相関画像群s1,s2,s3の各画像のうちいずれが最も鮮明であるかを判定するには、任意の既存手法を利用してよい。例えば、画素位置xを含むその近傍所定領域をフーリエ変換等で周波数解析して、高周波成分が最も多いと判定される画像が最も鮮明であるものと判定してもよい。
【００６７】
また例えば、前掲の金田らによる非特許文献３における手法に類した以下の手順1〜4で最も鮮明な画像を決定してもよい。
(手順1) 第二相関画像群s1,s2,s3の各画像に平滑化フィルタをかけて画像s1[平滑化],s2[平滑化],s3[平滑化]をそれぞれ得る。
(手順2) 当該平滑化による元画像からの差分に相当する各画像hi(i=1,2,3)を以下のように求める。
hi=|si- si[平滑化]|
(手順3) 上記得た差分に相当する画像hiをさらに平滑化して画像hi[平滑化]を得る。
(手順4) 各画素位置xにおいて、複数の画像hi[平滑化](i=1,2,3)の対応画素値hi[平滑化](x)を比較し、当該画素値が最大となっているものを、最も鮮明な画像si[max]から得られたものと判定する。式で書けば以下の通りである。
i[max](x)=argmax{hi[平滑化](x)}
【００６８】
深度マップ生成部44では、位相確定部43が以上のようにして確定させた各画素位置xの位相ωτ(x)に比例する合焦時刻τ(x)を用いて、深度マップを生成する。具体的には前述の式(4)により各画素位置xの深度dを計算することにより、深度マップを生成することができる。
【００６９】
以上、本発明によれば、時間相関イメージセンサを利用したパッシブ計測により全焦点画像と深度マップとの両方を高速且つ高精度に得ることができる。以下、本発明の説明上の補足を何点か述べる。
【００７０】
＜位相確定部43の第一の別実施形態に関して＞
上記では露光期間を3等分することに相当する３つの荷重関数f4,f5,f6のもとで１つの候補τ[候補](x)を確定するものとしたが、これを全く同様に拡張した別実施形態として、４つ以上のN個の荷重関数F1,F2, …,FNとして露光期間をN等分することに相当するものを用いて、１つの候補τ[候補](x)を確定するようにしてもよい。すなわち、各荷重関数Fi(i=1,2,…,N)は、式で書けば以下の通りである。ここで、前述の式(8-1)ないし(8-6)の荷重関数と同様に、1フレーム分の時間全体をt（0≦t≦T）としている。
Fi(t)=1    ((i-1)・T/N<t<i・T/N)
Fi(t)=0    (else)
【００７１】
この場合、撮像部21の各撮像素子（フォトダイオードPD）の構成として図４に示した構成は、素子群E1〜E6に対してさらに同様に並列接続される、追加のN-3個の同様の素子群E7,E8, …EN+3（不図示）を設けた構成とし、N個の素子群E4,E5, …EN+3において露光期間をN等分することに相当する上記の荷重関数Fiをそれぞれ参照信号として入力させるようにすればよい。また、最も鮮明な画像の判定に関しても同様に、N枚の画像で構成された第二相関画像群を対象として実施するようにすればよい。以上ではN≧4としたが、全く同様にN=2の実施形態も可能である。
【００７２】
＜位相確定部43の第二の別実施形態に関して＞
位相確定部43では、別の実施形態として、第二相関画像群s1,s2,s3を参照せずに位相候補の中から合焦位置に対応するものを確定するようにしてもよい。すなわち、事前にマニュアル等で与えられる情報として、画像内の各位置xにおける深度が所定範囲にあることが既知であれば、当該既知の情報により合焦位置に対応するものを確定してもよい。例えば、画像全体に撮像されている深度マップの取得対象物は平均してカメラから1m離れており、その凹凸の範囲が±10cmであるということが事前に既知であれば、所定範囲として90cmから110cmまでの範囲内にあるものを合焦位置に対応するものとして確定してよい。
【００７３】
＜光学系部10の焦点位置の移動と参照信号生成部22での参照信号との同期に関して＞
光学系部10は、任意の既存のアクチュエータ機構等で構成される駆動部12によって焦点位置を概ね等速（所定精度の制御処理のもとで判定される等速）で移動させながら対象の像を形成させるようにすることができる。当該アクチュエータの駆動信号（例えばパルス幅変調による駆動信号）と、任意の既存のファンクションジェネレータ等によって構成される参照信号生成部22による参照信号と、は、図１中に線L1で示すように、互いに同期させるように制御することで、図５に例示したような同期動作が可能となる。当該ハードウェアとしての制御部は図１では不図示であるが、CPUや専用回路といった任意の既存技術によって当該制御部を実現することができる。
【００７４】
＜光学系部10による焦点位置の移動の設定に関して＞
撮像される対象OBに関して想定される深度範囲において1回だけ焦点が合う状態となるように、光学系部10の所定のカメラパラメータ等に応じて式(8-0)による所定の移動範囲を設定すればよい。当該移動範囲を設定するための所定パラメータとしては、露光時間t(0<t<T)のもとでの初期位置p0及び速度sを設定しておけばよい。
【００７５】
＜関数IP1が式(6-1)の関数形で与えられ深さ不変の性質を有することの説明＞
形式的な定義は式(6)で与えられる関数IP1の関数形を与える式(6-1)を以下に再掲する。
IP1∝ejωτP1(x)      (6-1)
【００７６】
ここで、上記式(6-1)のような関数形となることは、形式的な定義の式(6)の関数IP1を対象として具体的な解析を行うことで、本発明において特に見出された性質である。当該解析自体は、既存手法（非特許文献１や特許文献５）の式(2)の関数IP0が深さ不変の性質を有することがモデル式に具体的な数値を与えて経験的に見出されたのと同様のアプローチによるものであり、具体的には以下に簡潔に説明する通りである。
【００７７】
まず、簡単なモデルとしてピルボックス関数Πで以下のように点拡がり関数が与えられる場合を考える。すなわち、DoF（ピントが合っているとみなせる被写界深度）の範囲内ではデルタ関数的な半径ε<<1のピルボックス関数であり、それ以外では半径cのピルボックス関数であるものとしてモデル化する。τは前述の通り合焦時刻である。
P(x,d,t)=Π(x,ε)  (if |t-τ|<ε)
P(x,d,t)=Π(x,c)  (else)
ここでピルボックス関数Πは以下の通りである。
Π(x,c)=1/(2πc2)  (if |x|<c)
Π(x,c)=0        (else)
【００７８】
以上のモデル式を定義の式(6)に代入して計算することで、その途中の計算過程は省略するが、以下のような解析解としての関数形IP1を得ることができる。当該解析解は式(6-1)の関数形に合致するものとなっていること、すなわち、位相項ejωτに比例し、且つ、残りの項が深さ不変のものとなっていることが確認できる。
【００７９】
【数６】
2019106587.tif 000008
【００８０】
以上では、簡単なモデルとしてピルボックス関数Πで点拡がり関数をモデル化した場合に式(6-1)のような関数形となることを示したが、より正確なモデルとしてガウシアンでモデル化した場合も同様の関数形となることを数値的に確認することができる。ガウシアンでモデル化する場合、関数IP1はピルボックス関数の場合のような解析解には書けず、定義式(6)によって以下のような積分を含むものとして書くことができる。
【００８１】
【数７】
2019106587.tif 000009
【００８２】
図６は、上記積分を含んで書かれるIP1が式(6-1)のような関数形の挙動を示すことを数値的に確認したグラフを[1]〜[4]と分けて示す図である。[1]及び[2]は関数IP1の実部及び虚部をプロットしたグラフであり、位置x依存は2次元的な依存であるが、ここでは1次元変化のみを切り取って示している。また、θ=2πt/Tで位相依存を示している。当該位相依存の形が概ねcosθ及びsinθとなっており、当該位相依存の効果を除外して考えると位置x依存の関数形は一定であることが[1]及び[2]から読み取れる。
【００８３】
さらに、図６の[3]及び[4]は上記積分を含んで書かれるIP1が式(6-1)のように深さ不変であることを数値的に確認したものとして、位相項ejωtで除算した関数IP1/ejωtの実部及び虚部をそれぞれ、様々な深さdに関してプロットしたグラフ群を示している。ここで、[3]及び[4]の両者において、様々な深さdに関してプロットしたグラフ形状がほぼ重なるものであること、すなわちグラフ形状がほぼ同じとなっていることを読み取ることができ、従って、関数IP1の深さ不変の性質を数値的に確認することができる。
【００８４】
なお、関数IP1に関しては、以上のような定性的な性質を位相推定部42での計算の原理として利用しているが、位相推定部42での計算の詳細において、実質的に必要な入力データはセンサ部20から得られている第一相関画像ペアg1のみであることからも明らかなように、全焦点画像生成部41において全焦点画像rを生成した際に用いた関数IP0とは異なり、関数IP1の具体的な関数形を与えておく必要はない。
【００８５】
＜参照信号等の利用に関する別の実施形態（第二実施形態）に関して＞
第二実施形態では、各画素に関する積分回路23等の回路構成を、図４に示すような6つの共通の素子群Ei(i=1,2, …, 6)を並列接続とすることにより、単一画素において通常画像g0及び第一相関画像ペアg1の元画像ペア並びに第二相関画像群s1,s2,s3を同時に求めるようにすることに代えて、次のようにしてもよい。
【００８６】
すなわち、各画素に関する積分回路23等の回路構成は、図４の構成に代えて図７に示すように、6つではなく3つの共通の素子群Ei(i=1,2,3)を並列接続とした構成とする。ここで、図７の構成において各素子Eiは図４で説明したのと同一であり、各素子Eiを並列に並べる個数のみが図４及び図７で異なっているので、図７に関して重複する説明は省略する。そして、図７の構成を用いる場合、図４の構成とは異なり、単一画素において通常画像g0及び第一相関画像ペアg1の元画像ペア並びに第二相関画像群s1,s2,s3を同時に求めることは不可能となるので、当該同時に求めることに代えて次のようにすればよい。すなわち、単板のカラーカメラにおいて採用されている周知のベイヤー配列などの場合と同様に、所定の隣接画素を画像の同一画素における別信号（G信号に対するR信号又はB信号などの別信号）を取得するためのものとして採用する手法を利用する。
【００８７】
具体的には、撮像面21上の隣接画素のうちの一方において、図７の3並列の回路構成により通常画像g0及び第一相関画像ペアg1の元画像ペアを求めるようにすると共に、隣接画素のうちのもう一方において同じく図７の3並列の回路構成により第二相関画像群s1,s2,s3を求めるようにすればよい。この場合、各画像に関しては図４について説明したのと同様の参照信号を図７の回路構成においても全く同様に利用することで、参照信号に対応する積分出力として同様に取得することができる。
【００８８】
すなわち、通常画像g0並びに第一相関画像ペアg1の元画像ペアを求める際は図７の3並列の回路構成において端子V1,V2,V3にそれぞれ前掲の式(8-1),(8-2),(8-3)で与えられる荷重関数f1,f2,f3で変調した参照信号V1,V2,V3を入力することで、出力out1,out2,out3においてそれぞれ通常画像g0及び第一相関画像ペアg1の元画像ペアを取得することができる。また同様に、第二相関画像群s1,s2,s3を求める際は図７の3並列の回路構成において端子V1,V2,V3にそれぞれ前掲の式(8-4),(8-5),(8-6)で与えられる荷重関数f4,f5,f6で変調した参照信号V4,V5,V6を入力することで、出力out1,out2,out3において第二相関画像群s1,s2,s3のそれぞれを取得することができる。
【００８９】
以上の第二実施形態によれば、隣接画素の一方では通常画像g0及び第一相関画像ペアg1の元画像ペアの3枚の画像を取得し、もう一方では第二相関画像群s1,s2,s3の3枚の画像を取得することにより、回路構成を図４の構成（6並列）ではなく図７の構成(3並列)として簡素化し、コスト低減等を図ることが可能となる。
【００９０】
ここで、当該別の3枚の画像（すなわち、別の信号）をそれぞれ取得する隣接画素は、取得される画像における同一画素（同一位置の同一画素）とみなして扱ってもよいし、隣接画素（隣接位置の別画素）として扱い、取得されない別の信号に関しては当該画素位置において既存技術である補間を適用することで取得するようにしてもよい。補間を適用する場合、同一画素として扱う場合に比べて2倍の空間解像度を得ることができる。なお、補間の適用は画像処理部40に図１では不図示の「補間部」を設けることにより、補間部において実施すればよい。補間部はAD変換部30から得た各デジタル画像に対して補完処理を適用したうえで各部41,42,43へと補間されたデジタル画像を出力すればよい。
【００９１】
＜参照信号の利用等に関するさらに別の実施形態（第三実施形態）に関して＞
以上のような図７の回路構成を用いる第二実施形態において参照信号を変更したものに相当する第三実施形態を説明する。第三実施形態の要旨は次の通りである。すなわち、利用する荷重関数としては前掲の式(8-1),(8-2),(8-3)で与えた「f1=1,f2=cosωt,f3=sinωt」が結果的に実現されるが、端子への入力信号としての参照信号V1,V2,V3は例えば三相対称信号として、「V1=sinωt, V2=sin(ωt+2π/3), V3=sin(ωt+4π/3)」を採用することで、まず出力out1,out2,out3において第一画像群G1,G2,G3を得て、これらをそれぞれAD変換部30で同様にデジタル化する。そして、変換部45の変換処理を次のように変更する。すなわち、第一画像群G1,G2,G3を変換することで通常画像g0、実部画像Re(g1)及び虚部画像Im(g1)の3枚の画像を求めるという処理に変更する。その後は以上と同様の処理を行なうようにすればよい。
【００９２】
すなわち、第三実施形態では、変換処理によって荷重関数としては以上のその他の実施形態と同じ「f1=1,f2=cosωt,f3=sinωt」が結果的に実現されることとなるが、参照信号に対称なものを利用できるという効果がある。なお、第二相関画像群s1,s2,s3に関しては上記の第二実施形態と全く同様に、隣接画素において図７の回路構成により前掲の式(8-4),(8-5),(8-6)で与えられる荷重関数f4,f5,f6で変調した参照信号（すなわち、対称な信号）を用いて取得することができる。
【００９３】
以下、第三実施形態の詳細を説明する。まず、図７の回路構成において以下の式(20)の関係から式(21)の乗算特性が得られる。ここで、各Ii(i=1,2,3)はトランジスタQiにおけるドレイン電流であり、qは電荷、κはゲート係数、kはボルツマン定数、Tは絶対温度である。また、式(21)右辺のV上線（Vに上線を加えたもの）は参照信号（印可電圧）の平均値「(V1+V2+V3)/3」を表す。
【００９４】
【数８】
2019106587.tif 000010
【００９５】
第三実施形態では、1フレーム時間0<t<Tにおいて正規直交系をなしているような適当な荷重関数の系ga(t),gb(t)を用意し、以下の式(22)のように所定のバイアス電圧（所定の直流成分）からの小信号としての参照信号V1,V2,V3を定め、それぞれ第一画像群G1,G2,G3を得ることができる。（式(22)では当該直流成分は表記しておらず、当該直流成分からの差分のみを表記している。）例えば、ga(t)=cosωt及びgb(t)=sinωtを用意することで、以下の参照信号V1,V2,V3は三相対称なものとして定めることができる。
【００９６】
【数９】
2019106587.tif 000011
【００９７】
変換部45では、以上の関係に基づく逆算を行うことで、第一画像群G1,G2,G3から通常画像g0、実部画像Re(g1)及び虚部画像Im(g1)の3枚の画像を求めることができる。すなわち、通常画像g0は以下のように第一画像群G1,G2,G3の平均画像として求めることができる。
g0=(G1+G2+G3)/3
さらに、当該求めた通常画像g0を用いて、例えば(22)の第1式の関係を用いて実部画像Re(g1)を以下のように求めることができる。
Re(g1)=G1-g0
さらに、当該求めた通常画像g0及び実部画像Re(g1)を用いて、例えば(22)の第2式の関係を用いて虚部画像Im(g1)を以下のように求めることができる。
Im(g1)=（G2-g0+Re(g1)/2）・(2/√3)
【００９８】
＜変換部45の別の実施形態に関して＞
積分回路23において第一相関画像ペアg1の元画像ペアを得る実施形態では、AD変換部30の処理を経た後に変換部45で通常画像g0を減算することにより第一相関画像ペアg1を得るようにしていた。これの別の実施形態として、積分回路23において直接、電圧差の出力等によってアナログ値において減算処理を行なうことにより第一相関画像ペアg1を得るようにし、変換部45の減算処理は省略するようにしてもよい。
【００９９】
＜第一相関画像ペアg1を得るための荷重関数f2及びf3の別の実施形態に関して＞
荷重関数f2及びf3に関しては、式(8-2),(8-3)のように複素変調画像を得るための実部としてのコサイン関数及び虚部としてのサイン関数を用いる場合を説明した。これらはフレーム時間0<t<Tを共通周期として実空間で互いに位相が異なる性質を有するものであり、当該性質によって位相推定部42による位相推定を可能とするものであった。従って、荷重関数f2及びf3に関してはコサイン関数及びサイン関数に限らず、当該性質を有するその他の関数、すなわち、フレーム時間0<t<Tを共通周期として互いに位相が異なるようなその他の関数を用いるようにしてもよい。例えば、図８に破線及び実線として模式的なグラフ例を示すような折れ線関数（コサイン関数及びサイン関数のピーク位置をそれぞれ直線で結ぶ関数）を荷重関数f2及びf3として用いてもよい。
【０１００】
＜画像処理部40に関して＞
画像処理部40は、ソフトウェアによって実現することもできる。この場合、コンピュータにおいて当該コンピュータを画像処理部40として機能させるプログラムを読み込んで実行することにより、コンピュータによって画像処理部40が実現される。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが画像処理部40の各部の機能に対応する命令を実行することとなる。また、当該コンピュータはさらに、CPUよりも並列処理を高速実施可能なGPU（グラフィック処理装置）を備え、CPUに代えて画像処理部40の全部又は任意の一部分の機能を当該GPUにおいてプログラムを読み込んで実行するようにしてもよい。
【０１０１】
さらに、画像処理部40の全機能又は任意の一部の機能を、ASIC及び／又はFPGAその他の専用回路によって実現するようにしてもよい。
【符号の説明】
【０１０２】
1…情報取得装置
10…光学系部、11…光学素子機構、12…駆動部
20…センサ部、21…撮像部、22…参照信号生成部、23…積分回路
30…AD変換部
40…画像処理部、41…全焦点画像生成部、42…位相推定部、43…位相確定部、44…深度マップ推定部
【図１】
2019106587.tif 000012
【図２】
2019106587.tif 000013
【図３】
2019106587.tif 000014
【図４】
2019106587.tif 000015
【図５】
2019106587.tif 000016
【図６】
2019106587.tif 000017
【図７】
2019106587.tif 000018
【図８】
2019106587.tif 000019
【手続補正書】
【提出日】平成31年4月4日(2019.4.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
焦点位置を移動可能に構成されており、対象の像を形成する光学系部と、
前記形成された像を光電変換する撮像部を含み、当該光電変換された信号と所定の荷重関数に基づく参照信号との積を時間積分した信号を画像として出力するセンサ部と、
前記出力された画像に基づいて対象の全焦点画像及び深度マップを生成する画像処理部と、を備え、
前記光学系部では、焦点位置を移動させながら対象の像を形成し、
前記センサ部は、前記所定の荷重関数として定数関数及び第一関数群を用いて前記時間積分した信号としてそれぞれ、通常画像及び第一相関画像ペアを出力し、
前記画像処理部では前記通常画像に基づいて全焦点画像を生成すると共に、当該生成された全焦点画像及び前記第一相関画像ペアに基づいて深度マップを生成することを特徴とする情報取得装置。
【請求項２】
焦点位置を移動可能に構成されており、対象の像を形成する光学系部と、
前記形成された像を光電変換する撮像部を含み、当該光電変換された信号と所定の荷重関数に基づく参照信号との積を時間積分した信号を画像として出力するセンサ部と、
前記出力された画像に基づいて対象の全焦点画像及び深度マップを生成する画像処理部と、を備え、
前記光学系部では、焦点位置を移動させながら対象の像を形成し、
前記センサ部は、前記所定の荷重関数として定数関数及び第一関数群を用いて前記時間積分した信号として第一画像群を出力し、
前記画像処理部では前記第一画像群を変換することによって通常画像及び第一相関画像ペアを求めたうえで、前記通常画像に基づいて全焦点画像を生成すると共に、当該生成された全焦点画像及び前記第一相関画像ペアに基づいて深度マップを生成することを特徴とする情報取得装置。
【請求項３】
前記センサ部では、前記第一関数群として互いに位相が異なる関数群を用い、
前記画像処理部では、前記第一相関画像ペアに反映されている互いに異なる位相に基づいて各画素位置における合焦時刻を推定し、当該推定した合焦時刻に基づいて前記深度マップを生成することを特徴とする請求項１または２に記載の情報取得装置。
【請求項４】
前記センサ部では、前記所定の荷重関数としてさらに、互いに異なる所定期間のみで一定値を有し当該所定期間外では値がゼロとなる第二関数群を用いて、時間積分された信号として第二相関画像群をさらに出力し、
前記画像処理部では、前記第一相関画像ペアに反映されている互いに異なる位相に基づいて各画素位置における合焦時刻の候補を推定し、さらに、当該推定された候補の中から、前記第二相関画像群のうち対応画素位置が最も鮮明となる画像に対応する前記所定期間にあるものを、合焦時刻に対応するものとして確定させることを特徴とする請求項３に記載の情報取得装置。
【請求項５】
前記光学系部では、アクチュエータにより略等速で焦点位置を移動させながら対象の像を形成し、
当該アクチュエータの駆動制御信号と同期することによって、前記所定の参照信号が与えられることを特徴とする請求項１ないし４のいずれかに記載の情報取得装置。
【請求項６】
前記画像処理部では、前記光学系部において焦点位置を移動させながら対象の像を形成する場合に対応する、深さ不変の所定の点広がり関数を用いたデコンボリューション演算によって、前記通常画像から全焦点画像を生成することを特徴とする請求項１ないし５のいずれかに記載の情報取得装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
上記目的を達成するため、本発明は情報取得装置であって、焦点位置を移動可能に構成されており、対象の像を形成する光学系部と、前記形成された像を光電変換する撮像部を含み、当該光電変換された信号と所定の荷重関数との積を時間積分した信号を画像として出力するセンサ部と、前記出力された画像に基づいて対象の全焦点画像及び深度マップを生成する画像処理部と、を備え、前記光学系部では、焦点位置を移動させながら対象の像を形成し、前記センサ部は、前記所定の荷重関数として定数関数及び第一関数群を用いて前記時間積分した信号としてそれぞれ、通常画像及び第一相関画像ペアを出力し、前記画像処理部では前記通常画像に基づいて全焦点画像を生成すると共に、当該生成された全焦点画像及び前記第一相関画像ペアに基づいて深度マップを生成することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
光学系部10は、1つ以上のレンズ等で構成された光学素子機構11と、アクチュエータ等で構成され光学素子機構11及び／又は撮像面21を駆動することにより撮像面21に形成される対象OBの像IMGの結像位置を調整可能に構成された、すなわち、光学素子機構11の焦点位置を調整可能に構成された駆動部12と、を備える。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
センサ部20は、例えば前掲の特許文献６に「時間相関検出型イメージセンサ」等として開示されている既存技術である時間相関イメージセンサとして構成することができ、当該時間相関イメージセンサを実現するための構成として、複数の撮像素子が平面上に配列されて構成されており、各素子において対象OBの像IMGを光電変換して得られる光電変換信号を積分回路23へ出力する撮像面21と、積分回路23へ各参照信号を出力する参照信号生成部22と、光電変換信号と参照信号との積を積分した信号として各画像（アナログ信号形式）を得る積分回路23と、を備える。なお、当該積分することが光電変換信号と参照信号との間の時間相関を求めることに相当する。詳細は後述するが、積分回路23では各参照信号と積分することにより通常画像g0と、実部画像Re(g1)及び虚部画像Im(g1)のペアとして構成される第一相関画像ペアg1の元となる画像ペア（後述）と、第二相関画像群s1,s2,s3と、を得てAD変換部30へと出力する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
図２は、一実施形態に係る情報取得装置1の動作のフローチャートである。ステップS1では、光学系部10において駆動部12による駆動で焦点位置を変えながら対象OBの撮像を行い（すなわち、対象OBの像IMGのボケ状態を変化させながら撮像を行い）、これと同時にセンサ部20において参照信号生成部22から所定の参照信号群を出力しながら各画像g0,g1（元となるもの）,s1,s2,s3を取得してから、ステップS2へと進む。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
ここで特に、式(8-1)で与えられる荷重関数f1（定数関数の例）を用いて前述の式(7)の時間相関積分を積分回路23において出力することで、通常画像g0を得ることができる。なお、式(7)において荷重関数f1=1（すなわち定数）とした場合、フォトダイオードPDの電流をフレーム時間に渡ってそのまま蓄積することによる通常の意味での画像に該当することとなるため、「通常画像g0」と称している。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
また同様に、式(8-2)及び(8-3)で与えられる荷重関数f2及びf3（第一関数群の例）を用いて前述の式(7)の時間相関積分を積分回路23において出力することで、第一相関画像ペアg1における実部画像Re(g1)及び虚部画像Im(g1)をそれぞれ得ることができる。すなわち、式(8-2)及び(8-3)のコサイン関数及びサイン関数は、オイラーの公式（ejωτ=cosωτ+jsinωτ）によって前述の式(5)及び(6)での位相項ejωτに対応するものである。なお、式(8-2)及び(8-3)の周波数ω（複素正弦波の角周波数ω）はω=2π/Tとなるように、すなわち対応する周期が露光時間Tとなるように定める。式(8-2)及び(8-3)において一例として周波数ωのコサイン関数及びサイン関数によって与えていることからも明らかなように、一実施形態では荷重関数f2及びf3は露光時間Tにおける第一の直交関数群として与えるようにすることができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
また同様に、式(8-4)、(8-5)及び(8-6)で与えられる荷重関数f4、f5及びf6（第二関数群の例）を用いて前述の式(7)の時間相関積分を積分回路23において出力することで、第二相関画像群の各画像s1、s2及びs3をそれぞれ得ることができる。式(8-4)、(8-5)及び(8-6)の具体的な関数形よりも明らかなように、一実施形態では参照信号f4、f5及びf6は露光時間Tにおける第二の直交関数群として与えるようにすることができる。