(57)【要約】【課題】容易にしかも低コストで画像中の物体の奥行き情報あるいは奥行き情報を含む画像を取得することができる画像入力方法およびそれを用いた画像入力装置を提供する。【解決手段】設定された露光時間で撮像対象の画像を撮像する撮像手段と、前記撮像対象に光を照射するための発光手段とを具備した画像入力装置において、撮像指示が入力されると、露光時間を第１の時間に設定し、発光手段で撮像対象に光を照射して撮像手段で撮像対象の第１の画像を撮像し、露光時間を第１の時間に設定し、発光手段で撮像対象に光を照射せずに、撮像手段で撮像対象の第２の画像を撮像し、第１の画像と第２の画像の差分を求めて、発光手段で撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す画像であって撮像対象の奥行き情報を含む第３の画像を得る。【選択図】  図１
2004328657.tif 000002
【特許請求の範囲】
【請求項１】
設定された露光時間で撮像対象の画像を撮像する撮像手段と、
前記撮像対象に光を照射するための発光手段と、
撮像指示が入力されると、前記露光時間を第１の時間に設定し、前記発光手段で前記撮像対象に光を照射して、前記撮像手段で前記撮像対象の第１の画像を撮像する第１の手段と、
前記第１の画像を撮像した後、前記露光時間を前記第１の時間に設定し、前記発光手段で前記撮像対象に光を照射せずに、前記撮像手段で前記撮像対象の第２の画像を撮像する第２の手段と、
前記第１の画像と前記第２の画像の差分を求めて、前記発光手段で前記撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す第３の画像を得る第３の手段と、
を具備したことを特徴とする画像入力装置。
【請求項２】
前記第２の画像を撮像した後、前記露光時間を前記第１の時間とは異なる第２の時間に設定して、前記撮像手段で前記撮像対象の第４の画像を撮像する第４の手段をさらに具備したことを特徴とする請求項１記載の画像入力装置。
【請求項３】
前記第３の画像から前記撮像対象の奥行き情報を算出する算出手段をさらに具備したことを特徴とする請求項１記載の画像入力装置。
【請求項４】
設定された露光時間で撮像対象の画像を撮像する撮像手段と、
前記撮像対象に光を照射するための発光手段と、
撮像指示が入力されると、前記露光時間を第１の時間に設定し、前記発光手段で前記撮像対象に光を照射して、前記撮像手段で前記撮像対象の第１の画像を撮像する第１の手段と、
前記第１の画像を撮像した後、前記露光時間を前記第１の時間とは異なる第２の時間に設定し、前記発光手段で前記撮像対象に光を照射せずに、前記撮像手段で前記撮像対象の第２の画像を撮像する第２の手段と、
前記第２の画像の各画素値から、前記第２の時間のうち前記第１の時間の間に撮像された画像成分を抽出して、各画素値が前記抽出された画像成分である第３の画像を求める第３の手段と、
前記第１の画像と前記第３の画像との差分を求めて、前記発光手段で前記撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す第４の画像を得る第４の手段と、
を具備したことを特徴とする画像入力装置。
【請求項５】
前記第３の手段は、前記第２の画像の各画素値に、前記第２の時間に対する前記第１の時間の比率を乗じて、前記第３の画像を求めることを特徴とする請求項４記載の画像入力装置。
【請求項６】
前記第３の手段は、前記第２の画像を構成する複数の画素のそれぞれの画素値を当該複数の画素のそれぞれに対応する前記第１の画像の画素値で除した結果得られる当該複数の画素のそれぞれに対応する値のなかから、前記第２の時間に対する前記第１の時間の比率に対応する値を選択し、前記第２の画像の各画素値に前記選択された値を乗じて、前記第３の画像を求めることを特徴とする請求項４記載の画像入力装置。
【請求項７】
前記第４の画像から前記撮像対象の奥行き情報を算出する算出手段をさらに具備したことを特徴とする請求項４記載の画像入力装置。
【請求項８】
前記第１の画像と前記第２の画像とを加算して第５の画像を得る第５の手段をさらに具備したことを特徴とする請求項４記載の画像入力装置。
【請求項９】
前記撮像手段は、
前記画像を構成する複数の画素のそれぞれに対応する複数の光電変換素子と、
前記複数の光電変換素子で前記露光時間の間に蓄積された電荷を画像信号として出力する出力手段とを有し、
前記第１の手段で、前記第１の時間の間に前記複数の光電変換素子で蓄積した前記第１の画像に対応する電荷を前記出力手段へ移した後、当該出力手段での前記第１の画像に対応する第１の画像信号の出力を開始するとともに、前記第２の手段での前記第２の画像の撮像を開始することを特徴とする請求項１または４記載の画像入力装置。
【請求項１０】
いずれかの露光の開始もしくは終了のタイミングが、メカニカルシャッタの動作によってなされるとき、メカニカルシャッタの動作にかかる時間遅れを考慮に入れて、制御または演算を行うことを特徴とする、請求項１または４記載の画像入力装置。
【請求項１１】
設定された露光時間で撮像対象の画像を撮像する撮像手段と、前記撮像対象に光を照射するための発光手段とを有する画像入力装置における画像入力方法であって、
撮像指示が入力されると、
前記露光時間を第１の時間に設定し、前記発光手段で前記撮像対象に光を照射して、前記撮像手段で前記撮像対象の第１の画像を撮像する第１のステップと、
前記露光時間を前記第１の時間に設定し、前記発光手段で前記撮像対象に光を照射せずに、前記撮像手段で前記撮像対象の第２の画像を撮像する第２のステップと、
前記第１の画像と前記第２の画像の差分を求めて、前記発光手段で前記撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す第３の画像を得る第３のステップと、
を有することを特徴とする画像入力方法。
【請求項１２】
前記第１の画像と前記第２の画像を撮像した後、前記露光時間を前記第１の時間とは異なる第２の時間に設定して、前記撮像手段で前記撮像対象の第４の画像を撮像する第４のステップをさらに有することを特徴とする請求項１１記載の画像入力方法。
【請求項１３】
前記第３の画像から前記撮像対象の奥行き情報を算出する算出ステップをさらに有することを特徴とする請求項１１記載の画像入力方法。
【請求項１４】
設定された露光時間で撮像対象の画像を撮像する撮像手段と、前記撮像対象に光を照射するための発光手段とを有する画像入力装置における画像入力方法であって、
撮像指示が入力されると、
前記露光時間を第１の時間に設定し、前記発光手段で前記撮像対象に光を照射して、前記撮像手段で前記撮像対象の第１の画像を撮像する第１のステップと、
前記露光時間を前記第１の時間とは異なる第２の時間に設定し、前記発光手段で前記撮像対象に光を照射せずに、前記撮像手段で前記撮像対象の第２の画像を撮像する第２のステップと、
前記第２の画像の各画素値から、前記第２の時間のうち前記第１の時間の間に撮像された画像成分を抽出して、各画素値が前記抽出された画像成分である第３の画像を求める第３のステップと、
前記第１の画像と前記第３の画像との差分を求めて、前記発光手段で前記撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す第４の画像を得る第４のステップと、
を有することを特徴とする画像入力方法。
【請求項１５】
前記第３のステップは、前記第２の画像の各画素値に、前記第２の時間に対する前記第１の時間の比率を乗じて、前記第３の画像を求めることを特徴とする請求項１４記載の画像入力方法。
【請求項１６】
前記第３のステップは、前記第２の画像を構成する複数の画素のそれぞれの画素値を当該複数の画素のそれぞれに対応する前記第１の画像の画素値で除した結果得られる当該複数の画素のそれぞれに対応する値のなかから、前記第２の時間に対する前記第１の時間の比率に対応する値を選択し、前記第２の画像の各画素値に前記選択された値を乗じて、前記第３の画像を求めることを特徴とする請求項１４記載の画像入力方法。
【請求項１７】
前記第４の画像から前記撮像対象の奥行き情報を算出する算出ステップをさらに有することを特徴とする請求項１４記載の画像入力方法。
【請求項１８】
前記第１の画像と前記第２の画像とを加算して第５の画像を得る第５のステップをさらに有することを特徴とする請求項１４記載の画像入力方法。
【請求項１９】
設定された露光時間で撮像対象の画像を撮像する撮像手段と、前記撮像対象に光を照射するための発光手段とを有し、前記撮像手段は、前記画像を構成する複数の画素のそれぞれに対応する複数の光電変換素子と、前記複数の光電変換素子で前記露光時間の間に蓄積された電荷を画像信号として出力する出力手段とを有する画像入力装置における画像入力方法であって、
撮像指示が入力されると、
前記露光時間を第１の時間に設定し、前記発光手段で前記撮像対象に光を照射して、前記撮像手段で前記撮像対象の第１の画像の撮像を開始する第１のステップと、
この第１のステップで前記第１の画像の撮像を開始してから前記第１の時間経過したとき、前記第１の時間の間に前記複数の光電変換素子で蓄積した前記第１の画像に対応する電荷を前記出力手段へ移して、当該出力手段での前記第１の画像に対応する第１の画像信号の出力を開始する第２のステップと、
前記露光時間を前記第１の時間に設定し、前記発光手段で前記撮像対象に光を照射せずに、前記撮像手段で前記撮像対象の第２の画像の撮像を開始する第３のステップと、
この第３のステップで前記第２の画像の撮像を開始してから前記第１の時間経過したとき、前記出力手段で前記第１の画像信号の出力が終了した後に、前記第１の時間の間に前記複数の光電変換素子で蓄積した前記第２の画像に対応する電荷を前記出力手段へ移して、当該出力手段で前記第２の画像に対応する第２の画像信号の出力を開始する第４のステップと、
前記出力手段で前記第２の画像の出力が終了したとき、前記第１の画像と前記第２の画像の差分を求めて、前記発光手段で前記撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す第３の画像を得る第５のステップと、
を有することを特徴とする画像入力方法。
【請求項２０】
設定された露光時間で撮像対象の画像を撮像する撮像手段と、前記撮像対象に光を照射するための発光手段とを有し、前記撮像手段は、前記画像を構成する複数の画素のそれぞれに対応する複数の光電変換素子と、前記複数の光電変換素子で前記露光時間の間に蓄積された電荷を画像信号として出力する出力手段とを有する画像入力装置における画像入力方法であって、
撮像指示が入力されると、
前記露光時間を第１の時間に設定し、前記発光手段で前記撮像対象に光を照射して、前記撮像手段で前記撮像対象の第１の画像の撮像を開始する第１のステップと、
この第１のステップで前記第１の画像の撮像を開始してから前記第１の時間経過したとき、前記第１の時間の間に前記複数の光電変換素子で蓄積した前記第１の画像に対応する電荷を前記出力手段へ移して、当該出力手段での前記第１の画像に対応する第１の画像信号の出力を開始する第２のステップと、
前記露光時間を前記第１の時間とは異なる第２の時間に設定し、前記発光手段で前記撮像対象に光を照射せずに、前記撮像手段で前記撮像対象の第２の画像の撮像を開始する第３のステップと、
この第３のステップで前記第２の画像の撮像を開始してから前記第２の時間経過したとき、前記出力手段で前記第１の画像信号の出力が終了した後に、前記第２の時間の間に前記複数の光電変換素子で蓄積した前記第２の画像に対応する電荷を前記出力手段へ移して、当該出力手段で前記第２の画像に対応する第２の画像信号の出力を開始する第４のステップと、
前記出力手段で前記第２の画像の出力が終了したとき、前記第２の画像の各画素値から、前記第２の時間のうち前記第１の時間の間に撮像された画像成分を抽出して、各画素値が前記抽出された画像成分である第３の画像を求める第５のステップと、
前記第１の画像と前記第３の画像との差分を求めて、前記発光手段で前記撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す第４の画像を得る第６のステップと、
を有することを特徴とする画像入力方法。
【請求項２１】
設定された露光時間で撮像対象の画像を撮像する撮像手段と、前記撮像対象に光を照射するための発光手段とを用いて画像を入力するためのプログラムであって、
撮像指示が入力されると、コンピュータに、
前記露光時間を第１の時間に設定し、前記発光手段で前記撮像対象に光を照射して、前記撮像手段で前記撮像対象の第１の画像を撮像する第１のステップと、
前記露光時間を前記第１の時間に設定し、前記発光手段で前記撮像対象に光を照射せずに、前記撮像手段で前記撮像対象の第２の画像を撮像する第２のステップと、
前記第１の画像と前記第２の画像の差分を求めて、前記発光手段で前記撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す第３の画像を得る第３のステップと、
前記露光時間を前記第１の時間とは異なる第２の時間に設定して、前記撮像手段で前記撮像対象の第４の画像を撮像する第４のステップと、
を実行させるプログラム。
【請求項２２】
設定された露光時間で撮像対象の画像を撮像する撮像手段と、前記撮像対象に光を照射するための発光手段とを用いて画像を入力するためのプログラムであって、
撮像指示が入力されると、コンピュータに、
前記露光時間を第１の時間に設定し、前記発光手段で前記撮像対象に光を照射して、前記撮像手段で前記撮像対象の第１の画像を撮像する第１のステップと、
前記露光時間を前記第１の時間とは異なる第２の時間に設定し、前記発光手段で前記撮像対象に光を照射せずに、前記撮像手段で前記撮像対象の第２の画像を撮像する第２のステップと、
前記第２の画像の各画素値から、前記第２の時間のうち前記第１の時間の間に撮像された画像成分を抽出して、各画素値が前記抽出された画像成分である第３の画像を求める第３のステップと、
前記第１の画像と前記第３の画像との差分を求めて、前記発光手段で前記撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す第４の画像を得る第４のステップと、
を実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、ＭＯＳ型撮像デバイス、ＣＣＤ撮像デバイスなどの固体撮像デバイスを用いて構成されるデジタルスチルカメラに関連する。
【０００２】
【従来の技術】
近年、ＣＣＤイメージセンサをはじめとする固体撮像装置を用いた、画像入力装置が広く使用されるようになってきている。最近では、パーソナルコンピュータ（以下、ＰＣ）などに簡単に画像を転送し、また広く普及しているカラープリンタに印刷することも可能になっている。
【０００３】
一方、昔から３次元画像の撮像が試みられてきた。古くは、２眼の銀塩カメラで、視差画像を撮像し、専用観察装置で見ることにより、立体視を行うことができた。近年では、単に３次元画像を見るだけではなく、様々に加工したり、再利用したりするために、視差のある２つの画像ではなく、奥行き値を持った画像を入力することが求められることが多い。これにより、撮像した物体を別の視点から見た３次元画像を再生したり、３次元ＣＧ（コンピュータグラフィクス）と合成したりすることができる。
【０００４】
ここで、奥行き値と言う時、厳密にある基準点もしくは基準面からの距離値であったり、いくつかのレイヤー（例えば、近い、中くらい、遠い、など）に分ける属性であったり、あるいは取得系の特性によりある程度の誤差が生じた距離値であったりするが、ここでは、それらをひろく奥行き値と呼ぶことにする。
【０００５】
また奥行き値は、対応する画像の１画素に付き１つあることもあるし、そうでないこともある。また、被測定物もしくはシーンの奥行き値の分布を奥行き画像と呼ぶことにする。
【０００６】
奥行き画像を取得する装置は、これまでも既に存在する。代表的なものとして、レーザーレンジファインダがある。これは、主にレーザーによるスリット光を被測定物に照射し、その反射光を異なる位置から撮像し、スリット光の形状の歪から、三角法を用いて各部分の距離を求めるものである（例えば、特許文献１参照）。
【０００７】
また、スリット光ではなく縞模様などのパターン光を照射して、その反射光を撮像し、パターン光の変化から、奥行きを求めるものもある（例えば、特許文献２参照）。
【０００８】
レーザーレンジファインダや空間コード法を用いる場合は、特定用途向け製品のものが多く、装置が大掛かりになり、コストがかかってしまうという問題がある。また一般的には、複数の画像を取得し、処理する必要があることから、撮像するために時間がかかる。そのため、取得できるのは静止している物体に限られる。
【０００９】
対象物に照射光を当て、その反射光が戻ってくるまでの時間を測定することで、距離を測定するものもある（例えば、非特許文献１参照）。しかし、このタイプも主に放送局などの専用用途向けであり、非常に大型であり、高額の装置となってします。
【００１０】
人間が対象物の奥行きを判断するのと同じように、２眼カメラの画像の差異から奥行き情報を求めようというアプローチとして、ステレオカメラ法がある。従来のステレオカメラ法はカメラキャリブレーションを厳密に行う必要があるなど、問題があったが、最近では、参照点を配置した床面の上に物体を置き、参照点を含めた複数の画像を取得することで、複数の画像とそれぞれの画像を撮像した位置の両方を取得し、画像間の相関を用いて３次元形状を求める手法もある（例えば、特許文献３参照）。
【００１１】
ステレオカメラ法では、一般に複数台のカメラの位置を厳密に調整する必要があり、運用の難しさ、コストアップにつながる。また、ステレオカメラ法は複数の画像間で、同じ部分が映っている対応点（対応領域）を求めることで、距離を計算するが、この対応点探索に非常に計算コストがかかり、また画像のクオリティや撮像条件により探索の正確さが顕著に悪くなるという傾向がある。実際に使用する際には、背景を単色素材で覆い、また複数視点からの画像が違いすぎないように照明を均一にするなどの工夫をして、対応点探索エラーが置きにくくすることが必要である。カメラ位置を特定するための参照チャートなどを用いるタイプの技術では、複数台のカメラを使わない分、カメラ位置の校正の問題は無いが、それ以外は、同じ問題が発生する。さらにこの場合は、複数の撮像を同じカメラで長時間にわたり撮像するため、人のような静止していることが難しい対象物の撮像は難しい。またチャートに対して、大きすぎる物体の撮像も難しい。
【００１２】
複数の既知の照明を対象物に照射して撮像した、複数の画像から画像の奥行きを取得するアプローチもある。
【００１３】
しかし、一般的に、光を照射するタイプの技術では、明るい場所で撮像を行うと、外光の影響によって正しく奥行き取得ができないことが多い。そのため、専用の撮影場所を用意する必要があるなどの不便もある。
【００１４】
このように、従来の奥行き情報を含む画像を取得するための技術は、主に特定用途向けで高額で大掛かりな装置ばかりであり、撮像の手軽さが無い。すなわち、既存技術では、現在多くのデジタルカメラのユーザが手軽にデジタル写真の撮影、利用を行っているように、奥行き画像を取得することは不可能である。
【００１５】
最近では、３次元画像表示装置も著しく進化、低コスト化して来ており、携帯電話のディスプレイに搭載されるまでになっている。しかし、上述のように手軽に奥行き画像を取得できる環境が無いため、表示するコンテンツは専門企業が制作したものをダウンロードして表示するか、ある程度対象を仮定した上で画像処理により、奥行きを推定して作成するツールを使うことになる。このようなツールで作成した奥行き画像はあくまで推定であり、実態とは異なるものである。仮定された対象物で無い場合は、最適な推定は行われないことが多い。
【００１６】
【特許文献１】
特許第３３１７０９３号  （第１図）
【００１７】
【特許文献２】
特許第３２６９４８４号  （第３図）
【００１８】
【特許文献３】
特開平１１−９６３７４号公報  （第１０図）
【００１９】
【非特許文献１】
３ＤＶ  Ｓｙｓｔｅｍｓ社のホームページ、［ｏｎｌｉｎｅ］、［２００３年３月２５日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．３ｄｖｓｙｓｔｅｍｓ．ｃｏｍ／＞
【００２０】
【発明が解決しようとする課題】
このように、従来の奥行き情報を含む画像を取得するための技術は、主に特定用途向けで高額で大掛かりな装置ばかりであり、容易にしかも低コストで画像中の物体の奥行き情報を取得するができないという問題点があった。
【００２１】
そこで、本発明は、上記問題点に鑑み、容易にしかも低コストで画像中の物体の奥行き情報あるいは奥行き情報を含む画像を取得することができる画像入力方法およびそれを用いた画像入力装置を提供することを目的とする。
【００２２】
また、一般的なデジタルカメラなどの撮像操作と同じ操作を行うだけで、通常の画像（自然画像）と当該画像中の物体の奥行き情報あるいは奥行き情報を含む画像を取得することができる、画像入力方法およびそれを用いた画像入力装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
（１）本発明は、設定された露光時間で撮像対象の画像を撮像する撮像手段と、前記撮像対象に光を照射するための発光手段を有する画像入力装置において、（ユーザからの）撮像指示が入力されると、前記露光時間を第１の時間に設定し、前記発光手段で前記撮像対象に光を照射して、前記撮像手段で前記撮像対象の第１の画像を撮像し、前記露光時間を前記第１の時間に設定し、前記発光手段で前記撮像対象に光を照射せずに、前記撮像手段で前記撮像対象の第２の画像を撮像し、前記第１の画像と前記第２の画像の差分を求めて、前記発光手段で前記撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す画像であって、前記撮像対象の奥行き情報を含む第３の画像を得ることを特徴とする。
【００２４】
また、前記第２の画像を撮像した後、前記露光時間を前記第１の時間とは異なる（例えば、第１の時間より長い）第２の時間に設定して、前記撮像手段で前記撮像対象の第４の画像を撮像する。
【００２５】
本発明によれば、容易にしかも低コストで画像中の物体の奥行き情報あるいは奥行き情報を含む画像を取得することができる。１度の撮像指示で、露光時間が第１の時間で発光手段での発光を伴う第１の画像と、露光時間が第１の時間で発光手段での発光を伴わない第２の画像と、露光時間が第２の時間の第４の画像といった３枚の画像を撮像し、第１の画像と第２の画像とから奥行き情報を含む第３の画像を求めることができる。また、１度の撮像指示で、この奥行き情報を含む第３の画像とともに、通常の画像（通常の適切な露光時間で撮像される画像）である第４の画像（自然画像）を得ることができる。
【００２６】
なお、第１の画像を撮像した後第２の画像を撮像してもよいし第２の画像を撮像した後に第１の画像を撮像してもよい。どちらを先に撮像しても上記のような効果等には影響はない。
【００２７】
（２）本発明は、設定された露光時間で撮像対象の画像を撮像する撮像手段と、前記撮像対象に光を照射するための発光手段とを有する画像入力装置において、（ユーザからの）撮像指示が入力されると、前記露光時間を第１の時間に設定し、前記発光手段で前記撮像対象に光を照射して、前記撮像手段で前記撮像対象の第１の画像を撮像し、前記露光時間を前記第１の時間とは異なる（例えば第１の時間より長い）第２の時間に設定し、前記発光手段で前記撮像対象に光を照射せずに、前記撮像手段で前記撮像対象の第２の画像を撮像し、前記第２の画像の各画素値から、前記第２の時間のうち前記第１の時間の間に撮像された画像成分を抽出して、各画素値が前記抽出された画像成分である第３の画像を求め、前記第１の画像と前記第３の画像との差分を求めて、前記発光手段で前記撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す画像であって、前記撮像対象の奥行き情報を含む第４の画像を得ることを特徴とする。
【００２８】
前記第３の画像は、前記第２の画像の各画素値に、前記第２の時間に対する前記第１の時間の比率を乗じて求める。
【００２９】
前記第３の画像は、前記第２の画像を構成する複数の画素のそれぞれの画素値を当該複数の画素のそれぞれに対応する前記第１の画像の画素値で除した結果得られる当該複数の画素のそれぞれに対応する値のなかから、前記第２の時間に対する前記第１の時間の比率に対応する値を選択し、前記第２の画像の各画素値に前記選択された値を乗じて、前記第３の画像を求める。
【００３０】
本発明によれば、容易にしかも低コストで画像中の物体の奥行き情報あるいは奥行き情報を含む画像を取得することができる。また、１度の撮像指示で、露光時間が第１の時間で発光手段での発光を伴う第１の画像と、露光時間が第２の時間で発光手段での発光を伴わない第２の画像といった２枚の画像を撮像し、第１の画像と第２の画像とから奥行き情報を含む第４の画像を求めることができる。また、１度の撮像指示で、この奥行き情報を含む第４の画像とともに、通常の画像（通常の適切な露光時間で撮像される画像）である第２の画像（自然画像）を得ることができる。
【００３１】
なお、第１の画像を撮像した後第２の画像を撮像してもよいし第２の画像を撮像した後に第１の画像を撮像してもよい。どちらを先に撮像しても上記のような効果等には影響はない。
【００３２】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して説明する。
【００３３】
本実施形態では、低コストに奥行き画像を取得することができる画像入力装置の実現を目的とする。従って、従来のデジタルカメラになるべく近い構成で実現できることが特徴となっている。そこで、本実施形態を説明する前に、まず、従来のデジタルカメラの構成、動作について説明する。
【００３４】
従来のデジタルカメラの概略的な構成を図１６に示す。被写体はレンズ１０１を通して、イメージセンサ１０４上に結像する。レンズ１０１とイメージセンサ１０４の間には、絞り１０２とシャッタ１０３がある。正確には絞り１０２、シャッタ１０３は、複数枚のレンズで構成されるレンズ系の内部にあることもあるが、図１６では、簡略化して示している。
【００３５】
絞り１０２は、イメージセンサ１０４に入ってくる光の量を調節し、シャッタ１０３は撮像時に開いて、イメージセンサ１０４上に光を到達させる。イメージセンサはＣＣＤ（電荷結合素子）イメージセンサとＣＭＯＳイメージセンサが代表的であるが、ここでは、主にＣＣＤイメージセンサを用いて説明する。イメージセンサ１０４は、光を電荷に変換する各画素に対応する複数のフォトダイオード（ＰＤ）を２次元的に配列し、各フォトダイオードが受光した光の強さに応じて電荷を蓄積して、光学像を電荷像に変換する光電変換部１０４ａと、各フォトダイオードに蓄積された電荷（電荷像）を信号処理回路へ転送するための転送部１０４ｂからなる。光電変換部１０４ａの各フォトダイオードに蓄積された電荷（電荷像）は、一旦転送部１０４ｂへ転送される。転送部１０４ｂは、電荷像を１次元の電気信号（画像信号）として信号処理回路１０５へ出力する。
【００３６】
ＰＤで電荷蓄積を行う時間をイメージセンサ１０４自体で制御できるため、フィルムカメラと異なり、メカニカルシャッタが無くても動作する。しかし、イメージセンサ１０４は撮像していないときでも光がセンサ上に当たることにより、ノイズなど様々な問題を発生させるため、デジタルスチルカメラではメカニカルシャッタを併用することが多い。
【００３７】
イメージセンサ１０４からの出力（画像信号）は信号処理回路１０５を経て、メモリ１０６に蓄えられる。信号処理回路１０５では、イメージセンサ１０４上の各Ｒ、Ｇ、Ｂの画素の信号から、カラー画像を生成するカラー画像処理やノイズの低減、コントラストの調整やガンマ変換などを行う。
【００３８】
ＣＣＤイメージセンサの場合は、出力はアナログの電圧出力であることが一般的なので、上記の信号処理の前に、アンプやＡ／Ｄ変換器などが入る場合が多いがここでは、信号処理回路１０５が、これらを含む構成となっている。なお、ＣＣＤイメージセンサのチップセットでは、このアンプ、Ａ／Ｄ変換器からカラー処理などまでを含めてひとつのＬＳＩで実現することが多い。
【００３９】
ストロボ１１２は被写体に対し、光を照射する。暗い環境で撮影するときや逆光で被写体がまわりに比べ暗くなってしまったときに、補助的な光源として使用する。制御部１１３が上記各構成部を制御する。
【００４０】
実際の撮像の動作タイミングを図１７を参照して説明する。ここではストロボ撮影を行った場合の動作を説明する。図１７（ａ）はシャッタ１０３の動作、図１７（ｂ）は、イメージセンサ１０４の中での光電変換部１０４ａの電荷蓄積動作、図１７（ｃ）はイメージセンサ１０４の（転送部１０４ｂの）出力動作、図１７（ｄ）はストロボの発光動作を表している。いずれも横軸は時間軸であり、時間経過（図１７の左から右）に伴う各動作タイミングを表している。
【００４１】
まず、使用者の撮影指示（一般的にはシャッタボタンの押し下げによる、図示しない）により、イメージセンサ１０４の各ＰＤ（光電変換部１０４ａ）が一斉にリセットされる（ステップＳ２０１）。具体的にはそれまで各ＰＤに貯まっていた電荷を排出することにより、この時点から新たな電荷蓄積が始まる。光電変換部１０４ａのリセット後にシャッタが開く（ステップＳ２０２）。図１７（ａ）のシャッタ１０３動作は「１」のときはシャッタが開いていることを表し、「０」のときは閉じていることを表す。厳密にはメカニカルシャッタはその応答遅れと動作時間が存在するので、瞬時に全開放とはならず、「０」から「１」へはなだらかに立ち上がるが、図１７（ａ）では簡略化のために「０」から「１」へと瞬時に立ち上がっているように表されている。
【００４２】
シャッタ１０３が開いた後にストロボ１１２が発光する（ステップＳ２０３）。なお、図１７（ｄ）のストロボ１１２の発光動作は「１」のときは発光している状態を表し、「０」のときは発光していない状態を表す。
【００４３】
シャッタ１０３が開いてから一定時間ｔｘの後、シャッタ１０３が閉じ（ステップＳ２０４）、光電変換部１０４ａの各ＰＤの電荷がイメージセンサ１０４の転送部１０４ｂへ転送される（ステップＳ２０５）。転送部１０４ｂに出力された電荷は転送部１０４ｂから順次信号処理回路１０５へ出力される（ステップＳ２０６）。
【００４４】
光電変換部１０４ａのリセットや光電変換部１０４ａから転送部１０４ｂへの電荷転送のタイミングと、シャッタ１０３の開閉のタイミングの前後関係は必ずしも図示したとおりでなく、例えば、シャッタ１０３が開いてから光電変換部１０４ａをリセットしても構わないし、転送部１０４ｂに電荷を転送してからシャッタ１０３を閉じても構わない。
【００４５】
光電変換部１０４ａの動作で、リセット（電荷排出）してから、転送部１０４ｂへ電荷転送されるまでが、光電変換された電荷が蓄積される時間である。
【００４６】
実際には、ＣＣＤイメージセンサ１０４が電荷蓄積できる状態であってもシャッタ１０３が閉じていれば光は入らない。従って、ＣＣＤイメージセンサ１０４が電荷蓄積できる状態であり、かつシャッタが開いている時間が、いわゆる露光時間となる。図１７では、露光時間はｔｘとなる。以後、この状態（露光時間帯）を「撮像している状態」と呼ぶことにする。また、ストロボを使わずに撮影する際には、単に上述の動作でストロボを発光させなければ良い。露光時間ｔｘをどのように設定するかは、マニュアル設定やあるいは自動露光制御により決定された値が用いられる。
【００４７】
図１６に示した従来のデジタルカメラの撮像動作の他の例について、図１８に示すフローチャートを参照して説明する。使用者からの撮影要求に従って、フローチャートがスタートする。シャッタ１０３を開け（ステップＳ２１１）、光電変換部１０４ａの各ＰＤの電荷を排出し電荷蓄積を開始する（ステップＳ２１２）。開始直後にストロボ１１２を発光する（ステップＳ２１３）。その後、撮像開始後ｔｘだけ経つまで待ち（ステップＳ２１４）、光電変換部１０４ａの各ＰＤの電荷を転送部１０４ｂに転送し（ステップＳ２１５）、シャッタ１０３を閉じる（ステップＳ２１７）。ＣＣＤイメージセンサ１０４からの画像信号の出力を開始する（ステップＳ２１８）。
【００４８】
図１８のフローチャートには示されていないが、イメージセンサ１０４から出力された画像信号は、信号処理回路１０５へ入力し、信号処理回路１０５で所定の信号処理が施されて、メモリ１０６に被写体の画像が蓄積される。
【００４９】
次に、本発明の第１の実施形態について図面を参照して説明する。
【００５０】
なお、ここで、奥行き情報とは、例えば、ある基準点もしくは基準面からの距離値、いくつかのレイヤー（例えば、近い、中くらい、遠い、など）に分ける属性であったり、あるいは画像の撮像系の特性によりある程度の誤差が生じた距離値であったりする。すなわち、画像中の撮像対象物の３次元的な形状に関する情報や、画像中の複数の撮像対象物の位置関係を（絶対的なあるいはある基準点からみた相対的な）距離値や、レベルなどを表す情報である。
【００５１】
反射光画像は、ストロボなどの発光手段で撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す画像である。上記奥行き情報としての距離値やレベルなどの数値等は、反射光画像の各画素値を基に算出することができるので、反射光画像は上記奥行き情報を含む画像といえる。
【００５２】
奥行き画像は、厳密には、その画素値が上記奥行き情報であり、上記反射光画像から求めることができる画像である。しかし、ここでは、上記反射光画像もその画素値に奥行き情報が含まれているので、奥行き画像の一種とみなしている。
【００５３】
＜第１の実施形態＞
図１は、第１の実施形態に係る画像入力装置の概略的な構成例を示したものである。なお、図１において、図１６と同一部分には同一符号を付している。この構成は、図１６に示した一般的なデジタルスチルカメラの構成とよく似ている。図１６に示したデジタルカメラの構成と異なる点は、図１では、図１６に示した従来のデジタルカメラにはない演算部１１１を有し、さらに、図１６に示した制御部１１３の代わりに、図１では制御部１１４が接続されている。また、使用者による１度のシャッタ操作（シャッタボタンの押し下げ）により３枚の画像（第１の画像１０７〜第３の画像１０９）が撮像され、それらがメモリ１０６に蓄積される。そして、後述するように、第１の画像１０７と第２の画像１０８から奥行き画像が生成され、それもメモリ１０６に蓄積される。
【００５４】
まず、図１の画像入力装置の各構成部について説明する。
【００５５】
被写体はレンズ１０１を通して、イメージセンサ１０４上に結像する。レンズ１０１とイメージセンサ１０４の間には、絞り１０２とシャッタ１０３がある。正確には絞り１０２、シャッタ１０３は、複数枚のレンズで構成されるレンズ系の内部にあることもあるが、図１では、簡略化して示している。また、絞りとシャッタを兼ねて一体化されているものを用いることもある。
【００５６】
絞り１０２は、イメージセンサ１０４に入ってくる光の量を調節し、シャッタ１０３は撮像時に開いて、イメージセンサ１０４上に光を到達させる。イメージセンサは、例えばＣＣＤ（電荷結合素子）イメージセンサとＣＭＯＳイメージセンサなどが代表的であるが、ここでは、主にＣＣＤイメージセンサを用いて説明する。イメージセンサ１０４は、光を電荷に変換する各画素に対応する複数のフォトダイオード（ＰＤ）を２次元的に配列し、各フォトダイオードが受光した光の強さに応じて電荷を蓄積して、光学像を電荷像に変換する光電変換部１０４ａと、各フォトダイオードに蓄積された電荷（電荷像）を信号処理回路へ転送するための転送部１０４ｂからなる。光電変換部１０４ａの各フォトダイオードに蓄積された電荷（電荷像）は、一旦転送部１０４ｂへ転送される。転送部１０４ｂは、電荷像を１次元の電気信号（画像信号）として信号処理回路１０５へ出力する。
【００５７】
イメージセンサ１０４の出力は信号処理回路１０５を経て、メモリ１０６に蓄えられる。信号処理回路１０５では、イメージセンサ１０４上の各Ｒ、Ｇ、Ｂの画素の信号から、カラー画像を生成するカラー画像処理やノイズの低減、コントラストの調整やガンマ変換などを行う。ＣＣＤイメージセンサの場合は、出力はアナログの電圧出力であることが一般的なので、上記の信号処理の前に、アンプやＡ／Ｄ変換器などが入る場合が多いがここでは、信号処理回路１０５が、これらを含む構成となっている。
【００５８】
メモリ１０６の中の、第１の画像１０７、第２の画像１０８、第３の画像１０９、奥行き画像１１０は、それぞれ画像データを表している。ここでは、イメージセンサ１０４から３枚の画像をまずメモリ１０６に蓄え、次いで後述する演算部１１１が第１の画像１０７と第２の画像１０８から、奥行き画像１１０を生成し、それをメモリ１０６に蓄積する。
【００５９】
演算部１１１は各画素が被写体の奥行き情報を表す奥行き画像１１０を演算して生成する。ストロボ１１２は被写体に対し、光を照射する。通常は補助的な光源として使用するが、本実施形態では、それと異なる役割もする。制御部１１４が上記各構成部を制御する。
【００６０】
イメージセンサ１０４は、具体的には、例えば、図２に示すような構成のＣＣＤ撮像デバイスである。ここでは、説明の簡単のため、４×４画素の合計１６画素の場合を表している。１６個のフォトダイオードＰＤは、４行４列に配置され、各列のフォトダイオードの間には、それぞれ垂直転送ＣＣＤが配列され、最後の行の垂直転送ＣＣＤに隣接して水平転送ＣＣＤが１本設けられている。
【００６１】
レンズ１０１により、この表面に被写体の光学像が結像されると各フォトダイオードＰＤでは、光電変換が行われ、光の強さと時間に応じて電荷が蓄積されていく。このようにして電荷像ができあがる。この電荷像を１次元の電気信号として外部に取り出すために、縦横に順次信号を転送していき、１個の信号出力端子から信号を取り出すように工夫されている。この役目をするのが、垂直転送ＣＣＤと、水平転送ＣＣＤといった転送部である。
【００６２】
まず、１６画素のフォトダイオードＰＤに蓄積された電荷はフィールドシフトパルスにより、一斉に垂直転送ＣＣＤの一部に転送される。次に、４列の垂直転送ＣＣＤが並列に垂直方向に電荷を転送し始める。垂直に転送された信号電荷は水平転送ＣＣＤにつぎつぎ送り込まれる。１行分、４画素の信号が入るたびに、水平方向ＣＣＤは素早く、信号を水平方向に転送し、左端に設けられた出力回路を通じて信号を出力する。このようにして、１ラインずつの信号が出力端子から得られる。
【００６３】
イメージセンサ１０４が、図２に示すような構成のＣＣＤ撮像デバイスであるとき、図２のフォトダイオードＰＤの４行４列の配列が、図１の光電変換部１０４ａに対応し、図２の垂直転送ＣＣＤと水平転送ＣＣＤが図１の転送部１０４ｂに対応する。
【００６４】
なお、イメージセンサ１０４が電荷蓄積できる状態であり、かつシャッタが開いている時間が露光時間となる。この露光時間は、第１〜第３の各画像を撮像する際に、制御部１１４により設定される。露光時間帯が被写体を「撮像している状態」である。
【００６５】
次に、第１の実施形態に係る図１の画像入力装置の動作を図３に示すタイミングチャートと図４、図５に示すフローチャートを参照して説明する。
【００６６】
図３（ａ）はシャッタ１０３の動作、図３（ｂ）は、イメージセンサ１０４の中での光電変換部１０４ａの電荷蓄積動作、図３（ｃ）はイメージセンサ１０４の（転送部１０４ｂの）出力動作、図３（ｄ）はストロボの発光動作を表している。いずれも横軸は時間軸であり、時間経過（図３の左から右）に伴う各動作タイミングを表している。
【００６７】
図３（ａ）のシャッタ１０３動作は「１」のときはシャッタが開いていることを表し、「０」のときは閉じていることを表す。厳密にはメカニカルシャッタはその応答遅れと動作時間が存在するので、瞬時に全開放とはならず、「０」から「１」へはなだらかに立ち上がるが、図３（ａ）では簡略化のために「０」から「１」へと瞬時に立ち上がっているように表されている。また、図３（ｄ）のストロボ１１２の発光動作は「１」のときは発光している状態を表し、「０」のときは発光していない状態を表す。
【００６８】
図４〜図５は、図１の画像入力装置の処理動作を説明するためのフローチャートであり、この動作は、例えば、制御部１１４がもつＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記憶手段に記憶されたプログラムに従って、図１の各構成部を制御することで実現される。
【００６９】
なお、図３と、図４〜図５とにおける同じステップには、同じ符号を付している。
【００７０】
まず使用者による撮影指示（例えば、シャッタボタンの押し下げ）を受けて、制御部１１４により動作がスタートされる。まず、シャッタを開いた後（図４のステップＳ１）、光電変換部１０４ａの各フォトダイオードＰＤを一斉にリセットし撮像を開始する。（ステップＳ２）。撮像開始直後にストロボ１１２を発光し（ステップＳ３）、露光時間として制御部１１４により設定された時間ｔ１の間、撮像した後（ステップＳ４）、この露光時間帯に光電変換部１０４ａの各フォトダイオードに蓄積された電荷を転送部１０４ｂに移し（ステップＳ５）、それと同時に転送部１０４ｂは、出力動作を開始する（ステップＳ６）。また、シャッタ１０３も閉じられる（ステップＳ７）。
【００７１】
ステップＳ６では、転送部１０４ｂは、光電変換部１０４ａから送られた各画素に対応する電荷を、第１の画像の画像信号（第１の信号）として、信号処理回路１０５へ出力する。信号処理回路１０５では、入力した第１の信号に対し、カラー画像を生成するカラー画像処理やノイズの低減、コントラストの調整やガンマ変換などの処理を行い、その後、当該第１の信号は、第１の画像としてメモリ１０６に蓄積される。
【００７２】
転送部１０４ｂにて、１枚の画像（第１の画像）の信号の出力が完了した後（ステップＳ８）、再びシャッタを開き（ステップＳ９）、光電変換部１０４ａの各フォトダイオードＰＤを一斉にリセットし、２回目の撮像を開始する（ステップＳ１０）。２回目の撮像において制御部１１４により設定される露光時間は１回目の撮像の際の露光時間と同じであるが（ｔ１）、ストロボ１１２を発光させないところが異なる。
【００７３】
設定された露光時間、すなわち、時間ｔ１経過後（ステップＳ１１）、光電変換部１０４ａの各フォトダイオードに蓄積された電荷を転送部１０４ｂに移し（ステップＳ１２）、それと同時に転送部１０４ｂは、出力動作を開始する（ステップＳ１３）。また、シャッタ１０３も閉じられる（ステップＳ１４）。
【００７４】
ステップＳ１２では、転送部１０４ｂは、ステップＳ６と同様に、光電変換部１０４ａから送られた各画素に対応する電荷を、第２の画像の画像信号（第２の信号）として、信号処理回路１０５へ出力する。信号処理回路１０５では、入力した第２の信号に対し、カラー画像を生成するカラー画像処理やノイズの低減、コントラストの調整やガンマ変換などの処理を行い、その後、当該第２の信号は、第２の画像としてメモリ１０６に蓄積される。
【００７５】
転送部１０４ｂにて、２枚目の画像（第２の画像）の信号の出力が完了した後（ステップＳ１５）、再びシャッタを開き（図５のステップＳ１６）、光電変換部１０４ａの各フォトダイオードＰＤを一斉にリセットし、３回目の撮像を開始する（ステップＳ１７）。３回目の撮像において制御部１１４により設定される露光時間は１回目、２回目とは異なる時間ｔ２に設定される。
【００７６】
設定された露光時間、すなわち、時間ｔ２経過後（ステップＳ１８）、光電変換部１０４ａの各フォトダイオードに蓄積された電荷を転送部１０４ｂに移し（ステップＳ１９）、それと同時に転送部１０４ｂは、出力動作を開始する（ステップＳ２０）。また、シャッタ１０３も閉じられる（ステップＳ２１）。
【００７７】
ステップＳ２０では、転送部１０４ｂは、ステップＳ６、ステップＳ１２と同様に、光電変換部１０４ａから送られた各画素に対応する電荷を、第３の画像の画像信号（第３の信号）として、信号処理回路１０５へ出力する。信号処理回路１０５では、入力した第３の信号に対し、カラー画像を生成するカラー画像処理やノイズの低減、コントラストの調整やガンマ変換などの処理を行い、その後、当該第３の信号は、第３の画像としてメモリ１０６に蓄積される。
【００７８】
ここで、第１〜第３の画像について説明する。
【００７９】
１枚目の第１の画像はストロボ１１２を発光しながら、極短時間（時間ｔ１の間）露光した画像である。ストロボ１１２は、１／１，０００〜１／１０，０００秒というような極短時間発光するため、露光時間ｔ１は、このストロボ１１２発光時間程度の時間に設定する。ストロボ１１２の光は強力なので、１〜３ｍ程度の距離にある被写体であれば時間ｔ１が短くても十分撮影が可能である。時間ｔ１が短いので、比較的暗い環境であれば、ストロボ光以外の光の影響は少ないが、明るい環境であれば背景光（太陽光や室内照明光など）によって背景などが写る。
【００８０】
２枚目の第２の画像は第１の画像と同じ露光時間ｔ１で、ストロボ１１２を発光せずに取得した画像である。ここで第１の画像と２第２の画像を写したときの外光条件はほぼ同じであるので、第１の画像から第２の画像を引き算すると、外光成分が無くなる。すなわち、第１の画像と第２の画像の差分画像は、真っ暗闇の状態でストロボ１１２の光のみを使用して撮像したのと同じ状態の画像である。この差分画像は、ストロボ１１２の光が被写体に反射した光だけを捉えた画像と言い換えることもできる。この差分画像を反射光画像と呼ぶ。
【００８１】
反射光画像は、被写体（撮像対象）の奥行きに関する情報を含んでいると考えられる。
【００８２】
物体からの反射光は、画像入力装置から物体までの距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を錯乱する場合、反射光画像１画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。
【００８３】
反射光画像の各画素値は、その画素に対応する反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、錯乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を錯乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。例えば、人間の手などは、このような性質をもつため、画像入力装置の前方に手を差し出した場合の反射光画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する、３次元的なイメージを表したものとなる。
【００８４】
光を拡散する性質を持った物体を撮影する場合、物体の距離の２乗に反比例して反射光の強さは減衰するので、例えば、人物が１〜２ｍの位置にあり、その後ろ１０ｍ以上離れた場所に背景物が存在している場合、人物からは十分な反射光が戻ってくるが、背景からはほとんど反射光が戻ってこない。従って、反射光画像を用いると、人物と背景を切り分けることが可能となる。また、反射光の強さが距離の２乗に反比例することを用いれば、物体の立体的な形状を復元することもできるのである。
【００８５】
ある物体の撮像されている反射光画像のある画素値Ｑは、当該画素に対応する当該物体の部分と画像入力装置との間の距離をｄ、当該物体表面の色や反射率、光沢、素材、面の傾きなどのうちのいれかに応じて、当該素値の反射光の強度を補正する役割をもつ係数をｋとすると、
Ｑ＝ｋ／ｄ２              …（１）
と表すことができる。式（１）をｄについて解くことで、物体表面の凸凹や複数の物体の位置関係に対応する奥行き情報としての距離ｄを求めることができる。
【００８６】
各画素値が上記奥行き情報を表す画像を奥行き画像と呼ぶ。
【００８７】
物体表面の色や反射率、傾き、光沢、素材などに応じた反射光の強度の違いから、反射光画像中では、実際には、近くにあるのに遠くにあるように写されていたり、その逆もあり得る。従って、上記反射光画像は、厳密には、上記奥行き画像ではないが、反射光画像に写されている物体の表面の色や反射率、傾き、光沢、素材などを基に適切なｋの値を選べば、上記（１）式から、各画素を上記奥行き情報を表す画像に変換することができる。すなわち、反射光画像の各画素には、奥行き情報が含まれている、あるいは表されているといえるので、ここでは、反射光画像も奥行き画像の一種として取り扱うことにする。
【００８８】
３枚目の第３の画像は、時間ｔ１とは異なる時間ｔ２という露光時間で撮影される。この時間ｔ２という時間は従来のデジタルスチルカメラによる撮像のように、被写体を適切に撮影するように設定される露光時間である。
【００８９】
これにより、奥行き情報を持つ反射光画像（差分画像）と、自然画像（３枚目の第３の画像）の両方が得られる。
【００９０】
図５の説明に戻り、転送部１０４ｂにて、３枚目の画像（第３の画像）の信号の出力が完了すると（ステップＳ２２）、メモリ１０６には、第１の画像１０７、第２の画像１０８、第３の画像１０９が格納されている。その後、演算部１１１が第１の画像１０７と第２の画像１０８を読込み（ステップＳ２３）、両者の差分演算を行い、反射光画像（差分画像）を求める。この反射光画像をそのまま奥行き画像１１０としてもよいが、さらに、この反射光画像の各素値を上記奥行き情報に変換したものを奥行き画像１１０としてもよい（ステップＳ２４）。求めた奥行き画像１１０をメモリ１０６に再び格納する（ステップＳ２５）。
【００９１】
演算部１１１で、反射光画像の各素値あるいは、類似する画素値をもつ複数の画素単位に上記式（１）を用いて、奥行き情報に変換して、表面の反射率や光沢状態、面の傾きなどの影響を考慮した、奥行き画像１１０を生成しても良い。なお、反射光画像中に物体面が傾いている場合、当該物体面の画像入力装置側に傾いている面ほど反射光の強度が強くなるので、反射光画像に写されている物体の画像全体の画素値の分布状況から傾き状態を判別することが出来る。
【００９２】
また、例えば、反射光画像あるいは上記のようにして各素値を奥行き情報に変換した奥行き画像の隣り合う画素の画素値を比較して、画素値が一定値α以上の画素で囲まれた被写体部分を抽出するとともに、それ以外を背景部分とみなし、当該被写体部分のみの画像を奥行き画像１０１としてもよい。
【００９３】
＜第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態における画像入力装置の構成は、図１と同様である。第１の実施形態と異なる点は、制御部１１４の制御方法である。
【００９４】
第２の実施形態に係る図１の画像入力装置の動作を図６に示すタイミングチャートと、図８、図９に示すフローチャートを参照して説明する。なお、ここでは、第１の実施形態と共通する部分の説明は省略し、異なる部分について説明する。また、図６は、図３と同様にして、（ａ）図にシャッタ１０３の動作、（ｂ）図にイメージセンサ１０４の中での光電変換部１０４ａの電荷蓄積動作、（ｃ）図にイメージセンサ１０４の（転送部１０４ｂの）出力動作、（ｄ）図にストロボの発光動作を示したものである。
【００９５】
また、図８〜図９は、図１の画像入力装置の第２の実施形態に係る処理動作を説明するためのフローチャートであり、この動作は、例えば、制御部１１４がもつＲＯＭ等の記憶手段に記憶されたプログラムに従って、図１の各構成部を制御することで実現される。
【００９６】
また、図６と、図８〜図９とにおける同じステップには、同じ符号を付している。
【００９７】
まず使用者による撮影指示（例えば、シャッタボタンの押し下げ）に従い動作がスタートする。シャッタを開いた後（図８のステップＳ３１）、光電変換部１０４ａの各フォトダイオードＰＤを一斉にリセットし撮像を開始する（ステップＳ３２）。撮像開始直後にストロボ１１２を発光し（ステップＳ３３）、露光時間として制御部１１４により設定された時間ｔ１の間、撮像した後（ステップＳ３４）、この露光時間帯に光電変換部１０４ａの各フォトダイオードに蓄積された電荷を転送部１０４ｂに移し（ステップＳ３５）、それと同時に転送部１０４ｂは、出力動作を開始する（ステップＳ３６）。ステップＳ３６では、転送部１０４ｂは、光電変換部１０４ａから送られた各画素に対応する電荷を、第１の画像の画像信号（第１の信号）として、信号処理回路１０５へ出力する。
【００９８】
ここまでは、第１の実施形態と同じである。第１の実施形態ではこの後シャッタ１０３を閉じたが、ここでは閉じない。ステップＳ３５で電荷が転送部１０４ｂに転送された後は、光電変換部１０４ａの各フォトダイオードはリセット状態と同じで、電荷が空の状態である。従って、この後、直ちに光電変換部１０４ａは、ステップＳ３６において電荷の蓄積動作を開始する。すなわち、第２の画像の撮像を開始する。そして、さらに時間ｔ１の間、光電変換部１０４ａで電荷の蓄積を行った後に（ステップＳ３７）、シャッタ１０３を閉じる（ステップＳ３８）。
【００９９】
ステップＳ３５で、光電変換部１０４ａが各フォトダイオードに蓄積された電荷を転送部１０４ｂへ移した後、再び蓄積動作を開始し、ステップＳ３８でシャッタ１０３を閉じるまでの時間ｔ１の間で、光電変換部１０４ｂに蓄積された電荷が第２の画像であり、このときはストロボ１１２は発光されない。シャッタ１０３が閉じた後は、光電変換部１０４ａ自体は電荷の蓄積ができる状態ではあるが、シャッタ１０３が閉じられて光が入ってこないため、電荷が増えることはない。
【０１００】
第１の画像に対応する第１の信号の出力が終わると（ステップＳ３９）、次に、第２の画像に対応する、現在光電変換部１０４ｂの各フォトダイオードに貯まっていた電荷を転送部１０４ｂに転送し（ステップＳ４０）、第２の画像に対応する第２の信号の出力を開始する（ステップＳ４１）。
【０１０１】
第２の信号の出力が終了すると（ステップＳ４２）、再度シャッタ１０３を開き（ステップＳ４３）、光電変換部１０４ａの各フォトダイオードをリセットし、３回目の撮像を開始する（ステップＳ４４）。３回目の撮像において制御部１１４により設定される露光時間は時間ｔ２に設定されている。時間ｔ２経過後（ステップＳ４５）、光電変換部１０４ａの各フォトダイオードに蓄積された電荷を転送部１０４ｂに移し（ステップＳ４６）、それと同時に転送部１０４ｂは、出力動作を開始する（ステップＳ４７）。また、シャッタ１０３も閉じられる（ステップＳ４８）。ステップＳ４７では、転送部１０４ｂは、ステップＳ３６、ステップＳ４１と同様に、光電変換部１０４ａから送られた各画素に対応する電荷を、第３の画像の画像信号（第３の信号）として、信号処理回路１０５へ出力する。
【０１０２】
転送部１０４ｂにて、３枚目の画像（第３の画像）の信号の出力が完了すると（ステップＳ４９）、メモリ１０６には、第１の画像１０７、第２の画像１０８、第３の画像１０９が格納されている。その後、演算部１１１が第１の画像１０７と第２の画像１０８を読込み（ステップＳ５０）、両者の差分演算を行い、反射光画像（差分画像）を求める。
【０１０３】
第１の実施形態と同様、演算部１１１は、反射光画像をそのまま奥行き画像１１０として、あるいは、この反射光画像の各素値を上記奥行き情報に変換したものを奥行き画像１１０として（ステップＳ５１）、メモリ１０６に再び格納する（ステップＳ５２）。
【０１０４】
上記第２の実施形態の利点は、第１の画像１０７と第２の画像１０８を撮像する時刻が近接していることである。本実施形態のように複数枚の画像から、奥行き画像と対応した自然画像を得ようとした場合、被写体としての対象物が静止しているのが理想である。しかし、実際には人物などを撮影してみると必ずしも静止していない。また自然な写真を撮ろうとすると、活動をしている人を写すことになる。また、対象物が静止していても撮影時に手ぶれを起こすと、対象物が動いたのと同じことになる。
【０１０５】
第１と第２の画像の差分で反射光画像を求める時に、対象物が少し動いたと仮定する。すると、差分を取ったときに正しい反射光画像が得られなくなる。これを図１０、図１１を参照して説明する。なお、図１０，図１１において、（ａ）図は、第１の画像と、当該第１の画像の中央の水平ライン上の各画素の輝度値を表すグラフ、（ｂ）図は、第２の画像と、当該第２の画像の中央の水平ライン上の各画素の輝度値を表すグラフ、（ｃ）図は、第１の画像と第２の画像の差分画像（反射光画像）と、当該差分画像の中央の水平ライン上の各画素の輝度値を表すグラフを示したものである。
【０１０６】
近くに円形の物体があり、その他は遠い背景とする。この状態で当該円形の文体を図１の画像入力装置で撮像をした場合を例にとり説明する。
【０１０７】
図１０、図１１のそれぞれの（ｂ）図に示すように、第２の画像では、近くの円形の物体にはあまり外光が当たっておらず暗いが、背景には外光がよく当たっており、明るい。
【０１０８】
まず、図１０を用いて説明する。図１０（ａ）の第１の画像では、近くの物体にはストロボの光が当たるので、図１０（ｂ）の第２の画像よりは明るくなる。一方、背景は遠いので、ストロボ１１２の光は届かず明るさは変わらない。これは、（ａ）図、（ｂ）図の、各画像の高さ中央の水平ラインの輝度を表すグラフからも明らかである。輝度値が高く明るいほど画像が白くなり、輝度値が低く暗いほど画像が黒くなる。
【０１０９】
ここで第１の画像から第２の画像を引き算して、差分画像を求める。背景はどちらも同じ明るさなので、減算によりゼロ（黒）となる。物体部分は第１の画像の方が明るいため、ストロボの反射光成分が減算結果として表れる。結果、図１０（ｃ）に示すような差分画像が得られる。
【０１１０】
次に、図１１を見てみる。これは、（ａ）図の第１の画像と（ｂ）図の第２の画像で円形物体の位置がずれてしまったものである。すると、第１の画像から第２の画像を減ずることにより得られる差分は、（ｃ）図のグラフに示すように、マイナス部分と、背景の輝度から物体部分の輝度を引き算した結果が表れ、これは、その左側に示す差分画像では、マイナスは黒のままだとしても左下のように物体の右端が明るくなってしまう。この原因は物体がずれたことにより、本来対応していない部分同士の輝度を演算してしまったことにある。
【０１１１】
このようなことが起こらないようにするには、第１の画像と第２の画像の間で物体が（あるいは画像入力装置が）なるべく動かないことが必要である。物体がある程度動くことが避けられなければ、第１の画像と第２の画像を撮像する時刻を極力近づければよい。
【０１１２】
第２の実施形態では、第１の画像に対応する光電変換部１０４ａに蓄積された電荷を転送部１０４ｂへ移して直ぐに第２の画像に対応する電荷の蓄積動作を開始するので、第１の画像を取得する時間帯と第２の画像を取得する時間帯が第１の実施形態にくらべ非常に接近している。従って、このように物体の動きや撮影者の手ぶれに影響されず、正しく反射光画像を取得できる点で、第１の実施形態より優れている。
【０１１３】
第２の実施形態のバリエーションを図７を参照して説明する。なお、図６と同一部分には同一符号を付し、異なる部分についてのみ説明する。すなわち、第２の画像に対応する第２の信号の出力を開始するところまでは同じである（ステップＳ３１〜ステップＳ４１）。
【０１１４】
図７では、第２の信号の出力を開始した後、すぐに再びシャッタ１０３を開け（ステップＳ６１）、光電変換部１０４ａの各フォトダイオードＰＤを一斉にリセットし、第３の画像の撮像を開始する（ステップＳ６２）。制御部１１４により設定された時間ｔ２の間、撮像した後（ステップＳ６３）、既に、転送部１０４ｂで第２の信号の出力が終了していれば、直ちに光電変換部１０４ａの各フォトダイオードに蓄積された電荷を転送部１０４ｂへ転送し、転送部１０４ｂは、第３の画像に対応する第３の信号出力を開始する（ステップＳ６５）。
【０１１５】
ステップＳ６３において、もし、時間ｔ２を経た時点で、まだ転送部１０４ｂが第２の信号出力を終了していなければ、その終了を待って、光電変換部１０４ａの各フォトダイオードに蓄積された電荷を転送部１０４ｂへ転送し、転送部１０４ｂは、第３の画像に対応する第３の信号出力を開始する。
【０１１６】
図７に示した動作の利点は、図６の動作に比べ、第１から第３までの３枚の画像を撮る時刻がより近接していることである。図６の動作では、第１と第２の画像の撮像間での物体の動きは無視できるほど小さくなるが、第１および第２の画像と、第３の画像との間にはまだ時間差が大きい。これは第１および第２の画像から作成した奥行き画像と第３の画像（自然画像）の間にずれが生じることを表す。すなわち、奥行き画像を手がかりに手前の物体だけ切り出そうとした場合に、切り出された画像がずれてしまう可能性がある。
【０１１７】
図７に示した動作は、少しでも第３の画像の撮像タイミングを第１および第２のそれに近づけることで、ずれを少なくする効果がある。
【０１１８】
＜第３の実施形態＞
次に、奥行き画像と自然画像の間の撮像タイミングもなるべく近づけることを目的とした、第３の実施形態を説明する。第１、第２の実施形態では、画像を３枚撮像した。第３の実施形態では、２枚の撮像（第１の画像１０７、第２の画像１０８）から、同じように奥行き画像１１０と自然画像（第３の画像１０９）を獲得する。
【０１１９】
図１２は、第３の実施形態に係る画像入力装置の構成例を示したものである。なお、図１と同一部分には同一符号を付し、異なる部分についてのみ説明する。すなわち、図１２では、イメージセンサ１０４で取得する画像は、第１の画像１０７と第２の画像１０８だけである。第３の画像（自然画像）１０９と奥行き画像１１０は、第１、第２の画像から演算部１１１によって生成される。
【０１２０】
次に、図１２の画像入力装置の動作を図１３、図１４に示すタイミングチャートと、図１５に示すフローチャートを参照して説明する。
【０１２１】
なお、ここでは、第１、第２の実施形態と共通する部分の説明は省略し、異なる部分について説明する。また、図１３、図１４は、図６や図３と同様にして、（ａ）図にシャッタ１０３の動作、（ｂ）図にイメージセンサ１０４の中での光電変換部１０４ａの電荷蓄積動作、（ｃ）図にイメージセンサ１０４の（転送部１０４ｂの）出力動作、（ｄ）図にストロボの発光動作を示したものである。
【０１２２】
また、図１５は、図１２の画像入力装置の第３の実施形態に係る処理動作を説明するためのフローチャートであり、この動作は、例えば、制御部１１４がもつＲＯＭ等の記憶手段に記憶されたプログラムに従って、図１２の各構成部を制御することで実現される。
【０１２３】
また、図１３および図１４と、図１５における同じステップには、同じ符号を付している。
【０１２４】
まず使用者による撮影指示（例えば、シャッタボタンの押し下げ）に従い動作がスタートする。シャッタを開いた後（図１５のステップＳ７１）、光電変換部１０４ａの各フォトダイオードＰＤを一斉にリセットし撮像を開始する（ステップＳ７２）。撮像開始直後にストロボ１１２を発光し（ステップＳ７３）、露光時間として制御部１１４により設定された時間ｔ１の間、撮像した後（ステップＳ７４）、この露光時間帯に光電変換部１０４ａの各フォトダイオードに蓄積された電荷を転送部１０４ｂに移し（ステップＳ７５）、それと同時に転送部１０４ｂは、出力動作を開始する（ステップＳ７６）。シャッタ１０３は閉じず、続けて第２の撮像を開始する（ステップＳ７６）。ここまでは、第２の実施形態の例と同じである。
【０１２５】
第２の実施形態では、第２の画像を撮像する際の露光時間は第１の画像を撮像するときの露光時間と同じ時間ｔ１であったが、ここでは、時間ｔ１とは異なる時間ｔ２の露光時間で第２の画像の撮像を行う。
【０１２６】
すなわち、図１３に示すように、制御部１１４により設定された露光時間ｔ２経過した後（ステップＳ７７）、転送部１０４ｂが既に第１の画像に対応する第１の信号の出力が終了していたら（ステップＳ７９）、直ちに光電変換部１０４ａの各フォトダイオードに蓄積された電荷を転送部１０４ｂに転送し（ステップＳ８０）、転送部１０４ｂは、第２の画像に対応する第２の信号の出力を開始する（ステップＳ８１）。そしてシャッタ１０３を閉じる（ステップＳ７８）。
【０１２７】
一方、図１４に示すように、制御部１１４により設定された露光時間ｔ２経過した後（ステップＳ７７）、転送部１０４ｂがまだ第１の画像に対応する第１の信号の出力が終わっていないときには（ステップＳ７９）、いったんシャッタ１０３を閉じ、第２の画像の撮像を終了して（ステップＳ７８）、転送部１０４ｂにおける第１の信号出力が終わるのを待つ。待っている間はシャッタが閉じているので、光電変換部１０４ａでは、もう電荷は蓄積されない。転送部１０４ｂで第１の信号の出力が終わると（ステップＳ７９）、光電変換部１０４の電荷を転送部１０４ｂに転送し（ステップＳ８０）、転送部１０４ｂは、第２の画像に対応する第２の信号の出力を開始する（ステップＳ８１）。
【０１２８】
転送部１０４ｂにて、２枚目の画像（第２の画像）の信号の出力が完了すると、メモリ１０６には、第１の画像１０７、第２の画像１０８が格納されている。その後、演算部１１１が第１の画像１０７と第２の画像１０８を読込み（ステップＳ８２）、これらから奥行き画像１１０と第３の画像（自然画像）１０９を生成する。
【０１２９】
次に、演算部１１１で第１の画像１０７と第２の画像１０８から奥行き画像１１０と第３の画像１０９を生成処理動作について説明する。
【０１３０】
まず撮像されるのは、ストロボ１０３を発光させて、露光時間ｔ１で撮像した第１の画像と、ストロボ１０３発光せずに露光時間ｔ２で撮像した第２の画像である。反射光画像を得るためには、第１、第２の実施形態で説明したように、同じ露光時間で撮像し、一方の画像がストロボ発光により撮像した画像で、他方の画像がストロボ発光せずに撮影した２枚の画像が必要である。そして、この２枚の画像の差分を求めたものが反射光画像であった。しかし、第３の実施形態では、ストロボを発光させて露光時間ｔ１で撮像された第１の画像１０７はあるものの、ストロボを発光させずに露光時間ｔ１で撮像された画像がない。しかし、第２の画像１０８から、計算により、ストロボを発光させずに露光時間ｔ１で撮像された画像を求めることができるのである。
【０１３１】
すなわち、第２の画像の露光時間は時間ｔ２であるのだから、第２の画像の各画素の輝度値に、ｔ１／ｔ２を乗ずることによって、ストロボを発光せずに露光時間ｔ１で撮像した画像とほぼ同じものを求めることができる。よって、反射光画像の各画素をＨ（ｘ，ｙ）、第１の画像１０７の各画素をＧ１（ｘ，ｙ）、第２の画像の各画素をＧ２（ｘ，ｙ）とすると、次式（２）から反射光画像の各画素値を求めることができる。
【０１３２】
Ｈ（ｘ，ｙ）＝Ｇ１（ｘ，ｙ）−（ｔ１／ｔ２）Ｇ２（ｘ，ｙ）  …  （２）
また、第３の画像（自然画像）１０９は、ここでは第２の画像１０８そのものである。
【０１３３】
自然画像は、一般的には第２の画像そのものでよい。しかし、撮影環境が暗すぎる場合は、自然画像として、ストロボ１０３を補助光源として用いた画像が望ましい場合がある。その場合は、第１の画像１０７と第２の画像１０８を足し合わせた結果えられる画像を自然画像とすればよい。この足し合わせた画像は、基本的にストロボ１０３を発光して、露光時間（ｔ１＋ｔ２）で撮像した画像である。従って、この場合には、第２の画像の露光時間ｔ２´として、第１の画像の露光時間ｔ１とこの露光時間ｔ２´を加算したものが全体でｔ２となるように、第２の画像の露光時間ｔ２´を設定するようにしてもよい。
【０１３４】
第３の画像（自然画像）１０９の各素値をＮ（ｘ，ｙ）、第１の画像の各素値をＧ１（ｘ，ｙ）、第２の画像の各画素値をＧ２（ｘ，ｙ）とすると、次式（３）あるいは（４）から第３の画像を算出することができる。
【０１３５】
撮影環境が明るい場合：
Ｎ（ｘ，ｙ）＝Ｇ２（ｘ，ｙ）  …  （３）
撮影環境が暗い場合：
Ｎ（ｘ，ｙ）＝Ｇ１（ｘ，ｙ）＋Ｇ２（ｘ，ｙ）  …  （４）
なお、第１、第２の実施形態においても、撮影環境が暗すぎる場合には、第１の画像と第３の画像を足して、自然画像を作成してもよい。
【０１３６】
＜第４の実施形態＞
上記第１〜第３の実施形態では一般的なＣＣＤイメージセンサを用いて、撮像タイミングを制御することで複数枚の画像を撮像するものであったが、前述したように、２回までも撮像であれば極近い時刻で行えるが、３回目以上は難しい。これは、転送部１０４ｂでの信号出力速度が遅いことに起因する。
【０１３７】
しかし、例えば、光電変換部１０４ｂの各画素に対応して，更に電荷蓄積部が１つ以上設けられていて（全部で複数個の電荷蓄積部が設けられていて）、各画素について複数枚の電荷像を蓄積することができれば、３回の撮像を極近い時刻に行うことも可能になる。
【０１３８】
また、イメージセンサ１０４の転送部１０４ｂは一般的にＣＣＤ（電荷結像素子）で構成されるが、この転送部１０４ｂが２枚以上の電荷像をそれぞれ別個に蓄えて、別個のタイミングで転送することができるような構成にしても３回の撮像を極近い時刻で行うことが可能となる。
【０１３９】
しかし、イメージセンサ１０４をそのような構成にするということは、そのような構成の専用の個体撮像素子を新規開発するということであり、コストの増大を招く。現在非常に広く普及しているデジタルスチルカメラの制御方法を少し変えるだけで非常に大きな効果が得られるようにするためには、やはり、前述の第１〜第３の実施形態にて説明した手法が望ましいといえる。
【０１４０】
＜絞り、シャッタースピード、ストロボ調光などの制御＞
ここで、絞り、シャッタースピード、ストロボ調光、などの制御をどのように行うのか、その一例を示す。ここでは第３の実施形態を例にあげて説明する。従来のデジタルスチルカメラでは、絞り、シャッタースピードなどを自動露出機能により設定されることが多い。もちろん、絞りかシャッタースピードのいずれかを固定し、他方を自動設定したり、ともにマニュアル設定することもできる。今、被写体を適切な露出で撮像するための絞りｆとシャッタースピードｔ０が決められたとする。
【０１４１】
第１の画像１０７を撮像する際には、反射光画像を得るのが目的であるので、ストロボ１０３の発光時間より長い露出時間は必要ない。ストロボ１０３の最大発光時間よりほんの少し大きい値として、時間ｔ１を選ぶ。これは原則として、固定値で良い。絞りはｆをそのまま用いる。
【０１４２】
第１の画像１０７を撮像する際にはストロボ１０３を発光させるが、適切な発光量とする必要がある。ここでは、事前に仮発光し、被写体による反射の量をセンサで捕らえ、ストロボの発光量を調整する、ＴＴＬ調光と呼ばれる方法で調光することができる。
【０１４３】
第２の画像は、それ自体で、自然画像としても用いるので、露光時間ｔ２＝ｔ０となるようにする。絞りもｆのままである。再度露出を微調整して、シャッタを閉じる場合は、ｔ２はｔ０と異なるが、その際には時間ｔ２がどれだけであったか計測しておく。その値がわからないと、反射光画像を求める演算ができないからである。
【０１４４】
これらから、メカニカルシャッタの開放時間は、開放後、光電変換部１０４ｂのリセットを行ってから、時間ｔ１＋ｔ２だけ開いているように制御される。実際にはメカニカルシャッタは閉じるために時間が掛かるため、その分を考慮して適当な値になるようにｔ２を選ぶ。また、時間ｔ２が非常に短く、かつフォーカルプレーンシャッタのように幕が走るタイプのシャッタを用いた場合、幕の閉じ始めと閉じ終わりの時間差から、第２の画像内で明るさが徐々に変わるシェーディングを起こす場合がある。このような場合は、シャッタの閉じる速さから、シェーディングを補正する演算を行う必要がある。
【０１４５】
また、レンズシャッタのように全画素に対し同じタイミングでシャッタ効果を与えるシャッタ方式もあるが、この場合でも、実際にシャッタが開閉する時間を考慮して、ｔ２に相当する値を計算して、（２）式が正しく反射光画像を導くようにする。逆にシャッタ開閉の時間遅れを考慮して、図１４におけるシャッタを閉じ始めるタイミングを決定する。
【０１４６】
反射光画像を求めるために時間ｔ１と時間ｔ２の値が必要であるが、実際にはｔ２を微調整した場合には正確に測定することが難しいこともある。しかし、時間ｔ２がわかっていなくとも反射光画像を計算することもできる。被写体の中にフラッシュが届かないほど遠い背景がどこかに入っていると仮定すると、時間ｔ１と時間ｔ２の比を、第１の画像１０７と第２の画像１０８から求めることができるのである。
【０１４７】
第２の画像１０８の各画素の輝度値を第１の画像１０７の対応する画素の輝度値で割った値を第１の画像１０７の全画素について計算する。するとその値のほぼ最小値をａとすれば、それはｔ１／ｔ２に等しい。したがって、反射光画像は、次式（５）で求められる。ここで、反射光画像の各素値をＨ（ｘ，ｙ）、第１の画像１０７の各素値をＧ１（ｘ，ｙ）、第２の画像の各素値をＧ２（ｘ，ｙ）とする。
【０１４８】
Ｈ（ｘ，ｙ）＝Ｇ１（ｘ，ｙ）−ａ×Ｇ２（ｘ，ｙ）  …（５）
実際には、ノイズの影響などがあるので、ｔ１／１２は厳密には最小値ａにならないことが多い。最小値より少し大きい値を取るとか、ヒストグラムを併用するなどして、ノイズの影響を抑える必要がある。
【０１４９】
第１の画像１０７を撮像する際の露光時間ｔ１は、極短時間でよく、これは、ストロボ１０３の発光時間にほぼ等しい時間である。光源としてストロボを用いる場合には、ストロボの発光時間が一般的には非常に短く１０００分の１から数千分の１秒ぐらいであるため、同じ程度の露光時間で撮像することで、屋外のようなかなり明るい環境であっても、外光の影響を最小限にとどめることができる。逆に言うと、極短時間の撮像というのは、発光手段（例えば、ストロボ１０３）を発光せずに撮像したときに画像の輝度を十分低いレベルに抑えられる露光時間、という意味でもある。
【０１５０】
奥行き画像を求めるための環境が暗かったり、撮像対象物も画像入力装置も静止しているなど、必ずしも１０００分の１から数千分の１秒の露光時間である必要がない場合もある。そのような場合は、時間ｔ１よりも長い露光時間でも十分効果を出すことができる。
【０１５１】
また、上記第１〜第４の実施形態では、発光手段として主にストロボ１０３をもちいて説明したが、それ以外の発光手段を用いてもよい。例えばＬＥＤフラッシュのようなものでもよい。また、光の種類も特に限定する物ではなく、ストロボは主に白色であるが、色の付いた光であっても近赤外のように不可視の光であっても良い。
【０１５２】
また、上記各実施形態では、撮像する画像は静止画像の場合を例にとり、１枚の静止画像を撮像する操作で、実際には３枚あるいは２枚の画像（第１〜第３の画像）を撮像して、奥行き情報を含む画像と自然画像を取得する手法を説明した。しかし、この場合に限らず、動画像にも各実施形態に係る画像入力方法および装置を適用することができる。この場合には、動画像の１フレームを撮像する際に、上記各実施形態で説明したように、３枚あるいは２枚の画像を取得する動作を行い、この動作を動画像の各フレームについて繰り返せばよい。
【０１５３】
以上説明したように、上記第１〜第３の実施形態によれば、従来のデジタルカメラの制御方法を工夫するだけで、奥行き画像もしくは奥行き情報を含む反射光画像と、これら画像に対応した自然画像を簡単に取得することが可能となる。
【０１５４】
また、一般のデジタルカメラのユーザがデジタル写真を楽しむのと同じ程度の手軽さで、奥行き画像を取得できる技術を提供することができる。具体的にはデジタルスチルカメラの１オプション機能として、実現可能なものである。これにより、デジタルカメラユーザの行動の一部として、奥行き情報あるいは奥行き情報を含む画像を取得することができる。
【０１５５】
上記実施形態に係る画像入力装置は、従来のデジタルスチルカメラの構成要素とほぼ同様であり、その制御方法を工夫することで実現可能である。従って、奥行き画像を取得する装置を世間一般に普及させるために多大な貢献をすることが期待できる。
【０１５６】
上記第１の実施形態によれば、従来のデジタルカメラに対し、最もシンプルな制御方法の工夫により、奥行き画像もしくは奥行き情報を含む反射光画像と、これら画像に対応した自然画像の取得を可能とすることができる。
【０１５７】
上記第２の実施形態によれば、比較的動いている被写体を撮影した場合や手ぶれを起こした場合でも、奥行き情報を含む反射光画像あるいは奥行き画像が、その動きに影響されず正しく求められるという効果がある。
【０１５８】
上記第３の実施形態によれば、被写体の動きや手ぶれによって、奥行き情報を含む反射光画像あるいは奥行き画像中の物体と、自然画像中の当該物体の位置ずれが起こるのを防ぐ効果がある。
【０１５９】
本発明の実施の形態に記載した、図４と図５、図８と図９、図１５のフローチャート示したような本発明の手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。
【０１６０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１６１】
【発明の効果】
以上説明したように、本発明によれば、容易にしかも低コストで画像中の物体の奥行き情報あるいは奥行き情報を含む画像を取得することができる。また、一般的なデジタルカメラなどの撮像操作と同じ操作を行うだけで、通常の画像（自然画像）と当該画像中の物体の奥行き情報あるいは奥行き情報を含む画像を取得することができる。
【図面の簡単な説明】
【図１】本発明の第１および第２の実施形態にかかる画像入力装置の構成例を示した図。
【図２】イメージセンサの具体的な構成例を示した図。
【図３】第１の実施形態に係る画像入力装置の主要部の動作タイミングを説明するための図。
【図４】第１の実施形態に係る画像入力装置の動作を説明するためのフローチャート。
【図５】第１の実施形態に係る画像入力装置の動作を説明するためのフローチャート。
【図６】本発明の第２の実施形態に係る画像入力装置の主要部の動作タイミングを説明するための図。
【図７】第２の実施形態に係る画像入力装置の主要部の他の動作タイミングを説明するための図。
【図８】第２の実施形態に係る画像入力装置の動作を説明するためのフローチャート。
【図９】第２の実施形態に係る画像入力装置の動作を説明するためのフローチャート。
【図１０】反射光画像を求める差分演算を説明するための図。
【図１１】反射光画像を求めるために用いた２枚の画像間にすれがある場合に得られる反射光画像について説明するための図。
【図１２】本発明の第３の実施形態に係る画像入力装置の構成例を示した図。
【図１３】第３の実施形態に係る画像入力装置の主要部の動作タイミングを説明するための図。
【図１４】第３の実施形態に係る画像入力装置の主要部の動作タイミングを説明するための図。
【図１５】第３の実施形態に係る画像入力装置の動作を説明するためのフローチャート。
【図１６】従来のデジタルスチルカメラの構成例を説明するための図。
【図１７】従来のデジタルスチルカメラの要部の動作タイミングを説明するための図。
【図１８】従来のデジタルスチルカメラの動作を説明するための図。
【符号の説明】
１０１…レンズ、１０２…絞り、１０３…シャッタ、１０４…イメージセンサ、１０４ａ…光電変換部、１０４ｂ…転送部、１０５…信号処理回路、１０６…メモリ、１０７…第１の画像、１０８…第２の画像、１０９…第３の画像、１１０…奥行き画像、１１１…演算部、１１２…ストロボ、１１４…制御部。
【図１】
2004328657.tif 000003
【図２】
2004328657.tif 000004
【図３】
2004328657.tif 000005
【図４】
2004328657.tif 000006
【図５】
2004328657.tif 000007
【図６】
2004328657.tif 000008
【図７】
2004328657.tif 000009
【図８】
2004328657.tif 000010
【図９】
2004328657.tif 000011
【図１０】
2004328657.tif 000012
【図１１】
2004328657.tif 000013
【図１２】
2004328657.tif 000014
【図１３】
2004328657.tif 000015
【図１４】
2004328657.tif 000016
【図１５】
2004328657.tif 000017
【図１６】
2004328657.tif 000018
【図１７】
2004328657.tif 000019
【図１８】
2004328657.tif 000020