(57)【要約】【課題】  被写体が撮像装置に対して接近、或いは離間する方向へ傾斜している場合でも、その傾斜角に応じて距離を補正することにより、被写体までの距離を更に正確に且つ簡便に計測が可能な撮像装置とそのアルゴリズムを提供する。【解決手段】  この制御部１５は光学系１０から得られる図１の自然光３中でフラッシュ１を使用してフラッシュ光１ａを照射して撮影した画像４ａとフラッシュ１を使用せずに自然光３だけで撮像した画像４ｂの差分を求めて画像４ｃを得るフラッシュ画像取得部２２と、フラッシュ画像取得部２２により得られた画像に基づいて被写体までの距離を演算する撮像画像距離演算部２３と、フラッシュ画像取得部２２により得られた画像に基づいて被写体の傾きを演算する撮像画像傾き演算部２４と、撮像画像傾き演算部２４により演算された被写体の傾き量に基づいて撮像画像距離演算部２３により得られた被写体までの距離を補正する距離補正演算部２５と、を備えて構成される。【選択図】  図３
2006337254.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの撮像光を所定の光路に沿って導く撮像光学系と、該撮像光学系からの撮像光を受光して電気信号に変換する撮像素子と、該撮像素子から出力された電気信号に所要の処理を施す信号処理手段と、該信号処理手段により処理された画像信号を記憶する画像記憶手段と、被写体を照射する光を発光する閃光手段と、前記各手段を制御する制御手段と、を備え、
前記制御手段が自然光により得られる第１の被写体画像と前記自然光中の被写体を前記閃光手段により閃光したときに得られる第２の被写体画像との差分から得られる第３の被写体画像に基づいて撮像装置から被写体までの距離を測定する撮像装置において、
前記制御手段は前記第３の被写体画像に基づいて、当該被写体の傾斜量を演算して当該被写体までの距離を補正することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記撮像光学系から得られる前記第１の被写体画像と前記第２の被写体画像の差分を求めて第３の被写体画像を得る閃光画像取得手段と、該閃光画像取得手段により得られた画像に基づいて当該被写体までの距離を演算する距離演算手段と、前記閃光画像取得手段により得られた画像に基づいて当該被写体の傾きを演算する撮像画像傾き演算手段と、該撮像画像傾き演算手段により演算された前記被写体の傾き量に基づいて前記距離演算手段により得られた当該被写体までの距離を補正する距離補正手段と、を備えたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体上の小領域の光軸に沿ったレンズからの距離は、前記閃光手段の放射強度および対象物体の反射率の平方根に比例し、照度の差分の平方根に反比例することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像光学系から前記撮像素子までの距離をｆ、前記撮像光学系のレンズ直径をｄ、前記被写体表面上の小領域から前記レンズの中心に向かう光線が当該レンズの光軸となす角度をα、前記光線と前記被写体表面の法線となす角度をθ、前記閃光手段の放射強度をＩ、前記閃光手段を使用したときの前記撮像素子上の放射照度をＥFimage、前記閃光手段を使用しなかったときの前記撮像素子上の放射照度をＥNFimageとすると、前記撮像素子上の小領域の放射照度Ｅimage＝ＥFimage−ＥNFimageであり、前記閃光手段の位置を前記レンズの中心と同じ位置であると仮定するとαf=α、θf=θとなり、且つ前記被写体表面が反射率ｒの拡散反射面であると仮定したとき、前記被写体上の小領域の光軸に沿った前記レンズからの距離ｚを、
2006337254.tif 000023
により求めることを特徴とする請求項１、２又は３に記載の撮像装置。
【請求項５】
被写体までの距離を測定する方法において、自然光により得られる第１の被写体画像と自然光中の被写体を前記閃光手段により閃光したときに得られる第２の被写体画像との差分を求めて第３の被写体画像を得る閃光画像取得手順と、該閃光画像取得手順により得られた画像に基づいて当該被写体までの距離を演算する距離演算手順と、前記閃光画像取得手順により得られた画像に基づいて当該被写体の傾きを演算する撮像画像傾き演算手順と、該撮像画像傾き演算手順により演算された前記被写体の傾き量に基づいて前記距離演算手順により得られた当該被写体までの距離を補正する距離補正手順と、を備えたことを特徴とする撮像画像距離測定方法。
【請求項６】
被写体までの距離を計測するために制御手段を、
自然光により得られる第１の被写体画像と自然光中の被写体を前記閃光手段により閃光したときに得られる第２の被写体画像との差分を求めて第３の被写体画像を得る閃光画像取得手段、該閃光画像取得手段により得られた画像に基づいて当該被写体までの距離を演算する距離演算手段、前記閃光画像取得手段により得られた画像に基づいて当該被写体の傾きを演算する撮像画像傾き演算手段、該撮像画像傾き演算手段により演算された前記被写体の傾き量に基づいて前記距離演算手段により得られた当該被写体までの距離を補正する距離補正手段、として機能させることを特徴とする撮像画像距離測定プログラム。
【請求項７】
請求項６に記載の撮像画像距離測定プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体までの距離を測距する機能を備えた撮像装置に関し、さらに詳しくは、被写体の姿勢の傾斜の有無を正確に判別することにより、被写体までの距離を正確に測定することを可能とした技術に関するものである。
【背景技術】
【０００２】
現在、距離計測や形状復元の手法として様々な手法が提案されているが、大がかりな装置や特殊な環境が必要とされるものが多い。例えば、非特許文献１、２に記載の三角測量の原理を利用したステレオ法では、複数台のカメラを用いる方法や、レーザプロジェクタを用いる方法が提案されている。非特許文献２には、異なった照明条件で撮影された複数の画像から形状を求める照度差ステレオ法が開示されているが、光源のコントロールが必要であり、無限遠光源により照明する必要があり、その光源を実環境で実現することが困難であるといった問題がある。また非特許文献２の単画像で観測される陰影から形状を復元するShape-from-Shading法では、単光源のみを必要とするが、照度差ステレオ法と同様に無限遠光源を仮定し、光源のコントロールが必要である。しかし実環境ではこれらの条件を実現することは困難である。また、非特許文献３には安価な装置を利用して三次元形状を復元するものとしてCyber Modelerが開示されている。これは、参照マークが印刷された回転台上に物体を設置し、回転台を回転させながら市販のデジタルカメラで複数枚の画像を撮像し、参照マークからカメラの位置を計算し、全方位の画像を取得することでシルエットから三次元形状を計算するものである。この装置は安価であるが、回転台が必要であり、シルエットを抜き出すために背景紙を設置しなければならないなど環境に制約があるといった問題がある。
また非特許文献４には、カメラの周囲に配置されたＬＥＤから近赤外光を発光し、反射光の強さが物体までの距離にほぼ反比例することを利用して、物体の切り出しや大まかな三次元形状の取得を行う技術について開示されている。
また特許文献１には、設定された露光時間で撮像対象の画像を撮像する撮像手段と、前記撮像対象に光を照射するための発光手段とを具備した画像入力装置において、撮像指示が入力されると、露光時間を第１の時間に設定し、発光手段で撮像対象に光を照射して撮像手段で撮像対象の第１の画像を撮像し、露光時間を第１の時間に設定し、発光手段で撮像対象に光を照射せずに、撮像手段で撮像対象の第２の画像を撮像し、第１の画像と第２の画像の差分を求めて、発光手段で撮像対象に照射した光の当該撮像対象による反射光の強度分布を表す画像であって撮像対象の奥行き情報を含む第３の画像を得る技術について開示されている。
また特許文献２には、反射光画像と自然光画像の両方が取得できる画像取得装置を用いて、この画像取得装置が取得した自然画像から、反射特性情報を抽出して参照し、反射光画像を補正することで、正確な距離情報を取得する技術について開示されている。
【特許文献１】特開２００４−３２８６５７公報
【特許文献２】特開２００３−１８５４１２公報
【非特許文献１】井口征士、佐藤宏介、“三次元画像計測”、昭晃堂、1990
【非特許文献２】B. K. P. Horn著、ＮＴＴヒューマンインタフェース研究所プロジェクトＲＶＴ訳、“ロボットビジョン”、朝倉書店、1993
【非特許文献３】藤村恒太、大上靖弘、寺内智哉、江見哲一、福崎勤、“ディジタルカメラ画像から簡単に３次元データを生成するソフトウェア技術”、SANYO TECHNICAL REVIEW, Vol. 35, No.1, Jun. 2003
【非特許文献４】沼崎俊一、土井美和子、“手振りで気持ちを伝えるインタフェース〜モーションプロセッサ〜”、IPSJ Magazine, Vol.41, No.2, Feb. 2000
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に開示されている従来技術は、被写体に光を照射することにより得られた第１の画像と被写体に光を照射せずに得られた第２の画像との差分から第３の画像を得て、この第３の画像に基づいて距離を計測するものであるが、被写体の反射特性が一様でないために正確に距離を計測できないといった問題がある。
また特許文献２に開示されている従来技術は、特許文献１の課題を解決するために、被写体の反射特性を補正して距離を計測するものであるが、何れの場合も被写体が撮像装置に対して接近、或いは離間する方向へ傾いている場合には距離による照度変化と、傾斜による照度変化との区別をつけることが困難であり、撮像装置と被写体との間の距離を正確に測定できないといった問題がある。
本発明は、かかる課題に鑑み、被写体が撮像装置に対して接近、或いは離間する方向へ傾斜している場合でも、その傾斜角に応じて距離を補正することにより、被写体までの距離を更に正確に且つ簡便に計測が可能な撮像装置とそのアルゴリズムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明はかかる課題を解決するために、請求項１は、被写体からの撮像光を所定の光路に沿って導く撮像光学系と、該撮像光学系からの撮像光を受光して電気信号に変換する撮像素子と、該撮像素子から出力された電気信号に所要の処理を施す信号処理手段と、該信号処理手段により処理された画像信号を記憶する画像記憶手段と、被写体を照射する光を発光する閃光手段と、前記各手段を制御する制御手段と、を備え、前記制御手段が自然光により得られる第１の被写体画像と前記自然光中の被写体を前記閃光手段により閃光したときに得られる第２の被写体画像との差分から得られる第３の被写体画像に基づいて撮像装置から被写体までの距離を測定する撮像装置において、前記制御手段は前記第３の被写体画像に基づいて、当該被写体の傾斜量を演算して当該被写体までの距離を補正することを特徴とする。
本発明は撮像光学系、撮像素子、信号処理手段、画像記憶手段、閃光手段及び制御手段とを備えた撮像装置であって、特に自然光により得られる第１の被写体画像と自然光中の被写体を閃光手段により閃光したときに得られる第２の被写体画像から第３の被写体画像を取得して撮像装置から被写体までの距離を測定する場合、被写体の傾斜量を演算して距離の誤差を補正するものである。
請求項２は、前記制御手段は、前記撮像光学系から得られる前記第１の被写体画像と前記第２の被写体画像の差分を求めて第３の被写体画像を得る閃光画像取得手段と、該閃光画像取得手段により得られた画像に基づいて当該被写体までの距離を演算する距離演算手段と、前記閃光画像取得手段により得られた画像に基づいて当該被写体の傾きを演算する撮像画像傾き演算手段と、該撮像画像傾き演算手段により演算された前記被写体の傾き量に基づいて前記距離演算手段により得られた当該被写体までの距離を補正する距離補正手段と、を備えたことを特徴とする。
本発明の制御手段は、第１の被写体画像と第２の被写体画像の差分を求めて第３の被写体画像を取得し、この画像に基づいて被写体までの距離を演算すると共に、被写体の傾斜を演算し、この傾き量に基づいて被写体までの距離を補正して正確な距離を導き出すものである。
【０００５】
請求項３は、前記被写体上の小領域の光軸に沿ったレンズからの距離は、前記閃光手段の放射強度および対象物体の反射率の平方根に比例し、照度の差分の平方根に反比例することを特徴とする。
被写体上の小領域の光軸に沿ったレンズからの距離は、閃光手段の放射強度および対象物体の反射率の平方根に比例し、照度の差分の平方根に反比例する。
請求項４は、前記撮像光学系から前記撮像素子までの距離をｆ、前記撮像光学系のレンズ直径をｄ、前記被写体表面上の小領域から前記レンズの中心に向かう光線が当該レンズの光軸となす角度をα、前記光線と前記被写体表面の法線となす角度をθ、前記閃光手段の放射強度をＩ、前記閃光手段を使用したときの前記撮像素子上の放射照度をＥFimage、前記閃光手段を使用しなかったときの前記撮像素子上の放射照度をＥNFimageとすると、前記撮像素子上の小領域の放射照度Ｅimage＝ＥFimage−ＥNFimageであり、前記閃光手段の位置を前記レンズの中心と同じ位置であると仮定するとαf＝α、θf＝θとなり、且つ前記被写体表面が反射率ｒの拡散反射面であると仮定したとき、前記被写体上の小領域の光軸に沿った前記レンズからの距離ｚを、
2006337254.tif 000003
により求めることを特徴とする。
反射光は、物体表面法線と視線とのなす角のコサインに比例して弱くなる。従って、面の傾きを考慮しないと計算結果は実際よりも距離が遠い結果になってしまう。そこで本発明のアルゴリズムでは、被写体表面上の小領域からレンズの中心に向かう光線が当該レンズの光軸となす角度αと、光線と被写体表面の法線となす角度θを、距離を導出する式に導入した点である。これにより、被写体の傾斜による照度の変化を補正することができるので、正確な距離を測定することができる。
【０００６】
請求項５は、被写体までの距離を測定する方法において、自然光により得られる第１の被写体画像と自然光中の被写体を前記閃光手段により閃光したときに得られる第２の被写体画像との差分を求めて第３の被写体画像を得る閃光画像取得手順と、該閃光画像取得手順により得られた画像に基づいて当該被写体までの距離を演算する距離演算手順と、前記閃光画像取得手順により得られた画像に基づいて当該被写体の傾きを演算する撮像画像傾き演算手順と、該撮像画像傾き演算手順により演算された前記被写体の傾き量に基づいて前記距離演算手順により得られた当該被写体までの距離を補正する距離補正手順と、を備えたことを特徴とする。
請求項６は、被写体までの距離を計測するために制御手段を、自然光により得られる第１の被写体画像と自然光中の被写体を前記閃光手段により閃光したときに得られる第２の被写体画像との差分を求めて第３の被写体画像を得る閃光画像取得手段、該閃光画像取得手段により得られた画像に基づいて当該被写体までの距離を演算する距離演算手段、前記閃光画像取得手段により得られた画像に基づいて当該被写体の傾きを演算する撮像画像傾き演算手段、該撮像画像傾き演算手段により演算された前記被写体の傾き量に基づいて前記距離演算手段により得られた当該被写体までの距離を補正する距離補正手段、として機能させることを特徴とする。
制御部はＣＰＵにより構成されている。そしてこのＣＰＵはＲＯＭに記憶されたプログラムにより動作される。従って、本発明の撮像画像距離測定プログラムは、閃光画像取得手段、距離演算手段、撮像画像傾き演算手段、及び距離補正手段の一連の機能を実行するように構成されている。
請求項７は、請求項６に記載の撮像画像距離測定プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする。
【発明の効果】
【０００７】
請求項１の発明によれば、特に自然光により得られる第１の被写体画像と自然光中の被写体を閃光手段により閃光したときに得られる第２の被写体画像から第３の被写体画像を取得して、被写体の傾斜による距離の誤差を補正するので、簡易な方法で被写体までの距離を正確に測定することができる。
また請求項２、５では、制御手段は、第１の被写体画像と第２の被写体画像の差分を求めて第３の被写体画像を取得し、この画像に基づいて被写体までの距離を演算すると共に、被写体の傾斜を演算し、この傾き量に基づいて被写体までの距離を補正するので、被写体が傾斜していても明るさを補正して正確な距離を演算することができる。
また請求項３、４では、本発明のアルゴリズムでは、被写体表面上の小領域からレンズの中心に向かう光線が当該レンズの光軸となす角度αと、光線と被写体表面の法線となす角度θを、距離を導出する式に導入したので、被写体の傾斜角に応じて距離を補正した結果を演算することができる。
また請求項６では、本発明の撮像画像距離測定プログラムは、閃光画像取得手段、距離演算手段、撮像画像傾き演算手段、及び距離補正手段の一連の機能を実行するように構成されているので、撮像装置としての基本的な機能のほかに、被写体までの距離を被写体が傾いていても正確に演算することをプログラムにより実行することができる。
また請求項７では、撮像画像距離測定プログラムをコンピュータが読み取り可能な形式で記録媒体に記録することにより、この記録媒体を持ち運ぶことにより何処でもプログラムを稼動することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の距離情報を得る一手法を説明する模式図である。距離情報を得るには、専用の装置や特殊な環境が必要となり手軽に行うことは難しい。そこで本発明では図１に示すように、自然光３中でフラッシュ１を使用してフラッシュ光１ａを照射して撮影した画像４ａと、フラッシュ１を使用せずに自然光３だけで撮像した画像４ｂの差分を取ることにより、自然光３を除去したフラッシュ光１ａのみによる画像４ｃを得ることができる。フラッシュ光１ａからの反射光は距離の二乗に比例して弱くなる。この性質を利用することにより、差分画像４ｃから距離を得ることができる。また、反射光の強度は物体表面の傾きによって変化するが、本発明ではこの補正方法も提案している。本発明により−般的なデジタルカメラを使用して誰でも距離情報を容易に得ることができる。
図２は本発明のデジタルカメラ２の内部の構成を示すブロック図である。同じ構成要素には同じ符号を付して説明する。このデジタルカメラ２は、複数のレンズ、絞り等により構成され、被写体からの撮像光を所定の光路に沿ってＣＣＤ（撮像素子）１１に導く光学系（撮像光学系）１０と、光学系１０からの撮像光を受光して電気信号に変換するＣＣＤ（撮像素子）１１と、ＣＣＤ１１により変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器１２と、Ａ／Ｄ変換器１２により変換されたデジタル信号に所要の処理を施す信号処理回路（信号処理手段）１３と、信号処理回路１３により処理された画像信号を記憶するフレームメモリ（画像記憶手段）１４と、被写体を照射する光を発光するフラッシュ（閃光手段）１と、全ての回路を制御する制御部（制御手段）１５と、を備えて構成される。尚、図２のブロック図では、本発明を説明する主要な部分のみを記載してあり、それ以外の部分は省略している。
【０００９】
次に本発明のデジタルカメラ２の概略動作について説明する。図示しない被写体から反射した光学画像は光学系１０により合焦されてＣＣＤ１１の面に光の強弱となって投影される。ＣＣＤ１１はその光の強弱を２次元的な画像として電気信号の強弱に変換してＡ／Ｄ変換器１２に伝達する。Ａ／Ｄ変換器１２ではその信号を信号レベルに応じて所定のビット（一般的には８ビット）に変換して信号処理回路１３に伝達する。信号処理回路１３ではデジタル信号に基づいてホワイトバランス等の信号処理を行った後にフレームメモリ１４に記憶する。尚、フラッシュ１は被写体が露出不足の時に被写体を照明するために発光される。これら全ての制御は制御部１５により制御される。
図３は図２の制御部の機能ブロック図である。この制御部１５は光学系１０から得られる図１の自然光３中でフラッシュ１を使用してフラッシュ光１ａを照射して撮影した画像４ａ（第１の被写体画像）とフラッシュ１を使用せずに自然光３だけで撮像した画像４ｂ（第２の被写体画像）の差分を求めて画像４ｃ（第３の被写体画像）を得るフラッシュ画像取得部（閃光画像取得手段）２２と、フラッシュ画像取得部２２により得られた画像に基づいて被写体までの距離を演算する撮像画像距離演算部（距離演算手段）２３と、フラッシュ画像取得部２２により得られた画像に基づいてカメラに対して接近、或いは離間する方向への傾きを演算する撮像画像傾き演算部（撮像画像傾き演算手段）２４と、撮像画像傾き演算部２４により演算された被写体の傾き量に基づいて撮像画像距離演算部２３により得られた被写体までの距離を補正する距離補正演算部（距離補正手段）２５と、を備えて構成される。
本発明では、デジタルカメラ２を使用して同じ被写体をフラッシュ光１ａを使用した場合と使用しない場合の２通り撮像し、２枚の画像間での明るさの差を用いて距離計測を行う。即ち、デジタルカメラ２で撮像した画像の画素値は、ＣＣＤ１１上の放射照度に比例している。放射照度は線形性が成り立つので、フラッシュ光１ａを照射して撮像した画像から得た放射照度と、同じ環境下でフラッシュ光１ａを照射せずに撮像した画像から得た放射照度の差をとることによって、フラッシュ光１ａによる反射光だけの放射照度値を得ることができる。反射光の強度が物体との距離の二乗にほぼ比例して弱くなることを利用することで距離情報を取得することができる。本発明はフラッシュ以外の光源環境を知る必要がないので、暗室などの特殊な環境を用意する必要はなく、安価な装置で簡便に距離計測ができるという利点がある。
【００１０】
図４は本発明の距離情報を得る一手法を説明するフローチャートである。図３を参照して説明する。まず光学系１０から得られる図１の自然光３中でフラッシュ１を使用せずに自然光３だけで撮像した画像４ｂ（この画像を画像Ａとする）をメモリに記憶する（Ｓ１）。次に光学系１０から得られる図１の自然光３中でフラッシュ１を使用してフラッシュ光１ａを照射して撮影した画像４ａ（この画像を画像Ｂとする）をメモリに記憶する（Ｓ２）。（尚、画像Ａと画像Ｂの撮影順序は逆でも構わない）そしてフラッシュ画像取得部２２により画像Ｂと画像Ａの差分をとりその画像を画像Ｃとして、メモリに記憶する（Ｓ３）。次にフラッシュ画像取得部２２に記憶された画像Ｃに基づいて撮像画像距離演算部２３により被写体までの距離を演算する（Ｓ４）。またフラッシュ画像取得部２２に記憶された画像Ｃに基づいて撮像画像傾き演算部２４により被写体の傾きを演算する（Ｓ５）。そして距離補正演算部２５により被写体までの距離と被写体の傾きから撮像画像距離演算部２３により演算された被写体までの距離を補正し（Ｓ６）、補正した距離データをデジタルカメラ２の表示部に表示する（Ｓ７）。
【００１１】
図５は本発明のカメラ座標系について説明する図である。図５を参照して距離計算式の導出について説明する。まず本発明では以下の条件を仮定する。
（ａ）物体３２表面の反射は拡散反射のみであり鏡面反射はしない。
（ｂ）フラッシュ１とレンズ３１の中心の位置は等しい。
物体３２上のある１点での放射輝度と、その点に対応するＣＣＤ画像３０上の１点での放射照度との関係を考える。ＣＣＤ画像面３０から距離ｆ離れた直径ｄのレンズ３１を考える。物体３２表面上の小領域の面積をδＯ、対応するＣＣＤ画像３０上の小領域の面積をδＩとする。物体上の小領域δＯからレンズ３１の中心に向かう光線３５が光軸３３と角度αをなし、この光線３５と表面法線３４がなす角度がθであるとする。物体上の小領域δＯが光軸３３に沿ってレンズ３１から距離のところにあるとすると、それに対応する画像小領域の放射照度は次式で与えられる。
2006337254.tif 000004
（１）
ここで、Ｌobjectは物体小領域の放射輝度である。そして双方向性反射率分布関数ρ（θi，φi；θe，φe）を導入すると式（１）は、
2006337254.tif 000005
（２）
となる。ここで、Ｅobjectは物体上の放射照度である。ここで双方向性反射率分布関数とは、ある視線方向（θi，φe）と光の照射方向（θi，φi）に対する表面の反射特性を表したもの、つまり放射照度に対する放射輝度の比率を表す関数である。
【００１２】
次に光源がフラッシュのみの場合を考える。フラッシュの放射強度をＩとすると、物体上におけるフラッシュ光による放射照度は、
2006337254.tif 000006
（３）
となる。ここで、θfはフラッシュから物体小領域δＯへ向かう光線３５と表面放線３４とがなす角である。また、δωはフラッシュから物体上の微小領域を見たときの立体角で、
2006337254.tif 000007
（４）
と表わせる。式（３）、（４）を考慮すると式（２）は、
2006337254.tif 000008
（５）
となる。
【００１３】
フラッシュを使用したときの画像上の放射照度をＥFimage、フラッシュを使用しなかったときの画像上の放射照度をＥNFimageとすると、Ｅimage＝ＥFimage−ＥNFimageである。
ここで、フラッシュの位置はレンズの中心と同じ位置であると仮定しているので、αf＝α、θf＝θとおける。また、物体表面が反射率ｒの拡散反射面であると仮定すると、双方向性反射率分布関数は、
2006337254.tif 000009
（６）
であるので式（５）より、
2006337254.tif 000010
（７）
を得る。
式（７）より、距離はフラッシュの放射強度および対象物体の反射率の平方根に比例し、照度の差分の平方根に反比例することがわかる。先に述べたようにＣＣＤ面３０の放射照度と画像の輝度値は比例するので、２枚の画像の差分から距離を求めることができる。
しかし、θが未知数であるのでこの段階では距離を求めることはできないので、面法線の推定を行なう。式（７）において、視線方向と物体表面の法線とがなす角θが未知数であるので、これを推定する必要がある。
【００１４】
図６はθを推定する場合の説明図である。ＣＣＤ３０上の第ｉ画素と第ｉ＋１画素に写っている物体上の点をそれぞれＰi、Ｐi+1とし、レンズ中心からＣＣＤ３０上の第ｉ画素と第ｉ＋１画素へのベクトルをそれぞれαi、αi+1、画像の差分により得たフラッシュのみによる放射照度をそれぞれＥi、Ｅi+1とする。また、物体の表面は局所的に平面であると仮定し法線ベクトルをｎとする。ここでベクトル
2006337254.tif 000011
は、
2006337254.tif 000012
（８）
と表せる。ＰiＰi+1とｎは垂直なので、
2006337254.tif 000013
（９）
である。これより、
2006337254.tif 000014
（１０）
を得る。また、
2006337254.tif 000015
（１１）
と表せることから、
2006337254.tif 000016
（１２）
を得る。式（１２）を式（１０）へ代入すると、
2006337254.tif 000017
（１３）
となる。式（７）より、
2006337254.tif 000018
（１４）
を得るので、式（１３）と式（１４）を連立すると、
2006337254.tif 000019
（１５）
となる。右辺をａと置くと、
2006337254.tif 000020
（１６）
となり、
2006337254.tif 000021
はａを用いて、
2006337254.tif 000022
（１７）
と表せる。カメラの視野角が１８０［ｄｅｇ］を超えない限りｚiは負であり、通常は１８０［ｄｅｇ］未満であるので、式（１７）から既知の情報のみで物体表面に平行なベクトルの向きが得られることになる。
この方法を用いて、注目する画素の四近傍でそれぞれ面に平行なベクトルを求め、それらの外積から三次元での面法線を求めることによりθの推定が可能になる。
【００１５】
（実施例１）
対象物として図７に示すホワイトスクリーン（ＳＡＮＹＯ  ＫＡ−ＬＣＶ−１０１ＫＺ）を約１．５５［ｍ］離れた位置で正面から撮像した。ホワイトスクリーン３５は反射特性が均等な拡散反射に近く、図５で説明した仮定（ｂ）に対して適当な対象である。結果を図８に示す。図８（ａ）はｘ−ｚ軸からみた結果であり、図８（ｂ）はｘ−ｙ−ｚ軸からみた結果である。この結果より、ばらつきはあるもののほぼ平面上に分布していることがわかる。このばらつきの主な原因は、ノイズが完全に除去できていないことであると考えられる。また中心付近にやや突出した部分があるが、これは鏡面反射成分の影響によるものと考えられる。
（実施例２）
次に同じ対象物を正面から３０［ｄｅｇ］傾いた位置から撮像した。中心との距離は実施例１と同じである。結果を図９に示す。図９（ａ）はｘ−ｚ軸からみた結果であり、図９（ｂ）はｘ−ｙ−ｚ軸からみた結果である。反射光は物体表面法線と視線とのなす角のコサインに比例して弱くなる。よって、面の傾きを考慮しないと計算結果は実際よりも距離が遠い結果になってしまう。本発明では、図５で説明した傾きを考慮する部分を含んでいるので、この部分の有効性の検証のためこの実験を行った。結果を図９に示す。実施例１の結果よりもややばらつきが大きくなっているが、中心の距離はほぼ同じであり、３０［ｄｅｇ］傾いた平面に近い位置に分布していることがわかる。実施例１よりもばらつきが大きくなった原因としては、隣接画素との照度比で面法線を推定しているために、同じノイズ強度でも面の傾きが大きいときにノイズの影響が強くなってしまうことが考えられる。
【００１６】
本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の撮像装置を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
なお、プログラムを格納する記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。
また市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等を介して接続されたサーバコンピュータの記憶装置にプログラムを格納しておき、インターネット等を通じて他のコンピュータに転送することもできる。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
なお、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムを、コンピュータに接続した記録媒体にインストールし、そのインストールされたプログラムを実行することによって上述した実施形態の機能が実現される。
【００１７】
以上の通り本発明によれば、特に自然光により得られる第１の被写体画像４ｂと自然光中の被写体をフラッシュ１により閃光したときに得られる第２の被写体画像４ａから第３の被写体画像４ｃを取得して、被写体の傾斜による距離の誤差を補正するので、簡易な方法で被写体までの距離を正確に測定することができる。
また、制御部１５は、第１の被写体画像４ｂと第２の被写体画像４ａの差分を求めて第３の被写体画像４ｃを取得し、この画像に基づいて被写体までの距離を演算すると共に、被写体の傾斜を演算し、この傾き量に基づいて被写体までの距離を補正するので、被写体が傾斜していても明るさを補正して正確な距離を演算することができる。
また、本発明のアルゴリズムでは、被写体表面上の小領域σＯからレンズ３１の中心に向かう光線３５が当該レンズ３１の光軸３３となす角度αと、光線３５と被写体表面の法線３４となす角度θを、距離を導出する式に導入したので、被写体の傾斜角に応じて距離を補正した結果を演算することができる。
また、本発明の撮像画像距離測定プログラムは、フラッシュ画像取得部２２、撮像画像距離演算部２３、撮像画像傾き演算部２４、及び距離補正演算部２５の一連の機能を実行するように構成されているので、デジタルカメラとしての基本的な機能のほかに、被写体までの距離を被写体が傾いていても正確に演算することをプログラムにより実行することができる。
また、撮像画像距離測定プログラムをコンピュータが読み取り可能な形式で記録媒体に記録することにより、この記録媒体を持ち運ぶことにより何処でもプログラムを稼動することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の距離情報を得る一手法を説明する模式図である。
【図２】本発明のデジタルカメラ２の内部の構成を示すブロック図である。
【図３】本発明の制御部の機能ブロック図である。
【図４】本発明の距離情報を得る一手法を説明するフローチャートである。
【図５】本発明のカメラ座標系について説明する図である。
【図６】本発明のθを推定する場合の説明図である。
【図７】実施例に使用したホワイトスクリーンの図である。
【図８】実施例１の結果を示す図である。
【図９】実施例２の結果を示す図である。
【符号の説明】
【００１９】
１  フラッシュ、１ａ  フラッシュ光、３  自然光、４ａ  画像（第１の被写体画像）、４ｂ  画像（第２の被写体画像）、４ｃ  画像（第３の被写体画像）、１０  光学系、１５  制御部、２２  フラッシュ画像取得部（閃光画像取得手段）、２３  撮像画像距離演算部（距離演算手段）、２４  撮像画像傾き演算部（撮像画像傾き演算手段）、２５  距離補正演算部（距離補正手段）
【図１】
2006337254.tif 000024
【図２】
2006337254.tif 000025
【図３】
2006337254.tif 000026
【図４】
2006337254.tif 000027
【図５】
2006337254.tif 000028
【図６】
2006337254.tif 000029
【図７】
2006337254.tif 000030
【図８】
2006337254.tif 000031
【図９】
2006337254.tif 000032