(57)【要約】【課題】画像処理において、いわゆる光源変動画像を、簡易な設備において、取得可能にする。【解決手段】輝度が時間的に変化する光源下において、撮像装置によって、同一の被写体について、複数回、撮像を行う（Ｓ１１）。撮像された複数の画像における複数の対応点についてそれぞれ輝度値の時間変化を検出し（Ｓ１２）、各対応点の輝度値の時間変化を用いて、複数の画像の光源状況が互いに異なっているか否かを判断し（Ｓ４１）、光源状況が異なっている画像を光源変動画像として保持する（Ｓ４２）一方、それ以外の画像を破棄する（Ｓ４３）。【選択図】図３２
2008135073.tif 000002
【特許請求の範囲】
【請求項１】
輝度が時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像ステップと、
前記撮像ステップにおいて撮像された複数の画像を用いて、画像処理を行う画像処理ステップとを備え、
前記画像処理ステップは、
前記複数の画像における複数の対応点について、それぞれ、輝度の変化幅を求めるステップと、
前記各対応点について求めた輝度変化幅を用いて、前記光源との距離に基づいた領域分割を行うステップとを備えたものである
ことを特徴とする画像処理方法。
【請求項２】
輝度が時間的に変化する光源下において、撮像装置によって、同一の被写体について、複数回、撮像を行う撮像ステップと、
前記撮像ステップにおいて撮像された複数の画像における複数の対応点について、それぞれ、輝度値の時間変化を検出する輝度変化検出ステップと、
前記各対応点の輝度値の時間変化を用いて、前記複数の画像の光源状況が互いに異なっているか否かを判断し、前記複数の画像のうち、光源状況が異なっている画像を光源変動画像として保持する一方、それ以外の画像を破棄する画像判断ステップとを備えた
ことを特徴とする画像処理方法。
【請求項３】
請求項２において、
前記光源の輝度を、光源制御装置によって、時間的に変化するように制御する光源制御ステップを備えた
ことを特徴とする画像処理方法。
【請求項４】
輝度が時間的に変化する光源下において、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像装置と、
前記撮像装置によって撮像された複数の画像を用いて、画像処理を行う画像処理装置とを備え、
前記画像処理装置は、
前記複数の画像における複数の対応点について、それぞれ、輝度の変化幅を求め、
前記各対応点について求めた輝度変化幅を用いて、前記光源との距離に基づいた領域分割を行うものである
ことを特徴とする画像処理システム。
【請求項５】
輝度が時間的に変化する光源下において、同一の被写体について、複数回、撮像を行う撮像装置と、
前記撮像装置によって撮像された複数の画像における複数の対応点について、それぞれ、輝度値の時間変化を検出する輝度変化検出部と、
前記各対応点の輝度値の時間変化を用いて、前記複数の画像の光源状況が互いに異なっているか否かを判断し、前記複数の画像のうち、光源状況が異なっている画像を光源変動画像として保持する一方、それ以外の画像を破棄する画像判断部とを備えた
ことを特徴とする画像処理システム。
【請求項６】
コンピュータに画像処理を実行させるプログラムであって、
輝度が時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像ステップと、
前記撮像ステップにおいて撮像された複数の画像を用いて、画像処理を行う画像処理ステップとをコンピュータに実行させるものであり、
前記画像処理ステップは、
前記複数の画像における複数の対応点について、それぞれ、輝度の変化幅を求めるステップと、
前記各対応点について求めた輝度変化幅を用いて、前記光源との距離に基づいた領域分割を行うステップとを備えたものである
ことを特徴とする画像処理プログラム。
【請求項７】
コンピュータに画像処理を実行させるプログラムであって、
輝度が時間的に変化する光源下において、撮像装置によって、同一の被写体について、複数回、撮像を行う撮像ステップと、
前記撮像ステップにおいて撮像された複数の画像における複数の対応点について、それぞれ、輝度値の時間変化を検出する輝度変化検出ステップと、
前記各対応点の輝度値の時間変化を用いて、前記複数の画像の光源状況が互いに異なっているか否かを判断し、前記複数の画像のうち、光源状況が異なっている画像を光源変動画像として保持する一方、それ以外の画像を破棄する画像判断ステップとをコンピュータに実行させる
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば家庭内などの一般生活空間を想定した場合における、画像撮像および画像処理に関するものである。
【背景技術】
【０００２】
今日、家庭内などの一般生活環境において、物理支援ロボットの実用化が望まれている。このようなロボットを実用化するためには、対象物の位置や姿勢の検出、対象物の認識、対象物の動き検出、環境の認識等の処理が必要である。
【０００３】
このような処理を行うために、従来から、カメラを用いる方法が広く用いられている。これは、カメラで撮像された画像に対し、例えばパターンマッチングやオプティカルフロー検出、特徴点抽出といった画像処理を適用することによって、実現される。
【０００４】
家庭内のような一般生活環境では、光源変動による鏡面反射・影の影響によって、これらの画像処理の精度や検出率が劣化することが知られている。そこで、例えば画像の線形化など、２色性反射モデルやLambertianモデルといった反射モデルを利用した、光源変動の影響にロバストな画像処理が研究されている（例えば、非特許文献１，２）。
【０００５】
非特許文献１では、屋外環境において、観測される物体の色は、時間変動が生じない全天空光成分と、雲によって太陽直射光が遮られ、明るさが急激に変化する太陽直射光成分とから成るものと考える。そして、移動物体を検出するために背景差分法を行う際、時間変化が大きい太陽直射光成分の混合率を推定することにより、影や光源の輝度変化の影響を受けない移動物体の検出を実現している。
【０００６】
非特許文献２では、光源位置が変化した複数枚の画像を利用し、鏡面反射や影を含まない拡散反射のみの合成画像である線形化画像を作成する。このような線形化画像を利用することによって、鏡面反射の影響を受けない画像処理が実現される。
【非特許文献１】奥村晃弘，岩井儀雄，谷内田正彦  “屋外における移動物体の検出  --照明変動と影への対策--”, 画像の認識・理解シンポジウム(MIRU2000),  vol.II, pp.307-312, 2000
【非特許文献２】石井育規，福井孝太郎，向川康博，尺長健“光学現象の分類に基づく画像の線形化”，情報処理学会論文誌, vol.44, no. SIG5 (CVIM6), pp.11-21, 2003
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような光学モデルを利用した画像処理手法の多くは、光源の位置や輝度が異なった複数枚の画像を必要とする。例えば、非特許文献１では、全天空光成分と太陽直射光成分を推定するために、太陽直射光成分の輝度のみが異なった２枚以上の画像が必要である。また、非特許文献２では、光源位置が異なった４枚以上の画像が必要である。
【０００８】
このような光源の輝度や位置が異なった複数枚の画像を、本願明細書では「光源変動画像」と呼ぶ。通常、このような光源変動画像を撮像するためには、光源の位置や輝度を変更し、その変更に同期させて画像を撮像する必要があった。ところがこの方法では、光源とカメラとの間で同期を取る必要があり、システムが大規模になり、撮像コストが増大するといった問題があった。
【０００９】
図３６は光源変動画像を撮像するための従来の撮像システムの例である。まず、被写体２０１と撮像装置２０２を固定し、被写体２０１の周りにレール２０３を張り巡らす。光源２０４はレール２０３上の様々な位置に固定することができる。撮像装置２０２は光源２０４の位置変化または輝度変化に同期して撮像を行うことによって、光源変動画像を撮像することができる。しかしこのシステムでは、被写体２０１を覆うレール２０３を配置する必要があるため、システムが非常に大がかりなものになってしまう。特に被写体２０１が大きい物である場合、システムの設置は極めて困難になる。また、撮像装置２０２は光源２０４の位置変化や輝度変化に同期して撮像を行う必要があるため、制御が複雑になり、撮像に要する時間も大きくなってしまう。
【００１０】
最近では、大仏や建物などをデジタルアーカイブとして記録するために、または、オフィス内や家庭内の環境をコンピュータグラフィック（ＣＧ）として表示するために、光源の位置や輝度が変化した複数枚の画像を撮像する必要があることがある。このように被写体が非常に大きい場合、図３６の方法では撮像が非常に困難になる。
【００１１】
また、光源の位置情報が未知でも構わない画像処理（例えば、画像の線形化）を行う場合、図３７のように、撮像者または撮像ロボット２０５が、光源２０４を稼動部である手に持ち、光源２０４を移動させながら撮像装置２０２によって撮像を行うことも可能である。ところが、カメラの位置を固定した状態で光源を動かす、という複雑な操作が必要であり、やはり、撮像に要する時間が大きくなるという問題があった。
【００１２】
前記の問題に鑑み、本発明は、画像処理において、いわゆる光源変動画像を、簡易な設備において、取得可能にすることを課題とする。
【課題を解決するための手段】
【００１３】
本発明は、輝度が時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行い、撮像された複数の画像を用いて、画像処理を行うものである。
【００１４】
本発明によると、輝度が時間的に変化する光源を利用して、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件を設定して、複数の画像を撮像する。これによって、いわゆる光源変動画像が、大規模なシステムや複雑な操作を必要とすることなく、容易に取得できる。
【００１５】
また、本発明は、輝度が時間的に変化する光源下において、撮像装置によって、同一の被写体について、複数回、撮像を行い、撮像された複数の画像における複数の対応点についてそれぞれ輝度値の時間変化を検出し、各対応点の輝度値の時間変化を用いて、複数の画像の光源状況が互いに異なっているか否かを判断し、光源状況が異なっている画像を光源変動画像として保持する一方、それ以外の画像を破棄するものである。
【００１６】
本発明によると、輝度が時間的に変化する光源を利用して、撮像装置によって、複数の画像を撮像する。そして、複数の画像における各対応点の輝度値の時間変化を用いて、光源状況が異なっている画像のみを、光源変動画像として保持する。これによって、いわゆる光源変動画像が、大規模なシステムや複雑な操作を必要とすることなく、容易に取得できる。
【発明の効果】
【００１７】
本発明によると、例えば家庭内のような一般生活環境において、非常に簡単な装置で、光源の位置や輝度が異なったいわゆる光源変動画像を容易に撮像することができる。このような画像を利用することによって、一般生活環境においても、影や光源の輝度変化の影響を受けない画像処理を行うことができる。
【発明を実施するための最良の形態】
【００１８】
本発明の第１態様では、輝度が時間的に変化する光源下において、撮像装置によって、光源状況が異なる複数の画像が撮像可能となる撮像条件で、同一の被写体について、複数回、撮像を行う撮像ステップと、前記撮像ステップにおいて撮像された複数の画像を用いて、画像処理を行う画像処理ステップとを備え、前記画像処理ステップは、前記複数の画像における複数の対応点についてそれぞれ輝度の変化幅を求めるステップと、前記各対応点について求めた輝度変化幅を用いて、前記光源との距離に基づいた領域分割を行うステップとを備えた画像処理方法を提供する。
【００１９】
本発明の第２態様では、輝度が時間的に変化する光源下において、撮像装置によって、同一の被写体について複数回撮像を行う撮像ステップと、前記撮像ステップにおいて撮像された複数の画像における複数の対応点について、それぞれ、輝度値の時間変化を検出する輝度変化検出ステップと、前記各対応点の輝度値の時間変化を用いて、前記複数の画像の光源状況が互いに異なっているか否かを判断し、前記複数の画像のうち、光源状況が異なっている画像を光源変動画像として保持する一方、それ以外の画像を破棄する画像判断ステップとを備えた画像処理方法を提供する。
【００２０】
本発明の第３態様では、前記光源の輝度を、光源制御装置によって、時間的に変化するように制御する光源制御ステップを備えた前記第２態様の画像処理方法を提供する。
【００２１】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２２】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理方法を実現するための構成を示す図である。図１において、被写体ＯＢは、輝度が時間的に変化する複数の光源１１によって照明されており、カメラなどの撮像装置２０によって、複数回、連続して撮像される。このとき、光源状況が異なる複数の画像が撮像可能となるように、露光時間、撮像タイミング、撮像周期などの撮像条件が設定される。撮像された複数の画像は画像処理装置３０に送られ、画像処理装置３０によって、影領域推定などの画像処理が実行される。撮像装置２０および画像処理装置３０によって、本発明に係る画像処理システムが構成されている。
【００２３】
図２は本実施形態に係る画像処理方法の処理を示すフローチャートである。図１に示した撮像装置２０は、位置が固定した、輝度が時間的に変化する複数の光源１１に照射された被写体ＯＢを、光源１１の輝度変化周期よりも短い露光時間を撮像条件として、複数回撮像する（ステップＳ１１）。このようにして撮像された複数の画像は、光源状況が時系列的に異なっている。画像処理装置３０はまず、撮像された複数の画像から輝度の時間変化を検出し（ステップＳ１２）、検出した輝度時間変化を用いて、画像中の影領域を推定する（ステップＳ１３）。さらに、推定した影領域の情報を用いて、画像の線形化を実施し、鏡面反射や影を含まない拡散反射成分のみの線形化画像を合成する。または、光学特性に基づく領域分割を行う（ステップＳ１４）。ステップＳ１１が撮像ステップに対応し、ステップＳ１２〜Ｓ１４が画像処理ステップに対応している。これらの処理を、順に詳しく説明する。
【００２４】
まず、ステップＳ１１において、位置が固定した、輝度が時間的に変化する複数の光源１１に照射された被写体ＯＢを、撮像装置２０によって、光源１１の輝度変化周期よりも短い露光時間を撮像条件として、複数回撮像する。
【００２５】
本実施形態において用いられる光源１１として、例えば蛍光灯が挙げられる。蛍光灯は、家庭内の光源として広く用いられている。蛍光灯の発光の原理は次のとおりである。ランプ両端に電圧を印加すると、電極から放出された電子が加速されて水銀と衝突する。衝突によって励起された水銀は紫外線を発生し、その紫外線が蛍光体で可視光に変換される。このような原理から、交流駆動の蛍光灯ではその交流周波数に応じて発光と減光とが繰り返され、この結果、輝度に時間変化が生じる。
【００２６】
交流周波数は、東日本で５０Hz、西日本で６０Hzであるため、蛍光灯の明滅周波数はそれぞれ１００Hz、１２０Hzとなり、人間の目では通常は観測されない。
【００２７】
しかし、露光時間を蛍光灯の明滅周期よりも短くし、撮像タイミング（撮像周期）を明滅周波数とずらすように設定すると、たとえ対象物が静止し、かつ、カメラ位置が固定であっても、輝度が時間的に変化する画像が撮像される。このような輝度変化はフリッカーとして知られており、従来から画像処理においては、大きな問題と考えられていた（例えば、特開平２−１３５９８６号を参照）。これに対して本実施形態では、画像処理の障害と考えられているフリッカーを逆に利用することによって、従来、取得が非常に困難であった、照明の輝度や位置などの光源状況が異なるいわゆる光源変動画像を、容易に撮像できるようにしている。
【００２８】
図３はフリッカーの発生を説明するためのグラフであり、蛍光灯照明下での被写体のある一点の輝度変化Ａ１を示している。縦軸は輝度、横軸は時間である。また、Ａ２は撮像タイミング（時間ｔａ１〜ｔａ１１）、Ａ３は露光時間である。このとき、図４のように、観測される輝度値Ａ４は時間によって変化する。すなわち、実際に撮像される輝度値Ａ４は、各撮像時刻ｔａ１〜ｔａ１１での露光時間Ａ３における輝度変化Ａ１の積分値として求められる。
【００２９】
そこで、露光時間を光源の輝度変化周期に対して十分短い時間に設定して撮像を行うことによって、輝度が時間的に変化する画像を撮影することができる。通常の蛍光灯は、交流周波数の２倍の周期で輝度変動が生じる。すなわち、蛍光灯の明滅周波数は、東日本で１００Hz、西日本で１２０Hzであるから、露光時間を、１／１００secまたは１／１２０secに対して十分に短い時間、例えば２msecに設定すればよい。また、露光時間はカメラの最速シャッタースピード、例えば１msecに設定してもかまわない。
【００３０】
また図５に示すように、撮像タイミングＡ５は、光源の輝度変化Ａ１の位相と一致しないように、例えば、ランダムに設定するのが好ましい（時間ｔｂ１〜ｔｂ１１）。これは例えば、乱数発生を利用したプログラムなどにより設定すればよい。この結果、輝度値Ａ６が得られる。
【００３１】
なおここでは、光源１１として蛍光灯を例にとって説明したが、もちろん、光源１１は蛍光灯に限られるものではない。例えば、ＬＥＤやディスプレイを光源１１として利用してもかまわない。
【００３２】
ＬＥＤ照明は、その明るさや高寿命性から、近年、急速に広がってきている。家庭内でも、現在広く用いられている蛍光灯に置き換わる可能性を秘めており、最近では「ＬＥＤベースダウンライト」などの商品も販売されている。さらに、ＬＥＤ光源を人間の目ではわからないほどの速度で点滅させてデータを送信する、いわゆる可視光通信の研究も始まっている（例えば、「春山真一郎，“可視光通信”，電子情報通信学会論文誌Ａ，ｖｏｌ．Ｊ８６−Ａ，Ｎｏ．１２，ｐｐ．１２８４−１２９１，２００３」を参照）。このため、撮像装置２０の露光時間をＬＥＤの点滅周期よりも短くすることによって、輝度が時間的に変化する、いわゆる光源変動画像を撮像することができる。すなわち、本実施形態の画像処理方法は、将来、現在主流の蛍光灯照明がＬＥＤ照明に置き換わった場合においても、同様に実現できる。
【００３３】
また、最近では、デジタルビデオカメラなどにおいて、通常は画像出力用として用いられる液晶モニターをライトパネルとして利用する、「０Ｌｕｘカラーナイトビュー」と呼ばれる技術が搭載されている。このようなビデオカメラを利用する場合にも、上述の処理は大変有効である。
【００３４】
また、パソコンに接続された液晶ディスプレイやブラウン管ディスプレイは、垂直同期周波数６０Hz程度で画面の書き換えが行なわれている。言い換えると、垂直同期周波数に対応する周期で画面の輝度が変化している。このため、これらのディスプレイを光源１１として利用した場合でも、同様にして、光源状況が異なる複数の画像を撮像することができる。
【００３５】
また、プラズマディスプレイは、輝度が異なる複数のサブフィールド画像の組合せによって階調を表示しているため（例えば、「徳永勉, 中村英人, 鈴木雅博, 三枝信彦，“ＡＣ型ＰＤＰの新駆動法の開発”，ＰＩＯＮＥＥＲ  Ｒ＆Ｄ，ｖｏｌ．１１，Ｎｏ．１，ｐｐ．１７−２３，２００３」を参照）、本来、各画素はＯＮ−ＯＦＦの２値変動を行っている。しかし、各画素は非常に小さいため、プラズマディスプレイは、画素が集まった光源として扱える。このため、静止画を表示している場合であっても、露光タイミングを変化させることによって、輝度が時間的に変化する。したがって、プラズマディスプレイを光源１１として利用した場合でも、同様にして、光源状況が異なる複数の画像を撮像することができる。
【００３６】
図２に戻り、ステップＳ１２において、ステップＳ１１で撮像装置２０によって撮像された、光源状況が異なる複数の画像から、各対応点における輝度の時間変化を検出する。ここで、撮像装置２０の位置が固定されている場合、画像処理装置３０は、撮像された複数の画像において、画素ごとに輝度変化を検出すればよい。
【００３７】
なお、本実施形態では、撮像装置２０の位置が固定されている必要はない。例えば、カメラが移動する場合、画像上の特徴点を追跡し、複数の画像間での対応点を特定し、この対応点での輝度変化を検出すればよい。このような特徴点抽出や特徴点追跡の手法としては、例えば、HarrisオペレータやＫＬＴ（Kanade-Lucas-Tomasi） Feature Tracker（「Jianbo Shi and Carlo Tomasi. Good Features to Track. IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600, 1994」を参照）などが知られている。
【００３８】
また、ステップＳ１２において、画像処理装置３０が検出する対象は、必ずしも、画像上の輝度変化でなくてもかまわない。例えば、画像上の各対応点のＲＧＢ値といった色ベクトル情報の変化を検出するようにしてもかまわない。
【００３９】
そしてステップＳ１３において、ステップＳ１２で検出した輝度の時間変化情報を用いて、画像内の影領域の推定を行う。
【００４０】
ここで、光源が単一の点光源であり、かつ外光が存在しない場合、影領域の輝度値は０となる。このような場合、輝度値を閾値として領域分割することにより、影領域を推定することができる。しかし、光源が複数存在する場合、ある光源からは光が届かず影になるが、別の光源からは光が届くため輝度値が０にならないという領域が、数多く存在する。このような影領域に関しては、上述したような単に閾値を利用する手法では、推定が非常に困難である。
【００４１】
図６は光源が複数存在する場合における影領域を示す図である。図６において、被写体ＯＢに対して、２個の光源Ａ１１ａ、光源Ｂ１１ｂが光を照射している。撮像装置２０は被写体ＯＢをその上方から撮像している。まず、影領域Ａでは、光源Ａ１１ａからの光が届かないために影が生じている。仮に、光源Ａ１１ａのみが被写体ＯＢを照らしている場合には、影領域Ａの輝度値は０となるが、実際には光源Ｂ１１ｂからの光が届いている。また、影領域Ｂでは、仮に、光源Ｂ１１ｂのみが被写体ＯＢを照らしている場合、輝度値は０になるが、実際には光源Ａ１１ａからの光が届いている。このように、２個の光源Ａ１１ａ、光源Ｂ１１ｂが点灯している場合、影領域Ａ、Ｂともに輝度値は０にならない。すなわち、影領域の推定が困難になる。
【００４２】
ここで、光源Ａ１１ａ、光源Ｂ１１ｂはＬＥＤ光源であり、互いに異なる周波数で点滅しているものと仮定する。光源Ａ１１ａ、光源Ｂ１１ｂの点滅の角周波数をそれぞれωＡ、ωＢとすると、その輝度ＩＡ、ＩＢはそれぞれ次の式で表される。
【数１】
2008135073.tif 000003
ここで、ＥＡ、ＥＢは光源Ａ１１ａ、光源Ｂ１１ｂにおける輝度の振幅の大きさ、ｔは時間、θＢは光源Ａ１１ａ、光源Ｂ１１ｂの点滅の位相差を示している。ここで、撮影環境内では光源Ａ１１ａ、光源Ｂ１１ｂ以外に光源は存在しないと仮定すると、撮影画像上の画素ｐでの輝度値Ｉｐは次のように時間的に変化する。
【数２】
2008135073.tif 000004
ここで、ＥｐＡ、ＥｐＢはそれぞれ、画素ｐにおける光源Ａ１１ａ、光源Ｂ１１ｂの寄与度を表現した定数であり、画素ｐの法線方向、各光源からの光の入射角、各光源から被写体ＯＢまでの距離、ＥＡ、ＥＢおよび反射率などに依存する。
【００４３】
さらに、ステップＳ１２において検出した各画素における輝度の時系列データに対してＦＦＴ（Fast Fourier Transform）を行うと、（式２）から、光源Ａ１１ａと光源Ｂ１１ｂの輝度変化に対応した周波数成分が求まる。図６において、領域Ｃ，Ｄ，Ｅのように２個の光源Ａ１１ａ、光源Ｂ１１ｂの両方から光が届いている領域では、この２つの周波数成分がいずれも検出される。一方、光源Ａ１１ａによって影が生じている影領域Ａでは、（式２）において、
ＥｐＡ＝０
となるため、一方の周波数成分しか検出されない。同様に、光源Ｂ１１ｂによって影が生じている影領域Ｂでは、（式２）において、
ＥｐＢ＝０
となるため、やはり一方の周波数成分しか検出されない。すなわち、画像の各点ごとに周波数解析を行い、検出されるスペクトルの個数をカウントし、その個数が少ない領域を、画像上の影領域として推定することができる。
【００４４】
もちろん、本実施形態の影領域推定の手法は、輝度が連続的に変化する光源にしか適用できないものではない。例えば、ＯＮとＯＦＦを繰り返すような不連続的な輝度変化が生じる光源であっても、適用することができる。
【００４５】
図６において、光源Ａ１１ａ、光源Ｂ１１ｂがＯＮとＯＦＦを繰り返すものと仮定する。この場合、光源Ａ１１ａ、光源Ｂ１１ｂが両方とも点灯していた後、光源Ａ１１ａのみが消灯されたとする。このとき、光源Ａ１１ａによって影が生じている影領域Ａでは、光源Ａ１１ａからの光は元々届いていないため、光源Ａ１１ａが消灯されても輝度値は変化しない。一方、影領域Ｂおよび領域Ｃ，Ｄ，Ｅは光源Ａ１１ａの消灯に伴い、入射光が減るため、輝度値が下がる。また、光源Ｂ１１ｂのみが消灯された場合は、光源Ｂによって影が生じている影領域Ｂの輝度値は変化しないが、影領域Ａおよび領域Ｃ，Ｄ，Ｅでは輝度値が下がる。さらに、光源Ａ１１ａが点灯された場合も、影領域Ａの輝度値は変化しないが、影領域Ｂおよび領域Ｃ，Ｄ，Ｅは輝度値が上がる。したがって、画像の輝度変化から、影領域を推定することができる。
【００４６】
なお、ここでは、光源が２個の場合について説明したが、もちろん、光源の個数は３個以上であってもかまわない。また、上述のように、各光源の周波数を利用するため、光源が２つ以上同時に点灯している状態で撮像を行うようにしてもかまわない。このとき、同じタイミングで明滅を繰り返す光源の、輝度変化の周波数が同じであってもかまわない。これは、家庭内において特に重要である。家庭内では、同じ型式の照明が複数個取り付けられる場合が多々ある。複数本の蛍光灯が発光する照明である場合、後述するように、これらの光源は、輝度変化の位相が異なる光源が交互に明滅を繰り返す照明と考えることができる。このため、同じ周波数で明滅を繰り返す光源に対しても同様の処理が行えるということは、現在主流である蛍光灯照明において、本実施形態を設置コストなしで適用できるということであり、非常に利用価値が高い。
【００４７】
そしてステップＳ１４において、画像処理装置３０は、ステップＳ１３で求められた影領域の推定結果を用いて、例えば画像の線形化を行う。ここで、画像の線形化について説明する。
【００４８】
被写体の位置や姿勢の認識、および動きの検出を行うために、カメラを用いる方法が広く用いられている。これは、カメラで撮像された画像に対し、例えばパターンマッチングやオプティカルフロー検出、特徴点抽出といった画像処理方法を適用することによって実現される。このような画像処理技術は、ノイズのない画像に対しては有効であるが、家庭のような一般環境で撮像された画像に対しては十分な信頼性・精度が得られないといった問題があった（例えば、「阪野貴彦、池内克史，“移動カメラによる時空間画像を用いた車両からのスペキュラ除去”，情報処理学会  研究報告  ＣＶＩＭ，２００３−ＣＶＩＭ−１４１，ｐｐ．１７−２３，２００３」を参照）。これは、通常の画像処理が拡散反射のみの物体を仮定しているのに対して、実際には、鏡面反射や影の影響により画像データの色情報やエッジ情報がカメラ位置や光源位置によって大きく変化してしまうことが、主な原因である。
【００４９】
このため、画像処理を行う前処理として、鏡面反射や影領域を補正することが行われる。画像の線形化とは、光源の位置を変更しながら撮像した複数枚の画像を利用して、鏡面反射や影の存在しない、拡散反射成分のみの線形化画像を合成する画像処理手法である（例えば非特許文献２を参照）。さらに、光学特性に基づいた領域分割を行う。この手法について詳述する。
【００５０】
図７は光学現象である拡散反射、鏡面反射および影の関係を示す図である。ここで、いわゆる２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。また、Lambertianモデルによれば、拡散反射成分の輝度値Ｉｄは次の式で表現される。
【数３】
2008135073.tif 000005
ここで、ｎは物体表面の法線方向ベクトルＮと拡散反射率（albedo）との積であり、ｓは光源方向単位ベクトルＬと光源照度との積を表す（図８）。
【００５１】
また図７に示すように、影は、物体の法線が光源方向を向いていないために生じるattached shadowと、他の物体により光が遮蔽されることによって生じるcast shadowとの２種類に分けられる。環境光や相互反射の影響がない場合、両者とも輝度は０になる。しかし、（式３）では、attached shadowは負の値となり、cast shadowは正の値となる。
【００５２】
ここで、Shashuaは、平行光源、完全拡散反射面を仮定することによって、光源方向の異なる３枚の画像の線形結合によって任意の光源方向の画像が表現できることを示した（「Shashua A., “Geometry and Photometry in 3D Visual Recognition”, P.D. thesis, Dept. Brain and Cognitive Science, MIT, 1992」）。すなわち、光源方向が異なる３枚の画像をベクトル表現したものをＩ１，Ｉ２，Ｉ３とすると、任意の方向の画像Ｉｋは次式のように線形結合によって表現できる。
【数４】
2008135073.tif 000006
ここで、
【数４Ａ】
2008135073.tif 000007
を画像Ｉｋに対する線形化係数組と呼ぶ。このように、線形和で作成された画像を線形化画像と呼ぶ。この線形化画像は、Lambertianモデルを満たす、拡散反射成分のみの合成画像である。しかし、実画像は影や光源反射を含むため、（式４）を満たさない。そこで、非特許文献２では、光源方向の異なる複数枚の画像を撮像し、ＲＡＮＳＡＣ（「M. A. Fischler and R. C. Bolles, “Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography”, Communications of the ACM, Volume 24, Issue 6, pp. 381-395」を参照）を利用することで、（式４）を満たす拡散反射成分のみの３枚の画像を作成する。こうして作成した拡散反射成分のみの画像を、基底画像と呼ぶ。基底画像をShashuaの方法に適用することによって、撮像画像の光源状況に対応する線形化画像を作成することができる。つまり、線形化画像は次式で示される。
【数５】
2008135073.tif 000008
ただし、ＩｋLは入力画像ｋにおける線形化画像、Ｉ１B，Ｉ２B，Ｉ３Bはそれぞれ上述の方法で作成した３枚の基底画像である。このように生成された線形化画像は、鏡面反射が生じていない、理想状態での画像である。このため、この線形化画像を用いて画像処理を行うことによって、鏡面反射や影の影響を受けない画像処理を実現することができる。
【００５３】
また、ステップＳ１４において、上述のようにして求まった線形化画像を用いて、光学特性に基づく領域分割を行ってもかまわない。ここで、入力画像ｋにおける画素ｐの輝度値をｉｋ（ｐ）、これに対応する線形化画像の輝度値をｉｋ（ｐ）Ｌとすると、拡散反射、鏡面反射、cast shadow、attached shadowは次の関係式に従って、図９のように分類することができる。Ｔ，Ｔｓは閾値である。
【数６】
2008135073.tif 000009
ここで、（式６）は単一光源を仮定しているため、cast shadow領域とattached shadow領域を、閾値Ｔｓを利用して、影として分類している。しかし、一般生活空間のような光源が複数存在する環境では、このような閾値を利用した影領域の分類は非常に難しい。一方、本実施形態の画像処理方法では、上述の手法により、影領域の推定がすでに行われているため、拡散反射、鏡面反射、cast shadow、attached shadowは次の関係式に従って分類できる。
【数７】
2008135073.tif 000010
ここで、
【数７Ａ】
2008135073.tif 000011
は、影領域推定ステップＳ１３によって、ｋ枚目の画像の画素ｐが影領域と推定されたことを示している。このように、本実施形態では、従来の画像の線形化では困難であった一般生活環境においても、光学特性に基づく画像処理が可能となる。
【００５４】
また、上述したように、従来では、光源状況が異なる複数の画像（光源変動画像）を得るためには、図３６のような非常に大がかりな撮像システムを利用したり、または図３７のような複雑な操作を行ったりする必要があった。これに対して本実施形態では、輝度変化がある光源を利用して、きわめて簡易な構成によって、光源変動画像を取得することができる。ここでは、３本の蛍光灯からなる照明を利用する場合を例にとって、この点を説明する。
【００５５】
いま、図１０（ａ）に模式的に示した３本の蛍光灯４１，４２，４３からなる照明によって、被写体を照らすものとする。複数本の蛍光灯を内蔵する照明の場合、蛍光灯のちらつきを抑えるために、発光タイミングの位相を蛍光灯ごとにずらしているものが多い。図１０（ｂ）は図１０（ａ）の照明における各蛍光灯４１〜４３の輝度変化を模式的に示すグラフである。図１０（ｂ）において、Ｂ１，Ｂ２，Ｂ３はそれぞれ図１０（ａ）における蛍光灯４１，４２，４３の輝度変化を示している。
【００５６】
図１０（ｂ）から、外側の２本の蛍光灯４１，４３は同一位相で明滅を繰り返しているのに対して、中央の蛍光灯４２は位相反転して明滅を繰り返していることが分かる。このことから、図１０（ａ）の照明は、擬似的に、図１１（ａ）、（ｂ）に示すような、発光位置が異なり、かつ、交互に明滅を繰り返す２種類の光源と考えることができる。このため、上述した手法によって、光源状況が異なる複数の画像を簡単に撮像することができる。したがって、複数本の蛍光灯を内蔵する照明の場合、画像の線形化を低コストで実現することができる。
【００５７】
図１２は本実施形態において求められた画像処理結果の一例を示す図である。同図中、（ａ）は図６の構成において被写体ＯＢを撮影した入力画像、（ｂ）は影領域内の画素Ａ，Ｂおよび拡散反射領域内の画素Ｐにおける輝度時間変化を示すグラフである。この輝度時間変化に対してＦＦＴ（Fast Fourier Transform）などの周波数解析を行うと、画素Ａ，Ｂの輝度時間変化はそれぞれ単一の周波数しか含まないが、画素Ｐの輝度時間変化は複数の周波数が重なり合っていることが分かる。このことから、画素Ａ，Ｂは影領域であるが、画素Ｐは影領域ではないと推定される。この処理を全ての画素に対して行うと、図１２（ｃ）のような影領域が推定される。そして、この推定結果と（式７）の関係式を利用することによって、図１２（ｄ）に示すような線形化画像を合成することができる。また、図１２の結果を利用して、図１３に示すような光学特性に基づく領域分割を行うことができる。
【００５８】
さらに、本実施形態に係る画像処理方法は、画像処理装置３０において、被写体ＯＢの形状推定を行う場合にも効果的である。これを、Photometric Stereoを利用する手法を例にとって説明する。
【００５９】
Photometric Stereoは、異なる光源方向から撮像された３枚以上の光源変動画像を用いて、被写体の法線方向と反射率を推定する手法である。例えば、「H. Hayakawa, ”Photometric Stereo under a light source with arbitrary motion”, Journal of the Optical Society of America A, vol.11, pp.3079-89, 1994」では、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報は未知であっても、以下のパラメータを推定する手法が説明されている。
・被写体の形状情報と光学情報：画像上の各点の法線方向と反射率
・光源情報：光源方向と照度
【００６０】
この手法は、一般的に拡散反射成分のみの被写体にしか利用できず、影や鏡面反射成分が存在する被写体では正確な推定値が求まらないことが知られている。このため、上述したような画像の線形化処理を前処理として行い、影や鏡面反射成分を含まない拡散反射成分のみの画像である線形化画像を合成した後、Photometric Stereoを行うことによって、正確な推定値が求まるものと考えられる。ここでは、画像の線形化処理とPhotometric Stereoとを融合した処理を行い、上のパラメータを推定する手法を説明する。
【００６１】
図１４は本実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。図１４において、図２のフローチャートと共通のステップについては、同一の符号を付してその詳細な説明を省略する。ステップＳ１２〜Ｓ１５が画像処理ステップに対応している。
【００６２】
まず、上述した手法によって、光源変動画像を取得し、線形化画像を合成する（ステップＳ１１〜Ｓ１４）。そして、合成した線形化画像を用いて、被写体と光源の情報を取得する（ステップＳ１５）。この処理を詳述する。
【００６３】
光源変動画像から合成した線形化画像を、次式のように輝度行列Ｉで表現する。
【数８】
2008135073.tif 000012
ただし、ｉｌｍ（ｎ）はｍ枚目の入力画像に対する線形化画像の画素ｎの輝度値を示している。また、画像のサイズはｐ画素、撮像した画像枚数はｆ枚である。ここで、画像の線形化処理を考える。（式５）、（式８）より、以下の関係が求まる。
【数９】
2008135073.tif 000013
ところで、（式３）より、（式８）は以下のように表現される。
【数１０】
2008135073.tif 000014
ここで、Ｒ，Ｎ，Ｍ，Ｔ，Ｓ，Ｌはそれぞれ表面反射行列、表面法線行列、光源方向行列、光源輝度行列、表面行列、光源行列を示している。また、r、nは表面反射率、表面法線を、ｔ、mは光源輝度、光源方向単位ベクトルをそれぞれ示している。
【００６４】
（式９）、（式１０）より、以下の関係が成り立つ。
【数１１】
2008135073.tif 000015
【数１２】
2008135073.tif 000016
ここで、Ａは３ｘ３行列である。つまり、行列Ａを推定することにより、Photometric Stereoと同様の処理が行なえる。以下、この行列Ａを推定することを考える。
【００６５】
行列Ｓの各要素は（式１０）より、画面上の各点における表面反射率と表面法線の積を表している。つまり、行列Ｓの各要素の自乗は画面上の各点における表面反射率の自乗を示している。
【００６６】
ここで、画素ｋ（ｋ＝１，…ｐ’）の反射率が等しいものとすると、その反射率を相対的に１と考えることができ、次の関係が成り立つ。
【数１３】
2008135073.tif 000017
ここで、
【数１４】
2008135073.tif 000018
とすると、
【数１５】
2008135073.tif 000019
となり、（式１３）は（式１５）の行列Ｄを推定すればよいことになる。
【００６７】
ここで、（式１４）より行列Ｄが対称行列であることに着目すると、（式１５）を一意に解くために必要な拘束式の数、すなわち反射率が等しいとわかっている点の数ｐ’は最低６点でよいことが分かる。また、（式１４）は特異値分解を行うことによって、簡単に解くことができる。
【００６８】
以上のことから、反射率が等しい６点以上の画素が既知な被写体において、輝度変化が多値である光源、例えば蛍光灯を利用して複数枚の画像を撮像し、その複数の画像を利用して画像の線形化処理を行うことによって、（式１０）の分解を行い、結果として以下の情報を得ることができる。
・光学特性に基づく領域分割（拡散反射、鏡面反射、Attached Shadow、Cast Shadow）
・被写体の形状情報と光学情報：画像上の各点の法線方向と反射率
・光源情報：光源方向と照度
【００６９】
図１５は本実施形態において求められる画像処理結果の一例を示す図である。同図中、（ａ），（ｂ），（ｃ）は図１２と共通であり、ここでは詳細な説明を省略する。そして、図１５（ｃ）に示すような影領域の推定結果と上述の手法を利用することによって、図１５（ｄ）に示すように被写体ＯＢの形状を推定することができる。もちろん、被写体の反射率や光源方向と照度等も推定できるが、図示は省略する。
【００７０】
以上のように本実施形態によると、一般生活環境においても、輝度が時間的に変化する光源下において、光源状況が異なる複数の画像を容易に得ることができる。そして、この画像を用いて、影領域を推定し、線形化画像の生成や光学特性に基づく領域分割、被写体の形状推定、光源情報の取得などを行うことができる。
【００７１】
（第２の実施形態）
図１６は本発明の第２の実施形態に係る画像処理方法の処理を示すフローチャートである。図１６において、図２に示す第１の実施形態の画像処理方法と共通のステップについては、同一の符号を付しており、ここではその詳細な説明は省略する。ステップＳ１２，Ｓ２１が画像処理ステップに対応している。また、本実施形態における構成は図１に示す第１の実施形態の構成と同様であり、説明は省略する。
【００７２】
本実施形態では、影領域推定ステップＳ１３を行わず、またステップＳ１４に代えて、光源色ベクトルの推定を行う（ステップＳ２１）。ここでは、２色性反射モデルを利用して、光源色ベクトルの推定を行う例を説明する。
【００７３】
近年のコンピュータビジョン研究では、形状といった幾何的な特徴のみではなく、光の物理法則を考慮した画像処理の研究が進んでいる。その中で、画像を撮像した際の光源色ベクトルの推定が重要である。これは、例えば、デジタルアーカイブなどにおいて、様々な光源環境での物体の見えの変化を表示する際などに有効である。
【００７４】
ここでは、撮像装置２０としてＲＧＢカラーカメラを利用し、蛍光灯の明滅から、光源色ベクトルを推定する方法を詳述する。
【００７５】
２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。そのため、画像上の画素ｐの色ベクトルＳｐは、拡散反射成分色ベクトルＳｄｐと鏡面反射成分色ベクトルＳｓｐとの和として（式１６）で表される。
【数１６】
2008135073.tif 000020
ところで、鏡面反射は入射光の物体表面での反射であると考えられるため、鏡面反射成分色ベクトルＳｓｐは光源色ベクトルＳＬと同一またはこれが減衰したものとみなせる。また、拡散反射成分色ベクトルＳｄｐは内部反射により生じた色ベクトルであるため、物体固有の色ベクトルＳＰｄｐに依存するものである。そのため、（式１６）は次のように書き換えられる。
【数１７】
2008135073.tif 000021
ここで、ｍｓ（θ，ψ）、ｍｄ（θ）はそれぞれ鏡面反射成分、拡散反射成分の重み、また、θ、ψは図８に示したとおり、それぞれ、被写体の法線方向ベクトルＮと光源方向単位ベクトルＬとの角度、被写体の法線方向ベクトルＮと撮像方向単位ベクトルＶとの角度を示している。
【００７６】
ここで、図１０に示したような複数本の蛍光灯を内蔵する照明を利用することを考える。上述のように、このような光源を利用すると、光源状況が異なる画像を簡単に撮像することができる。
【００７７】
さらに、蛍光灯の場合、その光源色ベクトルはすべて同一であると考えられる。このため、この照明で照らされた画素ｐの時刻ｔにおける色ベクトルＳｐ（ｔ）は、以下の式で示される。
【数１８】
2008135073.tif 000022
ここで、Ｓ１ｐ（ｔ）、Ｓ２ｐ（ｔ）、Ｓ３ｐ（ｔ）はそれぞれの光源（蛍光灯４１，４２，４３）による画素ｐの時刻ｔにおける色ベクトル、ｍｓｉ（θ，ψ，ｔ）、ｍｄｉ（θ，ψ，ｔ）はｉ番目の光源における、それぞれ鏡面反射成分と拡散反射成分の混合率を示す重みを示している。観測値が時刻ｔの関数になっている理由は、上述のように、光源の明滅のために、光源の輝度が時刻ｔによって変化するためである。ただし、この時間変動では、その色ベクトルのスカラのみが変化する。
【００７８】
ここで、ｍｓｉ（θ，ψ，ｔ）、ｍｄｉ（θ，ψ，ｔ）はスカラ量であることに着目すると、（式１８）で表現された色ベクトルＳｐ（ｔ）は、光源色ベクトルＳＬと物体固有色ベクトルＳＰｄｐとが張る平面上に必ず存在することがわかる。
【００７９】
一方、画像上の別の点ｐ’で観測される色ベクトルＳｐ’（ｔ）も同様に、光源色ベクトルＳＬと物体固有色ベクトルＳＰｄｐ’の張る平面上に必ず存在する。
【００８０】
図１７はこの関係を示した図である。図１７では、撮像装置２０としてＲＧＢカラーカメラを利用しているため、色ベクトルとして各点のＲＧＢ値を利用している。図１７において、Ｇ１，Ｇ２はそれぞれ、点ｐ、点ｐ’における輝度が時間的に変化したときのＲＧＢ空間上での色ベクトル集合を示す平面である。ここで、この両平面Ｇ１，Ｇ２が交わる直線Ｖ１を考えると、これが両平面Ｇ１，Ｇ２に共通の光源色ベクトルＳＬに該当する。
【００８１】
このように、明滅を繰り返している光源を利用して、光源色ベクトルを推定することができる。以下、その具体的な処理の例を示す。
【００８２】
図１８は光源色ベクトルを推定する処理の流れの一例を示すフローチャートである。図１８において、ステップＳ１２Ａが図１６のステップＳ１２に対応し、ステップＳ２１１〜Ｓ２１６が図１６のステップＳ２１に対応している。
【００８３】
まず、撮像装置２０が、光源状況が異なる複数の画像（光源変動画像）を撮像する（ステップＳ１１）。撮像された複数の画像は画像処理装置３０に与えられる。画像処理装置３０は、まず、画素ごとにＲＧＢ値の変動を検出することによって、輝度の時間変化を検出する（ステップＳ１２Ａ）。次に、画像上のある画素を選択し（ステップＳ２１１）、その画素に対応するすべての撮像時刻でのＲＧＢ値をＲＧＢ空間にプロットする（ステップＳ２１２）。こうしてプロットされたサンプリング点集合に対して主成分分析を行い、第１および第２主成分を抽出する（ステップＳ２１３）。（式１８）から、こうして求められた二つの主成分が張る平面は、ノイズが存在しない場合は、光源色ベクトルＳＬと物体固有色ベクトルＳＰｄｐとが張る平面と等しいことが分かる。ここで、例えば２個以上の画素の主成分分析処理がまだ終了していないときは（ステップＳ２１４でＮｏ）、画像上の別の画素を選択し（ステップＳ２１５）、選択した画素について主成分分析を行う。一方、２個以上の画素について主成分分析が終了しているときは（ステップＳ２１４でＹｅｓ）、それぞれの画素についての２つの主成分が張る空間の交線を求め、これを光源色ベクトル（光源のＲＧＢ値）として推定する（ステップＳ２１６）。
【００８４】
なおここでは、撮像装置２０としてＲＧＢカラーカメラを利用した場合を説明したが、もちろん、撮像装置２０はこれに限られるものではなく、例えば、さらに次元数の高い分光輝度計などを用いてもかまわない。
【００８５】
以上のように本実施形態によると、蛍光灯のような位置が固定した、輝度が時間的に変化する複数の光源であり、かつ光源色ベクトルが等しい光源を利用し、例えばその輝度変化周期に対して十分に短い露光時間で複数の画像を撮像し、輝度変化を検出することによって、複雑な設備を要することなく、光源色ベクトルを容易に推定することができる。
【００８６】
（第３の実施形態）
図１９は本発明の第３の実施形態に係る画像処理方法を実現するための構成を示す図である。図１９において、図１と共通の構成要素については、図１と同一の符号を付しており、ここでは詳細な説明を省略する。図１の構成と異なるのは、画像処理装置３０によって決定された撮像条件に従って、撮像装置２０の撮像条件を制御する撮像制御装置４０が設けられている点である。
【００８７】
図２０は本実施形態に係る画像処理方法の処理を示すフローチャートである。本実施形態では、実際に撮像を行う（ステップＳ３５）前に、光源情報を検出し、この光源情報を利用して、最適な撮像条件を設定する（ステップＳ３１〜Ｓ３４）。ステップ３５が撮像ステップに対応し、ステップＳ３６〜Ｓ３８が画像処理ステップに対応している。ここでは、画像処理として、移動物体の検出を行う例について説明する。
【００８８】
まず、撮像装置２０は、光源１１の輝度変化周期よりも短い露光時間で、複数枚の画像を撮像する（ステップＳ３１）。画像処理装置３０は、撮像された画像から、撮像環境内の光源情報を検出する（ステップＳ３２）。具体的には例えば、輝度が時間的に変化している光源１１の輝度変化周期を検出する。ここでは、光源１１として蛍光灯を利用する場合を例にとって説明する。
【００８９】
通常の蛍光灯は、交流周波数の２倍の周期で輝度変動が生じる。このため、観測される輝度は、図４の輝度値Ａ４のように時間によって変化する。そこで、得られた輝度値に対してサイン関数などをフィッティング処理することによって、光源の輝度変化周波数を求めることができる。このようなフィッティング処理は、Levenberg-Marquardt法などの最適化法を利用することで実現できる。
【００９０】
もちろん、カメラで光源自体を撮像し、その輝度変化から光源情報を検出してもかまわない。また、別途、通信手段を用いて、光源情報を画像処理装置３０に通知するようにしてもかまわない。このような処理は、上述の可視光通信を利用すると効果的である。すなわち、ＬＥＤ光源を利用する場合、光源は周期的に輝度を時間変調することによって光源情報を通信すればよい。
【００９１】
そして、ステップＳ３３において、光源状況が異なる複数の画像が撮像可能となるように、撮像装置２０の撮像条件、例えば、露光時間や撮像タイミング、撮像周期を設定する。
【００９２】
ここで、露光時間や撮像タイミングと、観測される輝度値との関係について、図面を用いて説明する。第１の実施形態で説明したように、蛍光灯照明下において、光源の輝度変化に対して十分短い露光時間で撮像を繰り返す（図３）と、その輝度値は図４のように時間的に変化する。
【００９３】
一方、図２１のように、光源の輝度変化Ｃ１に同期した撮像タイミングＣ２で（露光時間Ｃ３）撮像を行った場合、図２２に示すような輝度値Ｃ４が観測される。図２１および図２２から、光源の輝度変化Ｃ１に同期した撮像タイミングＣ２で撮像を行った場合、観測される輝度値Ｃ４は時間的に変化しないことが分かる。
【００９４】
また、図２３のように、光源の輝度変化Ｃ１に対して十分に長い露光時間Ｃ５で（撮像タイミングＣ６）撮像を行った場合、図２４に示すような輝度値Ｃ７が観測される。図２３および図２４から、光源の輝度変化Ｃ１に対して露光時間Ｃ５が十分に長い場合、輝度変化Ｃ１に対して積分効果がスムージング処理として働き、観測される輝度値Ｃ７がほとんど変化しないことが分かる。
【００９５】
以上のことから分かるように、輝度が時間的に変化するか否かは、露光時間や撮像タイミングの設定によって、決まる。
【００９６】
そこで、ステップＳ３３では、ステップＳ３２で検出された光源の輝度変化周期と異なる撮像周期と、光源の輝度変化周期に対して十分に短い露光時間とを設定する。すなわち、撮像周期Ｔｓは光源の輝度変化周期Ｔｌに対して、次の関係式を満たすように設定する。
【数１９】
2008135073.tif 000023
ただし、ａは任意の正の整数である。これは、例えば、次のように設定すればよい。
【数２０】
2008135073.tif 000024
ａ，ｂは任意の正の整数、ｃは全ての正の整数である。
【００９７】
また、ステップＳ３３では、露光時間や撮像タイミング等の撮像条件を決定するために、光源の輝度や、被写体と光源との距離、光源と撮像装置との距離などを利用してもかまわない。この点について、輝度変化の幅を考慮することを説明する。
【００９８】
輝度が時間的に変化する画像を撮像する場合、その輝度変化の幅が最適になるように、撮像条件を選択することが重要である。
【００９９】
図２５および図２６は蛍光灯照明下での被写体のある一点における輝度変化の例を示すグラフである。ここで、図２５は光源の輝度変化Ｄ１の幅が十分に大きい場合、図２６は光源の輝度変化Ｄ５の幅が十分に小さい場合である。両図において、縦軸の輝度値Ｅ１，Ｅ２、および横軸の時間ｔｄ１〜ｔｄ１１（撮像タイミングＤ２）はそれぞれ同じ輝度値、同じ時刻を示している。Ｄ３は露光時間、黒丸Ｄ４，Ｄ６は観測された輝度値である。
【０１００】
図２５と図２６とを対比すると分かるように、いずれも同じ撮像タイミングＤ２で撮像しているにも関わらず、光源の輝度変化Ｄ１，Ｄ５の幅が異なるため、観測される輝度値Ｄ４，Ｄ６は大きく異なる。図２５の場合、輝度変化Ｄ１の幅が十分に広いため、輝度値が十分に変化した複数の画像が撮像できる。一方、図２６の場合では、輝度変化Ｄ５の幅が小さいため、複数の画像における輝度の違いはさほど大きくない。この場合、撮像間隔を倍にし、例えば、時間ｔｄ１，ｔｄ３，ｔｄ５，ｔｄ７，ｔｄ９、ｔｄ１１のみで撮像するだけでも十分であるといえる。
【０１０１】
通常、光源から離れれば離れるほど光量は低下するため、被写体の輝度変化幅は光源と被写体との距離に依存する。このため、被写体が光源から十分に近い場合は光量が十分であると判断し、撮像間隔を短くし、また、被写体が光源から十分遠い場合は光量が少ないと判断し、撮像間隔を長くするようにしてもかまわない。
【０１０２】
もちろん、このように設定する撮像条件は撮像間隔に限られるものではない。例えば、露光時間であっても同様に設定できる。光量が少ない場合、画像は暗電流などのノイズに埋もれてしまい、ＳＮ比が劣化する。しかし、露光時間を伸ばすことができれば、ＳＮ比が改善することが知られている。このため、被写体が光源から十分に近い場合は光量が十分であると判断し、露光時間を短くし、また、被写体が光源から十分遠い場合は光量が少ないと判断し、露光時間を長くすればよい。
【０１０３】
また図２７に示すように、撮像間隔（撮像タイミングＤ８）を光源の明滅間隔よりも長く設定してもかまわない。ここでは、上述のとおり、撮像周期Ｔｓを光源の輝度変化周期Ｔｌの整数分の１にならないように設定しているため、光源の明滅に対して位相が変化した状態で、撮像を行うことができる。これにより、観測される輝度値Ｄ９は大きく変化し、光源状況が異なる複数の画像を撮像することができる。
【０１０４】
そして、撮像制御装置４０は、ステップＳ３３で決定された撮像条件に従って、撮像装置２０の撮像条件を設定する（ステップＳ３４）。撮像装置２０は、設定された撮像条件に従って、時系列的に複数回の撮像を行う（ステップＳ３５）。上述のように、露光時間や撮像タイミングは光源の輝度変化周期に基づいて設定されているため、撮像された複数の画像は、光源状況が異なる画像となる。
【０１０５】
また、ステップＳ３１での撮像と異なり、ステップＳ３５での撮像では最適な撮像条件が設定されている。第１の実施形態で述べたように、通常、光源状況が異なる複数の画像を撮像するためには、撮像装置２０の露光時間を光源の輝度変化に比べて十分に短く設定すればよい。しかし、露光時間を短くし過ぎると、画像の暗電流などの影響が大きくなり、撮像画像のＳＮ比が劣化してしまう。画像処理を行うための画像は高ＳＮ比であることが望ましいため、本実施形態のように撮像条件を最適にすることは、効果が大きい。
【０１０６】
ステップＳ３６において、画像処理装置３０はステップＳ３５で撮像された複数の画像から、上述のとおり、輝度の時間変化を検出する。そして、画像処理として、背景差分法を用いた移動物体の検出を行う。すなわち、輝度の時間変化から、後述する混合率を推定して背景画像を合成し（ステップＳ３７）、この背景画像とステップＳ３５で撮像した画像とを比較することによって、移動物体を検出する（ステップＳ３８）。
【０１０７】
ここで、背景画像の合成について説明する。非特許文献１では、撮像画像の輝度を、時間変動が生じない光源の成分と、明るさが急激に変化する光源の成分とに分離し、その混合率を推定することによって、処理時の光源状況に応じた背景画像を作成する。これにより、影や光源の輝度変化の影響を受けることなく、移動物体の検出を行うことができる。具体的には、屋外環境において、観測される物体の色を、時間変動が生じない全天空光成分Ｌ１と、雲によって太陽直射光が遮られ、明るさが急激に変化する太陽直射光成分Ｌ２とからなるものと考え、（式２１）のようにその混合率を推定することによって、正確な背景画像の合成を行う。
【数２１】
2008135073.tif 000025
ここで、Ｒ、Ｇ、Ｂは撮像された画像のＲ、Ｇ、Ｂ成分画像、Ｒ１、Ｇ１、Ｂ１は成分Ｌ１におけるＲ、Ｇ、Ｂ成分画像、Ｒ２、Ｇ２、Ｂ２は成分Ｌ２におけるＲ、Ｇ、Ｂ成分画像を示している。また、ｋは、それぞれの成分画像の混合率を示している。
【０１０８】
この手法では、時間変動が生じない光源を全天空光成分Ｌ１、明るさが急激に変化する光源を太陽直射光成分Ｌ２としているが、これは屋外環境に限られるものではない。例えば、家庭内では照明として蛍光灯が用いられるが、この蛍光灯照明を、明るさが変化する光源成分Ｌ２として考えることができる。この場合、（式２１）の成分Ｌ２における成分画像Ｒ２、Ｇ２、Ｂ２を求めるためには、この蛍光灯の輝度が変化した複数枚の画像を撮像しなければならない。通常、このようなパラメータ推定をするためには、正確さや信頼性を高めるため、複数のデータを利用し、最小自乗法や最尤推定法などを利用することが行われる。このときに利用されるデータは、サンプリングが偏らずに、変化幅が十分に広くかつ偏りのないものであることが望ましい。
【０１０９】
本実施形態では、蛍光灯のような輝度が時間的に変化する光源を利用することによって、輝度が時間的に変化し、しかも十分な輝度変化が生じた光源変動画像を撮像することが可能である。さらに、輝度変化が十分に生じている光源変動画像を利用することによって、変化幅が十分に広くかつ偏りのないサンプリング点が得られるため、正確かつ信頼性高く背景画像を作成することができる。したがって、移動物体の検出処理の精度や信頼度も向上させることができる。
【０１１０】
図２８は本実施形態において求められた画像処理結果の一例を示す図である。同図中、（ａ）は図６の構成において被写体ＯＢを撮影した入力画像（ステップＳ３１）、（ｂ）は検出された光源情報（ステップＳ３２）の模式図であり、（ａ）の入力画像における画素ｍ、ｎの輝度時間変化である。この輝度時間変化に対してＦＦＴ（Fast Fourier Transform）などの周波数解析を行うことによって、光源の明滅周波数を求める。こうして求まった光源の明滅周波数から最適な撮像条件を決定し（ステップＳ３３）、撮像装置２０に設定した（ステップＳ３４）後、再度、被写体ＯＢを撮像する（ステップＳ３５）。この結果、図２８（ｃ）のような入力画像が得られる。
【０１１１】
ここで、図２８（ｄ）に示すように、最新の撮影画像には移動物体ＯＢ１が映っているものとする。一方、混合率を推定することによって、図２８（ｅ）のような現在の光源環境に合った背景画像を合成する（ステップＳ３６，Ｓ３７）。そして、図２８（ｄ）の画像と図２８（ｅ）の合成背景画像とを差分処理することによって、図２８（ｆ）に示すように移動物体ＯＢ１を検出することができる。
【０１１２】
以上のように本実施形態によると、一般生活環境においても、輝度が時間的に変化する複数の光源を利用し、その輝度変化周期に対して最適な撮像条件で撮像した画像を用いて、混合率を推定し、背景差分法を行うことによって、影や光源の輝度変化の影響を受けない移動物体の検出を行うことができる。
【０１１３】
また、ステップＳ３２において検出する光源情報は、光源の輝度変化周期に限られるものではなく、例えば、輝度変化幅や光源の位置情報であってもかまわない。
【０１１４】
図２９は本実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。ここでは画像処理として、線形化処理のための画像の領域分割を行うものとする。図２９において、図２０のフローチャートと共通のステップについては、同一の符号を付してその詳細な説明は省略する。図２０との違いは、ステップＳ３６において輝度の時間変化を検出した後、領域分割を行うステップＳ３９を実行する点である。ステップＳ３６，Ｓ３９が画像処理ステップに対応している。
【０１１５】
画像の線形化処理は、光源が平行光源であることを仮定している。平行光源とは、無限遠に置かれた点光源のことである。例えば、太陽光などが平行光源として考えられる。一方、家庭内の蛍光灯などは、広い方向に光を放射するため、近接点光源の集合として考えられる。このような近接点光源環境において画像の線形化処理を行うために、画像を分割する方法が知られている（例えば、「佐藤智，高田和豊，登一生，“近接照明下における画像の線形化の検討”,情報処理学会研究報告２００４−ＣＶＩＭ−１４５, ｐｐ．１５１−１５６, ２００４」を参照）。
【０１１６】
この手法では、画像を処理領域に分割し、処理領域ごとに画像の線形化を行う。そして、領域間で線形化係数組に強い相関があることを利用し、線形化が難しい処理領域においても処理を行う。さらに、領域分割方法を変更しながら基底画像を合成することによって、近接照明下においても画像の線形化を行うことが可能である。
【０１１７】
この場合、画像の分割をどのように行うかが問題となるが、「岡部孝弘，佐藤洋一， “近接光源下における物体の見えの近似のための画像分割とその効果”，電子情報通信学会技術報告，ＰＲＭＵ２００４―１４８, pp.85-90, 2004」によれば、このような画像分割において、その領域の大きさは、光源に近い領域ほど小さくすればよいことが示されている。すなわち、光源と画面上の各点との距離を求めることで、よりよい領域分割を行うことが可能である。本実施形態では、ステップＳ３９において、このような最適な領域分割を行うことができる。
【０１１８】
通常、被写体に照射される光量は、光源から遠ざかるほど減少することが知られている。図３０および図３１を用いて、光源との距離が異なる被写体の２点の輝度変化について説明する。いま図３０（ａ）のように、撮像装置２０、光源１１および被写体ＯＢが設置されており、光源１１の輝度は時間的に変化しているものとする。図３０（ｂ）はこのときに撮像された画像を示す。図３０（ｂ）において、光源１１は右手前から照射している。そのため、被写体右側の画素Ｃは左側の画素Ｄに比べ、光源１１との距離が近い。図３１（ａ）は画素Ｃと画素Ｄの輝度変化Ｌｃ，Ｌｄを示す。図３１（ａ）から、画素Ｃと画素Ｄとでは輝度変化幅が大きく異なることが分かる。すなわち、輝度変化は光源と被写体との距離に依存しており、その距離が近ければ変化幅は大きく、その距離が遠ければ変化幅は小さい。
【０１１９】
したがって、ステップＳ３２において光源の輝度変化周期を検出する際に、輝度変化幅を画素ごとに検出する。そして、変化幅が大きい領域は領域分割を密に、一方、変化幅が小さい領域は領域分割を粗く行うことによって、より良い領域分割を行うことができる。図３１（ｂ）は図３０（ｂ）の画像に対して領域分割を行った結果を示す図である。このような領域分割を行うことによって、画像の線形化処理をより正確に行うことができる。
【０１２０】
なお、ステップＳ３２において検出する光源情報は、光源の輝度変化に関するものに限られるものではない。例えば、時間的に変化している光源の色ベクトルを検出するようにしてもかまわない。例えばＲＧＢカラーカメラでは、画像信号は、プリズムやカラーフィルタなどを通してＲＧＢ信号などに分解された後、光電変換素子によって電気信号として検出される。このため、検出される輝度値は、プリズムやカラーフィルタの特性とカメラへの入射光の色ベクトルとの積となる。すなわち、入射光の色ベクトルが時間的に変化した場合、被写体の輝度値も時間的に変化するため、この結果、光源の輝度値が時間的に変化した画像を撮像することができる。
【０１２１】
（第４の実施形態）
図３２は本発明の第４の実施形態に係る画像処理方法の処理を示すフローチャートである。図３２において、図２に示す第１の実施形態の画像処理方法と共通のステップについては、同一の符号を付しており、ここではその詳細な説明は省略する。また、本実施形態に係る構成は図１に示す第１の実施形態の構成と同様であり、説明は省略する。
【０１２２】
本実施形態では、画像処理装置３０は、ステップＳ４１において、ステップＳ１１で撮像した複数の画像の光源状況が互いに異なっているか否かを、ステップＳ１２で検出した各対応点の輝度値の時間変化を用いて判断する。そして、複数の画像のうち、光源状況が異なっている画像を光源変動画像として保持し（ステップＳ４２）、それ以外の画像を破棄する（ステップＳ４３）。そして、保持された光源変動画像を用いて、画像処理を行う（図示せず）。ステップＳ１１が撮像ステップに対応し、ステップＳ１２が輝度変化検出ステップに対応し、ステップＳ４１〜Ｓ４３が画像判断ステップに対応している。
【０１２３】
図３３は輝度が時間的に変化する光源を用いた場合における輝度値の変化を示す図である。図３３において、Ｅ１は被写体のある一点の輝度変化、Ｅ２，Ｅ３はそれぞれ撮像装置２０の撮像タイミングおよび露光時間である。また、Ｅ４は観測される輝度値である。図３３から分かるように、撮像をランダムに行うことによって、輝度が異なる画像を撮像することは可能である。ところが、時間ｔｅ’6、ｔｅ’7のように、光源の明滅に対して同位相で撮像を行ってしまい、輝度値Ｅ４がほぼ同じとなる画像が撮像されることもあり得る。
【０１２４】
そこで、ステップＳ４１では、撮像された複数の画像から、このような光源の明滅に対して同位相で撮像された画像を検出し、排除する。これは、ステップＳ１２によって検出された、画像上の１点または複数点の輝度変化を観測することによって実行できる。ここでは、画像内からｍ点の画素を選択し、その輝度値を利用して画像変化を検出する方法を説明する。
【０１２５】
ｋ枚目の画像のｍ点の輝度値を、次のようにベクトルとして考える。
【数２２】
2008135073.tif 000026
ここで、ｉｋ（ｐ）は、ｋ枚目の画像の画素ｐにおける輝度値を示している。ここで、ステップＳ１２によって検出されるｋ枚目の画像を、以下の評価関数Ｅｖ（ｉ’ｋ）に従って評価する。
【数２３】
2008135073.tif 000027
【０１２６】
もし、評価関数Ｅｖ（ｉ’ｋ）の値が十分に大きい場合（ステップＳ４１でＹｅｓ）、輝度変化が生じていると判断し、ｋ枚目の画像を光源変動画像として保持する。一方、もし評価関数Ｅｖ（ｉ’ｋ）の値が十分に大きくない場合（ステップＳ４１でＮｏ）、輝度変化が生じていないと判断し、ｋ枚目の画像を廃棄する。
【０１２７】
すでに述べたように、撮像条件の設定によって、輝度が時間的に変化する画像を撮像することは可能であるが、図３３の時間ｔｅ’6、ｔｅ’7のように、光源の明滅に対して同位相で撮像を行ってしまい、光源状況が同じ画像を撮像してしまうことはあり得る。これに対して本実施形態では、すでに撮像した画像と光源状況が同じ画像を廃棄することができる。
【０１２８】
このようにして求めた光源変動画像に対して、上述の各実施形態で説明したような、画像の線形化や光源色ベクトル推定、背景差分法などの処理を行えばよい。
【０１２９】
以上のように本実施形態によると、輝度が時間的に変化する光源を利用し、撮像した画像における光源状況の異同を検出することによって、撮像間隔や撮像タイミングを考慮しなくても、光源変動画像を取得することができる。このため、一般生活環境においても、影や光源の輝度変化の影響を受けない画像処理を行うことができる。
【０１３０】
（第５の実施形態）
図３４は本発明の第５の実施形態に係る画像処理方法を実現するための構成を示す図である。図３４において、図１と共通の構成要素については、図１と同一の符号を付しており、ここでは詳細な説明を省略する。図１の構成と異なるのは、輝度が時間的に変化する複数の光源１１を制御する光源制御装置５０が設けられている点である。
【０１３１】
図３５は本実施形態に係る画像処理方法の処理を示すフローチャートである。図３５において、第４の実施形態における図３２のフローチャートと共通のステップについては、同一の符号を付してその詳細な説明は省略する。
【０１３２】
本実施形態では、第４の実施形態の各ステップに加えて、さらに光源１１の輝度の時間変動を制御するステップＳ５１を有する。ステップＳ５１では、光源１１を制御することによって、光源１１の輝度や位置が変化した環境を生成する。
【０１３３】
従来では、例えば図３６のような撮像システムにおいて、撮像装置２０２が光源２０４の輝度変化に同期して撮像を行うことによって、光源の位置や輝度が変化した光源変動画像を撮像していた。これに対して本実施形態では、輝度が時間的に変化する光源１１を利用し、撮像装置２０は光源１１の変化とは同期を取らず、ランダムに撮像を行う。
【０１３４】
すでに述べたように、撮像条件の設定によって、輝度が時間的に変化する画像を撮像することは可能であるが、図３３の時間ｔｅ’6、ｔｅ’7のように、光源の明滅に対して同位相で撮像を行ってしまい、光源状況が同じ画像を撮像してしまうことはあり得る。これに対して本実施形態では、すでに撮像した画像と光源状況が同じ画像を廃棄することができる。
【０１３５】
このようにして求めた光源変動画像に対して、上述の各実施形態で説明したような、画像の線形化や光源色ベクトル推定、背景差分法などの処理を行えばよい。
【０１３６】
以上のように本実施形態によると、輝度が時間的に変化する光源を利用し、光源の時間変動を制御するとともに、撮像した画像における光源状況の異同を検出することによって、撮像間隔や撮像タイミングを考慮しなくても、光源変動画像を取得することができる。このため、一般生活環境においても、影や光源の輝度変化の影響を受けない画像処理を行うことができる。
【０１３７】
なお、上述の各実施形態に係る画像処理は、コンピュータにプログラムを実行させることによって、実行することが可能である。
【産業上の利用可能性】
【０１３８】
本発明では、同期処理など複雑な制御が不要で、かつ、大規模な設備も必要とせずに、いわゆる光源変動画像を容易に取得することができる。このため、デジタルアーカイブなどのための情報取得や、家庭内など環境が複雑な一般生活環境においてのモデル化などに特に有効である。また、大きな被写体の光源変動画像を撮像する場合にも有効である。
【０１３９】
さらに、本発明では、一般生活環境において問題となる、複数光源による影や光源の輝度変化の影響を受けずに、画像処理を行うことができる。このため、一般生活環境において、ロボットや自動車などの画像処理装置や認証装置等として有用である。
【図面の簡単な説明】
【０１４０】
【図１】本発明の第１の実施形態に係る画像処理方法を実現するための構成を示す図である。
【図２】本発明の第１の実施形態に係る画像処理方法の処理を示すフローチャートである。
【図３】輝度変化が生じる光源の影響について説明するための概念図である。
【図４】図３の状況において観測される輝度値を示す図である。
【図５】図３の状況において、撮像タイミングをランダムに設定した場合を示す図である。
【図６】光源が複数存在する場合の影の振る舞いについて説明するための図である。
【図７】光学現象である拡散反射、鏡面反射および影の関係を示す概念図である。
【図８】光源と撮像装置、被写体の法線方向の関係を示す概念図である。
【図９】光学特性に基づく領域分割の基準を示すグラフである。
【図１０】蛍光灯の発光パターンを説明するための図である。
【図１１】蛍光灯の発光パターンを説明するための図である。
【図１２】本発明の第１の実施形態において求められた画像処理結果の一例を示す図である。
【図１３】図１２の結果を利用して得られた、光学特性に基づく領域分割の例である。
【図１４】本発明の第１の実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。
【図１５】本発明の第１の実施形態において求められた画像処理結果の一例を示す図である。
【図１６】本発明の第２の実施形態に係る画像処理方法の処理を示すフローチャートである。
【図１７】光源色ベクトルの推定方法を説明するための概念図である。
【図１８】本発明の第２の実施形態における光源色ベクトルの推定処理の流れを示すフローチャートである。
【図１９】本発明の第３の実施形態に係る画像処理方法を実現するための構成を示す図である。
【図２０】本発明の第３の実施形態に係る画像処理方法の処理を示すフローチャートである。
【図２１】光源の輝度変化に同期した撮像タイミングで撮像を行う場合を示す概念図である。
【図２２】図２１の状況において、観測された輝度値を示す図である。
【図２３】光源の輝度変化に対して十分に長い露光時間で撮像を行う場合を示す概念図である。
【図２４】図２３の状況において、観測された輝度値を示す図である。
【図２５】光源の輝度変化の幅が大きい場合の、被写体における輝度変化の例を示す図である。
【図２６】光源の輝度変化の幅が小さい場合の、被写体における輝度変化の例を示す図である。
【図２７】撮像間隔を光源の明滅間隔よりも長く設定した例を示す概念図である。
【図２８】本発明の第３の実施形態において求められた画像処理結果の一例を示す図である。
【図２９】本発明の第３の実施形態に係る画像処理方法の処理の他の例を示すフローチャートである。
【図３０】光源からの距離と輝度変化幅との関係とそれに基づいた領域分割を説明するための概念図である。
【図３１】光源からの距離と輝度変化幅との関係とそれに基づいた領域分割を説明するための概念図である。
【図３２】本発明の第４の実施形態に係る画像処理方法の処理を示すフローチャートである。
【図３３】輝度が時間的に変化する光源を用いて、撮像をランダムに行った場合を示す概念図である。
【図３４】本発明の第５の実施形態に係る画像処理方法を実現するための構成を示す図である。
【図３５】本発明の第５の実施形態に係る画像処理方法の処理を示すフローチャートである。
【図３６】従来の、光源の輝度や位置が変化した画像を撮像するための撮像システムの構成を示す図である。
【図３７】従来の、光源の輝度や位置が変化した画像を撮像するための撮像方法を示す図である。
【符号の説明】
【０１４１】
１１，１１ａ，１１ｂ  光源
２０  撮像装置
３０  画像処理装置
４０  撮像制御装置
５０  光源制御装置
ＯＢ  被写体
【図１】
2008135073.tif 000028
【図２】
2008135073.tif 000029
【図３】
2008135073.tif 000030
【図４】
2008135073.tif 000031
【図５】
2008135073.tif 000032
【図６】
2008135073.tif 000033
【図７】
2008135073.tif 000034
【図８】
2008135073.tif 000035
【図９】
2008135073.tif 000036
【図１０】
2008135073.tif 000037
【図１１】
2008135073.tif 000038
【図１２】
2008135073.tif 000039
【図１３】
2008135073.tif 000040
【図１４】
2008135073.tif 000041
【図１５】
2008135073.tif 000042
【図１６】
2008135073.tif 000043
【図１７】
2008135073.tif 000044
【図１８】
2008135073.tif 000045
【図１９】
2008135073.tif 000046
【図２０】
2008135073.tif 000047
【図２１】
2008135073.tif 000048
【図２２】
2008135073.tif 000049
【図２３】
2008135073.tif 000050
【図２４】
2008135073.tif 000051
【図２５】
2008135073.tif 000052
【図２６】
2008135073.tif 000053
【図２７】
2008135073.tif 000054
【図２８】
2008135073.tif 000055
【図２９】
2008135073.tif 000056
【図３０】
2008135073.tif 000057
【図３１】
2008135073.tif 000058
【図３２】
2008135073.tif 000059
【図３３】
2008135073.tif 000060
【図３４】
2008135073.tif 000061
【図３５】
2008135073.tif 000062
【図３６】
2008135073.tif 000063
【図３７】
2008135073.tif 000064