(57)【要約】  撮像装置１００は、画像認識装置１３０が監視対象となる物体を検出し、検出した物体に対する認識処理を実行して対象輝度および対象座標を算出し、制御装置１４０が対象輝度および対象座標に基づいて、物体の実在する空間における位置と照度を算出し、算出した位置と照度および現在のカメラパラメータに基づいてカメラパラメータを算出し、算出したカメラパラメータによって映像撮影装置１２０のカメラパラメータを制御して露光量を調整する。
2009066364.tif 000002
【特許請求の範囲】
【請求項１】
物体を検出し撮影を行う撮像装置であって、
前記物体を検出する検出手段と、
検出された前記物体の画像を撮影する撮影手段と、
撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出する算出手段と、
算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定する露光量決定手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記物体が実在する空間の位置と照度を予め記憶する記憶手段と、
前記記憶手段に記憶された前記物体の実在する空間における所定の位置の照度と、前記撮影手段により撮影した前記物体の画像の前記位置と前記輝度から前記算出手段により算出された前記物体の実在する空間における所定の位置の照度に基づき、監視範囲全域での照度分布を算出する照度分布算出手段とを有し、
前記露光量決定手段は、算出された前記照度分布に基づき、露光量を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記記憶手段が記憶する前記照度は、照明光のみにより測定した照度を記憶し、
前記照度分布算出手段は、前記記憶手段に記憶された前記物体の実在する空間における所定の位置の照明光のみにより測定した照度と、前記撮影手段により撮影した前記物体の画像の前記位置と前記輝度から前記算出手段により算出された前記物体の実在する空間における前記所定の位置の照度に基づき環境光照度を算出し、前記環境光照度と前記照明光のみにより測定した照度を加えた監視範囲全域における照度分布を算出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記露光量決定手段は、監視範囲全域で適正な明るさで撮影できない場合には、前記物体が実在する空間における監視範囲内の各位置での出現確率と前記画像における輝度ごとの物体の認識率の期待値から、前記監視範囲内の物体における、全体の認識率の期待値が最大となるように露光量を決定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記露光量決定手段は、前記物体が実在する空間の監視範囲内の照度が最も高い位置で検出される画面における物体の輝度が所定の上限値となるように、露光量を決定することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記露光量決定手段は、前記物体が実在する空間の監視範囲内の照度が最も低い位置で検出される物体の輝度が所定の下限値となるように、露光量を決定することを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記露光量決定手段は、レンズの絞りにより露光量を決定することを特徴とする請求項３〜６のいずれか一つに記載の撮像装置。
【請求項８】
前記露光量決定手段は、シャッタースピードにより露光量を決定することを特徴とする請求項３〜６のいずれか一つに記載の撮像装置。
【請求項９】
前記露光量決定手段は、調光フィルタにより露光量を決定することを特徴とする請求項３〜６のいずれか一つに記載の撮像装置。
【請求項１０】
物体を検出し撮影を行う撮像方法であって、
前記物体を検出するステップと、
検出された前記物体の画像を撮影するステップと、
撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出するステップと、
算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定するステップと、
を有することを特徴とする撮像方法。
【請求項１１】
コンピュータに対し、
前記物体を検出する手順と、
検出された前記物体の画像を撮影する手順と、
撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出する手順と、
算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定する手順と、
を実行させることを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を検出し撮影を行う撮像装置、撮像方法および撮像プログラムに関するものである。
【背景技術】
【０００２】
従来の画像監視では、監視対象となる物体を検出し、検出した物体が何であるかの認識や、物体に書かれた文字の読み取りなどを行っている（例えば、特許文献１、特許文献２等参照）。この画像監視において、高い認識率（物体の認識に成功する割合）を得るためには、認識する物体そのものを認識に適した輝度となるように撮影する必要がある。【０００３】
特に、屋外での画像監視などでは、天候の日照状況などで照度環境が時々刻々と変化しており、このような照度環境下でも高い認識率を得るためには、常に物体が認識に適した輝度で撮影されるように、撮影装置に入射する光の量（露光量）を調整する必要がある。【０００４】
これまでの画像監視における輝度調整では、時間による照度変動はあっても、ある時刻における監視範囲内の照度分布は均一であるという、暗黙の大前提があった。例えば、特許文献１では、道路を通行する車両のナンバープレートに書かれた文字を正確に読み取るために、検出した対象（ナンバープレート）の輝度が所定値になるように、レンズの絞りなどのカメラパラメータを制御している。【０００５】
ここでは、監視範囲内の照度分布が均一であるという前提から、ある環境下で撮影された対象の輝度は、対象が画面内のどの位置にあっても、例えば、車両が道路のどこを通過しても、一定であるといえる。図１５は、従来の画像監視の例を示す図である。図１５では、路上に設置されたカメラから監視範囲を通過する車両を検出しているが、照度が均一である場合には、撮影される対象の輝度は、検出位置によらず一定となる。【０００６】
図１６は、従来の画像監視によって検出される対象の例を示す図である。ある時刻における監視範囲内の照度分布が均一であるとするならば、図１６に示すように、図１５のＡ点での画像と図１６のＢ点での画像との輝度は一定となる。【０００７】
そして、対象を検出した後に、対象の輝度を制御する。図１７は、従来の輝度制御の例を示す図である。図１７の左側のように、対象の輝度が所定値（同図の網掛け部分）から外れている場合には、図１７の右側のように、所定の輝度で撮影されるように、レンズの絞りなどを調整する。図１７では、対象が所定の輝度よりも低く（所定の明るさよりも暗く）撮影されているので、例えば、絞りを開ける制御を行う。【０００８】
【特許文献１】特許２７０６３１４号公報
【特許文献２】特開２００６−３１１０３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来の技術では、ある時刻における監視範囲内の照度分布が均一でない場合に、検出対象の輝度を適切に調整することができないという問題があった。【００１０】
例えば、夜間などで照明を照射して対象の認識を行う場合に、監視範囲の照度を均一にできない場合がある。図１８は、車両に搭載したカメラを用いて、対向車線を通行する車両を認識する例を示す図であり、図１９は、撮影範囲と夜間におけるヘッドライトの照射範囲を示す図である。【００１１】
図１８に示すように、画像監視における専用の照明を用いずに、カメラを搭載した自車両のヘッドライトを照明として用いた場合に、監視範囲の照度を均一にできない。すなわち、図１９に示すように、カメラを原点とし、自車両の進行方向をＺ軸、Ｚ軸に垂直な水平方向Ｘ軸を取るグローバル座標系を考えると、ヘッドライト照明のムラのために、対象の照度は、実空間位置（実際に対象が存在する空間の位置）によって異なり、各位置で撮影される対象の輝度も異なる。【００１２】
図２０は、図１９における位置Ａ，Ｂの照度の違いを示す図であり、図２１は、従来の露光制御の問題点を示す図である。例えば、図１９の位置Ａのように、車両から遠く（Ｘ座標が大きく）、照度光量が少ない位置を対象が通過した場合を考える。位置Ａで検出した対象の輝度が図２０の左側のように、所定の輝度よりも小さい場合、従来方式では、位置Ａでの対象の輝度が所定値となるように、カメラの絞りを開けるなど、カメラパラメータの調整を行う（位置Ｂでの輝度に関わらすカメラパラメータの調整を行う）。【００１３】
そして、位置Ａでの輝度を基準としてカメラパラメータの調整を行うと、図２０の右側のように、照明装置から近い（Ｘ座標が小さい）位置Ｂなどでは、調整前の輝度が位置Ａよりも大きいため、輝度が適切な範囲をオーバーしてしまう（図２１参照）。すなわち、次の監視対象を位置Ｂで検出した場合には、画像が白飛びしてしまい、文字を正確に読み取ることができない。逆に、対象が位置Ｂを通過し、位置Ｂに合わせたカメラパラメータに調整された後に、対象を位置Ａで検出した場合には、輝度が適正な範囲に届かず、認識できなくなる。【００１４】
図２２は、認識対象の輝度と認識率との関係を示す図である。図２２に示すように、輝度が小さく、暗く撮影される場合には、対象とノイズとの区別がつかずに認識率が低下する。逆に、輝度が大きすぎると、輝度飽和により、対象が白飛びするために、認識不能となり、やはり、認識率が低下してしまう。【００１５】
このため、画像監視においては、対象そのもの（あるいは監視範囲）の輝度が認識に適した所定の値となるように調整する必要がある。例えば、対象の認識率が常に最大値Ｒｍａｘとなるように輝度を調整する（輝度をＬｏに調整する）。または、許容する認識率の最低値ＲＯを設定し、これを満たすように輝度を調整する（輝度をＬＬ〜ＬＨに調整する）必要がある。【００１６】
すなわち、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるように露光量を制御することが極めて重要な課題となっている。【００１７】
本発明は、上記に鑑みてなされたものであって、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるようにカメラパラメータを制御することができる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
上述した課題を解決し、目的を達成するために、本発明は、物体を検出し撮影を行う撮像装置であって、前記物体を検出する検出手段と、検出された前記物体の画像を撮影する撮影手段と、撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出する算出手段と、算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定する露光量決定手段と、を有することを特徴とする。【００１９】
また、本発明は、上記発明において、前記物体が実在する空間の位置と照度を予め記憶する記憶手段と、前記記憶手段に記憶された前記物体の実在する空間における所定の位置の照度と、前記撮影手段により撮影した前記物体の画像の前記位置と前記輝度から前記算出手段により算出された前記物体の実在する空間における所定の位置の照度に基づき、監視範囲全域での照度分布を算出する照度分布算出手段とを有し、前記露光量決定手段は、算出された前記照度分布に基づき、露光量を決定することを特徴とする。【００２０】
また、本発明は、上記発明において、前記記憶手段が記憶する前記照度は、照明光のみにより測定した照度を記憶し、前記照度分布算出手段は、前記記憶手段に記憶された前記物体の実在する空間における所定の位置の照明光のみにより測定した照度と、前記撮影手段により撮影した前記物体の画像の前記位置と前記輝度から前記算出手段により算出された前記物体の実在する空間における前記所定の位置の照度に基づき環境光照度を算出し、前記環境光照度と前記照明光のみにより測定した照度を加えた監視範囲全域における照度分布を算出することを特徴とする。【００２１】
また、本発明は、上記発明において、前記露光量決定手段は、監視範囲全域で適正な明るさで撮影できない場合には、前記物体が実在する空間における監視範囲内の各位置での出現確率と前記画像における輝度ごとの物体の認識率の期待値から、前記監視範囲内の物体における、全体の認識率の期待値が最大となるように露光量を決定することを特徴とする。【００２２】
また、本発明は、上記発明において、前記露光量決定手段は、前記物体が実在する空間の監視範囲内の照度が最も高い位置で検出される画面における物体の輝度が所定の上限値となるように、露光量を決定することを特徴とする。【００２３】
また、本発明は、上記発明において、前記露光量決定手段は、前記物体が実在する空間の監視範囲内の照度が最も低い位置で検出される物体の輝度が所定の下限値となるように、露光量を決定することを特徴とする。【００２４】
また、本発明は、物体を検出し撮影を行う撮像方法であって、前記物体を検出する段階と、検出された前記物体の画像を撮影する段階と、撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出する段階と、算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定する段階と、を有することを特徴とする。【００２５】
また、本発明は、コンピュータに対し、前記物体を検出する手順と、検出された前記物体の画像を撮影する手順と、撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出する手順と、算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定する手順と、を実行させることを特徴とする。
【発明の効果】
【００２６】
本発明によれば、監視対象となる物体を検出して画像を撮影し、撮影した物体に対する認識処理を実行して輝度および位置に基づいて、物体の実在する空間における位置と照度を算出し、算出した位置と照度に基づいて露光量を決定するので、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるように露光量を調整することができる。【００２７】
また、本発明によれば、物体が実在する空間の位置と照度を予め記憶装置に記憶し、記憶装置に記憶された物体の実在する空間における所定の位置の照度と、撮影した物体の画像の位置と輝度から算出された物体の実在する空間における所定の位置の照度に基づき、監視範囲全域での照度分布を算出し、照度分布に基づいて露光量を決定するので、照度分布が均一とならない照明装置を使用した場合の画像認識処理の精度を向上させることができる。【００２８】
また、本発明によれば、照明光のみにより測定した照度を記憶装置に記憶し、記憶装置に記憶された物体の実在する空間における所定の位置の照明光のみにより測定した照度と、撮影した物体の画像の位置と輝度から算出された物体の実在する空間における所定の位置の照度に基づき環境光照度を算出し、環境光照度と照明光照度を加えた監視範囲全域における照度分布を算出するので、監視範囲全体の輝度が認識に適した値となるように露光量を調整することができる。【００２９】
また、本発明によれば、監視範囲全域で適正な明るさで撮影できない場合には、物体が実在する空間における監視範囲内の各位置での出現確率と前記画像における輝度ごとの物体の認識率の期待値から、監視範囲内の物体における、全体の認識率の期待値が最大となるように露光量を決定するので、監視範囲の物体の認識率の低下を最小限に抑えることができる。【００３０】
また、本発明によれば、物体が実在する空間の監視範囲内の照度が最も高い位置で検出される画面における物体の輝度が所定の上限値となるように、露光量を決定するので、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるように露光量を調整することができる。【００３１】
また、本発明によれば、物体が実在する空間の監視範囲内の照度が最も低い位置で検出される物体の輝度が所定の下限値となるように、露光量を決定するので、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるように露光量を調整することができる。
【図面の簡単な説明】
【００３２】
【図１】図１は、監視範囲の照度分布の一例を示す図である。
【図２】図２は、監視範囲全体の照度分布に基づいた目標値の一例を示す図である。
【図３】図３は、図２の目標値に基づいた露光量制御を示す図である。
【図４】図４は、本実施例１にかかる撮像装置の構成を示す機能ブロック図である。
【図５】図５は、本実施例１にかかる輝度制御を説明するための図である。
【図６】図６は、制御装置の構成を示す機能ブロック図である。
【図７】図７は、実空間上の対象の座標、カメラ画像の対象の座標、グローバル座標上の対象の座標の関係を示す図である。
【図８】図８は、現時刻の照度分布を説明するための図である。
【図９】図９は、本実施例１にかかる画像認識装置の処理手順を示すフローチャートである。
【図１０】図１０は、本実施例１にかかる制御装置の処理手順を示すフローチャートである。
【図１１】図１１は、認識率の期待値および各カメラパラメータの位置Ｐにおける対象輝度を示す図である。
【図１２】図１２は、撮像装置の他の適用例を説明するための図である。
【図１３】図１３は、撮像装置の他の適用例を説明するための図である。
【図１４】図１４は、実施例１にかかる撮像装置を構成するコンピュータのハードウェア構成を示す図である。
【図１５】図１５は、従来の画像監視の例を示す図である。
【図１６】図１６は、従来の画像監視によって検出される対象の例を示す図である。
【図１７】図１７は、従来の輝度制御の例を示す図である。
【図１８】図１８は、車両に搭載したカメラを用いて、対向車線を通行する車両を認識する例を示す図である。
【図１９】図１９は、撮影範囲と夜間におけるヘッドライトの照射範囲を示す図である。
【図２０】図２０は、図１９における位置Ａ，Ｂの照度の違いを示す図である。
【図２１】図２１は、従来の露光制御の問題点を示す図である。
【図２２】図２２は、認識対象の輝度と認識率との関係を示す図である。
【符号の説明】
【００３３】
１０    コンピュータ
１１，１１０    照明装置
１２，１２０    映像撮影装置
１３    入力装置
１４    モニタ
１５    ＲＡＭ
１５ａ，２０ａ  各種データ
１６    ＲＯＭ
１７    媒体読取装置
１８    インターフェース
１９    ＣＰＵ
１９ａ  画像認識プロセス
１９ｂ  カメラパラメータ算出プロセス
２０    ＨＤＤ
２１    バス
２０ｂ  画像認識プログラム
２０ｃ  カメラパラメータ算出プログラム
１００    撮像装置
１３０    画像認識装置
１４０    制御装置
１４１    座標変換部
１４２    輝度／照度変換部
１４３    照度分布記憶部
１４４    照度検出部
１４５    カメラパラメータ算出部
１４６    制御信号出力部
【発明を実施するための最良の形態】
【００３４】
以下に、本発明にかかる撮像装置、撮像方法および撮像プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例１】
【００３５】
まず、本実施例１にかかる撮像装置の概要および特徴について説明する。本実施例１にかかる撮像装置は、監視範囲全体の照度分布に応じて露光量の調整（カメラパラメータの調整）を行う。すなわち、実空間（監視対象となる物体が存在する空間）上の位置毎の照度の違いを考慮し、物体を検出した位置毎に、監視範囲全体が認識可能な輝度になるように露光量を調整する。【００３６】
図１は、監視範囲の照度分布の一例を示す図である。同図に示すように、監視範囲の照度分布は、天空など、遠方の光源から監視範囲に照射される環境光の光量と、監視範囲を照らすために用いる照明光の光量との和で決まるが、環境光および照明光にはそれぞれ下記の特徴がある。【００３７】
すなわち、環境光は、雲の動きなど大気の状態により、時間による変動があるが、監視範囲内の位置による照度の違いは小さく、監視範囲内の照度分布は均一であるという特徴があり、照明光は、監視範囲内の各位置により、到達する光量が異なり、監視範囲内の照度分布は均一にならないが、時間による変動を無視することができるという特徴がある。【００３８】
これらの特徴から、照明光の照度分布と、ある時刻での監視範囲内の一点における照度が分かれば、その時点での監視範囲全体の照度分布を知ることができる。そして、撮像装置は、監視範囲全体の照度分布に基づき、監視範囲全体で物体の認識に適した輝度で撮影されるように露光量（カメラパラメータ）を調整することが可能となる（各位置における露光量の目標値を設定することができる）。【００３９】
図２は、監視範囲全体の照度分布に基づいた目標値の一例を示す図であり、図３は、図２の目標値に基づいた露光量制御を示す図である。図２に示すように、監視範囲の照度分布から、照明装置から遠く、暗く撮影されるＡ点（図１９参照）での輝度の目標値を低めに設定し、照明装置から近く、明るく撮影されるＢ点（図１９参照）での輝度の目標値を高めに設定することで、監視範囲全体を認識可能な輝度に保つことができる。【００４０】
例えば、図３のように、照明光量の少ない位置Ａに対応する輝度を目標値に設定すべく、露光量を調整したとしても、位置Ａに対応する輝度の目標値が低めに設定されているので、照明光量の多い位置Ｂに対応する輝度が適正な範囲をオーバーすることがなくなる。【００４１】
次に、本実施例１にかかる撮像装置の構成について説明する。図４は、本実施例１にかかる撮像装置の構成を示す機能ブロック図である。同図に示すように、この撮像装置１００は、照明装置１１０と、映像撮影装置１２０と、画像認識装置１３０と、制御装置１４０とを備えて構成される。【００４２】
このうち、照明装置１１０は、監視範囲に向けて照明を照射する装置である。映像撮影装置１２０は、制御装置１４０によって決定されるカメラパラメータ（カメラの絞り等）によって監視範囲の映像を撮影する装置であり、撮影した映像を映像信号として画像認識装置１３０に出力する。また、映像撮影装置１２０は、監視範囲に監視対象となる物体を検出した場合には、監視範囲内で、検出した物体に合わせてカメラ方向を制御し、対象の映像を撮影する。【００４３】
画像認識装置１３０は、映像撮影装置１２０から映像信号を取得し、取得した映像信号から監視対象となる物体（対象）を検出し、検出した物体に対する詳細な認識を行い、物体の画像上での輝度（以下、対象輝度と表記する）を算出すると共に、物体の画像上での座標（以下、対象座標と表記する）を検出する装置である。画像認識装置１３０は、対象輝度および対象座標の情報を制御装置１４０に出力する。【００４４】
制御装置１４０は、画像認識装置１３０から出力される対象輝度および対象座標の情報に基づいて、物体の実在する空間における位置と照度を算出し、算出した位置と照度および現在のカメラパラメータに基づいてカメラパラメータを決定する装置である。制御装置１４０は、決定したカメラパラメータの情報を制御信号として映像撮影装置１２０に出力する。この制御信号を取得した映像撮影装置１２０は、制御信号に含まれるカメラパラメータの情報に合わせて、映像撮影装置１２０のカメラパラメータを調整する。【００４５】
なお、本実施例１にかかる撮像装置１００は、実空間の監視範囲内の中央などに基準点（Ｏ点とする）を設け、対象の輝度、検出位置から監視範囲の照度分布に基づいて、Ｏ点での対象の輝度を推定し、推定した輝度が所定の値となるように、露光量（カメラパラメータ）を調整する。【００４６】
図５は、本実施例１にかかる輝度制御を説明するための図である。図５の左側に示すように、対象がＡ点で検出された場合には、Ａ点の輝度からＯ点の輝度を推定し、図５の右側に示すように、Ｏ点での輝度が所定値となる露光量に調整する。そして、かかる調整によって監視領域全体では、認識可能な輝度に制御することができ、次に監視範囲を通過する対象を検出する位置がどこであっても（例えば、Ｂ点であっても）、認識可能となる。【００４７】
以下において、具体的な輝度の制御方法について述べる。ここでは簡単のため、輝度の制御はカメラの絞りで行うものとする。撮影画像の輝度Ｉは、照度Ｌと、絞り量Ｆの逆数とに比例すると仮定すると、
【数１】
2009066364.tif 000003
の関係があると仮定することができる。【００４８】
ここで、位置Ａにおける照明光の照度分布が既知であるとする。時刻Ｔでの絞り量をＦ（Ｔ）で、位置Ａで対象を検出し、その輝度がＩ（Ｔ，Ａ）であったとする。この場合、環境光の照度をＬｇ（Ｔ）とすると、式（１）から
【数２】
2009066364.tif 000004
が成り立つ。なお、式（１）のｋは比例定数である。【００４９】
また基準点Ｏでの輝度は、
【数３】
2009066364.tif 000005
となる。そして、Ｏ点での輝度が所定値ＩＯとなる、絞り量Ｆ’（Ｔ）は、
【数４】
2009066364.tif 000006
を満たす。式（２）〜（４）を整理すると、
【数５】
2009066364.tif 000007
となり、時刻Ｔで検出した対象の輝度および位置と、照明光の照度分布から、新しいカメラパラメータとなる絞り量（露光量）が決定される。【００５０】
次に、上記したカメラパラメータを決定する制御装置１４０の構成について説明する。図６は、制御装置１４０の構成を示す機能ブロック図である。同図に示すように、座標変換部１４１と、輝度／照度変換部１４２と、照度分布記憶部１４３と、照度検出部１４４と、カメラパラメータ算出部１４５と、制御信号出力部１４６とを備えて構成される。【００５１】
座標変換部１４１は、画像認識装置１３０から対象座標（カメラ座標上の対象の座標）を取得し、取得した対象座標に対して座標変換を実行し、画像上の対象の座標（ｘ，ｙ）をグローバル座標（Ｘ，Ｙ，Ｚ）に変換する処理部である。以下、グローバル座標系に変換した対象座標を、変換対象座標と表記する。図７は、実空間上の対象の座標、カメラ画像の対象の座標、グローバル座標上の対象の座標の関係を示す図である。座標変換部１４１は、変換対象座標の情報を輝度／照度変換部１４２、照度検出部１４４に出力する。【００５２】
なお、座標変換部１４１が対象座標をグローバル座標系に変換する手法は下記のような周知技術を用いればよい。例えば、物体の実際の大きさが既知の場合には、物体の画面での大きさ、画角および実際の物体の大きさに基づいて物体の距離を算出し、検出座標から物体の方向を決定することで、対象座標を変換対象座標に変換することができる。【００５３】
また、座標変換部１４１は、ステレオ処理を利用して対象座標を変換対象座標に変換することができる。すなわち、２台以上の映像撮影装置を用いて物体を撮影し、画像空間での物体の座標の違いから、周知のステレオ技術を利用して、変換対象座標を算出することができる。あるいは、座標変換部１４１は、レーザ、レーダなどの距離センサを利用して、物体の実位置を決定することで、直接、グローバル座標上の対象の座標を決定しても良い。【００５４】
輝度／照度変換部１４２は、画像認識装置１３０から対象輝度を取得し、取得した対象輝度を照度（以下、対象照度と表記する）に変換する処理部である。また、輝度／照度変換部１４２は、座標変換部１４１から変換対象座標を取得し、取得した変換対象座標に対応する座標の輝度を対象照度から検索し、検索した対象照度の情報をカメラパラメータ算出部１４５に出力する。【００５５】
ここで、輝度／照度変換部１４２が、輝度を照度に変換する手法はどのような手法を用いても構わないが、例えば、輝度／照度変換部１４２は、予め、現在のカメラパラメータ（絞り量Ｆ）の情報を自身の記憶部に保持しており、式（１）の関係を利用して、対象輝度を対象照度に変換する。【００５６】
照度分布記憶部１４３は、下記のような単一の条件で予め観測した照明装置１１０の照度分布（各座標における照度）の情報を記憶する記憶部である。例えば、撮像装置１００を暗室に設定した状態で、照明装置１１０の照度分布を計測することで、環境光の影響を受けずに各座標（Ｘ，Ｙ，Ｚ）の照度を計測することができる。【００５７】
なお、撮像装置１００を暗室に設置することができない場合は、環境光が安定している状態で、照明装置１１０がオンの場合とオフの場合で撮影範囲の実空間における各座標での照度を計測し、その差分を取ることで、各座標（Ｘ，Ｙ，Ｚ）の照度を計測することができる。【００５８】
照度検出部１４４は、座標変換部１４１から変換対象座標を取得し、取得した変換対象座標（グローバル座標上の対象の座標）に対応する座標の照度の情報を照度分布記憶部１４３から検索し、検索した情報を照明照度としてカメラパラメータ算出部１４５に出力する処理部である。【００５９】
カメラパラメータ算出部１４５は、現在のカメラパラメータ、対象照度、照明照度および照度分布記憶部１４３に記憶された情報に基づいて、調整すべきカメラパラメータを算出する処理部である。具体的に、カメラパラメータ算出部１４５は、差分算出処理、現時刻の照度分布算出処理、カメラパラメータ算出処理を順に実行する。【００６０】
差分算出処理において、カメラパラメータ算出部１４５は、対象照度と、照明照度との差分をとり、現時刻における環境光の照度（以下、環境光照度；照度のオフセット）を算出する。【００６１】
続いて、現時刻の照度分布算出処理において、カメラパラメータ算出部１４５は、監視範囲に含まれる各座標に対応する照度をそれぞれ照度分布記憶部１４３から検索し、検索した各座標に対応する各照度を照度分布（この照度分布は環境光を含まない）として抽出する。そして、かかる照度分布に含まれる各座標の照度に照度のオフセットを加算することによって現在時刻の照度分布（環境光の照度分布＋照明光の照度分布）を算出することができる。なお、監視範囲に含まれる各座標の情報は、予め、カメラパラメータ算出部１４５に記憶しておけばよい。【００６２】
図８は、現時刻の照度分布を説明するための図である。同図に示すように、現時刻において、位置Ｐにおける対象照度Ｌ（Ｐ）が特定できれば、かかるＬ（Ｐ）からＬｌ（Ｐ）を減算することによって、照度のオフセットを求めることができる。ここで、Ｌｌ（Ｐ）は、照明装置の照度分布における位置Ｐの照度である。そして、かかる照度オフセットを、照度分布Ｌｌ（Ｘ）の各座標における照度にそれぞれ加算することによって、現時刻の照度分布を算出することができる。【００６３】
続いて、カメラパラメータ算出処理において、カメラパラメータ算出部１４５は、上記の式（５）を利用することによって、カメラパラメータ（絞り量Ｆ’（Ｔ））を求める。なお、式（５）の所定値ＩＯの値は、どのような方法によって特定しても構わない。【００６４】
例えば、カメラパラメータ算出部１４５は、現時刻の照度分布（図８参照）から、最大照度と、最大照度に対応する座標を特定し、かかる最大照度が所定の上限値となるように、絞り量（カメラパラメータ）を算出する。例えば、上限値がＩＣ、最大照度の座標（基準点）をＣとするならば、絞り量は、
【数６】
2009066364.tif 000008
によって求められる。【００６５】
また、カメラパラメータ算出部１４５は、現時刻の照度分布（図８参照）から、最小照度と、最大照度に対応する座標を特定し、かかる最小照度が所定の下限値となるように絞り量（カメラパラメータ）を算出する。例えば、下限値がＩＤ、最小照度の座標（基準点）をＤとするならば、絞り量は、
【数７】
2009066364.tif 000009
によって求められる。カメラパラメータ算出部１４５は、算出したカメラパラメータの情報を制御信号出力部１４６に出力する。【００６６】
制御信号出力部１４６は、カメラパラメータ算出部１４５からカメラパラメータの情報を取得し、取得したカメラパラメータの情報を制御信号として、映像撮影装置１２０に出力し、映像撮影装置１２０のカメラパラメータを更新する処理部である。【００６７】
次に、本実施例１にかかる画像認識装置１３０の処理手順について説明する。図９は、本実施例１にかかる画像認識装置１３０の処理手順を示すフローチャートである。同図に示すように、画像認識装置１３０は、映像撮影装置１２０から映像信号を取得し（ステップＳ１０１）、認証処理を行う画像を決定する（ステップＳ１０２）。【００６８】
そして、画像認識装置１３０は、画像から対象を認識し（ステップＳ１０３）、対象輝度および対象座標を算出し（ステップＳ１０４）、対象輝度および対象座標を制御装置１４０に出力する（ステップＳ１０５）。【００６９】
次に、本実施例１にかかる制御装置１４０の処理手順について説明する。図１０は、本実施例１にかかる制御装置１４０の処理手順を示すフローチャートである。同図に示すように、制御装置１４０は、対象位置のカメラ座標をグローバル座標に変換し（ステップＳ２０１）、変換したグローバル座標に対応する照明の照度を検出する（ステップＳ２０２）。【００７０】
続いて、制御装置１４０は、各照度の差分をとることにより環境光照度（照度のオフセット）を算出し（ステップＳ２０３）、現時刻の照度分布を算出し（ステップＳ２０４）、カメラパラメータを算出し（ステップＳ２０５）、算出したカメラパラメータの情報を出力する（ステップＳ２０６）。【００７１】
このように、制御装置１４０が、物体の実在する空間における座標と照度分布に基づいて、撮像の露光量に影響するカメラパラメータを算出するので、ある時刻における実空間上の照度分布が均一でなくとも、映像撮影装置１２０の露光量を適切に調整することができる。【００７２】
上述してきたように、本実施例１にかかる撮像装置１００は、画像認識装置１３０が監視対象となる物体を検出し、検出した物体に対する認識処理を実行して対象輝度および対象座標を算出し、制御装置１４０が対象輝度および対象座標に基づいて、物体の実在する空間における位置と照度を算出し、算出した位置と照度および現在のカメラパラメータに基づいてカメラパラメータを算出し、算出したカメラパラメータによって映像撮影装置１２０のカメラパラメータを制御して露光量を調整するので、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるように露光量を調整することができる。
【実施例２】
【００７３】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例１以外にも、種々の異なる形態で実施されて良いものである。そこで、以下では実施例２として本発明に含まれる他の実施例を説明する。【００７４】
（１）監視範囲全体で認識に適した輝度で撮影することが困難な場合
上記の実施例１では、物体の輝度をある基準位置での輝度が認識に最適な値となるように、カメラパラメータを定めていたが、監視範囲が広く、監視範囲全体で認識に適した明るさで撮影することが困難な場合がある。【００７５】
この場合、認識に適した輝度で撮影できない領域について、認識率の低下が予想されるが、一般に、認識率の低下の度合いは、輝度が飽和する側と暗くなる（輝度が所定値以下となる）側とでは異なる。そこで、認識率の低下を最小限に抑えるために、下記のように輝度の目標値を設定する。【００７６】
図１１は、認識率の期待値および各カメラパラメータの位置Ｐにおける対象輝度を示す図である。図１１の濃淡は、位置Ｐで輝度Ｌとなった時の認識率の期待値Ｒ（Ｐ，Ｌ）を示したものである。また、図１１の実線は、カメラパラメータ（絞り量など）をＣＡ〜ＣＣに設定した場合の位置Ｐでの対象輝度Ｌ（Ｐ：Ｃ）を示す。【００７７】
これにより、位置Ｐにおける認識率の期待値は、Ｒ（Ｐ，Ｌ（Ｐ：Ｃ））と表すことができる。全体での認識率ＲＥは、対象が位置Ｐで検出される確率Ｔ（Ｐ）を用いて
【数８】
2009066364.tif 000010
となる。【００７８】
ここで、位置Ｐにおいて輝度がＬの時の認識率Ｒ（Ｐ，Ｌ）及び確率Ｔ（Ｐ）を予め観測しておき撮像装置１００の記憶装置（図示略）に記憶しておく。そして、認識結果から推定される照度条件から、カメラパラメータＣに対する位置Ｐと輝度Ｌとの関係Ｌ（Ｐ：Ｃ）が求められ、結果ＲＣ（Ｐ，Ｌ）が決定できる。【００７９】
ＲＣ（Ｐ，Ｌ）が決定されることにより、全体の認識率は、カメラパラメータＣの関数ＲＥ（Ｃ）となるので、制御装置１４０は、認識率ＲＥが最大となるカメラパラメータＣを算出する。制御装置１４０は、算出したカメラパラメータとなるように、制御信号を映像撮影装置１２０に出力する。なお、位置による対象の見え方の違いが無視できる場合には、監視範囲全体で、位置Ｐと輝度Ｌとの関係を観測しなくても、ある一点Ｐ０にて、輝度Ｌに対する認識率を観測すればよい。【００８０】
（２）他の適用例
上記の実施例１では、例えば、図１８のように、走行する車両に撮像装置を設置して、対向車両の認識を行う場合を例に説明したがこれに限定されるものではない。図１２、図１３は、撮像装置の他の適用例を説明するための図である。【００８１】
図１２に示すように、道路監視などで、街路灯を照明として本実施例にかかる撮像装置を用い、道路を走行する車両を認識すると共に、上記した手法を用いてカメラパラメータを調整し、認識率を向上させることができる。この場合、撮像装置は、街路灯の照度分布を予め観測して記憶装置に記憶しておき、記憶装置に記憶された照度分布の情報を用いてカメラパラメータを算出する。【００８２】
また、図１３に示すように、通路を移動する人物を認識すべく、本実施例にかかる撮像装置を用いることができる。照明装置から各人物までの距離が大きく異なり、ある時刻における照度分布が位置によって異なる場合であっても、本実施例にかかる撮像装置を利用することにより、監視範囲内の輝度を適切に調整することができ、各人物に対する認証率を向上させることができる。【００８３】
（３）撮像装置の露光量を調整するためのその他の例
上記の実施例１では、撮像装置（映像撮影装置１２０）の露光量を調整するために、レンズの絞りを制御する方法について述べたが、これに限定されるものではなく、カメラのシャッタースピードを変更したり、レンズに取り付けた光量調整フィルタ（ＮＤフィルタなど）の透過率を変更することでも、撮像装置の露光量を調整することができる。【００８４】
（４）式（１）にかかる比例定数ｋについて
上記の実施例では、一例として、各座標における輝度と照度とが比例関係であることを前提に説明したが、これに限定されるものではない。すなわち、予め、対象物体を撮影したときの輝度と、当該輝度に対応する照度を座標ごとに求めておき、輝度と照度との間における各座標の比例定数ｋを算出したテーブルを記憶しておくことで、輝度と照度が比例関係にない場合であっても、上記した本方式を適応することができる。【００８５】
（５）システムの構成など
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。【００８６】
また、図４に示した撮像装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。【００８７】
図１４は、実施例１にかかる撮像装置を構成するコンピュータのハードウェア構成を示す図である。図１４に示すように、このコンピュータ（撮像装置）１０は、照明装置１１、映像撮影装置１２、入力装置１３、モニタ１４、ＲＡＭ（Random  Access  Memory）１５、ＲＯＭ（Read  Only  Memory）１６、記憶媒体からデータを読み取る媒体読取装置１７、他の装置との間でデータの送受信を行うインターフェース１８、ＣＰＵ（Central  Processing  Unit）１９、ＨＤＤ（Hard  Disk  Drive）２０をバス２１で接続して構成される。ここで、照明装置１１、映像撮影装置１２は、図４に示した照明装置１１０、映像撮影装置１２０に対応する。【００８８】
そして、ＨＤＤ２０には、上記した撮像装置１００の機能と同様の機能を発揮する画像認識プログラム２０ｂ、カメラパラメータ算出プログラム２０ｃが記憶されている。ＣＰＵ１９が画像認識プログラム２０ｂ、カメラパラメータ算出プログラム２０ｃを読み出して実行することにより、画像認識プロセス１９ａ、カメラパラメータ算出プロセス１９ｂが起動される。この画像認識プロセス１９ａは、上記した画像認識装置１３０が実行する処理に対応し、カメラパラメータ算出プログラム１９ｂは、制御装置１４０が実行する処理に対応する。【００８９】
また、ＨＤＤ２０は、入力装置１３等によって取得された照明装置１１の照度分布、環境光の照度分布、対象輝度、対象座標の情報等を含んだ各種データ２０ａを記憶する。ＣＰＵ１９は、ＨＤＤ２０に格納された各種データ２０ａを読み出してＲＡＭ１５に格納し、ＲＡＭ１５に格納された各種データ１５ａを用いて、カメラパラメータを算出し、算出したカメラパラメータを映像撮影装置１２に設定する。【００９０】
ところで、図１４に示した画像認識プログラム２０ｂ、カメラパラメータ算出プログラム２０ｃは、必ずしも最初からＨＤＤ２０に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などに画像認識プログラム２０ｂ、カメラパラメータ算出プログラム２０ｃを記憶しておき、コンピュータがこれらから画像認識プログラム２０ｂ、カメラパラメータ算出プログラム２０ｃを読み出して実行するようにしてもよい。
【産業上の利用可能性】
【００９１】
以上のように、本発明にかかる撮像装置、撮像方法および撮像プログラムは、カメラパラメータを調整して監視範囲の対象物の認識を行うシステム等に有用であり、特に、ある時刻における照度分布が均一でない場合であっても、監査範囲に含まれる対象物の位置によらず認識率を高める必要がある場合に適している。
【図１】
2009066364.tif 000011
【図２】
2009066364.tif 000012
【図３】
2009066364.tif 000013
【図４】
2009066364.tif 000014
【図５】
2009066364.tif 000015
【図６】
2009066364.tif 000016
【図７】
2009066364.tif 000017
【図８】
2009066364.tif 000018
【図９】
2009066364.tif 000019
【図１０】
2009066364.tif 000020
【図１１】
2009066364.tif 000021
【図１２】
2009066364.tif 000022
【図１３】
2009066364.tif 000023
【図１４】
2009066364.tif 000024
【図１５】
2009066364.tif 000025
【図１６】
2009066364.tif 000026
【図１７】
2009066364.tif 000027
【図１８】
2009066364.tif 000028
【図１９】
2009066364.tif 000029
【図２０】
2009066364.tif 000030
【図２１】
2009066364.tif 000031
【図２２】
2009066364.tif 000032
【手続補正書】
【提出日】平成22年2月12日(2010.2.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体を検出し撮影を行う撮像装置であって、
前記物体を検出する検出手段と、
検出された前記物体の画像を撮影する撮影手段と、
撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出する算出手段と、
算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定する露光量決定手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記物体が実在する空間の位置と照度を予め記憶する記憶手段と、
前記記憶手段に記憶された前記物体の実在する空間における所定の位置の照度と、前記撮影手段により撮影した前記物体の画像の前記位置と前記輝度から前記算出手段により算出された前記物体の実在する空間における所定の位置の照度に基づき、監視範囲全域での照度分布を算出する照度分布算出手段とを有し、
前記露光量決定手段は、算出された前記照度分布に基づき、露光量を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記記憶手段が記憶する前記照度は、照明光のみにより測定した照度を記憶し、
前記照度分布算出手段は、前記記憶手段に記憶された前記物体の実在する空間における所定の位置の照明光のみにより測定した照度と、前記撮影手段により撮影した前記物体の画像の前記位置と前記輝度から前記算出手段により算出された前記物体の実在する空間における前記所定の位置の照度に基づき環境光照度を算出し、前記環境光照度と前記照明光のみにより測定した照度を加えた監視範囲全域における照度分布を算出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記露光量決定手段は、監視範囲全域で適正な明るさで撮影できない場合には、前記物体が実在する空間における監視範囲内の各位置での出現確率と前記画像における輝度ごとの物体の認識率の期待値から、前記監視範囲内の物体における、全体の認識率の期待値が最大となるように露光量を決定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記露光量決定手段は、前記物体が実在する空間の監視範囲内の照度が最も高い位置で検出される画面における物体の輝度が所定の上限値となるように、露光量を決定することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記露光量決定手段は、前記物体が実在する空間の監視範囲内の照度が最も低い位置で検出される物体の輝度が所定の下限値となるように、露光量を決定することを特徴とする請求項３に記載の撮像装置。
【請求項７】
物体を検出し撮影を行う撮像方法であって、
前記物体を検出するステップと、
検出された前記物体の画像を撮影するステップと、
撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出するステップと、
算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定するステップと、
を有することを特徴とする撮像方法。
【請求項８】
コンピュータに対し、
前記物体を検出する手順と、
検出された前記物体の画像を撮影する手順と、
撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出する手順と、
算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定する手順と、
を実行させることを特徴とする撮像プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を検出し撮影を行う撮像装置、撮像方法および撮像プログラムに関するものである。
【背景技術】
【０００２】
従来の画像監視では、監視対象となる物体を検出し、検出した物体が何であるかの認識や、物体に書かれた文字の読み取りなどを行っている（例えば、特許文献１、特許文献２等参照）。この画像監視において、高い認識率（物体の認識に成功する割合）を得るためには、認識する物体そのものを認識に適した輝度となるように撮影する必要がある。
【０００３】
特に、屋外での画像監視などでは、天候の日照状況などで照度環境が時々刻々と変化しており、このような照度環境下でも高い認識率を得るためには、常に物体が認識に適した輝度で撮影されるように、撮影装置に入射する光の量（露光量）を調整する必要がある。
【０００４】
これまでの画像監視における輝度調整では、時間による照度変動はあっても、ある時刻における監視範囲内の照度分布は均一であるという、暗黙の大前提があった。例えば、特許文献１では、道路を通行する車両のナンバープレートに書かれた文字を正確に読み取るために、検出した対象（ナンバープレート）の輝度が所定値になるように、レンズの絞りなどのカメラパラメータを制御している。
【０００５】
ここでは、監視範囲内の照度分布が均一であるという前提から、ある環境下で撮影された対象の輝度は、対象が画面内のどの位置にあっても、例えば、車両が道路のどこを通過しても、一定であるといえる。図１５は、従来の画像監視の例を示す図である。図１５では、路上に設置されたカメラから監視範囲を通過する車両を検出しているが、照度が均一である場合には、撮影される対象の輝度は、検出位置によらず一定となる。
【０００６】
図１６は、従来の画像監視によって検出される対象の例を示す図である。ある時刻における監視範囲内の照度分布が均一であるとするならば、図１６に示すように、図１５のＡ点での画像と図１６のＢ点での画像との輝度は一定となる。
【０００７】
そして、対象を検出した後に、対象の輝度を制御する。図１７は、従来の輝度制御の例を示す図である。図１７の左側のように、対象の輝度が所定値（同図の網掛け部分）から外れている場合には、図１７の右側のように、所定の輝度で撮影されるように、レンズの絞りなどを調整する。図１７では、対象が所定の輝度よりも低く（所定の明るさよりも暗く）撮影されているので、例えば、絞りを開ける制御を行う。
【０００８】
【特許文献１】特許２７０６３１４号公報
【特許文献２】特開２００６−３１１０３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来の技術では、ある時刻における監視範囲内の照度分布が均一でない場合に、検出対象の輝度を適切に調整することができないという問題があった。
【００１０】
例えば、夜間などで照明を照射して対象の認識を行う場合に、監視範囲の照度を均一にできない場合がある。図１８は、車両に搭載したカメラを用いて、対向車線を通行する車両を認識する例を示す図であり、図１９は、撮影範囲と夜間におけるヘッドライトの照射範囲を示す図である。
【００１１】
図１８に示すように、画像監視における専用の照明を用いずに、カメラを搭載した自車両のヘッドライトを照明として用いた場合に、監視範囲の照度を均一にできない。すなわち、図１９に示すように、カメラを原点とし、自車両の進行方向をＺ軸、Ｚ軸に垂直な水平方向Ｘ軸を取るグローバル座標系を考えると、ヘッドライト照明のムラのために、対象の照度は、実空間位置（実際に対象が存在する空間の位置）によって異なり、各位置で撮影される対象の輝度も異なる。
【００１２】
図２０は、図１９における位置Ａ，Ｂの照度の違いを示す図であり、図２１は、従来の露光制御の問題点を示す図である。例えば、図１９の位置Ａのように、車両から遠く（Ｘ座標が大きく）、照度光量が少ない位置を対象が通過した場合を考える。位置Ａで検出した対象の輝度が図２０の左側のように、所定の輝度よりも小さい場合、従来方式では、位置Ａでの対象の輝度が所定値となるように、カメラの絞りを開けるなど、カメラパラメータの調整を行う（位置Ｂでの輝度に関わらすカメラパラメータの調整を行う）。
【００１３】
そして、位置Ａでの輝度を基準としてカメラパラメータの調整を行うと、図２０の右側のように、照明装置から近い（Ｘ座標が小さい）位置Ｂなどでは、調整前の輝度が位置Ａよりも大きいため、輝度が適切な範囲をオーバーしてしまう（図２１参照）。すなわち、次の監視対象を位置Ｂで検出した場合には、画像が白飛びしてしまい、文字を正確に読み取ることができない。逆に、対象が位置Ｂを通過し、位置Ｂに合わせたカメラパラメータに調整された後に、対象を位置Ａで検出した場合には、輝度が適正な範囲に届かず、認識できなくなる。
【００１４】
図２２は、認識対象の輝度と認識率との関係を示す図である。図２２に示すように、輝度が小さく、暗く撮影される場合には、対象とノイズとの区別がつかずに認識率が低下する。逆に、輝度が大きすぎると、輝度飽和により、対象が白飛びするために、認識不能となり、やはり、認識率が低下してしまう。
【００１５】
このため、画像監視においては、対象そのもの（あるいは監視範囲）の輝度が認識に適した所定の値となるように調整する必要がある。例えば、対象の認識率が常に最大値Ｒｍａｘとなるように輝度を調整する（輝度をＬｏに調整する）。または、許容する認識率の最低値ＲＯを設定し、これを満たすように輝度を調整する（輝度をＬＬ〜ＬＨに調整する）必要がある。
【００１６】
すなわち、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるように露光量を制御することが極めて重要な課題となっている。
【００１７】
本発明は、上記に鑑みてなされたものであって、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるようにカメラパラメータを制御することができる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
上述した課題を解決し、目的を達成するために、本発明は、物体を検出し撮影を行う撮像装置であって、前記物体を検出する検出手段と、検出された前記物体の画像を撮影する撮影手段と、撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出する算出手段と、算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定する露光量決定手段と、を有することを特徴とする。
【００１９】
また、本発明は、上記発明において、前記物体が実在する空間の位置と照度を予め記憶する記憶手段と、前記記憶手段に記憶された前記物体の実在する空間における所定の位置の照度と、前記撮影手段により撮影した前記物体の画像の前記位置と前記輝度から前記算出手段により算出された前記物体の実在する空間における所定の位置の照度に基づき、監視範囲全域での照度分布を算出する照度分布算出手段とを有し、前記露光量決定手段は、算出された前記照度分布に基づき、露光量を決定することを特徴とする。
【００２０】
また、本発明は、上記発明において、前記記憶手段が記憶する前記照度は、照明光のみにより測定した照度を記憶し、前記照度分布算出手段は、前記記憶手段に記憶された前記物体の実在する空間における所定の位置の照明光のみにより測定した照度と、前記撮影手段により撮影した前記物体の画像の前記位置と前記輝度から前記算出手段により算出された前記物体の実在する空間における前記所定の位置の照度に基づき環境光照度を算出し、前記環境光照度と前記照明光のみにより測定した照度を加えた監視範囲全域における照度分布を算出することを特徴とする。
【００２１】
また、本発明は、上記発明において、前記露光量決定手段は、監視範囲全域で適正な明るさで撮影できない場合には、前記物体が実在する空間における監視範囲内の各位置での出現確率と前記画像における輝度ごとの物体の認識率の期待値から、前記監視範囲内の物体における、全体の認識率の期待値が最大となるように露光量を決定することを特徴とする。
【００２２】
また、本発明は、上記発明において、前記露光量決定手段は、前記物体が実在する空間の監視範囲内の照度が最も高い位置で検出される画面における物体の輝度が所定の上限値となるように、露光量を決定することを特徴とする。
【００２３】
また、本発明は、上記発明において、前記露光量決定手段は、前記物体が実在する空間の監視範囲内の照度が最も低い位置で検出される物体の輝度が所定の下限値となるように、露光量を決定することを特徴とする。
【００２４】
また、本発明は、物体を検出し撮影を行う撮像方法であって、前記物体を検出する段階と、検出された前記物体の画像を撮影する段階と、撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出する段階と、算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定する段階と、を有することを特徴とする。
【００２５】
また、本発明は、コンピュータに対し、前記物体を検出する手順と、検出された前記物体の画像を撮影する手順と、撮影した前記物体の画像により得られる位置と輝度に基づき、前記物体の実在する空間における位置と照度を算出する手順と、算出された前記物体の実在する空間における前記位置と前記照度に基づき、撮像の露光量を決定する手順と、を実行させることを特徴とする。
【発明の効果】
【００２６】
本発明によれば、監視対象となる物体を検出して画像を撮影し、撮影した物体に対する認識処理を実行して輝度および位置に基づいて、物体の実在する空間における位置と照度を算出し、算出した位置と照度に基づいて露光量を決定するので、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるように露光量を調整することができる。
【００２７】
また、本発明によれば、物体が実在する空間の位置と照度を予め記憶装置に記憶し、記憶装置に記憶された物体の実在する空間における所定の位置の照度と、撮影した物体の画像の位置と輝度から算出された物体の実在する空間における所定の位置の照度に基づき、監視範囲全域での照度分布を算出し、照度分布に基づいて露光量を決定するので、照度分布が均一とならない照明装置を使用した場合の画像認識処理の精度を向上させることができる。
【００２８】
また、本発明によれば、照明光のみにより測定した照度を記憶装置に記憶し、記憶装置に記憶された物体の実在する空間における所定の位置の照明光のみにより測定した照度と、撮影した物体の画像の位置と輝度から算出された物体の実在する空間における所定の位置の照度に基づき環境光照度を算出し、環境光照度と照明光照度を加えた監視範囲全域における照度分布を算出するので、監視範囲全体の輝度が認識に適した値となるように露光量を調整することができる。
【００２９】
また、本発明によれば、監視範囲全域で適正な明るさで撮影できない場合には、物体が実在する空間における監視範囲内の各位置での出現確率と前記画像における輝度ごとの物体の認識率の期待値から、監視範囲内の物体における、全体の認識率の期待値が最大となるように露光量を決定するので、監視範囲の物体の認識率の低下を最小限に抑えることができる。
【００３０】
また、本発明によれば、物体が実在する空間の監視範囲内の照度が最も高い位置で検出される画面における物体の輝度が所定の上限値となるように、露光量を決定するので、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるように露光量を調整することができる。
【００３１】
また、本発明によれば、物体が実在する空間の監視範囲内の照度が最も低い位置で検出される物体の輝度が所定の下限値となるように、露光量を決定するので、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるように露光量を調整することができる。
【発明を実施するための最良の形態】
【００３２】
以下に、本発明にかかる撮像装置、撮像方法および撮像プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例１】
【００３３】
まず、本実施例１にかかる撮像装置の概要および特徴について説明する。本実施例１にかかる撮像装置は、監視範囲全体の照度分布に応じて露光量の調整（カメラパラメータの調整）を行う。すなわち、実空間（監視対象となる物体が存在する空間）上の位置毎の照度の違いを考慮し、物体を検出した位置毎に、監視範囲全体が認識可能な輝度になるように露光量を調整する。
【００３４】
図１は、監視範囲の照度分布の一例を示す図である。同図に示すように、監視範囲の照度分布は、天空など、遠方の光源から監視範囲に照射される環境光の光量と、監視範囲を照らすために用いる照明光の光量との和で決まるが、環境光および照明光にはそれぞれ下記の特徴がある。
【００３５】
すなわち、環境光は、雲の動きなど大気の状態により、時間による変動があるが、監視範囲内の位置による照度の違いは小さく、監視範囲内の照度分布は均一であるという特徴があり、照明光は、監視範囲内の各位置により、到達する光量が異なり、監視範囲内の照度分布は均一にならないが、時間による変動を無視することができるという特徴がある。
【００３６】
これらの特徴から、照明光の照度分布と、ある時刻での監視範囲内の一点における照度が分かれば、その時点での監視範囲全体の照度分布を知ることができる。そして、撮像装置は、監視範囲全体の照度分布に基づき、監視範囲全体で物体の認識に適した輝度で撮影されるように露光量（カメラパラメータ）を調整することが可能となる（各位置における露光量の目標値を設定することができる）。
【００３７】
図２は、監視範囲全体の照度分布に基づいた目標値の一例を示す図であり、図３は、図２の目標値に基づいた露光量制御を示す図である。図２に示すように、監視範囲の照度分布から、照明装置から遠く、暗く撮影されるＡ点（図１９参照）での輝度の目標値を低めに設定し、照明装置から近く、明るく撮影されるＢ点（図１９参照）での輝度の目標値を高めに設定することで、監視範囲全体を認識可能な輝度に保つことができる。
【００３８】
例えば、図３のように、照明光量の少ない位置Ａに対応する輝度を目標値に設定すべく、露光量を調整したとしても、位置Ａに対応する輝度の目標値が低めに設定されているので、照明光量の多い位置Ｂに対応する輝度が適正な範囲をオーバーすることがなくなる。
【００３９】
次に、本実施例１にかかる撮像装置の構成について説明する。図４は、本実施例１にかかる撮像装置の構成を示す機能ブロック図である。同図に示すように、この撮像装置１００は、照明装置１１０と、映像撮影装置１２０と、画像認識装置１３０と、制御装置１４０とを備えて構成される。
【００４０】
このうち、照明装置１１０は、監視範囲に向けて照明を照射する装置である。映像撮影装置１２０は、制御装置１４０によって決定されるカメラパラメータ（カメラの絞り等）によって監視範囲の映像を撮影する装置であり、撮影した映像を映像信号として画像認識装置１３０に出力する。また、映像撮影装置１２０は、監視範囲に監視対象となる物体を検出した場合には、監視範囲内で、検出した物体に合わせてカメラ方向を制御し、対象の映像を撮影する。
【００４１】
画像認識装置１３０は、映像撮影装置１２０から映像信号を取得し、取得した映像信号から監視対象となる物体（対象）を検出し、検出した物体に対する詳細な認識を行い、物体の画像上での輝度（以下、対象輝度と表記する）を算出すると共に、物体の画像上での座標（以下、対象座標と表記する）を検出する装置である。画像認識装置１３０は、対象輝度および対象座標の情報を制御装置１４０に出力する。
【００４２】
制御装置１４０は、画像認識装置１３０から出力される対象輝度および対象座標の情報に基づいて、物体の実在する空間における位置と照度を算出し、算出した位置と照度および現在のカメラパラメータに基づいてカメラパラメータを決定する装置である。制御装置１４０は、決定したカメラパラメータの情報を制御信号として映像撮影装置１２０に出力する。この制御信号を取得した映像撮影装置１２０は、制御信号に含まれるカメラパラメータの情報に合わせて、映像撮影装置１２０のカメラパラメータを調整する。
【００４３】
なお、本実施例１にかかる撮像装置１００は、実空間の監視範囲内の中央などに基準点（Ｏ点とする）を設け、対象の輝度、検出位置から監視範囲の照度分布に基づいて、Ｏ点での対象の輝度を推定し、推定した輝度が所定の値となるように、露光量（カメラパラメータ）を調整する。
【００４４】
図５は、本実施例１にかかる輝度制御を説明するための図である。図５の左側に示すように、対象がＡ点で検出された場合には、Ａ点の輝度からＯ点の輝度を推定し、図５の右側に示すように、Ｏ点での輝度が所定値となる露光量に調整する。そして、かかる調整によって監視領域全体では、認識可能な輝度に制御することができ、次に監視範囲を通過する対象を検出する位置がどこであっても（例えば、Ｂ点であっても）、認識可能となる。
【００４５】
以下において、具体的な輝度の制御方法について述べる。ここでは簡単のため、輝度の制御はカメラの絞りで行うものとする。撮影画像の輝度Ｉは、照度Ｌと、絞り量Ｆの逆数とに比例すると仮定すると、
【数１】
2009066364.tif 000033
の関係があると仮定することができる。
【００４６】
ここで、位置Ａにおける照明光の照度分布が既知であるとする。時刻Ｔでの絞り量をＦ（Ｔ）で、位置Ａで対象を検出し、その輝度がＩ（Ｔ，Ａ）であったとする。この場合、環境光の照度をＬｇ（Ｔ）とすると、式（１）から
【数２】
2009066364.tif 000034
が成り立つ。なお、式（１）のｋは比例定数である。
【００４７】
また基準点Ｏでの輝度は、
【数３】
2009066364.tif 000035
となる。そして、Ｏ点での輝度が所定値ＩＯとなる、絞り量Ｆ’（Ｔ）は、
【数４】
2009066364.tif 000036
を満たす。式（２）〜（４）を整理すると、
【数５】
2009066364.tif 000037
となり、時刻Ｔで検出した対象の輝度および位置と、照明光の照度分布から、新しいカメラパラメータとなる絞り量（露光量）が決定される。
【００４８】
次に、上記したカメラパラメータを決定する制御装置１４０の構成について説明する。図６は、制御装置１４０の構成を示す機能ブロック図である。同図に示すように、座標変換部１４１と、輝度／照度変換部１４２と、照度分布記憶部１４３と、照度検出部１４４と、カメラパラメータ算出部１４５と、制御信号出力部１４６とを備えて構成される。
【００４９】
座標変換部１４１は、画像認識装置１３０から対象座標（カメラ座標上の対象の座標）を取得し、取得した対象座標に対して座標変換を実行し、画像上の対象の座標（ｘ，ｙ）をグローバル座標（Ｘ，Ｙ，Ｚ）に変換する処理部である。以下、グローバル座標系に変換した対象座標を、変換対象座標と表記する。図７は、実空間上の対象の座標、カメラ画像の対象の座標、グローバル座標上の対象の座標の関係を示す図である。座標変換部１４１は、変換対象座標の情報を輝度／照度変換部１４２、照度検出部１４４に出力する。
【００５０】
なお、座標変換部１４１が対象座標をグローバル座標系に変換する手法は下記のような周知技術を用いればよい。例えば、物体の実際の大きさが既知の場合には、物体の画面での大きさ、画角および実際の物体の大きさに基づいて物体の距離を算出し、検出座標から物体の方向を決定することで、対象座標を変換対象座標に変換することができる。
【００５１】
また、座標変換部１４１は、ステレオ処理を利用して対象座標を変換対象座標に変換することができる。すなわち、２台以上の映像撮影装置を用いて物体を撮影し、画像空間での物体の座標の違いから、周知のステレオ技術を利用して、変換対象座標を算出することができる。あるいは、座標変換部１４１は、レーザ、レーダなどの距離センサを利用して、物体の実位置を決定することで、直接、グローバル座標上の対象の座標を決定しても良い。
【００５２】
輝度／照度変換部１４２は、画像認識装置１３０から対象輝度を取得し、取得した対象輝度を照度（以下、対象照度と表記する）に変換する処理部である。また、輝度／照度変換部１４２は、座標変換部１４１から変換対象座標を取得し、取得した変換対象座標に対応する座標の輝度を対象照度から検索し、検索した対象照度の情報をカメラパラメータ算出部１４５に出力する。
【００５３】
ここで、輝度／照度変換部１４２が、輝度を照度に変換する手法はどのような手法を用いても構わないが、例えば、輝度／照度変換部１４２は、予め、現在のカメラパラメータ（絞り量Ｆ）の情報を自身の記憶部に保持しており、式（１）の関係を利用して、対象輝度を対象照度に変換する。
【００５４】
照度分布記憶部１４３は、下記のような単一の条件で予め観測した照明装置１１０の照度分布（各座標における照度）の情報を記憶する記憶部である。例えば、撮像装置１００を暗室に設定した状態で、照明装置１１０の照度分布を計測することで、環境光の影響を受けずに各座標（Ｘ，Ｙ，Ｚ）の照度を計測することができる。
【００５５】
なお、撮像装置１００を暗室に設置することができない場合は、環境光が安定している状態で、照明装置１１０がオンの場合とオフの場合で撮影範囲の実空間における各座標での照度を計測し、その差分を取ることで、各座標（Ｘ，Ｙ，Ｚ）の照度を計測することができる。
【００５６】
照度検出部１４４は、座標変換部１４１から変換対象座標を取得し、取得した変換対象座標（グローバル座標上の対象の座標）に対応する座標の照度の情報を照度分布記憶部１４３から検索し、検索した情報を照明照度としてカメラパラメータ算出部１４５に出力する処理部である。
【００５７】
カメラパラメータ算出部１４５は、現在のカメラパラメータ、対象照度、照明照度および照度分布記憶部１４３に記憶された情報に基づいて、調整すべきカメラパラメータを算出する処理部である。具体的に、カメラパラメータ算出部１４５は、差分算出処理、現時刻の照度分布算出処理、カメラパラメータ算出処理を順に実行する。
【００５８】
差分算出処理において、カメラパラメータ算出部１４５は、対象照度と、照明照度との差分をとり、現時刻における環境光の照度（以下、環境光照度；照度のオフセット）を算出する。
【００５９】
続いて、現時刻の照度分布算出処理において、カメラパラメータ算出部１４５は、監視範囲に含まれる各座標に対応する照度をそれぞれ照度分布記憶部１４３から検索し、検索した各座標に対応する各照度を照度分布（この照度分布は環境光を含まない）として抽出する。そして、かかる照度分布に含まれる各座標の照度に照度のオフセットを加算することによって現在時刻の照度分布（環境光の照度分布＋照明光の照度分布）を算出することができる。なお、監視範囲に含まれる各座標の情報は、予め、カメラパラメータ算出部１４５に記憶しておけばよい。
【００６０】
図８は、現時刻の照度分布を説明するための図である。同図に示すように、現時刻において、位置Ｐにおける対象照度Ｌ（Ｐ）が特定できれば、かかるＬ（Ｐ）からＬｌ（Ｐ）を減算することによって、照度のオフセットを求めることができる。ここで、Ｌｌ（Ｐ）は、照明装置の照度分布における位置Ｐの照度である。そして、かかる照度オフセットを、照度分布Ｌｌ（Ｘ）の各座標における照度にそれぞれ加算することによって、現時刻の照度分布を算出することができる。
【００６１】
続いて、カメラパラメータ算出処理において、カメラパラメータ算出部１４５は、上記の式（５）を利用することによって、カメラパラメータ（絞り量Ｆ’（Ｔ））を求める。なお、式（５）の所定値ＩＯの値は、どのような方法によって特定しても構わない。
【００６２】
例えば、カメラパラメータ算出部１４５は、現時刻の照度分布（図８参照）から、最大照度と、最大照度に対応する座標を特定し、かかる最大照度が所定の上限値となるように、絞り量（カメラパラメータ）を算出する。例えば、上限値がＩＣ、最大照度の座標（基準点）をＣとするならば、絞り量は、
【数６】
2009066364.tif 000038
によって求められる。
【００６３】
また、カメラパラメータ算出部１４５は、現時刻の照度分布（図８参照）から、最小照度と、最大照度に対応する座標を特定し、かかる最小照度が所定の下限値となるように絞り量（カメラパラメータ）を算出する。例えば、下限値がＩＤ、最小照度の座標（基準点）をＤとするならば、絞り量は、
【数７】
2009066364.tif 000039
によって求められる。カメラパラメータ算出部１４５は、算出したカメラパラメータの情報を制御信号出力部１４６に出力する。
【００６４】
制御信号出力部１４６は、カメラパラメータ算出部１４５からカメラパラメータの情報を取得し、取得したカメラパラメータの情報を制御信号として、映像撮影装置１２０に出力し、映像撮影装置１２０のカメラパラメータを更新する処理部である。
【００６５】
次に、本実施例１にかかる画像認識装置１３０の処理手順について説明する。図９は、本実施例１にかかる画像認識装置１３０の処理手順を示すフローチャートである。同図に示すように、画像認識装置１３０は、映像撮影装置１２０から映像信号を取得し（ステップＳ１０１）、認証処理を行う画像を決定する（ステップＳ１０２）。
【００６６】
そして、画像認識装置１３０は、画像から対象を認識し（ステップＳ１０３）、対象輝度および対象座標を算出し（ステップＳ１０４）、対象輝度および対象座標を制御装置１４０に出力する（ステップＳ１０５）。
【００６７】
次に、本実施例１にかかる制御装置１４０の処理手順について説明する。図１０は、本実施例１にかかる制御装置１４０の処理手順を示すフローチャートである。同図に示すように、制御装置１４０は、対象位置のカメラ座標をグローバル座標に変換し（ステップＳ２０１）、変換したグローバル座標に対応する照明の照度を検出する（ステップＳ２０２）。
【００６８】
続いて、制御装置１４０は、各照度の差分をとることにより環境光照度（照度のオフセット）を算出し（ステップＳ２０３）、現時刻の照度分布を算出し（ステップＳ２０４）、カメラパラメータを算出し（ステップＳ２０５）、算出したカメラパラメータの情報を出力する（ステップＳ２０６）。
【００６９】
このように、制御装置１４０が、物体の実在する空間における座標と照度分布に基づいて、撮像の露光量に影響するカメラパラメータを算出するので、ある時刻における実空間上の照度分布が均一でなくとも、映像撮影装置１２０の露光量を適切に調整することができる。
【００７０】
上述してきたように、本実施例１にかかる撮像装置１００は、画像認識装置１３０が監視対象となる物体を検出し、検出した物体に対する認識処理を実行して対象輝度および対象座標を算出し、制御装置１４０が対象輝度および対象座標に基づいて、物体の実在する空間における位置と照度を算出し、算出した位置と照度および現在のカメラパラメータに基づいてカメラパラメータを算出し、算出したカメラパラメータによって映像撮影装置１２０のカメラパラメータを制御して露光量を調整するので、監視範囲の照度が均一でない場合であっても、対象の輝度が認識に適した値となるように露光量を調整することができる。
【実施例２】
【００７１】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例１以外にも、種々の異なる形態で実施されて良いものである。そこで、以下では実施例２として本発明に含まれる他の実施例を説明する。
【００７２】
（１）監視範囲全体で認識に適した輝度で撮影することが困難な場合
上記の実施例１では、物体の輝度をある基準位置での輝度が認識に最適な値となるように、カメラパラメータを定めていたが、監視範囲が広く、監視範囲全体で認識に適した明るさで撮影することが困難な場合がある。
【００７３】
この場合、認識に適した輝度で撮影できない領域について、認識率の低下が予想されるが、一般に、認識率の低下の度合いは、輝度が飽和する側と暗くなる（輝度が所定値以下となる）側とでは異なる。そこで、認識率の低下を最小限に抑えるために、下記のように輝度の目標値を設定する。
【００７４】
図１１は、認識率の期待値および各カメラパラメータの位置Ｐにおける対象輝度を示す図である。図１１の濃淡は、位置Ｐで輝度Ｌとなった時の認識率の期待値Ｒ（Ｐ，Ｌ）を示したものである。また、図１１の実線は、カメラパラメータ（絞り量など）をＣＡ〜ＣＣに設定した場合の位置Ｐでの対象輝度Ｌ（Ｐ：Ｃ）を示す。
【００７５】
これにより、位置Ｐにおける認識率の期待値は、Ｒ（Ｐ，Ｌ（Ｐ：Ｃ））と表すことができる。全体での認識率ＲＥは、対象が位置Ｐで検出される確率Ｔ（Ｐ）を用いて
【数８】
2009066364.tif 000040
となる。
【００７６】
ここで、位置Ｐにおいて輝度がＬの時の認識率Ｒ（Ｐ，Ｌ）及び確率Ｔ（Ｐ）を予め観測しておき撮像装置１００の記憶装置（図示略）に記憶しておく。そして、認識結果から推定される照度条件から、カメラパラメータＣに対する位置Ｐと輝度Ｌとの関係Ｌ（Ｐ：Ｃ）が求められ、結果ＲＣ（Ｐ，Ｌ）が決定できる。
【００７７】
ＲＣ（Ｐ，Ｌ）が決定されることにより、全体の認識率は、カメラパラメータＣの関数ＲＥ（Ｃ）となるので、制御装置１４０は、認識率ＲＥが最大となるカメラパラメータＣを算出する。制御装置１４０は、算出したカメラパラメータとなるように、制御信号を映像撮影装置１２０に出力する。なお、位置による対象の見え方の違いが無視できる場合には、監視範囲全体で、位置Ｐと輝度Ｌとの関係を観測しなくても、ある一点Ｐ０にて、輝度Ｌに対する認識率を観測すればよい。
【００７８】
（２）他の適用例
上記の実施例１では、例えば、図１８のように、走行する車両に撮像装置を設置して、対向車両の認識を行う場合を例に説明したがこれに限定されるものではない。図１２、図１３は、撮像装置の他の適用例を説明するための図である。
【００７９】
図１２に示すように、道路監視などで、街路灯を照明として本実施例にかかる撮像装置を用い、道路を走行する車両を認識すると共に、上記した手法を用いてカメラパラメータを調整し、認識率を向上させることができる。この場合、撮像装置は、街路灯の照度分布を予め観測して記憶装置に記憶しておき、記憶装置に記憶された照度分布の情報を用いてカメラパラメータを算出する。
【００８０】
また、図１３に示すように、通路を移動する人物を認識すべく、本実施例にかかる撮像装置を用いることができる。照明装置から各人物までの距離が大きく異なり、ある時刻における照度分布が位置によって異なる場合であっても、本実施例にかかる撮像装置を利用することにより、監視範囲内の輝度を適切に調整することができ、各人物に対する認証率を向上させることができる。
【００８１】
（３）撮像装置の露光量を調整するためのその他の例
上記の実施例１では、撮像装置（映像撮影装置１２０）の露光量を調整するために、レンズの絞りを制御する方法について述べたが、これに限定されるものではなく、カメラのシャッタースピードを変更したり、レンズに取り付けた光量調整フィルタ（ＮＤフィルタなど）の透過率を変更することでも、撮像装置の露光量を調整することができる。
【００８２】
（４）式（１）にかかる比例定数ｋについて
上記の実施例では、一例として、各座標における輝度と照度とが比例関係であることを前提に説明したが、これに限定されるものではない。すなわち、予め、対象物体を撮影したときの輝度と、当該輝度に対応する照度を座標ごとに求めておき、輝度と照度との間における各座標の比例定数ｋを算出したテーブルを記憶しておくことで、輝度と照度が比例関係にない場合であっても、上記した本方式を適応することができる。
【００８３】
（５）システムの構成など
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００８４】
また、図４に示した撮像装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００８５】
図１４は、実施例１にかかる撮像装置を構成するコンピュータのハードウェア構成を示す図である。図１４に示すように、このコンピュータ（撮像装置）１０は、照明装置１１、映像撮影装置１２、入力装置１３、モニタ１４、ＲＡＭ（Random  Access  Memory）１５、ＲＯＭ（Read  Only  Memory）１６、記憶媒体からデータを読み取る媒体読取装置１７、他の装置との間でデータの送受信を行うインターフェース１８、ＣＰＵ（Central  Processing  Unit）１９、ＨＤＤ（Hard  Disk  Drive）２０をバス２１で接続して構成される。ここで、照明装置１１、映像撮影装置１２は、図４に示した照明装置１１０、映像撮影装置１２０に対応する。
【００８６】
そして、ＨＤＤ２０には、上記した撮像装置１００の機能と同様の機能を発揮する画像認識プログラム２０ｂ、カメラパラメータ算出プログラム２０ｃが記憶されている。ＣＰＵ１９が画像認識プログラム２０ｂ、カメラパラメータ算出プログラム２０ｃを読み出して実行することにより、画像認識プロセス１９ａ、カメラパラメータ算出プロセス１９ｂが起動される。この画像認識プロセス１９ａは、上記した画像認識装置１３０が実行する処理に対応し、カメラパラメータ算出プログラム１９ｂは、制御装置１４０が実行する処理に対応する。
【００８７】
また、ＨＤＤ２０は、入力装置１３等によって取得された照明装置１１の照度分布、環境光の照度分布、対象輝度、対象座標の情報等を含んだ各種データ２０ａを記憶する。ＣＰＵ１９は、ＨＤＤ２０に格納された各種データ２０ａを読み出してＲＡＭ１５に格納し、ＲＡＭ１５に格納された各種データ１５ａを用いて、カメラパラメータを算出し、算出したカメラパラメータを映像撮影装置１２に設定する。
【００８８】
ところで、図１４に示した画像認識プログラム２０ｂ、カメラパラメータ算出プログラム２０ｃは、必ずしも最初からＨＤＤ２０に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などに画像認識プログラム２０ｂ、カメラパラメータ算出プログラム２０ｃを記憶しておき、コンピュータがこれらから画像認識プログラム２０ｂ、カメラパラメータ算出プログラム２０ｃを読み出して実行するようにしてもよい。
【産業上の利用可能性】
【００８９】
以上のように、本発明にかかる撮像装置、撮像方法および撮像プログラムは、カメラパラメータを調整して監視範囲の対象物の認識を行うシステム等に有用であり、特に、ある時刻における照度分布が均一でない場合であっても、監査範囲に含まれる対象物の位置によらず認識率を高める必要がある場合に適している。
【図面の簡単な説明】
【００９０】
【図１】図１は、監視範囲の照度分布の一例を示す図である。
【図２】図２は、監視範囲全体の照度分布に基づいた目標値の一例を示す図である。
【図３】図３は、図２の目標値に基づいた露光量制御を示す図である。
【図４】図４は、本実施例１にかかる撮像装置の構成を示す機能ブロック図である。
【図５】図５は、本実施例１にかかる輝度制御を説明するための図である。
【図６】図６は、制御装置の構成を示す機能ブロック図である。
【図７】図７は、実空間上の対象の座標、カメラ画像の対象の座標、グローバル座標上の対象の座標の関係を示す図である。
【図８】図８は、現時刻の照度分布を説明するための図である。
【図９】図９は、本実施例１にかかる画像認識装置の処理手順を示すフローチャートである。
【図１０】図１０は、本実施例１にかかる制御装置の処理手順を示すフローチャートである。
【図１１】図１１は、認識率の期待値および各カメラパラメータの位置Ｐにおける対象輝度を示す図である。
【図１２】図１２は、撮像装置の他の適用例を説明するための図である。
【図１３】図１３は、撮像装置の他の適用例を説明するための図である。
【図１４】図１４は、実施例１にかかる撮像装置を構成するコンピュータのハードウェア構成を示す図である。
【図１５】図１５は、従来の画像監視の例を示す図である。
【図１６】図１６は、従来の画像監視によって検出される対象の例を示す図である。
【図１７】図１７は、従来の輝度制御の例を示す図である。
【図１８】図１８は、車両に搭載したカメラを用いて、対向車線を通行する車両を認識する例を示す図である。
【図１９】図１９は、撮影範囲と夜間におけるヘッドライトの照射範囲を示す図である。
【図２０】図２０は、図１９における位置Ａ，Ｂの照度の違いを示す図である。
【図２１】図２１は、従来の露光制御の問題点を示す図である。
【図２２】図２２は、認識対象の輝度と認識率との関係を示す図である。
【符号の説明】
【００９１】
１０    コンピュータ
１１，１１０    照明装置
１２，１２０    映像撮影装置
１３    入力装置
１４    モニタ
１５    ＲＡＭ
１５ａ，２０ａ  各種データ
１６    ＲＯＭ
１７    媒体読取装置
１８    インターフェース
１９    ＣＰＵ
１９ａ  画像認識プロセス
１９ｂ  カメラパラメータ算出プロセス
２０    ＨＤＤ
２１    バス
２０ｂ  画像認識プログラム
２０ｃ  カメラパラメータ算出プログラム
１００    撮像装置
１３０    画像認識装置
１４０    制御装置
１４１    座標変換部
１４２    輝度／照度変換部
１４３    照度分布記憶部
１４４    照度検出部
１４５    カメラパラメータ算出部
１４６    制御信号出力部
【国際調査報告】
2009066364.tif 000041
2009066364.tif 000042
2009066364.tif 000043
2009066364.tif 000044