(57)【要約】  【課題】光線の条件が部分ごとに異なる領域の中を物体が移動して行く場合でも、次に移動する領域の光線の条件を予測し、物体の画像を常に適正な明るさに画像処理する。  【解決手段】カメラの監視画像を、光線の強弱に応じてあらかじめブロック分けしておき、前記監視領域をカメラで撮影し、前記監視領域への物体の侵入が検知された場合に、侵入した物体に対して輝度制御エリアＳ０，Ｓ１，Ｓ２を設定し、輝度制御エリアＳ０，Ｓ１，Ｓ２がブロック間を移動する場合に、移動先のブロックの光線の強弱に応じて、光線が強いブロックほど画面の輝度が低くなるように、光線が弱いブロックほど画面の輝度が高くなるように輝度調整をする。【選択図】        図３
2005316618.tif 000002
【特許請求の範囲】
【請求項１】
カメラの監視領域の画面を、光線の強弱に応じてあらかじめブロック分けしておき、
前記監視領域をカメラで撮影し、
前記監視領域への物体の侵入を検知し、
前記監視領域へ侵入した物体がカメラの画面内でブロック間を移動する場合に、移動先のブロックの光線の強弱に応じて、光線が強いブロックほど画面の輝度が低くなるように、光線が弱いブロックほど画面の輝度が高くなるように輝度調整をすることを特徴とするカメラ画像の輝度調整方法。
【請求項２】
前記物体が人であり、カメラの画面内で、人の顔を含むように設定されたエリアの移動を判定する請求項１記載のカメラ画像の輝度調整方法。
【請求項３】
侵入した物体と、カメラと、光線の方向との位置関係に応じて逆光を判定した場合に、逆光に応じた輝度調整をする請求項１又は請求項２記載のカメラ画像の輝度調整方法。
【請求項４】
監視領域を撮影するカメラと、
カメラの監視領域の画像を、光線の強弱に応じてあらかじめブロック分けするブロック分け手段と、
監視領域への物体の侵入を検知する検知手段と、
前記検知手段により監視領域への物体の侵入が検知され、侵入した物体がカメラの画面内でブロック間を移動する場合に、移動先のブロックの光線の強弱に応じて、光線が強いブロックほど画面の輝度が低くなるように、光線が弱いブロックほど画面の輝度が高くなるように輝度調整をする輝度調整手段とを備えることを特徴とするカメラ画像の輝度調整装置。
【請求項５】
前記物体が人であり、
前記輝度調整手段は、カメラの画面内で、人の顔を含むように設定されたエリアの移動を判定するものである請求項４記載のカメラ画像の輝度調整装置。
【請求項６】
前記輝度調整手段は、カメラと光線の方向と物体との位置関係に応じて逆光を判定した場合に、逆光に応じた輝度調整をする請求項４又は請求項５記載のカメラ画像の輝度調整装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの監視領域に人などの物体が侵入した場合に、その物体の特徴のある部分（人の顔など）を、適正な露光量で撮影することができるカメラ画像の輝度調整方法及び装置に関するものである。
【背景技術】
【０００２】
ある領域に物体が侵入したかどうかの監視を行う場合、カメラを設置してその領域を常時撮影し、撮影した画像を画像処理して物体の侵入判定を行っている。
【特許文献１】特開平9-319879号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところが、カメラを設置した領域の中で、光線の条件が部分部分ごとに異なる場合がある。
物体がその領域を通過する場合、物体の動きに追従して撮影を行うと、物体の明るさが急に変化すると、カメラの露光条件の応答性がこれに追従しきれず、物体を適正に撮影できないという問題がある。
【０００４】
例えば、物体が暗いところから急に明るいところに出てきた場合に、しばらくは物体が白っぽく映ってしまい、物体の特徴を判別できない。物体が明るいところから急に暗いところに入った場合も、同様である。
そこで本発明は、光線の条件が部分ごとに異なる領域の中を物体が移動して行く場合でも、次に移動する領域の光線の条件を予測し、物体の画像を常に適正な明るさに画像処理できるカメラ画像の輝度調整方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明のカメラ画像の輝度調整方法は、カメラの監視領域の画面を、光線の強弱に応じてあらかじめブロック分けしておき、前記監視領域をカメラで撮影し、前記監視領域への物体の侵入を検知し、前記監視領域へ侵入した物体がカメラの画面内でブロック間を移動する場合に、移動先のブロックの光線の強弱に応じて、光線が強いブロックほど画面の輝度が低くなるように、光線が弱いブロックほど画面の輝度が高くなるように輝度調整をする方法である。
【０００６】
前記物体が人であり、カメラの画面内で、人の顔を含むように設定されたエリアの移動を判定してもよい。
この方法によれば、カメラの監視領域の画像を、光線の強弱に応じてあらかじめブロック分けしておき、物体がこれから移動しようとするブロックの光線の強弱に応じて、画面の輝度調整をすることができる。この輝度調整方法は、輝度制御エリアがこれから移動しようとするブロックの光線の強弱を事前に予測しておくという意味で、フィードフォワード方式の輝度調整であるといえる。
【０００７】
したがって、光線の条件が部分ごとに異なる領域の中を物体が移動して行く場合、次に移動する領域の光線の条件を予測でき、物体の画像が常に適正な明るさになるよう画像処理することができる。
侵入した物体と、カメラと、光線の方向との位置関係に応じて逆光を判定した場合に、逆光に応じた輝度調整をすることとしてもよい。
【０００８】
また、本発明のカメラ画像の輝度調整装置は、監視領域を撮影するカメラと、カメラの監視領域の画像を、光線の強弱に応じてあらかじめブロック分けするブロック分け手段と、監視領域への物体の侵入を検知する検知手段と、前記検知手段により監視領域への物体の侵入が検知され、侵入した物体がカメラの画面内でブロック間を移動する場合に、移動先のブロックの光線の強弱に応じて、光線が強いブロックほど画面の輝度が低くなるように、光線が弱いブロックほど画面の輝度が高くなるように輝度調整をする輝度調整手段とを備えるものである。
【０００９】
前記物体が人であり、前記輝度調整手段は、カメラの画面内で、人の顔を含むように設定されたエリアの移動を判定するものであってもよい。
前記輝度調整手段は、カメラと光線の方向と物体との位置関係に応じて逆光を判定した場合に、逆光に応じた輝度調整をするものであってもよい。
このカメラ画像の輝度調整装置は、前記カメラの輝度調整方法と同一の発明に係る装置であり、同様の効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下、監視領域として家の玄関を例にとった場合の本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
図１は、玄関１の斜視図であり、座標系を定義するための図でもある。水平にｘ，ｙ方向をとり、垂直にｚ方向をとる。ドア２はｙ＝０の面にあり、ｘ＝０の壁寄りに下駄箱３が設置されている。下駄箱３の上には光線を取り込む大きな窓４がある。
【００１１】
図２は、防犯監視装置のシステム構成図であり、この防犯監視装置は、室内に設置された防犯カメラ１１、コンピュータ１２、警報ブザー１３及び携帯電話機１４と、室外につながるインターネット回線とから構成される。防犯カメラ１１は、定期的に写真を撮ることにより、玄関１を監視している。コンピュータ１２は、人の侵入を検知すると、警報ブザー１３に警報信号を送ったり、携帯電話機１４に警報メッセージを送ったりする。
【００１２】
図３は、防犯監視装置に備えられたコンピュータ１２の輝度調整機能を示すブロック図である。
コンピュータ１２は、映像監視機能Ｂ１、背景作成・テンプレート作成機能Ｂ２、侵入者判定機能Ｂ３、移動領域予測機能Ｂ４、画面の光線マップ作成機能Ｂ５及び輝度制御機能Ｂ６を備えている。
【００１３】
前記映像監視機能Ｂ１において、コンピュータは、防犯カメラ１１により撮影された画像を常に監視している。
前記背景作成・テンプレート作成機能Ｂ２においては、コンピュータは、監視画像の背景作成処理、テンプレート作成処理を行う。この背景作成処理は、人のいない状態で玄関を撮影した画像を背景画像として記憶する処理である（佐伯規夫、鈴木健志、岩田清「画像認識による侵入者検出方式」、[online]、1999年、［平成１６年４月２６日検索］、インターネット＜http://www.fujitsugeneral.co.jp/japanese/techj/1999-01/pdf/05rgazou.pdf＞）。テンプレート作成処理は、人が現れることを予想して、あらかじめ決まった大きさのテンプレートを複数作成し用意しておく処理である。
【００１４】
画面の光線マップ作成機能Ｂ５は、背景画像を光線の強さに応じていくつかのブロックに分割する機能である。この光線の強さは、背景画像に現れた輝度分布によって直接測定することはできない。これは、光線自体、カメラで捕らえられないからである。したがって、窓から差し込む光線の角度を予測して、光線の通る部分、通らない部分をブロック分けする。窓から差し込む光線の角度は、季節・日・時刻によって決まるので、防犯監視装置に内蔵している時計の示す時刻に基づいて、光線の角度を予想することができる。また、窓から差し込む光線の角度を実測してもよく、この実測方法は、後に図７に基づいて説明する。
【００１５】
そして、各ブロックごとに、光線の強さを推定する。これには、光の当たる物体、例えば壁や玄関の床などに注目して、その部分の輝度をモニターして、光線の強さを間接的に推定するとよい。これにより、晴、曇、雨など日射量の違いに応じた光線の強さを正確に測定することができる。
図４は、このように光線の強さによって分割された画像を示す図である。クロスハッチングで描かれているブロックは、光線の弱い部分に対応し、ハッチングのないブロックは、光線の強い部分に対応する。
【００１６】
図３の侵入者判定機能Ｂ３では、コンピュータは、侵入物体の判定を行う。この判定機能を詳しく説明すると、玄関画像から前記背景画像を差し引く背景分離処理を行い、防犯カメラ１１により撮影された玄関画像のドア２の領域に新しい物体画像が現れたかどうか検出する。
コンピュータは、新しい物体画像が現れたとき、その物体が人であるかどうかを判定するために前記テンプレートを適用する。
【００１７】
こうして人を検知した後は、検知した画像を、テンプレートとして登録して用いる。
このテンプレートを用いて最も鮮明な画像を得たい部分（輝度制御エリアという）、例えば、テンプレートの一番上部にある顔の部分をとらえ、その部分の移動速度を計測し、追跡する。図４に、テンプレートの輝度制御エリアＳ０，Ｓ１，Ｓ２を示している。人が歩いて行くに従って、Ｓ０→Ｓ１→Ｓ２と移動して行く。
【００１８】
移動領域予測機能Ｂ４は、追跡している輝度制御エリアが、前記光線マップのどのブロックに移動しようとしているのかを予測する機能である。図４を例にとれば、輝度制御エリアＳ０，Ｓ１，Ｓ２のうち、Ｓ０は光線の弱いブロックから光線の強いブロックに移動しようとしている。Ｓ１，Ｓ２は、光線の強いブロックの中を移動中である。
輝度制御機能Ｂ６は、前記移動領域予測機能Ｂ４によって輝度制御エリアが移動しようとしているブロックの光線の強さに応じて、画面全体の輝度を制御する機能である。
【００１９】
例えば図４の、クロスハッチングで描かれているブロックは、光線の弱い部分であり、そこに輝度制御エリアが現れると、低輝度に映るので、画面全体の輝度を上げて明るい画面にする。ハッチングのないブロックは、光線の強い部分であり、そこに輝度制御エリアが現れると、高輝度に映るので、画面全体の輝度を上げて暗い画面にする。
逆光判定機能Ｂ７は、侵入した物体と、カメラと、光線の方向との位置関係によって逆光を判定するものであり、その機能の詳細は後に説明する。
【００２０】
以下、玄関の侵入検知、輝度制御処理の流れを、フローチャート（図５）を用いて説明する。
コンピュータは、輝度制御エリアを玄関入口に初期設定し、その部分が最もはっきりと映るように画面の輝度を調整している（ステップＳ１）。防犯カメラ１１により撮影された玄関画像を入力し（ステップＳ２）、前述した背景画像作成・テンプレート作成処理を行う（ステップＳ３）。
【００２１】
防犯カメラ１１により撮影された玄関画像と背景画像との差分が出現したかどうか判定し（ステップＳ４）、この差分が出現すれば、テンプレートマッチングによりその大きさが人の大きさ程度であるかどうか判定する（ステップＳ５）。人の大きさ程度であれば、その人の顔部分を追跡する（ステップＳ６）。追跡できなかった場合、ステップＳ２の画像入力に戻る。
【００２２】
追跡に成功すれば（ステップＳ７のYES）、人の顔部分が光線の異なるブロックに移動しようとしているかどうか判定する（ステップＳ８）。
この光線の異なるブロックへの移動があれば、移動後のブロック領域の光線量に合わせて、移動前に、画面全体の輝度を調節する（ステップＳ９）。
この画面全体の輝度調整方法を説明する。図６は、輝度調整方法を示すブロック図であり、輝度制御エリアが次のブロックへ移動すると（図６のＣ２）、そのブロックの光線の強さに応じて防犯カメラ１１の絞り制御補正値をフィードフォワード制御する（Ｃ３）。このフィードフォワード制御により絞り制御値が決定される（Ｃ４）。なお、ここで「絞り制御値」とは、シャッター速度、露出径、ガンマ補正値などのいずれか又はこれらの組み合わせをいう。
【００２３】
さらにこのフィードフォワード制御に合わせて、従来のフィードバックも組み合わされる。すなわち、現在の輝度制御エリアの輝度平均値を検出し（Ｃ５）、目標の輝度（Ｃ６）と比較する。この比較の結果を輝度差による絞り制御値（フィードバック制御値）として、前記絞り制御値（Ｃ４）に足し込む。
以上の輝度調整により、例えば、人が入って来たドア２の付近の領域から、窓４から光線の差し込む領域に移動する場合、人の顔が、明るくなって白ボケしてしまうので、画面全体の輝度を移動直前に落すことにより、人の顔の明暗がはっきり見えるようにすることができる。逆に人が光線の差し込む領域から玄関の奥の暗い領域に移動する場合、人の顔が、急に暗くなってしまうので、画面全体の輝度を移動直前に上げることにより、人の顔の明暗がはっきり見えるようにすることができる。
【００２４】
輝度制御エリアが光線の強いブロックに移るか、光線の弱いブロックに移るかに応じて、画面全体の輝度を上下させる処理をまとめて表１に示す。
【００２５】
【表１】
2005316618.tif 000003
【００２６】
以上の処理により、人がドア２から家の中に入った場合、室内の光線状態に関係なく、人の顔を常に適正な明るさで撮影することができる。
つぎに、監視領域への物体の侵入が検知された場合に、カメラと光線の方向と物体との位置関係に応じて逆光を判定した場合に、逆光に応じた輝度調整をする実施の形態を説明する。
【００２７】
図７は、光線の方向を算出する方法を説明するための説明図である。（ａ）はカメラから撮影した図であり、（ｂ）は垂直面内の投影図である。
光線の方向を算出する場合、防犯カメラ１１の画面で判定するのではなく、実空間（部屋の中の三次元座標）において判定する。そのためには、撮影する防犯カメラ１１の画面上での位置と、実空間の位置との関係を予め把握しておく必要がある。このためには、防犯カメラ１１の画面上の二次元座標と、実際の三次元座標との変換式を、防犯カメラ１１の位置や姿勢をパラメータとしてコンピュータ２のプログラムに組み込んでおく必要がある（特開平４ー20189号公報、特開平６ー35443号公報など参照）。ただし、画面上の二次元座標を三次元座標に変換するには、三次元空間での座標の数を１つ減らす必要がある。これには、三次元空間での座標のわかっている物、例えば、ドア２、下駄箱３、窓４などを基準位置として利用すればよい。
【００２８】
前記座標変換を行った結果、窓４の高さをＬ、壁に映った光の高さをｒとする。光線を垂直面内に投影した場合の方向θは、
θ＝tan-1［（Ｌ−ｒ）／ｗ］
で計算できる。Ｗは玄関の幅である。
人の顔の高さをｈとし、人の顔が窓４から差す光線の中に入るかどうかで、光線の強いブロックと光線の弱いブロックとの境界を規定することができる。図７（ｂ）において、壁から人までの距離をａとし、（ｒ＋ａtanθ）≦ｈが満たされる領域では、顔に直接光が当たらないので、光線の強いブロックと光線の弱いブロックとの境界は、窓４に対向した壁から距離ａ＝Ｗ１の線であることがわかる。なお、人の顔の高さｈは、ドア２を開けて入ってきた時点の侵入者の身長とドア２の高さ（既知）との比較に基づいて侵入者の身長を決定し、それに一定の比（顔の高さと身長との統計的な比）をかけて、人の顔の高さｈを決定することができる。
【００２９】
光線を水平面内に投影した場合の方向φ（図８(b)参照）は、
φ＝tan-1［ｖ／ｗ］
で計算できる。ｖは、壁に映った光の境界を、窓４からｙ方向に計った場合の距離である。
図８は、逆光判定するための説明図である。（ａ）はカメラから撮影した図であり、（ｂ）は水平面内の投影図である。
【００３０】
カメラの光軸は、−ｙ方向を向いているものとする。カメラの光軸方向と、光線を水平面内に投影した場合の方向φとの差（π／２−φ）を計算し、この角度が９０°未満である場合、逆光と判定する。
逆光の条件では、輝度制御エリアが、符号Ｓ３に示すように、光線の強いブロック（図８（ｂ）で陰を付けなかった部分）に入った場合に、輝度制御エリアが白けた画像にならないように、光線が投影されている壁や床の輝度と現在の絞り制御値とから、画像が暗くなる方向で最適な絞り制御値を算出して制御を行う。輝度制御エリアが、符号Ｓ４に示すように、光線の弱いブロック（図８（ｂ）で陰を付けた部分）に入った場合、輝度制御エリアが黒つぶれの画像にならないように、侵入者が侵入してくる直前に玄関を監視していたときの絞り制御値になるような制御を行う。
【００３１】
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではなく、本発明の範囲内で種々の変更を施すことが可能である。
【図面の簡単な説明】
【００３２】
【図１】監視領域である玄関を見た斜視図である。
【図２】防犯監視装置のシステム構成図である。
【図３】防犯監視装置に備えられたコンピュータの機能を示すブロック図である。
【図４】光線の強弱によってブロック分けした玄関画像図である。
【図５】玄関の侵入検知、輝度制御処理全体の流れを説明するためのフローチャートである。
【図６】輝度調整方法を示すブロック図である。
【図７】光線の方向を算出する方法を説明するための図である。（ａ）はカメラから撮影した図であり、（ｂ）は垂直面内の投影図である。
【図８】逆光判定するための説明図である。（ａ）はカメラから撮影した図であり、（ｂ）は水平面内の投影図である。
【符号の説明】
【００３３】
１ 玄関
２ ドア
３ 下駄箱
４ 窓
１１  防犯カメラ
１２  コンピュータ
Ｓ０，Ｓ１，Ｓ２ ，Ｓ３，Ｓ４  輝度制御エリア
【図１】
2005316618.tif 000004
【図２】
2005316618.tif 000005
【図３】
2005316618.tif 000006
【図４】
2005316618.tif 000007
【図５】
2005316618.tif 000008
【図６】
2005316618.tif 000009
【図７】
2005316618.tif 000010
【図８】
2005316618.tif 000011