(57)【要約】【課題】連続的な映像モニタリングにおいて、低演算負荷にて、画像の変化検出を精度良く行うことが可能になる画像モニタリング装置を提供すること。【解決手段】ベース画像１１ｂに対して、サンプリングブロック選択部２２は、複数フレーム毎に位置や密度パターンを周期的に切り替えてサンプリングブロックを選択する。また、参照画像作成・更新部２３は、過去数フレーム分の各画素値に対して、時間的に最頻出の信号値を求め、これを参照画像とする。全画面オフセット計測・補正部２４は、サンプリングブロックに対して特徴量を求め、その特徴量に応じて画像フレーム全体に同一効果を与えるオフセット補正を実施する。有意・非有意ブロック分別、有意率計測部２６は、前記サンプリングブロックに対して、前記特徴量を基に、有意、非有意を判別する。有意ブロック周辺再計測部２７は、該有意ブロックを基に、段階的に有意ブロックを求める。【選択図】        図１
2005018565.tif 000002
【特許請求の範囲】
【請求項１】
画面内の変化を検出する画像モニタリング装置において、
画面内のブロックをサンプリングするサンプリングブロック選択部と、
サンプリングされたブロックに対して、有意、非有意の分別をする有意・非有意ブロック分別部とを具備し、
有意ブロックを含む有意領域を切り出すことを特徴とする画像モニタリング装置。
【請求項２】
請求項１に記載の画像モニタリング装置において、
前記サンプリングブロック選択部は、複数フレーム毎にサンプリングブロックの位置や密度パターンを周期的に切り替えることを特徴とする画像モニタリング装置。
【請求項３】
請求項１または２に記載の画像モニタリング装置において、
画面の輝度補正を行う画面オフセット補正部をさらに具備し、
該画面オフセット補正部は、前記サンプリングブロック選択部で選択されたサンプリングブロックに対して特徴量を求め、その特徴量に応じて画像フレーム全体に同一効果を与えるオフセット補正を実施することを特徴とする画像モニタリング装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像モニタリング装置において、
前記画面の各画素値に対する参照画像を求める参照画像作成部をさらに具備し、
該参照画像作成部は、過去数フレーム分の各画素値に対して、時間的に最頻出の信号値を求め、これを参照画像とすることを特徴とする画像モニタリング装置。
【請求項５】
請求項４に記載の画像モニタリング装置において、
前記有意・非有意ブロック分別部は、前記参照画像を基に、有意ブロックおよび非有意ブロックの分別を行うことを特徴とする画像モニタリング装置。
【請求項６】
請求項５に記載の画像モニタリング装置において、
前記有意・非有意ブロック分別部は有意率を計算し、該有意率が予め定められた閾値より大きい場合には、前記参照画像作成部に参照画像の更新の指令をすることを特徴とする画像モニタリング装置。
【請求項７】
請求項１に記載の画像モニタリング装置において、
前記有意領域は、前記有意ブロックを段階的に探索して求められることを特徴とする画像モニタリング装置。
【請求項８】
請求項１ないし７のいずれかに記載の画像モニタリング装置において、
前記画面は、３６０°全方位画像をパノラマ展開した画面であることを特徴とする画像モニタリング装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像モニタリング装置に関し、特に動画像の性質を低負荷にて測定し、ベース画像からの部分画像（動物体画像等）の切り出しや、輝度補正等の画像補正に使うことのできる画像モニタリング装置に関する。
【０００２】
【従来の技術】
従来のこの種の装置として、例えば特開平８−５５２２０号公報に記されているものがある。この公報に記されているように、動画像中の移動物体領域を抽出する方法として、背景差分法や、画像の特徴を用いる方法等がある。
【０００３】
背景差分法は、予め背景に相当する画像を撮影して蓄積しておき、入力された画像をこの蓄積された背景画像と比較し、両画像間の差分を算出し、この差分がある設定値以上の時に、移動物体による画像変化と判断するものである。
【０００４】
一方、画像の特徴を用いる方法は、動画像の各フレームの画像中から画素毎もしくは小領域毎に画像特徴量を抽出する特徴量抽出手段を具備し、該特徴量抽出手段で求めた過去フレームの特徴量を参照して特徴量の時系列変化の傾向を求めることにより、撮像環境の変化を考慮に入れた現フレームの特徴量を推定し、さらに前記特徴量抽出手段により求められた現フレームの特徴量と前記推定された現フレームの特徴量との差分をとることにより特徴変化量を求め、該特徴変化量を基に移動物体を判定するものである。
【０００５】
【発明が解決しようとする課題】
前者の背景差分法は、画面全体や背景部分の変化に関する補償がないため、動物体による変化と背景輝度変化との区別ができない。また、実際の移動物体および背景は多様であるから、移動物体の輝度値と背景の輝度値とが近接している場合には移動物体の抽出を誤検出することが起こり、信頼性が低下するという課題がある。
【０００６】
一方、後者の画像の特徴を用いる方法は、全画面の特徴量を測定するため、演算負荷が大きいという課題がある。
【０００７】
特に、１フレームのデータ量が多い全方位カメラ画像あるいは３６０°全方位画像に上記の方法を適用しようとすると、より演算負荷が大きくなると共に、処理速度が遅くなるという問題がある。
【０００８】
本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、連続的な映像モニタリングにおいて、低演算負荷にて、画像の変化検出を精度良く行うことが可能になる画像モニタリング装置を提供することにある。また、他の目的は、低演算負荷にて、映像全体の輝度変化の補正を行える画像モニタリング装置を提供することにある。
【０００９】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、画面内の変化を検出する画像モニタリング装置において、画面内のブロックをサンプリングするサンプリングブロック選択部と、サンプリングされたブロックに対して、有意、非有意の分別をする有意・非有意ブロック分別部とを具備し、有意ブロックを含む有意領域を切り出すようにした点に第１の特徴がある。
【００１０】
この特徴によれば、画面内の有意領域を、低演算負荷で求めることができるようになる。また、高速に、有意領域の画像を切り出すことができるようになる。
【００１１】
また、本発明は、画面の輝度補正を行う画面オフセット補正部をさらに具備し、該画面オフセット補正部は、前記サンプリングブロック選択部で選択されたサンプリングブロックに対して特徴量を求め、その特徴量に応じて画像フレーム全体に同一効果を与えるオフセット補正を実施するようにした点に第２の特徴がある。
【００１２】
この特徴によれば、低演算負荷にて、映像の輝度変化の補正を行えるようになる
【００１３】
また、前記有意領域は、有意ブロックを段階的に探索して求められるようにした点に第３の特徴がある。
【００１４】
この特徴によれば、画面内の有意領域を、低演算負荷で求めることができると共に、高速に切り出すことができるようになる。
【００１５】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図４は全方位撮影カメラの概念図、図５は該全方位撮影カメラで撮影した画像データを、パソコン等のディスプレイに表示した画面の一例を示すものである。
【００１６】
全方位撮影カメラは周知であり種々の方式のものがあるが、図４の全方位撮影カメラ１においては、透明のアクリル円筒２の内部の上面に設けられた半球状またはお椀状の全方位ミラー３、該全方位ミラー３の中心部から下方に延伸されたセンターニードル４、該センターニードル４の下方に設けられたＣＣＤカメラ５およびケーブルコネクタ６から構成されている。なお、このカメラは周知であるので、詳細な動作説明は省略する。
【００１７】
該全方位撮影カメラ１をケーブルコネクタ６を介してパソコン等に接続し、該全方位撮影カメラ１で撮影された画像をディスプレイに表示すると、図５のような画面１１が得られる。該画面１１には、全方位撮影カメラ１の撮影画像そのものであるドウナツ状の３６０°全方位画像１１ａ、該ドウナツ状の３６０°全方位画像１１ａを帯状に展開した画像１１ｂ、すなわちパノラマ展開画像、および画像１１ｂの一部を切り出した通常の１フレームサイズの画像１１ｃが映出される。１１ｄは、該画像１１ｃの切り出し画像である。なお、画像１１ｃは、例えば携帯電話等に配信することができる。
【００１８】
該全方位撮影カメラ１から得られる画像は、通常のＰＣ用カメラと同様に、例えば１５フレーム／秒の動画像である。展開画像１１ｂは例えばＰＣ用カメラ画像などの通常の１フレームサイズより何倍も大きいので、従来技術で述べたような全画面の特徴量を測定して、移動物体を判定する方法では、演算負荷が大きくなり、処理速度が大きく低下する。また、全方位撮影カメラ１は屋内あるいは屋外で一日中撮影を続けるので、夕方や夜になり暗くなってくると画像全体が一様に暗くなる。このため、画面の輝度補正などが必要になるが、この補正も画面全体のデータ量が多いので、通常の画面補正をしたのでは演算負荷が大きくなる。
【００１９】
本発明は、このような不具合を解決するためになされたものであり、その一実施形態を図１を参照して説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図である。
【００２０】
ベース画像入力部２１からは、前記展開画像１１ｂが入力する。サンプリングブロック選択部２２は、該ベース画像入力部１１から入力されたベース画像に対して、変化検出のための特徴量計測を行うブロック（例えば、１６×１６画素）をサンプリングにより選択する。サンプリングするブロックの位置や密度は、外部から与えられた時刻や、フレーム情報に応じて可変とする。例えば、図２にＡ→Ｂ→Ｃ→Ｄ→Ａ→・・・に示すように、ある時間からある時間までの数フレームはサンプリングブロックＡを選択し、次の時間から次のある時間までの数フレームはサンプリングブロックＢを選択する。同様に、数フレーム毎に、サンプリングブロックＣ，Ｄを選択し、この選択周期を繰り返す。このように、数フレーム時間の慣性を持たせて、事前に決定されたサンプリングブロックの位置や密度パターンを周期的に切り替えることが可能である。
【００２１】
参照画像作成・更新部２３は、ベース画像入力部２１から入力されたベース画像から、変化検出用の参照画像を作成する。参照画像の作成には多様なアルゴリズムが可能である。例えば、画像フレーム数フレーム分の各画素値に対して、時間的に最頻出の信号値を求め、これを参照画像として用いる等が可能である。
【００２２】
次に、全画面オフセット計測・補正部２４は、サンプリングブロック選択部２２で選択されたサンプリングブロックに対して、参照画像作成・更新部２３から供給される参照画像、あるいはフレームバッファ２５に記憶されている前の画像間の同位置での信号比較を行う。信号比較の演算は特定しないが、例えば、輝度信号のみ、あるいは輝度信号および色差信号の差分絶対値和（ＳＡＤ）、あるいは平均自乗誤差（ＭＳＥ）等が使用可能である。以降では、該信号比較の演算値を、特徴量と呼ぶ。全画面オフセット計測・補正部２４は、該信号比較の結果に基づき、全画面のオフセット補正を行う。例えば、フレーム全体において、特徴量として同等の値をもつサンプリングブロックが一定数以上存在する場合には、その特徴量に応じて画像フレーム全体に同一効果を与えるオフセット補正を実施することが可能である。夕方や夜になり画面全体が一様に暗くなると、このオフセット補正により画面全体の輝度を上げ、画面の輝度を常に一定に保つようにすることができる。
【００２３】
オフセット補正をした後、有意・非有意ブロック分別、有意率計測部２６は、有意・非有意ブロックの分別を行う。例えば、オフセット補正が行われない場合は、各サンプリングブロックの特徴量をそのまま用いて予め定められた閾値と比較し、特徴量が該閾値より大きい場合を有意、それ以外を非有意とする。一方、オフセット補正が行われた場合は、オフセット値を原特徴量から差し引いて新たな特徴量を求め、これらが閾値との比較により、大きい場合を有意、それ以外を非有意とすることが可能である。ここで、有意率計測部２６は、有意率を計算し、該有意率が予め定められた閾値より大きい場合には、参照画像作成・更新部２３に指令を出して、参照画像の更新を行う。これにより、有意と判定されるサンプリングブロックを適正化することができる。
【００２４】
さらに、有意ブロックと判定されたブロックに関しては、有意ブロック周辺再計測部２７は、図３に示されているように、その周囲をさらに高密度に再調査する。再調査の手法は種々考えられるが、例えば有意ブロック［Ａ］の周囲４〜８のブロックＡ２に対して有意、非有意を調べ、その中の有意ブロック［Ａ２］に対してはさらにその周囲４〜８のブロックＡ３に対して有意、非有意を調べる。有意ブロック周辺再計測部２７はこのように再帰ループ型計測あるいは段階的計測を行う。
【００２５】
このようにして有意ブロックが求まると、有意領域切り出し部２８は有意領域を抽出する。この有意領域の抽出には種々の手法が考えられるが、例えば有意ブロックの隣接性により有意領域をカテゴリ化し、各カテゴリを分離することが可能である。有意部分画像生成部２９は、分離された有意領域に基づいて有意部分の画像を生成する。
【００２６】
以上の説明から明らかなように、本実施形態によれば、（１）低演算負荷にて、映像の輝度変化の補正や動物体検出を常時行えるようになる、（２）映像の変化部分の特定を高精度に行うことができるようになる、（３）背景輝度変化などの全体的な変化を補正して、正確に画面内の変化を検出できるようになる、（４）自動的に適切な参照画像を作成し、低負荷にて正確な変化検出が可能になる、等の効果を期待することができる。
【００２７】
以上、本発明の一実施形態について説明したが、図１の各処理部２２〜２４、２６〜２８は、本発明の趣旨を逸脱しない範囲で本実施形態以外の種々の手法をとることができることは勿論である。
【００２８】
【発明の効果】
本発明によれば、画面内のサンプリングされたブロックに対して有意、非有意の分別をし、有意ブロックを基に有意領域を検出するようにしたので、有意領域の検出を、低演算負荷にて、かつ高速に行うことができるようになる。
【００２９】
また、画面内のサンプリングされたブロックに対して特徴量を求め、その特徴量に応じて画像フレーム全体に同一効果を与えるオフセット補正を実施するようにしたので、オフセット補正を、低演算負荷にて、かつ高速に行うことができるようになる。
【００３０】
また、自動的に適切な参照画像を作成し、低負荷にて正確な変化検出が可能になる。
【００３１】
なお、本発明は、３６０°全方位画像をパノラマ展開した画面のような１フレームのデータ量が多い画像に適用すると、その効果は大きい。
【図面の簡単な説明】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】図１のサンプリングブロック選択部の動作の説明図である。
【図３】図１の有意ブロック周辺再計測部の動作の説明図である。
【図４】全方位撮影カメラの構成の説明図である。
【図５】全方位撮影カメラで撮影した画像をディスプレーに表示した時の表示例を示す図である。
【符号の説明】
２１・・・ベース画像入力部、２２・・・サンプリングブロック選択部、２３・・・参照画像作成・更新部、２４・・・全画面オフセット計測・補正部、２６・・・有意・非有意ブロック分別、有意率計測部、２７・・・有意ブロック周辺再計測部、２８・・・有意領域切り出し部、２９・・・有意部分画像生成部。
【図１】
2005018565.tif 000003
【図２】
2005018565.tif 000004
【図３】
2005018565.tif 000005
【図４】
2005018565.tif 000006
【図５】
2005018565.tif 000007