(57)【要約】【課題】被写体の動きの有無を検出するために専用の動き検出部を設けると、多くのリソースを既存のシステムに付加することになるため、コストが非常に高くなる。【解決手段】被写体の動きの有無を認識するに当たって、ＯＰＤ回路１３７で撮像素子１１の撮像領域内に複数の検波領域を設定し、撮像素子１１から出力される映像信号に含まれる輝度信号から、各検波枠内における輝度積分データを求める。そして、マイクロコンピュータ１４において、ＯＰＤ回路１３７から取り込んだ各検波領域内における輝度積分データから各検波領域の一画素当たりの積分値を求め、前回の積分値と今回の積分値との比較結果から被写体の動きの有無を認識するようにして、ハードウェア的にリソースを追加することなく、既存のリソースで動き検出を可能にする。【選択図】        図１
2004274533.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの像光を受光して画素単位で光電変換する撮像素子と、
前記撮像素子の撮像領域内に複数の検波領域を設定し、当該撮像素子の出力信号に基づいて前記複数の検波領域内における輝度積分値を求める検波手段と、
前記検波手段で求められた各検波領域内における輝度積分値の変化に基づいて、被写体の動きの有無を認識する認識手段と
を備えることを特徴とする動き検出装置。
【請求項２】
前記認識手段は、前記検波手段で求められた各検波領域内における輝度積分値から各検波領域の一画素当たりの積分値を求め、前回の積分値と今回の積分値との比較結果から被写体の動きの有無を認識する
ことを特徴とする請求項１記載の動き検出装置。
【請求項３】
前記認識手段は、前回の積分値に対して今回の積分値が変化していれば被写体に動き有りと認識する
ことを特徴とする請求項２記載の動き検出装置。
【請求項４】
前記認識手段は、前記複数の検波領域のすべてが同時に前回の積分値に対して今回の積分値が変化しているとき、または前記複数の検波領域のうちの隣り合わない検波領域が同時に前回の積分値に対して今回の積分値が変化しているときは被写体に動き無しと認識する
ことを特徴とする請求項３記載の動き検出装置。
【請求項５】
被写体からの像光を受光して画素単位で光電変換する撮像素子の撮像領域内に複数の検波領域を設定する第１の工程と、
前記撮像素子の出力信号に基づいて前記複数の検波領域内における輝度積分値を求める第２の工程と、
前記第２の工程で求めた各検波領域内における輝度積分値の変化に基づいて、被写体の動きの有無を認識する第３の工程と
を有することを特徴とする動き検出方法。
【請求項６】
前記第３の工程では、前記第２の工程で求めた各検波領域内における輝度積分値から各検波領域の一画素当たりの積分値を求め、前回の積分値と今回の積分値との比較結果から被写体の動きの有無を認識する
ことを特徴とする請求項５記載の動き検出方法。
【請求項７】
前記第３の工程では、前回の積分値に対して今回の積分値が変化していれば被写体に動き有りと認識する
ことを特徴とする請求項６記載の動き検出方法。
【請求項８】
前記第３の工程では、前記複数の検波領域のすべてが同時に前回の積分値に対して今回の積分値が変化しているとき、または前記複数の検波領域のうちの隣り合わない検波領域が同時に前回の積分値に対して今回の積分値が変化しているときは被写体に動き無しと認識する
ことを特徴とする請求項７記載の動き検出方法。
【請求項９】
被写体からの像光を受光して画素単位で光電変換する撮像素子と、
前記撮像素子の撮像領域内に複数の検波領域を設定し、当該撮像素子の出力信号に基づいて前記複数の検波領域内における輝度積分値を求める検波手段と、
前記検波手段で求められた各検波領域内における輝度積分値の変化に基づいて、被写体の動きを検出する動き検出手段と
を具備することを特徴とする撮像装置。
【請求項１０】
前記動き検出手段は、前記検波手段で求められた各検波領域内における輝度積分値から各検波領域の一画素当たりの積分値を求め、前回の積分値と今回の積分値との比較結果から被写体の動きの有無を認識する
ことを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記動き検出手段は、前回の積分値に対して今回の積分値が変化していれば被写体に動き有りと認識する
ことを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記動き検出手段は、前記複数の検波領域のすべてが同時に前回の積分値に対して今回の積分値が変化しているとき、または前記複数の検波領域のうちの隣り合わない検波領域が同時に前回の積分値に対して今回の積分値が変化しているときは被写体に動き無しと認識する
ことを特徴とする請求項１１記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動き検出装置、動き検出方法および撮像装置に関し、特に被写体の動きを検出する動き検出装置および動き検出方法、ならびに当該動き検出装置を具備する、あるいは当該動き検出方法が適用される監視カメラなどの撮像装置に関する。
【０００２】
【従来の技術】
従来、監視カメラに代表される撮像装置では、被写体の動きの有無を検出するために、被写体を撮像して得た映像信号を基に被写体の動きを検出する専用の動き検出部を設けるようにしていた（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−１８０７６号公報（特に、段落００１４、図１）
【０００４】
【発明が解決しようとする課題】
上記従来技術のように、被写体の動きの有無を検出するために専用の動き検出部を設ける構成を採った場合、前後の撮像画像を比較するために必要な画像メモリ（フレームメモリあるいはフィールドメモリ）、動き検出のための検波回路や専用のソフトウェアなど、多くのリソースを既存のシステムに付加することになるため、コストが非常に高くなるという課題がある。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、ハード的にリソースを付加することなく既存のリソースで、被写体の動き認識を可能にした動き検出装置および動き検出方法、ならびに当該動き検出装置を具備する、あるいは当該動き検出方法が適用される撮像装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明による動き検出装置は、被写体からの像光を受光して画素単位で光電変換する撮像素子と、前記撮像素子の撮像領域内に複数の検波領域を設定し、当該撮像素子の出力信号に基づいて前記複数の検波領域内における輝度積分値を求める検波手段と、前記検波手段で求められた各検波領域内における輝度積分値の変化に基づいて、被写体の動きの有無を認識する認識手段とを備えることを特徴としている。
【０００７】
上記構成の動き検出装置において、検波手段は、被写体の動きの有無を認識するに当たって、撮像素子の撮像領域内に複数の検波領域を設定する。そして、撮像素子の出力信号に基づいて、設定した複数の検波領域内における輝度積分値を求める。認識手段は、検波手段で求められた各検波領域内における輝度積分値の変化を基に各検波領域毎の輝度の変化を判断し、その判断結果を基に被写体に動きが有るか否かを認識する。すなわち、画像メモリを用いて前後の撮像画像を比較しなくても、各検波領域内における輝度積分値の変化を見るだけで、被写体の動きの有無を検出できる。
【０００８】
本発明による動き検出方法は、被写体からの像光を受光して画素単位で光電変換する撮像素子の撮像領域内に複数の検波領域を設定する第１の工程と、前記撮像素子の出力信号に基づいて前記複数の検波領域内における輝度積分値を求める第２の工程と、前記第２の工程で求めた各検波領域内における輝度積分値の変化に基づいて、被写体の動きの有無を認識する第３の工程とを有することを特徴としている。
【０００９】
上記構成の動き検出方法において、先ず、被写体の動きの有無を認識するに当たって、撮像素子の撮像領域内に複数の検波領域を設定する。そして、撮像素子の出力信号に基づいて、複数の検波領域内における輝度積分値を求める。これら各検波領域内における輝度積分値の変化からは各検波領域毎の輝度の変化を判断できることから、その判断結果を基に被写体に動きが有るか否かを認識する。
【００１０】
本発明による撮像装置は、被写体からの像光を受光して画素単位で光電変換する撮像素子と、前記撮像素子の撮像領域内に複数の検波領域を設定し、当該撮像素子の出力信号に基づいて前記複数の検波領域内における輝度積分値を求める検波手段と、前記検波手段で求められた各検波領域内における輝度積分値の変化に基づいて、被写体の動きを検出する動き検出手段とを具備することを特徴としている。
【００１１】
上記構成の撮像装置において、検波手段は、被写体の動きの有無を認識するに当たって、撮像素子の撮像領域内に複数の検波領域を設定する。そして、撮像素子の出力信号に基づいて、設定した複数の検波領域内における輝度積分値を求める。動き検出手段は、検波手段で求められた各検波領域内における輝度積分値の変化を基にして各検波領域毎の輝度の変化を判断し、その判断結果を基に被写体に動きが有るか否かを検出する。撮像領域内に検波領域を設定し、当該検波領域内における輝度積分値を求める技術は、公知の自動露光（ＡＥ；Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ制御において用いられている技術である。したがって、ＡＥ制御の機能を搭載した撮像装置にあっては、動き検出のための専用のハードウェアを付加しなくても、被写体の動きの有無を識別できる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明が適用される撮像装置の構成を示すブロック図である。
【００１３】
図１から明らかなように、本構成例に係る撮像装置は、撮像素子１１、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ；相関二重サンプリング）＆ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ；自動利得制御）部１２、カメラＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ；ディジタル信号処理）回路１３、マイクロコンピュータ１４およびタイミングジェネレータ（ＴＧ）１５を有する構成となっている。
【００１４】
ここでは、撮像素子１１として、固体撮像素子、例えばＣＣＤイメージャを用いている。ただし、ＣＣＤイメージャに限られるものではなく、他の電荷転送型撮像素子や、ＣＭＯＳイメージャに代表されるＸ−Ｙアドレス型撮像素子を用いることも可能である。
【００１５】
この撮像素子１１の撮像面上には、被写体からの像光がレンズ等の光学系を通して結像される。すると、撮像素子１１は、その像光を画素単位で光電変換して出力される。ＣＤＳ＆ＡＧＣ部１２は、撮像素子１１から出力されるアナログ映像信号に対してノイズ除去や利得制御の処理を施してカメラＤＳＰ回路１３に供給する。
【００１６】
カメラＤＳＰ回路１３は、Ａ／Ｄ（ディジタル／アナログ）変換器１３１、クロマ信号（Ｃ）処理回路１３２、輝度信号（Ｙ）処理回路１３３、Ｙ用アンプ１３４、Ｄ／Ａ（ディジタル／アナログ）変換器１３５，１３６およびＯＰＤ（Ｏｐｔｉｃａｌ  Ｄｅｔｅｃｔｏｒ；光学検知）回路１３７を有する構成となっている。Ａ／Ｄ変換器１３１は、撮像素子１１からＣＤＳ＆ＡＧＣ部１２を通して供給されるアナログ映像信号をディジタル信号に変換する。このディジタル映像信号は、クロマ信号処理回路１３２および輝度信号処理回路１３３に供給される。
【００１７】
クロマ信号処理回路１３２は、ディジタル映像信号に含まれるクロマ信号（色信号）に対して所定の信号処理を施す。このクロマ信号処理回路１３２を経たディジタルクロマ信号は、Ｄ／Ａ変換器１３５でアナログ信号に変換されて出力される。輝度信号処理回路１３３は、ディジタル映像信号に含まれる輝度信号に対して所定の信号処理を施す。この輝度信号処理回路１３３を経たディジタル輝度信号は、アンプ１３４で増幅された後、Ｄ／Ａ変換器１３６でアナログ信号に変換されて出力される。
【００１８】
ＯＰＤ回路１３７は、ある期間、例えば１フィールド期間（ＮＴＳＣ方式：１／６０［ｓ］、ＰＡＬ方式：１／５０［ｓ］）において輝度信号成分あるいはクロマ信号成分を検波（積分）するための回路である。このＯＰＤ回路１３７にはマイクロコンピュータ１４から、検波領域を設定するための制御信号Ａが与えられる。この制御信号Ａを受けてＯＰＤ回路１３７は、検波領域を切り出す検波枠信号を生成し、当該検波枠信号を基に検波領域切り出し、この切り出した検波領域のディジタル映像信号、例えば輝度信号を積分し、その輝度積分データをマイクロコンピュータ１４に与える。
【００１９】
ＯＰＤ回路１３７の構成の一例を図２に示す。同図から明らかなように、本例に係るＯＰＤ回路１３７は、検波枠発生器２１、ＡＮＤ回路２２および積分器２３を有する構成となっている。
【００２０】
このＯＰＤ回路１３７において、検波枠発生器２１には、ディジタル映像信号から分離して得られる水平同期信号、垂直同期信号やシステムのマスタークロック（システムクロック）が与えられるとともに、先述した検波領域を設定するための制御信号Ａがマイクロコンピュータ１４から与えられる。検波枠発生器２１は、水平同期信号、垂直同期信号、マスタークロックおよび制御信号Ａに基づいて、検波領域を切り出す検波枠信号を生成する。
【００２１】
検波枠信号は、検波領域内では高レベル、検波領域外では低レベルとなる信号である。この検波領域と走査線の関係を図３に模式的に示す。図３において、外側の矩形枠の内側部分が撮像領域に相当し、内側の矩形枠で囲まれた領域が検波領域となる。このように、撮像領域内で検波領域を限るのは、ＡＥ（自動露光）の制御において、撮像領域の中央部分に露出を合わせ、ホワイトバランスをとった方が正確な調整ができるからである。そして、内側の矩形枠で囲まれた検波領域（以下、「検波枠」と記す）にある走査線上において検波枠信号が高レベルになる。
【００２２】
ここで、検波枠発生器２１の動作について、図４のタイミングチャートを用いて説明する。図４には、図３に示す模式的な例に合わせて各パルスやクロックの数が、実際の数よりも少ない値で示されている。検波枠については、垂直方向には垂直同期信号から数えて検波枠が始まる走査線の番号（何本目かの本数）と検波枠が終わる走査線の番号で設定でき、水平方向には検波枠が始まる位置と終わる位置とを水平同期信号からのシステムクロックの数で設定できる。
【００２３】
したがって、垂直方向については、垂直同期信号でリセットされ、水平同期信号に同期してカウントアップするアップカウンタを用意し、このアップカウンタのカウント値Ｃｖが垂直方向の領域設定範囲内（図４の例では、３≦Ｃｖ＜７）であれば高レベル、当該領域設定範囲外であれば低レベルとなる垂直枠信号を生成する。また、水平方向については、水平同期信号でリセットされ、システムクロックに同期してカウントアップするアップカウンタを用意し、このアップカウンタのカウント値Ｃｈが水平方向の領域設定範囲内（図４の例では、３≦Ｃｈ＜７）であれば高レベル、当該領域設定範囲外であれば低レベルとなる水平枠信号を生成する。そして、垂直枠信号と水平枠信号との論理積をとった信号を最終的な検波枠信号とする。
【００２４】
検波枠発生器２１で生成された検波枠信号は、ＡＮＤ回路２２にその一方の入力として与えられる。ＡＮＤ回路２２は、輝度信号を他方の入力とし、当該輝度信号と検波枠信号との論理積をとることにより、検波枠信号が高レベルときの輝度信号のみを通過させて積分器２３に供給する。積分器２３は、ＡＮＤ回路２２を通過した輝度信号を積分し、輝度積分データとして出力する。この輝度積分データは、マイクロコンピュータ１４に与えられる。
【００２５】
ＯＰＤ回路１３７は、ＡＥ制御の際には、図３に示すように、検波枠発生器２１によって撮像領域の中央部分に検波枠を設定し、当該検波枠内における輝度積分データを出力する機能に加えて、後述する被写体の動き検出（動き認識）の際には、検波枠発生器２１によって撮像領域内に複数の検波枠、例えば図５に示すように、０枠〜４枠の５つの検波枠を設定し、０枠〜４枠内における各輝度積分データを出力する検波手段としての機能も備えている。
【００２６】
上述した検波枠発生器２１についての説明から明らかなように、０枠〜４枠の５つの検波枠を設定するには、各検波枠に対応したタイミングの制御信号Ａを検波枠発生器２１に与え、当該検波枠発生器２１において、制御信号Ａに基づいて各検波枠を切り出すための検波枠信号を生成するようにすれば良い。
【００２７】
マイクロコンピュータ１４は、ＯＰＤ回路１３７から与えられる輝度積分データに基づいてＡＥ制御を行う。具体的には、タイミングジェネレータ１５に対して撮像素子１１での電子シャッターの制御やＣＤＳ＆ＡＧＣ部１２に対してＡＧＣゲインの制御を行うことによって明るさのコントロールを行う。より具体的には、明るい状態では、電子シャッターを高速にし、ＡＧＣゲインを落とす制御を行う。一方、暗い状態では、電子シャッターを最小値とし、ＡＧＣゲインを上げる制御を行う。このＡＥ制御については周知の技術である。
【００２８】
マイクロコンピュータ１４は、上述したＡＥ制御の機能の外に、ＯＰＤ回路１３７から与えられる例えば５つの検波枠０〜４の各輝度積分データに基づいて被写体内の面に動きがあるか否か、即ち被写体の動きの有無を認識する認識手段としての機能も備えている。このマイクロコンピュータ１４において実行される、被写体の動き認識のための処理手順について、図６のフローチャートにしたがって説明する。
【００２９】
先ず、ＯＰＤ回路１３７から与えられる例えば５つの検波枠０〜４の各輝度積分データを取り込み（ステップＳ１１）、次いで各検波枠０〜４の一画素あたりの積分値を求める（ステップＳ１２）。この一画素あたりの積分値については、取り込んだ各枠の輝度積分データを各枠の画素数で除算することによって求めることができる。
【００３０】
ところで、インターレース方式の場合、同一の検波枠でも奇数フィールドと偶数フィールドで一画素あたりの積分値が異なる。図７に、奇数フィールドと偶数フィールドの走査線の関係を模式的に示す。図７において、例えば、実線の斜め二重線が奇数フィールドの走査線を、点線の斜め二重線が偶数フィールドの走査線をそれぞれ示している。
【００３１】
このように、奇数フィールドと偶数フィールドでは、静止画の輝度積分値であっても各検波枠に差がでるので、一画素あたりの積分値を求めるに当たっては、奇数フィールド、偶数フィールドのどちらか一方の輝度積分データを使用するようにする。
【００３２】
続いて、前回の一画素あたりの積分値と今回の一画素あたりの積分値とを比較し（ステップＳ１３）、次いで一画素あたりの積分値に変化があったか、即ち輝度に変化があったか否かを判断し（ステップＳ１４）、次いで同時に全検波枠に輝度に変化があったか否かを判断する（ステップＳ１５）。
【００３３】
すなわち、輝度（一画素あたりの積分値）に変化があった検波枠については被写体に変化（動き）があったものとみなすが、同時に全検波枠について輝度変化があった場合は全体的に輝度が変化したものとみなし、被写体に変化があったとはみなさない。そして、輝度の変化が同時に全検波枠にない場には動き認識のトリガーとし（ステップＳ１６）、動き認識のための一連の処理を終了する。
【００３４】
なお、上述した一連の処理では、図８に示すように、同時に全検波枠０〜４について輝度変化があった場合は被写体に変化があったとみなさず、全体的に輝度が変化したとみなすとしたが、その他にも、検波枠の一画素あたりの積分値に変化があったにも関わらず、被写体に変化があったとみなさない検波枠の組み合わせがある。
【００３５】
図９に、検波枠の一画素あたりの積分値に変化（輝度変化）があっても、被写体に変化があったとみなさない検波枠の組み合わせの具体例を示す。ここでは、隣り合わない検波枠、即ち２枠と３枠（Ａ）および０枠と１枠（Ｂ）について同時に一画素あたりの積分値が変化した場合には、被写体に変化があったとみなさず、輝度成分のノイズとみなすようにする。
【００３６】
また、どれぐらいの輝度変化で被写体に動きがあったと認識をするか、その判定基準を任意に変えられるようにすることで、被写体の動き認識の度合いを任意に調整することが可能となる。
【００３７】
上述したように、被写体の動きの有無を認識するに当たって、撮像素子１１の撮像領域内に複数の検波領域、本例では５つの検波枠０〜４を設定し、撮像素子１１から出力される映像信号に含まれる輝度信号から、検波枠０〜４内における輝度積分値を求め、これら各検波領域内における輝度積分値の変化から被写体に動きが有るか否かを認識する構成を採ることにより、図１から明らかなように、ＡＥ制御で用いられている既存のハードウェア、即ちＯＰＤ回路１３７およびマイクロコンピュータ１４などをそのまま利用できるため、ハードウェア的にリソースを追加することなく、ソフトウェアを変更することによって既存のリソースで動き検出を行うことができる。その結果、動き検出システムを安価に構築することができる。
【００３８】
なお、上記実施形態では、撮像素子１１の撮像領域に対して５つの検波枠０〜４を設定するとしたが、これに限られるものではなく、もっと少ない数あるいは６つ以上の任意の数の検波枠を設定することも可能である。
【００３９】
ただし、検波枠数が極端に多い場合（例えば、水平８×垂直８の６４個の検波枠）では、動体としての解像度も上げられるので、隣り合わない検波枠の変化をノイズと捉えるようにすると、誤判定を生じる懸念がある。したがって、検波枠の数が極端に多く設定する場合には、前回輝度が変化したときの検波枠を保持しておき、それと今回のものと比較し、連続した変化ならば被写体に動き有りと認識し、そうでなければノイズとして捉えるようにすれば、誤判定を抑制することができる。
【００４０】
上記構成の動き検出機能を搭載したカメラシステム（撮像装置）は、例えば監視カメラとして用いて好適なものである。監視カメラとして用いる場合には、例えば動体を認識したとき、即ち動きを検出したときにアラームを発生させてそのときの撮像画像を記録媒体に記録するようにしたり、あるいはアラーム信号を監視者に対して発するなどの使い方ができる。
【００４１】
【発明の効果】
以上説明したように、本発明によれば、被写体の動きの有無を認識するに当たって、撮像素子の撮像領域内に複数の検波領域を設定し、撮像素子の出力信号に基づいて、設定した複数の検波枠内における輝度積分値を求め、この求めた各検波領域内における輝度積分値の変化からは被写体の動きの有無を認識することにより、ＡＥ制御で用いられている既存のハードウェアをそのまま利用でき、ハードウェア的にリソースを追加することなく、既存のリソースで動き検出を行うことができるため、動き検出システムを安価に構築することができる。
【図面の簡単な説明】
【図１】本発明が適用される撮像装置の構成を示すブロック図である。
【図２】ＯＰＤ回路の構成の一例を示すブロック図である。
【図３】検波領域（検波枠）と走査線の関係を模式的に示す図である。
【図４】検波枠発生器の動作説明に供するタイミングチャートである。
【図５】撮像領域内における複数の検波枠０〜４の関係を示す図である。
【図６】被写体の動き認識のための処理手順を示すフローチャートである。
【図７】奇数フィールドと偶数フィールドの走査線の関係を模式的に示す図である。
【図８】同時に全検波枠０〜４について輝度変化があった場合の様子を示す図である。
【図９】輝度変化があっても、被写体に変化があったとみなさない検波枠の組み合わせの具体例を示す図である。
【符号の説明】
１１…撮像素子、１２…ＣＤＳ＆ＡＧＣ回路、１３…カメラＤＳＰ、１４…マイクロコンピュータ、１５…タイミングジェネレータ、２１…検波枠発生器、２２…ＡＮＤ回路、２３…積分器、１３７…ＯＰＤ回路
【図１】
2004274533.tif 000003
【図２】
2004274533.tif 000004
【図３】
2004274533.tif 000005
【図４】
2004274533.tif 000006
【図５】
2004274533.tif 000007
【図６】
2004274533.tif 000008
【図７】
2004274533.tif 000009
【図８】
2004274533.tif 000010
【図９】
2004274533.tif 000011