(57)【要約】【課題】効率的に、消費電力を低減するとともに、その寿命を延ばすことができる画像処理装置を提供することにある。【解決手段】画像入力部３には、カメラ１０が撮像した撮像エリアのフレーム画像が入力される。画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、そのフレーム画像に撮像されているオブジェクトを検出する。また、画像処理部４は、検出したオブジェクトの個数に応じて、動作クロックの周波数を決定する。【選択図】図１
2014135663.tif 000002
【特許請求の範囲】
【請求項１】
カメラが撮像した撮像エリアのフレーム画像を入力する画像入力部と、
前記画像入力部に入力されたフレーム画像を処理し、そのフレーム画像に撮像されているオブジェクトを検出する画像処理部と、
前記画像処理部が検出したオブジェクトの個数に応じて、前記画像処理部の動作クロックの周波数を決定する周波数決定部と、を備え、
前記動作周波数決定部は、前記画像処理部が検出したオブジェクトの個数が少なくなるにつれて、前記画像処理部の動作クロックの周波数を低くする、画像処理装置。
【請求項２】
前記カメラが撮像した撮像エリアのフレーム画像に対して特定領域を設定する特定領域設定部を備え、
前記画像処理部は、前記画像入力部に入力されたフレーム画像全体に対する処理で撮像されているオブジェクトが検出されなかったことを条件に、前記特定領域設定部が設定した特定領域に限定して、撮像されているオブジェクトを検出する、請求項１に記載の画像処理装置。
【請求項３】
前記前記特定領域設定部は、前記画像入力部に入力されたフレーム画像を分割した複数の領域における、指定された領域を前記特定領域に設定する、請求項２に記載の画像処理装置。
【請求項４】
前記動作周波数決定部は、前記画像処理部が検出したオブジェクトの個数が少なくなるにつれて、前記画像処理部の動作クロックの周波数を段階的に低くする、請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記動作周波数決定部が前記画像処理部の動作クロックの周波数を決定するタイミングを制御するタイミング制御部を備えた、請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
画像入力部に入力された、カメラが撮像した撮像エリアのフレーム画像を処理し、そのフレーム画像に撮像されているオブジェクトを検出する画像処理ステップと、
画像処理ステップが検出したオブジェクトの個数に応じて、前記画像処理ステップの実行速度を決定する動作クロックの周波数を決定する周波数決定ステップと、をコンピュータが実行する画像処理方法。
【請求項７】
画像入力部に入力された、カメラが撮像した撮像エリアのフレーム画像を処理し、そのフレーム画像に撮像されているオブジェクトを検出する画像処理ステップと、
画像処理ステップが検出したオブジェクトの個数に応じて、前記画像処理ステップの実行速度を決定する動作クロックの周波数を決定する周波数決定ステップと、をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラが撮像した撮像エリアのフレーム画像を処理し、撮像されているオブジェクトを検出する技術に関する。
【背景技術】
【０００２】
従来、カメラが撮像した撮像エリアのフレーム画像を処理し、撮像されている人や車両等のオブジェクトの検出や、検出したオブジェクトの追跡を行う画像処理装置がある（特許文献１等参照）。従来の一般的な画像処理装置は、特許文献１等に示されているように、カメラが撮像した撮像エリアのフレーム画像と、この撮像エリアの背景画像と、の差分画像（背景差分画像）や、時間的に連続する２つのフレーム画像の差分画像（フレーム間差分画像）等を生成することにより、オブジェクトの検出や追跡を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２６５５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像処理装置は、カメラが撮像した撮像エリアのフレーム画像を処理するプロセッサ（画像処理プロセッサ）の動作クロックの周波数（クロック周波数）を固定している。
【０００５】
画像処理プロセッサは、動作クロックの周波数が高くなるにつれての処理速度が速くなり、消費電力が大きくなる。一方、画像処理プロセッサにかかる負荷は、フレーム画像に撮像されているオブジェクトの数が多くなるにつれて、大きくなる。
【０００６】
したがって、従来の画像処理装置は、フレーム画像に撮像されているオブジェクトの数が多いときに要求される処理速度が得られるように、画像処理プロセッサの動作クロックの周波数を定めていた。このため、フレーム画像に撮像されているオブジェクトの数が比較的少ないときには、画像処理プロセッサの処理速度が必要以上に速く、消費電力が無駄に大きくなる。また、画像処理プロセッサは、消費電力が大きいほど、発熱量が大きくなることから、その寿命が短くなる。
【０００７】
この発明の目的は、効率的に、消費電力を低減するとともに、その寿命を延ばすことができる技術を提供することにある。
【課題を解決するための手段】
【０００８】
この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。
【０００９】
画像入力部には、カメラが撮像した撮像エリアのフレーム画像が入力される。カメラは、この画像処理装置１本体に一体的に設けられていてもよいし、ケーブルで接続されていてもよい。
【００１０】
画像処理部は、画像入力部に入力されたフレーム画像を処理し、そのフレーム画像に撮像されているオブジェクトを検出する。画像処理部は、例えば背景差分画像やフレーム間差分画像を生成し、フレーム画像に撮像されているオブジェクトを検出する。ここで言うオブジェクトは、人や車両等である。
【００１１】
また、周波数決定部は、画像処理部が検出したオブジェクトの個数に応じて、画像処理部の動作クロックの周波数を決定する。具体的には、動作周波数決定部は、画像処理部が検出したオブジェクトの個数が少なくなるにつれて、画像処理部の動作クロックの周波数を低くする。言い換えれば、動作周波数決定部は、画像処理部が検出したオブジェクトの個数が多くなるにつれて、画像処理部の動作クロックの周波数を高くする。これにより、画像処理部は、検出されたオブジェクトの数が多くなるにつれて、要求される処理速度が速くなる。また、画像処理部は、動作クロックの周波数が高くなるにつれて、処理速度が速くなる。
【００１２】
したがって、周波数決定部は、動作クロックの周波数を、その時点において画像処理部に要求される処理速度が得られる値に決定することができる。これにより、検出されたオブジェクトの数の変化に応じて、画像処理部の処理速度を制御することができる。すなわち、画像処理部の処理速度が、要求される処理速度に対して必要以上に速くなるのを抑えられるので、消費電力を効率的に低減することができる。また、画像処理部の発熱量も効率的に抑えられるので、この画像処理部の寿命を延ばすことができる。
【００１３】
また、カメラが撮像した撮像エリアのフレーム画像に対して特定領域を設定する特定領域設定部を追加的に備えてもよい。この場合、画像処理部は、画像入力部に入力されたフレーム画像全体に対する処理で撮像されているオブジェクトが検出されなかったことを条件に、特定領域設定部が設定した特定領域に限定して、撮像されているオブジェクトを検出する構成とすればよい。
【００１４】
この特定領域は、オブジェクトが撮像エリア外から撮像エリア内に進入するときに通過する場所に対応するフレーム画像上の領域にすればよい。これにより、画像処理部の処理負荷を一層抑えることができるので、画像処理部の動作クロックの周波数を一層低くすることができる。
【００１５】
また、この特定領域は、フレーム画像に対して、オペレータが任意の場所を指定できる構成であってもよいし、フレーム画像を分割した複数の領域の中から、オペレータが１つ以上指定する構成としてもよい。
【００１６】
また、動作周波数決定部が前記画像処理部の動作クロックの周波数を決定するタイミングを制御するタイミング制御部を追加的に設けてもよい。このタイミング制御部は、画像処理部の動作クロックの周波数を頻繁に切り替えないように、画像処理部の動作クロックの周波数の決定するタイミングを制御すればよい。
【発明の効果】
【００１７】
この発明によれば、効率的に、消費電力を低減し、且つ、その寿命を延ばすことができる。
【図面の簡単な説明】
【００１８】
【図１】画像処理装置の主要部の構成を示す図である。
【図２】画像処理部の構成を示す図である。
【図３】カメラが撮像したフレーム画像を示す図である。
【図４】画像処理装置における画像処理を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、この発明の実施形態である画像処理装置について説明する。
【００２０】
図１は、この発明の実施形態にかかる画像処理装置の主要部の構成を示す図である。
【００２１】
この画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。
【００２２】
制御部２は、画像処理装置１本体各部の動作を制御する。
【００２３】
画像入力部３は、カメラ１０が撮像した撮像エリアのフレーム画像を入力する。カメラ１０は、この画像処理装置１本体に一体的に設けた構成であってもよいし、この画像処理装置１本体とは別筐体のであってもよい。カメラ１０は、画像処理装置１本体とは別筐体である場合、画像処理装置１本体にケーブルで接続する。このカメラ１０は、例えば１秒間に１０〜３０フレーム程度のフレーム画像を画像入力部３に入力する。
【００２４】
画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出する。画像処理部４が検出するオブジェクトは、その用途に応じて予め定めており、例えば人や車両である。また、画像処理部４は、オブジェクトとして人を検出する場合は、検出した人の顔を切り出し、その人の性別、年齢等の属性を推定する属性推定処理や、検出した人が予め登録されている登録者であるかどうかを認証する顔認証処理等を行う。また、画像処理部４は、オブジェクトとして車両を検出する場合は、その車両に取り付けられているナンバープレートを切り出し、このナンバープレートに表記されているナンバープレート番号を認識する文字認識処理等を行う。
【００２５】
入出力部５は、画像処理部４の処理結果を図示していない上位装置等へ出力する。また、入出力部５は、上位装置等からの入力を受け付ける。
【００２６】
ここで、画像処理部４について、より詳細に説明する。図２は、画像処理部の構成を示す概略図である。画像処理部４は、演算回路４１と、クロック制御回路４２と、クロック回路４３と、記憶回路４４と、を備えている。
【００２７】
演算回路４１は、カメラ１０が撮像したフレーム画像に対する、上述した画像処理にかかる演算処理等を行う。
【００２８】
クロック制御回路４２は、クロック回路４３を制御し、このクロック回路４３が演算回路４１等に与える動作クロックの周波数を制御する。この例では、クロック制御回路４２は、クロック回路４３が演算回路４１等に与える動作クロックの周波数を、予め定めたｆ１、ｆ２、ｆ３（ｆ１＞ｆ２＞ｆ３＞０）の中から選択し、決定する。このクロック制御回路４２が、この発明で言う周波数決定部に相当する構成を有する。
【００２９】
記憶回路４４は、演算回路４１の画像処理にかかる演算処理のワーキング領域として使用される。また、記憶回路４４は、上述した演算回路４１等に与える動作クロックの周波数ｆ１、ｆ２、ｆ３や、後述する、カメラ１０が撮像したフレーム画像に対して設定されている特定領域等を記憶する。
【００３０】
この画像処理部４は、１チップのプロセッサで構成される。また、この画像処理部４が、この発明にかかる画像処理プログラム、および画像処理方法を実行するコンピュータに相当する。
【００３１】
以下、この発明の実施形態である画像処理装置１の動作について説明する。
【００３２】
まず、カメラ１０が撮像したフレーム画像に対して特定領域を設定する処理について説明する。図３（Ａ）は、カメラが撮像したフレーム画像を示す図である。図３（Ｂ）は、カメラが撮像したフレーム画像を、３×３の９個の領域に略均等に分割した例を示している。図３では、領域の分割線を破線で示している。
【００３３】
なお、フレーム画像に対する領域の分割は、図３（Ｂ）に示す９分割に限らず１２分割や１６分割であってもよい。また、フレーム画像を分割した各領域は、そのサイズが均等でなくてもよい。
【００３４】
オペレータが、フレーム画像に対して分割している領域（以下、分割領域と言う。）の中から、特定領域を指定する。具体的には、画像処理装置１が接続されている上位装置や、図示していない画像処理装置１の操作部を操作して、特定領域とする分割領域を指定する。ここで特定領域として指定する分割領域は、１つであってもよいし、複数であってもよい。ただし、特定領域として指定する分割領域の総数は、フレーム画像に対する領域の分割数未満である。すなわち、特定領域として指定されていない分割領域が、少なくとも１つ存在する。
【００３５】
また、オペレータは、カメラ１０の撮像エリア内に進入してくるオブジェクト（ここでは、人）が通過する可能性が高い場所に対応する分割領域を特定領域に指定する。例えば、図３（Ｂ）に示す例では、下段の右端位置する分割領域や、下段の中央に位置する分割領域を特定領域に指定するのが好ましい。
【００３６】
画像処理装置１は、フレーム画像に対する特定領域の指定を受け付けると、画像処理部４が記憶回路４４に指定されて特定領域を記憶する。
【００３７】
また、上記の例では、フレーム画像を分割した分割領域の中から、特定領域を選択するとしたが、オペレータが、ポインティングデバイス等を使用して、フレーム画像に対して特定領域の位置やサイズを任意に指定できるように構成してもよい。
【００３８】
次に、カメラ１０が撮像した撮像エリアのフレーム画像を処理し、オブジェクトを検出する画像処理について説明する。図４は、この画像処理装置における画像処理を示すフローチャートである。
【００３９】
画像処理装置１は、初期設定処理を行う（ｓ１）。ｓ１では、画像処理部４が、カメラ１０が撮像したフレーム画像に対して特定領域を設定する。上述したように、画像処理部４は、オペレータがフレーム画像に対して指定した特定領域を記憶回路４４に記憶している。また、画像処理部４は、クロック制御回路４２が演算回路４１等に与える動作クロックの周波数をｆ１（最大周波数）に決定する。クロック回路４３は、クロック制御回路４２が決定した周波数ｆ１の動作クロックを演算回路４１等に与える。
【００４０】
画像処理装置１は、画像入力部３に入力された、カメラ１０が撮像した撮像エリアのフレーム画像を処理し、撮像されているオブジェクト（この例では、人）を検出する（ｓ２）。ｓ２では、カメラ１０の撮像エリアの背景画像と、画像入力部３に入力されたフレーム画像と、の差分画像（背景差分画像）を生成し、今回入力されたフレーム画像に撮像されているオブジェクトを検出する。背景画像は、画像処理部４の記憶回路４４に記憶していてもよいし、図示していない画像処理装置１に設けた記憶デバイス等に記憶していてもよい。ｓ２では、画像入力部３に入力された最新のフレーム画像を処理する。
【００４１】
また、背景差分画像を生成して、入力されたフレーム画像に撮像されているオブジェクトを検出する処理については公知であるので、ここでは詳細な説明を省略する。また、画像処理部４は、カメラ１０の撮像エリアの背景画像についても、適当なタイミングで、更新する。
【００４２】
なお、ｓ２では、撮像されているオブジェクトを抽出するだけであり、上述した属性推定処理、顔認証処理、文字認識処理等（以下、総称して主目的処理と言う。）については行わない。
【００４３】
画像処理部４は、クロック制御回路４２が演算回路４１等に与える動作クロックの周波数を予め定めたｆ１、ｆ２、ｆ３（ｆ１＞ｆ２＞ｆ３＞０）の中から選択し、決定する（ｓ３〜ｓｓ７）。
【００４４】
具体的には、クロック制御回路４２は、ｓ２にかかるオブジェクト検出処理で検出したオブジェクトの個数が予め定めたＡ個（例えば５個）以上であれば、動作クロックの周波数をｆ１に決定する（ｓ４）。また、クロック制御回路４２は、ｓ２にかかるオブジェクト検出処理で検出したオブジェクトの個数が、Ａ個未満、１個以上であれば、動作クロックの周波数をｆ２に決定する（ｓ６）。また、クロック制御回路４２は、ｓ２にかかるオブジェクト検出処理でオブジェクトが検出されなければ、動作クロックの周波数をｆ３に決定する（ｓ７）。
【００４５】
クロック回路４３は、上記ｓ３〜ｓ７にかかる処理で、クロック制御回路４２が決定した周波数の動作クロックを演算回路４１等に与える。
【００４６】
画像処理部４は、ｓ４で動作クロックの周波数をｆ１に決定した場合、または、ｓ６で動作クロックの周波数をｆ２に決定した場合、動作クロックの周波数の更新タイミングに達するまで、画像入力部３に入力されたカメラ１０が撮像した撮像エリアのフレーム画像を順次処理し、オブジェクト検出処理、および主目的処理を実行する（ｓ８、ｓ９）。
【００４７】
動作クロックの周波数の更新タイミングは、前回動作クロックの周波数を決定したタイミングから予め定めた一定時間（例えば、数秒〜数十秒）経過したタイミングとしてもよいし、前回動作クロックの周波数を決定したタイミングからｓ８で処理したフレーム画像のフレーム数が予め定めた枚数に達したタイミングとしてもよい。
【００４８】
ｓ９にかかる更新タイミングであるかどうかの判断は、制御部２が行う。制御部２は、更新タイミングであると判断すると、画像処理部４（クロック制御回路４２）に対して、動作クロックの周波数の更新を指示する。この制御部２のｓ９にかかる処理が、この発明で言うタイミング制御部に相当する構成である。
【００４９】
画像処理部４は、ｓ９で更新タイミングであると判定すると、ｓ３に戻って上記処理を繰り返す。この場合には、ｓ８で最後に処理したフレーム画像から検出したオブジェクトの個数に応じて、動作クロックの周波数を決定する。
【００５０】
また、画像処理部４は、ｓ７で動作クロックの周波数をｆ３に決定した場合、画像入力部３に入力されたカメラ１０が撮像した撮像エリアのフレーム画像について設定されている特定領域のみ処理する（ｓ１０）。ｓ１０では、オブジェクトの検出処理のみ行い、主目的処理については行わない。画像処理部４は、ｓ１０にかかる処理を、画像入力部３に入力されたフレーム画像に対して繰り返し、オブジェクトが検出されると（ｓ１１）、ｓ３に戻る。
【００５１】
このように、この画像処理装置１は、検出されたオブジェクトの数に応じて、動作クロックの周波数を段階的に変更する。具体的には、画像処理装置１は、検出されたオブジェクトの数が少なくなるにつれて、動作クロックの周波数を低くする。言い換えれば、画像処理装置１は、検出されたオブジェクトの数が多くなるにつれて、動作クロックの周波数を高くする。したがって、画像処理装置１は、クロック周波数を、その時点において画像処理部４に要求される処理速度が得られる周波数にできる。これにより、画像処理部４の処理速度が、要求される処理速度に対して必要以上に速くなるのを抑えられるので、消費電力を効率的に低減することができる。また、画像処理部４の発熱量も効率的に抑えられるので、この画像処理部４の寿命を延ばすことができる。
【００５２】
また、画像入力部３に入力されたフレーム画像全体に対する処理で撮像されているオブジェクトが検出されなかったときには、設定されている特定領域に限定して、撮像されているオブジェクトの検出処理を行うので、画像処理部４の消費電力を一層効率的に低減することができる。
【００５３】
なお、上述したように、オブジェクトが撮像エリア外から撮像エリア内に進入するときに通過する場所に対応するフレーム画像上の領域を、特定領域にしているので、カメラ１０が撮像したフレーム画像に撮像されているオブジェクトに対して主目的処理が実行されないという問題も生じない。
【００５４】
また、上記の例では、検出されたオブジェクトの数に応じて、動作クロックの周波数を３段階で変更する構成として説明したが、この動作クロックの周波数を変更する段階数は、画像処理部４を構成するプロセッサの性能に応じて、決めればよい。また、検出されたオブジェクトの数αをパラメータとする関数Ｇ（α）を定めておき、この関数Ｇ（α）により、動作クロックの周波数ｆを算出する構成としてもよい。すなわち、
ｆ＝Ｇ（α）  ただし、ｆは、動作クロックの周波数である。
【００５５】
ただし、この場合、動作クロックの周波数ｆは、画像処理部４を構成するプロセッサの仕様で決められている上限値を超えないように規定する。
【００５６】
また、図４に示したｓ９にかかる処理を設けているので、動作クロックの周波数が頻繁に変更されるのを防止できる。これにより、画像処理部４は、動作クロックの周波数の変更にかかる処理の負荷が抑えられ、画像処理部４の寿命を一層延ばすことができる。
【符号の説明】
【００５７】
１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
５…入出力部
１０…カメラ
４１…演算回路
４２…クロック制御回路
４３…クロック回路
４４…記憶回路
【図１】
2014135663.tif 000003
【図２】
2014135663.tif 000004
【図３】
2014135663.tif 000005
【図４】
2014135663.tif 000006