(57)【要約】  【課題】良好な認識結果を出力して認識性能を向上できる画像認識カメラを提供する。  【解決手段】画像認識カメラは、原画像を人間の目に見える形式の画像に変換するカメラ信号処理部１０２と、カメラ信号処理部で処理された画像から被写体を認識する画像認識処理部１０４と、カメラ信号処理部１０２でのカメラ信号処理中に画像の特徴を表す統計情報を算出して、画像の特徴を判別する画像種類判定部１０３と、画像種類判定部１０３で判別された画像の特徴に応じて、画像認識処理部１０４に認識処理を実行させるか否かを切り替える切替部１０５とを備える。【選択図】  図１
2008015860.tif 000002
【特許請求の範囲】
【請求項１】
被写体の原画像の信号を生成する撮像素子と、
原画像を人間の目に見える形式の画像に変換するカメラ信号処理部と、
前記カメラ信号処理部で処理された画像から被写体を認識する画像認識処理部と、
前記カメラ信号処理部でのカメラ信号処理中に画像の特徴を表す統計情報を算出して、画像の特徴を判別する画像種類判定部と、
前記画像種類判定部で判別された画像の特徴に応じて、前記画像認識処理部に認識処理を実行させるか否かを切り替える切替部と、
前記カメラ信号処理部で処理された画像と前記画像認識処理部の認識結果を出力する結果出力部と、
を備えたことを特徴とする画像認識カメラ。
【請求項２】
前記画像種類判定部は、画像の特徴としてフレーム間の動きを算出し、前記切替部は、前記フレーム間の動きが所定の閾動きレベル以上のときに認識処理の実行を制限することを特徴とする請求項１記載の画像認識カメラ。
【請求項３】
前記画像種類判定部は、画像の特徴として明るさを算出し、前記切替部は、前記フレームの明るさが所定の閾明るさレベル以下のときに認識処理の実行を制限することを特徴とする請求項１または２記載の画像認識カメラ。
【請求項４】
前記画像種類判定部は、画像の特徴として肌色領域の大きさを算出し、前記切替部は、前記肌色領域の大きさが所定の閾肌色サイズ以下のときに認識処理の実行を制限することを特徴とする請求項１ないし３のいずれかに記載の画像認識カメラ。
【請求項５】
それぞれ異なる認識対象を認識する複数の画像認識処理部を有し、
前記切替部は、前記画像種類判定部で判別された画像の特徴に応じて、前記複数の画像認識処理部から、前記画像の特徴に応じた画像認識処理部を選択して認識処理を実行させることを特徴とする請求項１ないし４のいずれかに記載の画像認識カメラ。
【請求項６】
被写体の原画像の信号を生成する撮像素子と、
原画像を人間の目に見える形式の画像に変換するカメラ信号処理部と、
前記カメラ信号処理部で処理された画像から被写体を認識する複数の切替可能な画像認識処理部と、
前記カメラ信号処理部で処理された画像と前記画像認識処理部の認識結果を出力する結果出力部と、
前記カメラ信号処理部でのカメラ信号処理中に画像の特徴を表す統計情報を算出して、画像の特徴を判別する画像種類判定部と、
前記画像種類判定部で判別された画像の特徴に応じて、前記複数の画像認識処理部のうちで認識処理を実行する画像認識処理部を切り替える切替部と、
を備えたことを特徴とする画像認識カメラ。
【請求項７】
請求項１から６のいずれかに記載の画像認識カメラにおける前記カメラ信号処理部、前記画像認識処理部、前記画像種類判定部および前記切替部の処理を前記画像認識カメラの演算装置に実行させることを特徴とするプログラム。
【請求項８】
請求項１から６のいずれかに記載の画像認識カメラにおける前記カメラ信号処理部、前記画像認識処理部、前記画像種類判定部および前記切替部の処理を前記画像認識カメラの演算装置に実行させるプログラムをデータとして記録したことを特徴とする記録媒体。
【請求項９】
撮影した画像から被写体を解析によって認識し、画像と認識結果のメタデータを出力する画像認識カメラであって、
レンズから受光した光を電気信号に変換し、入力原画像とする撮像素子と、
画像データおよびメタデータを記録するデータメモリと、
原画像を処理して画像に変換するカメラ信号処理プログラムと画像から認識対象物を検出する画像認識処理プログラムの処理をカメラ信号処理プログラム実行中に得られる画像の特徴に基づいて切り替えながら実行する演算部と、
前記カメラ信号処理プログラムと前記画像認識プログラムをそれぞれ１種類以上格納するプログラムメモリと、
画像と認識結果のメタデータを出力できる出力部と、
を備えることを特徴とした画像認識カメラ。
【請求項１０】
前記演算部が、カメラ信号処理プログラムの実行時に画像のフレームの特徴を演算により検出し、検出された特徴に応じて、画像認識処理プログラムを実行するか否かを切り替えることを特徴とする請求項９記載の画像認識カメラ。
【請求項１１】
前記プログラムメモリが２つ以上の画像認識プログラムを格納しており、
前記演算部が、カメラ信号処理プログラムの実行時に画像のフレームの特徴を演算により検出し、特徴に応じて２つ以上の画像認識プログラムの中から最も適した画像認識プログラムを選択して実行することを特徴とする請求項９記載の画像認識カメラ。
【請求項１２】
前記演算部が、画像の特徴としてフレーム間の動きを演算により検出することを特徴とする請求項１０または１１に記載の画像認識カメラ。
【請求項１３】
前記演算部が、画像の特徴として明るさを演算により検出することを特徴とする請求項１０ないし１２のいずれかに記載の画像認識カメラ。
【請求項１４】
前記演算部が、画像の特徴として肌色領域の大きさを演算により検出することを特徴とする請求項１０ないし１３のいずれかに記載の画像認識カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラが撮像した領域から、人物や文字などの対象物を認識する機能を有する画像認識カメラに関し、特に、認識性能を向上させる技術に関する。
【背景技術】
【０００２】
画像処理技術の発達および半導体デバイスの小型化により、近年のカメラには撮影機能と画像認識の機能が一体化したものも見られるようになった。これにより、例えば、施設の門において、入門時に被写体である人物の顔を画像認識することで、認証機能などの付加価値をカメラに与えることが可能になった。画像認識機能を持ったカメラには、例えば、特許文献１および特許文献２に示すようなものがある。
【０００３】
特許文献１に記載の画像認識カメラは、撮像画面中の青空を認識して、画面下部の黒つぶれを低減するように構成されている。このカメラは、撮像素子の出力信号を処理して画像信号として輝度、色差信号を生成するカメラ信号処理回路と、青空を認識する専用の画像認識回路を備えており、画像認識回路はカメラ信号処理回路により生成された画像信号を解析して、青空の有無を検出する。
【０００４】
特許文献２の画像認識カメラは、撮像画面中の人物の顔を認識するように構成されており、検出した「顔」の画像データは通信用モジュールにより遠隔地の保存用サーバに送信される。この従来例の画像認識カメラは、画像を生成するビデオデジタルプロセスと、生成された画像から顔認識を実行する専用ソフトウェアライブラリーを設けている。
【特許文献１】特開平１１−１４６２６４号公報
【特許文献２】実用新案登録第３１１２６５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１および特許文献２などの従来の画像認識カメラは、画像認識の性能向上に関しては改良の余地があると考えられる。
【０００６】
ここでは、画像認識処理の性能に関して、画像認識の成否が入力画像そのものに依存することが多い点に着目する。例えば、認証用の顔認識カメラなどで、被写体の人物がすばやく動いている画像が入力された場合、そのような画像を処理して顔認識処理を成功させることは、高度な認識アルゴリズムをもってしても難しい。逆に、被写体がカメラの前で静止している場合を選んで認識を行う方が、認識が容易であり、良好な結果が得られるのは言うまでもない。
【０００７】
このように、画像認識の成否は入力画像に大きく影響を受ける。しかし、従来の画像認識カメラでは、画像認識の前プロセスであるカメラ信号処理回路（ビデオデジタルプロセス）と画像認識回路が、別個の回路として独立に動作しており、入力画像の状態に関係なく認識処理が実行される。そのために、認識が難しい画像の認識処理を無理に実行して結果的に認識に失敗することがある。このような効率の悪い処理は、システムの負担になり、しかも確実な認識結果を得られなくする要因になり、認識性能を低下させてしまうことになる。
【０００８】
また、認識が困難な画像を認識するために、高度な認識アルゴリズムや回路を搭載することも考えられる。しかしながら、この場合、処理の複雑化や処理時間の増加、回路規模の増大、コスト増等が生じ得るので、カメラのシステム全体にとってもマイナス面が大きい。
【０００９】
本発明は上記課題を解決するためになされたものであり、その目的は、従来よりも高度な認識アルゴリズムおよび回路を必要とすることなく、より良好な認識結果を出力できる画像認識カメラを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の画像認識カメラは、被写体の原画像の信号を生成する撮像素子と、原画像を人間の目に見える形式の画像に変換するカメラ信号処理部と、前記カメラ信号処理部で処理された画像から被写体を認識する画像認識処理部と、前記カメラ信号処理部でのカメラ信号処理中に画像の特徴を表す統計情報を算出して、画像の特徴を判別する画像種類判定部と、前記画像種類判定部で判別された画像の特徴に応じて、前記画像認識処理部に認識処理を実行させるか否かを切り替える切替部と、前記カメラ信号処理部で処理された画像と前記画像認識処理部の認識結果を出力する結果出力部とを備えている。
【００１１】
この構成により、画像認識カメラは、カメラ信号処理中に画像の特徴を表す統計情報を算出して、画像の特徴を判別し、画像の特徴に応じて認識処理を実行するか否かを切り替える。これにより、認識が難しい画像の認識処理を無理に実行して結果的に認識に失敗するのを避けることができ、効率良い画像認識処理を行うことができ、システムの負担を低減しつつ、確実な認識結果を得られる。しかも、画像の特徴に応じて認識処理を実行するか否かを切り替えるので、認識のアルゴリズム自体を特に高度化する必要はない。このようにして、本発明によれば、複雑な認識アルゴリズムを要することなく、良好な認識結果を得られる画像認識カメラを提供することができる。
【００１２】
本発明の画像認識カメラにおいて、前記画像種類判定部は、画像の特徴としてフレーム間の動きを算出し、前記切替部は、前記フレーム間の動きが所定の閾動きレベル以上のときに認識処理の実行を制限するように構成される。この構成により、画像の動きが大きいために認識処理が困難な画像が入力されたときの無理な認識処理の実行を回避できる。
【００１３】
また、本発明の画像認識カメラにおいて、前記画像種類判定部は、画像の特徴として明るさを算出し、前記切替部は、前記フレームの明るさが所定の閾明るさレベル以下のときに認識処理の実行を制限するように構成される。この構成により、画像が暗いために認識処理が困難な画像が入力されたときの無理な認識処理の実行を回避できる。
【００１４】
本発明の画像認識カメラにおいて、前記画像種類判定部は、画像の特徴として肌色領域の大きさを算出し、前記切替部は、前記肌色領域の大きさが所定の閾肌色サイズ以下のときに認識処理の実行を制限するように構成される。この構成により、人物の顔認識等において、画像中での認識対象の領域のサイズが小さいために認識処理が困難な画像が入力されたときの無理な認識処理の実行を回避できる。
【００１５】
本発明の画像認識カメラは、それぞれ異なる認識対象を認識する複数の画像認識処理部を有し、前記切替部は、前記画像種類判定部で判別された画像の特徴に応じて、前記複数の画像認識処理部から、前記画像の特徴に応じた画像認識処理部を選択して認識処理を実行させる。この構成により、複数の画像認識処理の中から画像の特徴に合った画像認識処理を選択して実行でき、良好な認識結果を得ることができる。
【００１６】
本発明の別の態様の画像認識カメラは、被写体の原画像の信号を生成する撮像素子と、原画像を人間の目に見える形式の画像に変換するカメラ信号処理部と、前記カメラ信号処理部で処理された画像から被写体を認識する複数の切替可能な画像認識処理部と、前記カメラ信号処理部で処理された画像と前記画像認識処理部の認識結果を出力する結果出力部と、前記カメラ信号処理部でのカメラ信号処理中に画像の特徴を表す統計情報を算出して、画像の特徴を判別する画像種類判定部と、前記画像種類判定部で判別された画像の特徴に応じて、前記複数の画像認識処理部のうちで認識処理を実行する画像認識処理部を切り替える切替部とを備えている。
【００１７】
この構成により、カメラ信号処理と画像認識処理が連携し、複数の画像認識処理の中から画像の特徴に合った画像認識処理を選択して実行できる。複数の画像認識処理部から適当なものを選択すればよいので、各々の画像認識処理部の認識アルゴリズムを高度化しなくても、認識精度を向上できる。したがって、複雑な認識アルゴリズムを要することなく、良好な認識結果を得ることができる。
【００１８】
本発明の別の態様は、上述の前記カメラ信号処理部、前記画像認識処理部、前記画像種類判定部および前記切替部の処理を前記画像認識カメラの演算装置に実行させるプログラムである。この態様によっても上述した本発明の利点が得られる。
【００１９】
本発明の別の態様は、上述の前記カメラ信号処理部、前記画像認識処理部、前記画像種類判定部および前記切替部の処理を前記画像認識カメラの演算装置に実行させるプログラムをデータとして記録した記録媒体である。この態様によっても上述した本発明の利点が得られる。
【００２０】
本発明の別の態様は、撮影した画像から被写体を解析によって認識し、画像と認識結果のメタデータを出力する画像認識カメラであって、レンズから受光した光を電気信号に変換し、入力原画像とする撮像素子と、画像データおよびメタデータを記録するデータメモリと、原画像を処理して画像に変換するカメラ信号処理プログラムと画像から認識対象物を検出する画像認識処理プログラムの処理をカメラ信号処理プログラム実行中に得られる画像の特徴に基づいて切り替えながら実行する演算部と、前記カメラ信号処理プログラムと前記画像認識プログラムをそれぞれ１種類以上格納するプログラムメモリと、画像と認識結果のメタデータを出力できる出力部とを備えている。この態様によっても上述した本発明の利点が得られる。
【００２１】
本発明の画像認識カメラでは、前記演算部が、カメラ信号処理プログラムの実行時に画像のフレームの特徴を演算により検出し、検出された特徴に応じて、画像認識処理プログラムを実行するか否かを切り替える。この構成によっても上述した本発明の利点が得られる。この構成では、認識が難しい画像の認識処理を無理に実行して結果的に認識に失敗するのを避けることができ、システムの負担を低減し、しかも確実な認識結果を得られる。
【００２２】
また、本発明の画像認識カメラでは、前記プログラムメモリが２つ以上の画像認識プログラムを格納しており、前記演算部が、カメラ信号処理プログラムの実行時に画像のフレームの特徴を演算により検出し、特徴に応じて２つ以上の画像認識プログラムの中から最も適した画像認識プログラムを選択して実行する。この構成によっても上述した本発明の利点が得られる。この構成では、複数の画像認識処理の中から画像の特徴に合った画像認識処理を選択して実行でき、良好な認識結果を得ることができる。
【００２３】
また、本発明の画像認識カメラでは、前記演算部が、画像の特徴としてフレーム間の動きを演算により検出する。この構成では、画像の動きに応じて、画像認識処理の実行の有無を切り替えたり、適当な画像認識処理を選択できる。
【００２４】
また、本発明の画像認識カメラでは、前記演算部が、画像の特徴として明るさを演算により検出する。この構成では、画像の明るさに応じて、画像認識処理の実行の有無を切り替えたり、適当な画像認識処理を選択できる。
【００２５】
また、本発明の画像認識カメラでは、前記演算部が、画像の特徴として肌色領域の大きさを演算により検出する。この構成では、肌色領域の大きさに応じて、画像認識処理の実行の有無を切り替えたり、適当な画像認識処理を選択できる。
【発明の効果】
【００２６】
本発明は、画像認識カメラは、カメラ信号処理中に画像の特徴を表す統計情報を算出して、画像の特徴を判別し、画像の特徴に応じて認識処理を実行するか否かを切り替える構成を設けることにより、複雑な認識アルゴリズムを要することなく、良好な認識結果を得られるという効果を有する画像認識カメラを提供することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態に係る画像認識カメラについて、図面を参照しながら説明する。
【００２８】
（第１の実施の形態）
画像認識カメラとは、撮影した画像から被写体が何であるかを解析し、判断結果のメタデータを出力するものである。本発明の画像認識カメラは、カメラ信号処理の段階で、画像の特徴を抽出し、画像認識を実行するか否かを切り替えるように構成され、これにより、認識が困難な画像の認識処理を実行することを回避して、効率よく確実な認識を行い、認識性能の向上を図るものである。本実施の形態では、撮影中の動画から人間の顔を解析し、その人物が誰であるかを認識し、結果を出力する顔認識カメラを取り上げる。カメラ信号処理時に取り出す画像の特徴としては、被写体の動きの大きさが用いられる。この被写体の動きの大きさに基づき、画像認識が成功しやすいタイミング、つまり被写体が止まっているときに画像認識を行うように切替制御が行われる。
【００２９】
図１は、本実施の形態における画像認識カメラの構成を示すブロック図である。図１において、画像認識カメラは、被写体の原画像の信号を生成する撮像素子１０１と、原画像を人間の目に見える形式の画像に変換するカメラ信号処理部１０２と、カメラ信号処理部１０２で処理された画像から被写体を認識する画像認識処理部１０４と、カメラ信号処理部１０２でのカメラ信号処理中に画像の特徴を表す統計情報を算出して、画像の特徴を判別する画像種類判定部１０３と、画像種類判定部１０３で判別された画像の特徴に応じて、画像認識処理部１０４に認識処理を実行させるか否かを切り替える切替部１０５と、カメラ信号処理部１０２で処理された画像と画像認識処理部１０４の認識結果を出力する結果出力部１０６とを備えている。結果出力部１０６は、切替部１０５の切替動作に応じて、画像認識が行われた場合は画像と認識結果を出力し、画像認識が行われなかった場合は画像のみを出力する。
【００３０】
図２は、本実施の形態の画像認識カメラをハードウエア的な観点で示す図である。図２において、画像認識カメラは、レンズ２０１、撮像素子２０２、演算部２０３、データメモリ２０４、プログラムメモリ２０５、制御ＩＦ部２０６および出力部２０７を備えている。このうち、撮像素子２０２および出力部２０７は、図１の撮像素子１０１および結果出力部１０６に相当する。制御ＩＦ部２０６は、ユーザからの指示を演算部２０３に伝達する構成である。演算部２０３は、プログラムメモリ２０５のプログラムを実行する構成であり、演算部２０３の処理過程でデータメモリ２０４にデータが読み書きされる。演算部２０３は、プログラムメモリ２０５のプログラムを実行することにより、図１のカメラ信号処理部１０２、画像認識処理部１０４、画像種類判定部１０３および切替部１０５として機能する。
【００３１】
図２において、レンズ２０１を通して得られる認識対象２０８のイメージは、単板式の撮像素子２０２によって電気信号である入力原画像２１１に変換され、入力原画像２１１がデータメモリ２０４に記録される。単板式カメラでは、入力原画像２１１は図３のようにＲＧＢベイヤー配列のフォーマット３０１のデータであり、人間の目で見えるイメージとは異なっているため、カメラ信号処理によって人間が知覚できる形式に変換する必要がある。カメラ信号処理を実現する構成として、本画像認識カメラでは、カメラ信号処理プログラム２１４がソフトウェアにより実装され、プログラムメモリ２０５に格納され、プログラマブルＤＳＰなどにより構成される演算部２０３により実行される。
【００３２】
画像認識処理プログラム２１４も同様にソフトウェアにより実装され、プログラムメモリ２０５に格納され、演算部２０３により実行される。画像認識処理プログラム２１５は、カメラ信号処理により生成されたカメラ信号処理済画像２１２（ＹＵＶ形式）に対して画像認識を施すプログラムである。
【００３３】
カメラ信号処理済画像２１２と認識結果２１３は、演算部２０３によりデータメモリ２０４に書き込まれる。認識結果２１３はメタデータである。そして、これらカメラ信号処理済画像２１２と認識結果２１３は、演算部２０３により読み出され、共に出力部207から出力される。カメラ信号処理を含むカメラ機能および画像認識の動作に関するユーザからの指示は、制御部２０６から入力される。
【００３４】
上記構成においては、演算部２０３が、プログラムメモリ２０５のカメラ信号処理プログラム２１４および画像認識処理プログラム２１５を実行することにより、図１のカメラ信号処理部１０２および画像認識処理部１０４として機能する。また、図１の画像種類判定部１０３および切替部１０５も、該当する機能を有するプログラムが、上述のプログラムの一部として、あるいは、別個のプログラムとして用意され、プログラムメモリ２０５に格納され、演算部２０３により実行され、こうして演算部２０３が画像種類判定部１０３および切替部１０５として機能する。このように、本実施の形態の画像認識カメラは、ソフトウエア処理によって画像信号を処理するソフトウエア処理カメラであり、そして、演算部２０３が、１チッププログラマブルＤＳＰなどにより構成されており、上記のプログラムの処理を連携するように動作し、これにより、図１のカメラ信号処理部１０２、画像認識処理部１０４、画像種類判定部１０３および切替部１０５が実現される。
【００３５】
次に、図１に基づき、本実施の形態に係る画像認識カメラの動作概要を説明する。撮像素子１０１から入力されたＲＧＢベイヤー配列の原画像がカメラ信号処理部１０２で処理されて、ＹＵＶ形式のカメラ信号処理済み画像に変換される。そして、変換後の画像信号に対して画像認識処理部１０４で画像認識が行われる。画像認識処理部１０４は、例えば、予め記憶された人物画像を撮影画像と比較する処理を行ったり、予め記憶された人物特徴情報を用いた画像処理（例えば記憶された人物特徴情報と撮影画像から抽出された特徴情報を比較する処理）を行って、認識対象物２０８が所定の人物であることを認識する。認識処理では、認識対象物２０８が登録された所定のの人物であることの信頼度を算出してもよい。画像信号と認識結果は結果出力部１０６から出力される。
【００３６】
ここで、カメラ信号処理部１０２の処理過程で、画像種類判定部１０３が、各フレームの画像の特徴を抽出する。この画像の特徴に応じて、切替部１０５が、画像認識処理部１０４で画像認識を行うか否かを切り替える。本実施の形態では、特徴量として動き量のパラメータが算出され、あるフレームの動きが所定レベル以上に大きい場合は画像認識処理を行わず、動きが小さいフレームを対象に画像認識処理を行うように、切替制御が行われる。このような切替動作により、動きが大きく、ブレなどが発生している画像を認識対象から除いて、対象が静止した鮮明な画像のみを認識対象とすることで、カメラシステム全体の認識成功率を高めることができる。
【００３７】
次に、上記動作における画像種類判定部１０３の機能についてより詳細に説明する。画像種類判定部１０３は、画像の特徴を表すパラメータを出力する構成である。そして、本実施の形態では、画像種類判定部１０３が、下記のように、カメラ信号処理部１０２から得られる情報を利用して、画像の特徴として各フレームの画像の動きの大きさを判断する演算処理を行う。
【００３８】
カメラ信号処理部１０２の内部処理は、さまざまな手法が組み合わされる構成となっている。このカメラ信号処理のうちに、ＢＭ（Block Memory）積算値計算という、Ｒ，Ｇｒ，Ｇｂ，Ｂ各色の統計情報を求める処理がある。この処理結果は、得られた統計値情報をパラメータとして、ホワイトバランス値の調整を行ったりするために用いられる。
【００３９】
図５に、ＢＭ積算値の説明図を示す。ＢＭ積算値は、ＲＧＢベイヤー配列において、画像中のすべてのブロック（８０画素×８０画素）内でのＲ，Ｇｒ，Ｇｂ，Ｂ各色それぞれの積算値を求めたものである。例えば、ＶＧＡ（６４０画素×４８０画素）の画像においては、各色ごとに８×６個のＢＭ積算値が算出される。フレーム間でのＢＭ積算値の変化の大きさを算出することで、画像の変化の程度が分かる。画像の変化が大きいほど、被写体の動きが大きいと考えられる。したがって、ＢＭ積算値の変化量は、画像の動き量のパラメータといえる。そして、フレーム間でのＢＭ積算値の変化の大きさを算出することで、被写体が動いているか否かを判別することができる。
【００４０】
そこで、画像種類判定部１０３は、現在のフレームと前のフレームとの間で、画面内のＢＭ積算値の差分絶対値和を計算する。４色すべての差分絶対値和が算出され、それらの合計値が算出される。より詳細には、各色の各ブロックの差分絶対値和が算出され、そして、４色の全ブロックの差分絶対値和の合計値が算出される。この合計値が閾値Ｔと比較されて、動きの有無が判別される。以下にフレーム内に動きがあったことを判定する式を示す。
【数１】
2008015860.tif 000003
【００４１】
上記の式において、合計値が閾値Ｔより大きければ、動きが所定レベル以上であり、被写体が動いていると判定される。合計値が閾値Ｔ以下であれば、被写体が動いていないと判定される。そして、被写体が動いていれば、切替部１０５が画像認識処理部１０４に画像認識を行わせず、画像のみが結果出力部１０６から出力される。被写体が動いていなければ、切替部１０５が画像認識処理部１０４に画像認識を行わせ、画像と共に認識結果が結果出力部１０６から出力される。
【００４２】
以上より、本実施の形態においては、認識対象２０８が大きく動いている画像を避けて、被写体が安定して静止する場合にのみ画像認識処理を行うので、認識が成功する確率が高く、結果として効率良く画像認識を行うことができる。
【００４３】
次に、本実施の形態の応用例および変形例について説明する。
【００４４】
上述の説明では、前出の動き判別式に示されるように、Ｒ，Ｇｒ，Ｇｂ，Ｂの全ての色に関して演算を行っている。しかし、演算を簡略化する場合には、これら４色の中のうちの任意の一部の色が演算されてもよい。例えば、Ｇｒ，Ｇｂだけで、演算が行われてもよい。
【００４５】
また、上記の説明では、画像の特徴として画像の動きが検出され、画像の動きの大きさによって画像認識処理を行うか否かが切り替えられた。別の判断方法として、他の特徴量が算出され、切替判断に用いられてよい。別の特徴は、例えば、画像の明るさである。画像認識においては一定の照明が必要となる。そこで、画像の明るさが算出され、明るさが所定レベル以下であれば、認識処理に失敗する可能性が高いので、認識処理を行わないように切替処理が行われる。この構成でも、ＢＭ積算値が利用されてよい。ＢＭ積算値の平均が所定の閾値より低い場合は、画像が暗いので、認識処理が抑制される。
【００４６】
また、別の判断方法では、画像中の肌色領域の大きさが、画像の特徴として算出されてもよい。この場合、カメラ信号処理の実行時に、画像中の肌色領域が検出される。肌色の面積が一定以上ない場合には、撮影範囲に人の顔が無いために認識に失敗する可能性が高い。そこで、肌色領域の大きさが所定の閾肌色サイズ以下のときに認識処理の実行を制限するように切替制御が行われる。
【００４７】
上記の複数種類の特徴が一緒に用いられてもよい。すなわち、画像の動き、明るさ、肌色領域サイズのうちの２つまたは３つのパラメータを用いて、認識処理を行うか否かが切り替えられてよい。例えば、画像の動きと明るさが用いられ、動きが所定レベル以上であり、かつ、明るさも所定レベル以上のときに、認識処理が行われる。また例えば、画像の動き、明るさおよび肌色領域サイズが用いられ、動きが所定レベル以上であり、かつ、明るさも所定レベル以上であり、かつ、肌色領域のサイズも所定レベル以上のときに、認識処理が行われる。
【００４８】
上記の画像の動き、明るさおよび肌色領域サイズは、認識対象に応じた認識容易性に関する特徴といえる。さらに、本発明の範囲内で、１以上の他の特徴が用いられてよい。１以上の他の特徴が、上記の１以上の特徴と組み合わされてもよい。
【００４９】
また、画像の特徴に基づき認識処理を行わない切替動作が選択されたときに、認識が容易な画像を取得するための処理が行われてよい。例えば、画像の動きが大きい場合に、被写体に停止を指示するメッセージが、音声などのかたちで出力されてよい。また例えば、画像が暗い場合に、画像を明るくするようにカメラ信号処理が制御されてもよい。あるいは、画像を明るくするように照明装置が制御されてもよい。
【００５０】
また、上記の説明では、画像の特徴をフレームごとに算出して、処理の切り替えもフレームごとに行っている。しかし、フレームの内の一部のブロックで画像種類判定を行って、画像認識の処理を行うか否かを切り替えても良い。
【００５１】
また、上記の説明に加えて、画像種類判定１０３で算出された情報を画像認識処理１０４に用いることで認識処理を有利に行うことも可能である。
【００５２】
以上に本発明の第１の実施の形態に係る画像認識カメラについて説明した。本実施の形態によれば、画像認識カメラは、カメラ信号処理中に画像の特徴を表す統計情報を算出して、画像の特徴を判別し、画像の特徴に応じて認識処理を実行するか否かを切り替える。これにより、カメラ信号処理と画像認識処理が連携し、認識が難しい画像の認識処理を無理に実行して結果的に認識に失敗するのを避けることができ、効率良い画像認識処理を行うことができる。システムの負担を低減しつつ、確実な認識結果を得られ、演算パフォーマンスの向上が期待できる。しかも、画像の特徴に応じて認識処理を実行するか否かを切り替えるので、認識のアルゴリズム自体を特に高度化する必要はない。したがって、複雑な認識アルゴリズムを要することなく、良好な認識結果を得られる画像認識カメラを提供することができる。
【００５３】
また、本実施の形態によれば、画像の特徴としてフレーム間の動きが算出され、フレーム間の動きが所定の閾動きレベル以上のときに認識処理の実行が制限される。これにより、画像の動きが大きいために認識処理が困難な画像が入力されたときの無理な認識処理の実行を回避できる。
【００５４】
また、本実施の形態によれば、画像の特徴として明るさが算出され、フレームの明るさが所定の閾明るさレベル以下のときに認識処理の実行が制限される。これにより、画像が暗いために認識処理が困難な画像が入力されたときの無理な認識処理の実行を回避できる。
【００５５】
また、本実施の形態によれば、画像の特徴として肌色領域の大きさが算出され、肌色領域の大きさが所定の閾肌色サイズ以下のときに認識処理の実行が制限される。これにより、人物の顔認識等において、画像中での認識対象の領域のサイズが小さいために認識処理が困難な画像が入力されたときの無理な認識処理の実行を回避できる。
【００５６】
本実施の形態によれば、例えば、カメラ信号処理、画像認識処理、画像種類判定部および切替部といった処理を１チッププログラマブルＤＳＰなどにソフトウェアで実装して、カメラシステムの部品数を減らしてコストダウンを図るなどの応用も可能であり、これにより、安価で高性能な画像認識カメラを提供できる。
【００５７】
（第２の実施の形態）
次に、本発明の第２の実施の形態に係る画像認識カメラについて説明する。以下、第１の実施の形態と重複する事項の説明を省略する。
【００５８】
図５は、本実施の形態の画像認識カメラを示している。図示のように、第１の実施の形態と異なり、第２の実施の形態の画像認識カメラは、切替可能な２つの画像認識処理部１０４ａ、１０４ｂを有している。これら２つの画像認識処理部１０４ａ、１０４ｂでは、認識対象が異なっている。切替部１０５は、画像認識を行うか、一方の画像認識処理部１０４ａで画像認識を行うか、もう一つの画像認識処理部１０４ｂで画像認識を行うかを選択し、切替制御を行うように構成されている。この際、切替部１０５は、画像種類判定部１０３で判別された画像の特徴に応じて、画像認識を行うか否かを選択し、画像認識を行う場合には、画像の特徴に合った画像認識処理部１０４ａまたは画像認識処理部１０４ｂを選択する。
【００５９】
図６は、図２と同様に、本実施の形態の画像認識カメラのハードウエア的な観点で示す図である。図６において、プログラムメモリ２１５は、２つの画像認識処理プログラム２１５ａ、２１５ｂを格納している。これら画像認識処理プログラム２１５ａ、２１５ｂが、図５の画像認識処理部１０４ａ、１０４ｂにそれぞれ対応している。演算部２０３は、画像認識処理プログラム２１５ａ、２１５ｂを実行することで、画像認識処理部１０４ａ、１０４ｂとして機能する。演算部２０３は、画像認識処理プログラム２１５ａ、２１５ｂの一つを実行するか、あるいはどちらのプログラムも実行しないか、を画像の特徴に応じて切り替える。
【００６０】
図５に戻り、本実施の形態における画像種類判定と切替処理について、より詳細に説明する。本実施の形態では、画像種類判定部１０３は、上述の第１の実施の形態と同様に認識容易性に関する画像の特徴を算出する（上記の例では、画像の動きが算出された）。さらに、画像種類判定部１０３は、画像認識処理部１０４ａ、１０４ｂの選択に用いるべく、認識対象を判別するための特徴量を算出する。ここでは、認識容易性に関する特徴量を容易性特徴量と呼び、認識対象を判別するための特徴量を対象判別用特徴量と呼ぶ。切替部１０５は、容易性特徴量に基づき、認識が困難な場合に、画像認識を行わないように切替制御を行う。切替部１０５は、容易性特徴量に基づく判定で認識が容易な場合、対象判別用特徴量に基づき、認識対象に合った方の画像認識処理部１０４ａまたは画像認識処理部１０４ｂに認識処理を行わせる。
【００６１】
次に、２つの画像認識処理部１０４ａ、１０４ｂの認識対象と、切替の判断に用いる画像特徴の好適な例を説明する。この例では、画像認識処理部１０４ａの認識対象が第１の実施の形態と同様に人物の顔であり、一方、画像認識処理部１０４ｂの認識対象は文字である。画像認識処理部１０４ａは、例えば、第１の実施の形態と同様、予め記憶された人物画像を撮影画像と比較する処理を行ったり、予め記憶された人物特徴情報を用いた画像処理（例えば記憶された人物特徴情報と撮影画像から抽出された特徴情報を比較する処理）を行って、認識対象物２０８が所定の人物であることを認識する。画像認識処理部１０４ｂは、文字認識機能を提供するプログラムを演算装置が実行することによって実現される。
【００６２】
画像種類判定部１０３は、画像の特徴として、第１の実施の形態と同様に画像の動きを算出する。これは上記の容易性特徴量に相当する。さらに、画像種類判定部１０３は、被写体が人物の顔であるか否かを判別する画像の特徴量として、肌色領域の大きさを算出する。また、画像種類判定部１０３は、被写体が文字であるか否かを判別するための画像の特徴量として、エッジの細かさのパラメータを算出する。これらの肌色領域の大きさとエッジの細かさが、上記の対象判別用特徴量に相当する。
【００６３】
切替部１０５は、画像の動きが所定レベル以上であれば、どちらの画像認識処理部１０４ａ、１０４ｂも認識処理を行わせないように動作する。画像の動きが所定レベル以上であれば、切替部１０５は、肌色領域の大きさとエッジの細かさに応じて、認識対象に合った画像認識処理部１０４ａまたは画像認識処理部１０４ｂを選択し、画像認識を行わせる。すなわち、切替部１０５は、肌色領域の大きさが所定レベル以上であれば、画像認識処理部１０４ａに画像認識を行わせ、エッジの細かさが所定レベル以上であれば、画像認識処理部１０４ｂに画像認識を行わせる。
【００６４】
肌色領域の大きさが所定レベルに達しておらず、エッジの細かさも所定のレベルに達しない場合、認識対象を判断できない。この場合、切替部１０５は、どちらの画像認識処理部１０４ａ、１０４ｂにも画像認識を行わせなくてよい。
【００６５】
また、肌色領域の大きさが所定レベル以上であり、かつ、エッジの細かさも所定のレベル以上の場合もあり得る。この場合も、切替部１０５は、どちらの画像認識処理部１０４ａ、１０４ｂにも画像認識を行わせなくてよい。あるいは、切替部１０５は、両方の画像認識処理部１０４ａ、１０４ｂに画像認識を行わせてもよい。
【００６６】
なお、画像認識処理部の種類は上記の例に限定されず、別の認識対象が認識されてもよい。また、切替判断に用いる画像の特徴も、上記の例に限定されず、認識対象等に応じて適当な特徴量が用いられてよい。上述の第１の実施の形態で説明した画像の動き、明るさおよび肌色領域サイズや、さらにその他の特徴が、認識処理を実行するか否かの判断のため、あるいは、認識処理を選択するために、単独であるいは組み合わせて用いられてよい。
【００６７】
また、上記の例では、２つの画像認識処理部１０４ａ、１０４ｂ（画像認識処理プログラム２１５ａ、２１５ｂ）が設けられたが、３つ以上の画像認識処理部（画像認識処理プログラム）が切替対象として設けられてよいことはもちろんである。３つ以上の画像認識処理部（画像認識処理プログラム）から、画像の特徴に最も適したものが選択されて実行されてよい。
【００６８】
また、上記実施の形態の変形例として、複数の画像認識処理のいずれかは常に行うように画像認識カメラが構成されてよい。すなわち、画像処理を抑制する切替制御が廃止される。例えば、図５の例では、画像認識処理部１０４ａ、１０４ｂの片方で必ず画像認識が行われてよい。図６の例では、画像認識処理プログラム２１５ａ、２１５ｂのどちらかが必ず各フレームの画像に対して実行されてよい。
【００６９】
以上に本発明の第２の実施の形態に係る画像認識カメラについて説明した。本実施の形態によれば、複数の画像認識処理部が設けられる。そして、画像種類判定部で判別された画像の特徴に応じた画像認識処理部が選択されて認識処理が実行される。これにより、カメラ信号処理と画像認識処理が連携し、複数の画像認識処理の中から画像の特徴に合った画像認識処理を選択して実行できる。複数の画像認識処理部から適当なものを選択すればよいので、各々の画像認識処理部の認識アルゴリズムを高度化しなくても、認識精度を向上できる。こうして、複雑な認識アルゴリズムを要することなく、良好な認識結果を得ることができる。
【００７０】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００７１】
以上のように、本発明にかかる画像認識カメラは、画像認識性能を向上できるという効果を有し、例えば認証用の画像認識カメラ等として有用である。
【図面の簡単な説明】
【００７２】
【図１】本発明の第１の実施の形態における画像認識カメラのブロック図
【図２】本発明の第１の実施の形態における画像認識カメラをハードウエア的な観点で示すブロック図
【図３】入力原画像のＲＧＢベイヤー配列を説明する図
【図４】ＢＭ積算値の算出処理を説明する図
【図５】本発明の第２の実施の形態における画像認識カメラのブロック図
【図６】本発明の第２の実施の形態における画像認識カメラをハードウエア的な観点で示すブロック図
【符号の説明】
【００７３】
１０１  撮像素子
１０２  カメラ信号処理部
１０３  画像種類判定部
１０４  画像認識処理部
１０５  切替部
１０６  結果出力部
２０１  レンズ
２０２  撮像素子
２０３  演算部
２０４  データメモリ
２０５  プログラムメモリ
２０６  制御ＩＦ部
２０７  出力部
２０８  認識対象物
２１１  入力原画像
２１２  カメラ信号処理済画像
２１３  認識結果
２１４  カメラ信号処理プログラム
２１５  画像認識処理プログラム
【図１】
2008015860.tif 000004
【図２】
2008015860.tif 000005
【図３】
2008015860.tif 000006
【図４】
2008015860.tif 000007
【図５】
2008015860.tif 000008
【図６】
2008015860.tif 000009