(57)【要約】ビデオカメラ１１では、撮像画像の一部の信号を取得し局所領域（セル）の輝度の勾配方向及び勾配強度を含む特徴量を演算し、所定の対象物を撮像して得られた輝度の勾配方向及び勾配強度を含む定型特徴量と演算して得られたセルの特徴量とのマッチングを行い所定の対象物が撮像画像に検出されるか否かを判定する。そして、ビデオカメラ１１は、所定の対象物が撮像画像に入ったと判定されたときに撮像画像の記録を開始する。
2018070032.tif 000002
【特許請求の範囲】
【請求項１】
撮像部が撮像した撮像画像の一部の信号を取得し局所領域の輝度の勾配方向及び勾配強度を含む特徴量を演算する演算部と、
所定の対象物を撮像して得られた輝度の勾配方向及び勾配強度を含む定型特徴量と前記演算した局所領域の特徴量とのマッチングを行い前記所定の対象物が前記撮像画像に検出されるか否かを判定する判定部と、
前記判定部により前記所定の対象物が前記撮像画像に入ったと判定されたときに前記撮像画像の記録を開始する制御部と、
を備えた画像処理装置。
【請求項２】
前記制御部は、前記判定部により前記所定の対象物が前記撮像画像から外れたときに前記撮像画像の記録を停止する、請求項１に記載の画像処理装置。
【請求項３】
前記演算部は、複数の方向に分割した勾配方向別のヒストグラムを作成し勾配強度の強い方向を代表値とする前記局所領域の前記特徴量としてのバイナリーコードを生成する演算回路であり、
前記判定部は、バイナリーコード化された定型特徴量を用いて前記マッチングを行う判定回路である、請求項１又は２に記載の画像処理装置。
【請求項４】
前記判定部は、前記局所領域の定型特徴量として局所領域の第１特徴量と該局所領域に対して所定量ずらした位置の第２特徴量とを少なくとも含むバイナリーコードを用いて前記マッチングを行う、請求項３に記載の画像処理装置。
【請求項５】
前記判定部は、前記対象物が撮像画像に入ってから１フレーム以内に前記所定の対象物を検出する、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記判定部は、複数のレジスタを有し、前記演算した局所領域の特徴量を該レジスタの各々に格納し該格納した特徴量を局所領域毎にシフトレジスタ動作させて前記マッチングを行う、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記演算部は、複数あり、複数の画素に対して並列化して前記特徴量を演算する、請求項１〜６のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来、画像処理装置としては、例えば、画像認識結果に基づいて特定パターンの画像が特定の順序で検出されるタイミングを基準にしてメモリへの撮像結果の高速度の書き込みを終了し、このメモリに書き込んだ撮像結果を記録媒体に記録するものが提案されている（例えば、特許文献１参照）。この装置では、記録手段を一体化したビデオカメラに適用して所望するシーンを確実にスローモーション撮影することができるとしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４１２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この特許文献１に記載された装置では、例えば、パターンマッチング、学習機能（Ａｄａ−Ｂｏｏｓｔ）、画像差分テーブルなどを用い、画像に含まれる一領域である検出領域中の特定のパターンを対象物として検出するものであり、より高速に対象物を検出することが望まれていた。【０００５】
本発明は、このような課題に鑑みなされたものであり、高速で移動する対象物をより確実に撮像することができる画像処理装置を提供することを主目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の主目的を達成するために以下の手段を採った。【０００７】
本明細書で開示する画像処理装置は、
撮像部が撮像した撮像画像の一部の信号を取得し局所領域の輝度の勾配方向及び勾配強度を含む特徴量を演算する演算部と、
所定の対象物を撮像して得られた輝度の勾配方向及び勾配強度を含む定型特徴量と前記演算した局所領域の特徴量とのマッチングを行い前記所定の対象物が前記撮像画像に検出されるか否かを判定する判定部と、
前記判定部により前記所定の対象物が前記撮像画像に入ったと判定されたときに前記撮像画像の記録を開始する制御部と、
を備えたものである。【０００８】
この装置では、撮像画像の一部の信号を取得し局所領域の輝度の勾配方向及び勾配強度を含む特徴量を演算し、所定の対象物を撮像して得られた輝度の勾配方向及び勾配強度を含む定型特徴量と演算して得られた局所領域の特徴量とのマッチングを行い所定の対象物が撮像画像に検出されるか否かを判定する。そして、この装置は、所定の対象物が撮像画像に入ったと判定されたときに撮像画像の記録を開始する。この装置では、輝度の勾配方向及び勾配強度という大まかな単位で特徴量を演算し、局所領域の特徴量のマッチングによって所定の対象物をより高速に検出可能であるため、例えば高速で移動する対象物をより確実に撮像することができる。例えば、高速に移動する対象物を１フレーム以内に確実に認識し、撮像、記録の開始、停止を制御することができる。
【図面の簡単な説明】
【０００９】
【図１】カメラシステム１０の一例を表す概略説明図。
【図２】撮像部１２、画像処理ユニット２０及び録画装置４１のブロック図。
【図３】画像マッチング処理の一例を表す説明図。
【図４】テンプレートの一例を表す説明図。
【図５】動画自動撮影処理ルーチンの一例を示すフローチャート。
【図６】画像マッチング処理ルーチンの一例を示すフローチャート。
【図７】画像入力、マッチング処理及び記録制御信号のタイミングチャート。
【図８】従来の画像入力、マッチング処理及び記録制御信号のタイミングチャート。
【発明を実施するための形態】
【００１０】
本発明の実施形態を図面を参照しながら以下に説明する。図１は、本発明の一例であるカメラシステム１０の一例を表す概略説明図である。カメラシステム１０は、ビデオカメラ１１と、コンピュータ（ＰＣ）４０と、録画装置４１とを備えている。ビデオカメラ１１は、動画や静止画など画像を撮像する装置である。コンピュータ４０は、ビデオカメラ１１で撮像した画像データを取り込み、ディスプレイなどに表示するものである。録画装置４１は、ビデオカメラ１１で撮像した画像データを記録するものである。
【００１１】
ビデオカメラ１１は、撮像部１２と、制御ユニット１４と、タイミング制御部１６と、画像処理ユニット２０とを備えている。ビデオカメラ１１は、例えば、最大で１０００ｆｐｓ（１フレームの周期が１ｍｓ）で撮像可能な、ハイフレームレートカメラとして構成されている。撮像部１２は、撮像素子１３を備えている。撮像素子１３は、受光により電荷を発生させ発生した電荷を出力する素子である。撮像素子１３は、例えば、ＣＭＯＳイメージセンサとしてもよい。制御ユニット１４は、装置全体を制御するものであり、ＣＰＵ１５を備えている。このビデオカメラ１１は、予め登録された対象物が撮像範囲に入ると動画撮影を開始し、対象物が撮像範囲から外れるか最大記録時間を経過するかのいずれかで動画撮影を終了する自動動画撮影モードを実行する。制御ユニット１４は、詳しくは後述するが、画像処理ユニット２０により所定の対象物が撮像画像に入ったと判定されたときに撮像画像の記憶継続を開始（録画を開始）する処理を行う。また、制御ユニット１４は、画像処理ユニット２０により所定の対象物が撮像画像から外れたときに撮像画像の継続記憶を停止（録画を停止）する処理を行う。タイミング制御部１６は、画像処理ユニット２０の動作に用いる各種クロックを生成する。
【００１２】
図２は、撮像部１２、画像処理ユニット２０及び録画装置４１のブロック図である。このビデオカメラ１１において、画像処理ユニット２０は、撮像部１２から入力した画像信号に対して対象物のマッチング処理を行う。図３は、撮像画像５０の画像マッチング処理の一例を表す説明図であり、図３（ａ）がセル５１及び画素５２の特徴量の説明図、図３（ｂ）がバイナリコード化の説明図、図３（ｃ）がマッチング処理の説明図である。このマッチング処理については、詳しくは後述する。画像処理ユニット２０は、対象物の有無に応じて録画装置４１に対して記録制御信号（Rec Trigger＝ON又はOFF）を出力する。録画装置４１は、この記録制御信号を入力すると撮像部１２から出力された画像信号の記録開始、停止を行う。
【００１３】
画像処理ユニット２０は、特徴量演算部２１と、画像判定部３０とを備えている。特徴量演算部２１は、撮像部１２が撮像した撮像画像の一部の信号を取得し局所領域（セル）の輝度の勾配方向及び勾配強度を含む特徴量を演算するものである。セル５１は、図３（ａ）に示すように、画像を所定数の画素（例えば、７×７や３×３など）で区切った領域をいう。特徴量演算部２１は、撮像部１２からの信号を入力すると同時に、以下に説明する処理を実行する。この特徴量演算部２１は、関数演算部２２、勾配強度演算部２３、勾配方向演算部２４、ヒストグラム発生部２５、ヒストグラムＲＡＭ２６、ソート部２７及びバイナリーコード変換部２８を備えている。関数演算部２２は、勾配方向及び勾配強度を含む特徴量の関数Ｇｘ及びＧｙを演算する回路である。これらの関数Ｇｘ、Ｇｙは、輝度値を用いて、例えば、式（１）、（２）により求められる。勾配強度演算部２３は、特徴量の関数Ｇｘ，Ｇｙを用いて、輝度の勾配強度を演算する回路である。この勾配強度は、式（３）により求められる。勾配方向演算部２４は、特徴量の関数Ｇｘ，Ｇｙを用いて、輝度の勾配方向を演算する回路である。この勾配強度は、式（４）により求められる。勾配方向演算部２４は、角度ごとに分割した勾配方向を出力する。この勾配方向演算部２４では、１８０°を８つのＢＩＮに分割した勾配方向を出力する。関数演算部２２や勾配強度演算部２３、勾配方向演算部２４は、複数の画素を同時処理することができるように複数の回路をそれぞれ有している。例えば、関数演算部２２は、８つの演算回路を有し、８ピクセルを同時処理可能である。勾配強度演算部２３や勾配方向演算部２４も関数演算部２２と同様である。
【００１４】
【数１】
2018070032.tif 000003
【００１５】
ヒストグラム発生部２５は、勾配方向と勾配強度との関係を表す各セルのヒストグラムを生成する回路である。このヒストグラム発生部２５は、例えば、８つの回路を有し、８セルを並行して処理可能である。ヒストグラムＲＡＭ２６は、生成したヒストグラムを記憶する回路であり、例えば、読み取りデータ出力端子と書き込みデータ出力端子の両方をもつデュアルポートＲＡＭ（ＤＰＲＡＭ）であるものとしてもよい。ソート部２７は、勾配強度の高い順にセルのヒストグラムをソートする回路である。バイナリーコード変換部２８は、セルのヒストグラムで最も勾配強度が高い角度をそのセルのＨＯＧ（Histograms of Oriented Gradients）特徴量としてバイナリーコードを生成する演算回路である。特徴量のバイナリーコードは、１８０°を８つに分割しそれぞれの角度範囲を０〜７とし、それに応じた８桁のコードで規定されている（図３（ｂ）参照）。特徴量演算部２１は、それぞれ複数の回路により構成され、複数の画素及びセルに対して並列化して特徴量を演算することができる。
【００１６】
画像判定部３０は、所定の対象物を撮像して得られた輝度の勾配方向及び勾配強度を含む定型特徴量と、演算した局所領域（セル）の特徴量とのマッチングを行い所定の対象物が撮像画像に検出されるか否かを判定するものである。画像判定部３０は、バイナリーコード化された定型特徴量（テンプレート）を用いて入力画像の特徴量とのマッチング処理を行う判定回路である。この画像判定部３０は、バイナリコードレジスタ３１、バイナリーコードＲＡＭ３２、レジスタ３３、バイナリーコードレジスタ３４、バイナリーコードＲＡＭ３５、マッチング判定部３６、マッチングレートＲＡＭ３７及びソート部３８を備えている。バイナリコードレジスタ３１、バイナリーコードＲＡＭ３２及びレジスタ３３は、入力画像の特徴量（バイナリーコード）を記憶する回路である。このバイナリコードレジスタ３１及びバイナリーコードＲＡＭ３２は、それぞれ８つの記憶回路を有している。これらの記憶回路は、１セルライン分まとめてバイナリーコードＲＡＭ３２から読み出してレジスタ３３に格納し、それをシフトレジスタ動作させることによりスライディングウインドウを構成する。
【００１７】
バイナリーコードレジスタ３４及びバイナリーコードＲＡＭ３５は、制御ユニット１４から出力されたテンプレートの特徴量を入力して記憶する記憶回路である。マッチング判定部３６は、対象物の画像から予め求められたテンプレートの特徴量と、入力画像の特徴量とのマッチングを行い、その適合率を計数する回路である（図３（ｃ）参照）。このマッチング判定部３６は、マッチングチェック部３６ａと、マッチング率計数部３６ｂとを備えている。マッチングチェック部３６ａは、テンプレートの特徴量と、入力画像の特徴量とのマッチングを行うものである。マッチング率計数部３６ｂは、テンプレートの特徴量と、入力画像の特徴量との適合率を計数するものである。マッチングレートＲＡＭ３７は、マッチング判定部３６で判定された適合率を記憶する記憶回路である。ソート部３８は、適合率をソートし、そのうち上位の判定結果を制御ユニット１４へ出力する回路である。テンプレートの特徴量と、入力画像の特徴量のマッチングは、１セルずつ画像を移動しながら各位置でマッチングを行うが、画像判定部３０は、複数のレジスタ（バイナリコードレジスタ３１、バイナリーコードＲＡＭ３２及びレジスタ３３）を有し、セルの特徴量の複数をレジスタの各々に格納し、格納した特徴量をセルごとにシフトレジスタ動作させてマッチングを行う。このため、画像判定部３０では、１セルずつ読み出すものに比して高速なマッチング処理を実現することができる。
【００１８】
ここで、テンプレートについて説明する。図４は、テンプレートの一例を表す説明図である。なお、図３、４などでは、理解を容易にするために自動車を用いて説明するが、移動する対象物は、自動車に限られない。このテンプレートは、上述した入力画像と同様に、対象物を撮像した画像を元に求められた基準となるセルの特徴量である。このテンプレートは、例えば、セルの第１特徴量とこのセルに対して所定量ずらした位置の第２特徴量とを少なくとも含むバイナリーコードを用いて生成されているものとしてもよい。このテンプレートは、第１の位置で分割されたセルから求めた第１テンプレートを含む。また、このテンプレートは、第１の位置から負側に所定画素数（例えば（−３，−３））移動した第２位置で分割されたセルから求めた第２テンプレートをも含む。更に、このテンプレートは、第１の位置から正側に所定画素数（例えば（３，３））移動した第３位置で分割されたセルから求めた第３テンプレートをも含む。図４のテンプレートは、第１〜第３テンプレートにおいて８ＢＩＮ中で所定の閾値を超えた上位３つのＢＩＮをバイナリコード化することにより、３種類のヒストグラムから生成された３つのバイナリコードを合成した１つのバイナリーコードとして得られている。画像処理ユニット２０は、このテンプレートにより入力画像の特徴量をマッチングするため、３ポジションを１度にマッチングすることにより、ロバスト性を向上すると共に回路での負担を軽減することができる。また、セルの切り出し点を任意に変更した３つのテンプレートでのマッチングを実現させた目的は、検出率を向上させるためである。カメラを対象物との相対位置の変化による視差によってテンプレートに対して撮像画像が歪んで形状が変化して見えるため、３視点のテンプレートで同時にマッチングを行うことによって視差に対するロバスト性を向上している。
【００１９】
このビデオカメラ１１において、撮像部１２は、２４０ｆｐｓを超えるレート、例えば、最大１０００ｆｐｓで高速撮像可能であるものとしてもよい。このとき、画像処理ユニット２０の画像判定部３０は、対象物が撮像画像に入ってから１フレーム以内、例えば１μｓｅｃ以内に所定の対象物を検出するものとしてもよい。この画像処理ユニット２０は、並列化された回路によりバイナリーコード化したＨＯＧ特徴量を高速に演算し、この特徴量を用い、シフトレジスタを使ったスライディングウインドウを構成することで高速なマッチング処理を行うことができる。このビデオカメラ１１は、例えば、高速で移動する物体を録画するときに利用することができる。対象物は、移動中にその向き（方向）や大きさ（距離）が変化しないものであることが好ましい。このビデオカメラ１１は、例えば、部品を基板に実装する実装装置において、採取された部品を移動しながら撮影するパーツカメラなどに利用することができる。使用者は、撮像した画像を録画装置４１に記憶して保存することや、コンピュータ４０でスローモーション再生することなどを行うことができる。
【００２０】
次に、こうして構成された本実施形態のカメラシステム１０の動作、まず、移動する所定の対象物の動画を自動撮影する処理について説明する。図５は、ビデオカメラ１１が実行する動画自動撮影処理ルーチンの一例を示すフローチャートである。図６は、画像処理ユニット２０が実行する画像マッチング処理ルーチンの一例を示すフローチャートである。動画自動撮影処理ルーチンは、使用者が動画自動撮影処理の実行を入力したあと制御ユニット１４のＣＰＵ１５により実行される。使用者は、自動撮影処理の実行前に、対象物を画像登録し、制御ユニット１４は、その対象物のテンプレートを作成しておくものとする。
【００２１】
このルーチンが開始されると、ＣＰＵ１５は、画像信号を撮像部１２から入力する（ステップＳ１００）。次に、ＣＰＵ１５は、画像のマッチング結果を画像処理ユニット２０から入力し（ステップＳ１１０）、対象物を画像内に検出したか否かを判定する（ステップＳ１２０）。この判定は、例えば、画像のマッチング結果としての適合率が所定の閾値以上（例えば７５％以上など）であるか否かに基づいて行う。対象物を画像内に検出しないときには、ＣＰＵ１５は、ステップＳ１００以降の処理を実行し、対象物を画像内に検出したときには、録画を開始する（ステップＳ１３０）。次に、ＣＰＵ１５は、上記ステップＳ１００〜Ｓ１２０と同様に、画像信号を撮像部１２から入力し（ステップＳ１４０）、画像のマッチング結果を画像処理ユニット２０から入力し（ステップＳ１５０）、対象物を画像内に検出したか否かを判定する（ステップＳ１６０）。対象物を画像内に検出したとき、即ち、画像内に対象物が存在する状態が継続したときには、ＣＰＵ１５は、録画装置４１の記録可能時間を超えたか否かを判定し（ステップＳ１７０）、記録可能時間を超えていないときには、ステップＳ１４０以降の処理を継続して実行する。
【００２２】
一方、ステップＳ１７０で記録可能時間を超えたとき、又は、ステップＳ１６０で対象物を画像内に検出しないとき、即ち画像外へ対象物が移動したときには、ＣＰＵ１５は、そのときを録画終了時刻に設定する（ステップＳ１８０）。続いて、ＣＰＵ１５は、録画を終了し、ステップＳ１００以降の処理を実行する。なお、画像の出力先は、録画装置４１のほか、例えば、ビデオカメラ１１が備える記憶媒体（ＤＶＤやＨＤなど）や、コンピュータ４０などのうちいずれか１以上としてもよい。撮像された動画は、例えば、コンピュータ４０などで再生される。撮像部１２は、例えば、１０００ｆｐｓなどの高画質で撮影するため、高画質な画像でスロー再生などを行うことができる。
【００２３】
次に、画像処理ユニット２０が実行する画像マッチング処理（図３、６）について説明する。このルーチンは、撮像部１２から画像信号を入力されるたびに画像処理ユニット２０で実行される。このルーチンは、画像処理ユニット２０が有する各回路により実行される。このルーチンを開始すると、画像処理ユニット２０の特徴量演算部２１は、画像信号を入力し（ステップＳ２００）、輝度の勾配方向及び勾配強度に関する関数Ｇｘ，Ｇｙを演算し（ステップＳ２１０）、演算結果を用いて各セルの輝度の勾配強度及び勾配方向を演算する（ステップＳ２２０，図３（ａ））。次に、特徴量演算部２１は、１８０°を８つのＢＩＮに分割し（ステップＳ２３０）、セル単位でヒストグラムを生成し、ヒストグラムＲＡＭ２６に記憶させる（ステップＳ２４０）。次に、特徴量演算部２１は、ヒストグラム値をソートし（ステップＳ２５０）、１方向を１ｂｉｔに割り当てたバイナリコードをセルの代表値に対応する値で生成し（図３（ｂ））、画像判定部３０のレジスタ（バイナリコードレジスタ３１、バイナリーコードＲＡＭ３２及びレジスタ３３）に記憶させる（ステップＳ２６０）。これらの処理は、複数の回路を用いて、複数の画素、セルに対して並行して実行される。
【００２４】
続いて、画像判定部３０は、制御ユニット１４からテンプレート画像を入力してバイナリーコードレジスタ３４及びバイナリーコードＲＡＭ３５に記憶させ、テンプレートと入力画像の特徴量のマッチング処理を行う（ステップＳ２７０）。このとき、画像判定部３０は、１ライン分のセルの入力画像の特徴量をシフト移動しながらマッチング処理する。また、画像判定部３０は、バイナリコード化した特徴量でマッチング処理を行うため、ＡＮＤ、ＯＲなどの単純演算が可能であり、高速に判定することができる（図３（ｃ）参照）。そして、画像判定部３０は、適合率をマッチングレートＲＡＭ３７に記憶し（ステップＳ２８０）、適合率をソートし、上位３つの適合率をマッチング結果として制御ユニット１４へ出力し（ステップＳ２９０）、このルーチンを終了する。このような処理を画像信号の入力のたび繰り返し行う。
【００２５】
図７は、画像入力、マッチング処理及び記録制御信号のタイミングチャートである。図８は、従来の画像入力、マッチング処理及び記録制御信号のタイミングチャートである。従来の画像処理ユニットでは、図８に示すように、マッチング処理に数フレームなどの時間がかかり、適切なタイミングで記録開始できなかった。このようなビデオカメラでは、記録開始が遅れるため、それを補間するための大容量フレームメモリーが必要であった。一方、この画像処理ユニット２０では、画像の信号入力と同時に特徴量の算出及びマッチング処理を行うことが可能であり、図７に示すように、撮像部１２による１つの画像伝送の直後にマッチング結果が得られるため、対象物が検出された次のフレームから画像を録画開始することができる。また、この画像処理ユニット２０では、画像中のサーチ対象範囲を画像全体にまで拡大することができ、定速、定方向移動する物体のほか、ランダムに撮像範囲に入る物体やランダム移動する物体などもリアルタイム検出することができる。
【００２６】
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の撮像部１２が撮像部に相当し、特徴量演算部２１が演算部に相当し、画像判定部３０が判定部に相当し、制御ユニット１４が制御部に相当する。
【００２７】
以上説明した本実施形態のカメラシステム１０のビデオカメラ１１では、撮像画像の一部の信号を取得し局所領域（セル）の輝度の勾配方向及び勾配強度を含む特徴量を演算し、所定の対象物を撮像して得られた輝度の勾配方向及び勾配強度を含む定型（テンプレート）特徴量と演算して得られたセルの特徴量とのマッチングを行い所定の対象物が撮像画像に検出されるか否かを判定する。そして、ビデオカメラ１１は、所定の対象物が撮像画像に入ったと判定されたときに撮像画像の記録を開始する。このビデオカメラ１１では、輝度の勾配方向及び勾配強度という大まかな単位で特徴量を演算し、局所領域の特徴量のマッチングにより所定の対象物をより高速に検出可能であるため、高速で移動する対象物をより確実に撮像することができる。一般的に、動画を撮影する装置においては、撮影の開始、終了の入力は使用者が行うが、開始操作から実際に記録されるまでの遅延があり、決定的瞬間を逃してしまうことがある。ビデオカメラ１１では、対象物をいち早く検出して動画の撮像を開始することができる。
【００２８】
また、制御ユニット１４は、画像判定部３０により所定の対象物が撮像画像から外れたときに撮像画像の記録を停止するため、より適切なタイミングで画像撮像の開始及び停止を行うことができる。更に、特徴量演算部２１は、複数の方向に分割した勾配方向別のヒストグラムを作成し、勾配強度の強い方向を代表値とするセルの特徴量としてのバイナリーコードを生成する演算回路である、また画像判定部３０は、バイナリーコード化された定型特徴量を用いてマッチングを行う判定回路である。このビデオカメラ１１では、回路というハードウエアにより各処理を行うため、より高速に対象物を検出することができる。更にまた、画像判定部３０は、セルの定型特徴量としてセルの第１特徴量とこのセルに対して所定量ずらした位置の第２特徴量とを少なくとも含むバイナリーコードを用いてマッチングを行う。この画像判定部３０では、複数の特徴量を含む定形特徴量とのマッチングで対象物を検出するため、例えば、局所領域がずれた場合も含めて一度にマッチングを行うことが可能であり、マッチング率の低下をより低減すると共に、マッチング回数の増加をより低減して処理時間の短縮を図ることができる。また、画像判定部３０では、バイナリーコードでマッチング処理を行うため、ＡＮＤやＯＲなど単純演算が可能であり、より高速な演算処理を実現することができる。
【００２９】
また、撮像部１２は、２４０ｆｐｓを超えるレートで高速撮像可能であり、画像判定部３０は、対象物が撮像画像に入ってから１フレーム以内に所定の対象物を検出する。この画像処理ユニット２０では、より高速に対象物を検出することができるため、対象物を遅延無しにリアルタイム検出することができる。更に、画像判定部３０は、複数のレジスタを有し、演算したセルの特徴量をレジスタの各々に格納し、格納した特徴量をセルごとにシフトレジスタ動作させてマッチングを行う。この画像判定部３０では、データがその回路内を移動（シフト）していくよう構成されているため、その都度、特徴量を読み出しする必要がなく、より高速にマッチング処理を行うことができる。更にまた、特徴量演算部２１は、複数の回路を有し、複数の画素に対して並列化して特徴量を並列的に演算するため、より高速な特徴量の演算を実現することができる。
【００３０】
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
【００３１】
例えば、上述した実施形態では、バイナリーコード化された特徴量を用いるものとしたが、これに限定されず、バイナリーコード以外の特徴量を用いてもよい。
【００３２】
上述した実施形態では、３つのテンプレートから１つのテンプレートを作成するものとして説明したが、特に限定されず、２つのテンプレートから１つのテンプレートを作成してもよいし、４つ以上のテンプレートから１つのテンプレートを作成してもよい。テンプレートは、対象物を検出する高速性を考慮し、適宜作成すればよい。
【００３３】
上述した実施形態では、画像判定部３０は、複数のレジスタを有し、シフトレジスタ動作させてマッチング処理を行うものとしたが、これを省略してもよい。なお、マッチング処理を高速化するには、画像判定部３０は、シフトレジスタ動作させる方が望ましい。
【００３４】
上述した実施形態では、特徴量演算部２１は、複数の回路により並列処理するものとしたが、これを省略してもよい。なお、マッチング処理を高速化するには、特徴量演算部２１は、複数の回路により並列処理する方が望ましい。
【産業上の利用可能性】
【００３５】
本発明は、動画の撮影、再生を行う装置の技術分野に利用可能である。
【符号の説明】
【００３６】
１０  カメラシステム、１１  ビデオカメラ、１２  撮像部、１３  撮像素子、１４  制御ユニット、１５  ＣＰＵ、１６  タイミング制御部、２０  画像処理ユニット、２１  特徴量演算部、２２  関数演算部、２３  勾配強度演算部、２４  勾配方向演算部、２５  ヒストグラム発生部、２６  ヒストグラムＲＡＭ、２７  ソート部、２８  バイナリーコード変換部、３０  画像判定部、３１  バイナリコードレジスタ、３２  バイナリーコードＲＡＭ、３３  レジスタ、３４  バイナリーコードレジスタ、３５  バイナリーコードＲＡＭ、３６  マッチング判定部、３６ａ  マッチングチェック部、３６ｂ  マッチング率計数部、３７  マッチングレートＲＡＭ、３８  ソート部、４０  コンピュータ、４１  録画装置、５０  撮像画像、５１  セル、５２  画素。
【図１】
2018070032.tif 000004
【図２】
2018070032.tif 000005
【図３】
2018070032.tif 000006
【図４】
2018070032.tif 000007
【図５】
2018070032.tif 000008
【図６】
2018070032.tif 000009
【図７】
2018070032.tif 000010
【図８】
2018070032.tif 000011
【国際調査報告】
2018070032.tif 000012
2018070032.tif 000013
2018070032.tif 000014
2018070032.tif 000015