(57)【要約】【課題】静止系に対して運動する被写体のみを検出することができ、ビットレートを上げることが可能で、画質改善を図れる動き検出装置およびその方法を提供する。【解決手段】連続画像の差分画像を生成し任意サイズのブロックに分割し、空間においてペアをなすブロック間の距離を算出した非類似度データに基づいてブロックペア毎にランキングを求める実空間処理回路１１と、埋め込み点をランダムに配置する初期布置設定を行い、埋め込み点の位置ベクトルを規格化する規格化処理、空間内の埋め込み点間の距離を算出する非類似度定量化処理、実空間と埋め込み空間のランキング差に依存して埋め込み空間何の点群を移動する処理を行う点群移動処理と、規格化処理、非類似度定量化処理、点群移動処理を含む一連の処理を指定された回数繰り返し、点群を２つのグループに分離する検出結果抽出処理とを含む埋め込み空間処理部１２とを設ける。【選択図】      図１
2006048292.tif 000002
【特許請求の範囲】
【請求項１】
動画像のおける被写体の動きを検出する動き検出装置であって、
連続画像の差分画像を生成し任意サイズのブロックに分割し、空間においてペアをなすブロック間の距離を算出した非類似度に基づいてブロックペア毎にランキングを求める実空間処理回路と、
上記実空間処理回路による情報に基づいて、埋め込み点をランダムに配置する初期布置設定を行い、埋め込み点の位置ベクトルを規格化する規格化処理、上記空間の埋め込み点間の距離を算出する非類似度定量化処理、実空間と埋め込み空間のランキング差に依存して埋め込み空間内の点群を移動する処理を行う点群移動処理と、上記規格化処理、非類似度定量化処理、点群移動処理を含む一連の処理を指定された回数繰り返し、点群を２つのグループに分離する検出結果抽出処理とを含む埋め込み空間処理部と
を有する動き検出装置。
【請求項２】
上記実空間処理回路は、入力画像データの輝度成分を一時的に格納するための時間調整フレームメモリと、時間調整フレームメモリから差分画像を生成する差分画像生成回路と、差分画像データに基づいて上記埋め込み空間処理部の処理に要する情報を生成するための画像情報算出回路とを有する
請求項１記載の動き検出装置。
【請求項３】
上記画像情報算出回路は、複数のブロックペアの中から任意のペアを識別するためのペア番号を生成するペア番号算出回路と、ペアをなすブロック間の非類似度を算出するペア間非類似度算出回路と、上記ペア間非類似度算出回路から出力される非類似度データをもとにブロックペア毎のランキングを求めるペアランキング算出回路と、を有する
請求項２記載の動き検出装置。
【請求項４】
上記ペア間非類似度算出回路は、ブロックペア間のピクセル間差分を求めるピクセル間差分算出回路と、求めたピクセル間差分の絶対値を求める絶対値処理回路と、求めた絶対値によりピクセル間差分の総和を求めるピクセル間差分合計回路と、を有する
請求項３記載の動き検出装置。
【請求項５】
上記ペアランキング算出回路は、上記実空間処理回路による未ソートの非類似度データを格納する第１メモリと、上記第１メモリに格納された未ソートの非類似度データを並べ替えるソート回路と、上記ソート回路により並べ替えた非類似度データを格納する第２メモリと、上記第１メモリと第２メモリの非類似度の対応関係によりブロックペア毎のランキングを決定するランキング確定回路と、を有する
請求項３記載の動き検出装置。
【請求項６】
上記埋め込み空間処理部における初期布置設定処理においては、指定された大きさの半径の円周上に等しい間隔で点群を配置し初期座標とする
請求項１記載の動き検出装置。
【請求項７】
上記埋め込み空間処理部における規格化処理においては、埋め込み空間内の点群を所定の条件を満足するように点群座標を再構成する
請求項１記載の動き検出装置。
【請求項８】
上記規格化処理においては、点群座標を入力し、重心、原点間距離および総和を算出し、点群座標を再構成する
請求項７記載の動き検出装置。
【請求項９】
上記埋め込み空間処理部における上記非類似度定量化処理においては、埋め込み点群ペア毎の非類似度の算出およびランキング確定処理を行う
請求項１記載の動き検出装置。
【請求項１０】
上記非類似度定量化処理におけるランキング確定処理においては、上記実空間処理回路の内部メモリに格納した非類似度を読み出し、読み出した非類似度と当該非類似度をソートしたものとの対応関係をとることでランキングを確定する
請求項９記載の動き検出装置。
【請求項１１】
上記埋め込み空間処理における点群移動処理においては、確定したランキングは羽番号とともに、上記実空間処理回路内部のメモリに格納し、上記実空間処理回路内部のメモリに格納された情報をもとに埋め込み空間内の点群を移動する処理を行う
請求項１記載の動き検出装置。
【請求項１２】
上記埋め込み空間処理における検出結果抽出処理においては、あらかじめ設定した閾値との比較に動体と背景の２つのグループに分離する
請求項１記載の動き検出装置。
【請求項１３】
検出結果抽出処理においては、動体と背景の２つを分離するための閾値として原点間距離における標準偏差と平均の和を採用し、原点間処理が閾値より大きい場合に動体として判断する
請求項１２記載の動き検出装置。
【請求項１４】
検出結果抽出処理においては、標準偏差には指定された重み係数を乗算する
請求項１３記載の動き検出装置。
【請求項１５】
動画像のおける被写体の動きを検出する動き検出方法であって、
連続画像の差分画像を生成しＮ×Ｍ任意サイズのブロックに分割する第１のステップと、
空間においてペアをなすブロック間の距離を算出する第２のステップと、
求めたブロック間の距離を大きさ順に並べる第３のステップと、
空間にＮ×Ｍ個の埋め込み点をランダムに配置する第４のステップと、
埋め込み点の位置ベクトルを規格化する第５のステップと、
上記空間内の埋め込み点間の距離を算出する第６のステップと、
求めた埋め込み点間の距離を大きさ順に並べる第７のステップと、
同一対象における、求めたブロック間の距離の大きさの順番、並びに、求めた埋め込み点間の距離の大きさの順番の差を求める第８のステップと、
基準となるブロックに対する上記差に基づき、上記空間において上記基準となるブロックを距離算出対象のブロックに対して移動する第９のステップと
を有する動き検出方法。
【請求項１６】
上記第９のステップにおいて、上記差が正である場合には、上記空間において上記基準となるブロックを距離算出対象のブロックに対して差に応じて分だけ近づけるように移動させ、上記差が負である場合には、上記空間において上記基準となるブロックを距離算出対象のブロックに対して差に応じた分だけ遠ざけるように移動させる
請求項１５記載の動き検出方法。
【請求項１７】
上記第９のステップにおいて、上記差の絶対値に所定の係数を乗じた分だけ移動させる
請求項１６記載の動き検出方法。
【請求項１８】
第２のステップにおいて、各ブロックにおける行列状に配列された画像データおよび当該画像データの輝度成分に基づいて上記ブロック間の距離を計算する
請求項１５記載の動き検出方法。
【請求項１９】
布置が収束するまで上記ステップＳＴ３の処理に戻る、
請求項１５記載の動き検出方法。
【請求項２０】
布置が収束するまで上記ステップＳＴ３の処理に戻る、
請求項１６記載の動き検出方法。
【請求項２１】
動画像のおける被写体の動きを検出する動き検出方法をコンピュータに実行させるプログラムであって、
連続画像の差分画像を生成しＮ×Ｍ任意サイズのブロックに分割する第１のステップと、
空間においてペアをなすブロック間の距離を算出する第２のステップと、
求めたブロック間の距離を大きさ順に並べる第３のステップと、
空間にＮ×Ｍ個の埋め込み点をランダムに配置する第４のステップと、
埋め込み点の位置ベクトルを規格化する第５のステップと、
上記空間内の埋め込み点間の距離を算出する第６のステップと、
求めた埋め込み点間の距離を大きさ順に並べる第７のステップと、
同一対象における、求めたブロック間の距離の大きさの順番、並びに、求めた埋め込み点間の距離の大きさの順番の差を求める第８のステップと、
基準となるブロックに対する上記差に基づき、上記空間において上記基準となるブロックを距離算出対象のブロックに対して移動する第９のステップと
を有する動き検出方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のおける被写体の動きを検出する動き検出装置、動き検出方法、およびプログラムに関するものである。
【背景技術】
【０００２】
一般的に、動体検出には背景差分法とよばれるアルゴリズムが適応される。また、動きベクトルの生成には、たとえばリファレンスマッチング法が適応される（たとえば特許文献１参照）
【０００３】
背景差分法は以下のようなアルゴリズムが適応される。
１）動体の存在しない背景画像を設定する。
２）現画像と背景画像との同一位置におけるピクセル間差分を算出する。
３）算出結果に０以外のピクセルが存在した場合、これを動体として認知する。
４）環境系に即した時間経過後、背景画像を更新する。
４）以上の操作を繰り返す。
【０００４】
また、リファレンスマッチング法は以下のようなアルゴリズムである。
１）現フレーム、前フレームの画像を各々重なりを持たない１６×１６画素のマクロブロックに分割する。
２）現フレームの画像の中から任意のマクロブロックを選出する。これをリファレンスブロックという。
３）前フレームの画像の中から任意のマクロブロックを選出する。このマクロブロックを便宜上、ターゲットブロックとよぶことにする。
４）リファレンスブロック、ターゲットブロック、両ブロック内の同じ位置における画素同士の誤差の絶対値を算出しその合計を求める。これを予測誤差という。
５）前フレームの中でこの予測誤差がもっとも小さいブロックを最適予測ブロックとして選出する。これを便宜上フィッティングブロックとよぶことにする。
６）リファレンスブロックを始点、フィッティングブロックを終点として動きベクトルを生成する。
上記アルゴリズムを用いることで、マクロブロック単位の動体検出が可能である。
【特許文献１】特開２００４−１７３０１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、上述した背景差分法においては、背景画像が実時間ΔＴの間、背景画像が変化しない制約の上に成り立つ技術である。
したがって、カメラが回転するような場合に適応できないばかりか、背景に存在する樹木の揺らぎ等も動体として検出してしまうという不利益がある。
このように背景差分法の技術は、適応する環境に強く依存する技術といえる。
【０００６】
また、リファレンスマッチング法は、２つの本質的に異なる運動すなわち「静止系に対して移動する被写体の運動」と「カメラ自体の回転に依存する被写体の運動」とを原理的に区別することができない。
したがって、この２つの運動の差異化を図り、ビットレートを上げるといった画質改善処理ができないという不利益がある。
【０００７】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、静止系に対して運動する被写体のみを検出することができ、２つの運動の差異化を図れビットレートを上げることが可能で、画質改善を図れる動き検出装置およびその方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の第１の観点は、動画像のおける被写体の動きを検出する動き検出装置であって、連続画像の差分画像を生成し任意サイズのブロックに分割し、空間においてペアをなすブロック間の距離を算出した非類似度データに基づいてブロックペア毎にランキングを求める実空間処理回路と、上記実空間処理回路による情報に基づいて、埋め込み点をランダムに配置する初期布置設定を行い、埋め込み点の位置ベクトルを規格化する規格化処理、上記空間の埋め込み点間の距離を算出する非類似度定量化処理、実空間と埋め込み空間のランキング差に依存して埋め込み空間内の点群を移動する処理を行う点群移動処理と、上記規格化処理、非類似度定量化処理、点群移動処理を含む一連の処理を指定された回数繰り返し、点群を２つのグループに分離する検出結果抽出処理とを含む埋め込み空間処理部とを有する。
【０００９】
好適には、上記実空間処理回路は、入力画像データの輝度成分を一時的に格納するための時間調整フレームメモリと、時間調整フレームメモリから差分画像を生成する差分画像生成回路と、差分画像データに基づいて上記埋め込み空間処理部の処理に要する情報を生成するための画像情報算出回路とを有する。
【００１０】
好適には、画像情報算出回路は、複数のブロックペアの中から任意のペアを識別するためのペア番号を生成するペア番号算出回路と、ペアをなすブロック間の非類似度を算出するペア間非類似度算出回路と、上記ペア間非類似度算出回路から出力される非類似度データをもとにブロックペア毎のランキングを求めるペアランキング算出回路と、を有する。
【００１１】
好適には、上記ペア間非類似度算出回路は、ブロックペア間のピクセル間差分を求めるピクセル間差分算出回路と、求めたピクセル間差分の絶対値を求める絶対値処理回路と、求めた絶対値によりピクセル間差分の総和を求めるピクセル間差分合計回路と、を有する。
【００１２】
好適には、上記ペアランキング算出回路は、上記実空間処理回路による未ソートの非類似度データを格納する第１メモリと、上記第１メモリに格納された未ソートの非類似度データを並べ替えるソート回路と、上記ソート回路により並べ替えた非類似度データを格納する第２メモリと、上記第１メモリと第２メモリの非類似度の対応関係によりブロックペア毎のランキングを決定するランキング確定回路と、を有する。
【００１３】
好適には、上記埋め込み空間処理部における初期布置設定処理においては、指定された大きさの半径の円周上に等しい間隔で点群を配置し初期座標とする。
【００１４】
好適には、上記埋め込み空間処理部における規格化処理においては、埋め込み空間内の点群を所定の条件を満足するように点群座標を再構成する。
好適には、上記規格化処理においては、点群座標を入力し、重心、原点間距離および総和を算出し、点群座標を再構成する。
【００１５】
好適には、上記埋め込み空間処理部における上記非類似度定量化処理においては、埋め込み点群ペア毎の非類似度の算出およびランキング確定処理を行う。
【００１６】
好適には、上記非類似度定量化処理におけるランキング確定処理においては、上記実空間処理回路の内部メモリに格納した非類似度を読み出し、読み出した非類似度と当該非類似度をソートしたものとの対応関係をとることでランキングを確定する。
【００１７】
好適には、上記埋め込み空間処理における点群移動処理においては、確定したランキングはペア番号と共に、上記実空間処理回路内部メモリに格納し、上記実空間処理回路内部のメモリに格納された情報をもとに埋め込み空間内の点群を移動する処理を行う
請求項１記載の動き検出装置。
【００１８】
好適には、上記埋め込み空間処理における検出結果抽出処理においては、あらかじめ設定した閾値との比較に動体と背景の２つのグループに分離する。
好適には、検出結果抽出処理においては、動体と背景の２つを分離するための閾値として原点間距離における標準偏差と平均の和を採用し、原点間処理が閾値より大きい場合に動体として判断する。
また、検出結果抽出処理においては、標準偏差には指定された重み係数を乗算する。
【００１９】
本発明の第２の観点は、動画像のおける被写体の動きを検出する動き検出方法であって、連続画像の差分画像を生成しＮ×Ｍ任意サイズのブロックに分割する第１のステップと、空間においてペアをなすブロック間の距離を算出する第２のステップと、求めたブロック間の距離を大きさ順に並べる第３のステップと、空間にＮ×Ｍ個の埋め込み点をランダムに配置する第４のステップと、埋め込み点の位置ベクトルを規格化する第５のステップと、上記空間内の埋め込み点間の距離を算出する第６のステップと、求めた埋め込み点間の距離を大きさ順に並べる第７のステップと、同一対象における、求めたブロック間の距離の大きさの順番、並びに、求めた埋め込み点間の距離の大きさの順番の差を求める第８のステップと、基準となるブロックに対する上記差に基づき、上記空間において上記基準となるブロックを距離算出対象のブロックに対して移動する第９のステップとを有する。
【００２０】
好適には、上記第９のステップにおいて、上記差が正である場合には、上記空間において上記基準となるブロックを距離算出対象のブロックに対して差に応じて分だけ近づけるように移動させ、上記差が負である場合には、上記空間において上記基準となるブロックを距離算出対象のブロックに対して差に応じた分だけ遠ざけるように移動させる。
【００２１】
好適には、上記第９のステップにおいて、上記差の絶対値に所定の係数を乗じた分だけ移動させる。
【００２２】
好適には、第２のステップにおいて、各ブロックにおける行列状に配列された画像データおよび当該画像データの輝度成分に基づいて上記ブロック間の距離を計算する。
【００２３】
好適には、布置が収束するまで上記ステップＳＴ３の処理に戻る。
【００２４】
本発明の第３の観点は、動画像のおける被写体の動きを検出する動き検出方法をコンピュータに実行させるプログラムであって、連続画像の差分画像を生成しＮ×Ｍ任意サイズのブロックに分割する第１のステップと、空間においてペアをなすブロック間の距離を算出する第２のステップと、求めたブロック間の距離を大きさ順に並べる第３のステップと、空間にＮ×Ｍ個の埋め込み点をランダムに配置する第４のステップと、埋め込み点の位置ベクトルを規格化する第５のステップと、上記空間内の埋め込み点間の距離を算出する第６のステップと、求めた埋め込み点間の距離を大きさ順に並べる第７のステップと、同一対象における、求めたブロック間の距離の大きさの順番、並びに、求めた埋め込み点間の距離の大きさの順番の差を求める第８のステップと、基準となるブロックに対する上記差に基づき、上記空間において上記基準となるブロックを距離算出対象のブロックに対して移動する第９のステップとを有する動き検出方法をコンピュータに実行させるためのプログラムである。
【００２５】
本発明によれば、たとえば実空間処理回路において、連続画像の差分画像が生成され、任意サイズのブロックに分割される。そして、実空間においてペアをなすブロック間の距離が算出して非類似度データとされる。求めた非類似度データに基づいてブロックペア毎にランキングが求められる。
そして、埋め込み空間処理部において、実空間処理回路による情報に基づいて以下の処理が行われる。
埋め込み点をランダムに配置する初期布置設定が行われる。そして、埋め込み点の位置ベクトルを規格化する規格化処理が行われる。さらに、空間内の埋め込み点間の距離を算出する非類似度定量化処理が行われ、実空間と埋め込み空間のランキング差に依存して埋め込み空間何の点群を移動する処理を行う点群移動処理が行われる。
これらの規格化処理、非類似度定量化処理、点群移動処理を含む一連の処理を指定された回数繰り返されて、点群を２つのグループに分離する検出結果抽出処理が行われる。
【発明の効果】
【００２６】
本発明によれば、処理速度の向上を図ることができ、また、静止系に対して運動する被写体とカメラ自体の回転によって生じる被写体の運動を識別し、２つの運動の符号化ビット量を差異化することによるビットレートの向上を図ることが可能である。
そして、これまでの技術では困難であった回転カメラからの動体検出が可能となる利点がある。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００２８】
図１は、本発明に係る動き検出装置の一実施形態を示すシステム構成図である。
【００２９】
本動き検出装置１０は、図１に示すように、実空間処理回路１１、埋め込み空間処理部１２、およびＣＰＵ１３の３つの主要部により構成される。
実空間処理回路１１はハードウェアリソースであり、埋め込み空間処理部１２はソフトウェアリソースである。
このような構成を有する動き検出装置１０は、動体検出アルゴリズムをハードウェアとソフトウェアの協調設計により実現する場合の一構成例として示している。
以下に、動体検出アルゴリズムの概要を説明し、その後に、図１の動き検出装置１０の具体的な構成および機能について、順を追って説明する。
【００３０】
本実施形態に係る動き検出アルゴリズムは、非計量多次元尺度構成法(nMDS which is Non Metric Multi Dimensional Scaling)を用いた動き検出アルゴリズムであり、このアルゴリズムをｎＭＤＳ４Ｐｉｃｔとよぶことにする。
【００３１】
動画像における被写体の動きは以下のものに分類される。
(a) カメラ自体の運動のみに依存するもの、
(b) 被写体の運動のみに依存するもの、
(c) a,b の両方に依存するもの、である。
ｎＭＤＳ４Ｐｉｃｔは、これまでの技術では困難であった(b),(c) の被写体の動き、すなわち静止系に対して運動する動体を検出するアルゴリズムである。
したがって、本実施形態に係る動き検出装置１０は、後で詳述するように、フレーム内に静止系に対して運動する複数の被写体がある場合、これら複数の被写体の動体検出が可能である。
【００３２】
＜ｎＭＤＳ４Ｐｉｃｔのアルゴリズム＞
ステップＳＴ１：解析対象である連続画像の差分画像を生成しNxM の任意サイズのブロックに分割する。ただし、(N,M)は任意の整数とする。このブロックをOTU(Operational Taxonomic Unit) と呼ぶことにする。このOTU を(I,J)(I=0,1,2,...N,J=0,1,2,...M)と番号で指定することにする。
【００３３】
ステップＳＴ２：以下の公式を用いて空間org のOTU(I,J)とOTU(I’,J’) とのOTU 間距離を算出する。
【００３４】
【数１】
2006048292.tif 000003
【００３５】
ここで、
(a) (i,j) はOTU(I,J)の中に存在するi 行j 列の画像データを示す。
(b) (i’,j’) はOTU(I’,J’) の中に存在するi 行j 列画像データを示す。
(c) Y(i; j) は(i,j) における画像データの輝度成分を示す。
【００３６】
ステップＳＴ３：δ(I,J) , (I',J') を、以下のように並べる。
【００３７】
【数２】
2006048292.tif 000004
【００３８】
ステップＳＴ４：空間emb にNxM 個の埋め込み点をランダムに配置する。
【００３９】
ＳＴ５）埋め込み点の位置ベクトルｒn を次のように規格化する。
【００４０】
【数３】
2006048292.tif 000005
【００４１】
ステップＳＴ６：以下の公式を用いて空間emb 内の埋め込み点間の距離を算出する。
【００４２】
【数４】
2006048292.tif 000006
【００４３】
ここで、
(a) （ｘ(I,J) , ｙ(I,J) ）は空間org のOTU(I,J)に対応する空間emb 内の埋め込み点の座標を表す。
(b) （ｘ(I',J') , ｙ(I',J') ）は空間org のOTU(I’,J’) に対応する空間emb 内の埋め込み点の座標を表す。
【００４４】
ステップＳＴ７：ｄ(I,J) , (I',J') を、以下のように並べる。
【００４５】
【数５】
2006048292.tif 000007
【００４６】
ステップＳＴ８：δ(I,J) , (I',J') がｋ番目に大きく、ｄ(I,J) , (I',J') がＴｋ番目に大きいとき、この差をＣnn' ＝Ｔｋ−ｋとする。ここで、
(a) ｎ＝（Ｉ，Ｊ）
(b) ｎ’＝（Ｉ’，Ｊ’）
とおいた。
【００４７】
ステップＳＴ９： OTU nに対してＣnn' が正（負）であれば、空間emb においてｎをｎ’に近づけるように（遠ざけるように）、ｓ｜Ｃnn' ｜だけ移動させる。ここでｓは適当な小さな整数である。
【００４８】
ステップ１０：布置が収束するまで上述のステップＳＴ３の処理に戻る。
【００４９】
次に、以上の動体検出アルゴリズムであるｎＭＤＳ４Ｐｉｃｔに基づいて構成した動き検出装置１０のシステム構成について具体的に説明する。
【００５０】
前述したように、動き検出装置１０における３つの主要部のうち、実空間処理回路１１はハードウェアリソース、埋め込み空間処理１２はソフトウェアリソースである。
動き検出装置１０において、入力画像データＩＭＤの輝度成分が実空間処理回路１１に供給されると、ＣＰＵ１３は画像サイズＩＭＳ、画像内における動体検出開始ＭＳＰ、終了位置ＭＥＰおよび単位ＭＢサイズＵＭＢＳを伝達する。
ここで単位ＭＢサイズＵＭＢＳとは画像を小さなブロックに分割する際の一辺のピクセルサイズを示し、単位ＭＢの持つ画像情報を統計解析用語を用いてOTUと呼ぶことにする。
これらのパラメータを設定後、実空間処理回路１１では差分画像を生成しソフトウェア実装に要する画像情報をOTUペア（対）毎に生成し、メモリ内部に格納する。
【００５１】
埋め込み空間処理部１２においては、生成された画像情報ＩＭＩを元にアルゴリズムを実行する。
この結果をＣＰＵ１３が読み出し、さらに後段のシステムへと伝達、様々なアプリケーションに利用する仕組みになっている。
以下に、各々のブロックの具体的な構成および機能について図面に関連付けて説明する。
【００５２】
図２は、本実施形態に係る実空間処理回路の具体的な構成例を示すブロック図である。
実空間処理回路１１は、ハードウェアリソースであり、図２に示すように、入力画像データＩＭＤの輝度成分Ｙを一時的に格納するための時間調整フレームメモリ１１１、時間調整フレームメモリ１１１から差分画像を生成する差分画像生成回路１１２、差分画像生成回路１１２による差分画像を格納する差分画像メモリ１１３、およびソフトウェア実装に要する情報を生成するための画像情報算出回路１１４を有する。
【００５３】
そして、画像情報算出回路１１４は、ペア番号算出回路１１４１、ペア間非類似度算出回路１１４２、ペアランキング算出回路１１４３、およびこれら三つの算出回路１１４１〜１１４３の出力結果を格納する構造体配列メモリ１１４４を有している。
ペア番号算出回路１１４１、ペア間非類似度算出回路１１４２、およびペアランキング算出回路１１４３の処理は上述したｎＭＤＳ４ＰｉｃｔのアルゴリズムにおけるステップＳＴ１からステップＳＴ３までに相当する処理である。
以下、３つの算出回路１１４１〜１１４３に関して説明する。
【００５４】
図３は、本実施形態の画像情報算出回路におけるペア番号算出回路の具体的な構成例を示すブロック図である。
【００５５】
ペア番号算出回路１１４１は、複数のペアの中から任意のペアを識別するためのペア番号を生成する。
ペア番号算出回路１１４１は、図３に示すように、ペア各々のOTU番号を指定するための２つのカウンタ１１４１１，１１４１２と、これらのカウンタ１１４１１，１１４１２の値からペア番号を一意的に決定するためのペア番号特定回路１１４１３を有する。
ここで、OTU番号とは図３にあるように各OTU固有の番号であり、このOTUから任意のペアを形成したときの固有の番号がペア番号ということになる。
【００５６】
図４は、本実施形態の画像情報算出回路におけるペア間非類似度算出回路の具体的な構成例を示すブロック図である。
【００５７】
ペア間非類似度算出回路１１４２は、OTU間の非類似度を算出する。
ペア間非類似度算出回路１１４２は、図４に示すように、OTUペア間（図４ではOTU１とOTU２間）のピクセル間差分を求めるピクセル間差分算出回路１１４２１と、求めたピクセル間差分の絶対値を求める絶対値処理回路１１４２２と、求めた絶対値によりピクセル間差分の総和を求めるピクセル間差分合計回路１１４２３とを有する。
このペア間非類似度算出回路１１４２の非類似度の算出処理は、前述したアルゴリズムのステップＳＴ２に相当する処理であり、図４のように差分画像から生成したOTUペア間のピクセル間差分の総和を求める。これをOTUペア毎に算出し内部メモリに格納する。
ペア間非類似度算出回路１１４２は、求めたピクセル間差分の総和に基づくペア間非類似度をペアランキング算出回路１１４３に出力する。
【００５８】
図５は、本実施形態の画像情報算出回路におけるペアランキング算出回路の具体的な構成例を示すブロック図である。
【００５９】
ペアランキング算出回路１１４３は、ペア間非類似度算出回路１１４２から出力される非類似度データをもとにOTUペア毎のランキングを求める。
ペアランキング算出回路１１４３は、図５に示すように、ソート回路１１４３１、第１メモリ１１４３２、第２メモリ１１４３３、およびランキング確定回路１１４３４を有する。
ペアランキング算出回路１１４３は、第１メモリ１１４３２に格納された未ソートの非類似度データをソート回路１１４３１により並べ替えて第２メモリ１１４３２に格納する。そして、ランキング確定回路１１４３４において、第１メモリ１１４３２と第２メモリ１１４３３の非類似度の対応関係によりOTUペア毎のランキングを決定する。
【００６０】
次に、埋め込み空間処理部１２について説明する。
【００６１】
図６は、本実施形態に係る埋め込み空間処理部の全体の手順を説明するためのフローチャートである。
【００６２】
埋め込み空間処理部１２は、実空間処理回路１１で生成した画像情報ＩＭＩを縮約し特徴抽出する役割をもつ。いまの場合、この特徴に相当するのが動体ということになる。
【００６３】
埋め込み空間処理においては、図６に示すように、ステップＳＴ１１〜ステップＳＴ１７の処理を行う。
具体的には、埋め込み空間処理は、初期布置設定を一度行い（ＳＴ１１）、規格化処理（ＳＴ１４）、非類似度定量化処理（ＳＴ１５）、点群移動処理（ＳＴ１６）からなる一連の処理をＣＰＵ１３から指定された回数繰り返し、最後に動体として検出されたOTU番号をＣＰＵ１３に伝達する検出結果抽出処理（ＳＴ１７）から構成される。
以下に各々の処理に関して説明する。
【００６４】
図７は、埋め込み空間処理における初期布置設定処理を説明するためのフローチャートである。
【００６５】
ステップＳＴ１１における初期布置設定処理においては、図７に示すように、ステップＳＴ１１１〜ＳＴ１１３の処理を行う。
初期布置設定処理においては、ＣＰＵ１３から指定された大きさの半径(radius)の円周上に等しい間隔で点群ＰＯＩＮＴ〔ｉ〕〔０〕を配置し初期座標とする。
この処理は、前述したｎＭＤＳ４Ｐｉｃｔのアルゴリズム上のアルゴリズムにおけるステップＳＴ４：空間emb にNxM 個の埋め込み点をランダムに配置する、処理に相当する。
ここで、NUMBER OF OTU とはOTU総数を表し、画像サイズ、画像内における動体検出開始、終了位置および単位ＭＢサイズから一意的に確定するパラメータである。
【００６６】
図８、埋め込み空間処理における規格化処理を説明するためのフローチャートである。
【００６７】
ステップＳＴ１４の規格化処理においては、図８に示すように、ステップＳＴ１４１〜ＳＴ１４４の処理を行う。
規格化処理においては、埋め込み空間内の点群を上述したｎＭＤＳ４ＰｉｃｔのアルゴリズムのステップＳＴ５において参照した式（３）を満たすように点群座標を再構成する。
規格化処理においては、図８に示すように、点群座標ＰＯＩＮＴ〔〕〔〕を入力し、重心Ｇ、原点間距離および総和ＳＵＭを算出し、点群座標を再代入する。
【００６８】
図９、埋め込み空間処理における非類似度算出処理を説明するためのフローチャートである。
ステップＳＴ１５における非類似度定量化処理においては、図９に示すように、ステップＳＴ１５１〜ＳＴ１５５の処理を行う。
ステップＳＴ１５３の非類似度定量化処理は、図９に示すように、埋め込み点群ペア毎の非類似度の算出およびランキング確定処理を行う。
ここでPAIR NUM MAXは上述したNUMBER OF OTU から一意的に算出できるパラメータである。非類似度は前述したｎＭＤＳ４ＰｉｃｔのアルゴリズムのステップＳＴ６の公式（４）を用いて定量化する。
ステップＳＴ１５５のペアランキング確定処理は、実空間処理回路１１の内部メモリに格納した非類似度を読み出し、読み出した非類似度とこれをソートしたものとの対応関係をとることでランキングを確定する。確定したランキングはペア番号と一緒に実空間処理回路内部メモリに格納する。
【００６９】
図１０、埋め込み空間処理における点群移動処理を説明するためのフローチャートである。
ステップＳＴ１６における点群移動処理においては、図１０に示すように、ステップＳＴ１６１〜ＳＴ１６７の処理を行う。
点群移動処理は、実空間処理回路内部のメモリに格納された情報をもとに埋め込み空間内の点群を移動する処理を行う。この処理は、前述したｎＭＤＳ４ＰｉｃｔのアルゴリズムにおけるステップＳＴ８，ＳＴ９の処理に相当する。
点群移動処理においては、図１０に示すように、実空間と埋め込み空間のランキングの差に依存して埋め込み空間内の点群を移動する処理を行う。
【００７０】
次に、埋め込み空間処理における検出結果抽出処理を図１１および図１２に関連付けて説明する。
図１１は、埋め込み点群を示す図であり、図中、△印が動体を、○印が背景を示している。
図１２、埋め込み空間処理における検出結果抽出処理を説明するためのフローチャートである。
ステップＳＴ１７における検出結果抽出処理においては、図１２に示すように、ステップＳＴ１７１〜ＳＴ１７４の処理を行う。
【００７１】
検出結果抽出処理においては、規格化処理、非類似度算出処理、点群移動処理の一連の処理をＣＰＵ１３から指定された回数繰り返すことにより、点群は図１１に示すように、２つのグループに分離される。
一方のグループは原点付近に布置され、もう一方のグループは原点から十分に離れた位置に布置される。
前者のグループは背景としての情報を有するOTUであり、後者のグループは動体としての情報を有するOTUである。
検出結果抽出処理ではこの２つのグループを分離するための閾値を決定し、検出結果をＣＰＵ１３に伝達する処理を行う。
【００７２】
検出結果抽出処理においては、図１２のステップＳＴ１７１に示すように、動体と背景の２つを分離するための閾値ＴＨＯＬＤとして原点間距離における標準偏差ＳＴＤＥＶと平均ＡＶＧの和を採用する。
このとき標準偏差ＳＴＤＥＶにはＣＰＵ１３が指定する重み(LEV) を乗算しておく。これにより検出率の変更が可能になる。
ステップＳＴ１７１の閾値ＴＨＯＬＤの計算において各点の原点間距離を算出することになるが、この算出結果をメモリに一時格納し閾値との比較時に使用する。
ステップＳＴ１７３に示すように、原点間距離がこの閾値ＴＨＯＬＤより大きい場合には動体として判断され、結果はＣＰＵ１３に伝達される。
【００７３】
以下に、動き検出装置１０の具体的な実施例について説明する。
はじめに、ｎＭＤＳ４Ｐｉｃｔのアルゴリズムを実際に動画像に適応した場合の実装結果を示す。
【００７４】
図１３（Ａ）〜（Ｆ）は、イルカがジャンプし、その後着水する場面をカメラを回転させることで捉えた動画像の一部を示す図である。
図１４（Ａ）〜（Ｃ）は、図１３（Ｅ），（Ｆ）のFrame5,Frame6 に対してｎＭＤＳ４Ｐｉｃｔを実装した結果を示す図である。
図１４（Ａ）においてemb point は埋め込み空間処理によって得られた点群座標である。
一方、図１４（Ｂ）においてemb point 3dはX 軸、Y 軸に単位MB位置、Z 軸方向にその単位MB位置における埋め込み点群の原点間距離を示したグラフである。
また、図１４（Ｃ）においてdetect result は検出結果抽出処理による最終的な動体検出結果を表している。
【００７５】
図１５（Ａ），（Ｂ）は、動体検出結果と図１３（Ｅ），（Ｆ）のFrame5,Frame6 の元画像との対応関係をとった図である。
水中のイルカ、水しぶき、イルカに餌を与える人物、観客席の少年等の静止系に対して運動する被写体を検出している様子が見て取れる。
これに対して、静止系に対して固定されているが、カメラの回転によって生じる被写体の運動は検出結果から除外されているのが見て取れる。
【００７６】
＜実施例１＞
ｎＭＤＳ４Ｐｉｃｔを動き補償予測における前処理に適応する場合に関して説明する。
動き補償予測とは被写体が動いた方向と距離を表す動き位置情報（動きベクトル）を調べ、この動き位置情報で表される位置の画素値を予測信号とする圧縮方法であり、動画像フォーマットであるＭＰＥＧの基幹技術といえる。
【００７７】
先に述べたように動画像における動きには２種類ある。一つはカメラ自体の運動に依存する被写体の運動、もうひとつは静止系に対して実際に移動する被写体の運動である。
【００７８】
ここで、図１６に関連付けて、前者の運動に起因する動きベクトルは同一であることに着目する。
するとこの運動に属する任意の単体ブロックに対して動きベクトルを生成し、他のブロックに対してはこれと同一の動きベクトルを供給することでカメラ自体の運動に起因するすべての動きベクトルの算出が可能になることがわかる。
【００７９】
既存のブロックマッチング法のみによる動きベクトルの生成方法の場合、原理的に上の２つの運動を区別できないため、動きベクトルが明らかに等しいマクロブロックに対しても動き補償範囲内におけるリファレンスマッチングを行わなければならず、処理速度低下の原因になっている。
以上の考察より、ｎＭＤＳ４Ｐｉｃｔを前処理として作用させることで、動きベクトル算出における処理速度および予測精度が向上し結果的に画質改善が見込まれる。
【００８０】
＜実施例２＞
ｎＭＤＳ４Ｐｉｃｔを動画像における画質改善処理に適応する場合に関して説明する。
画質改善におけるもっともオーソドックスな手法は単純に符号化ビットをより多く割り当てることであるが、これは当然そのハードウェアリソースに依存した限界値がある。
この限界値を固定のまま画質改善処理を行うには、ちょっとしたトリックを用いる必要がある。それはすなわち、我々が注視する部分にのみ、より多くの符号化ビットを割り当て、それ以外の部分には相対的に少ないビットを割り当てることである。
では、動画像において我々が注視する部分とはどんな部分だろうか？それは静止系に対して運動する被写体そのものである。我々鑑賞者はこの被写体自体を強く意識し、被写体を囲む背景などに意識を囚われないはずである。
【００８１】
ｎＭＤＳ４Ｐｉｃｔを適応すれば、２つの本質的に異なる運動を分離することで、意味のある部分に限りある符号ビットを効率的に割り当てることができるのである。これにより画質は従来技術に比べて画期的に向上する。
【００８２】
＜実施例３＞
ｎＭＤＳ４Ｐｉｃｔをセキュリティカメラに適応する場合に関して説明する。
先に述べたようにｎＭＤＳ４Ｐｉｃｔは静止系に対して移動する被写体の運動とカメラ自体の回転に依存する被写体の運動とを分離し識別する能力を有する。
したがって、これまでの技術のように背景画像をあらかじめ設定する必要がなくカメラを設置される環境系に依存しないロバスト性の高い使用が可能になる。
【００８３】
以上説明したように、本実施形態によれば、連続画像の差分画像を生成し任意サイズのブロックに分割し、空間においてペアをなすブロック間の距離を算出して非類似度を求め、求めた非類似度データに基づいてブロックペア毎にランキングを求める実空間処理回路１１と、実空間処理回路１１による情報に基づいて、埋め込み点をランダムに配置する初期布置設定を行い、埋め込み点の位置ベクトルを規格化する規格化処理、上記空間の埋め込み点間の距離を算出する非類似度定量化処理、実空間と埋め込み空間のランキング差に依存して埋め込み空間何の点群を移動する処理を行う点群移動処理と、規格化処理、非類似度定量化処理、点群移動処理を含む一連の処理を指定された回数繰り返し、点群を２つのグループに分離する検出結果抽出処理とを含む埋め込み空間処理部１２とを設けたので、以下の効果を得ることができる。
【００８４】
被写体の動き、すなわち静止系に対して運動する動体を検出するアルゴリズムであるｎＭＤＳ４Ｐｉｃｔを動きベクトル生成の前処理として用いることによる処理速度の向上を図ることができる。
また、静止系に対して運動する被写体とカメラ自体の回転によって生じる被写体の運動を識別し、２つの運動の符号化ビット量を差異化することによるビットレートの向上を図ることが可能である。
そして、これまでの技術では困難であった回転カメラからの動体検出が可能となる利点がある。
たとえば、フレーム内に静止系に対して運動する複数の被写体がある場合、これら複数の被写体の動体検出が可能である。
【図面の簡単な説明】
【００８５】
【図１】本発明に係る動き検出装置の一実施形態を示すシステム構成図である。
【図２】本実施形態に係る実空間処理回路の具体的な構成例を示すブロック図である。
【図３】本実施形態の画像情報算出回路におけるペア番号算出回路の具体的な構成例を示すブロック図である。
【図４】本実施形態の画像情報算出回路におけるペア間非類似度算出回路の具体的な構成例を示すブロック図である。
【図５】本実施形態の画像情報算出回路におけるペアランキング算出回路の具体的な構成例を示すブロック図である。
【図６】本実施形態に係る埋め込み空間処理部の全体の手順を説明するためのフローチャートである。
【図７】埋め込み空間処理における初期布置設定処理を説明するためのフローチャートである。
【図８】埋め込み空間処理における規格化処理を説明するためのフローチャートである。
【図９】埋め込み空間処理における非類似度算出処理を説明するためのフローチャートである。
【図１０】埋め込み空間処理における点群移動処理を説明するためのフローチャートである。
【図１１】埋め込み点群を示す図である。
【図１２】埋め込み空間処理における検出結果抽出処理を説明するためのフローチャートである。
【図１３】ｎＭＤＳ４Ｐｉｃｔのアルゴリズムを実際に動画像に適応した場合の実装結果を示す図であって、イルカがジャンプし、その後着水する場面をカメラを回転させることで捉えた動画像の一部を示す図である。
【図１４】図１３（Ｅ），（Ｆ）のFrame5,Frame6 に対してｎＭＤＳ４Ｐｉｃｔを実装した結果を示す図である。
【図１５】動体検出結果と図１３（Ｅ），（Ｆ）のFrame5,Frame6 の元画像との対応関係をとった図である。
【図１６】カメラの運動に依存する動きベクトルについて説明するための図である。
【符号の説明】
【００８６】
１０…動き検出装置、１１…実空間処理回路、１１１…時間調整フレームメモリ、１１２…差分画像生成回路、１１３…差分画像メモリ、１１４…画像情報算出回路、１１４１…ペア番号算出回路、１１４１１，１１４１２…カウンタ、１１４１３…ペア番号特定回路、１１４２…ペア間非類似度算出回路、１１４２１…ピクセル間差分算出回路、１１４２２…絶対値処理回路、１１４２３…ピクセル間差分合計回路、１１４３…ペアランキング算出回路、１１４３１…ソート回路、１１４３２…第１メモリ、１１４３３…第２メモリ、１１４３４…ランキング確定回路、１１４４…構造体配列メモリ、１２…埋め込み空間処理部、１３…ＣＰＵ。
【図１】
2006048292.tif 000008
【図２】
2006048292.tif 000009
【図３】
2006048292.tif 000010
【図４】
2006048292.tif 000011
【図５】
2006048292.tif 000012
【図６】
2006048292.tif 000013
【図７】
2006048292.tif 000014
【図８】
2006048292.tif 000015
【図９】
2006048292.tif 000016
【図１０】
2006048292.tif 000017
【図１１】
2006048292.tif 000018
【図１２】
2006048292.tif 000019
【図１３】
2006048292.tif 000020
【図１４】
2006048292.tif 000021
【図１５】
2006048292.tif 000022
【図１６】
2006048292.tif 000023