(57)【要約】【課題】大量の映像データの中から特定の場面を容易に検出し取り出したり、リアルタイムに特定の動きが存在する場面を検出するために十分な検出率を備えた特定シーン検出システムを提供すること。【解決手段】抽出したい特定シーンを構成する動画像映像信号の各フレームをｋ×ｋ＝Ｎ個のブロック（Ｎは１００以下、望ましくは３６〜９個）に分割し、各ブロックの動きベクトルの大きさの総和から各ブロックの動き量を計算し、当該特定シーン画像について求めたマハラノビスの距離Ｄ2を求め、Ｄ2の平均値＋Ｄ2の標準偏差で定義される閾値を計算し、当該閾値と検索対象たる動画像映像信号の各フレームについて計算されるマハラノビス距離Ｄ2とを比較し、閾値より小さいと判定した時に、求める特定シーンとして検出することを特徴とする特定シーン抽出方法。【選択図】図１
2005303566.tif 000002
【特許請求の範囲】
【請求項１】
映像母集団から、視聴を希望する特定シーン（以下「基準シーン」という）に該当する映像を抽出する方法であって、
予め用意されている基準シーンの映像信号を前処理して、基準シーンを代表するサンプル数Ｓのフレームを取り込み、各フレームの画像をｋ×ｋ＝Ｎ個（Ｎは１００≧Ｎ≧４、望ましくは３６≧Ｎ≧９である整数）のブロックに分割し、
各ブロック内の動きベクトルの大きさの総和を求めて各ブロックの動き量ｍs,n（ｓ＝１〜Ｓ,ｎ＝１〜Ｎ）を計算し、
前記動き量ｍs,nをＳフレームに亘って平均して平均値ｍpnと標準偏差ｍsdnを求め、
式：Ｍs,n＝（ｍs,n−ｍpn）／ｍsdn
により各ブロックの基準化動き量Ｍs,nを計算し、
前記基準化動き量Ｍs,nを要素とする基準化行列Ｖとその転置行列Ｖt、並びにＭs,n間の相関係数を要素とする相関係数行列Ｒの逆行列Ｒ-1を作成し、
式：Ｄs2=(ＶＲ-1Ｖt)/Ｎ
により基準シーン中の各フレームについてのマハラノビスの距離Ｄs2（ｓ＝１〜Ｓ）を計算し、
さらに、Ｄs2の平均値＋Ｄs2の標準偏差  で定義される閾値Ｄt2を算出し、
一方、基準シーンとの近似度を判定するために、映像母集団のフレーム（以下「判定対象フレーム」という）を次々と取り込み、各フレームを上記と同様にＮ個のブロックに分割し、かつ上記と同様に各ブロック内の動き量ｍn（ｎ＝１〜Ｎ）を計算し、
前記基準シーンに関する動き量の平均値ｍpn、標準偏差ｍsdnを用いて、式：Ｍn＝（ｍn−ｍpn）／ｍsdnにより、動き量ｍnの分布の、前記基準シーンにおける動き量の平均値ｍpnの分布からの乖離を標準偏差ｍsdnを単位として測った距離Ｍn（ｎ＝１〜Ｎ）を求め、
前記距離Ｍnを要素とする１次元の基準化行列ＶMとその転置行列ＶMt、及び前記基準シーンに関して作成した相関係数行列の逆行列Ｒ-1を用いて、
式：Ｄ2=(ＶMＲ-1ＶMt)/Ｎ
により判定対象フレームについてマハラノビスの距離Ｄ2を求め、
Ｄ2≦Ｄt2  ならば、当該判定対象フレームは、基準シーンに近似するシーンに属すると判定することを特徴とする特定シーン抽出方法。
【請求項２】
前記  Ｄ2≦Ｄt2  の関係が、連続する所定数以上の判定対象フレームに関して成立するならば、これらの判定対象フレームが属する映像母集団のシーンは、基準シーンに該当すると判定することを特徴とする請求項１記載の特定シーン抽出方法。
【請求項３】
前記  Ｄ2≦Ｄt2  の関係が、連続する所定数以上の判定対象フレームに関して成立した後に消失したならば、映像母集団の一つのシーンが、当該消失時点で他のシーンに切り替わったと判定することを特徴とする請求項１記載の特定シーン抽出方法。
【請求項４】
視聴を希望する特定シーン（基準シーン）に該当する映像を映像母集団から抽出する装置であって、
基準シーンとの近似度を判定するために、映像母集団から取り込まれるフレーム（以下「判定対象フレーム」という）の映像信号を前処理して、１フレームをｋ×ｋ＝Ｎ個（Ｎは１００≧Ｎ≧４、望ましくは３６≧Ｎ≧９である整数）のブロックに分割する映像信号前処理部と、
各ブロック内の動きベクトルを計算する動きベクトル計算部と、
動きベクトルの大きさの総和を求めて各ブロックの動き量ｍnを計算する動き量計算部と、
予め基準シーンについて求められている動き量の平均値ｍpnと標準偏差ｍsdn、及び数式Ｍn＝（ｍn−ｍp）／ｍsd  を用いて、動き量ｍnの分布の、前記基準シーンにおける動き量の平均値ｍpnの分布からの乖離を標準偏差ｍsdnを単位として測った距離Ｍn（ｎ＝１〜Ｎ）を計算する距離算出部と、
上記距離Ｍnについての１次元の基準化行列ＶMとその転置行列ＶMt、及び予め基準シーンについて求められている各ブロック間の動き量相関係数の逆行列Ｒs-1を用いて、
式：Ｄ2=(ＶMＲ-1ＶMt)/Ｎ
により判定対象フレームについてのマハラノビスの距離Ｄ2を算出する、マハラノビスの距離Ｄ2算出部と、
判定対象シーンの基準シーンとの近似度を判定するために、予め基準シーンについて求められている閾値Ｄt2と前記マハラノビスの距離Ｄ2とを比較する比較部とを備え、
判定対象フレームについてのマハラノビス距離Ｄ2が、前記閾値Ｄt2より小さいか又は等しいとき、判定対象フレームが基準シーンに近似するシーンに属すると判定することを特徴とする特定シーン抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ放送番組蓄積装置、画像蓄積装置や監視システムなどの映像システムにおいて、表示される映像の動きの特徴をブロック分割領域の動きベクトルを用いて定義することにより、大量の映像データの中から特定の場面を容易に取り出したり、リアルタイムに特定の動きが存在する場面を抽出する方法および装置に関する。
【背景技術】
【０００２】
多チャンネル時代の到来と共に膨大な映像データがテレビ放送され、インターネットの普及により様々な映像コンテンツが家庭内にまで配信される時代となっている。図１９参照。
【０００３】
家電業界では、ＤＶＤなどの光技術や磁気記録技術の進展により、大容量の映像（動画）記憶装置が安価に実現可能となった。またＨＤＤレコーダー、ホームサーバーなどで大量の映像（動画）コンテンツの蓄積が容易になってきている反面、好みの特定の場面をいつでもどこでも誰でもだれでもが検索し見ることの出来る新しい映像データベースシステムの実現が期待されている。
【０００４】
特許文献１及び非特許文献１では、動画像の映像画面をいくつかのブロックに分割し、各ブロック中の動きベクトルの大きさを用いて特定シ−ンを抽出する技術が開示されている（以下「開示技術」という）。開示技術によれば、映像の動きの情報を統計的に解析して映像の動き量の変化や特徴を特徴パラメータとして把握し、基準画像の特徴パラメータと検索対象画像の特徴パラメータとを比較することより、シーンの類似度を判定することが可能である。
【０００５】
【特許文献１】特開２００３−２４４６２８号公報
【非特許文献１】渡部昭彦、他「動きベクトルに基づくＴＶ映像解析とシーン検索に関する一検討」２００３年９月１９日画像電子学会第２０４回研究会
【非特許文献２】「動きベクトルに基づく特定シーン検索の方法に関する一検討」画像電子学会  第２０７回研究会２００４．２．２４
【非特許文献３】管  民郎  「多変量解析の実践.」現代数学社
【０００６】
上記特許文献１及び非特許文献１に開示された特定シーン抽出方法の原理は次のようである。画面をブロックに分割し、検索要求シーンの各ブロックで取り込むフレームで平均した動き量Mdと、各ブロックにおける検索対象の任意のシーンのフレームの動き量の平均値Ｍpと、検索要求シーンの各ブロックの動き量の標準偏差Ｍsdとの関係が、判定式  Ｍp−Ｍsd＜Ｍd＜Ｍp+Ｍsdに適合する時、各ブロックは適合ブロックという。適合ブロック数をフレームの分割ブロック全体数で割った値が一定以上となる時に類似場面として抽出する方法である。
【０００７】
開示技術における検出率（シーンの検索精度）の定義は、対象となる場面から特定場面を検出する時、特定シーンを対象となるシーンの総数における百分率を指している。非特許文献１では、類似シーンの検出率は、さらに再現率および適合率に分けて定義されている。例えば、野球の投球シーンにおける再現率および適合率はつぎのように定義されている。
再現率＝（正確に投球シーンを判定した数）／（実際の投球シーン数）
適合率＝（正確に投球シーンを判定した数）／（検索で判定された投球シーン数）
【０００８】
「非特許文献１」によれば、現在の技術レベルでは、野球の投球シーンの場合の再現率は最高で９２．８６％、同じく適合率は７４．５９％が得られているが、このレベルは検出率度としては十分ではない。上記の技術は、概括的なシーンの抽出には適するが、高い検出率を要求される映像データベースには十分でないと思われる。前記の特定シーン抽出方法や装置の誤検出率が高い理由は次のように考えられる。
【０００９】
開示技術では、 (1)各ブロックの多数フレームを平均して統合するため，画面の特徴が平準化され，標準偏差も大きくなる．誤りのシーンを抽出しやすい。(2)従来の方法は，各ブロック個別に動きベクトルの平均値と，標準偏差の上限と下限を設定しており，各ブロック相互の関係の特徴量は抽出されていない。(3)動きベクトルが急激に変化する時点（シーンチェンジ）の検出が必要であるが、適切な検出方法がないため、検出率が低下している。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする課題は、大量の映像データの中から視聴を希望する特定のシーンを容易に取り出したり、特定の動きが存在する場面をリアルタイムに検出するために、十分な検出率を備えた特定シーン抽出システムを提供することである。
【課題を解決するための手段】
【００１１】
上記の課題は、動きの特徴をブロック分割領域の動きベクトル分布を用いて定義する、以下に述べる特定シーン抽出方法により解決することができる。すなわち、
【００１２】
映像母集団から、視聴を希望する特定シーン（以下「基準シーン」という）に該当する映像を抽出する方法であって、予め用意されている基準シーンの映像信号を前処理して、基準シーンを代表するサンプル数Ｓのフレームを取り込み、各フレームの画像をｋ×ｋ＝Ｎ個（Ｎは１００≧Ｎ≧４、望ましくは３６≧Ｎ≧９である整数）のブロックに分割し、各ブロック内の動きベクトルの大きさの総和を求めて各ブロックの動き量ｍs,n（ｓ＝１〜Ｓ,ｎ＝１〜Ｎ）を計算し、前記動き量ｍs,nをＳフレームに亘って平均して平均値ｍpnと標準偏差ｍsdnを求め、式：Ｍs,n＝（ｍs,n−ｍpn）／ｍsdn  により各ブロックの基準化動き量Ｍs,nを計算し、前記基準化動き量Ｍs,nを要素とする基準化行列Ｖとその転置行列Ｖt、並びにＭs,n間の相関係数を要素とする相関係数行列Ｒの逆行列Ｒ-1を作成し、式：Ｄs2=(ＶＲ-1Ｖt)/Ｎ  により基準シーン中の各フレームについてのマハラノビスの距離Ｄs2（ｓ＝１〜Ｓ）を計算し、さらに、Ｄs2の平均値＋Ｄs2の標準偏差  で定義される閾値Ｄt2を算出し、
【００１３】
一方、基準シーンとの近似度を判定するために、映像母集団のフレーム（以下「判定対象フレーム」という）を次々と取り込み、各フレームを上記と同様にＮ個のブロックに分割し、かつ上記と同様に各ブロック内の動き量ｍn（ｎ＝１〜Ｎ）を計算し、前記基準シーンに関する動き量の平均値ｍpn、標準偏差ｍsdnを用いて、式：Ｍn＝（ｍn−ｍpn）／ｍsdnにより、動き量ｍnの分布の、前記基準シーンにおける動き量の平均値ｍpnの分布からの乖離を標準偏差ｍsdnを単位として測った距離Ｍn（ｎ＝１〜Ｎ）を求め、前記距離Ｍnを要素とする１次元の基準化行列ＶMとその転置行列ＶMt、及び前記基準シーンに関して作成した相関係数行列の逆行列Ｒ-1を用いて、式：Ｄ2=(ＶMＲ-1ＶMt)/Ｎ  により判定対象フレームについてマハラノビスの距離Ｄ2を求め、Ｄ2≦Ｄt2  ならば、当該判定対象フレームは、基準シーンに近似するシーンに属すると判定することを特徴とする特定シーン抽出方法、である。
【００１４】
図１は、本発明に係るブロック分割領域の動きベクトル分布による特定シーン抽出方法の動作を説明するフローチャートである。
まず、図１のフローチャートの左側の流れ（Ｓ１〜Ｓ６）により、抽出希望シーン（以下基準シーンという）の特徴パラメータ（基準パラメータ）を用意する。基準パラメータは次の５種類のデータからなる。
（ａ）基準シーンに関する動き量の平均値ｍpn（ｎ＝１〜Ｎ：Ｎは基準シーンの１フレームを構成するブロック数）
（ｂ）同、標準偏差ｍsdn（同）
（ｃ）動き量間の相関係数行列Ｒの逆行列Ｒ-1（１個）
（ｄ）基準シーンの各フレームに関するマハラノビスの距離Ｄs2（Ｓ個：Ｓは基準シーンから取り込まれるフレーム数  このパラメータは次項算出用である。）
（ｅ）Ｄs2の平均値＋Ｄs2の標準偏差  で定義される閾値Ｄt2（１個）
【００１５】
次に、基準シーンに近似するか否かを判定するために、映像母集団から取り込まれる映像フレーム（判定対象フレーム）に関するマハラノビスの距離Ｄ2を、フローチャートの右側の流れ（Ｘ１〜Ｘ５）により計算する。その過程で、上記の基準シーンに関する特徴パラメータの（ａ）〜（ｃ）が利用される。
【００１６】
以上の準備を経て、フローチャートの中央下に示された「比較」ステップ（Ｘ６）においてＤt2とＤ2の大小関係が判定される。その結果、Ｄ2≦Ｄt2と認められるならば、判定対象フレームは基準シーンに近似するシーンに属するフレームであると判定され、抽出対象になる。
【００１７】
上記の各パラメータを求める際は、基準シーンについては複数（Ｓ個）のフレームを取り込み、各フレームをｋ×ｋ＝Ｎ個のブロックに分割する。判定対象フレームは１回の判定につき１個であるが、Ｎ個のブロックに分割する点は基準シーンの場合と同じである。ここにＮは１００≧Ｎ≧４、望ましくは３６≧Ｎ≧９である整数であって、各フレームについての動き量の計算等の処理時間を適当な値に制限するために選択される。
【００１８】
各ブロックでは動きベクトルに基づいて当該ブロックの動き量が下記数１により求められる。
【数１】
2005303566.tif 000003
数１中のｍは動き量、ｖiは動きベクトルである。添え字ｉの上限ｎは１ブロック中の動きベクトル計算単位の数で、例えば１フレームの画面を３×３個の大型ブロックに分割し、１６×１６画素の領域を動きベクトル計算単位とする場合は、ｎ＝１５０である。
【００１９】
マハラノビスの距離Ｄ2の算出手順を次に示す。
（１）基準化行列 Ｖ
基準画像データを動き量ｍの平均値ｍpと標準偏差ｍsdで基準化データＭとする。
Ｍ＝(ｍ−ｍp)/ｍsd
（２）基準化行列の転置行列 Ｖtを作成する。
（３）相関行列 Ｒ
求めた基準化値から下記数２によりフレーム内における各ブロック間の動き量相関係数行列Ｒを求める。
【００２０】
【数２】
2005303566.tif 000004
ここにｒnm，ｒmnは動き量相関係数行列Ｒの要素、Ｍns，Ｍmsは基準化動き量、Ｓはフレーム数である。
例えば（３×３）の場合、
列：ｍ＝１，２，‥，９
行：ｎ＝１，２，‥，９
フレーム：Ｓ＝２０
となる。
（４）相関行列Ｒの逆行列Ｒ-1を求める。
【００２１】
（５）マハラノビスの距離の算出
下記数３により、各フレームのブロックの動き量のマハラノビスの距離Ｄ2を求める（Ｓ５）。
【数３】
2005303566.tif 000005
ここにＮはブロック数である。
マハラノビスの距離とは，重心(平均値)からの距離を標準偏差で割った値の２乗であり，距離を確率で表すことができる。
多次元のマハラノビスの距離では，相互に関連する分散した多くのサンプルの距離を相関係数で統合して１つの値で表現できるので、分散したサンプルの帰属するグループを高精度に判別することができる。
【００２２】
判定対象シーンの基準シーンとの近似度を判定するため，基準シーンの各フレームについてのマハラノビスの距離Ｄs2を求め、Ｓ個のフレームについてのＤs2の平均値と標準偏差より近似度判別のための閾値Ｄt2を求める。
【発明の効果】
【００２３】
大容量の番組映像の中から特定の場面をオンデマンドで抽出でき、精度と速度の両立する場面検出方式を実現できる。
【００２４】
映像監視システムにおいて場面切換を検出でき、場面切換の特別な方法が必要なく、異常場面を検出しやすくなるので監視が容易にできる。
【発明を実施するための最良の形態】
【００２５】
この発明に関する第１の実施形態として「特定シーン抽出方法」を挙げる。これは請求項２に対応する。すなわち、
【００２６】
（第１の実施形態）
映像母集団から取り入れた判定対象フレームについてマハラノビス距離Ｄ2を求め、基準シーンに関するＤs2の平均値＋Ｄs2の標準偏差で求められる閾値Ｄt2と比較し、
Ｄ2≦Ｄt2  の関係が、連続する所定数以上の判定対象フレームに関して成立するならば、これらの判定対象フレームが属する映像母集団のシーンは、基準シーンに該当すると判定するのである。
【００２７】
この発明に関する第２の実施形態として「シーン変更点検出方法」を挙げる。これは請求項３に対応する。すなわち、
【００２８】
（第２の実施形態）
映像母集団から取り入れた判定対象フレームについてマハラノビス距離Ｄ2を求め、基準シーンに関するＤs2の平均値＋Ｄs2の標準偏差で求められる閾値Ｄt2と比較し、
Ｄ2≦Ｄt2  の関係が、連続する所定数以上の判定対象フレームに関して成立した後に消失したならば、その消失時点においてシーン変更があったと判定するのである。
【００２９】
この発明に関する第３の実施形態として「特定シーン画面検索装置」を挙げる。これは請求項４に対応する。すなわち、
【００３０】
（第３の実施形態）
映像母集団から視聴を希望する特定シーンに該当する映像を抽出する装置であって、
基準シーンとの近似度を判定するために、映像装置１１に格納された映像母集団から取り込まれた判定対象シーンの映像フレーム（判定対象フレーム）を前処理し、１フレームをｋ×ｋ＝Ｎ個のブロック（Ｎは１００≧Ｎ≧４、望ましくは３６≧Ｎ≧９である整数）に分割する映像信号前処理部１２と、各ブロック内の動きベクトルを計算する動きベクトル計算部１３と、動きベクトルの大きさの総和を求めて各ブロックの動き量ｍを計算する動きベクトル計算部１４と、動き量ｍの分布の基準パラメータからの距離を算出する距離算出部１５と、判定対象フレームに関するマハラノビスの距離Ｄ2を算出するマハラノビスの距離Ｄ2算出部１６と、比較部１７と、
【００３１】
基準シーンに関する動き量の平均値ｍp、同標準偏差ｍsd、ブロック内動き量の相関係数行列Ｒの逆行列Ｒ-1、及びＤs2の平均値＋Ｄs2の標準偏差で定義される閾値Ｄt2、からなる特徴パラメータ（基準パラメータ）を計算し保存する特徴パラメータ保存部２０とを備え、
前記比較部１７において、マハラノビスの距離Ｄ2と閾値Ｄt2とを比較し、Ｄ2≦Ｄt2ならば、判定対象フレームは基準シーンに近似するシーンに属すると判定する特定シーン抽出装置である。
【実施例１】
【００３２】
図２は請求項４の発明についての一実施例たる「特定シーン抽出装置」の構成図である。特定シーンとして野球の投球シーンの実施例を説明する。図２において参照符号１１は映像装置、１２は映像信号前処理部、１３は動きベクトル算出部、１４は動き量算出部、１５は動き量ｍの分布の基準パラメータからの距離を算出する距離算出部、１６はマハラノビスの距離Ｄ2の算出部、１７は比較部、２０は基準シーン（抽出希望シーン）特徴パラメータ保存部、２１は基準シーン（抽出希望シーン）基準パラメータである。
【００３３】
テレビ受信機やＤＶＤレコーダーのような映像機器１１の動画像映像信号を映像信号前処理部１２で取り込み、１フレームの画面を例えば３×３＝９個の大形ブロックに分割し、各大形ブロック内の動きベクトルの大きさ（絶対値）を求める。動きベクトルの大きさ（絶対値）を求める方法は、本実施例の場合、ＭＰＥＧ２の画像圧縮装置と同じ方法を用いる。
【００３４】
すなわち、１６×１６画素からなるブロック(いわゆるマクロブロック:以下「ＭＢ」という)を単位として、動く物体の移動距離すなわち動きベクトルを計算する。下記数４の値を最小とするＭＢ内座標（ａ，ｂ）により算出したスカラー値を動きベクトルの大きさ(絶対値)とする。なお、１画面を３×３＝９個の大形ブロックに分割する場合（上例）は、１個の大形ブロック中に１５０個のＭＢが存在することになる。
【数４】
2005303566.tif 000006
【００３５】
数４中、Ｘは画素の値（例えば明るさ）、添え字ｉ及びａ、ｊ及びｂはそれぞれＭＢ内の垂直、水平座標位置、ｋはフレーム番号を表す。数２の式は、フレーム番号がｋであるＭＢ内の座標位置がｉ、ｊである画素の値と、フレーム番号がｋ−１であるＭＢ内の座標位置が（ｉ±a、ｊ±b）である画素の値との差分を全ての（a、b）について求め、その絶対値を全て座標位置について合計し、動きベクトルの量（大きさ）を与える。
【００３６】
さらに、各ＭＢついて求めた動きベクトルの大きさ(絶対値)の、前記大形ブロック内での総和を前記の数１により求める。このようにして大形ブロック内で求めた動きベクトルの総和を「動き量」と定義する。
【００３７】
図３に示すように画面を３×３のブロック領域に分割して、各々のブロックの動きベクトルから、フレーム内各ブロックの動き量ｍ1〜ｍ9を求める。これを各ブロックの動き量基本データとする。図４に各ブロックの動き量基本データを示す。各ブロックの動き量ｍs,nの平均値ｍｐnと標準偏差ｍsdnより、式：Ｍs,n＝（ｍs,n−ｍｐn）／ｍsdn  を用いて基準化した動き量の基準化行列Ｖを求める。図５に基準化した各ブロックの動き量データを示す。
【００３８】
次に基準化データからフレーム内における各ブロック間の動き量相関係数Ｒの各要素ｒを数２にて求め、その結果の相関行列Ｒを図６に示す。次に相関行列Ｒの逆行列Ｒ-1を求め、結果を図７に示す。
【００３９】
次に、これらの基準化行列Ｖと、その転置行列Ｖtと、基準化行列Ｖからフレーム内の各ブロック間の動き量相関係数行列Ｒを求め、その逆行列Ｒ-1と、各フレームのブロックの動き量のマハラノビスの距離Ｄs2を求める。 図８にマハラノビスの距離Ｄs2の算出例を示す。
【００４０】
図８に基準画像(基準シーン)における閾値設定と判定の例を示す。判別基準はマハラノビスの距離Ｄ2が閾値より大きければ非投球シーンであり、閾値より小さければ投球シーンであると判別する。基準シーンのマハラノビスの距離Ｄs2の平均値＋基準シーンのマハラノビスの距離Ｄs2の標準偏差で定義される閾値は０．９５＋０．２９＝１．２４となる。図８のマハラノビスの距離Ｄ2の列で閾値１．２４より大きい非投球サンプルフレームはＳ６とＳ１４のサンプルと判別される。
【００４１】
（特定シーン抽出の実施例）
本実施例では、野球シーンの投球シーンと非投球シーンと合わせて４０シーン(各シーンは２０フレームから成る)、合計８００フレームを判定対象として、本発明の方法による特定シーン抽出の実施例を説明する。
フレームを３×３ブロックに分割し、各ブロックの動き量から各フレームのマハラノビスの距離のＤ2を算出した。
抽出要求シーン（基準シーン）の特徴パラメータは図９により作成されている。図９は基準シーンの近似度判別閾値の設定を示す図である。
図１０は特定シーンの抽出（近似度判別）結果を示す図である。
【００４２】
検索対象の各フレームの再現率、適合率（［０００８］参照）は次の通りである。
(1)フレーム再現率=３９３／４００＝９８％
(2)フレーム適合率=３９３／９２１=４３%
【００４３】
マハラノビスの距離Ｄ2に対する判別１（Ｄ2≦Ｄt2である判別）は投球シーンでは連続するが，非投球シーンでは連続しない。
例えば判別１が７フレーム以上連続するなら「投球シーン」と判定するという抽出条件を設定するならば、シーン再現率＝２０／２０＝１００％，シーン適合率＝２０／２２＝９０％となる。請求項２により検出率が向上するという実施例である。
この場合，特許文献１および非特許文献１の特定シーン抽出装置の抽出方法の条件となっていたシーン変更点(いわゆるシーンチェンジ)を検出する必要はない。
【００４４】
請求項３対応の特定シーンのシーン変更点の検出方法を投球シーンで説明する。図１０は特定シーンの抽出（近似度判定）結果を示す図であって、判別１が投球シーンでは９以上であり、非投球シーンの殆どは判別１が連続する最大数は５以下であるので、判別１の連続数が７以下になった時、投球場面から別の場面に切り替わったと判断する。
【産業上の利用可能性】
【００４５】
駐車違反の監視、交通違反監視、防犯システム、放送番組編集、デジタル図書館、生産ライン監視、マルチメディアディレクトリサービス、Ｅ−ｃｏｍｍｅｒｃｅやテレビショッピングでの通信販売、テレビ番組貯蓄装置、セットトップ・ボックス等交通監視、店内ショッピング映像監視等の遠隔監視システムの異常場面検出方法への適用ができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の特定シーン抽出システムの動作を説明する順序図である。
【図２】本発明の特定シーン抽出装置のブロック構成図である。
【図３】３×３のブロック分割領域を示す図である。
【図４】各ブロックの動き量基本データ（マハラノビスの距離Ｄ2算出例）を示す図である。
【図５】基準化した各ブロックの動き量データ（マハラノビスの距離Ｄ2算出例）を示す図である。
【図６】相関行列Ｒを示す図である。
【図７】相関行列Ｒの逆行列Ｒ-1を示す図である。
【図８】マハラノビスの距離Ｄ2（算出例）を示す図である。
【図９】基準シーンの近似度判別閾値の設定を示す図である。
【図１０】特定シーンの抽出（近似度判別）結果を示す図である。
【図１】
2005303566.tif 000007
【図２】
2005303566.tif 000008
【図３】
2005303566.tif 000009
【図４】
2005303566.tif 000010
【図５】
2005303566.tif 000011
【図６】
2005303566.tif 000012
【図７】
2005303566.tif 000013
【図８】
2005303566.tif 000014
【図９】
2005303566.tif 000015
【図１０】
2005303566.tif 000016