(57)【要約】【課題】再現率および適合率を高めた類似動画像抽出装置を提供する。【解決手段】連続するｋ個のフレームのうち、マハラノビスの距離Ｄ2がＤ2≦Ｄt2なる条件にｊ個以上のフレームが適合と判定されるならば、当該判定対象フレームFn は、基準シーンに類似するシーンに属すると判定し、または／かつ、シーンチェンジ(画像の変化)間の複数のフレームのうち基準シーンに類似するシーンに属するフレーム数がＲ％を超えると判定されるならば、その動画像フレームの集合を基準シーンに類似する特定シーンとして採用する。【選択図】図１
2006260237.tif 000002
【特許請求の範囲】
【請求項１】
複数の動画像フレームからなる映像母集団から視聴を希望する特定シーン（以下「基準シーン」という。）に該当する映像を抽出する方法において、
基準シーンを構成する動画像フレームの特徴に基づいて算出される閾値Ｄt2と、映像母集団から取り込まれるフレーム番号がＦpである判定対象フレームのマハラノビスの距離Ｄ2とを比較して、Ｄ2≦Ｄt2なる条件についての判定結果を蓄積し、
フレーム番号Ｆp-kからＦpまでの間に存在するｋ個の判定対象フレームのうち、Ｄ2≦Ｄt2なる条件に適合するフレームの数が、上記ｋ個中ｊ個以上存在すると判定されるならば、
フレーム番号がＦpである判定対象フレームは基準シーンに類似するシーンに属すると判定することを特徴とする特定シーン抽出方法。
【請求項２】
複数の動画像フレームからなる映像母集団から視聴を希望する特定シーン（以下「基準シーン」という。）に該当する映像を抽出する方法において、
基準シーンを構成する動画像フレームの特徴に基づいて算出される閾値Ｄt2と、映像母集団から取り込まれるフレーム番号がＦnである判定対象フレームのマハラノビスの距離Ｄ2とを比較して、Ｄ2≦Ｄt2なる条件についての判定結果を蓄積し、
フレーム番号がＦn及びＦn-1である動画像フレームについてそれぞれ算出されるマハラノビスの距離Ｄn2及びＤn-12から、Ｄdn2＝｜Ｄn2−Ｄn-12｜で定義される差分値Ｄdn2を算出し、
前記差分値Ｄdn2と各基準シーンについて予め設定される閾値Ｄc2によるＤdn2＞Ｄc2なる条件が成立した時にシーンが変化した（「シーンチェンジ」という。）と判定し、１つのシーンチェンジのフレーム番号Ｆnと次のシーンチェンジのフレーム番号Ｆmを検出し、
フレーム番号ＦnからＦmまでの間に存在する複数の動画像フレームのうち、Ｄ2≦Ｄt2なる条件に適合して基準シーンに類似するシーンに属すると判定されるフレーム数の割合が、基準シーンに基づいて予め定めるシーン判定条件であるＲ％以上であるならば、
前記フレーム番号がＦnからＦmまでのフレームの集合を、基準シーンに類似する特定シーンとして採用することを特徴とする特定シーン抽出方法。
【請求項３】
前記シーンチェンジ間フレームの集合を基準シーンに類似する特定シーンとして採用するための前記シーン判定条件に加えて、
フレーム番号Ｆp-kからＦpまでの間に存在するｋ個のフレームのうち、Ｄ2≦Ｄt2なる条件に適合するフレームの数が上記ｋ個中ｊ個以上であるとの条件をさらに要求することを特徴とする請求項２記載の特定シーン抽出方法。
【請求項４】
複数の動画像フレームからなる映像母集団から視聴を希望する特定シーン（以下「基準シーン」という。）に該当する映像を抽出する装置であって、
基準シーンを構成する複数の動画像フレームの特徴により算出する閾値Ｄt2と、映像母集団から取り込まれるフレーム番号がFpなる判定対象フレームのマハラノビスの距離Ｄ2とを比較し、Ｄ2≦Ｄt2なる条件に関する判定を行う特定シーン帰属度判定部と、
各判定対象フレームのマハラノビスの距離Ｄ2、および前記特定シーン帰属度判定部による判定結果を蓄積する判定結果蓄積部と、
フレーム番号Fp-kからFpまでの間に存在するｋ個のフレームのうち、Ｄ2≦Ｄt2なる条件に適合するフレームの数が上記ｋ個中ｊ個以上であるとき、フレーム番号がFpである判定対象フレームは基準シーンに類似するシーンに属すると判定する包括判定部と、
を有することを特徴とする特定シーン抽出装置。
【請求項５】
複数の動画像フレームからなる映像母集団から視聴を希望する特定シーン（以下「基準シーン」という。）に該当する映像を抽出する装置であって、
基準シーンを構成する複数の動画像フレームの特徴により算出する閾値Ｄt2と、映像母集団から取り込まれるフレーム番号がFnなる判定対象フレームのマハラノビスの距離Ｄ2とを比較し、Ｄ2≦Ｄt2なる条件に関する判定を行う特定シーン帰属度判定部と、
フレーム番号がFnとFn-1である動画像フレームのそれぞれについて算出されるマハラノビスの距離Ｄn2及びＤn-12から、Ｄdn2＝｜Ｄn2−Ｄn-12｜で定義される差分値Ｄdn2を算出する差分値算出部と、
前記差分値Ｄdn2と、各基準シーンについて予め定める閾値Ｄc2により、Ｄdn2＞Ｄc2なる条件が成立した時にシーンが変化した（「シーンチェンジ」という。）と判定し、そのフレーム番号Ｆnを検出するシーンチェンジ検出部と、
１つのシーンチェンジのフレーム番号Ｆnから次のシーンチェンジのフレーム番号Ｆmまでの間に存在する複数の動画像フレームのうち、Ｄ2≦Ｄt2なる条件により基準シーンに類似するシーンに属すると判定されるフレームの数の割合が、予め定めるシーン判定条件であるＲ％以上であるとき、上記の、フレーム番号がFnからFmまでのフレームの集合を基準シーンに類似する特定シーンとして採用する、シーンチェンジ間フレームの帰属シーン判定部とを有することを特徴とする特定シーン抽出装置。
【請求項６】
前記シーンチェンジ間フレームの帰属シーン判定部が、前記シーン判定条件に加えて、フレーム番号Fp-kからFpまでの間に存在するｋ個のフレームのうち、Ｄ2≦Ｄt2なる条件に適合するフレームの数が上記ｋ個中ｊ個以上存在するとの条件をさらに要求することを特徴とする請求項５記載の特定シーン抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ放送番組蓄積装置、画像蓄積装置や監視システムなどの映像システムにおいて、表示される映像の動きの特徴をブロック分割領域の動きベクトルを用いて定義することにより、大量の映像データの中から特定の場面を容易に取り出したり、リアルタイムに特定の動きが存在する場面を抽出する装置に関する。
【背景技術】
【０００２】
多チャンネル時代の到来と共に膨大な映像データがテレビ放送され、インターネットの普及により様々な映像コンテンツが家庭内にまで配信される時代となっている。家電業界では、ＤＶＤなどの光技術やＨＤＤなどの磁気記録技術の進展により、大容量の映像（動画）記憶装置が安価に実現可能となった。またＤＶＤ／ＨＤＤレコーダー、ホームサーバーなどで大量の映像（動画）コンテンツの蓄積が容易になってきている反面、好みの特定の場面をいつでもどこでも誰でもが検索し見ることの出来る新しい映像データベースシステムの実現が期待されている。
【０００３】
特許文献１及び非特許文献１では、動画像の映像画面をいくつかのブロックに分割し、各ブロック中の動きベクトルの大きさを用いて特定シ−ンを抽出する技術が開示されている（以下「開示技術」という）。開示技術によれば、映像の動きの情報を統計的に解析して映像の動き量の変化や特徴を特徴パラメータとして把握し、基準画像の特徴パラメータと検索対象画像の特徴パラメータとを比較することより、シーンの類似度を判定することが可能である。
【０００４】
【特許文献１】特願2004-114997  「ブロック分割領域における動きベクトルの分布を利用した特定シーン抽出方法及び装置」
【非特許文献１】「動きベクトルに基づく特定シーン検索の方法に関する一検討」画像電子学会  第２０７回研究会２００４．２．２４
【０００５】
上記特許文献１及び非特許文献１に開示された動画像抽出方法の原理は次のようになっている。
映像母集団から、視聴を希望する特定シーン（以下「基準シーン」という）に該当する映像を抽出する方法であって、予め用意されている基準シーンの映像信号を前処理して、基準シーンを代表するサンプル数Ｓのフレームを取り込み、各フレームの画像をｋ×ｋ＝Ｎ個（Ｎは１００≧Ｎ≧４、望ましくは３６≧Ｎ≧９である整数）のブロックに分割し、各ブロック内の動きベクトルの大きさの総和を求めて各ブロックの動き量ｍs,n（ｓ＝１〜Ｓ,ｎ＝１〜Ｎ）を計算し、前記動き量ｍs,nをＳフレームに亘って平均して平均値ｍpnと標準偏差ｍsdnを求め、各ブロックの基準化動き量Ｍs,nを計算し、前記基準化動き量Ｍs,nを要素とする基準化行列Ｖとその転置行列Ｖt、並びにＭs,n間の相関係数を要素とする相関係数行列Ｒの逆行列Ｒ-1を作成し、式：Ｄs2=(ＶＲ-1Ｖt)/Ｎ  により基準シーン中の各フレームについてのマハラノビスの距離Ｄs2（ｓ＝１〜Ｓ）を計算し、さらに、各フレームのマハラノビスの距離Ｄs2を変量としたＤs2の発生度数分布を正規分布とみなして、Ｄs2の平均値＋Ｄs2の標準偏差  で定義される閾値Ｄt2を算出し、
一方、基準シーンとの近似度を判定するために、映像母集団のフレーム（以下「判定対象フレーム」という）を次々と取り込み、各フレームを上記と同様にＮ個のブロックに分割し、かつ上記と同様に各ブロック内の動き量ｍn（ｎ＝１〜Ｎ）を計算し、前記基準シーンに関する動き量の平均値ｍpn、標準偏差ｍsdnを用いて、動き量ｍnの分布の、前記基準シーンにおける動き量の平均値ｍpnの分布からの乖離を標準偏差ｍsdnを単位として測った距離Ｍn（ｎ＝１〜Ｎ）を求め、前記距離Ｍnを要素とする１次元の基準化行列ＶMとその転置行列ＶMt、及び前記基準シーンに関して作成した相関係数行列Ｒの逆行列Ｒ-1を用いて、式：Ｄ2=(ＶMＲ-1ＶMt)/Ｎ  により判定対象フレームについてマハラノビスの距離Ｄ2を求め、Ｄ2≦Ｄt2ならば、当該判定対象フレームは、基準シーンに類似するシーンに属すると判定することを特徴とする特定シーン抽出方法である。
【０００６】
開示技術における検出率（シーンの検索精度）の定義は、対象となる場面から特定場面を検出する時、特定シーンを対象となるシーンの総数における百分率を指している。非特許文献１では、類似シーンの検出率は、さらに再現率および適合率に分けて定義されている。例えば、野球の投球シーンにおける再現率および適合率はつぎのように定義されている。
再現率＝（正確に投球シーンを判定した数）／（実際の投球シーン数）
適合率＝（正確に投球シーンを判定した数）／（検索で判定された投球シーン数）
【０００７】
しかしながら、開示技術の方式には次の問題がある。
（１）フレーム毎に、マハラノビスの距離を求め、閾値と比較し判定しているが、抽出希望の特定シーン以外の「非投球シーン」の複数フレームが誤って抽出され適合率が低下する傾向がある。
（２）基準シーンに類似の特定シーンは、フレームごとに判定されるので、適合率が高く、連続して正しい判定が発生する場合はよいが、適合率が低く、「非投球シーン」を誤って取り込み、正しい判定と誤った判定が断続して発生する場合は、抽出を希望する特定シーンとしての視聴が困難となる。
（３）比較的短時間の「非投球シーン」が「投球シーン」の間に挿入された形で抽出されても、視聴者にとって抽出希望の特定シーンがあるまとまった長さで再生・表示されることが望ましい。開示技術の方式は、挟まれた短時間の「非投球シーン」も包括して抽出希望の特定シーン「投球シーン」としてまとまった長さで抽出・表示できるようになっていない。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする課題は、先に特許出願した「ブロック分割領域における動きベクトルの分布を利用した特定シーン抽出方法および装置」（特願2004-114997）における上記の問題点を克服して、適合率が高く、連続した視聴希望の特定シーンを記録または再生することが可能な、新たな特定シーン抽出アルゴリズムを提供することである。
【課題を解決するための手段】
【０００９】
上記の課題は、以下に述べる「マハラノビスの距離を用いた包括判定方式による特定シーン抽出方法」により解決することができる。すなわち、
複数の動画像フレームからなる映像母集団から視聴を希望する特定シーン（基準シーン）に該当する映像を抽出する方法において、
基準シーンの複数の動画像フレームの特徴により算出した閾値Ｄt2と映像母集団から取り込まれるフレーム番号Fpなる判定対象フレームのマハラノビスの距離Ｄ2を比較し、Ｄ2≦Ｄt2なる条件に関する判定結果を蓄積し、フレーム番号Fp-kからフレーム番号FpまでのK個のフレームのうち、Ｄ2≦Ｄt2なる条件に適合するフレームが上記ｋ個中ｊ個以上と判定されるならば、フレーム番号Fpの判定対象フレームは、基準シーンに類似するシーンに属すると判定することを特徴とする特定シーン抽出方法、である。この課題解決手段は請求項１に対応する。
【００１０】
図１は、本発明に係るマハラノビスの距離を用いた包括判定方式による特定シーン抽出方法における動作を説明するフローチャートである。
開示技術の方式では、図１の手順（Ｓ１〜Ｓ５およびＸ１〜Ｘ４）により、当該特定シーン画像についてマハラノビスの距離Ｄ2を求め、Ｄ2の平均値＋Ｄ2の標準偏差で定義される閾値Ｄt2を計算し（手順Ｓ４）、手順Ｘ５にて、当該閾値と検索対象たる動画像映像信号の各フレームについて計算されるマハラノビス距離Ｄ2とを比較し、閾値より小さいと判定した時に、基準シーンに類似する特定シーンとして採用する。抽出対象たる画像のマハラノビスの距離Ｄ2が閾値Ｄt2より小さい場合、「抽出希望の特定シーン」として検出する確率は高くなるが、「非抽出希望の判定対象シーン」として検出する確率は低くなる。したがって、正確に「抽出希望の特定シーン」を判定する場合は、比較的連続して判定が発生するが、「非抽出希望の判定対象シーン」の画面を誤って抽出するときは、断続的に判定が発生する。
【００１１】
具体例として「投球シーン」(抽出希望の特定シーン)と「非投球シーン」(非抽出希望の判定対象シーン)の各フレームのマハラノビスの距離Ｄ2を変量とした発生度数の分布と閾値Ｄt2との関係を図２に示す。「投球シーン」の場合、その分布はマハラノビスの距離Ｄ2の値が１である近辺に発生する。「非投球シーン」の場合、その分布は「非投球シーン」の「投球シーン」からの乖離を示すマハラノビスの距離による分布であり、「投球シーン」の上側に分布する。「非投球シーン」の分布の形はその画像内容により決まる。
【００１２】
図２において、例えば「投球シーン」(抽出希望の特定シーン)の場合の再現率、適合率を推測すると、再現率 (Ａ部分の確率)は正規分布の部分確率から0.841、適合率 は、A ／(A＋C)となる。マハラノビスの距離Ｄ2が閾値Ｄt2より小さいと「非投球シーン」(判定対象シーン)のマハラノビスの距離Ｄ2の発生確率は低下する。一方「抽出希望の特定シーン」である「投球シーン」のマハラノビスの距離Ｄs2が閾値Ｄt2より小さいと「投球シーン」のマハラノビスの距離Ｄs2の発生確率は大きくなる。したがって、「非投球シーン」(判定対象シーン)を誤って抽出するときは、断続的に判定が発生するが、正確に「投球シーン」を抽出する場合は、連続して正しい判定が発生する。
【００１３】
この傾向を利用し、手順Ｘ６にて取り込まれる各動画像フレームのマハラノビスの距離Ｄ2による判定結果を蓄積しておき、手順Ｘ７において、フレーム番号Fp-kからFpまでの間に存在するｋ個のフレームのうち、各動画像フレームのマハラノビスの距離Ｄ2がＤ2≦Ｄt2なる条件に適合するフレームが、上記ｋ個中ｊ個以上存在すると判定されるならば、フレーム番号がFpである判定対象フレームは、基準シーンに類似するシーンに属すると判定する。
【００１４】
シーン判定はフレーム単位で行うため、投球シーンであっても閾値を満たすフレームが必ずしも連続ではなく断続的に現れることがある。そのため、このような区間は前後の判断状況から連続的になるように処理する必要がある。このような判定方法（手順Ｘ７）を「包括判定」と名づける。次いで、当該判定対象フレームのマハラノビスの距離Ｄ2がＤ2≦Ｄt2なる条件に適合し、かつ連続するフレームを検出するなら、基準シーンに類似する特定シーンとして採用する。
【００１５】
図３は包括判定のロジックを示す実施例である。例えばｋ＝1０，ｊ＝５、現在のフレーム番号をFpとする。フレーム番号Fp-10からFpまでの１０フレームのうち、判定結果が“○”（適合）であるフレームの数をカウントし、それが５以上なら当該判定対象フレームFpは基準シーンに類似するシーンに属すると判定する。
【００１６】
連続する適合フレーム(投球シーン)の開始フレーム番号とその連続が終了するフレーム番号を検出し蓄積する。
【００１７】
判定対象フレーム中に抽出希望特定シーン以外のフレームが短時間（Ｊ＝５とすると最大で５フレーム）挿入されても、シーン全体に対する影響は少ないので、上記包括判定方式を用いて、全体を包括して抽出希望の特定シーンとして表示することが可能になる。
【００１８】
また、「包括判定」という方法により、適合率(正確に類似動画像シーンを判定した数)／(検索で判定された類似動画像シーン数)が高く連続した特定シーンを抽出することが可能となる。
【００１９】
次に、判定対象フレームにおけるシーンの変化に着目した特定シーン抽出方法について説明する。これは請求項２に対応するものである。
【００２０】
すなわち、複数の動画像フレームからなる映像母集団から視聴を希望する特定シーン（基準シーン）に該当する映像を抽出する方法において、
基準シーンを構成する動画像フレームの特徴に基づいて算出される閾値Ｄt2と、映像母集団から取り込まれるフレーム番号がＦnである判定対象フレームのマハラノビスの距離Ｄ2とを比較して、Ｄ2≦Ｄt2なる条件についての判定結果を蓄積し、
フレーム番号がＦn及びＦn-1である動画像フレームについてそれぞれ算出されるマハラノビスの距離Ｄn2及びＤn-12から、Ｄdn2＝｜Ｄn2−Ｄn-12｜で定義される差分値Ｄdn2を算出し、
前記差分値Ｄdn2と各基準シーンについて予め設定される閾値Ｄc2によるＤdn2＞Ｄc2なる条件が成立した時にシーンが変化した（「シーンチェンジ」という。）と判定し、
１つのシーンチェンジのフレーム番号Ｆnと次のシーンチェンジのフレーム番号Ｆmを検出し、フレーム番号ＦnからＦmまでの間に存在する複数の動画像フレームのうち、Ｄ2≦Ｄt2なる条件に適合して基準シーンに類似するシーンに属すると判定されるフレーム数の割合が、基準シーンに基づいて予め定めるシーン判定条件であるＲ％以上であるならば、
前記フレーム番号がＦnからＦmまでのフレームの集合を、基準シーンに類似する特定シーンとして採用することを特徴とする特定シーン抽出方法、である。
【００２１】
判定対象シーンのマハラノビスの距離は、（００１１）で述べたように、分布が１近辺にある基準シーンからの距離であるから一般に大きい値となる。シーンチェンジのときには画面全体に大きな動きベクトルが出現するので、マハラノビスの距離も大きくなる。これを利用してシーンチェンジを検出する。シーンチェンジの検出には隣り合うフレーム間の距離の差分をとることで判定する。この差分値が閾値Ｄc2を超えた時にシーンチェンジが起こったと判断する。
【００２２】
図１の手順Ｘ８において、フレーム番号がＦnである動画像フレームにおける基準シーンからのマハラノビスの距離Ｄn2と、フレーム番号がＦn-１である動画像フレームの基準シーンからのマハラノビスの距離Ｄn-12により、Ｄdn2＝｜Ｄn2−Ｄn-12｜で定義される差分値Ｄdn2を算出する。
【００２３】
シーンチェンジを検出するために、上記差分値Ｄdn2と各基準シーンについて予め設定される閾値Ｄc2により、手順Ｘ９とＸ１０において、Ｄdn2＞Ｄc2なる条件から、１つのシーンチェンジのフレーム番号Ｆn及び次のシーンチェンジのフレームＦmを検出する。フレーム番号ＦnからＦmまでの間に存在する複数のフレームのうち、Ｄ2≦Ｄt2なる条件により基準シーンに類似するシーンに属すると判定されるフレームの数の割合が、予め決められているシーン判定条件であるＲ％以上であるとき、前記フレーム番号FnからFmまでの動画像フレームの集合を基準シーンに類似する特定シーンとして採用する。
【発明の効果】
【００２４】
従来公知のブロック分割領域の動きベクトル分布による動画像抽出のアルゴリズムでは十分な再現率および適合率を得ることが難しい非定型的な特定シーンを、新しいアルゴリズムを加えて抽出し、再現率および適合率を向上させることができる。
【００２５】
この方法の効果は次の３点である。
（１）抽出を希望しない特定シーン以外の複数フレームが短時間挿入されていても、包括して抽出希望の特定シーンが多く含まれている連続したシーンの表示が可能となる。
（２）再現率を低下させず、適合率を改善できる。
（３）特定シーンに切り替わるときのフェイドイン、フェイドアウトにおける誤判別を避け、スムーズな判定となる。
【発明を実施するための最良の形態】
【００２６】
この発明を実施するための第１の実施形態として、上記の特定シーン抽出方法に基づく特定シーン抽出装置を挙げることができる。すなわち、
【００２７】
複数の動画像フレームからなる映像母集団から視聴を希望する特定シーン（基準シーン）に該当する映像を抽出する装置であって、
基準シーンを構成する複数の動画像フレームの特徴により算出する閾値Ｄt2と、映像母集団から取り込まれるフレーム番号がFpなる判定対象フレームのマハラノビスの距離Ｄ2とを比較し、Ｄ2≦Ｄt2なる条件に関する判定を行う特定シーン帰属度判定部と、
各判定対象フレームのマハラノビスの距離Ｄ2、および前記特定シーン帰属度判定部による判定結果を蓄積する判定結果蓄積部と、
フレーム番号Fp-kからFpまでの間に存在するｋ個のフレームのうち、Ｄ2≦Ｄt2なる条件に適合するフレームの数が上記ｋ個中ｊ個以上であるとき、フレーム番号がFpである判定対象フレームは基準シーンに類似するシーンに属すると判定する包括判定部とを有することを特徴とする特定シーン抽出装置、である。
【００２８】
この発明を実施するための第２の実施形態として、上記のシーンチェンジ検出を伴う特定シーン抽出方法に基づく特定シーン抽出装置を挙げることができる。すなわち、
【００２９】
基準シーンを構成する複数の動画像フレームの特徴により算出する閾値Ｄt2と、映像母集団から取り込まれるフレーム番号がFnなる判定対象フレームのマハラノビスの距離Ｄ2とを比較し、Ｄ2≦Ｄt2なる条件に関する判定を行う特定シーン帰属度判定部と、
フレーム番号がFnとFn-1である動画像フレームのそれぞれについて算出されるマハラノビスの距離Ｄn2及びＤn-12から、Ｄdn2＝｜Ｄn2−Ｄn-12｜で定義される差分値Ｄdn2を算出する差分値算出部と、
前記差分値Ｄdn2と、各基準シーンについて予め定める閾値Ｄc2により、Ｄdn2＞Ｄc2なる条件が成立した時にシーンチェンジが起きたと判定し、そのフレーム番号Ｆnを検出するシーンチェンジ検出部と、
１つのシーンチェンジのフレーム番号Ｆnから次のシーンチェンジのフレーム番号Ｆmまでの間に存在する複数の動画像フレームのうち、Ｄ2≦Ｄt2なる条件により基準シーンに類似するシーンに属すると判定されるフレームの数の割合が、予め定めるシーン判定条件であるＲ％以上であるとき、上記の、フレーム番号がFnからFmまでのフレームの集合を基準シーンに類似する特定シーンとして採用する、シーンチェンジ間フレームの帰属シーン判定部とを有することを特徴とする特定シーン抽出装置、である。
【実施例】
【００３０】
図５は本発明の一実施例としての特定シーン抽出装置の構成図である。図５において参照符号１１は映像装置、１２は映像信号前処理部、１３は動き量算出部、１４は動き量の基準からの距離算出部、１５はマハラノビスの距離Ｄ2の算出部、１６は各フレームの特定シーン帰属度判定部、１７は各フレームのＤ2および判定結果蓄積部、１８は包括判定部、１９はＤdn2差分値算出部、２０はシーンチェンジ検出部、２１はシーンチェンジ間フレームの帰属シーン判定部、２２は基準シーンに関する各パラメータ指定部である。
【００３１】
図３は包括判定のロジックの実施例を示す。例えばｋ＝１０，ｊ＝５、現在のフレーム番号をＦnとする。フレーム番号Fp-10からFpまでの１０フレームのうち、判定結果が“○”（適合）であるフレームの数をカウントし、それが５以上なら当該判定対象フレームFpは基準シーンに類似するシーンに属すると判定する。
【００３２】
ついで、判定対象フレームのマハラノビスの距離Ｄ2がＤ2≦Ｄt2なる条件に適合しかつ連続するフレームを検出すれば、基準シーンに類似する特定シーンとして採用する。
【００３３】
包括判定方式を用いて、抽出希望の特定シーン以外の複数フレームが短時間（ｊ＝５とすると、最大で５フレーム）挿入されても、シーン全体に対する影響は少ないので、包括して抽出希望の特定シーンとして表示が可能である。
【００３４】
シーンチェンジ検出部２０及びシーンチェンジ間フレームのシーン判定部２１において、フレーム番号がFnである動画像フレームにおける基準シーンからのマハラノビスの距離Ｄn2とフレーム番号がFn-１であるフレームの基準シーンからのマハラノビスの距離Ｄn-12によりＤdn2＝｜Ｄn2−Ｄn-12｜で定義される差分値Ｄdn2を算出するＤn2の差分値算出部と、画像の変化点（シーンチェンジという）を検出するために該差分値Ｄdn2と基準シーン毎に基準シーンからのマハラノビスの距離で予め実証的に設定される閾値Ｄc2により、Ｄdn2＞Ｄc2なる条件でシーンチェンジフレーム番号Ｆnを検出するシーンチェンジ検出部と、シーンチェンジ間のシーン判定部において、同様に検出した次のシーンチェンジフレームＦmまでの間の複数動画像フレーム、たとえば３００フレームのうち、Ｄ2≦Ｄt2なる条件により基準シーンに類似するシーンに属すると判定された動画像フレーム数が予め決められているシーン判定条件である、たとえば５０%以上であるとき、FnからFmまでの３００フレームの動画像フレームの集合を基準シーンに類似するシーンに属するフレームとして採用する。
【００３５】
「包括判定」という方法により、適合率(正確に類似動画像シーンを判定した数)／(検索で判定された類似動画像シーン数)が高く連続した特定シーンを抽出することが可能となる。
【産業上の利用可能性】
【００３６】
本発明により、デジタル家電の映像蓄積装置における特定シーン抽出だけでなく放送番組蓄積装置等における動画像の抽出が高い再現率および適合率で実現できる。本発明は、放送送出側の番組制作にあたり、撮影済みの画像データを効率的に管理できるほか、受信者側でも放送された番組を録画して保存した場合、必要により画像データを検索し、再生して鑑賞することができる。
【図面の簡単な説明】
【００３７】
【図１】マハラノビスの距離を用いた包括判定方式による特定シーン抽出方法における動作を説明するフローチャートである。
【図２】「投球シーン」(基準シーン)と「非投球シーン」(判定対象シーン)の各フレームのマハラノビスの距離Ｄ2を変量とした発生度数の分布と閾値Ｄt2との関係を示す概念図である。
【図３】包括判定のロジックの説明図である。
【図４】シーンチェンジの検出と意シーンチェンジ間フレームの帰属シーン判定を説明する図である。
【図５】実施例としての特定シーン抽出装置の構成図である。
【符号の説明】
【００３８】
１１  映像装置
１２  映像信号前処理部
１３  動き量算出部
１４  動き量の基準からの距離算出部
１５  マハラノビスの距離Ｄ2算出部
１６  各フレームの特定シーン帰属度判定部
１７  各フレームのＤ2及び判定結果蓄積部
１８  包括判定部
１９  マハラノビスの距離の差分値Ｄdn2算出部
２０  シーンチェンジ検出部
２１  シーンチェンジ間フレームの帰属シーン判定部
２２  基準シーンに関する各パラメータ指定部
Ｓ1  基準シーン映像信号の前処理手順
Ｓ2  基準シーン映像信号ブロックの動き量算出手順
Ｓ3  基準シーン映像信号の動き量データの基準化処理手順
Ｓ4  基準シーン映像信号のマハラノビスの距離算出手順
Ｓ5  基準シーンに関する各パラメータの指定手順
Ｘ1  判定対象シーン映像信号の前処理手順
Ｘ2  判定対象シーン映像信号ブロックの動き量算出手順
Ｘ3  判定対象シーン映像信号の動き量データの基準化処理手順
Ｘ4  判定対象シーン映像信号のマハラノビスの距離算出手順
Ｘ5  特定シーン帰属度判定手順
Ｘ6  Ｄ2及び判定結果蓄積手順
Ｘ7  包括判定手順
Ｘ8  差分値Ｄdn2算出手順
Ｘ9  シーンチェンジ検出手順
Ｘ10  シーンチェンジ間フレームの帰属シーン判定の手順
Ｄ2、Ｄn2  基準シーンからのマハラノビスの距離
Ｄt2、Ｄc2  判定のための閾値（＝Ｄs2の平均値＋Ｄs2の標準偏差）
Ｄdn2  マハラノビスの距離の差分値
Ｆn、Fp  フレーム番号
Ｒ（％）  シーン判定条件
【図１】
2006260237.tif 000003
【図２】
2006260237.tif 000004
【図３】
2006260237.tif 000005
【図４】
2006260237.tif 000006
【図５】
2006260237.tif 000007