(57)【要約】【課題】野球のホームランシーンのような非定型的なシーンを十分な再現率および適合率で抽出できる新たな動画像抽出アルゴリズムを提供すること。【解決手段】非定型的な特定シーンに先行して定型的継続的な先行シーンが存在する場合に、既知の抽出方法を適用して映像母集団から先行シーンに似ている映像フレームを継続して抽出して最終フレーム番号を取得し、映像母集団から取り出される被験フレームが、先行シーンの最終フレームより後方の予め統計的に得られている存在範囲内のものであり、かつ被験フレームの映像から求められるマハラノビスの距離の値が、予め求められている閾値の上下限の範囲内にあれば、被験フレームは特定シーンに似ていると判定する。また、被験フレームの音圧信号の平均値が、特定シーンに付随する音圧信号の上下閾値の範囲内か否かの判定を併用しても良い。【選択図】図１
2006293513.tif 000002
【特許請求の範囲】
【請求項１】
生起確率が高くない非定型的な特定のシーンに先行して、定型的継続的な先行シーンが存在する場合において、動画像情報を蓄積した映像母集団から視聴者が好む当該特定シーンに似ている映像のフレームを抽出する方法であって、
既知の抽出方法により、映像母集団から前記先行シーンに似ている映像フレームを当該シーンが終了するまで継続して抽出し、その最終フレーム番号を取得し、
映像母集団から取り出される映像フレーム（以下「被験フレーム」という。）が、前記先行シーンの最終フレームより後方の、当該特定シーンについて予め統計的に得られている存在範囲内のものであり、かつ、被験フレームの映像から求められるマハラノビスの距離の値が、前記特定シーンについて予め求められている閾値の上下限の範囲内にあるならば、当該被験フレームは、前記特定シーンに似ている映像のフレームであると判定することを特徴とする映像抽出方法。
【請求項２】
前記マハラノビスの距離についての閾値による判定に加え、又は替えて、被験フレームに付随する音圧信号の平均値が、前記特定シーンに付随する音圧信号ついて予め求められている上下閾値の範囲内か否かの判定を行い、両者の判定結果の一方又は双方（替える場合を除く）が真であるならば、当該被験フレームは、前記特定シーンに似ている映像のフレームであると判定することを特徴とする請求項１記載の映像抽出方法。
【請求項３】
少なくとも映像母集団装置、特徴パラメータ保存部、マハラノビスの距離算出部、先行シーン判定部、フレーム範囲指定部、特定シーン判定部を備え、請求項１又は２記載の映像抽出方法を実施することを特徴とする、映像母集団から視聴者が好む特定シーンに似ている映像を抽出する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ放送番組蓄積装置、画像蓄積装置や監視システムなどの映像システムにおいて、表示される映像の動きの特徴をブロック分割領域の動きベクトルを用いて定義することにより、大量の映像データの中から特定の場面を容易に取り出したり、リアルタイムに特定の動きが存在する場面を抽出する方法および装置に関する。
【背景技術】
【０００２】
多チャンネル時代の到来と共に膨大な映像データがテレビ放送され、インターネットの普及により様々な映像コンテンツが家庭内にまで配信される時代となっている。家電業界では、ＤＶＤなどの光技術やＨＤＤなどの磁気記録技術の進展により、大容量の映像（動画）記憶装置が安価に実現可能となった。またＤＶＤ／ＨＤＤレコーダー、ホームサーバーなどで大量の映像（動画）コンテンツの蓄積が容易になってきている反面、好みの特定の場面をいつでもどこでも誰でもが検索し見ることの出来る新しい映像データベースシステムの実現が期待されている。
【０００３】
特許文献１及び非特許文献１では、動画像の映像画面をいくつかのブロックに分割し、各ブロック中の動きベクトルの大きさを用いて特定シ−ンを抽出する技術が開示されている（以下「開示技術」という）。開示技術によれば、映像の動きの情報を統計的に解析して映像の動き量の変化や特徴を特徴パラメータとして把握し、基準画像の特徴パラメータと検索対象画像の特徴パラメータとを比較することより、シーンの類似度を判定することが可能である。
【０００４】
【特許文献１】特願2004-114997  「ブロック分割領域における動きベクトルの分布を利用した特定シーン抽出方法及び装置」
【特許文献２】特願2004-076112 「複数のアルゴリズムを利用する動画像抽出装置」
【非特許文献１】「動きベクトルに基づく特定シーン検索の方法に関する一検討」画像電子学会  第２０７回研究会２００４．２．２４
【非特許文献２】渡部昭彦、他「マハラノビスの距離を利用した映像サービスシステム上の特徴シーン抽出方式と映像検索システム」画像電子学会第２１５回研究会２００４．１１．１９
【０００５】
上記特許文献１及び非特許文献１に開示された動画像抽出方法の原理は次のようになっている。
【０００６】
映像母集団から視聴を希望する特定シーン（以下「基準シーン」という。）に該当する映像を抽出する方法であって、予め用意されている基準シーンの映像信号を前処理して、基準シーンを代表するサンプル数Ｓのフレームを取り込み、各フレームの画像をｋ×ｋ＝Ｎ個（Ｎは１００≧Ｎ≧４、望ましくは３６≧Ｎ≧９である整数）のブロックに分割する。
【０００７】
各ブロック内の動きベクトルの大きさの総和を求めて各ブロックの動き量ｍs,n（ｓ＝１〜Ｓ,ｎ＝１〜Ｎ）を計算し、前記動き量ｍs,nをＳフレームに亘って平均して平均値ｍpnと標準偏差ｍsdnを求め、各ブロックの基準化動き量Ｍs,nを計算する。
【０００８】
前記基準化動き量Ｍs,nを要素とする基準化行列Ｖとその転置行列Ｖt、並びにＭs,n間の相関係数を要素とする相関係数行列Ｒの逆行列Ｒ-1を作成し、式：Ｄs2=(ＶＲ-1Ｖt)/Ｎ  により基準シーン中の各フレームについてのマハラノビスの距離Ｄs2（ｓ＝１〜Ｓ）を計算する。
【０００９】
さらに、各フレームのマハラノビスの距離Ｄs2を変量としたＤs2の発生度数分布を正規分布とみなして(近似して)、Ｄs2の平均値＋Ｄs2の標準偏差で定義される閾値Ｄt2を算出する。
【００１０】
一方、基準シーンとの近似度を判定するために、映像母集団のフレーム（以下「被験フレーム」という。）を次々と取り込み、各フレームを上記と同様にＮ個のブロックに分割し、かつ上記と同様に各ブロック内の動き量ｍn（ｎ＝１〜Ｎ）を計算し、前記基準シーンに関する動き量の平均値ｍpn、標準偏差ｍsdnを用いて、動き量ｍnの分布の、前記基準シーンにおける動き量の平均値ｍpnの分布からの乖離を標準偏差ｍsdnを単位として測った距離Ｍn（ｎ＝１〜Ｎ）を求める。
【００１１】
前記距離Ｍnを要素とする１次元の基準化行列ＶMとその転置行列ＶMt、及び前記基準シーンに関して作成した相関係数行列の逆行列Ｒ-1を用いて、式：Ｄ2=(ＶMＲ-1ＶMt)/Ｎ  により被験フレームについてマハラノビスの距離Ｄ2を求め、Ｄ2≦Ｄt2  ならば、当該被験フレームは、基準シーンに似ている映像のフレームであると判定する。
【００１２】
開示技術における検出率（シーンの検索精度）は、正確に検出された特定シーンを対象となるシーンの総数で除した割合（百分率）と定義されている。非特許文献１では検出率をさらに再現率および適合率に分けて定義されている。例えば、野球の投球シーンにおける再現率および適合率はつぎのように定義されている。
再現率＝（正確に投球シーンを判定した数）／（実際の投球シーン数）
適合率＝（正確に投球シーンを判定した数）／（検索で判定された投球シーン数）
【００１３】
閾値Ｄt2は  Ｄs2の平均値＋Ｄs2の標準偏差  で定義されるので、Ｄs2の標準偏差が大きいと閾値Ｄt2は大きい値となり、Ｄ2≦Ｄt2  で判定されるＤ2の発生の確率は大きくなり、適合率は低下する。すなわち誤りのシーンを抽出しやすくなる。
【００１４】
上記特許文献１及び非特許文献１に開示された動画像抽出方法では、前記Ｄs2の標準偏差を小さくする方が適合率を大きくできるので、抽出を希望する特定シーン（基準シーン）としては、次のような条件を満たすシーンであることが望ましい。
（１） 映像は、予め定められた働きをするカメラワークで撮影する。
（２） 類似の映像フレームが繰り返し現れる。
（３） 特定シーンには、これらを特徴づける動きベクトル絶対値が現れる。
野球における「ピッチングシーン」は、このような条件を備えた類似画像抽出に適当なシーンの一例である。
【００１５】
しかしながら抽出を希望する特定シーン、例えば野球におけるホームランシーンや、大相撲における勝負の決まった場面など、いわゆるハイライトシーンは、前記の条件を満たすような定型的シーンではない場合が多い。前記Ｄs2の標準偏差の値は大きくなり、適合率は低下する。すなわち誤りのシーンも抽出してしまう。視聴を希望する特定シーン（「基準シーン」）におけるＤs2の標準偏差が大きく非定型的なシーン（いわゆるハイライトシーンに多い）は、従来公知のブロック分割領域の動きベクトル分布による動画像抽出のアルゴリズムでは十分な再現率および適合率を得ることが難しいという問題がある。
【００１６】
特許文献２には、補助アルゴリズムとの組合せ、およびテロップ、音響を利用して再現率および適合率を向上した動画像抽出装置の例が紹介されている。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明が解決しようとする課題は、従来公知の動画像抽出アルゴリズムによっては、野球におけるホームランシーンや大相撲における勝負の決まった場面のような非定型的なシーンを十分な再現率および適合率で抽出できないという問題点を克服するために、これら非定型シーンの抽出において再現率及び適合率を向上させ得る新たな動画像抽出アルゴリズムを提供することである。
【課題を解決するための手段】
【００１８】
上記の課題は、以下に述べる方法により解決することができる。すなわち、
【００１９】
生起確率が高くない非定型的な特定のシーン（例えばホームランシーン）に先行して、定型的継続的な先行シーン（例えばピッチングシーン）が存在する場合において、既知の抽出方法により、映像母集団から前記先行シーンに似ている映像フレームを当該シーンが終了するまで継続して抽出し、その最終フレーム番号を取得し、映像母集団から取り出される被験フレームが、前記先行シーンの最終フレームより後方の、当該特定シーンについて予め統計的に得られている存在範囲内のものであり、かつ、被験フレームの映像から求められるマハラノビスの距離の値が、前記特定シーンについて予め求められている閾値の上下限の範囲内にあるならば、当該被験フレームは、前記特定シーンに似ている映像のフレームであると判定する方法である。
【００２０】
さらに、前記のマハラノビスの距離についての閾値による判定に加え、又は替えて、被験フレームに付随する音圧信号の平均値が、前記特定シーンに付随する音圧信号ついて予め求められている上下閾値の範囲内か否かの判定を行い、両者の判定結果の一方又は双方（替える場合を除く）が真であるならば、当該被験フレームは、前記特定シーンに似ている映像のフレームであると判定することもできる。
【００２１】
図１は本発明に係る、先行シーンの存在を利用した特定シーンの映像の抽出方法における動作を説明するフローチャートである。また、図２は当該方法における判定のアルゴリズムについて説明する概念図である。
【００２２】
図１において、参照符号Ｘ１は特徴パラメータ算出ステップ（総称）、Ｘ２は先行シーンの特徴パラメータ算出ステップ、Ｘ３は先行シーン判定のための閾値算出ステップ、Ｘ４は特定シーンの映像フレーム存在範囲算出ステップ、Ｘ５は特定シーン判定のための閾値の上下限値算出ステップ、Ｘ６は音圧レベルの判定値算出ステップ、Ｘ７は先行シーンへの類似性判定ステップ（総称）、Ｘ８は映像信号前処理ステップ、Ｘ９は被験フレームについてのマハラノビスの距離算出ステップ、Ｘ１０は先行シーンへの類似性判定ステップ、Ｘ１１は先行シーンに類似する被験フレーム番号の記録ステップ、Ｘ１２は特定シーンのフレーム存在範囲指定ステップ、Ｘ１３は特定シーンへの類似性判定ステップ、Ｘ１４は特定シーンの音声による判定ステップを示す。
【００２３】
図２において、抽出したい特定シーンに先立って出現する先行シーン、例えば野球の"ピッチングシーン"の動画像を、先行シーンについてのマハラノビスの距離の閾値Ｄt2に基いて抽出し、これを先行シーンが終了するまで継続して、最終のフレーム番号Ｆmeを取得する。
【００２４】
後続の特定シーンが出現する時間は"先行シーンの終端＋一定の時間間隔"の間である。例えば野球の場合は"ホームランシーン"や"ファインプレー"といったハイライトシーンがここにいう特定シーンであるが、これらはピッチングシーンの終了から50〜120秒後に出現することが統計的に知られている。そこで、先行シーンの終端のフレーム番号Ｆmeに続く、一定の時間間隔を表すフレーム数ＰとＱ（Ｐ、Ｑは整数、Ｐ＜Ｑ）による範囲：Ｆme＋Ｐ〜Ｆme＋Ｑの間に被験フレームＦnが存在するかどうかを調べる。
【００２５】
上記の存在範囲の条件が満たされている条件下で、被験フレームＦnのマハラノビスの距離Ｄ2と、予め特定シーンの動画像から求めてある閾値の上下限値Ｄl2とＤu2とを用いて、Ｄl2≦Ｄ2≦Ｄu2が真ならば、当該被験フレームＦnを目的とする映像のフレームとして採用する。
【００２６】
例えばホームランではカメラワークが激しく変化し、動画像の動きベクトルが増大する。従って先行シーンからのマハラノビスの距離は大きくなるので、マハラノビスの距離Ｄ2が閾値Ｄl2を超えるものはン"ホームラン"であると判定する。"ホームラン"の場合は動きが非常に大きくなるので、Ｄu2は∞となるが、例えば、ヒットシーンなどでは、Ｄl2≦Ｄ2≦Ｄu2なる閾値の範囲で判定する。
【００２７】
さらに、この動画像の特徴だけでは適合率が低い場合は、見たいシーンの動画像に随伴する音声の特徴を利用して適合率を上げることができる。
【００２８】
特定シーンの音声の特徴は、例えばホームランシーンなどいろいろなハイライトシーンの音圧の平均値データから、予め音圧レベルの閾値ＳlとＳu（Ｓl＜Ｓu）として用意しておく。
【００２９】
フレーム番号Ｆnの被験フレームが目的とするフレームに該当するがどうかの判定は、フレームＦnにおける音圧レベルの平均値Ｓnを求め、当該平均値が予め設定されている音圧レベル閾値ＳlとＳuを用い、Ｓl＜Ｓn＜Ｓuなる条件を満たすならば、当該被験フレームは目的とするフレームに該当すると判定する。
【００３０】
音声による特定シーンの判定条件は次のようである。
(1) 時間数はフレーム数に変換する。
(2) 音声による特定シーンの判定は各被験フレームについて行う。
(3) ＭＰＥＧ−２の音声フォーマットにおける音声データは映像フレームにリンクしているので、先行シーンと判定された被験フレームの終端のフレーム番号を開始点として、時間数をフレーム数でカウントする。また音圧レベル閾値ＳlとＳuの範囲により音圧レベルが検出された開始フレーム番号や終了フレーム番号は、タイムスタンプにより記録し再生する。
【００３１】
(4) 先行シーンの終端のフレームを開始点として、「音圧によるイベント指標作成」のためのフレーム単位での平均音圧レベルを取り出す。
(5) 音圧レベルの取り出しは、予め定めた音声データのフレーム番号で規定する。音圧レベル処理の高速化のための音声データの間引きを考慮することができる。
【００３２】
(6) 後続の特定シーンの動画像フレームを判定する場合、抽出したい特定シーンの動画像のマハラノビスの距離Ｄ2と閾値Ｄl2とＤu2とを用い、Ｄl2≦Ｄ2≦Ｄu2なる閾値の範囲で判定することと平行して、随伴する音声の音圧レベル閾値ＳlとＳuで判定する場合、各映像フレームの判定だけでなく、判定の連続性をとりいれた判定条件を設定することができる。
【発明の効果】
【００３３】
従来公知のブロック分割領域の動きベクトル分布による動画像抽出のアルゴリズムでは十分な再現率および適合率を得ることが難しいＤｓ2の標準偏差が大きい非定型的な特定シーン（いわゆるハイライトシーンに多い）を、新しいアルゴリズムを加えて抽出し、再現率および適合率を向上することができる。
【発明を実施するための最良の形態】
【００３４】
本発明を実施するための最良の形態を、以下の実施例を通じて説明する。
【実施例】
【００３５】
図３は、先行シーンの存在を利用した特定シーン映像の抽出方法に基づく特定シーン抽出装置の構成図である。
【００３６】
図３左側の列において、参照符号１１は基準シーン特徴パラメータ保存部、ここにｍpn、ｍsdn、Ｒ-1（１２）、先行シーン判定のための閾値Ｄt2（１３）、特定シーン映像のフレーム存在範囲Ｆme＋Ｐ〜Ｆme＋Ｑ（１４）、特定シーン判定のための閾値の上下限値Ｄl2とＤu2（１５）、音圧レベルの判定値ＳlとＳu（１６）が保存される。
【００３７】
図３右側の列において、参照符号１８は映像母集団装置、１９はフレーム番号Ｆmなる被験フレームの先行シーンへの帰属判定のためのマハラノビスの距離Ｄ2の算出部、２０は当該のマハラノビスの距離Ｄ2と先行シーンのマハラノビスの距離に基づく閾値Ｄt2とを比較する先行シーン帰属判定部、２１は先行シーンに帰属と判定された被験フレーム番号Ｆmeの逐次記録部、２２は特定シーン映像のフレーム存在範囲を指定するフレーム範囲指定部、２３は被験フレームが特定シーン映像に属するかを判定する特定シーン判定部、２４は特定シーンの音声判定部である。
【００３８】
図４は図３に示す特定シーン抽出装置の原理と動作を説明する図である。図４における先行シーンは野球の"ピッチングシーン"である。これに続く"ホームランシーン"や"ファインプレー"といったハイライトシーンは"ピッチングシーン"の終端から50〜120秒の間に発生することが統計的に実証されている。
【００３９】
まず先行シーンである"ピッチングシーン"は、公知技術のアルゴリズムで抽出される。"ピッチングシーン"に後続時間条件があるかどうかを判別し、後続条件データがあると、抽出した"ピッチングシーン"の終端から経過時間をカウントする。時間のカウントは映像フレーム数に換算して行う。
【００４０】
抽出したいホームランシーンの出現に一定時間先立って出現することが予め分かっている再現率の高い定型的な"ピッチングシーン"を、マハラノビスの距離の閾値Ｄt2（第１特徴パラメータ）に基いて先ず抽出し、これが抽出されたとの条件下で、続いて出現するかも知れない"ホームランシーン"のマハラノビスの距離の閾値Ｄc2（第２特徴パラメータ）と、随伴する音圧信号の閾値Ｓt（第３特徴パラメータ）で判定し、これらの判定条件が満たされれば、"ホームランシーン"の映像フレームであるとして採用する。
【産業上の利用可能性】
【００４１】
本発明により、デジタル家電の映像蓄積装置における特定シーン抽出だけでなく放送番組蓄積装置等における動画像の抽出が高い再現率および適合率で実現できる。本発明は、放送送出側の番組制作にあたり、撮影済みの画像データを効率的に管理できるほか、受信者側でも放送された番組を録画して保存した場合、必要により画像データを検索し、再生して鑑賞することができる。
【図面の簡単な説明】
【００４２】
【図１】先行シーンの存在を利用した特定シーンの映像の抽出方法における手順を説明するフローチャートである。
【図２】先行シーンの存在を利用した特定シーンの映像の抽出方法における判定アルゴリズムについて説明した概念図である。
【図３】先行シーンの存在を利用した特定シーンの映像の抽出方法に基づく特定シーン抽出装置の構成図である。
【図４】「ホームランシーン」を抽出する装置の原理と動作を説明する概念図である。
【符号の説明】
【００４３】
Ｎ：映像画面のブロック分割数
Ｓ：サンプルフレームの数
ｍs,n（s＝１〜Ｓ、ｎ＝１〜Ｎ）：各ブロック内の動き量
ｍpn：動き量の平均値
ｍsdn：動き量の標準偏差
Ｍs,n：動き量の分布の平均値からの乖離を表す基準化距離
Ｖ：Ｍs,nを要素とする基準化行列
Ｖt：Ｖの転置行列
Ｒ：Ｍs,n間の相関係数を要素とする相関係数行列
Ｒ-1：Ｒの逆行列
Ｄs2（ｓ＝１〜Ｓ）：マハラノビスの距離
Ｄt2：マハラノビスの距離に対する閾値
Ｄl2とＤu2：マハラノビスの距離に対する閾値の上下限値
ＳlとＳu：音圧レベルの判定値
Ｆme：先行シーンに類似する最終の被験フレームの番号
ＰとＱ：Ｆmeの後に特定シーンのフレームが存在しうる範囲
１１：特徴パラメータ保存部（総称）
１２：先行シーンの特徴パラメータ
１３：先行シーン判定のための閾値
１４：特定シーンの映像フレーム存在範囲
１５：特定シーン判定のための閾値の上下限値
１６：音圧レベルの判定値
１７：先行シーンへの類似性判定部（総称）
１８：映像母集団装置
１９：先行シーンへの類似性判定のためのマハラノビスの距離算出部
２０：先行シーンへの類似性判定部
２１：先行シーンに類似する被験フレーム番号の記録部
２２：特定シーンのフレーム存在範囲指定部
２３：特定シーンへの類似性判定部
２４：特定シーンの音声判定部
Ｘ１：特徴パラメータ算出ステップ（総称）
Ｘ２：先行シーンの特徴パラメータ算出ステップ
Ｘ３：先行シーン判定のための閾値算出ステップ
Ｘ４：特定シーンの映像フレーム存在範囲算出ステップ
Ｘ５：特定シーン判定のための閾値の上下限値算出ステップ
Ｘ６：音圧レベルの判定値算出ステップ
Ｘ７：先行シーンへの類似性判定ステップ（総称）
Ｘ８：映像信号前処理ステップ
Ｘ９：被験フレームについてのマハラノビスの距離算出ステップ
Ｘ１０：先行シーンへの類似性判定ステップ
Ｘ１１：先行シーンに類似する被験フレーム番号の記録ステップ
Ｘ１２：特定シーンのフレーム存在範囲指定ステップ
Ｘ１３：特定シーンへの類似性判定ステップ
Ｘ１４：特定シーンの音声による判定ステップ
【図１】
2006293513.tif 000003
【図２】
2006293513.tif 000004
【図３】
2006293513.tif 000005
【図４】
2006293513.tif 000006