(57)【要約】【課題】シナリオを伴う「関連シーンの集合」を高い再現率及び適合率で抽出すること。【解決手段】動画像情報を蓄積した映像母集団から、相互に関連する一連の視聴したいシーンの集合（「関連シーンの集合」）に似ている集合的映像を抽出する方法であって、前記関連シーンの集合の中で中核となるシーンを選定し、動画像中の動きベクトルが有する統計的特徴を利用する既知の抽出方法により、映像母集団から中核シーンに似ているシーンを抽出し、当該抽出されたシーンの開始点・終了点である画像フレームの番号と、関連シーンの集合の種類により当該集合の中で中核シーンの前後に存在することが予め統計的に知られている画像フレームの数とから、映像母集団中の抽出すべき集合的映像の開始点と終了点を知る。【選択図】図１
2006287786.tif 000002
【特許請求の範囲】
【請求項１】
動画像情報を蓄積した映像母集団から、相互に関連する一連の視聴したいシーンの集合（「関連シーンの集合」という。）に似ている集合的映像を抽出する方法であって、
前記関連シーンの集合の中で中核となるシーン（「中核シーン」という。）を選定し、動画像中の動きベクトルが有する統計的特徴を利用する既知の抽出方法により、映像母集団から中核シーンに似ているシーンを抽出し、
当該抽出されたシーンの開始点・終了点である画像フレームの番号と、関連シーンの集合の種類により当該集合中で中核シーンの前後に存在することが予め統計的に知られている画像フレームの数とから、映像母集団中の抽出すべき集合的映像の開始点と終了点を知ることを特徴とする集合的映像の抽出方法。
【請求項２】
前記中核シーンの特徴パラメータ、関連シーンの集合の中で中核シーンの前後に存在する画像フレームの数、及び前記中核シーンのサンプル映像をリムーバブルメディア（可搬型記録媒体）に記録・保持することを特徴とする請求項１記載の集合的映像の抽出方法における情報保持方式。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ放送番組蓄積装置、画像蓄積装置や監視システムなどの映像システムにおいて、表示される映像の動きの特徴をブロック分割領域の動きベクトルを用いて定義することにより、大量の映像データの中から特定の場面を容易に取り出したり、リアルタイムに特定の動きが存在する場面を抽出する方法及び当該方法における情報保持方式に関する。
【背景技術】
【０００２】
多チャンネル時代の到来と共に膨大な映像データがテレビ放送され、インターネットの普及により様々な映像コンテンツが家庭内にまで配信される時代となっている。家電業界では、ＤＶＤなどの光技術やＨＤＤなどの磁気記録技術の進展により、大容量の映像（動画）記憶装置が安価に実現可能となった。またＤＶＤ／ＨＤＤレコーダー、ホームサーバーなどで大量の映像（動画）コンテンツの蓄積が容易になってきている反面、好みの特定の場面をいつでもどこでも誰でもが検索し見ることの出来る新しい映像データベースシステムの実現が期待されている。
【０００３】
特許文献１及び非特許文献１には、動画像中の動きベクトルが有する統計的特徴を利用して膨大な映像データベースの中から抽出を希望する自分の見たい特定なシーンを抽出する方法が開示されている（以下「開示技術」という）。開示技術によれば、映像の動きの情報を統計的に解析して映像の動き量の変化や特徴を特徴パラメータとして把握し、基準画像の特徴パラメータと検索対象画像の特徴パラメータとを比較することより、シーンの類似度を判定する。
【０００４】
【特許文献１】特願2004-114997「ブロック分割領域における動きベクトルの分布を利用した特定シーン抽出方法及び装置」
【非特許文献１】「動きベクトルに基づく特定シーン検索の方法に関する一検討」画像電子学会  第２０７回研究会２００４．２．２４
【０００５】
上記特許文献１及び非特許文献１に開示された開示技術では、視聴を希望する特定シーン（「基準シーン」）の動画像の各フレームについてマハラノビスの距離Ｄs2（ｓ＝１〜Ｓ）を求め、Ｄs2の発生度数分布を正規分布とみなし、Ｄs2の平均値＋Ｄs2の標準偏差  で定義される閾値Ｄt2を算出する。一方、似ているかどうかを判定されるべきフレーム（「被験フレーム」）についても、前記基準シーンからのマハラノビスの距離Ｄ2を求め、Ｄ2≦Ｄt2  ならば、当該被検フレームは、基準シーンに近似するシーンに属すると判定する。閾値Ｄt2は  Ｄs2の平均値＋Ｄs2の標準偏差  で定義されるので、Ｄs2の標準偏差が大きいと閾値Ｄt2は大きい値となり、Ｄ2≦Ｄt2  により似ていると判定されるＤ2の発生の確率は大きくなる。すなわち、誤りのシーンを抽出しやすくなる。
【０００６】
開示技術では検索精度を  正確に検出されたシーン／対象となるシーンの総数  で定義される検出率（百分率）で表す。非特許文献１では検出率をさらに再現率および適合率に分けて定義している。例えば、野球の投球シーンにおける再現率および適合率はつぎのように定義されている。
再現率＝（正確に投球シーンを判定した数）／（実際の投球シーン数）
適合率＝（正確に投球シーンを判定した数）／（検索で判定された投球シーン数）
【０００７】
視聴を希望する特定シーン（基準シーン）としては、次のような条件を満たす定型的シーンを用いれば、Ｄs2の標準偏差を小さくし適合率を大きくすることができる。
（１） 映像は、予め定められた働きをするカメラワークで撮影する。
（２） 類似の映像フレームが繰り返し現れる。
野球における「投球シーン」は、このような条件を備えた類似画像抽出に適当なシーンの一例である。
【０００８】
しかし一般に視聴者が視聴を希望するシーンは、定型的な単独シーンだけでなく、「バッター登場から、投球シーンを経て、ヒットまで」のような筋書き（シナリオ）のある、相互に関連する一連のシーンの集合（以下「関連シーンの集合」と呼ぶ。）である場合が多い。
【０００９】
前記（１）及び（２）のような条件を備える基準シーンの画像は適合率の高い類似画像抽出に適するが、非定型的な画像の抽出には適さない場合が多い。例えば野球における「投球シーン」は、高い適合率で抽出できるが、視聴者はその「投球シーン」だけを視たいのではなく、「バッターボックスに入るバッター」から「ホームラン」「ヒット」などのイベントが終わるまでのシナリオを伴った一連の「関連シーンの集合」全体の視聴を希望することが通例である。
【００１０】
「バッターボックスに入るバッター」のシーンは比較的繰り返しのすくない非定型的シーンであり、Ｄs2の標準偏差が大きく、前記開示技術では十分な再現率および適合率を実現することが困難であった。すなわち、シナリオを伴った「関連シーンの集合」を高い再現率及び適合率で抽出することが困難であるという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明が解決しようとする課題は、動画像情報を蓄積した映像母集団から、シナリオを伴って相互に関連する一連の視聴したいシーンの集合（「関連シーンの集合」）を高い再現率及び適合率で抽出することが困難であるという前記開示技術の問題点を克服して、再現率及び適合率を向上させ得る新たなシーン抽出方法、及び当該方法における情報保持方式を提供することである。
【課題を解決するための手段】
【００１２】
上記の課題は、以下に述べる「集合的映像の抽出方法」により解決することができる。すなわち、
【００１３】
前記関連シーンの集合の中で中核となるシーン（「中核シーン」という。）を選定し、動画像中の動きベクトルが有する統計的特徴を利用する既知の抽出方法により、映像母集団から中核シーンに似ているシーンを抽出し、当該抽出されたシーンの開始点・終了点である画像フレームの番号と、関連シーンの集合の種類により当該集合の中で中核シーンの前後に存在することが予め統計的に知られている画像フレームの数とから、映像母集団中の抽出すべき集合的映像の開始点と終了点を知るという方法である。
【００１４】
図１は、例えば「バッター登場から、投球シーンを経て、ヒットまで」のような筋書き（シナリオ）のある、一連の視たいシーンに似た集合的映像を抽出する場合の概念図である。図の中央部分の点線で囲んだ部分は、中核シーン（例えば「投球シーン」）に似ているシーンとして抽出されたシーンである。この抽出されたシーンの前後に、例えばＰフレームを占める先行シーンとしての「バッターの登場シーン」と、Ｑフレームを占める後続シーンとしての「ヒットのシーン」が接続されて、一連のシーンの全体集合が形成される。
【００１５】
この場合、従来の抽出方法で"正式に"抽出されるものは中核シーン類似のシーンのみである。当該抽出されたシーンの前後に接続されるシーンは、その前端、後端を起点としてそれぞれ前方へＰフレーム分、後方へＱフレーム分を指定することにより、いわば"簡便法"で抽出される。
【００１６】
上記の「中核シーン」には、Ｄs2の標準偏差が小さいシーンを選ぶので、Ｄs2の平均値＋Ｄs2の標準偏差  で定義される閾値Ｄt2は小さい値となり、Ｄs2≦Ｄt2  で判定される「非中核シーン」Ｄ2の発生の確率は小さくなる。すなわち、適合率は高くなる。
【００１７】
この「中核シーン」に類似するとして高い適合率で抽出されるシーンの前端のフレーム番号Ｆns及び後端のフレーム番号Ｆneを記録しておく。実際の記録にあたっては、フレーム番号はタイムスタンプ（記録用のフレーム番号）を付与して記録される。
【００１８】
前記抽出されるシーンの前端、後端を起点としてＰフレームを占める先行シーン及びＱフレームを占める後続シーンの大きさ（フレーム数）については、予め多くの映像データベースで測定を行い統計的に処理した結果を用いる。これらＰとＱの数値は、野球や相撲等関連シーンの集合の種類別に値が得られている。
【００１９】
このようにして抽出されるシーンの前端・後端のフレーム番号ＦnsとＦne、並びに先行・後続シーンの大きさＰとＱが得られたならば、映像母集団のフレーム番号Ｆs＝Ｆns−ＰからＦe＝Ｆne＋Ｑまでの間に存在する映像が、抽出したい集合的映像である。
【００２０】
シナリオを伴った「関連シーンの集合」を抽出する例としては、野球における「投球シーン」を中核シーンとして抽出を実施した上で、視聴を希望するその前後の「バッター登場シーン」から「ホームランシーン」までを抽出し表示する集合的映像抽出例を挙げることができる。
【００２１】
また、大相撲における「仕切りなおし」のシーンを中核シーンとして、「呼び出しシーン」から「勝負あったのシーン」までを抽出し表示する集合的映像抽出例が挙げられる。
【発明の効果】
【００２２】
一般に視聴者が視聴を希望するシーンは、定型的な単独シーンだけでなく、シナリオを伴った、相互に関連する一連のシーンの集合（「関連シーンの集合」）である場合が多い。本発明によれば、そのような集合的映像を高い再現率及び適合率で抽出することができる。
【発明を実施するための最良の形態】
【００２３】
本発明の一実施形態として、上記の集合的映像の抽出方法における各種パラメータの数値やサンプル画像を記憶・保持する情報保持方式を挙げることができる。
【００２４】
すなわち、前記中核シーンの特徴パラメータ、関連シーンの集合の中で中核シーンの前後に存在する画像フレームの数、及び前記中核シーンのサンプル映像をリムーバブルメディア（可搬型記録媒体）に記録・保持する情報保持方式である。
【実施例】
【００２５】
図２は、本実施形態による情報保持方式の構成と、集合的映像の抽出方法に用いる各種パラメータ等をリムーバブルメディアに保持した状態を示す概念図である。
【００２６】
図２において、ＣＤ−ＲＯＭ、ＨＤＤ（ハードディスク）、ＤＶＤ−ＲＯＭなどの記録媒体（X9）を搭載しているＨＤＤデコーダー、ＤＶＤデコーダーなどの映像蓄積装置（X8）からX10の方向に出力された抽出対象の映像（X1)は、X6の中核シーンの特徴パラメ―タを用いて、特徴パラメータ算出部(X3)にて、抽出対象の特徴パラメータを算出し、比較部(X4)に入力する。一方、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭなどのリムーバブルメディア(可搬型記録媒体)(X7)に記録された「関連シーンの集合」の特徴パラメータ(X6)を比較部(X4)に入力し、両特徴パラメータを比較し、被験フレームの映像が中核シーンに類似する映像かどうかを判定する。抽出された映像はタイムスタンプ付与(X5)を行い、再び映像記録装置に記録される。抽出された映像を表示するときは、タイムスタンプされたフレーム番号を用いて記録された映像の再生と表示を行う。
【産業上の利用可能性】
【００２７】
本発明により、映像蓄積装置における特定シーン抽出だけでなく、放送番組蓄積装置等における動画像の抽出が高い再現率および適合率で実現できる。本発明は、放送送出側の番組制作にあたり、撮影済みの画像データを効率的に管理できるほか、受信者側でも放送された番組を録画して保存した場合、必要により画像データを検索し、再生して鑑賞することができる。
【図面の簡単な説明】
【００２８】
【図１】シナリオを伴う一連の視たいシーンに似た集合的映像を抽出する場合の概念図である。
【図２】情報保持方式の構成と、集合的映像の抽出方法に用いる各種パラメータ等をリムーバブルメディアに保持した状態を示す概念図である。
【符号の説明】
【００２９】
Ｘ１：抽出対象の映像
Ｘ２：特定シーン
Ｘ３：特徴パラメータ算出部
Ｘ４：比較部
Ｘ５：タイムスタンプ付与部
Ｘ６：シナリオを伴った「関連シーンの集合」の特徴パラメータ
Ｘ７：ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭなどのリムーバブルメディア（可搬型記録媒体）
Ｘ８：映像蓄積装置（ＨＤＤレコーダー、ＤＶＤレコーダーなど）
Ｘ９：記録媒体（ＣＤ−ＲＯＭ、ＨＤＤ、ＤＶＤ−ＲＯＭディスクなど）
Ｘ１０：映像の方向
【図１】
2006287786.tif 000003
【図２】
2006287786.tif 000004