(57)【特許請求の範囲】
【請求項１】
映像をフレーム単位でアクセス可能な形態として入力、提示する映像提示方法において、
入力された映像内容の動き特徴量をフレーム毎に検出する過程と、
該動き特徴量が予め設定されている閾値を下回ったフレームを区切りとして映像を連続動き区間に分割する過程と、
該連続動き区間内の映像をフレーム単位に複数重ねあわせて１枚の静止画を作成し随時提示する過程と、
を具備することを特徴とする映像提示方法。
【請求項２】
作成された静止画が複数ある場合に該複数の静止画をそれぞれが発生した時間順に配置し、ディスプレイ上に提示する過程を具備する、
ことを特徴とする請求項１記載の映像提示方法。
【請求項３】
ディスプレイ上に時間順に配置された静止画をポインティングデバイスでクリックする事により、該クリックされた静止画で表現された連続動き区間内の映像を再生、提示する過程を具備する、
ことを特徴とする請求項２記載の映像提示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、蓄積映像あるいはネットワークや放送を介して得られた映像をパーソナルコンピュータ等のディスプレイ等に提示、ブラウズする技術に関するものである。
【０００２】
【従来の技術】
従来、映像を閲覧する場合においては、テープあるいはハードディスク上に記録された映像をＶＴＲと同様に再生、早送り、まき戻し、高速再生等の方法で再生し、閲覧する手法がある。
【０００３】
また、映像にシーンチェンジが入る度に１フレームの映像を静止画として２次元的に配置して、映像全体の概要を把握する手法（ペーパービデオＴＭ、参考文献：外村，谷口，阿久津，“Ｐａｐｅｒ  Ｖｉｄｅｏ：紙を用いた新しい映像インタフェース”，信学技報ＩＥ９４−５９，ｐｐ．１５−２０，（１９９４−０９）．）がある。この手法では、映画等を対象にフレーム毎の輝度値等の差分を求め、その値の大きい箇所、すなわちフレーム間で動き特徴量が急激に変化する箇所をシーンチェンジと判断している。
【０００４】
【発明が解決しようとする課題】
上記従来のＶＴＲと同様の映像の再生手法では、映像が時間的に一次元で提示されるため、全体の概要を一度に把握する事が困難である。この問題を解決するめに発明されたものが、上記従来のペーパービデオＴＭの手法であった。
【０００５】
しかしながら、ペーパービデオＴＭの手法は、フレーム間で動き特徴量が急激に変化するシーンチェンジを元に映像を区切っているため、シーンチェンジが存在しない映像には適用できないという問題点がある。
【０００６】
更に、前記ペーパービデオＴＭの手法では、配置されている静止画像が１フレーム分であるため、１枚の静止画では動きに意味のある映像を表現するのは困難であるという問題点がある。
【０００７】
本発明は、上記の問題点を解決するためのものであり、その目的は、シーンチェンジが存在しない映像に対しても映像の概要の把握を容易にするとともに、動きに意味のある映像の概要の把握を容易にする映像提示方法を提供することにある。
【０００８】
【課題を解決するための手段】
前記の目的を達成するため、本発明は、映像をフレーム単位でアクセス可能な形態として入力、提示する映像提示方法において、入力された映像内容の動き特徴量をフレーム毎に検出する過程と、該動き特徴量が予め設定されている閾値を下回ったフレームを区切りとして映像を連続動き区間に分割する過程と、該連続動き区間内の映像をフレーム単位に複数重ねあわせて１枚の静止画を作成し随時提示する過程と、を具備することを特徴とする。
【０００９】
また、上記の発明において、作成された静止画が複数ある場合に該複数の静止画をそれぞれが発生した時間順に配置し、ディスプレイ上に提示する過程を具備するのが、特徴量変化の大きいシーンチェンジが存在しない映像に対し、映像の概要把握を容易にする点で好適である。
【００１０】
さらに、上記の発明において、ディスプレイ上に時間順に配置された静止画をポインティングデバイスでクリックする事により、該クリックされた静止画で表現された連続動き区間内の映像を再生、提示する過程を具備するのが、映像の概要把握をより一層容易にする上で好適である。
【００１１】
本発明では、映像のフレーム間の動き特徴量がある閾値を下回ったフレームを区切りとして連続動き区間に分割し、この連続動き区間内の映像をフレーム単位に重ねあわせて１枚の静止画を作成し、随時提示することによって、残像のような効果を取り入れた静止画で一連の動作を表す連続動き区間の内容を表現し、動きに意味のある映像の概要の把握を容易にする。
【００１２】
また、このようにして作成された連続動き区間毎の静止画を、その連続動き区間の代表画像として発生時間順に画面に一覧的に配置して提示することによって、シーンチェンジが存在しないため、シーンチェンジによる代表画像が作成できないような映像に対しても、代表画像の作成を可能として、映像の概要の把握を容易にする。
【００１３】
本発明では、例えば手話等のコンテンツ映像において、文節毎に手の動きが止まることに着目して、従来の発想とは逆に動き特徴量が小さくなった箇所をシーンチェンジ、ないしはシーンチェンジに相当する箇所とした点に特徴がある。
【００１４】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１５】
図１は、本発明の一実施形態例の映像提示方法を説明するためのシステム構成例の概要を示すブロック図である。本実施形態例では、手話映像に適用した場合を例に説明する。
【００１６】
ＶＴＲあるいはネットワーク、放送からの映像素材１は、映像入力部２において、映像素材１がアナログの場合にはＡ／Ｄ変換されて、フレーム毎にアクセス可能な形態に変換され、動き特徴量検出部３、提示用静止画作成部４、およびバッファメモリまたはＨＤ（ハードディスク）５に入力される。
【００１７】
動き特徴量検出部３では、連続する２フレーム間の差異を元に動き特徴量を測定する。ここで、動き特徴量とは、例えば、次式で算出される全画素に渡る２フレーム間の輝度値の差の２乗総和（Ｄ）、
Ｄｍ＝Σｉ＝１Ｎ｛ｆｍ（ｉ）−ｆｍ−１（ｉ）｝２
ｍ：フレーム番号
ｉ：フレーム内の画素を示す添え字
ｆｍ（ｉ）：第ｍフレーム第ｉ画素の輝度値
Ｎ：１フレーム内の画素数
あるいはＨ．２６１、ＭＰＥＧ等の動画像符号化で用いられる動きベクトルの値、あるいは時空間内での物体の動きを示す軌跡の変化等で表される。動き特徴量の値が大きいほど動きが激しいという指標になる。
【００１８】
フレーム分割判定部６では、図２に示すように、前記動き特徴量検出部３で検出された動き特徴量が予め設定された閾値（一点鎖線）を下回った際に、一連の動作を示す連続動き区間の区切りとしてフレーム分割を提示用静止画作成部４に通知する。図２では、手話等の特殊なコンテンツ映像において、手の動きが止まった箇所が、動き特徴量が閾値以下となったフレームに対応している。
【００１９】
提示用静止画作成部４では、フレーム分割判定部６からフレーム分割指示が通知されるまで、映像入力部２を経て入力されたフレーム単位の映像を図３に示すように重ね合わせて一枚の提示用静止画像を作成する。この時、フレーム単位の映像を重ね合わせる手法としては、全てのフレームを重ね合わせる手法、一定間隔のフレームを重ね合わせる手法、動き特徴量検出部３で検出された動き特徴量が予め設定された閾値を上回ったフレームのみを重ね合わせる手法等が適用可能である。
【００２０】
提示用静止画像は作成される都度、提示部７において図４の画面例に示すような画面上に、時間経過順に配置、提示される。すなわち、図４では、図２のように分割された各連続動き区間内の塊の映像に関し、図３のように重ね合わされた静止画像を各塊の映像の代表画面として時系列的に画面に表示する。なお、配置されている各静止画像は、該静止画像を作成した最初と最後のフレーム番号の情報を保持している。また、図４に示した画面は、頁の概念を持っており、提示用静止画が一画面上に配置不可能になった際には、新しい頁を追加し、該新頁に配置、提示する。
【００２１】
ＵＩ（ユーザインタフェース）制御部８は、ユーザ操作によるマウス等のポインティングデバイス９からの指示入力に基づいて提示部７を制御する。すなわち、図４中上部の前頁指示ボタン１１あるいは次頁指示ボタン１２をポインティングデバイス９でクリック等の操作によって指示した際には、その旨を提示部７に通知し、提示部７は前頁あるいは次頁の表示に切り替える。また、画面上の任意の静止画像をクリック等の操作によって指示した場合には、その旨を提示部７に通知し、該通知を受けた提示部７は、指示された画像が保持している最初と最後のフレーム番号情報を映像再生部１０に通知し、該指示された画像の映像再生を要求する。
【００２２】
該要求を受けた映像再生部１０は、バッファメモリまたはＨＤ（ハードディスク）５の蓄積媒体に蓄積されている映像情報から、前記指示された画像の最初と最後のフレーム番号に該当する部分を読み取り、これを再生し、提示部７を介して提示する。この時に、提示する画面上の場所は、図５（ａ）に示すように、元の静止画と同じ場所（クリック等の操作をした場所）で提示する場合と、図５（ｂ）に示すように別のウィンドウを新しく生成して、該ウィンドウ上で提示する場合が考えられる。なお、再生映像は、通常のＶＴＲのように停止、まき戻し等の操作が可能である。
【００２３】
【発明の効果】
以上説明したように、本発明を用いれば、動き特徴量が小さくなった部分を区切りとして分割し、その区間の映像をフレーム毎に複数重ね合わせて１枚の静止画を作成し、随時提示するようにしたので、残像のような効果を有する映像表現が可能になり、映像、特に手話映像のように、その動きに意味のある映像の概要を把握する事が容易になるという利点が得られる。
【００２４】
また、そのような区切りにより分割された連続動き区間毎に作成された静止画を時系列的に画面に配置して提示するようにした場合には、特に、動き特徴量の変化が大きいシーンチェンジが存在しない映像に対しても、代表画像を一覧的に提示することができるため、映像の概要の把握が容易になるという利点が得られる。
【図面の簡単な説明】
【図１】本発明の一実施形態例の映像提示方法を説明するシステム構成例の概要を示すブロック図である。
【図２】本発明の一実施形態例の映像提示方法における映像の動き特徴量変化と連続動き区間の判定手法例を説明する概念図である。
【図３】本発明の一実施形態例の映像提示方法における提示用静止画像作成手法例を説明する概念図である。
【図４】本発明の一実施形態例の映像提示方法による提示画面構成例を示す図である。
【図５】（ａ），（ｂ）は本発明の一実施形態例の映像提示方法における映像の再生提示手法例を説明する図である。
【符号の説明】
１…映像素材
２…映像入力部
３…動き特徴量検出部
４…提示用静止画作成部
５…バッファメモリまたはＨＤ
６…フレーム分割判定部
７…提示部
８…ＵＩ制御部
９…ポインティングデバイス
１０…映像再生部
１１…前頁指示ボタン
１２…次頁指示ボタン
【図１】
0003564233.tif 000002
【図２】
0003564233.tif 000003
【図３】
0003564233.tif 000004
【図４】
0003564233.tif 000005
【図５】
0003564233.tif 000006