(57)【要約】　　　（修正有）【課題】動画像表示装置において過去に閲覧した部分の要約を、利用者の過去の閲覧状況を反映した形で作成し閲覧者に提示する。【解決手段】進捗状況管理手段２４で作成したシーン切り替えデータと日付管理手段２５で作成した日付情報をもとに、要約作成手段２３において動画像管理手段２２により管理されている動画像の一部をシーン毎に繋ぎ合わせることにより、利用者が前回までに閲覧した動画像の要約データを、利用者の過去の閲覧状況を反映した形で作成し、動画像と共に要約動画像を利用者に提示することができる。【選択図】　図５
2004023197.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーム画像からなる動画像データを格納する動画像データ格納手段と、前記動画像データの内容が大きく変化する瞬間のデータをシーン切り替えデータとし動画像データの付加情報として蓄積するシーン切り替え検出手段と、閲覧を希望する動画像データを特定する要求データを受け付ける要求受付手段と、前記動画像データ格納手段および前記シーン切り替え検出手段に蓄積されている動画像データおよびシーン切り替えデータを前記要求データに基づき抽出する動画像データ抽出手段と、前記動画像データ抽出手段で抽出された前記動画像データおよび前記シーン切り替えデータを取り外し可能な記録メディアに記録する記憶装置とを備え、前記取り外し可能な記録メディアを動画像表示装置に提供することを特徴とする動画像提供装置。
【請求項２】
複数のフレーム画像からなる動画像データを格納する動画像データ格納手段と、前記動画像データの内容が大きく変化する瞬間のデータをシーン切り替えデータとし動画像データの付加情報として蓄積するシーン切り替え検出手段と、動画像表示装置と通信を行う通信手段と、閲覧を希望する動画像データを特定する要求データを前記動画像表示装置から前記通信手段を介して送信要求データとして受信する要求受付手段と、前記要求受付手段からの送信要求データをもとに前記動画像データ格納手段および前記シーン切り替え検出手段に蓄積されている動画像データおよびシーン切り替えデータを抽出する動画像データ抽出手段と、前記動画像表示装置から予め受信した要約データを格納する要約データ格納手段とを備え、前記通信手段を介して前記動画像データ抽出手段で抽出された動画像データおよびシーン切り替えデータを前記動画像表示装置に送信し、前記要約データの送信要求があったときに対応する要約データを抽出して前記通信手段を介して前記動画像表示装置に送信することを特徴とする動画像提供装置。
【請求項３】
前記シーン切り替え検出手段は、動画像データの各フレーム間データの差分が所定の値より大きい個所および動画像データの各フレームの中で周囲のものと色彩が異なる特定オブジェクトの特徴が大きく変化する個所の少なくとも一つをシーンの切り替わりと認識するよう選択することを特徴とする請求項１または２記載の動画像提供装置。
【請求項４】
前記通信手段は、受信した送信要求データが動画像データの中の一部のシーンのみを要求している場合、前記動画像データ抽出手段で抽出された動画像の一部を切り出し、前記動画像表示装置に送信することを特徴とする請求項２記載の動画像提供装置。
【請求項５】
複数のフレーム画像からなる動画像データと前記動画像データに付加されるシーン切り替えデータを格納する動画像管理手段と、利用者による動画像の閲覧状況を管理し、閲覧進捗データを作成する進捗状況管理手段と、動画像を閲覧した日時を管理し、日付情報を作成する日付管理手段と、前記閲覧進捗データと前記日付情報およびシーン切り替えデータを元に、現在閲覧している動画像データの前回閲覧部分までの要約を作成する要約作成手段と、前記要約作成手段で作成された前記要約データと前記動画像管理手段に格納されている前記動画像データを表示する画面表示手段と、取り外し可能な記録メディアを介して前記動画像提供装置から供給された動画像データおよびシーン切り替えデータと前記要約作成手段で作成された要約データとを格納し、前記動画像管理手段にデータを供給する外部記憶手段とを備えること特徴とする動画像表示装置。
【請求項６】
複数のフレーム画像からなる動画像データと前記動画像データに付加されるシーン切り替えデータを格納する動画像管理手段と、利用者による動画像の閲覧状況を管理し、閲覧進捗データを作成する進捗状況管理手段と、動画像を閲覧した日時を管理し、日付情報を作成する日付管理手段と、前記閲覧進捗データと前記日付情報およびシーン切り替えデータを元に、現在閲覧している動画像データの前回閲覧部分までの要約を作成する要約作成手段と、前記要約作成手段で作成した要約データを格納する記憶装置と、動画像提供装置から動画像データおよびシーン切り替えデータを受信して前記動画像管理手段に供給し、前記要約作成手段で作成した要約データを前記動画像提供装置に送信する通信手段と、前記要約作成手段で作成された前記要約データと前記動画像管理手段に格納されている前記動画像データを表示する画面表示手段とを備えることを特徴とする動画像表示装置。
【請求項７】
前記要約作成手段は、前記動画像管理手段に格納されているシーン切り替えデータを参照し、自動的に各シーン毎の最初の数秒間の動画像データを抽出して繋ぎ合わせることにより要約データを作成し、前記要約データを作成する際、前記シーン切り替えデータ中に記述されている各シーンの長さを参照し、前記要約データに使用する各シーン毎の動画像データの秒数を、前記シーン切り替えデータ中に記述されている各シーンの長さによって変化させることを特徴とする請求項５または６記載の動画像表示装置
【請求項８】
前記要約作成手段は、前記要約データを作成する際、繋ぎ合わせる各シーン毎の動画像の長さの基準値を予め設定し、前記進捗状況管理手段が作成した閲覧進捗データを参照して、複数回繰り返して閲覧したシーンの要約は長くし、閲覧せずに早送りをしたシーンの要約は短くして、前記閲覧進捗データの内容により作成する要約データの内容を変更し、前記要約データを作成すると同時に前記要約データから対応する動画像データの各シーンに対する参照データを作成し、前記参照データに基づき前記要約データ中のある部分を指定することにより、指定した部分に対応するシーンの動画像データを前記動画像表示装置に提示することを特徴とする請求項５または６記載の動画像表示装置。
【請求項９】
前記日付管理手段は、利用者毎や各シーン毎の閲覧日時を管理し、管理している閲覧日時に基づき日付情報を作成して前記要約作成手段に提供することを特徴とする請求項５または６記載の動画像表示装置。
【請求項１０】
前記外部記憶手段は、自己が記憶する要約データおよび前記動画像管理手段に蓄積されている動画像データを取り外し可能な記録メディアに記録することを特徴とする請求項５記載の動画像表示装置。
【請求項１１】
前記通信手段は、前記進捗状況管理手段で作成した閲覧進捗データをもとに前記要約作成手段において作成した要約データを前記動画像提供装置に送信することを特徴とする請求項６記載の動画像表示装置。
【請求項１２】
複数のフレーム画像からなる動画像を動画像表示装置上に表示する動画像表示方法において、前回までに閲覧した部分の動画像の要約データを前記動画像表示装置の要約作成手段で作成し、現在閲覧中のシーンに付加して供給し、また、前記要約作成手段で作成した前記要約データを予め動画像提供装置に送信して蓄積しておき、前記動画像提供装置から閲覧する動画像を供給する際は、先ず前記要約データのみを送信することを特徴とする動画像表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子化された動画像データと共に、動画像データの概要を示す要約データを利用者に提示する動画像提供装置および動画像表示装置に関する。
【０００２】
【従来の技術】
一般的な動画像提供装置および動画像表示装置は、複数のフレーム画像からなる動画像データを動画像提供装置が記録メディアや通信手段を介して動画像表示装置に提供し、動画像表示装置がその動画像を画面に表示することにより利用者が閲覧可能になるというものである。このとき利用者が動画像提供装置中の動画像から閲覧するものを選択する際や、閲覧しているときに動画像中の所望のシーンを検索する際には、動画像データと共に予め提供されている内容などに関する付加情報を参照するか、実際の動画像を閲覧しながら検索を行うことになる。
【０００３】
また動画像の内容を利用者が把握し易くするための動画像表示システムが開発されており、これに関する従来技術としては「動画像表示装置および表示方法」（特開平１０−２３４００４号公報）がある。この従来技術では動画像を構成している静止画像を抽出し、その静止画像を階層化し利用者に提示することで、動画像の全体像を把握し易くしている。また、同システムでは動画像中に登場する人物を抽出しておき、そのデータを場面転換の認識に使用したり、動画像中の検索に使用したりすることができるようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記、従来の一般的な動画表示システムにおいては、利用者に提供される情報は、閲覧する動画像を選択する前であれば動画像名や内容等に関する付加的な情報であり、閲覧する動画像を選択した後であれば閲覧する動画像情報のみである。従って利用者がこれから閲覧しようとする動画像や現在閲覧中の動画像の概要を知ることや、閲覧中に以前閲覧した部分までの要約を見るといったことができない。
【０００５】
また動画像の概要を利用者に提示する従来システムでも、提示されるのは動画像中の静止画像のみであり、代表する静止画像には現れないわずかな動画像の差異を利用者が認識したり、過去に閲覧した部分の概要を再確認したりするといった用途には使用できない。さらに、同システムでは動画像の場面転換の認識に使用するデータを、動画像中に登場する人物に特定しており、一般的な動画像を閲覧する汎用的な動画像システムとして使用することは不可能であった。
【０００６】
本発明は、上記従来の問題を解決するためになされたもので、利用者が動画像を閲覧する際に、予め閲覧する動画像の内容を確認するため、動画像全体の要約または過去に閲覧した部分の要約を動画像として作成し、要約の作成に当たり、過去の閲覧時の操作情報や日付情報などを反映して、利用者の閲覧状況に合った要約を提供するものである。
【０００７】
【課題を解決するための手段】
本発明における動画像提供装置は、複数のフレーム画像からなる動画像データを格納する動画像データ格納手段と、前記動画像データの内容が大きく変化する瞬間のデータをシーン切り替えデータとし動画像データの付加情報として蓄積するシーン切り替え検出手段と、閲覧を希望する動画像データを特定する要求データを受け付ける要求受付手段と、前記動画像データ格納手段および前記シーン切り替え検出手段に蓄積されている動画像データおよびシーン切り替えデータを前記要求データに基づき抽出する動画像データ抽出手段と、前記動画像データ抽出手段で抽出された前記動画像データおよび前記シーン切り替えデータを取り外し可能な記録メディアに記録する記憶装置とを備え、前記取り外し可能な記録メディアを動画像表示装置に提供するという構成を有している。この構成により、動画像提供装置から動画像データを供給される動画像表示装置上で、動画像のシーンが切り替わる部分を知ることができ、そのデータを動画像の概要を示す要約作成に使用することが可能となる。
【０００８】
本発明における動画像提供装置は、複数のフレーム画像からなる動画像データを格納する動画像データ格納手段と、前記動画像データの内容が大きく変化する瞬間のデータをシーン切り替えデータとし動画像データの付加情報として蓄積するシーン切り替え検出手段と、動画像表示装置と通信を行う通信手段と、閲覧を希望する動画像データを特定する要求データを前記動画像表示装置から前記通信手段を介して送信要求データとして受信する要求受付手段と、前記要求受付手段からの送信要求データをもとに前記動画像データ格納手段および前記シーン切り替え検出手段に蓄積されている動画像データおよびシーン切り替えデータを抽出する動画像データ抽出手段と、前記動画像表示装置から予め受信した要約データを格納する要約データ格納手段とを備え、前記通信手段を介して前記動画像データ抽出手段で抽出された動画像データおよびシーン切り替えデータを前記動画像表示装置に送信し、前記要約データの送信要求があったときに対応する要約データを抽出して前記通信手段を介して前記動画像表示装置に送信するという構成を有している。この構成により、動画像提供装置と動画像表示装置に通信手段を具備することにより、動画像データおよび要約データをオンラインで供給することができるという効果が得られる。
【０００９】
本発明における動画像提供装置は、前記シーン切り替え検出手段が、動画像データの各フレーム間データの差分が所定の値より大きい個所および動画像データの各フレームの中で周囲のものと色彩が異なる特定オブジェクトの特徴が大きく変化する個所の少なくとも一つをシーンの切り替わりと認識するよう選択するという構成を有している。この構成により、動画像の画面全体が変化する個所をシーンの切り替わりと認識することができ、風景が撮影されているような特定の対象物が特定できない動画像に関しても適切なシーン切り替えデータを作成することができ、また動画像中で中心的に表示されている対象物に注目したシーン切り替えデータを作成することが可能となり、背景などはほとんど変化せず、主に対象物が変化していくような動画像に対しても適切なシーン切り替えデータを作成することができ、さらに上記２つのシーン切り替えデータの作成手順を混用することが可能となる。
【００１０】
本発明における動画像提供装置は、前記通信手段が、受信した送信要求データが動画像データの中の一部のシーンのみを要求している場合、前記動画像データ抽出手段で抽出された動画像の一部を切り出し、前記動画像表示装置に送信するという構成を有している。この構成により、送信要求データが動画像データの中の一部のシーンのみを要求している場合でも、動画像データ抽出手段で抽出された動画像の一部を切り出して送信することができる。
【００１１】
本発明における動画像表示装置は、複数のフレーム画像からなる動画像データと前記動画像データに付加されるシーン切り替えデータを格納する動画像管理手段と、利用者による動画像の閲覧状況を管理し、閲覧進捗データを作成する進捗状況管理手段と、動画像を閲覧した日時を管理し、日付情報を作成する日付管理手段と、前記閲覧進捗データと前記日付情報およびシーン切り替えデータを元に、現在閲覧している動画像データの前回閲覧部分までの要約を作成する要約作成手段と、前記要約作成手段で作成された前記要約データと前記動画像管理手段に格納されている前記動画像データを表示する画面表示手段と、取り外し可能な記録メディアを介して前記動画像提供装置から供給された動画像データおよびシーン切り替えデータと前記要約作成手段で作成された要約データとを格納し、前記動画像管理手段にデータを供給する外部記憶手段とを備えるという構成を有している。この構成により、動画像の要約データを作成することが可能となり、利用者が動画像の概要を把握したり、過去に閲覧した部分の内容を短時間に確認したりすることが可能となる。
【００１２】
本発明における動画像表示装置は、複数のフレーム画像からなる動画像データと前記動画像データに付加されるシーン切り替えデータを格納する動画像管理手段と、利用者による動画像の閲覧状況を管理し、閲覧進捗データを作成する進捗状況管理手段と、動画像を閲覧した日時を管理し、日付情報を作成する日付管理手段と、前記閲覧進捗データと前記日付情報およびシーン切り替えデータを元に、現在閲覧している動画像データの前回閲覧部分までの要約を作成する要約作成手段と、前記要約作成手段で作成した要約データを格納する記憶装置と、動画像提供装置から動画像データおよびシーン切り替えデータを受信して前記動画像管理手段に供給し、前記要約作成手段で作成した要約データを前記動画像提供装置に送信する通信手段と、前記要約作成手段で作成された前記要約データと前記動画像管理手段に格納されている前記動画像データを表示する画面表示手段とを備えるという構成を有している。この構成により、動画像提供装置と動画像表示装置に通信手段を具備することにより、動画像データおよび要約データをオンラインで供給することができるという効果が得られる。
【００１３】
本発明における動画像表示装置は、前記要約作成手段が、前記動画像管理手段に格納されているシーン切り替えデータを参照し、自動的に各シーン毎の最初の数秒間の動画像データを抽出して繋ぎ合わせることにより要約データを作成し、前記要約データを作成する際、前記シーン切り替えデータ中に記述されている各シーンの長さを参照し、前記要約データに使用する各シーン毎の動画像データの秒数を、前記シーン切り替えデータ中に記述されている各シーンの長さによって変化させるという構成を有している。この構成により、動画像中の全てのシーンから集めたフレームによって要約を構成することができ、利用者が動画像の全体概要を容易に把握できる要約を作成することが可能となり、さらに、例えば、動画像中で非常に長いシーンがあった場合は、その要約データも他のシーンと比較して長い抽出データを使用することができ、動画像のシーン構成に反映した、より適切な要約データの作成が可能となる。
【００１４】
本発明における動画像表示装置は、前記要約作成手段が、前記要約データを作成する際、繋ぎ合わせる各シーン毎の動画像の長さの基準値を予め設定し、前記進捗状況管理手段が作成した閲覧進捗データを参照して、複数回繰り返して閲覧したシーンの要約は長くし、閲覧せずに早送りをしたシーンの要約は短くして、前記閲覧進捗データの内容により作成する要約データの内容を変更し、前記要約データを作成すると同時に前記要約データから対応する動画像データの各シーンに対する参照データを作成し、前記参照データに基づき前記要約データ中のある部分を指定することにより、指定した部分に対応するシーンの動画像データを前記動画像表示装置に提示するという構成を有している。この構成により、各シーン毎の短いシーンを閲覧したい場合や、実際の動画像により近い詳細な要約データを閲覧したい場合等、利用者の要求に即した要約データの作成が可能になり、また、例えば利用者が閲覧時に複数回繰り返して閲覧したシーンの要約部分は長くしたり、閲覧をせずに早送りをしたシーンの要約部分は短くするなど、利用者の動画像閲覧状況を反映することにより、利用者が動画像データの内容確認を行う際に、より効果的な要約データの作成ができ、さらに要約データとともに参照データを作成し、参照データを指定するだけで所望のシーンの動画像を提示することが可能となる。
【００１５】
本発明における動画像表示装置は、前記日付管理手段が、利用者毎や各シーン毎の閲覧日時を管理し、管理している閲覧日時に基づき日付情報を作成して前記要約作成手段に提供するという構成を有している。この構成により、要約作成手段が要約データを作成する際に、この日付情報を参照し、例えば閲覧間隔の空いたシーンの要約を通常よりも長くするなど、利用者の閲覧日時を反映した、より効果的な要約データの作成が可能になる。また、同じ動画像表示装置を複数の利用者が同時に使用する場合でも、その利用者の過去の閲覧日付状況を反映した要約を作成することが可能となる。
【００１６】
本発明における動画像表示装置は、前記外部記憶手段が、自己が記憶する要約データおよび前記動画像管理手段に蓄積されている動画像データを取り外し可能な記録メディアに記録するという構成を有している。この構成により、この記録メディアを別の動画像表示端末に使用することにより、様々な環境で動画像データおよび要約データの閲覧が可能になる。
【００１７】
本発明における動画像表示装置は、前記通信手段が、前記進捗状況管理手段で作成した閲覧進捗データをもとに前記要約作成手段において作成した要約データを前記動画像提供装置に送信するという構成を有している。この構成により、利用者が動画像提供装置上で動画像を選択する際に、以前利用者が閲覧した際の進捗状況を反映した要約データが用いられることになり、より動画像データの内容が把握しやすく、効果的な動画像選択が可能となる。
【００１８】
本発明における動画像表示方法は、複数のフレーム画像からなる動画像を動画像表示装置上に表示する動画像表示方法において、前回までに閲覧した部分の動画像の要約データを前記動画像表示装置の要約作成手段で作成し、現在閲覧中のシーンに付加して供給し、また、前記要約作成手段で作成した前記要約データを予め動画像提供装置に送信して蓄積しておき、前記動画像提供装置から閲覧する動画像を供給する際は、先ず前記要約データのみを送信するという構成を有している。この構成により、動画像を閲覧する際、過去に閲覧した部分の要約を自動的に作成することができることにより、過去の閲覧内容の確認のために動画像データを閲覧しなおす必要が無く、効率的で快適な閲覧環境を提供することができる。
【００１９】
【発明の実施の形態】
以下、添付図面に基づき、本発明の第１および第２の実施の形態を詳細に説明する。
まず、図１を参照して、本発明の第１の実施の形態における動画像提供装置の構成を説明する。本実施の形態における動画像提供装置１１は、利用者に提供するための動画像データを格納するものであり、複数のフレーム画像からなる動画像データを１つの動画毎に格納して管理する動画像データ格納手段１と、動画像データ中の場面転換を認識してシーン切り替えデータを生成し管理するために、動画像中の各フレーム画像を検索していき、画像の内容が大幅に変化する瞬間を記録して、シーン切り替えデータとして蓄積して動画像データ毎に管理するシーン切り替え検出手段２と、利用者からの要求を受け付け、例えば映画等の動画像データを扱う場合であれば、利用者が閲覧したい映画名等のデータを要求データとして動画像データ抽出手段に提供する要求受付手段３と、要求受付手段３から提供される要求データをもとに、動画像データ格納手段１に格納されている動画像データとシーン切り替え検出手段２に格納されているシーン切り替えデータの各データからそれぞれ要求に合致するデータを検索して記憶装置５に供給する動画像データ抽出手段４と、動画像データ抽出手段４から提供された動画像データおよびシーン切り替えデータを取り外し可能な記録メディアに記録する記憶装置５とを有する。
【００２０】
以上のように、本発明の第１の実施の形態においては、利用者が要求する動画像データとそれに対応するシーン切り替えデータとを記憶装置５により取り外し可能な記録メディアに記録し、動画像表示装置１２において記録メディアから動画像データおよびシーン切り替えデータを取り込むことにより、閲覧することができる。
【００２１】
次に、図２を参照して、本発明の第１の実施の形態における動画像提供装置により動画像表示装置に提供するための記録メディアを作成する記録メディア作成手順について説明する。
まず、で利用者が動画像提供装置１１上で閲覧を希望する動画像データを選択する（Ｓ１１）。この際利用者が閲覧する動画像を選択する手段としては、動画像提供装置１１上に現在保有している動画像名を表示し、そこから選択させても良いし、利用者が動画像名などの属性値を要求受付手段３から直接入力しても良い。例えば映画などの動画像を扱うシステムであれば、その映画のタイトル、登場人物などを属性値として使用できる。選択が終了すると、要求受付手段３が入力された要求をもとに必要とする動画像名を要求データとして動画像データ抽出手段４に提供する。次に、動画像データ抽出手段４がＳ１１で生成された要求データを参照して、対応する動画像データを動画像データ格納手段１から検索して抽出する（Ｓ１２）。
【００２２】
次に、Ｓ１２で抽出された動画像データを参照してシーン切り替え検出手段２においてシーン切り替えデータの生成処理を行う（Ｓ１３）。以下、Ｓ１３の処理につき、図３を用いてより詳細に説明する。シーン切り替えデータの生成処理が開始されると、図３において対象となる動画像データの各フレーム画像間の差分データを計算する（Ｓ２１）。この処理により、動画像データ中で内容が大きく変化する場面を検出することが可能となる。また、この動画像データが大きい場合、全てのフレーム画像について差分値を求めるのは非常に時間を要してしまうので、適当な間隔でフレーム画像を抽出し、その画像間の差分値を求めても良い。次に、Ｓ２１で求めた差分値がある程度大きい個所を時系列順に抽出し、シーンが切り替わる個所として検出する（Ｓ２２）。Ｓ２２で検出した個所の位置とその差分値をシーン切り替えデータとして保存する（Ｓ２３）。ここで位置データだけでなく差分値も保存することによって、このデータを利用する側で例えば差分値がある値以下の個所に関しては、シーンの切り替え点としては認めないといったような条件設定を行い、シーン切り替え個所の個数を制御したりすることが可能となる。
【００２３】
ここで、図２のＳ１２で抽出された動画像データと、シーン切り替え検出手段２で生成されたシーン切り替えデータを取り外し可能な記録メディアに記録する（Ｓ１４）。そして動画像表示装置１２ではここで作成された記録メディアから動画像データおよびシーン切り替えデータを取り込み、利用者は閲覧が可能となる。
尚、ここでは、シーン切り替えデータの生成方法として動画像中のフレーム間の差分値を求め、その値が大きい個所を検出するという方法を用いているが、この方法は画面全体が変化したりする動画像に対しては有効であるが、例えば背景は変化せずに中心にいる物体だけが移動したりするような動画像の場合には場面切り替えの検出が困難となる。そこで、このような動画像データに対しては、動画像中の特定オブジェクトを抽出し、それが大きく変化する個所を場面転換として認識するという方法を用いることが可能である。
【００２４】
次に、図４を参照して、特定オブジェクトの処理手順を詳細に説明する。シーン切り替えデータの生成処理が開始されると、図４において、特定オブジェクトの抽出作業が行われる（Ｓ３１）。ここでは、まず対象フレーム画像の色データに注目し、他の部分と最も色が異なる領域を検索する。例えば、画像全体が緑色に近い色データが使用されており、その一部に赤に近い色が使用されている領域があった場合はその領域に注目し、これを特定オブジェクトとして、位置、領域の大きさや色などを記録する。次に、オブジェクトのフレーム間検索処理に移行する（Ｓ３２）。ここでは、時系列にそって動画像中の各フレーム画像に注目し、その中にあるＳ３１で抽出した特定オブジェクトの位置等の各種属性について調べる。そして、これらの値が予め設定してあった閾値を超えた位置であると、この位置を場面が変化した位置であると認識して、この位置を保存する（Ｓ３３）。そして、Ｓ３１からＳ３３の処理を動画像の最後のフレームまで繰り返す。最後にＳ３４に移行し、今まで検出された場面転換の位置をシーン切り替えデータとして保存する。
【００２５】
図３に示したシーン切り替えデータ作成方法と図４に示した特定オブジェクトの抽出方法を動画像の内容によって選択的に切り替えて使用することにより、様々な動画像データに対応することが可能となる。さらに１つの動画像中にこれらの方法を混在させることも可能であり、動画像データの内容が途中から大きく変化する場合などに対応することが可能となる。
【００２６】
次に、図５を参照して、図１にブロックで示す本発明の第１の実施の形態における動画像表示装置１２の構成を説明する。図５に示す動画像表示装置１２は、画面表示手段２１と、動画像管理手段２２と、要約作成手段２３と、進捗状況管理手２４と、日付管理手段２５と、外部記憶装置２６とにより構成される。
以下、上記の各構成要素を詳細に説明する。日付管理手段２５は、利用者が動画像を閲覧した日時を管理し日付情報を作成して利用者が動画像を閲覧した日時を毎回記録しておき、前回閲覧時からの経過時間や動画像中の各シーン間の閲覧間隔時間を求めて、その値を元に要約に使用する各シーン毎の動画像データの長さを決定し、各シーン毎の長さをある指数値で表現したテーブルを作成して日付情報として要約作成手段２３に提供する。進捗状況管理手段２４は、利用者による動画像データの操作状況や閲覧状況を管理し、閲覧進捗データを作成して、利用者が現在動画像データのどの位置まで閲覧が終了しているか、また閲覧時に行った閲覧位置の移動等の操作を記録しておき、その記録を元に閲覧進捗データを作成して要約作成手段２３に提供する。動画像管理手段２２は、動画像データを蓄積して管理し、動画像提供装置１１から提供された動画像データと、動画像中の場面が大きく転換する位置を記したシーン切り替えデータとを動画像の種類毎に管理し、画面表示手段２１に動画像データを、要約作成手段２３にシーン切り替えデータをそれぞれ提供する。
【００２７】
また、外部記憶装置２６は、各種データを記録し、動画像管理手段２２で管理されている動画像データ、シーン切り替えデータおよび要約データを記憶したり、取り外し可能な記録メディアにより外部で記録した動画像データやシーン切り替えデータを動画像管理手段２２に提供する。要約作成手段２３は、利用者が前回までに閲覧した部分の動画像の要約を作成し、今回閲覧部分の動画像データと共に利用者に提示し、シーン切り替えデータに記録されている場面転換部分毎に、進捗状況管理手段２４で作成された閲覧進捗データと、日付管理手段２５で作成された日付情報を参照しながら動画像の長さを決定し、その長さの動画像データを繋ぎ合わせることにより、利用者が前回までに閲覧した部分の要約を作成する。そして動画像管理手段２で管理されている今回閲覧部分の動画像データを表示する前に、作成した要約データを画面表示手段２１に表示する。利用者はこの要約データを閲覧し、前回までの内容を把握した後に今回閲覧部分の動画像データを閲覧する。また、シーン切り替えデータを動画像データの特定位置へのジャンプのための情報テーブルとして使用することにより、利用者が要約データの特定部分を指定し、その部分の動画像データを再度閲覧することが可能となる。
【００２８】
次に、図６の動画像閲覧時の日付情報生成手順を示すフローチャートを参照して、図５に示す日付管理手段２５により日付情報を生成する手順について説明する。利用者が動画像表示装置１２上で動画像データの閲覧を開始すると、まず、Ｓ４１で前回の閲覧時に記録された閲覧日時と今回の閲覧日時とから、前回閲覧時からの経過時間を測定する。さらに、現在閲覧中の動画像データが動画像データ全体のどのシーンに位置しているかを調査しておく。次に、閲覧間隔テーブルの作成処理を行う（Ｓ４２）。閲覧間隔テーブルは、図７に示すように、前回閲覧時からの経過時間が動画像データ中のシーン毎に記録されており、さらにそれらの合計時間もシーン毎に記録されている。次に、要約レベルテーブルの作成処理を行う（Ｓ４３）。要約レベルテーブルは、動画像データにおける特定シーンの相対的な重要度を表した値を、動画像データ中の各シーン毎に記録したテーブルである。つまり、このテーブルの要約レベルが大きいシーンは他のシーンと比較して、より要約データを必要としているということになる。ここでは、Ｓ４２で作成された閲覧間隔テーブルの値を参照し、閲覧間隔合計が大きいシーンほど高い要約レベルを設定し、要約レベルテーブルに記録する。このとき使用される値としては、例えば１ないし２０までの予め規定された要約レベルの範囲内で相対的に決定されたもの等が考えられる。そして、作成された要約レベルテーブルを日付情報として要約作成手段２３に提供する。
【００２９】
要約レベルテーブル作成処理で、閲覧間隔が大きいシーンほど高い要約レベルを設定するのは、利用者が動画像を閲覧する間隔が開いたシーンは内容を忘れやすく、次回閲覧時により詳しい要約データを作成する必要があるためである。このように利用者の毎回の閲覧間隔を管理することで、要約データを作成する際に利用者の閲覧状況を反映したきめ細かな要約を作成することが可能となり、利用者の利便性や、動画像を閲覧する際の効率性を向上させることが出来る。また、ここで作成された閲覧間隔テーブルおよび詳細レベルテーブルを利用者毎に管理しておき、予め設定されている利用者用のデータを使用して要約を作成することにより、例えば同じ動画像表示装置１２を複数の利用者が同時に使用する場合でもその利用者ごとに要約データを作成することが可能となる。
【００３０】
次に、図８の動画像閲覧時の閲覧進捗データ生成手順を示すフローチャートを参照して、図５に示す進捗状況管理手段２４により閲覧進捗データを生成する手順について説明する。閲覧進捗データとは、利用者が現在閲覧中の動画像のどのシーンまで閲覧が終了しているかという情報と、閲覧中にどのような操作を行ったかという情報を記録したものである。利用者が動画像の閲覧を開始すると、同じシーン内または異なるシーンへの移動処理の検知を行い、その結果を各シーン毎の要約レベルに反映する（Ｓ５１およびＳ５２）。ここで使用される要約レベルは、図６に示す日付情報生成手順の説明で述べたものと同様に、特定シーンの動画像中における相対的な重要度を示す値であり、例えば１ないし２０の整数値など、予め規定された要約レベルの範囲内で相対的に決定されるものである。
【００３１】
利用者が動画像のあるシーンを閲覧中に、早送り処理を行い閲覧個所を同じシーン内の先の位置へ移動させた場合、利用者はこのシーンにあまり関心を示していない、またはこのシーンの重要度は低いと判断し、このシーンの要約レベルを減少させる。また異なるシーンへの閲覧個所の移動が発生した場合は、移動先のシーンの要約レベルを増加させ、移動もとのシーンの要約レベルを減少させる。これは、利用者が現在閲覧しているシーンへの関心度が低いと判断したためである。逆に利用者が閲覧中に巻き戻し処理を行い、閲覧中のシーン内の前の場所への移動が発生した場合は、このシーンの要約レベルを増加させる。これは、このシーンで例えば重要なこと件が起こった場面であるなど、利用者にとって重要なシーンであるか、内容が複雑で繰り返し閲覧しないと内容の把握が困難なシーンであると考えられるためである。このようなシーンの動画データは作成する要約中においても、他のシーンより多く使用した方が効果的でるため、要約レベルを他のシーンよりも大きく設定しておく必要がある。
【００３２】
同じシーン内または異なるシーンへの移動処理の検知ステップ（Ｓ５１またはＳ５２）の処理を、利用者が閲覧している間継続し、利用者が閲覧を終了した時点でＳ５３の要約レベル作成処理に移行する。ここでは現在までに閲覧が終了しているシーンに関して、Ｓ５１およびＳ５２で設定された要約レベルをシーン毎にテーブルにまとめて、閲覧進捗データとして要約作成手段３に提供する。ここで使用される要約レベルは日付情報で使用される値と同様のものである。このように、利用者が閲覧時に行った操作を記録し閲覧進捗データを作成することにより、利用者が動画像のどのシーンまで閲覧が済んでいるか知ることができ、また日付情報と共に要約作成時に使用することで、利用者の閲覧中の操作状況を反映したより効果的な要約作成が可能となる。また、ここで作成した閲覧進捗データを利用者毎に管理しておき、予め設定されている利用者用のデータを使用して要約を作成することにより、利用者毎に異なる、閲覧時の注目個所等を反映することが可能となる。
【００３３】
次に、図９の利用者操作手順を示すフローチャートを参照して、図５に示す要約作成手段２３による要約の作成手順について説明する。まず、はじめに利用者が動画像表示装置１２で動画像を閲覧しようとする場合に、予め動画像表示装置１２には閲覧を行う動画像データと、シーン切り替えデータが格納されているものとする。また、動画像データとシーン切り替えデータの提供手段としては、取り外し可能な記録メディア等が考えられる。さらに、この動画像表示装置１２に登録されている複数の利用者の中から、現在使用中の利用者の選択が終了しているか、または新しい利用者の登録が済んでいるものとする。
【００３４】
以上説明した条件のもとに、利用者が操作を開始し、図９において、動画像の始めから閲覧を行うか、途中から閲覧を行うかを設定する（Ｓ６１）。動画像の始めからの閲覧は、その動画像を初めて閲覧する場合や、以前に閲覧したことがあっても、もう一度最初から閲覧を行う場合が考えられる。この時はＳ６２からＳ６４の処理を省略し、Ｓ６５に移行する。但し、以前に閲覧したことがある場合で、動画像表示端末の記憶領域が少ない場合に、動画像の閲覧済みの部分が削除されている場合があり、この場合は最初からの閲覧が出来ないため、利用者にその旨のメッセージを表示する。また、動画像の続きから閲覧を行う場合は、Ｓ６２の要約データ作成処理に移行する。ここでは、利用者に提示するために、以前に閲覧した動画部分の要約データの作成処理が行われる。
【００３５】
ここで、図１０の要約データ作成手順の詳細を示すフローチャートを参照して、図９のＳ６２に示す要約データ作成手順を詳細に説明する。まず、図１０にはいり、要約データの長さを設定する（Ｓ７１）。これは要約作成時に使用する各シーンの動画像の長さを利用者が予め指定するものである。例えば、この長さが２秒に指定された場合は、動画像データの各シーンの先頭から２秒間の部分を抜き出して繋ぎ合わせ、要約データを作成することになる。これにより要約データ全体の長さや詳細度を利用者がある程度指定できるようになる。ここで利用者が明示的な値を設定しない場合は、予め設定されている初期値を使用する。さらに、Ｓ７１の処理では、元々の動画像の各シーンの長さを参考にして、ここで設定された基準の長さを調整する作業を行う。これは、例えば基準の設定時間が２秒だった場合でも、非常に長いシーンの要約は基準値よりも若干長く設定したりするためである。
【００３６】
尚、この例では要約の長さを時間（秒数）で表現したが、この長さは例えば動画像のフレーム数などを使用しても良い。次に、日付情報参照処理に移行する（Ｓ７２）。ここでは、予め図６に示した日付情報作成手順で作成された日付情報を参照し、要約レベルテーブルに記述されている対象シーンの要約レベルを記憶する。次に、閲覧進捗データ参照処理に移行する（Ｓ７３）。ここでは、予め図８に示した閲覧進捗データ作成手順で作成された閲覧進捗データを参照して、要約レベルテーブルに記述されている対象シーンの要約レベルを記憶する。次は、Ｓ７２およびＳ７３で参照した各データの要約レベルの平均値を求め、最終的な要約作成に使用するための各シーンごとの要約レベルを決定する（Ｓ７４）。そしてこの要約レベルの平均値とＳ７１で設定した各シーン毎の長さを元に、最終的な要約データの各シーン毎の長さを決定する。この長さを決定する方法としては、求めた要約レベルの範囲の中心値を求め、その値であったら基準の長さを使用し、レベルが１増減するごとに使用する長さを２倍または２分の１倍するという方法がある。
【００３７】
例えば、要約に使用する基準の長さが２秒で、要約レベルが１ないし１０の範囲で設定されている場合には、要約レベルが５のシーンは２秒の動画像を使用し、要約レベルが６のシーンは４秒の動画像を使用し、また要約レベルが４のシーンの場合は１秒の動画像を使用する。なお、この基準の長さを求める方法としては、ここで示した方法の他に、要約レベルが１上がるごとに決まった秒数（またはフレーム数）を増加するような方法を用いても良い。さらに、要約レベルがある程度低いシーンは要約データに含まなくても良い。そして、ここまでのＳ７２、Ｓ７３、Ｓ７４を過去に閲覧したシーンの全てについて繰り返し行い、閲覧済みの全てのシーンについての要約に使用する動画像の長さを決定する。次に、タイムテーブル作成処理に移行し（Ｓ７５）、Ｓ７４までの処理で決定された要約データ中の各シーン毎の長さを記録したタイムテーブルを作成する。このタイムテーブルはＳ７６で要約データ作成処理を行う際に参照する他、このタイムテーブルを参照することにより、利用者が要約データの閲覧時に要約データの一部分を指定すると、その要約データが含まれるシーンの元の動画像を表示させることが可能となる。次に、Ｓ７５で作成されたタイムテーブルを参照しながら、実際に動画像データの一部を切り取り、全てのシーンを繋ぎ合わせることにより、要約データを作成する（Ｓ７６）。以上で要約作成処理を終了する。
【００３８】
次に、図９に戻り、図９のＳ６３に移行する。ここでは、動画像表示装置１２に対し作成した要約データの再生が行われる。利用者は再生中の要約データを閲覧している最中に、その場面の元の動画像を閲覧したくなった場合はその旨の操作を行う。例えば、元の動画像表示処理を行うためのボタンが動画像表示装置１２に用意されている場合には、そのボタンを操作する。この操作が行われると、現在再生中の要約データの位置を元に、図１０のＳ７５で作成したタイムテーブルを参照して、対応する元動画像のシーンを検索し、その場面を再生する（図１０のＳ７６）。もし、図５の動画像管理手段２２の格納領域の容量が不足し、過去に閲覧した部分の動画像データが削除されている場合には、図９のＳ６４に示すように、利用者にその旨を示すメッセージを表示する。
【００３９】
要約データの閲覧が終了すると、図９のＳ６５の動画像表示処理に移行し、利用者が今回新たに閲覧を行う部分の動画像データを表示する。まず、利用者が動画像データの閲覧を開始する（Ｓ６６）。利用者が動画像データの閲覧を開始すると、次回閲覧時の要約データ作成に必要となる日付情報作成処理（図６に示す）または閲覧進捗データ作成処理（図８に示す）が行われるが、これらの処理は利用者が閲覧を行う度に毎回行われる。尚、本発明の動画像表示装置１２は各データを表示するための液晶パネルや、各操作を行うためのボタンが備えられた動画像表示専用の装置を想定しているが、例えば　タッチパネルを伴った液晶パネルが供えられた汎用的な携帯端末などの機器においても、操作ボタンなどをソフトウェアによって構成することで動画像の閲覧が可能となる。
【００４０】
次に、図１１を参照して、本発明の第２の実施の形態における動画像提供装置１３の構成を説明する。図１１に示す動画像提供装置１３は、動画像表示装置３７に提供するための記録メディアを作成する図１における記憶装置５の代わりに、動画像表示装置３７から要求データを受信し、対応する動画像データとシーン切り替えデータを動画像表示表示装置に送信する通信手段３５が付加されており、また動画像表示装置３７で作成された要約データを受信し、蓄積および管理するための要約データ格納手段３６が付加されている点で図１に示す動画像提供装置１１と相違する。それ以外の構成要素は、図１のものと同様である。
【００４１】
次に、図１２の動画像提供装置１３における動画像通信処理手順を示すフローチャートを参照して、図１１に示す動画像提供装置１３において動画像表示装置３７に対し動画像データ、シーン切り替えデータおよび要約データを送信するまでの処理内容について詳細に説明する。まず、はじめに動画像表示装置３７から現在の利用者が閲覧を行う予定の動画像とこれから閲覧を行うシーンについて情報を受信する（Ｓ８１）。これは、利用者が自分で、動画像名と閲覧を行いたいシーンを入力しても良いし、前回閲覧時に動画像表示装置３７が自動的にこれらの情報を保存しておき、動画像提供装置１３に送信するようにしても良い。次に、Ｓ８２に移行し、ここではＳ８１で受信した情報を元に動画像データ抽出手段３４において、動画像データ格納手段３１に格納されている動画像データと、シーン切り替え検出手段３２に格納されているシーン切り替えデータの抽出作業を行う。次は、抽出した動画像データに対応する要約データが予め動画像表示装置３７から送信され要約データ格納手段３６に存在しているかどうか検索する（Ｓ８３）。もし存在していれば、動画像表示装置３７に対して要約データの送信を行う（Ｓ８４）。次に、動画像表示装置３７に動画像データおよびシーン切り替えデータを送信する（Ｓ８５）。このように必要な部分の動画像データとシーン切り替えデータを送信することにより、利用者は通信に要するコストを最小限に抑えつつ、閲覧を行いながら今回閲覧部分の要約データを作成することが可能となる。また、要約データ格納手段３６に要約データが存在していた場合には、利用者が過去に閲覧を行った部分の要約も閲覧し中身を確認することが可能となる。
【００４２】
次に、図１３を参照して、本発明の第２の実施の形態における動画像表示装置の構成を説明する。本実施の形態における動画像表示装置３７は、動画像データおよびシーン切り替えデータを動画像提供装置１３から受信して、動画像管理手段４２に供給する通信手段４７が付加される点で図５に示す動画像表示装置１２と相違する。それ以外の構成要素は、図５のものと同様である。しかし、図５に示すような通信手段４７が具備されていない動画像表示装置１２では動画像データなどを追加する場合は取り外し可能な記録メディアなどを使用する必要があったが、動画像表示装置３７では通信手段４７が動画像データを供給するサーバから利用者が閲覧を希望する動画像データを受信し、動画像管理手段４２に供給することで、データの追加をオンラインで行うことが可能となる。従って、記憶装置４６は取り外し可能な記録メディアなどを処理する機能を持つ必要はない。また、動画像表示装置３７で作成された要約データを通信手段４７から動画像提供装置１３に送信することにより、この要約データを他の利用者が使用することが可能となる。
【００４３】
次に、図１４の動画像表示装置３７における通信処理手順を示すフローチャートを参照して、図１３に示す通信手段４７が動画像提供装置１３から動画像データを受信し、利用者が動画像の閲覧を開始するまでの処理内容について詳細に説明する。まず、閲覧シーンの送信処理を行う（Ｓ９１）。これは利用者が閲覧を所望する動画像シーンの情報で、利用者が自分で入力しても良いし、予め通信手段４７に利用者ごとの各動画像データの閲覧位置情報を保存しておき、それを自動的に動画像提供装置１３に送信するようにしても良い。次は、Ｓ９１で送信した情報に対して、動画像提供装置１３側から送信されてきた動画像データとシーン切り替えデータおよび要約データを受信する（Ｓ９２）。そして、受信した各データを動画像管理手段４２に格納する（Ｓ９３）。
【００４４】
次にＳ９４に移行し、要約データと動画像データの閲覧を開始する。この閲覧中には日付管理手段４５および進捗状況管理手段４４において、第１の実施の形態と同様に、各種情報の生成が行われており、次回閲覧時の要約作成処理に使用される。閲覧が終了するとＳ９５に移行し、新規作成要約データ送信処理が行われる。これはＳ９２では動画像提供装置１３から受信したデータに要約データが含まれておらず、利用者が動画像データの閲覧を開始する前に新しく要約データの生成処理が行われた場合には、今回作成した要約データを動画像提供装置１３に送信するという処理である。これにより、次回閲覧時にこの要約データを再度閲覧したり、別の利用者がこの動画像を閲覧する際に要約データを使用することが可能となる。尚、本発明の動画像表示装置３７は各データを表示するための液晶パネルや、各操作を行うためのボタンや通信装置が備えられた動画像表示専用の装置を想定しているが、例えば通信機能を伴った汎用的な携帯端末などの機器においても、操作ボタンなどをソフトウェアによって構成することで動画像の閲覧が可能であり、さらに携帯電話等の通信機器によっても実現が可能である。
さらに本発明では、動画像提供装置と動画像表示装置に通信段を具備することにより、動画像データおよび要約データをオンラインで追加することが可能となるという効果を有する。
【００４５】
【発明の効果】本発明における動画像提供装置は、上記のように構成され、特に、動画像を閲覧する際、過去に閲覧した部分の要約を自動的に作成することができることにより、過去の閲覧内容の確認のために動画像データを閲覧しなおす必要が無く、効率的で快適な閲覧環境を提供することができる。
また、本発明における動画像表示装置は、上記のように構成され、特に、利用者の閲覧時の操作状況、閲覧日時などを考慮して要約データを作成するため、利用者の閲覧状況を反映したきめ細かな要約を作成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における動画像提供装置の構成を示すブロック図、
【図２】本発明の第１の実施の形態において動画像表示装置に提供するための記録メディア作成処理の流れを示すフローチャート、
【図３】本発明の第１の実施の形態におけるフレーム間の差分に注目したシーン切り替えデータ作成処理の流れを示すフローチャート、
【図４】本発明の第１の実施の形態における特定オブジェクトの変化に注目したシーン切り替えデータ作成処理の流れを示すフローチャート、
【図５】本発明の第１の実施の形態における動画像表示装置の構成を示すブロック図、
【図６】本発明の第１の実施の形態において動画像閲覧開始時の日付情報作成処理の流れを示すフローチャート、
【図７】本発明の第１の実施の形態における日付管理手段で作成される閲覧間隔テーブルを示す図、
【図８】本発明の第１の実施の形態において動画像閲覧時の閲覧進捗データ作成処理の流れを示すフローチャート、
【図９】本発明の第１の実施の形態において動画像閲覧時の利用者の操作手順を示すフローチャート、
【図１０】本発明の第１の実施の形態において要約データ作成処理の流れを示すフローチャート、
【図１１】本発明の第２の実施の形態における動画像提供装置の構成を示すブロック図、
【図１２】本発明の第２の実施の形態における動画像提供装置での動画像データおよびシーン切り替えデータ送信時の通信処理の流れを示すフローチャート、
【図１３】本発明の第１の実施の形態における動画像表示装置の構成を示すブロック図、
【図１４】本発明の第２の実施の形態における動画像表示装置での動画像データおよび要約データ受信処理の流れを示すフローチャート。
【符号の説明】
１、３１　動画像データ格納手段
２、３２　シーン切り替え検出手段
３、３３　要求受付手段
４、３４　動画像データ抽出手段
５、４６　記憶装置
１１、１３　動画像提供装置
１２、３７　動画像表示装置
２１、４１　画面表示手段
２２、４２　動画像管理手段
２３、４３　要約作成手段
２４、４４　進捗状況管理手段
２５、４５　日付管理手段
２６　外部記憶装置
３５、４７　通信手段
３６　要約データ格納手段
【図１】
2004023197.tif 000003
【図２】
2004023197.tif 000004
【図３】
2004023197.tif 000005
【図４】
2004023197.tif 000006
【図５】
2004023197.tif 000007
【図６】
2004023197.tif 000008
【図７】
2004023197.tif 000009
【図８】
2004023197.tif 000010
【図９】
2004023197.tif 000011
【図１０】
2004023197.tif 000012
【図１１】
2004023197.tif 000013
【図１２】
2004023197.tif 000014
【図１３】
2004023197.tif 000015
【図１４】
2004023197.tif 000016