(57)【要約】【課題】利用者の要求に基づき非常に見やすく分かりやすい要約映像を簡単に生成さらには高速に配信する。【解決手段】クライアント２から要求された映像の要約映像を生成するサーバ１を備えた要約映像配信システムであって、サーバ１は、配信対象となる映像情報を入力し、これを映像データベース１６に格納する映像入力部１１と、クライアント２から送られてくる要約対象動作情報を受信して対象となる動作映像を登録する動作登録部１２と、クライアント２から送られてくる配信要求情報を受信して解析を行う配信応対部１３と、この解析結果に基づいて配信する要約映像を生成する映像要約部１５と、この要約映像生成結果に基づいて要約映像情報をクライアント２に配信する映像配信部１４と、映像入力部１１により格納された映像に関する情報を保持する映像データベース１６とを備える。【選択図】  図１
2005084809.tif 000002
【特許請求の範囲】
【請求項１】
映像を配信するサーバにおいて前記映像を要約する方法であって、
要約の対象となる動作映像を取得するステップと、
前記要約対象動作映像を構成するフレーム数を取得するステップと、
配信を要求された映像を検索するステップと、
この検索結果から前記フレーム数毎の対象映像を取得するステップと、
前記要約対象動作映像及び対象映像に対して、全フレーム間で各画素値の差を算出するステップと、
この画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てるステップと、
全フレーム間に渡って最小のフレーム番号を画素値とする画像を生成するステップと、
生成された画像間の相関値を算出するステップと、
この相関値に基づき、前記対象映像を配信するか否かを判断するステップと、
この判断結果に基づき、配信されると判断された対象映像から要約映像を生成するステップとを有することを特徴とする映像要約方法。
【請求項２】
クライアントから要求された映像の要約映像を生成するサーバを備えた要約映像配信システムであって、
前記サーバは、配信対象となる映像情報を入力し、これを映像データベースに格納する映像入力部と、クライアントから送られてくる要約対象動作情報を受信して対象となる動作映像を登録する動作登録部と、前記クライアントから送られてくる配信要求情報を受信して解析を行う配信応対部と、この解析結果に基づいて配信する要約映像を生成する映像要約部と、この要約映像生成結果に基づいて要約映像情報を前記クライアントに配信する映像配信部と、前記映像入力部により格納された映像に関する情報を保持する映像データベースとを備えた
を特徴とする要約映像配信システム。
【請求項３】
前記映像要約部は、前記配信応対部での解析結果に基づいて、選択された要約対象動作映像を動作登録部から取得するステップと、この要約対象動作映像を構成するフレーム数を取得するステップと、全フレーム間で各画素値の差を算出するステップと、この画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てるステップと、全フレーム間に渡って最小のフレーム番号を画素値とする参照画像を生成するステップと、前記配信応対部の解析結果に基づいて、配信を要求された映像を前記映像データベースから検索するステップと、この検索結果から前記フレーム数毎の対象映像を取得するステップと、全フレーム間で各画素値の差を算出するステップと、前記画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てるステップと、全フレーム間に渡って最小のフレーム番号を画素値とする対象画像を生成するステップと、この対象画像と前記参照画像との照会に基づき、これら画像間の相関値を算出するステップと、この相関値に基づき、該対象画像を構成する対象映像を配信するか否かを判断するステップと、この判断結果に基づき、配信されると判断された対象映像から要約映像を生成するステップとを実行すること
を特徴とする請求項２記載の要約映像配信システム。
【請求項４】
前記クライアントは、利用者からの入力を受け付けた操作指示に関して要約の対象となる映像の開始及び終了に関する情報を含む要約対象動作情報または配信の対象となる要約対象動作に関する情報を含む配信要求情報を生成して前記サーバに転送するデータ要求部と、前記サーバから配信された要約映像情報を受信し、この情報の表示処理を行う表示制御部とを備えたこと
を特徴とする請求項２または３記載の要約映像配信システム。
【請求項５】
ネットワークを介してクライアントと連絡し、このクライアントから要求された映像の要約映像を配信する要約映像配信サーバであって、
配信の対象となる映像に関する情報を保持する映像データベースを備え、
配信対象となる映像情報を映像データベースに格納し、前記クライアントから送られてくる要約対象動作情報を受信して対象となる動作映像を登録すると共に、前記クライアントから送られてくる配信要求情報を受信して解析し、この解析結果に基づいて配信する要約映像を生成し、この生成結果に基づいて要約映像情報を前記クライアントに配信すること
を特徴とする要約映像配信サーバ。
【請求項６】
利用者により操作される要約映像再生クライアントであって、
前記利用者により操作される入出力手段と、
配信の対象となる映像に関する情報を保持する映像データベースを備え、この映像データベースに配信対象となる映像情報を格納し、前記クライアントから送られてくる要約対象動作情報を受信して対象となる動作映像を登録すると共に、前記クライアントから送られてくる配信要求情報を受信して解析し、この解析結果に基づいて配信する要約映像を生成する要約映像配信サーバとを備え、
前記利用者からの入力を受け付けた操作指示に関して、要約の対象となる映像の開始及び終了に関する情報を含む要約対象動作情報あるいは配信の対象となる要約対象動作に関する情報を含む配信要求情報を生成して前記要約映像配信サーバに転送し、その後、このサーバから送信された要約映像情報を受信して格納し、この情報の表示処理を行うこと
を特徴とする要約映像再生クライアント。
【請求項７】
映像を配信するサーバにおいて前記映像を要約する方法をコンピュータによって実行するプログラムであって、
要約の対象となる動作映像を取得するステップと、
前記要約対象動作映像を構成するフレーム数を取得するステップと、
配信を要求された映像を検索するステップと、
この検索結果から前記フレーム数毎の対象映像を取得するステップと、
前記要約対象動作映像及び対象映像に対して、全フレーム間で各画素値の差を算出するステップと、
該画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てるステップと、
全フレーム間に渡って最小のフレーム番号を画素値とする画像を生成するステップと、
生成された画像間の相関値を算出するステップと、
この相関値に基づき、前記対象映像を配信するか否かを判断するステップと、
この判断結果に基づき、配信されると判断された対象映像から要約映像を生成するステップとを有することを特徴とする映像要約方法をコンピュータによって実行するプログラム。
【請求項８】
映像を配信するサーバにおいて前記映像を要約する方法をコンピュータによって実行するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
要約の対象となる動作映像を取得するステップと、
前記要約対象動作映像を構成するフレーム数を取得するステップと、
配信を要求された映像を検索するステップと、
この検索結果から前記フレーム数毎の対象映像を取得するステップと、
前記要約対象動作映像及び対象映像に対して、全フレーム間で各画素値の差を算出するステップと、
該画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てるステップと、
全フレーム間に渡って最小のフレーム番号を画素値とする画像を生成するステップと、
生成された画像間の相関値を算出するステップと、
この相関値に基づき、前記対象映像を配信するか否かを判断するステップと、
この判断結果に基づき、配信されると判断された対象映像から要約映像を生成するステップとを有することを特徴とする映像要約方法をコンピュータによって実行するプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク上で、要約映像を配信するための要約映像紀信システムとここで用いられる要約映像を生成する方法に関するものである。
【背景技術】
【０００２】
２００３年には地上波デジタル放送が開始予定であるが、こうしたデジタノレ放送では現在のアナログ放送とは異なった視聴方法が考えられる。従来のアナログ放送では、ユーザはリアルタイムにライブ映像を視聴することが中心で、せいぜいビデオデッキに録画して視聴するということしかなかった。一方、デジタル放送では、例えば、スポーツ映像を途中から見る場合、それまでの経過を要約して提示し、ライブ映像に追いつくなどの映像表現が考えられている。また、最近では、低価格で大容量のハードディスク装置に長時間の映像を録画することが可能になってきたが、ユーザの総視聴時間はいつの時代でも大きく変わらないので、映像を効率良く要約して提示することが更に重要となる。ここで要約とは、対象となる映像から時間軸に圧縮した映像を生成することであり、長時間の対象映像からユーザの興味のないシーケンスを削除し、興味のあるシーケンスだけを残したものことである。
【０００３】
従来の映像の要約技術として、連続フレームの画素値がフレーム内で大きく異なる時間を見出すシーンチェンジの先頭画像を並べたストーリーボードがある。例えば、非特許文献１に記載の技術は、ストーリーボードの画像の類似度を求め、関係グラフで一連のシーンを集約したシーントランジショングラフを生成している。
【０００４】
しかしながら、ストーリーボード自体はシーンの内容を表現しているわけではなく、映像の構造に関する情報を表現しており、要約映像を生成するためには不十分である。
【０００５】
また、これに対し、シーンのセグメンテーションやカメラモーションを利用して、映像を要約する技術も開発されている。例えば、非特許文献２に記載の技術は、シーンセグメンテーションを利用したビデオスキミング法である。この手法では、画像情報のみならず、音声やクローズド・キャプションを用いている点に特徴がある。
【０００６】
しかしながら、これらのシーンセグメンテーションやカメラモーションに基づいて要約映像として選択される部分が、利用者が望んでいるものであるとは限らず、前述のデジタル放送の環境では、個人の好みに適応した映像の要約技術が求められている。
【非特許文献１】Ｍ．Ｙｅｕｎｇ eｔｃ．，”Ｅｘｔｒａｃｔｉｎｇ ｓｔｏｒｙ ｕｎｉｔｓ ｖｉｄｅｏ ｂｒｏｗｓｉｎｇ ａｎｄ ｎａｖｉｇａｔｉｏｎ．”ＩＥＥＥ ＩＣＭＣＳ，ｐｐ．２９６−３０５（１９９６）
【非特許文献２】Ｍ．Ｓｍｉｔｈ ａｎｄ Ｔ．Ｋａｎａｄｅ、”Ｖｉｄｅｏ ｓｋｉｍｍｉｎｇ ａｎｄ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｔｈｒｏｕｇｈ ｔｈｅ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ｉｍａｇｅ ａｎｄ ｌａｎｇｕａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ ｔｅｃｈｎｉｑｕｅｓ．”ＩＥＥＥ ＣＶＰＲ，ｐｐ．７７５−７８１（１９９７）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、かかる事情に鑑みてなされたものであって、その目的は、ネットワーク上で実現される要約映像配信システムにおいて、利用者の要求に即して、非常に見やすく分かりやすい要約映像を簡単に生成することができるようにすることにある。また、こうして生成された要約映像をネットワーク上で高速に配信することができるようにすることにある。
【課題を解決するための手段】
【０００８】
そこで、本発明の要約映像配信システム、要約映像配信サーバ、要約映像再生クライアント及び映像要約方法は、視聴者が映像視聴により要約映像のキーとなる映像を開始点と終了点でセンタに登録しておき、視聴が要約映像を要求すると、前記キー映像に類似した部分だけを抜き出した要約映像を返信している。
【０００９】
すなわち、本発明の映像要約方法は、映像を配信するサーバにおいて前記映像を要約する方法であって、要約の対象となる動作映像を取得するステップと、前記要約対象動作映像を構成するフレーム数を取得するステップと、配信を要求された映像を検索するステップと、この検索結果から前記フレーム数毎の対象映像を取得するステップと、前記要約対象動作映像及び対象映像に対して、全フレーム間で各画素値の差を算出するステップと、この画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てるステップと、全フレーム間に渡って最小のフレーム番号を画素値とする画像を生成するステップと、生成された画像間の相関値を算出するステップと、この相関値に基づき、前記対象映像を配信するか否かを判断するステップと、この判断結果に基づき、配信されると判断された対象映像から要約映像を生成するステップとを有している。
【００１０】
また、本発明の要約映像配信システムは、クライアントから要求された映像の要約映像を生成するサーバを備えた要約映像配信システムであって、
前記サーバは、配信対象となる映像情報を入力し、これを映像データベースに格納する映像入力部と、クライアントから送られてくる要約対象動作情報を受信して対象となる動作映像を登録する動作登録部と、前記クライアントから送られてくる配信要求情報を受信して解析を行う配信応対部と、この解析結果に基づいて配信する要約映像を生成する映像要約部と、この要約映像生成結果に基づいて要約映像情報を前記クライアントに配信する映像配信部と、前記映像入力部により格納された映像に関する情報を保持する映像データベースとを備えている。
【００１１】
前記映像要約部としては、前記配信応対部での解析結果に基づいて、選択された要約対象動作映像を動作登録部から取得するステップと、この要約対象動作映像を構成するフレーム数を取得するステップと、全フレーム間で各画素値の差を算出するステップと、この画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てるステップと、全フレーム間に渡って最小のフレーム番号を画素値とする参照画像を生成するステップと、前記配信応対部の解析結果に基づいて、配信を要求された映像を前記映像データベースから検索するステップと、この検索結果から前記フレーム数毎の対象映像を取得するステップと、全フレーム間で各画素値の差を算出するステップと、前記画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てるステップと、全フレーム間に渡って最小のフレーム番号を画素値とする対象画像を生成するステップと、この対象画像と前記参照画像との照会に基づき、これら画像間の相関値を算出するステップと、この相関値に基づき、該対象画像を構成する対象映像を配信するか否かを判断するステップと、この判断結果に基づき、配信されると判断された対象映像から要約映像を生成するステップとを実行するものがある。
【００１２】
前記クライアントとしては、利用者からの入力を受け付けた操作指示に関して要約の対象となる映像の開始及び終了に関する情報を含む要約対象動作情報または配信の対象となる要約対象動作に関する情報を含む配信要求情報を生成して前記サーバに転送するデータ要求部と、前記サーバから配信された要約映像情報を受信し、この情報の表示処理を行う表示制御部とを備えたものがある。
【００１３】
また、本発明の要約映像配信サーバは、ネットワークを介してクライアントと連絡し、このクライアントから要求された映像の要約映像を配信する要約映像配信サーバであって、
配信の対象となる映像に関する情報を保持する映像データベースを備え、
配信対象となる映像情報を映像データベースに格納し、前記クライアントから送られてくる要約対象動作情報を受信して対象となる動作映像を登録すると共に、前記クライアントから送られてくる配信要求情報を受信して解析し、この解析結果に基づいて配信する要約映像を生成し、この生成結果に基づいて要約映像情報を前記クライアントに配信している。
【００１４】
さらに、本発明の要約映像再生クライアントは、利用者により操作される要約映像再生クライアントであって、
前記利用者により操作される入出力手段と、
配信の対象となる映像に関する情報を保持する映像データベースを備え、この映像データベースに配信対象となる映像情報を格納し、前記クライアントから送られてくる要約対象動作情報を受信して対象となる動作映像を登録すると共に、前記クライアントから送られてくる配信要求情報を受信して解析し、この解析結果に基づいて配信する要約映像を生成する要約映像配信サーバとを備え、
前記利用者からの入力を受け付けた操作指示に関して、要約の対象となる映像の開始及び終了に関する情報を含む要約対象動作情報あるいは配信の対象となる要約対象動作に関する情報を含む配信要求情報を生成して前記要約映像配信サーバに転送し、その後、このサーバから送信された要約映像情報を受信して格納し、この情報の表示処理を行なっている。
【００１５】
尚、本発明の要約映像配信システム、要約映像配信サーバ、要約映像再生クライアント及び映像要約方法はコンピュータとプログラムによっても実現でき、プログラムをコンピュータ読み取り可能な記録媒体に記録すること、ネットワークを通して提供することも可能である。前記記録媒体としては、例えばフレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ及びリムーバルディスク等が挙げられる。
【発明の効果】
【００１６】
したがって、本発明によれば、ネットワーク上で実現される要約映像配信システムにおいて、利用者の要求に即して、非常に見やすく分かりやすい要約映像を簡単に生成することが可能となる。そして、生成された要約映像はネットワーク上で高速に配信することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１８】
図１は本発明の一実施形態である要約映像配信システムの概略構成図である。
【００１９】
本実施形態の要約映像配信システムは、要約映像配信サーバ１と要約映像再生クライアント２とを備える。これらはネットワークを介して物理的に連絡されている。尚、以下の説明では、要約映像配信サーバ１と要約映像再生クライアント２を連絡するネットワークがインターネットであるものとして説明する。
【００２０】
要約映像配信サーバ１は、映像入力部１１と動作登録部１２と配信応対部１３と映像配信部１４と映像要約部１５と映像データベース１６とを備える。
【００２１】
映像入力部１１は、配信対象となる映像情報を入力し、映像データベース１６に格納する機能を実現する。
【００２２】
映像データベース１６は、映像入力部１１により入力された配信対象となる映像情報を格納する。
【００２３】
動作登録部１２は、要約映像再生クライアント２から送られてくる要約対象動作情報を受信して対象となる動作映像を登録する機能を実現する。この動作映像は動作の開始から終了までの映像を、映像データベース１６に格納された映像情報から取得して生成され、識別子と共に登録される。
【００２４】
配信応対部１３は、要約映像再生クライアント２から送られてくる配信要求情報を受信して解析を行う機能を実現する。
【００２５】
映像要約部１５は、配信応対部１３での解析結果に基づいて、配信する要約映像を生成する機能を実現する。
【００２６】
映像配信部１４は、映像要約部１５での生成結果に基づいて、要約映像情報を要約映像再生クライアント２に配信する機能を実現する。
【００２７】
また、要約映像配信サーバ２としては、パーソナルコンピュータ、ワークステーションなどの情報処理機器を用いてもよい。配信対象となる映像情報、要約映像情報、動作映像、要約対象動作情報及び配信要求情報は、これら情報処理装置が有する磁気ディスク装置や光ディスク装置などの記憶装置内に格納される。このとき、前記各処理部、すなわち、映像入力部１１、動作登録部１２、配信応対部１３、映像配信部１４及び映像要約部１５は、実際、情報処理装置が有するメモリ内にプログラムの形で格納されて実行される。
【００２８】
要約映像再生クライアント２は、利用者２０からの入力を受け付けた操作指示に関して要約の対象となる映像の開始及び終了に関する情報を含む要約対象動作情報あるいは配信の対象となる要約対象動作に関する情報を含む配信要求情搬を生成して要約映像配信サーバ１に転送するデータ要求部２１と、要約映像配信サーバ１から配信された要約映像情報を受信してこの情報の表示処理を行う表示制御部２２とを備える。
【００２９】
要約映像再生クライアント２は、要約映像配信システムにおける利用者２０とのインタフェースとして入出力する手段を備え、利用者の操作指示を受け付ける。図示された要約映像再生クライアント２は、データ要求部２１と表示制御部２２と入出力装置２３とを備える。
【００３０】
データ要求部２１は、入力を受け付けた操作指示を要約映像配信サーバ１に転送する機能を実現する。これは、例えば、要約の対象となる映像の開始及び終了に関する情報を含む要約対象動作情報あるいは配信の対象となる動作映像を識別するための情報を含む配信要求情報であり、操作指示を受け、該当する情報を生成し、転送することになる。
【００３１】
表示制御部２２は、要約映像配信サーバ１から配信された要約映像情報を受信して、この情報の表示処理を行う機能を実現する。
【００３２】
要約映像再生クライアント２は、利用者とのインタフェースとなるキーボード、マウス、ジョイスティックなどの入力装置、ＣＲＴディスプレイなどの出力装置によって実現し、例えば、パーソナルコンピュータ等の情報処理装置により実現してもよい。この場合、上述した各処理部すなわちデータ要求部２１及び表示制御部２２は、このような情報処理装置のメモリに格納されて実行されるプログラムにより実現することができる。
【００３３】
次に、要約映像を配信する際の処理について説明する。要約の対象となる動作映像の登録は図２に示したブロックチャートの手順で実行される。
【００３４】
要約映像配信サーバ１は、映像入力部１１において、配信対象となる映像情報を入力し、映像データベース１６に格納する。続いて、要約映像再生クライアント２は、データ要求部２１において、入出力装置２３による利用者からの操作指示を受け付ける。そして、要約の対象となる映像の開始及び終了に関する情報を含む要約対象動作情報を生成し、要約映像配信サーバ１に転送する。要約映像配信サーバ１は、動作登録部１２において、要約映像再生クライアント２から送られてくる要約対象動作情報を受信して、動作の開始から終了までの映像を映像データベース１６に格納された映像情報から取得して生成し、識別子と共に登録する。これを繰り返すことにより、複数の動作映像を登録する。
【００３５】
続いて、要約映像の再生は図３に示したブロックチャートの手順で実行される。
【００３６】
要約映像配信サーバ１は、動作登録部１２において、登録されている動作映像を要約映像再生クライアント２に転送する。要約映像再生クライアント２は、表示制御部２２において要約映像配信サーバ１から配信された動作映像を受信して表示処理を行なう。これに対し、入出力装置２３による利用者からの操作指示を受け付ける。続いて、データ要求部２１において、配信の対象となる要約対象動作に関する情報を含む配信要求情報を生成し、要約映像配信サーバ１に転送する。
【００３７】
要約映像配信サーバ１は、配信応対部１３において、要約映像再生クライアント２から送られてくる配信要求情報を受信して解析を行う。映像要約部１５では、この解析結果に基づいて配信する要約映像を生成する。
【００３８】
映像配信部１４では、この生成結果に基づいて、要約映像情報を要約映像再生クライアント２に配信する。要約映像再生クライアント２は、表示制御部２２において、要約映像配信サーバ１から配信された要約映像情報を受信して表示処理を行う。
【００３９】
次に、本実施の形態の一機能である要約映像を生成する際の処理について説明する。図４は要約映像配信サーバ１の映像要約部１５で実行される要約映像生成の手順を説明したフローチャートである。
【００４０】
ステップ１では、要約の対象となる動作映像（以下、要約対象動作映像）を取得する。
【００４１】
ステップ２では、要約対象動作映像を構成するフレーム数を取得する。
【００４２】
ステップ３では、配信を要求された映像を検索する。
【００４３】
ステップ４では、検索結果からステップ２のフレーム数毎の映像を取得し、対象映像とする。
【００４４】
ステップ５では、要約対象動作映像、対象映像に対して、前フレームとの差分画像を各々作成する。
【００４５】
ステップ６では、各々の差分画像の各画素において、画素値の差がしきい値を越える場合にはその画素値にフレーム番号を割り当てる。一方、しきい値を超えていない場合には０を割り当てる。
【００４６】
ステップ７では、各々の全差分画像の各画素において、最小のフレーム番号を両素値とする画像を生成する。
【００４７】
ステップ８では、生成された各々の画像間の相関値を算出する。
【００４８】
ステップ９では、相関値に基づき、この対象映像を配信するか否かを判断する。
【００４９】
ステップ１０では、判断結果に基づき、配信されると判断された対象映像から要約映像を生成する。
【００５０】
利用するしきい値は、予め決めておくとしてもよいし、平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出するとしてもよく、これらの値の算出手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。ここで、相関値の算出は、通常の画像処理で利用される正規化相互相関値（例えば以下の数式で示される相関値）を利用するとよい。基準画像をＴ（ｘ，ｙ）、入力画像をＩ（ｘ，ｙ）とすると、相関値Ｒ（ｘ，ｙ）は以下の式で表せる。
【００５１】
【数１】
2005084809.tif 000003
【００５２】
次に、これまで述べてきた要約映像配信システムにおける要約映像再生の具体例について説明する。ここでは、野球の試合の映像を配信する場合を例に採り上げる。ここではＰｉｔｃｈ ｂｙ Ｐｉｔｃｈと呼ばれている投手が投球するシーンだけで構成される要約映像を配信する場合について説明する。
【００５３】
一般に放送されている野球の試合の映像は、投手が投げたり、打者が打ったり、攻守を交代したりという映像が数時間繰り返されるものであるので、試合に関係のない映像など興味のないシーンを省略することができれば、視聴者は非常に快適に視聴することができる。
【００５４】
要約の対象となる動作映像を登録するまでの処理は以下のようになる。
【００５５】
要約映像配信サーバ１は、映像入力部１１において、配信対象となる野球の試合の映像を映像情報として入力し、映像データベース１６に格納する。
【００５６】
これに対して、図５に示すような要約映像再生クライアント２の画面で、利用者が要約の対象となる「投球開始動作をしている映像」を選択する。要約映像再生クライアント２におけるデータ要求部２１では、これに関する要約対象動作情報を生成し、要約映像配信サーバ１に転送する。
【００５７】
要約映像配信サーバ１は、動作登録部１２において、要約映像再生クライアント２から送られてくる要約対象動作情報を受信して対象となる動作映像を登録する。例えば、複数の動作、その具体例としてホームランを打ったシーンなどを登録する場合には、同様の操作を繰り返して、複数の動作映像を登録する。
【００５８】
続いて、要約映像を再生するまでの処理は、以下のようになる。図６に示すような要約映像再生クライアント２の画面で、利用者２０が、配信の対象としたい要約対象動作をしている映像を選択する。要約映像再生クライアント２のデータ要求部２１は、これに関する配信要求情報を生成し、要約映像配信サーバ１に転送する。要約映像配信サーバ１は、配信応対部１３において、この配信要求情報を受信して解析する。次いで、映像要約部１５において、この解析結果に基づいて配信する要約映像を生成する。
【００５９】
映像要約部１５における要約映像を生成する処理について説明する。要約の対象となる投球開始動作に関する要約対象動作映像を取得し、フレーム数を取得する。次いで、この要約対象動作映像から参照画像を生成する。この手順について図７に示した簡単な手を振る動作を例に挙げて説明する。フレーム間で各画素値の差を算出し、その差がしきい値を越える画素を検出する。ここで、この画素を白色で表した２値で表現すると、例えば、フレーム番号１の８０１の状態ではまだ手が動いていないので、８０２に示すように真黒である。フレーム番号１０の８０３及びフレーム番号２０の８０５は、手が動いているので、それぞれ８０４，８０６に示すような白い画素が検出される。こうして検出された画素に対して、フレーム番号を割り当て、全フレーム間に渡って最小のフレーム番号を画素値とする参照画像を生成する。図８に示すように、９０１，９０３，９０５に対応する参照画像が９０２，９０４，９０６となる。ここでは、フレーム番号が割り当てられた画素値をグレイスケールに対応させて示している。９０６に示すように、白から黒へのグラデーションで動きが表現されることになる。図５に示すような投球開始動作の場合は、図９に示すような参照画像となる。
【００６０】
これに対して、配信を要求された野球の試合の映像を検索し、このフレーム数毎の対象映像を取得する。同様の手順にて、対象画像を生成する。この参照画像と対象画像間の相関値を算出する。ここでは、この相関値の推移の一例を、時間軸と共に示す。縦軸を相関値、横軸を時間として、プロットすると、図１０に示した特性図のようになる。このピークにあたる部分が、投球動作をしているシーンであり、ある間隔で投球が繰り返されているのが確認できる。ここでは、Ｐｉｔｃｈ ｂｙ Ｐｉｔｃｈ映像を生成するので、このピークに対応する部分の映像が配信する映像として判断される。そして、これをつなぎ合わせることにより、要約映像が生成される。こうして生成された要約映像情報を映像配信部１４から要約映像再生クライアント２に配信する。要約映像再生クライアント２は、表示制御部２２において、この要約映像情報を受信して要約映像再生クライアント２の画面に表示する。
【００６１】
以上の実施の形態に基づき本発明の要約画像配信システムについて具体的に説明したが、本発明はかかる実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能であることはいうまでもない。
【００６２】
また、本実施形態では、配信対象となる映像情報の入力から要約映像の再生まで、同じ映像情報を対象にした例について説明したが、映像情報、あるいは要約映像再生クライアントのセッション情報を一般のデータベースが有する機能を利用して監視することにより、複数の映像情報や複数の要約映像再生クライアントについて同様の実施が可能であることはいうまでもない。
【００６３】
さらに、以上の実施形態で述べた映像要約方法は、図１〜図４で示した処理工程をコンピュータのプログラムで構成し、このプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその機能を実現するためのプログラムあるいはコンピュータにその処理の工程の実行させるためのプログラムをコンピュータが読み取りできる記録媒体、例えばフレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ及びリムーバルディスクなどに記録して、保存したり、配布したりすることが可能である。さらに、前記プログラムをインターネットや電子メールなど、ネットワークを介して提供することも可能である。
【００６４】
そして、これら記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。但し、コンピュータへのインストールはコンピュータ単位であり、装置やシステムが複数あることなどでインストールの対象となるコンピュータが複数ある場合には、当該プログラムは必要な処理部分毎にインストールされることは当然である。この場合、当該プログラムはコンピュータ対応に記録媒体に記録するか、またはネットワークを介してダウンロードしてもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施形態である要約映像配信システムの概略構成図。
【図２】要約の対象となる動作映像の登録を説明したブロックチャート。
【図３】要約映像の再生を説明したブロックチャート。
【図４】要約映像を生成する手順を説明したフローチャート。
【図５】本発明の実施例を示した図。
【図６】本発明の実施例を示した図。
【図７】本発明の実施例を示した図。
【図８】本発明の実施例を示した図。
【図９】本発明の実施例を示した図。
【図１０】参照画面と対象画面の相関値の経時的推移を示した特性図。
【符号の説明】
【００６６】
１…要約映像配信サーバ
１０…映像コンテンツ、１１…映像入力部、１２…動作登録部、１３…配信応対部、１４…映像配信部、１５…映像要約部
２…要約映像再生クライアント
２０…利用者、２１…データ要求部、２２…表示制御部、２３…入出力装置
【図１】
2005084809.tif 000004
【図２】
2005084809.tif 000005
【図３】
2005084809.tif 000006
【図４】
2005084809.tif 000007
【図１０】
2005084809.tif 000008
【図５】
2005084809.tif 000009
【図６】
2005084809.tif 000010
【図７】
2005084809.tif 000011
【図８】
2005084809.tif 000012
【図９】
2005084809.tif 000013