(57)【特許請求の範囲】
【請求項１】
１つの映像ストリームから抽出した複数の静止画像で構成されるサムネイル画像を管理するサムネイル管理手段と、
前記サムネイル画像の送信要求を受信する送信要求受信手段と、
前記サムネイル画像を構成する複数の静止画像の中で、前記映像ストリームのシーン切り換え点それぞれに対応する静止画像群がシーン切り換え点以外の他の静止画像群よりも優先してフレーム番号順に送信されるように前記複数の静止画像の送信順序を決定する順序決定手段と、
前記複数の静止画像を前記順序決定手段によって決定された順序で並べ替え、前記シーン切り換え点それぞれに対応する静止画像群と前記シーン切り換え点以外の他の静止画像群とを一つのストリームとして送信するサムネイル送信手段とを具備することを特徴とする画像送信装置。
【請求項２】
前記順序決定手段は、シーン切り換え点に対応する静止画像それぞれがフレーム番号順に最初に送信され、次いで送信済みの静止画像をフレーム番号順に並べたときに最も間隔があいている部分の中央にあたる静止画像が順次送信されるように、前記複数の静止画像の送信順序を決定することを特徴とする請求項１記載の画像送信装置。
【請求項３】
前記映像ストリームを入力する映像ストリーム入力手段と、
前記映像ストリーム入力手段によって入力された映像ストリームから複数の静止画像をサムネイル画像として抽出するサムネイル抽出手段とをさらに具備することを特徴とする請求項１記載の画像送信装置。
【請求項４】
前記サムネイル画像を構成する複数の静止画像を保存する第１のサムネイル記憶手段と、
前記複数のサムネイル画像を前記順序決定手段で決定した順序で保存するための第２のサムネイル記憶手段とをさらに具備し、
前記サムネイル送信手段は、前記第２のサムネイル記憶手段に保存された前記複数の静止画像を、前記第２のサムネイル記憶手段に保存した順序で送信することを特徴とする請求項１記載の画像送信装置。
【請求項５】
１つの映像ストリームから抽出した複数の静止画像で構成されるサムネイル画像を通信路を介して端末に伝送する画像伝送方法であって、
前記サムネイル画像の送信要求を受信するステップと、
前記サムネイル画像を構成する複数の静止画像の中で、前記映像ストリームのシーン切り換え点それぞれに対応する静止画像群がシーン切り換え点以外の他の静止画像群よりも優先してフレーム番号順に送信されるように前記複数の静止画像の送信順序を決定する順序決定ステップと、
前記複数の静止画像を前記順序決定ステップによって決定された順序で並べ替え、前記シーン切り換え点それぞれに対応する静止画像群と前記シーン切り換え点以外の他の静止画像群とを一つのストリームとして送信するステップとを具備することを特徴とする画像伝送方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術の分野】
本発明は、１つの映像ストリームから抽出した複数の静止画像から構成されるサムネイル画像を送信する画像送信装置およびサムネイル画像を構成する複数の静止画像をコマ送り表示する画像表示装置並びにサムネイル画像を伝送するための画像伝送方法に関する。
【０００２】
【従来の技術】
近年、映像のディジタル化が急速に進行している。個人で撮影した映像をディジタル形式で保存するディジタルビデオレコーダー（ＤＶＲ）は販売台数が急速に増加している。またテレビジョン放送では、通信衛星（ＣＳ）を使ったディジタル放送が既に開始されており、また西暦２０００年１２月からは放送衛星（ＢＳ）によるディジタル放送が、西暦２００３年からは地上波によるディジタル放送が計画されている。
【０００３】
さらに、インターネットを利用した映像の配信も盛んに行なわれており、ストリーミング技術を利用した映像のリアルタイム配信を行なうホームページがＷＷＷ上で多く存在している。
このように映像のディジタル化が進行すると、大量のディジタル映像の中から自分の好みの映像部分を検索することが重要となる。
【０００４】
検索方法の一例として、ディジタル映像の中から映像の代表となる箇所を静止画像として抽出したサムネイル画像を表示しておき、その中から自分の好みにあった映像箇所を選択する方法がある（情報処理学会研究会報告，ＨＩ９２−７，ｐｐ．３７−４２，「映像解析技術を利用した映像メディアのためのＧＵＩ」）。ユーザは映像を視聴することなしに、自分の好みの映像箇所を検索することが可能になる。
【０００５】
また、放送やインターネットで送信されてくるディジタル映像ストリームは、データサイズを小さくするためにＭＰＥＧ形式などで圧縮して送信される場合が多い。圧縮されたＭＰＥＧデータは早送り再生や巻き戻し再生などのトリック再生が困難である。そのためＶＴＲのように自分の所望する映像の個所を早送りや巻き戻しで選択することが難しい。しかし、サムネイル画像をコマ送りで表示することにより、擬似的な早送り再生や巻き戻し再生が可能になり、早送りや巻き戻しによる所望の映像箇所の選択が可能になる。
【０００６】
【発明が解決しようとする課題】
以上述べたように、サムネイル画像をコマ送りで表示することにより、擬似的な映像ストリームの早送りや巻き戻し再生による所望の映像箇所の選択が可能になるが、コマ送り表示するためには大量のサムネイル画像が必要となる。サムネイル画像をインターネット経由で受信する場合を考えると、電話線などの狭い帯域では、サムネイル画像をすべて受信するまでには多大な時間がかかる。そのため、サムネイル画像をすべて受信し終わってから表示すると、表示するまでに時間がかかり過ぎるという問題があった。
【０００７】
これを解決するために、受信したサムネイル画像から逐次表示を可能にすることも考えられるが、サムネイル画像が映像ストリームのフレームの順序に対応して送信される場合には、先頭部分のフレームのサムネイル画像はすぐに表示可能になるが、最後尾のフレームのサムネイル画像は表示可能になるまで時間がかかる。そのため、サムネイル画像の受信開始直後では先頭フレーム付近のサムネイル画像しかコマ送り表示できないという問題があった。
【０００８】
本発明は上述の事情に鑑みてなされたものであり、サムネイル画像のコマ送り表示に適した伝送形式でサムネイル画像を効率よく伝送・表示することが可能な画像送信装置および画像表示装置並びに画像伝送方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の課題を解決するため、本発明の画像送信装置は、１つの映像ストリームから抽出した複数の静止画像で構成されるサムネイル画像を管理するサムネイル管理手段と、前記サムネイル画像の送信要求を受信する送信要求受信手段と、前記サムネイル画像を構成する複数の静止画像の中で、前記映像ストリームのシーン切り換え点それぞれに対応する静止画像群がシーン切り換え点以外の他の静止画像群よりも優先してフレーム番号順に送信されるように前記複数の静止画像の送信順序を決定する順序決定手段と、前記複数の静止画像を前記順序決定手段によって決定された順序で並べ替え、前記シーン切り換え点それぞれに対応する静止画像群と前記シーン切り換え点以外の他の静止画像群とを一つのストリームとして送信するサムネイル送信手段とを具備することを特徴とする。
【００１０】
この画像送信装置においては、サムネイル画像を構成する複数の静止画像はフレーム番号順ではなく、シーン切り換え点それぞれに対応する静止画像群がシーン切り換え点以外の他の静止画像群よりも優先してフレーム番号順に送信されるように並べ替えられ、シーン切り換え点それぞれに対応する静止画像群と前記シーン切り換え点以外の他の静止画像群とが一つのストリームとして送信される。よって、シーン切り替えなど重要な部分を先に送信することができ、フレーム番号の順序に依らない送信をすることが可能になる。特に、シーン切り換え点に対応する静止画像それぞれがフレーム番号順に最初に送信され、次いで送信済みの静止画像をフレーム番号順に並べたときに最も間隔があいている部分の中央にあたる静止画像が順次送信されるように送信順序を決定することにより、表示装置側では受信・保存済みの静止画像のみを用いたコマ送り表示を効率よく行うことが可能となる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
図１は本発明の第１実施形態に係るサムネイル画像送信装置の構成を示すブロック図である。このサムネイル画像送信装置１は、１つの映像ストリームから抽出した複数の静止画像から構成されたサムネイル画像をインターネットや放送などを通じて端末に送信するための装置である。
【００１４】
サムネイル管理部１０は、サムネイル画像の送信要求を送信要求受信部１１から受けたり、送信するサムネイル画像の入力要求をサムネイル入力部１５に出したり、サムネイル画像を構成する静止画像をどの順序で送信するかを順序決定部１４に問い合わせたり、サムネイル画像の送信をサムネイル送信部１３に要求したりするなど、サムネイル画像を管理するための手段である。
【００１５】
送信要求受信部１１は、サムネイル画像の送信要求を各端末から受信するための手段である。送信要求受信部１１で送信要求を受信すると、サムネイル管理部１０に送信要求を受信したことを伝える。
サムネイル記憶部１２は、サムネイル入力部１５に入力されたサムネイル画像を一時的に保存しておくための手段である。サムネイル記憶部１２はＤＲＡＭなどのメモリなどから構成される。
【００１６】
サムネイル送信部１３は、サムネイル記憶部１２に一時的に保存されたサムネイル画像を送信するための手段である。
順序決定部１４は、サムネイル画像を送信する際に、サムネイル画像を構成する複数の静止画像をどの順序で送信するかを決定するための手段である。
サムネイル入力部１５は、サムネイル画像を入力するための手段である。サムネイル入力部１５に入力されたサムネイル画像は、サムネイル記憶部１２で一時的に保存される。
【００１７】
次に、サムネイル画像送信装置１の動作について、図２のフローチャートを参照して説明する。
図２は、入力したサムネイル画像を送信する時の動作フローを示している。
【００１８】
最初に、送信要求受信部１１がサムネイル画像の送信要求を受ける（ステップＳ１１）。送信要求受信部１１はサムネイル管理部１０に対して送信要求を受信したことを伝える。サムネイル管理部１０は、サムネイル入力部１５に対して、送信要求のあったサムネイル画像を入力するように要求する。サムネイル入力部１５は、映像ストリームから予め抽出されたサムネイル画像を入力する（ステップＳ１２）。サムネイル画像はネットワークを経由して入力しても良いし、サムネイル画像送信装置１がサムネイルを保存するためのＨＤＤなどの保存手段を持つ場合は、その保存手段から入力しても良い。入力したサムネイル画像はサムネイル記憶部１２に一時的に保存される（ステップＳ１３）。
【００１９】
図３では、本実施形態におけるサムネイル画像が抽出される映像ストリームを示している。図３で示す映像ストリームの下に記述されている数字はフレーム番号であり、映像ストリームがＭＰＥＧ形式で圧縮されていることとする。斜線で示すフレーム番号１、６、１１、１６、２１、２６、３１、３６、４１、４６はＭＰＥＧのＩ−Ｐｉｃｔｕｒｅ部分を示している。また黒枠で囲っているフレーム番号１、２１、４６のフレームは、カット検出の手法（電子情報通信学会技術報告，ＰＲＭＵ９６−１０，ｐｐ．５５−６２，「動きベクトル符号量をＭＰＥＧ動画像からの高速カット検出」）を用いて検出されたシーン切り替え部分を示している。
【００２０】
図４では、図３の映像ストリームから抽出されたサムネイル画像を示している。サムネイル画像は、ＭＰＥＧのＩ−Ｐｉｃｔｕｒｅから抽出された静止画像をフレーム番号順に並べられたもので構成されている。本実施形態では、図４のサムネイル画像がサムネイル入力部１５に入力されるものとする。
【００２１】
次に、サムネイル管理部１０は順序決定部１４に対して、サムネイル画像を構成する静止画像の送信順序を問い合わせる。順序決定部１４では、送信順序を決定する（ステップＳ１４）。本実施形態では、以下の順序で静止画像を送信することとする。
【００２２】
まず、図４の黒枠で示したシーン切り替え部分（フレーム番号１、２１、４６）の静止画像を最初にフレーム番号順に送信する。次に、送信済みの静止画像をフレーム順で並べた時に、最も間隔が空いている部分の中央に当たる静止画像を順次送信していく。フレーム番号１、２１、４６の静止画像が送信済みの場合は、フレーム番号の２１と４６の間が最も間隔が空いている。そこでフレーム番号２１と４６の中央に当たるフレーム番号３１（もしくは３６）の静止画像を次に送信する。フレーム番号１、２１、３１、４６の静止画像が送信済みの場合は、フレーム番号１と２１の間が最も間隔が空いている。そこでフレーム番号１と２１の中央に当たるフレーム番号１１の静止画像を次に送信する。以下同様にして送信する。図５では、送信順序に並べ替えたサムネイル画像を示している。
【００２３】
サムネイル管理部１０は、サムネイル画像を構成する複数の静止画像を順序決定部１４で決定した順序に並び替えて、サムネイル記憶部１２の連続領域に１つのストリームとして保存する（ステップＳ１５）。
【００２４】
またサムネイル管理部１０は、サムネイル画像ストリームを構成する各々の静止画像の先頭位置を示すオフセットとフレーム番号との対応テーブルを作成する（ステップＳ１６）。図６では本実施形態における対応テーブルを示している。サムネイル画像ストリームの０Ｂｙｔｅから９９９Ｂｙｔｅまではフレーム番号１の静止画像であることを示しており、１０００Ｂｙｔｅから２４９９Ｂｙｔｅまではフレーム番号２１の静止画像であることを示しており、以下同様である。
【００２５】
サムネイル管理部１０は、図６で示した対応テーブルをサムネイル送信部１３に送った後に、サムネイル記憶部１２に保存されているサムネイル画像ストリームをサムネイル送信部１３へ送る。サムネイル送信部１３は対応テーブルとサムネイル記憶部１２から送られてきたサムネイル画像ストリームを送信する（ステップＳ１７）。
【００２６】
以上説明したように、サムネイル画像の送信要求を受けた時に、サムネイル画像を入力してサムネイル画像を構成する複数の静止画像を指定した順序で送信することにより、シーン切り替えなど重要な部分を先に送信したり、フレーム番号の順序に依らない送信をすることが可能になる。また、対応テーブルには、サムネイル画像として送信される静止画像それぞれのフレーム番号の一覧情報などを含めて表示装置に送信するようにしても良い。
【００２７】
図７は本発明の第２実施形態に係るサムネイル画像送信装置２を示すブロック図である。
サムネイル管理部２０、送信要求受信部２１、サムネイル記憶部２２、サムネイル送信部２３、順序決定部２４は、図１で示したサムネイル管理部１０、送信要求受信部１１、サムネイル記憶部１２、サムネイル送信部１３、順序決定部１４の場合と同様の手段である。
【００２８】
映像ストリーム管理部２５は、サムネイル画像を抽出するための映像ストリームの入力を要求したり、入力した映像ストリームをサムネイル抽出部２７へ送るなど、映像ストリームを管理するための手段である。映像ストリーム入力部２６は、サムネイル画像を抽出するための映像ストリームを入力するための手段である。入力した映像ストリームはサムネイル抽出部２７に送られる。
【００２９】
サムネイル抽出部２７は映像ストリーム入力部２６から送られてきた映像ストリームからサムネイル画像を抽出するための手段である。サムネイル抽出部２７で抽出されたサムネイル画像は、サムネイル記憶部２２に送られる。
【００３０】
次に、サムネイル画像送信装置２の動作について、図８のフローチャートを参照して説明する。
図８は、入力した映像ストリームからサムネイル画像を抽出して送信する時の動作フローを示している。
【００３１】
最初に、送信要求受信部２１が、サムネイル画像の送信要求を受ける（ステップＳ２１）。本実施形態では、図３で示した映像ストリームに対するサムネイル画像の送信要求を受けることとする。送信要求受信部２１はサムネイル管理部２０に対して送信要求を受信したことを伝える。サムネイル管理部２０は、送信要求のあったサムネイル画像を抽出するための映像ストリームを入力するように、映像ストリーム管理部２５に対して要求を出す。
【００３２】
映像ストリーム管理部２５は、映像ストリームの入力要求を出す。映像ストリーム入力部２６は要求のあった映像ストリームを入力する（ステップＳ２２）。映像ストリームはリアルタイムで送られる放送を受信する場合でも良いし、サーバに保存されている映像ストリームをネットワーク経由で入力する場合でも良い。また、サムネイル画像送信装置２が映像ストリームを保存するためのＨＤＤなどの保存手段を持つ場合は、保存手段から入力しても良い。
【００３３】
映像ストリーム入力部２６で入力した映像ストリームは、サムネイル抽出部２７に送られる。サムネイル抽出部２７は、映像ストリーム入力部２６から送られてきた映像ストリームから、サムネイル画像を構成する静止画像を抽出する（ステップＳ２３）。本実施形態では、図３で示した映像ストリームのＩ−Ｐｉｃｔｕｒｅから静止画像を抽出することとする。
【００３４】
抽出した静止画像はサムネイル記憶部２２に送られて、図４で示したフレーム番号順に並べられてサムネイル記憶部２２に一時的に保存される（ステップＳ２４）。
【００３５】
次に、サムネイル管理部２０は順序決定部２４に対して、サムネイル画像を構成する静止画像の送信順序を問い合わせる。順序決定部２４では、送信順序を決定する（ステップＳ２５）。本実施形態では、図１の第１実施形態で示した順序で静止画像を送信することとする。
【００３６】
サムネイル管理部２０は、サムネイル画像を構成する複数の静止画像を順序決定手段２４で決定した順序に並び替えて、サムネイル記憶部２２の連続領域に１つのストリームとして保存する（ステップＳ２６）。またサムネイル管理部２０は、サムネイル画像ストリームを構成する各々の静止画像の先頭位置を示すオフセットとフレーム番号との対応テーブルを作成する（ステップＳ２７）。
【００３７】
サムネイル管理部２０は、対応テーブルをサムネイル送信部２３に送った後に、サムネイル記憶部２２に保存されているサムネイル画像ストリームをサムネイル送信部２３へ送る。サムネイル送信部２３は対応テーブルとサムネイル記憶部２２から送られてきたサムネイル画像ストリームを送信する（ステップＳ２８）。
【００３８】
以上説明したように、サムネイル画像の送信要求を受けた時に、サムネイル画像を生成するための映像ストリームを入力してサムネイル画像を抽出し、サムネイル画像を構成する複数の静止画像を指定した順序で送信することにより、シーン切り替えなど重要な部分を先に送信したり、フレーム番号の順序に依らない送信をすることが可能になる。
【００３９】
図９は本発明の第３実施形態に係るサムネイル画像送信装置３の構成を示すブロック図である。
【００４０】
サムネイル管理部３０、送信要求受信部３１、サムネイル第１記憶部３２、サムネイル送信部３３、順序決定部３４、サムネイル入力部３５は、図１で示したサムネイル管理部１０、送信要求受信部１１、サムネイル記憶部１２、サムネイル送信部１３、順序決定部１４、サムネイル入力部１５の場合と同様の手段である。
【００４１】
サムネイル第２記憶部３６は、サムネイル画像を保存するための手段である。サムネイル第２記憶部３６はＨＤＤやＤＶＤ−ＲＡＭやＣＤ−ＲＷのような不揮発性のメモリでも良いし、ＤＲＡＭなどの揮発性メモリでも良い。
【００４２】
次にサムネイル画像送信装置３の動作について、図１０と図１１のフローチャートを参照して説明する。
【００４３】
図１０は、入力したサムネイル画像を保存する時の動作フローを示している。本実施形態では、図３で示した映像ストリームに対するサムネイル画像を保存する場合を示す。最初に、サムネイル管理部３０は、保存するサムネイル画像の入力をサムネイル入力部３５に要求する。サムネイル入力部３５は要求のあったサムネイル画像を入力する（ステップＳ３１）。本実施形態では、図４で示したサムネイル画像が入力されるものとする。入力したサムネイル画像はサムネイル第１記憶部３２に一時的に保存される（ステップＳ３２）。
【００４４】
次に、サムネイル管理部３０は順序決定部３４に対して、サムネイル画像を構成する静止画像の送信順序を問い合わせる。順序決定部３４では、送信順序を決定する（ステップＳ３３）。本実施形態では、第１実施形態で示した順序で静止画像を送信することとする。
【００４５】
サムネイル管理部３０は、サムネイル画像を構成する複数の静止画像を順序決定手段３４で決定した順序に並び替えて、サムネイル第１記憶部３２の連続領域に１つのストリームとして保存する（ステップＳ３４）。またサムネイル管理部３０は、サムネイル画像ストリームを構成する各々の静止画像の先頭位置を示すオフセットとフレーム番号との対応テーブルを作成する（ステップＳ３５）。サムネイル管理部３０は、対応テーブルとサムネイル第１記憶部３２に保存されているサムネイル画像ストリームをサムネイル第２記憶部３６に保存する（ステップＳ３６）。
【００４６】
図１１は、サムネイル第２記憶部３６に保存されているサムネイル画像ストリームを送信する時の動作フローを示している。
【００４７】
最初に、送信要求受信部３１が、サムネイル画像の送信要求を受ける（ステップＳ３７）。本実施形態では、図３で示した映像ストリームに対するサムネイル画像の送信要求を受けることとする。送信要求受信部３１はサムネイル管理部３０に対して送信要求を受信したことを伝える。
【００４８】
送信要求のあったサムネイル画像は、図１０で示したアルゴリズムによってサムネイル第２記憶部３６に１つのストリームとして保存されている。サムネイル管理部３０は、サムネイル第２記憶部に保存してある対応テーブルとサムネイル画像ストリームを、サムネイル送信部３３へ送る（ステップＳ３８）。サムネイル送信部１３はサムネイル第２記憶部３６から送られてきた対応テーブルを送信した後に、サムネイル画像ストリームを送信する（ステップＳ３９）。
【００４９】
以上説明したように、サムネイル画像を入力してサムネイル画像を構成する複数の静止画像を指定した順序で保存しておき、サムネイル画像の送信要求を受けた時に保存したサムネイル画像を送信することにより、シーン切り替えなど重要な部分を先に送信したり、フレーム番号の順序に依らない送信をすることが可能になる。
【００５０】
図１２は本発明の第４実施形態に係るサムネイル画像表示装置の構成を示すブロック図である。
【００５１】
このサムネイル画像表示装置４はサムネイル画像をコマ送り表示するための機能を有している。コマ送り表示とは、サムネイル画像を構成する複数の静止画像を一定時間間隔で切り替えて表示することである。本実施形態におけるコマ送り表示とは、サムネイル画像から抽出された静止画像をフレーム番号順に０．５秒間隔で表示することとする。
【００５２】
サムネイル管理部４０は、サムネイル画像の受信をサムネイル受信部４４に要求したり、サムネイル記憶部４２に保存されているサムネイル画像を管理したり、サムネイル表示部４３にサムネイル画像のコマ送り表示を要求したりするなど、サムネイル画像を管理するための手段である。
【００５３】
ユーザ入力部４１は、ユーザからのサムネイル画像表示要求を入力するための手段である。ユーザ入力があると、ユーザ入力部４１はサムネイル管理部４０に対してサムネイル画像の表示要求を伝える。サムネイル記憶部４２は、受信したサムネイル画像を保存しておくための手段である。サムネイル記憶部４２はＤＲＡＭなどのメモリやＨＤＤなどから構成されている。
【００５４】
サムネイル表示部４３は、サムネイル記憶部４２に保存してあるサムネイル画像をコマ送り表示するための手段である。サムネイル受信部４４は、インターネットや放送などから送信されてくるサムネイル画像を受信するための手段である。受信したサムネイル画像はサムネイル記憶部４２で保存される。
【００５５】
次に、サムネイル画像表示装置４の動作について、図１３のフローチャートを参照して説明する。
【００５６】
図１３は、サムネイル画像をコマ送り表示する時の動作フローを示している。最初に、ユーザ入力部４１がユーザからサムネイル画像のコマ送り表示要求を受ける（ステップＳ４１）。ユーザ入力部４１はサムネイル管理部４０に対して、ユーザ入力があったことを伝える。サムネイル管理部４０は、受信した対応テーブルに基づいてコマ送り表示を開始する（ステップＳ４２）。
【００５７】
サムネイル管理部４０は、コマ送り表示要求のあったサムネイル画像を構成する各々の静止画像がサムネイル記憶部４２に保存されているかを調べる（ステップＳ４３）。図１４ではコマ送り表示するサムネイル画像を構成する静止画像の一例を示している。この情報は受信した対応テーブルなどで与えられる。数字はフレーム番号を示しており、斜線で示すフレーム番号１、２１、３１、４６に対応する静止画像がサムネイル受信部４４で受信されてサムネイル記憶部４２に保存されていることとする。
【００５８】
最初にサムネイル管理部４０は、フレーム番号１に対応する静止画像がサムネイル記憶部４２に保存されているかを調べる。図１４からフレーム番号１に対応する静止画像はサムネイル記憶部４２に保存されているので、その静止画像をサムネイル表示部４３へ送る。サムネイル表示部は送られた静止画像を０．５秒間表示する（ステップＳ４４）。
【００５９】
サムネイル表示部４３がフレーム番号１に対応する静止画像を０．５秒表示した後に、サムネイル管理部４０はフレーム番号６に対応する静止画像がサムネイル記憶部４２に保存されているかを調べる。図１４からフレーム番号６に対応する静止画像はサムネイル記憶部４２に保存されていないので、サムネイル記憶部４２に保存されている静止画像の中で、最もフレーム番号の近い静止画像を選択する（ステップＳ４５）。本実施形態ではフレーム番号１の静止画像がサムネイル記憶部４２に保存されている静止画像の中で最も近い。サムネイル管理部４０はフレーム番号１に対応するサムネイル画像をサムネイル表示部４３へ送る。サムネイル表示部４３は送られた静止画像を０．５秒間表示する（ステップＳ４６）。
【００６０】
以下同様のアルゴリズムでサムネイル表示部４３へ静止画像を送り、サムネイル表示部４３は送られた静止画像を０．５秒間表示する。
【００６１】
図１５では、サムネイル表示部４３に０．５秒間隔で表示された静止画像の列を示している。図１５により、フレーム番号１の静止画像が１．５秒間、フレーム番号２１の静止画像が１．５秒間、フレーム番号３１の静止画像が１．０秒間、フレーム番号４６の静止画像が１．０秒間表示されたことがわかる。
【００６２】
以上説明したように、サムネイル画像を構成する静止画像の中で保存されていない静止画像の代わりに、保存されているサムネイル画像の中で最も近いフレーム番号の静止画像を選んで表示することにより、保存されているサムネイル画像のみを使用したコマ送り表示が可能になる。また、特に、シーン切り換え点に対応する静止画像それぞれをフレーム番号順に最初に送信し、次いで送信済みの静止画像をフレーム番号順に並べたときに最も間隔があいている部分の中央にあたる静止画像を順次送信するという送信側装置との組み合わせにより、受信・保存済みの静止画像のみを用いたコマ送り表示を効率よく行うことが可能となる。また、シーン切り換え点に対応する重要な静止画像を先に送るという方式だけでも、十分な効果を得ることができる。
【００６３】
最後に、サムネイル画像表示装置４の他の動作例について、図１６のフローチャートを参照して説明する。
【００６４】
図１６は、サムネイル画像をコマ送り表示する時の動作フローを示している。最初に、ユーザ入力部４１がユーザからサムネイル画像のコマ送り表示要求を受ける（ステップＳ５１）。ユーザ入力部４１はサムネイル管理部４０に対して、ユーザ入力があったことを伝える。サムネイル管理部４０は、コマ送り表示要求のあったサムネイル画像を構成する各々の静止画像がサムネイル記憶部４２に保存されているかを調べる（ステップＳ５２）。本実施形態では、図１４の斜線で示すフレーム番号１、２１、３１、４６に対応する静止画像がサムネイル記憶部４２に保存されていることとする。サムネイル管理部４０は、サムネイル記憶部４２に保存されていないフレーム番号６、１１、１６、２６、３６、４１に対応する静止画像を受信するようにサムネイル受信部４４に要求を出す。
【００６５】
サムネイル受信部４４はサムネイル管理部４０からの要求を受けて、上記の静止画像の送信要求を第１乃至第３実施形態で説明した送信装置に出す（ステップ５３）。受信した静止画像はサムネイル記憶部４２に保存される。次にサムネイル画像のコマ送り表示を開始する（ステップＳ５４）。
【００６６】
最初に、フレーム番号１に対応する静止画像がサムネイル記憶部４２に保存されているかを調べる（ステップＳ５５）。図１４からフレーム番号１に対応する静止画像はサムネイル記憶部４２に保存されているので、その静止画像をサムネイル表示部４３へ送る。サムネイル表示部４３は送られた静止画像を０．５秒間表示する（ステップＳ５６）。
【００６７】
次に、フレーム番号６に対応する静止画像がサムネイル記憶部４２に保存されているかを調べる。フレーム番号１に対応する静止画像を表示する０．５秒の間にサムネイル受信部４４で受信してサムネイル記憶部４２に保存されている場合には、サムネイル画像４２に保存されたフレーム番号６に対応するサムネイル画像をサムネイル表示部４３へ送る。サムネイル表示部４３は送られた静止画像を０．５秒間表示する。フレーム番号６に対応する静止画像がまだサムネイル受信部４４で受信していない場合は、サムネイル記憶部４２に保存されている静止画像の中で、最もフレーム番号の近い静止画像を選択する（ステップＳ５７）。本実施形態では、フレーム番号１の静止画像がサムネイル記憶部４２に保存されている静止画像の中で最も近い。サムネイル管理部４０はフレーム番号１に対応するサムネイル画像をサムネイル表示部４３へ送る。サムネイル表示部４３は送られた静止画像を０．５秒間表示する（ステップＳ５８）。
【００６８】
以下同様のアルゴリズムでサムネイル表示部４３へ静止画像を送り、サムネイル表示部４３は送られた静止画像を０．５秒間表示する。
【００６９】
図１７では、サムネイル表示部４３に０．５秒間隔で表示された静止画像の列を示している。図１７に示すように、フレーム番号６、１１、１６、２６に対応する静止画像はコマ送り表示時にはまだサムネイル受信部４４で受信してサムネイル記憶部４２に保存されていないので、それぞれフレーム番号１、１、２１、２１に対応する静止画像が表示されているが、フレーム番号３６、４１に対応する静止画像はコマ送り表示時には既にサムネイル受信部４４で受信してサムネイル記憶部４２に保存されているので、保存されたフレーム番号３６、４１に対応する静止画像をサムネイル表示部４３で表示する。
【００７０】
以上説明したように、サムネイル画像を構成する静止画像の中で保存されていない静止画像が存在する場合には、保存されていない静止画像の送信を要求し、コマ送り表示時までに受信されない場合には保存されているサムネイル画像の中で最も近いフレーム番号の静止画像を選んで表示することにより、保存されている静止画像のみを使用したサムネイル画像のコマ送り表示が可能になる。
【００７１】
なお、サムネイル画像表示装置は第１乃至第３実施形態のサムネイル画像送信装置に適宜組み合わせて使用することができる。また、第１乃至第３実施形態のサムネイル画像送信装置間でも適宜それらの構成の一部を組み合わせて利用することができる。
【００７２】
また、サムネイル画像送信装置およびサムネイル画像表示装置の機能はそれぞれコンピュータプログラムにより実現することができ、本実施形態で説明した機能をコンピュータに実行させるサムネイル画像送信用プログラム製品およびサムネイル画像表示用プログラム製品としてそれぞれ実現することができる。また、それらサムネイル画像送信用プログラム製品およびサムネイル画像表示用プログラム製品をコンピュータ読み取り可能な記憶媒体に記憶しておくことにより、その記憶媒体を通じてそれらプログラムを通常のコンピュータに導入して実行させるだけで、上記各実施形態と同様の効果を容易に得ることが可能となる。
【００７３】
なお、本発明は、上記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００７４】
【発明の効果】
以上説明したように、本発明によれば、サムネイル画像の送信要求を受けた時に、サムネイル画像を入力してサムネイル画像を構成する複数の静止画像を指定した順序で送信することにより、シーン切り替えなど重要な部分を先に送信したり、フレーム番号の順序に依らない送信をすることが可能になる。また、サムネイル画像を構成する静止画像の中で保存されていない静止画像の代わりに、保存されているサムネイル画像の中で最も近いフレーム番号の静止画像を選んで表示することにより、保存されているサムネイル画像のみを使用したコマ送り表示が可能になる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係るサムネイル画像送信装置の構成を示すブロック図。
【図２】同第１実施形態のサムネイル画像送信装置の動作を説明するためのフローチャート。
【図３】同第１実施形態のサムネイル画像送信装置で使用される映像ストリームの構成を説明するための図。
【図４】図３の映像ストリームから抽出されたサムネイル画像を示す図。
【図５】同第１実施形態におけるサムネイル画像の送信順序を説明するための図。
【図６】同第１実施形態で生成・送信される対応テーブルの一例を示す図。
【図７】本発明の第２実施形態に係るサムネイル画像送信装置の構成を示すブロック図。
【図８】同第２実施形態のサムネイル画像送信装置の動作を説明するためのフローチャート。
【図９】本発明の第３実施形態に係るサムネイル画像送信装置の構成を示すブロック図。
【図１０】同第３実施形態のサムネイル画像送信装置の動作を説明するためのフローチャート。
【図１１】同第３実施形態のサムネイル画像送信装置の動作を説明するためのフローチャート。
【図１２】本発明の第４実施形態に係るサムネイル画像表示装置の構成を示すブロック図。
【図１３】同第４実施形態のサムネイル画像表示装置の動作を説明するためのフローチャート。
【図１４】同第４実施形態のサムネイル画像表示装置で表示されるサムネイル画像を構成する静止画像の一例を示す図。
【図１５】同第４実施形態のサムネイル画像表示装置におけるサムネイル画像の表示方法を説明するための図。
【図１６】同第４実施形態のサムネイル画像表示装置の他の動作を説明するためのフローチャート。
【図１７】同第４実施形態のサムネイル画像表示装置におけるサムネイル画像の表示方法を説明するための図。
【符号の説明】
１，２．３…サムネイル画像送信装置
４…サムネイル画像表示装置
１０…サムネイル管理部
１１…送信要求受信部
１２…サムネイル記憶部
１３…サムネイル送信部
１４…順序決定部
１５…サムネイル受信部
２１…送信要求受信部
２２…サムネイル記憶部
２３…サムネイル送信部
２４…順序決定部
２５…映像ストリーム管理部
２６…映像ストリーム入力部
３１…送信要求受信部
３２…サムネイル第１記憶部
３３…サムネイル送信部
３４…順序決定部
３５…サムネイル入力部
３６…サムネイル第２記憶部
４０…サムネイル管理部
４１…ユーザ入力部
４２…サムネイル記憶部
４３…サムネイル表示部
４４…サムネイル受信部
【図１】
0003756748.tif 000002
【図２】
0003756748.tif 000003
【図３】
0003756748.tif 000004
【図４】
0003756748.tif 000005
【図５】
0003756748.tif 000006
【図６】
0003756748.tif 000007
【図７】
0003756748.tif 000008
【図８】
0003756748.tif 000009
【図９】
0003756748.tif 000010
【図１０】
0003756748.tif 000011
【図１１】
0003756748.tif 000012
【図１２】
0003756748.tif 000013
【図１３】
0003756748.tif 000014
【図１４】
0003756748.tif 000015
【図１５】
0003756748.tif 000016
【図１６】
0003756748.tif 000017
【図１７】
0003756748.tif 000018