(57)【要約】【課題】利用側が検索する動画データから、音声データのみを抽出して再生し試聴することで、必要な動画データの先頭を検索することができる動画像配信方法、動画像配信システム、利用側装置、配信側装置を提供する。【解決手段】動画像ストリーミングデータ１０４のなかに、動画像データ１０７をなす各フレームの位置に関する情報データを音声データ１０５に対応づけて設け、通信端末装置２で、所望の音声データ１０５を検索して音声データ情報１０６とする音声データ検索処理と、この音声データ検索処理で検索された音声データ情報（情報データ）１０６を、配信側へ送信する送信処理とを有し、動画像配信サーバ１で、受信した音声データ情報１０６に対応する画像データを検索する画像データ検索処理と、これで検索された画像データを開始位置として動画像データ１０７を配信する配信処理とを有する。【選択図】  図２
2004235984.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワークを介して配信側装置から利用側装置に動画像データを配信する動画像配信方法において、
前記配信側装置が前記利用側装置から動画像データに基づく音声データの配信要求を受けると、動画像データから音声データを抽出して前記利用側装置に配信するステップと、
前記音声データを受信した前記利用側装置が前記音声を出力中に動画像の配信を希望する箇所を決定するステップと、
前記決定した配信箇所に基づく情報を前記利用側装置から前記配信側装置に送信するステップと、
前記情報に対応する箇所から動画像データを前記利用側装置に配信するステップと、
を有することを特徴とする動画像配信方法。
【請求項２】
通信ネットワークを介して配信側装置から利用側装置に動画像データを配信する動画像配信システムにおいて、
前記利用側装置は、
前記配信側装置に動画像データに基づく音声データの配信又は動画像データの配信を要求する要求手段と、
前記音声データの配信を受けている最中に動画像データの配信箇所を決定する操作手段と、を備え、
前記配信側装置は、
動画像データを蓄積する記憶手段と、
前記動画像データから音声データを抽出する抽出手段と、
前記利用側装置から動画像データに基づく音声データの配信要求を受信したときは前記抽出手段により前記対応する動画像データから音声データを抽出して前記利用側装置に配信し、前記音声データの配信を受けている利用側装置から動画像データの配信要求を受けたときは、該要求に対応する箇所から動画像データを配信する配信手段と、
を備えたことを特徴とする動画像配信システム。
【請求項３】
配信側装置から動画像データの配信を受けて出力する利用側装置において、
前記配信側装置に動画像データに基づく音声データの配信を要求する要求手段と、
前記配信を受けた音声データの出力中に動画像データの配信箇所を決定する操作手段と、を備え、
前記要求手段は、前記動画像データの配信箇所が決定されたときは、当該箇所から動画像データを配信するよう要求することを特徴とする利用側装置。
【請求項４】
利用側装置に動画像データを配信する配信側装置において、
動画像データを蓄積する記憶手段と、
前記動画像データから音声データを抽出する抽出手段と、
前記利用側装置から動画像データに基づく音声データの配信要求を受信したときは前記抽出手段により前記対応する動画像データから音声データを抽出して前記利用側装置に配信し、前記音声データの配信を受けている利用側装置から動画像データの配信要求を受信したときは、該要求箇所から動画像データを配信する配信手段と、
を備えたことを特徴とする配信側装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像ストリーミングの再生箇所を音声で検索する動画像配信システムに関する。
【０００２】
【従来の技術】
インターネット網などを利用した動画像データの送受信に関する技術として現在利用されているのは、端末内に動画データをすべてダウンロードした後に再生する蓄積伝送方法がある。この蓄積伝送方法では、一度すべてのデータをダウンロードするための待ち時間が必要となる。この待ち時間を解消するために、回線状態に合わせて、動画データをダウンロードしながら再生するストリーミング技術もある。
【０００３】
しかしながら、ストリーミングによる動画データの再生では、利用側が必要な部分の先頭を検索することができない。配信側によっては、動画像ストリーミングデータを分割し再生できるようにしたコンテンツが存在するが、必ずしも利用者の利害に合致するものではない。
【０００４】
利用者が所望の画像データを検索するシステムも考え出されている。
【０００５】
【特許文献１】
特開２００２−１６４８６０号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記検索方法では、一度確認した内容については細かく情報を設定することで必要な画像を検索することが可能だが、一度も確認していない内容については検索条件に対する絞込みが困難であり、識別情報の作成によるデータ量が多いという問題点がある。また上記検索方法では、放送されたデータから１シーンの画像を検索する方法であり、そこから動画を再生するものではない。
【０００７】
上記のように、従来の技術では、ストリーミングによる動画データから、利用側が必要な動画データを検索する場合、本来必要のない動画データを含めて通信する必要があるという問題点がある。
また、動画データは情報量も多く、端末の処理能力もある程度必要であるため、検索するまでの通信時間が必要な動画データの通信時間よりも多く掛かる場合が生じてしまう。
【０００８】
本発明は、上記問題点を解決するために、利用側が検索する動画データから、音声データを抽出して再生し試聴することで、必要な動画データの先頭を検索することができる動画像配信方法、動画像配信システム、利用側装置、配信側装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、通信ネットワークを介して配信側装置から利用側装置に動画像データを配信する動画像配信方法において、前記配信側装置が前記利用側装置から動画像データに基づく音声データの配信要求を受けると、動画像データから音声データを抽出して前記利用側装置に配信するステップと、前記音声データを受信した前記利用側装置が前記音声を出力中に動画像の配信を希望する箇所を決定するステップと、前記決定した配信箇所に基づく情報を前記利用側装置から前記配信側装置に送信するステップと、前記情報に対応する箇所から動画像データを前記利用側装置に配信するステップと、を有することを特徴とする。
【００１０】
請求項２に記載の発明は、通信ネットワークを介して配信側装置から利用側装置に動画像データを配信する動画像配信システムにおいて、前記利用側装置は、前記配信側装置に動画像データに基づく音声データの配信又は動画像データの配信を要求する要求手段と、前記音声データの配信を受けている最中に動画像データの配信箇所を決定する操作手段と、を備え、前記配信側装置は、動画像データを蓄積する記憶手段と、前記動画像データから音声データを抽出する抽出手段と、前記利用側装置から動画像データに基づく音声データの配信要求を受信したときは前記抽出手段により前記対応する動画像データから音声データを抽出して前記利用側装置に配信し、前記音声データの配信を受けている利用側装置から動画像データの配信要求を受けたときは、該要求に対応する箇所から動画像データを配信する配信手段と、を備えたことを特徴とする。
【００１１】
請求項３に記載の発明は、配信側装置から動画像データの配信を受けて出力する利用側装置において、前記配信側装置に動画像データに基づく音声データの配信を要求する要求手段と、前記配信を受けた音声データの出力中に動画像データの配信箇所を決定する操作手段と、を備え、前記要求手段は、前記動画像データの配信箇所が決定されたときは、当該箇所から動画像データを配信するよう要求することを特徴とする。
【００１２】
請求項４に記載の発明は、利用側装置に動画像データを配信する配信側装置において、動画像データを蓄積する記憶手段と、前記動画像データから音声データを抽出する抽出手段と、前記利用側装置から動画像データに基づく音声データの配信要求を受信したときは前記抽出手段により前記対応する動画像データから音声データを抽出して前記利用側装置に配信し、前記音声データの配信を受けている利用側装置から動画像データの配信要求を受信したときは、該要求箇所から動画像データを配信する配信手段と、を備えたことを特徴とする。
【００１３】
【発明の実施の形態】
以下、図面を参照して、この発明の一実施形態について説明する。図１は、この発明の一実施形態による動画像配信システムの構成を示す概要図である。本実施形態による動画像配信システムは、利用側装置（通信可能な装置であって、例えば、「携帯電話機」、「携帯情報端末」などを示す）からの要求に応じて、動画像データベースに記憶されている動画像データを利用側装置に配信するものであり、動画像データの配信サービスを行う動画像配信サーバ（配信側装置）１と、動画像データの配信サービスを受けるためにユーザ２００が携行する携帯可能な通信端末装置（利用側装置）２と、通信端末装置２の無線基地局３と、動画像配信サーバ１および無線基地局３を接続するためのネットワーク網４とから構成されている。
【００１４】
最初に、動画像配信サーバ１の細部構成について説明する。動画像配信サーバ１は、大きく分けると、動画像データに関する各種処理を行うための情報処理部１１と、動画像データを記憶するデータベース１２とから構成される。本実施形態においては、データベース１２に記憶されている動画像データは符号化されたデータであって、画面表示には復号化が必要であるものとする。情報処理部１１には、ネットワーク網４に接続するためのサーバ側インターフェース部１１１と、動画像データベース１２に接続するためのデータベースインターフェース部１１２と、データベース部１２から動画像データを抽出して当該動画像データに対して様々な処理を行う動画像データ処理部１１３とを備えている。また、動画像データ処理部１１３は、通信端末装置２を用いてユーザ２００が指定した動画像データを動画像データベース１２から検索し、通信端末装置２に提供する。
【００１５】
また、サーバ側制御部１１３４は動画像データ検索処理部１１３１と変換処理部１１３２と音声データ抽出部１１３３とに接続されており、これらの各部の動作を通信端末装置２からの指示等によって制御する。また、動画像配信サーバ１には、ネットワーク網４を介して通信端末装置２からの指示等を受信するための受信手段や、ネットワーク網４を介して動画像データ等を配信するための配信手段も備えている。
【００１６】
一方、データベース１２には、通常多くの動画像データが記憶されているので、ユーザ２００は通信端末装置２を用いてその中の任意の動画像データを指定することができる。
【００１７】
一方、通信端末装置２は、操作手段である操作部２１により動画像データの指定等を行い、無線基地局３を介してネットワーク網４に接続された動画像配信サーバ１に接続するための端末側インターフェース部２２を介して配信要求を行う。また、通信端末装置２は、ダウンロードあるいはストリーミングした音声データや動画像データを復号する復号処理部２３と、配信された音声データや動画像データを記憶するメモリ２４と、配信された動画像データを表示するための表示部２５等から構成される。なお、操作部２１と端末側インターフェース部２２と復号処理部２３とメモリ２４は、これらの各部の動作を制御する端末側制御部２６に接続されており、表示部２５は復号処理部２３に接続されている。
【００１８】
図２は、本実施形態の検索手法における動画像ストリーミングデータの検索までの処理を示すブロック図である。図２では、動画像配信サーバ１の処理と、通信端末装置２の処理を示している。動画像配信サーバ１と通信端末装置２はネットワーク網４で接続される。そして、動画像配信サーバ１は、ネットワーク網４に対して動画像ストリーミングデータ１０４を配信しているものとする。
【００１９】
ここで、動画像配信サーバ１から配信された動画像ストリーミングデータ１０４に対して、通信端末装置２から動画像データの配信の要求があった場合、動画像配信サーバ１は動画像ストリーミングデータ１０４の中から音声データ１０５を抽出して通信端末装置２に配信する。通信端末装置２では、配信されてきた音声データ１０５について所望のところまで再生する。そして、その再生した音声における所望の場所をユーザ２００が決定すると、「音声データ情報（情報データ）１０６」として、先頭データの確定とする（音声データ検索処理）。
【００２０】
次いで、通信端末装置２は、音声データ情報１０６を動画像配信サーバ１に送る（送信処理）。動画像配信サーバ１は、音声データ情報１０６に基づいて動画像ストリーミングデータの検索を行う（画像データ検索処理）。そして、動画像配信サーバ１は、その検索結果から頭出しした動画像データ１０７を通信端末装置２にストリーミング配信する（配信処理）。この配信を受けた通信端末装置２は、動画像データ１０７を再生する。
【００２１】
図３は、本実施形態における動画像ストリーミングデータの構成例を示す図である。符号２０１は動画像ストリーミングデータのデータ列を示している。動画像ストリーミングデータ２０１は、制御信号２０２、画像データ２０３、音声データ２０４及びその他のデータ２０５から構成されている。
【００２２】
動画像配信サーバ１から送信される音声ストリーミングデータ２０６は、動画像ストリーミングデータ２０１から画像データ２０３を除いたものである。ここで、その他のデータ２０５には、音声データ２０４に対応づけられた画像データ２０３の位置情報が記録されている。
【００２３】
通信端末装置２が、音声データ２０４を確定し、次いで動画像データ情報を要求すると、動画像配信サーバ１は、確定された音声データ２０４に基づいて動画像データ２０７を確定する。そして、この確定された動画像データ２０７から始まる動画像ストリーミングデータ２０８を通信端末装置２に配信する。これにより、通信端末装置２は、確定した検索位置から画像を含む動画像ストリーミングデータ２０８を再生することができる。
【００２４】
図４は、本実施形態における動画像ストリーミングデータの検索位置に対する画像の生成方法を示す図である。図４では動画像ストリーミングデータとしてＭＰＥＧを適用した例を示している。
【００２５】
符号３０１はＧＯＰ層内の符号化画像であり、符号３０２は符号化画像３０１を復号化した出力画像（復号画像）である。また、出力画像３０２において、ブロック内の０Ｂ〜５Ｐにおける数字の０〜５は画像フレームを示し、アルファベットＩはフレーム内符号化画像（以降Ｉピクチャという。），Ｐは順方向予測符号化画像（以降Ｐピクチャという。），Ｂは双方向予測符号化画像（以降Ｂピクチャという。）のピクチャタイプを示している。
【００２６】
符号３０３は、通信端末装置２から出された位置情報に対応する画像データを示している。通信端末装置２から出された位置情報が画像１Ｂを特定していた場合、画像１Ｂを生成するために、まず画像１Ｂ近傍のＩピクチャもしくはＰピクチャを検策する。この場合、画像５Ｐが検索される。画像１ＢのピクチャタイプがＢピクチャであることから、双方向予測によってできるピクチャであり、検索された近傍のＰピクチャが時間的に後方にあるため、前方のピクチャを検索する。この場合は画像２Ｉがそれに相当し検索される。ここで、検索された画像２Ｉと画像５Ｐのピクチャを復号化して利用することにより、画像１Ｂのピクチャを復号化する。
【００２７】
符号３０４は、復号化された画像１Ｂのピクチャについて、新たにＧＯＰ層を割り付けＩピクチャとし、符号化画像３０１のＧＯＰ層を変更して通信端末装置２に配信する符号化画像を示している（変換処理）。動画像配信サーバ１は、新たに生成した符号化画像３０４の符号化データを元に、動画像ストリーミングデータを通信端末装置２に配信する（変換配信処理）。これらにより、通信端末装置２は、自らが確定した検索位置から動画像ストリーミングデータを再生することができる。
【００２８】
図５（ａ），（ｂ）は、通信端末装置２の画面表示の一例である。
通信端末装置２は動画像データの配信を希望する際、動画像配信サーバ１にアクセスして動画像データの一覧を取得する。そして、取得した動画像データの一覧から配信希望する動画像データＡを選択すると、動画像データＡのチャプター（Ａ−１からＡ−６）が表示される（図５（ａ））。次に、ユーザ２００がこのチャプター（静止画）の１つを選択すると、選択したチャプターの先頭から音声が出力される（図５（ｂ））。そして、音声出力中にユーザ２００が画像も含む動画像データのストリーミングの配信を希望するときは、通信端末装置２の操作部を操作することにより、その場面から画像も含む動画像データのストリーミングが開始される。なお、音声データが出力されているときは、音声データのみに限定するものではなく、所々の場面に静止画を受信して表示するようにしてもよい。このように、所々に出力音声に対応する静止画を表示することで、音声のみでは判別できない映像の場面をユーザ２００に伝えることができる、なお、静止画であれば動画に比べてネットワークを圧迫することもなく、また、処理能力が低い装置であっても十分に処理可能である。
【００２９】
また、画像も含む動画像データのストリーミングは、配信中の音声データに画像データを付加して配信するようにしてもよいし、改めて音声データと画像データからなる動画像データを配信し直してもよい。
【００３０】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００３１】
【発明の効果】
以上説明したように、本発明によれば、配信された動画像ストリーミングデータから抽出した音声データを利用側装置が再生することで、動画像ストリーミングデータにおける所望位置を検索し、検索された動画像ストリーミングデータの位置を情報データとして、その情報データを元に再生に必要なフレーム内復号化データを検索することができ、検索されたフレーム内復号化データを元に検索した動画像データを配信側装置が配信し、これを利用側が再生することができるので、利用側装置にとって必要な動画像ストリーミングデータのみを配信側装置が提供することができる。
【００３２】
また、本発明によれば、検索時には音声のみのデータを配信側装置が配信し、利用側装置は必要なところから動画像ストリーミングデータを再生できるので、データ量が多く端末（利用側装置）に処理負荷がかかる動画像ストリーミングデータを不必要に通信しないので、トラフィックの削減と回線利用による課金の削減を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態による動画像配信システムの構成を示す概要図である。
【図２】本発明の実施形態に係る動画像配信方法、動画像配信システム、利用側装置、配信側装置を示すブロック図である。
【図３】同上の動画像ストリーミングデータの構成例を示す図である。
【図４】同上の動画像ストリーミングデータの検索位置に対する画像の生成方法を示す図である。
【図５】通信端末装置（利用側装置）の画面表示例を示す図である。
【符号の説明】
１        動画像配信サーバ（配信側装置）
２        通信端末装置（利用側装置）
４        ネットワーク網
１０４    動画像ストリーミングデータ
１０５    音声データ
１０６    音声データ情報（情報データ）
１０７    動画像データ
２０１    動画像ストリーミングデータ
２０２    制御信号
２０３    画像データ
２０４    音声データ
２０５    その他のデータ
２０６    音声ストリーミングデータ
２０７    動画像データ
２０８    動画像ストリーミングデータ
３０１    符号化画像
３０２    出力画像
３０３    画像データ
３０４    符号化画像
【図１】
2004235984.tif 000003
【図２】
2004235984.tif 000004
【図３】
2004235984.tif 000005
【図４】
2004235984.tif 000006
【図５】
2004235984.tif 000007