(57)【要約】【目的】映像のフリーズや音途切れなど、ユーザの視聴時における再生映像及び音声の不都合が生じないストリーミング動画送信装置を提供する。【解決手段】動画データ片についての場面データ片を抽出する場面データ抽出部と、場面データ片を格納する場面データ格納部と、ネットワークの負荷を検出する負荷検出部と、場面データ片の送信優先度を確定する優先度確定部と、ネットワークの負荷及び送信優先度に応じて場面データ片をネットワークを介して送信する送信部と、を有する。【選択図】図２
2008252705.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上の動画データ片を格納する動画データ格納部、及びネットワークを介してデータを送受信する送受信部を備え、前記ネットワークを介して受信した送信要求に応答して前記動画データ片を前記ネットワークを介して送信する動画送信装置であって、
前記動画データ片についての場面データ片を抽出する場面データ抽出部と、
前記場面データ片を格納する場面データ格納部と、
前記ネットワークの負荷を検出する負荷検出部と、
前記場面データ片の送信優先度を確定する優先度確定部と、
前記ネットワークの負荷及び前記送信優先度に応じて前記場面データ片を前記ネットワークを介して送信する送信部と、を有することを特徴とする動画送信装置。
【請求項２】
前記送信部は前記ネットワークを介して送信する動画データ片を一時的に格納するバッファ部を有し、前記負荷検出部は前記バッファ部の占有量に基づいて前記ネットワークの負荷を検出することを特徴とする請求項１記載の動画送信装置。
【請求項３】
前記送信部は、前記ネットワークの負荷に応じて前記場面データ片の送信量を調整することを特徴とする請求項１記載の動画送信装置。
【請求項４】
前記送信部は、前記ネットワークの負荷及び前記場面データ片の送信優先度に応じて前記場面データ片を選択的に送信することを特徴とする請求項１記載の動画送信装置。
【請求項５】
前記場面データ片は音声及び映像を伴うデータであることを特徴とする請求項１記載の動画送信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画送信装置、特に、双方向ネットワークを介してストリーミング動画送信を行う動画送信装置に関する。
【背景技術】
【０００２】
インターネットに代表される双方向通信ネットワークを介して、送信要求に応答して動画をストリーミング送信するストリーミング動画送信（オンデマンド送信）が広く行われている（例えば、特許文献１参照）。
【０００３】
図１は、インターネット（ＩＰネットワーク）５に接続された、例えばサーバ装置等の送信装置８及び当該送信装置８のクライアントであるクライアント機器９を示している。クライアント機器９は、例えば、いわゆるパーソナルコンピュータ（ＰＣ）、インターネット接続機能を有する電話機、携帯電話、その他のインターネット接続機能を有する機器である。
【０００４】
送信装置８は、クライアント機器９からの送信要求に対してストリーミング動画送信（配信）を行う。インターネット５を介して送信装置８に同時に接続されるクライアント機器９の数が増加するに従いクライアント機器９及びネットワーク（インターネット５）の負荷は増大する。
【０００５】
従来技術においては、このようなネットワークの負荷の増大に対しては、ネットワークおよびサーバの負荷に応じて送信する動画の品質を調整して対処していた。しかしながら、送信（配信）コンテンツ（動画データ）の内容に関係なく、ネットワークやサーバの負荷軽減とクライアント機器での連続再生のみを目的として、ネットワークへ送出するデータ量を減少させる処理が行われていた。従って、例えば、コンテンツのクライマックスシーン等で音声データだけが送信され、映像データが送信されない、などユーザがストレスを感じるような送信が行われることが多かった。
【特許文献１】特開平１０−１６４５３３ 号公報（第５頁、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記した点に鑑みてなされたものであって、その目的とするところは、ネットワークの負荷が増大している場合であっても、映像のフリーズや音途切れなど、ユーザの視聴時における再生映像及び音声の不都合が生じないストリーミング動画送信装置を提供することが一例として挙げられる。
【課題を解決するための手段】
【０００７】
本発明による動画送信装置は、１つ以上の動画データ片を格納する動画データ格納部、及びネットワークを介してデータを送受信する送受信部を備え、ネットワークを介して受信した送信要求に応答して上記動画データ片をネットワークを介して送信する動画送信装置であって、上記動画データ片についての場面データ片を抽出する場面データ抽出部と、上記場面データ片を格納する場面データ格納部と、ネットワークの負荷を検出する負荷検出部と、上記場面データ片の送信優先度を確定する優先度確定部と、ネットワークの負荷及び上記送信優先度に応じて上記場面データ片をネットワークを介して送信する送信部と、を有することを特徴としている。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施例を、図を参照しつつ説明する。
【実施例１】
【０００９】
［動画送信装置の構成］
図２は、本発明による動画送信装置１０の構成を模式的に示すブロック図である。かかる動画送信装置１０は、インターネット（ＩＰネットワーク）５を介して、クライアント機器９からの動画送信要求に対してストリーミング動画送信（配信）を行う。
【００１０】
動画送信装置１０は、例えば、ＨＤＤ（Hard Disk Drive）を有するＨＤＤレコーダ、ＤＶＤ（Digital Versatile Disc）レコーダ、Blu-rayレコーダやHD-DVDレコーダ等の映像記録再生装置として構成されている。以下においては、動画送信装置１０が単に格納部（ストレージ）を有するデジタルレコーダとして構成されている場合を例に説明する。しかし、上記格納部に加え、光学記録媒体の記録再生をも行うレコーダ（ＤＶＤレコーダ、Blu-rayレコーダ、HD-DVDレコーダ）として構成されていてもよいのは当然である。
【００１１】
動画送信装置（以下、デジタルレコーダという。）１０は、映像／音声データを記録する記録装置として機能するとともに、記録された動画デジタルデータ（以下、単に動画データという。）を再生して出力する再生装置としても機能する。
【００１２】
デジタルレコーダ１０には記録再生部１１が設けられている。記録再生部１１には、エンコーダや多重化回路（以下、マルチプレクサＭＵＸという。）、デコーダや多重分離回路（以下、デマルチプレクサＤＥＭＵＸという。）などが設けられている。また、アナログ映像／音声信号の入出力を行う場合には、アナログ−デジタル変換器（Ａ／Ｄ変換器）やデジタル−アナログ変換器（Ｄ／Ａ変換器）などが設けられている。
【００１３】
より具体的には、記録再生部１１に入力された映像信号（ビデオ信号）及び音声信号（オーディオ信号）は、エンコーダ（図示しない）によってＭＰＥＧ等の所定の圧縮データに符号化（エンコード）される。そして、当該エンコーダからの符号化ビデオデータ及び符号化オーディオデータは、マルチプレクサＭＵＸによって多重化される。
【００１４】
当該符号化ビデオデータ及び符号化オーディオデータの多重化はシステムコントローラ２０の制御の下で実行される。なお、システムコントローラ２０は、信号バス（図示しない）を介してデジタルレコーダ１０の各部に接続され、デジタルレコーダ１０全体の制御をなすよう構成されている。なお、システムコントローラ２０には、システムコントローラ２０がデジタルレコーダ１０の制御を実行するために必要なデータ、コマンド、設定値等を格納するためのメモリであるＲＡＭやＲＯＭ（図示しない）が双方向的に接続されている。
【００１５】
マルチプレクサＭＵＸにおいて多重化されたデータ（以下、多重化データともいう。）は、インターフェース（Ｉ／Ｆ）回路１２を介して動画格納部１４に転送され、システムコントローラ２０からの制御信号に基づいて動画データ（映像コンテンツ）として格納される。動画格納部１４は、例えばＨＤＤを有している。
【００１６】
すなわち、動画格納部１４には、１つ又は複数の映像コンテンツが格納されている。以下においては、かかる映像コンテンツを「動画データ片」とも称する。
【００１７】
また、光学記録媒体（例えば、Blu-rayディスク）のドライブが設けられている場合には動画格納部１４に格納されたデータをインターフェース回路１２を介して、当該光学ディスクドライブに転送して記録（ダビング）することができ、また、当該光学ディスクに記録されたデータをインターフェース回路１２を介して動画格納部１４に転送して格納することができるように構成されていてもよい。
【００１８】
なお、デジタルレコーダ１０に入力されるデータがＭＰＥＧ等の所定の圧縮データ（符号化データ）である場合には、システムコントローラ２０の制御によって、当該圧縮データがインターフェース回路１２を介して動画格納部１４に直接格納されるように構成されていてもよい。また、当該入力符号化データをデコードし、データ再生できるように構成されていてもよい。
【００１９】
次に、データ再生時においては、システムコントローラ２０は動画格納部１４に格納された動画データを読み出す。読み出された動画データは、インターフェース回路１２を介してデマルチプレクサＤＭＵＸに供給され、符号化ビデオデータ及び符号化オーディオデータに分離される。
【００２０】
当該符号化ビデオデータ及び符号化オーディオデータは、復号化（デコード）される。例えば、符号化がＭＰＥＧ方式の場合にはＭＰＥＧ復号化がなされる。復号化されたビデオ信号及びオーディオ信号はデジタルデータとして、あるいは、デジタル−アナログ変換後、外部のディスプレイ装置等に出力される。
【００２１】
さらに、記録再生部１１には、入力された映像／音声データのダイジェストシーン（ハイライトシーン）を抽出するダイジェストシーン抽出部１５及び当該ダイジェストシーン・データを格納するダイジェストシーン格納部１６が設けられている。
【００２２】
ダイジェストシーン抽出部１５は、あらかじめ動画データのダイジェストシーンを抽出し、動画格納部１４への動画データの格納時に、当該動画データに関連付けてダイジェストシーン格納部１６に当該ダイジェストシーンを格納する。ダイジェストシーンは当該動画データの一部、すなわちダイジェストシーン・データ片であって、例えば、音声を伴う数秒ないし１０数秒程度の動画である。以下においては、当該ダイジェストシーン・データ片を「場面データ片」とも称する。
【００２３】
また、ダイジェストシーン抽出部１５は、ダイジェストシーン・データ（場面データ片）の各々についてダイジェストシーン情報を設定することができる。すなわち、ダイジェストシーン・データの送信（後述する）時における送信優先度又は重み付けを当該ダイジェストシーン情報として設定することができる。ダイジェストシーン抽出部１５は、送信優先度又は重み付けを判別し、その送信優先度をダイジェストシーン・データ（場面データ片）の各々に関連付けて、ダイジェストシーン格納部１６に格納する。
【００２４】
ここで送信優先度（又は重み付け）は、種々の方法により設定又は判別することができる。例えば、当該コンテンツ（動画データ）の内容の変化に対応するように設定することができる。例えば、音声レベルの変化の大きさや映像輝度の変化の大きさに基づいてコンテンツ内容に変化があったものとみなして、送信優先度を判別することができる。
【００２５】
上記した、動画格納部１４及びダイジェストシーン格納部１６への格納、動画格納部１４及びダイジェストシーン格納部１６からのデータの読み出し、これらのデータの転送、格納等は、システムコントローラ２０の制御によってなされる。
【００２６】
また、操作入力部２２が設けられており、ユーザからの操作、設定等を受け付け、当該操作、設定に基づいてシステムコントローラ２０の制御がなされる。また、ユーザの操作・設定、動画格納部１４及びダイジェストシーン格納部１６の格納内容、各種動作の実行状況等の情報は表示部２３に表示される。あるいは、それらの情報の全て、あるいは一部がデジタルレコーダ１０に接続されたＴＶ装置等のディスプレイ装置（図示しない）に供給され、当該ディスプレイ装置に表示するようにしてもよい。
［オンデマンド送信に関する装置構成及び動作］
図２に示すように、デジタルレコーダ１０には、インターネット接続機能を有するネットワーク送受信部１７が設けられている。ネットワーク送受信部１７は、受信部及び送信部（図示しない）から構成されている。そして、ネットワーク送受信部１７の受信部は、インターネット（ＩＰネットワーク）５を介してパーソナルコンピュータ（ＰＣ）、携帯電話等のクライアント機器から動画送信要求（ＴＲ）を受け付ける。
【００２７】
システムコントローラ２０は、受け付けた動画送信要求（ＴＲ）に対応する動画データ（すなわち、動画データ片。以下、同様）を格納部１４から検索する。そして、システムコントローラ２０は、当該検索された動画データを格納部１４からインターフェース回路１２を介して、ストリームバッファ装置１８（以下、単にバッファ装置１８ともいう。）に送出させる指示を行う。なお、バッファ装置１８は、バッファ入力部１８Ａ、バッファメモリ１８Ｂ（以下、単にバッファ１８Ｂという。）及びバッファ出力部１８Ｃから構成されている。
【００２８】
より具体的には、システムコントローラ２０は、検索された動画データを読み込む指示をバッファ入力部１８Ａに対して行う。そして、読み込まれた動画データはバッファ１８Ｂに格納される。そして、システムコントローラ２０の制御によって、バッファ１８Ｂから動画データがバッファ出力部１８Ｃに送出される。バッファ出力部１８Ｃは、バッファ１８Ｂからの動画データをネットワークへ送出するため、パケット化を行う。
【００２９】
そして、ネットワーク送受信部１７の送信部は、ＩＰネットワーク５を介してクライアント機器に向けて動画送信要求ＴＲに対応する動画データを送信する。
【００３０】
なお、ストリーミング送信はリアルタイム処理であるため、システムコントローラ２０は、バッファ１８Ｂのアンダーフローが発生しないよう一定期間毎に動画データをバッファ１８Ｂに読み込むようにバッファ入力部１８Ａを制御する。また、同様に、システムコントローラ２０は、クライアント機器への動画送信が滞らないよう一定期間毎に動画データをネットワークへ送出するようにバッファ出力部１８Ｃを制御する。すなわち、システムコントローラ２０、バッファ装置１８及びネットワーク送受信部１７は、動画データをネットワークを介して送信する送信部として機能する。
【００３１】
従って、もしネットワークの負荷が増大し、バッファ出力部１８Ｃからのパケット送出が滞った場合、バッファ１８Ｂの占有量は増大することになる。そして、最悪の場合では、バッファ１８Ｂのオーバーフローに至る。
【００３２】
換言すると、バッファ１８Ｂの占有量からネットワークの負荷を判別することが可能である。本実施例においては、システムコントローラ２０には、負荷検出部２１が設けられている。負荷検出部２１は、例えば、バッファ１８Ｂの占有量からネットワークの負荷を検出する。負荷検出部２１がネットワークの負荷が所定値以上に増大したことを検出した場合には、通常の動画送信を中止し、上記したダイジェストシーン情報をもとに、映像及び音声からなるダイジェストシーンを送信していくものである。
【００３３】
なお、負荷検出部２１がネットワークの負荷を検出する方法は種々考えられる。上記した方法以外にも、例えば、送信ビットレートやその変化率、送信経過時間等に基づいてネットワークの負荷を検出することが考えられる。
【００３４】
なお、ダイジェストシーン格納部１６にされた格納ダイジェストシーン・データ（場面データ片）の転送についても、上記した動画格納部１４に格納された動画データと同様である。すなわち、システムコントローラ２０の制御によって、ダイジェストシーン格納部１６から検索され、読み出されたダイジェストシーン・データは、インターフェース回路１２を介してバッファ１８Ｂに格納される。そして、システムコントローラ２０の制御によってバッファ１８Ｂからネットワークへ送出される。
【００３５】
次に、図３のフローチャート及び図４を参照して、ネットワーク負荷に応じた動画送信制御について詳細に説明する。
【００３６】
まず、システムコントローラ２０の制御によって、受け付けた動画送信要求に対応する動画データがバッファ１８Ｂに格納される。当該動画データはネットワークへ送出され、クライアント機器９への送信が開始される（ステップＳ１１）。
【００３７】
次に、負荷検出部２１がネットワークの負荷（ＮＬ）を検出する。そして、ネットワーク負荷（ＮＬ）が第１のレベルＥ１を超えるか否かが判別される（ステップＳ１２）。ネットワーク負荷ＮＬが第１レベルＥ１を超えないと判別された場合には、図４に示すように、ネットワーク負荷は低いレベルにあると判別されるので、そのまま動画データの送信が継続（通常送信）される（ステップＳ１３）。
【００３８】
ステップＳ１２において、ネットワーク負荷ＮＬが第１のレベルＥ１を超えると判別された場合には、ネットワーク負荷が動画データの送信には支障をきたすレベルに達したと判別される。そして、次に、ネットワーク負荷ＮＬが第２のレベルＥ２を超えるか否かが判別される（ステップＳ１４）。ネットワーク負荷ＮＬが第２レベルＥ２を超えないと判別された場合には（ＭＯＤＥ−１）、図４にも示すように、動画データの送信に代えて、ダイジェストシーン格納部１６から読み出されたダイジェストシーン・データが送信される（ステップＳ１５）。
【００３９】
なお、この場合、ダイジェストシーン・データの送信（ＭＯＤＥ−１）に切り替えられるが、ダイジェストシーン情報に基づいてダイジェストシーン・データが送信される。
【００４０】
なお、以下では、ダイジェストシーン情報として送信優先度が設定され、当該送信優先度「高」（優先度Ａ）及び送信優先度「低」（優先度Ｂ）の２レベルが設定されている場合について説明する。
【００４１】
すなわち、ダイジェストシーン・データの送信（ＭＯＤＥ−１）においては、送信優先度が「高」（優先度Ａ）及び「低」（優先度Ｂ）の両者のダイジェストシーン・データ（場面データ片）が送信される。従って、送信間隔は短く、後述する場合（ＭＯＤＥ−２）に比べ、より多くのダイジェストシーン・データが送信される。
【００４２】
さらに、ステップＳ１４において、ネットワーク負荷ＮＬが第２のレベルＥ２を超えると判別された場合には、さらに、ネットワーク負荷ＮＬが第３のレベルＥ３を超えるか否かが判別される（ステップＳ１６）。
【００４３】
ステップＳ１６において、ネットワーク負荷ＮＬが第３のレベルＥ３を超えないと判別された場合には、図４にも示すように、ダイジェストシーン・データの送信（ＭＯＤＥ−２）が実行される（ステップＳ１６）。当該ダイジェストシーン・データ送信（ＭＯＤＥ−２）においては、送信優先度が「高」（優先度Ａ）のダイジェストシーン・データ（場面データ片）のみが選択されて送信される。すなわち、ネットワーク負荷ＮＬが高くなるに従い、ダイジェストシーン・データの送信間隔は長くなっていき、送信データ量もより少なくなる。
【００４４】
ステップＳ１６において、ネットワーク負荷ＮＬが第３のレベルＥ３を超えると判別された場合には、ダイジェストシーン・データの送信も含め、全ての送信が停止される（ステップＳ１８）。
【００４５】
上記したように、ステップＳ１３，Ｓ１５，Ｓ１７において、それぞれ通常送信、ＭＯＤＥ−１送信、ＭＯＤＥ−２送信の各送信モードに、又はステップＳ１８において送信停止に移行する。そして、負荷検出部２１によって所定の負荷検出期間が到来したか、すなわち、ネットワーク負荷ＮＬの検出タイミンングであるか否かが判別される（ステップＳ１９）。
【００４６】
ステップＳ１９において、ネットワーク負荷の検出タイミンングであると判別された場合には、ステップＳ１２に移行してネットワーク負荷ＮＬの検出がなされ、上記したステップＳ１２〜ステップＳ１９が繰り返される。
【００４７】
ステップＳ１９において、ネットワーク負荷の検出タイミンングではないと判別された場合には、クライアント機器９からの送信終了要求の有無が判別される（ステップＳ２０）。送信終了要求が有った場合には、送信が終了され（ステップＳ２１）、本制御ルーチンを終了する。
【００４８】
ステップＳ２０において、クライアント機器９からの送信終了要求が無いと判別された場合には、ステップＳ１９に移行し、ネットワーク負荷の検出タイミンングであるか否かが判別される。
【００４９】
つまり、送信開始（ステップＳ１１）から送信終了（ステップＳ２１）までは、ネットワーク負荷ＮＬの検出間隔ごとに当該負荷ＮＬに応じた送信モード（通常、ＭＯＤＥ−１、ＭＯＤＥ−２、停止）が選択される。
【００５０】
なお、上記した実施例においては、ダイジェストシーン・データを送信するモードが２段階の場合（ＭＯＤＥ−１、ＭＯＤＥ−２）について説明したが、これに限らない。例えば、ダイジェストシーン・データの送信優先度をｐ段階（ｐは整数、ｐ＞２）で設定し、送信モードをＭＯＤＥ−１〜ＭＯＤＥ−ｐの多段階で行うようにすることができる。すなわち、検出されたネットワーク負荷ＮＬの大きさ及びダイジェストシーン情報（送信優先度）に応じて、ダイジェストシーン・データ（場面データ片）を選択的に送信して、送信モードを多段階で調整するように構成してもよい。
【００５１】
以上、詳細に説明したように、ネットワーク負荷を検出し、当該ネットワーク負荷に基づいて動画データ又はダイジェストシーン・データを送信するようにしている。また、ダイジェストシーン・データを送信する場合においても、ネットワーク負荷の大きさに応じて、ダイジェストシーン・データ片の送信量が変更される。そして、送信されるダイジェストシーン・データ片は、ダイジェストシーン・データ片の各々のダイジェストシーン情報（優先度）に基づいて定められる。
【００５２】
従って、ネットワークに送出するデータ量をネットワーク負荷の大きさに応じて調整することができるとともに、データ量を減ずる場合であっても、動画データ（コンテンツ）のストーリー理解に重要な優先度の高いダイジェストシーン・データを優先的に送信することができる。従って、映像のフリーズや音途切れなど、ユーザの視聴時における再生映像及び音声の不都合が生じない、あるいは最小化可能なストリーミング動画送信装置を提供することができる。
【図面の簡単な説明】
【００５３】
【図１】ＩＰネットワーク５に接続された、動画送信装置及びクライアント機器を示すブロック図である。
【図２】実施例１における動画送信装置の構成を模式的に示すブロック図である。
【図３】ネットワーク負荷に応じた動画送信制御の手順について示すフローチャートである。
【図４】ネットワーク負荷に応じた動画送信モードを示す図である。
【符号の説明】
【００５４】
１０  動画送信装置
１１  記録再生部
１４  動画格納部
１５  ダイジェストシーン抽出部
１６  ダイジェストシーン格納部
１７  ネットワーク送受信部
１８  バッファ装置
１８Ａ  バッファ入力部
１８Ｂ  バッファ出力部
２０  システムコントローラ
２１  負荷検出部
【図１】
2008252705.tif 000003
【図２】
2008252705.tif 000004
【図３】
2008252705.tif 000005
【図４】
2008252705.tif 000006