(57)【要約】【課題】高画質の映像が再現されるように、ストリーミング配信する。【解決手段】クライアント機器１５とストリーミングデータを送信するための通信接続が確立されているサーバ１３は、外部AV機器１１からのAVデータのうち、クライアント機器１５から送信されたエンコードパラメータに対応する領域の画像データを圧縮符号化し、ストリーミングデータを生成し、ネットワーク１４を介してクライアント機器１５に送信する。クライアント機器１５は、ストリーミングデータを受信するための通信接続が確立されているサーバ１３の数に応じて、その各サーバ１３にエンコードさせる領域を決定し、その領域を示すエンコードパラメータを、そのサーバ１３に送信する。クライアント機器１５は、サーバ１３から送信されてきたストリーミングデータを受信してデコードするとともに、その結果得られた画像を統合して表示する。本発明は、サーバに適用することができる。【選択図】図１
2008270968.tif 000002
【特許請求の範囲】
【請求項１】
複数のサーバと、前記複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置からなる画像処理システムにおいて、
前記複数のサーバのそれぞれは、
画像データを入力する入力手段と、
前記画像処理装置から送信されてきた領域情報を受信する領域情報受信手段と、
前記入力手段により入力された前記画像データの中の、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段と、
前記エンコード手段によりエンコードされた前記画像データを、前記画像処理装置にストリーミング配信する配信手段と
を備え、
前記画像処理装置は、
前記複数のサーバ毎の前記領域情報を、前記サーバの数に応じて生成する生成手段と、
前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段と、
前記複数のサーバにより配信されてきた前記画像データを受信する画像データ受信手段と、
前記画像データ受信手段により受信された前記画像データをデコードするデコード手段と、
前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段と
を備えることを特徴とする画像処理システム。
【請求項２】
複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置において、
前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成手段と、
前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段と、
前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信手段と、
前記受信手段により受信された前記画像データをデコードするデコード手段と、
前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段と
を備える画像処理装置。
【請求項３】
複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置の画像処理方法において、
前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成ステップと、
前記生成ステップの処理で生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信ステップと、
前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信ステップと、
前記受信ステップの処理で受信された前記画像データをデコードするデコードステップと、
前記デコードステップでのデコード処理の結果得られた画像を統合して表示する表示ステップと
を含む画像処理方法。
【請求項４】
複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理をコンピュータに実行させるプログラムにおいて、
前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成ステップと、
前記生成ステップの処理で生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信ステップと、
前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信ステップと、
前記受信ステップの処理で受信された前記画像データをデコードするデコードステップと、
前記デコードステップでのデコード処理の結果得られた画像を統合して表示する表示ステップと
を含む画像処理をコンピュータに実行させるプログラム。
【請求項５】
ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置において、
前記複数の画像処理装置のそれぞれは、
ストリーミング対象画像の画像データを入力する入力手段と、
前記端末装置から送信されてきた領域情報を受信する領域情報受信手段と、
前記入力手段により入力された前記ストリーミング対象画像の画像データの、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段と、
前記エンコード手段によりエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信手段と
を備える画像処理装置。
【請求項６】
ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置の画像処理方法において、
ストリーミング対象画像の画像データを入力する入力ステップと、
前記端末装置から送信されてきた領域情報を受信する領域情報受信ステップと、
前記入力ステップの処理で入力された前記ストリーミング対象画像の画像データの、前記領域情報受信ステップの処理で受信された前記領域情報に応じた領域の画像データをエンコードするエンコードステップと、
前記エンコードステップの処理でエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信ステップと
を含む画像処理方法。
【請求項７】
ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する画像処理をコンピュータに実行させるプログラムにおいて、
ストリーミング対象画像の画像データを入力する入力ステップと、
前記端末装置から送信されてきた領域情報を受信する領域情報受信ステップと、
前記入力ステップの処理で入力された前記ストリーミング対象画像の画像データの、前記領域情報受信ステップの処理で受信された前記領域情報に応じた領域の画像データをエンコードするエンコードステップと、
前記エンコードステップの処理でエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信ステップと
を含む画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理装置、画像処理方法、およびプログラムに関し、特に、ストリーミング配信を受けるクライアント機器での高画質な映像の再現を可能にした画像処理システム、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、ネットワークの高速化やPC（パーソナルコンピュータ）等の一般家庭への急速な普及により、VOD（ビデオ・オン・デマンド）等のリクエスト型の情報提供サービスが広く実用化されている。とりわけ、画像を再現する画像データの断片をパケットとし、そのパケットの集合をストリームとして送信し、受信端末側にて画像データ全体をダウンロードすることなく順次再生するストリーミングと呼ばれる技術が脚光を浴びている。
【０００３】
このようなストリーミングを利用して、ユーザが所有するHDD(Hard disk drive)等の外部AV機器から出力される映像や音声等のコンテンツを、インターネット、ワイヤレスLAN（Local Area Network）等のネットワークを介して、ユーザが使用するPC、携帯ゲーム機、携帯電話等の端末装置（以下、クライアント機器と称する）に配信するストリーミング配信システムが開発されている。このストリーミング配信システムを利用すれば、ユーザは、外部AV機器とクライアント機器の設置位置に関係なく、クライアント機器で、外部AV機器から出力されたコンテンツを視聴することができる。
【０００４】
このストリーミング配信システムでは、外部AV機器と、ネットワークを介してクライアント機器とに接続されるストリーミングサーバが設けられている。このストリーミングサーバは、外部AV機器から供給されたコンテンツを、例えばMPEG（Moving Picture Experts Group）等の規格に基づいてエンコードするとともに、AES(Advanced Encryption Standard)等の暗号化手段による暗号化やデジタルパケット化を行い、ストリーミングデータを生成する。ストリーミングサーバは、このようにして生成したストリーミングデータを、ネットワークを介してクライアント機器に送信する。
【０００５】
クライアント機器は、ネットワークを介してストリーミングサーバから送信されてきたストリーミングデータを受信し、受信したストリーミングデータを、クライアント機器に搭載されたアプリケーション等の表示に従って、データのデコードを行い、クライアント機器上で再生する。
【０００６】
ストリーミングサーバ側でストリーミングサーバ自身の負荷率を計測し、その負荷率の情報をクライアント機器に送出することにより、ストリーミングサーバの負荷や、負荷のスケジュールを把握する方法なども開発されている（特許文献１）。
【特許文献１】特開２００１−９４９５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところでこのようなストリーミング配信システムでは、配信される映像や音声のデータの画質や音質は回線速度に比例する。
【０００８】
このため、回線速度が限られている場合において画質や音質をあげるためには、より効率の高い、例えばAVC（Advanced Video Coding）等の圧縮符号化を用いる必要があるが、このような圧縮符号化を行うためには、ストリーミングサーバやクライアント機器は、高度な演算を可能にするハードウェアが要求となる。
【０００９】
しかしながら、クライアント機器については、PC等のハイスペック化に伴い高性能の機器が利用される一方、組み込み機器であるストリーミングサーバについては、クライアント機器のスペックに対応しないものが利用されることが考えられ、このような場合、クライアント機器において、その機能を十分生かすことができない場合がある。
【００１０】
例えばクライアント機器が、1080×720画素のハイビジョン映像の画像処理が可能であっても、ストリーミングサーバが、高圧縮符号化を行うことができない場合、結局、ストリーミングサーバからは、それ以下の圧縮符号化が施された画像データがクライアント機器に送信されるので、クライアント機器において、ハイビジョン映像が再現されない。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、複数台のストリーミングサーバを用いて並行画像処理を行うことにより、ストリーミングサーバで処理可能が画質よりも高画質な画像をクライアント機器で再現することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の画像処理システムは、複数のサーバと、前記複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置からなる画像処理システムにおいて、前記複数のサーバのそれぞれは、画像データを入力する入力手段と、前記画像処理装置から送信されてきた領域情報を受信する領域情報受信手段と、前記入力手段により入力された前記画像データの中の、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段と、前記エンコード手段によりエンコードされた前記画像データを、前記画像処理装置にストリーミング配信する配信手段とを備え、前記画像処理装置は、前記複数のサーバ毎の前記領域情報を、前記サーバの数に応じて生成する生成手段と、前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段と、前記複数のサーバにより配信されてきた前記画像データを受信する画像データ受信手段と、前記画像データ受信手段により受信された前記画像データをデコードするデコード手段と、前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段とを備えることを特徴とする。
【００１３】
本発明の一側面の画像処理システムにおいては、複数のサーバと、前記複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置からなる画像処理システムにおいて、前記複数のサーバのそれぞれで、画像データが入力され、前記画像処理装置から送信されてきた領域情報が受信され、入力された前記画像データの中の、受信された前記領域情報に応じた領域の画像データがエンコードされ、エンコードされた前記画像データが、前記画像処理装置にストリーミング配信され、前記画像処理装置で、前記複数のサーバ毎の前記領域情報が、前記サーバの数に応じて生成され、生成された前記領域情報が、それぞれ所定の前記サーバに送信され、前記複数のサーバにより配信されてきた前記画像データが受信され、受信された前記画像データがデコードされ、デコード処理の結果得られた画像が統合されて表示される。
【００１４】
本発明の第１の側面の画像処理装置は、複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置において、前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成手段と、前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段と、前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信手段と、前記受信手段により受信された前記画像データをデコードするデコード手段と、前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段とを備える。
【００１５】
本発明の第１の側面の画像処理方法は、複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置の画像処理方法において、前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成ステップと、前記生成ステップの処理で生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信ステップと、前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信ステップと、前記受信ステップの処理で受信された前記画像データをデコードするデコードステップと、前記デコードステップでのデコード処理の結果得られた画像を統合して表示する表示ステップとを含む。
【００１６】
本発明の第１の側面のプログラムは、複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理をコンピュータに実行させるプログラムにおいて、前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成ステップと、前記生成ステップの処理で生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信ステップと、前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信ステップと、前記受信ステップの処理で受信された前記画像データをデコードするデコードステップと、前記デコードステップでのデコード処理の結果得られた画像を統合して表示する表示ステップとを含む画像処理をコンピュータに実行させる。
【００１７】
本発明の第１の側面の画像処理装置、画像処理方法、またはプログラムにおいては、前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報が生成され、生成された前記領域情報が、それぞれ所定の前記サーバに送信され、前記複数のサーバにより配信されてきた、前記ストリーミング対象画像の前記領域情報に対応する領域の画像データが受信され、受信された前記画像データがデコードされ、デコード処理の結果得られた画像が統合して表示される。
【００１８】
本発明の第２の側面の画像処理装置は、ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置において、前記複数の画像処理装置のそれぞれは、ストリーミング対象画像の画像データを入力する入力手段と、前記端末装置から送信されてきた領域情報を受信する領域情報受信手段と、前記入力手段により入力された前記ストリーミング対象画像の画像データの、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段と、前記エンコード手段によりエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信手段とを備える。
【００１９】
本発明の第２の側面の画像処理方法は、ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置の画像処理方法において、ストリーミング対象画像の画像データを入力する入力ステップと、前記端末装置から送信されてきた領域情報を受信する領域情報受信ステップと、前記入力ステップの処理で入力された前記ストリーミング対象画像の画像データの、前記領域情報受信ステップの処理で受信された前記領域情報に応じた領域の画像データをエンコードするエンコードステップと、前記エンコードステップの処理でエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信ステップとを含む。
【００２０】
本発明の第２の側面のプログラムは、ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する画像処理をコンピュータに実行させるプログラムにおいて、ストリーミング対象画像の画像データを入力する入力ステップと、前記端末装置から送信されてきた領域情報を受信する領域情報受信ステップと、前記入力ステップの処理で入力された前記ストリーミング対象画像の画像データの、前記領域情報受信ステップの処理で受信された前記領域情報に応じた領域の画像データをエンコードするエンコードステップと、前記エンコードステップの処理でエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信ステップとを含む。
【００２１】
本発明の第２の側面の画像処理装置、画像処理方法、またはプログラムにおいては、ストリーミング対象画像の画像データが入力され、前記端末装置から送信されてきた領域情報が受信され、入力された前記ストリーミング対象画像の画像データの、受信された前記領域情報に応じた領域の画像データがエンコードされ、エンコードされた前記画像データが、前記端末装置にストリーミング配信される。
【発明の効果】
【００２２】
本発明の一側面によれば、高画質な映像の再現ができるように、ストリーミング配信を受けることができる。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２４】
本発明の一側面の画像処理システムは、
複数のサーバ（例えば、図１のストリーミングサーバ１３−１乃至１３−４）と、前記複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置（例えば、図１のクライアント機器１５）からなる画像処理システムにおいて、
前記複数のサーバのそれぞれは、
画像データを入力する入力手段（例えば、図２の入力部２１）と、
前記画像処理装置から送信されてきた領域情報を受信する領域情報受信手段（例えば、図２の通信I/F２３）と、
前記入力手段により入力された前記画像データの中の、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段（例えば、図２の画像処理部２２）と、
前記エンコード手段によりエンコードされた前記画像データを、前記画像処理装置にストリーミング配信する配信手段（例えば、図２の通信I/F２３）と
を備え、
前記画像処理装置は、
前記複数のサーバ毎の前記領域情報を、前記サーバの数に応じて生成する生成手段（例えば、図３の制御部３５）と、
前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段（例えば、図３の通信I/F３１）と、
前記複数のサーバにより配信されてきた前記画像データを受信する画像データ受信手段（例えば、図３の通信I/F３１）と、
前記画像データ受信手段により受信された前記画像データをデコードするデコード手段（例えば、図３の画像処理部３２）と、
前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段（例えば、図３の表示制御部３３）と
を備えることを特徴とする。
【００２５】
本発明の第１の側面の画像処理装置は、
複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置において、
前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成手段（例えば、図３の制御部３５）と、
前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段（例えば、図３の通信I/F３１）と、
前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信手段（例えば、図３の通信I/F３１）と、
前記受信手段により受信された前記画像データをデコードするデコード手段（例えば、図３の画像処理部３２）と、
前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段（例えば、図３の表示制御部３３）と
を備える。
【００２６】
本発明の第１の側面の画像処理方法、またはプログラムは、
複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置の画像処理方法において、または複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理をコンピュータに実行させるプログラムにおいて、
前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成ステップ（例えば、図５のステップＳ３０）と、
前記生成ステップの処理で生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信ステップ（例えば、図５のステップＳ３０）と、
前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信ステップ（例えば、図５のステップＳ２４）と、
前記受信ステップの処理で受信された前記画像データをデコードするデコードステップ（例えば、図５のステップＳ２５）と、
前記デコードステップでのデコード処理の結果得られた画像を統合して表示する表示ステップ（例えば、図５のステップＳ２６）と
を含む。
【００２７】
本発明の第２の側面の画像処理装置は、
ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置において、
前記複数の画像処理装置のそれぞれは、
ストリーミング対象画像の画像データを入力する入力手段（例えば、図２の入力部２１）と、
前記端末装置から送信されてきた領域情報を受信する領域情報受信手段（例えば、図２の通信I/F２３）と、
前記入力手段により入力された前記ストリーミング対象画像の画像データの、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段（例えば、図２の画像処理部２２）と、
前記エンコード手段によりエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信手段（例えば、図２の通信I/F２３）と
を備える。
【００２８】
本発明の第１の側面の画像処理方法、またはプログラムは、
ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置の画像処理方法において、またはストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する画像処理をコンピュータに実行させるプログラムにおいて、
ストリーミング対象画像の画像データを入力する入力ステップ（例えば、図２の入力部２１の処理）と、
前記端末装置から送信されてきた領域情報を受信する領域情報受信ステップ（例えば、図４のステップＳ３またはステップＳ８）と、
前記入力ステップの処理で入力された前記ストリーミング対象画像の画像データの、前記領域情報受信ステップの処理で受信された前記領域情報に応じた領域の画像データをエンコードするエンコードステップ（例えば、図４のステップＳ６）と、
前記エンコードステップの処理でエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信ステップ（例えば、図４のステップＳ７）と
を含む。
【００２９】
図１は、本発明を適用したストリーミング配信システムの構成例を示している。
【００３０】
外部AV機器１１は、HDDレコーダ等であって、映像や音声のコンテンツデータのAV信号を、例えばコンポジット信号などのAVケーブル１２を介して、４台のストリーミングサーバ１３−１乃至１３−４に出力する。
【００３１】
AVケーブル１２は、分岐され、外部AV機器１１から出力されたAV信号が、４台のストリーミングサーバ１３−１乃至１３−４に共通に入力されるようになされている。
【００３２】
４台のストリーミングサーバ１３−１乃至１３−４（以下、個々に区別する必要がない場合、単に、ストリーミングサーバ１３と称する）は、AVケーブル１２を介して外部AV機器１１に接続されるとともに、例えばインターネットやワイヤレスLAN等のネットワーク１４に、クライアント機器１５とストリーミングデータを送信するための通信接続を確立することができるように接続されている。
【００３３】
ストリーミングサーバ１３は、AVケーブル１２を介して送信されてきた外部AV機器１１からのAV信号を受信する。
【００３４】
クライアント機器１５とストリーミングデータを送信するための通信接続が確立されたストリーミングサーバ１３は、受信したAV信号に対応する例えば１フレーム分の画像データ（すなわちストリーミング対象の画像データ）のうち、クライアント機器１５から送信されたエンコードパラメータに対応する領域の画像データを、例えばMPEG等の規格に基づいてエンコードするとともに、AES等の暗号化手段による暗号化やデジタルパケット化を行って、ストリーミングデータを生成する。ストリーミングサーバ１３は、このようにして生成したストリーミングデータを、ネットワーク１４を介してクライアント機器１５に送信する。
【００３５】
クライアント機器１５は、ストリーミングサーバ１３とストリーミングデータを受信するための通信接続を確立することができるように、ネットワーク１４に接続されている。
【００３６】
クライアント機器１５は、ストリーミングデータを受信するための通信接続が確立されているストリーミングサーバ１３の数に応じて、その各ストリーミングサーバ１３に、エンコードさせるストリーミング対象画像の領域を決定し、その領域を示すエンコードパラメータを、そのストリーミングサーバ１３に送信する。
【００３７】
クライアント機器１５は、ストリーミングデータを受信するための通信接続が確立されている各ストリーミングサーバ１３から送信されてきたストリーミングデータのそれぞれを受信し、クライアント機器１５に搭載されたアプリケーション等の表示に従って、そのストリーミングデータのそれぞれのデコード等を行うとともに、その結果得られた画像を統合して表示する。
【００３８】
図２は、ストリーミングサーバ１３の画像処理に係る部分の構成例を示している。
【００３９】
入力部２１は、AVケーブル１２に接続され、外部AV機器１１から出力されたAV信号を入力し、デジタル信号に変換して画像処理部２２に供給する。
【００４０】
画像処理部２２は、入力部２１から供給されたAVデータ（例えば、１フレーム分の画像データ）のうち、制御部２４から入力されたクライアント機器１５から送信されてきたエンコードパラメータに対応する領域の画像データを、MPEG等の規格に基づいてエンコードするとともに、AES等の暗号化手段による暗号化やデジタルパケット化を行い、その結果得られたストリーミングデータを、通信I/F２３に供給する。
【００４１】
通信I/F２３は、ネットワーク１４に、クライアント機器１５とストリーミングデータを送信するための通信接続を確立することができるように接続され、その通信接続が確立されたクライアント機器１５から送信されてきたエンコードパラメータを受信し、制御部２４に供給する。通信I/F２３はまた、画像処理部２２から供給されたストリーミングデータを、ネットワーク１４を介して、ストリーミングデータを送信するための通信接続が確立されたクライアント機器１５に送信する。
【００４２】
制御部２４は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等で構成され、各部を制御する。
【００４３】
図３は、クライアント機器１５の画像処理に係る部分の構成例を示している。
【００４４】
通信I/F３１は、ストリーミングサーバ１３とストリーミングデータを受信するための通信接続を確立することができるように、ネットワーク１４に接続され、制御部３５から供給された、エンコードパラメータを、そのストリーミングサーバ１３に送信する。通信I/F３１はまた、ネットワーク１４を介してストリーミングサーバ１３から送信されてきたストリーミングデータを受信し、画像処理部３２に供給する。
【００４５】
画像処理部３２は、ストリーミングデータを受信するための通信接続が確立されているストリーミングサーバ１３の数に応じて、ストリーミングデータを受信するための通信接続が確立されている各ストリーミングサーバ１３にエンコードさせる領域を決定し、その領域を示すエンコードパラメータを、通信I/F３１に供給する。
【００４６】
なお以下において、ストリーミングデータを送信するための通信接続およびストリーミングデータを受信するための通信接続を、個々に区別する必要がない場合、ストリーミング配信接続と称する。
【００４７】
画像処理部３２はまた、通信I/F部３１から供給されたストリーミングサーバ１３から送信されてきたストリーミングデータの暗号を復号してデコードし、その結果得られた画像を統合して、表示制御部３３に供給する。
【００４８】
表示制御部３３は、画像処理部３２から供給された画像データに対応する画像を、表示部３４に表示させる。
【００４９】
制御部３５は、CPU、ROM、RAM等で構成され、各部を制御する。
【００５０】
次に、ストリーミングサーバ１３の動作を、図４のフローチャートを参照して説明する。
【００５１】
ステップＳ１において、ストリーミングサーバ１３の制御部２４は、通信I/F２３により、クライアント機器１５から送信されたストリーミング配信接続の要求が受信されるまで待機し、その要求が受信されたとき、ステップＳ２に進み、通信I/F２３を制御して、認証処理等の所定の処理をクライアント機器１５と協同して実行させ、その結果に基づいてクライアント機器１５とのストリーミング配信接続を確立させる。
【００５２】
クライアント機器１５とのストリーミング配信接続が確立されると、ステップＳ３において、ストリーミングサーバ１３の通信I/F２３は、クライアント機器１５から送信されたエンコードパラメータを受信して制御部２４に供給する。
【００５３】
ステップＳ４において、制御部２４は、通信I/F２３から供給されたエンコードパラメータを画像処理部２２に設定し、ステップＳ５およびステップＳ６において、エンコード処理を実行させる。
【００５４】
すなわち画像処理部２２は、ステップＳ５において、入力部２１から供給された１フレーム分の画像データの、設定されたエンコードパラメータに応じた領域の画像データを読み込み、ステップＳ６において、読み込んだ画像データを、MPEG等の規格に基づいてエンコードするとともに、AES等の暗号化手段による暗号化やデジタルパケット化を行う。
【００５５】
ステップＳ７において、画像処理部２２は、上述した画像処理の結果得られたストリーミングデータを、通信I/F２３に供給し、通信I/F２３は、画像処理部２２から供給されたストリーミングデータを、ネットワーク１４を介して、クライアント機器１５に送信する。
【００５６】
ステップＳ８において、制御部２４は、通信I/F２３により、エンコードパラメータが新たに受信されたか否かを判定し、受信されていないと判定した場合、すなわち先に受信されたエンコードパラメータによるストリーミングが継続している場合、ステップＳ９において、通信I/F２３により、ストリーミング配信接続の切断要求が受信されたか否かを判定し、受信されていないと判定した場合、ステップＳ５に戻り、それ以降の処理を同様に実行する。すなわち先に受信されたエンコードパラメータによるストリーミングが継続して実行される。
【００５７】
ステップＳ８で、エンコードパラメータが受信されたと判定された場合、ステップＳ４に戻り、新たに受信されたエンコードパラメータが画像処理部２２に設定され、ステップＳ５以降の処理が同様に実行される。
【００５８】
ステップＳ９で、ストリーミング配信接続の切断要求が受信されたと判定された場合、ステップＳ１０において、制御部２４は、通信I/F２３を制御して、ステップＳ２で確立したストリーミング配信接続を切断させ、ストリーミング処理を終了させる。
【００５９】
次に、クライアント機器１５の画像処理を、図５のフローチャートを参照して説明する。
【００６０】
クライアント機器１５の図示せぬ操作部がユーザに操作されて、ストリーミング開始の指令が制御部３５に入力されると、ステップＳ２１において、制御部３５は、既にストリーミング配信接続が確立しているストリーミングサーバ１３が存在するか否かを判定し、まだ存在しないと判定した場合、処理を、ステップＳ２２に進める。
【００６１】
ステップＳ２２において、制御部３５は、ストリーミングデータを再生するためのアプリケーションプログラムの１つのスレッドを起動し、通信I/F３１を制御して、認証処理等の所定の処理を所定の１個のストリーミングサーバ１３と協同して実行させ、その結果に基づいてそのストリーミングサーバ１３とのストリーミング配信接続を確立させる。
【００６２】
なお以下において制御部３５が実行する処理は、起動されたスレッドによって実行される。
【００６３】
次に、ステップＳ２３において、制御部３５は、再生用ウインドウのサイズを、例えば表示部３４の画面サイズとするとともに、通信I/F３１を制御して、ストリーミング対象画像の全領域を示すエンコードパラメータを、ステップＳ２２でストリーミング配信接続が確立されたストリーミングサーバ１３に送信させる。
【００６４】
ステップＳ２４において、通信I/F３１は、ストリーミング配信接続が確立されたストリーミングサーバ１３から送信されてきたストリーミングデータを受信し、画像処理部３２に供給する。
【００６５】
ステップＳ２５において、制御部３５は、画像処理部３２を制御して、通信I/F３１から供給されたストリーミングデータに対する復号処理、デコード処理を行わせる。
【００６６】
次に、ステップＳ２６において、制御部３５は、表示制御部３３を制御して、デコードされた画像を再生用ウインドウ（いまの場合、表示部３４の画面全体）に表示させる。
【００６７】
ステップＳ２７において、制御部３５は、図示せぬ操作部が操作されてストリーミングサーバ１３の追加接続が要求されたか否かを判定し、要求されていないと判定した場合、ステップＳ２８において、ストリーミング終了の指令が入力されたか否かを判定する。
【００６８】
ステップＳ２８で、ストリーミング終了の指令が入力されていないと判定された場合、ステップＳ２４に戻り、それ以降の処理が同様に行われる。
【００６９】
このようにストリーミング開始時に、ストリーミング配信接続が確立しているストリーミングサーバ１３が存在しない場合、所定の１個のストリーミングサーバ１３とストリーミング配信接続が確立され、そのストリーミングサーバ１３から送信されてきたストリーミングデータに対応する画像が表示される。
【００７０】
この場合、ストリーミング対象画像はその１個のストリーミングサーバ１３によりエンコード等されるが、ストリーミングサーバ１３は、処理可能な画素数に応じて、ストリーミング対象画像を間引きしてエンコード等の処理を実行し、ストリーミングデータを生成する。
【００７１】
ステップＳ２７で、ストリーミングサーバ１３の追加接続が要求されたと判定された場合、処理は、ステップＳ２９に進む。
【００７２】
クライアント機器１５の表示部３４には、例えば図６に示すような、ストリーミング配信接続を確立するストリーミングサーバ１３を選択できる操作画面が表示されるようになされており、その操作画面上の所定のストリーミングサーバ１３の表示をポインタで選択したり、ドラック＆ドロップして選択することで、追加接続するストリーミングサーバ１３を指定することができる。
【００７３】
なお図６の例において影が付されているストリーミングサーバ１３の表示は、その表示のストリーミングサーバ１３とのストリーミング配信接続が既に確立されていることを表している。
【００７４】
図５に戻りステップＳ２９において、制御部３５は、再生用スレッドを追加起動して、通信I/F３１を制御し、認証処理等の所定の処理を追加接続が要求されたストリーミングサーバ１３と協同して実行させ、その結果に基づいてそのストリーミングサーバ１３とのストリーミング配信接続を確立させる。
【００７５】
ステップＳ２９で、追加接続の要求に応じてストリーミング配信接続が確立されたとき、またはステップＳ２１で、既にストリーミング配信接続が確立しているストリーミングサーバ１３が存在すると判定されたとき、処理は、ステップＳ３０に進み、制御部３５は、いまストリーミング配信接続が確立しているストリーミングサーバ１３の数等に応じて、そのストリーミングサーバ１３にエンコードさせるストリーミング対象画像の領域を決定し、その領域を示すエンコードパラメータを生成する。制御部３５は、通信I/F３１を制御して、生成したエンコードパラメータを、いまストリーミング配信接続が確立されているストリーミングサーバ１３に送信させる。
【００７６】
例えば、図７に示すように、ストリーミングサーバ１３に供給される外部AV機器１１からのAV信号に対応する画像の画サイズ（すなわちストリーミング対象画像の全領域）がＸ×Ｙである場合において、２個のストリーミングサーバ１３−１，１３−２との間でストリーミング配信接続が確立しているとき、ストリーミングサーバ１３−１にエンコードさせる領域は、（０，０）を始点とし、（Ｘ／２，Ｙ）を終点とする領域とされて、その領域を示すエンコードパラメータがストリーミングサーバ１３−１に送信される。またストリーミングサーバ１３−２にエンコードさせる領域は、（Ｘ／２，０）を始点とし、（Ｘ，Ｙ）を終点とする領域とされて、その領域を示すエンコードパラメータがストリーミングサーバ１３−２に送信される。
【００７７】
なおエンコードさせる領域は、ストリーミングサーバ１３のエンコード処理能力等によって決定されるが、縦方向に均等に領域を分割するようにする場合、Ｍ個のストリーミングサーバ１３とストリーミング配信接続が確立されているとき、ｍ個目のストリーミングサーバ１３にエンコードさせる領域は、一般的には、図８に示すように、（Ｘ×（ｍ−１）／Ｍ，０）を始点とし、（Ｘ×ｍ／Ｍ，Ｙ）と終点とする領域となる。
【００７８】
図５に戻りステップＳ３１において、制御部３５は、いまストリーミング配信接続が確立しているストリーミングサーバ１３の数に応じて、各スレッドによる再生用ウインドウのサイズを決定する。この再生用ウインドウも、エンコードさせる領域と同様に、ストリーミング配信接続が確立しているストリーミングサーバ１３の数に応じて、表示部３４の再生用ウインドウが分割される。
【００７９】
その後ステップＳ２４に戻りそれ以降の処理が実行される。すなわちストリーミング配信接続が確立された各ストリーミングサーバ１３から送信されてきたストリーミングデータが受信される（ステップＳ２４）。
【００８０】
受信された各ストリーミングデータが復号、デコードされる。（ステップＳ２５）。
【００８１】
デコード等の結果得られた各画像が割り当てられた再生ウインドウに表示される（ステップＳ２６）。
【００８２】
このようにストリーミング配信接続が確立しているストリーミングサーバ１３の数に応じて、各ストリーミングサーバ１３にエンコードさせる領域を決定し、ストリーミングサーバ１３にストリーミング対象画像の一部をエンコードさせ、エンコードされたその領域の画像データに対応する画像を統合して表示するようにしたので、ストリーミングサーバ１３のそれぞれの画像処理能力がクライアント機器１５より劣る場合であっても、クライアント機器１５の画像処理能力に対応した高画質の画像を表示させることができる。
【００８３】
例えばストリーミング対象画像がハイビジョン映像に対応する画像（1080×720画素の画像）であって、クライアント機器１５がハイビジョン映像表示可能な画像処理能力を有している場合、ストリーミングサーバ１３の画像処理能力の上限が、400×300画素の画像に対する処理であるとき、７個のストリーミングサーバ１３を用意し、それらにストリーミング対象画像の所定の領域をエンコードさせれば、クライアント機器１５でハイビジョン映像を再現することができる。
【００８４】
またこのようにストリーミングサーバ１３を追加接続することができ、ストリーミングサーバ１３にエンコードさせる領域は、その数に応じて狭めるようにしたので、例えば中古品等の画像処理能力が劣るストリーミングサーバ１３を購入し随時追加接続することで、ユーザは、ハイスペックのストリーミングサーバ１３を購入しなくても高画質の映像をクライアント機器１５で視聴することができる。
【００８５】
ステップＳ２８で、ストリーミング終了の指令が入力されたと判定された場合、ステップＳ３２に進み、制御部３５は、通信I/F３１を制御して、ストリーミング配信接続の切断の要求を、ストリーミング配信接続が確立しているストリーミングサーバ１３に送信させ、ストリーミング配信接続を切断させる。その後処理は終了する。
【００８６】
なお以上においては、ストリーミングサーバ１３が４個の場合を例として説明したが、クライアント機器１５およびストリーミングサーバ１３の性能に応じて、他の数のストリーミングサーバ１３を利用することができる。
【００８７】
また各ストリーミングサーバ１３は、同じ時刻を示す時計を有しており、上述したストリーミングサーバ１３の動作は、各ストリーミングサーバ１３が同期して実行するようになされている。
【００８８】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００８９】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【００９０】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【００９１】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【００９２】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００９３】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【００９４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【図面の簡単な説明】
【００９５】
【図１】本発明を適用したストリーミング配信システムの構成例を示している。
【図２】図１のストリーミングサーバ１３の構成例を示すブロック図である。
【図３】図１のクライアント機器１５の構成例を示すブロック図である。
【図４】ストリーミングサーバ１３の動作を説明するフローチャートである。
【図５】クライアント機器１５の動作を説明するフローチャートである。
【図６】クライアント機器１５におけるストリーミングサーバ１３の追加接続のための操作画面の例を示す図である。
【図７】ストリーミングサーバ１３でエンコードされる領域を説明する図である。
【図８】ストリーミングサーバ１３でエンコードされる領域を説明する他の図である。
【図９】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００９６】
１１  外部AV機器，  １３  ストリーミングサーバ，  １４  ネットワーク，  １５  クライアント機器，  ２１  入力部，  ２２  画像処理部，  ２３  通信I/F，  ２４  制御部，  ３１  通信I/F，  ３２  画像処理部，  ３３  表示制御部，  ３４  表示部，  ３５  制御部
【図１】
2008270968.tif 000003
【図２】
2008270968.tif 000004
【図３】
2008270968.tif 000005
【図４】
2008270968.tif 000006
【図５】
2008270968.tif 000007
【図６】
2008270968.tif 000008
【図７】
2008270968.tif 000009
【図８】
2008270968.tif 000010
【図９】
2008270968.tif 000011