(57)【特許請求の範囲】
【請求項１】
ネットワークを介して接続された映像提供装置から第1の符号化方式で符号化された第1の映像ストリームを受信する映像ストリーム受信部と、
前記第1の映像ストリームの符号化方式を前記第1の符号化方式から前記第2の符号化方式に変換した第2の映像ストリームを生成する変換映像ストリーム生成部と、
前記第1の符号化方式で符号化された映像をクライアント装置がデコードできるかどう
かを示すデコード能力情報を取得するクライアント能力情報取得部と、
前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできる場
合に前記第1の映像ストリームを前記クライアント装置へ送信し、前記クライアント装置
が前記第1の符号化方式で符号化された映像をデコードできない場合に前記第２の映像ス
トリームを前記クライアント装置へ送信する映像ストリーム処理決定部と、
を備え、
前記映像ストリーム処理決定部は、前記クライアント装置における映像ストリームの表
示領域のうち、他のアプリケーションプログラムのウィンドウの裏に隠れている領域の割合が閾値以上の場合は、前記第１の映像ストリームの送信を中止する
ことを特徴とするサーバ装置。
【請求項２】
前記映像ストリーム処理決定部は、前記他の画像によって隠されていない部分を表す画
像の前記第２の映像ストリームを前記クライアント装置に送信することを特徴とする請求
項１に記載のサーバ装置。
【請求項３】
映像の倍率変更を指示する倍率変更情報を前記クライアント装置から受信する倍率変更
情報受信部を備え、
前記クライアント能力情報取得部は、前記クライアント能力情報として、前記クライア
ント装置が前記第１の映像ストリームの映像を変倍可能な倍率を表す倍率情報を取得し、
前記映像ストリーム処理決定部は、前記倍率変更情報受信部により受信された前記倍率
変更情報が、前記クライアント能力情報取得部により取得された前記倍率情報に含まれる
場合は、前記倍率変更情報に基づき変倍後の映像のスクリーンにおける位置情報を、前記
クライアント装置に通知することを特徴とする請求項１に記載のサーバ装置。
【請求項４】
前記映像ストリーム処理決定部は、前記倍率変更情報受信部により受信された前記倍率
変更情報が、前記クライアント能力情報取得部により取得された前記倍率情報に含まれな
い場合は、前記第１の映像ストリームの送信を中止し前記第２の映像ストリームを前記ク
ライアント装置に送信することを特徴とする請求項３に記載のサーバ装置。
【請求項５】
前記映像ストリーム処理決定部は、前記倍率変更情報受信部により受信された前記倍率
変更情報が、前記クライアント能力情報取得部により取得された前記倍率情報に含まれな
い場合は、映像の変倍ができない旨を表す映像を含む、前記第２の符号化方式で符号化さ
れた映像ストリームを前記クライアント装置に送信することを特徴とする請求項３に記載
のサーバ装置。
【請求項６】
前記映像ストリーム処理決定部は、前記倍率変更情報受信部により受信された前記倍率
変更情報が、前記クライアント能力情報取得部により取得された前記倍率情報に含まれな
い場合は、前記倍率変更情報に指示される倍率によって変倍した映像の第１の映像ストリ
ームを送信することを前記映像提供装置に要求することを特徴とする請求項３に記載のサ
ーバ装置。
【請求項７】
ネットワークを介して接続された映像提供装置から第1の符号化方式で符号化された第1の映像ストリームを受信する映像ストリーム受信部と、
前記第1の映像ストリームの符号化方式を前記第1の符号化方式から前記第2の符号化方式に変換した第2の映像ストリームを生成する変換映像ストリーム生成部と、
前記第1の符号化方式で符号化された映像をクライアント装置がデコードできるかどう
かを示すデコード能力情報を取得するクライアント能力情報取得部と、
前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできる場
合に前記第1の映像ストリームを前記クライアント装置へ送信することを要求する第１の
要求信号を前記映像提供装置に送信し、
前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできない
場合に前記第１の映像ストリームを前記映像ストリーム受信部に送信することを要求する
第２の要求信号を前記映像提供装置に送信し、前記変換映像ストリーム生成部によって生
成される前記第２の映像ストリームを前記クライアント装置へ送信する映像ストリーム処
理決定部と、
を備え、
前記映像ストリーム処理決定部は、前記クライアント装置における映像ストリームの表
示領域のうち、他のアプリケーションプログラムのウィンドウの裏に隠れている領域の割合が閾値以上の場合は、前記アプリケーションプログラムのウィンドウの裏に隠れていない部分を表す映像の前記第２の映像ストリームを前記クライアント装置に送信する
ことを特徴とするサーバ装置。
【請求項８】
前記クライアント能力情報取得部は、前記クライアント装置に問い合わせ信号を送るこ
とにより、または、ユーザ入力に基づき、前記クライアント能力情報を取得することを特
徴とする請求項７に記載のサーバ装置。
【請求項９】
ネットワークを介して接続された映像提供装置から第1の符号化方式で符号化された第1の映像ストリームを受信し、
前記第1の符号化方式で符号化された映像をクライアント装置がデコードできるかどう
かを示すデコード能力情報を取得し、
前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできる場
合に前記第1の映像ストリームを前記クライアント装置へ送信し、
前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできない
場合に、前記第1の映像ストリームの符号化方式を前記第1の符号化方式から前記第2の符号化方式に変換した第2の映像ストリームを生成し、生成した前記第２の映像ストリームを前記クライアント装置へ送信し、
前記クライアント装置における映像ストリームの表示領域のうち、他のアプリケーションプログラムのウィンドウの裏に隠れている領域の割合が閾値以上の場合は、前記第１の映像ストリームの送信を中止、または前記他のアプリケーションプログラムのウィンドウの裏に隠れていない部分を表す映像の前記第２の映像ストリームを前記クライアント装置に送信する
ことを特徴とする映像配信方法。
【請求項１０】
第1の符号化方式で符号化された映像をクライアント装置がデコードできるかどうかを
示すデコード能力情報を取得し、
前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできる場
合に、前記第1の符号化方式で符号化された第1の映像ストリームを前記クライアント装置へ送信することを、ネットワークを介して接続された映像提供装置に要求し、
前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできない
場合に前記映像提供装置から前記第１の映像ストリームを受信し、受信した前記第1の映
像ストリームの符号化方式を前記第1の符号化方式から第2の符号化方式に変換した第2の映像ストリームを生成し、生成した前記第２の映像ストリームを前記クライアント装置へ送信し、
前記クライアント装置における映像ストリームの表示領域のうち、他のアプリケーションプログラムのウィンドウの裏に隠れている領域の割合が閾値以上の場合は、前記第１の映像ストリームの送信を中止、または前記他のアプリケーションプログラムのウィンドウの裏に隠れていない部分を表す映像の前記第２の映像ストリームを前記クライアント装置に送信する
ことを特徴とする映像配信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
ネットワークを介して接続されたクライアント装置に表示するためのスクリーン画像を生成し、生成したスクリーン画像をクライアント装置に送信するサーバ装置および映像配信方法に関する。
【背景技術】
【０００２】
ネットワークを介して接続されたクライアント装置に表示するためのスクリーン画像を生成し、生成したスクリーン画像をクライアント装置に送信するサーバ装置、およびサーバ装置より受信したスクリーン画像を表示部に表示するクライアント装置が、例えば特許文献１に提案されている。
【０００３】
特許文献１で示されているクライアント装置（例えばディスプレイ装置）は無線通信インターフェース（IF：Interface）を有し、サーバ装置とネットワークを介して接続される。サーバ装置上で動作するアプリケーションの画面情報をクライアント装置が表示し、また、そのアプリケーションに対する入力コマンドをクライアント装置がサーバ装置に送信することで、クライアント装置上でサーバ装置上のアプリケーションが利用可能になる。
【０００４】
しかしながら、この構成では、例えば、サーバ装置でネットワークを介して接続した機器から映像ストリームを受信して再生する場合、受信した映像ストリームから一度スクリーン画面を生成し、そのスクリーン画面を再度圧縮してクライアント装置に送信するため、遅延の増大とフレームレートの低下を招くという問題があった。
【特許文献１】特開2002-304283公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、 ネットワーク上の映像提供装置から提供される映像ストリームをクライアント装置にて表示する際の遅延およびフレームレートの低下を軽減するようにしたサーバ装置および映像配信方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様としてサーバ装置は、ネットワークを介して接続された映像提供装置から第1の符号化方式で符号化された第1の映像ストリームを受信する映像ストリーム受信部と、前記第1の映像ストリームの符号化方式を前記第1の符号化方式から前記第2の符号化方式に変換した第2の映像ストリームを生成する変換映像ストリーム生成部と、前記第1の符号化方式で符号化された映像をクライアント装置がデコードできるかどうかを示すデコード能力情報を取得するクライアント能力情報取得部と、前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできる場合に前記第1の映像ストリームを前記クライアント装置へ送信し、前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできない場合に前記第２の映像ストリームを前記クライアント装置へ送信する映像ストリーム処理決定部と、を備え、前記映像ストリーム処理決定部は、前記クライアント装置における映像ストリームの表示領域のうち、他のアプリケーションプログラムのウィンドウの裏に隠れている領域の割合が閾値以上の場合は、前記第１の映像ストリームの送信を中止することを特徴とする。
【０００７】
本発明の一態様としてサーバ装置は、ネットワークを介して接続された映像提供装置から第1の符号化方式で符号化された第1の映像ストリームを受信する映像ストリーム受信部と、前記第1の映像ストリームの符号化方式を前記第1の符号化方式から前記第2の符号化方式に変換した第2の映像ストリームを生成する変換映像ストリーム生成部と、前記第1の符号化方式で符号化された映像をクライアント装置がデコードできるかどうかを示すデコード能力情報を取得するクライアント能力情報取得部と、前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできる場合に前記第1の映像ストリームを前記クライアント装置へ送信することを要求する第１の要求信号を前記映像提供装置に送信し、前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできない場合に前記第１の映像ストリームを前記映像ストリーム受信部に送信することを要求する第２の要求信号を前記映像提供装置に送信し、前記変換映像ストリーム生成部によって生成される前記第２の映像ストリームを前記クライアント装置へ送信する映像ストリーム処理決定部と、を備え、前記映像ストリーム処理決定部は、前記クライアント装置における映像ストリームの表示領域のうち、他のアプリケーションプログラムのウィンドウの裏に隠れている領域の割合が閾値以上の場合は、前記アプリケーションプログラムのウィンドウの裏に隠れていない部分を表す映像の前記第２の映像ストリームを前記クライアント装置に送信することを特徴とする。
本発明の一態様としてサーバ装置は、ネットワークを介して接続された映像提供装置から第1の符号化方式で符号化された第1の映像ストリームを受信する映像ストリーム受信部と、前記第1の映像ストリームの符号化方式を前記第1の符号化方式から前記第2の符号化方式に変換した第2の映像ストリームを生成する変換映像ストリーム生成部と、前記第1の符号化方式で符号化された映像をクライアント装置がデコードできるかどうかを示すデコード能力情報を取得するクライアント能力情報取得部と、前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできる場合に前記第1の映像ストリームを前記クライアント装置へ送信することを要求する第１の要求信号を前記映像提供装置に送信し、前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできない場合に前記第１の映像ストリームを前記映像ストリーム受信部に送信することを要求する第２の要求信号を前記映像提供装置に送信し、前記変換映像ストリーム生成部によって生成される前記第２の映像ストリームを前記クライアント装置へ送信する映像ストリーム処理決定部と、映像の倍率変更を指示する倍率変更情報を前記クライアント装置から受信する倍率変更情報受信部と、を備え、前記クライアント能力情報取得部は、前記クライアント能力情報として、前記クライアント装置が前記第１の映像ストリームの映像を変倍可能な倍率を表す倍率情報を取得し、前記映像ストリーム処理決定部は、前記倍率変更情報受信部により受信された前記倍率変更情報が、前記クライアント能力情報取得部により取得された前記倍率情報に含まれる場合は、前記倍率変更情報に基づき変倍後の映像のスクリーンにおける位置情報を、前記クライアント装置に通知することを特徴とする。
【０００８】
本発明の一態様として映像配信方法は、ネットワークを介して接続された映像提供装置から第1の符号化方式で符号化された第1の映像ストリームを受信し、前記第1の符号化方式で符号化された映像をクライアント装置がデコードできるかどうかを示すデコード能力情報を取得し、前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできる場合に前記第1の映像ストリームを前記クライアント装置へ送信し、前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできない場合に、前記第1の映像ストリームの符号化方式を前記第1の符号化方式から前記第2の符号化方式に変換した第2の映像ストリームを生成し、生成した前記第２の映像ストリームを前記クライアント装置へ送信し、前記クライアント装置における映像ストリームの表示領域のうち、他のアプリケーションプログラムのウィンドウの裏に隠れている領域の割合が閾値以上の場合は、前記第１の映像ストリームの送信を中止、または前記他のアプリケーションプログラムのウィンドウの裏に隠れていない部分を表す映像の前記第２の映像ストリームを前記クライアント装置に送信することを特徴とする。
【０００９】
本発明の一態様として映像配信方法は、第1の符号化方式で符号化された映像をクライアント装置がデコードできるかどうかを示すデコード能力情報を取得し、前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできる場合に、前記第1の符号化方式で符号化された第1の映像ストリームを前記クライアント装置へ送信することを、ネットワークを介して接続された映像提供装置に要求し、前記クライアント装置が前記第1の符号化方式で符号化された映像をデコードできない場合に前記映像提供装置から前記第１の映像ストリームを受信し、受信した前記第1の映像ストリームの符号化方式を前記第1の符号化方式から第2の符号化方式に変換した第2の映像ストリームを生成し、生成した前記第２の映像ストリームを前記クライアント装置へ送信し、前記クライアント装置における映像ストリームの表示領域のうち、他のアプリケーションプログラムのウィンドウの裏に隠れている領域の割合が閾値以上の場合は、前記第１の映像ストリームの送信を中止、または前記他のアプリケーションプログラムのウィンドウの裏に隠れていない部分を表す映像の前記第２の映像ストリームを前記クライアント装置に送信することを特徴とする。
【発明の効果】
【００１０】
本発明により、クライアント装置が映像ストリームをデコードする能力を有する場合には、映像ストリームをサーバ装置にてデコードせず、映像ストリームをクライアント装置に転送することにより、映像ストリームをクライアント装置で表示する際に発生する遅延およびフレームレートの低下を軽減できる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。
【００１２】
（第１の実施形態）
図１は、本発明の実施形態にかかる映像配信システムの構成を示すブロック図である。
【００１３】
この映像配信システムは、映像提供装置１１、サーバ装置２１、およびクライアント装置３１を備える。映像提供装置１１、サーバ装置２１およびクライアント装置３１はネットワーク４１に接続される。ネットワーク４１は有線ネットワークでも、無線ネットワークでもよい。
【００１４】
映像提供装置１１は、例えば映像コンテンツを配信するコンテンツ配信サーバ、ＴＶ電話（固定電話でも移動体電話でもよい）などであり、クライアント装置３１に表示すべき映像をネットワーク４１を介して提供する。映像提供装置１１から送信される映像は例えば任意の符号化方式により符号化されてストリームデータとして送信される。この任意の符号化方式としては、現在の情勢を鑑みると例えばMPEG-4やMPEG-2などとなる可能性があるが、これに限られるものではない。以下便宜上、映像提供装置１１が提供する映像を提供映像と称し、それを表すデータを映像ストリームと称して説明する。
【００１５】
クライアント装置３１は通信インターフェース（IF：Interface）３２、スクリーン画像受信部３３、映像再生部３４、映像表示位置格納部３５、表示部３６および入力部３７を有する。クライアント装置３１は、例えば表示装置（固定型でも持ち運び可能な移動型でもよい）である。クライアント装置３１はネットワーク４１に通信インターフェース３２で接続している。クライアント装置３１はサーバ装置２１からスクリーン画像データを受け取り、受け取ったスクリーン画像データを必要であればデコードし、スクリーン画像を表示部３６のスクリーン領域に表示する。またクライアント装置３１は、入力部３７にてユーザの入力を受け、通信インターフェース３２からネットワーク４１を介してサーバ装置２１へ送る。
【００１６】
クライアント装置３１がサーバ装置２１から受け取るスクリーン画像データは例えば、表示部３６に表示する画像全体を表すものであってもよい。あるいは表示部３６のスクリーン領域の一部に表示される画像とその表示位置とを表すものであってもよい。クライアント装置３１は上記両方ともあるいはいずれかのかたちで送られるスクリーン画像データに基づいてスクリーン画像を表示することができるものである。
【００１７】
クライアント装置３１は、映像提供装置１１から提供される映像ストリームをサーバ装置２１を介して受け取り、受け取った映像ストリームをスクリーン領域の一部または全部にデコードして表示することができるものであってもよい。クライアント装置３１は、映像提供装置１１と共通の符号化形式をサポートしている必要はない。すなわちクライアント装置３１は、上記の任意の符号化方式（例えばMPEG-4、MPEG-2）で符号化されたスクリーン画像をデコードできるものには限られない。
【００１８】
サーバ装置２１は、通信IF２２、クライアント能力情報取得部２３、映像ストリーム処理決定部２４、スクリーン画像生成部２５、スクリーン画像送信部２６、および映像ストリーム転送部２７を有する。通信ＩＦ２２は映像ストリーム受信部に相当する。スクリーン画像生成部２５は変換映像ストリーム生成部に相当する。サーバ装置２１は、クライアント装置３１に表示するスクリーン画像を生成し、生成したスクリーン画像をクライアント装置３１に送信する。クライアント装置３１に送信するスクリーン画像を表すスクリーン画像データは、クライアント装置３１が取り扱い可能な形式で送信される。
【００１９】
取り扱い可能な形式とは、クライアント装置３１がデコード可能であることがわかっている符号化方式で符号化した形式である。この符号化方式としては、例えばMPEG-4やMPEG-2でもよいし、ランレングス符号化、辞書圧縮、ＪＰＥＧ圧縮、その他任意の符号化方式を用いることができる。また取り扱い可能な形式とは符号化したものに限らず、クライアント装置３１が表示可能であれば特に圧縮はせずビットマップ形式のままであってもよい。
【００２０】
また取り扱い可能な形式とは、クライアント装置３１がその表示部３６に表示する画像全体を表すものや、表示部３６のスクリーン領域の一部に表示される画像とその表示位置とを表すものなどのうち、クライアント装置３１が扱うことのできるものである。
【００２１】
また、サーバ装置２１は、クライアント装置３１の能力に応じて、映像提供装置１１から提供される映像をクライアント装置３１へ配信する方法を決定する。例えば、クライアント装置３１が映像ストリームをデコード可能な場合は、サーバ装置２１は、映像提供装置１１からの映像ストリームの符号化形式を変えずにクライアント装置３１に転送することを決定する。クライアント装置３１が映像ストリームをデコード可能でない場合は、サーバ装置２１が映像ストリームのデコードを行い、デコードして得た提供画像をもとにスクリーン画像を生成し、生成したスクリーン画像をクライアント装置３１が取り扱い可能な形式にしてクライアント装置３１に送信する。
【００２２】
以下では、まず、サーバ装置２１における通信ＩＦ２２、スクリーン画像生成部２５およびスクリーン画像送信部２６、ならびに、クライアント装置３１における通信ＩＦ３２、スクリーン画像受信部３３および表示部３６について説明する。
【００２３】
スクリーン画像生成部２５は、クライアント装置３１で表示するスクリーン画像を生成する。スクリーン画像送信部２６は、スクリーン画像生成部２５が生成したスクリーン画像を通信IF２２を介してクライアント装置３１に送信する。スクリーン画像送信部２６はスクリーン画像を、クライアント装置３１が取り扱い可能な形式に、変換することがある。
【００２４】
図２は、スクリーン画像生成部２５とスクリーン画像送信部２６の動作例を説明するための図である。
【００２５】
本例のサーバ装置２１はＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）上でアプリケーションプログラムが動作するコンピュータである。アプリケーションプログラムがＯＳに対して描画命令を発行すると、ＯＳ内のスクリーン画像生成部２５ａが、与えられた描画命令をもとにクライアント装置３１上で表示するためのスクリーン画像（例えばスクリーン領域の一領域における画像）を生成する。スクリーン画像生成部２５ａは、生成した画像をスクリーン画像送信部２６に渡す。ここで渡される画像は、その画像がスクリーン全体の中で占める位置情報（例えばブロック番号、更新領域の座標など）も含むものとしてもよい。スクリーン画像送信部２６は受け取った画像を、クライアント装置３１が取り扱い可能な形式にして通信ＩＦ２２に渡す。通信ＩＦ２２は、クライアント装置３１が取り扱い可能な形式のスクリーン画像をクライアント装置３１に送信する。
【００２６】
図３は、スクリーン画像生成部２５とスクリーン画像送信部２６の動作の他の例を説明するための図である。
【００２７】
本例でも、サーバ装置２１はＯＳ上でアプリケーションプログラムが動作するコンピュータである。また、サーバ装置２１はクライアント装置３１にて表示するためのスクリーン画像を保持するフレームバッファ４２を有する。アプリケーションプログラムがＯＳに対して描画命令を発行すると、ＯＳ内のスクリーン画像生成部２５ｂは与えられた描画命令からクライアント装置３１上で表示するためのスクリーン画像（例えばスクリーン領域の一領域における画像）をフレームバッファ４２に書き込む。
【００２８】
スクリーン画像送信部２６は、フレームバッファ４２に保持されている、スクリーン画像データ全体（１フレーム分のスクリーン画像データ）を、クライアント装置３１が取り扱い可能な形式にしてクライアント装置３１に送信する。スクリーン画像送信部２６が送信するタイミングは、ＯＳが上記フレームバッファを更新する毎であってもよいし、フレームバッファ書き込みタイミングに拠らず所定の時間間隔であってもよい。圧縮の方式としては、フレームバッファ４２より取り出したスクリーン画像を１フレーム毎に別々に圧縮する方式であっても良いし、それまでに送信したフレームバッファ４２内のスクリーン画像を保持しておき、それとの相関関係を利用して圧縮する方式であっても良い。
【００２９】
図４は、スクリーン画像生成部２５とスクリーン画像送信部２６の動作のさらに他の例を説明するための図である。
【００３０】
この例は、スクリーン画像生成部２５ｃがフレームバッファ４３にクライアント装置３１上で表示するためのスクリーン画像を書き込むところまでは図３の動作例と同じである。スクリーン画像生成部２５ｃが描画命令に基づいて画像を生成してフレームバッファ４２に書き込まれている１フレーム分の画像のうち全部または一部を更新して、更新した領域がどこかを表す領域情報（例えばスクリーン全体の中における当該画像の位置および範囲の情報）を更新画像抽出部４４に通知する。この通知は画像生成時に毎回行っても良いし、１フレームにおけるいくつかの領域の画像を生成した後にそれらの画像の領域をまとめて通知しても良い。
【００３１】
更新画像抽出部４４は、通知された領域情報を基にフレームバッファ４３の中から更新のあった領域の画像を取得し、取得した画像をスクリーン画像送信部２６に受け渡す。スクリーン画像送信部２６は、受け取った画像をクライアント装置３１が取り扱い可能な形式にして通信ＩＦ２２を介してクライアント装置３１に送信する。
【００３２】
ここで、サーバ装置２１がネットワーク４１と接続するための通信ＩＦ２２以外に、ネットワーク４１を介さずに図示しないディスプレイと接続するための出力ＩＦを有している場合、このディスプレイに出力されるスクリーン画像の信号をクライアント装置３１にネットワーク４１を介して送信することにより、クライアント装置３１でスクリーン画像を表示する構成も考えられる。この構成を図５に示す。
【００３３】
アプリケーションプログラムがＯＳに対して描画命令を発行すると、ＯＳが、与えられた描画命令をもとに画像を生成する。ＯＳは、生成した画像と、ディスプレイ表示用描画命令とを、サーバ装置２１が有するビデオカード４５に渡す。ビデオカード４５は、受け取ったディスプレイ表示用描画命令にしたがってディスプレイ表示用映像信号を生成する。スクリーン画像生成部２５ｄはこのディスプレイ表示用映像信号（ビデオ信号）をスクリーン画像としてスクリーン画像送信部２６に渡す。
【００３４】
サーバ装置がディスプレイへの出力のためのVRAM(Video Random Access Memory)を有している場合、VRAM に格納されている画像をクライアント装置に送信して表示させてもよい。この場合、例えば、スクリーン画像生成部は、VRAM へ書き込む画像を生成する。スクリーン画像送信部２６は、ＶＲＡＭからビデオ信号を取得し、その内容をクライアント装置３１が取り扱い可能な形式にして通信ＩＦ２２を介してクライアント装置に送信する。
【００３５】
図１のクライアント装置３１において、サーバ装置２１より送られてきたスクリーン画像データ（スクリーン全体の画像またはその一領域の画像データ）は通信ＩＦ３２を介してスクリーン画像受信部３３によって受信される。スクリーン画像受信部３３では受信した画像データを、必要であればデコードし、表示部３６が有するフレームバッファに書き込む。スクリーン領域の一領域の画像データが送られてくる場合、スクリーン領域上の表示座標や表示範囲を示す範囲情報がその画像データとともに送られ、クライアント装置３１は、その範囲情報に基づいて、表示部３６のフレームバッファへの書き込みを行う。表示部３６はフレームバッファの内容を表示する。
【００３６】
次に、サーバ装置２１における映像ストリーム処理決定部２４、クライアント能力情報取得部２３および映像ストリーム転送部２７、ならびに、クライアント装置３１における映像表示位置格納部３５および映像再生部３４について詳述する。クライアント装置３１が、サーバ装置２１で動作するＴＶ電話アプリケーションプログラムを用いて映像提供装置１１（ＴＶ電話）との間でＴＶ電話を行う場合を例に挙げて説明する。なお、映像提供装置１１は別途ＴＶ電話アプリケーションプログラムを搭載しているものとする。
【００３７】
図７は、本例におけるサーバ装置２１の処理フローを示すフローチャートである。
【００３８】
サーバ装置２１上にて動作するＴＶ電話アプリケーションプログラムを用いてクライアント装置３１と映像提供装置１１との接続を試みる。サーバ装置２１に対する接続要求は例えばクライアント装置３１の入力部３７から行われる。他に、ネットワーク４１に入力装置を接続して、そこから行ってもよい。
【００３９】
図６に示すように、本ＴＶ電話アプリケーションプログラムは、スクリーン領域全体の画像（スクリーン画像）４９のなかのウィンドウ４８の中に通話相手（映像提供装置１１のユーザ）の提供映像４７を表示可能である。サーバ装置２１は上記接続要求を受けて、映像提供装置１１に通話要求を送信する（S11）。サーバ装置２１は映像提供装置１１からの応答を待機する（S12のNO）。サーバ装置２１が映像提供装置１１からの応答を受信し（S12のYES）、クライアント装置３１と映像提供装置１１との接続を確立し、映像のフォーマット(MPEG-2やMPEG-4など)を確定すると、映像ストリーム処理決定部２４は、映像提供装置１１から送信される映像ストリームについてクライアント装置３１がデコード可能であるか否かをクライアント能力情報取得部２３から得られる情報を用いて確認する（S13）。クライアント能力情報取得部２３の詳細については第３の実施形態において説明する。
【００４０】
クライアント装置３１が上記映像ストリームをデコードできない場合は（S13のNO）、スクリーン画像生成部２５が、映像提供装置１１から提供される映像ストリームをデコードしてそれをもとに、クライアント装置３１に表示するスクリーン画像を逐次生成する。スクリーン画像送信部２６は、生成したスクリーン画像（例えば前のスクリーン画像との変更部分）を、クライアント装置３１が取り扱い可能な形式にして通信IF２２を介してクライアント装置３１に送信する（S14）。
【００４１】
一方、クライアント装置３１が上記映像フォーマットをデコードできる場合は（S13のYES）、映像を表示すべき位置情報（ここではＴＶ電話アプリケーションプログラムのウィンドウの中の通話相手の映像を表示する位置、例えば図６の符号４７が示す映像位置）を映像ストリーム処理決定部２４が通信IF２２を介してクライアント装置３１に送信する（S15）。映像を表示すべき位置情報の送信は例えば、表示位置の変更のない限り最初の１回だけ行うようにしてもよい。映像ストリーム転送部２７は、映像提供装置１１から受信された映像ストリームをデコードせずにクライアント装置３１に送信（つまり転送）する（S16）。
【００４２】
クライアント装置３１は、サーバ装置２１から映像ストリームの表示位置情報を受け取ると、受け取った表示位置情報を映像表示位置格納部３５に格納する。その後、クライアント装置３１は、サーバ装置２１から映像ストリームを受け取ると、クライアント装置３１における映像再生部３４が、映像表示位置格納部３５から表示位置を取得し、映像ストリームを指定された表示位置で再生する。
【００４３】
クライアント装置３１が映像ストリームを同時に複数受信可能にする場合、映像表示位置格納部３５では各映像ストリームの表示位置と受信する映像ストリームとの関連付けを格納しておけばよい。これには、例えば、サーバ装置２１が表示位置を通知する際、映像ストリームの送信先となる受信ポート番号を併せて通知し、クライアント装置３１が表示位置と受信ポート番号とを関連付けて格納すればよい。受信ポートと表示位置とを関連づけた情報の一例を図８に示す。１行目の情報は、クライアント装置３１の受信ポート20000番において受信した映像ストリームはスクリーン領域内の左上座標(0,0)と右下座標(400,300)とで規定される矩形領域に再生することを意味する。同様に、２行目の情報は、受信ポート20002番において受信した映像ストリームはスクリーン領域内の左上座標(500,400)と右下座標(820,640)とで規定される矩形領域に再生することを意味する。
【００４４】
以上では、サーバ装置上で動作するアプリケーションプログラムとして、ＴＶ電話アプリケーションプログラムを例にして説明したが、サーバ装置上で動作するアプリケーションプログラムは、映像を受信するアプリケーションプログラムであれば何でも良い。例えば映画コンテンツ等の映像ストリームを再生するアプリケーションプログラムでもよい。
【００４５】
以上により、本実施形態によれば、映像ストリームを表示する際に発生する遅延およびフレームレートの低下を軽減できる。
【００４６】
（第２の実施形態）
図９は、第２の実施形態における映像配信システムの構成を示すブロック図である。サーバ装置５１が映像ストリーム送信要求部５２を備える点が第１の実施形態と異なる。
【００４７】
図１０は、第２の実施形態におけるサーバ装置５１の処理フローを示すフローチャートである。本実施形態では、映像提供装置１１が提供する映像ストリームをクライアント装置３１がデコードできる場合の処理が第１の実施形態と異なる。
【００４８】
S21、S22、S23、S24は第１の実施形態と同様である。S21、S22、S23、S24は図７のS11、S12、S13、S14に対応する。S23において、クライアント装置３１が上記映像フォーマットをデコードできる場合（S23のYES）、サーバ装置５１は、まず、第１の実施形態と同様に、映像を表示すべき位置情報（ＴＶ電話アプリケーションプログラムのウィンドウの中の通話相手の映像を表示する位置）をクライアント装置３１に送信する(S25)。次に、サーバ装置５１における映像ストリーム処理決定部２４は、映像提供装置１１にクライアント装置３１の識別子（例えばIPアドレスなど）を通知することを決定し、さらに映像ストリームをクライアント装置３１に直接送信することを映像提供装置１１に要求することを決定する（S26）。映像ストリーム送信要求部５２は、映像ストリーム処理決定部２４の決定を受けて、映像提供装置１１にクライアント装置３１の識別子を通知するとともに、映像ストリームをクライアント装置３１に直接送信することを映像提供装置１１に要求する（S27）。すなわち、映像ストリーム送信要求部５２は第１の要求信号を映像提供装置１１に送信する。なお、クライアント装置３１が上記映像フォーマットをデコードできない場合（S23のＮＯ）、映像ストリーム送信要求部５２は、映像ストリームをサーバ装置５１（通信ＩＦ２２）に送ることを要求する。すなわち、映像ストリーム送信要求部５２は第２の要求信号を映像提供装置１１に送信する。
【００４９】
映像ストリームの表示位置情報をサーバ装置５１から受け取ったクライアント装置３１は、受け取った表示位置情報を映像表示位置格納部３５に格納する。その後、映像提供装置１１から映像ストリームを受け取ると、映像再生部３４が、映像表示位置格納部３５から表示位置を取得し、提供映像を指定された表示位置に再生する。
【００５０】
このような手順によっても映像ストリームを表示する際に発生する遅延およびフレームレートの低下を軽減できる。
【００５１】
（第３の実施形態）
第３の実施形態では、クライアント能力情報取得部２３について詳述する。
【００５２】
クライアント能力情報取得部２３は、クライアント装置３１の能力を表す能力情報を取得する。クライアント装置３１の能力としては、例えばクライアント装置３１がデコードできるスクリーン画像データのフォーマットの種別（例えばMPEG-2、MPEG-4、H.263 等）がある。クライアント能力情報取得部２３は例えば以下のようにしてクライアント装置３１の能力情報を取得する。
【００５３】
ユーザがクライアント装置３１の識別子と能力情報とを入力するためにサーバ装置２１に設けた能力情報入力部により、クライアント能力情報取得部２３がクライアント装置３１の能力情報を取得するようにし、取得された能力情報は識別子と関連づけられてサーバ装置２１に格納しておいても良い。
【００５４】
また、クライアント装置３１がサーバ装置２１と接続した後に、クライアント装置３１およびサーバ装置２１間の通信路を用いてクライアント装置３１が自身の能力情報をサーバ装置２１におけるクライアント能力情報取得部２３に通知し、サーバ装置２１にこの能力情報を格納しておいても良い。
【００５５】
また、映像ストリーム処理決定部２４からクライアント装置３１の能力情報についての問い合わせがあった際にクライアント能力情報取得部２３がクライアント装置３１に問い合わせ信号を送ることによって能力情報を取得してもよい。
【００５６】
また、サーバ装置２１は、このような能力情報とともに、映像ストリームを受信可能な接続先識別子（ＩＰ(Internet Protocol)を用いる場合はTCP(Transmission Control Protocol)またはUDP(User Datagram Protocol)のポート番号など）も併せて保持しておいても良い。図１の映像ストリーム転送部２７はこのポート番号を利用して映像ストリームをクライアント装置３１に転送できる。ポート番号を保持しない場合には、映像ストリームの転送前に、クライアント能力情報取得部２３がクライアント装置３１に対して、受信可能なポート番号を問い合わせても良い。例えば、ＳＩＰ(Session Initiation Protocol)を用いることで映像ストリームを受信可能なポート番号を得ることができる。
【００５７】
また、クライアント能力情報取得部２３はクライアント装置３１が同時にデコード可能な映像ストリームの数と、現在デコードしているストリームの数とを鑑みて、新たなストリームをデコード可能か否かを、検査できるようにすることが好ましい。なぜなら、クライアント装置３１の能力としてある映像フォーマットをデコード可能であったとしても、同時にデコードできる映像ストリームの数が例えば１つの場合、あるストリームをデコードしている最中は、追加の映像ストリームをデコードはできないからである。これを実現するには、例えば、クライアント装置３１がデコード可能な映像フォーマットの種別に加えて、同時にデコード可能なストリームの数、および、現在利用しているストリームの数をサーバ装置２１もしくはクライアント装置３１に格納すればよい。クライアント能力情報取得部２３はこれらの情報を取得することにより、これから受信しようとしている映像ストリームがクライアント装置３１でデコード可能か否かを正確に返答できる。数的にデコード可能でない場合、映像ストリーム処理決定部は例えば新たな映像ストリームをデコードしてスクリーン画像にその一部として作りこんで送信することを決定する。
【００５８】
また、クライアント装置３１が電池から供給される電力にて動作している場合、クライアント能力情報取得部２３が、クライアント装置３１の能力情報として、クライアント装置３１の電池の残量を取得可能としても良い。映像ストリーム処理決定部２４はクライアント能力情報取得部２３からこの電池の残量情報を取得し、電池の残量が少ない場合（閾値以下の場合）には、映像ストリームをクライアント装置３１に転送せずに、映像ストリームをデコードして提供画像をその一部に作りこんだスクリーン画像を生成してクライアント装置３１に送信する。これにより、映像ストリームをデコードするための電力をクライアント装置３１が負担しなくてもよくなるので、クライアント装置３１における消費電力を小さくすることができ、クライアント装置３１の利用時間を長くできる。例えばクライアント装置３１の電源が電池である場合など、電源の容量に限りがある場合で、かつ、クライアント装置３１における映像ストリームのデコード負荷（計算量等）が、スクリーン画像のデコード負荷よりも大きい場合にこのような効果を得ることができる。またクライアント装置３１における、スクリーン画像のデコーダと、映像ストリームのデコーダとが別個の場合にも、映像ストリームのデコーダを停止することにより以上のような効果を得ることができる。本処理は、映像ストリームの受信開始時だけでなく、映像ストリームの受信中においても行っても良い。
【００５９】
（第４の実施形態）
クライアント装置３１の能力情報は、映像ストリームのデコード後の映像をクライアント装置３１が拡大および縮小（つまりリサイズ）できるか否かを表すリサイズ可否情報を含むことが望ましい。
【００６０】
ここでは例として、サーバ装置２１が搭載するＴＶ電話アプリケーションプログラムが映像を拡大もしくは縮小表示可能な場合について述べる。また、映像提供装置１１が送信している映像ストリームはクライアント装置３１にてデコード可能なフォーマットであり、サーバ装置２１は、受信した映像ストリームを映像ストリーム転送部２７からそのままクライアント装置３１に転送しているとする。ただし、以下のことは、映像ストリームを映像提供装置１１からクライアント装置３１へ直接送信している場合（例えば第２の実施形態の場合）に当てはめてもよい。
【００６１】
例えばクライアント装置３１の入力部３７から、ユーザの操作等により映像の拡大もしくは縮小表示がサーバ装置２１に指示されると（倍率変更情報が入力されると）、映像ストリーム処理決定部２４はクライアント能力情報取得部２３に対しクライアント装置３１において映像を拡大もしくは縮小することが可能か否かを問い合わせる。問い合わせの結果から、ユーザが指示したサイズへの拡大もしくは縮小が可能な場合には、映像ストリーム処理決定部２４は、変更後の倍率に関する情報として、例えば拡大もしくは縮小後の表示領域（クライアント装置３１のスクリーンにおける位置情報）をクライアント装置３１に通知する。拡大もしくは縮小ができない場合には、映像ストリーム転送部２７による映像ストリームの転送を終了する（本実施形態を第２の実施形態に適用する場合は映像ストリームをクライアント装置３１に送信することを要求する停止要求信号を映像提供装置１１に送信する）。そして、受信した映像ストリームからスクリーン画像生成部２５を用いてスクリーン画像を生成し（本実施形態を第２の実施形態に適用する場合は映像ストリームをサーバ装置５１に送信することを要求する第２の要求信号を先ず映像提供装置１１に送信しておく）、スクリーン画像送信部２６を用いてクライアント装置３１に当該スクリーン画像を送信する。
【００６２】
これにより、ユーザが意図しない表示がクライアント装置３１にて行われることを防ぐことができる。
【００６３】
クライアント装置３１にて拡大もしくは縮小が出来ない場合の処理としては、映像ストリームの転送を終了せずに、ユーザに拡大もしくは縮小が出来ない旨通知するという方法も考えられる。具体的には、拡大もしくは縮小が出来ない旨を表すスクリーン画像を生成しクライアント装置３１に送信することが考えられる。
【００６４】
また、クライアント装置３１にて拡大もしくは縮小ができない場合において、映像提供装置１１にて拡大もしくは縮小が可能な場合には、映像提供装置１１に対し拡大した映像もしくは縮小した映像のストリームの送信を要求しても良い。
【００６５】
ここでは、映像に対する操作として拡大および縮小を取り上げたが、その他の操作（コントラストの変更など）についても同様である。
【００６６】
（第５の実施形態）
上述のＴＶ電話アプリケーションプログラムにおいて、クライアント装置３１のユーザからの指示などにより、クライアント装置３１における受信映像表示ウィンドウが他のアプリケーションプログラムのウィンドウの裏に完全に隠れているとする。このような場合、受信している映像ストリームをクライアント装置３１に転送する必要は無い。
【００６７】
映像ストリーム処理決定部２４は、クライアント装置３１のスクリーン領域内において映像ストリームの表示状態を確認し、映像ストリームの表示が完全に隠れている場合には映像ストリーム転送部２７による映像の転送を中止する。これによりサーバ装置２１とクライアント装置３１間のトラフィックを削減できる。また、クライアント装置３１の処理量も小さくすることができるため、クライアント装置３１の消費電力を軽減できる。
【００６８】
映像ストリームの大部分（例えば映像ストリームの表示領域のうち閾値以上の割合の領域）が隠れており、クライアント装置３１のユーザが映像ストリームに注目していないとみなせる場合においても同様の処理を行っても良い。
【００６９】
または、このように映像ストリームの大部分が隠れている場合、映像ストリーム転送部２７を用いず（または映像提供装置１１からの直接送信を行わず）、スクリーン画像生成部２５およびスクリーン画像送信部２６を用いて映像ストリームからスクリーン画像を生成し生成したスクリーン画像をクライアント装置３１に送信するようにしても良い。この場合にも、サーバ装置２１は一部の表示されている部分の画像のみをクライアント装置３１に送信すれば良く、これによりサーバ装置２１とクライアント装置３１間のトラフィックを削減できる。また、クライアント装置３１の処理量も小さくすることができるため、クライアント装置３１の消費電力を軽減できる。
【００７０】
なお、映像ストリームの大部分が隠れていない場合においては、遅延低減の観点から、映像ストリーム転送部２７を用いて映像ストリームを転送する（または映像提供装置１１から直接送信する）方が望ましい。この場合には、映像ストリーム処理決定部２４は、映像の表示位置として、表示されている部分（隠れていない部分）をクライアント装置３１に正確に通知するものとする。
【図面の簡単な説明】
【００７１】
【図１】映像配信システムの構成の一例を示す図。
【図２】スクリーン画像生成部およびスクリーン画像送信部の構成例を示す図。
【図３】スクリーン画像生成部およびスクリーン画像送信部の他の構成例を示す図。
【図４】スクリーン画像生成部およびスクリーン画像送信部のさらに他の構成例を示す図。
【図５】スクリーン画像生成部およびスクリーン画像送信部のさらに他の構成例を示す図。
【図６】ＴＶ電話アプリケーションプログラムの表示例を示す図。
【図７】サーバ装置の処理フローの一例を示す図。
【図８】映像表示位置格納部に格納する情報の例を示す図。
【図９】映像配信システムの他の構成例を示す図。
【図１０】サーバ装置の処理フローの他の例を示す図。
【符号の説明】
【００７２】
１１：映像提供装置
２１：サーバ装置
２２：通信ＩＦ
２３：クライアント能力情報取得部
２４：映像ストリーム処理決定部
２５、２５ａ、２５ｂ、２５ｃ、２６ｄ：スクリーン画像生成部
２６：スクリーン画像送信部
２７：映像ストリーム転送部
３１：クライアント装置
３２：通信ＩＦ
３３：スクリーン画像受信部
３４：映像再生部
３５：映像表示位置格納部
３６：表示部
４１：ネットワーク
４２、４３：フレームバッファ
４４：更新画像抽出部
４５：ビデオカード
４７：映像
４８：ウィンドウ
４９：スクリーン画像
５２：映像ストリーム送信要求部
【図１】
0004585479.tif 000002
【図２】
0004585479.tif 000003
【図３】
0004585479.tif 000004
【図４】
0004585479.tif 000005
【図５】
0004585479.tif 000006
【図６】
0004585479.tif 000007
【図７】
0004585479.tif 000008
【図８】
0004585479.tif 000009
【図９】
0004585479.tif 000010
【図１０】
0004585479.tif 000011