【手続補正書】
【提出日】平成19年7月11日(2007.7.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
Ｍを２以上の任意の整数として、
Ｍ個の画像符号化データを受信する少なくとも１つのステップと、
受信したＭ個の画像符号化データの少なくとも１つを復号するステップと、
受信した画像符号化データの、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、復号されたデータを再符号化する少なくとも１つのステップと、
再符号化された画像符号化データを出力する少なくとも１つのステップと、
出力する画像符号化データの少なくとも１つを、外部からの要求により、切り替えるステップと、
を含む、ことを特徴とする画像切り替え方法。
【請求項２】
Ｍを２以上、Ｎを１以上の任意の整数として、
Ｍ個の画像符号化データを受信するステップと、
受信したＭ個の画像符号化データをそれぞれ復号するＭ個のステップと、
受信した画像符号化データの、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、復号されたデータを再符号化するＮ個のステップと、
再符号化された画像符号化データを出力するＮ個のステップと、
出力するＮ個の画像符号化データのうち少なくとも１つを、外部からの要求により、切り替えるステップと、
を含む、ことを特徴とする画像切り替え方法。
【請求項３】
Ｍを２以上の任意の整数として、
多重化されたＭ個の画像符号化データを受信し分離する少なくとも１つのステップと、
受信したＭ個の画像符号化データの少なくとも１つを復号するステップと、
受信した画像符号化データの、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、復号されたデータを再符号化する少なくとも１つのステップと、
再符号化された画像符号化データを多重化して出力する少なくとも１つのステップと、
出力する画像符号化データの少なくとも１つを、外部からの要求により、切り替えるステップと、
を含む、ことを特徴とする画像切り替え方法。
【請求項４】
Ｍを２以上、Ｎを１以上の任意の整数として、
多重化されたＭ個の画像符号化データを受信し分離する少なくとも１つのステップと、
受信したＭ個の画像符号化データをそれぞれ復号するＭ個のステップと、
受信した画像符号化データの、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、復号されたデータを再符号化するＮ個のステップと、
再符号化されたＮ個の画像符号化データを多重化して出力する少なくとも１つのステップと、
出力するＮ個の画像符号化データのうち少なくとも１つを、外部からの要求により、切り替えるステップと、
を含む、ことを特徴とする画像切り替え方法。
【請求項５】
画像符号化データの切り替えを行う装置であって、
Ｍ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信する少なくとも１つのユニットと、
受信したＭ個の画像符号化データの少なくとも１つを復号するユニットと、
受信した画像符号化データの、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、復号されたデータを再符号化する少なくとも１つのユニットと、
再符号化された画像符号化データを出力する少なくとも１つのユニットと、
出力する画像符号化データの少なくとも１つを、装置外部からの要求により、切り替えるユニットと、
を備えている、ことを特徴とする画像切り替え装置。
【請求項６】
画像符号化データの切り替えを行う装置であって、
Ｍ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信するユニットと、
受信したＭ個の画像符号化データをそれぞれ復号するＭ個のユニットと、
受信した画像符号化データの、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、復号されたデータを再符号化するＮ個（ただし、Ｎは１以上の任意の整数）のユニットと、
再符号化されたＮ個の符号化データをそれぞれ出力するＮ個のユニットと、
出力するＮ個の画像符号化データのうち少なくとも１つを、装置外部からの要求により、切り替えるユニットと、
を備えている、ことを特徴とする画像切り替え装置。
【請求項７】
画像符号化データの切り替えを行う装置であって、
多重化されたＭ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信し分離する少なくとも１つのユニットと、
受信したＭ個の画像符号化データの少なくとも１つを復号するユニットと、
受信した画像符号化データの、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、復号されたデータを再符号化する少なくとも１つのユニットと、
再符号化された画像符号化データを多重化して出力する少なくとも１つのユニットと、
出力する画像符号化データの少なくとも１つを、装置外部からの要求により、切り替えるユニットと、
を備えている、ことを特徴とする画像切り替え装置。
【請求項８】
画像符号化データの切り替えを行う装置であって、
多重化されたＭ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信し分離する少なくとも１つのユニットと、
受信したＭ個の画像符号化データをそれぞれ復号するＭ個のユニットと、
受信した画像符号化データの、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、復号されたデータを再符号化するＮ個（ただし、Ｎは１以上の任意の整数）ユニットと、
再符号化されたＮ個の符号化データを多重化して出力する少なくとも１つのユニットと、
出力するＮ個の画像符号化データのうち少なくとも１つを、装置外部からの要求により、切り替えるユニットと、
を備えている、ことを特徴とする画像切り替え装置。
【請求項９】
前記再符号化するユニットは、再符号化の際に、前記Ｍ個の画像符号化データのうち、複数の画像符号化データを復号し、
得られた復号画像のうち、２つ以上を組み合わせて、１つ以上Ｍ個未満の画像を生成し、再符号化する、ことを特徴とする請求項５乃至８のいずれか一に記載の画像切り替え装置。
【請求項１０】
前記再符号化するユニットは、前記再符号化の際に、
（ア）イントラフレーム間隔の短縮、
（イ）ビデオパケットサイズの縮小、
（ウ）イントラマクロブロック数の増加、
の少なくとも１つを行う、ことを特徴とする請求項５乃至９のいずれか一に記載の画像切り替え装置。
【請求項１１】
前記画像符号化データを送受信するクライアントからの要求に応じて、前記Ｍ個の画像符号化データのうちの少なくとも１つの画像を選択して前記変更を行い、通信相手のクライアントへ出力する請求項５乃至１０のいずれか一に記載の画像切り替え装置。
【請求項１２】
前記クライアントからの要求に応じ、クライアントが受信している画像の少なくとも１つを、前記Ｍ個の画像符号化データのうちの他の画像に切り替える、ことを特徴とする請求項１１に記載の画像切り替え装置。
【請求項１３】
前記画像符号化データを中継する会議サーバからの要求に応じ、前記Ｍ個の画像符号化データのうちの少なくとも１つの画像を選択し、前記変更を行って会議に参加するクライアントへ出力する、ことを特徴とする請求項５乃至１２のいずれか一に記載の画像切り替え装置。
【請求項１４】
会議サーバからの要求に応じ、会議に参加するクライアントが受信している画像の少なくとも１つを、前記Ｍ個の画像符号化データのうちの他の画像に切り替える、ことを特徴とする請求項５乃至１３のいずれか一に記載の画像切り替え装置。
【請求項１５】
前記要求による画像符号化データの切り替えの際、切り替え先の画像の復号画像データを、イントラフレーム符号化してから切り替える、ことを特徴とする請求項１２に記載の画像切り替え装置。
【請求項１６】
前記要求による画像符号化データの切り替えの際、切り替え元の画像の復号画像データを、所定のフレームタイプで符号化して切り替える、ことを特徴とする請求項１２または１３に記載の画像切り替え装置。
【請求項１７】
複数のクライアントと伝送路を介して接続される変換サーバ装置であって、
クライアントからの画像符号化データを受信する手段と、
受信した画像符号化データを、クライアントで利用可能な符号化方式、符号化設定、符号化オプション、および、前記伝送路の状態のうちの少なくとも１つに合わせて画像符号化方式を変換して送信する手段と、
画像の表示数に制限のあるクライアントに対しては、前記画像符号化データのうち、選択された複数の画像符号化データを復号して１つの画像に合成し再符号化して送信する手段と、
を備えている、ことを特徴とする変換サーバ装置。
【請求項１８】
複数の復号処理部を備え、前記復号処理部は各クライアントからの画像符号化データをそれぞれ復号し、
前記クライアントから表示画像の切り替え要求があった場合、切り替えのタイミングで、切り替え先の画像の復号画像データを、イントラフレーム符号化して送信する手段をさらに備えている、ことを特徴とする請求項１７記載の変換サーバ装置。
【請求項１９】
前記クライアントから切り替え要求があった場合、切り替え元の画像の復号画像データを、所定のフレームタイプで符号化して切り替える手段をさらに備えている、ことを特徴とする請求項１８記載の変換サーバ装置。
【請求項２０】
前記複数の復号処理部で復号された復号画像データは複数の復号データバッファに格納され、
前記複数の復号データバッファのいずれかの復号画像データを選択して読み込み、符号化処理部に出力する画像選択・合成手段を備え、
前記符号化処理部は、選択された復号画像データを、クライアントのサポートする符号化方式、符号化設定、および、符号化オプションに沿って再符号化して出力する、ことを特徴とする請求項１８記載の変換サーバ装置。
【請求項２１】
前記画像選択・合成手段は、クライアントの要求、又は、あらかじめ定められた設定により、複数の復号画像を組み合わせて合成して出力する、ことを特徴とする請求項２０記載の変換サーバ装置。
【請求項２２】
前記画像選択・合成手段は、前記複数（Ｋ個）の復号データバッファにバッファリングされている復号画像を、それぞれ１／Ｋに縮小して並べることで、Ｋ個の画像を１つの画像とし、前記符号化処理部へ出力する、ことを特徴とする請求項２１記載の変換サーバ装置。
【請求項２３】
前記符号化処理部からの再符号化出力を受ける前記クライアントで表示される複数の画像を合成した画像の中に、自又は他のクライアントの画像データを含める場合に、前記画像選択・合成手段は、前記自又は他のクライアントに対応する復号処理部で復号された画像データを格納する復号データバッファから復号画像を読み込み、前記復号画像を組み合わせて合成して出力する、ことを特徴とする請求項２０記載の変換サーバ装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像符号化データの切り替え方法および装置、システム
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
従って、本発明は、上記の事情を考慮してなされたものであり、本発明の主たる目的は、画像を用いた会議などの複数のクライアントが互いに符号化データをやり取りするシステムにおいて、参加するそれぞれのクライアントのサポートする符号化方式や符号化設定、符号化オプションに合わせて、通信相手のクライアントの符号化データを変換する方法、装置、システムを提供することにある。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、本発明の他の目的は、画像の表示数に制限のあるクライアントに対して、通信を行っている他の複数のクライアントからの画像の中から、当該クライアントの利用者の望む画像を少なくとも１つ選択し、当該クライアント上に表示させる方法、装置、システムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、本発明のさらに他の目的は、画像の表示数に制限のあるクライアントに対して、現在の表示画像から別の画像への切り替えを行う際、利用者の任意のタイミングで画像の乱れなく素早く切り替える方法、装置、システムを提供することにある。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、本発明のさらに他の目的は、画像の表示数に制限のあるクライアントに対して、利用者の望む複数のクライアントからの画像データを合成して、１つの画像として出力する方法、装置、システムを提供することにある。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、本発明のさらに他の目的は、無線などの不安定な伝送路を経由した画像データのやり取りを行うクライアントに対して、より安定した品質の画像での通信を行う方法、装置、システムを提供することにある。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
前記課題の少なくとも１つを解決する本発明の１つのアスペクトに係る方法は、
Ｍを２以上の任意の整数として、
Ｍ個の画像符号化データを受信する少なくとも１つのステップと、
受信したＭ個の画像符号化データの少なくとも１つを復号するステップと、
受信した画像符号化データの、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、復号されたデータを再符号化する少なくとも１つのステップと、
再符号化された符号化データを出力する少なくとも１つのステップと、
出力する符号化データの少なくとも１つを外部からの要求により切り替えるステップと、
を含む。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の他のアスペクトに係る装置は、Ｍを２以上の整数、Ｎを１以上の整数として、
Ｍ個の画像符号化データを受信するユニットと、
受信したＭ個の画像符号化データを復号するＭ個のユニットと、
受信した符号化データの、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、復号されたＭ個のデータを、再符号化、もしくは符号化データの変換をするＮ個のユニットと、
再符号化された符号化データを出力するＮ個のユニットと、
を備えている。さらに、復号された複数の符号化データを組み合わせて１つの画像を作成するユニットと、少なくとも１つの出力画像を、他の入力画像と切り替えるユニットと、を備えていてもよく、Ｍ個の画像符号化データを変換して生成したＮ個の符号化データを出力する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明のさらに他のアスペクトに係るコンピュータ・プログラムは、画像符号化データの切り替えを行う装置を構成するコンピュータに、
Ｍ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信する処理と、
受信したＭ個の画像符号化データの少なくとも１つを復号する処理と、
受信した画像符号化データの、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、復号されたデータを再符号化する処理と、
再符号化された符号化データを出力する処理と、
出力する符号化データの少なくとも１つを、装置外部からの要求により切り替える処理と、
を実行させるプログラムよりなる。