(57)【要約】  本発明は、ストリームを配信する際に、ストリームを変換する必要がある場合、変換を高速化する配信システム、方法、変換装置を提供する。ネットワークを介して端末に１つ以上のストリームを配信する配信システムであって、端末（１０３）が指定した動画像の符号化データを配信するにあたり、端末から通知された能力情報とネットワークの状況のうち少なくとも１つに適合するように、前記符号化データの情報を再利用して、前記符号化データを変換して、変換した符号化データを前記端末に送信する変換装置（１０２）を備える（図１）。
2010079790.tif 000002
【特許請求の範囲】
【請求項１】
配信サーバからネットワークを介して端末に１つ以上のストリームを配信する配信システムであって、
前記端末が指定した配信対象の動画像の符号化データを前記配信サーバから受け、
前記端末から通知された前記端末の能力情報、前記端末の機能情報、前記ネットワークの状況のうち少なくとも１つに基づき、前記符号化データを変換し、
前記変換した符号化データを前記端末に送信する変換装置を備える、ことを特徴とする配信システム。
【請求項２】
前記変換装置は、前記端末から通知された前記端末の能力情報と前記ネットワークの状況の少なくとも１方に適合するように、前記符号化データの情報を再利用して、前記符号化データを変換し、前記変換した符号化データを前記端末に送信する、ことを特徴とする請求項１記載の配信システム。
【請求項３】
前記変換装置は、前記端末が指定した動画像の符号化データを配信するにあたり、前記端末からの前記端末の能力情報、機能情報に基づき、前記符号化データを変換するか否か判断し、変換すると判断された前記符号化データを変換した上で前記端末に送信する、ことを特徴とする請求項１又は２記載の配信システム。
【請求項４】
前記端末から通知された機能情報が、
画像サイズ変更機能、
フレーム補間機能、
ストリーム帯域拡張機能
の少なくとも１つを含み、
前記変換装置は、前記機能情報を基に、
画像サイズの変更、
前記符号化データのフレーム単位での間引き、
前記符号化データのビットレートの抑制、
の少なくとも１つを行う、ことを特徴とする請求項１又は３記載の配信システム。
【請求項５】
前記変換装置は、
前記配信サーバからの符号化データを受信する受信部と、
前記端末と、前記端末の能力情報又は機能情報、前記ネットワークの状況の情報を交換する情報交換部と、
前記配信サーバから受信した符号化データを画像データに復号し、前記端末から通知された能力情報と前記ネットワークの状況とのうちの少なくとも１つに適合するように、前記復号した画像データを変換し、前記受信した符号化データの符号化情報を利用して、前記変換した復号画像データを符号化するトランスコーダと、
前記トランスコーダからの符号化データを前記端末へ前記ネットワークを介して送信する送信部と、
を備えたことを特徴とする請求項１乃至４のいずれか１項に記載の配信システム。
【請求項６】
前記情報交換部が、前記端末の前記能力情報として、符号化情報、画像サイズ情報、ビットレート、フレームレートの少なくとも１つの情報を受け、前記受信部からの符号化データの符号化情報と、前記端末から通知された符号化情報を比較し、前記配信サーバから受信している符号化データを変換するか否か判断し、変換する場合、変換後の画像サイズ、ビットレート、フレームレート、符号化情報の少なくとも１つを含む変換要求を、前記トランスコーダに通知し、さらに、
前記端末から前記ネットワークの状況が通知されると、前記ネットワークの状況に対応した、変換後の画像サイズ、ビットレート、フレームレート、符号化情報の少なくとも１つを含む変換要求を、前記トランスコーダに通知する、ことを特徴とする請求項５記載の配信システム。
【請求項７】
前記トランスコーダは、
前記受信した符号化データを復号する復号部と、
前記情報交換部からの変換要求と、前記復号部からの符号化情報に基づき、前記前記符号化データにおける画面サイズ、ビットレート、フレームレートの少なくとも１つを変換するための変換情報を生成する変換制御部と、
前記復号部で復号された画像データのサイズを、前記変換制御部からの画面サイズの変換情報に従って変換するサイズ変換部と、
前記サイズ変換部から出力される画像データを入力し、前記変換制御部からの変換情報に基づき、符号化する符号化部と、
を含む、ことを特徴とする請求項６記載の配信システム。
【請求項８】
前記トランスコーダの前記変換制御部から前記符号化部へ通知される前記変換情報が、画像データサイズ、フレームタイプ、予測モードと方向、動きベクトル、参照フレーム情報、ブロックサイズ、ブロックタイプ、フレームレート、ビットレート、量子化情報、フィルタ処理情報の少なくとも１つを含む、ことを特徴とする請求項７に記載の配信システム。
【請求項９】
前記トランスコーダの前記符号化部が、前記サイズ変換部から出力される画像データを符号化するにあたり、
前記受信した符号化データの参照フレーム情報を再利用する、
前記受信した符号化データの動きベクトル、ブロックサイズの少なくとも１つを、変換前後の画像サイズ比に合わせて伸張又は短縮する、
の少なくとも１つを実行する、ことを特徴とする請求項７に記載の配信システム。
【請求項１０】
前記トランスコーダの前記変換制御部は、前記情報交換部からの変換要求における入力符号化方式と出力符号化方式が異なる場合、入力符号化データにおける、
予測モードと方向、
動きベクトル、
参照フレーム情報、
ブロックサイズ、
ブロックタイプ、
ピクチャタイプ、
量子化情報、
フレームレート、
フィルタ処理情報、
の少なくとも１つが出力符号化方式に合うように変換する、ことを特徴とする請求項１乃至９のいずれか１項に記載の配信システム。
【請求項１１】
前記トランスコーダの前記変換制御部は、変換前後の画像サイズ比に合わせて、前記受信した符号化データの予測モードと動きベクトルの少なくとも１つを分割又は合成して再利用する、ことを特徴とする請求項７乃至１０のいずれか１項に記載の配信システム。
【請求項１２】
前記トランスコーダの前記変換制御部は、入力符号化方式と出力符号化方式間で、
予測モードと方向を近似する、
動きベクトルを出力符号化方式に合わせる、
参照フレーム情報を出力符号化方式の最大・最小値に拡大・縮小し、出力符号化方式に関係の無い参照フレーム情報は、前記符号化部に送らないか、該当箇所は入力符号化データの情報を使わず、再符号化する、
ブロックサイズが異なる場合、予測モード・方向、動きベクトルを合成し、
ピクチャタイプが入力符号化方式に存在して出力符号化方式に存在しない場合、該当フレームを再符号化するか、ピクチャタイプを近似して前記符号化部へ送る、
量子化ステップを出力符号化方式に合わせる、
フィルタ処理情報が入力符号化方式に存在して出力符号化方式に存在しないときは、フィルタ処理しないか、出力符号化方式に関係ない情報が付加されているだけの場合、フィルタ処理情報を生成する、
の少なくとも１つを実行する、ことを特徴とする請求項１０に記載の配信システム。
【請求項１３】
前記トランスコーダの前記符号化部は、
再利用した予測モードと動きベクトルの少なくとも１つを起点として再予測する、
再利用した動きベクトルを起点として、再予測する場合に、動きベクトルの方向を利用する、
予測誤差が予め定めた閾値以上の場合に予測し直す、
の少なくとも１つを実行する、ことを特徴とする請求項１０に記載の配信システム。
【請求項１４】
前記トランスコーダの前記符号化部は、前記サイズ変換部でサイズが変更された画像データを符号化するにあたり、
前記受信した符号化データの量子化ステップサイズを再利用する、
前記受信した符号化データの符号量の分布を、再利用する、
前記受信した符号化データのピクチャタイプ、ブロックタイプを再利用する、
前記サイズ変換後の画像データ、又は符号化中の画像データにフィルタをかけるか否かを判断する、
の少なくとも１つを実行する、ことを特徴とする請求項１乃至１５のいずれか１項に記載の配信システム。
【請求項１５】
配信サーバからネットワークを介して端末に１つ以上のストリームを配信する配信方法であって、
変換装置が、前記端末が指定した動画像の符号化データを前記配信サーバから受け取り、前記端末から通知された前記端末の能力情報、機能情報、又は、前記ネットワークの状況に基づき、前記符号化データを変換し、前記変換した符号化データを前記端末に送信する、ことを特徴とする配信方法。
【請求項１６】
前記変換装置は、前記端末から通知された前記端末の能力情報、前記ネットワークの状況の少なくとも１方に適合するように、前記符号化データの情報を再利用して、前記符号化データを変換し、前記変換した符号化データを前記端末に送信する、ことを特徴とする請求項１５記載の配信方法。
【請求項１７】
前記端末が指定した動画像の符号化データを配信するにあたり、前記変換装置が、前記端末からの前記端末の能力情報、前記機能情報に基づき、前記符号化データを変換するか否か判断し、変換すると判断された符号化データを変換した上で前記端末に送信する、ことを特徴とする請求項１５又は１６記載の配信方法。
【請求項１８】
端末から指定された符号化データを変換装置へ送信する配信サーバからの符号化データを受信する受信部と、
前記端末から、前記端末の能力情報及び／又は機能情報を受け取る情報交換部と、
前記配信サーバから受信した前記符号化データを、前記端末から通知された能力情報及び／又はネットワークの状況に基づき、又は、前記端末から通知された機能情報を用いて、前記配信サーバから受信した前記符号化データの情報を再利用して符号化するトランスコーダと、
前記トランスコーダからの符号化データを前記端末へネットワークを介して送信する送信部と、
を備えている、変換装置。
【請求項１９】
前記トランスコーダは、
前記受信部で受信した符号化データを画像データに復号する復号部と、
前記情報交換部からの変換要求、又は、前記変換要求と前記復号部からの符号化パラメータを受け取り、サイズ変換部や符号化部における変換を制御する変換制御部と、
前記復号部から入力された画像データに対して、前記変換制御部の変換指示に基づいてサイズ変換を行うサイズ変換部と、
前記変換制御部からの変換指示に従って、前記サイズ変換部から出力された画像データを符号化する符号化部と、
を備え、
前記符号化部は、前記サイズ変換部でサイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、動きベクトル、ブロックサイズの少なくとも１つを再利用する、ことを特徴とする請求項１８記載の変換装置。
【請求項２０】
前記変換制御部は、前記情報交換部からの前記変換要求と、前記復号部からの符号化パラメータとを基に、前記サイズ変換部に対してサイズ変換要求を与え、前記符号化部に対して変換情報を与え、
前記サイズ変換部は、前記変換制御部からのサイズ変換要求情報にある倍率又は入出力画像サイズを用いて、前記復号部から受け取った画像データの画像サイズを変換し、変換後の画像データを前記符号化部へ与え、
前記符号化部は、
前記変換制御部から受け取った変換情報とフレームメモリからの画像データを用いて、フレーム間予測を行い予測データを生成してスイッチに送るフレーム間予測データ生成部と、
前記変換制御部から受け取った変換情報と前記サイズ変換部から受け取った画像データとを用いてフレーム内予測を行い、予測データを生成して前記スイッチに送るフレーム内予測データ生成部と、
を備え、
前記スイッチは、前記変換制御部からの指示に従って前記フレーム間予測データ生成部又は前記フレーム内予測データ生成部で生成した予測データを、離散コサイン変換器、ループ内フィルタ器、前記フレーム内予測データ生成部に送ることが出来るように切り替え、
前記変換制御部からの指示のビットレートを目標にして量子化ステップを決定する量子化器と、
前記変換制御部から受け取った変換情報を基にヘッダ情報を生成するヘッダ情報生成部と、
前記ヘッダ情報生成部からのヘッダ情報を基に前記量子化器の出力を可変長符号化する可変長符号器と、
を備えている、ことを特徴とする請求項１９記載の変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願についての記載）
本発明は、日本国特許出願：特願２００９−００２９９０号（２００９年１月８日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、画像変換技術に関し、特に、符号化された動画像圧縮符号化ビットストリームをネットワークや端末に適合するように再符号化する変換装置を有する配信システムと方法、該変換装置に関する。
【背景技術】
【０００２】
近年、動画像信号を低ビットレートで効率良く伝送するための動画像圧縮符号化方式として、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ）勧告Ｈ．２６１及びＨ．２６３や、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  ／Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ）で国際標準化されているＭＰＥＧ−４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ４）が知られている。また、ＩＴＵ−ＴとＩＳＯ／ＩＥＣで国際標準化されたＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）が前記動画像圧縮符号化方式よりも動画像信号を効率良く伝送できるとして注目を浴びている。【０００３】
動画像圧縮符号化方式は、現在フレームの画像データのみを用いて符号化するイントラ予測と、過去や未来のフレームの画像を参照して符号化するインター予測がある。【０００４】
イントラ予測では、入力画像フレームを符号化するときに、「マクロブロック」と呼ばれる単位毎にＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を行った後、ＤＣＴ係数を可変長符号化する。もしくは、マクロブロックやマクロブロックを更に細かく分割したブロック毎に、左や上といった近傍のブロックの画素を用いて予測を行う。そして、入力画像信号と予測信号との残差信号に対して、ＤＣＴやＤＩＴ（Ｄｉｓｃｒｅｔｅ  Ｉｎｔｅｇｅｒ  Ｔｒａｎｓｆｏｒｍ）を行った後、ＤＣＴ係数、またはＤＩＴ係数を可変長符号化する。【０００５】
インター予測では、入力画像フレームを符号化するときに、過去、または未来のフレームの復号画素との間で動き補償予測を行って予測残差信号を求め、これに対してＤＣＴまたはＤＩＴを行った後、動きベクトルやＤＣＴ係数等を可変長符号化する。【０００６】
また、近年、携帯電話やＰＣなど異なる種類の端末、もしくは同じ種類の端末でも機能の異なる端末を同じネットワーク上に存在させるための方式について議論されている。【０００７】
このようなネットワーク上で端末に動画像データを配信する場合、携帯電話やＰＣなど端末の種類、または端末の機能によって端末の能力に違いがあるため、各々の端末に合わせた動画像ストリームに変換する必要がある。【０００８】
動画像のデータ通信では、端末によって表示できる画像サイズ、ビットレート、フレームレートに制限があるため各々の端末に合わせた変換装置が必要となる。【０００９】
また、ネットワークの混雑度によっては、端末毎に割り当てられる帯域が広くなったり、狭くなったりするため、ネットワークの状況に応じて画像サイズ、ビットレート、フレームレートを変える必要がある。【００１０】
しかしながら、受信した動画像圧縮符号化ビットストリーム（符号化データ）の画面サイズ、ビットレート、フレームレートを変換するには、符号化データを復号し、画像サイズ、ビットレート、フレームレートを変換し、最後に前記変換した動画像信号を再符号化する必要がある。【００１１】
動画像の変換を行う関連技術として、例えば特許文献１には、ユーザ毎に、多様な画像圧縮フォーマット・画像サイズ・画像品質に圧縮された動画像等を配信するために、ユーザ端末から画像配信装置に対して配送される画像の画像圧縮フォーマットと画像サイズと画像品質を指定できるようにし、画像配信装置には、ユーザ端末からの指定により画像圧縮フォーマット・画像サイズ・画像品質の各画像パラメータを決定する手段、該決定した画像圧縮フォーマット・画像サイズ・画像品質でビットストリーム（圧縮画像データ）を生成する手段、該生成されたビットストリームをユーザ端末に配送する手段、前記決定した画像圧縮フォーマット・画像サイズ・画像品質に応じてユーザに課金する手段を備えた画像配信装置が開示されている。【００１２】
特許文献２には、動き補償予測及び直交変換が用いられて符号化されたデータの画像サイズ変換を、簡易に、且つ良好な画質が得られる符号化データ画像サイズ変換装置として、供給される画像符号化データより所定の画像サイズに変換されたマクロブロック画像データを画像データ変換器により得、マクロブロック画像データに係る変換動きベクトルを供給される画像符号化データの動きベクトルに所定の変換比率を乗じて動きベクトル変換器により得るに際し、その変換比率が１より小さいときは画像データの変換に必要な複数の変換動きベクトルの分散に応じて統合動きベクトルを求め、統合動きベクトルと求められたマクロブロック画像データを用いてサイズ変換のされた画像符号化データを得る構成が開示されている。【００１３】
特許文献３には、高画素表示画面を有する携帯端末装置等の表示装置に減色動画像のようにコマ送り表示される画像を高画質に表示できるようにする動画像配信装置として、リクエスト受信部において、携帯端末装置からの動画像の送信リクエストを受け付け、機種判別部が携帯端末装置の機種を判別し、動画像フォーマット変換部が機種の表示画面サイズ等に適合したフォーマットとなるように動画像データを変換し（画像のサイズ変換を行う）、携帯電話端末装置が動画像データを表示できないが複数のフレームを高画質にコマ送り表示させるマルチメディア画像を表示できる場合、動画像変換部が動画像データをマルチメディア画像データに変換し、この際、携帯端末装置のデータ容量等を考慮し、画像出力部が、マルチメディア画像データをリクエストを行った携帯端末装置に送信する構成が開示されている。後の説明からも明らかとされるように、特許文献１乃至３に記載された発明は、本発明とは全く相違している。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００２−８２８６１号公報
【特許文献２】特開２００２−３４４９７３号公報
【特許文献３】特開２００４−３５６９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
以下に本発明による分析を与える。【００１６】
画像サイズ、ビットレート、フレームレートを変換する際、最も問題となるのが再符号化時の演算量である。これは、様々な能力を持つ端末に対してストリームを配信する際に、ストリームを変換する必要がある場合、再予測を行うための演算が必要になるためである。【００１７】
また、様々な能力を持つ端末に対してストリームを配信する際に、ストリームを変換する必要がある場合、受信したストリームの情報をそのまま使うと、画質が劣化する。【００１８】
さらに、ネットワークの状況が変化する環境でストリームを配信する際に、ストリームを変換する必要がある場合、再予測を行うための演算が必要になる。ネットワークの状況が変化する環境でストリームを配信する際に、ストリームを変換する必要がある場合、前記受信したストリームの情報をそのまま使うと画質が劣化する。【００１９】
本発明の目的は、ストリームを配信する際に、ストリームを変換する必要がある場合、変換を高速化する配信システム、方法、変換装置を提供することにある。【００２０】
本発明は、ストリームを配信する際に、ストリームを変換する必要がある場合、前記受信したストリームの情報を使って画質の劣化を抑えた変換ができる配信システム、方法、変換装置を提供することもその目的としている。
【課題を解決するための手段】
【００２１】
本発明は、前記課題の少なくとも１つを解決するため、概略以下の構成とされる。【００２２】
本発明によれば、ネットワークを介して端末に１つ以上のストリームを配信する配信システムであって、前記端末が指定した動画像の符号化データを配信するにあたり、前記端末から通知された能力情報とネットワークの状況のうち、少なくとも１つに適合するように、前記符号化データの情報を再利用して、前記符号化データを変換し、前記変換した符号化データを前記端末に送信する変換装置を備える配信システムが提供される。【００２３】
本発明によれば、ネットワークを介して端末に１つ以上のストリームを配信する配信システムであって、前記端末が指定した動画像の符号化データを配信するにあたり、前記端末からの前記端末の機能情報に基づき前記符号化データを変換するか否か判断し、前記端末に前記ストリームを送信する変換装置を備える配信システムが提供される。【００２４】
本発明によれば、ネットワークを介して端末に１つ以上のストリームを配信する配信方法であって、前記端末が指定した動画像の符号化データを配信するにあたり、変換装置が、前記端末から通知された能力情報とネットワークの状況のうち、少なくとも１つに適合するように、前記符号化データの情報を再利用して、前記符号化データを変換し、前記変換した符号化データを前記端末に送信する配信方法が提供される。【００２５】
本発明によれば、前記端末が指定した動画像の符号化データを配信するにあたり、変換装置が、前記端末からの前記端末の機能情報に基づき、前記符号化データを変換するか否か判断し、前記端末に前記ストリームを送信する配信方法が提供される。【００２６】
本発明によれば、端末が指定した動画像の符号化データを配信するにあたり、前記端末から通知された能力情報とネットワークの状況のうち少なくとも１つに適合するように、前記動画像ストリームの情報を再利用して、前記動画像ストリームを変換し、変換した符号化データを前記端末に送信する処理を、変換装置を構成するコンピュータに実行させるプログラムが提供される。【００２７】
本発明によれば、ネットワークを介して端末が指定した動画像の符号化データを配信するにあたり、前記端末からの前記端末の機能情報に基づき、前記符号化データを変換するか否か判断し、前記端末に前記ストリームを送信する処理を、変換装置を構成するコンピュータに実行させるプログラムが提供される。【００２８】
本発明によれば、端末から指定された符号化データを変換装置へ送信する配信サーバからの符号化データを受信する受信部と、前記端末と能力情報又は機能情報を交換する能力情報交換部と、前記配信サーバから受信した前記符号化データを、前記端末から通知された能力情報又は機能情報、又はネットワークの状況に適合するように、前記配信サーバから受信した前記符号化データの情報を再利用して符号化する動画像トランスコーダと、前記動画像トランスコーダからの符号化データを前記端末へ送信する送信部と、を備えている、変換装置が提供される。
【発明の効果】
【００２９】
本発明によれば、ストリームを配信する際に、ストリームを変換する必要がある場合、変換を高速化する。また、本発明によれば、ストリームを配信する際に、ストリームを変換する必要がある場合、前記受信したストリームの情報を使って画質の劣化を抑制することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１、第４乃至第１３の実施形の動画像配信システムの構成を示す図である。
【図２】本発明の第１の実施例の動画像トランスコーダの構成を示す図である。
【図３】本発明の第１乃至第６の実施例の符号化部の構成を示す図である。
【図４】本発明の第２、第４乃至第１３の実施例の動画像配信システムの構成を示す図である。
【図５】本発明の第３、第４乃至第１３の実施例の動画像配信システムの構成を示す図である。
【図６】本発明の第４の実施例の動画像トランスコーダの構成を示す図である。
【図７】本発明の第５の実施例の動画像トランスコーダの構成を示す図である。
【図８】本発明の第６の実施例の動画像トランスコーダの構成を示す図である。
【図９】本発明の第６の実施例の符号化部の構成を示す図である。
【図１０】本発明の第７の実施例の動画像トランスコーダの構成を示す図である。
【図１１】本発明の第７の実施例の符号化部の構成を示す図である。
【図１２】本発明の第８の実施例の動画像トランスコーダの構成を示す図である。
【図１３】本発明の第８の実施例の符号化部の構成を示す図である。
【図１４】本発明の第９の実施例の動画像トランスコーダの構成を示す図である。
【図１５】本発明の第９の実施例の符号化部の構成を示す図である。
【図１６】本発明の第１０の実施例の動画像トランスコーダの構成を示す図である。
【図１７】本発明の第１０の実施例の符号化部の構成を示す図である。
【図１８】本発明の第１１の実施例の動画像トランスコーダの構成を示す図である。
【図１９】本発明の第１１の実施例の符号化部の構成を示す図である。
【図２０】本発明の第１２の実施例の動画像トランスコーダの構成を示す図である。
【図２１】本発明の第１３の実施例の動画像配信システムの構成を示す図である。
【図２２】本発明の第１３乃至１５の実施例の動画像トランスコーダの構成を示す図である。
【図２３】本発明の第１３乃至１５の実施例の符号化部の構成を示す図である。
【図２４】本発明の第１４の実施例の動画像配信システムの構成を示す図である。
【図２５】本発明の第１５の実施例の動画像配信システムの構成を示す図である。
【発明を実施するための形態】
【００３１】
本発明の実施の形態について説明する。本発明に係る配信システムは、ネットワークを介して端末に１つ以上のストリームを配信する。この配信システムは、端末から指定された動画像ストリームの符号化データ（動画像符号化データ）を配信するにあたり、配信サーバから受信した符号化データを、端末から通知された能力情報に適合するように、該受信した符号化データの情報を再利用して再符号化し、再符号化した符号化データを端末に配信する。
【００３２】
また、本発明に係る配信システムは、端末へ符号化データを配信しているときに、端末から通知されるネットワークの状況に適合するように、該符号化データの情報を再利用して、再符号化して端末に配信する。
【００３３】
より具体的には、本発明による、動画像の配信システムにおいては、その一態様において、端末（図１の１０３）から指定された符号化データを変換装置（図１の１０２）へ送信する配信サーバ（図１の１０１）と、端末（１０３）と能力情報を交換する能力情報交換部（図１の１０８）と、配信サーバ（１０１）から受信した符号化データを、端末（１０３）から通知された能力情報、もしくは、ネットワークの状況に適合するように、前記符号化データの情報を再利用して、符号化する動画像トランスコーダ（図１の１０９）と、を有し、端末（１０３）へ符号化データを送信する変換装置（図１の１０２）と、変換装置（１０２）と能力情報を交換し、指定した動画像データを受信する端末（１０３）とが設けられている。
【００３４】
配信サーバ（１０１）は、端末（１０３）に指定された符号化データを変換装置（１０２）へ送信する。
【００３５】
変換装置（１０２）は、端末（１０３）と能力情報を交換し、配信サーバ（１０１）から受信した符号化データを、端末（１０３）から通知された能力情報に適合するように、前記符号化データの情報を再利用して再符号化し、端末（１０３）へ送信する。
【００３６】
また、変換装置（１０２）は、端末（１０３）からネットワークの状況を通知されると、該ネットワークの状況に適合するように、配信サーバ（１０１）から受信した符号化データを、該符号化データの情報を再利用して再符号化し、端末（１０３）へ送信する。
【００３７】
あるいは変換装置（１０２）は、端末（１０３）から通知された端末の機能情報に基づき、符号化データを変換するか否か判断してストリームを端末に送信するようにしてもよい。本発明によれば、様々な能力を持つ端末に対してストリームを配信するときに、ストリームを変換する必要がある際、高速に変換できる。
【００３８】
本発明によれば、様々な能力を持つ端末に対してストリームを配信するときに、ストリームを変換する必要がある際、前記受信したストリームの情報を使って画質の劣化を抑えた変換ができる。
【００３９】
本発明によれば、ネットワークの状況が変化する環境でストリームを配信するときに、ストリームを変換する必要がある際、高速に変換できる。
【００４０】
本発明によれば、ネットワークの状況が変化する環境でストリームを配信するときに、ストリームを変換する必要がある際、前記受信したストリームの情報を使って画質の劣化を抑えた変換ができる。
【００４１】
本発明によれば、ネットワークの状況が変化する環境でストリームを配信するときに、ストリームを変換する必要がある際、端末の復号能力の上限のストリームに変換するとネットワークの負荷を抑えた変換ができる。
【００４２】
本発明によれば、ネットワークの状況が変化する環境でストリームを配信するときに、ストリームを変換する必要がある際、ネットワークの帯域が不足したときに、端末からの情報を使って画質が劣化を抑えた変換ができる。以下実施例に即して詳細に説明する。
【実施例１】
【００４３】
本発明の第１の実施例を説明する。図１は、本発明の第１の実施例の動画像配信システムの構成を示す図である。図１を参照すると、本実施例の動画像配信システムは、配信サーバ１０１と、変換装置１０２と、端末１０３と、配信サーバ１０１と変換装置１０２を接続する伝送路１０４、端末１０３と変換装置１０２を接続する伝送路１０５、配信サーバ１０１と端末１０３を接続する伝送路１０６を備えている。【００４４】
配信サーバ１０１は、伝送路１０６を介して端末１０３から符号化データ（動画像符号化データ）が指定されると、符号化データと、前記符号化データの符号化情報とを、伝送路１０４を介して、変換装置１０２へ配信する。【００４５】
変換装置１０２は、受信部１０７と、能力情報交換部１０８と、動画像トランスコーダ１０９と、送受信部１１０とを備えている。【００４６】
受信部１０７は、配信サーバ１０１から受信した符号化データの符号化情報を能力情報交換部１０８へ送信する。また、受信部１０７は、配信サーバ１０１から受信した符号化データを動画像トランスコーダ１０９へ送信する。【００４７】
能力情報交換部１０８は、端末１０３と能力情報を交換する。能力情報としては、例えば、
・符号化情報、
・画像サイズ情報、
・ビットレート、
・フレームレート
がある。【００４８】
符号化情報としては、例えば、
・ＤＣＩ（Ｄｅｃｏｄｅｒ  Ｃｏｎｆｉｇｒａｔｉｏｎ  Ｉｎｆｏｍａｔｉｏｎ）、
・ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、
・ＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、
・ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｍａｔｉｏｎ）、
などがある。【００４９】
能力情報交換部１０８は、受信部１０７から符号化データの符号化情報を通知されると、端末１０３から通知された符号化情報と比較を行い、配信サーバ１０１から受信している符号化データを変換するか否かを判断する。変換が必要と判断した場合、能力情報交換部１０８は、
・変換後の画面サイズ、
・ビットレート、
・フレームレート、
・符号化情報、
を動画像トランスコーダ１０９へ通知する。【００５０】
変換が不要な場合は、能力情報交換部１０８は、変換が不要であることを、動画像トランスコーダ１０９へ通知する。【００５１】
また、能力情報交換部１０８は、端末１０３からネットワークの状況を通知されると、ネットワークの状況に適合した符号化データに変換するように、変換後の画面サイズ、ビットレート、フレームレート、符号化情報を、動画像トランスコーダ１０９へ通知する。【００５２】
ネットワークの状況を通知する手段としては、
・Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ（ＳＤＰ）［ＲＦＣ（ＲＥｑｕｅｓｔ  Ｆｏｒ  Ｃｏｍｍｅｎｔｓ）２３２７］、
・Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ（ＲＴＳＰ）［ＲＦＣ２３２６］、
・ＲＴＰ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ（ＲＴＣＰ）［ＲＦＣ１８９０］、
・Ｔｈｅ  ＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃａｌ）  ＩＮＦＯ  Ｍｅｔｈｏｄ［ＲＦＣ２９７６］
などが用いられる。【００５３】
例えばネットワークの帯域にゆとり（余裕）が無い場合には、端末１０３から通知された能力情報に適合する範囲で、画像サイズの縮小、ビットレートやフレームレートを低減する。【００５４】
一方、ネットワークの帯域にゆとりがある場合は、端末１０３から通知された能力情報に適合する範囲で、画像サイズの拡大、ビットレートやフレームレートを増加させる。【００５５】
なお、画像サイズ、ビットレート、フレームレートを変更するときは、必要に応じて能力情報交換部１０８から、端末１０３へ、インバンドまたはアウトバンドで、符号化情報を通知する。【００５６】
通知方法としては、符号化中に、ＤＣＩ、ＳＰＳ、ＰＰＳ、ＳＥＩを入れて送るか、もしくは、ＳＤＰ、ＲＴＳＰ、ＲＴＣＰ、ＳＩＰ  ＩＮＦＯ  Ｍｅｔｈｏｄなどで送る。【００５７】
変換装置１０２の能力情報交換部１０８から端末１０３へ符号化情報を通知する必要がある場合としては、例えば、
・画像サイズを変換するとき、または、
・動画像圧縮符号化方式の各レベルを予め通知しており、かつ、画面サイズ、ビットレート、フレームレートが動画像圧縮符号化方式で規定されているレベルの上限を超えるとき、
などがある。【００５８】
図２は、図１の動画像トランスコーダ１０９の構成の一例を示す図である。図２を参照して、動画像トランスコーダ１０９について説明する。動画像トランスコーダ１０９は、変換制御部２０１、受信バッファ２０２、復号部２０３、サイズ変換部２０４、符号化部２０５、送信バッファ２０６を備えている。【００５９】
変換制御部２０１は、能力情報交換部１０８からの変換要求１１３と、復号部２０３からの符号化パラメータ２１２とを基に、サイズ変換部２０４にサイズ変換要求２０８を、符号化部２０５に変換情報２０９を与える。【００６０】
変換要求１１３としては、
・符号化情報、
・倍率、
・変換後の画像サイズ、
・ビットレート
・フレームレート
などがある。【００６１】
変換制御部２０１は、能力情報交換部１０８から符号化情報を受け取ると、符号化情報を、復号部２０３へ送ることができる。【００６２】
変換制御部２０１からサイズ変換部２０４への指示２０８について具体的に説明する。変換制御部２０１は能力情報交換部１０８からの変換要求１１３を受信すると、サイズ変換部２０４に入力画像データのサイズ変換要求２０８を出す。能力情報交換部１０８からの変換要求１１３が倍率の場合、前記変換要求をそのままサイズ変換部２０４へ送信する。能力情報交換部１０８から変換後の画像サイズが入力される場合、変換制御部２０１は復号部２０３から受け取った符号化パラメータ２１２、もしくは能力情報交換部１０８から受け取った符号化情報からサイズ変換前の画像サイズを得て、サイズ変換部２０４へ倍率、もしくは入出力の画像サイズの情報を送る。サイズ変換後の画像サイズが変換前と同じ場合は変換しないようにサイズ変換部２０４に指示する。【００６３】
また、変換制御部２０１は、能力情報交換部１０８からの変換要求１１３に含まれるフレームレートの情報を受け取って、サイズ変換部２０４へ指示を出す。フレームレートの情報としては、
・入力符号化データ、
・出力符号化データ各々のフレームレート情報や、
・入力符号化データのフレームを間引く枚数やタイミングの情報
などがある。【００６４】
変換制御部２０１は、フレームレートの情報を基にして、フレームを間引く様に、サイズ変換部２０４へ通知する。【００６５】
次に、変換制御部２０１から符号化部２０５への指示について具体的に説明する。【００６６】
変換制御部２０１は能力情報交換部１０８からの変換要求１１３と復号部２０３からの符号化パラメータ２１２を使って、符号化部２０５へ送る情報２０９を生成する。【００６７】
情報２０９としては、
・画像データサイズ、
・フレームタイプ、
・予測モードと方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・フレームタイプ、
・ビットレート、
・フレームレート
等がある。【００６８】
フレーム間予測の場合、情報２０９のうち、
・フレームタイプ、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ
を使用する。【００６９】
フレーム内予測の場合、情報２０９のうち、
・フレームタイプ、
・予測モードと方向、
・ブロックサイズ、
・ブロックタイプ
を使用する。【００７０】
変換要求１１３と符号化パラメータ２１２を使って情報２０９を作る手順を以下に説明する。【００７１】
簡単のため２倍、１／２倍を例にとって説明するが、これは、本発明の説明のために提示した一例であり、本発明を限定するものでないことは勿論である。本発明の原理からも明らかなように、他の倍率、動きベクトル、予測モード・方向、ブロックサイズにも適用可能であることは勿論である。【００７２】
＜例１＞  画像サイズを２倍に変換する場合：
入力された符号化データの８ｘ８ブロックＡの動きベクトルが右に５、上に４である場合、サイズ変換後のブロックＡを符号化するために、サイズが１６ｘ１６で、右に１０、上に８の動きベクトルを符号化部２０５へ送る。このとき、参照フレーム情報は、入力符号化データと同じ値を使う。【００７３】
＜例２＞  画像サイズを１／２倍に変換する場合：
入力された符号化データの８ｘ８ブロックＢのフレーム内予測モードが左方向である場合、サイズ変換後のブロックＢを符号化するために、サイズが４ｘ４で、フレーム内予測モードが左方向という情報を符号化部２０５へ送る。【００７４】
次に、フレームレートを変更する場合について記載する。【００７５】
変換制御部２０１でフレームレートを落とすか判断し、符号化部２０５に対してフレーム毎に符号化の有無を通知する。【００７６】
フレームレートを落とす場合の動きベクトル、参照フレーム情報の生成方法について、画面サイズを２倍にした上で、１フレームおきにフレームを間引く場合を例にして説明する。ただし、本発明の原理からも明らかなように、その他のサイズ、フレームレートでも実施可能である。【００７７】
＜例１＞
参照フレームについては、当該フレームが間引くフレームを参照している場合、その過去、もしくは未来の出力フレームを参照する。また、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。当該フレームが出力するフレームを参照している場合、そのままのフレームを参照する。この場合も、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。【００７８】
次に、動きベクトルについて、画面サイズが倍になるので、入力符号化データの動きベクトルを２倍にする。当該フレームが出力するフレームを参照している場合は、動きベクトルのサイズは画面サイズ比のままにする。【００７９】
当該フレームが間引くフレームを参照している場合、それよりも過去、もしくは未来の出力フレームを参照し、例えば、間引くフレームが当該フレームの１フレーム前の場合で、２フレーム前を参照する場合は、動きベクトルを画面サイズ比から更に２倍する。【００８０】
例えば、間引くフレームが当該フレームの３フレーム前の場合で、２フレーム前を参照する場合は、動きベクトルを画面サイズ比から更に０．６６倍する。【００８１】
＜例２＞  
参照フレームについては、当該フレームが間引くフレームを参照している場合、間引くフレームが参照している出力フレームを参照する。また、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。当該フレームが出力するフレームを参照している場合、そのままのフレームを参照する。この場合も、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。【００８２】
次に、動きベクトルについて、画面サイズが倍になるので、入力符号化データの動きベクトルを２倍にする。当該フレームが出力するフレームを参照している場合は、動きベクトルのサイズは画面サイズ比のままにする。当該フレームが間引くフレームを参照している場合、それよりも過去、もしくは未来の出力フレームを参照し、当該フレームの入力符号化データ内の動きベクトルと間引くフレームの動きベクトルを足し合わせる。【００８３】
受信バッファ２０２は、図１の受信部１０７から送信された入力符号化データ１１２を受信して復号部２０３に送信する。【００８４】
復号部２０３は、変換制御部２０１から符号化情報２１６が通知された場合には、符号化情報２１６を用いて、受信バッファ２０２から受け取った入力符号化データ２１１から、画像データ２１３を復号する。復号部２０３は、復号した画像データをサイズ変換部２０４に送る。【００８５】
復号部２０３は、変換制御部２０１から符号化情報２１６が通知されない場合には、入力符号化データ２１１に含まれる符号化情報を用いて、入力符号化データ２１１から画像データを復号する。【００８６】
また、復号部２０３は、復号したときに得た入力符号化データの符号化パラメータ２１２を、変換制御部２０１に通知する。【００８７】
サイズ変換部２０４は、変換制御部２０１からの情報２０８に含まれる、倍率、もしくは入出力画像サイズを用いて、復号部２０３から受け取った画像データ２１３の画像サイズを変換する。サイズ変換部２０４は、変換後の画像データ２１４を、符号化部２０５へ送る。【００８８】
また、サイズ変換部２０４は、変換制御部２０１からフレームを間引くように要求されると、復号部２０３から入力された画像データ２１３をサイズ変換せずに廃棄する。この場合、サイズ変換部２０４で廃棄された画像データは、符号化部２０５へは送られない。【００８９】
符号化部２０５は、サイズ変換部２０４から受け取った画像データ２１４に対して、変換制御部２０１からの情報を使いながら符号化する。符号化部２０５は、符号化したデータ２１５を送信バッファ２０６へ送る。【００９０】
フレームレートを落とす場合、変換制御部２０１からの情報で、符号化を行わないように指示されると、符号化部２０５は、該当フレームの符号化を行わない。【００９１】
図３は、図２の符号化部２０５の構成例を示す図である。図３を参照して、符号化部２０５について説明を行う。本実施例では、Ｈ．２６４を例にとって説明するが、これは本発明の説明のために提示したものであり、本発明を限定するものでないことは勿論である。本発明の動画像変換方式の原理からも明らかなように、Ｈ．２６３、ＭＰＥＧ−４，  Ｈ．２６４  ＳＶＣ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｅｃ）、Ｈ．２６４  ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｅｃ）、その他の動画像圧縮符号化方式にも適用可能である。【００９２】
符号化部２０５は、フレーム間予測データ生成部３０１、フレーム内予測データ生成部３０２、スイッチ３０３、フレームメモリ３０４、ＤＣＴ器３０５、量子化器３０６、逆量子化器３０７、逆ＤＣＴ器３０８、ループ内フィルタ器３０９、可変長符号器３１０、ヘッダ情報生成部３１１を備えている。【００９３】
フレーム間予測データ生成部３０１は、変換制御部２０１から受け取った情報２０９とフレームメモリ３０４からの画像データ３１３を使ってフレーム間予測を行い、予測データを生成してスイッチ３０３に送る。【００９４】
フレーム間予測データ生成部３０１で用いる変換情報２０９としては、
・動きベクトル、
・参照フレーム情報や、
・ブロックサイズ、ブロックタイプ
などがある。【００９５】
フレーム内予測データ生成部３０２は、変換制御部２０１から受け取った情報２０９とサイズ変換部２０４から受け取った画像データ２１４を使ってフレーム内予測を行い、予測データを生成してスイッチ３０３に送る。【００９６】
フレーム内予測データ生成部３０２で用いる変換情報２０９としては、
・予測モードと方向や、
・ブロックサイズ、ブロックタイプ
などがある。【００９７】
スイッチ３０３は、変換制御部２０１からの変換情報２０９に従って、フレーム間予測データ生成部３０１もしくはフレーム内予測データ生成部３０２で生成した予測データを、ＤＣＴ器３０５、ループ内フィルタ器３０９やフレーム内予測データ生成部３０２に送ることが出来るように切り替える。【００９８】
量子化器３０６は、変換制御部２０１から指示される情報２０９に含まれるビットレートを目標にして、量子化ステップを決定する。なお、量子化ステップを決定する方法は、通常の符号化器と同じ動作のため、説明を省略する。【００９９】
ヘッダ情報生成部３１１は、変換制御部２０１から受け取った情報２０９を基にヘッダ情報３１２を生成して可変長符号器３１０へ出力する。ヘッダ情報生成部３１１で用いる情報２０９としては、フレームタイプ、画像サイズ、動きベクトル、ブロックサイズ、ブロックタイプ、予測モード・方向、参照フレーム情報、フレームレートなどがある。【０１００】
図３において、その他の構成については、通常の符号化器と同じ構成、動作であるため説明を省略する。【０１０１】
図２を参照して、送信バッファ２０６は、符号化部２０５から画像ストリーム２１５を受けとり、画像ストリーム１１５を図１の送受信部１１０に出力する。【０１０２】
図１において、送受信部１１０は、端末１０３から通知された能力情報や、ネットワークの状況を、能力情報交換部１０８へ通知するとともに、前記能力情報交換部１０８が通知する能力情報を端末へ通知する。また、送受信部１１０は、動画像トランスコーダから受信した符号化データ１１５を端末へ送信する。【０１０３】
端末１０３は、所望の動画像ストリームを選択し、配信サーバ１０１へ要求する。また、端末１０３は、変換装置１０２と能力情報を交換する。そして、変換装置１０２から前記所望の動画像ストリームを受信する。また、端末１０３は、自身もしくは、変換装置１０２からの要求によりネットワークの状況を変換装置１０２へ通知する。【０１０４】
ネットワークの状況を通知する手段としては、
・Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ（ＳＤＰ）［ＲＦＣ２３２７］、  
・Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ（ＲＴＳＰ）［ＲＦＣ２３２６］、  
・ＲＴＰ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ（ＲＴＣＰ）［ＲＦＣ１８９０］、  
・Ｔｈｅ  ＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃａｌ）  ＩＮＦＯ  Ｍｅｔｈｏｄ［ＲＦＣ２９７６］
などがある。【０１０５】
伝送路１０４、１０５、１０６は、回線交換網、パケット交換網の少なくとも１つである。【０１０６】
本実施例によれば、端末に符号化データを配信する場合に、配信サーバの符号化データを、端末の能力情報やネットワークの状況に応じて変換するときに、該変換を高速化することができる。【０１０７】
図２の動画像トランスコーダ１０９の変換制御部２０１、復号部２０３、サイズ変換部２０４、符号化部２０５の各部の処理を、動画像トランスコーダ１０９を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。同様にして、図１の変換装置１０２における受信部１０７、能力情報交換部１０８、動画像トランスコーダ１０９、送受信部１１０の各処理は、変換装置１０２を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
【実施例２】
【０１０８】
次に本発明の第２の実施例について説明する。図４は、本発明の第２の実施例における動画像配信システムの構成を示す図である。図４において、図１と同一の要素には、同一の参照符号が付されている。図４を参照すると、動画像配信システムは、配信サーバ１０１、変換装置４０１、端末４０２、伝送路１０４、１０５、１０６を備えている。【０１０９】
変換装置４０１は、受信部１０７と能力情報交換部４０３と動画像トランスコーダ１０９と送受信部１１０を備えている。【０１１０】
能力情報交換部４０３は、端末４０２と能力情報や機能情報を交換する。また、能力情報交換部４０３は、端末４０２からネットワークの状況を通知してもらう。なお、図４では、能力情報と機能情報とネットワークの情報を合わせて情報４０４で表している。【０１１１】
能力情報としては、例えば、
・符号化情報、
・画像データ、
・ビットレート、
・フレームレート
がある。【０１１２】
符号化情報としては、例えば、
・ＤＣＩ（Ｄｅｃｏｄｅｒ  Ｃｏｎｆｉｇｒａｔｉｏｎ  Ｉｎｆｏｍａｔｉｏｎ）、
・ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、
・ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｍａｔｉｏｎ）
などがある。【０１１３】
機能情報としては、例えば、
・画面サイズを変換する機能
・フレームを補間する機能、
・ストリームの帯域を拡張する機能
などである。【０１１４】
画面サイズを変換する機能では、対応可能な画像サイズや拡大・縮小比、
フレームを補間する機能では、対応可能なフレーム補間量、
ストリームの帯域を拡張する機能では、拡張方法や拡張するためのテーブル情報、
等がある。【０１１５】
端末４０２が画像サイズを変換する機能を有している場合、画像サイズも縮小するように、動画像トランスコーダ１０９へ指示を出す。端末４０２では、縮小されたストリームを自身で拡大して表示する。【０１１６】
また、端末４０２がフレームを補間する機能を有している場合、動画像トランスコーダ１０９では、符号化データ１１２をフレーム単位で間引く。端末４０２では、間引かれた符号化データ１１５からフレーム補間機能を使ってストリームを表示する。【０１１７】
また、端末４０２がストリームの帯域を拡張する機能を有している場合、動画像トランスコーダ１０９では、量子化ステップを大きくして符号化データ１１５のビットレートを下げる。端末４０２では、受信した符号化データ１１５の帯域を拡張してストリームを表示する。【０１１８】
本実施例において、上記を組み合わせて変換することも可能である。【０１１９】
端末が機能を変換装置４０１に通知する手段としては、
・Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ（ＳＤＰ）［ＲＦＣ２３２７］，  
・Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ（ＲＴＳＰ）［ＲＦＣ２３２６］，  
・ＲＴＰ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ（ＲＴＣＰ）［ＲＦＣ１８９０］，  
・Ｔｈｅ  ＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃａｌ）  ＩＮＦＯ  Ｍｅｔｈｏｄ［ＲＦＣ２９７６］
などがある。【０１２０】
また、変換装置４０１は、サイズ、フレームレート、ビットレートを変換する場合、
・Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ（ＳＤＰ）［ＲＦＣ２３２７］，  
・Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ（ＲＴＳＰ）［ＲＦＣ２３２６］，  
・ＲＴＰ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ（ＲＴＣＰ）［ＲＦＣ１８９０］，  
・Ｔｈｅ  ＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃａｌ）  ＩＮＦＯ  Ｍｅｔｈｏｄ［ＲＦＣ２９７６］
などを使って、通知しても良い。【０１２１】
端末４０２は、自ら、もしくは変換装置４０１からの要求により、端末自身の機能情報を通知する。機能情報としては、例えば、画面サイズを変換する機能やフレームを補間する機能、ストリームの帯域を拡張する機能などである。上記以外の構成、及び動作は、前記実施例１と同じため、説明を省略する。【０１２２】
本実施例によれば、端末に符号化データを配信する場合に、配信サーバ１０１の符号化データを端末の能力情報やネットワークの状況に応じて、高速に変換でき、機能情報を使うことで、前記実施例１に比べて、画質の劣化を抑えることが可能である。なお、本実施例においても変換装置４０１の各部の機能を変換装置４０１のコンピュータ上で動作するプログラムで実現してもよいことは勿論である。
【実施例３】
【０１２３】
次に本発明の第３の実施例について、図２、図３、図５を参照して詳細に説明する。図５は、本発明の第３の実施例の動画像配信システムの構成を示す図である。図５において、図１と同一の要素には、同一の参照符号が付されている。図５を参照すると、動画像配信システムは、配信サーバ１０１、変換装置５０１、端末５０２、伝送路１０４、１０５、１０６を備えている。【０１２４】
変換装置５０１は、受信部１０７と、能力情報交換部５０３と、動画像トランスコーダ１０９と、送受信部１１０を備えている。【０１２５】
能力情報交換部５０３は、端末５０２と、能力情報や機能情報、加入者情報を交換する。また、能力情報交換部５０３は、端末５０２からネットワークの状況を通知してもらう。図５では、能力情報と機能情報と加入者情報とネットワークの情報を合わせて情報５０４で表している。【０１２６】
加入者情報としては、例えば、
・フェムトセル・小型基地局などを含む専用回線を経由した通信か否か、
・定額利用か否か、
・契約している事業者情報、
などが含まれる。【０１２７】
加入者情報は、
・Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ（ＳＤＰ）［ＲＦＣ２３２７］，  
・Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ（ＲＴＳＰ）［ＲＦＣ２３２６］，  
・ＲＴＰ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ（ＲＴＣＰ）［ＲＦＣ１８９０］，  
・Ｔｈｅ  ＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃａｌ）  ＩＮＦＯ  Ｍｅｔｈｏｄ［ＲＦＣ２９７６］
などを使って、通知しても良い。【０１２８】
変換装置５０１の能力情報交換部５０３は、能力情報と機能情報と加入者情報、もしくは能力情報とネットワークの状況と機能情報を基に、入力符号化データを変換する。【０１２９】
例えば、端末５０２が専用回線を利用せずに、符号化データを受信する場合、端末５０２が持つ機能情報を基に、変換装置５０１は、能力情報の範囲内でビットレートを抑える。【０１３０】
端末５０２が画像サイズを変換する機能を有している場合、変換装置５０１内で画像サイズを縮小する。【０１３１】
端末５０２がフレームを補間する機能を有している場合、変換装置５０１内でフレームを間引く。【０１３２】
端末５０２がストリームの帯域を拡張する機能を有している場合、変換装置５０１内でビットレートを抑える。【０１３３】
例えば、端末５０２が専用回線を利用して符号化データを受信する場合、
変換しない、もしくは、
変換装置５０１内で能力情報の範囲内で、
・画像サイズの拡大、
・フレームレートの補間、
・ストリームの帯域の拡張
の少なくとも１つを行って、端末５０２へ符号化データを配信する。【０１３４】
また、端末５０２が定額制を利用して符号化データを受信する場合、変換装置５０１は、端末５０２が持つ機能情報を基に、能力情報の範囲内でビットレートを抑える。【０１３５】
端末５０２が画像サイズを変換する機能を有している場合、変換装置５０１内で画像サイズを縮小する。【０１３６】
端末５０２がフレームを補間する機能を有している場合、変換装置５０１内でフレームを間引く。【０１３７】
端末５０２がストリームの帯域を拡張する機能を有している場合、変換装置５０１内でビットレートを抑える。【０１３８】
例えば、端末５０２が専用回線を利用してに符号化データを受信する場合、
変換しない、もしくは、
変換装置５０１内で、
・画像サイズの拡大、
・フレームレートの補間、
・ストリームの帯域の拡張
の少なくとも１つを行って、端末５０２へ符号化データを配信しても良い。【０１３９】
また、事業者情報を基に、事業者と契約しているサービス・帯域と機能情報を組み合わせて、上記と同じ変換を行う。【０１４０】
端末５０２は、自ら、もしくは、変換装置５０１からの要求により、端末自身の機能情報や、加入者情報を変換装置５０１に通知する。上記以外の構成、及び動作は、前記実施例１乃至２と同じであるため、説明を省略する。【０１４１】
本実施例によれば、端末に符号化データを配信する場合に、配信サーバの符号化データを端末の能力情報やネットワークの状況に応じて高速に変換できるとともに、前記実施例１、２に比べて、加入者に対する帯域の割り当ての制御が可能になる。なお、本実施例においても、変換装置５０１の各部の機能を変換装置４０１のコンピュータ上で動作するプログラムで実現してもよいことは勿論である。
【実施例４】
【０１４２】
次に本発明の第４の実施例について、図１、図３、図６を参照して詳細に説明する。図６は、本発明の第４の実施例における動画像トランスコーダ６００の構成を示す図である。図６において、図２と同一又は同等の要素には同一の参照符号が付されている。動画像トランスコーダ６００は、図１、図４、図５の動画像トランスコーダ１０９の位置に配置される。【０１４３】
図６を参照すると、変換制御部６０１は、能力情報交換部１０８（４０３、５０３）（図１、図４、図５参照）からの変換要求１１３を基に、サイズ変換部２０４にサイズ変換要求２０８を、符号化部２０５に変換情報２０９を出す。【０１４４】
変換要求１１３と符号化パラメータ２１２を使って変換情報２０９を作る手順を以下に説明する。簡単のため、４倍を例にしたが、下記以外の倍率でも実現可能であることは勿論である。【０１４５】
＜例１＞  画像サイズを４倍に変換する場合：
入力された符号化データの４ｘ４ブロックＢのフレーム内予測モードが左上方向（角度が３０度）である場合、サイズ変換後のブロックＢを符号化するためにサイズを１６ｘ１６にする。このとき、１６ｘ１６ブロックのフレーム内予測モードに左上方向（角度が３０度）がなかった場合、存在する予測方向に近似する。例えば、左、右、上、下の４方向しか無かった場合は、左方向という情報を符号化部２０５へ送る。【０１４６】
上記以外の構成、及び動作は、前記実施例１乃至３と同じであるため、説明を省略する。【０１４７】
本実施例によれば、端末に符号化データを配信する場合に、配信サーバの符号化データを端末の能力情報やネットワークの状況に応じて、高速に変換できる。また、本実施例によれば、サイズ変換の柔軟度を上げることが可能となる。なお、本実施例において、動画像トランスコーダ６００の各部の機能を動画像トランスコーダ６００のコンピュータ上で動作するプログラムで実現してもよいことは勿論である。
【実施例５】
【０１４８】
次に本発明の第５の実施例について、図１、図３、図７を参照して詳細に説明する。図７は、本発明の第５の実施例における動画像トランスコーダ７００の構成を示す図である。図７において、図２と同一又は同等の要素には同一の参照符号が付されている。動画像トランスコーダ７００は、図１、図４、図５の動画像トランスコーダ１０９の位置に配置される。【０１４９】
図７を参照すると、変換制御部７０１は、能力情報交換部１０８からの変換要求１１３と、復号部２０３からの符号化パラメータ２１２を基に、サイズ変換部２０４に対してサイズ変換要求２０８を、符号化部２０５に対して変換情報２０９を出す。【０１５０】
変換要求１１３と符号化パラメータ２１２を使って変換情報２０９を作る手順を以下に説明する。簡単のため、２倍、１／２倍を例にとって説明するが、これは本発明の説明のために提示した一例であり、本発明を限定するものでないことは勿論である。本発明の原理からも明らかなように、他の倍率、動きベクトル、予測モードと方向、ブロックサイズにも適用可能である。【０１５１】
＜例１＞  画像サイズを２倍に変換する場合：
入力された符号化データの１６ｘ１６ブロックＡの動きベクトルが右に５、上に４である場合、サイズ変換後のブロックＡは３２ｘ３２になる。このとき、符号化するブロックの最大の単位が１６ｘ１６だとすると、符号化するためにはサイズ変換後の３２ｘ３２のブロックＡを４分割する必要がある。このとき、分割した４つの１６ｘ１６ブロック各々に対して、右に１０、上に８の動きベクトルを符号化部２０５へ送る。このとき、参照フレーム情報は、入力符号化データと同じ値を使う。【０１５２】
＜例２＞  画像サイズを１／２倍に変換する場合：
入力された符号化データの４ｘ４ブロックＢのフレーム内予測モードが左方向である場合、サイズ変換後のブロックＢは２ｘ２になる。このとき、符号化するブロックの最小単位が４ｘ４だとすると、符号化するためにサイズ変換後の２ｘ２のブロックＢの周りの２ｘ２ブロックと合成して４ｘ４ブロックにする必要がある。このとき、２ｘ２ブロック各々の予測モード方向を合成して、１つの予測モードを決定する。【０１５３】
合成する方法としては、４つのうち最も多いモード・方向を、符号化部２０５へ送る。もし、４つの２ｘ２ブロックが左２つ、上２つで、４５°方向のモードがあれば、左上４５°方向のモードを選択する。また、４つの２ｘ２ブロックが左、右、上、下の場合は平均値モードを使う。【０１５４】
上記以外の構成、及び動作は、前記実施例１乃至３と同じであるため、説明を省略する。本実施例によれば、端末に符号化データを配信する場合に、配信サーバの符号化データを端末の能力情報やネットワークの状況に応じて高速に変換でき、かつ実施例３よりもサイズ変換の柔軟度を上げることが出来る。なお、本実施例において、動画像トランスコーダ７００の各部の機能を動画像トランスコーダ７００のコンピュータ上で動作するプログラムで実現してもよいことは勿論である。
【実施例６】
【０１５５】
次に本発明の第６の実施例について、図１、図８、図９を参照して詳細に説明する。図８は、本発明の第６の実施例における動画像トランスコーダ８００の構成を示す図である。図８において、図２と同一又は同等の要素には同一の参照符号が付されている。動画像トランスコーダ８００は、図１、図４、図５の動画像トランスコーダ１０９の位置に配置される。【０１５６】
図８を参照すると、変換制御部８０１は、能力情報交換部１０８からの変換要求１１３と、復号部２０３からの符号化パラメータ２１２を基に、サイズ変換部２０４にサイズ変換要求２０８を、符号化部８０２に変換情報８０３を出す。【０１５７】
変換制御部８０１は符号化部８０２に対して、
・画像データサイズ、
・フレームタイプ、
・予測モードと方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・ビットレート、
・フレームレート
を送る。【０１５８】
図９は、本発明の第６の実施例における符号化部８０２の構成を示す図である。図９において、図３と同一又は同等の要素には同一の参照番号が付されている。図９を参照して、符号化部８０２について説明する。【０１５９】
フレーム間予測符号化部９０１は、変換制御部８０１から受け取った変換情報８０３を使って、フレーム間予測符号を行う。【０１６０】
より具体的には、フレーム間予測符号化部９０１は、情報８０３として、
・参照フレーム情報、
・動きベクトル、
・フレームの探索範囲、及び
・動きベクトルの探索範囲
を受け取る。【０１６１】
フレーム間予測符号化部９０１は、フレームメモリ９０４から１枚分の画像データを受け取ると、該１枚分の画像データに対して、前記動きベクトルを起点に、動きベクトルの探索範囲分だけ、フレーム間予測を行う。【０１６２】
フレーム間予測符号化部９０１において、探索範囲としては、例えば前記動きベクトルを起点にして、上下左右一律にある一定位置離れた地点までを探索する。または、前記動きベクトルの方向を利用し、前記動きベクトルを起点として、前記動きベクトルの方向に絞り込んで、一定位置離れた地点を探索する。フレームの探索範囲が２枚以上であれば、フレーム番号を起点に、フレームの探索範囲分、動きベクトルの探索を行い、最も良い動きベクトル、フレーム番号を決定して、動きベクトル、参照フレーム情報９０３として可変長符号器３１０に送る。【０１６３】
フレーム内予測符号化部９０２は、変換制御部８０１から受け取った変換情報８０３を使って、フレーム内予測符号を行う。より具体的には、フレーム内予測符号化部９０２は、変換情報８０３として、
・予測モードと
・探索範囲
を受け取る。【０１６４】
フレーム内予測符号化部９０２は、予測するブロック、及びその近傍の画像データを受け取ると、予測モードを起点に、探索範囲分の予測モードから最も良い予測モードを決定し、予測モード９０４として可変長符号器３１０に送る。【０１６５】
変換情報８０３で受け取った予測モードを起点にして探索する方法について、以下に例を示す。【０１６６】
予測方向が４５°毎に存在し、情報８０３から受け取った予測モードが、
・左方向、
・探索範囲が２
の場合、左方向のフレーム内予測に加えて、左上４５°と左下４５°のフレーム内予測を行い、最も良い予測モードを決定する。【０１６７】
上記以外の構成、及び動作は、前記実施例１乃至４と同じであるため、説明を省略する。本実施例によれば、端末に符号化データを配信する場合に、配信サーバの符号化データを端末の能力情報やネットワークの状況に応じて、高速に変換できる。また、本実施例によれば、前記実施例１乃至４よりも画質をあげることができる。なお、本実施例において、動画像トランスコーダ８００の各部の機能を動画像トランスコーダ８００のコンピュータ上で動作するプログラムで実現してもよいことは勿論である。
【実施例７】
【０１６８】
次に本発明の第７の実施例について、図１、図１０、図１１を参照して詳細に説明する。図１０は、本発明の第７の実施例における動画像トランスコーダ１０００の構成を示す図である。図１０において、図２と同一又は同等の要素には同一の参照番号が付されている。動画像トランスコーダ１０００は、図１、図４、図５の動画像トランスコーダ１０９の位置に配置される。【０１６９】
図１０を参照すると、変換制御部１００１は、能力情報交換部１０８（４０３、５０３）（図１、図４、図５参照）からの変換要求１１３と、復号部２０３からの符号化パラメータ２１２を基に、サイズ変換部２０４にサイズ変換要求２０８を、符号化部１００２に指示を出す。【０１７０】
変換制御部１００１は、符号化部１００２に対して、
・画像データサイズ、
・フレームタイプ、予測モード・方向、動きベクトル、参照フレーム情報、ブロックサイズ、ブロックタイプ、フレームレート、入力符号化データの符号量分布、ビットレート、予測モードや動きベクトルを使用するか判断するための閾値（情報１００３）を送る。【０１７１】
閾値は、例えば、
（予測するブロックのサイズ）ｘ（画像データの振幅の平均値もしくはその２乗）、または、
ビットレートや入力符号化データの符号量分布から算出する各ブロックにおける目標符号量
などがある。【０１７２】
図１１は、本発明の第７の実施例における符号化部１００２の構成を示す図である。図１１において、図３と同一又は同等の要素には同一の参照番号が付されている。符号化部１００２について、図１０を参照して説明する。【０１７３】
フレーム間予測データ生成部１１０１は、変換制御部１００１から受け取った変換情報１００３に含まれる、動きベクトル、フレーム番号を使って、フレーム間予測データを生成する。そして、前記フレーム間予測データとフレームメモリ３０４の画像データの差と、閾値を比較する。【０１７４】
閾値よりも予測残差が小さい場合、フレーム間予測符号化部１１０２は、変換情報１００３で受け取った動きベクトル、フレーム番号を採用する。【０１７５】
閾値よりも予測残差が大きい場合、フレーム間予測符号化部１１０２でフレーム間予測を行って動きベクトル、フレーム番号を決定して、動きベクトル、参照フレーム情報１１０６を可変長符号器３１０へ送る。このとき、フレーム間予測符号化部１１０２は、変換情報１００３で受け取った動きベクトル、フレーム番号を起点にしても良い。【０１７６】
また、フレーム間予測符号化部１１０２の代わりにフレーム内予測符号化部１１０３を用いても良い。【０１７７】
フレーム内予測データ生成部１１０４は、情報１００３で受け取った予測モードを使用してフレーム内予測データを生成する。そして、フレーム内予測データ生成部１１０４は、フレーム内予測データと当該ブロック近傍の画像データの差と、閾値を比較する。【０１７８】
閾値よりも予測残差が小さい場合、フレーム内予測データ生成部１１０４は、変換情報１００３で受け取った予測モードを採用する。【０１７９】
閾値よりも予測残差が大きい場合、フレーム内予測符号化部１１０３でフレーム内予測を行って予測モード（１１０７）を決定し、可変長符号器３１０へ送る。このとき、変換情報１００３で受け取った予測モードを起点にしても良い。また、フレーム内予測符号化部１１０３の代わりに、フレーム間予測符号化部１１０２を用いても良い。【０１８０】
上記以外の構成、及び動作は、前記実施例１乃至６と同じであるため、説明を省略する。本実施例によれば、端末に符号化データを配信する場合に、配信サーバの符号化データを端末の能力情報やネットワークの状況に応じて高速に変換でき、かつ実施例１乃至６よりも画質をあげることができる。なお、本実施例において、動画像トランスコーダ１０００の各部の機能を動画像トランスコーダ１０００のコンピュータ上で動作するプログラムで実現してもよいことは勿論である
【実施例８】
【０１８１】
次に本発明の第８の実施例について、図１、図１２、図１３を参照して詳細に説明する。図１２は、本発明の第８の実施例における動画像トランスコーダ１２００の構成を示す図である。図１２において、図２と同一又は同等の要素には同一の参照番号が付されている。動画像トランスコーダ１２００は、図１、図４、図５の動画像トランスコーダ１０９の位置に配置される。【０１８２】
図１２を参照すると、変換制御部１２０１は、能力情報交換部１０８（４０３、５０３）（図１、図４、図５参照）からの変換要求１１３と、復号部２０３からの符号化パラメータ２１２を基に、サイズ変換部２０４に対してサイズ変換要求２０８を、符号化部１２０２に対して変換情報１２０３を出す。【０１８３】
変換制御部１２０１は、符号化部１２０２に対して変換情報１２０３として、
・画像データサイズ、
・フレームタイプ、
・予測モードと方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・フレームレート、
・量子化ステップサイズ
を送る。【０１８４】
変換制御部１２０１は、能力情報交換部１０８（４０３、５０３）（図１、図４、図５参照）からの変換要求１１３に含まれる画像データサイズ、ビットレートの少なくとも１つについて、変換前の情報と比較して、量子化ステップサイズを、Ｎ倍、１／Ｎ倍に変換することも可能とする。【０１８５】
図１３は、本発明の第８の実施例における符号化部１２０２の構成を示す図である。図１３において、図１１と同一又は同等の要素には同一の参照番号が付されている。符号化部１２０２について、図１３を参照して詳細に説明する。【０１８６】
図１３を参照すると、量子化器１３０１は、変換制御部１２０１から受け取った変換情報１２０３に含まれる、量子化ステップサイズを用いて量子化を行う。【０１８７】
上記以外の構成、及び動作は、前記実施例１乃至７と同じであるため、説明を省略する。【０１８８】
本実施例によれば、端末に符号化データを配信する場合に、配信サーバの符号化データを端末の能力情報やネットワークの状況に応じて実施例１乃至７よりも高速に変換することができる。なお、本実施例において、動画像トランスコーダ１２００の各部の機能を動画像トランスコーダ１２００のコンピュータ上で動作するプログラムで実現してもよいことは勿論である
【実施例９】
【０１８９】
次に本発明の第９の実施例について、図１、図１４、図１５を参照して詳細に説明する。図１４は、本発明の第９の実施例における動画像トランスコーダ１４００の構成を示す図である。図１４において、図２と同一又は同等の要素には同一の参照番号が付されている。動画像トランスコーダ１４００は、図１、図４、図５の動画像トランスコーダ１０９の位置に配置される。【０１９０】
図１４を参照すると、変換制御部１４０１は、能力情報交換部１０８（４０３、５０３）（図１、図４、図５参照）からの変換要求１１３と、復号部２０３からの符号化パラメータ２１２を基に、サイズ変換部２０４に対してサイズ変換要求２０８を、符号化部１４０２に対して変換情報指示を出す。【０１９１】
変換制御部１４０１は、符号化部１４０２に対して変換情報１４０３として、
・画像データサイズ、
・フレームタイプ、
・予測モードと方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・フレームレート、
・ビットレート、
・入力符号化データの符号量の分布
を送る。【０１９２】
図１５は、本発明の第９の実施例における符号化部１４０２の構成を示す図である。図１５において、図１１と同一又は同等の要素には同一の参照番号が付されている。符号化部１４０２について、図１５を参照して詳細に説明する。【０１９３】
量子化器１５０１は、変換制御部１４０１から受け取った変換情報１４０３に含まれる、ビットレートと入力符号化データの符号量の分布を使って、各ブロックの目標符号量を決定し、量子化ステップサイズを決定して量子化を行う。【０１９４】
上記以外の構成、及び動作は、前記実施例１乃至８と同じであるため、説明を省略する。【０１９５】
本実施例によれば、入力された符号化データの画像サイズを変換するときに、実施例１乃至８よりも、符号量を調整できる。なお、本実施例において、動画像トランスコーダ１４００の各部の機能を動画像トランスコーダ１４００のコンピュータ上で動作するプログラムで実現してもよいことは勿論である
【実施例１０】
【０１９６】
次に本発明の第１０の実施例について、図１、図１６、図１７を参照して詳細に説明する。図１６は、本発明の第１０の実施例における動画像トランスコーダ１６００の構成を示す図である。図１６において、図２と同一又は同等の要素には同一の参照番号が付されている。動画像トランスコーダ１６００は、図１、図４、図５の動画像トランスコーダ１０９の位置に配置される。【０１９７】
図１６を参照すると、変換制御部１６０１は、能力情報交換部１０８（４０３、５０３）（図１、図４、図５参照）からの変換要求１１３と、復号部２０３からの符号化パラメータ２１２を基に、サイズ変換部２０４に対してサイズ変換要求２０８を、符号化部１６０２に対して変換情報１６０３を出す。【０１９８】
変換制御部１６０１は符号化部１６０２に対して、変換情報１６０３として、
・画像データサイズ、
・フレームタイプ、
・予測モードと方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・ビットレート、
・フレームレート、
・量子化情報
を送る。【０１９９】
ここで、量子化情報としては、
・入力符号化データの量子化ステップサイズや、
・入力符号化データの符号量の分布を使用するか否か、
・量子化ステップサイズ、
・ビットレート
が含まれる。【０２００】
入力符号化データの量子化ステップサイズを使用するか否かの判断として、例えば、
・サイズ変換比が大きい場合、
・入力符号化データのビットレートと出力符号化データのビットレートの比が大きい場合、
・サイズ変換比の増減と入出力のビットレート比の増減を比べたときに、その差が大きい場合
などは、入力符号化データの量子化ステップサイズは用いない。【０２０１】
入力符号化データの符号量の分布を使用するか否かの判断としては、例えば、
目標ビットレートと出力符号量の差が大きい場合に、入力符号化データの符号量の分布は使用しない。【０２０２】
図１７は、本発明の第１０の実施例における符号化部１６０２の構成を示す図である。図１７において、図１１と同一又は同等の要素には同一の参照番号が付されている。符号化部１６０２について、図１７を参照して詳細に説明する。【０２０３】
量子化器１７０１は、変換制御部１６０１から受け取った変換情報１６０３に含まれる、入力符号化データの量子化ステップサイズや符号量の分布を使用するか否か、量子化ステップサイズ、符号量の分布、ビットレートを用いて量子化を行う。【０２０４】
具体的には、入力符号化データの量子化ステップサイズや符号量の分布を使用するか否かの情報を基に、使用する場合は、量子化器１７０１は、前記入力符号化データの量子化ステップサイズや符号量の分布を使って算出した量子化ステップサイズで量子化を行う。入力符号化データの量子化ステップサイズや符号量の分布を使用しない場合には、量子化器１７０１は、ビットレートを基に量子化ステップサイズを自ら決定して、量子化する。【０２０５】
上記以外の構成、及び動作は、前記実施例１乃至９と同じであるため、説明を省略する。本実施例によれば、入力された符号化データの画像サイズを変換するときに高速に変換できる。また、本実施例によれば、実施例８、９よりも画質をよく調整することができる。なお、本実施例において、動画像トランスコーダ１６００の各部の機能を動画像トランスコーダ１６００のコンピュータ上で動作するプログラムで実現してもよいことは勿論である
【実施例１１】
【０２０６】
次に本発明の第９の実施例について、図１、図１８、図１９を参照して詳細に説明する。図１８は、本発明の第１１の実施例における動画像トランスコーダ１１９０の構成を示す図である。図１８において、図２と同一又は同等の要素には同一の参照番号が付されている。動画像トランスコーダ１８００は、図１、図４、図５の動画像トランスコーダ１０９の位置に配置される。【０２０７】
図１８を参照すると、変換制御部１８０１は、能力情報交換部１０８（４０３、５０３）（図１、図４、図５参照）からの変換要求１１３と復号部２０３からの符号化パラメータ２１２を基に、サイズ変換部２０４に対してサイズ変換要求２０８を、符号化部１８０２に対して変換情報１８０３を出す。【０２０８】
変換制御部１８０１は符号化部１８０２に対して、変換情報１８０３として、
・画像データサイズ、
・フレームタイプ、
・予測モードと方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・ビットレート、
・フレームレート、
・フィルタ処理情報
を送る。【０２０９】
ここで、フィルタ処理情報とは、
・符号化前の画像データ、もしくは符号化中の画像データに対して、フィルタ処理を実行するか否か、
・フィルタ処理を実行する場合のフィルタ強度、フィルタを実行する領域の情報、
などがある。【０２１０】
フィルタ処理を実行するか否かは、例えば、
・サイズ変換後の画面サイズに対する出力ビットレート、
・画像サイズ変換が拡大なのか、縮小なのか、
・入力符号化データのビットレートが高いか低いか、
といった情報を用いて判断する。【０２１１】
例えば、入力符号化データ中に含まれる、フィルタ処理実行の有無の情報を用いたり、
サイズ変換後の画面サイズに対して、出力ビットレートが低い場合や、入力符号化データのビットレートが低い場合に、フィルタ処理を行い、
サイズ変換後の画面サイズに対して、出力ビットレートが高い場合や、入力符号化データのビットレートが高い場合に、画像サイズを縮小する場合には、フィルタ処理をしないという判断を行う。【０２１２】
図１９は、本発明の第１１の実施例における符号化部１８０２の構成を示す図である。図１９において、図１１と同一又は同等の要素には同一の参照番号が付されている。符号化部１８０２について、図１９を参照して詳細に説明する。【０２１３】
ループ内フィルタ器１９０１は、変換制御部１８０１から受け取った変換情報１８０３を基にし、フィルタ処理を行う。【０２１４】
変換情報１８０３で、フィルタ処理を行う様に指示されると、画像データ１９０２に対してフィルタ処理を行う。【０２１５】
変換情報１８０３に、フィルタ強度やフィルタを実施する領域の情報があれば、変換情報１８０３に従ってフィルタ処理を行う。【０２１６】
変換情報１８０３で、フィルタ処理を実施しない様に指示されている場合には、画像データ１９０２をそのままフレームメモリ３０４へ送る。【０２１７】
本実施例では、符号化中の画像データに対するフィルタ処理有無について説明したが、これは本発明の説明のために提示した一例であり、本発明を限定するものでないことは勿論である。本発明の動画像変換方式の原理からも明らかなように、符号化前の画像データに対するフィルタ処理実行の有無の判断にも適用可能である。【０２１８】
上記以外の構成、及び動作は、前記実施例１乃至１０と同じであるため、説明を省略する。本実施例によれば、入力された符号化データの画像サイズを変換するときに高速に変換でき、かつ実施例１乃至１０よりも画質をあげることができる。なお、本実施例において、動画像トランスコーダ１８００の各部の機能を動画像トランスコーダ１８００のコンピュータ上で動作するプログラムで実現してもよいことは勿論である
【実施例１２】
【０２１９】
次に本発明の第１２の実施例について、図１、図２０を参照して詳細に説明する。図２０は、本発明の第１２の実施例における動画像トランスコーダ２０００の構成を示す図である。図２０において、図２と同一又は同等の要素には同一の参照番号が付されている。動画像トランスコーダ２０００は、図１、図４、図５の動画像トランスコーダ１０９の位置に配置される。【０２２０】
図２０を参照すると、変換制御部２００１は、能力情報交換部１０８（４０３、５０３）（図１、図４、図５参照）からの変換要求２００４と、復号部２０３からの符号化パラメータ２１２を基に、サイズ変換部２０４に対してサイズ変換要求２０８を、符号化部２００２に対して変換情報２００５を出す。【０２２１】
変換要求２００４には、
・サイズ変換情報、
・入力符号化データの符号化方式、
・出力符号化データの符号化方式、
の情報が含まれる。【０２２２】
変換制御部２００１は、復号部２００２から符号化パラメータ２１２を受け取ると、変換要求２００４を基にして、符号化部２００２に対して、変換情報２００５として、
・画像データサイズ、
・フレームタイプ、
・予測モードと方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・フレームレート、
・ビットレート、
・量子化情報、
・フィルタ処理情報
を送る。【０２２３】
変換制御部２００１は、変換要求２００４の入力符号化方式と出力符号化方式が同じ場合は、符号化パラメータ２１２を、前記実施例１乃至１１で説明した方法で変換して符号化部２００２へ送る。【０２２４】
変換要求２００４の入力符号化方式と出力符号化方式が異なる場合、変換制御部２００１は、入力符号化データにおける
・予測モードと方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・ピクチャタイプ、
・量子化情報、
・フレームレート、
・フィルタ処理情報を、
出力符号化方式に合う様に変換する。【０２２５】
予測モードの場合、例えば、入力符号化データの予測モードが出力符号化方式で対応していない場合、最も近い予測モードと方向に近似する。【０２２６】
動きベクトルの場合、例えば、上下限値や尺度を出力符号化方式に合わせる。【０２２７】
参照フレーム情報の場合、例えば、入力符号化方式の参照フレーム情報が出力符号化方式で対応していない時、フレーム番号を出力符号化方式の最大・最小値に拡大・縮小する。また、出力符号化方式に関係の無い参照フレーム情報は符号化部２００２に送らない様にする。もしくは、該当箇所は入力符号化データの情報を使わず、再符号化する。【０２２８】
ブロックサイズの場合、例えば、入力符号化方式が４ｘ４ブロック各々に対して１つの予測モード・方向や動きベクトルが指定できるものの、出力符号化方式が８ｘ８ブロックや１６ｘ１６ブロックに１つしか予測モード・方向や動きベクトルが指定できない場合、実施例４に記載の方法で予測モード・方向や動きベクトルを合成する。【０２２９】
ピクチャタイプの場合、入力符号化方式に存在して出力符号化方式に存在しないときは、該当フレームを再符号化する、もしくはピクチャタイプの差が出力符号化方式に関係ない情報が付加されているだけであれば、その情報を送らずピクチャタイプを近似して、符号化部１８０２へ送る。量子化ステップの場合、上下限値や尺度の意味（例えば対数なのか倍数なのか）に合わせて変換する。【０２３０】
フィルタ処理情報の場合、入力符号化方式に存在して出力符号化方式に存在しないときは、フィルタ処理しない、もしくは出力符号化方式に関係ない情報が付加されているだけであれば、その情報を送らずフィルタ処理情報を生成する。【０２３１】
上記以外の構成、及び動作は、前記実施例１乃至１１と同じであるため、説明を省略する。本実施例によれば、入力された符号化方式と出力する符号化方式が異なる場合に前記入力された符号化データの画像サイズを高速に変換することが可能である。なお、本実施例において、動画像トランスコーダ２０００の各部の機能を動画像トランスコーダ２０００のコンピュータ上で動作するプログラムで実現してもよいことは勿論である
【実施例１３】
【０２３２】
次に本発明の第１４の実施例について、図２１、図２２、図２３を参照して説明する。図２１は、本発明の第１３の実施例における動画像配信システムの構成を示す図である。図２１において、図１と同一又は同等の要素には同一の参照番号が付されている。【０２３３】
図２１を参照すると、本実施例の動画像配信システムは、配信サーバ１０１、変換装置２１０１、端末２１０２、伝送路１０４、１０５、１０６を備えている。変換装置２１０１は、受信部１０７と能力情報交換部２１０３と動画像トランスコーダ２１０４と送受信部１１０を備えている。【０２３４】
能力情報交換部２１０３は、端末２１０２と能力情報や機能情報を交換する。図２１において、能力情報や機能情報は符号２１０５で表されている。能力情報交換部２１０３は、動画像トランスコーダ２１０４に対して機能情報を基に、入力符号化データを能力情報の範囲内に変換する様に要求する。【０２３５】
図２２は、図２１の動画像トランスコーダ２１０４の構成を示す図である。図２２において、図２と同一又は同等の要素には同一の参照番号が付されている。変換制御部２２０１は、能力情報交換部２１０３から受け取った符号化情報、画像サイズ情報、ビットレート、フレームレートの情報を基に、符号化部２２０２へ変換情報２２０３を送る。【０２３６】
変換情報２２０３としては、
・出力符号化データの符号化情報、
・符号化するか否かの指示
が含まれる。【０２３７】
図２３は、図２２の符号化部２２０２の構成を示す図である。図２３において、図３と同一又は同等の要素には同一の参照番号が付されている。図２３において、フーレム巻予測符号化部２３０１、フレーム内予測符号化部２３０２は、通常の符号化器と同じ構成、動作のため説明を省略する。【０２３８】
上記以外の構成、及び動作は、前記実施例１乃至２と同じであるため、説明を省略する。本実施例によれば、端末に符号化データを配信する場合に、機能情報を使うことで配信サーバの符号化データを端末の能力情報にあうように画質の劣化を抑えて変換できる。また、符号化部として通常のもの（既製品等）が利用できるため、前記実施例１乃至１２と比べて適用が容易になる。なお、本実施例において、変換装置２１０１、動画像トランスコーダ２００４の各部の機能を、変換装置２１０１、動画像トランスコーダ２００４のコンピュータ上で動作するプログラムで実現してもよいことは勿論である
【実施例１４】
【０２３９】
次に本発明の第１４の実施例について、図２２、図２３、図２４を参照して詳細に説明する。図２４は、動画像配信システムにおける構成を示す図である。図２４において、図１と同一又は同等の要素には同一の参照番号が付されている。本実施例において、動画像トランスコーダ、符号化部は、図２２、図２３の構成とされる。【０２４０】
図２４を参照すると、本実施例の動画像配信システムは、配信サーバ１０１、変換装置２４０１、端末４０２、伝送路１０４、１０５、１０６を備えている。【０２４１】
変換装置２４０１は、受信部１０７と能力情報交換部４０３と動画像トランスコーダ２１０４と送受信部１１０を備えている。【０２４２】
能力情報交換部４０３は、端末４０２と能力情報や機能情報を交換する。また、能力情報交換部４０３は、端末４０２からネットワークの状況を通知してもらう。【０２４３】
上記以外の構成、及び動作は、前記実施例１乃至２、実施例１３と同じであるため、説明を省略する。本実施例によれば、端末に符号化データを配信する場合に、機能情報を使うことで配信サーバの符号化データを端末の能力情報やネットワークの状況に合うように、画質の劣化を抑えて変換でき、かつ符号化部が通常のものが使えるので、実施例１乃至１２と比べて適用が容易になる。なお、本実施例において、変換装置２４０１の各部の機能を、変換装置２４０１のコンピュータ上で動作するプログラムで実現してもよいことは勿論である
【実施例１５】
【０２４４】
次に本発明の第１５の実施例について、図２２、図２３、図２５を参照して詳細に説明する。図２５は動画像配信システムにおける構成を示す図である。図２４において、図１と同一又は同等の要素には同一の参照番号が付されている。本実施例において、動画像トランスコーダ、符号化部は、図２２、図２３の構成とされる。【０２４５】
図２５を参照すると、本実施例の動画像配信システムは、配信サーバ１０１、変換装置２５０１、端末５０２、伝送路１０４、１０５、１０６を備えている。【０２４６】
変換装置２５０１は、受信部１０７と能力情報交換部５０３と動画像トランスコーダ２１０４と送受信部１１０を備えている。【０２４７】
能力情報交換部５０３は、端末４０２と能力情報や機能情報、加入者情報を交換する。また、能力情報交換部５０３は、端末４０２からネットワークの状況を通知してもらう。【０２４８】
上記以外の構成、及び動作は、前記実施例１乃至３、実施例１３乃至１４と同じであるため、説明を省略する。本実施例によれば、端末に符号化データを配信する場合に、機能情報を使うことで配信サーバの符号化データを端末の能力情報やネットワークの状況に合うように画質の劣化を抑えて変換できる。また本実施例によれば、符号化部は通常のものが利用可能とされ、前記実施例１乃至１２と比べて、適用が容易になる。さらに、前記実施例１３乃至１４と比べて加入者に対する帯域の割り当ての制御が可能になる。なお、本実施例において、変換装置２５０１の各部の機能を、変換装置２５０１のコンピュータ上で動作するプログラムで実現してもよいことは勿論である。【０２４９】
本実施例の作用効果を要約する。【０２５０】
様々な能力を持つ端末に対してストリームを配信するときに、ストリームを変換する必要がある際、高速に変換できる。【０２５１】
様々な能力を持つ端末に対してストリームを配信するときに、ストリームを変換する必要がある際、前記受信したストリームの情報を使って画質の劣化を抑えた変換ができる。【０２５２】
ネットワークの状況が変化する環境で、ストリームを配信するときにストリームを変換する必要がある際、高速に変換できる。【０２５３】
ネットワークの状況が変化する環境で、ストリームを配信するときにストリームを変換する必要がある際、受信したストリームの情報を使って画質の劣化を抑えた変換ができる。【０２５４】
ネットワークの状況が変化する環境でストリームを配信するときに、ストリームを変換する必要がある際、端末の復号能力の上限のストリームに変換すると、ネットワークの負荷を抑えた変換ができる。【０２５５】
ネットワークの状況が変化する環境でストリームを配信するときに、ストリームを変換する必要がある際、ネットワークの帯域が不足したときに、端末からの情報を使って画質が劣化を抑えた変換ができる。【０２５６】
本発明は以下の通り付記される。【０２５７】
［付記１］
ネットワークを介して端末に１つ以上のストリームを配信する配信システムであって、
端末が指定した動画像の符号化データを配信するにあたり、前記端末から通知された能力情報とネットワークの状況のうち、少なくとも１つに適合するように、前記符号化データの情報を再利用して、前記符号化データを変換し、前記変換した符号化データを前記端末に送信する変換装置を備える、ことを特徴とする配信システム。
［付記２］
ネットワークを介して端末に１つ以上のストリームを配信する配信システムであって、
前記端末が指定した動画像の符号化データを配信するにあたり、前記端末からの前記端末の機能情報に基づき前記符号化データを変換するか否か判断して前記端末に前記ストリームを送信する変換装置を備える、ことを特徴とする配信システム。
［付記３］
前記変換装置は、前記端末から通知された機能情報を基に、配信するストリームのビットレートを抑制する、ことを特徴とする付記２記載の配信システム。
［付記４］
前記変換装置は、前記端末から通知された機能情報で足りない機能の動作を行う、ことを特徴とする付記２又は３記載の配信システム。
［付記５］
前記端末から指定された動画像の符号化データを変換装置へ送信する配信サーバを備え、
前記変換装置は、前記配信サーバから受信した符号化データを画像データに復号し、
前記端末から通知された能力情報とネットワークの状況とのうちの少なくとも１つに適合するように、前記復号した画像データを変換し、変換した画像データを符号化するにあたり、前記受信した符号化データの情報を再利用して再符号化し、前記再符号化された符号化データをネットワークを介して前記端末に送信する、ことを特徴とする付記１乃至４のいずれか１項に記載の配信システム。
［付記６］
前記変換装置は、
前記配信サーバからの符号化データを受信する受信部と、
前記端末と能力情報又は機能情報を交換する情報交換部と、
前記配信サーバから受信した前記符号化データを、前記端末から通知された能力情報とネットワークに少なくとも１つに状況に適合するように、前記配信サーバから受信した前記符号化データの情報を再利用して符号化するトランスコーダと、
前記トランスコーダからの符号化データを前記端末へ送信する送信部と、
を備えている、ことを特徴とする付記５記載の配信システム。
［付記７］
前記トランスコーダは、
前記受信した符号化データを復号する復号部と、
前記復号部で復号された画像データのサイズを、前記端末から通知された能力情報とネットワークの状況とのうちの少なくとも１つに適合するように、変換するサイズ変換部と、
前記サイズ変換部で変換した画像データを符号化するにあたり、前記端末から通知された能力情報とネットワークの状況のうち少なくとも１つに適合するように、前記受信した符号化データの情報を再利用して再符号化する符号化部と、
を含む、ことを特徴とする付記６記載の配信システム。
［付記８］
前記変換装置は、前記端末から通知されたネットワークの状況、及び／又は、前記端末から通知された能力情報に応じて、前記符号化データにおける画面サイズ、ビットレート、フレームレートの少なくとも１つを変換する手段を備える、ことを特徴とする付記１乃至７のいずれか１項に記載の配信システム。
［付記９］
前記変換装置は、前記端末から通知された機能情報を用いて、前記符号化データにおける画面サイズ、ビットレート、フレームレートの少なくとも１つを変換する手段を備える、ことを特徴とする付記１乃至８のいずれか１項に記載の配信システム。
［付記１０］
前記変換装置は、前記受信した符号化データの情報として、予測モード、動きベクトル、ブロックサイズの少なくとも１つを、再利用する手段を備える、ことを特徴とする付記１乃至９のいずれか１項に記載の配信システム。
［付記１１］
前記変換装置が、サイズ変更後の画像データを符号化するにあたり、前記受信した符号化データの参照フレーム情報を再利用する、ことを特徴とする付記１０記載の配信システム。
［付記１２］
前記変換装置は、画面サイズ変更後の画像データを符号化するにあたり、前記受信した符号化データの動きベクトル、ブロックサイズの少なくとも１つを、変換前後の画像サイズ比に合わせて伸張又は短縮する手段を備える、ことを特徴とする付記１乃至１１のいずれか１項に記載の配信システム。
［付記１３］
前記変換装置は、前記受信した符号化データの予測モードが、サイズ変換後にそのまま使えない場合に、前記予測モードを近似する手段を備える、ことを特徴とする付記１乃至１２のいずれか１項に記載の配信システム。
［付記１４］
前記変換装置は、変換前後の画像サイズ比に合わせて、前記受信した符号化データの予測モードと動きベクトルの少なくとも１つを分割又は合成して再利用する手段を備える、ことを特徴とする付記１乃至１３のいずれか１項に記載の配信システム。
［付記１５］
前記変換装置は、再利用した予測モードと動きベクトルの少なくとも１つを起点として再予測する手段を備える、ことを特徴とする付記１乃至１４のいずれか１項に記載の配信システム。
［付記１６］
前記変換装置は、再利用した動きベクトルを起点として、再予測する場合に、動きベクトルの方向を利用する手段を備える、ことを特徴とする付記１５記載の配信システム。
［付記１７］
前記変換装置は、予測誤差が予め定めた閾値以上の場合に予測し直す手段を備える、ことを特徴とする付記１乃至１６のいずれか１項に記載の配信システム。
［付記１８］
前記変換装置は、サイズ変更後の画像データを符号化するにあたり、前記受信した符号化データの量子化ステップサイズを再利用する手段を備える、ことを特徴とする付記１乃至１７のいずれか１項に記載の配信システム。
［付記１９］
前記変換装置は、サイズ変更後の画像データを符号化するにあたり、前記受信した符号化データの符号量の分布を、再利用する手段を備える、ことを特徴とする付記１乃至１８のいずれか１項に記載の配信システム。
［付記２０］
前記変換装置は、量子化ステップサイズ、入力符号化データの符号量の分布の少なくとも１つを再利用するか判断する手段を備える、ことを特徴とする付記１８又は１９記載の配信システム。
［付記２１］
前記変換装置は、サイズ変更後の画像データを符号化するにあたり、前記受信した符号化データのピクチャタイプ、ブロックタイプを再利用する手段を備える、ことを特徴とする付記１乃至２０のいずれか１項に記載の配信システム。
［付記２２］
前記変換装置は、サイズ変更後の画像データを符号化するにあたり、前記サイズ変換後の画像データ、又は符号化中の画像データにフィルタをかけるか否かを判断する手段を備える、ことを特徴とする付記１乃至２１のいずれか１項に記載の配信システム。
［付記２３］
前記変換装置において、復号方式と符号化方式が互いに異なる方式である、ことを特徴とする付記１乃至２２のいずれか１項に記載の配信システム。
［付記２４］
ネットワークを介して端末に１つ以上のストリームを配信する配信方法であって、
前記端末が指定した動画像の符号化データを配信するにあたり、変換装置が、前記端末から通知された能力情報とネットワークの状況のうち、少なくとも１つに適合するように、前記符号化データの情報を再利用して、前記符号化データを変換し、前記変換した符号化データを前記端末に送信する、ことを特徴とする配信方法。
［付記２５］
ネットワークを介して端末に１つ以上のストリームを配信する配信方法であって、
前記端末が指定した動画像の符号化データを配信するにあたり、変換装置が、前記端末からの前記端末の機能情報に基づき、前記符号化データを変換するか否か判断し、前記端末に前記ストリームを送信する、ことを特徴とする配信方法。
［付記２６］
前記変換装置は、前記端末から通知された能力情報と前記ネットワークの状況の少なくとも一つに基づき、前記符号化データにおける画面サイズ、ビットレート、フレームレートの少なくとも１つを変換する、ことを特徴とする付記２４に記載の配信方法。
［付記２７］
前記変換装置は、前記端末から通知された機能情報を用いて、前記符号化データにおける画面サイズ、ビットレート、フレームレートの少なくとも１つを変換する、ことを特徴とする付記２５に記載の配信方法。
［付記２８］
前記変換装置は、前記端末から通知された機能情報で足りない機能の動作を行う、ことを特徴とする付記２５又は２７に記載の配信方法。
［付記２９］
前記変換装置は、前記受信した符号化データの情報として、予測モード、動きベクトル、ブロックサイズの少なくとも１つを、再利用する、ことを特徴とする付記２４乃至２８のいずれか１項に記載の配信方法。
［付記３０］
ネットワークを介して端末が指定した動画像の符号化データを配信するにあたり、
前記端末から通知された能力情報とネットワークの状況のうち、少なくとも１つに適合するように、前記符号化データの情報を再利用して、前記符号化データを変換し、前記変換した符号化データを前記端末に送信する処理を、変換装置を構成するコンピュータに実行させるプログラム。
［付記３１］
ネットワークを介して端末が指定した動画像の符号化データを配信するにあたり、
前記端末からの前記端末の機能情報に基づき、前記符号化データを変換するか否か判断し、前記端末に前記ストリームを送信する処理を、変換装置を構成するコンピュータに実行させるプログラム。
［付記３２］
端末から指定された符号化データを変換装置へ送信する配信サーバからの符号化データを受信する受信部と、
前記端末と能力情報及び／又は機能情報を交換する能力情報交換部と、
前記配信サーバから受信した前記符号化データを、前記端末から通知された能力情報及び／又はネットワークの状況に基づき、又は、前記端末から通知された機能情報を用いて、前記配信サーバから受信した前記符号化データの情報を再利用して符号化するトランスコーダと、
前記トランスコーダからの符号化データを前記端末へ送信する送信部と、
を備えている、変換装置。
［付記３３］
前記トランスコーダは、
前記受信部で受信した符号化データを画像データに復号する復号部と、
前記能力情報交換部からのサイズ変換要求又は前記復号部からの符号化パラメータを受け取り、サイズ変換部や符号化部を制御する変換制御部と、
復号部から入力された画像データを前記変換制御部の指示に基づいてサイズ変換を行うサイズ変換部と、
前記変換制御部の指示に従って、前記サイズ変換部から入力された画像データから符号化データを生成する符号化部と、
を備え、
前記符号化部は、前記サイズ変換部でサイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、動きベクトル、ブロックサイズの少なくとも１つを再利用する、ことを特徴とする付記３２記載の変換装置。
［付記３４］
前記変換制御部は、前記サイズ変換要求と、前記復号部からの符号化パラメータとを基に、前記サイズ変換部に対してサイズ変換要求を与え、前記符号化部に対して変換情報を与え、
前記サイズ変換部は、前記変換制御部からのサイズ変換要求情報にある倍率又は入出力画像サイズを用いて、前記復号部から受け取った画像データの画像サイズを変換し、変換後の画像データを前記符号化部へ与え、
前記符号化部は、
前記変換制御部から受け取った変換情報とフレームメモリからの画像データを用いて、フレーム間予測を行い予測データを生成してスイッチに送るフレーム間予測データ生成部と、
前記変換制御部から受け取った変換情報と前記サイズ変換部から受け取った画像データとを用いてフレーム内予測を行い、予測データを生成して前記スイッチに送るフレーム内予測データ生成部と、
を備え、
前記スイッチは、前記変換制御部からの指示に従って前記フレーム間予測データ生成部又は前記フレーム内予測データ生成部で生成した予測データを、離散コサイン変換器、ループ内フィルタ器、前記フレーム内予測データ生成部に送ることが出来るように切り替え、
前記変換制御部からの指示のビットレートを目標にして量子化ステップを決定する量子化器と、
前記変換制御部から受け取った変換情報を基にヘッダ情報を生成するヘッダ情報生成部と、
前記ヘッダ情報生成部からのヘッダ情報を基に前記量子化器の出力を可変長符号化する可変長符号器と、
を備えている、ことを特徴とする付記３３記載の変換装置。【０２５８】
なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【符号の説明】
【０２５９】
１０１    配信サーバ
１０２    変換装置
１０３    端末
１０４    伝送路
１０５    伝送路
１０６    伝送路
１０７    受信部
１０８    能力情報交換部
１０９    動画像トランスコーダ
１１０    送受信部
１１１    符号化情報
１１２    符号化データ
１１３    変換要求
１１４    能力情報、ネットワーク情報
１１５    符号化データ
２０１    変換制御部
２０２    受信バッファ
２０３    復号部
２０４    サイズ変換部
２０５    符号化部
２０６    送信バッファ
２０８    変換要求
２０９    変換情報
２１１    入力符号化データ
２１２    符号化パラメータ
２１３    画像データ
２１４    画像データ
２１５    符号化データ
２１６    符号化情報
３０１    フレーム間予測データ生成部
３０２    フレーム内予測データ生成部
３０３    スイッチ
３０４    フレームメモリ
３０５    ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）器
３０６    量子化器
３０７    逆量子化器
３０８    逆ＤＣＴ器
３０９    ループ内フィルタ器
３１０    可変長符号器
３１１    ヘッダ情報生成部
３１２    ヘッダ情報
３１３    画像データ
４０１    変換装置
４０２    端末
４０３    能力情報交換部
４０４    能力情報、機能情報、ネットワークの情報
５０１    変換装置
５０２    端末
５０３    能力情報交換部
５０４    能力情報、機能情報、ネットワークの情報、加入者情報
６００    動画像トランスコーダ
６０１    変換制御部
７００    動画像トランスコーダ
７０１    変換制御部
８００    動画像トランスコーダ
８０１    変換制御部
８０２    符号化部
８０３    変換情報
９０１  フレーム間予測符号化部
９０２  フレーム内予測符号化部
９０３  動きベクトル、参照フレーム情報
９０４  予測モード
１０００  動画像トランスコーダ
１００１  変換制御部
１００２  符号化部
１００３  変換情報
１１０１  フレーム間予測データ生成部
１１０２  フレーム間予測符号化部
１１０３  フレーム内予測データ生成部
１１０４  フレーム内予測符号化部
１１０５  スイッチ
１１０６  動きベクトル、参照フレーム情報
１１０７  予測モード
１１９０  動画像トランスコーダ
１２０１  変換制御部
１２０２  符号化部
１２０３  変換情報
１３０１  量子化器
１４００  動画像トランスコーダ
１４０１  変換制御部
１４０２  符号化部
１４０３  変換情報
１５０１  量子化器
１６００  動画像トランスコーダ
１６０１  変換制御部
１６０２  符号化部
１６０３  変換情報
１７０１  量子化器
１８００  動画像トランスコーダ
１８０１  変換制御部
１８０２  符号化部
１８０３  変換情報
１９０１  ループ内フィルタ器
１９０２  画像データ
２０００  動画像トランスコーダ
２００１  変換制御部
２００２  復号部
２００３  符号化部
２００４  変換要求
２００５  変換情報
２１０１  変換装置
２１０２  端末
２１０３  能力情報交換部
２１０４  動画像トランスコーダ
２１０５  能力情報、機能情報
２２０１  変換制御部
２２０２  符号化部
２２０３  変換情報
２３０１  フレーム間予測データ符号化部
２３０２  フレーム内予測データ符号化部
２４０１  変換装置
２５０１  変換装置
【図１】
2010079790.tif 000003
【図２】
2010079790.tif 000004
【図３】
2010079790.tif 000005
【図４】
2010079790.tif 000006
【図５】
2010079790.tif 000007
【図６】
2010079790.tif 000008
【図７】
2010079790.tif 000009
【図８】
2010079790.tif 000010
【図９】
2010079790.tif 000011
【図１０】
2010079790.tif 000012
【図１１】
2010079790.tif 000013
【図１２】
2010079790.tif 000014
【図１３】
2010079790.tif 000015
【図１４】
2010079790.tif 000016
【図１５】
2010079790.tif 000017
【図１６】
2010079790.tif 000018
【図１７】
2010079790.tif 000019
【図１８】
2010079790.tif 000020
【図１９】
2010079790.tif 000021
【図２０】
2010079790.tif 000022
【図２１】
2010079790.tif 000023
【図２２】
2010079790.tif 000024
【図２３】
2010079790.tif 000025
【図２４】
2010079790.tif 000026
【図２５】
2010079790.tif 000027
【手続補正書】
【提出日】平成23年7月5日(2011.7.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
配信サーバからネットワークを介して端末に１つ以上のストリームを配信する配信システムであって、
前記端末が指定した配信対象の動画像の符号化データを前記配信サーバから受け、
前記端末から通知された前記端末の能力情報、前記端末の機能情報、前記ネットワークの状況のうち少なくとも１つに基づき、前記符号化データを変換し、
前記変換した符号化データを前記端末に送信する変換装置を備える、ことを特徴とする配信システム。
【請求項２】
前記変換装置は、前記端末から通知された前記端末の能力情報と前記ネットワークの状況の少なくとも１方に適合するように、前記符号化データの情報を再利用して、前記符号化データを変換し、前記変換した符号化データを前記端末に送信する、ことを特徴とする請求項１記載の配信システム。
【請求項３】
前記変換装置は、前記端末が指定した動画像の符号化データを配信するにあたり、前記端末からの前記端末の能力情報、機能情報に基づき、前記符号化データを変換するか否か判断し、変換すると判断された前記符号化データを変換した上で前記端末に送信する、ことを特徴とする請求項１又は２記載の配信システム。
【請求項４】
前記端末から通知された機能情報が、
画像サイズ変更機能、
フレーム補間機能、
ストリーム帯域拡張機能
の少なくとも１つを含み、
前記変換装置は、前記機能情報を基に、
画像サイズの変更、
前記符号化データのフレーム単位での間引き、
前記符号化データのビットレートの抑制、
の少なくとも１つを行う、ことを特徴とする請求項１又は３記載の配信システム。
【請求項５】
前記変換装置は、
前記配信サーバからの符号化データを受信する受信部と、
前記端末と、前記端末の能力情報又は機能情報、前記ネットワークの状況の情報を交換する情報交換部と、
前記配信サーバから受信した符号化データを画像データに復号し、前記端末から通知された能力情報と前記ネットワークの状況とのうちの少なくとも１つに適合するように、前記復号した画像データを変換し、前記受信した符号化データの符号化情報を利用して、前記変換した復号画像データを符号化するトランスコーダと、
前記トランスコーダからの符号化データを前記端末へ前記ネットワークを介して送信する送信部と、
を備えたことを特徴とする請求項１乃至４のいずれか１項に記載の配信システム。
【請求項６】
配信サーバからネットワークを介して端末に１つ以上のストリームを配信する配信方法であって、
変換装置が、前記端末が指定した動画像の符号化データを前記配信サーバから受け取り、前記端末から通知された前記端末の能力情報、機能情報、又は、前記ネットワークの状況に基づき、前記符号化データを変換し、前記変換した符号化データを前記端末に送信する、ことを特徴とする配信方法。
【請求項７】
前記変換装置は、前記端末から通知された前記端末の能力情報、前記ネットワークの状況の少なくとも１方に適合するように、前記符号化データの情報を再利用して、前記符号化データを変換し、前記変換した符号化データを前記端末に送信する、ことを特徴とする請求項６記載の配信方法。
【請求項８】
前記端末が指定した動画像の符号化データを配信するにあたり、前記変換装置が、前記端末からの前記端末の能力情報、前記機能情報に基づき、前記符号化データを変換するか否か判断し、変換すると判断された符号化データを変換した上で前記端末に送信する、ことを特徴とする請求項６又は７記載の配信方法。
【請求項９】
端末から指定された符号化データを変換装置へ送信する配信サーバからの符号化データを受信する受信部と、
前記端末から、前記端末の能力情報及び／又は機能情報を受け取る情報交換部と、
前記配信サーバから受信した前記符号化データを、前記端末から通知された能力情報及び／又はネットワークの状況に基づき、又は、前記端末から通知された機能情報を用いて、前記配信サーバから受信した前記符号化データの情報を再利用して符号化するトランスコーダと、
前記トランスコーダからの符号化データを前記端末へネットワークを介して送信する送信部と、
を備えている、変換装置。
【請求項１０】
前記トランスコーダは、
前記受信部で受信した符号化データを画像データに復号する復号部と、
前記情報交換部からの変換要求、又は、前記変換要求と前記復号部からの符号化パラメータを受け取り、サイズ変換部や符号化部における変換を制御する変換制御部と、
前記復号部から入力された画像データに対して、前記変換制御部の変換指示に基づいてサイズ変換を行うサイズ変換部と、
前記変換制御部からの変換指示に従って、前記サイズ変換部から出力された画像データを符号化する符号化部と、
を備え、
前記符号化部は、前記サイズ変換部でサイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、動きベクトル、ブロックサイズの少なくとも１つを再利用する、ことを特徴とする請求項９記載の変換装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１４１
【補正方法】変更
【補正の内容】
【０１４１】
本実施例によれば、端末に符号化データを配信する場合に、配信サーバの符号化データを端末の能力情報やネットワークの状況に応じて高速に変換できるとともに、前記実施例１、２に比べて、加入者に対する帯域の割り当ての制御が可能になる。なお、本実施例においても、変換装置５０１の各部の機能を変換装置５０１のコンピュータ上で動作するプログラムで実現してもよいことは勿論である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０２０６
【補正方法】変更
【補正の内容】
【０２０６】
次に本発明の第１１の実施例について、図１、図１８、図１９を参照して詳細に説明する。図１８は、本発明の第１１の実施例における動画像トランスコーダ１１９０の構成を示す図である。図１８において、図２と同一又は同等の要素には同一の参照番号が付されている。動画像トランスコーダ１８００は、図１、図４、図５の動画像トランスコーダ１０９の位置に配置される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０２３２
【補正方法】変更
【補正の内容】
【０２３２】
次に本発明の第１３の実施例について、図２１、図２２、図２３を参照して説明する。図２１は、本発明の第１３の実施例における動画像配信システムの構成を示す図である。図２１において、図１と同一又は同等の要素には同一の参照番号が付されている。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０２３８
【補正方法】変更
【補正の内容】
【０２３８】
上記以外の構成、及び動作は、前記実施例１乃至２と同じであるため、説明を省略する。本実施例によれば、端末に符号化データを配信する場合に、機能情報を使うことで配信サーバの符号化データを端末の能力情報にあうように画質の劣化を抑えて変換できる。また、符号化部として通常のもの（既製品等）が利用できるため、前記実施例１乃至１２と比べて適用が容易になる。なお、本実施例において、変換装置２１０１、動画像トランスコーダ２１０４の各部の機能を、変換装置２１０１、動画像トランスコーダ２１０４のコンピュータ上で動作するプログラムで実現してもよいことは勿論である
【国際調査報告】
2010079790.tif 000028
2010079790.tif 000029