(57)【特許請求の範囲】
【請求項１】
複数の階層に基づいて、動画像を構成する各フレームを符号化することが可能な画像処理装置であって、
符号化対象のフレームに対応する階層を示す情報を取得する取得手段と、
前記取得手段によって取得された情報に基づいて、動画像を構成する各フレームを符号化する符号化手段と、
前記符号化手段によって符号化された動画像の符号化データを送信する送信手段と
を有し、
前記複数の階層に含まれる第１の階層に対応するフレーム群によって、第１のフレームレートの動画像を構成可能であり、
前記第１の階層に対応するフレーム群と、前記第１の階層とは異なる第２の階層に対応するフレーム群とによって前記第１のフレームレートよりも高い第２のフレームレートの動画像を構成可能であり、
前記第１の階層に対応するフレーム群と、前記第２の階層に対応するフレーム群と、前記第１及び第２の階層とは異なる第３の階層に対応するフレーム群とによって前記第２のフレームレートよりも高い第３のフレームレートの動画像を構成可能であり、
前記符号化手段は、
前記取得手段によって取得された情報に基づいて、
符号化対象のフレームが前記第１の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを第１のビットレート以下とするための制限を行い、
符号化対象のフレームが前記第２の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを前記第１のビットレートよりも高い第２のビットレート以下とするための制限を行い、
符号化対象のフレームが前記第３の階層に対応する場合、その符号化対象のフレームの符号化処理においては、動画像のビットレートを前記第１のビットレート以下とするための制限、及び、動画像のビットレートを前記第２のビットレート以下とするための制限を行わずに、符号化対象のフレームを符号化した符号データを伝送する通信経路の実際のビットレートである実効伝送レートを超えることを可能として、規定の符号化パラメータを用いて、前記動画像を構成する各フレームを符号化する
ことを特徴とする画像処理装置。
【請求項２】
前記第１のフレームレートは、所定のフレームレートより低いフレームレートであり、
前記第２のフレームレートは、所定のフレームレートより高いフレームレートである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記送信手段は、所定のフレームレートより高いフレームレートの動画像を構成するための階層に対応するフレームよりも、他の階層に対応するフレームを優先して送信する
ことを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項４】
複数の階層に基づいて、動画像を構成する各フレームを符号化することが可能な画像処理方法であって、
符号化対象のフレームに対応する階層を示す情報を取得する取得工程と、
前記取得工程において取得された情報に基づいて、動画像を構成する各フレームを符号化する符号化工程と、
前記符号化工程において符号化された符号化データを送信する送信工程と
を有し、
前記複数の階層に含まれる第１の階層に対応するフレーム群によって、第１のフレームレートの動画像を構成可能であり、
前記第１の階層に対応するフレーム群と、前記第１の階層とは異なる第２の階層に対応するフレーム群とによって前記第１のフレームレートよりも高い第２のフレームレートの動画像を構成可能であり、
前記第１の階層に対応するフレーム群と、前記第２の階層に対応するフレーム群と、前記第１及び第２の階層とは異なる第３の階層に対応するフレーム群とによって前記第２のフレームレートよりも高い第３のフレームレートの動画像を構成可能であり、
前記符号化工程において、
前記取得工程において取得された情報に基づいて、
符号化対象のフレームが前記第１の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを第１のビットレート以下とするための制限を行い、
符号化対象のフレームが前記第２の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを前記第１のビットレートよりも高い第２のビットレート以下とするための制限を行い、
符号化対象のフレームが前記第３の階層に対応する場合、その符号化対象のフレームの符号化処理においては、動画像のビットレートを前記第１のビットレート以下とするための制限、及び、動画像のビットレートを前記第２のビットレート以下とするための制限を行わずに、符号化対象のフレームを符号化した符号データを伝送する通信経路の実際のビットレートである実効伝送レートを超えることを可能として、規定の符号化パラメータを用いて、前記動画像を構成する各フレームを符号化する
ことを特徴とする画像処理方法。
【請求項５】
コンピュータを、請求項１〜３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に時間階層識別子を用いた画像処理技術に関する。
【背景技術】
【０００２】
動画像の圧縮記録の符号化方式として、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣ）が知られている。ＨＥＶＣでは、動画像を低品質のものから高品質のものに階層的に符号化するスケーラブル映像符号化が拡張仕様として採用されている。スケーラブル映像符号化は、階層化される情報の種類の観点から、空間スケーラビリティ、時間スケーラビリティ、ＳＮＲ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）スケーラビリティに分類される場合がある。ここで、時間スケーラビリティとは、時間的な規模（スケール）の変化、即ち画像符号化においては単位時間ごとのフレーム数（フレームレート）に対応して、階層化する技術である。そして、階層構造であるデータの一部を切り出すことでフレームレートを調整することができる。即ち、複数のフレームレートを実現可能な動画像を作成することで、ネットワーク送信や再生（復号）処理といった、環境により異なる制限事項を考慮してフレームレートを柔軟に切り替えることができる。
【０００３】
上述した時間スケーラビリティに対応した階層符号化を実現するため、ＨＥＶＣでは、動画像の各フレームに、時間的な階層における各階層を識別するための情報を表す時間階層識別子（Ｔｅｍｐｏｒａｌ  ＩＤ）を設けて符号化することが規定されている。各階層のフレームは、設定されたＴｅｍｐｏｒａｌ  ＩＤの値、及び設定されたＴｅｍｐｏｒａｌ  ＩＤの値より小さい値のフレームを参照して再生可能な構成となっている。そして、このＴｅｍｐｏｒａｌ  ＩＤに基づいて、時間的な階層を選択し、再生（復号及び表示）を行う。
【０００４】
以下、図６（ａ）を用いて、Ｔｅｍｐｏｒａｌ  ＩＤと選択的に再生可能な動画像のフレームレートの関係を説明する。図６（ａ）には、Ｉフレーム、Ｐフレーム、又はＢフレームからなるフレームを、４つの階層に分けて示している。図６（ａ）の各階層に存在するフレームには、上から、Ｔｅｍｐｏｒａｌ  ＩＤ＝３、Ｔｅｍｐｏｒａｌ  ＩＤ＝２、Ｔｅｍｐｏｒａｌ  ＩＤ＝１、Ｔｅｍｐｏｒａｌ  ＩＤ＝０が付与されている。このようにしてＴｅｍｐｏｒａｌ  ＩＤが付与されて符号化されたフレームを、送信時および再生時にＴｅｍｐｏｒａｌ  ＩＤに基づいて選択することで、図６（ａ）では４種類のフレームレートの動画像を形成可能である。例えば、Ｔｅｍｐｏｒａｌ  ＩＤ＝０のみ（図６（ａ）の６０４で示したフレーム群）を選択した場合、フレームレートは７．５ＦＰＳ（Ｆｒａｍｅｓ  Ｐｅｒ  Ｓｅｃｏｎｄ、フレーム／秒）となる。また、Ｔｅｍｐｏｒａｌ  ＩＤ＝０と１（図６（ａ）の６０３で示したフレーム群）を選択した場合、フレームレートは１５ＦＰＳとなる。さらに、Ｔｅｍｐｏｒａｌ  ＩＤ＝０、１、２（図６（ａ）の６０２で示したフレーム群）を選択した場合、フレームレートは３０ＦＰＳとなる。そして、Ｔｅｍｐｏｒａｌ  ＩＤ＝０、１、２、３の全ての階層（図６（ａ）の６０１で示したフレーム群）を選択した場合のフレームレートは６０ＦＰＳとなる。このように、Ｔｅｍｐｏｒａｌ  ＩＤに基づいて動画像を再生する際のフレームレートを再生側で選択することができる。
【０００５】
次に、送信側においてフレームレートを制御する技術として、動画像の各フレームにフレーム間の処理の優先度を付与し、当該優先度に基づいた伝送を行う技術がある（特許文献１）。特許文献１の技術では、次のように各フレームに対応する処理の優先度を付与する。即ち、画面内参照フレーム（以下、Ｉフレーム）、画面間参照フレーム（以下、Ｐフレーム）、双方向画面間参照フレーム（以下、Ｂフレーム）といったフレームの予測形式（以下、フレームタイプ）に応じて、各フレームに対応する処理の優先度を付与する。ここで、優先度の大きさは、予測画像として使用されるフレーム間の依存関係に基づく。即ち、ＩフレームはＰフレームとＢフレームとの双方から参照されうるために、上述した３つのフレームタイプのうち最大の優先度となり、Ｂフレームは参照画像として使用されないために最低の優先度となる。そして、Ｐフレームは、Ｂフレームから参照されうるため、Ｉフレームの優先度より小さくＢフレームの優先度より大きい、中程度の優先度となる。
【０００６】
そして特許文献１の技術では、各フレームに付加した優先度に基づいて一時的にフレームを間引く（即ちフレームレートを低下させる）ことで、通信経路の伝送状況に基づいた、ビットレート制御を行う。具体的には、通信経路の伝送状況（即ち実効ビットレート）に応じて、閾値未満の低優先度のフレームを間引いて伝送する。伝送されるフレームは（１）全フレーム、（２）［優先度：高］（Ｉフレーム）及び［優先度：中］（Ｐフレーム）のみ、（３）［優先度：高］（Ｉフレーム）のみ、というように、各フレームの優先度と通信経路の伝送状況とに基づいて閾値を用いて選択される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許３５１９７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した特許文献１では、各フレームに対応するフレームタイプに基づいて付与された優先度と、通信経路の伝送状況とに基づいて、実効伝送レートを超えそうな場合に優先度のより低いフレームを切り捨てることにより、送信フレームレートを制御する。そして、優先度の数はフレームタイプの種類の数に基づいて制限されている。
【０００９】
このため、特許文献１に記載のように送信側でフレームレート制御された動画像データをＴｅｍｐｏｒａｌ  ＩＤに基づいて再生のためにフレームレートを選択する場合、以下のような課題がある。例えば、図６（ｂ）に示すようにＴｅｍｐｏｒａｌ  ＩＤ＝１の階層がＢフレームであって、且つ、各フレームタイプに対してＩフレーム［優先度：高］、Ｐフレーム［優先度：中］、Ｂフレーム［優先度：低］のように優先度が設定されていると仮定する。この場合、特許文献１の方法では、Ｔｅｍｐｏｒａｌ  ＩＤ＝１の階層に含まれるＢフレーム群は、その優先度Ｔｅｍｐｏｒａｌ  ＩＤ＝２の階層に含まれるＰフレーム群の優先度よりも低いため、送信の際に優先的に間引かれてしまう可能性がある。従って、Ｔｅｍｐｏｒａｌ  ＩＤ＝１のＢフレームが間引かれたことで、図６（ｂ）のフレーム群６１２に示した３０ＦＰＳでの正常な再生ができなくなる。
【００１０】
さらに、図６（ｂ）に示すように、フレーム群６１１のうち各フレーム６１４〜６１７は、間引かれたフレーム群６１２のＢフレームを参照フレームとしているため、再生できない。このように、Ｔｅｍｐｏｒａｌ  ＩＤ＝２のフレームが、間引かれたＴｅｍｐｏｒａｌ  ＩＤ＝１のフレームを再生する場合、Ｔｅｍｐｏｒａｌ  ＩＤ＝２の所定のフレームも再生できない。このため、このような場合に、フレーム群６１１で示した６０ＦＰＳでの正常な再生もできなくなる。このように、特許文献１では、所望のフレームレートに制御できない場合がある。
【００１１】
以上のように、特許文献１の方法を用いると、Ｔｅｍｐｏｒａｌ  ＩＤに基づいて時間スケーラビリティ符号化された動画像データを、所望のビットレートやフレームレートに制御することが難しいという課題がある。
【課題を解決するための手段】
【００１２】
上述の課題を解決するため、本発明の画像処理装置は、以下の構成を有する。即ち、複数の階層に基づいて、動画像を構成する各フレームを符号化することが可能な画像処理装置であって、符号化対象のフレームに対応する階層を示す情報を取得する取得手段と、前記取得手段によって取得された情報に基づいて、動画像を構成する各フレームを符号化する符号化手段と、前記符号化手段によって符号化された動画像の符号化データを送信する送信手段とを有し、前記複数の階層に含まれる第１の階層に対応するフレーム群によって、第１のフレームレートの動画像を構成可能であり、前記第１の階層に対応するフレーム群と、前記第１の階層とは異なる第２の階層に対応するフレーム群とによって前記第１のフレームレートよりも高い第２のフレームレートの動画像を構成可能であり、前記第１の階層に対応するフレーム群と、前記第２の階層に対応するフレーム群と、前記第１及び第２の階層とは異なる第３の階層に対応するフレーム群とによって前記第２のフレームレートよりも高い第３のフレームレートの動画像を構成可能であり、  前記符号化手段は、前記取得手段によって取得された情報に基づいて、符号化対象のフレームが前記第１の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを第１のビットレート以下とするための制限を行い、符号化対象のフレームが前記第２の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを前記第１のビットレートよりも高い第２のビットレート以下とするための制限を行い、  符号化対象のフレームが前記第３の階層に対応する場合、その符号化対象のフレームの符号化処理においては、動画像のビットレートを前記第１のビットレート以下とするための制限、及び、動画像のビットレートを前記第２のビットレート以下とするための制限を行わずに、符号化対象のフレームを符号化した符号データを伝送する通信経路の実際のビットレートである実効伝送レートを超えることを可能として、規定の符号化パラメータを用いて、前記動画像を構成する各フレームを符号化する。
【発明の効果】
【００１３】
符号化された動画像データを、通信経路の実効伝送レート及び時間階層識別子（Ｔｅｍｐｏｒａｌ  ＩＤ）を考慮して適応的なビットレート制御及びフレームレート制御を実現可能である。
【図面の簡単な説明】
【００１４】
【図１】実施形態１における符号化処理を示したフローチャート
【図２】実施形態１における各フレームレート層の説明図
【図３】実施形態２における符号化処理を示したフローチャート
【図４】実施形態２における各フレームレート層の説明図
【図５】実施形態１及び実施形態２に係る動画像送受信システムの構成例を示すブロック図
【図６】従来例における時間階層識別子と各フレームレート階層とに係る説明図
【図７】実施形態１における動画像送信装置５００の構成例を示すブロック図
【図８】画像処理装置に適応可能なコンピュータのハードウェアの構成例を示すブロック図
【図９】ビットレートの遷移の一例を示す図
【図１０】実施形態１におけるビットレートの遷移の一例を示す図
【図１１】各フレームの符号化難易度と符号化データの関係を示す図
【発明を実施するための形態】
【００１５】
以下、添付の図面を参照して、本発明をその実施形態の一例に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
【００１６】
（実施形態１）
以下、本実施形態に係る画像処理装置について、図面を参照して説明する。まず、本実施形態における画像処理システムの構成について、図５を用いて説明する。図５は、撮影した動画像に対応する動画像データを、通信経路を介して送信し、これを受信した装置側で表示を行うための動画像送受信システムの機能ブロック図であり、動画像送信装置５００と、動画像受信装置５１０とを含む。尚、図５の各処理部（５０１〜５０３、５１１〜５１３）は、１つの物理的な回路によって構成されていてもよいし、複数の回路（ハードウェア）で構成されていてもよい。また、いくつかの処理部を統合して１つの回路としてもよい。
【００１７】
動画像送信装置５００は、本実施形態における画像処理装置の一例である。動画像送信装置５００においてカメラ等の撮像部５０１は、被写体を撮影して動画像データを作成し、符号化部５０２へ出力する。撮像部５０１は、所定時間毎にフレーム単位で画像を撮像し、複数のフレームで構成される動画像データを生成する。そして、符号化部５０２は、Ｈ．２６４やＨＥＶＣ等の動画像符号化方式で、撮像部５０１によって作成された動画像データを圧縮して符号化データを生成し、ネットワーク送信部５０３へ出力する。ネットワーク送信部５０３は、符号化部５０２によって出力された符号化データを、通信経路を介して動画像受信装置５１０に転送する。
【００１８】
次に、動画像受信装置５１０において、ネットワーク受信部５１１は符号化データを受信し、復号部５１２へ出力する。復号部５１２は、ネットワーク受信部５１１から出力された符号化データに復号（伸長）処理を施し、動画像データを生成（再生）する。そして、表示制御部５１３は、復号部５１２によって生成された動画像データを、ＴＶ受信機やＰＣモニタ、携帯機器のディスプレイ等に可視画像として表示させるよう制御する。尚、図示していないが、動画像送信装置５００及び動画像受信装置５１０は、それぞれ記憶装置を有し、この記憶装置を各種設定用の記憶領域や一時記憶用のバッファ領域として使用しながら処理を進める。
【００１９】
符号化部５０２によって符号化された後の動画像データのデータ量は、符号化時に用いられた量子化パラメータ（ＱＰ：Ｑｕａｎｔｉｚａｔｉｏｎ  Ｐａｒａｍｅｔｅｒ）等の符号化パラメータ（画質設定）により変動する。尚、符号化時に用いるＱＰの値が大きいほど量子化ステップが大きくなるため、符号化された符号データのデータ量（符号量）は小さくなるが、画質劣化（低下）が大きくなる。一方、符号化時に用いるＱＰの値が小さいほど、画質劣化が小さくなるが、符号データのデータ量は大きくなる。
【００２０】
また、仮に符号化時に用いる符号化パラメータを固定にしたとしても、符号化対象の動画像の内容に依存した予測のし易さ（符号化難易度）に従って、符号化された動画像データのデータ量は変動する。以下、図１１を用いて、符号化パラメータを固定にしたときの符号化難易度と符号化データの関係を示す。図１１のグラフは横軸に時間（符号化対象の動画像のフレーム番号）を、縦軸に動画像の１フレームあたりのデータ量を示している。時刻＃１においては、符号化対象の動画像の符号化難易度が低い。このように、符号化難易度が低い動画像は、各画素間の時間的・空間的な相関が高く、予測しやすいため、符号化パラメータを固定して符号化した動画像データのデータ量が低いという特徴がある。その後、図１１の例では、動画像の符号化処理時間が経過するにつれて処理対象のフレームの画像の内容が変化し、時刻♯１以降で符号化難易度が上昇することを示している。そして、図１１は、時刻＃６において最も高い符号化難易度となることを示す。このように、符号化難易度が高い動画像は、各画素間の時間的・空間的な相関が低く、予測し難いため、符号化パラメータを固定して符号化した動画像データのデータ量は大きくなるという特徴がある。以降、時刻＃１３まで、動画像の符号化難易度は低下し、符号化パラメータを固定して符号化した時のデータ量も低下していく。このように、入力される動画像の符号化難易度は動画像の特性（絵柄）に応じて変動するため、所望のデータ量を得るためには動画像の特性の変化に応じて符号化パラメータを変更して符号化する必要がある。例えば通信経路において最大のビットレート（単位時間当たりのデータ量）が制限されている場合には、動画像の符号化難易度が上昇した時にはビットレートの増大を抑制するために、符号化パラメータを調節する必要が生じる。
【００２１】
加えて、通信経路の実際の伝送ビットレート（実効伝送レート）は、通信経路の混雑状況、又は無線通信であれば電波状況のような環境要因によって、変動する可能性がある。例えば、通信経路の実効伝送レートが符号化後の動画像データのビットレートを下回る場合、動画像送信装置５００は、動画像データを符号化した符号データを伝送することができない。この場合、受信側の表示制御部５１３によって表示を制御される表示部５２０は、通信経路の実効伝送レートが動画像データのビットレート以上に回復するまでの間、何も再生されないか、部分的に途切れた動画像データしか再生できないといった状況が生じる。
【００２２】
尚、表示部５２０は、図５において動画像受信装置５１０の外部に構成されているが、これに限定されず、動画像受信装置５１０の内部に構成されていてもよい。次に、図２を用いて本実施形態において符号化される動画像データのフレーム構成について説明する。図２には、Ｉフレーム、Ｐフレーム、及びＢフレームが、３つの階層（Ｔｅｍｐｏｒａｌ  ＩＤ＝０、１、２）に分けて示されている。ここで、Ｔｅｍｐｏｒａｌ  ＩＤとは、動画像の各フレームに付与されている、時間的な階層における各階層を識別するための情報である時間階層識別子（時間的な階層の識別子）のことである。また、図中の矢印は、フレーム間の予測の方向（即ち、当該フレームが予測のために参照するフレーム）を示している。尚、動画像符号化方式としてＨＥＶＣを用いた場合、複数のＩフレームを跨いだ予測が可能である。このため、フレーム間予測に際しては、Ｉフレームではなく、予測の自由度を制限されたＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ）フレームを用いるのが好ましい。ただし本実施形態では、ＩフレームとＩＤＲフレームとを区別せず、便宜的にどちらもＩフレームと記述する。
【００２３】
図２に示すように、各フレームは時間順（再生順）に、フレーム２０１（Ｉフレーム、以下Ｉと略記）、フレーム２０２（Ｂフレーム、以下Ｂと略記）、フレーム２０３（Ｐフレーム、以下Ｐと略記）と続く。以下、フレーム２０４（Ｂ）、２０５（Ｐ）、２０６（Ｂ）、２０７（Ｐ）、２０８（Ｂ）、２０９（Ｐ）、２１０（Ｂ）、２１１（Ｐ）、２１２（Ｂ）、２１３（Ｐ）の順となる。全てのフレームには、当該フレームの属する時Ｔｅｍｐｏｒａｌ  ＩＤが付与される。本実施形態においては、各フレーム２０２、２０４、２０６、２０８、２１０、及び２１２には、それぞれＴｅｍｐｏｒａｌ  ＩＤ＝２が付与されている。また、各フレーム２０３、２０７、及び２１１にはそれぞれＴｅｍｐｏｒａｌ  ＩＤ＝１が付与され、各フレーム２０１、２０５、２０９、及び２１３にはそれぞれＴｅｍｐｏｒａｌ  ＩＤ＝０が付与されている。
【００２４】
次に、動画像データを所定の時間的階層を境界として、低フレームレート層又は高フレームレート層の何れかに分類する階層選択処理について説明する。本実施形態では、Ｔｅｍｐｏｒａｌ  ＩＤ＝０（最小値）であるフレーム群の階層である低フレームレート層２１４に分類し、全て（Ｔｅｍｐｏｒａｌ  ＩＤ＝０、１、２）のフレームを含めた階層を高フレームレート層２１５に分類する。尚、本実施形態では、低フレームレート層２１４と高フレームレート層とを区別するためのＴｅｍｐｏｒａｌ  ＩＤの閾値（時間的階層閾値）は０に規定される。即ち、Ｔｅｍｐｏｒａｌ  ＩＤが閾値０以下であるフレームを、低フレームレート層２１４に分類する。ここで、Ｔｅｍｐｏｒａｌ  ＩＤが閾値１より小さいフレームを、低フレームレート層２１４に分類するように制御しても構わない。
【００２５】
本実施形態では低フレームレート層は１つのＴｅｍｐｏｒａｌ  ＩＤの層から構成され、高フレームレート層は３つのＴｅｍｐｏｒａｌ  ＩＤの層から構成されるが、これに限定されない。即ち、各フレームレート層を複数のＴｅｍｐｏｒａｌ  ＩＤの層で構成してもよいし、１つのＴｅｍｐｏｒａｌ  ＩＤの層で構成しても構わない。例えば、図２のＴｅｍｐｏｒａｌ  ＩＤ≦１の層を低フレームレート層、Ｔｅｍｐｏｒａｌ  ＩＤ＝２の層を高フレームレート層にしてもよい。尚、閾値の決定方法は、外部からユーザが指定するものでもよいし、所定のアルゴリズムを用いて決定してもよいし、予め決定しておいた所定値としてもよい。また、動画像送信装置５００と動画像受信装置５１０との間の通信経路の実効伝送レートに関する情報、及び／又は動画像受信装置５１０の処理能力に関する情報に基づいて、各フレームレート層を分類する閾値を決定しても構わない。尚、動画像送信装置５００と動画像受信装置５１０との間の通信経路の実効伝送レートに関する情報、及び動画像受信装置５１０の処理能力に関する情報は、動画像送信装置５００及び／又は動画像受信装置５１０で測定した値に基づく情報であってもよい。また、動画像送信装置５００及び動画像受信装置５１０の外部の装置（不図示）で測定した値に基づく情報であっても構わない。
【００２６】
次に、図１及び図７を用いて、本実施形態における動画像データのフレーム単位の符号化処理を説明する。図７は、本実施形態における動画像送信装置５００の各処理部を示す機能ブロック図である。図１は、本実施形態における動画像送信装置５００で実行される符号化処理の手順を示すフローチャートである。図１に示すフローチャートの処理は、撮像部５０１による動画の撮影が開始された後に開始される。
【００２７】
符号化処理が開始されると、符号化部５０２のフレーム取得部７０１は、撮像部５０１が撮影した動画像データに対応する符号化対象のフレームを、動画像送信装置５００の記憶装置（不図示）から取得する（ステップＳ１０１）。尚、フレーム取得部７０１は、複数のフレームを保持可能なバッファを含んでもよい。また、本実施形態において符号化部５０２のフレーム取得部７０１は、図２に示す各フレームを、次のように符号化順で取得する。即ち、フレーム取得部７０１は、フレーム２０１（Ｉ）、２０３（Ｐ）、２０２（Ｂ）、２０５（Ｐ）、２０４（Ｂ）、２０７（Ｐ）、２０６（Ｂ）、２０９（Ｐ）、２０８（Ｂ）、２１１（Ｐ）、２１０（Ｂ）、２１３（Ｐ）、２１２（Ｂ）の順番で取得する。このように、符号化部５０２によって取得されるフレームの順番は、図２に示す時間順（再生順）とは異なり、符号化順となる。これは、Ｂフレームは時間的に後方となるフレームを参照フレームとし、当該参照フレームの符号化後でないと符号化できないためである。
【００２８】
次に、符号化部５０２の属性情報取得部７０２は、ステップＳ１０１において取得された符号化対象のフレームに付与されたＴｅｍｐｏｒａｌ  ＩＤを、記憶装置（不図示）から読み出す（取得する）（ステップＳ１０２）。尚、ステップ１０２において属性情報取得部７０２は、フレーム取得部７０１に入力された動画像データのフレームの順番で符号化対象のフレームを読み出してもよく、これに限定されない。即ち、属性情報取得部７０２は、動画像データの各フレームの再生順序及び符号化順序に基づいて、フレーム取得部７０１に入力された順序を並び替えた順番で、符号化対象のフレームを読み出しても構わない。
【００２９】
次に、符号化部５０２の属性情報取得部７０２は、ステップＳ１０２で読み出した符号化対象のフレームに対応するＴｅｍｐｏｒａｌ  ＩＤと、閾値（時間的階層閾値）と、を比較（判定）する（ステップＳ１０３）。このステップＳ１０３の処理により属性情報取得部７０２は、符号化対象のフレームのＴｅｍｐｏｒａｌ  ＩＤに基づいて、図２に示す低フレームレート層２１４と高フレームレート層のうち何れかを、符号化対象のフレームが属するフレーム群として取得できる。そして符号化部５０２は、ステップＳ１０３においてＴｅｍｐｏｒａｌ  ＩＤが時間的階層閾値以下であると判定された場合にステップＳ１０４の処理へ進む。また符号化部５０２は、ステップＳ１０３においてＴｅｍｐｏｒａｌ  ＩＤが時間的階層閾値より大きいと判定された場合にステップＳ１０５の処理へ進む。
【００３０】
ステップＳ１０４で符号化部５０２のパラメータ決定部７０３は、符号化時のビットレートが、低フレームレート層に対応する所定のビットレート（目標ビットレート）より小さくなるよう、符号化対象のフレームの符号化に用いる符号化パラメータを決定する。符号化パラメータとしては、フレームに設定する量子化パラメータの値を指定してもよいし、それ以外の、符号化後のデータ量に影響を与えるパラメータを設定してもよい。また、パラメータ決定部７０３は、符号化時のビットレートが、目標ビットレートと等しくなるように、符号化対象のフレームの符号化に用いる符号化パラメータを決定してもよい。即ち、符号化時のビットレートが、目標ビットレート以下であるように制御しても構わない。
【００３１】
また、本実施形態において目標ビットレートは、動画像送信装置５００が符号化対象のフレームを符号化した後、動画像受信装置５１０へ転送する際の通信経路における実効伝送レートに基づく値とするが、これに限定されない。即ち、目標ビットレートは、動画像受信装置５１０において動画像を再生している際の状況に基づく値、ユーザによる指示によって設定された目標画質に基づく値、及び動画像受信装置５１０内のバッファ（不図示）の残容量に基づく値であってもよい。また、目標ビットレートは、ネットワーク送信部５０３に含まれる送信バッファ（不図示）の蓄積量（充填率）に基づく値でも構わない。尚、目標ビットレートは、上述した値のうち少なくとも一つに基づく値であってもよいし、複数の条件に基づく値であってもよいし、上述以外の値でも構わない。例えば、目標ビットレートは、通信経路の伝送状況に基づいて実効伝送レートの最小値であってもよいし、動画像の再生を保証する最小限のビットレートであってもよい。また、本実施形態においてパラメータ決定部７０３は、復号部５１２によって復号処理可能な最大のビットレート等、動画像を受信して復号及び再生する処理部の制約に基づいて決定された目標ビットレートを用いても構わない。
【００３２】
一方、ステップＳ１０５において符号化部５０２のパラメータ決定部７０３は、符号化対象のフレームを符号化するために用いる符号化パラメータを規定の値に決定する。即ち、本実施形態のステップＳ１０５では、高フレームレート層２１５に属するフレームのビットレートの制御を行わず（当該符号化パラメータは変更されず）、符号化対象のフレームの符号化パラメータは既定の値に設定される。尚、ステップＳ１０５において設定される規定の値は、低フレームレート層のフレームの符号量より大きい値であれば構わない。
【００３３】
そして、データ符号化部７０４は、ステップＳ１０４又はステップＳ１０５でパラメータ決定部７０３によって決定された符号化パラメータを用いて、フレーム取得部７０１によって取得された符号化フレームを符号化する（ステップＳ１０６）。そして、符号化部５０２は、符号化対象のフレームが動画像データの最終フレームではない場合（ステップＳ１０７のＮｏ）、ステップＳ１０１に戻り、次のフレームの符号化処理に移行する。以上の各ステップＳ１０１からステップＳ１０６までの処理を、動画像データの最終フレームの符号化が完了したと判定されるまで繰り返し、最終フレームの符号化が完了したら（ステップＳ１０７のＹｅｓ）、動画データの符号化処理を終了する。
【００３４】
次に、図１のフローチャートで制御されるビットレートの遷移の一例を、図９に示す。尚、符号化対象の動画像データのフレーム構成は、図２に示すものとする。図９において、横軸は各フレームを再生する再生時刻を示し、縦軸は各フレームの符号化時のビットレートを示す。図２におけるフレーム２０１は図９における時刻Ｔ１のフレームに対応し、以下順番にそれぞれ、図２におけるフレーム２０２は図９における時刻Ｔ２のフレームに、図２におけるフレーム２１３は図９における時刻Ｔ１３のフレームに対応する。尚、図９ではＴｅｍｐｏｒａｌ  ＩＤを単にＩＤと表記している。
【００３５】
例えば、時刻Ｔ５におけるフレーム２０５はＴｅｍｐｏｒａｌ  ＩＤ＝０（時間的階層閾値＝０以下）であるため、符号化部５０２のパラメータ決定部７０３は、図１のステップＳ１０３においてＹｅｓと判定する。次に符号化部５０２のパラメータ決定部７０３はステップ１０４において、指定されたビットレート、即ち本実施形態では図９の点線で示される実効伝送レートに収まるように符号化パラメータを設定する。
【００３６】
続く時刻Ｔ６におけるフレーム２０６はＴｅｍｐｏｒａｌ  ＩＤ＝２（時間的階層閾値＝０より大きい）であるため、パラメータ決定部７０３は、ステップＳ１０３においてＮｏと判定し、ステップＳ１０５において符号化パラメータを規定の値にする。即ち、ビットレートの制御を行わずにフレームを符号化する。
【００３７】
時刻Ｔ７からはネットワークの状況が変化し、実行伝送レートが低下する。ただし時刻Ｔ７のフレーム２０７、及び時刻Ｔ８のフレーム２０８はそれぞれＴｅｍｐｏｒａｌ  ＩＤ＝１、２であるため、フレーム２０６と同様にステップＳ１０５でビットレートの制御を行わずにフレームを符号化する。続く時刻Ｔ９のフレーム２０９はＴｅｍｐｏｒａｌ  ＩＤ＝０のため、フレーム２０５と同様、ステップＳ１０４で実効伝送レート（この時点で時刻Ｔ５の時の実行伝送レートより小さい値になっている）に収まるように符号化パラメータを設定する。
【００３８】
図１に示すフローチャートの処理によって、図９に示すように、時間的階層閾値以下のＴｅｍｐｏｒａｌ  ＩＤを有す階層に属するフレームは、符号化時のビットレートが実効伝送レートを超えないように制御する。また、時間的階層閾値より大きいＴｅｍｐｏｒａｌ  ＩＤを有す階層（高フレームレート層）に属するフレームは、符号化時のビットレートが実効伝送レートを超えることを許容し、ビットレートの制御を行わない。そして、符号化時のビットレートが実効伝送レートを超えたフレームは、通信経路の状況や動画受信装置５１０の処理状況に応じて動画送信装置５００によって送信されない、又は動画受信装置５１０によって再生されないとすることが可能である。具体的には、符号化後の各フレームのデータに、ネットワーク送信部５０３で、所望のネットワーク送信方式に応じて、Ｔｅｍｐｏｒａｌ  ＩＤに対応した優先順位を付与する。通常、ネットワーク経由で伝送されるデータはパケットと呼ばれるデータの集合単位で扱われ、各パケットは優先順位を表わすヘッダ情報を持つ。ネットワーク内のデータの送受信、即ちパケットの受け渡しは付与された優先順位の高いパケットを優先して実行される。ネットワーク送信部５０３、ネットワーク受信部５１１が付与された優先順位に応じてパケットの送受信を制御することで、通信経路の状況に応じたフレームデータの伝送制御が可能となる。即ち、ネットワークが混雑しているような状況下で、低優先度（Ｔｅｍｐｏｒａｌ  ＩＤが大）のフレームの送受信を抑制することが可能となる。これにより、局所的には（高フレームレート層に属するフレームは）、符号化時のビットレートが実効伝送レートを超えつつも、通信経路の状況や受信側の処理状況に応じて、送信及び受信可能なフレームレート層を適切に選択することができる。
【００３９】
尚、本実施形態において、高フレームレート層に属するフレームは、通信経路の状況や受信側の処理状況に応じて、動画像送信装置５００によって送信するかしないかを決定したが、これに限定されない。即ち、動画像送信装置５００は、通信経路の状況や受信側の処理状況に応じて、当該フレームを送信するタイミングを制御しても構わない。例えば、動画像送信装置５００が、通信経路が所定より混雑していないタイミングや、受信側の処理状況に余裕のあるタイミングに、高フレームレート層に属するフレームを送信するように制御しても構わない。また、動画像受信装置５１０が、高フレームレート層に属するフレームを受信するか否かを決定してもよいし、受信した後に復号及び再生するか否かを決定しても構わない。さらに、動画像受信装置５１０は、高フレームレート層に属するフレームを受信するタイミングを、通信経路の混雑状況や受信側の処理状況に応じて制御しても構わない。
【００４０】
尚、本実施形態において、高フレームレート層に属するフレームを図１のステップＳ１０５でビットレート制御を行わないとしたが、これに限定されない。例えば、図９の時刻Ｔ６〜Ｔ８において、ビットレートを制御せずに符号化パラメータを規定の値に設定していたが、図１０のように、ビットレートの最大値（最大伝送レート）を設定し、これを超えないように制御しても構わない。図１０の例では、低フレームレート層で最大となるビットレート（実効伝送レート）より大きな値（最大伝送レート）を高フレームレート層において最大となるビットレートとする。そして、高フレームレート層におけるビットレートが最大伝送レートに収まるようなパラメータ制御をステップＳ１０５において行う。即ち、高フレームレート層においても、低フレームレート層のビットレートより大きな値によるビットレート制御を行う。ここでの最大伝送レートは、例えば、ネットワーク通信路の理想的な上限値等が考えられる。このように制御を行うことで、高フレームレート層におけるビットレートを、ネットワークの状態が良好な時に確実に送信可能な値に収めることが可能となる。
【００４１】
本実施形態により、符号化された動画像データを、通信経路の実効伝送レート及びＴｅｍｐｏｒａｌ  ＩＤを考慮して適応的なビットレート制御及びフレームレート制御を実現可能である。
【００４２】
本実施形態により、動画像送受信システムは、Ｔｅｍｐｏｒａｌ  ＩＤの値に基づいて、符号化対象のフレームが属するフレームレート層（高フレームレート層又は低フレームレート層）を選択し、伝送や再生を行うことができる。
【００４３】
また、本実施形態において動画像送信装置５００は、符号化対象のフレームが属するフレームレート層に基づいて、符号化時に用いる符号化パラメータを決定することにより、ビットレート制御することができる。このため、動画像送信装置５００は、動画像受信装置５１０との間の通信経路の実効伝送レート、及び動画像受信装置５１０の処理能力に応じて、送信及び受信可能なフレームレート層を適切に選択することが可能となる。
【００４４】
また、本実施形態のような制御を行わず、Ｔｅｍｐｏｒａｌ  ＩＤの異なる階層であっても、フレームタイプが同じであれば同じ優先度で間引いた場合、次のような問題が生じるかもしれない。例えば、図６（ｂ）のＴｅｍｐｏｒａｌ  ＩＤ＝１の階層のＢフレームとＴｅｍｐｏｒａｌ  ＩＤ＝２の階層のＢフレームとが同じ優先度で間引いてしまうと、Ｔｅｍｐｏｒａｌ  ＩＤ＝１、２に関して３０ＦＰＳ、６０ＦＰＳが得られない。また、優先度の数はフレームタイプ（フレーム予測形式）の種類の数に制限されるため、初ものビットレートやフレームレートに制御することが難しい。しかしながら、本実施形態によりＴｅｍｐｏｒａｌ  ＩＤと通信経路の状況に基づいて符号化パラメータを設定し、ビットレートを制御することができる。これにより、Ｔｅｍｐｏｒａｌ  ＩＤを考慮して所望のフレームレートに制御しつつ、所望のビットレートに制御することができる。例えば、符号化対象のフレームのビットレートが通信経路の実効伝送レートを超えそうな場合に、優先度の低いフレームごと全て切り捨てなくても、Ｔｅｍｐｏｒａｌ  ＩＤに基づいて符号化パラメータを調整することによりビットレート制御することができる。
【００４５】
尚、本実施形態において符号化部５０２は、高フレームレート層２１５に含まれる各フレームを、常に一定の符号化パラメータで符号化するものとするが、高フレームレート層２１５のビットレート制御の方法に関しては限定されない。即ち、ステップＳ１０５においてパラメータ決定部７０３は、低フレームレート層２１４に含まれる各フレームのビットレートより、高フレームレート層２１５に含まれる各フレームのビットレートの方が高くなるように、符号化パラメータを設定すれば構わない。また、高フレームレート層２１５に含まれる各フレームの符号化パラメータを、動画像送信装置５００と動画像受信装置５１０との間の通信経路のベストエフォート時のビットレート（最大伝送レート）に基づいて決定してもよい。また、動画像の（画質）品質を維持するのに十分なビットレートを所定の方法で取得し、取得したビットレートに基づいて高フレームレート層２１５に含まれる各フレームの符号化パラメータを設定するなどしてもよい。
【００４６】
また、本実施形態においてネットワーク送信部５０３は、動画像送信装置５００と動画像受信装置５１０との間の通信経路の実効伝送レートに応じて、送信する対象となるフレームレート層を決定する。即ち、通信経路の実効伝送レートが低下している状況下においては、高フレームレート層２１５の送信を行わず、低フレームレート層２１４のみを伝送する制御を行う。尚、動画像データの伝送の制御方法はこれに限定されるものではない。例えば、ネットワーク送信部５０３は常に高フレームレート層２１５まで送信し、ネットワーク受信部５１１が受信したフレームのＴｅｍｐｏｒａｌ  ＩＤに基づいて低フレームレート層２１４のフレームのみを選択して受信するようにしてもよい。即ち、ネットワーク送信部５０３は、通信経路の実効伝送レートに依存せずに、高フレームレート層２１５まで送信するようにしてもよい。また、ネットワーク送信部５０３は伝送する動画像データ（パケット）に、Ｔｅｍｐｏｒａｌ  ＩＤに基づく優先度に関する属性情報を付加して動画像受信装置５１０へ送信しても構わない。例えば、Ｔｅｍｐｏｒａｌ  ＩＤに基づく優先度は、Ｔｅｍｐｏｒａｌ  ＩＤの値が低いフレームを高優先度、Ｔｅｍｐｏｒａｌ  ＩＤの値が高いフレームを低優先度となるように決定されてもよい。
【００４７】
また、本実施形態において、図１のステップＳ１０３において符号化対象のフレームに対応するＴｅｍｐｏｒａｌ  ＩＤと比較する所定の閾値を、時間的階層閾値＝０としたが、これに限定されず、当該時間的階層閾値とは異なる閾値としてもよい。
【００４８】
また、本実施形態では、通信経路上の実効伝送レートに基づく制御方法について説明したが、通信経路上の実効伝送レートに限定されない。即ち、動画像受信装置５１０において受信された所定時間当たりのデータ量を計測して動画像送信装置８００にフィードバックするようにして動画像送信装置５００がこれに基づき符号化パラメータを決定してもよい。また、動画像送信装置８００において出力された所定時間当たりの符号化データのデータ量を計測したり、送信バッファの容量から送信された符号化データのデータ量を算出したりし、これに基づき符号化パラメータを決定してもよい。
【００４９】
（実施形態２）
上述した実施形態１では、動画像データの各フレームは低フレームレート層と高フレームレート層との２層のうち何れかに割り当てられていた。本実施形態では、３つ以上に分割されたフレームレート層を用いて動画像データの各フレームを当該３つ以上のフレームレート層の何れかに割り当てられる場合の、各フレームのビットレートを制御する。本実施形態に係る動画像送受信システムの構成に関しては、実施形態１と同じく図５の構成を利用できるため、ここでの説明を省略する。
【００５０】
まず、図４を用いて本実施形態における動画像のフレーム構成について説明する。図４の各フレーム４０１〜４１３は、それぞれ対応する図２の各フレーム２０１〜２１３と同様であるため、ここでの説明を省略する。同様に、低フレームレート層４１４及び高フレームレート層４１５の説明に関しても、それぞれ図２の低フレームレート層２１４及び高フレームレート層２１５と同様であるため、ここでの説明を省略する。尚、本実施形態では、低フレームレート層４１４と高フレームレート層４１５とに加え、Ｔｅｍｐｏｒａｌ  ＩＤ＝０、１を有するフレーム群の階層である中間フレームレート層４１６を用いる。また、本実施形態では、低フレームレート層４１４を区別するためのＴｅｍｐｏｒａｌ  ＩＤの第１の閾値（第１の時間的階層閾値）は０に規定される。また、中間フレームレート層４１６を区別するためのＴｅｍｐｏｒａｌ  ＩＤの第２の閾値（第２の時間的階層閾値）は１に規定される。即ち、Ｔｅｍｐｏｒａｌ  ＩＤが第１の閾値（０）以下であるフレームを低フレームレート層４１４に分類し、Ｔｅｍｐｏｒａｌ  ＩＤが第１の閾値より大きく且つ第２の閾値（１）以下であるフレームを中間フレームレート層４１６に分類する。
【００５１】
本実施形態において各フレームレート層は、それぞれ１つのＴｅｍｐｏｒａｌ  ＩＤから構成されるが、これに限定されるものではなく、１つのフレームレート層を複数のＴｅｍｐｏｒａｌ  ＩＤの層で構成してもよい。また、本実施形態において中間フレームレート層は１つとし、３つのフレームレート層に各フレームを割り当てたが、これに限定されるものではなく、複数の中間フレームレート層を用いて、４つ以上のフレームレート層に各フレームを割り当ててもよい。例えば、図６に示すように、フレーム群６０２（Ｔｅｍｐｏｒａｌ  ＩＤ≦１）とフレーム群６０３（Ｔｅｍｐｏｒａｌ  ＩＤ≦２）との２つの層を、中間フレームレート層としてもよい。尚、閾値の決定方法は、外部からユーザによる指示に基づいて決定してもよいし、所定のアルゴリズムに基づいて決定してもよいし、予め決定しておいた所定値を用いてもよい。
【００５２】
本実施形態では、低フレームレート層４１４及び中間フレームレート層４１６を、目標ビットレートに合わせて固定のビットレートで符号化を行う。即ち、本実施形態において、低フレームレート層４１４は、第１の目標ビットレートに基づく固定のビットレートで符号化し、中間フレームレート層４１６は、第２の目標ビットレートに基づく固定のビットレートで符号化する。尚、本実施形態において、低フレームレート層４１４に設定する第１の目標ビットレート、及び高フレームレート層４１５に設定する第３の目標ビットレートは、実施形態１における目標ビットレートとそれぞれ等しいため、ここでの説明を省略する。
【００５３】
ここで、中間フレームレート層４１６に設定される第２の目標ビットレートは、中間フレームレート層４１６のフレームレートより低いフレームレートを実現する低フレームレート層４１４の目標ビットレート（第１の目標ビットレート）より高い値とする。さらに、中間フレームレート層４１６に設定される第２の目標ビットレートは、中間フレームレート層４１６のフレームレートより高いフレームレートを実現する高フレームレート層４１５の目標ビットレート（第２の目標ビットレート）より低い値とする。即ち、本実施形態において、各フレームレート層４１４〜４１６に設定される各目標ビットレートは、第１の目標ビットレート＜第２の目標ビットレート＜第３の目標ビットレートという関係になる。各目標ビットレートの具体的な設定値に関しては、特に限定されず、例えば、第１の目標ビットレート、第２の目標ビットレート、第３の目標ビットレート、の順に、１０Ｍｂｐｓ、２０Ｍｂｐｓ、４０Ｍｂｐｓと段階的にする等が考えられる。
【００５４】
次に、図３のフローチャートを用いて、本実施形態における動画像送信装置５００で実効される、動画像データのフレーム単位での符号化処理について説明する。尚、図３の各ステップＳ１０１〜１０２、１０６〜１０７の処理は、それぞれ実施形態１におけるそれと同様であるため、ここでの説明を省略する。また、本実施形態の図３に示すフローチャートの処理は、図１と同様に、撮像部５０１による動画の撮影が開始された後に開始される。
【００５５】
各ステップＳ１０１〜１０２の処理後、符号化部５０２の属性情報取得部７０２は、ステップＳ１０２で読み出した符号化対象のフレームに対応するＴｅｍｐｏｒａｌ  ＩＤと、第１の閾値（時間的階層閾値）と、を比較する（ステップＳ３０３）。このステップＳ３０３の処理により属性情報取得部７０２は、符号化対象のフレームのＴｅｍｐｏｒａｌ  ＩＤに基づいて、符号化対象のフレームが図４に示す低フレームレート層４１４に属すか否かを判定することができる。ここで、符号化対象のフレームのＴｅｍｐｏｒａｌ  ＩＤが第１の閾値以下であると判定された場合（ステップＳ３０３のＹｅｓ）、符号化部５０２は符号化対象のフレームを低フレームレート層４１４に属するフレームとして、ステップＳ３０４の処理へ進む。一方、符号化対象のフレームのＴｅｍｐｏｒａｌ  ＩＤが第１の閾値より大きいと判定された場合（ステップＳ３０３のＮｏ）、符号化部５０２は符号化対象のフレームを低フレームレート層４１４以外の層に属するフレームとし、ステップＳ３０５の処理へ進む。
【００５６】
ステップＳ３０４において符号化部５０２のパラメータ決定部７０３は、符号化対象のフレームの符号化時のビットレートが、予め指定された第１の目標ビットレートより小さくなるように、符号化対象のフレームの符号化に用いる符号化パラメータを決定する。
【００５７】
また、ステップＳ３０５において属性情報取得部７０２は、符号化対象のフレームが低フレームレート層以外のフレームレート層に属すると判断し、符号化対象のフレームのＴｅｍｐｏｒａｌ  ＩＤと、第２の閾値（時間的階層閾値）と、を比較する。ここで、符号化対象のフレームのＴｅｍｐｏｒａｌ  ＩＤが第２の閾値以下であると判定された場合（ステップＳ３０５のＹｅｓ）、符号化部５０２は符号化対象のフレームを中間フレームレート層４１６に属するフレームとして、ステップＳ３０６の処理を行う。一方、符号化対象のフレームのＴｅｍｐｏｒａｌ  ＩＤが第２の閾値より大きいと判定された場合（ステップＳ３０５のＮｏ）、符号化部５０２は符号化対象のフレームを高フレームレート層４１５に属するフレームとして、ステップＳ３０７の処理へ進む。
【００５８】
ステップＳ３０６において符号化部５０２のパラメータ決定部７０３は、符号化対象のフレームの符号化時のビットレートが、予め指定された第２の目標ビットレートより小さくなるように、符号化対象のフレームの符号化に用いる符号化パラメータを決定する。また、ステップＳ３０７にて符号化部５０２のパラメータ決定部７０３は、符号化対象のフレームの符号化時のビットレートが、予め指定された第３の目標ビットレートより小さくなるよう、符号化対象のフレームの符号化に用いる符号化パラメータを決定する。符号化パラメータとしては、フレームに設定する量子化パラメータの値を指定してもよいし、それ以外の、符号化後のデータ量に影響を与えるパラメータを設定してもよい。
【００５９】
そして、データ符号化部７０４は、ステップＳ３０４、Ｓ３０６乃至Ｓ３０７のいずれかで、パラメータ決定部７０３によって決定された符号化パラメータを用いて、フレーム取得部７０１によって取得された符号化フレームを符号化する（ステップＳ１０６）。そして符号化部５０２は、上述の各ステップＳ１０１〜１０２、Ｓ３０３〜Ｓ３０７、Ｓ１０６の処理を、ステップＳ１０７において動画像データの最終のフレームの符号化が完了したと判定するまで繰り返す。
【００６０】
尚、本実施形態において、高フレームレート層又は中間フレームレート層に属するフレームは、通信経路の状況や受信側の処理状況に応じて、動画像送信装置５００によって送信するかしないかを決定したが、これに限定されない。即ち、動画像送信装置５００は、通信経路の状況や受信側の処理状況に応じて、当該フレームを送信するタイミングを制御しても構わない。例えば、動画像送信装置５００が、通信経路が所定より混雑していないタイミングや、受信側の処理状況に余裕のあるタイミングに、高フレームレート層又は中間フレームレート層に属するフレームを送信するように制御しても構わない。また、動画像受信装置５１０が、高フレームレート層又は中間フレームレート層に属するフレームを受信するか否かを決定してもよいし、受信した後に復号及び再生するか否かを決定しても構わない。さらに、動画像受信装置５１０は、高フレームレート層又は中間フレームレート層に属するフレームを受信するタイミングを、通信経路の混雑状況や受信側の処理状況に応じて制御しても構わない。
【００６１】
本実施形態により、符号化された動画像データを、通信経路の実効伝送レート及びＴｅｍｐｏｒａｌ  ＩＤを考慮して適応的なビットレート制御及びフレームレート制御を実現可能である。また、本実施形態により、送信部と複数の受信部を結ぶ各ネットワーク経路でそれぞれ異なる実効伝送レートに応じたビットレート制御を実現可能である。
【００６２】
本実施形態により、動画像送受信システムは、Ｔｅｍｐｏｒａｌ  ＩＤの値に基づいて、符号化対象のフレームが属するフレームレート層（高フレームレート層又は低フレームレート層）を選択し、伝送や再生を行うことができる。
【００６３】
また、本実施形態において動画像送信装置５００は、符号化対象のフレームが属するフレームレート層に基づいて、符号化時に用いる符号化パラメータを決定することにより、ビットレート制御することができる。このため、動画像送信装置５００は、動画像受信装置５１０との間の通信経路の実効伝送レート、及び動画像受信装置５１０の処理能力に応じて、送信及び受信可能なフレームレート層を適切に選択することが可能となる。
【００６４】
また、本実施形態によりＴｅｍｐｏｒａｌ  ＩＤと通信経路の状況に基づいて符号化パラメータを設定し、ビットレートを制御することができる。これにより、Ｔｅｍｐｏｒａｌ  ＩＤを考慮して所望のフレームレートに制御しつつ、所望のビットレートに制御することができる。
【００６５】
尚、本実施形態において符号化部５０２は、高フレームレート層４１５に含まれる各フレームを、第１の目標ビットレートに収まるように符号化パラメータを設定したが、これに限定されない。即ち、高フレームレート層４１５に含まれる各フレームの符号化パラメータを、動画像送信装置５００と動画像受信装置５１０との間の通信経路のベストエフォート時のビットレート（最大伝送レート）に基づいて決定してもよい。また、動画像の（画質）品質を維持するのに十分なビットレートを所定の方法で取得し、取得したビットレートを第１の目標ビットレートとして高フレームレート層４１５に含まれる各フレームの符号化パラメータを設定するなどしてもよい。
【００６６】
また、本実施形態において、３つのフレームレート層に対応した第１、第２、第３のビットレート制御について説明したが、これに限定されない。例えば図３において第３の閾値（第１の閾値＜第２の閾値＜第３の閾値）を追加し、ステップＳ３０７の処理をさらに分岐させる。即ち、Ｔｅｍｐｏｒａｌ  ＩＤが第３の閾値以下の場合に第３のビットレート、第３の閾値より大きい場合に第４のビットレートに収まるよう符号化パラメータを設定することで、フレームレート層および対応するビットレートの追加が可能である。同様に、図３においてより大きな値を持つＴｅｍｐｏｒａｌ  ＩＤおよび対応する閾値を追加していくことで、さらにフレームレート層および対応する（制御可能な）ビットレートを増やすことが可能となる。例えば、１つの動画像送信装置５００に対して動画像受信装置５１０が複数存在し、異なるネットワークに接続されている場合には、各ネットワークの実効伝送レートおよび最大伝送レートがそれぞれ異なることがある。このような場合に、フレームレートの階層を増やすことで、それぞれ満たすべきビットレートに対応した制御が可能となる。
【００６７】
また、本実施形態においてネットワーク送信部５０３は、動画像送信装置５００と動画像受信装置５１０との間の通信経路の実効伝送レートに応じて、送信する対象となるフレームレート層を判別する。即ち、通信経路の実効伝送レートが低下している状況下においては、高フレームレート層４１５の送信を行わず、中間フレームレート層４１６又は低フレームレート層４１４を伝送する制御を行う。尚、動画像データの伝送制御はこれに限定されるものではない。例えば、ネットワーク送信部５０３は常に高フレームレート層４１５まで送信し、ネットワーク受信部５１１が受信したフレームのＴｅｍｐｏｒａｌ  ＩＤに基づいて低いフレームレート層のみを選択して受信するようにしてもよい。また、ネットワーク送信部５０３は、伝送する動画像データ（パケット）に、Ｔｅｍｐｏｒａｌ  ＩＤに基づく優先度に関する属性情報を付加して動画像受信装置５１０へ送信しても構わない。例えば、Ｔｅｍｐｏｒａｌ  ＩＤに基づく優先度は、Ｔｅｍｐｏｒａｌ  ＩＤの値が低いフレームを高優先度、Ｔｅｍｐｏｒａｌ  ＩＤの値が高いフレームを低優先度の属性を付与して送るなどしてもよい。
【００６８】
また、本実施形態において、図１のステップＳ３０３において符号化対象のフレームに対応するＴｅｍｐｏｒａｌ  ＩＤと比較する所定の閾値を、第１の閾値＝０としたが、これに限定されず、当該第１の閾値とは異なる閾値としてもよい。同様に、図１のステップＳ３０５において符号化対象のフレームに対応するＴｅｍｐｏｒａｌ  ＩＤと比較する所定の閾値を、第２の閾値＝１としたが、これに限定されず、当該第２の閾値とは異なる閾値としてもよい。
【００６９】
（実施形態３）
図５に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。以下、図８を用いて本実施形態について説明する。図８は、上記各実施形態に係る画像処理システムに適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【００７０】
ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理システムが行うものとして上述した各処理を実行する。即ち、ＣＰＵ８０１は、図８に示した各処理部として機能することになる。
【００７１】
ＲＡＭ８０２は、外部記憶装置８０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）８０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ８０２は、例えば、ピクチャメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
【００７２】
ＲＯＭ８０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部８０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。出力部８０５は、ＣＰＵ８０１による処理結果を表示する。また出力部８０５は例えば液晶ディスプレイで構成される。
【００７３】
外部記憶装置８０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置８０６には、ＯＳ（オペレーティングシステム）や、図８に示した各部の機能をＣＰＵ８０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置８０６には、処理対象としての各画像データが保存されていても良い。
【００７４】
外部記憶装置８０６に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜、ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。Ｉ／Ｆ８０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ８０７を介して様々な情報を取得したり、送出したりすることができる。８０８は上述の各部を繋ぐバスである。
【００７５】
上述の構成からなる作動は前述のフローチャートで説明した処理をＣＰＵ８０１が中心となってその制御を行う。
【００７６】
（その他の実施形態）
上述の各実施形態１〜３では、高フレームレート層のみ、符号化時のビットレートが実効伝送レートを超えることを許容したが、これに限定されるものではない。例えば、中間フレームレート層のみ実効伝送レートを超えることを許容してもよい。この場合は、その他のフレームレート層のフレームを、実効伝送レートを超えないようにビットレート制御すればよい。
【００７７】
また、上述の各実施形態１〜３により低フレームレート層に対してはビットレートが実効伝送レートを超えないように、その他のフレームレート層に対しては局所的には実効伝送レートを超えることを許容した符号化がそれぞれ行われる。これにより、通信経路の実効伝送レートや受信側の処理能力に応じて、送信及び受信可能なフレームレート層を容易に選択することも可能となる。そして、低フレームレート層のフレームは実効伝送レートに収まるようビットレート制御することで画質は変動するものの、伝送してから再生するまでの遅延を少なく（リアルタイム性を優先して）伝送することが可能となる。一方、その他のフレームレート層のフレームは実効伝送レートを超えることを許容し、最大伝送レートを超えないよう符号化することにより、遅延を許容して、動画像データの画質の劣化を抑制して伝送することが可能となる。即ち、その他のフレームレート層のフレームは、通信経路の状況によっては送られなくてもよいし、通信経路に余裕のあるときに送るよう制御してもよい。このように、上述の各実施形態１〜３により、通信経路の状況が変化しても、最低限のフレームレートを確保して、遅延を抑制した伝送が可能であり、通信経路の状況に応じてフレームレートを選択することができる。
【００７８】
上述した各実施形態１〜３において、図５に示す動画像送信装置５００は、撮像部５０１、符号化部５０２、及びネットワーク送信部５０３を有しているが、これに限定されない。即ち、撮像部５０１と符号化部５０２とが分離して、異なる装置が各処理部を備えていても構わない。
【００７９】
上述した各実施形態１〜３において、図７に示す符号化部５０２の各処理部は、１つの物理的な回路によって構成されていてもよいし、複数の回路で構成されていてもよい。また、図７に示す符号化部５０２の各処理部は、１つの全体制御部７０６によって制御されても構わないし、複数の制御部によって制御されても構わない。また、全体制御部７０６が符号化部５０２外の処理部（例えば、撮像部５０１及びネットワーク送信部５０３）を制御しても構わないし、符号化部５０２外に備わる全体制御部７０６が符号化部５０２の各処理部を制御しても構わない。
【００８０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８１】
５００  動画像送信装置
５０１  撮像部
５０２  符号化部
５０３  ネットワーク送信部
【図１】
0006463041.tif 000002
【図２】
0006463041.tif 000003
【図３】
0006463041.tif 000004
【図４】
0006463041.tif 000005
【図５】
0006463041.tif 000006
【図６】
0006463041.tif 000007
【図７】
0006463041.tif 000008
【図８】
0006463041.tif 000009
【図９】
0006463041.tif 000010
【図１０】
0006463041.tif 000011
【図１１】
0006463041.tif 000012