(57)【要約】【課題】              複数系統の入力データ（処理選択肢）を有するリアルタイム動画像処理システムに必要とされる演算能力を低減させる。【解決手段】    処理選択肢数ｎ＞処理可能対象数ｍとするリアルタイム動画像処理システムにおいて、処理選択肢となる入力動画像データが処理対象であるか否かを判別する処理対象判別手段と、処理対象外である場合動画像復号処理と画像蓄積処理を省略するフレームスキップ手段と、を備える。以上の構成により、高い演算能力を持たない装置においては、リアルタイム動画像処理を可能にし、高い演算能力を持つ装置においては装置あたりの処理選択肢（入力動画像データ）数を増加させることを可能にする。【選択図】            図６
2006340142.tif 000002
【特許請求の範囲】
【請求項１】
複数系統の入力動画像データをそれぞれ復号してフレーム情報として蓄積する複数個の動画像復号部と、前記フレーム情報を符号化して出力画像データを出力する動画像符号化部と、処理対象とする入力画像データを決定し前記動画像復号部に対して指令を与える画像選択手段と、を備えるリアルタイム動画像処理システムにおいて、
前記動画像復号部が、入力した入力動画像データが処理対象であるか否かを判別し、非処理対象である入力動画像データの復号処理を省略するよう動作すること、
を特徴とするリアルタイム動画像処理システム。
【請求項２】
複数系統の入力動画像データをそれぞれ復号してフレーム情報として蓄積する複数個の動画像復号部と、前記蓄積されたフレーム情報に対して所定の画像処理を行う動画像処理部と、前記画像処理が行われたフレーム情報を符号化して出力画像データを出力する動画像符号化部と、処理対象とする入力画像データを決定し前記動画像復号部及び動画像処理部に対して指令を与える画像選択手段と、を備えるリアルタイム動画像処理システムにおいて、
前記動画像復号部が、入力した入力動画像データが処理対象であるか否かを判別し、非処理対象である入力動画像データの復号処理を省略するよう動作すること、
を特徴とするリアルタイム動画像処理システム。
【請求項３】
前記動画像復号部は、非選択対象であっても、フレーム内符号化された入力動画像データについては復号処理を行うこと、
を特徴とする請求項１又は２に記載のリアルタイム動画像処理システム。
【請求項４】
前記動画像復号部は、非処理対象から処理対象に切り替った後であっても、最初のフレーム内符号化された入力動画像データの復号が完了するまでは、入力動画像データの復号処理を省略すること、
を特徴とする請求項１乃至３いずれか一に記載のリアルタイム動画像処理システム。
【請求項５】
前記動画像復号部は、フレームを構成するブロック単位でフレームの更新状態を管理するリフレッシュマップを備え、前記リフレッシュマップを用いて前記ブロック毎に入力動画像データの復号乃至復号の省略を実行すること、
を特徴とする請求項１乃至４いずれか一に記載のリアルタイム動画像処理システム。
【請求項６】
ｎ個（ｎ≧２）の前記動画像復号部と、
前記ｎ個の動画像復号部によって生成されたフレーム情報から選択されたフレーム情報を用いて、出力動画像データを生成するｋ個（ｋ≧１）の動画像符号化部と、を備えたこと、
を特徴とする請求項１、３乃至５いずれか一に記載のリアルタイム動画像処理システム。
【請求項７】
ｎ個（ｎ≧２）の前記動画像復号部と、
前記ｎ個の動画像復号部によって生成されたフレーム情報から選択された、ｍ個のフレーム情報の画像処理を行う動画像処理部と、
前記動画像処理部によって生成されたフレーム情報を用いて、出力動画像データを生成するｋ個（ｋ≧１）の動画像符号化部と、を備えたこと、
を特徴とする請求項２乃至５いずれか一に記載のリアルタイム動画像処理システム。
【請求項８】
前記動画像符号化部は、符号化方式、符号化パラメータ及び使用符号化ツールの少なくとも１つが異なるように符号化すること、
を特徴とする請求項６又は７に記載のリアルタイム動画像処理システム。
【請求項９】
前記ｋ個の動画像符号化部のうち少なくとも１個は、他の動画像符号化部と、符号化方式、符号化パラメータ及び使用符号化ツールの少なくとも１つが異なること、
を特徴とする、請求項６乃至８のいずれか一に記載のリアルタイム動画像処理システム。
【請求項１０】
複数系統の入力動画像データをそれぞれ復号してフレーム情報として蓄積する複数個の動画像復号部と、前記フレーム情報を符号化して出力画像データを出力する動画像符号化部と、処理対象とする入力画像データを決定し前記動画像復号部に対して指令を与える画像選択手段と、を備えるリアルタイム動画像処理システムにおける動画像復号方法であって、
前記動画像復号部が、入力動画像データが処理対象であるか否かを判別する工程と、
前記動画像復号部が、非処理対象である入力動画像データの復号を回避する工程と、を含むこと、を特徴とする動画像復号方法。
【請求項１１】
複数系統の入力動画像データをそれぞれ復号してフレーム情報として蓄積する複数個の動画像復号部と、前記蓄積されたフレーム情報に対して所定の画像処理を行う動画像処理部と、前記画像処理が行われたフレーム情報を符号化して出力画像データを出力する動画像符号化部と、処理対象とする入力画像データを決定し前記動画像復号部及び動画像処理部に対して指令を与える画像選択手段と、を備えるリアルタイム動画像処理システムにおける動画像復号方法であって、
前記動画像復号部が、入力動画像データが処理対象であるか否かを判別する工程と、
前記動画像復号部が、非処理対象である入力動画像データの復号を回避する工程と、を含むこと、を特徴とする動画像復号方法。
【請求項１２】
更に、前記動画像復号部が、非選択対象であるがフレーム内符号化された入力動画像データの復号を行う工程を含むこと、
を特徴とする請求項１０又は１１に記載の動画像復号方法。
【請求項１３】
非処理対象から処理対象に切り替った後であっても、最初のフレーム内符号化された入力動画像データの復号が完了するまでは、前記動画像復号部が入力動画像データの復号を回避する工程を含むこと、
を特徴とする請求項１０乃至１２いずれか一に記載の動画像復号方法。
【請求項１４】
前記動画像復号部は、フレームを構成するブロック単位でフレームの更新状態を管理するリフレッシュマップを備え、前記リフレッシュマップを用いて前記ブロック毎に入力動画像データの復号乃至復号の省略を実行すること、
を特徴とする請求項１０乃至１３いずれか一に記載の動画像復号方法。
【請求項１５】
複数系統の入力動画像データをそれぞれ復号してフレーム情報として蓄積する複数個の動画像復号部と、前記フレーム情報を符号化して出力画像データを出力する動画像符号化部と、処理対象とする入力画像データを決定し前記動画像復号部に対して指令を与える画像選択手段と、を備えるリアルタイム動画像処理システムを構成するコンピュータに実行させるプログラムであって、
入力動画像データの復号処理前に、
入力動画像データが処理対象であるか否かを判別する処理と、
非処理対象である入力動画像データの復号を回避する処理と、を含むこと、
を特徴とするプログラム。
【請求項１６】
複数系統の入力動画像データをそれぞれ復号してフレーム情報として蓄積する複数個の動画像復号部と、前記蓄積されたフレーム情報に対して所定の画像処理を行う動画像処理部と、前記画像処理が行われたフレーム情報を符号化して出力画像データを出力する動画像符号化部と、処理対象とする入力画像データを決定し前記動画像復号部及び動画像処理部に対して指令を与える画像選択手段と、を備えるリアルタイム動画像処理システムを構成するコンピュータに実行させるプログラムであって、
入力動画像データの復号処理前に、
入力動画像データが処理対象であるか否かを判別する処理と、
非処理対象である入力動画像データの復号を回避する処理と、を含むこと、
を特徴とするプログラム。
【請求項１７】
更に、非選択対象であるか否かに拘わらず、フレーム内符号化された入力動画像データについては復号を行うこと、
を特徴とする請求項１５又は１６に記載のプログラム。
【請求項１８】
非処理対象から処理対象に切り替った後であっても、最初のフレーム内符号化された入力動画像データの復号が完了するまでは、入力動画像データの復号を回避すること、
を特徴とする請求項１５乃至１７いずれか一に記載のプログラム。
【請求項１９】
フレームを構成するブロック単位でフレームの更新状態を管理するリフレッシュマップを用いて、前記ブロック毎に入力動画像データの復号乃至復号の省略を実行すること、
を特徴とする請求項１５乃至１８いずれか一に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リアルタイム動画像処理システム、動画像復号方法及びプログラムにおける動画像復号方法に関し、特に、ｎ個の入力動画像データ（本システムへ入力される符号化された動画像データ）を復号し、画像選択手段にて選択された処理対象である任意数ｍ（ｎ≧ｍ）のフレーム（画素データ）に画像処理、動画像符号化処理を施し、出力動画像データを出力するリアルタイム動画像処理システム、該システムにおける動画像復号方法及びプログラム、に関する。
【背景技術】
【０００２】
複数の入力系統を有する従来のリアルタイム動画像処理システムは、図１０に示されたとおり、複数（図１０ではｎ個）の入力動画像データに対し、それぞれ動画像復号部５０１〜５０ｎを用意し、復号結果をそれぞれ対応するフレームメモリ５０６〜５１ｎへ出力するものとなっている。画像選択手段５１１にて選択された処理対象（例えば、４フレーム）を決定し、動画像処理部の画像処理手段５１２が前記決定されたフレームについて画像処理を施し、フレームメモリ５１３に出力する。動画像符号化部５１４は、フレームメモリ５１３の内容を符号化して出力動画像データを出力する。例えば、特開２００４−３１２１１６号公報にも同様の構成が開示されている。
【０００３】
上記従来システムにおいて、各入力動画像データは以下のように処理される。図１１は、上記リアルタイム動画像処理システムにおける単一入力動画像データに着眼した動画像処理の流れを表した図であり、入力動画像データは、動画像復号部の動画像復号手段２０３にて復号され、画像蓄積手段２０４にてフレームメモリ２０５へ格納される。画像選択手段５１１にて決定された処理対象として該当フレームメモリ２０５が選択されている場合、フレームメモリ２０５の内容は、出力されるフレームメモリ２１０に寄与することとなる。そして、動画像符号化部において画像取得手段２０９にて取得したフレームメモリ２１０の内容は動画像符号化手段２０８にて符号化・出力動画像データとして出力される。
【０００４】
【特許文献１】特開２００４−３１２１１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したとおり、複数の入力系統を有する従来のリアルタイム動画像処理システムにおいては、処理選択肢であるすべての入力動画像データ（１〜ｎ）に対する動画像復号処理の実行が要求されるため、システムを具現する装置に高い演算能力が要求される。逆にいえば、収容可能な入力動画像データの数は、装置の演算能力によって制限されているのが実情である。今後、より高度なサービスを指向し、より多くの入力動画像データを処理するためには、更に高い演算能力を持つ装置が必要となる。
【０００６】
上記のように、高い演算能力が要求される背景には、画像選択手段５１１にて選択されていない入力動画像データについても動画像復号部にて動画像復号処理、画像蓄積処理を施していることにある。一般的に動画像データは可変長符号化方式であるため、非処理対象であっても動画像復号部は入力動画像データの処理を継続する必要がある。処理選択肢（入力系統）が増加するに従って、高い演算能力が要求されることとなる。
【０００７】
上記従来構成では、例えば、１００の入力動画像データから９個の処理対象数を選択し、画像処理を施して出力画像を構成する場合、すべて（１００個）の入力動画像データについて、動画像復号処理、画像蓄積処理を施す必要があるが、非処理対象であるフレーム（１００−９＝９１個）は、後続する画像処理で参照されない不要なフレームとなっている。
【０００８】
本発明は、上記した観点からなされたものであって、その目的とするところは、上記選択対象外とされ、出力に寄与しない入力系統に対する各処理の演算を間引くことのできるリアルタイム動画像処理システム及び動画像復号方法を提供することにある。  
【課題を解決するための手段】
【０００９】
本発明の第１の視点によれば、複数系統の入力動画像データをそれぞれ復号してフレーム情報として蓄積する複数個の動画像復号部と、前記フレーム情報を符号化して出力画像データを出力する動画像符号化部と、処理対象とする入力画像データを決定し前記動画像復号部及び動画像処理部に対して指令を与える画像選択手段と、を備えるリアルタイム動画像処理システムにおいて、前記動画像復号部が、入力した入力動画像データが処理対象であるか否かを判別する処理対象判別手段と、非処理対象である入力動画像データの復号処理を省略するフレームスキップ手段と、を備えたこと、を特徴とするリアルタイム動画像処理システムが提供される。
【００１０】
また、本発明の第２の視点によれば、複数系統の入力動画像データをそれぞれ復号してフレーム情報として蓄積する複数個の動画像復号部と、前記フレーム情報を符号化して出力画像データを出力する動画像符号化部と、処理対象とする入力画像データを決定し前記動画像復号部及び動画像処理部に対して指令を与える画像選択手段と、を備えるリアルタイム動画像処理システムにおける動画像復号方法であって、前記動画像復号部が、入力動画像データが処理対象であるか否かを判別する工程と、前記動画像復号部が、非処理対象である入力動画像データの復号を回避する工程と、を含むこと、を特徴とする動画像復号方法が提供される。
【発明の効果】
【００１１】
本発明によれば、非処理対象の入力動画像データに演算能力（単位演算量×非処理対象数）を振り分ける必要がなくなるため、より多くの入力動画像データを収容し処理選択肢に入れることが可能となる。また、演算資源を他の処理に分配することも可能となるため、より高い演算を施し出力動画像データを構築する等、従来と同性能の装置を用いても、より高度なサービスを提供することが可能となる。
【発明を実施するための最良の形態】
【００１２】
続いて、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。はじめに、本発明に係るリアルタイム動画像処理システムとして、本発明をリアルタイム動画像合成システムに適用した実施例１、本発明をリアルタイム動画像配信システムに適用した実施例２について順に説明する。
【００１３】
以下、処理選択肢数（ｎ：自然数）とは本システムへの入力数のことをいい、処理対象数（ｍ：自然数でｍ＜ｎ）とは、本システムで処理できる最大数のことをいい、処理出力数（ｋ：自然数）とは本システムからの出力数をいうものとする。
【００１４】
また、以下の実施例にて入力される入力動画像データはＩフレーム（対照フレームの情報だけを使用して符号化されたフレーム）、Ｐフレーム（過去のフレームとの差分や動き情報が符号化された順方向予測フレーム）、Ｂフレーム（前後のフレームとの差分や動き情報が符号化された双方向予測フレーム）の符号化モードを有するものとする。また、入力動画像データは伝送路におけるエラー耐性を考慮し、定期的（例えば５秒に１度）にＩフレームを含むデータを用いて周期的に画素情報を回復する措置がなされているものとする。これは、Ｉフレームが画素情報に対して時間的な相関が無いため、過去の画素情報が存在しなくても復号できることによる。なお、本発明はＢフレームが存在しない符号化方式にも適用することができるが、それについては、後に詳述する。
【００１５】
［実施例１］
図１は、本発明の実施例１に係るリアルタイム動画像合成システムの構成を表したブロック図である。図１を参照すると、リアルタイム動画像合成システムは、動画像復号部１０１〜１０ｎと、フレームメモリ１０６〜１１ｎと、画像選択手段１１１と、画像合成手段１１２と、フレームメモリ１１３と、動画像符号化部１１４と、を備えて構成されている。以下実施例１において処理選択肢数（合成選択肢数）ｎを５、処理対象数（合成対象数）ｍを４、処理出力数ｋを１として説明する。
【００１６】
動画像復号部１０１〜１０ｎは、入力動画像データ０〜ｎに対応し、それぞれ復号処理を行う。復号されたデータは、各々フレームメモリ１０６〜１１ｎへ格納される。また、各動画像復号部１０１〜１０ｎは、処理対象であるか否かを判別するために処理対象であることを示す処理対象識別フラグ（初期化時０＝非処理対象）と、フレーム更新中であることを示す更新フラグ（初期化時０＝未更新）を保持する。
【００１７】
また、画像選択手段１１１で選択した処理対象であるフレームメモリ１０６〜１１ｎが選択され（ｍ個以内）、動画像合成部の画像合成手段１１２において合成処理が行われ、フレームメモリ１１３に出力される。動画像符号化部１１４は、フレームメモリ１１３から取得した合成処理後データに符号化処理を施し出力動画像データとして出力する。
【００１８】
図２は、本発明の一実施例のリアルタイム動画像合成システムの詳細構成（処理選択肢ｎ＝１の場合）を表したブロック図である。図２を参照すると、処理対象判別手段２０１、フレームスキップ手段２０２、動画像復号手段２０３、画像蓄積手段２０４から構成された動画像復号部と、フレームメモリ２０５、画像処理手段（図１の画像合成手段）２０７、フレームメモリ２１０から構成された動画像処理部（動画像合成部）と、画像取得手段２０９、動画像符号化手段２０８から構成された動画像符号化部、画像選択手段１１１と、を備えたリアルタイム動画像処理システムが示されている。
【００１９】
処理対象判別手段２０１は、入力動画像データが処理対象外であるか否か、即ち、フレームスキップ手段２０２においてフレームスキップ処理を行うか否かを判別する。ここで、フレームスキップ処理を行わないフレームであると判別された場合には、動画像復号手段２０３は、該当フレームを復号し、画像蓄積手段２０４によりフレームメモリ２０５に格納する。画像選択手段１１１において非処理対象にならない限りは、上記復号処理とフレームメモリへの格納処理が行われる。
【００２０】
フレームスキップ手段２０２は、画像選択手段１１１において非処理対象とされた場合に後述するように演算処理を軽減する。
【００２１】
動画像復号手段２０３は、指定された動画像符号化方式で符号化された入力動画像データ中のフレーム情報、またはフレーム情報以外の設定情報を復号しフレームメモリを得る手段である。なお、復号処理に必要な各種設定情報は、上記復号処理を経ずに別手段にて設定されるものとしても構わない。
【００２２】
画像蓄積手段２０４は、動画像処理部が有するフレームメモリへ動画像復号手段にて復号した結果を出力する。またフレームメモリへの出力手段は動画像復号部にローカルフレームメモリを確保し、それを転送しても良い。
【００２３】
画像選択手段１１１は、処理対象であるか非処理対象であるかを選択する手段である。例えば、非処理対象から処理対象に推移した場合には、画像処理手段（画像合成手段）２０７の処理対象に加えられる。
【００２４】
画像処理手段（画像合成手段）２０７は、合成対象（処理対象）とされるフレームメモリに格納されたデータを用いて合成処理を施し、フレームメモリ２１０に出力する。合成手法に関しては合成対象のフレームメモリを用いて構築されれば任意の実装方法を用いることができる。
【００２５】
図３は、上記画像処理手段（画像合成手段）２０７における処理概要を説明するための図である。４つの合成対象のフレームメモリ１０６〜１０９のサイズをＳｕｂＱＣＩＦ（Ｓｕｂ−Ｑｕａｒｔｅｒ  Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ；１２８×９６ピクセル）、出力フレーム１３０のサイズをＱＣＩＦ（Ｑｕａｒｔｅｒ  Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ；１７６×１４４ピクセル）、処理対象数４、合成方式を４分割多重方式とする。ここで、画像選択手段１１１によりフレーム０、１、２、３が選択された場合、まず、対応するフレームメモリ１０６〜１０９の画像サイズを４分割画面に収まるよう画像サイズ変更処理が行われ（ステップＳ３０１）、次いで画像多重処理が行われ（ステップＳ３０２）、出力フレーム１３０が出力される。なお、処理対象数が３以下の場合には、不足の分割箇所に対して初期画面（例えば黒）等を合成した出力フレーム１３０を出力する。また、各々の合成対象及び出力フレームサイズも図３の例に限られるものではなく、また、分割の方式に関しても図３の例に限られるものではない。なお、合成および画像サイズ変換処理を行う必要がなければ、画像処理手段２０７を省略することも可能である。
【００２６】
図２の動画像符号化手段２０８は、画像取得手段２０９を介して入力されたフレームメモリ２１０の画像データに対して符号化処理を行って、出力動画像データとして出力する。この際、動画像符号化手段２０８は、入力動画像データの符号化方式（コーデック種別、レベル、プロファイル）、符号化パラメータ（ビットレート、フレームレート、Ｉフレーム間隔等）、使用符号化ツール（データパーティショニングや、リバーシブルＶＬＣ等）と異なった設定で符号化処理を行っても構わない。
【００２７】
続いて、本実施例の動作について図面を参照して詳細に説明する。図４は、本実施例の動作を表したフローチャートである。図４中のステップＳ４０３〜Ｓ４０８までが、処理対象判別手段２０１による処理であり、ステップＳ４０９は後記するフレーム補完手段による処理である。
【００２８】
ここで、フレーム補完手段とは、入力動画像データの非処理対象状態が継続している非処理対象期間であってもＩフレームについては復号する処理手段である。このフレーム補完手段は、入力動画像データの選択後、最初のＩフレームが到着するまでの期間（更新中である期間；更新期間（図５、図６参照））において、初期画面、若しくは、フレーム更新中を示す画像に代えて、直近のＩフレームで得た画像を出力するための手段である。なお、更新期間中のＩフレーム到着以降は最新の動画像データをリアルタイムで出力できる。以下、このフレーム補完手段を用いる場合を説明するが、フレーム補完手段を用いない場合は、Ｉフレームの復号は行われないため、より一層演算処理軽減の効果が出ることは勿論である。
【００２９】
図４を参照すると、まず、動画像復号部が「入力処理が終了しているか」の判断を行う（ステップＳ４０２）。ステップＳ４０２にてＹＥＳ（入力処理終了）の場合は、ループ（ステップＳ４０１−Ｓ４１３）を脱出し、動画像復号処理を終了する。
【００３０】
一方、ステップＳ４０２にてＮＯ（入力処理中）の場合は、処理対象判別手段２０１による判定処理が行われる。まず、処理対象判別手段２０１は、「入力動画像データがフレーム情報（動画像データ中の１枚の画像に関する符号化されたデータ）かそれ以外（動画像データ中の画像サイズ等設定情報が符号化されたデータ）か？」の判断を行う（ステップＳ４０３）。ステップＳ４０３にてＹＥＳ（フレーム情報以外）の場合は、必要な設定情報について、動画像復号手段にて復号処理（ステップＳ４０４）を行ってステップＳ４１０に進む。
【００３１】
一方、ステップＳ４０３にてＮＯ（フレーム情報）の場合、処理対象判別手段２０１は、更に、該当入力動画像データが画像選択手段１１１により処理対象として選択されているか否かについて、処理対象識別フラグの値によって判別する（ステップＳ４０５）。ステップＳ４０５にてＮＯ（処理対象外）の場合は、非処理対象期間となりステップＳ４０９に進む。
【００３２】
一方、ステップＳ４０５にてＹＥＳ（処理対象）の場合は、処理対象判別手段２０１は、更に、該当入力動画像データが更新中であるか否かについて、更新フラグの値によって判別する（ステップＳ４０６）。ステップＳ４０６にてＮＯ（更新中でない）の場合は、通常復号処理であるため、ステップＳ４１０に進む。
【００３３】
一方、ステップＳ４０６にてＹＥＳ（更新中）の場合は、処理対象判別手段２０１は、更に、該当入力動画像データ（フレーム情報）がＩフレームであるか否かを判別する（ステップＳ４０７）。ステップＳ４０７にてＮＯ（非Ｉフレーム）の場合は、本入力動画像データ（フレーム情報）の終了まで復号せずに入力動画像データを読み飛ばすフレームスキップ処理を行うべくステップＳ４１１に進む。
【００３４】
一方、ステップＳ４０７にてＹＥＳ（Ｉフレーム）の場合は、処理対象判別手段２０１は、更新完了処理（更新フラグを１にする）を行い（ステップＳ４０８）、本フレームから復号が再開される。
【００３５】
図５は、入力動画像データの選択状態が切り替えられた場合の上記処理対象判別手段２０１による処理対象判別処理を説明するための図である。図５の斜線フレームは、復号を行わないフレームを表しており、非処理対象期間はもちろん、処理対象期間であっても更新中の期間ではＩフレーム到着待ちとなり、フレームスキップ処理が行われる。そして、処理対象期間であって更新完了（Ｉフレーム到着）後は、通常の復号を行うべく動画像復号処理が行われる。
【００３６】
再度、図４に戻って説明を続ける。上述したように、ステップＳ４０５にてＮＯ（処理対象外）の場合は、非処理対象期間となりステップＳ４０９に進むが、ここで、該当入力動画像データ（フレーム情報）がＩフレームであるか否かの判断が行われる（ステップＳ４０９）。ステップＳ４０９にてＹＥＳ（Ｉフレーム）の場合には、非処理対象期間中のＩフレーム復号を行うべくステップＳ４１０に進む。一方、ステップＳ４０９にてＮＯ（非Ｉフレーム）の場合は、フレームスキップ手段２０２によるフレームスキップ処理（ステップＳ４１１）が行われる。
【００３７】
図６は、入力動画像データの選択状態が切り替えられた場合の上記フレーム補完手段による判定処理とその動作を説明するための図である。図６の斜線フレームは、復号を行わないフレームを表しており、非処理対象期間であってもＩフレームの場合は復号処理が行われる。そして、図５同様、処理対象期間であって更新完了（該当データ選択後最初のＩフレーム到着）後は、通常の復号を行うべく動画像復号処理が開始される。
【００３８】
以上のように、処理対象判別手段とフレームスキップ手段とをリアルタイム動画像処理システムに実装することにより、従来のように入力動画像データ中の全フレーム情報を復号していた場合と比較し、不要な場合には復号処理を回避することで演算処理が軽減される。
【００３９】
［実施例２］
図７は、本発明の実施例２に係るリアルタイム動画像配信システムの構成を表したブロック図である。図７を参照すると、リアルタイム動画像配信システムは、動画像復号部１０１〜１０ｎと、フレームメモリ１０６〜１１ｎと、画像選択手段１１１と、画像配信手段１２３と、フレームメモリ１１３〜１１ｋと、動画像符号化部１１８〜１２ｋと、を備えて構成されている。以下実施例２において、処理選択肢数（合成選択肢数）ｎを９、処理対象数（合成対象数）ｍを５、処理出力数ｋを５として説明する。
【００４０】
動画像復号部１０１〜１０ｎは、入力動画像データ０〜ｎに対応し、それぞれ復号処理を行う。復号されたデータは、各々フレームメモリ１０６〜１１ｎへ格納される。また、各動画像復号部１０１〜１０ｎは、処理対象であるか否かを判別するために処理対象であることを示す処理対象識別フラグ（初期化時０＝非処理対象）と、フレーム更新中であることを示す更新フラグ（初期化時０＝未更新）を保持する。
【００４１】
また、画像選択手段１１１で選択した処理対象であるフレームメモリ１０６〜１１ｎのいずれか５つが選択され、動画像配信部の画像配信手段１２３において動画像の処理が行われ、フレームメモリ１１３〜１１ｋに出力される。動画像符号化部１１８〜１２ｋは、フレームメモリ１１３〜１１ｋから取得したデータに符号化処理を施し出力動画像データとして出力する。
【００４２】
なお、本発明の実施例２に係るリアルタイム動画像配信システムの詳細構成（処理選択肢ｎ＝１の場合）は、上述した第１実施例と同様である（図２参照）ので省略する。
【００４３】
図８は、画像配信手段１２３における処理概要を説明するための図である。４つの合成対象のフレームメモリ１０６〜１０９のサイズをＳｕｂＱＣＩＦ、出力フレーム１２１のサイズをＳｕｂＱＣＩＦ、出力フレーム１２２のサイズをＱＣＩＦとする。画像選択手段１１１によりフレーム０（図８のフレームメモリ１０６）が選択されると、画像配信手段１２３において、画像サイズ変更判別処理（ステップＳ８０１）が行われ、サイズ変更の要否が判断される。ここで、入力フレームサイズと出力フレームサイズが同じでサイズ変更の必要がない場合にはフレーム０（図８のフレームメモリ１０６）がそのまま所定のフレームメモリ１１３に出力される。一方、入力フレームサイズと出力フレームサイズが異なる場合にはサイズ変更の必要性があると判定され、画像サイズ変更処理（ステップＳ８０２）が行われ、サイズ変更（この場合拡大処理）を施し、所定のフレームメモリ１１３に出力される。また、実施例２におけるリアルタイム動画像配信システムにおいても、入出力のフレームサイズを変更が不要であれば、画像処理手段２０７を省略することも可能である。
【００４４】
なお、画像選択手段１１１において、処理対象にする場合には動画像復号部にて保持している処理対象識別フラグを１にする。このとき更新フラグも同時に１（更新期間中）にする。
【００４５】
また、本実施例では出力動画像データを受信する動画像復号装置（不図示）からの入力（複数可）を可能とし、アウトバンドの制御信号により通信中に処理対象を変更可能とする。また、他の実装手段として、外部入力によるインバンドに特定のデータを入力し選択すること、外部入力を用いずに所定の時間間隔で処理選択肢を順に処理対象として選択するなどの実装も考えられる。
【００４６】
以上のように本実施例においても、処理対象判別手段とフレームスキップ手段とをリアルタイム動画像配信システムに実装することにより、従来のように入力動画像データ中の全フレーム情報を復号していた場合と比較し、不要な場合には復号処理を回避することで演算処理が軽減される。
【００４７】
また、上記演算処理軽減によって、リアルタイム動画像処理システムにおける処理選択肢である入力動画像データを増加することが可能になる。これにより１装置あたりの収容処理選択肢を増加することが可能になるため、様々な動画を処理し出力することができ、また、より演算処理能力の低い性能の装置でも本リアルタイム動画像処理システムを構築することが可能になる。
【００４８】
なお、本実施例では配信選択肢ｎ（処理選択肢）を９、合成対象数ｍ（処理対象数）と処理出力数ｋを５としたが、これらは、上記した数値（９，５，５）に限定されないことは勿論である。また、入力動画像データと出力動画像データに対する動画像符号化方式（コーデック種別、レベル、プロファイル）、符号化パラメータ（ビットレート、フレームレート、Ｉフレーム間隔等）、使用符号化ツール（データパーティショニングや、リバーシブルＶＬＣ等）の設定が異なっていても構わない。さらに、処理出力毎にこれら符号化方式の設定が異なっていても構わない。また前述したフレーム補完手段も実装してもよいものとする。
【００４９】
［実施例３］
続いて、前述の実施例１、２におけるリアルタイム動画像処理システムの入力画像データに変更を加えられた場合の実施例３について説明する。本実施例にて入力される入力動画像データは、送路におけるエラー耐性を考慮し、周期的イントラリフレッシュというマクロブロック（Ｍａｃｒｏ  Ｂｌｏｃｋ；画面内のブロック状の符号化単位）毎にフレーム内符号化されたデータ（以下、これをイントラマクロブロックという。）を時間的に分散させ、周期的に画素情報を回復する措置がなされているものとする。イントラマクロブロックは、画素情報に対して時間的な相関が無いため過去の画素情報が存在しなくても復号できる。
【００５０】
本実施例における動画像復号部１０１〜１０ｎは、イントラマクロブロック（ＩＮＴＲＡＭＢ）が入力されたことを示すリフレッシュマップを作成・保持する。ここで、リフレッシュマップとは、マクロブロックには画素中の箇所を指すアドレス（マクロブロックアドレス；以下、ＭＢＡ）が振られており該当箇所を特定できるため、画素中のマクロブロックすべてにＭＢ更新フラグ（０：未更新、１：更新済）を作成し、あるＭＢＡが更新されたかどうかを判別可能にするマップ情報である。このリフレッシュマップは、配列で実装され、ＭＢＡを用いて直接アクセスし更新状況を判別することができるものとする。従って、更新完了とは、すべてのＭＢ更新フラグが更新済み状態＝１となることである。
【００５１】
以上のとおり、実施例３に係るリアルタイム動画像処理システムは、上記したリフレッシュマップを有するほか、上述した実施例１、２と同様の構成で足りるため、以下、図９のフローチャートを参照しながら、その動作について説明する。なお、図９中のステップＳ９０３〜Ｓ９０８までが、処理対象判別手段２０１による処理であり、本実施例では、フレーム補完手段が設けられていないため、その処理は省略されている。
【００５２】
図９を参照すると、まず、動画像復号部が「入力処理が終了しているか」の判断を行う（ステップＳ９０２）。ステップＳ９０２にてＹＥＳ（入力処理終了）の場合は、ループ（ステップＳ９０１−Ｓ９１１）を脱出し、動画像復号処理を終了する。
【００５３】
一方、ステップＳ９０２にてＮＯ（入力処理中）の場合は、処理対象判別手段２０１による判定処理が行われる。まず、処理対象判別手段２０１は、該当入力動画像データが画像選択手段１１１により処理対象として選択されているか否かについて、処理対象識別フラグの値によって判別する（ステップＳ９０３）。ステップＳ９０３にてＮＯ（処理対象外）の場合は、非処理対象期間となりステップＳ９０９に進む。
【００５４】
一方、ステップＳ９０３にてＹＥＳ（処理対象）の場合は、処理対象判別手段２０１は、更に、該当ＭＢＡが更新中（未更新）であるか否かについて、リフレッシュマップ中のＭＢ更新フラグの値によって判別する（ステップＳ９０４）。ステップＳ９０４にてＮＯ（更新中でない）の場合は、更新後の通常ＭＢ復号処理であるため、ステップＳ９１０に進む。
【００５５】
一方、ステップＳ９０４にてＹＥＳ（更新中）の場合は、処理対象判別手段２０１は、更に、該当入力動画像データがイントラマクロブロックであるか否かを判別する（ステップＳ９０５）。ステップＳ９０５にてＮＯ（非イントラマクロブロック）の場合は、マクロブロック情報の終了まで復号せずに入力動画像データを読み飛ばす入力データスキップ処理を行うべくステップＳ９０９に進む。
【００５６】
一方、ステップＳ９０５にてＹＥＳ（イントラマクロブロック）の場合は、処理対象判別手段２０１は、リフレッシュマップの該ＭＢＡの更新完了処理（ＭＢ更新フラグを１にする）を行い（ステップＳ９０６）、次いで、すべてのＭＢが更新されたか否かを判別する（ステップＳ９０７）。ステップＳ９０７にてＮＯ（更新完了でない）の場合は、更新後の通常ＭＢの復号処理であるため、ステップＳ９１０に進む。
【００５７】
一方、ステップＳ９０７にてＹＥＳ（更新完了）の場合は、更新完了処理（更新フラグを１にする）を行い（ステップＳ９０８）、本フレームから復号・蓄積が再開される（ステップＳ９１０）。
【００５８】
このように、従来のように入力動画像データ中の全フレーム情報を復号していた場合と比較し、不要な場合には復号しないように判断処理を用いて復号処理を回避することにより演算処理の軽減が図られている。
【００５９】
以上のように、本実施例においても演算処理の軽減が図られているほか、フレーム情報にフレーム種別（フレーム内符号化／フレーム間符号化）を識別する符号が記載されない場合にもブロック単位での更新を行うことが可能である。また、入力動画像データに依存するが、Ｉフレーム周期が長い場合には、上記ブロック単位での更新管理を用いた方が更新期間を短くすることが可能である。
【００６０】
以上本発明の実施例について説明したが、本発明は、上記した実施例に限定されるものではなく、上述した処理対象判別手段と、フレームスキップ手段とを備え、出力動画像に寄与しない入力動画像データの復号処理を省略するという本発明の要旨を逸脱しない範囲で、各種の変形・置換をなしうることが可能であることはいうまでもない。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１実施例に係るリアルタイム動画像合成システムの構成を表したブロック図である。
【図２】本発明の第１実施例に係るリアルタイム動画像合成システムの詳細構成（処理選択肢ｎ＝１の場合）を表したブロック図である。
【図３】本発明の第１実施例に係るリアルタイム動画像合成システムの動画像合成手段の処理概要を説明するための図である。
【図４】本発明の第１実施例に係るリアルタイム動画像合成システムの動作を表したフローチャートである。
【図５】本発明の第１実施例に係るリアルタイム動画像合成システムの処理対象判別手段による処理対象判別処理を具体的に説明するための図である。
【図６】本発明の第１実施例に係るリアルタイム動画像配信システムのフレーム補完手段によるフレーム補完処理を具体的に説明するための図である。
【図７】本発明の第２実施例に係るリアルタイム動画像配信システムの構成を表したブロック図である。
【図８】本発明の第２実施例に係るリアルタイム動画像配信システムの動画像配信手段の処理概要を説明するための図である。
【図９】本発明の第３実施例に係るリアルタイム動画像処理システムの動作を表したフローチャートである。
【図１０】従来のリアルタイム動画像処理システムの構成を表したブロック図である。
【図１１】従来のリアルタイム動画像処理システムにおける単一入力動画像データに着眼した動画像処理ブロック図である。
【符号の説明】
【００６２】
１０１〜１０ｎ、５０１〜５０ｎ  動画像復号部
１０６〜１１ｎ、１１３〜１１ｋ、２０５、２１０、５０６〜５１ｎ、５１３  フレームメモリ
１１１、５１１  画像選択手段
１１２  画像合成手段
１１４、１１８〜１２ｋ、５１４  動画像符号化部
１２１、１２２、１３０  出力フレーム
１２３  画像配信手段
２０１  処理対象判別手段
２０２  フレームスキップ手段
２０３  動画像復号手段
２０４  画像蓄積手段
２０７  画像処理手段（画像合成手段）
２０８  動画像符号化手段
２０９  画像取得手段
５１２  画像処理手段
【図１】
2006340142.tif 000003
【図２】
2006340142.tif 000004
【図３】
2006340142.tif 000005
【図４】
2006340142.tif 000006
【図５】
2006340142.tif 000007
【図６】
2006340142.tif 000008
【図７】
2006340142.tif 000009
【図８】
2006340142.tif 000010
【図９】
2006340142.tif 000011
【図１０】
2006340142.tif 000012
【図１１】
2006340142.tif 000013