(57)【要約】【課題】複数のプロセッサで符号化処理を実施する際の無駄な処理待ちを低減させる。【解決手段】動画像を分割し、各プロセッサで符号化する部分動画像を選択し、ピクチャ毎に符号化データを蓄積する。符号種類により符号化する順序を変更しＩピクチャおよびＰピクチャを順方向に先に符号化し、ＩピクチャおよびＰピクチャを符号化する際に内部の復号データを保存する。符号化制御テーブルに記録した次の符号化対象の状況に応じ符号化を開始するＢピクチャを調整し逆方向にＢピクチャを符号化する。前の符号化対象の復号データが必要になった場合にその復号データが入手できない場合は符号化制御テーブルの該当箇所に先頭符号化処理要求を記録しその符号化処理を終了し、復号データが入手可能な場合は、処理中のプロセッサで先頭からＩピクチャまでのＢピクチャを符号化する。【選択図】　図１
2004007154.tif 000002
【特許請求の範囲】
【請求項１】
複数のプロセッサを使用して動画像データの符号化を行う方法であって、
画像データの符号種類を決定する符号種類決定手段と、
動画像を分割する動画像分割手段と、
各プロセッサが分割された動画像単位で符号化対象を選択する符号化対象選択手段と、
符号の種類に応じて処理順序の変更を行いながら符号化するエンコード手段と、
符号化で参照する復号データを画像毎に保存するデコード画像保存手段と、
選択した動画像の次動画像状態を判別するエンコード判別手段と
符号化データを画像毎に保存するストリーム保存方法と、
画像毎に保存したストリームを結合して出力する出力手段を備えることを特徴とする動画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧの様な動画像データ符号化方法に関し、複数のプロセッサを使用して符号化処理を並列に実行する動画像符号化方法に関する。
【０００２】
【従来の技術】
従来、動画像符号化方法、特にＭＰＥＧ符号化方法において複数のプロセッサを使用して符号化を行う方法が特開平８−２９４１３０号公報に記載されたものが知られている。これは、複数のプロセッサに符号化処理を分割し配分することによりＭＰＥＧ符号化処理を高速化する方法が開示されている。
【０００３】
【発明が解決しようとする課題】
従来の技術では、複数のプロセッサで分割して処理を実施する際に前シーケンスの最後の復号データが必要である場合がしばしば発生する。
【０００４】
こうした場合を各プロセッサが判別し符号化順序を変更し、かつそのプロセッサが前部分シーケンスの復号データが入手できるまで待たせる必要があり、並列処理を実施させる上で符号化処理全体の速度を低下させるという問題点があった。これらを鑑み、各プロセッサでの前シーケンスの復号データ待ちを発生させず動画像符号化することを目的としている。
【０００５】
【課題を解決するための手段】
この課題を解決するために本発明は、まず、いずれかのプロセッサで各ピクチャの符号の種類を符号種類決定手段で決定し動画像分割手段により動画像を複数のプロセッサで平行して符号化できる様に分割する。
【０００６】
各プロセッサが符号化対象選択手段により符号化する部分動画像を決定する。決定した部分動画像を既に決められた符号種類により符号化する順序を変更し画像を符号化する。符号データは、各プロセッサが利用可能な共有記憶装置に画像符号化データを画像単位で保存する。また全ての内部参照する復号データも同様に保存する。符号化する過程でエンコード判別手段により次部分画像の処理が別プロセッサで処理され、かつ処理継続要求がある場合には、別プロセッサに代わって現部分画像の復号データが必要となる部分を符号化する。部分画像の符号化を変更して前部分画像の復号データが必要な部分はその部分符号化の処理の最後に実施するようにする。前部分デコード画像が入手可能の場合は、続けて選択部分画像の符号化を続け、入手不可の場合は、新たに符号化対象選択手段により次の部分動画像を選択し符号化を続ける。いずれかのプロセッサでストリーム出力順序で符号化画像が入手可能になった時点で出力手段によってストリームを結合して出力する。
【０００７】
これらにより、動画像符号化装置において、複数プロセッサを動作させるプロセッサにおいて並列処理による高速化の効果が損なわれることなく、実施することが可能となる。
【０００８】
【発明の実施の形態】
図１は、本発明の実施形態における動画像符号化装置の構成を示すブロック図である。
【０００９】
本発明の動画像符号化装置は、ｎ個のプロセッサ１０１から１０ｎを使用して共有記憶部に蓄積した動画像データを並列に符号化する。以下、図１を参照して各部の機能と動作について説明する。
【００１０】
本発明の動画像符号化装置は、ｎ個のプロセッサ共有記憶部１３０、システム管理部１１０、画像入力部１４０、画像出力部１５０、ネットワーク１６０、およびストリーム出力部１２０を備える。
【００１１】
ｎ個のプロセッサ１０１から１０ｎ、共有記憶部１３０およびシステム管理部１１０はいずれもネットワーク１６０に接続する。プロセッサ１０１から１０ｎは、例えばパーソナルコンピュータや汎用のエンジニアリングワークステーションや動画像符号化専用のコンピュータであっても良い。共有記憶部１３０には例えばハードディスク装置などが使用される。ネットワーク１６０にはローカルバスまたはローカルエリアネットワークなどが使用される。
【００１２】
共有記憶部１３０には符号化処理に必要なパラメータやデータを蓄積する。符号化処理中には符号化制御用の情報を記憶し各プロセッサ１０１から１０ｎが独立して協調動作可能である。
【００１３】
システム管理部１１０は、符号化対象の画像データを画像入力部１４０から入力したり符号化結果のビットストリームを画像出力部１５０やストリーム出力部１２０から出力したりする。システム管理部１１０はｎ個のプロセッサと異なるコンピュータに搭載されていてもいずれかのプロセッサに搭載されていてもよい。
【００１４】
ここでプロセッサ１０１から１０ｎの内部構成について構成図を図２に示し説明する。プロセッサは、ＣＰＵ２００、ネットワークインターフェイス部２１０、ＲＡＭ２２０およびローカルバス２３０を備え、ＣＰＵ２００、ネットワークインターフェイス部２１０、ＲＡＭ２２０はいずれもローカルバス２３０に接続される。
【００１５】
図１に示すｎ個のプロセッサは、いずれも図２の構成を有するものとする。
【００１６】
ＣＰＵ２００は、プロセッサの演算処理装置でありＲＡＭ２２０に蓄積した符号化処理用プログラムに従って動作する。ネットワークインタフェイス部２１０はネットワークとローカルバス２３０を接続する。ＲＡＭ２２０は各プロセッサ固有の記憶装置であり符号化処理用プログラムおよび符号化処理用データを記憶する。
【００１７】
ここで図１の説明に戻る。
【００１８】
画像入力部１４０はデジタルＶＴＲ１４２とキャプチャ部１４１を備えている。デジタルＶＴＲ１４２には符号化対象の動画像データが記録されている。キャプチャ部１４１はデジタルＶＴＲ１４２から出力された映像信号を所定の形式に変換する。変換後の映像信号はシステム管理部１１０の制御により共有記憶部１３０に蓄積する。
【００１９】
画像出力部１５０はデコード部１５１とデジタルモニタ１５２とを備えている。共有記憶部１３０に蓄積したビットストリームはシステム管理部１１０によりデコード部１５１に転送される。デコード部１５１はビットストリームを復号し再生映像信号を出力する。デジタルモニタ１５２は、デコード部１５１から出力された再生映像信号表示する。
【００２０】
ストリーム出力部１２０は共有記憶部１３０に蓄積したビットストリームを出力する。
【００２１】
ＭＰＥＧ２符号化を実施するためにオリジナル動画像の特徴抽出、シーン検出、繰り返し画像の検出などの前処理結果により符号種類決定手段により符号化するピクチャータイプとＧＯＰ構造を決定する。
【００２２】
このＧＯＰ構造を元に動画像分割手段により動画像を分割する。分割の単位は、ＧＯＰそのものでも良いし、幾つかのＧＯＰで構成しても良く任意でよい。
【００２３】
分割した動画像の情報は、図３に示した手順によって図９の符号化制御テーブルに記録する。
【００２４】
ピクチャタイプには、対象画像のみで符号化するＩピクチャ、直前のＩピクチャまたはＰピクチャを参照するＰピクチャ、直線および直後のＩピクチャまたはＰピクチャを参照するＢピクチャがある。ＩピクチャおよびＰピクチャはＧＯＰ内の情報のみで符号化可能である。しかしクローズドＧＯＰが指定されていない場合、先頭からＩピクチャまでの間にあるＢピクチャは、直前のＧＯＰの最後のピクチャのデコード画像が入手できないと符号化することができない。このため複数のプロセッサで符号化処理を分割して実施する際に処理待ちが生じてしまう。しかしながら、ＭＰＥＧ２符号化では、元画像に復元不可能な形式で圧縮符号化を実施することが知られている。すべての分割するＧＯＰをクローズドＧＯＰにした場合、先頭からＩピクチャまでの間にあるＢピクチャで直後のＩピクチャのみの参照となる。このため各画像の相関が高い連続している動画像の場合、ＧＯＰの先頭からＩピクチャまでの間にあるＢピクチャではＰピクチャと同等の圧縮率しか期待できず全体の画質的に不利となってしまう。
【００２５】
ＭＰＥＧ２符号化で作成するビットストリームでは、参照されるＩピクチャおよびＰピクチャはそれらを参照するＢピクチャより先に格納される。そこでビットストリームの格納をピクチャ単位にすることにより、ピクチャの符号化順序を変更することが可能である。図４にビットストリーム上での格納順を示す。通常の符号化処理ではこのとおり符号化処理を実施する。
【００２６】
図５に本発明での符号化順序を、また図６および図７に本発明でのエンコード手段フローを示す。
【００２７】
ＩピクチャおよびＰピクチャを先に順方向に符号化する。最後のＰピクチャまで符号化した後に次の符号化対象の状況に応じ、符号化を開始するＢピクチャを調整し逆方向に符号化する。
【００２８】
図８の様に既に別プロセッサが次の符号化対象を符号化しており、その別プロセッサは次の符号化対象に対する処理を終了している場合は、次の符号化対象の先頭からＩピクチャまでのＢピクチャ分を追加して符号化を実施する。
【００２９】
前の符号化対象の復号データが必要になった場合にその復号データが入手できない、即ち別プロセッサで符号化処理中である場合は先頭符号化処理要求を符号化制御テーブルの該当箇所に記録してその符号化対象の処理を終了する。
【００３０】
前の符号化対象の復号データが必要になった場合にその復号データが入手可能、即ち符号化処理のＩピクチャおよびＰピクチャの符号化処理が終了している場合、処理中のプロセッサで先頭からＩピクチャまでのＢピクチャを符号化し、その符号化対象の処理を終了する。
【００３１】
各プロセッサでは選択した符号化対象が終了したら、総ての符号化対象がなくなる迄、符号化対象選択手段により次に処理すべき対象を選択する。
【００３２】
以上のように複数のプロセッサが協調して符号化できる。
【００３３】
なお、本発明は上記実施形態に限られるものではなく、任意の改変が可能である。例えば動画像符号化装置では２以上の任意のプロセッサでよくその処理能力が異なっていても良い。プロセッサと共有記憶部の接続方式や共有記憶部の構成は任意でよいことは言うまでもない。
【００３４】
【発明の効果】
以上説明したように、本発明によれば、動画像符号化対象を分割し、その対象のピクチャの符号化順序を変更し状況を全体で共有し、必要な復号データを記録することで複数プロセッサで動画像処理を実施する場合に無駄な待ち処理が発生しなくなり、かつ並列処理による符号化データへの劣化が発生しない。
【図面の簡単な説明】
【図１】本発明の実施形態の動画像符号化装置の構成を示すブロック図
【図２】プロセッサの内部構成図
【図３】符号化制御テーブル更新フローチャート
【図４】ビットストリーム上での画像格納順を示す図
【図５】本発明の実施形態における符号化順序を示すタイムチャート
【図６】本発明の実施形態におけるエンコード手段前半のフローチャート
【図７】本発明の実施形態におけるエンコード手段後半のフローチャート
【図８】本発明の実施形態における追加符号化を実施するタイムチャート
【図９】本発明の実施形態における符号化制御テーブル図
【符号の説明】
１０１〜１０ｎ　プロセッサ
１１０　システム管理部
１２０　ストリーム出力部
１３０　共有記憶部
１４０　画像入力部
１４１　キャプチャ部
１４２　ディジタルＶＴＲ
１５０　画像出力部
１５１　デコード部
１５２　ディジタルモニタ
１６０　ネットワーク
２００　ＣＰＵ
２１０　ネットワークインタフェース部
２２０　ＲＡＭ
２３０　ローカルバス
【図１】
2004007154.tif 000003
【図２】
2004007154.tif 000004
【図３】
2004007154.tif 000005
【図４】
2004007154.tif 000006
【図５】
2004007154.tif 000007
【図６】
2004007154.tif 000008
【図７】
2004007154.tif 000009
【図８】
2004007154.tif 000010
【図９】
2004007154.tif 000011