(57)【特許請求の範囲】
【請求項１】
複数フレーム分の画像データを並列に符号化するための複数の符号化手段と、
前記複数の符号化手段から出力された複数の符号化データを多重化する多重化手段と、
前記複数フレーム分の画像データを前記複数の符号化手段に選択的に供給する分配手段に何フレーム分の画像データが入力されたかを示す計数値を生成する計数値生成手段と、
前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段に対して、前記計数値に対応するピクチャ番号を通知する通知手段と
を有し、
前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段は、前記計数値に対応するピクチャ番号を用いて、１フレーム分の画像データを符号化することを特徴とする符号化装置。
【請求項２】
前記通知手段は、前記計数値を前記複数の符号化手段の数で除することによって得られた剰余を用いて決定された符号化手段に対して、前記計数値に対応するピクチャ番号を通知することを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記通知手段は、前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段に対して、符号化開始指示を通知し、
前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段は、前記符号化開始指示を受信した場合に、前記１フレーム分の画像データを符号化することを特徴とする請求項１または２に記載の符号化装置。
【請求項４】
前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段は、前記通知手段から通知されたピクチャ番号と、前記通知手段から通知された前回のピクチャ番号とを用いて、ピクチャ間の参照関係を示す情報を生成することを特徴とする請求項１から３のいずれか１項に記載の符号化装置。
【請求項５】
複数フレーム分の画像データを並列に符号化するための複数の符号化手段と、
前記複数の符号化手段から出力された複数の符号化データを多重化する多重化手段と、
前記複数フレーム分の画像データを前記複数の符号化手段に選択的に供給する分配手段に何フレーム分の画像データが入力されたかを示す計数値を生成する計数値生成手段と、
前記多重化手段で生成される多重化データのＧＯＰ構造に基づいて周期を決定する決定手段と、
前記決定手段によって決定された周期と前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段に対して、前記計数値に対応するピクチャ番号を通知する通知手段と
を有し、
前記決定手段によって決定された周期と前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段は、前記計数値に対応するピクチャ番号を用いて、１フレーム分の画像データを符号化することを特徴とする符号化装置。
【請求項６】
前記通知手段は、前記計数値を前記複数の符号化手段の数と前記決定手段によって決定された周期との積で除することによって得られた剰余を用いて決定された符号化手段に対して、前記計数値に対応するピクチャ番号を通知することを特徴とする請求項５に記載の符号化装置。
【請求項７】
前記決定手段によって決定された周期と前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段は、前記通知手段から通知されたピクチャ番号と、前記通知手段から通知された前回のピクチャ番号とを用いて、ピクチャ間の参照関係を示す情報を生成することを特徴とする請求項５または６に記載の符号化装置。
【請求項８】
コンピュータを、
複数フレーム分の画像データを並列に符号化するための複数の符号化手段と、
前記複数の符号化手段から出力された複数の符号化データを多重化する多重化手段と、
前記複数フレーム分の画像データを前記複数の符号化手段に選択的に供給する分配手段に何フレーム分の画像データが入力されたかを示す計数値を生成する計数値生成手段と、
前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段に対して、前記計数値に対応するピクチャ番号を通知する通知手段
として機能させるためのプログラムであって、
前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段が、前記計数値に対応するピクチャ番号を用いて、１フレーム分の画像データを符号化するように前記コンピュータを機能させるためのプログラム。
【請求項９】
コンピュータを、
複数フレーム分の画像データを並列に符号化するための複数の符号化手段と、
前記複数の符号化手段から出力された複数の符号化データを多重化する多重化手段と、
前記複数フレーム分の画像データを前記複数の符号化手段に選択的に供給する分配手段に何フレーム分の画像データが入力されたかを示す計数値を生成する計数値生成手段と、
前記多重化手段で生成される多重化データのＧＯＰ構造に基づいて周期を決定する決定手段と、
前記決定手段によって決定された周期と前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段に対して、前記計数値に対応するピクチャ番号を通知する通知手段
として機能させるためのプログラムであって、
前記決定手段によって決定された周期と前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段が、前記計数値に対応するピクチャ番号を用いて、１フレーム分の画像データを符号化するように前記コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データから得られた複数の画像データを複数の符号化手段を用いて並列に符号化することができる符号化装置およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタル信号処理の進歩により、動画像や静止画像、音声等、大量のデジタル情報を高能率で符号化し、小型の記録媒体へ記録したり、通信媒体による伝送を行ったりすることが可能になっている。
このような技術を応用して、テレビ放送やビデオカメラで撮影した動画像を符号化ストリームに変換できる動画像符号化装置の開発が行われている。
【０００３】
さらに近年、業務用の映像機器や大型テレビでは画質をさらに向上するための技術が提案されている。例えば、映像信号の画面サイズを、従来のＨＤＴＶ（１９２０ピクセルｘ１０８０ライン）よりもさらに大きな４ｋ２ｋや８ｋ４ｋ等の解像度まで高解像度化したり、フレームレートを１２０Ｈｚや２４０Ｈｚ等の高フレームレート化したりする技術が提案されている。
【０００４】
しかし、上記の大きな画面解像度や高速なフレームレートの映像信号を符号化処理する場合、従来の映像信号に比べて扱う情報量が急激に増大することから、新規に高速処理可能な高性能符号化器が必要になってしまう問題が発生する。
【０００５】
上記の問題を解決し、高解像度あるいは高フレームレートの映像信号が入力された場合でも従来の符号化器を利用して符号化ストリームの出力を実現する以下の先行技術が提案されている。
【０００６】
特許文献１では、高フレームレートの映像入力を複数の符号化器へフレーム毎に分配して符号化処理を並列に行い、その結果を一つのビットストリームとして出力する構成が提案されている。具体的には、低速なフレームレートで各符号化器に分配した映像入力を、このフレームレート期間で並列に符号化するという手段が開示されている。
【０００７】
そして、各符号化器が出力した符号化ピクチャデータを一つのビットストリームへと多重化する時、各符号化器のフレーム参照関係が正しく保たれるようにヘッダ情報を更新する手段を有することを特徴としている。
【０００８】
このように上記の先行技術によれば、従来よりも大きな高解像度あるいは高フレームレートの入力映像であっても、複数の符号化器で並列処理することで符号化に伴う処理負荷を分散できるようになる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許登録第０４３８９８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら特許文献１においては、符号化器自体は従来通りの符号化処理を行うだけの簡単な拡張で並列化システムを実現できるものの、一方でビットストリーム出力を行う合成器でのヘッダ情報更新処理が複雑化してしまう虞がある。
また、各符号化器の処理能力に応じて、連続する複数枚のピクチャを続けて符号化するような設計変更によってパフォーマンスを最適化することが不可能である。
【００１１】
そこで、本発明は、複数の符号化器を用いた並列符号化システムをより簡単な構成によって実現できるようにすることを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る符号化装置の一つは、複数フレーム分の画像データを並列に符号化するための複数の符号化手段と、前記複数の符号化手段から出力された複数の符号化データを多重化する多重化手段と、前記複数フレーム分の画像データを前記複数の符号化手段に選択的に供給する分配手段に何フレーム分の画像データが入力されたかを示す計数値を生成する計数値生成手段と、前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段に対して、前記計数値に対応するピクチャ番号を通知する通知手段とを有し、前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段は、前記計数値に対応するピクチャ番号を用いて、１フレーム分の画像データを符号化することを特徴とする。
本発明に係る符号化装置の一つは、複数フレーム分の画像データを並列に符号化するための複数の符号化手段と、前記複数の符号化手段から出力された複数の符号化データを多重化する多重化手段と、前記複数フレーム分の画像データを前記複数の符号化手段に選択的に供給する分配手段に何フレーム分の画像データが入力されたかを示す計数値を生成する計数値生成手段と、前記多重化手段で生成される多重化データのＧＯＰ構造に基づいて周期を決定する決定手段と、前記決定手段によって決定された周期と前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段に対して、前記計数値に対応するピクチャ番号を通知する通知手段とを有し、前記決定手段によって決定された周期と前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段は、前記計数値に対応するピクチャ番号を用いて、１フレーム分の画像データを符号化することを特徴とする。
本発明に係るプログラムの一つは、コンピュータを、複数フレーム分の画像データを並列に符号化するための複数の符号化手段と、前記複数の符号化手段から出力された複数の符号化データを多重化する多重化手段と、前記複数フレーム分の画像データを前記複数の符号化手段に選択的に供給する分配手段に何フレーム分の画像データが入力されたかを示す計数値を生成する計数値生成手段と、前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段に対して、前記計数値に対応するピクチャ番号を通知する通知手段として機能させるためのプログラムであって、前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段が、前記計数値に対応するピクチャ番号を用いて、１フレーム分の画像データを符号化するように前記コンピュータを機能させるためのプログラムである。
本発明に係るプログラムの一つは、コンピュータを、複数フレーム分の画像データを並列に符号化するための複数の符号化手段と、前記複数の符号化手段から出力された複数の符号化データを多重化する多重化手段と、前記複数フレーム分の画像データを前記複数の符号化手段に選択的に供給する分配手段に何フレーム分の画像データが入力されたかを示す計数値を生成する計数値生成手段と、前記多重化手段で生成される多重化データのＧＯＰ構造に基づいて周期を決定する決定手段と、前記決定手段によって決定された周期と前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段に対して、前記計数値に対応するピクチャ番号を通知する通知手段として機能させるためのプログラムであって、前記決定手段によって決定された周期と前記計数値と前記複数の符号化手段の数とに基づいて決定された符号化手段が、前記計数値に対応するピクチャ番号を用いて、１フレーム分の画像データを符号化するように前記コンピュータを機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、複数の符号化器を用いた並列符号化システムをより簡単な構成によって実現することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第一の実施例に係る動画像符号化装置のブロック図。
【図２】本発明の第一の実施例に係るピクチャ識別番号設定部の動作を示すフローチャート。
【図３】本発明の第一の実施例に係る複数の符号化器それぞれの動作を示すフローチャート。
【図４】本発明の第一の実施例に係る動画像符号化装置の動作タイミングを示す図。
【図５】本発明の第一の実施例に係る各符号化器が出力するピクチャデータの構造を示す図。
【図６】本発明の第一の実施例に係る動画像符号化装置が出力するストリームデータの構造を示す図。
【図７】本発明の第二の実施例に係る動画像符号化装置のブロック図。
【図８】本発明の第二の実施例に係るピクチャ識別番号設定部の動作を示すフローチャート。
【図９】本発明の第二の実施例に係る各符号化器の動作を示すフローチャート。
【図１０】本発明の第二の実施例に係る動画像符号化装置の動作タイミングを示す図。
【図１１】本発明の第二の実施例に係る各符号化器が出力するピクチャデータの構造を示す図。
【図１２】本発明の第二の実施例に係る動画像符号化装置が出力するストリームデータの構造を示す図。
【発明を実施するための形態】
【００１５】
［実施例１］
装置構成
図１には、本発明の第一の実施例に係わる動画像符号化装置の構成を示すブロック図である。
本実施例の動画像符号化装置は、分配器１０１、同期信号検出器１０２、同期信号カウンタ１０３、ピクチャ番号通知部１０４、符号化器１０５、フレームメモリ１０６、第二の符号化器１０７、第三の符号化器１０８、第四の符号化器１０９、合成器１１０から構成される。各構成要素は、図示せぬＣＰＵ等のシステム全体の動作を制御するシステムコントローラにより制御され、ハード、制御プログラムの実行、またはそれらの組み合わせで実現が可能であるとする。
【００１６】
分配器１０１は、入力された映像信号（動画像信号）のフレームレートを並列された複数の符号化器の個数で分周した期間毎に、入力画像データを一画面ずつ後段の各符号化器に出力する。
例えば、図１のような４つの符号化器１０５、１０７、１０８、１０９を備えた符号化構成の場合には、６０Ｈｚの入力映像信号の各画面（フレーム）を、各符号化器に１５（＝６０／４）Ｈzの周期で順次循環的に出力する。
【００１７】
同期信号検出器１０２は、入力映像信号に係わる垂直同期信号等の一画面単位の映像データの送出タイミングを制御する同期信号を検出する。前記同期信号を検出した場合、同期信号カウンタ１０３へ同期信号を検出したことを知らせるタイミング信号を送出する。
【００１８】
同期信号カウンタ１０３は、前記同期信号検出器１０２から同期信号検出のタイミング信号を受信し、当該信号に同期して検出回数をカウントアップして計数し、その値を次のタイミグ信号検出時まで保持する。これにより、入力されている映像信号の画面数（ピクチャ番号）をカウントすることができる。
なお、同期信号カウンタ１０３の初期化や、計数処理のイネーブル制御を図示せぬＣＰＵ等のシステム全体動作を制御するシステムコントローラから設定可能なものとする。
【００１９】
ピクチャ番号通知部１０４は、前記同期信号カウンタ１０３で計数した検出回数の値と、当該並列符号化構成の符号化器の数に基づいて、どの符号化器に対してピクチャ符号化開始指示を出すか、および符号化時に符号化器が設定するピクチャ番号を決定する。
【００２０】
符号化器１０５は、前記ピクチャ番号通知部１０４からの符号化開始指示とピクチャ番号情報を受信してピクチャ符号化処理を行った後、符号化データを合成器１１０へ出力する。
【００２１】
ピクチャ符号化処理は、分配器１０１から出力された１画面分の映像データを内部のフレームメモリ１０６へ蓄積し、当該メモリに蓄積した映像データを原画像として、所定の映像圧縮方式による予測符号化を行うものとする。符号化方式としては、ＭＰＥＧ−２方式やＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）方式などのフレーム間予測を用いた方式を使用する。尚、本実施例では特に断わりの無い限り、Ｈ．２６４（ＡＶＣ）方式の画面内予測モードと、前方ピクチャ参照によるフレーム間予測を使用した符号化(動き補償予測符号化)を行うものとする。
【００２２】
符号化においては、前記フレームメモリ１０６に蓄積した映像データについて、前記ピクチャ番号との関連付けを行い、符号化ピクチャデータのスライスヘッダ情報を生成するものとする。
【００２３】
同様に第二の符号化器１０７、第三の符号化器１０８、第四の符号化器１０９も、前記分配器１０１からの入力映像データを圧縮符号化し、符号化ピクチャデータを出力する。
【００２４】
合成器１１０は、前記符号化器１０５、１０７、１０８、１０９が出力したそれぞれの符号化ピクチャデータを受信して多重化し、前記圧縮符号化方式の規格に準拠した一つのビットストリームを出力する。
【００２５】
以上が本発明の第一の実施例に係わる動画符号化装置の構成である。
【００２６】
次に、上述した本実施例に係わる動画符号化装置の動作を図２および図３を用いて説明する。本動作は、上記システムコントローラがフローチャートに対応した制御プログラムをロードして実行することにより実現することが可能である。なお、動作の少なくとも一部をハード構成とすることも可能である。
【００２７】
ピクチャ番号通知動作
まず、本実施例の並列符号化の特徴であるピクチャ番号の決定および符号化器への通知動作について、図２のフローチャートを用いて説明する。
【００２８】
はじめにステップＳ２０１では、当該動画像符号化装置において記録動作の開始指示が行われたか否かを判断する。
【００２９】
記録動作の開始指示は、当該動画像符号化装置を外部から操作する図示せぬ操作ボタンやリモコン等のインタフェースを介したＣＰＵ等のマイコンからプログラムによるメッセージや、専用ポートから電気的に指示によるものとする。
【００３０】
記録開始指示が無い場合（ステップＳ２０1のＦＡＬＳＥ）は、引き続き記録開始指示を受信するまで待機状態を維持する。
【００３１】
一方、記録開始指示があった場合（ステップＳ２０1のＴＲＵＥ）は、当該動画像符号化装置を構成する並列された複数の符号化器１０５−１０９の数Ｎを取得する（ステップＳ２０２）。
【００３２】
符号化器の数Ｎは、例えばシステムの電源投入後に行う初期化処理の中で、当該動画像符号化装置内に接続されている符号化器を検知して取得する方法がある。或いは、各符号化器に通信用のステータスレジスタを予め設け、前述のシステムコントローラから問い合わせることで検出する方法等がある。
【００３３】
本発明では、上記取得方法は特に限定しないが、符号化器の並列度を動的に変更可能な拡張仕様を実現する場合には、専用のステータスレジスタを設けておくことが望ましい。
【００３４】
続いて、どの符号化器に対してピクチャ符号化開始を指示し、またピクチャ番号を通知するかを識別するための識別番号ＩＤＮを各符号化器に対して設定する（ステップＳ２０３）。
【００３５】
識別番号ＩＤＮの割り当ては、値０から昇順に割り当てるものし、本実施例の動画像符号化装置の場合では、並列処理する４つの符号化器１０５、１０７、１０８、１０９に対してそれぞれ０、１、２、３と識別番号を割り当てる。
【００３６】
識別番号ＩＤＮを割り当てた後、同期信号カウンタ値Ｃ(計数値Ｃ)の初期化を行う（ステップＳ２０４）。初期値としては値０を設定するものとする。
【００３７】
上記ステップＳ２０２からＳ２０４までの初期化処理の終了後、分配器１０１からの入力映像の同期信号の検出を同期信号検出器１０２にて行う（ステップＳ２０５）。
【００３８】
本実施例においては、一画面分の映像表示を画面上端から下端まで走査する期間に相当する垂直同期信号を同期信号の前提としているが、特に本発明を実施する上では一画面分の映像データを符号化可能な時間の周期信号であれば本実施例に限定されるものではない。
【００３９】
当該同期信号検出器１０２は、同期信号が検出されないときは同期信号がタイミングパルス信号として現れるまで図示せぬクロック発振器等からの時間間隔の精度で待機する（ステップＳ２０５のＦＡＬＳＥ）。
【００４０】
同期信号の検出後は（ステップＳ２０５のＴＲＵＥ）、現在の同期信号カウンタ値ＣをステップＳ２０２で取得した符号化器数Ｎで除したときの剰余Ｒを次式（１）に基づいて算出する（ステップ２０６）。
Ｒ＝Ｃ ｍｏｄ  Ｎ  ・・・  （１）
【００４１】
続いて、ピクチャ番号通知部１０４は、前記剰余Ｒが前記ステップＳ２０３において割り当てた識別番号ＩＤＮのいずれと一致するか（ステップＳ２０８）を、最大で符号化器の数Ｎだけ繰り返す比較判定により決定する（ステップＳ２０７およびステップＳ２０９のループ）。
【００４２】
上記ステップＳ２０８において、剰余Ｒと割り当てられた識別番号ＩＤＮのいずれかが一致した場合（ステップＳ２０８のＴＲＵＥ）は、当該比較判定処理を終了する。そして、一致した識別番号に対応する符号化器に対して前記同期信号カウンタ値Ｃ（ピクチャ番号）と符号化開始指示を通知する（ステップＳ２１０）。
【００４３】
例えば、符号化器数Ｎ＝４、同期検出カウンタ値Ｃ＝１０の場合には、剰余Ｒ＝２となり、ＩＤＮ＝２すなわち第三の符号化器１０８に対して、ピクチャ番号１０の通知と符号化開始指示を送出する。
【００４４】
続いて、同期信号カウンタ１０３は、同期信号カウンタ値Ｃを現在値から１だけインクリメントして更新する（ステップＳ２１１）。
【００４５】
ただし、当該カウンタ値Ｃがレジスタのビット長等による制約のために更新可能な最大値がある場合は、これを超えない最も大きい符号化器数Ｎの倍数に達した時に、初期値である値０にリセットされるものとする。この場合、ピクチャ番号は上記倍数とリセットの後のカウンタ値Ｃとの和で与えられる。
【００４６】
前記符号化器へのピクチャ番号の通知後、記録動作終了の指示があるか否かを判断し（ステップＳ２１２）、終了指示があった場合（ＴＲＵＥ）は本動作を終了する。
【００４７】
一方、継続して記録を行う場合（ＦＡＬＳＥ）は、ステップＳ２０５に遷移して同期信号検出の待機状態となり、一連のステップを繰り返し実行する。
【００４８】
以上が、ピクチャ番号決定と符号化器への通知処理動作である。
【００４９】
上述のように、本実施例では各符号化器に通知されるピクチャ番号は、同期信号カウンタ値だけであるため、入力映像信号のピクチャの順番と一対一に対応している。例えば第一の符号化器１０５に通知されるピクチャ番号は図４に示すように０、４、・・・となる。すなわち、一つの符号化器についてみると、ピクチャ番号通知部１０４は、符号化器の数に対応するオフセット分のスキップを与えながらカウンタ値Ｃをピクチャ番号として通知している。このオフセットは剰余Ｒに対する一致比較の繰り返しで与えられている。このため、各符号化器で設定されるピクチャ番号は入力映像信号のフレームの番号に対応し、それらの間に重複が生ずることがなくなり、後述するビットストリームの統合を容易とする。
【００５０】
ピクチャ番号受信動作
続いて、各符号化器において前記ピクチャ番号通知を受信した時の動作について、図３のフローチャートを用いて説明する。
【００５１】
まず、上述した並列された符号化器それぞれにおいて、前記ピクチャ番号通知部１０４からのピクチャ番号と符号化開始指示を受信したかどうかを判断する（ステップＳ３０１）。
【００５２】
前記符号化開始指示を受信するまでは、ピクチャ符号化を行わずに待機状態を保持する（ステップＳ３０１のＦＡＬＳＥ）。
【００５３】
符号化開始指示を受信すると（ステップＳ３０１のＴＲＵＥ）、当該開始指示と同じタイミングで通知された同期カウンタ値Ｃ（ピクチャ番号）を取得する（ステップＳ３０２）。
【００５４】
そして、前記分配器１０１から転送された符号化対象の入力映像信号のフレーム画像データを取得してフレームメモリ１０６に読み込み展開する（ステップＳ３０３）。
【００５５】
前記フレームメモリ１０６に読み込んだフレーム画像データは符号化前の元画像となり、当該画像データをもとに周波数変換による空間方向の情報圧縮と、動き予測を用いた時間方向のフレーム間差分情報のみを符号化する情報圧縮の処理対象となる。
【００５６】
上記フレーム間予測による符号化方式では、時間方向で未来あるいは過去に相当する既に符号化済みのピクチャデータを参照画像として、どのピクチャデータにアクセスするかを識別するために一意な識別番号を割り当てることが規定されている。
【００５７】
特にＨ．２６４による符号化方式では、上記参照画像として動き予測用のピクチャデータを複数枚持つことが可能なため、当該符号化ピクチャの参照関係を、前記識別番号をリスト構造にした参照ピクチャリストというデータをヘッダ情報として伝送する必要がある。
【００５８】
上記理由から、各符号化器が出力した符号化ピクチャデータを統合して一つのビットストリームを形成した時点で、ピクチャ番号が重複するデータ構造になってしまうと規格違反となり、正しく復号表示できなくなってしまう。
【００５９】
本実施例において、記録動作中は前記同期信号カウンタ値Ｃをピクチャ符号化と同等な時間単位で一意な値となるよう更新することを利用して、当該カウンタ値をピクチャ識別番号として設定する（ステップＳ３０４）。
【００６０】
具体的にはピクチャ単位に符号化するスライスヘッダ(slice_header)中に記述されるフレーム識別子(frame_num)に、当該同期カウンタ値Ｃを設定する。
【００６１】
さらに同スライスヘッダ中に、先行技術文献１の実施形態に記載されている方法と同様に、各ピクチャ間の参照関係を示す情報となる参照ピクチャリスト（reference picture list）を設定する（ステップＳ３０５）。
【００６２】
この時、ステップＳ３０２において取得した現在の同期カウンタ値Ｃと、後述するステップＳ３０７で記憶した前回のピクチャ番号の値を用いて、参照フレーム識別子(ref_id)とフレーム識別子(frame_num)の関連付けを行うものとする。
【００６３】
ステップＳ３０６では、前記ヘッダ情報や量子化係数等の符号化パラメータに基づいて前記フレームメモリ１０６に読み込んだフレーム画像データの圧縮符号化を行う。
【００６４】
符号化完了後、前記ステップＳ３０４で設定したピクチャ識別番号を図示せぬＲＡＭ等の記憶媒体に保持して、次回当該符号化器でピクチャ符号化処理を行う時に、ピクチャの参照関係を生成するために利用する（ステップＳ３０７）。
【００６５】
そして、前記ステップＳ３０６において符号化器にて生成された符号化ピクチャデータは、合成器１１０へ送出され、一本のビットストリームデータに統合されて出力される（ステップＳ３０８）。
【００６６】
以上が、ピクチャ番号設定受信時の動画符号化装置における動作である。
【００６７】
動作タイミングの例
続いて、上述した本実施例による動作を行なった時の各符号化器の動作タイミングを図４に示す。
【００６８】
図中には上述の分配器１０１から出力される同期信号、同期信号カウンタ１０３のカウンタ値Ｃ、そして各符号化器に対してピクチャ番号通知部１０４から通知されるピクチャ番号と符号化開始タイミングに相当するvalid信号を示した。ピクチャ番号はvalid信号が送出されたときに通知されるカウンタ値Ｃである。
【００６９】
同図では、図１に示す本実施例の動画像符号化装置と同様に４個で並列化した符号化器についての符号化ピクチャタイプとピクチャ識別番号（通知されて設定されたカウンタ値Ｃ）、ピクチャ符号化実行状態をそれぞれ示した。
【００７０】
図４の例では、入力映像信号が６０Ｈｚのフレームレートの同期信号で入力され、同期信号の立ち上がりエッジに同期して、カウンタ値Ｃが１だけインクリメントされる。
【００７１】
そして図２の動作フローを用いて説明した符号化器毎に割り当てた識別番号ＩＤＮにカウンタ値Ｃと符号化器の数４の剰余Ｒとが一致する時に、該当する符号化器に対してvalid信号を発行する。
【００７２】
valid信号の発行周期は、入力映像信号のフレームレート６０Ｈｚを並列化した個数Ｎ＝４で分周したフレームレート１５Ｈｚ、約６６ミリ秒になる。
【００７３】
このフレームレートを保証できる期間であれば、符号化器当たりのピクチャ符号化可能な解像度を高めることが可能となる。
【００７４】
また、上記valid信号有効時に取得した同期信号カウンタ値をそのままピクチャ識別番号としてピクチャ符号化時に設定することで、後段の合成器１１０ではヘッダ情報を更新することなく、そのまま符号化ピクチャを出力するだけでよい。
【００７５】
同様に２回目以降のフレーム間予測を用いたＰピクチャを符号化する場合おいても、前回設定したピクチャ番号を用いた参照ピクチャリストを生成するだけで済む。
【００７６】
上記のように動画像符号化装置全体としては並列された各符号化器に順次循環的にピクチャ番号指定をするだけであり、符号化器同士は独立してピクチャ符号化を行う符号化構成を実現できる。
【００７７】
各符号化器の出力データ構造
続いて、本実施例の上記動作を行なったときの各符号化器の出力ビットストリームのデータ構造を図５に示す。
【００７８】
各符号化器は、最大で入力映像信号のフレームレートを並列された４つの符号化器で分周した時間間隔で、Ｉピクチャ、続いてＰピクチャという符号化順で順番に符号化ピクチャデータを出力する。
【００７９】
符号化器１は、ピクチャ番号０のＩピクチャからはじまり、Ｉピクチャを参照するピクチャ番号４のＰピクチャ、さらに当該ピクチャを参照するピクチャ番号８のＰピクチャというような動き予測によるピクチャ参照関係を持った符号化データを出力する。
【００８０】
同様に符号化器２、符号化器３、符号化器４についてもピクチャ番号は異なるが、同様のピクチャ参照関係をもつ符号化ピクチャデータを出力する。
【００８１】
このようにピクチャ参照関係は、符号化器間で相互に参照することはなく、同一の符号化器で符号化したピクチャデータに対してだけ参照を行う構造となる。
【００８２】
合成器の出力データ構造
続いて、本実施例の上記動作を行なったときの合成器１１０の出力ビットストリームのデータ構造を図６に示す。
【００８３】
上述した各符号化器から出力された符号化ピクチャデータは、合成器１１０において、ピクチャ間の参照関係は保持したまま、ピクチャ番号が昇順になるような一本のビットストリームに統合されて出力される。
【００８４】
ビットストリームの統合は、前記図４のタイミングで各符号化器から、順次循環的に符号化が完了したピクチャデータを受信して、そのまま出力すれば実現可能となる構成となっている。
【００８５】
ただし必要に応じてビットストリームとして多重化する付加情報があれば、ピクチャ単位で挿入可能なものとする。
【００８６】
このように統合後のビットストリームは一意のピクチャ識別番号を持ち、ピクチャ間の参照関係が正しく保たれて、符号化方式の規格に準拠したデータ構造となっているので、そのままシステム外のデコーダ装置へ供給しても復号再生が可能である。
【００８７】
上述のように、本実施例の動画像符号化装置によれば、複数の符号化器による並列符号化処理で得られた複数の符号化ピクチャデータを一つのストリームに多重化する符号化システムをより簡単な構成で実現することが可能となる。
【００８８】
［実施例２］
第一の実施例では、フレーム単位で入力映像信号から送出される同期信号の検出を行い、当該同期信号に同期して同期信号カウンタ値Ｃをピクチャ識別番号として、順次循環的に各符号化器に設定して符号化する方法を説明した。
【００８９】
第二の実施例では、各符号化器において複数の連続したフレームの符号化を可能とし、所望のＧＯＰ構造でビットストリームを出力することを、第１の実施例とは異なる動作として行なう。
【００９０】
これにより、システム構成上のリソースやバス帯域の制限により並列化可能な符号化器の設置数に上限があり、各符号化器に要求される機能に余裕がそれほどない場合においても、符号化処理性能のパフォーマンスを最大化できる。
【００９１】
以下、本発明の第二の実施形例について、図を用いて説明する。
なお、第二の実施例の説明において、上述した第一の実施例と共通する部分については、同一の符号を付し、適宜その説明を省略する。
【００９２】
システム構成
第二の実施例に係わる動画像符号化装置のブロック図を図７に示す。
【００９３】
本実施例の動画像符号化装置は、第一の実施例の構成に加えて、ＧＯＰ周期設定部７０１およびピクチャ番号ＦＩＦＯ７０２を有することを特徴とする。他の構成は、第一の実施例と同様である。ＧＯＰ周期設定部７０１は、図示せぬＣＰＵ等のシステムコントローラから当該システムで符号化出力するビットストリームのＧＯＰ構造情報を取得し、ピクチャ番号通知部に当該情報を送信する。
【００９４】
ピクチャ番号通知部１０４は、同期信号検出カウンタのカウンタ値Ｃと当該ＧＯＰ構造情報に基づいて、ＧＯＰ単位で連続してピクチャ符号化を行う符号化器を判断する手段を新規に備える。
【００９５】
ピクチャ番号ＦＩＦＯ７０２は、すべての符号化器内に内蔵されるものとし、ピクチャ番号通知部１０４が通知した同期信号カウンタ値をＦＩＦＯメモリに蓄積する。
【００９６】
同時に符号化器では、当該ＦＩＦＯメモリに記憶された同期信号カウンタ値を、所定のタイミングで取り出して、ピクチャ符号化時に使用するピクチャ識別番号として設定する。
【００９７】
ＦＩＦＯメモリの具体的なデータ構造については、本発明においては特に限定しないが、同期検出カウンタ値を保持可能な十分なサイズを有し、ピクチャ番号通知部１０４および各符号化器の両方からアクセス可能なポートを持つものとする。
【００９８】
そして、ＦＩＦＯメモリに記憶されているピクチャ番号のキュー数、ピクチャ番号通知部１０４が当該ＦＩＦＯメモリへピクチャ番号をキューイングする指定先ポインタ、そして各符号化器のキューから取り出すポインタを持つことが実装上望ましいものとする。
【００９９】
その他のブロック機能については、第一の実施例と同様であるため説明を省略する。
【０１００】
次に、上述した本実施例に係わる動画像符号化装置の動作を図８および図９を用いて説明する。本動作も第一の実施例と同様、図示しないシステムコントローラがフローチャートに対応した制御プログラムをロードして実行することにより実現することが可能であるとする。なお、動作の少なくとも一部をハード構成とすることも可能である。
【０１０１】
ピクチャ番号通知動作
本実施例の特徴となるピクチャ番号決定と符号化器への通知動作について、図８のフローチャートを用いて説明する。
【０１０２】
当該動作は、第一の実施例と同様に当該動画像符号化装置が記録状態に遷移したタイミングから開始する。
【０１０３】
ステップＳ２０２で、当該動画像符号化装置を構成する並列化された符号化器の数Ｎを取得した後、前記ＧＯＰ周期設定部７０１からＧＯＰ周期Ｔを取得する（ステップＳ８０1）。
【０１０４】
ＧＯＰ周期Ｔは、一つの符号化器が連続してピクチャ符号化するＩピクチャから次のＩピクチャまでのピクチャの数を表わす。
【０１０５】
例えばＴ＝２の場合は、各符号化器はＩピクチャ符号化、次いでＰピクチャ符号化というシーケンスを繰り返すことになる。
【０１０６】
さらに符号化器内のフレームメモリの容量に制限がある場合は、２枚目のＰピクチャは直前のＩピクチャだけを参照し、先に符号化されたＧＯＰのＩまたはＰピクチャを参照しない符号化制約を予め与えて、バス占有率を低減するようにしても良い。
【０１０７】
続いて第一の実施例のステップＳ２０３と同様に各符号化器へその識別番号ＩＤＮを割り当てるが、本実施例ではＧＯＰ周期Ｔの値に応じて割り当てが変わる点が第一の実施例と異なる。
【０１０８】
例えば符号化器数Ｎ＝４，ＧＯＰ周期Ｔ＝２の場合、第一の符号化器に対応するＩＤＮは０と１、第二の符号化器には２と３、第三の符号化器には４と５、そして第四の符号化器へは６と７を割り当てるようにする。即ち、０からＮＸＴ−１（＝７）の数をＴ個ずつ各符号化器に割り振る。これにより、第一の実施例と同様に、各符号化器は割り当てられた２つの識別番号ＩＤＮのそれぞれと剰余Ｒとの一致比較に応じて連続して２回ピクチャ符号化を行なうことが可能となる。本実施例では特に限定はしないが、上記のような識別番号ＩＤＮと設定対象の符号化器の割り当てをテーブル型のデータ構造として予め生成して管理するようにしても良い。
【０１０９】
ステップＳ２０４は第一の実施例と同様である。
【０１１０】
続いて、同期信号検出後（ステップＳ２０５のＴＲＵＥ）、符号化器の数Ｎと前記ＧＯＰ周期Ｔの積Ｐを次式（２）に基づいて算出する（ステップＳ８０２）。
Ｐ=Ｔ×Ｎ  …（２）
【０１１１】
さらに、同期信号検出カウンタ値Ｃを上記積Ｐで除したときの剰余Ｒを次式（３）に基づいて算出する（ステップＳ８０３）。
Ｒ＝Ｃ ｍｏｄ Ｐ …（３）
【０１１２】
上記の剰余Ｒを用いることによって、第一の実施例と同様にして識別番号ＩＤＮとの一致比較によりピクチャ番号を通知する符号化器を容易に決定可能となる。即ち、第一の実施例と同様にステップＳ２０７からＳ２０９を実行する。
【０１１３】
そしてピクチャ番号通知対象となる符号化器決定後（ステップＳ２０８のＴＲＵＥ）、ピクチャ番号を対象符号化器のピクチャ番号ＦＩＦＯ７０２へキューイングによって通知する（ステップＳ８０４）。
【０１１４】
続いて、第一の実施例と同様にステップＳ２１１での検出カウンタ値更新を行った後、記録終了状態かを判断するステップＳ２１１に移行する。
【０１１５】
第一の実施例では、同期信号検出と同じタイミングでピクチャ番号の通知と符号化開始指示の通知を発行していたが、本実施例ではピクチャ番号をＦＩＦＯ機構によって通知するのみとする。
【０１１６】
上記のＦＩＦＯ機構を備えることによってピクチャ番号の通知と、入力映像信号のピクチャ画像データの取得受信タイミングを非同期にすることで、符号化器のピクチャ符号化の処理時間に余裕を持たせることが可能となる。
【０１１７】
以上が、ピクチャ番号通知の動作である。
ピクチャ番号受信動作
続いて、各符号化器において前記ピクチャ番号通知を受信した時の動作について、図９のフローチャートを用いて説明する。
【０１１８】
まず、上述したピクチャ番号通知動作によって設定されたピクチャ番号が、ピクチャ番号ＦＩＦＯ７０２に格納されたか否を判断する（ステップＳ９０１）。
【０１１９】
当該ＦＩＦＯ７０２への設定値有無を問い合わせる処理は、上述の同期信号検出に相当する周期的なタイミングと、ピクチャ符号化完了時のタイミング両方で行うものとし、連続するフレーム映像データの符号化を可能とする。
【０１２０】
ピクチャ番号ＦＩＦＯ７０２にピクチャ番号設定が無い場合（ステップＳ９０１のＦＡＬＳＥ）、ピクチャ番号設定が行われるまでピクチャ符号化処理は行わず待機状態となる。すなわち、本実施例は、ピクチャ番号ＦＩＦＯ７０２へのピクチャ番号の設定が符号化対象画像の取り込みタイミングを与える構成としている。すなわち、ピクチャ番号ＦＩＦＯへの一つのピクチャ番号の設定に応じて第１の実施例と同様にフレーム単位で動画信号を分配器１０１から取り込まれ符号化される。これがＧＯＰの周期に対応して連続して繰り返される。
【０１２１】
一方、ピクチャ番号指定があった場合（ステップＳ９０１のＴＲＵＥ）は、当該ＦＩＦＯ７０２から最初に設定されたピクチャ番号を取り出す（ステップＳ９０２）。
【０１２２】
以降、第一の実施例と同様にステップＳ３０３からＳ３０７までを実行して、本動作を終了する。
【０１２３】
以上が、本発明の第二の実施例におけるピクチャ番号設定受信時の動画符号化装置における動作である。
【０１２４】
動作タイミング例
続いて、本実施例の上記動作を行なったときの各符号化器の動作タイミングを図１０に示す。
【０１２５】
同図の例では、三つの符号化器を並列化し、ＧＯＰ周期をＩピクチャ、Ｐピクチャの２ピクチャとして符号化を２回繰り返す符号化構成としている。
【０１２６】
入力映像信号の同期信号は第１の実施例と同様に６０Ｈｚの周期で分配器１０１より出力され、当該同期信号に同期してカウンタ値をインクリメントする。
【０１２７】
各符号化器に対するピクチャ番号通知は、符号化器数Ｎ＝３とＧＯＰ周期Ｔ＝２とから式（２）よりＰ＝６となるため、符号化器１はＲ＝０と１、符号化器２は２と３、そして符号化器３は４と５の時に、２回連続して行われる。
【０１２８】
各符号化器について、ピクチャ番号通知が行われる周期は１０Ｈz，１００ミリ秒間隔となり、当該周期内に２ピクチャ符号化できる処理性能であれば符号化画像を高解像度化できるようになる。
【０１２９】
また、ピクチャ番号通知部１０４からのピクチャ番号の通知と、当該ピクチャ番号を用いて符号化を行うタイミングをピクチャ番号ＦＩＦＯ７０２によって非同期にアクセスできるようにしたため、２ピクチャで平均して１０Ｈｚの半分の時間（５０ミリ秒）以内であれば、符号化処理時間にマージンを確保することが可能となる。
【０１３０】
符号化器の出力データ構造
続いて、本実施例の上記動作を行なったときの各符号化器の出力ビットストリームのデータ構造を図１１に示す。
【０１３１】
図１１は、図１０と同じく三つの符号化器を並列化し、各符号化器がＩピクチャ、ＰピクチャをＧＯＰ周期としてピクチャ符号化を２回連続した場合のデータ構成である。
【０１３２】
符号化器１は、ピクチャ番号０のＩピクチャ、ピクチャ番号１のＰピクチャ、その後ピクチャ番号６のＩピクチャ、ピクチャ番号７のＰピクチャという順で符号化ピクチャが生成される。
【０１３３】
Ｐピクチャは直前のＩピクチャのみを参照するため、参照ピクチャとして当該符号化器のフレームメモリ内にもつ画像データは一枚分だけとなる。
【０１３４】
フレーム間予測を用いた符号化効率の観点からは、画質向上はできないもののメモリリソースの節約が効果として期待できる。
【０１３５】
同様に符号化器２、符号化器３についてもピクチャ番号は異なるが、同じピクチャ参照関係をもつ符号化ピクチャデータが出力される。
【０１３６】
合成器の出力データ構造
続いて、本実施例の上記動作を行なったときの合成器１１０の出力ビットストリームのデータ構造を図１２に示す。
【０１３７】
本実施例においても、第一の実施例と同様に、前記図1０のタイミングで各符号化器から順次に符号化が完了したピクチャデータを受信し、そのまま出力すればビットストリームの統合が実現される。
【０１３８】
そして統合後のビットストリームは、昇順に割り当てられた一意のピクチャ識別番号を持ち、ピクチャ間の参照関係が正しく保たれた規格準拠のデータを得ることができる。
【０１３９】
上述した本実施例によっても、複数の符号化器による並列符号化処理で得られた複数の符号化ピクチャデータを一つのストリームに多重化する符号化システムをより簡単な構成で実現することが可能となる。さらには、符号化器の数やＧＯＰ周期が変更になった場合にも容易に対応可能な符号化システムと構成することが可能となる。
【０１４０】
上述したように、実施形態において図２−３及び図８−９に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出して制御系のＣＰＵが実行することによりその機能を実現させるものである。
【０１４１】
尚、上述した構成に限定されるものではなく、図２−３及び図８−９に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリが可能である。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されていてもよい。
【０１４２】
また、図２−３及び図８−９に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた場合である。このプログラムの指示に基づき、機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本件発明に含まれる。
【０１４３】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含む。
【０１４４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０１４５】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１４６】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【０１４７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
0005791451.tif 000002
【図２】
0005791451.tif 000003
【図３】
0005791451.tif 000004
【図４】
0005791451.tif 000005
【図５】
0005791451.tif 000006
【図６】
0005791451.tif 000007
【図７】
0005791451.tif 000008
【図８】
0005791451.tif 000009
【図９】
0005791451.tif 000010
【図１０】
0005791451.tif 000011
【図１１】
0005791451.tif 000012
【図１２】
0005791451.tif 000013