(57)【要約】【課題】符号化対象の画像を複数の領域に分割した場合に、当該複数の領域に対応する複数の分割画像のそれぞれに対する符号化処理の処理時間の平準化を図ることのできる画像分割方法、画像分割装置、および画像分割プログラムを提供すること。【解決手段】画像分割プログラムは、符号化対象の画像について単位符号化領域毎にシーン変化度を算出するシーン変化度算出機能部と、単位符号化領域毎に、シーン変化度算出機能部によって算出されたシーン変化度を基に符号化処理の処理時間を予測する処理時間予測機能部と、単位符号化領域毎の処理時間予測機能部によって予測された処理時間を基に、分割後の複数の領域に対応する複数の分割画像に関わる符号化処理の処理時間が均等になるように前記符号化対象の画像を複数の領域に分割する画像分割機能部と、をコンピュータに実現させることを特徴とする。【選択図】図１
2007325027.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の画像に対する符号化処理を複数の計算機資源で並列に実行すべく当該画像を複数の領域に分割する画像分割方法であって、
前記符号化対象の画像について単位符号化領域毎にシーン変化度を算出する算出ステップと、
単位符号化領域毎に、前記算出ステップにより算出されたシーン変化度を基に符号化処理の処理時間を予測する予測ステップと、
単位符号化領域毎の前記予測ステップにより予測された処理時間を基に、分割後の複数の領域に対応する複数の分割画像に関わる符号化処理の処理時間が均等になるように前記符号化対象の画像を複数の領域に分割する分割ステップと、
を含むことを特徴とする画像分割方法。
【請求項２】
前記分割ステップは、
分割後の複数の分割画像に関し、該当する分割画像に含まれる複数の単位符号化領域に関する前記予測ステップにより予測された処理時間の総和が等しくなるように、前記符号化対象の画像を複数の領域に分割する、
ことを特徴とする請求項１記載の画像分割方法。
【請求項３】
前記分割ステップは、
前記予測ステップにより予測された処理時間を加算する加算ステップと、
前記符号化対象の画像をｎ（ｎは正の整数）の領域に分割する場合に、当該画像についての全ての単位符号化領域に関する前記加算ステップにより加算された処理時間の合計値をｎで除算するとともに、該除算した結果を前記複数の分割画像のそれぞれに関わる符号化処理の処理時間と推定する推定ステップと、
連続する複数の単位符号化領域に関する前記加算ステップにより加算される処理時間の加算値が前記推定ステップにより推定された処理時間と等しくなった場合に、当該複数の単位符号化領域で形成される領域を分割画像に対応する領域として確定する確定ステップと、
を含むことを特徴とする請求項１または２記載の画像分割方法。
【請求項４】
前記シーン変化度は、
前記符号化対象の画像と該画像の前の画像との同一画素位置における画素値の差の絶対値をピクチャ内の全ての画素について算出し、この算出した当該全ての画素についての画素値の差の絶対値を総和したものである、
ことを特徴とする請求項１〜３の何れか一項に記載の画像分割方法。
【請求項５】
前記シーン変化度は、
前記符号化対象の画像と該画像の前の画像との同一画素位置における画素値の差の二乗をピクチャ内の全ての画素について算出し、この算出した当該全ての画素についての画素値の差の二乗を総和したものである、
ことを特徴とする請求項１〜３の何れか一項に記載の画像分割方法。
【請求項６】
符号化対象の画像に対する符号化処理を複数の計算機資源で並列に実行すべく当該画像を複数の領域に分割する画像分割装置であって、
前記符号化対象の画像について単位符号化領域毎にシーン変化度を算出する算出手段と、
単位符号化領域毎に、前記算出手段によって算出されたシーン変化度を基に符号化処理の処理時間を予測する予測手段と、
単位符号化領域毎の前記予測手段によって予測された処理時間を基に、分割後の複数の領域に対応する複数の分割画像に関わる符号化処理の処理時間が均等になるように前記符号化対象の画像を複数の領域に分割する分割手段と、
を含むことを特徴とする画像分割装置。
【請求項７】
前記分割手段は、
分割後の複数の分割画像に関し、該当する分割画像に含まれる複数の単位符号化領域に関する前記予測手段によって予測された処理時間の総和が等しくなるように、前記符号化対象の画像を複数の領域に分割する、
ことを特徴とする請求項６記載の画像分割装置。
【請求項８】
前記分割手段は、
前記予測手段によって予測された処理時間を加算する加算手段と、
前記符号化対象の画像をｎ（ｎは正の整数）の領域に分割する場合に、当該画像についての全ての単位符号化領域に関する前記加算手段によって加算された処理時間の合計値をｎで除算するとともに、該除算した結果を前記複数の分割画像のそれぞれに関わる符号化処理の処理時間と推定する推定手段と、
連続する複数の単位符号化領域に関する前記加算手段によって加算される処理時間の加算値が前記推定手段によって推定された処理時間と等しくなった場合に、当該複数の単位符号化領域で形成される領域を分割画像に対応する領域として確定する確定手段と、
を有することを特徴とする請求項６または７記載の画像分割装置。
【請求項９】
符号化対象の画像に対する符号化処理を複数の計算機資源で並列に実行すべく当該画像を複数の領域に分割する画像分割プログラムであって、
前記符号化対象の画像について単位符号化領域毎にシーン変化度を算出する算出ステップと、
単位符号化領域毎に、前記算出ステップにより算出されたシーン変化度を基に符号化処理の処理時間を予測する予測ステップと、
単位符号化領域毎の前記予測ステップにより予測された処理時間を基に、分割後の複数の領域に対応する複数の分割画像に関わる符号化処理の処理時間が均等になるように前記符号化対象の画像を複数の領域に分割する分割ステップと、
をコンピュータに実行させることを特徴とする画像分割プログラム。
【請求項１０】
前記分割ステップは、
分割後の複数の分割画像に関し、該当する分割画像に含まれる複数の単位符号化領域に関する前記予測ステップにより予測された処理時間の総和が等しくなるように、前記符号化対象の画像を複数の領域に分割する、
ことを特徴とする請求項９記載の画像分割プログラム。
【請求項１１】
前記分割ステップは、
前記予測ステップにより予測された処理時間を加算する加算ステップと、
前記符号化対象の画像をｎ（ｎは正の整数）の領域に分割する場合に、当該画像についての全ての単位符号化領域に関する前記加算ステップにより加算された処理時間の合計値をｎで除算するとともに、該除算した結果を前記複数の分割画像のそれぞれに関わる符号化処理の処理時間と推定する推定ステップと、
連続する複数の単位符号化領域に関する前記加算ステップにより加算される処理時間の加算値が前記推定ステップにより推定された処理時間と等しくなった場合に、当該複数の単位符号化領域で形成される領域を分割画像に対応する領域として確定する確定ステップと、
を含むことを特徴とする請求項９または１０記載の画像分割プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化対象の画像に対する符号化処理を複数の計算機資源で並列に実行すべく当該画像を複数の領域に分割する画像分割方法、画像分割装置、および画像分割プログラムに関する。
【背景技術】
【０００２】
符号化対象の画像を符号化する際に、当該画像を複数の領域（画面）に分割し、この分割した複数の領域の画像（分割画像）を複数の計算機資源（計算処理単位）に分配し、各計算機資源が自己に分配された分割画像に対する符号化処理を行い、さらに画面全体（符号化対象の画像）に対する符号化が終了する時点で同期をとって符号化する方式が検討されている（例えば特許文献１参照。）。
【０００３】
このような方式では、分割後の各分割画像のそれぞれに対する符号化処理ができるだけ同じ時間に完了するほうが、計算機資源の効率がよい。
【０００４】
そのため、特許文献１では、今から符号化する画像の分割の仕方として、前の画像の符号化のときに得られる情報（各単体符号化部の処理時間および処理したスライス数）のみを基に、当該符号化する画像の分割を決定する方法、を提示している。
【０００５】
具体的には、特許文献１の「請求項７」によると、「ピクチャ全体の符号化処理時間をピクチャ全体のスライス数で割り、ピクチャ全体での符号化処理速度を算出」し、「各単体符号化部の符号化処理時間を担当したスライス数で割り、各単体符号化部の符号化処理速度を算出」し、「各単体符号化処理速度のピクチャ全体での符号化処理速度の比に応じて、各単体符号化部の担当スライス数を算出」する、という手順である。
【０００６】
【特許文献１】特許第３６２１５９８号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１では、直前に行われた画像圧縮処理（符号化処理）に関わる実行時間および各単体符号化部が実行したスライス数を基に求められた結果に基づいて、符号化する画像を分割するようにしているので、画像の分割の仕方が正確さに欠けるという問題がある。
【０００８】
ところで、画像の分割の仕方が正確さに欠けるのは、符号化処理の処理時間を多く必要とする部分が領域（画面）上で急速に移動する状況の場合に顕著になる。
【０００９】
また、画像の性質が次のフレームで大きく変わった場合に、適切な、分割画像（負荷）の割り当てをすることができなくなる。画像の性質が１フレームで大きく変わるのは、例えば、シーンチェンジと呼ばれる状態のときである。これは、２つの異なったシーンを連続して一つのシーンとする場合に起こるものである。このシーンチェンジは、映像表現としては比較的一般的なもので、よく使われる手法である。
【００１０】
ここで、画像の分割の仕方が正確さに欠けるという問題について、図８を参照して説明する。図８は符号化対象となる画像の時間変化を模式的に示したものである。
【００１１】
図８において、ピクチャ１からピクチャ６の各画像を点線の部分で２つに分割して、２つの部分画像にしている様子を示している。符号Ｐ１〜Ｐ６で示される部分（塗り潰し部分）は符号化処理に多くの時間を必要とする画像を示している。
【００１２】
ピクチャ１からピクチャ３は同じ傾向の画像であり、ピクチャ４からピクチャ６は同じ傾向の画像である。またピクチャ３からピクチャ４へはシーンチェンジが起こっている。さらに、ピクチャ４からピクチャ６は、符号化処理に多くの時間を必要とする部分（部分Ｐ４から部分Ｐ６）が画面左上から画面右下へ３フレームで変化するような、画像内容の変化が急である場合の事象を示している。
【００１３】
このような前提条件の下で、例えば、ピクチャ２の分割は、前のピクチャ１を符号化した際のピクチャ１の２つの部分画像のそれぞれについての、符号化処理の処理時間（符号化処理時間）および符号化した面積から決定される。なお、部分Ｐ１は計算処理に多くの時間を必要とする画像であるが、この部分Ｐ１は、ピクチャ１では均等に存在し分割も中央で行われている。
【００１４】
そのため、ピクチャ１の各分割画像のそれぞれに関わる符号化処理時間および担当スライス数は同じになる。従ってピクチャ２での分割は画像（画面）の中央で行われる。同様に、ピクチャ３およびピクチャ４においても分割は画像の中央で行われる。
【００１５】
ところが、ピクチャ４では、符号化処理に多くの時間を必要とする部分Ｐ４が画面左上に存在しているため、画面中央での分割は、負荷（符号化処理）の平準化という観点からは不適切である。すなわち、ピクチャ４では、スライス４ａとスライス４ｂとは均等に分割されているが、符号化処理の処理時間は、スライス４ａに対する符号化処理の場合の方がスライス４ｂに対する符号化処理の場合よりも長くかかる。
【００１６】
そして、ピクチャ４に対する符号化処理に関する符号化処理速度に応じて、ピクチャ５を符号化するため、ピクチャ５での分割位置は画面の上部になる。
【００１７】
しかし、ピクチャ５では、画面の中央に符号化処理に多くの時間を必要とする部分Ｐ５が存在しているため、画面上部での分割は負荷（符号化処理）の平準化という観点からは不適切である。
【００１８】
そこで、本発明は、符号化対象の画像を複数の領域に分割した場合に、当該複数の領域に対応する複数の分割画像のそれぞれに対する符号化処理の処理時間の平準化を図ることのできる画像分割方法、画像分割装置、および画像分割プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
この課題を解決するために、第１の発明に係る画像分割方法は、符号化対象の画像に対する符号化処理を複数の計算機資源で並列に実行すべく当該画像を複数の領域に分割する画像分割方法であって、前記符号化対象の画像について単位符号化領域毎にシーン変化度を算出する算出ステップと、単位符号化領域毎に、前記算出ステップにより算出されたシーン変化度を基に符号化処理の処理時間を予測する予測ステップと、単位符号化領域毎の前記予測ステップにより予測された処理時間を基に、分割後の複数の領域に対応する複数の分割画像に関わる符号化処理の処理時間が均等になるように前記符号化対象の画像を複数の領域に分割する分割ステップと、を含むことを特徴とする。
【００２０】
第２の発明に係る画像分割装置は、符号化対象の画像に対する符号化処理を複数の計算機資源で並列に実行すべく当該画像を複数の領域に分割する画像分割装置であって、前記符号化対象の画像について単位符号化領域毎にシーン変化度を算出する算出手段と、単位符号化領域毎に、前記算出手段によって算出されたシーン変化度を基に符号化処理の処理時間を予測する予測手段と、単位符号化領域毎の前記予測手段によって予測された処理時間を基に、分割後の複数の領域に対応する複数の分割画像に関わる符号化処理の処理時間が均等になるように前記符号化対象の画像を複数の領域に分割する分割手段と、を有することを特徴とする。
【００２１】
第３の発明に係る画像分割プログラムは、符号化対象の画像に対する符号化処理を複数の計算機資源で並列に実行すべく当該画像を複数の領域に分割する画像分割プログラムであって、前記符号化対象の画像について単位符号化領域毎にシーン変化度を算出する算出ステップと、単位符号化領域毎に、前記算出ステップにより算出されたシーン変化度を基に符号化処理の処理時間を予測する予測ステップと、単位符号化領域毎の前記予測ステップにより予測された処理時間を基に、分割後の複数の領域に対応する複数の分割画像に関わる符号化処理の処理時間が均等になるように前記符号化対象の画像を複数の領域に分割する分割ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２２】
本発明に係る画像分割方法、画像分割装置、および画像分割プログラムによれば、シーン変化度（符号化対象の画像とその直前の画像との差から得られる情報）を基に単位符号化領域毎の符号化処理の処理時間を予測し、この予測した処理時間に基づき、分割後の複数の領域の分割画像のそれぞれについての符号化処理の処理時間が均等になるように、符号化対象の画像を複数の領域に分割するようにしているので、符号化対象の画像を複数の領域に分割した場合に、当該複数の領域に対応する複数の分割画像のそれぞれに対する符号化処理の処理時間の平準化を図ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を実施するための最良の形態を、図面を参照しつつさらに具体的に説明する。ここで、添付図面において同一の構成要素には同一の符号を付しており、また、重複した説明は省略されている。なお、ここでの説明は本発明が実施される最良の形態であることから、本発明は当該形態に限定されるものではない。
【００２４】
（Ａ）第１の実施形態
第１の実施形態では、本発明の画像分割装置を画像符号化装置に適用するものとし、本発明の画像分割プログラムを画像符号化装置が実行することにより、本発明の画像分割方法が実現されるようになっている。
【００２５】
また、第１の実施形態では、動画像の画像符号化方式として、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ：International  Telecommunication  Union  Telecommunication  sector）による勧告Ｈ．２６４や、国際標準化機構（ＩＳＯ：International  Organization  for  Standardization）によるＭＰＥＧ（Moving  Picture  Expert  Group）４など、時間的な方向の冗長性を画像間の画素値の差分を用いて減少させていることを特徴とする動画像符号化方式を採用する。
【００２６】
さらに、第１の実施形態において、単位符号化領域とは、動画像符号化の単位符号化領域のことであり、例えばマクロブロックのことである。このマクロブロック（ＭＢ）は、上述した動画像符号化標準であるＨ．２６４やＭＰＥＧ−４などでは１６×１６画素のサイズとなっている。
【００２７】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る画像符号化装置の機能構成を示している。
【００２８】
図１に示すように、画像符号化装置１は、符号化対象の画像を複数の領域に分割する分割処理部１０と、分割処理部１０による分割処理の中で必要とするパラメータの一つである予測処理時間に関する予測モデルを更新する予測モデル更新部２０とを有している。
【００２９】
分割処理部１０は、シーン変化度算出機能部１１０と、処理時間予測機能部１２０と、画像分割機能部１３０とを有している。
【００３０】
シーン変化度算出機能部（算出手段）１１０は、符号化対象の画像についてマクロブロック（単位符号化領域）毎にシーン変化度を算出する。このシーン変化度については後述する。
【００３１】
処理時間予測機能部（予測手段）１２０は、マクロブロック毎に、シーン変化度算出機能部１１０によって算出されたシーン変化度を基に符号化処理の処理時間を予測する。
【００３２】
画像分割機能部（分割手段）１３０は、マクロブロック毎の処理時間予測機能部１２０によって予測された処理時間を基に、分割後の複数の領域に対応する複数の分割画像に関わる符号化処理の処理時間が均等になるように、符号化対象の画像を複数の領域に分割する。
【００３３】
なお、分割画像とは、符号化対象の画像を複数の領域に分割した場合において、当該各領域のそれぞれに対応する画像のことである。
【００３４】
また、画像分割機能部１３０は、処理時間加算機能部１３１、処理時間推定機能部１３２および領域確定機能部１３３を有しており、分割後の複数の分割画像に関し、該当する分割画像に含まれる複数のマクロブロックに関する処理時間予測機能部１２０によって予測された処理時間の総和が等しくなるように、前記符号化対象の画像を複数の領域に分割する。
【００３５】
処理時間加算機能部（加算手段）１３１は、処理時間予測機能部１２０によって予測された処理時間を加算する。
【００３６】
処理時間推定機能部（推定手段）１３２は、符号化対象の画像をｎ（ｎは正の整数）の領域に分割する場合に、当該画像についての全てのマクロブロックに関する処理時間加算機能部１３１によって加算された処理時間の合計値をｎで除算するとともに、該除算した結果を前記複数の分割画像のそれぞれに関わる符号化処理の処理時間と推定する。
【００３７】
領域確定機能部（確定手段）１３３は、連続する複数のマクロブロックに関する処理時間加算機能部１３１によって加算される処理時間の加算値が処理時間推定機能部１３２によって推定された処理時間と等しくなった場合に、当該複数のマクロブロックで形成される領域を分割画像に対応する領域として確定する。
【００３８】
図２は、第１の実施形態に係る画像符号化装置の構成を示している。
【００３９】
図２に示すように、画像符号化装置１は、複数（Ｎ）のＣＰＵ（中央演算処理装置）２００−１〜２００−Ｎと、ＲＯＭ（読み出し専用メモリ）２１０と、ＲＡＭ（随時書き込み読み出しメモリ）２２０と、共有メモリ２３０と、Ｉ／Ｏ（入出力装置）２４０とを有し、これらの構成要素がバス２５０に接続されている。
【００４０】
ＲＯＭ２１０は、当該画像符号化装置１の機能を実現するためのプログラムを格納しており、例えば、後述する処理手順（図３、図４および図７参照）に対応するプログラム、所定の動画像符号化方式に従った符号化処理を実現するためのプログラムなど、動画像圧縮処理に必要な所定のプログラムを格納している。
【００４１】
画像符号化装置１の機能としては、例えば、上述した分割処理部１０の機能および予測モデル更新部２０の機能、所定の動画像符号化方式（Ｈ．２６４やＭＰＥＧ−４など）に従った符号化処理の機能などがある。
【００４２】
ＲＡＭ２２０は、ＲＯＭ２１０から読み込まれたプログラムや、符号化処理の時に実施される所定の演算処理の結果など各種のデータを記憶する。
【００４３】
共有メモリ２３０は、符号化対象の画像、符号化処理時に必要となる各種パラメータ、符号化処理の結果である圧縮ストリームなどを記憶し、何れのＣＰＵからもアクセスが可能になっている。
【００４４】
Ｉ／Ｏ２４０は、外部への入出力装置であり、外部からの入力画像を取り入れることができるとともに、符号化した結果の圧縮ストリームを外部へ出力することができるようになっている。
【００４５】
複数（Ｎ）のＣＰＵ２００−１〜２００−Ｎは、バス２５０を通じてＲＯＭ２１０、ＲＡＭ２２０、共有メモリ２３０やＩ／Ｏ２４０にアクセスできるようになっている。
【００４６】
ＣＰＵ２００−１には符号化処理全体を制御する全体制御処理が割り当てられており、また、ＣＰＵ２００−２から２００−Ｎにはそれぞれ、符号化対象の画像を分割した後の分割画像を符号化するための符号化処理が割り当てられるようになっている。
【００４７】
ＣＰＵ２００−１は、ＲＯＭ２１０からＲＡＭ２２０へ分割処理部１０の機能および予測モデル更新部２０の機能を実現するためのプログラム、後述する処理手順（図３、図４および図７参照）に対応するプログラムを読み込んで、これらを実行することにより上述した分割処理部１０の機能および予測モデル更新部２０の機能を実現するとともに、符号化処理全体を制御する。
【００４８】
例えば、ＣＰＵ２００−１は、符号化対象の画像を複数の領域に分割し、該各領域の分割画像の符号化処理を、その分割の数に応じて、ＣＰＵ２００−２からＣＰＵ２００−Ｎの各計算機資源に依頼する。
【００４９】
依頼された各ＣＰＵは、ＲＯＭ２１０からＲＡＭ２２０へ所定の動画像符号化方式（Ｈ．２６４やＭＰＥＧ−４など）に従った符号化処理を実現するためのプログラムを読み込んで、これを実行することにより、時間的な方向の冗長性を画像間の画素値の差分を用いて減少させていることを特徴とする動画像符号化方式に従って符号化処理を実施する。このとき、時間方向の冗長性を削減するため、動きベクトル探索という技術が使用される。
【００５０】
（Ａ−２）第１の実施形態の動作
次に、画像符号化装置１による符号化処理について、図３を参照して説明する。
【００５１】
図３は１ピクチャの符号化処理の処理手順を示すフローチャートである。
【００５２】
画像符号化装置１では、ＣＰＵ２００−１は、図３に示すように、符号化対象の画像を複数の領域に分割する分割処理を実施し（ステップＳ１００）、次に、その分割処理により得られた複数の領域の分割画像の符号化処理を、分割数に応じた各ＣＰＵへ依頼するとともに、該依頼された各ＣＰＵからの符号化処理の完了を示す旨の通知を待ち（ステップＳ２００）、依頼した全てのＣＰＵからの符号化処理の完了を示す旨の通知を受け取った場合は、ステップＳ１００の分割処理の中で必要とするパラメータの一つである予測処理時間に関する予測モデルを更新する（ステップＳ３００）。
【００５３】
そして、ＣＰＵ２００−１は、上記ステップＳ１００からステップＳ３００の処理（１ピクチャの符号化処理）を繰り返すことで、動画像の符号化制御を実現する。
【００５４】
上記ステップＳ１００の分割処理は、今から符号化する画像の圧縮処理時間に関係する指標となるシーン変化速度を用いて、各符号化用の計算機資源（この例ではＣＰＵ）上での、分割された画像（分割後の分割画像）の処理時間を予測し、その予測した処理時間に応じて符号化する画像を分割するものである。
【００５５】
シーン変化度とは、今から符号化するピクチャ（画像）とその前（直前）のピクチャ（画像）との間の変化を表す指標のことである。
【００５６】
この第１の実施形態では、シーン変化度は、符号化するピクチャ（画像）とその前（直前）のピクチャ（画像）との同一画素位置における画素値の差の絶対値をピクチャ内の全ての画素について算出し、この算出した当該全ての画素についての画素値の差の絶対値を総和したものである。
【００５７】
また、シーン変化度は、ピクチャ全体でなく、分割画像に対しても求めることができ、この場合も上記同様に、今から符号化される画像とその直前の画像との同一画素位置における画素値の差の絶対値を分割画像内の全ての画素について算出し、この算出した当該全ての画素についての画素値の差の絶対値を総和することで求めることができる。
【００５８】
さらには、シーン変化度は、符号化するピクチャ（画像）とその直前のピクチャ（画像）との同一画素位置における画素値の差の絶対値をマクロブロック内の全ての画素について算出し、この算出した当該全ての画素についての画素値の差の絶対値を総和することで求めるようにしてもよい。
【００５９】
このように定義されるシーン変化度が大きければ、異なったシーンへ変化しているものと考えられる。
【００６０】
ところで、第１の実施形態では、上述したように例えばＨ．２６４やＭＰＥＧ−４等の動画像符号化方式を採用しているが、これらの動画像符号化方式は、時間方向の冗長性を削減するため、動きベクトル探索という技術を使用している。
【００６１】
この動きベクトル探索は、時間的な冗長性を削減するため、今から符号化する画像と似ている部分を時間的に異なった画像の部分のどこかに存在していないかを探索する技術である。そのため、動きベクトル探索の処理においては、画像の似ているものがある場合には探索時間が短くすみ、一方、画像の似ているものが無い場合は探索時間が長くなる。
【００６２】
従って、上述したように定義されるシーン変化度と、動きベクトル探索を含む動画像符号化処理の処理時間とには相関があるのは必然である。
【００６３】
次に、ＣＰＵ２００−１による図３の処理手順に示したステップＳ１００の分割処理について、図４を参照して説明する。
【００６４】
図４は分割処理の処理手順を示すフローチャートである。
【００６５】
ＣＰＵ２００−１は、この分割処理においては、図１に示した分割処理部１０として機能する。そこで、この処理の説明に際し分割処理部１０の構成要素も併記する。
【００６６】
最初に、ＣＰＵ２００−１は、図４に示すように、これから符号化する符号化対象のピクチャ（画像）のマクロブロック（ＭＢ）毎のシーン変化度を算出する（ステップＳ１１０）。この処理はシーン変化度算出機能部１１０が実行する。このマクロブロックは上述したように１６×１６画素のサイズとなっている。
【００６７】
ステップＳ１１０を終了したＣＰＵ２００−１は、マクロブロック毎のシーン変化度を基に、マクロブロック毎の符号化処理の処理時間を予測し、これをマクロブロック枚の予測処理時間（処理時間見込み）とする（ステップＳ１２０）。この処理は処理時間予測機能部１２０が実行する。
【００６８】
マクロブロック枚の予測処理時間をＴとし、シーン変化度をＳとすると、予測処理時間は、「Ｔ＝ａ＊Ｓ＋ｂ」を演算して求めることができる。ここで、値ａ、値ｂは、初期値であり、予め与えておくが、予測モデルの更新処理において新しい値に更新されるものである。
【００６９】
このようにしてマクロブロック枚の予測処理時間を求めたＣＰＵ２００−１は、マクロブロック毎の予測処理時間（処理時間見込み）を総和し、この総和した結果をピクチャの予測処理時間（処理時間見込み）とする（ステップＳ１３０）。この処理は処理時間予測機能部１２０が実行する。
【００７０】
次に、ＣＰＵ２００−１は、マクロブロック枚の予測処理時間を基に、分割後の各画像（分割画像）のそれぞれについての符号化処理の処理時間が均等になるように、符号化対象の画像を複数の領域に分割する（ステップＳ１４０）。この処理は画像分割機能部１３０が実行する。
【００７１】
すなわち、ＣＰＵ２００−１は、分割後の画像（分割画像）に含まれるマクロブロック毎の予測処理時間（処理時間見込み）の合計が、分割後の各分割画像間で均等になるように符号化対象の画像を複数の領域に分割する。
【００７２】
具体的には、ＣＰＵ２００−１は、符号化対象の画像を例えばｎ分割する場合には、ピクチャの予測処理時間（処理時間見込み）をｎで除算し、この除算した結果を分割画像の予測処理時間（処理時間見込み）とする。この処理は処理時間推定機能部１３２が実行する。
【００７３】
次に、ＣＰＵ２００−１は、分割画像内に含まれるマクロブロックをひとつずつ増やしていくとともに、マクロブロックが１つ増加する毎に、当該マクロブロックの予測処理時間（処理時間見込み）を加算し、この加算した値が分割画像の予測処理時間（処理時間見込み）になるまで、マクロブロックの追加を繰り返しながら、マクロブロックの予測処理時間（処理時間見込み）を加算する。この処理は、処理時間加算機能部１３１および画像分割機能部１３０が実行する。
【００７４】
そして、ＣＰＵ２００−１は、複数のマクロブロックの予測処理時間を加算した値が分割画像の予測処理時間（処理時間見込み）と等しくなった場合に、当該複数のマクロブロックで形成される領域を分割画像に対応する領域として確定することができる。すなわち、その分割画像に対応する領域と他の領域との境界線を分割位置として符号化対象の画像を分割すればよい。この処理は領域確定機能部１３３が実行する。
【００７５】
なお、ＣＰＵ２００−１は、上記ステップＳ１４０を終了した場合には、この処理を終了し、図１に示した符号化処理にリターンする。
【００７６】
次に、上述した分割処理について、具体例を挙げて説明する。
【００７７】
ここでは、符号化対象のピクチャ（画像）は図５（ａ）に示すようなピクチャ（画像）５００とし、その直前のピクチャ（画像）は図５（ｂ）に示すようなピクチャ（画像）４００であるとする。
【００７８】
図５（ａ）において、画面上部に、符号化処理に多くの時間を必要とする部分Ｐ５００（塗り潰しされている円の部分）が存在している。また、図５（ｂ）において、画面左側全体に、符号化処理に多くの時間を必要とする部分Ｐ４００（塗り潰しされている長方形の部分）が存在している。さらに、ピクチャ（画像）４００およびピクチャ（画像）５００は、複数（３６）のマクロブロックＭＢ１〜ＭＢ３６を有しているものとする。
【００７９】
ＣＰＵ２００−１は、次の（１）〜（４）の処理を実行する。
【００８０】
（１）マクロブロックＭＢ１からマクロブロックＭＢ３６までの３６のマクロブロックについて、シーン変化度を算出する（ステップＳ１１０の処理）。
【００８１】
ここで、マクロブロックＭＢ１のシーン変化度をＳ１、マクロブロックＭＢ２のシーン変化度をＳ２、・・・、マクロブロックＭＢ３６のシーン変化度をＳ３６とする。
【００８２】
ここでは、シーン変化度は、符号化するピクチャ（画像）とその直前のピクチャ（画像）との同一画素位置における画素値の差の絶対値をマクロブロック内の全ての画素について算出し、この算出した当該全ての画素についての画素値の差の絶対値を総和したものである。
【００８３】
（２）マクロブロック毎のシーン変化度つまりシーン変化度Ｓ１〜Ｓ３６を基に、マクロブロック毎の符号化処理の処理時間を予測する（ステップＳ１２０の処理）。
【００８４】
ここで、マクロブロックＭＢ１の予測処理時間をＴ１、マクロブロックＭＢ２の予測処理時間をＴ２、マクロブロックＭＢ１２の予測処理時間をＴ１２、マクロブロックＭＢ３６の予測処理時間をＴ３６とする。つまりマクロブロックＭＢ１〜Ｍ３６に対応する予測処理時間をＴ１〜Ｔ３６とする。
【００８５】
（３）マクロブロック毎の予測処理時間すなわち予測処理時間Ｔ１、予測処理時間Ｔ２、・・・、予測処理時間Ｔ３６を総和する（ステップＳ１３０の処理）。
【００８６】
ここで、マクロブロック毎の予測処理時間の総和をΣＴとし、これをピクチャの予測処理時間ΣＴとする。
【００８７】
（４）分割後の分割画像に含まれる複数のマクロブロックの予測処理時間の合計が、分割後の各分割画像間で均等になるように符号化対象の画像を複数の領域に分割する（ステップＳ１４０の処理）。
【００８８】
この例では、符号化対象のピクチャ（画像）５００を２分割する場合を考える。ピクチャの予測処理時間ΣＴを２で除算し、この除算した結果（ΣＴ／２）を、分割画像の予測処理時間ΣＴ／２とする。ＣＰＵ２００−１は、次の（４−１）〜（４−５）の処理を実行する。
【００８９】
（４−１）最初に、分割画像に含まれるマクロブロックとしてマクロブロックＭＢ１を含め、このマクロブロックＭＢ１の予測処理時間Ｔ１が分割画像の予測処理時間ΣＴ／２と等しいか否かを判断する。この場合、予測処理時間Ｔ１は予測処理時間ΣＴ／２未満とする。
【００９０】
（４−２）次に、分割画像に含まれるマクロブロックとして、さらにマクロブロックＭＢ２を追加し、マクロブロックＭＢ１の予測処理時間Ｔ１にマクロブロックＭＢ２の予測処理時間Ｔ２を加算し、この加算した結果が予測処理時間ΣＴ／２と等しいか否かを判断する。この場合、加算した結果（Ｔ１＋Ｔ２）は予測処理時間ΣＴ／２とする。
【００９１】
（４−３）さらに上記同様に、分割画像に含まれるマクロブロックとして、マクロブロックＭＢ３、マクロブロックＭＢ４、・・・という具合に、順次連続するマクロブロックを追加しながら、同時に当該複数のマクロブロックの予測処理時間を加算していく。このようなことを、この加算した値（Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４＋・・・）が分割画像の予測処理時間ΣＴ／２と等しくなるまで繰り返す。
【００９２】
（４−４）そして、分割画像に含まれるマクロブロックとして、マクロブロックＭＢ１からマクロブロックＭＢ１２までが含まれる場合に、これら各マクロブロックの予測処理時間を加算した結果（Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４＋・・・＋Ｔ１２）が分割画像の予測処理時間ΣＴ／２と等しくなったとする。
【００９３】
（４−５）マクロブロックＭＢ１からマクロブロックＭＢ１２までの各マクロブロックで形成される領域を分割画像に対応する領域として確定し、図６に示すように、その領域と他の領域との境界線５０１を分割位置として、符号化対象のピクチャ（画像）５００を分割する。これによりピクチャ（画像）５００は分割画像５１０と分割画像５２０とに分割される。
【００９４】
すなわち、図５（ａ）に示したピクチャ（画像）５００は、図６に示すピクチャ（画像）５００の如く境界線５０１で分割画像５１０と分割画像５２０とに分割される。
【００９５】
ちなみに、分割画像５２０に含まれるマクロブロックとして、マクロブロックＭＢ１３からマクロブロックＭＢ３６までが含まれるが、これら各マクロブロックの予測処理時間を加算した結果（Ｔ１３＋Ｔ１４＋Ｔ１５＋・・・・・＋Ｔ３６）は分割画像の予測処理時間ΣＴ／２と等しくなっている。
【００９６】
従って、分割画像５１０に関わる符号化処理の処理時間と分割画像５２０に関わる符号化処理の処理時間とが等しくなるので、これらの符号化処理が複数の計算機資源例えばＣＰＵ２００−２およびＣＰＵ２００−３に分配された場合、分割画像５１０に関わる符号化処理を担当する計算機資源例えばＣＰＵ２００−２、および分割画像５２０に関わる符号化処理を担当する計算機資源例えばＣＰＵ２００−３に対しての符号化処理（負荷）を平準化することができる。
【００９７】
これに対し、従来の技術によれば、図５（ｂ）に示すピクチャ（画像）４００から図５（ａ）に示すピクチャ（画像）５００へと画像が変化し、符号化対象がピクチャ（画像）５００の場合、ピクチャ（画像）５００は、マクロブロックＭＢ１からマクロブロックＭＢ１８までの各マクロブロックで形成される第１の領域と、マクロブロックＭＢ１９からマクロブロックＭＢ３６までの各マクロブロックで形成される第２の領域とに分割（画面中央で分割）されることになる。
【００９８】
しかし、画面上部つまり上記第１の領域に、符号化処理に多くの時間を必要とする部分Ｐ５００が存在しているので、従来の技術では、上記第１の領域に対する符号化処理の処理時間が、上記第２の領域に対する符号化処理の処理時間よりも長くなり、各計算機資源に対しての符号化処理（負荷）を平準化させることはできない。
【００９９】
次に、ＣＰＵ２００−１による図３の処理手順に示したステップＳ３００の予測モデル更新処理について、図７を参照して説明する。
【０１００】
図７は予測モデル更新処理の処理手順を示すフローチャートである。
【０１０１】
ＣＰＵ２００−１は、この予測モデル更新処理時においては、図１に示した予測モデル更新部２０として機能する。
【０１０２】
最初に、ＣＰＵ２００−１は、図７に示すように、各分割画像の実際に実行された符号化処理の処理時間を測定（取得）する（ステップＳ３１０）。例えば、ＣＰＵ２００−１は、各分割画像の符号化処理を各計算機資源に依頼した時刻ｔ１を記録し、次に符号化処理を実行した計算機資源からの符号化を終了した旨を受け取った時点つまり符号化が終了した時刻ｔ２を測定し、その差（ｔ２−ｔ１）を符号化処理の処理時間Ｔとする。
【０１０３】
次に、ＣＰＵ２００−１は、分割画像毎に、分割画像に含まれるマクロブロック毎のシーン変化度の総和を求め、これを分割画像のシーン変化度Ｓとするとともに（ステップＳ３２０）、その分割画像のシーン変化度ＳとステップＳ３１０で求めた分割画像の符号化処理の処理時間Ｔとを組み（ペア）にして、共有メモリ２３０に記憶する（ステップＳ３３０）。
【０１０４】
続いて、ＣＰＵ２００−１は、共有メモリ２３０に記憶されている全ての「分割画像の符号化処理の処理時間Ｔと分割画像のシーン変化度Ｓとの組み」に基づき、演算式「Ｔ＝Ａ＊Ｓ＋Ｂ」をつかって、最小二乗法によりＡ、Ｂを求める（ステップＳ３４０）。これは、シーン変化度Ｓと符号化処理の処理時間Ｔとの相関を求めていることになる。
【０１０５】
さらに、ＣＰＵ２００−１は、上述したようにして求めたＡをａに、Ｂをｂに、共有メモリ２３０に記憶し、「Ｔ＝ａ＊Ｓ＋ｂ」を新しい予測式とする（ステップＳ３５０）。
【０１０６】
そして、ＣＰＵ２００−１は、予め決められている個数を超える「処理時間Ｔとシーン変化度Ｓとの組み」が共有メモリ２３０に記憶されたら、もっとも古いものを削除する（ステップＳ３６０）。これにより、時間的に最近の一定個数の「処理時間Ｔとシーン変化度Ｓとの組み」が共有メモリ２３０に記憶されていることになる。
【０１０７】
なお、ＣＰＵ２００−１は、上記ステップＳ３６０を終了した場合には、この処理を終了し、図１に示した符号化処理にリターンする。
【０１０８】
なお、第１の実施形態では、シーン変化度は、画像間の同一画素位置における画素値の差の絶対値をピクチャ内の全ての画素について算出し、この算出した当該全ての画素についての画素値の差の絶対値を総和して求めるようにしたが、本発明はこれに限定されることなく、次のようにしても良い。
【０１０９】
すなわち、シーン変化度を、符号化対象の画像と該画像の前の画像との同一画素位置における画素値の差の二乗をピクチャ内の全ての画素について算出し、この算出した当該全ての画素についての画素値の差の二乗を総和して求めるようにする。
【０１１０】
（Ａ−３）第１の実施形態の効果
以上説明したように、シーン変化度Ｓ（符号化対象の画像とその直前の画像との差から得られる情報）を基にマクロブロック毎の符号化処理の処理時間Ｔを予測するようにしているので、この予測したマクロブロック毎の処理時間Ｔに基づき、分割後の複数の領域に対応する複数の分割画像に関わる符号化処理の処理時間が均等になるように、符号化対象の画像を複数の領域に分割することができる。
【０１１１】
これにより、符号化対象の画像を複数の領域に分割した場合に、当該複数の領域に対応する複数の分割画像のそれぞれに対する符号化処理の処理時間の平準化を図ることができる。
【０１１２】
従って、動画像圧縮処理をマルチプロセッサやデュアルコアなど複数のプロセッサ（計算機資源）を搭載した計算機で行う際に、全体の動画像圧縮処理（動画像符号化処理）が平準化するように各プロセッサにその処理を割り当てることができる。
【０１１３】
（Ｂ）他の実施形態
本発明は、複数の計算機資源として複数のコンピュータを有し、これらのコンピュータで符号化処理を並列に実行する動画像符号化処理機能を有するシステム、あるいは複数の計算機資源として複数のプロセッサを有し、これらのプロセッサで符号化処理を並列に実行する動画像符号化処理機能を有する１つのコンピュータに適用することができる。
【０１１４】
また、本発明は、上記システム上や上記コンピュータで動作する動画像符号化ソフトウェアとして利用可能である。
【図面の簡単な説明】
【０１１５】
【図１】第１の実施形態に係る画像分割装置を適用した画像符号化装置の機能構成を示す機能ブロック図である。
【図２】第１の実施形態に係る画像分割装置を適用した画像符号化装置の構成を示すブロック図である。
【図３】第１の実施形態に係る符号化処理（１ピクチャの符号化処理）の処理手順を示すフローチャートである。
【図４】第１の実施形態に係る分割処理の処理手順を示すフローチャートである。
【図５】第１の実施形態に係る分割処理を説明する図である。
【図６】第１の実施形態に係る分割処理を説明する図である。
【図７】第１の実施形態に係る予測モデル更新処理の処理手順を示すフローチャートである。
【図８】従来の分割処理を説明するために符号化対象となる画像の時間変化を模式的に示す図である。
【符号の説明】
【０１１６】
１…画像符号化装置、１０…分割処理部、２０…予測モデル更新部、１１０…シーン変化度算出機能部（算出手段）、１２０…処理時間予測機能部（予測手段）、１３０…画像分割機能部（分割手段）、１３１…処理時間加算機能部（加算手段）、１３２…処理時間推定機能部（推定手段）、１３３…領域確定機能部（確定手段）、２００−１〜２００−Ｎ…ＣＰＵ（計算機資源）、２１０…ＲＯＭ、２２０…ＲＡＭ、２３０…共有メモリ、２４０…Ｉ／Ｏ、２５０…バス。
【図１】
2007325027.tif 000003
【図２】
2007325027.tif 000004
【図３】
2007325027.tif 000005
【図４】
2007325027.tif 000006
【図５】
2007325027.tif 000007
【図６】
2007325027.tif 000008
【図７】
2007325027.tif 000009
【図８】
2007325027.tif 000010