(57)【要約】      （修正有）【課題】ピクチャを区切って符号化を並列に行い符号化データを伝送する際に生じる遅延を低減する画像処理装置及び画像処理方法を提供する。【解決手段】ピクチャを矩形領域の複数の画像に分割して、複数の画像符号化部１０３、１０４が矩形領域の画像の符号化を並列に行い、矩形領域の符号化データをメモリの画像符号化部に対応する領域に書き込み、メモリに格納されたメモリ転送記述子の転送順序に従って、メモリから符号化データを読み出して出力する画像処理装置において、画像符号化部による矩形領域の画像の符号化が完了する毎に、次の矩形領域の画像の符号化と並列に、符号化が完了した矩形領域の符号長を基にメモリ転送記述子を作成しメモリに格納するようにして、ピクチャに対する符号化を終えた時点で、メモリ転送記述子を完成させることを可能にする。【選択図】図３
2017195477.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を矩形領域の複数の画像に分割する入力手段と、
前記入力手段から入力される前記矩形領域の画像の符号化を並列に行い、前記矩形領域の符号化データを出力する複数の符号化手段と、
前記複数の符号化手段から出力される符号化データを、メモリの前記符号化手段に対応する領域に書き込む書き込み手段と、
前記メモリに格納されたメモリ転送記述子の転送順序に従って、前記メモリから符号化データを読み出して出力する読み出し手段と、
前記符号化手段による前記矩形領域の画像の符号化が完了する毎に、前記符号化手段による次の前記矩形領域の画像の符号化と並列に、前記符号化手段による符号化が完了した前記矩形領域の符号長に基づいて前記メモリ転送記述子の該矩形領域の要素を作成し前記メモリに格納する制御手段とを有することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、
前記入力画像に対する符号化の終了の通知を受けて前記読み出し手段を起動する第１の制御手段と、
前記矩形領域の符号長に基づいて前記メモリ転送記述子の該矩形領域の要素を作成し前記メモリに格納する第２の制御手段とを有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記制御手段は、前記矩形領域の符号長に基づいて前記メモリ転送記述子の該矩形領域の要素を作成し前記メモリに格納する処理と並列に、符号化パラメータを含むヘッダの符号化を行うことを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記制御手段は、前記複数の符号化手段による最初の前記矩形領域の画像の符号化と並列に、符号化パラメータを含むヘッダの符号化を行うことを特徴とする請求項１又は２記載の画像処理装置。
【請求項５】
前記制御手段は、前記符号化手段による前記矩形領域の画像の符号化が完了する毎に、前記符号化手段による次の前記矩形領域の画像の符号化と並列に、前記符号化手段による符号化が完了した前記矩形領域の符号長に基づいて、符号化データにおけるそれぞれの矩形領域の位置情報を含むヘッダの該矩形領域に対応する位置情報を符号化するとともに、前記メモリ転送記述子の該矩形領域の要素を作成し前記メモリに格納することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記入力手段は、所定のサイズのブロックを単位として、縦の長さを前記ブロックの長さとする横長の前記矩形領域に前記入力画像を分割することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記入力手段は、所定のサイズのブロックを単位として、縦の長さ及び横の長さを複数個の前記ブロックの長さとする前記矩形領域に前記入力画像を分割することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項８】
入力画像を矩形領域の複数の画像に分割する入力工程と、
入力される前記矩形領域の画像の符号化を複数の符号化手段が並列に行い、前記矩形領域の符号化データを出力する符号化工程と、
前記符号化データを、メモリの前記符号化手段に対応する領域に書き込む書き込み工程と、
前記メモリに格納されたメモリ転送記述子の転送順序に従って、前記メモリから符号化データを読み出して出力する読み出し工程と、
前記矩形領域の符号長に基づいて前記メモリ転送記述子の該矩形領域の要素を作成し前記メモリに格納する制御工程とを有し、
前記矩形領域の画像の符号化が完了する毎に、次の前記矩形領域の画像の符号化工程と並列に、前記制御工程を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
動画像の圧縮記録に用いられる符号化方式として、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下、Ｈ．２６４と称する）が知られている。近年、Ｈ．２６４の後継としてさらに高効率なＨｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣと称する）の標準化がなされた。ＨＥＶＣでは、処理時間の短縮の観点から、並列性を高めるための処理手法も採用されている。その手法の一つに、コンテキスト適応型算術符号化処理（ＣＡＢＡＣ）を並列に処理するためのＷａｖｅｆｒｏｎｔと呼ばれる手法やＴｉｌｅと呼ばれる手法がある。
【０００３】
ＨＥＶＣでは、ＣＴＵ（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）と呼ばれる所定のサイズのブロックを単位として符号化を行う。Ｗａｖｅｆｒｏｎｔでは、図６（Ａ）に示すように縦の長さ（高さ）を１個のＣＴＵとする横長の矩形（以下、ＣＴＵラインとも称す）にピクチャを区切って符号化を行う。Ｔｉｌｅでは、図６（Ｂ）に示すように縦の長さ及び横の長さをそれぞれ複数個のＣＴＵとする矩形（以下、タイルとも称す）にピクチャを区切って符号化を行う。いずれの手法においても、各矩形（ＣＴＵラインあるいはタイル）を並列に処理することができる。
【０００４】
並列処理可能な２つの画像符号化部を有する画像処理装置が、図６（Ａ）に示したＣＴＵラインにピクチャを区切って符号化を並列に行い、そのピクチャの符号化データを出力する場合の動作例を説明する。第１の画像符号化部が、奇数の番号が付与されたＣＴＵライン（以下、奇数ＣＴＵラインとも称す）を符号化し、第２の画像符号化部が、偶数の番号が付与されたＣＴＵライン（以下、偶数ＣＴＵラインとも称す）を符号化する。それぞれの画像符号化部から出力された符号化データは、画像処理装置内のメモリに書き込まれる。奇数ＣＴＵラインの符号化データは、メモリの第１の領域に書き込まれ、偶数ＣＴＵラインの符号化データは、第１の領域とは異なるメモリの第２の領域に書き込まれる。
【０００５】
ピクチャに対する符号化処理が完了した後、画像処理装置は、そのピクチャの符号化データをメモリから読み出して外部に出力する。このとき、奇数ＣＴＵラインの符号化データと偶数ＣＴＵラインの符号化データとがメモリの異なる領域に格納されているが、画像処理装置は、ＣＴＵライン＃１から、＃２、＃３、＃４、・・・という順序で符号化データを出力する。そこで、画像処理装置は、ＣＴＵライン＃１から１ＣＴＵラインずつ順番に符号化データを読み出すために必要となるＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）ディスクリプタ（メモリ転送記述子）を各ＣＴＵラインの符号長を基に作成する。そして、画像処理装置は、ＤＭＡディスクリプタを解析しながら、メモリに格納されている各ＣＴＵラインの符号化データを読み出して出力する。尚、特許文献１には、画像の圧縮伸張を行う際に入力されるイメージデータ又は出力される圧縮コードデータをフレームディスクリプタ及びバッファディスクリプタを用いて表現し、これらのディスクリプタをＤＭＡコントローラへ適用することが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２９９０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述した動作例では、ＣＴＵラインの順番に従ってメモリから符号データを読み出すために必要なＤＭＡディスクリプタを、ピクチャに対する符号化処理を完了した後に作成しているため、ピクチャの符号化データを伝送し始めるまでに遅延が生じる。ネットワークに画像（ピクチャ）の符号化データを伝送するネットワークカメラのような用途においては、符号化データの伝送を開始するまでの遅延が短いことが望ましい。例えばネットワークカメラをテレビ会議に使用する場合、会議の相手が応答するまでの遅延時間がユーザにストレスを与え得るからである。また、ネットワークカメラを監視に使用する場合、異常が検知された際にユーザが即座に対応できることが望ましいので、画像（ピクチャ）の符号化データの伝送を開始するまでの遅延が短いことが要求される。本発明は、このような事情に鑑みてなされたものであり、ピクチャを区切って符号化を並列に行い符号化データを伝送する際に生じる遅延を低減することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、入力画像を矩形領域の複数の画像に分割する入力手段と、前記入力手段から入力される前記矩形領域の画像の符号化を並列に行い、前記矩形領域の符号化データを出力する複数の符号化手段と、前記複数の符号化手段から出力される符号化データを、メモリの前記符号化手段に対応する領域に書き込む書き込み手段と、前記メモリに格納されたメモリ転送記述子の転送順序に従って、前記メモリから符号化データを読み出して出力する読み出し手段と、前記符号化手段による前記矩形領域の画像の符号化が完了する毎に、前記符号化手段による次の前記矩形領域の画像の符号化と並列に、前記符号化手段による符号化が完了した前記矩形領域の符号長に基づいて前記メモリ転送記述子の該矩形領域の要素を作成し前記メモリに格納する制御手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、入力画像に対する符号化を終えた時点で、メモリ転送記述子を完成させることが可能となり、入力画像を区切って符号化を並列に行い符号化データを伝送する際に生じる遅延を低減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態における画像処理装置の構成例を示す図である。
【図２】本実施形態におけるＤＭＡディスクリプタの例を示す図である。
【図３】本実施形態における画像処理装置の動作例を示すタイミングチャートである。
【図４】本実施形態における画像処理装置の他の動作例を示すタイミングチャートである。
【図５】本実施形態における画像処理装置の他の動作例を示すタイミングチャートである。
【図６】ＨＥＶＣにおけるピクチャの分割の例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態における画像処理装置の構成例を示すブロック図である。本実施形態における画像処理装置は、制御部１００、画像入力部１０１、符号化制御部１０２、画像符号化部１０３、１０４、書き込みＤＭＡ部１０５、１０６、バス１０７、メモリ１０８、及び読み出しＤＭＡ部１０９を有する。本実施形態における画像処理装置は、符号化処理を並列に実行可能である。本実施形態における画像処理装置は、図示しない撮像素子等から出力されるピクチャ（入力画像の画像データ）をＨＥＣＶ符号化方式に従って符号化するが、本発明はこれに限定されるものではない。
【００１２】
制御部１００は、例えばプロセッサであり、画像処理装置が有する各機能部を制御する。画像入力部１０１は、図示しない撮像素子等から出力されるピクチャ（入力画像の画像データ）を受け、そのピクチャに対して現像処理等の各種画像処理を実行する。また、画像入力部１０１は、ピクチャに対して各種の画像処理を施した後、ピクチャを矩形領域の画像に分割して画像符号化部１０３、１０４に供給する。本実施形態では、画像入力部１０１は、各種の画像処理が施されたピクチャを、図６（Ａ）に例示したＣＴＵライン単位に分割するものとする。
【００１３】
符号化制御部１０２は、制御部１００による制御に応じて画像符号化部１０３、１０４を起動するとともに、ピクチャに対する符号化処理を終えた後に処理終了を割り込み信号により制御部１００に通知する。また、符号化制御部１０２は、各ＣＴＵラインの符号長を取得し、取得した符号長を基に、読み出しＤＭＡ部１０９がメモリ１０８から１ＣＴＵラインずつ順番に符号化データを読み出すために参照する読み出しＤＭＡディスクリプタを作成する。作成された読み出しＤＭＡディスクリプタは、メモリ１０８の読み出しＤＭＡディスクリプタ領域１０８４へ書き込まれる。読み出しＤＭＡディスクリプタ（メモリ転送記述子）には、メモリ１０８上に分散されて配置された符号化データ等のデータを読み出すための転送順序に関する情報が格納される。
【００１４】
図２は、本実施形態における読み出しＤＭＡディスクリプタの例を示す図である。図２（Ａ）に一例を示すように、読み出しＤＭＡディスクリプタの各要素２０１〜２０７は、後続の要素のアドレス（ＮＥＸＴ＿ＤＰ）、転送対象のデータの開始アドレス（ＳＴＡＲＴ＿ＡＤＤＲ）、及び転送対象のデータのデータ長（ＬＥＮＧＴＨ）を有する。例えば、要素２０１のＮＥＸＴ＿ＤＰには、後続の要素２０２のメモリ１８０でのアドレスの情報が格納される。要素２０１のＳＴＡＲＴ＿ＡＤＤＲには、最初にネットワーク等へ伝送するスライスヘッダの開始アドレスが格納される。要素２０１のＬＥＮＧＴＨには、スライスヘッダのデータ長が格納される。要素２０２には、後続の要素２０３のアドレスの情報、及びＣＴＵライン＃１の情報（開始アドレスとデータ長）が格納され、要素２０３には、後続の要素２０４のアドレスの情報、及びＣＴＵライン＃２の情報が格納される。同様に、要素２０４〜２０７には、後続の要素のアドレスの情報、及び対応するＣＴＵラインの情報（開始アドレスとデータ長）が格納される。なお、読み出しＤＭＡディスクリプタの最後の要素２０７のＮＥＸＴ＿ＤＰには、一連のＤＭＡ転送の終端であることを示す識別子（ＥＮＤ）が格納される。
【００１５】
なお、図２（Ａ）に示した読み出しＤＭＡディスクリプタは一例であり、これに限定されるものではない。例えば、ディスクリプタ用に連続されたメモリ領域が割り当てられている場合、図２（Ｂ）に示すような読み出しＤＭＡディスクリプタとしてもよい。図２（Ｂ）に示す読み出しＤＭＡディスクリプタは、転送対象のデータの開始アドレス（ＳＴＡＲＴ＿ＡＤＤＲ）と転送対象のデータのデータ長（ＬＥＮＧＴＨ）とを、読み出しＤＭＡディスクリプタの各要素３１１〜３１７が有する。以下では、読み出しＤＭＡディスクリプタは、図２（Ａ）に示したように構成されているものとして説明する。
【００１６】
ここで、符号化制御部１０２は、画像符号化部１０３、１０４が各ＣＴＵラインに対する符号化を終える毎にＣＴＵラインの符号長を取得して、読み出しＤＭＡディスクリプタのうちの符号化されたＣＴＵラインに対応する要素を作成する。すなわち、例えばＣＴＵライン＃１に対する符号化を終えた時点で、符号化制御部１０２は、ＣＴＵライン＃１の符号長を取得し、図２（Ａ）に示した要素２０２を作成する。同様に、例えばＣＴＵライン＃２に対する符号化を終えた時点で、符号化制御部１０２は、ＣＴＵライン＃２の符号長を取得し、図２（Ａ）に示した要素２０３を作成する。また、符号化制御部１０２は、各種符号化パラメータから構成されるスライスヘッダを符号化して、メモリ１０８の第３の符号化データバッファ領域１０８３に書き込む。
【００１７】
画像符号化部１０３、１０４は、画像入力部１０１から供給されるＣＴＵラインの画像データをＨＥＶＣ符号化方式で符号化し、符号化データを出力する。本実施形態では、画像符号化部１０３は、画像入力部１０１から図６（Ａ）に示した奇数の番号が付与されたＣＴＵライン（以下、奇数ＣＴＵラインとも称す）の画像データを受けて符号化を行う。また。画像符号化部１０４は、画像入力部１０１から図６（Ａ）に示した偶数の番号が付与されたＣＴＵライン（以下、偶数ＣＴＵラインとも称す）の画像データを受けて符号化を行う。
【００１８】
書き込みＤＭＡ部１０５、１０６は、画像符号化部１０３、１０４により符号化されたＣＴＵラインの符号化データが入力され、入力された符号化データをデータバス１０７を介してメモリ１０８の符号化データバッファ領域に書き込む。本実施形態では、書き込みＤＭＡ部１０５は、画像符号化部１０３から出力された符号化データ、すなわち奇数ＣＴＵラインの符号化データを、メモリ１０８の第１の符号化データバッファ領域１０８１に書き込む。また、書き込みＤＭＡ部１０６は、画像符号化部１０４から出力された符号化データ、すなわち偶数ＣＴＵラインの符号化データを、メモリ１０８の第２の符号化データバッファ領域１０８２に書き込む。
【００１９】
読み出しＤＭＡ部１０９は、メモリ１０８に格納されている読み出しＤＭＡディスクリプタを解析し、メモリ１０８からスライスヘッダ及び各ＣＴＵラインの符号化データを順番に読み出して出力する。本実施形態において読み出す順番は、スライスヘッダ、ＣＴＵライン＃１、ＣＴＵライン＃２、ＣＴＵライン＃３、・・・という順序である。
【００２０】
次に、図３を参照して、本実施形態における画像処理装置の動作について説明する。図３は、本実施形態における画像処理装置の動作例を示すタイミングチャートである。まず、期間ｔ１において、制御部１００が、画像入力部１０１及び符号化制御部１０２に対して動作開始の指示を行う。制御部１００から動作開始の指示を受けた画像入力部１０１は、ピクチャに対して各種の画像処理を施した後、ＣＴＵライン単位にピクチャを分割する。また、制御部１００から動作開始の指示を受けた符号化制御部１０２は、画像符号化部１０３、１０４を起動する（３０１）。
【００２１】
続いて期間ｔ２において、画像符号化部１０３、１０４が各ＣＴＵラインに対する符号化処理を並列に行うとともに、符号化制御部１０２が符号化されたＣＴＵラインに対応する読み出しＤＭＡディスクリプタの要素の作成を行う。各ＣＴＵラインに対する符号化処理では、画像符号化部１０３、１０４がＣＴＵラインの画像データを符号化し、符号化データを書き込みＤＭＡ部１０５、１０６を介してメモリ１０８に書き込む。
【００２２】
まず、画像符号化部１０３が、ＣＴＵライン＃１に対する符号化を行い（３０２）、それと並列して、画像符号化部１０４が、ＣＴＵライン＃２に対する符号化を行う（３０３）。画像符号化部１０３は、ＣＴＵライン＃１に対する符号化を終えると、続いてＣＴＵライン＃３に対する符号化を行い（３０４）、画像符号化部１０４は、ＣＴＵライン＃２に対する符号化を終えると、続いてＣＴＵライン＃４に対する符号化を行う（３０５）。また、ＣＴＵライン＃３に対する符号化及びＣＴＵライン＃４に対する符号化処理に並列して、符号化制御部１０２が、ＣＴＵライン＃１及びＣＴＵライン＃２にそれぞれ対応する読み出しＤＭＡディスクリプタの要素の作成を行う（３０６）。
【００２３】
同様にして、画像符号化部１０３は、ＣＴＵライン＃３に対する符号化を終えると、続いてＣＴＵライン＃５に対する符号化を行う（３０７）。また、画像符号化部１０４は、ＣＴＵライン＃４に対する符号化を終えると、続いてＣＴＵライン＃６に対する符号化を行う（３０８）。そして、ＣＴＵライン＃５に対する符号化及びＣＴＵライン＃６に対する符号化処理に並列して、符号化制御部１０２が、ＣＴＵライン＃３及びＣＴＵライン＃４にそれぞれ対応する読み出しＤＭＡディスクリプタの要素の作成を行う（３０９）。
【００２４】
さらに、ＣＴＵライン＃５に対する符号化及びＣＴＵライン＃６に対する符号化が終わると、符号化制御部１０２が、ＣＴＵライン＃５及びＣＴＵライン＃６にそれぞれ対応する読み出しＤＭＡディスクリプタの要素の作成を行う（３１０）。このようにして、符号化制御部１０２による符号化されたＣＴＵラインに対応する読み出しＤＭＡディスクリプタの要素の作成処理と、画像符号化部１０３及び画像符号化部１０４による次のＣＴＵラインに対する符号化処理とが並列に実行される。
【００２５】
画像符号化部１０３、１０４がすべてＣＴＵラインに対する符号化を終えた後の期間ｔ３において、符号化制御部１０２は、各種の符号化パラメータから構成されるスライスヘッダを符号化してメモリ１０８に書き込む（３１１）。また、符号化制御部１０２は、スライスヘッダに対応する読み出しＤＭＡディスクリプタの要素の作成を行う（３１２）。以上の処理を終えた後、符号化制御部１０２は、ピクチャに対する符号化処理を終えたことを、割り込み信号ＩＮＴにより制御部１００に通知する。
【００２６】
続く期間ｔ４において、ピクチャに対する符号化処理を終えたことを通知された制御部１００は、読み出しＤＭＡディスクリプタ領域１０８４のアドレスを読み出しＤＭＡ部１０９へ設定した後、読み出しＤＭＡ部１０９を起動する（３１３）。また、制御部１００は、画像入力部１０１及び符号化制御部１０２に対して、次のピクチャに対する処理開始の指示を行う。制御部１００から処理開始の指示を受けると、画像入力部１０１は、ピクチャに対して各種の画像処理を施した後にＣＴＵライン単位に分割し、符号化制御部１０２は、画像符号化部１０３、１０４を起動する（３１３）。
【００２７】
続いて期間ｔ５において、読み出しＤＭＡ部１０９は、メモリ１０８に格納された読み出しＤＭＡディスクリプタを解析して、メモリ１０８上の符号化データを順番に読み出して外部に出力する（３１４）。具体的には、読み出しＤＭＡ部１０９は、スライスヘッダ、ＣＴＵライン＃１、ＣＴＵライン＃２、ＣＴＵライン＃３、・・・という順序でメモリ１０８から符号化データを読み出して伝送する。
【００２８】
また、この読み出しＤＭＡ部１０９による処理と並行して、期間ｔ２と同様に、画像符号化部１０３、１０４による各ＣＴＵラインに対する符号化処理及び符号化制御部１０２による読み出しＤＭＡディスクリプタの要素の作成処理を行う。すなわち、画像符号化部１０３が、次のピクチャのＣＴＵライン＃１に対する符号化（３１５）、ＣＴＵライン＃３に対する符号化（３１７）、及びＣＴＵライン＃５に対する符号化（３２０）を行う。同様に、画像符号化部１０４が、次のピクチャのＣＴＵライン＃２に対する符号化（３１６）、ＣＴＵライン＃４に対する符号化（３１８）、及びＣＴＵライン＃６に対する符号化（３２１）を行う。また、符号化制御部１０２が、各ＣＴＵラインに対応する読み出しＤＭＡディスクリプタの要素の作成を行う（３１９、３２２、３２３）。
【００２９】
画像符号化部１０３、１０４が次のピクチャのすべてＣＴＵラインに対する符号化を終えた後、符号化制御部１０２は、各種の符号化パラメータから構成されるスライスヘッダを符号化してメモリ１０８に書き込む（３２４）。以降、同様にして処理が行われる。
【００３０】
以上説明したように、本実施形態における画像処理装置では、ＣＴＵラインに対する符号化処理を終えた時点で、符号化されたＣＴＵラインに対応する読み出しＤＭＡディスクリプタの要素が作成されている。したがって、本実施形態における画像処理装置は、ピクチャに対する符号化処理を終えた後すぐに読み出しＤＭＡ部１０９を起動し、ピクチャの符号化データを外部に伝送することができ、符号化データを伝送する際に生じる遅延を低減することができる。
【００３１】
なお、スライスヘッダにＨＥＶＣ符号化方式のｅｎｔｒｙ  ｐｏｉｎｔ方式を採用する場合、各ＣＴＵラインの符号長を基にシンタクス要素ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［ｉ］がスライスヘッダに挿入される。このシンタクス要素は、符号化ストリーム内における各ＣＴＵラインの符号化データの位置を表す位置情報である。なお、シンタクス要素の詳細については公知のＨＥＶＣの要素を用いるため説明を省略する。
【００３２】
本実施形態における画像処理装置でｅｎｔｒｙ  ｐｏｉｎｔ方式のスライスヘッダをサポートする場合、符号化制御部１０２は、読み出しＤＭＡディスクリプタを作成しながら、図示しないローカルメモリに各ＣＴＵラインの符号長を保持する。すべてのＣＴＵラインに対する符号化処理が完了した後、符号化制御部１０２は、ローカルメモリに保持された各ＣＴＵラインの符号長を基にシンタクス要素ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［ｉ］をスライスヘッダに挿入する。また、本実施形態は、ｅｎｔｒｙ  ｐｏｉｎｔ方式のスライスヘッダに限定されることはなく、ＨＥＶＣのｄｅｐｅｎｄｅｎｔ  ｓｌｉｃｅ  ｓｅｇｍｅｎｔ方式のスライスヘッダにも適用可能である。
【００３３】
また、本実施形態では、ピクチャを矩形領域の画像に分割する際、ＣＴＵライン単位に分割して、画像符号化部１０３及び画像符号化部１０４が並列に符号化しているが、これに限定されるものではない。例えば、ピクチャを図６（Ｂ）に示したタイル（Ｔｉｌｅ）に分割して並列に符号化する場合にも適用可能である。また、本実施形態では、複数の画像符号化部を有する例として２つの画像符号化部を有する画像処理装置を示したが、これに限定されるものではなく、３つ以上の画像符号化部を有していてもよい。
【００３４】
また、前述した画像処理装置では、符号化制御部１０２が読み出しＤＭＡディスクリプタを作成しているが、図４に示すように制御部１００が読み出しＤＭＡディスクリプタを作成するようにしてもよい。図４は、本実施形態における画像処理装置の他の動作例を示すタイミングチャートである。図４において、図１に示した要素と同一の要素には同一の符号を付し、重複する説明は省略する。
【００３５】
図４においては、ＣＴＵライン＃１に対する符号化及びＣＴＵライン＃２に対する符号化が終わると、制御部１００が、ＣＴＵライン＃１及びＣＴＵライン＃２にそれぞれ対応する読み出しＤＭＡディスクリプタの要素の作成を行う（４０１）。また、ＣＴＵライン＃３に対する符号化及びＣＴＵライン＃４に対する符号化が終わると、制御部１００が、ＣＴＵライン＃３及びＣＴＵライン＃４にそれぞれ対応する読み出しＤＭＡディスクリプタの要素の作成を行う（４０２）。同様に、ＣＴＵライン＃５に対する符号化及びＣＴＵライン＃６に対する符号化が終わると、制御部１００が、ＣＴＵライン＃５及びＣＴＵライン＃６にそれぞれ対応する読み出しＤＭＡディスクリプタの要素の作成を行う（４０３）。次のピクチャについても、制御部１０２が、各ＣＴＵラインに対応する読み出しＤＭＡディスクリプタの要素の作成を行う（４０４、４０５、４０６）。
【００３６】
このように制御部１００が読み出しＤＭＡディスクリプタの作成処理を行うことで、期間ｔ３に示すように、読み出しＤＭＡディスクリプタの作成処理と並列に、ヘッダ符号化処理を実行することが可能となる。したがって、符号化データを伝送する際に生じる遅延をさらに低減することができる。
【００３７】
また、図５に示すようにスライスヘッダの符号化とＣＴＵラインに対する符号化とを最初に並列に実行するようにしてもよい。図５は、本実施形態における画像処理装置の他の動作例を示すタイミングチャートである。期間ｔ１において、制御部１００が、画像入力部１０１及び符号化制御部１０２に対して動作開始の指示を行う。制御部１００から動作開始の指示を受けると、画像入力部１０１は、ピクチャに対して各種の画像処理を施した後にＣＴＵライン単位に分割し、符号化制御部１０２は、画像符号化部１０３、１０４を起動する（５０１）。
【００３８】
続く期間ｔ２では、画像符号化部１０３、１０４が各々ＣＴＵライン＃１及びＣＴＵライン＃２に対する符号化を行う（５０２、５０３）のと並行して、符号化制御部１０２が、スライスヘッダの符号化を行う（５０４）。符号化されたスライスヘッダは、メモリ１０８の第３の符号化データバッファ領域１０８３に格納される。
【００３９】
ＣＴＵライン＃１及びＣＴＵライン＃２に対する符号化処理が完了すると、続いて画像符号化部１０３、１０４は各々ＣＴＵライン＃３及びＣＴＵライン＃４に対する符号化を行う（５０５、５０６）。また、ＣＴＵライン＃１及びＣＴＵライン＃２に対する符号化処理が完了すると、符号化制御部１０２は、各ＣＴＵラインの符号長を画像符号化部１０３、１０４から取得する。そして、符号化制御部１０２は、取得したＣＴＵラインの符号長を基に、ＣＴＵライン＃１及びＣＴＵライン＃２にそれぞれ対応する読み出しＤＭＡディスクリプタの要素の作成を行う（５０７）。ＣＴＵライン＃３及びＣＴＵライン＃４に対する符号化処理とＣＴＵライン＃１及びＣＴＵライン＃２にそれぞれ対応する読み出しＤＭＡディスクリプタの要素の作成処理とは並列に実行される。
【００４０】
同様にして、ＣＴＵライン＃３及びＣＴＵライン＃４に対する符号化処理が完了すると、続いて画像符号化部１０３、１０４は各々ＣＴＵライン＃５及びＣＴＵライン＃６に対する符号化を行う（５０８、５０９）。また、符号化制御部１０２は、ＣＴＵライン＃５に対する符号化及びＣＴＵライン＃６に対する符号化に並列して、ＣＴＵライン＃３及びＣＴＵライン＃４にそれぞれ対応する読み出しＤＭＡディスクリプタの要素の作成を行う（５１０）。
【００４１】
さらに、ＣＴＵライン＃５及びＣＴＵライン＃６に対する符号化処理が完了すると、符号化制御部１０２は、ＣＴＵライン＃５及びＣＴＵライン＃６にそれぞれ対応する読み出しＤＭＡディスクリプタの要素の作成を行う（５１１）。また、符号化制御部１０２は、スライスヘッダに対応する読み出しＤＭＡディスクリプタの要素の作成を行う（５１１）。以上のようにして、符号化制御部１０２は、ピクチャのすべてのＣＴＵライン及びスライスヘッダに対応する読み出しＤＭＡディスクリプタの要素を作成した後、制御部１００にピクチャに対する符号化処理を終えたことを割り込み信号ＩＮＴにより通知する。
【００４２】
続く期間ｔ３において、ピクチャに対する符号化処理を終えたことを通知された制御部１００は、読み出しＤＭＡディスクリプタ領域１０８４のアドレスを読み出しＤＭＡ部１０９へ設定した後、読み出しＤＭＡ部１０９を起動する。また、制御部１００は、画像入力部１０１及び符号化制御部１０２に対して、次のピクチャに対する処理開始の指示を行う。制御部１００から処理開始の指示を受けると、画像入力部１０１は、ピクチャに対して各種の画像処理を施した後にＣＴＵライン単位に分割し、符号化制御部１０２は、画像符号化部１０３、１０４を起動する（５１２）。
【００４３】
続いて期間ｔ４において、読み出しＤＭＡ部１０９は、メモリ１０８に格納された読み出しＤＭＡディスクリプタを解析して、メモリ１０８上の符号化データを順番に読み出して外部に出力する（５１３）。また、この読み出しＤＭＡ部１０９による処理と並行して、期間ｔ２と同様に、画像符号化部１０３、１０４による各ＣＴＵラインに対する符号化処理及び符号化制御部１０２による読み出しＤＭＡディスクリプタの要素の作成処理を行う（５１４〜５２３）。以降、同様にして処理が行われる。
【００４４】
図５に示した動作では、スライスヘッダの符号化とＣＴＵラインに対する符号化とが最初に並列に実行される。したがって、ピクチャのすべてのＣＴＵラインに対する符号化処理を終え、読み出しＤＭＡディスクリプタの要素の作成が完了した時点で、読み出しＤＭＡ部１０９が符号化データを読み出すのに必要なデータが揃っていることになる。よって、前述した画像処理装置の動作よりも、符号化データを伝送する際に生じる遅延をさらに低減することができる。
【００４５】
なお、ｅｎｔｒｙ＿ｐｏｉｎｔ方式のスライスヘッダにおいては、各ＬＣＵ（Ｌａｒｇｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）ラインの符号長を基に算出されるｅｎｔｒｙ＿ｐｏｉｎｔを図５に示す期間ｔ２の最初では符号化できない。この場合、各ＣＴＵラインの符号化が完了する毎に、読み出しＤＭＡディスクリプタの要素を作成した後、対応するｅｎｔｒｙ＿ｐｏｉｎｔを第３の符号化データバッファ領域１０８３上のスライスヘッダに書き込んでいけばよい。
【００４６】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４７】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００４８】
１００：制御部  １０１：画像入力部  １０２：符号化制御部  １０３、１０４：画像符号化部  １０５、１０６：書き込みＤＭＡ部  １０８：メモリ  １０９：読み出しＤＭＡ部
【図１】
2017195477.tif 000003
【図２】
2017195477.tif 000004
【図３】
2017195477.tif 000005
【図４】
2017195477.tif 000006
【図５】
2017195477.tif 000007
【図６】
2017195477.tif 000008