(57)【要約】【課題】動画像符号化装置のオーバースペックを防ぎ、スペックを最適化する。【解決手段】動画像符号化装置１００は、メモリ１１０に書き込まれた動画像データを読み出し、当該動画像データに対する画像処理を選択する画像処理選択部１０１と、動画像データに対して画像処理選択部１０１によって選択された画像処理を行う画像処理部１０２と、画像処理部１０２によって画像処理が行われた動画像データに対して可変長符号化処理を行う可変長符号化部１０３と、可変長符号化部１０３の可変長符号化処理の終了時間を記録し、当該終了時間を画像処理選択部１０１に出力するタイマ１０４と、を備え、画像処理選択部１０１は、ハードウェア１２０による動画像データのメモリ１１０への書き込みの終了時間、タイマ１０４によって出力される終了時間及び所定の閾値に従って、次の動画像データに対する画像処理を選択する。【選択図】図１
2009164702.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを生成するハードウェアによってメモリに書き込まれた動画像データを符号化する動画像符号化装置であって、
前記メモリに書き込まれた動画像データを読み出し、当該動画像データに対する画像処理を選択する画像処理選択部と、
前記動画像データに対して前記画像処理選択部によって選択された画像処理を行う画像処理部と、
前記画像処理部によって画像処理が行われた動画像データに対して可変長符号化処理を行う可変長符号化部と、
前記可変長符号化部の可変長符号化処理の終了時間を記録し、当該終了時間を前記画像処理選択部に出力するタイマと、を備え、
前記画像処理選択部は、前記ハードウェアによる動画像データのメモリへの書き込みの終了時間、前記タイマによって出力される終了時間及び所定の閾値に従って、次の動画像データに対する画像処理を選択することを特徴とする動画像符号化装置。
【請求項２】
前記画像処理選択部は、前記タイマによって出力される終了時間から前記ハードウェアによる動画像データのメモリへの書き込みの終了時間を減算することによってエンコード時間を算出し、所定の動画像データの入力間隔から当該エンコード時間を減算することによって予測画像処理時間を算出し、前記予測画像処理時間が前記所定の閾値よりも長い場合には、前記画像処理部の処理量を減らすように画像処理を選択する請求項１に記載の動画像符号化装置。
【請求項３】
前記画像処理部は、画面内予測ユニット、離散コサイン変換ユニット、量子化ユニット、逆量子化ユニット及び逆離散コサイン変換ユニットを有し、
前記画像処理選択部は、前記予測画像処理時間が前記所定の閾値よりも長い場合には、前記画像処理部の各ユニットのうち少なくとも１つの処理を行わないような画像処理を選択する請求項２に記載の動画像符号化装置。
【請求項４】
前記画像処理選択部は、前記予測画像処理時間が前記所定の閾値よりも長い場合には、当該予測画像処理時間で最も処理量の多い画像処理を選択する請求項１に記載の動画像符号化装置。
【請求項５】
動画像を生成するハードウェアによってメモリに書き込まれた動画像データを符号化する動画像符号化方法であって、
前記メモリに書き込まれた動画像データを読み出し、当該動画像データに対する画像処理を選択する画像処理選択工程と、
前記動画像データに対して前記画像処理選択工程において選択された画像処理を行う画像処理工程と、
前記画像処理工程において画像処理された動画像データに対して可変長符号化処理を行う可変長符号化工程と、
前記可変長符号化工程の可変長符号化処理の終了時間を記録する記録工程と、を含み、
前記画像処理選択工程において、前記ハードウェアによる動画像データのメモリへの書き込みの終了時間、前記記録工程において記録される終了時間及び所定の閾値に従って、次の動画像データに対する画像処理を選択することを特徴とする動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置及び動画像符号化方法に関し、特に、フレーム間予測に用いられる参照フレームを生成する動画像符号化装置及び動画像符号化方法に関する。
【背景技術】
【０００２】
近年、動画像データを生成するハードウェア（例えば、ビデオカメラ）によってメモリ（例えば、ＤＲＡＭ）に書きこまれた動画像データを再生する場合に、メモリに書き込まれた動画像データを符号化する動画像符号化装置が用いられる。
【０００３】
従来の動画像符号化装置は、フレーム間予測の誤差を計算するために、動画像符号化装置の内部で符号化された動画像データを復号することによって参照フレームを生成する。
【０００４】
しかし、従来の動画像符号化装置は、画像処理の内容（フレームタイプ）毎に処理量が異なり、フレームタイプ毎にも処理量が異なるので、エンコードするまで処理量を予測することはできない。従って、動画像符号化装置のスループット性能を保証するためには、必要な画像処理の処理量が想定する最大値であるような動画像データ（ワーストケースのフレーム）を想定して設計されなければならいので、動画像符号化装置はオーバースペックとなる傾向がある。
【０００５】
特許文献１は、動き予測処理に関して、同様の問題解決方法を提案している。特許文献１の技術では、画質が低下するが処理量が少なくなるように探索範囲を狭める場合と、画質を向上させるために探索範囲を広げる場合とが選択される。
【０００６】
しかし、特許文献１の技術は、動き予測処理のみが対象であり、動画符号化装置全体のスペックを最適化するには不十分である。
【特許文献１】特開２００６−３４５１８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、動画像符号化装置のオーバースペックを防ぎ、スペックを最適化することである。
【課題を解決するための手段】
【０００８】
本発明の第１態様によれば、動画像データを生成するハードウェアによってメモリに書き込まれた動画像データを符号化する動画像符号化装置であって、前記メモリに書き込まれた動画像データを読み出し、当該動画像データに対する画像処理を選択する画像処理選択部と、前記動画像データに対して前記画像処理選択部によって選択された画像処理を行う画像処理部と、前記画像処理部によって画像処理が行われた動画像データに対して可変長符号化処理を行う可変長符号化部と、前記可変長符号化部の可変長符号化処理の終了時間を記録し、当該終了時間を前記画像処理選択部に出力するタイマと、を備え、前記画像処理選択部は、前記ハードウェアによる動画像データのメモリへの書き込みの終了時間、前記タイマによって出力される終了時間及び所定の閾値に従って、次の動画像データに対する画像処理を選択することを特徴とする動画像符号化装置が提供される。
【０００９】
本発明の第２態様によれば、動画像を生成するハードウェアによってメモリに書き込まれた動画像データを符号化する動画像符号化方法であって、前記メモリに書き込まれた動画像データを読み出し、当該動画像データに対する画像処理を選択する画像処理選択工程と、前記動画像データに対して前記画像処理選択工程において選択された画像処理を行う画像処理工程と、前記画像処理工程において画像処理された動画像データに対して可変長符号化処理を行う可変長符号化工程と、前記可変長符号化工程の可変長符号化処理の終了時間を記録する記録工程と、を含み、前記画像処理選択工程において、前記ハードウェアによる動画像データのメモリへの書き込みの終了時間、前記記録工程において記録される終了時間及び所定の閾値に従って、次の動画像データに対する画像処理を選択することを特徴とする動画像符号化方法が提供される。
【発明の効果】
【００１０】
本発明によれば、動画像符号化装置のスペックを最適化することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施例について図面を参照して説明する。なお、以下の実施例は、本発明の実施の一形態であって、本発明の範囲を限定するものではない。
【実施例１】
【００１２】
はじめに、本発明の実施例１について説明する。本発明の実施例１は、予測画像処理時間の長さに従って画像処理を選択する例である。
【００１３】
図１は、本発明の実施例１に係る動画像符号化装置１００の構成を示すブロック図である。
【００１４】
本発明の実施例１に係る動画像符号化装置１００は、画像処理選択部１０１、画像処理部１０２、可変長符号化部１０３及びタイマ１０４を備え、メモリ１１０及びハードウェア１２０に接続されている。
【００１５】
（１０１−１）は動画像データであり、（１０１−２）は画像処理選択信号であり、（１０２−１）は量子化データであり、（１０２−２）は参照画像データであり、（１０３−１）は符号化データであり、（１０３−２）は可変長符号化処理の終了時間ｔＶＬＣ−ＥＮＤであり、（１０４−１）は記録された可変長符号化処理の終了時間（以下、「タイマ値」という）ｔＴＩＭＥＲであり、（１１０−１）は動画像データであり、（１１０−２）は参照画像データであり、（１２０−１）は動画像データであり、（１２０−２）は書込完了信号である。
【００１６】
画像処理選択部１０１は、メモリ１１０に書き込まれた動画像データ（１１０−１）を読み出し、当該動画像データ（１０１−１）に対する画像処理を選択し、画像処理選択信号（１０１−２）を画像処理部１０２に出力する。画像処理選択部１０１は、図示されない記憶領域を有し、後述の閾値ｔＴＨを当該記憶領域に記憶する。
【００１７】
画像処理部１０２は、画像処理選択部１０１から出力された画像処理選択信号（１１０−２）に従って、画像処理選択部１０１から出力された動画像データ（１１０−１）に対して画像処理を行い、量子化データ（１０２−１）を可変長符号化部１０３に出力する。画像処理部１０２は、参照画像データ（１０２−２）をメモリ１１０に書き込む。
【００１８】
可変長符号化部１０３は、画像処理部１０２から出力された量子化データ（１０２−１）に対して可変長符号化処理を行い、符号化データ（１０３−１）をメモリ１１０に書き込む。また、可変長符号化部１０３は、可変長符号化処理の終了時間ｔＶＬＣ−ＥＮＤ（１０３−２）をタイマ１０４に出力する。例えば、可変長符号化処理は、エントロピー符号化処理であり、符号化データ（１０３−１）は、Ｈ．２６４ビットストリームである。
【００１９】
タイマ１０４は、可変長符号化部１０３から出力された可変長符号化処理の終了時間ｔＶＬＣ−ＥＮＤ（１０３−２）を記録し、タイマ値ｔＴＩＭＥＲ（１０４−１）を画像処理選択部１０１に出力する。
【００２０】
メモリ１１０は、ハードウェア１２０から出力された動画像データ（１２０−１）、画像処理部１０２から出力された参照画像データ（１０２−２）及び可変長符号化部１０３から出力された符号化データ（１０３−１）を記憶する。例えば、メモリ１１０はＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
【００２１】
ハードウェア１２０は、メモリ１１０に動画像データ（１２０−１）を書き込む。また、ハードウェア１２０は、メモリ１１０への動画像データ（１２０−１）の書込が完了したことを示す書込完了信号（１２０−２）を画像処理選択部１０１に出力する。
【００２２】
図２は、本発明の実施例１に係る画像処理部１０２の構成を示すブロック図である。
【００２３】
本発明の実施例１に係る画像処理部１０２は、動き予測ユニット１０２Ａ、画面内予測ユニット１０２Ｂ、動き補償ユニット１０２Ｃ、離散コサイン変換（以下、「ＤＣＴ」という）ユニット１０２Ｄ、量子化ユニット１０２Ｅ、逆量子化ユニット１０２Ｆ、逆離散コサイン変換（以下、「逆ＤＣＴ」という）ユニット１０２Ｇ及びデブロッキングフィルタ（以下、「ＤＢＦ」という）ユニット１２０Ｈを備えている。
【００２４】
（１０２Ａ−１）は動き予測画像データであり、（１０２Ｂ−１）は画面内予測画像データであり、（１０２Ｃ−１）は動き補償画像データであり、（１０２Ｄ−１）はＤＣＴ係数であり、（１０２Ｅ−１）は量子化データであり、（１０２Ｆ−１）はＤＣＴ係数であり、（１０２Ｇ−１）は復号化画像データであり、（１０２Ｈ−１）はフィルタされた復号化画像データである。
【００２５】
動き予測ユニット１０２Ａは、参照画像データ（１１０−２）と動画像データ（１２０−１）を比較して動きがある部分を検出し、検出された部分の動きと参照画像データから動き予測画像データ（１０２Ｃ−１）を生成する。
【００２６】
画面内予測ユニット１０２Ｂは、動画像データ（１２０−１）とフィルタされた復号化画像データ（１０２Ｈ−１）を比較し、動画像データの予測画像データを生成するためのイントラ符号化を行う。
【００２７】
動き補償ユニット１０２Ｃは、動き予測ユニット１０２Ａから出力された予測画像データ（１０２Ａ−１）又は画面内予測ユニット１０２Ｂから出力された予測画像データ（１０２Ｂ−１）と画像処理選択部１０１から出力された動画像データ（１０１−１）との予測誤差を算出し、予測誤差データ（１０２Ｃ−１）をＤＣＴユニット１０２Ｄに出力する。
【００２８】
ＤＣＴユニット１０２Ｄは、動き補償ユニット１０２Ｃから出力された予測誤差データ（１０２Ｃ−１）にＤＣＴを行い、ＤＣＴ係数（１０２Ｄ−１）を量子化ユニット１０２Ｅに出力する。
【００２９】
量子化ユニット１０２Ｅは、ＤＣＴユニット１０２Ｄから出力されたＤＣＴ係数（１０２Ｄ−１）に量子化を行い、量子化データ（１０２−１）を可変長符号化部（１０３−１）に出力し、量子化データ（１０２Ｅ−１）を逆量子化ユニット１０２Ｆに出力する。
【００３０】
逆量子化ユニット１０２Ｆは、量子化ユニット１０２Ｅから出力された量子化データ（１０２Ｅ−１）のうちイントラ符号化に必要なマクロブロック境界のブロックのデータに逆量子化を行い、ＤＣＴ係数（１０２Ｆ−１）を逆ＤＣＴユニット１０２Ｇに出力する。
【００３１】
逆ＤＣＴユニット１０２Ｇは、逆量子化ユニット１０２Ｆから出力されたＤＣＴ係数（１０２Ｆ−１）のうちイントラ符号化に必要なマクロブロック境界のブロックのデータに逆ＤＣＴを行い、復号化画像データ（１０２Ｇ−１）をＤＢＦユニット１０２Ｈに出力する。
【００３２】
ＤＢＦユニット１０２Ｈは、逆ＤＣＴユニット１０２Ｇから出力された復号化画像データ（１０２Ｇ−１）にデブロッキングフィルタ処理を施して復号化し、復号化データ１０２Ｈ−１を画面内予測ユニット１０２Ｂに出力する。ＤＢＦユニット１０２Ｈは、参照ピクチャを処理する場合には、参照画像データ（１０２−２）をメモリ１１０に書き込み、非参照ピクチャを処理する場合には、デブロッキングフィルタ処理を行わずに復号化画像データ（１０２Ｇ−１）をバイパスし、画面内予測ユニット１０２Ｂに出力する。
【００３３】
図３は、本発明の実施例１に係る動画像符号化処理の処理手順を示すフローチャートである。
【００３４】
はじめに、画像処理選択部１０１は、メモリ１１０からｎ枚目（ｎは自然数）の動画像データ（１１０−１）をメモリ１１０から読み出す（Ｓ３０１）。
【００３５】
次に、画像処理選択部１０１は、後述の画像処理選択処理を行う（Ｓ３０２）。
【００３６】
次に、画像処理部１０２は、画像処理選択部１０１によって出力された画像処理選択信号（１０１−２）に従って、ｎ枚目の動画像データ（１０１−１）に対して選択された画像処理を行い、量子化データ（１０２−１）を可変長符号化部１０３に出力する（Ｓ３０３）。
【００３７】
次に、可変長符号化部１０３は、画像処理部１０２によって出力された量子化データ（１０２−１）に対して可変長符号化処理を行い、符号化データ（１０３−１）をメモリ１１０に書き込む（Ｓ３０４）。このとき、可変長符号化部１０３は、可変長符号化処理の終了時間ｔＶＬＣ−ＥＮＤ（１０３−２）をタイマ１０４に出力する。
【００３８】
次に、可変長符号化部１０３は、符号化データ（１０３−１）をメモリ１１０に書き込む（Ｓ３０５）。
【００３９】
次に、タイマ１０４は、可変長符号化部１０３から出力された可変長符号化処理の終了時間ｔＶＬＣ−ＥＮＤ（１０３−２）を記録し、タイマ値ｔＴＩＭＥＲ（１０４−１）を画像処理選択部１０１に出力する（Ｓ３０６）。
【００４０】
次に、画像処理選択部１０１は、ｎ＋１枚目の動画像データ（１１０−１）がメモリ１１０にある場合には（Ｓ３０７−ＹＥＳ）、Ｓ３０１へ戻る。
【００４１】
本発明の実施例１に係る動画像符号化処理は、ｎ＋１枚目の動画像データ（１１０−１）がメモリ１１０にない場合に終了する（Ｓ３０７−ＮＯ）。
【００４２】
図４は、本発明の実施例１に係る画像処理選択処理（図３のＳ３０２）の処理手順を示すフローチャートである。
【００４３】
はじめに、画像処理選択部１０１は、ｎ＝１でない場合（すなわち、２枚目以降の動画像データ（１１０−１）である場合）には（Ｓ４０１−ＮＯ）、式１を演算する（Ｓ４０２）。ｔＥＮＣはエンコード時間であり、ｔＷ＿ＥＮＤは、ハードウェアによって出力された書込完了信号（１２０−２）が入力された時間である。
【数１】
2009164702.tif 000003
【００４４】
次に、画像処理選択部１０１は、式２を演算する（Ｓ４０３）。ｔＰＲＥは予測画像処理時間であり、ｔＩＮはハードウェア１２０のメモリ１１０に対する動画像データの入力間隔である。
【数２】
2009164702.tif 000004
【００４５】
Ｓ４０２の演算結果がｔＰＲＥ＜ｔＴＨである場合には（Ｓ４０４−ＹＥＳ）、画像処理選択部１０１は、第１画像処理を選択するための画像処理選択信号（１０１−２）を画像処理部１０２に出力する（Ｓ４０５）。なお、第１画像処理は、一般的な画像処理である。
【００４６】
一方、Ｓ４０２の演算結果がｔＰＲＥ≧ｔＴＨである場合には（Ｓ４０４−ＮＯ）、画像処理選択部１０１は、第１画像処理よりも処理量が少ない第２画像処理を選択するための画像処理選択信号（１０１−２）を画像処理部１０２に出力する（Ｓ４０６）。例えば、第２画像処理では、非参照フレームとして処理され、イントラ符号化に必要なマクロブロック境界のデータのみに対して逆ＤＣＴ及びデブロッキングフィルタ処理が行われる。
【００４７】
他方、画像処理選択部１０１は、ｎ＝１である場合（すなわち、１枚目の動画像データ（１１０−１）である場合）には（Ｓ４０１−ＹＥＳ）、Ｓ４０５へ進む。
【００４８】
本発明の実施例１に係る画像処理選択処理は、Ｓ４０５又はＳ４０６の後に終了する。
【００４９】
本発明の実施例１によれば、ハードウェア１２０による動画像データのメモリ１１０への書き込みの終了時間、ｎ枚目の動画像データに対する動画像符号化処理において記録されたタイマ値ｔＴＩＭＥＲ及び閾値ｔＴＨに従って、ｎ＋１枚目の動画像データに対する画像処理を選択するので、動画像符号化装置１００のオーバースペックを防ぎ、スペックを最適化することができる。
【実施例２】
【００５０】
次に、本発明の実施例２について説明する。本発明の実施例１は、本発明の実施例１は、予測画像処理時間と閾値の大小関係に従って画像処理を選択する例であるが、本発明の実施例２は、予測画像処理時間で最も処理量の多い画像処理を選択する例である。なお、本発明の実施例１と同様の内容についての説明は省略する。
【００５１】
本発明の実施例２に係る動画像符号化装置は、本発明の実施例１に係る動画像符号化装置１００と同様な構成を備えている。
【００５２】
本発明の実施例２に係る画像処理選択部１０１は、図示されない記憶領域を有し、後述の第１〜第３閾値ｔＴＨ，ｔＴＨ´，ｔＴＨ´´を当該記憶領域に記憶する。第１〜第３閾値ｔＴＨ，ｔＴＨ´，ｔＴＨ´´は、ｔＴＨ≦ｔＴＨ´≦ｔＴＨ´´という関係を満たす。
【００５３】
図５は、本発明の実施例２に係る画像処理選択処理の処理手順を示すフローチャートである。
【００５４】
はじめに、画像処理選択部１０１は、ｎ＝１でない場合（すなわち、２枚目以降の動画像データ（１１０−１）である場合）には（Ｓ５０１−ＮＯ）、式１を演算する（Ｓ５０２）。
【００５５】
次に、画像処理選択部１０１は、式２を演算する（Ｓ５０３）。
【００５６】
Ｓ５０２の演算結果がｔＰＲＥ＜ｔＴＨである場合には（Ｓ５０４−ＹＥＳ）、画像処理選択部１０１は、第１画像処理を選択するための画像処理選択信号（１０１−２）を画像処理部１０２に出力する（Ｓ５０５）。なお、第１画像処理は、一般的な画像処理である。
【００５７】
一方、Ｓ５０２の演算結果がｔＴＨ´＞ｔＰＲＥ≧ｔＴＨである場合には（Ｓ５０４−ＮＯ，Ｓ５０６−ＹＥＳ）、画像処理選択部１０１は、第１画像処理よりも処理量が少ない第２画像処理を選択するための画像処理選択信号（１０１−２）を画像処理部１０２に出力する（Ｓ５０７）。例えば、第２画像処理では、非参照フレームとして処理され、イントラ符号化に必要なマクロブロック境界のデータのみに対して逆ＤＣＴ及びデブロッキングフィルタ処理が行われる。
【００５８】
また、Ｓ５０２の演算結果がｔＴＨ´´＞ｔＰＲＥ≧ｔＴＨ´である場合には（Ｓ５０６−ＮＯ，Ｓ５０８−ＹＥＳ）、画像処理選択部１０１は、第２画像処理よりも処理量が更に少ない第３画像処理を選択するための画像処理選択信号（１０１−２）を画像処理部１０２に出力する（Ｓ５０９）。例えば、第３画像処理では、非参照フレーム且つイントラマクロブロックを持たないフレームとして処理され、逆ＤＣＴ及びデブロッキングフィルタ処理は省略される。
【００５９】
また、Ｓ５０２の演算結果がｔＰＲＥ≧ｔＴＨ´´である場合には（Ｓ５０８−ＮＯ）、画像処理選択部１０１は、第３画像処理よりも処理量が更に少ない第４画像処理を選択するための画像処理選択信号（１０１−２）を画像処理部１０２に出力する（Ｓ５１０）。例えば、第４画像処理では、非参照フレーム且つイントラマクロブロックを持たないフレームとして処理され、逆ＤＣＴ及びデブロッキングフィルタ処理は省略され、第１〜第３画像処理よりも大きな量子化スケールで量子化が行われる。なお、量子化スケールが大きくなればなるほど、ＤＣＴが行われた後の量子化係数の要素数が減るので、可変長符号化に要する時間が短くなる。
【００６０】
他方、画像処理選択部１０１は、ｎ＝１である場合（すなわち、１枚目の動画像データ（１１０−１）である場合）には（Ｓ５０１−ＹＥＳ）、Ｓ５０５へ進む。
【００６１】
すなわち、本発明の実施例２に係る画像処理選択処理では、予測画像処理時間ｔＰＲＥで最も処理量の多い画像処理が選択される。
【００６２】
図６は、本発明の実施例２に係る画像処理に要する処理時間を示すタイムチャートである。
【００６３】
図６は、レイテンシは３フレーム、スループットは１フレームの性能で４枚の入力フレーム（動画像データ（１２０−１））がメモリ１１０に書き込まれる場合の例である。このとき、参照フレームとして処理が行われた場合の処理時間は２フレーム分であり、非参照フレームとして処理が行われた場合のワースト処理時間は０．５フレーム分であるとする。
【００６４】
フレームバッファ０においては、最初のマクロブロック０に対して、次のマクロブロック４の書込開始までに完了する画像処理の中で最も処理量の多い第１画像処理が選択され、入力フレーム０は参照フレームとして処理される。以降の入力フレーム４，８も同様に参照フレームとして処理される。
【００６５】
フレームバッファ１においては、最初の入力フレーム１に対して、次の入力フレーム５の書込開始までに完了する画像処理の中で最も処理量の多い第１画像処理が選択され、入力フレーム１は参照フレームとして処理される。以降の入力フレーム５，９も同様に参照フレームとして処理される。
【００６６】
フレームバッファ２においては、最初の入力フレーム２に対して、次の入力フレーム６の書込開始までに完了する画像処理の中で最も処理量の多い第１画像処理が選択され、入力フレーム２は参照フレームとして処理される。次の入力フレーム６に対しては、次の入力フレーム１０の書込開始までに第１画像処理が完了しないので、第１画像処理より処理量の少ない画像処理（第２〜第４画像処理）の中で最も処理量の多い画像処理が選択され、非参照フレームとして処理される。
【００６７】
フレームバッファ３においては、最初の入力フレーム３に対して、次の入力フレーム７の書込開始までに第１画像処理が完了しないので、第１画像処理より処理量の少ない画像処理（第２〜第４画像処理）の中で最も処理量の多い画像処理が選択され、非参照フレームとして処理される。次の入力フレーム７に対しては、次の入力フレーム１１の書込開始までに完了する画像処理の中で最も処理量の多い第１画像処理が選択され、入力フレーム７は参照フレームとして処理される。
【００６８】
それぞれの画像処理には、処理に要する時間が短くなるほど画質が劣化する特性がある。そのため、各閾値ｔＴＨ，ｔＴＨ´， ｔＴＨ´´を先に上げた各処理のエンコード時間ｔＥＮＣのワースト値よりも大きくすることで、スループット性能を保証することができる。特に、第１画像処理におけるｔＥＮＣのワースト値を保証するよりも、第２〜第４画像処理におけるｔＥＮＣのワースト値を保証する方が低コストである。
【００６９】
本発明の実施例２によれば、ｔＰＲＥに収まる処理時間で良好な画質の符号化データを生成することができる。
【００７０】
また、本発明の実施例２によれば、上記の効果を低コストで達成することができる。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施例１に係る動画像符号化装置１００の構成を示すブロック図である。
【図２】本発明の実施例１に係る画像処理部１０２の構成を示すブロック図である。
【図３】本発明の実施例１に係る動画像符号化処理の処理手順を示すフローチャートである。
【図４】本発明の実施例１に係る画像処理選択処理（図３のＳ３０２）の処理手順を示すフローチャートである。
【図５】本発明の実施例２に係る画像処理選択処理（図３のＳ３０２）の処理手順を示すフローチャートである。
【図６】本発明の実施例２に係る画像処理に要する処理時間を示すタイムチャートである。
【符号の説明】
【００７２】
１００  動画像符号化装置
１０１  画像処理選択部
１０２  画像処理部
１０２Ａ  動き予測ユニット
１０２Ｂ  画面内予測ユニット
１０２Ｃ  動き補償ユニット
１０２Ｄ  ＤＣＴユニット
１０２Ｅ  量子化ユニット
１０２Ｆ  逆量子化ユニット
１０２Ｇ  逆ＤＣＴユニット
１０２Ｈ  ＤＢＦユニット
１０３  可変長符号化部
１０４  タイマ
１１０  メモリ
１２０  ハードウェア
【図１】
2009164702.tif 000005
【図２】
2009164702.tif 000006
【図３】
2009164702.tif 000007
【図４】
2009164702.tif 000008
【図５】
2009164702.tif 000009
【図６】
2009164702.tif 000010