(57)【要約】【課題】可変長符号化を用いた符号化において、画質劣化を防止することができる画像符号化装置および画像符号化方法を提供する。【解決手段】画像符号化装置１００は、画像バッファ１０１に保持されている画像データの保持状態を示すバッファ情報を取得するバッファ情報取得部１０２と、画像データを所定のブロックサイズで周波数係数に変換する直交変換部１０３と、周波数係数を量子化する量子化部１０４と、量子化データを２値データに変換する２値化部１０５と、２値データを算術符号化する算術符号化部１０７と、算術符号化後のデータ量が所定の閾値以上である場合、バッファ情報に基づいて画像バッファ１０１の保持可能な空き容量を算出し、算出した空き容量が所定の閾値以上の場合、そのピクチャおよびそのピクチャ以降符号化が終わっているピクチャの再符号化を行うように量子化部１０４を制御する制御部１０８とを備える。【選択図】図１
2007336005.tif 000002
【特許請求の範囲】
【請求項１】
入力される画像データを符号化する画像符号化装置であって、
前記画像データを保持する入力画像バッファ手段と、
前記入力画像バッファ手段から出力される前記画像データを直交変換し、直交変換した変換データを量子化し、量子化データを生成する画像符号化手段と、
前記画像符号化手段によって生成された量子化データを可変長符号化する可変長符号化手段と、
前記可変長符号化手段で得られる可変長符号化後のピクチャのデータ量または当該データ量の予測値が所定の閾値以上の場合、再符号化を行うことが可能か否かを判定し、当該判定結果に基づいて前記ピクチャの再符号化を制御する制御手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
前記画像符号化手段は、単位時間当たり前記画像データのデータ量以上の処理能力を有し、前記画像データの入力に同期せず、前記画像データから前記量子化データを生成する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記画像符号化装置は、さらに、
前記入力画像バッファ手段に保持されている前記画像データの保持状態を示すバッファ情報を取得するバッファ情報取得手段を備え、
前記制御手段は、前記可変長符号化手段で得られる可変長符号化後のピクチャのデータ量または当該データ量の予測値が所定の閾値以上の場合、前記バッファ情報取得手段によって取得された前記バッファ情報に基づいて前記入力画像バッファ手段の保持可能な空き容量を算出し、算出した前記空き容量に基づいて前記ピクチャおよび前記ピクチャ以降のピクチャの再符号化を制御する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記制御手段は、算出した前記空き容量が所定の閾値以上の場合には、前記ピクチャおよび前記ピクチャ以降のピクチャの少なくとも１つのピクチャを再符号化する
ことを特徴とする請求項３記載の画像符号化装置。
【請求項５】
前記制御手段は、算出した前記空き容量が所定の閾値未満の場合には、前記ピクチャおよび前記ピクチャ以降のピクチャの再符号化は行わず、前記画像符号化手段で生成される量子化データのデータ量を小さくするように制御する
ことを特徴とする請求項３記載の画像符号化装置。
【請求項６】
前記画像符号化装置は、さらに、
前記画像データの入力にほぼ同期したサイクルでサイクル数を計測するサイクル数計測手段を備え、
前記制御手段は、前記可変長符号化手段で得られる可変長符号化後のピクチャのデータ量または当該データ量の予測値が所定の閾値以上の場合、前記サイクル数計測手段によって計測されたサイクル数と、画像符号化手段において現在処理しているピクチャまたはピクチャ上の画素位置の処理タイミングとに基づいて、前記ピクチャおよび前記ピクチャ以降のピクチャの再符号化を制御する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項７】
前記制御手段は、前記サイクル数計測手段によって計測されたサイクル数に対して、現在処理しているピクチャまたはピクチャ上の画素位置の処理タイミングが所定の時刻よりも早い場合には、前記ピクチャおよび前記ピクチャ以降のピクチャの少なくとも１つのピクチャを再符号化する
ことを特徴とする請求項６記載の画像符号化装置。
【請求項８】
前記制御手段は、前記サイクル数計測手段によって計測されたサイクル数に対して、現在処理しているピクチャまたはピクチャ上の画素位置の処理タイミングが所定の時刻よりも遅い場合には、前記ピクチャおよび前記ピクチャ以降のピクチャの再符号化は行わず、前記画像符号化手段で生成される量子化データのデータ量を小さくするように制御する
ことを特徴とする請求項６記載の画像符号化装置。
【請求項９】
入力される画像データを符号化する画像符号化装置であって、
前記画像データを保持する入力画像バッファ手段と、
前記入力画像バッファから出力される前記画像データを直交変換し、直交変換した変換データを量子化し、量子化データを生成する画像符号化手段と、
前記画像符号化手段によって生成された量子化データを可変長符号化する可変長符号化手段と、
前記画像符号化手段および前記可変長符号化手段で用いられる符号化パラメータを選択するとともに、前記画像符号化手段および前記可変長符号化手段の少なくとも１つにおいて得られる対象ピクチャのデータに基づいて、選択した前記符号化パラメータが適当であるか否かを判定し、適当でないと判定した場合、再符号化を行うことが可能か否かを判定し、当該判定結果に基づいて前記対象ピクチャの前記符号化パラメータの修正を含む再符号化を制御する制御手段と
を備えることを特徴とする画像符号化装置。
【請求項１０】
前記画像符号化装置は、さらに、
前記入力画像バッファ手段に保持されている前記画像データの保持状態を示すバッファ情報を取得するバッファ情報取得手段を備え、
前記制御手段は、前記符号化パラメータが適当でないと判定した場合、前記バッファ情報取得手段によって取得された前記バッファ情報に基づいて前記入力画像バッファ手段の保持可能な空き容量を算出し、算出した前記空き容量に基づいて前記対象ピクチャの再符号化を制御する
ことを特徴とする請求項９記載の画像符号化装置。
【請求項１１】
前記符号化パラメータは、符号化を行うブロックのサイズ、フィールド単位またはフレーム単位で符号化を行うか、予測差分値を生成する予測方法、予測差分値を変換する変換方法、変換値を量子化する量子化方法の内、少なくとも１つである
ことを特徴とする請求項９記載の画像符号化装置。
【請求項１２】
入力される画像データを符号化する画像符号化方法であって、
前記画像データを保持する入力画像バッファ手段から出力される前記画像データを直交変換し、直交変換した変換データを量子化し、量子化データを生成する画像符号化ステップと、
前記画像符号化ステップにおいて生成された量子化データを可変長符号化する可変長符号化ステップと、
前記可変長符号化ステップにおいて得られる可変長符号化後のピクチャのデータ量または当該データ量の予測値が所定の閾値以上の場合、再符号化を行うことが可能か否かを判定し、当該判定結果に基づいて前記ピクチャの再符号化を制御する制御ステップと
を含むことを特徴とする画像符号化方法。
【請求項１３】
入力される画像データを符号化するためのプログラムであって、
前記画像データを保持する入力画像バッファ手段から出力される前記画像データを直交変換し、直交変換した変換データを量子化し、量子化データを生成する画像符号化ステップと、
前記画像符号化ステップにおいて生成された量子化データを可変長符号化する可変長符号化ステップと、
前記可変長符号化ステップにおいて得られる可変長符号化後のピクチャのデータ量または当該データ量の予測値が所定の閾値以上の場合、再符号化を行うことが可能か否かを判定し、当該判定結果に基づいて前記ピクチャの再符号化を制御する制御ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項１４】
入力される画像データを符号化するための集積回路であって、
前記画像データを保持する入力画像バッファ手段から出力される前記画像データを直交変換し、直交変換した変換データを量子化し、量子化データを生成する画像符号化手段と、
前記画像符号化手段によって生成された量子化データを可変長符号化する可変長符号化手段と、
前記可変長符号化手段で得られる可変長符号化後のピクチャのデータ量または当該データ量の予測値が所定の閾値以上の場合、再符号化を行うことが可能か否かを判定し、当該判定結果に基づいて前記ピクチャの再符号化を制御する制御手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可変長符号化を用いて画像データを符号化する画像符号化装置および画像符号化方法に関する。
【背景技術】
【０００２】
デジタルビデオ商品の高解像度化（ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  ｖｉｄｅｏ）化）が進んでおり、その記録時または伝送時にはデータレートを削減するために画像符号化が用いられている。画像符号化としては、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）２やＩＴＵ‐Ｔ（国際電気通信連合  電気通信標準化部門）のＨ．２６４等のように、ピクチャ（フレームまたはフィールド）間の動きをブロック単位で検出してその差分情報を伝送することによって、データ量を大幅に低減する方法が用いられている。これらの画像符号化では差分情報を直交変換し、直交変換した変換データを量子化して任意の圧縮率を実現している。また、量子化された情報は可変長符号化されて更に圧縮される。
【０００３】
図１０は、このような従来の画像符号化装置６００の構成を示すブロック図である。画像符号化装置６００は、符号化にＨ．２６４を用いた例であり、可変長符号化にＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）を利用している。ＣＡＢＡＣは、量子化されたデータを２値化した後に算術符号を用いて可変長符号化する。また、目標とするデータ量に符号化するために算術符号化後に得られるデータ量を量子化制御部６０６にフィードバックして、量子化を制御する。量子化制御部６０６は、目標とするデータ量よりも算術符号化後のデータ量が大きくなりそうな場合には量子化部６０２で用いる量子化幅を大きくして量子化後のデータ量を低減する。逆に目標とするデータ量よりも算術符号化後のデータ量が小さくなりそうな場合には、量子化制御部６０６は、量子化幅を小さくして量子化後のデータ量を増加させる。
【０００４】
ところで、２値化されたデータのデータ量は画像の局所的な性質によって大きく増減するため、算術符号化に必要なサイクル数（時間）も画像の局所的な性質によって大きくばらつく（例えば、特許文献１参照。）。一方、直交変換、量子化、２値化等の処理サイクル数は基本的に入力画素数に比例するため、算術符号化の処理サイクル数とは同期しない。このため通常は、２値化と算術符号化の間にバッファ６０４を設けて、処理速度のバラツキを吸収している。
【特許文献１】特開２００４−１３５２５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、２値化後のデータ量のバラツキは画像の局所的な情報量によって非常に大きくなることがあるため、上記のバッファで数ピクチャ分以上の遅延が発生することもある。この場合には、算術符号化後のデータ量が確定する時刻が、そのピクチャを量子化した時刻から大きく遅延することになるため、１ピクチャ分のデータ量が予測していたデータ量を大幅に超えていたとしても、量子化制御で改善することはできない。
【０００６】
このため、シーンチェンジ等で以前ピクチャと情報量が大きく異なるピクチャが入力された場合には、量子化制御で期待するデータ量に制御できないことになり、画質劣化を引き起こすことになる。更に、最悪の場合には規格で決められたデータ量制限を守れないことになる。この場合には、規格を守ることができないピクチャを廃棄する必要が生じるため、駒落ち等の非常に大きな画質劣化を招くことになる。
【０００７】
また、この問題を改善するために、どのような場合についても量子化幅を大きめに制御し、２値化出力のデータ量を小さめに制御する方法が考えられるが、量子化幅を大きくすると画質劣化を招くという問題が発生する。
【０００８】
そこで、本発明は上記のような状況に鑑みてなされたものであり、可変長符号化を用いた符号化において、画質劣化を防止することができる画像符号化装置および画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係る画像符号化装置は、入力される画像データを符号化する画像符号化装置であって、前記画像データを保持する入力画像バッファ手段と、前記入力画像バッファ手段から出力される前記画像データを直交変換し、直交変換した変換データを量子化し、量子化データを生成する画像符号化手段と、前記画像符号化手段によって生成された量子化データを可変長符号化する可変長符号化手段と、前記可変長符号化手段で得られる可変長符号化後のピクチャのデータ量または当該データ量の予測値が所定の閾値以上の場合、再符号化を行うことが可能か否かを判定し、当該判定結果に基づいて前記ピクチャの再符号化を制御する制御手段とを備えることを特徴とする。これによって、再符号化を制御することができるので、符号化ストリームの画質劣化を防止することができる。
【００１０】
また、前記画像符号化手段は、単位時間当たり前記画像データのデータ量以上の処理能力を有し、前記画像データの入力に同期せず、前記画像データから前記量子化データを生成してもよい。
【００１１】
また、前記画像符号化装置は、さらに、前記入力画像バッファ手段に保持されている前記画像データの保持状態を示すバッファ情報を取得するバッファ情報取得手段を備え、前記制御手段は、前記可変長符号化手段で得られる可変長符号化後のピクチャのデータ量または当該データ量の予測値が所定の閾値以上の場合、前記バッファ情報取得手段によって取得された前記バッファ情報に基づいて前記入力画像バッファ手段の保持可能な空き容量を算出し、算出した前記空き容量に基づいて前記ピクチャおよび前記ピクチャ以降のピクチャの再符号化を制御してもよい。
【００１２】
また、  前記画像符号化装置は、さらに、前記画像データの入力にほぼ同期したサイクルでサイクル数を計測するサイクル数計測手段を備え、前記制御手段は、前記可変長符号化手段で得られる可変長符号化後のピクチャのデータ量または当該データ量の予測値が所定の閾値以上の場合、前記サイクル数計測手段によって計測されたサイクル数と、画像符号化手段において現在処理しているピクチャまたはピクチャ上の画素位置の処理タイミングとに基づいて、前記ピクチャおよび前記ピクチャ以降のピクチャの再符号化を制御してもよい。
【００１３】
これによって、入力画像バッファの空き容量が十分ある場合には、想定を越えたデータ量に符号化されたピクチャを再符号化する。再符号化には時間がかかるため、入力画像データを入力画像バッファに保持して遅延させる必要が生じるが、入力画像バッファの空き容量を検出しているため、入力画像バッファのオーバーフローは発生しない。また、一度再符号化すると入力画像バッファの空き容量が減ってしまうが、入力画像バッファに十分な符号化すべきデータが有る場合に、符号化速度を少し早めにすることによって、急激に入力画像バッファの空き容量を拡大することができる。また、再符号化が必要になるようなデータ量またはデータ量の予測値が想定していた値と大きく異なる場合は、シーンチェンジ等発生頻度が非常に少ないため、このような簡単な制御で入力画像バッファをオーバーフローさせずに、必要に応じて再符号化することが可能である。また、このような再符号化の頻度は非常に少ないため、符号化の処理能力を通常よりもほんの少し高めに設定するだけで実現できるため、回路規模、消費電力の増加は無視できる程度で済む。以上のような方法によって、量子化に関して画質を最大限高めるよう制御できるため、従来の画質劣化を改善することが可能になる。
【００１４】
また、本発明に係る画像符号化装置は、入力される画像データを符号化する画像符号化装置であって、前記画像データを保持する入力画像バッファ手段と、前記入力画像バッファから出力される前記画像データを直交変換し、直交変換した変換データを量子化し、量子化データを生成する画像符号化手段と、前記画像符号化手段によって生成された量子化データを可変長符号化する可変長符号化手段と、前記画像符号化手段および前記可変長符号化手段で用いられる符号化パラメータを選択するとともに、前記画像符号化手段および前記可変長符号化手段の少なくとも１つにおいて得られる対象ピクチャのデータに基づいて、選択した前記符号化パラメータが適当であるか否かを判定し、適当でないと判定した場合、再符号化を行うことが可能か否かを判定し、当該判定結果に基づいて前記対象ピクチャの前記符号化パラメータの修正を含む再符号化を制御する制御手段とを備えることを特徴とする。
【００１５】
以上のように、符号化パラメータを修正して再符号化を行うことができるので、画質を改善することができる。したがって、シーンチェンジ等で画像の質が大きく変化する際にも最適な符号化を行うことが可能となる。
【００１６】
なお、本発明は、このような画像符号化装置として実現することができるだけでなく、このような画像符号化装置が備える特徴的な手段をステップとする画像符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００１７】
本発明に係る画像符号化装置および画像符号化方法によれば、再符号化を制御することができるので、量子化に関して画質を最大限高めるよう制御できる。これによって、従来の画質劣化を改善することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。
【００２０】
画像符号化装置１００は、可変長符号化を用いて画像データを符号化するための装置であり、画像バッファ１０１、バッファ情報取得部１０２、直交変換部１０３、量子化部１０４、２値化部１０５、中間バッファ１０６、算術符号化部１０７、および制御部１０８を備えている。
【００２１】
画像バッファ１０１は、入力された画像データをピクチャ単位で一時的に保持する。バッファ情報取得部１０２は、画像バッファ１０１に保持されている画像データの保持状態を示すバッファ情報を取得し、取得したバッファ情報を制御部１０８に通知する。直交変換部１０３は、画像バッファ１０１から読み出した画像データを所定のブロックサイズで周波数係数に変換し、変換した周波数係数を量子化部１０４に出力する。量子化部１０４は、入力された周波数係数を量子化し、量子化データを２値化部１０５に出力する。２値化部１０５は、入力された量子化データを２値データに変換し、２値データを中間バッファ１０６に出力する。中間バッファ１０６は、入力された２値データを一時的に保持する。算術符号化部１０７は、中間バッファ１０６から読み出した２値データを算術符号化し、符号化ストリームとして出力する。また、算術符号化部１０７は、算術符号化後のピクチャごとのデータ量を制御部１０８に通知する。なお、直交変換部１０３、量子化部１０４、および２値化部１０５は、単位時間当たり入力される画像データのデータ量以上の処理能力を有し、画像データの入力に同期せず、画像データから２値データを生成する。
【００２２】
制御部１０８は、算術符号化後のデータ量が所定の閾値以上である場合、バッファ情報取得部１０２から通知されたバッファ情報に基づいて画像バッファ１０１の保持可能な空き容量を算出し、算出した空き容量に基づいてピクチャの再符号化を制御する。すなわち、制御部１０８は、算出した空き容量が所定の閾値以上の場合、そのピクチャおよびそのピクチャ以降符号化が終わっているピクチャの再符号化を行うように量子化部１０４を制御する。このとき、制御部１０８は、量子化部１０４での量子化時の量子化幅を大きくするように量子化部１０４を制御する。これは、画像バッファ１０１の空き容量が大きく、既に符号化処理を行っているピクチャを再符号化しても、その処理時間に入力される画像データを画像バッファ１０１で保持することが可能であるからである。一方、算出した空き容量が所定の閾値未満の場合には、制御部１０８は、そのピクチャおよびそのピクチャ以降符号化が終わっているピクチャの再符号化を行わず、現在量子化を行っているピクチャ以降のピクチャに対する量子化幅を大きくするように量子化部１０４を制御する。
【００２３】
次に、上記のように構成された画像符号化装置１００の動作について説明する。
【００２４】
図２は画像符号化装置１００における再符号化処理に関する動作の流れを示すフローチャートである。
【００２５】
制御部１０８は、算術符号化部１０７から通知された算術符号化後のピクチャごとのデータ量を取得する（ステップＳ１０１）。そして、制御部１０８は、取得した算術符号化後のデータ量が所定の閾値以上であるか否かを判定する（ステップＳ１０２）。ここで、算術符号化後のデータ量が所定の閾値以上である場合（ステップＳ１０２でＹｅｓ）、制御部１０８は、バッファ情報取得部１０２にバッファ情報の取得を指示する（ステップＳ１０３）。次に、制御部１０８は、バッファ情報取得部１０２から通知されたバッファ情報に基づいて画像バッファ１０１の保持可能な空き容量を算出する（ステップＳ１０４）。例えば、画像バッファ１０１が図３（ａ）に示すように１０ピクチャ分の画像データを保持でき、ピクチャ１から順に処理されて、現在ピクチャ１１〜ピクチャ２０の画像データが保持されているとする。この場合に、図３（ａ）に示すように算術符号化後のデータ量が所定の閾値以上であるピクチャがピクチャ１８であるとすると、ピクチャ１１〜ピクチャ１７の画像データは処理が終了しているので、制御部１０８は画像バッファ１０１の保持可能な空き容量は７ピクチャ分と算出する。一方、画像バッファ１０１が図３（ｂ）に示すように現在ピクチャ１６〜ピクチャ２５の画像データが保持され、図３（ａ）と同様に算術符号化後のデータ量が所定の閾値以上であるピクチャがピクチャ１８であるとすると、ピクチャ１６〜ピクチャ１７の画像データは処理が終了しているので、制御部１０８は画像バッファ１０１の保持可能な空き容量は２ピクチャ分と算出する。
【００２６】
次に、制御部１０８は、算出した空き容量が所定の閾値以上であるか否かを判定する（ステップＳ１０５）。この判定の結果、空き容量が所定の閾値以上の場合（ステップＳ１０５でＹｅｓ）、制御部１０８は、そのピクチャおよびそのピクチャ以降符号化（直行変換および量子化）が終わっているピクチャの再符号化を行うように量子化部１０４を制御する（ステップＳ１０６）。このとき、制御部１０８は、量子化部１０４での量子化時の量子化幅を大きくするように量子化部１０４を制御する。一方、算出した空き容量が所定の閾値未満の場合には（ステップＳ１０５でＮｏ）、制御部１０８は、そのピクチャおよびそのピクチャ以降符号化が終わっているピクチャの再符号化を行わず、現在量子化を行っているピクチャ以降のピクチャに対する量子化幅を大きくするように量子化部１０４を制御する（ステップＳ１０７）。
【００２７】
ここで、ピクチャの再符号化を行う場合、図４（ａ）に示すピクチャの再符号化を行わない場合に対して図４（ｂ）に示すようにこのピクチャの符号化処理が追加されることになるが、符号化処理を行う直交変換部１０３、量子化部１０４、および２値化部１０５が、単位時間当たり入力される画像データのデータ量以上の処理能力を有し、画像データの入力に同期せず、画像データから２値データを生成するので、再符号化に伴って減少した画像バッファ１０１の空き容量を拡大することができる。
【００２８】
以上のように、算術符号化後のデータ量が規格を満たさない場合に、その画像を再符号化することが可能になるため、規格違反を防ぐことが可能になる。また、この手法は符号化後のデータ量が当初の想定と大きくくいちがい、その結果動画全体の画質を劣化させる可能性が発生した場合にも同様の方法で再符号化を実施することが可能になる。この場合には、再符号化時に量子化部１０４を、より好ましい量子化幅に制御することによって画質を改善することができる。したがって、シーンチェンジ等で画像の質が大きく変化する際にも最適な符号化を行うことが可能となる。更に、このような再符号化が必要となるような、それ以前の画像と大幅に異なる画像に切り替わることは滅多にないため、全体の処理量は増加せず、回路規模、処理電力の増加を殆ど招くことかない。
【００２９】
なお、本実施の形態では、制御部１０８は、ピクチャの再符号化を行う際に、量子化部１０４での量子化時の量子化幅を大きくするように量子化部１０４を制御しているが、これに限られるものではない。例えば、直交変換部１０３において変換された周波数係数の高周波数成分をカットするように直交変換部１０３を制御しても構わない。この場合、周波数係数の高周波数成分をカットすることで、２値データ、さらには算術符号化後のデータ量を削減することが可能になる。
【００３０】
また、上記において、制御部１０８は、再符号化を行うか否かの判定を行う処理に先立って、算術符号化部１０７から通知された算術符号化後のデータ量が所定の閾値以上であるか否かの判定を行っているが、これに限られるものではなく、例えば、算術符号化後のデータ量の予測値を用いてもかまわない。図５は、本発明の実施の形態１の変形例に係る画像符号化装置の構成を示すブロック図である。なお、図１に示す上記画像符号化装置１００の構成と同様の構成については、同じ符号を付し、説明を省略する。
【００３１】
画像符号化装置２００は、図５に示すように上記構成に加えて予測部２０１を備えている。予測部２０１は、算術符号化部１０７で算術符号化された後のピクチャごとのデータ量を２値データに基づいて予測する。そして、制御部２０２は、再符号化を行うか否かの判定を行うに先立って、予測部２０１で予測された算術符号化後のデータ量の予測値が所定の閾値以上であるか否かの判定を行う。
【００３２】
このように予測部２０１で予測された予測値を用いることで、算術符号化部１０７において対象ピクチャの算術符号化がすべて終わってデータ量が確定するまで待つことなく、制御部２０２は、再符号化を行うか否かの判定を行う処理を行うことができ、迅速な再符号化を行うことが可能になる。
【００３３】
（実施の形態２）
図６は、本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。なお、図１に示す上記画像符号化装置１００の構成と同様の構成については、同じ符号を付し、説明を省略する。
【００３４】
画像符号化装置３００は、図６に示すように上記構成のバッファ情報取得部１０２に替えてサイクル数計測部３０１を備えている。サイクル数計測部３０１は、画像データの画像バッファ１０１への入力にほぼ同期したサイクルでサイクル数を計測し、計測したサイクル数を制御部３０２に通知する。
【００３５】
制御部３０２は、算術符号化後のデータ量が所定の閾値以上である場合、サイクル数計測部３０１から通知されたサイクル数と、直交変換部１０３において現在処理しているピクチャまたはピクチャ上の画素位置の処理タイミングとに基づいてピクチャの再符号化を制御する。すなわち、制御部３０２は、サイクル数計測部３０１によって計測されたサイクル数に対して、直交変換部１０３において現在処理しているピクチャまたはピクチャ上の画素位置の処理タイミングが所定の時刻よりも早い場合には、算術符号化後のデータ量が所定の閾値以上であると判定されたピクチャおよびそのピクチャ以降符号化が終わっているピクチャの再符号化を行うように量子化部１０４を制御する。このとき、制御部３０２は、量子化部１０４での量子化時の量子化幅を大きくするように量子化部１０４を制御する。これは、処理タイミングが早いので画像バッファ１０１の空き容量が大きく、既に符号化処理を行っているピクチャを再符号化しても、その処理時間に入力される画像データを画像バッファ１０１で保持することが可能であるからである。一方、サイクル数計測部３０１によって計測されたサイクル数に対して、直交変換部１０３において現在処理しているピクチャまたはピクチャ上の画素位置の処理タイミングが所定の時刻よりも遅い場合には、制御部３０２は、算術符号化後のデータ量が所定の閾値以上であると判定されたピクチャおよびそのピクチャ以降符号化が終わっているピクチャの再符号化を行わず、現在量子化を行っているピクチャ以降のピクチャに対する量子化幅を大きくするように量子化部１０４を制御する。
【００３６】
次に、上記のように構成された画像符号化装置３００の動作について説明する。
【００３７】
図７は画像符号化装置３００における再符号化処理に関する動作の流れを示すフローチャートである。
【００３８】
制御部３０２は、算術符号化部１０７から通知された算術符号化後のピクチャごとのデータ量を取得する（ステップＳ１０１）。そして、制御部３０２は、取得した算術符号化後のデータ量が所定の閾値以上であるか否かを判定する（ステップＳ１０２）。ここで、算術符号化後のデータ量が所定の閾値以上である場合（ステップＳ１０２でＹｅｓ）、制御部３０２は、サイクル数計測部３０１からサイクル数を取得する（ステップＳ３０１）。次に、制御部３０２は、直交変換部１０３において現在処理しているピクチャまたはピクチャ上の画素位置の処理タイミングを算出する（ステップＳ３０２）。次に、制御部３０２は、サイクル数計測部３０１から取得されたサイクル数に対して、直交変換部１０３において現在処理しているピクチャまたはピクチャ上の画素位置の処理タイミングが所定の時刻よりも早いか否かを判定する（ステップＳ３０３）。この判定の結果、サイクル数に対して処理タイミングが所定の時刻よりも早い場合（ステップＳ３０３でＹｅｓ）、制御部３０２は、算術符号化後のデータ量が所定の閾値以上であると判定されたピクチャおよびそのピクチャ以降符号化（直行変換および量子化）が終わっているピクチャの再符号化を行うように量子化部１０４を制御する（ステップＳ１０６）。このとき、制御部３０２は、量子化部１０４での量子化時の量子化幅を大きくするように量子化部１０４を制御する。一方、サイクル数に対して処理タイミングが所定の時刻よりも遅い場合には（ステップＳ３０３でＮｏ）、制御部３０２は、算術符号化後のデータ量が所定の閾値以上であると判定されたピクチャおよびそのピクチャ以降符号化が終わっているピクチャの再符号化を行わず、現在量子化を行っているピクチャ以降のピクチャに対する量子化幅を大きくするように量子化部１０４を制御する（ステップＳ１０７）。
【００３９】
以上のように、算術符号化後のデータ量が規格を満たさない場合に、その画像を再符号化することが可能になるため、規格違反を防ぐことが可能になる。また、この手法は符号化後のデータ量が当初の想定と大きくくいちがい、その結果動画全体の画質を劣化させる可能性が発生した場合にも同様の方法で再符号化を実施することが可能になる。この場合には、再符号化時に量子化部１０４を、より好ましい量子化幅に制御することによって画質を改善することができる。したがって、シーンチェンジ等で画像の質が大きく変化する際にも最適な符号化を行うことが可能となる。更に、このような再符号化が必要となるような、それ以前の画像と大幅に異なる画像に切り替わることは滅多にないため、全体の処理量は増加せず、回路規模、処理電力の増加を殆ど招くことかない。
【００４０】
なお、本実施の形態では、制御部３０２は、ピクチャの再符号化を行う際に、量子化部１０４での量子化時の量子化幅を大きくするように量子化部１０４を制御しているが、これに限られるものではない。例えば、直交変換部１０３において変換された周波数係数の高周波数成分をカットするように直交変換部１０３を制御しても構わない。この場合、周波数係数の高周波数成分をカットすることで、２値データ、さらには算術符号化後のデータ量を削減することが可能になる。
【００４１】
また、上記において、制御部３０２は、再符号化を行うか否かの判定を行う処理に先立って、算術符号化部１０７から通知された算術符号化後のデータ量が所定の閾値以上であるか否かの判定を行っているが、これに限られるものではなく、実施の形態１と同様に、例えば算術符号化後のデータ量の予測値を用いてもかまわない。図８は、本発明の実施の形態１の変形例に係る画像符号化装置の構成を示すブロック図である。なお、図６に示す上記画像符号化装置３００の構成と同様の構成については、同じ符号を付し、説明を省略する。
【００４２】
画像符号化装置４００は、図８に示すように上記構成に加えて予測部４０１を備えている。予測部４０１は、算術符号化部１０７で算術符号化された後のピクチャごとのデータ量を２値データに基づいて予測する。そして、制御部４０２は、再符号化を行うか否かの判定を行うに先立って、予測部４０１で予測された算術符号化後のデータ量の予測値が所定の閾値以上であるか否かの判定を行う。
【００４３】
このように予測部４０１で予測された予測値を用いることで、算術符号化部１０７において対象ピクチャの算術符号化がすべて終わってデータ量が確定するまで待つことなく、制御部４０２は、再符号化を行うか否かの判定を行う処理を行うことができ、迅速な再符号化を行うことが可能になる。
【００４４】
（実施の形態３）
図９は、本発明の実施の形態３に係る画像符号化装置の構成を示すブロック図である。なお、図１に示す上記画像符号化装置１００の構成と同様の構成については、同じ符号を付し、説明を省略する。
【００４５】
画像符号化装置５００は、可変長符号化を用いて画像データを符号化するための装置であり、画像バッファ１０１、バッファ情報取得部１０２、直交変換部５０１、量子化部５０２、可変長符号化部５０３、および制御部５０４を備えている。
【００４６】
制御部５０４は、画像バッファ１０１から出力される画像データに対して、符号化を行うブロックのサイズ、フィールド単位またはフレーム単位で符号化を行うか、予測差分値を生成する予測方法、予測差分値を変換する変換方法、変換値を量子化する量子化方法等の様々な符号化パラメータを選択する。また、制御部５０４は、直交変換部５０１において変換された周波数係数、量子化部５０２において量子化された量子化データ、および可変長符号化部５０３において可変長符号化された符号化ストリームを取得し、符号化ストリームのデータ量、周波数係数、および量子化データが、それぞれ所定の閾値より大きいか否かを判定する。さらに、制御部５０４は、少なくとも１つについて所定の閾値より大きいと判定された場合、バッファ情報取得部１０２から通知されたバッファ情報に基づいて画像バッファ１０１の保持可能な空き容量を算出し、算出した空き容量に基づいてピクチャの再符号化を制御する。すなわち、制御部５０４は、算出した空き容量が所定の閾値以上の場合、それぞれ対応する符号化パラメータを修正して再度符号化を行うように、直交変換部５０１、量子化部５０２、および可変長符号化部５０３の制御を行う。
【００４７】
例えば、フィールド単位で変換された周波数係数の係数値が所定の閾値以上の場合には、制御部５０４は、画像データをフレーム単位で周波数係数に再変換するように直交変換部５０１の制御を行う。
【００４８】
直交変換部５０１は、画像バッファ１０１から読み出した画像データを、制御部５０４で選択されたフィールド単位またはフレーム単位、ブロックサイズ、予測方法、および変換方法で周波数係数に変換し、変換した周波数係数を量子化部５０２に出力する。量子化部５０２は、入力された周波数係数を制御部５０４で選択された量子化方法で量子化し、量子化データを可変長符号化部５０３に出力する。可変長符号化部５０３は、入力された量子化データを可変長符号化し、符号化ストリームとして出力する。
【００４９】
以上のように、符号化ストリームのデータ量、周波数係数、および量子化データの少なくとも１つについて所定の閾値より大きいと判定され、かつ画像バッファ１０１の空き容量が所定の閾値以上の場合、符号化パラメータを修正して再度符号化を行っているので、画質を改善することができる。したがって、シーンチェンジ等で画像の質が大きく変化する際にも最適な符号化を行うことが可能となる。
【産業上の利用可能性】
【００５０】
本発明に係る画像符号化装置および画像符号化方法は、あらゆるマルチメディアデータに適用することができ、画像の品質を向上させることが可能であり、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等を用いた蓄積、伝送、通信等に有用である。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像符号化装置における再符号化処理に関する動作の流れを示すフローチャートである。
【図３】本発明の実施の形態１に係る画像符号化装置の画像バッファの構成例を示す概略図である。
【図４】本発明の実施の形態１に係る画像符号化装置における再符号化処理の様子を示す概略図である。
【図５】本発明の実施の形態１の変形例に係る画像符号化装置の構成を示すブロック図である。
【図６】本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。
【図７】本発明の実施の形態１に係る画像符号化装置における再符号化処理に関する動作の流れを示すフローチャートである。
【図８】本発明の実施の形態２の変形例に係る画像符号化装置の構成を示すブロック図である。
【図９】本発明の実施の形態３に係る画像符号化装置の構成を示すブロック図である。
【図１０】従来の画像符号化装置の構成を示すブロック図である。
【符号の説明】
【００５２】
１００、２００、３００、４００、５００  画像符号化装置
１０１  画像バッファ
１０２  バッファ情報取得部
１０３、５０１  直交変換部
１０４、５０２  量子化部
１０５  ２値化部
１０６  中間バッファ
１０７  算術符号化部
１０８、２０２、３０２、４０２、５０４  制御部
２０１、４０１  予測部
３０１  サイクル数計測部
５０３  可変長符号化部
【図１】
2007336005.tif 000003
【図２】
2007336005.tif 000004
【図３】
2007336005.tif 000005
【図４】
2007336005.tif 000006
【図５】
2007336005.tif 000007
【図６】
2007336005.tif 000008
【図７】
2007336005.tif 000009
【図８】
2007336005.tif 000010
【図９】
2007336005.tif 000011
【図１０】
2007336005.tif 000012