(57)【要約】【課題】繰り返しの圧縮処理を不要化し、メモリ容量の増大を抑制し、過剰な圧縮によるブロックノイズ、モスキートノイズの発生を抑制しつつ、入力画像データが急激に変化した場合に、発生符号量の過剰な増大を効率良く抑制できるようにする。【解決手段】ＤＣＴ部８、量子化部９、符号化部１０に加えて、前回の符号化情報が発生符号量の増大可能性を示しているときは量子化係数算出が必要であると判定する量子化係数算出要否判定部２と、量子化係数算出が必要とされるとき、輝度・色差信号から生成されるＤＣ成分を取得するＤＣ成分取得部３と、前回および今回の入力画像データのＤＣ成分を保存するＤＣ成分保存部５と、入力画像データと前回画像データのＤＣ成分の比較で入力画像データの変化を判断し、画像変化量を生成する画像変化演算部６と、得られた画像変化量に基づいて符号化のための量子化係数を算出し、量子化部に渡す量子化係数算出部７とを備える。【選択図】図１
2012109846.tif 000002
【特許請求の範囲】
【請求項１】
外部から画像データを入力する画像入力部と、
前記画像入力部から輝度・色差信号を入力してＤＣ成分を生成するＤＣＴ部と、
入力されてくる量子化係数を用いて前記ＤＣＴ部から入力したＤＣ成分を量子化する量子化部と、
前記量子化部で量子化された情報を符号化する符号化部と、
前記符号化部から受け取った前回の符号化情報が発生符号量の増大可能性を示しているときは量子化係数算出が必要であると判定し、前記前回の符号化情報が発生符号量の増大可能性を示していないときは量子化係数算出は不要であると判定する量子化係数算出要否判定部と、
前記量子化係数算出の要否判定が必要であるとされるとき、
前記画像入力部からの輝度・色差信号から生成されるＤＣ成分を取得するＤＣ成分取得部と、
前記ＤＣ成分取得部が取得した既に符号化した前回の入力画像データのＤＣ成分と今回の入力画像データのＤＣ成分を保存するＤＣ成分保存部と、
前記ＤＣ成分保存部から入力画像データのＤＣ成分と既に符号化した前回の入力画像データのＤＣ成分を取得し、両ＤＣ成分を比較することで画像変化量を生成する画像変化演算部と、
前記画像変化演算部で得られた画像変化量に基づいて符号化のための量子化係数を算出し、算出した量子化係数を前記量子化部に渡す量子化係数算出部とを備えた画像符号化装置。
【請求項２】
前記ＤＣ成分取得部が取得する前記ＤＣ成分を生成する手段として、前記ＤＣＴ部とは別に構成されて、前記画像入力部からの輝度・色差信号に基づいて前記ＤＣ成分を生成するＤＣ成分生成部を備えている請求項１に記載の画像符号化装置。
【請求項３】
前記ＤＣ成分取得部が取得する前記ＤＣ成分を生成する手段として、前記ＤＣＴ部におけるＤＣ成分生成手段を用いる請求項１に記載の画像符号化装置。
【請求項４】
前記量子化係数算出部は、前記画像変化演算部で得られた画像変化量として前記両ＤＣ成分の差分であるＤＣ成分差分量を生成し、このＤＣ成分差分量に基づいて符号化のための量子化係数を算出するように構成されている請求項１から請求項３までのいずれか１項に記載の画像符号化装置。
【請求項５】
前記量子化係数算出要否判定部は、前回符号化した量子化係数が特定の閾値より大きいときは量子化係数算出が不要であると判定するように構成されている請求項１から請求項４までのいずれか１項に記載の画像符号化装置。
【請求項６】
前記ＤＣ成分取得部は、入力画像データのＤＣ成分をマクロブロック単位で取得するように構成されている請求項１から請求項５までのいずれか１項に記載の画像符号化装置。
【請求項７】
前記ＤＣ成分取得部は、入力画像データのＤＣ成分をピクチャ単位で取得するように構成されている請求項１から請求項５までのいずれか１項に記載の画像符号化装置。
【請求項８】
前記ＤＣ成分取得部は、入力画像データのＤＣ成分をＤＣＴ実行ブロック単位で取得するように構成されている請求項１から請求項５までのいずれか１項に記載の画像符号化装置。
【請求項９】
前記ＤＣ成分保存部は、入力画像データのＤＣ成分と比較されるべきＤＣ成分として、既に符号化した前回の入力画像データのＤＣ成分をセットするように構成されている請求項１から請求項８までのいずれか１項に記載の画像符号化装置。
【請求項１０】
前記ＤＣ成分保存部は、入力画像データのＤＣ成分と比較されるべきＤＣ成分として、任意フレーム分のＤＣ成分の平均値をセットするように構成されている請求項１から請求項８までのいずれか１項に記載の画像符号化装置。
【請求項１１】
前記画像変化演算部は、入力画像データのＤＣ成分と比較されるべきＤＣ成分の単位をマクロブロック単位にする請求項６に記載の画像符号化装置。
【請求項１２】
前記画像変化演算部は、入力画像データのＤＣ成分と比較されるべきＤＣ成分の単位をピクチャ単位にする請求項７に記載の画像符号化装置。
【請求項１３】
前記画像変化演算部は、入力画像データのＤＣ成分と比較されるべきＤＣ成分の単位をＤＣＴ実行ブロック単位にする請求項８に記載の画像符号化装置。
【請求項１４】
撮像信号を輝度・色差信号に変換する撮像装置と、前記撮像装置から輝度・色差信号を入力し画像符号化処理を行う請求項１から請求項１３までのいずれか１項に記載の画像符号化装置とを具備するカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力部、ＤＣＴ部（離散コサイン変換部）、量子化部および符号化部を備えた画像符号化装置にかかわり、詳しくはシーンチェンジなど入力画像データが急激に変化する場合の発生符号量の過剰な増大を抑制するための技術に関する。適用される製品としては、デジタルスチルカメラ、デジタルビデオカメラ、車載カメラ、ネットワークカメラなどがある。
【背景技術】
【０００２】
デジタルビデオカメラやデジタルスチルカメラ、カメラ付き携帯電話端末やカメラ付き携帯電子手帳などの撮像機能を備えた機器において、撮像で得られる動画データや静止画データはそのデータ量が多く、そのまま記録するのでは、容量有限の記録メディアはすぐに記録容量一杯になってしまう。このため、種々の方式で圧縮してデータ量を減らしてから記録するのが一般的である。例えば、圧縮方式としては、動画データの場合にはＭＰＥＧ（Moving Picture Experts Group）方式などが用いられ、静止画データの場合にはＪＰＥＧ（Joint Photographic Experts Group）方式などが用いられる。従来の画像圧縮処理装置では、画像を段階的に所定のデータサイズまで圧縮するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１１６６３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、適切な圧縮率を得るために再試行を含めて複数回の圧縮処理を行うのでは所要時間が長くなり、撮像間隔を短く設定できない。また繰り返しの圧縮処理には元画像の全データを保持しておくための大容量のメモリが必要である。
【０００５】
一度の圧縮処理で所定のデータサイズに抑えるために圧縮率を高めに設定すると、ブロックノイズやモスキートノイズが発生し、画像品質の低下を招く。
【０００６】
また、シーンチェンジなど入力画像データが急激に変化して前回圧縮した画像データと今回圧縮する画像データとで相関が無くなると、圧縮後の符号量が過剰に増大する。符号量が規格上限を超えると、そのフレームを破棄した上で符号化処理をやり直さなければならない。
【０００７】
なお、特許文献１には手振れ検出部で得られた手振れ検出量に基づいて画像符号化時の符号量を抑圧する技術が開示されているが、これは本発明とはアプローチを異にするものである。
【０００８】
本発明は、このような事情に鑑みて創作したものであり、繰り返しの圧縮処理を不要化し、メモリ容量の増大を抑制し、過剰な圧縮によるブロックノイズ、モスキートノイズの発生を抑制しつつ、入力画像データが急激に変化した場合に、発生符号量の過剰な増大を効率良く抑制できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明は、次のような手段を講じることにより上記の課題を解決する。
【００１０】
《１》本発明による画像符号化装置は、前提として、外部から画像データを入力する画像入力部と、画像入力部から輝度・色差信号を入力してＤＣ成分（直流成分）を生成するＤＣＴ部と、ＤＣＴ部によるＤＣ成分を入力して量子化する量子化部と、量子化部で量子化された情報を符号化する符号化部とを備えている。
【００１１】
本発明による画像符号化装置は、上記の前提構成に加えて、それぞれ次のように構成された量子化係数算出要否判定部、ＤＣ成分取得部、ＤＣ成分保存部、画像変化演算部および量子化係数算出部を備えている。
【００１２】
前記の量子化係数算出要否判定部は、保存している前回の符号化情報に基づいて、量子化係数算出部による量子化係数算出を実施するかどうかを判定するものとして構成されている。この量子化係数算出要否判定部は、前回の符号化情報が発生符号量の増大可能性を示しているときは量子化係数算出が必要であると判定し、ＤＣ成分取得部、ＤＣ成分保存部、画像変化演算部、量子化係数算出部を活性化させる。逆に、前回の符号化情報が発生符号量の増大可能性を示していないときは量子化係数算出は不要であると判定し、このときはＤＣ成分取得部等は不活性状態のままとされる。
【００１３】
前記のＤＣ成分取得部は、活性化されたとき、画像入力部からの輝度・色差信号から生成されたＤＣ成分を取得し、取得したＤＣ成分をＤＣ成分保存部に保存するものとして構成されている。
【００１４】
前記のＤＣ成分保存部は、ＤＣ成分取得部が取得したＤＣ成分を毎回の入力画像データについて保存するものとして構成されている。ここには、既に符号化した前回の入力画像データのＤＣ成分と今回の入力画像データのＤＣ成分が保存されることになる。
【００１５】
前記の画像変化演算部は、ＤＣ成分保存部から入力画像データのＤＣ成分と既に符号化した前回の入力画像データのＤＣ成分を取得し、両ＤＣ成分を比較することで画像変化量を生成し、その画像変化量を量子化係数算出部に渡すものとして構成されている。
【００１６】
前記の量子化係数算出部は、画像変化演算部で得られた画像変化量に基づいて符号化のための量子化係数を算出し、算出した量子化係数を量子化部に渡す。
【００１７】
量子化部は、量子化係数算出部から量子化係数を受け取り、受け取った量子化係数でＤＣＴ部から入力したＤＣ成分の量子化を行う。
【００１８】
この構成による作用は次のとおりである。量子化係数算出要否判定部は、保存している前回の符号化情報に基づいて、量子化係数算出部による量子化係数算出を実施するかどうかを判定する。すなわち、前回の符号化情報が発生符号量の増大可能性を示しているときは量子化係数算出が必要であると判定し、ＤＣ成分取得部、ＤＣ成分保存部、画像変化演算部、量子化係数算出部を活性化させる。逆に、前回の符号化情報が発生符号量の増大可能性を示していないときは量子化係数算出は不要であると判定し、このときはＤＣ成分取得部等は不活性状態のままとされる。活性化されたＤＣ成分取得部は、画像入力部からの輝度・色差信号より生成されたＤＣ成分を取得し、取得したＤＣ成分をＤＣ成分保存部に保存する。ＤＣ成分保存部には既に符号化した前回の入力画像データのＤＣ成分と今回の入力画像データのＤＣ成分が保存される。画像変化演算部は、ＤＣ成分保存部から入力画像データのＤＣ成分と既に符号化した前回の入力画像データのＤＣ成分を取得し、両ＤＣ成分を比較することで画像変化量を生成し、量子化係数算出部に渡す。量子化係数算出部は、画像変化演算部で得られた画像変化量に基づいて符号化のための量子化係数を算出し、算出した量子化係数を量子化部に渡す。ＤＣＴ部は、画像入力部から輝度・色差信号を入力し、ＤＣ成分を生成して量子化部へ出力する。量子化部は、ＤＣＴ部からＤＣ成分を入力するとともに量子化係数算出部から量子化係数を受け取り、受け取った量子化係数でＤＣ成分の量子化を行う。符号化部は、量子化部で量子化された情報を符号化する。そして、その符号化情報を量子化係数算出要否判定部に渡す。
【００１９】
ここでのポイントの１つは、量子化係数算出要否判定部による量子化係数算出の要否の判定である。符号化部から受け取った前回の符号化情報が発生符号量の増大可能性を示しているとき、量子化係数算出要否判定部は量子化係数算出が必要であると判定する。そうでないときは量子化係数算出は不要であると判定する。
【００２０】
前回の符号化情報が発生符号量の増大可能性を示すとは、例えば前回符号化した量子化係数が一定以下に小さいことである。量子化係数が小さいと、発生符号量が増大する。量子化係数が小さく発生符号量が増大する可能性があるときは、発生符号量を抑制するために、量子化係数算出要否判定部は、ＤＣ成分取得部、ＤＣ成分保存部、画像変化演算部および量子化係数算出部を活性化する。その結果として、入力画像データのＤＣ成分と既に符号化した前回の入力画像データのＤＣ成分との比較結果である画像変化量に応じて量子化係数を生成する。これがもう１つのポイントである。
【００２１】
画像変化量が大きいほど量子化係数をより大きくし、結果として発生符号量の充分な抑制を図る。画像変化量が小さいときは量子化係数を小さくし、結果として発生符号量の抑制は規模が小さくてもかまわない。
【００２２】
以上のようにして、入力画像データが急激に変化した場合に、その変化の規模に応じて量子化係数を大きくするので、発生符号量の過剰な増大を効率良く抑制することが可能となる。
【００２３】
《２》上記《１》の構成におけるＤＣ成分取得部が取得するＤＣ成分を生成する手段としては、前記のＤＣＴ部とは別に構成されて、画像入力部からの輝度・色差信号に基づいてＤＣ成分を生成するＤＣ成分生成部を備えているという態様がある。このＤＣ成分生成部は、ＤＣ成分取得部が活性化されたとき、画像入力部からの輝度・色差信号からＤＣ成分を生成し、ＤＣ成分取得部に渡すものとして構成されている。
【００２４】
《３》同じく上記《１》の構成におけるＤＣ成分取得部が取得するＤＣ成分を生成する手段としては、前記のＤＣＴ部におけるＤＣ成分生成手段を用いるという態様もある。
【００２５】
上記《２》のように一般的なＤＣＴ部とは別の専用のＤＣ成分生成部を備えている場合には、そのＤＣ成分生成部が専用のものであることから、ＤＣ成分取得部、ＤＣ成分保存部、画像変化演算部および量子化係数算出部での各処理が高速化される。これにより、入力画像データの急激な変化により的確に対応することが可能になる。
【００２６】
一方、上記《３》のように一般的なＤＣＴ部で得られるＤＣ成分をＤＣ成分取得部に渡す構成の場合は、その兼用構成ゆえに専用のＤＣ成分生成部は不要であり、コストアップを抑制する上で有利となる。
【発明の効果】
【００２７】
本発明によれば、シーンチェンジなど入力画像データが急激に変化した場合に、その変化の規模に応じてリアルタイムに量子化係数を大きくするので、繰り返しの圧縮処理を不要化し、メモリ容量の増大を抑制し、過剰な圧縮によるブロックノイズ、モスキートノイズの発生を抑制しつつ、発生符号量の過剰な増大を効率良く抑制することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施例１における画像符号化装置が組み込まれたカメラシステムの構成を示すブロック図
【図２】本発明の実施例１の画像符号化装置の動作を示すフローチャート
【図３】本発明の実施例における入力画像データと比較画像データとのＤＣ成分差分量の算出の説明図
【図４】本発明の実施例におけるＤＣ成分差分量から量子化係数を算出するグラフ
【図５】本発明の実施例２における画像符号化装置が組み込まれたカメラシステムの構成を示すブロック図
【図６】本発明の実施例２の画像符号化装置の動作を示すフローチャート
【図７】本発明の実施例３の画像符号化装置の動作を示すフローチャート
【発明を実施するための形態】
【００２９】
上記した《１》の構成の本発明の画像符号化装置は、次のような実施の形態においてさらに有利に展開することが可能である。
【００３０】
《４》上記《１》〜《３》の構成における前記の量子化係数算出部については、画像変化演算部で得られた画像変化量として前記の両ＤＣ成分の差分であるＤＣ成分差分量を生成し、このＤＣ成分差分量に基づいて符号化のための量子化係数を算出するように構成されているという態様がある。これは、量子化係数を算出する上で最も簡単な方式の１つである。
【００３１】
《５》上記《１》〜《４》の構成における前記の量子化係数算出要否判定部については、前回の符号化情報として量子化係数を用いることとして、その量子化係数が特定の閾値より大きいときは、量子化係数算出が不要であると判定するように構成されているという態様がある。量子化係数が一定以上に大きいということは、発生符号量の面で余裕があるということになる。つまり、発生符号量を抑制する必要がなく、この場合は量子化係数算出部において量子化係数算出を不動作にする。すなわち、入力画像データが急激に変化した場合でも、量子化係数が大きく発生符号量に余裕がある場合には、量子化係数の更新は行わなくてもよい。
【００３２】
《６》上記《１》〜《５》の構成における前記のＤＣ成分取得部については、入力画像データのＤＣ成分をマクロブロック単位で取得するように構成されているという態様がある。
【００３３】
《７》同じく上記《１》〜《５》の構成における前記のＤＣ成分取得部については、入力画像データのＤＣ成分をピクチャ単位で取得するように構成されているという態様もある。
【００３４】
《８》同じく上記《１》〜《５》の構成における前記のＤＣ成分取得部については、入力画像データのＤＣ成分をＤＣＴ実行ブロック単位で取得するように構成されているという態様もある。
【００３５】
上記の《６》〜《８》のように、入力画像データのＤＣ成分をどのような単位で取得するかに関してのＤＣ成分取得部の態様につき、マクロブロック単位でもピクチャ単位でもあるいはＤＣＴ実行ブロック単位でも、いずれでもよい。それぞれの単位で取得した入力画像データと既に符号化した前回の入力画像データのＤＣ成分との差分のＤＣ成分差分量が大きいほど量子化係数をより大きくすることにより、入力画像データが急激に変化した場合でも発生符号量を充分に抑制するという作用を的確に達成することが可能となる。
【００３６】
《９》上記《１》〜《８》の構成における前記のＤＣ成分保存部については、入力画像データのＤＣ成分と比較されるべきＤＣ成分として、既に符号化した前回の入力画像データのＤＣ成分をセットするように構成されているという態様がある。
【００３７】
《１０》同じく上記《１》〜《８》の構成における前記のＤＣ成分保存部については、入力画像データのＤＣ成分と比較されるべきＤＣ成分として、任意フレーム分のＤＣ成分の平均値をセットするように構成されているという態様もある。
【００３８】
上記の《９》，《１０》のように、入力画像データのＤＣ成分と比較されるべきＤＣ成分としてどのようなものをセットするかに関してのＤＣ成分保存部の態様につき、既に符号化した前回の入力画像データのＤＣ成分でもよいし、任意フレーム分のＤＣ成分の平均値でもよい。入力画像データのＤＣ成分と前回符号化したＤＣ成分との差分であるＤＣ成分差分量が大きいほど量子化係数をより大きくすることにより、入力画像データが急激に変化した場合でも発生符号量を充分に抑制するという作用を的確に達成することが可能となる。平均値とする場合には、入力画像データのＤＣ成分と前回符号化したＤＣ成分との差分量の算出が安定したものとなる。
【００３９】
《１１》ＤＣ成分取得部が入力画像データのＤＣ成分をマクロブロック単位で取得するとした上記《６》の構成において、前記の画像変化演算部については、入力画像データのＤＣ成分と比較されるべきＤＣ成分の単位をＤＣ成分取得部に合わせてマクロブロック単位にするという態様がある。
【００４０】
《１２》また、ＤＣ成分取得部が入力画像データのＤＣ成分をピクチャ単位で取得するとした上記《７》の構成において、前記の画像変化演算部については、入力画像データのＤＣ成分と比較されるべきＤＣ成分の単位をＤＣ成分取得部に合わせてピクチャ単位にするという態様がある。
【００４１】
《１３》また、ＤＣ成分取得部が入力画像データのＤＣ成分をＤＣＴ実行ブロック単位で取得するとした上記《８》の構成において、前記の画像変化演算部については、入力画像データのＤＣ成分と比較されるべきＤＣ成分の単位をＤＣ成分取得部に合わせてＤＣＴ実行ブロック単位にするという態様がある。
【００４２】
上記の《１１》〜《１３》のように、入力画像データのＤＣ成分と比較されるべきＤＣ成分の単位をどのようなものにするかに関しての画像変化演算部の態様につき、それぞれＤＣ成分取得部に合わせて、マクロブロック単位、ピクチャ単位あるいはＤＣＴ実行ブロック単位とすることにより、入力画像データが急激に変化した場合でも発生符号量を充分に抑制するという作用を的確に達成することが可能となる。
【００４３】
《１４》上記《１》〜《１３》の画像符号化装置にかかわる発明をカメラシステムにおいて、次のように展開することが可能である。
【００４４】
すなわち、本発明によるカメラシステムは、撮像信号を輝度・色差信号に変換する撮像装置と、前記撮像装置から輝度・色差信号を入力し画像符号化処理を行う上記の《１》〜《１３》のいずれかの画像符号化装置とを具備するものとして構成されている。
【００４５】
カメラシステムにおいて、入力画像データが急激に変化した場合に、その変化の規模に応じて量子化係数を大きくするので、発生符号量の過剰な増大を抑制することが可能となる。
【実施例】
【００４６】
以下、本発明の画像符号化装置の実施例について図面を参照しながら説明する。なお、以下の各実施例において、他の実施例と同様の機能を有する構成要素については同一の符号を付して説明を省略する。
【００４７】
（実施例１）
実施例１では、急激なシーンチェンジにおける発生符号量を抑えるために、符号化前に入力画像データのＤＣ成分を取得し、既に符号化した前回の入力画像データのＤＣ成分と比較することで画像の変化量を判断し、ＤＣ成分の変化量に基づいて符号化のための量子化係数を算出することで、符号量を抑圧する例について説明する。本実施例は専用のＤＣ成分生成部を備えており、入力画像データのＤＣ成分の取得が符号化前に可能となっている。
【００４８】
図１は本発明の実施例１における画像符号化装置が組み込まれたカメラシステムの構成を示すブロック図である。図１において、２０は画像符号化装置、１は画像符号化装置２０の外部の撮像装置１１から輝度・色差信号を入力する画像入力部、２は符号化部１０から前回の符号化で得られた符号化情報を取得し、量子化係数算出を実施するか否かをその符号化情報に従って判定する量子化係数算出要否判定部、３はＤＣ成分生成部４へ入力画像データの輝度・色差信号を出力し、入力画像データのＤＣ成分Ａnを取得するＤＣ成分取得部、４は画像入力部１からの輝度・色差信号に基づいてＤＣ成分を生成するＤＣ成分生成部、５はＤＣ成分取得部３から取得した入力画像データのＤＣ成分Ａnを保存し、既に符号化した前回の入力画像データのＤＣ成分Ａn-1と、入力画像データのＤＣ成分Ａnを出力するＤＣ成分保存部、６はＤＣ成分保存部５から入力画像データのＤＣ成分Ａnと、比較対象としての既に符号化した前回の入力画像データのＤＣ成分Ａn-1を取得し、画像変化量として２つの画像データのＤＣ成分差分量ΔＡn（＝Ａn−Ａn-1）を算出する画像変化演算部、７は画像変化演算部６からＤＣ成分差分量ΔＡnを取得し、ＤＣ成分差分量ΔＡnから量子化係数ｑnを算出する量子化係数算出部、８は量子化係数算出要否判定部２からＤＣＴ要求を受け、画像入力部１から輝度・色差信号を取得し、入力画像データのＤＣ成分Ａnを生成するＤＣＴ部、９はＤＣＴ部８で生成したＤＣ成分Ａnを、量子化係数算出部７で算出した量子化係数ｑnに基づき量子化する量子化部、１０は量子化部９から量子化情報を取得して符号化を行い、符号化データを画像処理装置１２および記録媒体１３に出力する符号化部、１１は撮像装置、１２は画像処理装置、１３は記録媒体である。画像符号化装置２０は符号の１ないし１０で指示される構成要素群を具備している。カメラシステム３０は、撮像装置１１と画像符号化装置２０を具備している。
【００４９】
次に、上記のように構成された本実施例の画像符号化装置の動作を図２のフローチャートに従って説明する。
【００５０】
ステップＳ１において、画像入力部１は、撮像装置１１から入力画像データにおける輝度・色差情報を入力する。
【００５１】
次いでステップＳ２において、量子化係数算出要否判定部２は前回符号化した量子化係数ｑn-1が所定のしきい値以下であるかを判定し、所定のしきい値以下であれば発生符号量が増大する可能性があると判定し、ステップＳ３に進む。そうでなければ発生符号量が増大することがないと判定し、ステップＳ１４へ進む。ステップＳ１４に進んだ場合、ＤＣＴ部８は従来通り入力画像データのＤＣＴ処理を行い、次いでステップＳ１５において量子化処理を行い、さらにステップＳ１６において符号化処理を行い、処理を終了する。
【００５２】
ステップＳ２において量子化係数ｑn-1が所定のしきい値以下で発生符号量が増大する可能性があると判定して進んだステップＳ３においては、ＤＣ成分取得部３はＤＣ成分生成部４へ入力画像データの輝度・色差信号を出力し、ＤＣＴの結果得られたＤＣ成分を取得する。
【００５３】
次いでステップＳ４において、ＤＣ成分取得部３はＤＣ成分取得単位を判断し、ＤＣ成分取得単位がＤＣＴ実行ブロック単位であれば、ステップＳ５にてＤＣ成分生成部４に対し輝度・色差信号を出力し、入力画像データのＤＣ成分ＡnをＤＣＴ実行ブロック単位で取得する。ＤＣ成分取得単位がマクロブロック単位であれば、ステップＳ６にてＤＣ成分生成部４に対し輝度・色差信号を出力し、入力画像データのＤＣ成分Ａnをマクロブロック単位で取得する。また、ＤＣ成分取得単位がピクチャ単位であれば、ステップＳ７にてＤＣ成分生成部４に対し輝度・色差信号を出力し、入力画像データのＤＣ成分Ａnをピクチャ単位で取得する。
【００５４】
続くステップＳ８において、ＤＣ成分保存部５は、入力画像データのＤＣ成分Ａnと比較されるべきＤＣ成分として、既に符号化した前回の入力画像データのＤＣ成分Ａn-1をセットする。
【００５５】
次いでステップＳ９において、画像変化演算部６は“ＤＣ成分を比較する単位”（ＤＣ成分比較単位）を判断し、ＤＣＴ実行ブロック単位の場合、ステップＳ１０に進む。
【００５６】
ステップＳ１０においては、入力画像データのＤＣ成分Ａnと既に符号化した前回の入力画像データのＤＣ成分Ａn-1との差分をＤＣＴ実行ブロック単位でとり、差分の累計を、入力画像データと既に符号化した前回の入力画像データのＤＣ成分の差分であるＤＣ成分差分量ΔＡnとし、ステップＳ１３に進む。
【００５７】
ＤＣ成分比較単位がマクロブロック単位であれば、ステップＳ１１において、入力画像データのＤＣ成分Ａnと既に符号化した前回の入力画像データのＤＣ成分Ａn-1との差分をマクロブロック単位でとり、差分の累計をＤＣ成分差分量ΔＡnとし、ステップＳ１３に進む。
【００５８】
ＤＣ成分比較単位がピクチャ単位であれば、ステップＳ１２において、入力画像データのＤＣ成分Ａnと既に符号化した前回の入力画像データのＤＣ成分Ａn-1との差分をピクチャ単位でとり、差分の累計をＤＣ成分差分量ΔＡnとし、ステップＳ１３に進む。
【００５９】
次いでステップＳ１３において、量子化係数算出部７は、ＤＣ成分差分量ΔＡnを判断して、このＤＣ成分差分量ΔＡnが大きい場合はシーンチェンジしたと判定し、符号化する量子化係数ｑnを増加させ、ＤＣ成分差分量ΔＡnが小さい場合はシーンが変わっていないと判定し、符号化する量子化係数ｑnを増加させないという条件のもとで、ＤＣ成分差分量ΔＡnから量子化係数ｑnを算出し、ステップＳ１５に進む。
【００６０】
次いでステップＳ１５において、量子化部９は、算出した量子化係数ｑnに基づき入力画像データの量子化を行う。
【００６１】
次いでステップＳ１６において、符号化部１０は量子化部９から入力した量子化情報に基づき符号化を行う。
【００６２】
次に、図３を用いて入力画像データと比較画像データとのＤＣ成分差分量ΔＡnの算出方法について説明する。
【００６３】
入力画像データ、比較画像データのＤＣ成分比較単位をＤＣＴ実行ブロック単位の（ａ）〜（ｒ）とした場合、ＤＣＴ実行ブロック単位で対となる入力画像データ（ａ）と比較画像データ（ｂ）とのＤＣ成分の差分絶対値を算出し、それと同様に、それぞれ対となる入力画像データ（ｃ）と比較画像データ（ｄ）とのＤＣ成分の差分絶対値、入力画像データ（ｅ）と比較画像データ（ｆ）とのＤＣ成分の差分絶対値、入力画像データ（ｇ）と比較画像データ（ｈ）とのＤＣ成分の差分絶対値、入力画像データ（ｉ）と比較画像データ（ｊ）とのＤＣ成分の差分絶対値、入力画像データ（ｋ）と比較画像データ（ｌ）とのＤＣ成分の差分絶対値、入力画像データ（ｍ）と比較画像データ（ｎ）とのＤＣ成分の差分絶対値、入力画像データ（ｏ）と比較画像データ（ｐ）とのＤＣ成分の差分絶対値、入力画像データ（ｑ）と比較画像データ（ｒ）とのＤＣ成分の差分絶対値を算出し、これらの差分絶対値の累計を入力画像データと比較画像データとのＤＣ成分差分量ΔＡnとする。
【００６４】
次に、図４を用いて量子化係数ｑnの算出方法を説明する。
【００６５】
入力画像データと比較画像データとのＤＣ成分差分量ΔＡnに対して閾値Ａ0〜Ａkを持たせ、ＤＣ成分差分量ΔＡnがその閾値以内であったら、予め用意しているその閾値と対比した量子化係数ｑnの係数Ｂ0〜Ｂnを設定する。ＤＣ成分差分量ΔＡnが大きいほど、シーン変化量が大きいと見なせるため、ＤＣ成分差分量ΔＡnの大きさに応じて量子化係数ｑnの値を大きくすることで、発生符号量を抑制することが可能となる。
【００６６】
以上のように本実施例によれば、シーンチェンジのように入力画像データが急激に変化した場合に、その変化の規模に応じて量子化係数を大きくするので、発生符号量の過剰な増大を効率良く抑制することができる。併せて、一般的なＤＣＴ部８から独立した専用のＤＣ成分生成部４を備えているので、各部の処理が高速化され、入力画像データの急激な変化により的確に対応することができる。
【００６７】
（実施例２）
図５は本発明の実施例２における画像符号化装置が組み込まれたカメラシステムの構成を示すブロック図である。実施例２では、システムコストを抑えるために図１の構成からＤＣ成分生成部４を削除している。代わりに、ＤＣ成分取得部５に与えるＤＣ成分をＤＣＴ部８から送出するようになっている。
【００６８】
本実施例の画像符号化装置の動作を図６のフローチャートに従って説明する。
【００６９】
ステップＳ２１において、画像入力部１は、撮像装置１１から入力画像データにおける輝度・色差情報を入力する。
【００７０】
次いでステップＳ２２において、量子化係数算出要否判定部２は前回符号化した量子化係数ｑn-1が所定のしきい値以下であるかを判定し、所定のしきい値以下であれば発生符号量が増大する可能性があると判定し、ステップＳ２３に進む。そうでなければ発生符号量が増大することがないと判定し、ステップＳ３４へ進む。ステップＳ３４に進んだ場合、ＤＣＴ部８は従来通り入力画像データのＤＣＴ処理を行い、次いでステップＳ３５において量子化処理を行い、さらにステップＳ３６において符号化処理を行い、処理を終了する。
【００７１】
ステップＳ２２において量子化係数ｑn-1が所定のしきい値以下で発生符号量が増大する可能性があると判定して進んだステップＳ２３においては、ＤＣ成分取得部３はＤＣＴ部８へＤＣＴ要求を発行し、ＤＣＴの結果得られたＤＣ成分を取得する。このステップＳ２３は図２のステップＳ３とは相違する。それは、図１のＤＣ成分生成部４が本実施例にはなく、代わりにＤＣＴ部８を利用しているからである。
【００７２】
次いでステップＳ２４において、ＤＣ成分取得部３はＤＣ成分取得単位を判断し、ＤＣ成分取得単位がマクロブロック単位であれば、ステップＳ２６にてＤＣ成分取得部３から入力画像データのＤＣ成分Ａnをマクロブロック単位で取得する。ＤＣ成分取得単位がＤＣＴ実行ブロック単位であれば、ステップＳ２５にてＤＣ成分取得部３から入力画像データのＤＣ成分ＡnをＤＣＴ実行ブロック単位で取得する。ＤＣ成分取得単位がピクチャ単位であれば、ステップＳ２７にてＤＣ成分取得部３から入力画像データのＤＣ成分Ａnをピクチャ単位で取得する。
【００７３】
続くステップＳ２８において、ＤＣ成分保存部５は、入力画像データのＤＣ成分Ａnと比較されるべきＤＣ成分として、既に符号化した前回の入力画像データのＤＣ成分Ａn-1をセットする。
【００７４】
次いでステップＳ２９において、画像変化演算部６はＤＣ成分比較単位を判断し、マクロブロック単位の場合、ステップＳ３１に進む。
【００７５】
ステップＳ３１においては、入力画像データのＤＣ成分Ａnと既に符号化した前回の入力画像データのＤＣ成分Ａn-1との差分をマクロブロック単位でとり、差分の累計を、入力画像データと既に符号化した前回の入力画像データのＤＣ成分の差分であるＤＣ成分差分量ΔＡnとし、ステップＳ３３に進む。
【００７６】
ＤＣ成分比較単位がＤＣＴ実行ブロック単位であれば、ステップＳ３０において、入力画像データのＤＣ成分Ａnと既に符号化した前回の入力画像データのＤＣ成分Ａn-1との差分をＤＣＴ実行ブロック単位でとり、差分の累計をＤＣ成分差分量ΔＡnとし、ステップＳ３３に進む。
【００７７】
ＤＣ成分比較単位がピクチャ単位であれば、ステップＳ３２において、入力画像データのＤＣ成分Ａnと既に符号化した前回の入力画像データのＤＣ成分Ａn-1との差分をピクチャ単位でとり、差分の累計をＤＣ成分差分量ΔＡnとし、ステップＳ３３に進む。
【００７８】
次いでステップＳ３３において、量子化係数算出部７は、ＤＣ成分差分量ΔＡnを判断して、このＤＣ成分差分量ΔＡnが大きい場合はシーンチェンジしたと判定し、符号化する量子化係数ｑnを増加させ、ＤＣ成分差分量ΔＡnが小さい場合はシーンが変わっていないと判定し、符号化する量子化係数ｑnを増加させないという条件のもとで、ＤＣ成分差分量ΔＡnから量子化係数ｑnを算出し、ステップＳ３５に進む。
【００７９】
次いでステップＳ３５において、量子化部９は、算出した量子化係数ｑnに基づき入力画像データの量子化を行う。
【００８０】
次いでステップＳ３６において、符号化部１０は量子化部９から入力した量子化情報に基づき符号化を行う。
【００８１】
以上のように本実施例によれば、シーンチェンジのように入力画像データが急激に変化した場合に、実施例１と同様、その変化の規模に応じて量子化係数を大きくするので、発生符号量の過剰な増大を効率良く抑制することができる。併せて、一般的なＤＣＴ部８で得られるＤＣ成分をＤＣ成分取得部３に渡すように構成してあるので、実施例１の場合の専用のＤＣ成分生成部４は不要となり、その分、コストアップを抑制することができる。
【００８２】
（実施例３）
図７は本発明の実施例３における画像符号化装置の動作を示すフローチャートである。本実施例では、比較されるべきＤＣ成分として、任意フレーム分のＤＣ成分の平均値をセットするようになっている。この点で実施例１，２とは異なっている。
【００８３】
ステップＳ４１において、画像入力部１は、撮像装置１１から入力画像データにおける輝度・色差情報を入力する。
【００８４】
次いでステップＳ４２において、量子化係数算出要否判定部２は前回符号化した量子化係数ｑn-1が所定のしきい値以下であるかを判定し、所定のしきい値以下であれば発生符号量が増大する可能性があると判定し、ステップＳ４３に進む。そうでなければ発生符号量が増大することがないと判定し、ステップＳ５４へ進む。ステップＳ５４に進んだ場合、ＤＣＴ部８は従来通り入力画像データのＤＣＴ処理を行い、次いでステップＳ５５において量子化処理を行い、さらにステップＳ５６において符号化処理を行い、処理を終了する。
【００８５】
ステップＳ４２において量子化係数ｑn-1が所定のしきい値以下で発生符号量が増大する可能性があると判定して進んだステップＳ４３においては、ＤＣ成分取得部３はＤＣＴ部８へＤＣＴ要求を発行し、ＤＣＴの結果得られたＤＣ成分を取得する。
【００８６】
次いでステップＳ４４において、ＤＣ成分取得部３はＤＣ成分取得単位を判断し、ＤＣ成分取得単位がピクチャ単位であれば、ステップＳ４７にてＤＣ成分取得部３より入力画像データのＤＣ成分Ａnをピクチャ単位で取得する。ＤＣ成分取得単位がＤＣＴ実行ブロック単位であれば、ステップＳ４５にてＤＣ成分取得部３より入力画像データのＤＣ成分ＡnをＤＣＴ実行ブロック単位で取得する。また、ＤＣ成分取得単位がマクロブロック単位であれば、ステップＳ４６にてＤＣ成分取得部３より入力画像データのＤＣ成分Ａnをマクロブロック単位で取得する。
【００８７】
続くステップＳ４８において、ＤＣ成分保存部５は、入力画像データのＤＣ成分Ａnと比較されるべきＤＣ成分として、任意フレーム分のＤＣ成分の平均値をセットする。
【００８８】
次いでステップＳ４９において、画像変化演算部６はＤＣ成分比較単位を判断し、ピクチャ単位の場合、ステップＳ５２に進む。
【００８９】
ステップＳ５２においては、入力画像データのＤＣ成分Ａnと既に符号化した前回の入力画像データのＤＣ成分Ａn-1との差分をピクチャ単位でとり、差分の累計を、入力画像データと既に符号化した前回の入力画像データのＤＣ成分の差分であるＤＣ成分差分量ΔＡnとし、ステップＳ５３に進む。
【００９０】
ＤＣ成分比較単位がＤＣＴ実行ブロック単位であれば、ステップＳ５０において、入力画像データのＤＣ成分Ａnと既に符号化した前回の入力画像データのＤＣ成分Ａn-1との差分をＤＣＴ実行ブロック単位でとり、差分の累計をＤＣ成分差分量ΔＡnとし、ステップＳ５３に進む。
【００９１】
ＤＣ成分比較単位がマクロブロック単位であれば、ステップＳ５１において、入力画像データのＤＣ成分Ａnと既に符号化した前回の入力画像データのＤＣ成分Ａn-1との差分をマクロブロック単位でとり、差分の累計をＤＣ成分差分量ΔＡnとし、ステップＳ５３に進む。
【００９２】
次いでステップＳ５３において、量子化係数算出部７は、ＤＣ成分差分量ΔＡnを判断して、このＤＣ成分差分量ΔＡnが大きい場合はシーンチェンジしたと判定し、符号化する量子化係数ｑnを増加させ、ＤＣ成分差分量ΔＡnが小さい場合はシーンが変わっていないと判定し、符号化する量子化係数ｑnを増加させないという条件のもとで、ＤＣ成分差分量ΔＡnから量子化係数ｑnを算出し、ステップＳ５５に進む。
【００９３】
次いでステップＳ５５において、量子化部９は、算出した量子化係数ｑnに基づき入力画像データの量子化を行う。
【００９４】
次いでステップＳ５６において、符号化部１０は量子化部９から入力した量子化情報に基づき符号化を行う。
【００９５】
以上のように本実施例によれば、平均値を採用するので、仮に入力画像データのＤＣ成分Ａnの値が異常になった場合でも、入力画像データのＤＣ成分Ａnと前回符号化したＤＣ成分との差分量を安定して算出することできる。
【産業上の利用可能性】
【００９６】
本発明の画像符号化装置の技術は、シーンチェンジなど入力画像データが急激に変化した場合でも、その変化の規模に応じてリアルタイムに量子化係数を大きくするので、繰り返しの圧縮処理を不要化し、メモリ容量の増大を抑制し、過剰な圧縮によるブロックノイズ、モスキートノイズの発生を抑制しつつ、発生符号量の過剰な増大を効率良く抑制するものであり、例えばデジタルビデオカメラやデジタルスチルカメラ、カメラ付き携帯電話端末やカメラ付き携帯電子手帳などの撮像機能を備えた機器において有用である。
【符号の説明】
【００９７】
１    画像入力部
２    量子化係数算出要否判定部
３    ＤＣ成分取得部
４    ＤＣ成分生成部
５    ＤＣ成分保存部
６    画像変化演算部
７    量子化係数算出部
８    ＤＣＴ部
９    量子化部
１０  符号化部
１１  撮像装置
１２  画像処理装置
１３  記録媒体
２０  画像符号化装置
３０  カメラシステム
【図１】
2012109846.tif 000003
【図２】
2012109846.tif 000004
【図３】
2012109846.tif 000005
【図４】
2012109846.tif 000006
【図５】
2012109846.tif 000007
【図６】
2012109846.tif 000008
【図７】
2012109846.tif 000009