(57)【要約】  同一の入力画像データから複数の符号化データを生成する画像符号化装置（２５）であって、画像データを圧縮符号化する動画像符号化処理部（６０）と、生成された第１の符号化データの符号量を検出する符号量検出部（８１）と、検出された第１の符号化データの符号量を基準にして動画像符号化処理部（６０）にて第２以降の符号化データを生成するために量子化パラメータに乗算すべき乗数を決定する変換テーブル（８２）と、決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部（８３）とを備える。
2010035378.tif 000002
【特許請求の範囲】
【請求項１】
同一の入力画像データから複数の符号化データを生成する画像符号化装置であって、
画像データを圧縮符号化する画像符号化処理部と、
生成された第１の符号化データの符号量を検出する符号量検出部と、
前記符号量検出部からの符号量に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部とを備えたことを特徴とする画像符号化装置。
【請求項２】
同一の入力画像データから複数の符号化データを生成する画像符号化装置であって、
画像データを圧縮符号化する画像符号化処理部と、
生成された第１の符号化データの符号量を検出する符号量検出部と、
検出された第１の符号化データの符号量を基準にして前記画像符号化処理部にて第２以降の符号化データを生成するために量子化パラメータに乗算すべき乗数を決定する変換テーブルと、
決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部とを備えたことを特徴とする画像符号化装置。
【請求項３】
請求項２記載の画像符号化装置において、
前記符号量検出部は、第２以降の符号化データの符号量を検出する機能を更に備え、
前記変換テーブルは、前記第２以降の符号化データの符号量に基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項４】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとの符号化方式に基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項５】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとのフレームレートに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項６】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとのフレームタイプに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項７】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとのビットレートに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項８】
請求項２記載の画像符号化装置において、
前記変換テーブルは、符号化方式、フレームレート、フレームタイプ、ビットレートのいずれか１つ又はこれらの組み合わせによって量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項９】
請求項２記載の画像符号化装置において、
前記画像符号化処理部は、
１ブロックを構成する画素データが順次入力されて当該画素データを直交変換する直交変換部と、
前記直交変換部からの直交変換データを量子化する量子化部と、
前記量子化部からの量子化データを符号化する符号化部とを備え、
前記符号量制御部は、前記量子化部における量子化を制御することを特徴とする画像符号化装置。
【請求項１０】
請求項２記載の画像符号化装置において、
前記画像符号化処理部は、
１ブロックを構成する画素データが順次入力されて当該画素データを直交変換する直交変換部と、
前記直交変換部からの直交変換データを量子化する量子化部と、
前記量子化部からの量子化データを符号化する符号化部と、
前記量子化部からの量子化データを逆量子化する逆量子化部と、
前記逆量子化部からの逆量子化データを逆直交変換する逆直交変換部と、
前記逆直交変換部からの逆直交変換データを記憶するフレームメモリと、
前記フレームメモリからのデータと現フレームの入力画像データとから動き検出を行う動き検出部と、
前記動き検出部からの動き検出結果に基づいて参照画像データを生成する動き補償部と、
入力画像データと前記動き補償部からの参照画像データとの差分を生成する予測誤差生成部とを備え、
前記符号量制御部は、前記量子化部における量子化と、前記逆量子化部における逆量子化とを制御することを特徴とする画像符号化装置。
【請求項１１】
画像符号化装置を用いて、同一の入力画像データから複数の符号化データを生成する画像符号化方法であって、
画像データを圧縮符号化する工程と、
生成された第１の符号化データの符号量を検出する工程と、
前記検出された符号量に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する工程とを備えたことを特徴とする画像符号化方法。
【請求項１２】
請求項２記載の画像符号化装置を含んで信号処理を行う信号処理回路と、
前記信号処理回路へ画像信号を出力するセンサと、
前記センサへ光を結像する光学系とを備えたことを特徴とする撮像システム。
【請求項１３】
請求項１２記載の撮像システムにおいて、
前記センサから得た画像信号をデジタル信号に変換して前記信号処理回路へ供給する変換器を更に備えたことを特徴とする撮像システム。
【請求項１４】
請求項１２記載の撮像システムにおいて、
前記画像符号化装置の符号化データをネットワークへ送出するインターフェース回路を更に備えたことを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを圧縮符号化する画像符号化装置及び画像符号化方法に関する。また、撮像システムに関するものである。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラの普及に伴って、画像データの圧縮符号化技術であるＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）が広く普及している。また、インターネット等のネットワークが急速に普及しており、監視カメラを含むネットワークカメラやテレビ電話が大きい広がりを見せている。しかしながら、ネットワーク帯域が広がるにつれ一度に接続されるユーザも増えるため、送受信可能なデータ量が限られる。そこで、各社にてデータ量を削減する制御方法が検討されている。【０００３】
ある従来技術によれば、同一の入力画像データからビットレートの異なる複数の符号化データを生成する場合に発生するデータ量の偏りを低減するように、複数の符号化処理部における圧縮符号化処理の開始タイミングがフレーム単位でオフセット制御される。多重化処理部は、複数の符号化処理部によって単位時間内に生成された各符号化データの符号量に応じて単位時間内で均等に間隔を空けて送信する（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４０６５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の画像符号化装置では、符号化処理部によって生成された符号化データは、符号量検出部において符号量が検出され、検出された符号量は予め設定された目標符号量と比較され、目標符号量を超えた場合は、量子化係数が小さくなるように、また０と評価される係数が増えるように量子化テーブルを設定する。そして、改めて設定された量子化テーブルを用いてデータを量子化し、量子化されたデータを符号化し、目標符号量と比較し、所定の目標符号量より小さくなるまで繰り返すことで、データ量低減を行っていた。したがって、量子化テーブルの更新、量子化、符号化が繰り返され、データ転送に遅延や、動画像のフレームレート悪化が生じていた。【０００６】
具体的には、ネットワークカメラ等において急な画像変化（人物進入）等により、符号対象データが増えることで、急激に符号量が増え、目標符号量を超えた場合、コマ落ち等が発生していた。【０００７】
本発明は、上記問題点を解決するために、量子化を行う回数を少なくすることによって、圧縮符号化処理の高速化を図ることができる画像符号化装置及びその方法を提供することを１つの目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、同一の入力画像データから複数の符号化データを生成する画像符号化装置において、画像データを圧縮符号化する画像符号化処理部と、生成された第１の符号化データの符号量を検出する符号量検出部と、当該符号量検出部からの符号量に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部とを備えた構成を採用したものである。【０００９】
検出された第１の符号化データの符号量を基準にして画像符号化処理部にて第２以降の符号化データを生成するために量子化パラメータに乗算すべき乗数を決定する変換テーブルを更に備えれば、符号量制御部は、決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定することができる。【００１０】
これによると、第１の符号化データの符号量を基準にして第２以降の符号化データを生成するための量子化パラメータの乗数を変換テーブルにて決定し、かつ決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定することで、第２以降の符号化データの生成のための量子化及び符号化を実施する前に、生成される符号量を低減することが可能である。【００１１】
また、本発明に係る画像符号化装置は、符号量検出部で第２以降の符号化データの符号量を検出する機能を有する。これによると、第３以降の符号化データの生成に際し、第１又は第２の符号化データの符号量から適切な量子化パラメータを決定することができる。
【発明の効果】
【００１２】
本発明によれば、量子化及び符号化を実施する前に、量子化パラメータを事前に制御するので、処理回数を削減することができ、画像データの圧縮符号化を高速化することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態における撮像システムの構成を示すブロック図である。
【図２】図１中の画像符号化装置の実施の形態を示すブロック図である。
【図３】図１中の画像符号化装置の他の実施の形態を示すブロック図である。
【図４】図２及び図３の構成にて得られるＤＣＴ（discrete cosine transform）係数の一例を示す図である。
【図５】（ａ）、（ｂ）及び（ｃ）は各々図３の構成における変換テーブルの具体例を示す図である。
【図６】図３の構成における符号化順序例を示すタイミング図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１５】
図１は、本発明の実施の形態における撮像システム（例えばネットワークカメラ）２０の構成を示すブロック図である。図１において、２１は光学系、２２はイメージセンサ、２３はアナログ・デジタル変換器（ＡＤＣ）、２４は信号処理回路、２５は画像符号化装置、２６は記録転送回路、２７はシステム制御回路、２８はタイミング制御回路、２９はネットワークインターフェース回路である。３０は受信システムである。図１の撮像システム２０の全体は、システム制御回路２７によって制御されている。
【００１６】
図１の撮像システム２０において、光学系２１を通って入射した被写体像はイメージセンサ２２上に結像される。イメージセンサ２２はタイミング制御回路２８によって駆動されることにより、結像された被写体像の光学データを蓄積し、電気信号へと光電変換する。イメージセンサ２２から読み出された電気信号は、ＡＤＣ２３によってデジタル信号へと変換された後、画像符号化装置２５を含む信号処理回路２４に入力される。この信号処理回路２４においては、Ｙ／Ｃ分離処理、エッジ処理、画像の拡大縮小処理、本発明を用いた圧縮符号化処理等の画像処理が行われる。画像処理された画像データは、記録転送回路２６においてメディアへの記録あるいはネットワークへの転送が行われる。転送された画像データは、ネットワークインターフェース回路２９により受信システム３０へ向けて送信される。
【００１７】
図２は、図１中の画像符号化装置２５のＪＰＥＧにおける実施の形態を示すブロック図である。図２の画像符号化装置２５は、静止画像符号化処理部４０と、符号量検出部５１と、変換テーブル５２と、符号量制御部５３とを備える。このうち静止画像符号化処理部４０は、入力画像データＩＮとして１ブロックを構成する８×８個の画素データが順次入力されて当該画素データを直交変換するＤＣＴ部４１と、当該ＤＣＴ部４１からの直交変換データを量子化する量子化部４２と、当該量子化部４２からの量子化データを符号化して出力符号化データＯＵＴを供給する可変長符号化部４３とを備える。
【００１８】
図３は、図１中の画像符号化装置２５のＭＰＥＧにおける実施の形態を示すブロック図である。図３の画像符号化装置２５は、動画像符号化処理部６０と、符号量検出部８１と、変換テーブル８２と、符号量制御部８３とを備える。このうち動画像符号化処理部６０は、予測誤差生成部６１と、ＤＣＴ部６２と、量子化部６３と、可変長符号化部６４と、逆量子化部６５と、逆ＤＣＴ部６６と、再構成画像生成部６７と、フレームメモリ６８と、動き検出部６９と、動き補償部７０と、動きベクトル符号化部７１と、多重化部７２とを備え、入力画像データＩＮとして１ブロックを構成する８×８個の画素データが順次入力され、多重化部７２から出力符号化データＯＵＴが得られるものである。
【００１９】
図４は、図２及び図３の構成にて得られるＤＣＴ係数の一例を示す図である。一般に自然画像においては、大部分が色の変化は滑らかである。したがって、直交変換を行うことによって生成される図４に示すようなＤＣＴ係数分布においては、低周波領域Ｍに大きな値を有するＤＣＴ係数が集中し、高周波領域Ｎには小さな値を有するＤＣＴ係数が分布するようになる。
【００２０】
図２の構成によれば、ＤＣＴ部４１にて、図４に示すようなＤＣＴ係数が得られる。量子化部４２は、予め量子化テーブルに設定された量子化パラメータでＤＣＴ係数を除算することによって、量子化係数を生成する。かかる処理を行うことによって、画質的に影響を与えない高周波領域Ｎについては値が０（ゼロ）となるようにし、以て低周波領域Ｍに量子化係数を集中させることが可能となる。次に、可変長符号化部４３において、値が０（ゼロ）であるデータの個数と量子化係数の値との組み合わせの出現率に合わせて長さの異なる符号語を割り当てることにより、画像データの圧縮符号化が実現する。
【００２１】
しかも、可変長符号化部４３によって得られた符号化データは符号量検出部５１に入力され、その符号量が求められる。符号量制御部５３は、符号量検出部５１で求められた符号量から変換テーブル５２によって量子化パラメータの乗数を算出し、その乗数から量子化パラメータを決定する。
【００２２】
一方、図３の構成によれば、フレーム内相関を利用した符号化又はフレーム間相関を利用した符号化が実施され、Ｉピクチャ、Ｐピクチャ及びＢピクチャが得られる。
【００２３】
Ｉピクチャの場合、量子化部６３からの出力は逆量子化部６５にも入力され、その後逆ＤＣＴ部６６を通り再構成画像生成部６７に送られる。この再構成画像生成部６７には、同時に動き補償部７０の結果も入力される。もし、フレーム間相関のブロックであれば、両入力データが足し合わされその結果が、フレームメモリ６８に書き込まれるのだが、Ｉピクチャではフレーム内相関のみであるため、動き補償部７０の結果は入力されない。このため、逆ＤＣＴ部６６から送られてくるデータがそのままフレームメモリ６８に書き込まれる。このフレームメモリ６８へ送られる画像データを再構成画像と呼び、Ｐピクチャ又はＢピクチャ時の参照画像として使用される。
【００２４】
Ｐピクチャ及びＢピクチャの場合、画像データがブロック単位で入力され、予測誤差生成部６１及び動き検出部６９に送られる。動き検出部６９は、入力画像データを受け、入力画像データと同一空間位置の近傍画素データをフレームメモリ６８から読み出し、入力画像データと最も相関の高い画素位置を求める動き探索を行う。そして、動き検出部６９において、最も相関の高い画像データを探索された参照画像データとして動き補償部７０に送るのと同時に、その位置を示す動きベクトルを動きベクトル符号化部７１に送る。ここで、フレーム内相関符号化が選択された場合、以後の符号化処理はＩピクチャ時と同様となる。フレーム間相関符号化が選択された場合には、動き補償部７０を経由して参照画像データが予測誤差生成部６１に送られ、入力画像データとの差分をとり、ＤＣＴ部６２に出力する。可変長符号化部６４においては、量子化された画像データを符号化し、これと同時に、動きベクトル符号化部７１において符号化された動きベクトルのデータとともに多重化部７２から出力される。
【００２５】
図５（ａ）は、図３の構成における変換テーブル８２の具体例を示す図である。図５（ａ）の変換テーブル８２は、「Ｈ．２６４／６０ｆｐｓ」の符号化（これを第１の符号化と呼ぶ。）の場合を１とした場合に、Ｈ．２６４の他のフレームレート時、ＭＰＥＧ−４、ＭＰＥＧ−２のそれぞれのフレームレート時に、第１の符号化の量子化パラメータ（第１の量子化パラメータ）に乗算すべき乗数の値を示す。
【００２６】
図３において、可変長符号化部６４によって得られた符号化データは符号量検出部８１に入力され、その符号量が求められる。符号量制御部８３は、符号量検出部８１で求められた符号量から、図５（ａ）に示す変換テーブル８２によって第１の量子化パラメータに対する乗数を算出し、その乗数から量子化パラメータを決定する。
【００２７】
図６は、図３の構成におけるマルチストリームの符号化順序例を示すタイミング図である。図６によれば、「Ｈ．２６４／６０ｆｐｓ」を第１の符号化とし、「ＭＰＥＧ−４／６０ｆｐｓ」を第２の符号化とし、「Ｈ．２６４／３０ｆｐｓ」を第３の符号化としている。図５（ａ）によれば、第２の符号化時に乗数「１．２」が選択され、「第１の量子化パラメータ×１．２」を第２の量子化パラメータに設定することで、第２の符号化の目標符号量を達成することができる。また、第３の符号化時には乗数「０．５」が選択され、「第１の量子化パラメータ×０．５」を第３の量子化パラメータに設定することで、第３の符号化の目標符号量を達成することができる。なお、変換テーブル８２はユーザが書き換えてもよい。
【００２８】
上記のように構成された本発明の実施の形態によれば、例えば動画像符号化処理部６０によって第２、第３の符号化データの生成を実施する前に、これらの符号化データの大小が把握できる。つまり、量子化、符号化を実施する前に、生成される符号量を低減することが可能である。
【００２９】
なお、上記の例では基準となる第１の符号化を「Ｈ．２６４／６０ｆｐｓ」としたが、「他の符号化方式／フレームレート」としてもよい。また、フレームレートのみでなく、ビットレート、フレームタイプからも乗数を算出することが可能である。ビットレートの場合の例を図５（ｂ）に示す。また、フレームタイプの場合の例を図５（ｃ）に示す。
【００３０】
図５（ｃ）によれば、例えば、ＭＰＥＧ−２のＰピクチャで生成される符号量を目標符号量として量子化パラメータを決定した場合、ＭＰＥＧ−２のＩピクチャでは４倍もの符号量が生成される。一方、量子化パラメータと符号量との間には反比例の関係が成り立つ。そこで、Ｉピクチャの符号化時には、Ｐピクチャの場合の量子化パラメータに乗数「４」を掛けて４倍にすることで、Ｉピクチャで生成される符号量を目標符号量に近づけることができるのである。
【００３１】
また、本発明の実施の形態の画像符号化装置２５における画像処理は、必ずしも光学系２１を介してイメージセンサ２２に結像された被写体像に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることはいうまでもない。
【産業上の利用可能性】
【００３２】
以上説明したように、本発明は、画像の圧縮符号化を高速化することができるので、一定の符号量が得られるような制御が必要となる画像符号化装置、例えば監視カメラを含むネットワークカメラ、テレビ電話等に有用である。
【符号の説明】
【００３３】
２０  撮像システム
２１  光学系
２２  イメージセンサ
２３  アナログ・デジタル変換器（ＡＤＣ）
２４  信号処理回路
２５  画像符号化装置
２６  記録転送回路
２７  システム制御回路
２８  タイミング制御回路
２９  ネットワークインターフェース回路
３０  受信システム
４０  静止画像符号化処理部
４１  ＤＣＴ部（直交変換部）
４２  量子化部
４３  可変長符号化部
５１  符号量検出部
５２  変換テーブル
５３  符号量制御部
６０  動画像符号化処理部
６１  予測誤差生成部
６２  ＤＣＴ部（直交変換部）
６３  量子化部
６４  可変長符号化部
６５  逆量子化部
６６  逆ＤＣＴ部（逆直交変換部）
６７  再構成画像生成部
６８  フレームメモリ
６９  動き検出部
７０  動き補償部
７１  動きベクトル符号化部
７２  多重化部
８１  符号量検出部
８２  変換テーブル
８３  符号量制御部
【図１】
2010035378.tif 000003
【図２】
2010035378.tif 000004
【図３】
2010035378.tif 000005
【図４】
2010035378.tif 000006
【図５】
2010035378.tif 000007
【図６】
2010035378.tif 000008
【手続補正書】
【提出日】平成21年12月3日(2009.12.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一の入力画像データから複数の符号化データを生成する画像符号化装置であって、
画像データを圧縮符号化する画像符号化処理部と、
生成された第１の符号化データの符号量を検出する符号量検出部と、
前記符号量検出部からの符号量に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部とを備え、
前記画像符号化処理部から複数種類の符号化データを出力することを特徴とする画像符号化装置。
【請求項２】
同一の入力画像データから複数の符号化データを生成する画像符号化装置であって、
画像データを圧縮符号化する画像符号化処理部と、
生成された第１の符号化データの符号量を検出する符号量検出部と、
検出された第１の符号化データの符号量を基準にして前記画像符号化処理部にて第２以降の符号化データを生成するために量子化パラメータに乗算すべき乗数を決定する変換テーブルと、
決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部とを備え、
前記画像符号化処理部から複数種類の符号化データを出力することを特徴とする画像符号化装置。
【請求項３】
請求項２記載の画像符号化装置において、
前記符号量検出部は、第２以降の符号化データの符号量を検出する機能を更に備え、
前記変換テーブルは、前記第２以降の符号化データの符号量に基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項４】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとの符号化方式に基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項５】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとのフレームレートに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項６】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとのフレームタイプに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項７】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとのビットレートに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項８】
請求項２記載の画像符号化装置において、
前記変換テーブルは、符号化方式、フレームレート、フレームタイプ、ビットレートのいずれか１つ又はこれらの組み合わせによって量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項９】
請求項２記載の画像符号化装置において、
前記画像符号化処理部は、
１ブロックを構成する画素データが順次入力されて当該画素データを直交変換する直交変換部と、
前記直交変換部からの直交変換データを量子化する量子化部と、
前記量子化部からの量子化データを符号化する符号化部とを備え、
前記符号量制御部は、前記量子化部における量子化を制御することを特徴とする画像符号化装置。
【請求項１０】
請求項２記載の画像符号化装置において、
前記画像符号化処理部は、
１ブロックを構成する画素データが順次入力されて当該画素データを直交変換する直交変換部と、
前記直交変換部からの直交変換データを量子化する量子化部と、
前記量子化部からの量子化データを符号化する符号化部と、
前記量子化部からの量子化データを逆量子化する逆量子化部と、
前記逆量子化部からの逆量子化データを逆直交変換する逆直交変換部と、
前記逆直交変換部からの逆直交変換データを記憶するフレームメモリと、
前記フレームメモリからのデータと現フレームの入力画像データとから動き検出を行う動き検出部と、
前記動き検出部からの動き検出結果に基づいて参照画像データを生成する動き補償部と、
入力画像データと前記動き補償部からの参照画像データとの差分を生成する予測誤差生成部とを備え、
前記符号量制御部は、前記量子化部における量子化と、前記逆量子化部における逆量子化とを制御することを特徴とする画像符号化装置。
【請求項１１】
画像符号化装置を用いて、同一の入力画像データから複数の符号化データを生成する画像符号化方法であって、
画像データを圧縮符号化する工程と、
生成された第１の符号化データの符号量を検出する工程と、
前記検出された符号量に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する工程と、
前記画像符号化装置から複数種類の符号化データを出力する工程とを備えたことを特徴とする画像符号化方法。
【請求項１２】
請求項２記載の画像符号化装置を含んで信号処理を行う信号処理回路と、
前記信号処理回路へ画像信号を出力するセンサと、
前記センサへ光を結像する光学系とを備えたことを特徴とする撮像システム。
【請求項１３】
請求項１２記載の撮像システムにおいて、
前記センサから得た画像信号をデジタル信号に変換して前記信号処理回路へ供給する変換器を更に備えたことを特徴とする撮像システム。
【請求項１４】
請求項１２記載の撮像システムにおいて、
前記画像符号化装置の符号化データをネットワークへ送出するインターフェース回路を更に備えたことを特徴とする撮像システム。
【手続補正書】
【提出日】平成22年11月2日(2010.11.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを圧縮符号化する画像符号化装置及び画像符号化方法に関する。また、撮像システムに関するものである。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラの普及に伴って、画像データの圧縮符号化技術であるＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）が広く普及している。また、インターネット等のネットワークが急速に普及しており、監視カメラを含むネットワークカメラやテレビ電話が大きい広がりを見せている。しかしながら、ネットワーク帯域が広がるにつれ一度に接続されるユーザも増えるため、送受信可能なデータ量が限られる。そこで、各社にてデータ量を削減する制御方法が検討されている。
【０００３】
ある従来技術によれば、同一の入力画像データからビットレートの異なる複数の符号化データを生成する場合に発生するデータ量の偏りを低減するように、複数の符号化処理部における圧縮符号化処理の開始タイミングがフレーム単位でオフセット制御される。多重化処理部は、複数の符号化処理部によって単位時間内に生成された各符号化データの符号量に応じて単位時間内で均等に間隔を空けて送信する（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４０６５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の画像符号化装置では、符号化処理部によって生成された符号化データは、符号量検出部において符号量が検出され、検出された符号量は予め設定された目標符号量と比較され、目標符号量を超えた場合は、量子化係数が小さくなるように、また０と評価される係数が増えるように量子化テーブルを設定する。そして、改めて設定された量子化テーブルを用いてデータを量子化し、量子化されたデータを符号化し、目標符号量と比較し、所定の目標符号量より小さくなるまで繰り返すことで、データ量低減を行っていた。したがって、量子化テーブルの更新、量子化、符号化が繰り返され、データ転送に遅延や、動画像のフレームレート悪化が生じていた。
【０００６】
具体的には、ネットワークカメラ等において急な画像変化（人物進入）等により、符号対象データが増えることで、急激に符号量が増え、目標符号量を超えた場合、コマ落ち等が発生していた。
【０００７】
本発明は、上記問題点を解決するために、量子化を行う回数を少なくすることによって、圧縮符号化処理の高速化を図ることができる画像符号化装置及びその方法を提供することを１つの目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、同一の入力画像データから複数の符号化データを生成する画像符号化装置において、画像データを圧縮符号化する画像符号化処理部と、生成された第１の符号化データの符号量を検出する符号量検出部と、当該符号量検出部からの符号量に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部とを備えた構成を採用したものである。
【０００９】
検出された第１の符号化データの符号量を基準にして画像符号化処理部にて第２以降の符号化データを生成するために量子化パラメータに乗算すべき乗数を決定する変換テーブルを更に備えれば、符号量制御部は、決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定することができる。
【００１０】
これによると、第１の符号化データの符号量を基準にして第２以降の符号化データを生成するための量子化パラメータの乗数を変換テーブルにて決定し、かつ決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定することで、第２以降の符号化データの生成のための量子化及び符号化を実施する前に、生成される符号量を低減することが可能である。
【００１１】
また、本発明に係る画像符号化装置は、符号量検出部で第２以降の符号化データの符号量を検出する機能を有する。これによると、第３以降の符号化データの生成に際し、第１又は第２の符号化データの符号量から適切な量子化パラメータを決定することができる。
【発明の効果】
【００１２】
本発明によれば、量子化及び符号化を実施する前に、量子化パラメータを事前に制御するので、処理回数を削減することができ、画像データの圧縮符号化を高速化することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態における撮像システムの構成を示すブロック図である。
【図２】図１中の画像符号化装置の実施の形態を示すブロック図である。
【図３】図１中の画像符号化装置の他の実施の形態を示すブロック図である。
【図４】図２及び図３の構成にて得られるＤＣＴ（discrete cosine transform）係数の一例を示す図である。
【図５】（ａ）、（ｂ）及び（ｃ）は各々図３の構成における変換テーブルの具体例を示す図である。
【図６】図３の構成における符号化順序例を示すタイミング図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１５】
図１は、本発明の実施の形態における撮像システム（例えばネットワークカメラ）２０の構成を示すブロック図である。図１において、２１は光学系、２２はイメージセンサ、２３はアナログ・デジタル変換器（ＡＤＣ）、２４は信号処理回路、２５は画像符号化装置、２６は記録転送回路、２７はシステム制御回路、２８はタイミング制御回路、２９はネットワークインターフェース回路である。３０は受信システムである。図１の撮像システム２０の全体は、システム制御回路２７によって制御されている。
【００１６】
図１の撮像システム２０において、光学系２１を通って入射した被写体像はイメージセンサ２２上に結像される。イメージセンサ２２はタイミング制御回路２８によって駆動されることにより、結像された被写体像の光学データを蓄積し、電気信号へと光電変換する。イメージセンサ２２から読み出された電気信号は、ＡＤＣ２３によってデジタル信号へと変換された後、画像符号化装置２５を含む信号処理回路２４に入力される。この信号処理回路２４においては、Ｙ／Ｃ分離処理、エッジ処理、画像の拡大縮小処理、本発明を用いた圧縮符号化処理等の画像処理が行われる。画像処理された画像データは、記録転送回路２６においてメディアへの記録あるいはネットワークへの転送が行われる。転送された画像データは、ネットワークインターフェース回路２９により受信システム３０へ向けて送信される。
【００１７】
図２は、図１中の画像符号化装置２５のＪＰＥＧにおける実施の形態を示すブロック図である。図２の画像符号化装置２５は、静止画像符号化処理部４０と、符号量検出部５１と、変換テーブル５２と、符号量制御部５３とを備える。このうち静止画像符号化処理部４０は、入力画像データＩＮとして１ブロックを構成する８×８個の画素データが順次入力されて当該画素データを直交変換するＤＣＴ部４１と、当該ＤＣＴ部４１からの直交変換データを量子化する量子化部４２と、当該量子化部４２からの量子化データを符号化して出力符号化データＯＵＴを供給する可変長符号化部４３とを備える。
【００１８】
図３は、図１中の画像符号化装置２５のＭＰＥＧにおける実施の形態を示すブロック図である。図３の画像符号化装置２５は、動画像符号化処理部６０と、符号量検出部８１と、変換テーブル８２と、符号量制御部８３とを備える。このうち動画像符号化処理部６０は、予測誤差生成部６１と、ＤＣＴ部６２と、量子化部６３と、可変長符号化部６４と、逆量子化部６５と、逆ＤＣＴ部６６と、再構成画像生成部６７と、フレームメモリ６８と、動き検出部６９と、動き補償部７０と、動きベクトル符号化部７１と、多重化部７２とを備え、入力画像データＩＮとして１ブロックを構成する８×８個の画素データが順次入力され、多重化部７２から出力符号化データＯＵＴが得られるものである。
【００１９】
図４は、図２及び図３の構成にて得られるＤＣＴ係数の一例を示す図である。一般に自然画像においては、大部分が色の変化は滑らかである。したがって、直交変換を行うことによって生成される図４に示すようなＤＣＴ係数分布においては、低周波領域Ｍに大きな値を有するＤＣＴ係数が集中し、高周波領域Ｎには小さな値を有するＤＣＴ係数が分布するようになる。
【００２０】
図２の構成によれば、ＤＣＴ部４１にて、図４に示すようなＤＣＴ係数が得られる。量子化部４２は、予め量子化テーブルに設定された量子化パラメータでＤＣＴ係数を除算することによって、量子化係数を生成する。かかる処理を行うことによって、画質的に影響を与えない高周波領域Ｎについては値が０（ゼロ）となるようにし、以て低周波領域Ｍに量子化係数を集中させることが可能となる。次に、可変長符号化部４３において、値が０（ゼロ）であるデータの個数と量子化係数の値との組み合わせの出現率に合わせて長さの異なる符号語を割り当てることにより、画像データの圧縮符号化が実現する。
【００２１】
しかも、可変長符号化部４３によって得られた符号化データは符号量検出部５１に入力され、その符号量が求められる。符号量制御部５３は、符号量検出部５１で求められた符号量から変換テーブル５２によって量子化パラメータの乗数を算出し、その乗数から量子化パラメータを決定する。
【００２２】
一方、図３の構成によれば、フレーム内相関を利用した符号化又はフレーム間相関を利用した符号化が実施され、Ｉピクチャ、Ｐピクチャ及びＢピクチャが得られる。
【００２３】
Ｉピクチャの場合、量子化部６３からの出力は逆量子化部６５にも入力され、その後逆ＤＣＴ部６６を通り再構成画像生成部６７に送られる。この再構成画像生成部６７には、同時に動き補償部７０の結果も入力される。もし、フレーム間相関のブロックであれば、両入力データが足し合わされその結果が、フレームメモリ６８に書き込まれるのだが、Ｉピクチャではフレーム内相関のみであるため、動き補償部７０の結果は入力されない。このため、逆ＤＣＴ部６６から送られてくるデータがそのままフレームメモリ６８に書き込まれる。このフレームメモリ６８へ送られる画像データを再構成画像と呼び、Ｐピクチャ又はＢピクチャ時の参照画像として使用される。
【００２４】
Ｐピクチャ及びＢピクチャの場合、画像データがブロック単位で入力され、予測誤差生成部６１及び動き検出部６９に送られる。動き検出部６９は、入力画像データを受け、入力画像データと同一空間位置の近傍画素データをフレームメモリ６８から読み出し、入力画像データと最も相関の高い画素位置を求める動き探索を行う。そして、動き検出部６９において、最も相関の高い画像データを探索された参照画像データとして動き補償部７０に送るのと同時に、その位置を示す動きベクトルを動きベクトル符号化部７１に送る。ここで、フレーム内相関符号化が選択された場合、以後の符号化処理はＩピクチャ時と同様となる。フレーム間相関符号化が選択された場合には、動き補償部７０を経由して参照画像データが予測誤差生成部６１に送られ、入力画像データとの差分をとり、ＤＣＴ部６２に出力する。可変長符号化部６４においては、量子化された画像データを符号化し、これと同時に、動きベクトル符号化部７１において符号化された動きベクトルのデータとともに多重化部７２から出力される。
【００２５】
図５（ａ）は、図３の構成における変換テーブル８２の具体例を示す図である。図５（ａ）の変換テーブル８２は、「Ｈ．２６４／６０ｆｐｓ」の符号化（これを第１の符号化と呼ぶ。）の場合を１とした場合に、Ｈ．２６４の他のフレームレート時、ＭＰＥＧ−４、ＭＰＥＧ−２のそれぞれのフレームレート時に、第１の符号化の量子化パラメータ（第１の量子化パラメータ）に乗算すべき乗数の値を示す。
【００２６】
図３において、可変長符号化部６４によって得られた符号化データは符号量検出部８１に入力され、その符号量が求められる。符号量制御部８３は、符号量検出部８１で求められた符号量から、図５（ａ）に示す変換テーブル８２によって第１の量子化パラメータに対する乗数を算出し、その乗数から量子化パラメータを決定する。
【００２７】
図６は、図３の構成におけるマルチストリームの符号化順序例を示すタイミング図である。図６によれば、「Ｈ．２６４／６０ｆｐｓ」を第１の符号化とし、「ＭＰＥＧ−４／６０ｆｐｓ」を第２の符号化とし、「Ｈ．２６４／３０ｆｐｓ」を第３の符号化としている。図５（ａ）によれば、第２の符号化時に乗数「１．２」が選択され、「第１の量子化パラメータ×１．２」を第２の量子化パラメータに設定することで、第２の符号化の目標符号量を達成することができる。また、第３の符号化時には乗数「０．５」が選択され、「第１の量子化パラメータ×０．５」を第３の量子化パラメータに設定することで、第３の符号化の目標符号量を達成することができる。なお、変換テーブル８２はユーザが書き換えてもよい。
【００２８】
上記のように構成された本発明の実施の形態によれば、例えば動画像符号化処理部６０によって第２、第３の符号化データの生成を実施する前に、これらの符号化データの大小が把握できる。つまり、量子化、符号化を実施する前に、生成される符号量を低減することが可能である。
【００２９】
なお、上記の例では基準となる第１の符号化を「Ｈ．２６４／６０ｆｐｓ」としたが、「他の符号化方式／フレームレート」としてもよい。また、フレームレートのみでなく、ビットレート、フレームタイプからも乗数を算出することが可能である。ビットレートの場合の例を図５（ｂ）に示す。また、フレームタイプの場合の例を図５（ｃ）に示す。
【００３０】
図５（ｃ）によれば、例えば、ＭＰＥＧ−２のＰピクチャで生成される符号量を目標符号量として量子化パラメータを決定した場合、ＭＰＥＧ−２のＩピクチャでは４倍もの符号量が生成される。一方、量子化パラメータと符号量との間には反比例の関係が成り立つ。そこで、Ｉピクチャの符号化時には、Ｐピクチャの場合の量子化パラメータに乗数「４」を掛けて４倍にすることで、Ｉピクチャで生成される符号量を目標符号量に近づけることができるのである。
【００３１】
また、本発明の実施の形態の画像符号化装置２５における画像処理は、必ずしも光学系２１を介してイメージセンサ２２に結像された被写体像に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることはいうまでもない。
【産業上の利用可能性】
【００３２】
以上説明したように、本発明は、画像の圧縮符号化を高速化することができるので、一定の符号量が得られるような制御が必要となる画像符号化装置、例えば監視カメラを含むネットワークカメラ、テレビ電話等に有用である。
【符号の説明】
【００３３】
２０  撮像システム
２１  光学系
２２  イメージセンサ
２３  アナログ・デジタル変換器（ＡＤＣ）
２４  信号処理回路
２５  画像符号化装置
２６  記録転送回路
２７  システム制御回路
２８  タイミング制御回路
２９  ネットワークインターフェース回路
３０  受信システム
４０  静止画像符号化処理部
４１  ＤＣＴ部（直交変換部）
４２  量子化部
４３  可変長符号化部
５１  符号量検出部
５２  変換テーブル
５３  符号量制御部
６０  動画像符号化処理部
６１  予測誤差生成部
６２  ＤＣＴ部（直交変換部）
６３  量子化部
６４  可変長符号化部
６５  逆量子化部
６６  逆ＤＣＴ部（逆直交変換部）
６７  再構成画像生成部
６８  フレームメモリ
６９  動き検出部
７０  動き補償部
７１  動きベクトル符号化部
７２  多重化部
８１  符号量検出部
８２  変換テーブル
８３  符号量制御部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一の入力画像データから複数の符号化データを生成する画像符号化装置であって、
画像データを圧縮符号化する画像符号化処理部と、
生成された第１の符号化データの符号量を検出する符号量検出部と、
前記符号量検出部からの符号量に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部とを備え、
前記画像符号化処理部から複数種類の符号化データを出力することを特徴とする画像符号化装置。
【請求項２】
同一の入力画像データから複数の符号化データを生成する画像符号化装置であって、
画像データを圧縮符号化する画像符号化処理部と、
生成された第１の符号化データの符号量を検出する符号量検出部と、
検出された第１の符号化データの符号量を基準にして前記画像符号化処理部にて第２以降の符号化データを生成するために量子化パラメータに乗算すべき乗数を決定する変換テーブルと、
決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部とを備え、
前記画像符号化処理部から複数種類の符号化データを出力することを特徴とする画像符号化装置。
【請求項３】
請求項２記載の画像符号化装置において、
前記符号量検出部は、第２以降の符号化データの符号量を検出する機能を更に備え、
前記変換テーブルは、前記第２以降の符号化データの符号量に基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項４】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとの符号化方式に基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項５】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとのフレームレートに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項６】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとのフレームタイプに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項７】
請求項２記載の画像符号化装置において、
前記変換テーブルは、第１の符号化データと第２以降の符号化データとのビットレートに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項８】
請求項２記載の画像符号化装置において、
前記変換テーブルは、符号化方式、フレームレート、フレームタイプ、ビットレートのいずれか１つ又はこれらの組み合わせによって量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
【請求項９】
請求項２記載の画像符号化装置において、
前記画像符号化処理部は、
１ブロックを構成する画素データが順次入力されて当該画素データを直交変換する直交変換部と、
前記直交変換部からの直交変換データを量子化する量子化部と、
前記量子化部からの量子化データを符号化する符号化部とを備え、
前記符号量制御部は、前記量子化部における量子化を制御することを特徴とする画像符号化装置。
【請求項１０】
請求項２記載の画像符号化装置において、
前記画像符号化処理部は、
１ブロックを構成する画素データが順次入力されて当該画素データを直交変換する直交変換部と、
前記直交変換部からの直交変換データを量子化する量子化部と、
前記量子化部からの量子化データを符号化する符号化部と、
前記量子化部からの量子化データを逆量子化する逆量子化部と、
前記逆量子化部からの逆量子化データを逆直交変換する逆直交変換部と、
前記逆直交変換部からの逆直交変換データを記憶するフレームメモリと、
前記フレームメモリからのデータと現フレームの入力画像データとから動き検出を行う動き検出部と、
前記動き検出部からの動き検出結果に基づいて参照画像データを生成する動き補償部と、
入力画像データと前記動き補償部からの参照画像データとの差分を生成する予測誤差生成部とを備え、
前記符号量制御部は、前記量子化部における量子化と、前記逆量子化部における逆量子化とを制御することを特徴とする画像符号化装置。
【請求項１１】
画像符号化装置を用いて、同一の入力画像データから複数の符号化データを生成する画像符号化方法であって、
画像データを圧縮符号化する工程と、
生成された第１の符号化データの符号量を検出する工程と、
前記検出された符号量に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する工程と、
前記画像符号化装置から複数種類の符号化データを出力する工程とを備えたことを特徴とする画像符号化方法。
【請求項１２】
請求項２記載の画像符号化装置を含んで信号処理を行う信号処理回路と、
前記信号処理回路へ画像信号を出力するセンサと、
前記センサへ光を結像する光学系とを備えたことを特徴とする撮像システム。
【請求項１３】
請求項１２記載の撮像システムにおいて、
前記センサから得た画像信号をデジタル信号に変換して前記信号処理回路へ供給する変換器を更に備えたことを特徴とする撮像システム。
【請求項１４】
請求項１２記載の撮像システムにおいて、
前記画像符号化装置の符号化データをネットワークへ送出するインターフェース回路を更に備えたことを特徴とする撮像システム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010035378.tif 000009
【図２】
2010035378.tif 000010
【図３】
2010035378.tif 000011
【図４】
2010035378.tif 000012
【図５】
2010035378.tif 000013
【図６】
2010035378.tif 000014
【国際調査報告】
2010035378.tif 000015
2010035378.tif 000016
2010035378.tif 000017
2010035378.tif 000018