(57)【特許請求の範囲】
【請求項１】
光学系を通して画像信号を入力する画像信号入力処理と、
上記入力された画像信号をフレーム内で符号化してフレーム内符号化画像を生成するフレーム内符号化処理と、
上記入力された画像信号と上記フレーム内符号化処理において生成されたフレーム内符号化画像に対応する入力画像信号との差分を用いることによって時間軸方向にフレーム間の予測符号化を行い、フレーム間符号化画像を生成するフレーム間符号化処理とを有し、
上記フレーム内符号化画像と上記フレーム間符号化画像とを記録するための符号化圧縮方法であって、
上記フレーム内符号化処理によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度情報を記憶手段に記憶する記憶処理と、
上記画像信号入力処理において入力された画像信号の画面内における輝度情報を求める輝度情報算出処理と、
上記輝度情報算出処理で求められた輝度情報と、上記記憶処理において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号の画面内における輝度情報との差分である差分値を算出する差分値算出処理と、
上記差分値算出処理で求められた差分値があらかじめ設定された閾値を越えたか否かを判断する差分値判断処理とを含み、
上記差分値判断処理による判断の結果、上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化画像の生成処理を行うとともに、上記記憶手段に記憶されているフレーム内符号化画像に対応する入力画像信号の輝度情報を、上記閾値を越えていた場合に生成されたフレーム内符号化画像に対応する入力画像信号の輝度情報に書き換えることを特徴とする画像信号の符号化圧縮方法。
【請求項２】
上記記憶処理は、上記フレーム内符号化処理によって符号化された上記フレーム内符号化画像に対応する入力画像信号を記憶し、上記差分値判断処理による判断の結果、上記差分値が上記閾値以下の場合には、上記フレーム間符号化処理において、上記入力された画像信号と上記記憶処理により記憶されている上記フレーム内符号化画像に対応する入力画像信号とに基づいて、上記フレーム間符号化画像を生成することを特徴とする請求項１に記載の画像信号の符号化圧縮方法。
【請求項３】
上記輝度情報算出処理は、上記入力された画像信号の画面内に任意の領域を設定し、上記設定した領域内の輝度値の平均値を算出することを特徴とする請求項１に記載の画像信号の符号化圧縮方法。
【請求項４】
上記画像信号入力処理により入力された画像信号が上記輝度情報算出処理による上記輝度情報の検出領域内か否かの判断を行う検出領域判断処理と、
上記検出領域判断処理による判断の結果、上記入力された画像信号が上記検出領域内の場合に、上記入力された画像信号の画面内にあらかじめ設定された上記検出領域内の画素について、各画素の輝度値を加算する累積加算処理と、
上記検出領域判断処理による判断の結果、上記入力された画像信号が上記検出領域内でない場合、および上記累積加算処理が行われた後に、上記検出領域における処理が終了したか否かを判断する領域終了判断処理と、
上記フレーム内符号化処理あるいは上記フレーム間符号化処理を切り替えることによって上記入力された画像信号の圧縮率を変える制御を行う圧縮率制御処理とを更に含み、
上記記憶処理は、上記フレーム内符号化処理によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度値の平均値を記憶手段に記憶し、
上記輝度情報算出処理は、上記領域終了判断処理による判断の結果、上記検出領域における処理が終了した場合に、上記検出領域内の輝度値の平均値を求め、
上記差分値算出処理は、上記輝度情報算出処理で求められた輝度値の平均値と、上記記憶処理において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号における輝度値の平均値との差分である差分値を算出し、
上記差分値判断処理は、上記差分値算出処理で求められた差分値が上記閾値を越えたか否かを判断し、
上記圧縮率制御処理は、上記差分値判断処理において上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化処理を行い、上記差分値が上記閾値以下の場合には、上記フレーム間符号化処理を行うことによって、上記入力された画像信号の圧縮率を変えることを特徴とする請求項１に記載の画像信号の符号化圧縮方法。
【請求項５】
光学系を通して画像信号を入力する画像信号入力手段と、
上記入力された画像信号をフレーム内で符号化してフレーム内符号化画像を生成するフレーム内符号化手段と、
上記入力された画像信号と上記フレーム内符号化手段において生成されたフレーム内符号化画像に対応する入力画像信号との差分を用いることによって時間軸方向にフレーム間の予測符号化を行い、フレーム間符号化画像を生成するフレーム間符号化手段とを有し、
上記フレーム内符号化画像と上記フレーム間符号化画像とを記録するための符号化圧縮装置であって、
上記フレーム内符号化手段によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度情報を記憶する記憶手段と、
上記入力された画像信号の画面内における輝度情報を求める輝度情報算出手段と、
上記輝度情報算出手段で求められた輝度情報と、上記記憶手段において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号の画面内における輝度情報との差分である差分値を算出する差分値算出手段と、
上記差分値算出手段で求められた差分値があらかじめ設定された閾値を越えたか否かを判断する差分値判断手段とを含み、
上記差分値判断手段による判断の結果、上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化手段による上記フレーム内符号化画像の生成を行うとともに、上記記憶手段に記憶されているフレーム内符号化画像に対応する入力画像信号の輝度情報を、上記閾値を越えていた場合に生成されたフレーム内符号化画像に対応する入力画像信号の輝度情報に書き換えることを特徴とする画像信号の符号化圧縮装置。
【請求項６】
上記記憶手段は、上記フレーム内符号化手段によって符号化された上記フレーム内符号化画像に対応する入力画像信号を記憶し、上記差分値判断手段による判断の結果、上記差分値が上記閾値以下の場合には、上記フレーム間符号化手段は、上記入力された画像信号と上記記憶手段により記憶されている上記フレーム内符号化画像に対応する入力画像信号とに基づいて、上記フレーム間符号化画像を生成することを特徴とする請求項５に記載の画像信号の符号化圧縮装置。
【請求項７】
上記輝度情報算出手段は、上記入力された画像信号の画面内に任意の領域を設定し、上記設定した領域内の輝度値の平均値を算出することを特徴とする請求項５に記載の画像信号の符号化圧縮装置。
【請求項８】
上記画像信号入力手段により入力された画像信号が上記輝度情報算出手段による上記輝度情報の検出領域内か否かの判断を行う検出領域判断手段と、
上記検出領域判断手段による判断の結果、上記入力された画像信号が上記検出領域内の場合に、上記入力された画像信号の画面内にあらかじめ設定された上記検出領域内の画素について、各画素の輝度値を加算する累積加算手段と、
上記検出領域判断手段による判断の結果、上記入力された画像信号が上記検出領域内でない場合、および上記累積加算手段による加算処理が行われた後に、上記検出領域における処理が終了したか否かを判断する領域終了判断手段と、
上記フレーム内符号化画像の生成処理あるいは上記フレーム間符号化画像の生成処理を切り替えることによって上記入力された画像信号の圧縮率を変える制御を行う圧縮率制御手段とを更に含み、
上記記憶手段は、上記フレーム内符号化手段によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度値の平均値を記憶し、
上記輝度情報算出手段は、上記領域終了判断手段による判断の結果、上記検出領域における処理が終了した場合に、上記検出領域内の輝度値の平均値を求め、
上記差分値算出手段は、上記輝度情報算出手段で求められた輝度値の平均値と、上記記憶手段において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号における輝度値の平均値との差分である差分値を算出し、
上記差分値判断手段は、上記差分値算出手段で求められた差分値が上記閾値を越えたか否かを判断し、
上記圧縮率制御手段は、上記差分値判断手段において上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化画像の生成処理を行い、上記差分値が上記閾値以下の場合には、上記フレーム間符号化画像の生成処理を行うことによって、上記入力された画像信号の圧縮率を変えることを特徴とする請求項５に記載の画像信号の符号化圧縮装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像信号の符号化圧縮装置および方法に関するものである。
【０００２】
【従来の技術】
従来、ディジタル形式の画像を撮像したり記録したりする場合には、大容量の画像信号を高速に伝送および記録する必要がある。そこで、例えばＪＰＥＧ等の符号化圧縮技術により上記の画像信号の情報量を効率良く削減し、かつ画質の劣化が少なくなる手法が用いられている。また、近年は静止画に加えて動画にも対応できる手法が提案されている。
【０００３】
ところで、動画像中の全ての情報を静止画と同様のデータ化を行うことは、莫大な記憶容量を消費する等の点からも非現実的である。そのため、時間軸方向での冗長性を圧縮する手法を取り入れたＭＰＥＧ等の方法が実現されている。
【０００４】
このようなディジタル画像符号化圧縮装置を用いたビデオカメラの一例を、図１１に示す。上記ビデオカメラは、被写体を撮像するためのレンズ１０１、被写体像をアナログ電気信号に変換するための撮像素子１０２、上記アナログ電気信号をディジタル電気信号に変換するためのＡ／Ｄ変換部１０３、ディジタル電気信号を所定形式の画像信号に変換するための画像信号変換部１０４を有している。
【０００５】
また、上記画像信号の時間軸方向の符号化圧縮処理を行うための第１符号化部１０７と、上記画像信号のフレーム内符号化圧縮処理を行う第２符号化部１０８とを有している。
【０００６】
上記第１符号化部１０７は、上記画像信号変換部１０４からの画像信号を上記第１符号化部１０７と上記第２符号化部１０８とに選択的に出力するためのセレクタ１１０と、上記画像信号を保持するためのメモリ１１１と、上記セレクタ１１０から与えられる画像信号と、上記メモリ１１１から読みだされる画像信号との差分画像を生成するための差分器１１２とからなっている。
【０００７】
また、上記第２符号化部１０８によって符号化圧縮された画像信号を記録するための記録部１０９が設けられている。
【０００８】
このように構成されたビデオカメラにおいて、被写体像はレンズ１０１により撮像素子１０２上に結像され、アナログ電気信号に変換される。
【０００９】
そして、上記撮像素子１０２からのアナログ電気信号はＡ／Ｄ変換部１０３に与えられてディジタル電気信号に変換され、次に、画像信号変換部１０４により所定形式の画像信号として出力される。
【００１０】
上記画像信号の圧縮には、静止画の場合は直交変換である離散コサイン変換（ＤＣＴ）に加え、可変長符号化によるフレーム内符号化圧縮処理が用いられる。また、動画像を扱う場合には、上記フレーム内符号化圧縮処理に加えて、画像間の差分を取ることで時間軸方向の情報量を圧縮する処理が行われる。なお、動画像を静止画像の集合と考え、ここでは動画像の処理方法について説明する。
【００１１】
動画像処理では、時間的に連続した一群の画像中、注目する一枚の画像と他の画像とがよく似ていることを利用し、任意の枚数の画像をひとつのグループと見なし、その中の先頭画像は通常のフレーム内符号化圧縮方法を行う。また、残りの画像は画像間差分をとった上でフレーム内圧縮により表すことで、時間軸方向の冗長性を削減し、かつ画像の転送レートを低く保つようにしている。
【００１２】
この時の差分の取り方としては、全ての差分を先頭画像からとる方法と、常に直前の画像からの差分をとる方法とが挙げられるが、ここでは累積誤差の問題のないので、全ての差分を代表画像からとる方法を用いている。
【００１３】
上記のように前方の画像との差分を取ることで時間軸方向に圧縮した後に符号化される画像は、前方予測符号化画像（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  Ｐピクチャ）と呼ばれ、このＰピクチャを生成する際の基準となる画像は、画像内符号化画像（Ｉｎｔｒａ−ｃｏｄｅｄ  ｐｉｃｔｕｒｅ，Ｉピクチャ）と呼ばれる。
【００１４】
この２種類の画像を生成するための、時間軸方向の圧縮を第１符号化部１０７では処理される画像の枚数をカウントし、一定枚数ごとにセレクタ１１０を切り替えてＩピクチャおよびＰピクチャを生成する。
【００１５】
また、Ｉピクチャ生成時は、時間軸方向の圧縮は行わず、入力信号をそのまま第２符号化部１０８へ出力する。また、後のＰピクチャ生成のために画像信号をメモリ１１１に保存する。そして、Ｐピクチャ生成時には、入力信号とメモリ１１１内から読みだした画像信号との差分をとり、これを第２符号化部１０８へ出力する。
【００１６】
一方、第２符号化部１０８では、フレーム内符号化圧縮を行う。このフレーム内符号化圧縮処理は、図示しないがＤＣＴ符号化処理、量子化処理、可変長符号化処理からなり、８×８画素を１ブロック単位としてＤＣＴ変換を行った画像データに量子化を行って圧縮し、これにハフマン符号化処理を行い冗長性を削減し、圧縮画像データを生成する。
【００１７】
このようにして生成された圧縮画像データは、ＤＣＴ量子化テーブルおよびハフマン符号化テーブルをヘッダとして付けた形で記録部１０９へ送られ、記録媒体上（図示せず）に記録される。
【００１８】
【発明が解決しようとする課題】
これまでの画像の符号化圧縮方法では、装置の記憶容量や転送速度の点から全体の圧縮率を設定する。そして、上記設定した圧縮率に見合う形でＩピクチャ生成とＰピクチャ生成とを時間的に切り替えるといった方法が採られており、記録される画像側から圧縮率を判断することはなかった。
【００１９】
例えば上述した時間的にＩピクチャとＰピクチャを切り替えて記録する方法において、画像撮像中にシーンチェンジが行われた場合、シーンチェンジ前後の不連続な画像間の差分を取ることで圧縮率がかえって悪化してしまう場合が考えられる。
【００２０】
また、記録後の編集を考えた場合でも、シーンチェンジにまたがって記録が行われていることから、シーンチェンジ前の余分な画像を読み出す必要があり、余分な処理が発生していた。
【００２１】
また、通常の撮像を行っている場合においても、被写体が何かの影に入って画質が一時的に低下する場合など、画質の安定しない状況がしばしば生じることがある。このような場合でも、これまでは一定の圧縮率で処理を行っていたため、効率的な圧縮を行うことができなかった。
【００２２】
本発明はこのような状況に鑑みてなされたものであり、シーンチェンジ時や画質が一時的に低下した時でも画像信号を符号化する処理を効率的に行うことができるようにすることを目的とする。
【００２３】
【課題を解決するための手段】
本発明の画像信号の符号化圧縮方法は、光学系を通して画像信号を入力する画像信号入力処理と、上記入力された画像信号をフレーム内で符号化してフレーム内符号化画像を生成するフレーム内符号化処理と、上記入力された画像信号と上記フレーム内符号化処理において生成されたフレーム内符号化画像に対応する入力画像信号との差分を用いることによって時間軸方向にフレーム間の予測符号化を行い、フレーム間符号化画像を生成するフレーム間符号化処理とを有し、上記フレーム内符号化画像と上記フレーム間符号化画像とを記録するための符号化圧縮方法であって、上記フレーム内符号化処理によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度情報を記憶手段に記憶する記憶処理と、上記画像信号入力処理において入力された画像信号の画面内における輝度情報を求める輝度情報算出処理と、上記輝度情報算出処理で求められた輝度情報と、上記記憶処理において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号の画面内における輝度情報との差分である差分値を算出する差分値算出処理と、上記差分値算出処理で求められた差分値があらかじめ設定された閾値を越えたか否かを判断する差分値判断処理とを含み、上記差分値判断処理による判断の結果、上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化画像の生成処理を行うとともに、上記記憶手段に記憶されているフレーム内符号化画像に対応する入力画像信号の輝度情報を、上記閾値を越えていた場合に生成されたフレーム内符号化画像に対応する入力画像信号の輝度情報に書き換える。
【００２４】
本発明の画像信号の符号化圧縮方法における他の態様は、上記記憶処理は、上記フレーム内符号化処理によって符号化された上記フレーム内符号化画像に対応する入力画像信号を記憶し、上記差分値判断処理による判断の結果、上記差分値が上記閾値以下の場合には、上記フレーム間符号化処理において、上記入力された画像信号と上記記憶処理により記憶されている上記フレーム内符号化画像に対応する入力画像信号とに基づいて、上記フレーム間符号化画像を生成する。
【００２５】
また、本発明の画像信号の符号化圧縮方法におけるその他の態様は、上記輝度情報算出処理は、上記入力された画像信号の画面内に任意の領域を設定し、上記設定した領域内の輝度値の平均値を算出する。
【００２６】
また、本発明の画像信号の符号化圧縮方法におけるその他の態様は、上記画像信号入力処理により入力された画像信号が上記輝度情報算出処理による上記輝度情報の検出領域内か否かの判断を行う検出領域判断処理と、上記検出領域判断処理による判断の結果、上記入力された画像信号が上記検出領域内の場合に、上記入力された画像信号の画面内にあらかじめ設定された上記検出領域内の画素について、各画素の輝度値を加算する累積加算処理と、上記検出領域判断処理による判断の結果、上記入力された画像信号が上記検出領域内でない場合、および上記累積加算処理が行われた後に、上記検出領域における処理が終了したか否かを判断する領域終了判断処理と、上記フレーム内符号化処理あるいは上記フレーム間符号化処理を切り替えることによって上記入力された画像信号の圧縮率を変える制御を行う圧縮率制御処理とを更に含み、上記記憶処理は、上記フレーム内符号化処理によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度値の平均値を記憶手段に記憶し、上記輝度情報算出処理は、上記領域終了判断処理による判断の結果、上記検出領域における処理が終了した場合に、上記検出領域内の輝度値の平均値を求め、上記差分値算出処理は、上記輝度情報算出処理で求められた輝度値の平均値と、上記記憶処理において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号における輝度値の平均値との差分である差分値を算出し、上記差分値判断処理は、上記差分値算出処理で求められた差分値が上記閾値を越えたか否かを判断し、上記圧縮率制御処理は、上記差分値判断処理において上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化処理を行い、上記差分値が上記閾値以下の場合には、上記フレーム間符号化処理を行うことによって、上記入力された画像信号の圧縮率を変える。
【００２７】
本発明の画像信号の符号化圧縮装置は、光学系を通して画像信号を入力する画像信号入力手段と、上記入力された画像信号をフレーム内で符号化してフレーム内符号化画像を生成するフレーム内符号化手段と、上記入力された画像信号と上記フレーム内符号化手段において生成されたフレーム内符号化画像に対応する入力画像信号との差分を用いることによって時間軸方向にフレーム間の予測符号化を行い、フレーム間符号化画像を生成するフレーム間符号化手段とを有し、上記フレーム内符号化画像と上記フレーム間符号化画像とを記録するための符号化圧縮装置であって、上記フレーム内符号化手段によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度情報を記憶する記憶手段と、上記入力された画像信号の画面内における輝度情報を求める輝度情報算出手段と、上記輝度情報算出手段で求められた輝度情報と、上記記憶手段において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号の画面内における輝度情報との差分である差分値を算出する差分値算出手段と、上記差分値算出手段で求められた差分値があらかじめ設定された閾値を越えたか否かを判断する差分値判断手段とを含み、上記差分値判断手段による判断の結果、上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化手段による上記フレーム内符号化画像の生成を行うとともに、上記記憶手段に記憶されているフレーム内符号化画像に対応する入力画像信号の輝度情報を、上記閾値を越えていた場合に生成されたフレーム内符号化画像に対応する入力画像信号の輝度情報に書き換える。
【００２８】
本発明の画像信号の符号化圧縮装置における他の態様は、上記記憶手段は、上記フレーム内符号化手段によって符号化された上記フレーム内符号化画像に対応する入力画像信号を記憶し、上記差分値判断手段による判断の結果、上記差分値が上記閾値以下の場合には、上記フレーム間符号化手段は、上記入力された画像信号と上記記憶手段により記憶されている上記フレーム内符号化画像に対応する入力画像信号とに基づいて、上記フレーム間符号化画像を生成する。
【００２９】
また、本発明の画像信号の符号化圧縮装置におけるその他の態様は、上記輝度情報算出手段は、上記入力された画像信号の画面内に任意の領域を設定し、上記設定した領域内の輝度値の平均値を算出する。
【００３０】
また、本発明の画像信号の符号化圧縮装置におけるその他の態様は、上記画像信号入力手段により入力された画像信号が上記輝度情報算出手段による上記輝度情報の検出領域内か否かの判断を行う検出領域判断手段と、上記検出領域判断手段による判断の結果、上記入力された画像信号が上記検出領域内の場合に、上記入力された画像信号の画面内にあらかじめ設定された上記検出領域内の画素について、各画素の輝度値を加算する累積加算手段と、上記検出領域判断手段による判断の結果、上記入力された画像信号が上記検出領域内でない場合、および上記累積加算手段による加算処理が行われた後に、上記検出領域における処理が終了したか否かを判断する領域終了判断手段と、上記フレーム内符号化画像の生成処理あるいは上記フレーム間符号化画像の生成処理を切り替えることによって上記入力された画像信号の圧縮率を変える制御を行う圧縮率制御手段とを更に含み、上記記憶手段は、上記フレーム内符号化手段によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度値の平均値を記憶し、上記輝度情報算出手段は、上記領域終了判断手段による判断の結果、上記検出領域における処理が終了した場合に、上記検出領域内の輝度値の平均値を求め、上記差分値算出手段は、上記輝度情報算出手段で求められた輝度値の平均値と、上記記憶手段において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号における輝度値の平均値との差分である差分値を算出し、上記差分値判断手段は、上記差分値算出手段で求められた差分値が上記閾値を越えたか否かを判断し、上記圧縮率制御手段は、上記差分値判断手段において上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化画像の生成処理を行い、上記差分値が上記閾値以下の場合には、上記フレーム間符号化画像の生成処理を行うことによって、上記入力された画像信号の圧縮率を変える。
【００３５】
【作用】
本発明は上記技術手段を有するので、例えば、隣接したフレーム間の変化に応じて圧縮手法を切り替える場合に比べて、画像全体の輝度値が変化するようなシーンチェンジを精度高く検出することができる。
【００３９】
【発明の実施の形態】
以下、本発明の画像信号の符号化圧縮装置および方法の一実施形態を図面を参照して説明する。
【００４０】
図１は、本発明の画像信号の符号化圧縮装置を適用した撮像装置の概略構成を示す機能構成図である。
図１において、Ａは光学系、Ｂは画像信号生成手段、Ｃは符号化圧縮手段、Ｄは検出手段、Ｅは圧縮制御手段、Ｉは記録手段である。
【００４１】
上記画像信号生成手段Ｂは、上記光学系Ａにより導入された被写体からの光を光電変換して画像信号を生成するためのものである。本実施形態の画像信号生成手段Ｂは、撮像手段Ｆおよび画像信号変換手段Ｇによって構成されている。
【００４２】
上記撮像手段Ｆは、上記光学系Ａにより導入された被写体からの光を光電変換して電気信号を生成するためのものである。また、上記画像信号変換手段Ｇは、上記撮像手段Ｆにより生成された電気信号から所定形式の画像信号を生成するためのものである。
【００４３】
符号化圧縮手段Ｃは、上記画像信号生成手段Ｂにより生成された画像信号を符号化圧縮するものであり、第１の符号化部Ｈ1 、第２の符号化部Ｈ2 、…第ｎの符号化部Ｈn によって構成されている。
【００４４】
検出手段Ｄは、上記画像信号生成手段Ｂにより生成された画像信号の輝度値から露光状態を表す値を検出するためのものである。
圧縮制御手段Ｅは、上記符号化圧縮手段Ｃで符号化圧縮される画像信号の圧縮率を、上記検出手段Ｄにより検出された値に基いて変えるように制御するためのものである。
【００４５】
また、上記記録手段Ｉは、上記符号化圧縮手段Ｃで符号化圧縮された画像信号を記録して保持するために設けられている。
【００４６】
上記第１の符号化圧縮部Ｈ1 〜第ｎの符号化圧縮部Ｈn は、画像信号を符号化圧縮する符号化方法が異なるものであり、上記検出手段Ｄからの検出値に基いて、これら複数の符号化圧縮部Ｈ1 〜Ｈn の中から最適な符号化圧縮部を選択し、上記画像信号の圧縮率を変えることができるようにしている。
【００４７】
したがって、本実施形態の画像信号の符号化圧縮装置によれば、撮像された画像の状態に基づいて画像信号の符号化圧縮を行うことができるので、例えば、通常の画像は低圧縮にして高画質を保つようにするとともに、高画質を必要としない画像には高圧縮処理を行うようにすることが可能となり、高画質を保持しながら高圧縮率で画像を符号化圧縮することができる。
【００４８】
また、本実施形態の場合、複数の符号化圧縮方法のうちのひとつとして、任意の画像間の差分をとる処理を行うようにしたので、画質を低下させずに効率の良い画像信号の符号化圧縮を行うことができるようになる。
【００４９】
また、本実施形態の他の特徴によれば、画像に検出領域を設けるとともに、上記検出領域内の輝度値を検出するようにしたので、上記検出値に基づいてシーンチェンジ等による画像の大きな変化を簡単に検出することができるようになり、画像信号の符号化圧縮を効率良く行うことができる。
【００５０】
次に、本発明の画像信号の符号化圧縮装置および方法を図面を参照しながらより具体的に説明する。
【００５１】
図２は、本発明の第１の実施形態に係わる符号化圧縮装置を備えた撮像装置である。この第１の実施形態では、撮像時のシーンチェンジを検出し、画像信号の圧縮方法を選択する処理方法について述べる。
【００５２】
図２に示した撮像装置は、被写体からの光を内部に導入するためのレンズ１０１、上記内部に導入された被写体からの光をアナログ電気信号に変換するための撮像素子１０２、上記アナログ電気信号をディジタル電気信号に変換するためのＡ／Ｄ変換部１０３を有している。
【００５３】
また、上記ディジタル電気信号を所定の形式の画像信号に変換するための画像信号変換部１０４、上記画像信号から撮像状態の変化を検出する検出部１０５、画像信号を一時的に保持するためのＦＩＦＯメモリ１０６を有している。
【００５４】
また、上記画像信号の時間軸方向の符号化圧縮処理を行うための第１符号化部１０７と、上記画像信号のフレーム内符号化圧縮処理を行う第２符号化部１０８とを有している。
【００５５】
上記第１符号化部１０７は、上記画像信号変換部１０４からの画像信号を上記第１符号化部１０７と上記第２符号化部１０８とに選択的に出力するためのセレクタ１１０と、上記画像信号を保持するためのメモリ１１１と、上記セレクタ１１０から与えられる画像信号と、上記メモリ１１１から読みだされる画像信号との差分画像を生成するための差分器１１２とからなっている。
【００５６】
また、上記第２符号化部１０８によって符号化圧縮された画像信号を記録するための記録部１０９が設けられている。
【００５７】
このように構成された撮像装置により撮像される被写体からの光は、レンズ１０１を通じて撮像素子１０２の撮像面上に結像される。そして、上記撮像素子１０２の撮像面上に結像された被写体からの光は撮像素子１０２によりアナログ電気信号に変換される。
【００５８】
上記アナログ電気信号は、Ａ／Ｄ変換部１０３に与えられ、アナログからディジタルの電気信号に変換される。また、上記ディジタルに変換された電気信号は、画像信号変換部１０４により任意の形式の画像信号に変換される。
【００５９】
上記画像信号変換部１０４により任意の形式の信号に変換された画像信号を、そのまま記録することも可能であるが、膨大な記憶容量と高速なデータ通信が必要となるため、第１符号化部１０７で時間軸方向に圧縮するとともに、第２符号化部１０８でフレーム内の圧縮を行い、信号の冗長性を除く処理を行うようにしている。
【００６０】
この際、本実施形態の撮像装置の場合は、撮像された画像に適した圧縮を行うようにするため、上記画像信号変換部１０４からの画像信号を検出部１０５に入力する。そして、後述する検出方法による検出結果を元にして、第１符号化部１０７内のセレクタ１１０を制御して撮像された画像をＩピクチャとするか、Ｐピクチャとするかを選択するようにしている。
【００６１】
なお、上記検出部１０５での時間の遅れを調整するために、画像信号変換部１０４からの画像信号はＦＩＦＯ１０６を介してタイミング調整を行った後に第１符号化部１０７のセレクタ１１０へ出力するようにしている。
【００６２】
次に、上記検出部１０５で行う処理の流れを図３を参照しながら説明する。本実施形態の検出部１０５では、画像の撮像状態変化を考慮し、高画質・高圧縮処理が行えるように圧縮符号化方法を選択するようにしている。
【００６３】
すなわち、まず、検出部１０５では、最初のステップＳ１において画像信号が入力されると、次に、ステップＳ２において検出領域内か否かの判断を行う。そして、図４で示される入力画像３１内にあらかじめ設定された検出領域３２内の画素については、次のステップＳ３において各画素の輝度値を加算し、その後、ステップＳ４に進む。また、ステップＳ２の判断の結果、検出領域内でない場合にはステップＳ４にジャンプする。
【００６４】
ステップＳ４では、検出領域が終了したか否かを判断し、終了していない場合にはステップＳ１に戻って上述した処理を繰り返し行う。
また、ステップＳ４の判断の結果、検出領域が終了した場合にはステップＳ５に進み、検出領域内の輝度値の平均値を求める。
【００６５】
次に、ステップＳ６に進み、上記ステップＳ５で求めた平均値と、検出部１０５内部に保持していた直前のＩピクチャの輝度値の平均値との差分値を算出するようにする。
次に、ステップＳ７に進み、ステップＳ６で算出した差分値があらかじめ設定された閾値を越えたか否かを判断する。
【００６６】
ステップＳ７の判断の結果、上記差分値が閾値を越えた場合には撮像中にシーンチェンジが行われたものと判断してＩピクチャを更新するようにする。また、ステップＳ７の判断の結果、閾値を越えていない場合には、撮像中にシーンチェンジが行われていないと判断してＰピクチャとするようにする。
【００６７】
上述のようにして、画像の符号化方法が決定された後、処理方法がＩピクチャの場合、次のＩピクチャ更新の判定を行うため、検出された輝度値の平均値を検出部１０５の内部に保持する。
【００６８】
圧縮方法が決定した後、第１符号化部１０７へ信号を出力し、実際の画像信号の処理を開始する。すなわち、検出部１０５からの結果により、画像をＩピクチャとして処理する場合には、ステップＳ７からステップＳ８に進む。ステップＳ８においては、第１符号化部１０７ではこの画像を後の画像との差分の対象とするためメモリ１１１に保存し、画像信号はそのまま第２符号化部１０８へ出力する。
【００６９】
また、上記ステップＳ７の判断の結果、画像をＰピクチャとして処理する場合はステップＳ９に進み、第１符号化部１０７内で画像信号をメモリ１１１内のデータと差分を取ったものを第２符号化部１０８へ出力する。
【００７０】
第２符号化部１０８では、フレーム内の冗長性を除くため、画像信号に対してＤＣＴ符号化処理、量子化処理、可変長符号化処理を行う。すなわち、画像中の８×８画素を１ブロック単位とし、ＤＣＴ変換を行った画像データを、設定された圧縮度合いに対応する量子化テーブルに基いて量子化し、これにハフマン符号化処理を行い圧縮画像データを生成する。
【００７１】
このようにして生成された圧縮画像データは、図６（ａ）に示すように、Ｉピクチャの場合は画像データにＤＣＴ量子化テーブルおよびハフマン符号化テーブルをヘッダとして付けた形で出力する。
【００７２】
また、Ｐピクチャの場合は、図６（ｂ）に示すように、Ｉピクチャの後に続く複数枚のグループを１つの集団とし、この集団の先頭にＤＣＴ量子化テーブルおよびハフマン符号化テーブルを独立テーブルとして送り、この後に各画像データを連続する形で出力する。これらの画像データは記録部１０９へ送られて記録媒体（図示せず）に記録される。
【００７３】
以上の処理により、撮像される画像の輝度値の変化を監視し、シーンチェンジ等が行われたために画像全体の輝度値に大きな変化が生じた場合には、新たにＩピクチャを設定できる。
【００７４】
これにより、シーンチェンジ時に圧縮効率および画質の両方に劣化の少ない符号化圧縮方法を選択することができる。また、Ｉピクチャ・Ｐピクチャに限らず、圧縮率の異なる複数の手法を使い分ける場合においても、画像の変化が小さいときには高圧縮手法を用いるとともに、画像の変化が激しいときには低圧縮手法を用いることで、シーケンシャルに圧縮手法を切り替える場合に比べ、より画質が高く、かつ圧縮効率の良い画像を供給することができる。
【００７５】
さらに、上述した第１の実施形態において、検出部１０５で処理を行う画像中の検出領域を、図５中において符号４１〜４５で示した領域Ａ〜Ｅのように複数個設定することも可能である。この場合、各領域中の輝度値の平均値を算出し、保持していた直前画像の各領域平均値との差分を取る。
【００７６】
この差分値に対し、画像中の領域位置に対応した重み付けをした演算を行い、評価値を求める。例えば、周辺部の変化が大きいときをシーンチェンジとする場合、周辺部の重み付けを重くすることで評価値に反映することができる。
【００７７】
この評価値と閾値とを比較し、閾値を越えた場合はＩピクチャと判定し、その他はＰピクチャと判定する。これにより、各領域毎の輝度値の分布状態を検出することができ、更に画像の状態を細かく把握することができるので、撮像状況に適した符号化圧縮方法を選択することができる。
【００７８】
次に、本発明の第２の実施形態を説明する。この第２の実施形態では、撮像時の画像の露出状態を検出し、これに基いて圧縮率を変化させる処理方法について述べる。
【００７９】
図７は、第２の実施形態に係わる符号化圧縮装置を備えた撮像装置である。なお、上述した第１の実施形態と同じ処理を行う部分については、図２と同じ番号を付して詳細な説明を省略する。
【００８０】
図７の撮像装置は、被写体を撮像するためのレンズ１０１、映像をアナログ電気信号に変換するための撮像素子１０２、撮像素子１０２へ入射する光量を調節するための絞り調整部６２、アナログ電気信号をディジタル電気信号に変換するためのＡ／Ｄ変換部１０３、画像の露出状態を検出する検出部１０５を有している。
【００８１】
また、画像の露出状態を補正するＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）６３、電気信号を画像信号に変換するための画像信号変換部１０４、システムの制御を行うＣＰＵ６４、画像信号の符号化圧縮を行う符号化部６６、画像信号を保持するためのメモリ１１１、符号化圧縮された画像信号を記録する記録部１０９、撮像された画像を撮像者に表示する表示部６７およびＲＯＭ６５からなっている。
【００８２】
このように構成された撮像装置において、レンズ１０１を通じて撮像素子１０２上に結像された画像はアナログ電気信号に変換され、さらにＡ／Ｄ変換部１０３によりディジタル電気信号に変換される。
【００８３】
上記ディジタル電気信号は、上記検出部１０５およびＡＧＣ６３に入力される。上記検出部１０５では入力されたディジタル電気信号から、ＡＧＣ６３による補正のためのデータを検出するとともに、後の符号化手段選択のための画像状態の検出を行う。
【００８４】
すなわち、上記検出部１０５では、まずＡＧＣ６３で行うゲイン補正および逆光補正のために、図５に示される入力画像３１中に設定された複数領域ごとの輝度値の平均値を求める。
【００８５】
次に、各領域の平均値に対し、画像中央部に重み付けた演算の結果算出される評価値を求める。また、符号化方法および圧縮率決定のため、上述した各領域ごとに、輝度値が上・下限値付近の画素数を求める。このようにして求めた値をＣＰＵ６４へ送る。
【００８６】
ＣＰＵ６４では、まず上記評価値をＲＯＭ６５内のテーブルと比較した結果により決定される露出状態を適当に補正するための信号をＡＧＣ６３へ送る。また、絞り６１を調整するために、絞り調整部６２へ適切な露光状態となるように補正信号を送る。
【００８７】
次に、領域ごとの輝度値が上下限付近の画素数から、画像をＩピクチャまたはＰピクチャとして扱うための選択および圧縮率の設定を、図８に示されるＲＯＭ６５内のテーブルと比較して行う。通常、ＣＰＵ６４では記録部１０９での処理速度の上限を越えないように、一定の割合でＩ、Ｐピクチャを切り換えている。この判断に、画像からの判断を加えることで、高画質・高圧縮処理を実現している。
【００８８】
今、各領域中の輝度値が零付近の画素数が多く、高輝度画素の少ない暗い画像（図８中ｃの条件）が入力された場合を考える。低輝度画素数は閾値ｎL を越え、高輝度画素数は閾値ｎH を越えていない場合、ＣＰＵ６４はＲＯＭ６５内テーブルと比較し、画像を高圧縮状態で処理する。
【００８９】
この場合、後述する符号化部６６での、画像一枚毎の圧縮率を高くするとともに、ＰピクチャとＩピクチャの単位時間中の枚数比（Ｐ／Ｉ比）を高くし、全体の圧縮率を下げる。また、上述の状態とは逆に、高輝度の画像（図８中ｂの条件）が入力した場合、ＲＯＭ６５のテーブルと比較し、低輝度画像と同様に高圧縮状態で処理する。
【００９０】
ＣＰＵ６４で上記のように判断された画像は、ＡＧＣ６３でゲイン補正を受けた後、画像信号変換部１０４で任意の形式の画像信号に変換され、ＣＰＵ６４により符号化部６６および表示部６７へ送られる。
【００９１】
表示部６７へ送られた信号は、画像表示手段を介して撮像者に対して表示される。画像信号が入力された符号化部６６では、ＣＰＵ６４により指示された圧縮方法で信号を処理する。
【００９２】
これ以降の画像信号処理は以下のようになる。すなわち、まず画像をＩピクチャとして符号化する場合は、画像信号を符号化部６６へ送るのと同時にメモリ１１１への書き込みを行う。
【００９３】
符号化部６６へ送られた信号は、空間軸上の冗長性を除く処理として、ＤＣＴ変換後、設定された圧縮率に見合う量子化処理が行われ、更に可変長符号化の処理を行った後、ＤＣＴテーブル、可変長符号化テーブル等のヘッダ情報の付いた画像データとして出力される。出力された画像データは記録部１０９において記録媒体上に記録される。
【００９４】
画像をＰピクチャとして処理する場合は、まず時間軸上の冗長性の削減のため、入力される画像信号とメモリ１１１上の画像との差分画像を生成し、この差分画像に上記ＤＣＴ変換・量子化・可変長符号化処理を行い、圧縮画像データを生成する。
【００９５】
この後、第１実施形態と同様に、Ｉピクチャの後に続く複数枚のＰピクチャグループを１つの集団とする。そして、集団の先頭にＤＣＴ量子化テーブルおよびハフマン符号化テーブルを独立テーブルとして送り、この後に各画像データが連続する形で出力する。出力された画像データは記録部１０９において記録媒体上に記録される。
【００９６】
このようにして、第２の実施形態では、撮像状態が安定していない間に撮像された画像を判定し、圧縮率を変化させることにより、全体として効率の良い符号化圧縮を行うことができる。
【００９７】
次に、本発明の第３の実施形態を説明する。この第３の実施形態では、撮像時の画像の露出状態を検出し、これに基いて圧縮率を変化させる処理方法について述べる。なお、第３の実施形態では、画像中に生じる外乱に左右されずシーンチェンジを認識できる処理方法について述べる。
【００９８】
図９は、第３の実施形態に関わる符号化圧縮装置を示す構成図である。なお、上述した第１の実施形態および第２の実施形態と同じ処理を行う部分については同じ番号としてある。図９の撮像装置は、被写体を撮像するためのレンズ１０１、被写体像をアナログ電気信号に変換するための撮像素子１０２、アナログ電気信号をディジタル電気信号に変換するためのＡ／Ｄ変換部１０３、画像の露出状態を検出する検出部１０５、ディジタル電気信号を所定の形式の画像信号に変換するための画像信号変換部１０４を有している。
【００９９】
また、撮像者からの操作を入力する操作部８１、システムの制御を行うＣＰＵ６４、画像信号の処理経路を切り換えるセレクタ１１０、差分画像を生成するための差分器１１２、復号のための加算を行う加算器８６、画像信号を保持するためのメモリ１１１、画像信号のフレーム内符号化／復号化処理を行うフレーム内符号化／復号化部８２、符号化圧縮された画像信号を記録する記録部１０９、撮像された画像を撮像者に表示する表示部６７を有している。
【０１００】
このように構成された撮像装置において、まず撮像時には、撮像者が操作部８１へ記録を指示した時点から記録が開始される。これにより、レンズ１０１を通じて撮像素子１０２上に結像された被写体からの光はアナログ電気信号に変換され、さらにＡ／Ｄ変換部１０３によりディジタル信号に変換される。
【０１０１】
上記ディジタルの電気信号は検出部１０５および画像信号変換部１０４に入力される。検出部１０５では入力されたディジタルの電気信号から、後の符号化手段選択のための画像状態の検出を行う。画像信号変換部１０４では、上記ディジタルの電気信号を任意の画像信号に変換する。
【０１０２】
また、検出部１０５では、画像中の輝度値の分布の変化を調べることでシーンチェンジの判定を行う。すなわち、まずディジタルの電気信号から得られる画像中の輝度値分布をズーム９（ａ）に示すようにヒストグラム化し、外乱の影響を抑えるためにズーム９（ｂ）に示す関数との重み付け演算を行い、図１０（ｃ）に示すように輝度分布を補正する。
【０１０３】
これは、例えば、撮像時の微小な動きで鏡面等を持つ物体の反射光が変化し、画像中に小さな高輝度領域を生じる場合に、この一部の輝度値の変化から誤ってシーンチェンジと判断することを避けるためである。
【０１０４】
このようにして求められた輝度値分布は、直前のＩピクチャの輝度値分布との差分量を基に、符号化方法をＩ・Ｐピクチャのどちらかに決定し、決定した結果はＣＰＵ６４へ送られる。また、このときの判定からＩピクチャを更新する場合、この後の判定基準とするため、現在の画像の補正後輝度値分布を検出部１０５内に保持する。
【０１０５】
ＣＰＵ６４では、検出部１０５からの検出結果に従い、セレクタ１１０およびメモリ１１１の制御を行う。まず画像をＩピクチャとして処理する場合、行う処理はフレーム内符号化圧縮のみとなるので、ＣＰＵ６４は画像信号が第１の経路８３を通るようにセレクタ１１０を操作する。
【０１０６】
また、後のＰピクチャ生成のため、画像信号をメモリ１１１に保存する。第１の経路８３では信号は演算処理を受けることなく、フレーム内符号化のためフレーム内符号化／復号化部８２へ送られ、ＤＣＴ変換・量子化・ハフマン符号化処理により圧縮された後に記録部１０９へ送られ、記録媒体上に記録される。
【０１０７】
このときの記録形式は、第１の実施形態で示したＩ・Ｐそれぞれのピクチャ記録形式と同様のものとなっている。また、画像信号はＣＰＵ６４により表示部へ送られ、撮像者に対して表示される。
【０１０８】
画像をＰピクチャとして処理する場合は、時間差分画像を生成するために画像信号が第２の経路８４を通るようにセレクタ１１０を切り換える。第２の経路８４では、経路中の減算器１１２によりメモリ１１１内のＩピクチャデータと入力された画像信号との差分が行われ、差分画像信号が生成される。そして、Ｉピクチャでの処理と同様に、差分画像信号はフレーム内符号化のためフレーム内符号化／復号化部８２へ送られ圧縮され、記録部１０９内に記録される。また、映像信号は表示部へ送られ、同様に表示される。
【０１０９】
次に、記録部１０９上に保存された圧縮画像データを再生・表示する方法について述べる。操作部８１からの入力により画像データを再生する場合、まず再生画像がＩピクチャまたはＰピクチャのどちらであるかを、上記ＣＰＵ６４でヘッダ情報から判別する。
【０１１０】
そして、上記判別の結果がＩピクチャの場合は、まず圧縮画像信号をフレーム内符号化／復号化部８２で復号化し、画像信号に変換する。復号化された画像信号は第３の経路８５を通って加算器８６へ入力される。
【０１１１】
Ｉピクチャ再生の場合、ＣＰＵ６４によりメモリ１１１は内部データの出力を行わないため信号の加算は行われず、画像信号はそのままバス６８へ送られる。バス６８上の画像信号はＣＰＵ６４により表示部６７へ送られ観察者に対して表示される。また、後のＰピクチャ再生のため、再生画像信号はメモリ１１１内に保存される。
【０１１２】
Ｐピクチャ再生では、圧縮画像信号はまずフレーム内符号化／復号化部８２へ送られて復号化される。復号化時点で生成される信号は直前のＩピクチャとの差分信号となっている。
【０１１３】
この直前のＩピクチャは上述したように復号化された状態でメモリ１１１内に保存されているので、差分画像信号は第３の経路８５上の加算器８６によるメモリ１１１内信号との加算の結果、通常の画像信号に復号化される。この再生画像信号はバス６８を通じて表示部６７へ送られ、観察者に対して表示される。
【０１１４】
このようにして、第３の実施形態の撮像装置は符号化圧縮を行うので、反射光などの外乱が生じた場合でも、シーンチェンジを確実に検出することができ、より効率の良い画像信号の符号化圧縮を行うことができる。
【０１１５】
【発明の効果】
本発明によれば、入力された画像信号における輝度情報と記憶手段に記憶されている直前のフレーム内符号化画像に対応する入力画像信号における輝度情報との差分値が閾値を越えていた場合には、フレーム内符号化画像の生成処理を行い、生成されたフレーム内符号化画像に対応する入力画像信号の輝度情報で記憶手段の値を書き換えることによって、常に入力された画像と直前のフレーム内符号化画像に対応する入力画像信号の輝度情報とを比較するため、隣接したフレーム間の変化を検出して圧縮手法を切り替える場合に比べて、例えば、画像全体の輝度値が徐々に変化して圧縮効率が低下するようなシーンチェンジであっても、これを精度高く検出することが可能となり、またフレーム内符号化画像の生成を行うことにより、高画質で撮影状況に適した圧縮効率の高い符号化を行うことが可能となる。さらに、直前のフレーム内符号化画像に対応する入力画像信号における輝度情報を記憶手段に記憶しているため、入力画像信号そのものを保持して比較するよりも、記憶手段の容量を大幅に削減することが可能となる。
【図面の簡単な説明】
【図１】本発明の主要な機能の概略構成を示す機能構成図である。
【図２】本発明の第１の実施形態を示すブロック図である。
【図３】第１の実施形態中の検出部の処理の流れを示すフローチャートである。
【図４】画像中の輝度値の検出領域を示す図である。
【図５】画像中の輝度値の検出領域を示す図である。
【図６】記録時の画像データ形式を示す図である。
【図７】本発明の第２の実施形態を示すブロック図である。
【図８】第２の実施形態中の符号化方法選択のためのテーブルを示す図である。
【図９】本発明の第３の実施形態を示すブロック図である。
【図１０】第３の実施形態中の画像の輝度値分布を示す図である。
【図１１】従来の符号化圧縮方法を示す図である。
【符号の説明】
１０１  レンズ
１０２  撮像素子
１０３  Ａ／Ｄ変換部
１０４  画像信号変換部
１０５  検出部
１０６  ＦＩＦＯメモリ
１０７  第１符号化部
１０８  第２符号化部
１０９  記録部
１１０  セレクタ
１１１  メモリ
１１２  差分器
６１  絞り
６２  絞り調整部
６３  ＡＧＣ
６４  ＣＰＵ
６５  ＲＯＭ
６６  符号化部
６７  表示部
８１  操作部
８２  フレーム内符号化／復号化部
８６  加算器
【図１】
0003984665.tif 000002
【図２】
0003984665.tif 000003
【図３】
0003984665.tif 000004
【図４】
0003984665.tif 000005
【図５】
0003984665.tif 000006
【図６】
0003984665.tif 000007
【図７】
0003984665.tif 000008
【図８】
0003984665.tif 000009
【図９】
0003984665.tif 000010
【図１０】
0003984665.tif 000011
【図１１】
0003984665.tif 000012