(57)【要約】【課題】大きな動きを有する画像でも、画質の劣化を抑えつつ情報量を削減するカメラ装置を提供する。【解決手段】被写体の撮像光に応じた映像信号を生成する撮像手段１０と、映像信号のシャープネスを調整するシャープネス調整手段２１と、コントラストを調整するコントラスト調整手段２１と、シャープネス調整手段及びコントラスト調整手段からの映像信号を符号化する符号化手段３４、３５、４１と、符号化手段に所定量の映像信号が供給されるように、また、シャープネスの調整及びコントラストの調整を同時に行うようにシャープネス調整手段及びコントラスト調整手段を制御する制御手段とを備えるカメラ装置。動きの小さな画像の場合には、通常のコントラスト及びシャープネスで輪郭を強調し、特定のシーンでシャープネスとコントラストの設定値を使い分け、画質劣化を小さく維持してフレームレートの低下を改善する。【選択図】図１
2007311961.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮像光に応じた映像信号を生成する撮像手段と、
前記映像信号のシャープネスを調整するシャープネス調整手段と、
前記映像信号のコントラストを調整するコントラスト調整手段と、
前記シャープネス調整手段及び前記コントラスト調整手段からの映像信号を符号化する符号化手段と、
該符号化手段に所定量の映像信号が供給されるように、また、前記シャープネスの調整及び前記コントラストの調整を同時に行うように前記シャープネス調整手段及び前記コントラスト調整手段を制御する制御手段とを備えることを特徴とするカメラ装置。
【請求項２】
前記撮像手段によって生成された映像信号の輝度成分の１フレーム全体の平均値が第１の設定値以上、第２の設定値以下の場合には、該平均値が前記第１の設定値と前記第２の設定値の間にある場合よりも前記コントラストが高くなるように調整することを特徴とする請求項１に記載のカメラ装置。
【請求項３】
前記撮像手段によって生成された映像信号の輝度成分の１フレーム全体の平均値が所定の値以下の場合には、該平均値が所定の値を超える場合よりも、前記シャープネスがより小さくなるように調整することを特徴とする請求項１又は２に記載のカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ装置に関し、特に、被写体を撮影して得られた映像信号に符号化処理を施すカメラ装置に関する。
【背景技術】
【０００２】
従来、被写体を撮影し、得られた映像信号に符号化処理を施すカメラ装置では、画像の圧縮率と画質とはトレードオフの関係にあり、高圧縮率を求めると、ある程度画質を犠牲にしなければならない。さらに、画像１枚毎の画質を向上させることと、それらの画質を低下させてでも画像の中の被写体の動きを自然なものに近づけることについても同様にトレードオフの関係にある。この場合、一般的に、画像の動きを検出し、動きが小さいときは輪郭を明瞭にして各フレームの画質を向上させることを優先し、逆に動きが大きいときは、各フレームの画像にフィルタをかけて画質を低下させてでも画像の動きを滑らかにすることを優先することが行われていた。
【０００３】
画像の中で被写体の有するシャープエッジの加速的な動きがあると、ＤＣＴ（Discrete Cosine Transform）係数分布がブロック内の広域側で増加し、これによって、次のジグザグスキャンにおいて、ゼロランの継続が期待されるスキャンの後半でノンゼロ量子化代表値の発生が増加する。これは、ＤＣＴを行う前のフレーム間差分データに高周波成分が増加したためであり、結果的に画像フレーム全体の発生符号量が増加する。このため、動きが激しい場合には、通信上の伝送レートが限られているため、その分フレームレートを下げざるを得なくなり、受信側でデコードした際に、画像の中の動きが滑らかではなく、質の悪い画像が再現されるという問題があった。
【０００４】
この問題を解決するため、例えば、特許文献１には、動きの激しい被写体を撮影しても、画質の劣化を極力抑えながらフレームレートの向上を図りつつ映像信号を符号化するにあたり、高域量子化代表値総和回路が高域の量子化代表値の積分値（総和）を求め、量子化回路が、この総和値を例えば８ビットの総和値信号に量子化してシリアルバス・インターフェース、双方向シリアルバス等を介してマイコンに供給し、マイコンがこの総和値信号に基づいて量子化代表値のノンゼロが多いか否かを判断し、ノンゼロが多いときはフレームレートの低下を防止するため、シャープネスを下げるようにするカメラ装置が提案されている。
【０００５】
【特許文献１】特開平１０−１０８０６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１に記載のカメラ装置等においても、大きな動きを有する画像の場合には、シャープネスの調整だけでは十分な情報量の圧縮を実現することができないという問題があった。
【０００７】
そこで、本発明は、上記従来の技術における問題点に鑑みてなされたものであって、大きな動きを有する画像の場合でも、画質の劣化を抑えつつ、情報量の削減を行うことが可能なカメラ装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明は、カメラ装置であって、被写体の撮像光に応じた映像信号を生成する撮像手段と、前記映像信号のシャープネスを調整するシャープネス調整手段と、前記映像信号のコントラストを調整するコントラスト調整手段と、前記シャープネス調整手段及び前記コントラスト調整手段からの映像信号を符号化する符号化手段と、該符号化手段に所定量の映像信号が供給されるように、また、前記シャープネスの調整及び前記コントラストの調整を同時に行うように前記シャープネス調整手段及び前記コントラスト調整手段を制御する制御手段とを備えることを特徴とする。
【０００９】
そして、本発明によれば、制御手段によって、符号化手段に所定量の映像信号が供給されるように、また、シャープネスの調整及びコントラストの調整を同時に行うようにシャープネス調整手段及びコントラスト調整手段を制御するため、動きが大きな画像や複雑な画像の撮影において、画質の劣化を抑えつつ、情報量の削減を行うことが可能となる。具体的には、動きの小さな画像の場合には、通常のコントラスト及びシャープネスを設定しで輪郭を強調し、コントラストの高い高画質の映像を提供し、特定のシーンにおいてシャープネスとコントラストの設定値を使い分けることにより、画質劣化を小さく維持しながら、フレームレートの低下を改善することができる。
【００１０】
前記カメラ装置において、前記撮像手段によって生成された映像信号の輝度成分の１フレーム全体の平均値が第１の設定値以上、第２の設定値以下の場合には、該平均値が前記第１の設定値と前記第２の設定値の間にある場合よりも前記コントラストが高くなるように調整することができる。明るい場所では、すでにコントラストが低い状態にあるため、コントラストを下げても効果は小さい。従って、通常の明るさの場所でフレームレートが下がったときに設定する時よりもコントラストを下げる必要はない。これにより、画質劣化が少なく、フレームレートの低下を改善することができる。
【００１１】
前記カメラ装置において、前記撮像手段によって生成された映像信号の輝度成分の１フレーム全体の平均値が所定の値以下の場合には、該平均値が所定の値を超える場合よりも、前記シャープネスをより小さく調整することができる。暗い場所ではノイズが出やすい状況であるため、これを抑える目的で、シャープネスを通常の明るさの場所でフレームレート低下時に設定する値よりもさらに低下させることによって、ノイズを目立たなくすることができる。
【発明の効果】
【００１２】
以上のように、本発明によれば、大きな動きを有する画像であっても、画質の劣化を抑えながら情報量を削減することのできるカメラ装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明の実施の形態について図面を参照しながら説明する。
【００１４】
本発明にかかるカメラ装置は、図１に示すように、大別して、被写体を撮影して画像を生成するカメラ部（撮像手段）１０と、カメラ部１０によって生成された画像を符号化する符号化部３０とで構成される。
【００１５】
符号化部３０は、輝度成分判定回路３１と、演算回路３２と、直交変換を行うＤＣＴ回路３３と、量子化回路３４と、係数予測回路３５と、逆量子化回路３６と、動き補償回路３７と、メモリ３８と、演算回路３９と、逆ＤＣＴ回路４０と、可変長符号化回路４１と、フレームレート検出回路４２と、動きベクトル検出回路４３と、カメラ制御部２０と、フレームレート／明暗判定回路２１とで構成される。
【００１６】
また、量子化回路３４は、図２に示すように、輝度／色差成分振分け回路５０と、通常量子化テーブル５１と、演算回路５２と、高圧縮量子化テーブル５３とで構成される。
【００１７】
図１に示す輝度成分判定回路３１は、カメラ部１０から供給される輝度成分の１フレーム全体の平均を取ることによって、被写体の存在する場所が明るい場所であるか、暗い場所であるかを判定する。
【００１８】
演算回路３２は、輝度成分判定回路３１から供給される映像信号を加算信号とし、動き補償回路３７から供給される予測信号を減算信号として演算処理を行い、得られた予測誤差信号をＤＣＴ回路３３に供給する。ここで、演算回路３２は、例えば、Ｐピクチャ（前方予測画像）では時間的に前方の画像との差分を取り、また、Ｂピクチャ（両方向予測画像）では時間的に前方若しくは後方、又は前方と後方から作られた保管画像との差分を取ることにより、時間軸方向の冗長度を減らして伝送すべき情報量を少なくする。
【００１９】
ＤＣＴ回路３３は、演算回路３２からの予測誤差信号（シーンチェンジのように予測を行わないときは原信号）に対して２次元ＤＣＴ（離散コサイン変換）を施して空間的な相関を除去し、一部の係数にエネルギーを集中させる。具体的には、ＤＣＴ回路３３は、８ｘ８（＝６４）の画像データを８ｘ８（＝６４）のＤＣＴ係数に変換する。
【００２０】
ここで、動きの小さい被写体を撮影してＤＣＴ回路３３に供給されるフレーム間差分が小さい場合には、２次元ＤＣＴ変換後の量子化代表値は、ブロックの先頭に偏る傾向があり、一方、動きの大きい被写体を撮影してＤＣＴ回路３３に供給されるフレーム間差分が大きい場合には、２次元ＤＣＴ変換後の量子化代表値は、ブロックの後方に偏る傾向がある。
【００２１】
そこで、ＤＣＴ変換の際にジグザグスキャンを行うと、画像スキャン番号０の係数がＤＣ（直流）成分の係数になり、続く画素スキャン番号１〜６３がＡＣ（交流）成分の係数になる。このとき、右側に行くほど水平方向の周波数成分が集中し、下側に行くほど垂直方向の周波数成分が集中するようになっている。また、量子化代表値がゼロ以外のもの（ノンゼロ）はすべて符号化されるため、スペクトラムが広域に伸びているほど発生符号量が増え、スペクトラムが低域から中域までしか伸びていないものはノンゼロが少ないため、発生符号量が少なくてすむ。
【００２２】
量子化回路３４は、ブロック毎に存在する６４個のＤＣＴ係数を、係数毎の量子化ステップサイズを定めた量子化テーブルを用いて、係数位置毎に異なるステップサイズで線形量子化する。この量子化により得られた量子化代表値を、係数予測回路３５及び逆量子化回路３６に供給する。また、アプリケーションに応じて、輝度成分、色差成分に対して量子化テーブルを最適化することができる。例えば、図２に示すように、輝度成分は通常量子化テーブルを用い、色差成分は高圧縮の量子化テーブルを用いることで、情報量を削減する。これは、人間の目は輝度成分の変化には敏感であるが、色味成分の変化には鈍いという特性を利用したもので、画質の劣化を抑えつつ、情報量の削減を実現することができる。
【００２３】
係数予測回路３５は、ＤＣＴ係数を量子化した後、ＤＣ係数予測と呼ばれる差分符号化を行う。また、低次のＡＣ係数についても、選択によりＡＣ係数予測と呼ばれる差分符号化を行う。
【００２４】
逆量子化回路３６は、量子化回路３４から供給される量子化代表値に逆量子化処理を施し、これを逆ＤＣＴ回路４０に供給する。
【００２５】
逆ＤＣＴ回路４０は、逆量子化回路３６から供給されるＤＣＴ係数に対して逆ＤＣＴ変換を行って予測誤差信号を復号化し、この予測誤差信号を演算回路３９に供給する。
【００２６】
演算回路３９は、逆ＤＣＴ回路４０から供給される予測誤差信号と、動き補償回路３７で動き補償された予測誤差信号とを加算合成し、この合成された予測誤差信号をメモリ３８に供給する。
【００２７】
メモリ３８は、演算回路３９から供給されるブロック毎の予測誤差信号を記憶し、１フレーム毎にこの予測誤差信号を動き補償回路３７に供給する。
【００２８】
動きベクトル検出回路４３は、カメラ部１０及びメモリ３８から供給される信号に基づいて２次元の動きベクトルを検出し、この検出結果を動き補償回路３７に供給する。
【００２９】
動き補償回路３７は、メモリ３８から読み出された１フレーム分の予測誤差信号に所定の動き補償を行うことによって予測信号を得て、この予測信号を上述した演算回路３２に供給する。
【００３０】
可変長符号化回路４１は、係数予測回路３５から供給された量子化代表値に対して、平均的な符号長が短くなるように符号割り当て（例えば、ハフマン符号化）を行い、これによって得られた圧縮データを出力する。
【００３１】
フレームレート検出回路４２は、１秒間あたりのフレームの数をカウントし、現在のフレームレートを求める。
【００３２】
フレームレート／明暗判定回路２１は、フレームレート検出回路４２と輝度成分判定回路３１からの信号に基づいて、現状での最適なコントラスト、シャープネスの設定値及び量子化テーブルを判定し、その情報をカメラ制御部２０及び量子化回路３４に供給する。
【００３３】
カメラ制御部２０は、フレームレート／明暗判定回路２１からの信号に基づいて、カメラ制御インタフェースを介して、カメラ部１０に対してレジスタ設定を行う。
【００３４】
次に、上記構成を有するカメラ装置の動作について図３を中心に参照しながら説明する。
【００３５】
ステップＳ１において、図１のフレームレート検出回路４２は、１秒間あたりのフレームの数をカウントし、現在のフレームレートをフレームレート／明暗判定回路２１に供給する。
【００３６】
フレームレート／明暗判定回路２１は、フレームレートがある閾値Ａｆｐｓ（Frame Per Second）未満になった場合には、動きが大きな画像や局所的変化が不連続に起こる画像等の影響により、広い範囲の画像の更新が必要とされ、フレームレートの低下が発生していると判定する。
【００３７】
フレームレートの低下が検出された後、ステップＳ２において、カメラ制御部２０を経由して、カメラ部１０に対して、ダイナミックに通常よりも低い第２のコントラスト、シャープネスの値を設定する。大きな動きのあるものに対して、シャープネスだけでは十分な情報量の圧縮を実現することはできない。コントラストを低下させることで、画面全体の階調差を少なくし、情報量を削減することができる。シャープネスとコントラストを各々単独で調整するよりも、両者を同時に調整することで、フレームレートの低下をより効果的に改善することができる。
【００３８】
さらに、ステップＳ４において、輝度成分判定回路３１から供給される輝度成分の平均値がＣ以上の場合には、明るい場所であると判定される。明るい場所では、すでにコントラストは低い状態にあるため、コントラストを下げても効果は小さい。従って、ステップＳ５において、通常の明るさの場所でフレームレートが下がった時（ステップＳ６の場合）に設定する場合よりもコントラストを下げる必要はない。これにより、画質劣化が少なく、フレームレートの低下を改善することができる。本処理は、フレームレートの低下と明るい場所の両方のフラグにより動作する。
【００３９】
また、ステップＳ４において、輝度成分判定回路３１から供給される輝度成分の平均値がＤ以下の場合には、暗い場所であると判定される。暗い場所でも、明るい場所と同様に、すでにコントラストは低い状態にあるため、コントラストを下げても効果は少ない。従って、ステップＳ７において、通常の明るさの場所でフレームレートが下がった時（ステップＳ６の場合）に設定する場合よりもコントラストを下げる必要はない。これにより、画質劣化を抑え、フレームレートの低下を改善することができる。本処理は、フレームレートの低下と暗い場所の両方のフラグにより動作する。また、暗い場所ではノイズが出やすい状況であるため、これを抑えるために、シャープネスを通常の明るさの場所でフレームレート低下時に設定する値よりもさらに下げることによって、ノイズを目立たなくさせることができる。
【００４０】
以下に、表１の設定例とともに設定イメージを説明する。高フレームレート時に、コントラストとシャープネスの設定を各々１００とし、通常の明るさでフレームレート低下時にコントラストとシャープネスを各々５０まで下げるとする。明るい場所と暗い場所ではコントラストを大きく下げる必要はないため各々８０とする。さらに、暗い場所ではシャープネスを３０まで下げることにより、ノイズを削減することができる。
【００４１】
【表１】
2007311961.tif 000003
【００４２】
さらに、図３において、フレームレートがＢｆｐｓ以下となり、著しいフレームレートの低下を検出した時に、シャープネスとコントラストの制御と同時に量子化テーブルを使い分ける制御をすることで、より情報量の圧縮を実現することができる。フレームレートがＢｆｐｓ以下となった場合には、図２に示すように、輝度成分は標準量子化テーブルを用い、色差成分は高圧縮の量子化テーブルを用いることで、情報量を削減する。これは、人間の目は輝度成分の変化には敏感であるが、色味成分の変化には鈍いという特性を利用したもので、画質の劣化を抑えつつ、情報量の削減を実現することができる。
【００４３】
以上のようにして、コントラスト、シャープネス及び量子化テーブルを調節することにより、画質劣化を抑えた情報量圧縮を実現することができ、フレームレートの低下を防止することができる。
【００４４】
また、図３においてフレームレートがある閾値Ａｆｐｓ以上になった場合には、図１のフレームレート／明暗判定回路２１は、動きが小さな画像を撮影していると判定し、ステップＳ３において、通常のコントラスト、シャープネスの値及び量子化テーブルに戻す。これにより、カメラ部１０からは、輪郭が強調され、コントラストの高い映像を再現することができる。
【図面の簡単な説明】
【００４５】
【図１】本発明にかかるカメラ装置の全体構成を示すブロック図である。
【図２】図１のカメラ装置の量子化回路の構成を示すブロック図である。
【図３】図１のカメラ装置の動作を示すフローチャートである。
【符号の説明】
【００４６】
１０  カメラ部
２０  カメラ制御部
２１  フレームレート／明暗判定回路
３０  符号化部
３１  輝度成分判定回路
３２  演算回路
３３  ＤＣＴ回路
３４  量子化回路
３５  係数予測回路
３６  逆量子化回路
３７  動き補償回路
３８  メモリ
３９  演算回路
４０  逆ＤＣＴ回路
４１  可変長符号化回路
４２  フレームレート検出回路
４３  動きベクトル検出回路
５０  輝度／色差成分振分け
５１  通常量子化テーブル
５２  演算回路
５３  高圧縮量子化テーブル
【図１】
2007311961.tif 000004
【図２】
2007311961.tif 000005
【図３】
2007311961.tif 000006