(57)【要約】【課題】ノイズ量に応じた効率的な符号化を行うことができる符号化装置、符号化方法及びプログラムを提供することを課題とする。【解決手段】符号化装置は、画像データに含まれるノイズ量を推定し、前記ノイズ量が閾値より多いか否かを判定する判定手段と、前記ノイズ量が閾値より多い場合には、前記画像データを周波数変換することにより変換係数を生成する周波数変換手段と、前記ノイズ量が閾値より多い場合には、前記変換係数に対して符号化を行い、前記ノイズ量が閾値より少ない場合には、前記画像データに対して符号化を行う符号化手段とを有する。【選択図】図５
2019022080.tif 000002
【特許請求の範囲】
【請求項１】
画像データに含まれるノイズ量を推定し、前記ノイズ量が閾値より多いか否かを判定する判定手段と、
前記ノイズ量が閾値より多い場合には、前記画像データを周波数変換することにより変換係数を生成する周波数変換手段と、
前記ノイズ量が閾値より多い場合には、前記変換係数に対して符号化を行い、前記ノイズ量が閾値より少ない場合には、前記画像データに対して符号化を行う符号化手段と
を有することを特徴とする符号化装置。
【請求項２】
さらに、前記ノイズ量が閾値より多い場合には、前記生成された変換係数のうちの符号化対象変換係数に対する予測値を生成し、前記符号化対象変換係数と前記予測値との差分データを生成し、前記ノイズ量が閾値より多い場合には、前記画像データのうちの符号化対象画素の値に対する予測値を生成し、前記符号化対象画素の値と前記予測値との差分データを生成する予測差分生成手段を有し、
前記符号化手段は、前記差分データに対して符号化を行うことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記周波数変換手段は、低周波数成分の変換係数と高周波数成分の変換係数を生成し、
前記予測差分生成手段は、前記ノイズ量が閾値より多い場合には、前記低周波数成分の変換係数に対して前記差分データを生成し、
前記符号化手段は、前記ノイズ量が閾値より多い場合には、前記低周波数成分の変換係数の前記差分データと前記高周波数成分の変換係数に対して符号化を行うことを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記周波数変換手段は、ウェーブレット変換を行うことを特徴とする請求項１〜３のいずれか１項に記載の符号化装置。
【請求項５】
前記判定手段は、前記画像データに含まれるオプティカルブラック領域の全体又は一部の画素値を基に、前記画像データに含まれるノイズ量を推定することを特徴とする請求項１〜４のいずれか１項に記載の符号化装置。
【請求項６】
前記判定手段は、前記画像データに含まれるオプティカルブラック領域の全体又は一部の画素値を符号化し、前記符号化により発生した符号量を基に、前記ノイズ量が閾値より多いか否かを判定することを特徴とする請求項１〜５のいずれか１項に記載の符号化装置。
【請求項７】
前記判定手段は、前記画像データに含まれるオプティカルブラック領域の全体又は一部の画素値を符号化し、前記符号化により発生した符号量が閾値より多い場合には、前記ノイズ量が閾値より多いと判定し、前記符号化により発生した符号量が閾値より少ない場合には、前記ノイズ量が閾値より少ないと判定することを特徴とする請求項１〜６のいずれか１項に記載の符号化装置。
【請求項８】
前記判定手段は、前記画像データに含まれるオプティカルブラック領域の全体又は一部の画素値を符号化し、前記符号化により発生した符号量の基準値に対する比率が閾値より多い場合には、前記ノイズ量が閾値より多いと判定し、前記符号化により発生した符号量の基準値に対する比率が閾値より少ない場合には、前記ノイズ量が閾値より少ないと判定することを特徴とする請求項１〜６のいずれか１項に記載の符号化装置。
【請求項９】
前記画像データは、オプティカルブラック領域と、有効画素領域とを有し、
前記判定手段は、前記オプティカルブラック領域に対して符号化を行い、
前記符号化手段は、前記有効画素領域に対して符号化を行うことを特徴とする請求項６〜８のいずれか１項に記載の符号化装置。
【請求項１０】
前記判定手段は、前記画像データに含まれるオプティカルブラック領域の全体又は一部の画素値の標準偏差又は分散を算出し、前記標準偏差又は分散を基に、前記ノイズ量が閾値より多いか否かを判定することを特徴とする請求項１〜５のいずれか１項に記載の符号化装置。
【請求項１１】
前記判定手段は、前記画像データに含まれるオプティカルブラック領域の全体又は一部の画素値の標準偏差又は分散を算出し、前記標準偏差又は分散が閾値より多い場合には、前記ノイズ量が閾値より多いと判定し、前記標準偏差又は分散が閾値より少ない場合には、前記ノイズ量が閾値より少ないと判定することを特徴とする請求項１〜５のいずれか１項に記載の符号化装置。
【請求項１２】
前記判定手段は、前記画像データに含まれるオプティカルブラック領域の全体又は一部の画素値の標準偏差又は分散を算出し、前記標準偏差又は分散の基準値に対する比率が閾値より多い場合には、前記ノイズ量が閾値より多いと判定し、前記標準偏差又は分散の基準値に対する比率が閾値より少ない場合には、前記ノイズ量が閾値より少ないと判定することを特徴とする請求項１〜５のいずれか１項に記載の符号化装置。
【請求項１３】
前記判定手段は、前記画像データの撮像情報を基に、前記画像データに含まれるノイズ量を推定することを特徴とする請求項１〜４のいずれか１項に記載の符号化装置。
【請求項１４】
前記判定手段は、前記画像データの撮像感度又は露光時間を基に、前記画像データに含まれるノイズ量を推定することを特徴とする請求項１〜４のいずれか１項に記載の符号化装置。
【請求項１５】
前記判定手段は、前記画像データの撮像感度又は露光時間が閾値より大きい場合には、前記ノイズ量が閾値より多いと判定し、前記画像データの撮像感度又は露光時間が閾値より少ない場合には、前記ノイズ量が閾値より少ないと判定することを特徴とする請求項１〜４のいずれか１項に記載の符号化装置。
【請求項１６】
判定手段により、画像データに含まれるノイズ量を推定し、前記ノイズ量が閾値より多いか否かを判定する判定ステップと、
周波数変換手段により、前記ノイズ量が閾値より多い場合には、前記画像データを周波数変換することにより変換係数を生成する周波数変換ステップと、
符号化手段により、前記ノイズ量が閾値より多い場合には、前記変換係数に対して符号化を行い、前記ノイズ量が閾値より少ない場合には、前記画像データに対して符号化を行う符号化ステップと
を有することを特徴とする符号化方法。
【請求項１７】
コンピュータを、請求項１〜１５のいずれか１項に記載された符号化装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、符号化方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置は、広く普及し、一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの撮像素子で受光した光をデジタル信号に変換することにより、デジタル画像データを生成する。デジタル画像データを生成する過程では、撮像素子や回路の特性により、暗電流ノイズ、熱雑音、及びショットノイズなどが発生し、デジタル画像データにランダムなノイズ（ランダムノイズ）が混入する。
【０００３】
近年の撮像素子の小型化、高画素化に伴い、画素ピッチが極小化しているため、ランダムノイズが目立ちやすくなっており、特に撮像感度を高くした場合などは、ランダムノイズが顕著に発生する。こうした観点から、撮像データを記録する場合、ランダムノイズ成分を考慮した符号化を行い、記録することが望ましい。そこで、撮像条件に応じて、量子化テーブルを選択的に切り替えて符号化する方法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４７６５２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、ＲＡＷデータを符号化して記録する場合、素材性を重視するため、情報損失のない可逆符号化が重要となり、量子化が利用できない場合がある。そこで、撮像データに混入したノイズ量を考慮して効率的に可逆符号化する方法が望まれている。
【０００６】
本発明の目的は、ノイズ量に応じた効率的な符号化を行うことができる符号化装置、符号化方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の符号化装置は、画像データに含まれるノイズ量を推定し、前記ノイズ量が閾値より多いか否かを判定する判定手段と、前記ノイズ量が閾値より多い場合には、前記画像データを周波数変換することにより変換係数を生成する周波数変換手段と、前記ノイズ量が閾値より多い場合には、前記変換係数に対して符号化を行い、前記ノイズ量が閾値より少ない場合には、前記画像データに対して符号化を行う符号化手段とを有する。
【発明の効果】
【０００８】
本発明によれば、ノイズ量に応じた効率的な符号化を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態による撮像装置の構成例を示すブロック図である。
【図２】ＲＡＷデータの構成例を示す図である。
【図３】サブバンド分割を示す図である。
【図４】ＭＥＤ予測方法を示す図である。
【図５】第１の実施形態による符号化方法を示すフローチャートである。
【図６】ＩＳＯ感度と発生符号量の関係を示すグラフである。
【図７】ＩＳＯ感度と標準偏差の関係を示すグラフである。
【図８】第２の実施形態による符号化方法を示すフローチャートである。
【図９】ＲＡＷデータの分割例を示す図である。
【図１０】第３の実施形態による符号化方法を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
図１（ａ）は、本発明の第１の実施形態による撮像装置１００の構成例を示すブロック図である。撮像装置１００は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。撮像装置１００は、ＲＡＷデータを可逆符号化可能な符号化装置であり、制御部１０１、撮像部１０２、メモリＩ／Ｆ（インターフェース）部１０３、メモリ１０４、ＲＡＷデータ符号化部１０５、記録処理部１０６、及び記録媒体１０７を有する。
【００１１】
制御部１０１は、撮像装置１００を構成する各処理部を制御する。撮像部１０２は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系と、レンズ光学系からの光情報を電気信号に変換するＣＣＤイメージセンサ又はＣＭＯＳセンサなどの撮像素子を含む。撮像部１０２は、撮像素子により得られた電気信号をデジタル信号へ変換することにより、ＲＡＷデータ（画像データ）を生成する。制御部１０１は、撮像部１０２により生成されたＲＡＷデータを、メモリＩ／Ｆ部１０３を介して、メモリ１０４へ書き込む。
【００１２】
図２は、ＲＡＷデータの構成例を示す図である。ＲＡＷデータは、有効画素領域２０１と、オプティカルブラック領域２０２とを有する。オプティカルブラック領域２０２は、水平オプティカルブラック領域２０３と、垂直オプティカルブラック領域２０４とを有する。撮像部１０２の撮像素子は、遮光されている複数のオプティカルブラック画素と、遮光されていない複数の有効画素とを有する。有効画素領域２０１は、有効画素により生成されたＲＡＷデータの領域である。オプティカルブラック領域２０２は、オプティカルブラック画素により生成されたＲＡＷデータの領域である。ＲＡＷデータは、ベイヤ配列のＲ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の４つの色要素の画素のデータで構成される。なお、ＲＡＷデータの配列及び色要素は、この構成に限定されず、他の方式であってもよい。
【００１３】
図１（ａ）において、メモリＩ／Ｆ部１０３は、各処理部からのメモリアクセス要求を調停し、メモリ１０４に対する読み出し又は書き込みの制御を行う。メモリ１０４は、例えば揮発性メモリであり、撮像装置１００を構成する各処理部から出力される各種データを格納する。
【００１４】
ＲＡＷデータ符号化部１０５は、周波数変換部１０５ａ、予測差分生成部１０５ｂ、及びエントロピー符号化部１０５ｃを有する。制御部１０１は、メモリ１０４からベイヤ配列のＲＡＷデータを読み出し、ＲＡＷデータ符号化部１０５に出力する。周波数変換部１０５ａは、ベイヤ配列のＲＡＷデータを各色要素プレーンに分離し、分離された色要素プレーン単位で、所望の分解レベルで可逆型の離散ウェーブレット変換による周波数変換処理を行い、予測差分生成部１０５ｂへ変換係数を出力する。
【００１５】
図３（ａ）は、分解レベル１のサブバンド分割処理に関わる離散ウェーブレット変換を実現するためのフィルタバンク構成の例を示す図である。ステップＳ３０１において、周波数変換部１０５ａは、式（１）のローパスフィルタの伝達関数ｌｐｆ（ｚ）により、入力のＲＡＷデータに対して、水平方向のローパスフィルタ処理を行う。次に、ステップＳ３０２において、周波数変換部１０５ａは、ステップＳ３０１の処理後のデータに対して、２：１の間引きを行う。
【００１６】
【数１】
2019022080.tif 000003
【００１７】
次に、ステップＳ３０３において、周波数変換部１０５ａは、ステップＳ３０２の処理後のデータに対して、式（１）のローパスフィルタの伝達関数ｌｐｆ（ｚ）により、垂直方向のローパスフィルタ処理を行う。次に、ステップＳ３０４において、周波数変換部１０５ａは、ステップＳ３０３の処理後のデータに対して、２：１の間引きを行うことにより、図３（ｂ）のＬＬサブバンドの変換係数を生成する。
【００１８】
ステップＳ３０５において、周波数変換部１０５ａは、ステップＳ３０２の処理後のデータに対して、式（２）のハイパスフィルタの伝達関数ｈｐｆ（ｚ）により、垂直方向のハイパスフィルタ処理を行う。次に、ステップＳ３０６において、周波数変換部１０５ａは、ステップＳ３０５の処理後のデータに対して、２：１の間引きを行うことにより、図３（ｂ）のＨＬサブバンドの変換係数を生成する。
【００１９】
【数２】
2019022080.tif 000004
【００２０】
ステップＳ３１１において、周波数変換部１０５ａは、式（２）のハイパスフィルタの伝達関数ｈｐｆ（ｚ）により、入力のＲＡＷデータに対して、水平方向のハイパスフィルタ処理を行う。次に、ステップＳ３１２において、周波数変換部１０５ａは、ステップＳ３１１の処理後のデータに対して、２：１の間引きを行う。
【００２１】
次に、ステップＳ３１３において、周波数変換部１０５ａは、ステップＳ３１２の処理後のデータに対して、式（１）のローパスフィルタの伝達関数ｌｐｆ（ｚ）により、垂直方向のローパスフィルタ処理を行う。次に、ステップＳ３１４において、周波数変換部１０５ａは、ステップＳ３１３の処理後のデータに対して、２：１の間引きを行うことにより、図３（ｂ）のＬＨサブバンドの変換係数を生成する。
【００２２】
ステップＳ３１５において、周波数変換部１０５ａは、ステップＳ３１２の処理後のデータに対して、式（２）のハイパスフィルタの伝達関数ｈｐｆ（ｚ）により、垂直方向のハイパスフィルタ処理を行う。次に、ステップＳ３１６において、周波数変換部１０５ａは、ステップＳ３１５の処理後のデータに対して、２：１の間引きを行うことにより、図３（ｂ）のＨＨサブバンドの変換係数を生成する。
【００２３】
以上のように、周波数変換部１０５ａは、図２のＲＡＷデータを離散ウェーブレット変換することにより、図３（ｂ）のＬＬサブバンドＬＬ、ＨＬサブバンド、ＬＨサブバンド及びＨＨサブバンドの変換係数を生成する。
【００２４】
周波数変換部１０５ａは、分解レベルが１よりも大きい場合には、ＬＬサブバンドに対して、階層的にサブバンド分割を実行する。例えば、分解レベルが３の場合、周波数変換部１０５ａは、図３（ｃ）に示すようなサブバンド分割を行う。分解レベルが０の場合には、周波数変換部１０５ａは、離散ウェーブレット変換処理を行わず、入力されたＲＡＷデータをそのまま予測差分生成部１０５ｂに出力する。ここで、離散ウェーブレット変換は、式（１）及び（２）に示すように、５タップのローパスフィルタと３タップのハイパスフィルタを用いたが、これとは異なるタップ数及び異なる係数のフィルタを用いてもよく、可逆型であれば他の周波数変換方式であってもよい。
【００２５】
図１（ａ）において、予測差分生成部１０５ｂは、周波数変換部１０５ａから入力されたＲＡＷデータの画素値又は変換係数に対して、ＭＥＤ（Ｍｅｄｉａｎ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ）予測により予測値ｐｄを生成する。
【００２６】
図４は、ＭＥＤ予測方法を示す図である。予測差分生成部１０５ｂは、画素値又は変換係数の予測差分データを求める。以下、画素値の予測差分データを生成する方法を例に説明するが、変換係数の予測差分データの生成方法も同様である。予測差分生成部１０５ｂは、ＭＥＤ予測により、符号化対象画素ｘの周辺画素ａ〜ｄの値から、符号化対象画素の値に対する予測値ｐｄを生成する。画素ａ及びｂの値のうちの小さい方の値が画素ｃの値以上である場合には、画素ａ及びｂの値のうちの大きい方の値を、符号化対象画素ｘの予測値ｐｄとする。また、画素ａ及びｂの値のうちの大きい方の値が画素ｃの値以下である場合には、画素ａ及びｂの値のうちの小さい方の値を、符号化対象画素ｘの予測値ｐｄとする。それ以外の場合には、画素ａ及びｂの値の加算値から画素ｃの値を減算した値を、符号化対象画素ｘの予測値ｐｄとする。
【００２７】
次に、予測差分生成部１０５ｂは、符号化対象画素ｘの値と予測値ｐｄとの差分データを生成し、その差分データをエントロピー符号化部１０５ｃへ出力する。なお、予測差分生成部１０５ｂによる予測差分が生成されるのは、周波数変換部１０５ａにより生成された低周波数成分サブバンド（ＬＬサブバンド）のみであり、高周波数成分サブバンド（ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンド）には適用されない。
【００２８】
エントロピー符号化部１０５ｃは、予測差分生成部１０５ｂから入力されたデータに対して、例えばハフマン符号化又はゴロム符号化等により、エントロピー符号化を行い、符号化データを生成する。なお、予測方式及びエントロピー符号化方式は、他の方式であってもよい。制御部１０１は、エントロピー符号化部１０５ｃにより生成された符号化データを、メモリＩ／Ｆ部１０３を介して、メモリ１０４へ書き込む。
【００２９】
制御部１０１は、メモリ１０４から符号化データを読み出し、記録処理部１０６に出力する。記録処理部１０６は、符号化データに対して、所定の記録フォーマット化を行い、記録媒体１０７へ記録する。記録媒体１０７は、例えば、不揮発性メモリである。
【００３０】
ここで、一般的なＲＡＷデータは、隣接する画素値の類似性が高く、空間的な相関性が高いため、前述のような予測差分を利用した予測差分符号化が効率的なデータ圧縮に有効である。しかし、高ＩＳＯ感度条件等で撮像されたＲＡＷデータは、ノイズ成分を多く含むので、空間的な相関性が低下し、予測差分符号化における圧縮効率が低下してしまう。そのため、ＲＡＷデータ符号化部１０５は、周波数変換処理により周波数変換を行い、周波数帯域毎に相関性を高めたデータとして符号化を行うことにより、圧縮効率を向上させられると考えられる。
【００３１】
ここで、ＩＳＯ感度等の撮像条件に依存してＲＡＷデータに混入されるノイズ量は、有効画素領域２０１とオプティカルブラック領域２０２で同様であると考えられる。そこで、撮像装置１００は、オプティカルブラック領域２０２を解析することにより、ＲＡＷデータに含まれるノイズ量を推定し、そのノイズ量に応じて周波数変換の有効性を判定し、選択的に符号化する。これにより、撮像装置１００は、効率的に圧縮を行うことが可能となる。
【００３２】
図５は、第１の実施形態による撮像装置１００の符号化方法を示すフローチャートである。ステップＳ５０１において、ＲＡＷデータ符号化部１０５は、ＲＡＷデータのオプティカルブラック領域２０２の解析を行う。具体的には、ＲＡＷデータ符号化部１０５は、オプティカルブラック領域２０２の一部又は全体の画素値を符号化し、その符号化により発生した符号量を取得し、発生符号量に基づき、ＲＡＷデータに含まれるノイズ量を推定する。
【００３３】
次に、ステップＳ５０２において、ＲＡＷデータ符号化部１０５は、推定されたノイズ量を基に、周波数変換の有効性を判定する。ＲＡＷデータ符号化部１０５は、判定手段により、ノイズ量が閾値より少ない場合には、周波数変換が有効でないと判定し、ステップＳ５０５に処理を進める。ステップＳ５０５において、周波数変換部１０５ａは、周波数変換を行わず、予測差分生成部１０５ｂは、入力のＲＡＷデータの色要素プレーン単位で、符号化対象画素の周辺の画素から予測差分データを生成する。具体的には、予測差分生成部１０５ｂは、図４と同様に、符号化対象画素ｘの周辺画素ａ〜ｄからＭＥＤ予測により予測値ｐｄを生成し、符号化対象画素ｘの値と予測値ｐｄとの差分データを生成し、その差分データをエントロピー符号化部１０５ｃへ出力する。次に、ステップＳ５０６において、エントロピー符号化部１０５ｃは、予測差分生成部１０５ｂから入力された差分データに対して、例えばハフマン符号化又はゴロム符号化等により、エントロピー符号化を行い、符号化データを生成する。
【００３４】
ステップＳ５０２において、ＲＡＷデータ符号化部１０５は、判定手段により、ノイズ量が閾値より多い場合には、周波数変換が有効であると判定し、ステップＳ５０３に処理を進める。ステップＳ５０３において、周波数変換部１０５ａは、入力のＲＡＷデータの色要素プレーン単位で、周波数変換処理を行う。具体的には、周波数変換部１０５ａは、図３（ａ）〜（ｃ）と同様に、ベイヤ配列のＲＡＷデータを各色要素プレーンに分離し、分離された色要素プレーン単位で、所望の分解レベルで離散ウェーブレット変換による周波数変換処理を行い、変換係数を生成する。例えば、周波数変換部１０５ａは、低周波数成分サブバンド（ＬＬサブバンド）及び高周波数成分サブバンド（ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンド）の変換係数を生成する。次に、ステップＳ５０４において、ＲＡＷデータ符号化部１０５は、低周波数成分サブバンド（ＬＬサブバンド）の変換係数については、ステップＳ５０５に処理を進める。そして、ＲＡＷデータ符号化部１０５は、高周波数成分サブバンド（ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンド）の変換係数については、ステップＳ５０６に処理を進める。ステップＳ５０５において、予測差分生成部１０５ｂは、低周波数成分サブバンド（ＬＬサブバンド）の変換係数に対して、符号化対象変換係数の周辺の変換係数から予測差分データを生成する。具体的には、予測差分生成部１０５ｂは、図４と同様に、ＭＥＤ予測により、符号化対象変換係数ｘの周辺変換係数ａ〜ｄから、符号化対象変換係数に対する予測値ｐｄを生成する。そして、予測差分生成部１０５ｂは、符号化対象変換係数ｘと予測値ｐｄとの差分データを生成し、その差分データをエントロピー符号化部１０５ｃへ出力する。次に、ステップＳ５０６において、エントロピー符号化部１０５ｃは、低周波数成分サブバンド（ＬＬサブバンド）の差分データ及び高周波数成分サブバンド（ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンド）の変換係数に対して、符号化データを生成する。例えば、エントロピー符号化部１０５ｃは、ハフマン符号化又はゴロム符号化等により、エントロピー符号化を行い、符号化データを生成する。
【００３５】
次に、実際のＲＡＷデータの例を用いて、周波数変換の有効性の判定方法を具体的に説明する。図６は、ＩＳＯ感度とオプティカルブラック領域２０２の発生符号量の関係を示すグラフである。図６は、同じシーンにおいて、ＩＳＯ感度を１００から２０４８００まで１段ずつ変更して撮像したＲＡＷデータに対するＩＳＯ感度とオプティカルブラック領域２０２の発生符号量の関係を示す。「ＯＢ」は、ＲＡＷデータ符号化部１０５がオプティカルブラック領域２０２を符号化した場合に発生する符号量を示す。「ＨＯＢ」は、ＲＡＷデータ符号化部１０５が水平オプティカルブラック領域２０３を符号化した場合に発生する符号量を示す。「ＶＯＢ」は、ＲＡＷデータ符号化部１０５が垂直オプティカルブラック領域２０４を符号化した場合に発生する符号量を示す。横軸は、ＩＳＯ感度の段数を示しており、「１」が「ＩＳＯ感度＝１００」を示し、以降、１段進む毎にＩＳＯ感度の値は２倍となり、「１２」が「ＩＳＯ感度＝２０４８００」である。縦軸は、ＩＳＯ感度が１００の発生符号量（基準値）を１とした場合の発生符号量の比率を示している。
【００３６】
このＲＡＷデータの例では、ＩＳＯ感度＝１００からＩＳＯ感度＝４００までは、ほぼ同等の発生符号量である。ＩＳＯ感度８００以降は、一次関数的に発生符号量が増加している。これは、混入したノイズ量に対応して、発生符号量が増加していることを示している。そこで、図５に示したフローチャートに当てはめた場合、例えばＩＳＯ感度＝１００のオプティカルブラック領域２０２の発生符号量を基準として、比率が２倍以上の場合は、混入されたノイズ量が極めて多いことから、空間的な相関性も極めて低いと考えられる。そのため、ＲＡＷデータ符号化部１０５は、発生符号量の比率が２倍以上の場合には、周波数変換が有効であると判定することができる。例えば、ＲＡＷデータ符号化部１０５は、図６に示したＶＯＢの発生符号量の比率を基に、ＩＳＯ感度が２５６００以上の場合に、周波数変換が有効であると判定することが可能となる。
【００３７】
以上のように、ＲＡＷデータ符号化部１０５は、オプティカルブラック領域２０２の全体又は一部の発生符号量が閾値より多い場合には、周波数変換が有効であると判定する。また、ＲＡＷデータ符号化部１０５は、オプティカルブラック領域２０２の全体又は一部の発生符号量が閾値より少ない場合には、周波数変換が有効でないと判定する。
【００３８】
また、ＲＡＷデータ符号化部１０５は、オプティカルブラック領域２０２の全体又は一部の発生符号量の基準値に対する比率が閾値より多い場合には、周波数変換が有効であると判定する。また、ＲＡＷデータ符号化部１０５は、オプティカルブラック領域２０２の全体又は一部の発生符号量の基準値に対する比率が閾値より少ない場合には、周波数変換が有効でないと判定する。
【００３９】
ここでは、説明の単純化のために、周波数変換の有効性を判定する方法を示したが、周波数変換が有効である場合においては、発生符号量に応じて分解レベルを変更するようにしてもよい。
【００４０】
図１（ｂ）は、撮像装置１００の他の構成例を示すブロック図である。図１（ｂ）の撮像装置１００は、図１（ａ）の撮像装置１００に対して、オプティカルブラック解析部１０８を追加したものである。オプティカルブラック解析部１０８は、ＲＡＷデータ符号化部１０５の外部に設けられる。図１（ａ）の撮像装置１００では、オプティカルブラック領域２０２の解析として、ＲＡＷデータ符号化部１０５がオプティカルブラック領域２０２の発生符号量を算出する例を示した。これに対し、図１（ｂ）の撮像装置１００では、オプティカルブラック解析部１０８を専用に設け、オプティカルブラック解析部１０８がオプティカルブラック領域２０２の解析を行う。具体的には、オプティカルブラック解析部１０８は、オプティカルブラック領域２０２の画素値に対して、式（３）に示す分散σ2、又は式（４）に示す標準偏差σを算出することにより、オプティカルブラック領域２０２の画素値のバラツキを解析する。ここで、σ2は分散、σは標準偏差、ｎは測定対象画素数、ｘは画素値、μは測定対象画素の平均値である。オプティカルブラック解析部１０８は、分散σ2又は標準偏差σを基に、周波数変換の有効性を判定する。
【００４１】
【数３】
2019022080.tif 000005
【００４２】
図７（ａ）は、ＩＳＯ感度とオプティカルブラック領域２０２の標準偏差の関係を示すグラフである。図７（ａ）は、図６の例と同じＲＡＷデータを用いて、同様に、ＩＳＯ感度を１００〜２０４８００まで１段ずつ変更して撮像したＲＡＷデータに対するＩＳＯ感度とオプティカルブラック領域２０２の画素値の標準偏差の関係を示す。「ＯＢ」は、オプティカルブラック領域２０２の画素値の標準偏差を示す。「ＨＯＢ」は、水平オプティカルブラック領域２０３の画素値の標準偏差を示す。「ＶＯＢ」は、垂直オプティカルブラック領域２０４の画素値の標準偏差を示す。横軸は、ＩＳＯ感度の段数を示しており、「１」が「ＩＳＯ感度＝１００」を示し、以降、１段進む毎にＩＳＯ感度の値は２倍となり「１２」が「ＩＳＯ感度＝２０４８００」である。縦軸は、ＩＳＯ感度が１００の標準偏差（基準値）を１とした場合の標準偏差の比率を示している。
【００４３】
このＲＡＷデータの例では、図７（ａ）に示すように、ＩＳＯ感度＝１００からＩＳＯ感度＝４００までは、ほぼ同等の標準偏差を示している。ＩＳＯ感度８００以降は、二次関数的に標準偏差が増加しており、混入したノイズ量に対応し、標準偏差が増大していることを示している。
【００４４】
図７（ｂ）は、図７（ａ）の縦軸の標準偏差を対数目盛で置き換えたグラフであり、ＩＳＯ感度とオプティカルブラック領域２０２の標準偏差の関係を示す。図７（ｂ）の標準偏差の比率を示すグラフは、図６の発生符号量の比率を示すグラフと同様に、一次関数的に表現することが可能となる。オプティカルブラック解析部１０８は、図６の発生符号量を用いた場合と同様の方法で、標準偏差を用いて周波数変換の有効性を判定することができる。
【００４５】
すなわち、オプティカルブラック解析部１０８は、オプティカルブラック領域２０２の全体又は一部の画素値の標準偏差又は分散が閾値より大きい場合には、周波数変換が有効であると判定する。また、オプティカルブラック解析部１０８は、オプティカルブラック領域２０２の全体又は一部の画素値の標準偏差又は分散が閾値より小さい場合には、周波数変換が有効でないと判定する。
【００４６】
また、オプティカルブラック解析部１０８は、オプティカルブラック領域２０２の全体又は一部の画素値の標準偏差又は分散の基準値に対する比率が閾値より大きい場合には、周波数変換が有効であると判定する。また、オプティカルブラック解析部１０８は、オプティカルブラック領域２０２の全体又は一部の画素値の標準偏差又は分散の基準値に対する比率が閾値より小さい場合には、周波数変換が有効でないと判定する。
【００４７】
なお、基準となるＩＳＯ感度が１００の場合のオプティカルブラック領域２０２の解析結果は、事前に記憶させておいてもよいし、例えば電源投入時に毎回、解析して解析結果を取得するようにしてもよい。また、図６及び図７（ｂ）のグラフからも分かるように、オプティカルブラック領域２０２の発生符号量又は標準偏差の比率は、同様の傾向を示している。そのため、解析対象とするオプティカルブラック領域は、オプティカルブラック領域２０２、水平オプティカルブラック領域２０３、垂直オプティカルブラック領域２０４、又は同等の結果が得られるより小さい一部の領域であってもよい。
【００４８】
以上のように、撮像装置１００は、ＲＡＷデータに含まれるオプティカルブラック領域２０２の発生符号量、標準偏差又は分散を算出することにより、ＲＡＷデータに混入されたノイズ量を正確に推定することができる。撮像装置１００は、そのノイズ量に基づき、周波数変換の有効性を判定し、効率的に符号化して記録することができる。
【００４９】
（第２の実施形態）
図８は本発明の第２の実施形態による撮像装置１００の符号化方法を示すフローチャートであり、図９はＲＡＷデータの分割例を示す図である。本実施形態による撮像装置１００は、第１の実施形態で示した図１の撮像装置１００と同様の構成を有する。本実施形態の撮像装置１００は、第１の実施形態の撮像装置１００に対して、ＲＡＷデータの符号化方法が異なるため、共通となる説明は省略し、ＲＡＷデータの符号化方法について図８のフローチャートに基づき説明を行う。ＲＡＷデータは、図９に示すように、有効画素領域２０１と、水平オプティカルブラック領域２０３と、垂直オプティカルブラック領域２０４に分割されて符号化される。なお、分割の仕方や分割数については、これに限定されるものではなく、例えば垂直オプティカルブラック領域２０４と、有効画素領域２０１を含むそれ以外の領域との２つに分割してもよい。
【００５０】
ステップＳ８０１において、ＲＡＷデータ符号化部１０５は、ＲＡＷデータの水平オプティカルブラック領域２０３及び垂直オプティカルブラック領域２０４の画素値を符号化し、符号を発生させる。次に、ステップＳ８０２において、ＲＡＷデータ符号化部１０５は、その符号化により発生した符号量を取得する。次に、ステップＳ８０３において、ＲＡＷデータ符号化部１０５は、その発生した符号量に基づきノイズ量を推定し、ノイズ量を基に、有効画素領域２０１の符号化に対する周波数変換の有効性を判定する。例えば、ＲＡＷデータ符号化部１０５は、その発生した符号量が閾値より多い場合には、ノイズ量が閾値より多いと判定し、有効画素領域２０１の符号化に対する周波数変換が有効であると判定する。また、ＲＡＷデータ符号化部１０５は、その発生した符号量が閾値より少ない場合には、ノイズ量が閾値より少ないと判定し、有効画素領域２０１の符号化に対する周波数変換が有効でないと判定する。
【００５１】
ステップＳ８０３において、ＲＡＷデータ符号化部１０５は、周波数変換が有効でないと判定した場合には、ステップＳ８０６に処理を進める。ステップＳ８０６において、周波数変換部１０５ａは、周波数変換を行わず、予測差分生成部１０５ｂは、入力のＲＡＷデータの有効画素領域２０１の色要素プレーン単位で、符号化対象画素の周辺の画素から予測差分データを生成する。具体的には、予測差分生成部１０５ｂは、図４と同様に、符号化対象画素ｘの周辺画素ａ〜ｄからＭＥＤ予測により予測値ｐｄを生成し、符号化対象画素ｘの値と予測値ｐｄとの差分データを生成し、その差分データをエントロピー符号化部１０５ｃへ出力する。次に、ステップＳ８０７において、エントロピー符号化部１０５ｃは、予測差分生成部１０５ｂから入力された差分データに対して、例えばハフマン符号化又はゴロム符号化等により、エントロピー符号化を行い、符号化データを生成する。
【００５２】
また、ステップＳ８０３において、ＲＡＷデータ符号化部１０５は、周波数変換が有効であると判定した場合には、ステップＳ８０４に処理を進める。ステップＳ８０４において、周波数変換部１０５ａは、入力のＲＡＷデータの有効画素領域２０１の色要素プレーン単位で、周波数変換処理を行う。周波数変換部１０５ａは、図３（ａ）〜（ｃ）と同様に、ＲＡＷデータの有効画素領域２０１を各色要素プレーンに分離し、分離された色要素プレーン単位で、所望の分解レベルで離散ウェーブレット変換による周波数変換処理を行い、変換係数を生成する。例えば、周波数変換部１０５ａは、低周波数成分サブバンド（ＬＬサブバンド）及び高周波数成分サブバンド（ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンド）の変換係数を生成する。次に、ステップＳ８０５において、ＲＡＷデータ符号化部１０５は、低周波数成分サブバンド（ＬＬサブバンド）の変換係数については、ステップＳ８０６に処理を進める。そして、ＲＡＷデータ符号化部１０５は、高周波数成分サブバンド（ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンド）の変換係数については、ステップＳ８０７に処理を進める。ステップＳ８０６において、予測差分生成部１０５ｂは、低周波数成分サブバンド（ＬＬサブバンド）の変換係数に対して、符号化対象変換係数の周辺の変換係数から予測差分データを生成する。予測差分生成部１０５ｂは、図４と同様に、符号化対象変換係数ｘの周辺変換係数ａ〜ｄからＭＥＤ予測により予測値ｐｄを生成し、符号化対象変換係数ｘと予測値ｐｄとの差分データを生成し、その差分データをエントロピー符号化部１０５ｃへ出力する。次に、ステップＳ８０７において、エントロピー符号化部１０５ｃは、低周波数成分サブバンド（ＬＬサブバンド）の差分データ及び高周波数成分サブバンド（ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンド）の変換係数に対して、符号化データを生成する。例えば、エントロピー符号化部１０５ｃは、ハフマン符号化又はゴロム符号化等により、エントロピー符号化を行い、符号化データを生成する。
【００５３】
以上のように、撮像装置１００は、ＲＡＷデータをオプティカルブラック領域２０２と有効画素領域２０１に分割し、ステップＳ８０１でオプティカルブラック領域２０２の符号化を行うことで、その発生符号量を基にノイズ量を正確に推定することができる。撮像装置１００は、そのノイズ量に基づき、有効画素領域２０１に対する周波数変換の有効性を判定し、効率的に符号化して記録することができる。
【００５４】
（第３の実施形態）
図１０は、本発明の第３の実施形態による撮像装置１００の符号化方法を示すフローチャートである。本実施形態による撮像装置１００は、第１の実施形態で示した図１の撮像装置１００と同様の構成を有する。本実施形態の撮像装置１００は、第１の実施形態の撮像装置１００に対して、ＲＡＷデータの符号化方法が異なるため、共通となる説明は省略し、ＲＡＷデータの符号化方法について図１０のフローチャートに基づき説明を行う。
【００５５】
ステップＳ１００１において、ＲＡＷデータ符号化部１０５は、撮像情報を取得する。具体的には、ＲＡＷデータ符号化部１０５は、主にＩＳＯ感度（撮像感度）や露光時間に起因するノイズ量を推定するために、撮像情報として、撮像時のＩＳＯ感度情報又は露光時間情報を取得する。次に、ステップＳ１００２において、ＲＡＷデータ符号化部１０５は、撮像情報を基に、ＲＡＷデータに含まれるノイズ量を推定し、ノイズ量に基づき周波数変換の有効性を判定する。この判定条件は、撮像部１０２の特性によって決定される条件であり、予め実験により統計的に得られた値を基に判定する。例えば、ＲＡＷデータ符号化部１０５は、ＩＳＯ感度又は露光時間が閾値より大きい場合には、ノイズ量が閾値より多いと判定し、周波数変換が有効であると判定する。また、ＲＡＷデータ符号化部１０５は、ＩＳＯ感度又は露光時間が閾値より小さい場合には、ノイズ量が閾値より小さいと判定し、周波数変換が有効でないと判定する。
【００５６】
ステップＳ１００２において、ＲＡＷデータ符号化部１０５は、周波数変換が有効でないと判定した場合には、ステップＳ１００５に処理を進める。ステップＳ１００５において、周波数変換部１０５ａは、周波数変換を行わず、予測差分生成部１０５ｂは、入力のＲＡＷデータの色要素プレーン単位で、符号化対象画素の周辺の画素から予測差分データを生成する。具体的には、予測差分生成部１０５ｂは、図４と同様に、符号化対象画素ｘの周辺画素ａ〜ｄからＭＥＤ予測により予測値ｐｄを生成し、符号化対象画素ｘの値と予測値ｐｄとの差分データを生成し、その差分データをエントロピー符号化部１０５ｃへ出力する。次に、ステップＳ１００６において、エントロピー符号化部１０５ｃは、予測差分生成部１０５ｂから入力された差分データに対して、例えばハフマン符号化又はゴロム符号化等により、エントロピー符号化を行い、符号化データを生成する。
【００５７】
また、ステップＳ１００２において、ＲＡＷデータ符号化部１０５は、周波数変換が有効であると判定した場合には、ステップＳ１００３に処理を進める。ステップＳ１００３において、周波数変換部１０５ａは、入力のＲＡＷデータの色要素プレーン単位で、周波数変換処理を行う。具体的には、周波数変換部１０５ａは、図３（ａ）〜（ｃ）と同様に、ベイヤ配列のＲＡＷデータを各色要素プレーンに分離し、分離された色要素プレーン単位で、所望の分解レベルで離散ウェーブレット変換による周波数変換処理を行い、変換係数を生成する。例えば、周波数変換部１０５ａは、低周波数成分サブバンド（ＬＬサブバンド）及び高周波数成分サブバンド（ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンド）の変換係数を生成する。次に、ステップＳ１００４において、ＲＡＷデータ符号化部１０５は、低周波数成分サブバンド（ＬＬサブバンド）の変換係数については、ステップＳ１００５に処理を進める。そして、ＲＡＷデータ符号化部１０５は、高周波数成分サブバンド（ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンド）の変換係数については、ステップＳ１００６に処理を進める。ステップＳ１００５において、予測差分生成部１０５ｂは、低周波数成分サブバンド（ＬＬサブバンド）の変換係数に対して、符号化対象変換係数の周辺の変換係数から予測差分データを生成する。予測差分生成部１０５ｂは、図４と同様に、符号化対象変換係数ｘの周辺変換係数ａ〜ｄからＭＥＤ予測により予測値ｐｄを生成し、符号化対象変換係数ｘと予測値ｐｄとの差分データを生成し、その差分データをエントロピー符号化部１０５ｃへ出力する。次に、ステップＳ１００６において、エントロピー符号化部１０５ｃは、低周波数成分サブバンド（ＬＬサブバンド）の差分データ及び高周波数成分サブバンド（ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンド）の変換係数に対して、符号化データを生成する。例えば、エントロピー符号化部１０５ｃは、ハフマン符号化又はゴロム符号化等により、エントロピー符号化を行い、符号化データを生成する。
【００５８】
以上のように、撮像装置１００は、ＲＡＷデータに対するＩＳＯ感度情報や露光時間情報等の撮像情報に基づき、ＲＡＷデータに混入されたノイズ量を推定する。撮像装置１００は、そのノイズ量に基づき、周波数変換の有効性を判定し、効率的に符号化して記録することができる。
【００５９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６０】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６１】
１０５：ＲＡＷデータ符号化部、１０５ａ：周波数変換部、１０５ｂ：予測差分生成部、１０５ｃ：エントロピー符号化部
【図１】
2019022080.tif 000006
【図２】
2019022080.tif 000007
【図３】
2019022080.tif 000008
【図４】
2019022080.tif 000009
【図５】
2019022080.tif 000010
【図６】
2019022080.tif 000011
【図７】
2019022080.tif 000012
【図８】
2019022080.tif 000013
【図９】
2019022080.tif 000014
【図１０】
2019022080.tif 000015