(57)【要約】      （修正有）【課題】画質を担保にしつつ、撮像に係る感度に応じて効率良くＲＡＷデータを符号化する画像符号化装置及びその制御方法及びプログラムを提供する。【解決手段】画像データを符号化する画像符号化装置は、撮像部により撮像して得られた画像データを周波数変換、量子化、そして、符号化する符号化部と、画像データを撮像した際の感度に関する情報を取得する取得部と、該取得部で取得した感度に関する情報に基づき複数の量子化方法の中から１つを選択し、選択した量子化方法で符号化部により量子化を行うように制御する制御部とを有する。【選択図】図１
2020109923.tif 000002
【特許請求の範囲】
【請求項１】
画像データを符号化する画像符号化装置であって、
撮像手段により撮像して得られた画像データを周波数変換、量子化、そして、符号化する符号化手段と、
前記画像データを撮像した際の感度に関する情報を取得する取得手段と、
該取得手段で取得した感度に関する情報に基づき複数の量子化方法の中から１つを選択し、選択した量子化方法で前記符号化手段により量子化を行うように制御する制御手段と
を有することを特徴とする画像符号化装置。
【請求項２】
前記複数の量子化方法は、
画像データ内で固定の量子化パラメータを用いて量子化する第１の量子化方法と、
画像データ内で異なる量子化パラメータを用いることが可能な量子化方法であって、発生符号量が所定の符号量に収まるように量子化パラメータを決定して量子化する第２の量子化方法と、
画像データ内で異なる量子化パラメータを用いることが可能な量子化方法であって、所定の範囲内の量子化パラメータを用いて量子化する第３の量子化方法と、
を含むことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記所定の範囲の下限値は固定の値であり、前記所定の範囲の上限値はユーザによる設定に応じて決定される値であることを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記所定の符号量は、目標符号量であり、ユーザによる設定に応じて決定されることを特徴とする請求項２に記載の画像符号化装置。
【請求項５】
前記取得手段は、ＩＳＯ感度の情報を取得し、
前記制御手段は、前記取得したＩＳＯ感度が第１の閾値よりも小さいときは第１の量子化方法を選択し、前記取得したＩＳＯ感度が前記第１の閾値よりも大きく第２の閾値よりも小さい場合は、第３の量子化方法を選択し、前記取得したＩＳＯ感度が前記第1の閾値よりも大きく第２の閾値よりも大きい場合は、第２の量子化方法を選択することを特徴とする請求項２に記載の画像符号化装置。
【請求項６】
前記取得手段は、更に、露光時間に関する情報を取得し、
前記制御手段は、前記取得手段により取得した感度に関する情報と露光時間に関する情報とに基づいて、複数の量子化方法の中から量子化方法を選択することを特徴とする請求項１に記載の画像符号化装置。
【請求項７】
前記符号化手段は、
前記ＲＡＷデータを、それぞれが単一成分のデータで構成される４つのプレーンデータに変換するプレーン変換手段と、
前記プレーン変換手段の変換で得た各プレーンデータを周波数変換することで複数のサブバンドを生成する周波数変換手段と、
設定された量子化方法に従って、前記周波数変換手段で得た各サブバンドの変換係数を量子化する量子化手段と、
該量子化手段による量子化後の変換係数をサブバンド毎にエントロピー符号化するエントロピー符号化手段と
を含むことを特徴とする請求項１に記載の画像符号化装置。
【請求項８】
前記ＲＡＷデータはベイヤ配列の画像データであって、ベイヤ配列における隣接する２×２画素をＲ，Ｂ，Ｇ１，Ｇ２の画素と定義したとき、
前記プレーン変換手段は、前記ＲＡＷデータを、Ｒ画素のみの構成されるＲプレーン、Ｂ画素のみで構成されるＢプレーン、Ｇ１画素のみで構成されるＧ１プレーン、および、Ｇ２画素のみで構成されるＧ２プレーンに変換する
ことを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
前記ＲＡＷデータはベイヤ配列の画像データであって、
前記プレーン変換手段は、輝度のみの輝度プレーンと、互いに異なる３つの色差プレーンに変換する
ことを特徴とする請求項７に記載の画像符号化装置。
【請求項１０】
前記複数の量子化方法は、
サブバンドに含まれる変換係数を、非変動の量子化パラメータに従って量子化する第１の量子化方法と、
着目サブバンドの着目ラインの量子化パラメータを、直前のラインまでに生成された符号化データの総量と前記直前のラインまでの目標符号量との差分に基づいて更新し、当該更新後の量子化パラメータを用いて前記着目ラインの変換係数を量子化する第２の量子化方法と、
前記第２の量子化方法における量子化パラメータを、予め設定された上限と下限の範囲内で推移するように制御する第３の量子化方法と
を含むことを特徴とする請求項７乃至９のいずれか１項に記載の画像符号化装置。
【請求項１１】
前記制御手段は、前記ＩＳＯ感度に応じて、前記第２の量子化方法、前記第３の量子化方法で用いる、各サブバンドの先頭ラインで用いる量子化パラメータを設定することを特徴とする請求項１０に記載の画像符号化装置。
【請求項１２】
前記制御手段は、
前記取得手段が取得した情報が示す感度と、予め設定された第１の閾値、及び、当該第１の閾値よりも大きい第２の閾値との比較による大小判定において、
前記感度が第１の閾値に対して小さい場合は前記第１の量子化方法を選択し、
前記感度が前記第１の閾値に対して大きく、且つ、前記第２の閾値に対して小さい場合は前記第３の量子化方法を選択し、
前記感度が前記第２の閾値に対して大きい場合は前記第２の量子化方法を選択する
ことを特徴とする請求項１０又は１１に記載の画像符号化装置。
【請求項１３】
前記取得手段は、更に、前記撮像手段による露光時間に関する情報を取得し、
前記制御手段は、
前記取得手段が取得した情報が示す感度と、予め設定された第１の閾値、及び、当該第１の閾値よりも大きい第２の閾値との比較による大小判定、並びに、
前記取得手段が取得した情報が示す露光時間と、予め設定された第３の閾値、及び、当該第３の閾値よりも大きい第４の閾値との比較による大小判定において、
前記感度が前記第１の閾値に対して小さく、且つ、前記露光時間が前記第３の閾値よりも小さいことを示す第１の条件を満たす場合に前記第１の量子化方法を選択し、
前記感度が前記第１の閾値に対して大きく、且つ、前記第２の閾値に対して小さく、且つ、前記露光時間が前記第４の閾値より小さいことを示す第２の条件を満たす場合に前記第３の量子化方法を選択し、
前記第１条件及び前記第２の条件のいずれも満たさない場合は前記第２の量子化方法を選択する
ことを特徴とする請求項１０又は１１に記載の画像符号化装置。
【請求項１４】
前記制御手段は、前記露光時間に応じて、前記第２の量子化方法、前記第３の量子化方法で用いる、各サブバンドの先頭ラインで用いる量子化パラメータを設定することを特徴とする請求項１３に記載の画像符号化装置。
【請求項１５】
画像データを符号化する画像符号化装置の制御方法であって、
撮像手段により撮像して得られた画像データを周波数変換、量子化、そして、符号化する符号化工程と、
前記画像データを撮像した際の感度に関する情報を取得する取得工程と、
該取得工程で取得した感度に関する情報に基づき複数の量子化方法の中から１つを選択し、選択した量子化方法で前記符号化工程により量子化を行うように制御する制御工程と
を有することを特徴とする画像符号化装置の制御方法。
【請求項１６】
コンピュータが読み込み実行することで、前記コンピュータに、請求項１５に記載の方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像データ、特にＲＡＷ画像データの符号化技術に関するものである。
【背景技術】
【０００２】
昨今のデジタルカメラに代表される撮像装置は、撮像センサによって撮像された生の画像情報（ＲＡＷデータ）をデベイヤ処理（デモザイク処理）し、輝度と色差から成るデータに変換して、各データについてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行う。そして、撮像装置は、現像処理された輝度及び色差データを圧縮符号化し、記録媒体に記録する。
【０００３】
一方、撮像センサで得られた直後の現像未処理の撮像データ（ＲＡＷデータ）を記録媒体に格納する撮像装置もある。ＲＡＷデータは、撮像センサからの色情報を損ねることなく豊富な色階調数を保ったまま記録するため、ＪＰＥＧと比べて自由度の高い編集が可能なるためである。ＲＡＷデータはデータ量が膨大であるため、記録メディアの空き領域を圧迫させてしまうという問題がある。そのため、ＲＡＷデータにおいても可逆あるいは非可逆の圧縮符号化を行い、データ量を抑えて記録することが望まれる。
【０００４】
ここで、ベイヤ配列のＲＡＷデータを符号化する方法が下記の特許文献１に開示されている。この特許文献１は、ＲＡＷデータをＲ、Ｇ１、Ｇ２、Ｂの４つのプレーンデータに分離すること、各プレーンデータを周波数分解して得たサブバンドデータに対して固定的な量子化パラメータを用いて量子化、そして符号化することを開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１２５２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された技術は、撮像条件に起因するノイズを考慮していないため、ノイズ発生における効率的なＲＡＷデータの符号化方法とはなっていない。例えば、高感度撮影で得たＲＡＷデータは、画素値の増幅と共にノイズ成分も増幅されることになる。よって、そのＲＡＷデータに対して周波数変換を行った場合には、高周波成分に、より多くの有意な係数が発生し、符号量が増大する。人間の視覚は高周波成分に対して鈍感であるので、高周波成分を固定的な量子化パラメータを用いた量子化が好適であるといえるが、感度を高くするほど、符号量が増加するのは避けられない。
【０００７】
本発明は上記の問題点に鑑み、画質を担保にしつつ、撮像に係る感度に応じて効率良くＲＡＷデータを符号化する技術を提供しようとするものである。
【課題を解決するための手段】
【０００８】
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像データを符号化する画像符号化装置であって、
撮像手段により撮像して得られた画像データを周波数変換、量子化、そして、符号化する符号化手段と、
前記画像データを撮像した際の感度に関する情報を取得する取得手段と、
該取得手段で取得した感度に関する情報に基づき複数の量子化方法の中から１つを選択し、選択した量子化方法で前記符号化手段により量子化を行うように制御する制御手段とを有する。
【発明の効果】
【０００９】
本発明によれば、画質を担保にしつつ、撮像に係る感度に応じて効率良くＲＡＷデータを符号化することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る画像符号化装置のブロック構成図。
【図２】ベイヤ配列の画像データの色分離及びプレーン形成の例を示す図。
【図３】ウェーブレット変換によるサブバンド形成を示す図。
【図４】第１の実施形態における第１の量子化方法の量子化パラメータの設定例を示す図。
【図５】第１の実施形態における第２１の量子化方法の量子化パラメータの設定例を示す図。
【図６】第１の実施形態における第３の量子化方法の量子化パラメータの設定例を示す図。
【図７】第１の実施形態に係る第１の量子化方法と第２の量子化方法の発生符号量の推移を示す図。
【図８】第１の実施形態に係る量子化方法決定手順を示すフローチャート。
【図９】第２の実施形態に係る量子化方法決定手順を示すフローチャート。
【図１０】第２の実施形態に係るＩＳＯ感度と露光時間の組み合わせと各条件下で決定する量子化方法の関係を示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
［第１の実施形態］
図１は、撮像装置に適用される第１の実施形態の画像符号化装置１００のブロック構成図である。以下、同図を参照し、その構成及び処理の流れを説明する。
【００１３】
制御部１０１は、ＣＰＵ、ＣＰＵが実行するプログラムや各種データを格納しているＲＯＭ、および、ＣＰＵのワークエリアとして使用されるＲＡＭで構成される。そして、ＣＰＵがプログラムを実行することで、制御部１０１は画像符号化装置が有する各処理部を制御することになる。また、操作部１０１は、ユーザからの指示を受け付けるための各種スイッチやボタン等で構成される操作部１１０、並びに、ユーザに各種情報を通知したり、撮像画像を表示したりする表示部１１１が接続されている。これら操作部１１０及び表示部１１１が、本装置におけるユーザインターフェースとして機能することになる。
【００１４】
撮像部１０２は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系と、レンズ光学系による結像した光を電気信号に変換するＣＣＤイメージセンサもしくはＣＭＯＳイメージセンサ等の撮像素子とを含む。そして、撮像素子の表面には、赤、緑、青の３つ種類のフィルタが周期的に配列されている。その中の隣接する２×２個のフィルタの内訳は、１つ赤、２つの緑、１つの青であり、この２×２個のフィルタが周期的に並んでいる。かかる配列は一般にベイヤ配列と呼ばれるものである。撮像部１０２は、撮像素子により得られた電気信号を、制御部１０１により設定されたＩＳＯ感度に従った増幅率で調整し、その調整後の電気信号をデジタル信号に変換して、ＲＡＷデータとしてプレーン変換部１０３へ出力する。当然、このＲＡＷデータの画素の配列はベイヤ配列となる。ＲＡＷデータ内の隣接する２×２画素には、２つの緑画素が含まれるので、これを区別するため一方をＧ１、他方をＧ２と表す。また、赤はＲ，青はＧと表す。また、以降、Ｒ，Ｂ，Ｇ１，Ｇ２を、色又は成分とも表現する。
【００１５】
プレーン変換部１０３は、撮像部１０２から１フレームのＲＡＷデータを入力するたびに、そのＲＡＷデータから、それぞれが単一成分の４つプレーンデータに変換する。そして、プレーン変換部１０３は、変換で得た４つのプレーンデータを周波数変換部１０４に出力する。ここで、プレーンデータへの変換例を図２に示す。図２の例では、ベイヤ配列のＲＡＷデータから、Ｒ画素のみで構成Ｒプレーン、Ｇ１画素のみで構成されるＧ１プレーン、Ｇ２画素のみで構成されるＧ２プレーン、及び、Ｂ画素のみで構成されるＢプレーンへの変換例を示している。なお、プレーンデータへの変換方法はこれに限定されるものではなく、例えば、次式（１）に示すように、近似的に、輝度Ｙのみで構成される輝度プレーンと、色差Ｃ０，Ｃ１，Ｃ２それぞれを表す３つの色差プレーンへ変換する方法などを適用しても良い。
Ｙ＝（Ｒ＋Ｇ１＋Ｇ２＋Ｂ）／４
Ｃ０＝Ｒ−Ｂ
Ｃ１＝（Ｇ０＋Ｇ１）／２−（Ｒ＋Ｂ）／２
Ｃ２＝Ｇ０−Ｇ１                          …（１）
【００１６】
周波数変換部１０４は、プレーン変換部１０３からプレーンデータを入力し、各プレーンデータに対して周波数変換を施し、変換係数を得る。そして、周波数変換部１０４は、各プレーンデータから得た変換係数を量子化部１０６に出力する。ここで、周波数変換として、離散ウェーブレット変換を用いた場合の例を図３に示す。図３は、離散ウェーブレット変換を垂直方向、水平方向にそれぞれ１回施した、分解レベル１の場合のサブバンド形成図である。図３において、ＬＬサブバンドは低周波成分を表し、それ以外のサブバンドは高周波成分を表す。また、離散ウェーブレット変換を複数実行する場合（分解レベル２以降）は、前回の変換で得たＬＬサブバンドに対して再帰的に実施する。この結果、階層的なサブバンドが生成されることになる。
【００１７】
量子化制御部１０５は、制御部１０１から入力されるＩＳＯ感度に応じて、予め設定された複数の量子化方法の１つを選択する。実施形態では、選択候補の量子化方法として第１の量子化方法、第２の量子化方法、第３の量子化方法の３つの例を説明する。各々の量子化方法、量子化方法決定フローの詳細な説明については後述する。そして、量子化制御部１０５は、選択した量子化方法、及び、制御部１０１から入力される圧縮率とに基づいて量子化パラメータを決定する。そして、量子化制御部１０５は、決定した量子化パラメータを量子化部１０６に設定する。
【００１８】
量子化部１０６は、周波数変換部１０４から入力されるサブバンド毎に、各サブバンドに含まれる変換係数を、量子化制御部１０５から入力される量子化パラメータに従った量子化を実行し、量子化後の変換係数をエントロピー符号化部１０７に出力する。
【００１９】
エントロピー符号化部１０７は、量子化部１０６で量子化後の変換係数を圧縮符号化し、生成した符号化データを記録媒体１０８に出力する。この圧縮符号化は、例えば、ゴロム符号化のようなエントロピー符号化を用いて実施する。
【００２０】
記録媒体１０８は、例えばＳＤカード等の、不揮発性メモリで構成される記録メディアであり、エントロピー符号化部１０７が出力した符号化データを保持する。
【００２１】
次に、実施形態における量子化制御部１０５で選択する３つの量子化方法について説明する。
【００２２】
［第１の量子化方法］
第１の量子化方法では、１つのサブバンドを面内で均一に量子化する方法である。ここでの量子化パラメータは、１サブバンドにつき１パラメータの関係である。周波数変換部１０４で行うウェーブレット変換の分解レベルが１の場合、図４に示すように１枚のＲＡＷデータから４プレーン４サブバンドで計１６個の量子化パラメータを設定することになる。１６個の量子化パラメータは、圧縮率毎に画質を保証するような統計値を予め用意して量子化に適用すれば良い。このように、第１の量子化方法は、画質保証の量子化パラメータをサブバンド内で非変動としているため、保証する画質を面内で均一に保つことができる量子化方法となっている。
【００２３】
［第２の量子化方法］
第２の量子化方法では、画面内の発生符号量をユーザにより操作部１０１から入力された圧縮率から求まる目標符号量に収束させるために、サブバンドのラインを設定単位として量子化パラメータを変更（更新）しながら量子化する。
【００２４】
図５は、或るサブバンドを第０ライン（先頭ライン）から順に量子化、符号化を行った際の符号量の推移を示している。図５の右肩上がりの点線は、操作部１０１から入力された圧縮率から求まるピクチャの目標符号量と原点を結んだものである。また、第０ラインから第ｉラインまでの累積目標量をＴＡ（ｉ）と表す。実際の発生符号量はＴＡ（ｉ）に沿って推移するとは限らず、ＴＡ（ｉ）を上回ったり、下回ったりするので、量子化パラメータをライン単位に更新し、符号量の発生を抑制する必要がある。
【００２５】
具体的には、今、着目サブバンドの量子化、符号化対象を第ｉライン（着目ライン）としたとき、直前のラインである第ｉ−１ラインまでは既に量子化、符号化が完了していると言える。そこで、第０ラインから第ｉ−１ラインまでの符号化で発生した符号の総量が、目標符号量ＴＡ（ｉ−１）を上回った場合には、直前のラインの量子化で用いた量子化パラメータを所定値だけ増加するように更新する。そして、着目ラインの変換係数を、更新後の量子化パラメータを用いて量子化する。
【００２６】
一方、第０ラインから直前のラインである第ｉ−１ラインまでに発生した符号総量が、目標符号量ＴＡ（ｉ−１）を下回った場合には、符号量を増やして画質を高めても良い。それ故、直前のラインの量子化で用いた量子化パラメータを所定値だけ減少するように更新する。そして、着目ラインの変換係数を、更新後の量子化パラメータを用いて量子化する。
【００２７】
このように、第２の量子化方法は、発生符号量に基づき量子化パラメータをライン単位で可変するため、目標符号量への収束性が高い量子化方法となっている。なお、量子化パラメータを増減する所定値は、サブバンドの種類（分解レベルを含む）に依存した値である。
【００２８】
［第３の量子化方法］
ライン単位で量子化パラメータを可変させることによって発生符号量を制御するという点では、上記の第２の量子化方法と共通である。そこで、この第３の量子化方法における、第２の量子化方法との差分となる、目標符号量の設定、量子化パラメータの設定について説明する。
【００２９】
第３の量子化方法では、目標符号量ＴＢ（ｉ）に収束するように符号量制御を行う。目標符号量ＴＢ（ｉ）は、圧縮率に基づく目標符号量ＴＡ（ｉ）よりも大きい任意の値である。目標符号量が大きく設定されれば、量子化パラメータを小さく設定することが可能になるため、第２の量子化方法と比べてより画質を優遇することが可能である。なお、目標符号量ＴＢ（ｉ）は、目標符号量ＴＡ（ｉ）に応じてプリセット決定するものであっても良い。
【００３０】
また、第３の量子化方法は、目標符号量に基づき図６に示すような量子化パラメータの下限値と上限値を予め設け、量子化パラメータが下限値と上限値の範囲内で推移するように制御する。量子化パラメータが下限値を下回る場合は下限値にクリップし、量子化パラメータが上限値を上回る場合は上限値にクリップする。これは、第１の量子化方法で用いる面内固定の量子化パラメータを下限値に設定することで第１の量子化方法よりも発生符号量を抑制するように動作し、また、画質を保証する量子化パラメータを上限値に設定することで第２の量子化方法よりも画質劣化が少なく動作するように制御することを目的としている。つまり、画質と発生符号量のバランスを考慮した、第１の量子化方法と第２の量子化方法の中間に位置する量子化方法となっている。なお、上限値は、ユーザによる画質の設定に応じて決定される値である。
【００３１】
［ＩＳＯ感度と発生符号量の関係］
ＩＳＯ感度と発生符号量の関係について図７を用いて説明する。図７において、水平軸はＩＳＯ感度を、垂直軸は発生符号量を表し、第１の量子化方法を用いて量子化を行った場合の発生符号量の推移を参照符号７０１、第２の量子化方法を用いて量子化を行った場合の発生符号量の推移を参照符号７０２で示している。参照符号７０１の通り、第１の量子化方法では、量子化パラメータは固定としているため、ＩＳＯ感度が上がるほど、ノイズ成分の増幅に起因して発生符号量も単調増加する。一方、参照符号７０２は、ＩＳＯ感度に依らず量子化パラメータを可変させて発生符号量を一定に保つように制御する。ここで、参照符号７０１が示す第１の量子化方法、参照符号７０２が示す第２の量子化方法の課題について考察する。
・第１の量子化方法（７０１）の課題：
ＩＳＯ感度が高いとき、画像情報量はノイズ成分の比重が高くなるため、高周波成分をより粗く量子化しても視覚的な影響は出にくい。しかし、この方法では、量子化パラメータが固定のため、ＩＳＯ感度が高くなるほど発生符号量が大きくなり、符号量を抑制することができない。
・第２の量子化方法（７０２）の課題：
第２の量子化方法では、発生符号量を抑制するために量子化パラメータを大きく設定せざるを得ないケースがある。ＩＳＯ感度が高い場合、画像情報量はノイズ成分の比重が高いため画質への影響は少ないのだが、ＩＳＯ感度が低い場合は、画像情報量に占めるノイズの割合が小さく量子化による視覚的な影響が出やすくなるため、画質劣化が顕著に現れる可能性がある。
【００３２】
このように、上記２つのいずれか一方の量子化方法を用いて量子化を行う場合、画質の担保と発生符号量の抑制を両立することは難しい。また、第１の量子化方法と第２の量子化方法をＩＳＯ感度に応じて選択して使用できたとする。しかし、画質担保と発生符号量の抑制が両立できないＩＳＯ感度帯（ＩＳＯ感度が高くもなく低くもない中間帯）が存在する可能性もある。本実施形態では、上記のケースを想定し、制御の選択肢を増やすために第３の量子化方法を加える。そして、ＩＳＯ感度に起因するノイズ量に応じて３つの量子化方法を変更させる構成として説明する。
【００３３】
ここで、ＩＳＯ感度の大きさに対するノイズ量の関係から、以下に示す３つの条件を定義する。そして、各条件に従って量子化方法を決定する処理を図８のフローチャートを用いて説明を行う。
（１）ＩＳＯ感度＜Ｔｉ１        ：ノイズ量小、量子化による画質劣化が視認しやすい。
（２）Ｔｉ１≦ＩＳＯ感度＜Ｔｉ２：ノイズ量中、量子化による画質劣化が視認可能。
（３）Ｔｉ２≦ＩＳＯ感度        ：ノイズ量大、量子化による画質劣化が視認しにくい。
なお、定義づけを行うためのＩＳＯ感度の閾値Ｔｉ１、Ｔｉ２は任意の値であり、センサ仕様に応じて変更すれば良い。また、いくつかの｛Ｔｉ１、Ｔｉ２｝の組み合わせを用意しておき、ユーザがそのうちの１つを選択して、実際に用いる閾値Ｔｉ１，Ｔｉ２を決定しても良い。なお、ＩＳＯ感度の大小判定を行うための閾値Ｔｉ１、Ｔｉ２の関係は、Ｔｉ１＜Ｔｉ２である。
【００３４】
［量子化方法決定フロー］
Ｓ８０１にて、制御部１０１は、操作部１１０により設定されたＩＳＯ感度を取得し、そのＩＳＯ感度に従った利得となるよう、撮像部１０２に設定する。
【００３５】
Ｓ８０２にて、制御部１０１は、Ｓ８０１で取得したＩＳＯ感度と閾値Ｔｉ１とを比較し、ＩＳＯ感度が閾値Ｔｉ１より小さいか否かを判定する。ＩＳＯ感度がＴｉ１より小さい場合、制御部１０１は処理をＳ８０３に処理を進め、そうでない場合はＳ８０４に処理を進める。
【００３６】
Ｓ８０３にて、制御部１０１は、ＩＳＯ感度に起因するノイズが小さく量子化による視覚的な影響が出やすくなるため量子化方法を第１の量子化方法に決定し、量子化制御部１０５に設定する。
【００３７】
Ｓ８０４にて、制御部１０１は、Ｓ８０１で取得したＩＳＯ感度に応じた画面先頭の量子化パラメータを設定する。画面先頭の量子化パラメータは、ＩＳＯ感度毎の統計値を予めテーブルとして保持して起き、Ｓ８０１で取得したＩＳＯ感度に応じてその１つのテーブルを切り替えれば良い。
【００３８】
ここでＳ８０４の目的について説明する。仮に、画面先頭の量子化パラメータが、低ＩＳＯ感度を基準に決定した固定値であったとする。ここでは、ＩＳＯ感度≧Ｔｉ１（ノイズ量中あるいはノイズ量大）で画像情報量が多いため、低ＩＳＯ感度を基準に決定した量子化パラメータでは符号が多く発生してしまうことが想定される。このように画面上部に符号が多く発生すると、画面下部へ割り振る符号が不足し、量子化パラメータが大きくなることで画面下部の視覚的劣化が目立ちやすくなってしまうことがある。この符号の割り振りを画面内で所望の画質に抑えるためには、ノイズ量に応じた適切な量子化パラメータを画面先頭で設定する必要がある。
【００３９】
Ｓ８０５にて、制御部１０１は、Ｓ８０１で取得したＩＳＯ感度が閾値Ｔｉ２より小さいか否かを判定する。制御部１０１は、ＩＳＯ感度がＴｉ２より小さい場合はＳ８０６に処理を進め、そうでない場合はＳ８０７に処理を進める。
【００４０】
Ｓ８０６にて、制御部１０１は、ＩＳＯ感度に起因するノイズが中程度で量子化による画質劣化が視認可能であるため量子化方法を第３の量子化方法に決定し、量子化制御部１０５に設定する。
【００４１】
Ｓ８０７にて、制御部１０１は、ＩＳＯ感度に起因するノイズが大きく量子化による視覚的な影響が出にくいため量子化方法を第２の量子化方法に決定し、量子化制御部１０５に設定する。
【００４２】
以上のように、本実施形態における量子化制御部１０５は、ＩＳＯ感度に起因するノイズ量に応じて量子化方法を段階的に切り替える。量子化方法は、第１の量子化方法と第２の量子化方法をベースに、量子化パラメータのクリップ機能と量子化パラメータ可変の仕組みを備えた第３の量子化方法を加えた。これにより、第１の量子化方法と第２の量子化方法だけでは画質と発生符号量抑制の両立が難しいＩＳＯ感度帯（ＩＳＯ感度中間帯）をカバーすることができるようになる。これら３つの量子化方法をＩＳＯ感度に応じて切り替えることで、画質を担保しつつノイズを考慮した効率的な符号化方法を提供することが可能になる。
【００４３】
［第２の実施形態］
第２の実施形態に係る符号化装置の構成は第１の実施形態に係る符号化装置と同様であるため、装置構成の説明を省略する。第１の実施形態では、ＩＳＯ感度に起因するノイズ量に応じて量子化方法を決定する方法を説明した。しかし、ノイズは露光時間によっても変動する。露光時間が長い（シャッター速度が遅い）とイメージセンサが発熱してノイズが発生するのだが、これは一般的に長秒ノイズと呼ばれている。この露光時間に起因するノイズが第１の実施形態の量子化方法の決定フローには考慮されていないため、ノイズ量を正しく推定することができず、最適な量子化方法を決定できない可能性があった。そこで本第２の実施形態では、撮影時のＩＳＯ感度と露光時間に起因するノイズ量に応じて量子化方法を決定する方法について説明する。
【００４４】
本第２の実施形態では、ＩＳＯ感度の大きさとノイズ量の関係を（１）〜（３）、露光時間の長さとノイズ量の関係を（４）〜（６）の３つに定義し、各条件において選択する量子化方法について図９のフローチャートを用いて説明を行う。
（１）ＩＳＯ感度＜Ｔｉ１        ：ノイズ量小、量子化による画質劣化が視認しやすい。
（２）Ｔｉ１≦ＩＳＯ感度＜Ｔｉ２：ノイズ量中、量子化による画質劣化が視認可能。
（３）Ｔｉ２≦ＩＳＯ感度        ：ノイズ量大、量子化による画質劣化が視認しにくい。
（４）露光時間＜Ｔｅ１          ：ノイズ量小、量子化による画質劣化が視認しやすい。
（５）Ｔｅ１≦露光時間＜Ｔｅ２  ：ノイズ量中、量子化による画質劣化が視認可能。
（６）Ｔｅ２≦露光時間          ：ノイズ量大、量子化による画質劣化が視認しにくい。
なお、定義づけを行うためのＩＳＯ感度の閾値と露光時間の閾値は任意の値である。また、各閾値の大小関係は、Ｔｉ１＜Ｔｉ２、Ｔｅ１＜Ｔｅ２である。
【００４５】
まず、Ｓ９０１にて、制御部１０１は、操作部１０１から入力されたＩＳＯ感度と露光時間（シャッター速度）を取得し、そのＩＳＯ感度とシャッター速度に基づく撮像条件を撮像部１０２に設定し、撮像を行わせる。
【００４６】
Ｓ９０２にて、制御部１０１は、Ｓ９０１で取得したＩＳＯ感度が閾値Ｔｉ１より小さいか否かを判定する。ＩＳＯ感度がＴｉ１より小さい場合、制御部１０１はＳ９０５に処理を進め、そうでない場合はＳ９０３に処理を進める。
【００４７】
Ｓ９０３にて、制御部１０１は、Ｓ９０１で取得した露光時間が閾値Ｔｅ１より小さいか否かを判定する。露光時間がＴｅ１より小さい場合、制御部１０１はＳ９０４に処理を進め、そうでない場合はＳ９０７に処理を進める。
【００４８】
Ｓ９０４にて、制御部１０１は、ＩＳＯ感度と露光時間に起因するノイズが小さく量子化による画質劣化の影響が出やすいため、量子化方法を第１の量子化方法に決定し、量子化制御部１０５に設定する。
【００４９】
Ｓ９０５にて、制御部１０１は、Ｓ９０１で取得したＩＳＯ感度と露光時間に応じた画面先頭の量子化パラメータを設定する。画面先頭の量子化パラメータは、予めＩＳＯ感度、露光時間毎の統計値を格納したテーブルを保持しておき、Ｓ９０１で取得したＩＳＯ感度と露光時間に応じて参照するテーブルを決定するものとする。このＳ９０５の目的は第１の実施形態におけるＳ８０４と同様であるためその説明は省略する。
【００５０】
Ｓ９０６にて、制御部１０１は、Ｓ９０１で取得したＩＳＯ感度が閾値Ｔｉ２より小さいか否かを判定する。制御部１０１は、ＩＳＯ感度がＴｉ２より小さいと判定した場合、Ｓ９０７に処理を進め、そうでない場合はＳ９０９に処理を進める。
【００５１】
Ｓ９０７にて、制御部１０１は、Ｓ９０１で取得した露光時間が閾値Ｔｅ２より小さいか否かを判定する。制御部１０１は、露光時間がＴｅ２より小さい場合、Ｓ９０８に処理を進め、そうでない場合はＳ９０９に処理を進める。
【００５２】
Ｓ９０８にて、制御部１０１は、ＩＳＯ感度と露光時間に起因するノイズが中程度で量子化による画質劣化が視認可能であるため、量子化方法を第３の量子化方法に決定し、量子化制御部１０５に設定する。
【００５３】
Ｓ９０９にて、制御部１０１は、ＩＳＯ感度と露光時間に起因するノイズが大きく量子化による視覚的な影響が出にくいため量子化方法を第２の量子化方法に決定し、量子化制御部１０５に設定する。
【００５４】
以上のように第２の実施形態によれば、ＩＳＯ感度と露光時間に応じて量子化方法を段階的に切り替えることで、更にノイズを考慮した効率的な符号化方法を提供することが可能となる。なお、ＩＳＯ感度と露光時間の全ての組み合わせと、各条件下で決定する量子化方法の一覧表を図１０に示す。
【００５５】
なお、露光時間に起因する長秒ノイズは、センサ温度に基づく固定ノイズである。本実施形態では露光時間で量子化方法を切り替える方法を示したが、露光時間の代替情報としてセンサ温度を用いても良い。その場合は、センサ温度の閾値を設定してノイズ量を分類し、ＩＳＯ感度との組み合わせによって量子化方法を切り替える。
【００５６】
また、上記実施形態では、１枚のＲＡＷデータの符号化について説明したが、符号化対象の画像データは静止画、動画は特に問わない。動画の場合には、撮像部１０２が例えば１秒当たり３０フレームを撮像する場合には、各フレームのＲＡＷデータを上記第１、又は、第２の実施形態に従って符号化すればよい。
【００５７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５８】
１０１…制御部、１０２…撮像部、１０３…プレーン変換部、１０４…周波数変換部、１０５…量子化制御部、１０６…量子化部、１０７…エントロピー符号化部、１０８…記録媒体、１１０…操作部、１１１…表示部
【図１】
2020109923.tif 000003
【図２】
2020109923.tif 000004
【図３】
2020109923.tif 000005
【図４】
2020109923.tif 000006
【図５】
2020109923.tif 000007
【図６】
2020109923.tif 000008
【図７】
2020109923.tif 000009
【図８】
2020109923.tif 000010
【図９】
2020109923.tif 000011
【図１０】
2020109923.tif 000012