(57)【要約】【課題】  ベイヤ配列の画像データを画質劣化を抑えながらも、これまでよりも高い圧縮率で符号化する。【解決手段】  ベイヤ配列の画像データを符号化する画像符号化装置であって、ベイヤ配列の画像データから、Ｒ成分を示すＲプレーン、Ｂ成分を示すＢプレーン、Ｇ１成分を示すＧ１プレーン、Ｇ２成分を示すＧ２プレーンの４つの色プレーンに分離する分離部と、４つの色プレーンから、輝度Ｙを示すＹプレーン、及び、色差Ｃ１，Ｃ２，Ｃ３を示すＣ１プレーン、Ｃ２プレーン、Ｃ３プレーンで構成される輝度色差プレーンに変換する変換部と、輝度色プレーンを符号化する符号化部とを有する。【選択図】  図１
2018006999.tif 000002
【特許請求の範囲】
【請求項１】
ベイヤ配列の画像データを符号化する画像符号化装置であって、
ベイヤ配列の画像データから、Ｒ成分を示すＲプレーン、Ｂ成分を示すＢプレーン、Ｇ１成分を示すＧ１プレーン、Ｇ２成分を示すＧ２プレーンの４つの色プレーンに分離する分離手段と、
該分離手段で得られた４つの色プレーンから、輝度Ｙを示すＹプレーン、及び、色差Ｃ１，Ｃ２，Ｃ３を示すＣ１プレーン、Ｃ２プレーン、Ｃ３プレーンで構成される輝度色差プレーンに変換する変換手段と、
前記輝度色差プレーンを符号化する符号化手段と
を有することを特徴とする画像符号化装置。
【請求項２】
前記変換手段は、次式に従って色プレーンを輝度色差プレーンに変換する
2018006999.tif 000006
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記変換手段は、次式に従って色プレーンを輝度色差プレーンに変換する
2018006999.tif 000007
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記符号化手段は、
着目プレーンをウェーブレット変換して、複数のサブバンドを生成するウェーブレット変換手段と、
該ウェーブレット変換手段で得られたサブバンドそれぞれの係数データを、ライン単位に設定された量子化ステップを用いて量子化する量子化手段と、
該量子化手段で量子化された係数データをライン単位にエントロピー符号化するエントロピー符号化手段と、
該エントロピー符号化手段で生成された符号化データの符号量に基づき、次のラインのための量子化ステップを決定する符号化制御手段と
を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
【請求項５】
前記符号化制御手段は、
着目サブバンドの目標とする符号量を、当該着目サブバンドに含まれるライン数で除算することで１ライン当たりの目標符号量Ｔを求め、
着目サブバンド内の量子化対象の着目ラインの直前のラインの符号化した際に得られた符号量をＲとし、正の許容誤差をαとしたき、
Ｒ＞Ｔ＋αである場合には、前記直前のラインで用いた量子化ステップサイズに所定値を加算した値を前記着目ラインの量子化ステップサイズとして決定し、
Ｒ＜Ｔ−αである場合には、第直前のラインで用いた量子化ステップサイズから所定値を減算した値を前記着目ラインの量子化ステップサイズとして決定し、
Ｔ−α≦Ｒ≦Ｔ＋αである場合には、前記直前のラインで用いた量子化ステップサイズを前記着目ラインの量子化ステップサイズとして決定する
ことを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記ウェーブレット変換手段で生成されるサブバンドＬＬ、ＨＬ、ＬＨ、ＨＨにおける目標とする符号量の関係は、ＬＬ＞ＨＬ＝ＬＨ＞ＨＨであることを特徴とする請求項５に記載の画像符号化装置。
【請求項７】
更に、前記分離手段で分離された色プレーンと、前記変換手段で得られた輝度色差プレーンのいずれか一方を選択し、前記符号化手段に供給する選択手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像符号化装置。
【請求項８】
前記色プレーンを符号化対象とする場合の各プレーンの目標符号量は同じであり、
前記輝度色差プレーンを符号化する場合の輝度プレーンの目標符号量は、他の３つの色差プレーンのいずれよりも大きい
ことを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
ベイヤ配列の画像データを符号化する画像符号化装置の制御方法であって、
分離手段が、ベイヤ配列の画像データから、Ｒ成分を示すＲプレーン、Ｂ成分を示すＢプレーン、Ｇ１成分を示すＧ１プレーン、Ｇ２成分を示すＧ２プレーンの４つの色プレーンに分離する分離工程と、
変換手段が、前記分離工程で得られた４つの色プレーンから、輝度Ｙを示すＹプレーン、及び、色差Ｃ１，Ｃ２，Ｃ３を示すＣ１プレーン、Ｃ２プレーン、Ｃ３プレーンで構成される輝度色差プレーンに変換する変換工程と、
符号化手段が、前記輝度色差プレーンを符号化する符号化工程と
を有することを特徴とする画像符号化装置の制御方法。
【請求項１０】
コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至８のいずれか１項に記載の画像符号化装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮像した画像の符号化技術に関するものである。
【背景技術】
【０００２】
デジタルカメラやデジタルカムコーダー等の撮像装置は、撮像素子にＣＣＤセンサーまたはＣＭＯＳセンサーを採用している。それらのセンサーは主に単板式で構成されており、センサー表面のカラーフィルターアレイ（以下、ＣＦＡと呼称する）によって１つの画素で１つの色成分（例えばＲ、Ｇ、Ｂの内の１つ）の画素値を取得する。ＣＦＡを用いることで、例えば図２に示すようなＲ（赤）、Ｇ１（緑）、Ｂ（青）、Ｇ２（緑）の周期的なパターンで配置されたベイヤ配列の画像データ（以下、ＲＡＷデータと呼称する）が得られる。人間の視覚が輝度成分に対し高い感度を持っている。それ故、ベイヤ配列の２×２画素に着目しとき、赤（Ｒ）成分や青（Ｂ）成分がそれぞれ１画素であるのに対し、輝度成分を多く含む緑の画素は、図２のようにＧ１，Ｇ２の２画素（２倍）となっている。ＲＡＷデータは前述した通り、１画素に１つの色成分の情報しか持たない。一方、通常のカラー画像の１画素は、Ｒ，Ｇ，Ｂ等の複数成分を持つ。それ故、デモザイクと呼ばれる処理をＲＡＷデータに施されることで、１画素につき赤、青、緑の３成分値を持つ画像データが生成される。一般に、デモザイクによって得られたＲＧＢ信号、あるいはＲＧＢ信号から変換して得られたＹＵＶ信号の画像データを符号化して記録する。しかし、デモザイク処理で得られる画像データは、１画素が３つの色成分で構成されるので、１画素１成分のＲＡＷデータの３倍のデータ量となる。そこで、デモザイク前のＲＡＷデータを符号化して記録する方法が提案されている（例えば特許文献１を参照）。
【０００３】
例えば、特許文献１には、ＲＡＷデータを信号成分毎（Ｒ、Ｇ１、Ｂ、Ｇ２）に分類して４つのコンポーネント（プレーン）に整理した後に符号化をする方法が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１２５２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のようにＲＡＷデータを信号成分毎に分離してプレーンを形成する時に１画素間引きのサブサンプリングを用いてＲＡＷデータから画素値を取り出している。サブサンプリングにより各プレーンで周波数の折り返りが生じてしまうことで、符号化処理の工程の内の周波数変換で低域成分と高域成分の切り分けが上手くできなくなる。そのため、画質への影響が小さい高周波数帯の成分の量子化ステップを大きくした場合、画質に大きな影響を持つ低周波数帯の成分も強く量子化されてしまう。従って、ＲＡＷデータを高い圧縮率で符号化するときの画質劣化が大きくなってしまい、圧縮効率が悪いことが問題となる。
【０００６】
本発明は、上記問題点に鑑みなされたものであり、ベイヤ配列の画像データを画質劣化を抑えながらも、これまでよりも高い圧縮率で符号化する技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
ベイヤ配列の画像データを符号化する画像符号化装置であって、
ベイヤ配列の画像データから、Ｒ成分を示すＲプレーン、Ｂ成分を示すＢプレーン、Ｇ１成分を示すＧ１プレーン、Ｇ２成分を示すＧ２プレーンの４つの色プレーンに分離する分離手段と、
該分離手段で得られた４つの色プレーンから、輝度Ｙを示すＹプレーン、及び、色差Ｃ１，Ｃ２，Ｃ３を示すＣ１プレーン、Ｃ２プレーン、Ｃ３プレーンで構成される輝度色差プレーンに変換する変換手段と、
前記輝度色差プレーンを符号化する符号化手段とを有する。
【発明の効果】
【０００８】
本発明によれば、ベイヤ配列の画像データを画質劣化を抑えながらも、これまでよりも高い圧縮率で符号化することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の画像処理装置のブロック構成図。
【図２】ベイヤ配列を示す図。
【図３】符号化情報の設定に関わるテーブルを示す図。
【図４】並列符号化部１０９を構成する符号化部の詳細を示した図である。
【図５】サブバンド分割の例を示す図である。
【図６】第１の実施形態の画像符号処理手順を示すフローチャートを示す図。
【図７】並列符号化部１０９内の符号化部の処理を示すフローチャートを示す図。
【図８】ライン毎の量子化設定におけるフローチャートを示す図。
【図９】第２の実施形態に係る画像処理装置のブロック構成図。
【図１０】第２の実施形態の画像符号化処理の手順を示すフローチャート。
【図１１】サブバンド毎の符号量割り当ての例を示す図。
【発明を実施するための形態】
【００１０】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下の説明では、画像符号化装置を撮像装置（デジタルビデオカメラ等）に搭載する例を説明する。しかし、符号化対象の画像データがベイヤ配列となっていれば良いので、符号化対象の画像データの発生源の種類は問わない。例えば、メモリカード等の記憶媒体、或いはネットワークから符号化対象画像データを取得して符号化する場合にも適用可能である。撮像装置を例にするのは、あくまで理解を容易にするためであると理解されたい。
【００１１】
［第１の実施形態］
図１は第１の実施形態が適用する撮像装置（デジタルビデオカメラ）のブロック構成図である。以下、同図を参照して、各構成要素を説明する。
【００１２】
撮像装置１００は、操作部１０１、主制御部１０２、撮像部１０４、信号処理部１０５、画像符号化装置１１４、符号化ストーム生成部１１０、一次記憶部１１１、メモリＩ／Ｏ部１１２、記憶媒体１１３、及び、上記構成を接続するためのバス１５０を有する。
【００１３】
画像符号化装置１１４は、符号化制御部１０３、色分離部１０６、プレーン変換部１０７、プレーン選択部１０８、並列符号化部１０９で構成されている。
【００１４】
尚、第１の実施形態における撮像装置は図２に示すベイヤ配列の画像データ（以下、ＲＡＷ画像データという）に対して、現像処理をすることなく圧縮する。第１の実施形態における撮像装置１００は、操作部１０１により圧縮モードが設定された後に、被写体の撮影の開始指示入力があって撮像、符号化、記録を行う。圧縮モードには、例えばポストプロダクション向けの低圧縮モード、常用想定の中圧縮モード、画質を多少犠牲にしても長い時間の記録を求める高圧縮モードなどの複数のモードが設けられている。これらのモードの選択は、ユーザが操作部１０１を介して設定することになる。尚、圧縮モードは、主制御部１０２が撮影時の圧縮率を設定する際に使用される。操作部１０１はシャッタースイッチ（記録スイッチ）や操作キーなどの押しボタン、タッチパネルのいずれでも良いし、それらの組み合わせでも構わない。
【００１５】
主制御部１０２は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリで構成され、操作部１０１からの命令を受けてＣＰＵがメモリから制御プログラムを読みだし撮像装置１００を制御する。また、主制御部１０２は撮影情報を符号化制御部１０３に供給する。本実施形態における撮影情報は、例えば画像データの画素数や１画素あたりのビット深度、圧縮率で構成されるが、他にもシャッタースピードやＩＳＯ感度などを用いても良い。尚、圧縮率は操作部１０１によって設定され、主制御部１０２に送られた圧縮モードに応じて所定の値が設定される。例えば、低圧縮モードでは１／２、中圧縮モードでは１／５、高圧縮モードでは１／８、と設定することができる。
【００１６】
符号化制御部１０３は主制御部１０２によって送られた撮影情報を基に、符号化条件を設定する。本実施形態における符号化条件は、符号化対象となるプレーンの属性、及びプレーン毎の目標符号量である。ここでプレーンの属性とは後述する色プレーンや輝度色差プレーンのことを指す。
【００１７】
またプレーン毎の目標符号量は、全体の目標符号量から各プレーンの符号量の重み付けを加味して設定される。全体の目標符号量は、例えば『画像データの画素数×１画素あたりのビット深度×圧縮率』の計算などによって求められる。プレーン毎の目標符号量は、例えば全体の目標符号量を４５ＭＢ、及びＰ１〜Ｐ４からなる各プレーンの重み付けをＰ１：Ｐ２：Ｐ３：Ｐ４＝２：１：１：１とすると、Ｐ１プレーンが１８ＭＢ、Ｐ２〜Ｐ４プレーンがそれぞれ９ＭＢ、として求まる。
【００１８】
プレーンの属性、及びプレーン毎の符号量の重み付けは、図３に示すようなテーブルから圧縮率に従ってテーブル引きすることで設定される。図３の例は圧縮率１／３を区切りに、ポストプロダクションで編集・加工する用途を想定した低圧縮率の場合と、従来の民生デジタルビデオカメラと同様に記録した動画を視聴する用途を想定した高圧縮率の場合の２パターンを定義している。
【００１９】
圧縮したＲＡＷ画像データをポストプロダクションで編集・加工する場合は、シャープネスやノイズ除去等の画像処理を強く掛けたり、カラーコレクションを行うことが想定される。そこで、輝度色差プレーン変換を行わず、色プレーン間の符号量の重みを同じにし、低圧縮で符号化することでRAW画像データが本来持つ各色のバランスを損なわないようにする。
【００２０】
視聴を目的とする場合は、圧縮率を高くして動画の記録時間を延ばしつつも、画質を維持することが重要となる。そのため高圧縮率の場合は、輝度色差プレーンを符号化対象プレーンとして、視覚的に影響が大きい輝度成分に相当するＹプレーンの符号量を、視覚的に影響が小さい色差成分に相当するＣ１〜Ｃ３プレーンの符号量よりも多くするように符号量に重み付けをする。色差成分を強く圧縮することによって圧縮率を高くするとともに、輝度成分の劣化を抑えることで画質の維持が可能となる。尚、図３で示すテーブルとは異なったパターンでテーブルを用意しても良い
符号化制御部１０３は、テーブルから取得したプレーンの属性をプレーン選択部１０８に供給し、同様にテーブルから取得したプレーン毎の符号量の重み付けに従って計算されたプレーン毎の目標符号量を並列符号化部１０９に供給する。
【００２１】
符号化制御部１０３が符号化条件を設定した後、主制御部１０２が撮像部１０４を駆動させ、被写体の撮像画像データを取得する。撮像部１０４は撮像レンズと、図２で示すベイヤ配列のカラーフィルターを有する撮像センサ、並びにＡ／Ｄ変換器から構成されている。そして、被写体の光学像が撮像レンズによってセンサーに結像された後、結像された光学像がＡ／Ｄ変換器でデジタルのＲＡＷ画像データに変換されることになる。尚、撮像センサはＣＭＯＳやＣＣＤで構成される。また、実施形態における撮像装置は、例えば３０フレーム／秒の動画像を撮像するものとする。
【００２２】
撮像部１０４から送られた１フレーム分のＲＡＷ画像データは信号処理部１０５に供給される。信号処理部１０５は、入力したＲＡＷ画像データ内の、撮像部１０４の撮像センサにおける欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復処理したり、所定のオフセット値を減算したりする処理を行い、処理結果を画像符号化装置１１４に供給する。
【００２３】
画像符号化装置１１４内の色分離部１０６は、信号処理部１０５で修復処理されたＲＡＷ画像データを以下に示す４つのプレーンに分離し、プレーン変換部１０７、プレーン選択部１０８に供給する。
・Ｒプレーン：Ｒ成分のみの画素で構成されるプレーン
・Ｂプレーン：Ｂ成分のみの画素で構成されるプレーン
・Ｇ１プレーン：Ｇ１成分のみの画素で構成されるプレーン
・Ｇ２プレーン：Ｇ２成分のみの画素で構成されるプレーン
【００２４】
プレーン変換部１０７は、上記の４つのプレーンを、次式（１）に基づき、輝度Ｙを示すＹプレーン、色差Ｃ１，Ｃ２，Ｃ３を示すＣ１プレーン、Ｃ２プレーン、及びＣ３プレーンに変換する。以下の式における＋，−は、各プレーンの同一位置の画素の値の演算を示し、演算結果が整数であるものとする（小数点以下は切り捨てとする）。
【００２５】
【数１】
2018006999.tif 000003
【００２６】
なお、ＲＡＷ画像データの水平方向画素数をＷ，垂直方向の画素数をＨと表現したとき、上記のＲ，Ｂ，Ｇ１，Ｇ２、Ｙ，Ｃ１，Ｃ２，Ｃ３の各プレーンのサイズは同じであって、Ｗ／２×Ｈ／２である。つまり、ＲＡＷ画像データを４プレーンに分離したとき、分離後の４プレーンの画素数の合計は、ＲＡＷ画像データの画素数と同じとなる。
【００２７】
プレーン選択部１０８は、｛Ｒプレーン、Ｂプレーン、Ｇ１プレーン、Ｇ２プレーン｝の色プレーン群、又は、｛Ｙプレーン、Ｃ１プレーン、Ｃ２プレーン、Ｃ３プレーン｝の輝度色差プレーン群のいずれか一方を選択し、並列符号化部１０９に供給する。この符号化対象のプレーン群の選択は、操作者が操作部１０１に対して選択したモードから主制御部１０１が決定し、符号化制御部１０３に設定されるものである。具体的には、図３に示すように、操作者が圧縮率として符号量が１／１〜１／３（オリジナルの情報量に対して１００％から３３％の範囲）の場合には色プレーンを符号化対象とし、１／３を超える圧縮率の場合には輝度色差プレーンを符号化対象となる。なお、ここで示したプレーンの切り替わりの圧縮率は一例である点に注意されたい。
【００２８】
並列符号化部１０９は、図４に示すように４つの符号化部１０９ａ乃至１０９ｄで構成されており、それぞれが、供給されたプレーン群を構成する１つのプレーンについて圧縮符号化する。実施形態における符号化部１０９ａ乃至１０９ｄは、互いに独立して圧縮符号化を実行する。
【００２９】
並列符号化部１０９内の符号化部１０９ａ乃至１０９ｄは同じ構成である。それ故、以下では、符号化部１０９ａについて説明する。図４は、符号化部１０９ａのブロック構成図である。他の符号化部１０９ｂ乃至ｄも同じである点に注意されたい。
【００３０】
符号化部１０９ａは、離散ウェーブレット変換部４０１、量子化制御部４０２．量子化部４０３、エントロピー符号化部４０４を有する。
【００３１】
離散ウェーブレット部４０１は入力した符号化対象プレーンに対し周波数分離処理が行い、複数のサブバンドを生成する。離散ウェーブレット部４０１による周波数分離処理で生成されるサブバンドの例を図５に示す。同図は、ウェーブレット変換を２回実行した場合のサブバンドを示している。
【００３２】
ウェーブレット変換を１回行うと、ＬＬ、ＨＬ，ＬＨ，ＨＨの４つのサブバンドが生成される。ここで、Ｌが低域、Ｈが高域を表す。Ｌ、Ｈの前の数字が分解レベルを表す。例えば、１ＨＬは、水平方向が高域成分で、垂直方向が低域成分である分解レベル＝１のサブバンド画像を表す。なお、ウェーブレット変換の回数に制限はない。また、２回目以降のウェーブレット変換は、直前のウェーブレット変換で得られたサブバンドＬＬに対して再帰的に行うことになる。それ故、予定した回数のウェーブレット変換を行った際のサブバンドＬＬは１つしか存在しない。図示は、ウェーブレット変換を２回行った例でるので、７つのサブバンドが生成されることになる。
【００３３】
量子化制御部４０２は、サブバンド毎の符号量、及び各サブバンドを構成するライン毎の量子化ステップサイズの設定を行う。量子化制御部４０２は、符号化制御部１０１より送られたプレーン毎の目標符号量に基づき、図１１に示す例の様にサブバンド毎に符号量の割り当てを行う。図１１はプレーンに設定された目標符号量１８ＭＢを、ウェーブレット変換を１回実行して生成されたサブバンドに対して割り当てる例を示す。図１１の例ではサブバンド間の符号量比率が『ＬＬ：１ＨＬ：１ＬＨ：１ＨＨ＝４：２：２：１』の関係である。これに基づいて、サブバンドＬＬに８ＭＢ、サブバンド１ＨＬ、１ＬＨそれぞれに４ＭＢ、サブバンド１ＨＨバンドに２ＭＢを割り当てている。尚、図１１においてサブバンドＬＬは画質への影響が大きい低域成分に該当することから、サブバンドＬＬを優遇して符号量を多く割り当てている。続いて、水平、あるいは垂直の１方向の低域成分を含む１ＨＬ、１ＬＨバンドに対し、画質への影響が軽微な１ＨＨバンドよりも多く符号量を割り当てるように設定する。また、図１１は、ウェーブレット変換を１回行う場合の符号量を示しているが、ウェーブレット変換を２回以上行った場合にも各サブバンド毎の目標符号量が設定される。簡単には、ウェーブレット変換の回数と、各サブバンドの目標符号量をテーブル化しておけば良い。
【００３４】
また、量子化制御部４０２は、後述するエントロピー符号化部４０４から送られた符号化結果を参照し、係数のライン単位で量子化ステップサイズを設定する。量子化ステップサイズの設定の詳細については並列符号化部１０９の処理フローの説明で後述する。
【００３５】
量子化部４０３は、離散ウェーブレット部４０１から送られた着目サブバンド内の係数データで構成される１ラインを量子化対象とし、量子化制御部４０２によって設定された量子化ステップサイズを用いて量子化を行う。
【００３６】
エントロピー符号化部４０４は、量子化部４０３によって量子化された係数のラインを圧縮符号化し、ライン単位の符号化データを出力すると共に、ライン単位の発生符号量の情報を量子化制御部４０２に送る。ここで、エントロピー符号化部４０４で用いる圧縮符号化としては、ＤＰＣＭやハフマン符号等を用いることが出来る。
【００３７】
符号化ストリーム生成部１１０は、並列符号化部１０９で生成された１フレーム分の付符号化データ（全プレーン、全サブバンドの符号化データ）をまとめ、符号化条件などを示すヘッダを付加し、復号可能なストリームを生成する。また、符号化ストリーム生成部１１０は全サブバンド、全プレーン分の符号が揃うまでは一時記憶部１１１に並列符号化部１０９から送られた符号を退避する。一時記憶部１１１は例えばＤＲＡＭといった記憶素子で構成することが出来る。符号化ストリーム生成部１１０は全サブバンド、全プレーン分の符号が揃った時点で一時記憶部１１１に退避した符号を読み出してストリームを生成する。
【００３８】
符号化ストリーム生成部１１０は、生成されたストリームをメモリＩ／Ｏ部１１２を介して記録媒体１１３に書き込む。記録媒体１１３は磁気ディスク及び半導体メモリなどで構成することが出来きるが、その種類は問わない。
【００３９】
以上、本第１の実施形態における撮像装置１００の構成を処理該当を説明した。続いて、本第１の実施形態における画像符号化装置を搭載したデジタルビデオカメラにおける符号化処理の詳細を図６に示すフローチャートに基づき説明する。
【００４０】
まず始めに操作部１０１から主制御部１０２に撮影記録開始命令が発行されたことを受け、主制御部１０２は符号化制御部１０３に撮影情報を送る（Ｓ６０１）。符号化制御部１０３は、この撮影情報に従って符号化条件を設定する（Ｓ６０２）。この符号化条件には、プレーン選択部１０８が色プレーン、輝度色差プレーンのいずれを選択するかの情報も含まれる。その後、撮像部１０４によりＲＡＷ画像データが取得され、信号処理部１０５がＲＡＷ画像データの修復処理を行う（Ｓ６０３）。色分離部１０６は、この修復処理後のＲＡＷ画像データを入力し、ＲＡＷ画像データを４つの色プレーン｛Ｒプレーン、Ｂプレーン，Ｇ１プレーン，Ｇ２プレーン｝に分離する（Ｓ６０４）。プレーン変換部１０７は、４つの色プレーンを輝度色差プレーン｛Ｙプレーン、Ｃ１プレーン、Ｃ２プレーン、Ｃ３プレーン｝に変換する（Ｓ６０５）。プレーン選択部１０８は、符号化条件に従って色プレーンと輝度色差プレーンのいずれか一方を符号化対象プレーンとして選択し（Ｓ６０６）、並列符号化部１０９に供給する（Ｓ６０７）。並列符号化部１０９の内部の符号化部１０９ａ乃至１０９ｄそれぞれは、符号化対象プレーンそれぞれの符号化処理を並列的に行い、生成された符号化データを符号化ストリーム生成部１１０に出力する。符号化ストリーム生成部１１０は、並列符号化部１０９から出力されてきた符号化データを、一時記憶部１１１に保存し、全サブバンドの符号化データが終了したか否かを判定する（Ｓ６０８）。終了していない場合は処理の状態をＳ６０８のまま維持する。全プレーン、全サブバンドの符号化が終了している場合は、符号化ストリーム生成部１１０は、一時記憶部１１１から全ての符号化データを読み出し、所定のデータフォーマットの符号化ストリームを生成する（Ｓ６０９）。そして、符号化ストリーム生成部１１０は、生成した符号化ストリームをメモリＩ／Ｏ部１１２を介して記憶媒体１１３に書き出す（Ｓ６１０）。主制御部１０２は、操作部１０１を介して操作者より、撮影終了を指示されたか否かを判定する（Ｓ６１１）。否の場合には、主制御部１０２は、動画像の撮影記録が継続するものとし、処理をステップＳ６０３に戻す。また、終了指示の入力があったと判断された場合、主制御部１０２は本処理を終了する。
【００４１】
次に、実施形態における並列符号化部１０９を構成する符号化部１０９ａ乃至１０９ｄの処理の詳細を図７に示すフローチャートに基づき説明する。先に説明したように符号化部１０９ａ乃至１０９ｄは、その構成が同じであり、ここでは代表して符号化部１０９ａ（図４参照）を説明する。
【００４２】
離散ウェーブレット部４０１は、入力した着目プレーンに対してウェーブレット変換を実行し、複数のサブバンドを生成し（Ｓ７０１）、符号化するサブバンドとそのサブバンドの目標符号量を設定する（Ｓ７０２）。各サブバンドは、複数の係数データで構成される。量子化制御部４０２は、量子化部４０３に入力される１ライン分の係数データが、着目サブバンドの１ライン目で有るか否かを判定する（Ｓ７０３）。１ライン目の場合、量子化制御部４０２は初期の所定の量子化ステップサイズを設定し（Ｓ７０４）、１ライン目ではない場合については量子化制御部４０２は１つ前のラインの符号化結果を参照して量子化ステップサイズを算出し設定する（Ｓ７０５）。１ライン目の符号化で設定される所定の量子化ステップサイズは、例えば統計値などで予め定義した値を使うことが出来る。ここで、Ｓ７０５の量子化ステップサイズの算出方法は、例えば後述する図８に示す方法がある。
【００４３】
その後、量子化部４０３は、量子化制御部４０２によって設定された量子化ステップサイズに従い、１ライン分の係数データを量子化し（Ｓ７０６）、量子化後のライン分の係数データをエントロピー符号化部４０４に供給する。エントロピー符号化部４０４は、入力した１ライン分の量子化係数データをエントロピー符号化し、符号化データを生成しては出力する（Ｓ７０７）。このとき、エントロピー符号化部４０４は、着目ラインの符号化データ量を示す情報を量子化制御部４０２に供給する。
【００４４】
その後、符号化部１０９は、着目サブバンドの最終ラインを処理したか否かを判定し（Ｓ７０８）、最終ラインで無い場合はＳ７０３に戻る。最終ラインを処理した場合は続いて全サブバンドの処理を終了したかを判定し（Ｓ７０９）、終了していない場合はＳ７０２に戻り、終了している場合は符号化を終了する。
【００４５】
続いて、Ｓ７０５の量子化制御部４０２による量子化ステップサイズの算出処理について、図８に示すフローチャートに基づき説明する。
【００４６】
１つのサブバンド内における上下に隣り合ったラインは相関が高い。それ故、符号化対象のラインの量子化ステップサイズを求める際には、直前（１つ上）のラインの符号化結果を利用すると符号化効率が高くなると推定できる。そこで、本実施形態では、量子化制御部４０２は、着目サブバンドの符号化を行うに先立って、着目サブバンドの目標符号量をライン数分だけ等分して１ライン当たりの目標符号量Ｔを求める（Ｓ８０１）。そして、量子化制御部４０２は、符号化対象となる着目ラインを符号化する際に、直前のラインの実際の発生符号量（Ｒ）をＴと比較して、Ｒ＞Ｔ＋αであるか否かを判定する（Ｓ８０２）。ここで、αは、ＲとＴを比較する時に用いる所定の正の許容誤差値であり、例えばＴ×０．０１等の計算で求めたり、５０ＫＢなどの数値で設定したりすることが出来る。Ｒ＞Ｔ＋αである場合は、直前のラインで設定した量子化ステップサイズを用いると符号化対象ラインの符号量も目標符号量より多く出てしまうと予測される。そこで、量子化制御部４０２は、符号化対象の着目ラインの量子化ステップサイズを、直前のラインの量子化ステップサイズに所定値（正の値）だけ加算した値とする（Ｓ８０３）。一方、Ｒ＞Ｔ＋αに当てはまらない場合は、量子化制御部４０２に、Ｒ＜Ｔ―αを満たすか否か判定する（Ｓ８０４）。Ｒ＜Ｔ―αである場合は、直前のラインで設定した量子化ステップサイズを用いると符号化対象ラインの符号量が目標符号量より少なくなると予測されることを意味する。そこで、量子化制御部４０２は、着目ラインの量子化ステップサイズを直前のラインの量子化ステップサイズから所定値だけ減じた値とする（Ｓ８０５）。いずれにも当てはまらない場合、つまり、Ｔ−α≦Ｒ≦Ｔ＋αであった場合、直前のラインで設定した量子化ステップサイズを用いれば符号化対象ラインの符号量が目標通り発生すると予測されるため、直前のラインの量子化ステップサイズをそのまま設定する（Ｓ８０６）。
【００４７】
以上の様に本実施例のデジタルビデオカメラに搭載される画像符号化装置は、ベイヤ配列の画像データに対して、色成分毎に分離して各色のプレーン画像を生成し、その後に各色プレーンから輝度プレーンと色差プレーンに分離、輝度色差プレーンを符号化する。輝度プレーンはＲ、Ｇ１、Ｇ２、Ｂの相関を抽出した平均成分であり、視覚的に大きな影響を持っている。逆に色差プレーンはＲ、Ｇ１、Ｇ２、Ｂの相関を除去した差分成分であり、輝度プレーンと比べて視覚的な影響が小さい。そのため、量子化を行うにあたり輝度プレーンの符号量を優遇し、色差プレーンの符号量を少なくすることで、画質を保ったままベイヤ配列の画像データを圧縮することが可能となる。
【００４８】
尚、本実施例ではベイヤ配列の画像データを圧縮するデジタルビデオカメラを例として取り上げたが、本発明はそれに限定されるものでは無く、例えばデジタルスチルカメラやスマートフォンに用いても良い。
【００４９】
［第２の実施形態］
図９は、第２の実施形態における撮像装置のブロック構成図である。第１の実施形態との違いは、第１の実施形態のプレーン変換部１０７に代わって近似プレーン変換部９０１とした点である。以下、図９を参照して、本第２の実施形態における動作を説明する。
【００５０】
先に説明した第１の実施形態における画像符号化装置１１４で用いられる計算式１において、各プレーンの計算結果は整数値となることを前提にしたため、除算の計算結果が整数値とならない場合には丸め誤差が発生する。除算の丸め処理で情報損失が発生し、輝度色差プレーンから元の色プレーンに可逆の変換をすることが出来ない。そこで丸め処理による情報損失を除外するために、プレーン変換部１０７の計算式を近似した計算式を近似プレーン変換部９０１に適用する。
【００５１】
第２の実施形態における近似プレーン変換部９０１は、次式（２）に基づいて、色プレーンをＹプレーン、Ｃ１プレーン、Ｃ２プレーン、及びＣ３プレーンからなる輝度色差プレーンに変換する。
【００５２】
【数２】
2018006999.tif 000004
近似プレーン変換部９０１に用いられる計算式は、第１の実施例のプレーン変換部１０７で用いられている計算式を近似したものである。近似プレーン変換部９０１に用いられる式（２）は、復号側で次式（３）に基づいて色プレーンに逆変換することで、完全に元に戻せることが特徴である。
【００５３】
【数３】
2018006999.tif 000005
【００５４】
尚、式（３）は式（２）の各式に対して、移項のみを用いて変形した逆変換式である。
【００５５】
続いて、本第２の実施形態の画像符号化装置９０２を搭載した撮像装置９００の動作の詳細を図１０に示すフローチャートに基づき説明する。尚、第１の実施形態と同様の処理には同じ符号を付して示し、ここでの説明を簡略にする。
【００５６】
まず、第１の実施形態と同様に、撮影命令を受けてから符号化条件を設定する。色分離部１０６は、ＲＡＷ画像データを取得し、色プレーンに分離する（Ｓ６０１−Ｓ６０４）。その後に、近似プレーン変換部９０１によって色プレーンに基づいて、式（２）に従って輝度色差プレーンを生成する（Ｓ１００１）。次に符号化対象プレーンを選択して符号化を行い、符号化ストリームを生成する（Ｓ６０６−Ｓ６１１）。
【００５７】
以上の様に本第２の実施形態の撮像装置に搭載される画像符号化装置は、各色プレーンから輝度色差プレーンに変換するにあたり、第１の実施形態で用いられる計算式を近似した計算式を用いる。この結果、符号化処理による量子化処理による量子化誤差は発生するものの、色変換による演算誤差は無くなり、第１の実施形態と比較してロスの少ない符号化データを生成することが可能となる。
【００５８】
以上説明したように本第１、第２の実施形態によれば、ＲＡＷデータを画質への影響が大きい輝度と、逆に画質への影響が小さい色差に分離することが出来る。特許文献１に記載のサブサンプリングのみを用いる手法と異なり、画質への影響が大きい成分と、影響が小さい成分に分離することが可能であるため、高圧縮率を達成するために色差の量子化をより大きくする、といったことが可能となる。そのため、ＲＡＷデータを高い圧縮率で符号化するときの画質劣化を抑えることで、圧縮効率を向上させることができる。
【００５９】
なお、上記実施形態では、符号化部１０９ａ乃至１０９ｄは並列して実行するものとして説明したが、１つの符号化部で複数のプレーンを順に符号化するようにしても構わない。
【００６０】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６１】
１０１…操作部、１０２…主制御部、１０３…符号化制御部、１０４…撮像部、１０５…信号処理部、１０６…色分離部、１０７…プレーン変換部、１０８…プレーン選択部、１０９…並列符号化部、１１０…符号化ストリーム生成部、１１１…一時記憶部、１１２…メモリＩ／Ｏ部、１１３…記憶媒体
【図１】
2018006999.tif 000008
【図２】
2018006999.tif 000009
【図３】
2018006999.tif 000010
【図４】
2018006999.tif 000011
【図５】
2018006999.tif 000012
【図６】
2018006999.tif 000013
【図７】
2018006999.tif 000014
【図８】
2018006999.tif 000015
【図９】
2018006999.tif 000016
【図１０】
2018006999.tif 000017
【図１１】
2018006999.tif 000018