(57)【特許請求の範囲】
【請求項１】
カラー画像を構成する複数種類の信号成分を画素配列上に混在配置してなるＲＡＷデータが与えられ、前記ＲＡＷデータを処理する画像処理装置であって、
外部からの指示入力に応じて、通常圧縮モード／ＲＡＷ圧縮モードのモード切り替えを行うモード設定部と、
前記通常圧縮モード時には、前記ＲＡＷデータを補間処理して画素単位に欠落する前記信号成分を補い、前記ＲＡＷ圧縮モード時には、前記補間処理をバイパスする信号処理部と、
前記信号処理部の出力を画像圧縮する画像圧縮部とを備え、
前記画像圧縮部は、
前記信号処理部の出力を周波数変換し、変換係数を出力する周波数変換部と、
前記変換係数を符号化する符号化部とを有し、
少なくとも前記補間処理のバイパスにより前記ＲＡＷ圧縮モードを実現し、かつ前記ＲＡＷ圧縮モード時には、画像圧縮データに対して、補間処理を行っていないことを示す符号を付加する
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記信号処理部は、前記ＲＡＷ圧縮モード時に、前記ＲＡＷデータを前記信号成分の種類別に分類して出力する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記信号処理部は、前記ＲＡＷ圧縮モード時に、前記ＲＡＷデータを前記信号成分の種類別に分類し、Ｇ１コンポーネント、Ｇ２コンポーネント、Ｒコンポーネント、Ｂコンポーネントとして出力し、
前記画像圧縮部は、前記ＲＡＷ圧縮モード時に、前記Ｇ１コンポーネント、前記Ｇ２コンポーネント、前記Ｒコンポーネント、前記Ｂコンポーネントごとに画像圧縮する
ことを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
前記信号処理部は、
前記通常圧縮モード時には、色座標変換を施した状態の画像信号を出力し、前記ＲＡＷ圧縮モード時には、前記色座標変換をバイパスする
ことを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
前記画像圧縮部は、
前記ＲＡＷ圧縮モード時には、前記通常圧縮モード時に比べて画像圧縮の圧縮歪みを低くする
ことを特徴とする画像処理装置。
【請求項６】
請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
前記画像圧縮部は、
前記通常圧縮モード時には、圧縮後のファイルサイズを目標の範囲内に調整し、
前記ＲＡＷ圧縮モード時には、圧縮歪みを目標の範囲内に調整する
ことを特徴とする画像処理装置。
【請求項７】
被写体像を撮像して、カラー画像を構成する複数種類の信号成分を画素配列上に混在配置してなるＲＡＷデータを生成する撮像部と、
請求項１ないし請求項６のいずれか１項に記載の画像処理装置とを備え、
前記撮像部で生成されるＲＡＷデータを前記画像処理装置で処理する
ことを特徴とした電子カメラ。
【請求項８】
コンピュータを、請求項１ないし請求項６のいずれか１項に記載の前記モード設定部、前記信号処理部、および前記画像圧縮部として機能させるための画像処理プログラム
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、通常圧縮モード／ＲＡＷ圧縮モードを切り替え可能に備えた画像処理装置に関する。
本発明は、この画像処理装置を搭載した電子カメラに関する。
本発明は、この画像処理装置をコンピュータによって実現するための画像処理プログラムに関する。
【０００２】
【従来の技術】
従来の電子カメラでは、画像データの記録に当たって、下記二種類の圧縮モードを選択できるものが知られている。
【０００３】
（１）通常圧縮モード・・撮像素子の出力に色補間などの信号処理を施した後、ＪＰＥＧなどの非可逆圧縮を実行するモード。なお、一般的な通常圧縮モードは、非可逆圧縮の圧縮サイズ設定（ファイン、ベーシックなど）によって、更に細かな圧縮モードに細分されることが多い。
【０００４】
（２）ＲＡＷ圧縮モード・・色補間前のデータ（いわゆるＲＡＷデータ）に対して、可変長符号化などの可逆圧縮（微小な圧縮歪みを生じ得る擬似的な可逆圧縮も含む）を実行するモード。
【０００５】
これら２通りの圧縮モードでは、圧縮処理の処理手順や処理内容が大きく異なる。そのため、従来の電子カメラでは、これら２通りの圧縮モードに備えて、２通りの圧縮処理部を備えていた。
【０００６】
例えば、通常圧縮モードの圧縮処理は、ハードウェア構成によるＪＰＥＧ圧縮ＩＣなどに任せることが多かった。また、ＲＡＷ圧縮モードの圧縮処理については、電子カメラ内部のＭＰＵ（マイクロプロセッサユニット）によるソフトウェア圧縮処理に任せることが多かった。
【０００７】
【発明が解決しようとする課題】
上述したように、従来の電子カメラでは、通常圧縮モード／ＲＡＷ圧縮モードごとに専用の圧縮機構を備える。そのため、電子カメラの構成が複雑化したり、モード切り替え時の信号経路の切り替えが複雑化するといった不具合があった。本発明は、このような問題点に鑑みてなされたもので、通常圧縮モード／ＲＡＷ圧縮モードを簡易に切り替える構成を提供することを目的とする。
【０００８】
【課題を解決するための手段】
以下、本発明について説明する。
【０００９】
《請求項１》
請求項１の発明に係る画像処理装置は、「カラー画像を構成する複数種類の信号成分を画素配列上に混在配置してなるＲＡＷデータ」を処理する画像処理装置であって、外部からの指示入力に応じて通常圧縮モード／ＲＡＷ圧縮モードのモード切り替えを行うモード設定部と、通常圧縮モード時にはＲＡＷデータを補間処理して画素単位に欠落する信号成分を補い、ＲＡＷ圧縮モード時には補間処理をバイパスする信号処理部と、信号処理部の出力を画像圧縮する画像圧縮部とを備える。特に、画像圧縮部は、信号処理部の出力を周波数変換し、変換係数を出力する周波数変換部と、変換係数を符号化する符号化部とを有する。この画像処理装置では、少なくとも補間処理をバイパスすることによって、ＲＡＷ圧縮モードの動作が実現される。更に、画像圧縮部は、ＲＡＷ圧縮モード時には、画像圧縮データに対して、補間処理を行っていないことを示す符号を付加する。
【００１０】
《請求項２》
請求項２の発明に係る画像処理装置は、請求項１に記載の画像処理装置において、信号処理部が、ＲＡＷ圧縮モード時に、ＲＡＷデータを信号成分の種類別に分類して出力する。
《請求項３》
請求項３の発明に係る画像処理装置は、請求項１に記載の画像処理装置において、信号処理部は、ＲＡＷ圧縮モード時に、ＲＡＷデータを信号成分の種類別に分類し、Ｇ１コンポーネント、Ｇ２コンポーネント、Ｒコンポーネント、Ｂコンポーネントとして出力する。一方、画像圧縮部は、ＲＡＷ圧縮モード時に、Ｇ１コンポーネント、Ｇ２コンポーネント、Ｒコンポーネント、Ｂコンポーネントごとに画像圧縮する。
【００１１】
《請求項４》
請求項４の発明に係る画像処理装置は、請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、信号処理部が、通常圧縮モード時には、画像信号を色座標変換を施した状態で出力し、ＲＡＷ圧縮モード時には、この色座標変換をバイパスする。
【００１２】
《請求項５》
請求項５の発明に係る画像処理装置は、請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、画像圧縮部が、ＲＡＷ圧縮モード時には、通常圧縮モード時に比べて画像圧縮の圧縮歪みを低くする。
【００１３】
《請求項６》
請求項６の発明に係る画像処理装置は、請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、画像圧縮部が、通常圧縮モード時には、圧縮後のファイルサイズを目標の範囲内に調整し、ＲＡＷ圧縮モード時には、圧縮歪みを目標の範囲内に調整する。
【００１５】
《請求項７》
請求項７の発明に係る電子カメラは、被写体像を撮像して、カラー画像を構成する複数種類の信号成分を画素配列上に混在配置してなるＲＡＷデータを生成する撮像部と、請求項１ないし請求項６のいずれか１項に記載の画像処理装置とを備える。この電子カメラは、撮像部で生成されるＲＡＷデータを画像処理装置で処理する。
【００１６】
《請求項８》
請求項８の発明に係る画像処理プログラムは、コンピュータを、請求項１ないし請求項６のいずれか１項に記載のモード設定部、信号処理部、および画像圧縮部として機能させることを特徴とする。
【００１７】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
【００１８】
《本実施形態の構成》
図１は、本実施形態の電子カメラ１１（画像処理装置を含む）を示す図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。この撮像素子１３の撮像面上には、ベイヤー配列のカラーフィルタアレイが配置される。
【００１９】
撮像素子１３からは、図２に示すようなＲＡＷデータが出力される。このＲＡＷデータは、カラー画像を構成する複数種類の信号成分（ここではＲＧＢ）を画素配列上に混在配置したものである。ここでは、単板式の撮像素子１３を使用するため、ＲＡＷデータには１画素当たり１種類の信号成分が配分される。
このように撮像素子１３から出力されたＲＡＷデータは、Ａ／Ｄ変換部１４を介してデジタル化される。デジタル化されたＲＡＷデータは、信号処理部１５、画像圧縮部１６を介して処理された後、記録部１７に圧縮ファイルとしてファイル記録される。
【００２０】
また、電子カメラ１１には、モード設定部１８が設けられる。このモード設定部１８は、不図示の操作部材を介して指示入力（ここではユーザーからの設定操作）を取り込み、この指示入力に応じて圧縮モードのモード設定を切り替える。次に、図１に示す信号処理部１５について、内部のデータの流れを説明する。信号処理部１５内には、経路切替部１９、補間処理部２０、色座標変換部２１、および画素並べ替え処理部２２が設けられる。これらの内、経路切替部１９は、モード設定部１８の圧縮モードの切り替えに応じて、ＲＡＷデータの信号経路を切り替える。
【００２１】
すなわち、「通常圧縮モード」において、ＲＡＷデータは、補間処理部２０および色座標変換部２１によって処理された後、画像圧縮部１６に出力される。
一方、「ＲＡＷ圧縮モード」において、ＲＡＷデータは、補間処理部２０および色座標変換部２１をバイパスした後、画素並べ替え処理部２２によって処理される。このような処理の後、ＲＡＷデータは、画像圧縮部１６に出力される。
【００２２】
《発明との対応関係》
以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載のモード設定部は、モード設定部１８に対応する。
請求項記載の信号処理部は、信号処理部１５に対応する。
請求項記載の画像圧縮部は、画像圧縮部１６に対応する。
請求項記載の撮像部は、撮像素子１３に対応する。
【００２３】
《本実施形態の動作》
以下、電子カメラ１１の動作を説明する。
ここでは、発明との対応を明確にするため、まず、信号処理部１５の動作を、それぞれの圧縮モードの場合に分けて説明する。その後、画像圧縮部１６で実施される共通化された処理手順について説明する。
【００２４】
［通常圧縮モードにおける信号処理部１５の動作説明］
まず、通常圧縮モードに設定された信号処理部１５の動作について説明する。経路切替部１９は、通常圧縮モードの設定に従って、信号処理部１５に入力されるＲＡＷデータを補間処理部２０に伝達する。
補間処理部２０は、伝達されるＲＡＷデータを、まず、信号処理部１５内のバッファメモリ（不図示）に一時格納する。続いて、補間処理部２０は、バッファメモリからＲＡＷデータを適当な処理単位ずつ読み出し、公知の補間処理を実行する。
【００２５】
ここでの補間処理としては、
▲１▼欠落する信号成分を、周辺画素の加重平均値やメディアン値などで補う方法。▲２▼周辺画素の画像構造（エッジラインの方向など）を判定し、変化量の少ない方向（類似方向）を優先的に使用して、加重平均値やメディアン値を算出する補間方法。
▲３▼信号成分を色差変換し、色差空間上で補間処理を実行する方法。
など、その他多くの補間方法が使用できる。
【００２６】
このような補間処理により、図２に示すように、ＲＡＷデータにおいて画素単位に欠落していた信号成分が補われる。補間処理部２０は、この補間処理後のＲＧＢデータを、色座標変換部２１に伝達する。
色座標変換部２１は、伝達されるＲＧＢデータに対して、色変換マトリクスを乗ずるなどの色座標変換を実行する。この色座標変換により、ＲＧＢデータは、ＹＣｂＣｒなどの通常圧縮用のコンポーネントに変換される（図３参照）。なお、このとき、視覚感度の低い色や色差については、画素間引きなどのデータ削減を実行してもよい。
色座標変換部２１は、このように色座標変換されたＹＣｂＣｒの各コンポーネントを、画像圧縮部１６に順次出力する。
【００２７】
［ＲＡＷ圧縮モードにおける信号処理部１５の動作説明］
次に、ＲＡＷ圧縮モードに設定された信号処理部１５の動作について説明する。
経路切替部１９は、ＲＡＷ圧縮モードの設定に従って、補間処理部２０および色座標変換部２１の処理をバイパスし、ＲＡＷデータを画素並べ替え処理部２２に伝達する。
【００２８】
画素並べ替え処理部２２は、伝達されるＲＡＷデータを、図４に示すように、信号成分の種類ごとに分類する。その結果、ＲＡＷデータを構成する複数種類の信号成分は、下記の４つのコンポーネントに分類整理される。
▲１▼奇数列および奇数行のＧ信号成分から構成されるＧ１コンポーネント。
▲２▼偶数列および偶数行のＧ信号成分から構成されるＧ２コンポーネント。
▲３▼Ｒ信号成分から構成されるＲコンポーネント。
▲４▼Ｂ信号成分から構成されるＢコンポーネント。
【００２９】
なお、Ｇ１とＧ２とは、サンプリング位置を縦横１画素ずつ（つまり斜め方向に）わずかにずらした画像である。そのため、Ｇ１およびＧ２間のデータ相関性は、斜めストライプなどの特殊な画像パターンを除けば、一般に極めて高い。そこで、Ｇ２コンポーネントに代えて『Ｇ１コンポーネントとＧ２コンポーネントの差分』を使用するなどして、符号化効率を高めてもよい。
また、Ｇ１コンポーネントとＧ２コンポーネントとを、織物のように列単位または行単位に織り混ぜて、一つのコンポーネントを作成してもよい。
画素並べ替え処理部２２は、このように分類整理された各コンポーネントを、画像圧縮部１６に順次出力する。
【００３０】
［画像圧縮部１６の動作説明］
図５は、画像圧縮部１６の処理手順を示す図である。
以下、図５に示す処理手順に従って、画像圧縮部１６の動作を説明する。
【００３１】
（１）  タイル化
通常圧縮モード（Ｙ，Ｃｂ，Ｃｒ）とＲＡＷ圧縮モード（Ｒ，Ｂ，Ｇ１，Ｇ２）では、コンポーネントのサイズがそれぞれ異なる。そこで以後の処理手順を効率良く共通化するため、画像圧縮部１６は、各コンポーネントを所定のデータ処理単位に区分し、複数のタイル（矩形領域）を得る。このように区分されたタイルは、以降の処理において独立に扱われる。
【００３２】
（２）ウェーブレット変換
まず、画像圧縮部１６は、タイルごとに離散ウェーブレット変換（周波数分解）を再帰的に施し、サブバンド分解された変換係数を求める。
【００３３】
（３）量子化
次に、画像圧縮部１６は、このように求めた変換係数を、サブバンド毎に所定の量子化幅で量子化する。この量子化幅により、圧縮歪みの最良限界が決定される。なお、ＲＡＷ圧縮モードにおいて完全な可逆圧縮を実現する場合、この量子化ステップ幅は『１』に設定される。
【００３４】
（４）エントロピー符号化
ここで、優先的に符号化すべき選択領域（ＲＯＩ）が定められている場合、画像圧縮部１６は、量子化後の変換係数の内で選択領域内に位置するものをＳビット分だけシフトアップする。なお、このＳビットは、マックスシフト法によって定められるビット数である。なお、ＲＡＷ圧縮モードにおいて完全な可逆圧縮を実現する場合には、このシフトアップ処理は無意味となるため、特段の事情がなければ省いても構わない。
続いて、画像圧縮部１６は、変換係数をビット単位に分類して、複数のビットプレーンを形成する。なお、この段階で下位Ｎプレーンを打ち切ることにより、量子化ステップ幅『２のＮ乗』の量子化を行ってもよい。
これらのビットプレーンに対して、画像圧縮部１６は、最上位プレーンから順に、下記の符号化パスを実行する。なお、これらの符号化パスはＪＰＥＧ２０００において規定されるものである。
▲１▼ＳＰパス（Significance propagation pass）
▲２▼ＭＲパス（Magnitude refinement pass）
▲３▼クリーンアップパス（Cleanup pass）
このような３通りの符号化パスを通過することにより、変換係数はエントロピー符号化される。
【００３５】
（５）算術符号化
次に、画像圧縮部１６は、エントロピー符号化された符号化データに対して、２値算術符号であるＭＱコーダーを用いた、算術符号化を施す。
【００３６】
（６）ビットストリーム生成
続いて、画像圧縮部１６は、算術符号化された符号化データを、ＳＮＲプログレッシブその他の優先順位に従って並べ替え、ビットストリームを生成する。
ここで、通常圧縮モードの場合、画像圧縮部１６は、このビットストリームを途中で打ち切り、圧縮後のファイルサイズを目標範囲内に調整する。
一方、ＲＡＷ圧縮モードの場合、画像圧縮部１６は、このビットストリームの打ち切りを行わず、圧縮歪みを目標範囲内に低く抑える。（なお、完全な可逆圧縮では、圧縮歪みはゼロになる。）
【００３７】
（７）ヘッダ付加
画像圧縮部１６は、生成されたビットストリームを一つにまとめ、ファイルヘッダを付加し、圧縮ファイルを生成する。
なお、ＲＡＷ圧縮モードの場合、画像圧縮部１６は、補間処理を行っていないことを示す符号を圧縮ファイルに付加する。
このような処理手順を経て、圧縮ファイルが完成する。記録部１７は、この圧縮ファイルを、メモリーカードなどの記録媒体に記録する。
【００３８】
《本実施形態の効果など》
以上説明したように、通常圧縮モード／ＲＡＷ圧縮モードの切り替えは、補間処理部２０をバイパスすることによって実現される。一方、画像圧縮部１６は、圧縮モードに係わらず、共通化された処理手順を実行する。したがって、本実施形態では、圧縮モード別に複数の画像圧縮部を設けたり、画像圧縮部１６の内部で信号経路を複雑に切り替えるなどの必要が殆どなくなる。その結果、通常圧縮モード／ＲＡＷ圧縮モードの切り替えが、単純な構成かつ動作によって、極めて簡易に実現される。
【００３９】
また、本実施形態では、ＲＡＷ圧縮モード時に、ＲＡＷデータの信号成分を種類別に分類して、複数のコンポーネントを生成する。一方、通常圧縮モード時にも、補間処理および色座標変換を介して、複数のコンポーネントを生成する。このように、圧縮モードが切り替わっても、信号処理部１５の出力は、コンポーネント出力という点で共通する。このように信号処理部１５においてコンポーネント出力に整えることにより、画像圧縮部１６側では、共通化された処理手順を無理なく実施することができる。
【００４０】
《実施形態の補足事項》
なお、上述した実施形態では、電子カメラ１１に本発明を適用するケースについて説明している。しかしながら、本発明はこれに限定されるものではない。例えば、単体の画像処理装置として本発明を実現してもよい。
【００４１】
また、本発明の画像処理装置をコンピュータにより実現してもよい。この場合は、上述した画像処理装置の動作をプログラムコード化して、画像処理プログラムを作成すればよい。
【００４２】
なお、上述した実施形態では、ベイヤー配列のＲＡＷデータを扱っている。しかしながら、本発明はこれに限定されるものではない。一般に、ＲＡＷデータとは、補間処理を施す前の画像データであり、複数種類の信号成分（色、輝度、色差など）が画素配列上に混在配置されたものを指す。したがって、本発明においては、補色配列のＲＡＷデータ、特定の表色系の色配列からなるＲＡＷデータ、２板式撮像装置のＲＡＷデータなど、ＲＡＷデータ全般を扱うことができる。
【００４３】
また、上述した実施形態では、ＪＰＥＧ２０００準拠の画像圧縮方式を採用している。しかしながら、本発明はこれに限定されるものではない。一般には、可逆圧縮（疑似的な可逆圧縮も含む）と非可逆圧縮とを、共通化した処理手順で扱うことが可能な圧縮方式であれば何でもよい。
【００４４】
なお、上述した実施形態では、ＲＡＷ圧縮モード時に、ＲＡＷデータの画素並べ替え（図４参照）を実行している。しかしながら、本発明はこれに限定されるものではない。例えば、このＲＡＷ圧縮モード時の画素並べ替えを省いてもよい。
【００４５】
【発明の効果】
本発明では、通常圧縮モード／ＲＡＷ圧縮モードにおける信号経路の切り替えを、信号処理部の処理段階で殆ど済ませてしまう。一方、画像圧縮部は、これら圧縮モードの違いに拘わらず、一元化されている。
このような構成により、圧縮モード別に複数の画像圧縮部を設けたり、画像圧縮部内で信号経路を複雑に切り替えるなどの必要がなくなる。その結果、圧縮モードの切り替えを、単純な構成かつ動作によって簡易に実現することが可能になる。
【図面の簡単な説明】
【図１】本実施形態の電子カメラ１１（画像処理装置を含む）を示す図である。
【図２】通常圧縮モード時の補間処理を説明する図である。
【図３】通常圧縮モード時の色座標変換を説明する図である。
【図４】ＲＡＷ圧縮モード時の画素並べ替えを説明する図である。
【図５】画像圧縮部１６の処理手順を示す図である。
【符号の説明】
１１  電子カメラ
１２  撮影レンズ
１３  撮像素子
１４  Ａ／Ｄ変換部
１５  信号処理部
１６  画像圧縮部
１７  記録部
１８  モード設定部
１９  経路切替部
２０  補間処理部
２１  色座標変換部
２２  画素並べ替え処理部
【図１】
0003864748.tif 000002
【図２】
0003864748.tif 000003
【図３】
0003864748.tif 000004
【図４】
0003864748.tif 000005
【図５】
0003864748.tif 000006