(57)【要約】【課題】より高画質な撮像装置を実現する信号のアンダーシュートおよびオーバーシュートの発生を防ぐモザイク解除手法を提供すること。【解決手段】モザイクの入力画像における各ピクセルに対し垂直および水平双方の輝度・クロミナンス差成分を計算し、モザイクの入力画像における各ピクセルに対する垂直および水平双方の輝度・クロミナンス差成分の増強版を計算する。次に元のＲ成分およびＢ成分各々に対しＧ成分を補間したあと、各補間Ｇ成分における信号のオーバーシュートまたはアンダーシュートを検出し、信号のオーバーシュートまたはアンダーシュートを有する各補間Ｇ成分を最も近接する元のＧ成分にクランプする。次いで取り込み画像の各ピクセル位置において欠けているＲ成分および／またはＢ成分を補間する。【選択図】図３
2010016814.tif 000002
【特許請求の範囲】
【請求項１】
モザイクの入力画像を受信し、前記モザイクの入力画像の被写体に一連の画像処理を施
しフルカラーの出力画像を生成する画像処理装置であって、
前記モザイクの入力画像の各ピクセルについて垂直および水平双方の輝度クロミナンス
差成分を計算するよう構成される輝度クロミナンス差成分演算モジュールと、
前記モザイクの入力画像の各ピクセルについて前記垂直および水平双方の輝度クロミナ
ンス差成分の増強版を計算するよう構成される増強輝度クロミナンス差成分計算モジュー
ルと、
モザイク解除を実施すべき方向を判定するために前記増強輝度クロミナンス差成分にお
ける偏差を評価するよう構成されるエッジ配向検出モジュールと、
元のＲ成分およびＢ成分各々についてＧ成分を補間するよう構成される輝度成分補間モ
ジュールと、
前記各補間されたＧ成分における信号オーバーシュートまたはアンダーシュートを検出
し、前記検出された信号オーバーシュートまたはアンダーシュートを有する前記各補間さ
れたＧ成分を最も近接の元のＧ成分にクランプするよう構成されるクランピングモジュー
ルと、
前記元のＧ成分およびＢ成分についてＲ成分を、および前記元のＧ成分およびＲ成分に
ついてＢ成分を補間するよう構成されるクロミナンス成分補間モジュールとを有する画像
処理装置。
【請求項２】
前記輝度クロミナンス差成分演算モジュールは、前記モザイクの入力画像Ｚの各ピクセ
ル（ｒ，ｓ）について前記垂直および水平双方の輝度クロミナンス差成分ΔvおよびΔhを
以下の方程式に従い計算するよう構成され、
【数１】
2010016814.tif 000021
前記増強輝度クロミナンス差成分演算モジュールは、前記モザイクの入力画像Ｚの各ピ
クセル（ｒ，ｓ）について前記垂直および水平双方の輝度クロミナンス差成分Δvおよび
Δhの各々の増強版Ξvおよび増強版Ξhを以下の方程式に従い計算するよう構成され、
【数２】
2010016814.tif 000022
前記エッジ配向検出モジュールは、前記増強輝度クロミナンス差成分ΞvおよびΞhにお
ける偏差を以下の方程式に従い評価するよう構成され、
【数３】
2010016814.tif 000023
前記輝度成分補間モジュールは、前記元のＲ成分およびＢ成分各々に対し輝度成分を以
下の方程式に従い補間するよう構成される、請求項１に記載の画像処理装置。
【数４】
2010016814.tif 000024
【請求項３】
前記クランピングモジュールは、前記補間されたＧ成分における信号オーバーシュート
またはアンダーシュートを検出し、前記検出された信号オーバーシュートまたはアンダー
シュートを有するピクセル位置において前記各補間されたＧ成分を最も近接の元のＧ成分
に以下の方程式に従いクランプするよう構成される請求項２に記載の画像処理装置。
【数５】
2010016814.tif 000025
ここで、ＶＤとＨＤはモザイク解除が行なわれる前記検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)がモザイク解除方向において隣接する２つの元の緑（Ｇ）より大
きいか小さい場合、前記モザイク解除において隣接する２つの元の緑（Ｇ）の内規模の点
で最も近いものでＧ(r,s)を置換するクランピング関数である。
【請求項４】
前記クランピングモジュールは、前記補間されたＧ成分における信号オーバーシュート
またはアンダーシュートを検出し、前記検出された信号オーバーシュートまたはアンダー
シュートを有するピクセル位置において前記各補間されたＧ成分を最も近接の元のＧ成分
に以下の方程式に従いクランプするよう構成される、請求項２に記載の画像処理装置。
【数６】
2010016814.tif 000026
ここで、ＶＤとＨＤはモザイク解除が行なわれる前記検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)がモザイク解除方向において隣接する２つの元の緑（Ｇ）より大
きいか小さい場合、前記モザイク解除において隣接する２つの元の緑（Ｇ）の内規模の点
で最も近いものでＧ(r,s)を置換するクランピング関数であり、αは正のスケーリングパ
ラメーターであり、βは正のグローバル輝度クロミナンス差であり、ｍｉｎ（）は最小演
算子を示す。
【請求項５】
前記クランピングモジュールはさらに、前記輝度クロミナンス差成分を１つ以上のパラ
メーターと比較することにより前記各補間されたＧ成分における信号オーバーシュートま
たはアンダーシュートを検出し、前記検出された信号オーバーシュートまたはアンダーシ
ュートを有する前記各補間されたＧ成分をモザイク解除が行なわれる方向に位置する最も
近接する元のＧ成分にクランプするよう構成され、
前記輝度クロミナンス差成分を前記１つ以上のパラメーターと比較することにより前記
信号オーバーシュートまたはアンダーシュートが検出されない前記各補間されたＧ成分の
ピクセル位置において、前記クランピングモジュールはさらに、
前記補間されたＧ成分を用いて欠けているクロミナンス成分を推定するステップと、前
記補間されたＧ成分において信号オーバーシュートまたはアンダーシュートを検出するた
めに元のクロミナンス成分および推定クロミナンス成分を１つ以上のパラメーターと比較
するステップと、
前記検出された信号オーバーシュートまたはアンダーシュートを有する前記各補間され
たＧ成分を最も近接する元のＧ成分にクランプするステップとを実施するよう構成される
請求項１に記載の画像処理装置。
【請求項６】
前記クランピングモジュールは、前記補間されたＧ成分を用いて前記欠けているクロミ
ナンス成分を以下の方程式を用いて推定するよう構成される請求項５に記載の画像処理装
置。
【数７】
2010016814.tif 000027
【請求項７】
前記クランピングモジュールは、前記補間されたＧ成分において前記信号オーバーシュ
ートまたはアンダーシュートを検出するために前記元のクロミナンス成分および推定クロ
ミナンス成分を１つ以上のパラメーターと比較し、前記検出された信号オーバーシュート
またはアンダーシュートを有する前記各補間されたＧ成分を最も近接する元のＧ成分に、
以下の方程式に従いクランプするよう構成される請求項５に記載の画像処理装置。
【数８】
2010016814.tif 000028
ここで、ＶＤとＨＤはモザイク解除が行なわれる前記検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する４つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する４つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数であり、δはクロミナンスチ
ャンネルの明るさが低減された画像領域を局限するために用いる所定のグローバル画像レ
ベルを示す。
【請求項８】
前記クランピングモジュールは、前記補間されたＧ成分において前記信号オーバーシュ
ートまたはアンダーシュートを検出するために前記元のクロミナンス成分および推定クロ
ミナンス成分を１つ以上のパラメーターと比較し、前記検出された信号オーバーシュート
またはアンダーシュートを有する前記各補間されたＧ成分を最も近接する元のＧ成分に、
以下の方程式に従いクランプするよう構成される請求項５に記載の画像処理装置。
【数９】
2010016814.tif 000029
ここで、ＶＤとＨＤはモザイク解除が行なわれる前記検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する４つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する４つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数であり、δはクロミナンスチ
ャンネルの明るさが低減された画像領域を局限するために用いる所定のグローバル画像レ
ベルを示し、ｍｉｎ（）は最小演算子を示し、［］はモザイク解除の前にカンマ補正ステ
ップが用いられた場合該当成分を元の範囲にマップするために用いる逆ガンマ補正演算を
示す。
【請求項９】
モザイクの入力画像をモザイク解除しフルカラーの出力画像を生成する画像処理方法で
あって、
ａ）前記モザイクの入力画像における各ピクセルに対し垂直および水平双方の輝度クロ
ミナンス差成分を計算するステップと、
ｂ）前記モザイクの入力画像における各ピクセルに対する垂直および水平双方の輝度ク
ロミナンス差成分の増強版である増強輝度クロミナンス差成分を計算するステップと、
ｃ）前記モザイク解除をどの方向に実施すべきかを判定するために前記増強輝度クロミ
ナンス差成分における偏差を評価するステップと、
ｄ）元のＲ成分およびＢ成分各々に対しＧ成分を補間するステップと、
ｅ）前記補間されたＧ成分における信号オーバーシュートまたはアンダーシュートを検
出し、前記検出された信号オーバーシュートまたはアンダーシュートを有する前記各補間
されたＧ成分を最も近接の元のＧ成分にクランプするステップと、
ｆ）前記元のＧ成分およびＢ成分各々に対しＲ成分を、および前記元のＧ成分およびＲ
成分各々に対しＢ成分を補間するステップとを有する画像処理方法。
【請求項１０】
前記ステップａ）は、前記モザイクの入力画像Ｚの各ピクセル（ｒ，ｓ）について前記
垂直および水平双方の輝度クロミナンス差成分ΔvおよびΔhを以下の方程式に従い計算す
るステップを有する、請求項９に記載の画像処理方法。
【数１０】
2010016814.tif 000030
【請求項１１】
前記ステップｂ）は、前記モザイクの入力画像Ｚの各ピクセル（ｒ，ｓ）について前記
垂直および水平双方の垂直および水平双方の輝度クロミナンス差成分ΔvおよびΔhの増強
版Ξvおよび増強版Ξhを以下の方程式に従い計算するステップを有する請求項１０に記載
の画像処理方法。
【数１１】
2010016814.tif 000031
【請求項１２】
前記ステップｃ）は、前記モザイク解除をすべき方向を判定するために前記増強輝度ク
ロミナンス差成分ΞvおよびΞhにおける偏差を以下の方程式に従い評価するステップを有
する請求項１１に記載の画像処理方法。
【数１２】
2010016814.tif 000032
【請求項１３】
前記ステップｄ）は、前記元のＲ成分およびＢ成分各々に対し前記Ｇ成分を以下の方程
式に従い補間するステップを有する請求項１２に記載の画像処理方法。
【数１３】
2010016814.tif 000033
【請求項１４】
前記ステップｅ）は、以下の方程式に従い達成される請求項１３に記載の画像処理方法
。
【数１４】
2010016814.tif 000034
ここで、ＶＤとＨＤは前記モザイク解除が行なわれる検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する２つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する２つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数である。
【請求項１５】
前記ステップｅ）は以下の方程式に従い達成される請求項１３に記載の画像処理方法。
【数１５】
2010016814.tif 000035
ここで、ＶＤとＨＤは前記モザイク解除が行なわれる検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する２つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する２つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数であり、αは正のスケーリン
グパラメーターであり、βは正のグローバル輝度クロミナンス差であり、ｍｉｎ（）は最
小演算子を示す。
【請求項１６】
前記ステップｅ）はさらに、
ｅ−１）前記輝度クロミナンス差成分を１つ以上のパラメーターと比較することにより
前記各補間されたＧ成分における信号オーバーシュートまたはアンダーシュートを検出し
、前記検出された信号オーバーシュートまたはアンダーシュートを有する前記各補間され
たＧ成分を前記モザイク解除が行なわれる方向に位置する最も近接する元のＧ成分にクラ
ンプするステップと、
ｅ−２）前記ステップｅ−１）において、前記信号オーバーシュートまたはアンダーシ
ュートが検出されない前記各補間されたＧ成分のピクセル位置において、さらに、
前記補間されたＧ成分を用いて欠けているクロミナンス成分を推定するステップと、
前記補間Ｇ成分において前記信号オーバーシュートまたはアンダーシュートを検出する
ために元のクロミナンス成分および推定クロミナンス成分を１つ以上のパラメーターと比
較するステップと、
前記検出された信号オーバーシュートまたはアンダーシュートを有する前記各補間され
たＧ成分を最も近接する元のＧ成分にクランプするステップと、を有する請求項１３に記
載の画像処理方法。
【請求項１７】
前記補間されたＧ成分を用いて前記欠けているクロミナンス成分を推定するステップは
、以下の方程式を用いて達成される請求項１６に記載の画像処理方法。
【数１６】
2010016814.tif 000036
【請求項１８】
前記ステップｅ−２）は、以下の方程式に従い達成される請求項１６に記載の画像処理
方法。
【数１７】
2010016814.tif 000037
ここで、ＶＤとＨＤは前記モザイク解除が行なわれる検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する４つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する４つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数であり、δはクロミナンスチ
ャンネルの明るさが低減された画像領域を局限するために用いる所定のグローバル画像レ
ベルを示す。
【請求項１９】
前記ステップｅ−２）は以下の方程式に従い達成される請求項１６に記載の画像処理方
法。
【数１８】
2010016814.tif 000038
ここで、ＶＤとＨＤは前記モザイク解除が行なわれる検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する４つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する４つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数であり、δはクロミナンスチ
ャンネルの明るさが低減された画像領域を局限するために用いる所定のグローバル画像レ
ベルを示し、ｍｉｎ（）は最小演算子を示し、［］はモザイク解除の前にカンマ補正ステ
ップが用いられた場合該当成分を元の範囲にマップするために用いる逆ガンマ補正演算を
示す。
【請求項２０】
モザイクの入力画像対象をモザイク解除してフルカラーの出力画像を生成する方法をコ
ンピューターに実現させるプログラムを有するコンピューター読み取り可能な媒体であっ
て、前記プログラムは前記コンピューターに、
ａ）前記モザイクの入力画像における各ピクセルに対し垂直および水平双方の輝度クロ
ミナンス差成分を計算するステップと、
ｂ）前記モザイクの入力画像における各ピクセルに対する前記垂直および水平双方の輝
度クロミナンス差成分の増強版である増強輝度クロミナンス差成分を計算するステップと
、
ｃ）前記モザイク解除をどの方向に実施すべきかを判定するために前記増強輝度クロミ
ナンス差成分における偏差を評価するステップと、
ｄ）元のＲ成分およびＢ成分各々に対しＧ成分を補間するステップと、
ｅ）前記補間されたＧ成分における信号オーバーシュートまたはアンダーシュートを検
出し、前記検出された信号オーバーシュートまたはアンダーシュートを有する前記各補間
されたＧ成分を最も近接の元のＧ成分にクランプするステップと、
ｆ）前記元のＧ成分およびＢ成分各々に対しＲ成分を、および前記元のＧ成分およびＲ
成分各々に対しＢ成分を補間するステップとの機能を達成させるコンピューター読み取り
可能な媒体。
【請求項２１】
前記プログラムはさらに、
ｅ−１）前記輝度クロミナンス差成分を１つ以上のパラメーターと比較することにより
前記各補間されたＧ成分における前記信号オーバーシュートまたはアンダーシュートを検
出し、前記検出された信号オーバーシュートまたはアンダーシュートを有する各補間Ｇ成
分を前記モザイク解除が行なわれる方向に位置する最も近接する元のＧ成分にクランプす
るステップと、
ｅ−２）前記ステップｅ−１）において、前記信号オーバーシュートまたはアンダーシ
ュートが検出されない前記各補間されたＧ成分のピクセル位置において、さらに、
前記補間されたＧ成分を用いて欠けているクロミナンス成分を推定するステップと、
前記補間Ｇ成分において前記信号オーバーシュートまたはアンダーシュートを検出する
ために元のクロミナンス成分および推定クロミナンス成分を１つ以上のパラメーターと比
較するステップと、
前記検出された信号オーバーシュートまたはアンダーシュートを有する前記各補間され
たＧ成分を最も近接する元のＧ成分にクランプするステップと、を前記コンピューターに
達成させるコンピューター読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態はデジタルカメラなどの撮像装置で画像データを生成する手法に関す
る。より具体的に、発明の実施形態は光の３原色に対応するＲ（赤）、Ｇ（緑）、および
Ｂ（青）の微細カラーフィルターのモザイク配置のモザイク解除におけるオーバーシュー
トおよびアンダーシュートを削減する手法に関する。
【背景技術】
【０００２】
デジタル手法の進歩につれ、画像は一般的にデジタルデータ（画像データ）として処理
される。デジタルカメラなどの撮像装置は取り込まれた画像を画像データの形で直ちに出
力することを可能にする。撮像装置は通常光強度を電気信号に転換する小さい要素からな
る電子画像センサーを備えている。撮像装置は光学系により被写体の取り込み画像を画像
センサーに焦点合わせし、個々の要素における光強度を電気信号として検出し画像データ
を生成する。光学系に入射する光は光の３原色に対応する３つの色成分Ｒ，Ｇ，Ｂに分割
することができる。３つの色成分Ｒ，Ｇ，Ｂ各々の色光は画像センサーに向けられ、セン
サーにより得られた各々の色成分の光強度を表す電気信号が出力され、色画像データを生
成する。Ｇ成分はしばしば「輝度」成分と呼ばれる一方、Ｒ成分およびＢ成分はしばしば
「クロミナンス」成分と呼ばれる。
【０００３】
光学系に入射する光の分割として得られる３つの色成分Ｒ，Ｇ，Ｂの各々の色光を画像
センサーにより取得する最も簡単な方法は分光プリズムを用いて入射光を３つの色成分Ｒ
，Ｇ，Ｂの色光に分割し、各々の色光を画像センサーに焦点合わせして各々の色成分Ｒ，
Ｇ，Ｂに冠する画像データを生成する。この方法は３つの画像センサーを必要とするので
望ましくない。従ってカラー画像を取り込むのに３つの画像センサーに頼る撮像装置は時
に「３画像センサー」装置と呼ばれる。
【０００４】
撮像装置のコストを削減するために広く用いられる、カラーフィルターアレイと呼ばれ
る手法の１つは１つの画像センサーにより色成分Ｒ，Ｇ，Ｂの各々を検出するために色成
分Ｒ，Ｇ，Ｂの色成分の１つを、画像センサーを構成する光感知要素の各々に割り当てる
。この手法の典型的な構成はＲ成分の検出に割り当てられた光要素の前にあるＲ成分のみ
の伝送を許す小さいカラーフィルター、Ｇ成分の検出に割り当てられた要素の前にあるＧ
成分のみの伝送を許す小さいカラーフィルター、およびＢ成分の検出に割り当てられた要
素の前にあるＢ成分のみの伝送を許す小さいカラーフィルターを備える。所定の色成分（
例、Ｒ成分）の検出に割り当てられた各要素は他の色成分（例、Ｇ成分およびＢ成分）を
検出することができないので、得られた画像データはＲ成分のピクセル、Ｇ成分のピクセ
ル、およびＢ成分のピクセルのモザイク配置を有する。各ピクセルにおいて欠けている色
成分を隣接ピクセルの色成分で補間することにより、すべてのピクセルにおいてすべての
色成分Ｒ，Ｇ，Ｂの設定を備えたカラー画像データの生成が可能になる。モザイク配置の
画像データにおいてかけている色成分を補間してすべての色成分Ｒ，Ｇ，Ｂの設定を備え
たカラー画像データを生成するプロセスは時に「モザイク解除プロセス」と呼ばれる。カ
ラーフィルターアレイで覆われた１つの画像センサーのみを用いる撮像装置は時に「単一
画像センサー」装置と呼ばれる。
【０００５】
自然のカラー画像はスペクトル上の相当な相関関係を示すので、モザイク解除プロセス
は通常色について各種相関関係の仮定を用い、モザイク解除された画像において色の変動
やアーティファクトをもたらす処理エラーを最小限にする。局部的な近辺における均一な
色差といった仮定に基づく相関モデルはその簡単さと有効性からほとんどのモザイク解除
のソリューションにおいて事実上標準設定の要素である。しかし、ハイコントラストエッ
ジを有する色彩画像範囲においてはモデル化の根底の仮定がしばしば機能せず、これらは
モザイク解除された検討中のサンプルと同じカラーバンドに対応した隣接する元の色成分
の値より小さいか、または大きいモザイク解除値である、いわゆる信号のアンダーシュー
トおよびオーバーシュートをもたらす。（例えば特許文献１参照。）信号の有意なアンダ
ーシュートおよびオーバーシュートはモザイク解除された画像に存在するカラーアーティ
ファクトとして感知される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第６４８３９４１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
消費者がより高画質を撮像装置からさらに求めるにつれ、信号のアンダーシュートおよ
びオーバーシュートの発生を防ぎ、または削減するモザイク解除手法の開発がおおいに要
求されている。消費者のより高画質に対する要求を満足するために撮像装置により取り込
まれる各画像を構成するピクセルの数は増えているので、高速処理を可能にするモザイク
解除手法の開発も要求されている。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、モザイクの入力画像を受信し、前記モザイクの入力画像の被
写体に一連の画像処理を施しフルカラーの出力画像を生成する画像処理装置であって、前
記モザイクの入力画像の各ピクセルについて垂直および水平双方の輝度クロミナンス差成
分を計算するよう構成される輝度クロミナンス差成分演算モジュールと、前記モザイクの
入力画像の各ピクセルについて前記垂直および水平双方の輝度クロミナンス差成分の増強
版を計算するよう構成される増強輝度クロミナンス差成分計算モジュールと、モザイク解
除を実施すべき方向を判定するために前記増強輝度クロミナンス差成分における偏差を評
価するよう構成されるエッジ配向検出モジュールと、元のＲ成分およびＢ成分各々につい
てＧ成分を補間するよう構成される輝度成分補間モジュールと、前記各補間されたＧ成分
における信号オーバーシュートまたはアンダーシュートを検出し、前記検出された信号オ
ーバーシュートまたはアンダーシュートを有する前記各補間されたＧ成分を最も近接の元
のＧ成分にクランプするよう構成されるクランピングモジュールと、前記元のＧ成分およ
びＢ成分についてＲ成分を、および前記元のＧ成分およびＲ成分についてＢ成分を補間す
るよう構成されるクロミナンス成分補間モジュールとを有することを特徴とする。
【０００９】
また、本発明の画像処理装置において、前記輝度クロミナンス差成分演算モジュールは
、前記モザイクの入力画像Ｚの各ピクセル（ｒ，ｓ）について前記垂直および水平双方の
輝度クロミナンス差成分ΔvおよびΔhを以下の方程式に従い計算するよう構成され、
【００１０】
【数１】
2010016814.tif 000003
前記増強輝度クロミナンス差成分演算モジュールは、前記モザイクの入力画像Ｚの各ピ
クセル（ｒ，ｓ）について前記垂直および水平双方の輝度クロミナンス差成分Δvおよび
Δhの各々の増強版Ξvおよび増強版Ξhを以下の方程式に従い計算するよう構成され、
【００１１】
【数２】
2010016814.tif 000004
前記エッジ配向検出モジュールは、前記増強輝度クロミナンス差成分ΞvおよびΞhにお
ける偏差を以下の方程式に従い評価するよう構成され、
【００１２】
【数３】
2010016814.tif 000005
前記輝度成分補間モジュールは、前記元のＲ成分およびＢ成分各々に対し輝度成分を以
下の方程式に従い補間するよう構成される、ことを特徴とする。
【００１３】
【数４】
2010016814.tif 000006
【００１４】
また、本発明の画像処理装置において、前記クランピングモジュールは、前記補間され
たＧ成分における信号オーバーシュートまたはアンダーシュートを検出し、前記検出され
た信号オーバーシュートまたはアンダーシュートを有するピクセル位置において前記各補
間されたＧ成分を最も近接の元のＧ成分に以下の方程式に従いクランプするよう構成され
ることを特徴とする。
【００１５】
【数５】
2010016814.tif 000007
ここで、ＶＤとＨＤはモザイク解除が行なわれる前記検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)がモザイク解除方向において隣接する２つの元の緑（Ｇ）より大
きいか小さい場合、前記モザイク解除において隣接する２つの元の緑（Ｇ）の内規模の点
で最も近いものでＧ(r,s)を置換するクランピング関数である。
【００１６】
また、本発明の画像処理装置において、前記クランピングモジュールは、前記補間され
たＧ成分における信号オーバーシュートまたはアンダーシュートを検出し、前記検出され
た信号オーバーシュートまたはアンダーシュートを有するピクセル位置において前記各補
間されたＧ成分を最も近接の元のＧ成分に以下の方程式に従いクランプするよう構成され
ることを特徴とする。
【００１７】
【数６】
2010016814.tif 000008
ここで、ＶＤとＨＤはモザイク解除が行なわれる前記検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)がモザイク解除方向において隣接する２つの元の緑（Ｇ）より大
きいか小さい場合、前記モザイク解除において隣接する２つの元の緑（Ｇ）の内規模の点
で最も近いものでＧ(r,s)を置換するクランピング関数であり、αは正のスケーリングパ
ラメーターであり、βは正のグローバル輝度クロミナンス差であり、ｍｉｎ（）は最小演
算子を示す。
【００１８】
また、本発明の画像処理装置において、前記クランピングモジュールはさらに、前記輝
度クロミナンス差成分を１つ以上のパラメーターと比較することにより前記各補間された
Ｇ成分における信号オーバーシュートまたはアンダーシュートを検出し、前記検出された
信号オーバーシュートまたはアンダーシュートを有する前記各補間されたＧ成分をモザイ
ク解除が行なわれる方向に位置する最も近接する元のＧ成分にクランプするよう構成され
、前記輝度クロミナンス差成分を前記１つ以上のパラメーターと比較することにより前記
信号オーバーシュートまたはアンダーシュートが検出されない前記各補間されたＧ成分の
ピクセル位置において、前記クランピングモジュールはさらに、前記補間されたＧ成分を
用いて欠けているクロミナンス成分を推定するステップと、前記補間されたＧ成分におい
て信号オーバーシュートまたはアンダーシュートを検出するために元のクロミナンス成分
および推定クロミナンス成分を１つ以上のパラメーターと比較するステップと、前記検出
された信号オーバーシュートまたはアンダーシュートを有する前記各補間されたＧ成分を
最も近接する元のＧ成分にクランプするステップとを実施するよう構成されることを特徴
とする。
【００１９】
また、本発明の画像処理装置において、前記クランピングモジュールは、前記補間され
たＧ成分を用いて前記欠けているクロミナンス成分を以下の方程式を用いて推定するよう
構成されることを特徴とする。
【００２０】
【数７】
2010016814.tif 000009
【００２１】
また、本発明の画像処理装置において、前記クランピングモジュールは、前記補間され
たＧ成分において前記信号オーバーシュートまたはアンダーシュートを検出するために前
記元のクロミナンス成分および推定クロミナンス成分を１つ以上のパラメーターと比較し
、前記検出された信号オーバーシュートまたはアンダーシュートを有する前記各補間され
たＧ成分を最も近接する元のＧ成分に、以下の方程式に従いクランプするよう構成される
ことを特徴とする。
【００２２】
【数８】
2010016814.tif 000010
ここで、ＶＤとＨＤはモザイク解除が行なわれる前記検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する４つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する４つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数であり、δはクロミナンスチ
ャンネルの明るさが低減された画像領域を局限するために用いる所定のグローバル画像レ
ベルを示す。
【００２３】
また、本発明の画像処理装置において、前記クランピングモジュールは、前記補間され
たＧ成分において前記信号オーバーシュートまたはアンダーシュートを検出するために前
記元のクロミナンス成分および推定クロミナンス成分を１つ以上のパラメーターと比較し
、前記検出された信号オーバーシュートまたはアンダーシュートを有する前記各補間され
たＧ成分を最も近接する元のＧ成分に、以下の方程式に従いクランプするよう構成される
ことを特徴とする。
【００２４】
【数９】
2010016814.tif 000011
ここで、ＶＤとＨＤはモザイク解除が行なわれる前記検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する４つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する４つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数であり、δはクロミナンスチ
ャンネルの明るさが低減された画像領域を局限するために用いる所定のグローバル画像レ
ベルを示し、ｍｉｎ（）は最小演算子を示し、［］はモザイク解除の前にカンマ補正ステ
ップが用いられた場合該当成分を元の範囲にマップするために用いる逆ガンマ補正演算を
示す。
【００２５】
一方、本発明の画像処理方法は、モザイクの入力画像をモザイク解除しフルカラーの出
力画像を生成する画像処理方法であって、ａ）前記モザイクの入力画像における各ピクセ
ルに対し垂直および水平双方の輝度クロミナンス差成分を計算するステップと、ｂ）前記
モザイクの入力画像における各ピクセルに対する垂直および水平双方の輝度クロミナンス
差成分の増強版である増強輝度クロミナンス差成分を計算するステップと、ｃ）前記モザ
イク解除をどの方向に実施すべきかを判定するために前記増強輝度クロミナンス差成分に
おける偏差を評価するステップと、ｄ）元のＲ成分およびＢ成分各々に対しＧ成分を補間
するステップと、ｅ）前記補間されたＧ成分における信号オーバーシュートまたはアンダ
ーシュートを検出し、前記検出された信号オーバーシュートまたはアンダーシュートを有
する前記各補間されたＧ成分を最も近接の元のＧ成分にクランプするステップと、ｆ）前
記元のＧ成分およびＢ成分各々に対しＲ成分を、および前記元のＧ成分およびＲ成分各々
に対しＢ成分を補間するステップとを有することを特徴とする。
【００２６】
また、本発明の画像処理方法において、前記ステップａ）は、前記モザイクの入力画像
Ｚの各ピクセル（ｒ，ｓ）について前記垂直および水平双方の輝度クロミナンス差成分Δ
vおよびΔhを以下の方程式に従い計算するステップを有することを特徴とする。
【００２７】
【数１０】
2010016814.tif 000012
【００２８】
また、本発明の画像処理方法において、前記ステップｂ）は、前記モザイクの入力画像
Ｚの各ピクセル（ｒ，ｓ）について前記垂直および水平双方の垂直および水平双方の輝度
クロミナンス差成分ΔvおよびΔhの増強版Ξvおよび増強版Ξhを以下の方程式に従い計算
するステップを有することを特徴とする。
【００２９】
【数１１】
2010016814.tif 000013
【００３０】
また、本発明の画像処理方法において、前記ステップｃ）は、前記モザイク解除をすべ
き方向を判定するために前記増強輝度クロミナンス差成分ΞvおよびΞhにおける偏差を以
下の方程式に従い評価するステップを有することを特徴とする。
【００３１】
【数１２】
2010016814.tif 000014
【００３２】
また、本発明の画像処理方法において、前記ステップｄ）は、前記元のＲ成分およびＢ
成分各々に対し前記Ｇ成分を以下の方程式に従い補間するステップを有することを特徴と
する。
【００３３】
【数１３】
2010016814.tif 000015
【００３４】
また、本発明の画像処理方法において、前記ステップｅ）は、以下の方程式に従い達成
されることを特徴とする。
【００３５】
【数１４】
2010016814.tif 000016
ここで、ＶＤとＨＤは前記モザイク解除が行なわれる検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する２つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する２つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数である。
【００３６】
また、本発明の画像処理方法において、前記ステップｅ）は以下の方程式に従い達成さ
れることを特徴とする。
【００３７】
【数１５】
2010016814.tif 000017
ここで、ＶＤとＨＤは前記モザイク解除が行なわれる検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する２つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する２つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数であり、αは正のスケーリン
グパラメーターであり、βは正のグローバル輝度クロミナンス差であり、ｍｉｎ（）は最
小演算子を示す。
【００３８】
また、本発明の画像処理方法において、前記ステップｅ）はさらに、ｅ−１）前記輝度
クロミナンス差成分を１つ以上のパラメーターと比較することにより前記各補間されたＧ
成分における信号オーバーシュートまたはアンダーシュートを検出し、前記検出された信
号オーバーシュートまたはアンダーシュートを有する前記各補間されたＧ成分を前記モザ
イク解除が行なわれる方向に位置する最も近接する元のＧ成分にクランプするステップと
、ｅ−２）前記ステップｅ−１）において、前記信号オーバーシュートまたはアンダーシ
ュートが検出されない前記各補間されたＧ成分のピクセル位置において、さらに、前記補
間されたＧ成分を用いて欠けているクロミナンス成分を推定するステップと、前記補間Ｇ
成分において前記信号オーバーシュートまたはアンダーシュートを検出するために元のク
ロミナンス成分および推定クロミナンス成分を１つ以上のパラメーターと比較するステッ
プと、前記検出された信号オーバーシュートまたはアンダーシュートを有する前記各補間
されたＧ成分を最も近接する元のＧ成分にクランプするステップと、を有することを特徴
とする。
【００３９】
また、本発明の画像処理方法において、前記補間されたＧ成分を用いて前記欠けている
クロミナンス成分を推定するステップは、以下の方程式を用いて達成されることを特徴と
する。
【００４０】
【数１６】
2010016814.tif 000018
【００４１】
また、本発明の画像処理方法において、前記ステップｅ−２）は、以下の方程式に従い
達成される。
【００４２】
【数１７】
2010016814.tif 000019
ここで、ＶＤとＨＤは前記モザイク解除が行なわれる検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する４つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する４つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数であり、δはクロミナンスチ
ャンネルの明るさが低減された画像領域を局限するために用いる所定のグローバル画像レ
ベルを示す。
【００４３】
また、本発明の画像処理方法において、前記ステップｅ−２）は以下の方程式に従い達
成されることを特徴とする。
【００４４】
【数１８】
2010016814.tif 000020
ここで、ＶＤとＨＤは前記モザイク解除が行なわれる検出された垂直および水平方向を
示し、ｆc｛｝はＧ(r,s)が前記モザイク解除方向において隣接する４つの元の緑（Ｇ）よ
り大きいか小さい場合、前記モザイク解除において隣接する４つの元の緑（Ｇ）の内規模
の点で最も近いものでＧ(r,s)を置換するクランピング関数であり、δはクロミナンスチ
ャンネルの明るさが低減された画像領域を局限するために用いる所定のグローバル画像レ
ベルを示し、ｍｉｎ（）は最小演算子を示し、［］はモザイク解除の前にカンマ補正ステ
ップが用いられた場合該当成分を元の範囲にマップするために用いる逆ガンマ補正演算を
示す。
【００４５】
さらに、本発明のコンピューター読み取り可能な媒体は、モザイクの入力画像対象をモ
ザイク解除してフルカラーの出力画像を生成する方法をコンピューターに実現させるプロ
グラムを有するコンピューター読み取り可能な媒体であって、前記プログラムは前記コン
ピューターに、ａ）前記モザイクの入力画像における各ピクセルに対し垂直および水平双
方の輝度クロミナンス差成分を計算するステップと、ｂ）前記モザイクの入力画像におけ
る各ピクセルに対する前記垂直および水平双方の輝度クロミナンス差成分の増強版である
増強輝度クロミナンス差成分を計算するステップと、ｃ）前記モザイク解除をどの方向に
実施すべきかを判定するために前記増強輝度クロミナンス差成分における偏差を評価する
ステップと、ｄ）元のＲ成分およびＢ成分各々に対しＧ成分を補間するステップと、ｅ）
前記補間されたＧ成分における信号オーバーシュートまたはアンダーシュートを検出し、
前記検出された信号オーバーシュートまたはアンダーシュートを有する前記各補間された
Ｇ成分を最も近接の元のＧ成分にクランプするステップと、ｆ）前記元のＧ成分およびＢ
成分各々に対しＲ成分を、および前記元のＧ成分およびＲ成分各々に対しＢ成分を補間す
るステップとの機能を達成させることを特徴とする。
【００４６】
また、前記プログラムはさらに、ｅ−１）前記輝度クロミナンス差成分を１つ以上のパ
ラメーターと比較することにより前記各補間されたＧ成分における前記信号オーバーシュ
ートまたはアンダーシュートを検出し、前記検出された信号オーバーシュートまたはアン
ダーシュートを有する各補間Ｇ成分を前記モザイク解除が行なわれる方向に位置する最も
近接する元のＧ成分にクランプするステップと、ｅ−２）前記ステップｅ−１）において
、前記信号オーバーシュートまたはアンダーシュートが検出されない前記各補間されたＧ
成分のピクセル位置において、さらに、前記補間されたＧ成分を用いて欠けているクロミ
ナンス成分を推定するステップと、前記補間Ｇ成分において前記信号オーバーシュートま
たはアンダーシュートを検出するために元のクロミナンス成分および推定クロミナンス成
分を１つ以上のパラメーターと比較するステップと、前記検出された信号オーバーシュー
トまたはアンダーシュートを有する前記各補間されたＧ成分を最も近接する元のＧ成分に
クランプするステップと、を前記コンピューターに達成させても良い。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態において画像処理装置を備えたデジタルカメラの構成の概略図である。
【図２】図１における画像処理装置に含まれるカラーフィルターアレイおよび画像センサーの構造を示す概念図である。
【図３】実施形態の画像処理装置により実行され、生の画像データから色画像データを生成させる色画像データ生成プロセスを示すフローチャートである。
【図４】生の画像データを色差成分のデータに変換するプロセスを概念的に示す図である。
【図５】生の画像データから色差成分を計算する計算式を示す。
【図６】色差成分に含まれる雑音の除去に適用されるローパスフィルターを示す図である。
【図７】図３の色画像データ生成プロセスにおいて画像処理装置により実行されるエッジ配向マップ作成プロセスの詳細を示すフローチャートである。
【図８】垂直方向にあるローパスカラーフィルターにかけられた色差成分からの垂直方向偏差の計算を示す。
【図９】水平方向にあるローパスカラーフィルターにかけられた色差成分からの水平方向偏差の計算を示す。
【図１０】図３の色画像データ生成プロセスにおいて画像処理装置により実行される輝度成分補間プロセスの詳細を示すフローチャートである。
【図１１】図３の色画像データ生成プロセスにおいて画像処理装置により実行される輝度成分クランピングプロセスの詳細を示すフローチャートである。
【図１２】補間されたＧ成分における信号のオーバーシュートまたはアンダーシュートを検出し、図７におけるエッジ配向検出プロセスにより判定された方向に位置する最も近辺にある元のＧ成分にクランプすることを示す。
【図１３】補間されたＧ成分における信号のオーバーシュートまたはアンダーシュートを検出し、最も近辺にある元のＧ成分にクランプすることを示す。
【発明を実施するための形態】
【００４８】
以下、本発明の実施の形態について説明する。最初に本発明の各態様について述べる。
上述の要求の少なくとも一部を達成するために、本発明の一態様はモザイクの入力画像を
受信し、モザイクの入力画像の被写体に一連の画像処理を施しフルカラーの出力画像を生
成する画像処理装置に向けられる。画像処理装置は輝度・クロミナンス差成分演算モジュ
ール、増強輝度・ルミナンス差成分演算モジュール、エッジ配向検出モジュール、輝度成
分補間モジュール、クランピングモジュール、およびクロミナンス成分補間モジュールを
含む。
【００４９】
輝度・クロミナンス差成分演算モジュールはモザイクの入力画像の各ピクセルについて
１つの垂直輝度・クロミナンス差成分および１つの水平輝度・クロミナンス差成分を計算
するよう構成される。増強輝度・クロミナンス差成分演算モジュールはモザイクの入力画
像の各ピクセルについて垂直および水平輝度・クロミナンス差成分双方の増強版を計算す
るよう構成される。エッジ配向検出モジュールは増強輝度・クロミナンス差成分における
偏差を評価し、モザイク解除を実施すべき方向を判定するよう構成される。輝度成分補間
モジュールは各ピクセル位置におけるＧ成分を元のクロミナンス成分で補間するよう構成
される。クランピングモジュールは各補間Ｇ成分（補間されたＧ成分。以下同様。）にお
ける信号のオーバーシュートまたはアンダーシュートを検出し、信号のオーバーシュート
またはアンダーシュートが検出された各補間Ｇ成分を最も近い元の近接Ｇ成分にクランプ
するよう構成される。クロミナンス成分補間モジュールは各ピクセル位置における元のＧ
成分およびＢ成分をＲ成分で補間し、各ピクセル位置における元のＲ成分およびＧ成分を
Ｂ成分で補間するよう構成される。
【００５０】
本発明の別の態様は上記構成の画像処理装置に対応する画像処理方法である。画像処理
方法はモザイクの入力画像をモザイク解除しフルカラーの出力画像を生成する。画像処理
方法はモザイクの入力画像の各ピクセルについて１つの垂直および１つの水平輝度・クロ
ミナンス差成分双方を計算する。次に、画像処理方法はモザイクの入力画像の各ピクセル
について垂直および水平輝度・クロミナンス差成分双方の増強版を計算する。次に画像処
理方法は増強輝度・クロミナンス差成分における偏差を評価し、モザイク解除を実施すべ
き方向を判定する。次に画像処理方法は各ピクセル位置におけるＧ成分を元のＲ成分およ
びＢ成分で補間する。次に画像処理方法は各補間Ｇ成分における信号のオーバーシュート
またはアンダーシュートを検出し、信号のオーバーシュートまたはアンダーシュートが検
出された各補間Ｇ成分を最も近い元の近接Ｇ成分にクランプする。最後に、画像処理方法
は各ピクセル位置における元のＧ成分およびＢ成分に対しＲ成分で補間し、各ピクセル位
置における元のＲ成分およびＧ成分に対しＢ成分で補間する。
【００５１】
さらに本発明の別の適用において、コンピューターが上述する画像処理方法を実現する
プログラムを有するコンピューター読み取り可能な媒体を読み取り各々の機能を達成する
。従って発明の別の態様はモザイクの入力画像の被写体をモザイク解除し、フルカラーの
出力画像を生成する方法をコンピューターに実現させるプログラムである。
【００５２】
プログラムは、モザイクの入力画像の各ピクセルについて１つの垂直および１つの水平
輝度・クロミナンス差成分双方を計算すること、モザイクの入力画像の各ピクセルについ
て垂直および水平輝度・クロミナンス差成分双方の増強版を計算すること、増強輝度・ク
ロミナンス差成分における偏差を評価し、モザイク解除を実施すべき方向を判定すること
、各ピクセル位置におけるＧ成分を元のＲ成分およびＢ成分で補間すること、各補間Ｇ成
分における信号のオーバーシュートまたはアンダーシュートを検出し、信号のオーバーシ
ュートまたはアンダーシュートが検出された各補間Ｇ成分を最も近い元の近接Ｇ成分にク
ランプすること、および各ピクセル位置における元のＧ成分およびＢ成分に対しＲ成分で
補間し、各ピクセル位置における元のＲ成分およびＧ成分に対しＢ成分で補間すること、
の機能をコンピューターが達成するようにする。コンピューターは発明の本態様に従いプ
ログラムを読み取り、上述の各々の機能を達成し、フルカラーの出力画像を適切に生成す
る。
【００５３】
続いて、本発明は添付図面に基づき以下の順序で下記に説明する好ましい実施形態を参
照してより良く理解できる。
Ａ．システム構成
Ｂ．色画像データ生成プロセスの概要
Ｃ．エッジ配向マップ作成プロセス
Ｄ．輝度成分補間プロセス
Ｅ．輝度成分クランピングプロセス
Ｆ．輝度成分補間プロセス。
【００５４】
Ａ．システム構成
図１は発明の一実施形態における画像処理装置を備えるデジタルカメラ１００の構成を
概略的に図示する。図示されるように、デジタルカメラ１００は複数レンズのグループを
有する光学系１０、光学系１０により形成される被写体の画像を電気信号に変換する撮像
アッセンブリ２０、および撮像アッセンブリ２０から電気信号を受信し受信電気信号に一
連の所定の画像処理を施して色画像データを生成する画像処理装置３０を含む。
【００５５】
撮像アッセンブリ２０は光強度を電気信号に変換する複数の微細撮像要素の二次元配置
を備えた画像センサー２４を有する。画像センサー２４の前にカラーフィルターアレイ２
２が備えられ、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の微細カラーフィルターのモザイク
配置を有する。カラーフィルターアレイ２２を構成するＲカラーフィルター、Ｇカラーフ
ィルター、およびＢカラーフィルターの配置はさらに詳細に後述される。Ｒカラーフィル
ター、Ｇカラーフィルター、およびＢカラーフィルターは各々Ｒ色光の透過、Ｇ色光の透
過、およびＢ色光の透過を可能にするよう構成される。画像センサー２４はカラーフィル
ターアレイ２２におけるＲカラーフィルター、Ｇカラーフィルター、およびＢカラーフィ
ルターのモザイク配置に従いＲ光強度に感応する画像部分、Ｇ光強度に感応する画像部分
、およびＢ光強度に感応する画像部分のモザイク配置を有する画像データを取り込む。
【００５６】
デジタルカメラ１００に搭載される画像処理装置３０はモザイク配置の画像データを撮
像アッセンブリ２０から受信しＲ成分、Ｇ成分、およびＢ成分の設定を各々のピクセルに
有する色画像データを生成する。実施形態の画像処理装置３０において、ＣＰＵ、ＲＯＭ
、ＲＡＭ、およびデータ入出力インターフェイス（Ｉ／Ｆ）は互いのデータ伝送を可能に
するためにバスで相互接続されている。ＣＰＵはＲＯＭに記憶されるプログラムに従い一
連の処理を行ない色画像データを生成する。このように生成された結果の色画像データは
外部出力端子４０経由で外付け装置に出力されることができ、または外付けの記録媒体５
０に出力されることができる。
【００５７】
画像センサー２４により取り込まれたＲ成分、Ｇ成分、およびＢ成分のモザイク配置を
有する画像データはソースデータとして使用され、Ｒ成分、Ｇ成分、およびＢ成分の設定
を各々のピクセルに有する色画像データを生成するために画像処理装置３０により参照さ
れる。画像センサー２４により取り込まれたモザイク配置の画像データは従って以後「生
の画像データ」と呼ぶことができる。
【００５８】
図２はカラーフィルターアレイ２２および画像センサー２４の構造を示す概念図である
。上述のように、画像センサー２４は光強度に対応する電気信号を出力する微細な撮像要
素の二次元配置を有する。図２に示される例において、微細な撮像要素は格子パターンに
配置される。画像センサー２４の格子パターンにおける小さな長方形各々は１個の撮像要
素を表す。
【００５９】
カラーフィルターアレイ２２は画像センサー２４を構成する複数の撮像要素各々の位置
に対応するＲ色成分、Ｇ色成分、およびＢ色成分の１つを有する。図２において、まばら
な斜線の長方形、密な斜線の長方形、および斜線のない無地の長方形は各々Ｒカラーフィ
ルター、Ｂカラーフィルター、およびＧカラーフィルターを示す。Ｒカラーフィルター、
Ｇカラーフィルター、およびＢカラーフィルターの配置において、Ｇカラーフィルターが
最初に互いに斜めになり市松模様のパターンを形成するよう位置付けされる。つまりＧカ
ラーフィルターはカラーフィルターアレイ２２の面積の半分を占める。次に同じ数のＲカ
ラーフィルターとＢカラーフィルターがカラーフィルターアレイ２２の面積の残る半分に
均等に配置される。もたらされた図２に示されるこの配置のカラーフィルターアレイ２２
はベイヤーカラーフィルターアレイと呼ばれる。
【００６０】
上述のように、Ｇカラーフィルター、Ｒカラーフィルター、およびＢカラーフィルター
は各々Ｇ色光のみの透過、Ｒ色光のみの透過、およびＢ色光のみの透過を可能にするよう
設計されている。従って画像センサー２４は図２に示されるように画像センサー２４の前
に位置するカラーフィルターアレイ２２の機能によりモザイク配置の画像データを取り込
む。モザイク配置の画像データは通常の画像データと同じ方法処理することはできず、直
接画像を表現することはできない。画像処理装置３０はモザイク配置の画像データ（生の
画像データ）を受信し、各々のピクセルにＲ成分、Ｇ成分、およびＢ成分の設定を有する
通常の色画像データを生成する。
【００６１】
Ｂ．色画像データ生成プロセスの概要
図３は実施形態の画像処理装置３０が生の画像データから色画像データを生成するため
に実行する色画像データ生成プロセスを示すフローチャートである。本実施形態の構造に
おいて、画像処理装置３０に含まれるＣＰＵがコンピューター読み取り可能な媒体に具現
され得るソフトウェア構成によりこの色画像データ生成を実行する。しかしこれは不可欠
ではなく、例えば信号プロセッサーなどの特定ハードウェア要素を同じ目的に使用するこ
とができる。
【００６２】
色画像データ生成プロセスの開始において、ＣＰＵはまず画像センサー２４から生の画
像データをソースデータとして受信し（ステップＳ１００）、詳細に後述するように受信
された生の画像データを色差成分のデータに変換する（ステップＳ１０２）。これらの色
差成分は一般的にＧ成分（すなわち輝度）とＲ成分またはＢ成分（すなわちクロミナンス
）との差として求められるので、本明細書において「輝度・クロミナンス差成分」とも呼
ばれ得ることが特記される。
【００６３】
図４は生の画像データを色差成分のデータに変換するプロセスを概念的に示す。図４の
上部は画像センサー２４から読み取られた生の画像データの概念図を示す。ベイヤーカラ
ーフィルターアレイで得られた生の画像データはＲ成分、Ｇ成分、およびＢ成分のモザイ
ク配置を有する。生の画像データにおいて水平方向はＧピクセル（Ｇ成分を有するピクセ
ル）とＲピクセル（Ｒ成分を有するピクセル）を交互に配置したピクセル行と、Ｇピクセ
ルとＢピクセル（Ｂ成分を有するピクセル）を交互に配置したピクセル行の２種類のみの
ピクセル行がある。生の画像データにおいて垂直方向も同様にＧピクセルとＲピクセルを
交互に配置したピクセル行と、ＧピクセルとＢピクセルを交互に配置したピクセル行の２
種類のみのピクセル行がある。図４の中央は生の画像データが水平方向にはＧピクセルと
Ｒピクセルを交互にしたピクセル行およびＧピクセルとＢピクセルを交互にしたピクセル
行のみからなる一方、垂直方向にはＧピクセルとＲピクセルを交互にしたピクセル行およ
びＧピクセルとＢピクセルを交互にしたピクセル行のみからなることを概念的に示す。
【００６４】
この観察結果に基づき、本実施形態の色画像データ生成プロセスはＲ成分、Ｇ成分、お
よびＢ成分の生の画像データを水平方向の色成分の差（水平方向の色差成分）を表すデー
タおよび垂直方向の色成分の差（垂直方向の色差成分）を表すデータに変換する。例えば
、生の画像データはＧピクセルとＲピクセルを交互にしたピクセル行またはピクセル列に
関しＧとＲ成分との色差成分のデータに変換される。同様に生の画像データはＧピクセル
とＢピクセルを交互にしたピクセル行またはピクセル列に関しＧ成分とＢ成分との色差成
分のデータに変換される。色差成分を計算するための計算式は詳細に後述される。図４の
下部はこのようにして得られた水平方向および垂直方向における色差成分を示す。下部の
左側の図は垂直方向の生の画像データを処理することにより得られた垂直方向の色差成分
Δv(r,s)を示す。斜線のあるピクセル列の各々はＧピクセルとＢピクセルを交互にしたピ
クセル列である。このピクセル列の各色差成分Δv(r,s)は従ってＧ成分とＢ成分との間の
色差成分を表す。残る斜線のないピクセル列の各々はＧピクセルとＲピクセルを交互にし
たピクセル列である。従ってこのピクセル列の各色差成分Δv(r,s)はＧ成分とＲ成分との
間の色差成分を表す。水平方向の生の画像データも同様に処理できる。斜線のあるピクセ
ル行の各々はＧピクセルとＢピクセルとの間の色差成分Δh(r,s)を与える。残る斜線のな
いピクセル行の各々はＧピクセルとＲピクセルとの間の色差成分Δh(r,s)を与える。
【００６５】
図５は生の画像データから色差成分を計算する計算式を示す。図５（ａ）は垂直方向の
色差成分Δv(r,s)を計算する計算式を示し、図５（ｂ）は水平方向の色差成分Δh(r,s)を
計算する計算式を示す。これらの計算式において、「Ｚ」は画像センサー２４により得ら
れた生の画像データの値をしめし、Ｚ(r,s)は画像に配置された元の位置から下方向にｒ
番目のピクセル位置と元の位置から右方向にｓ番目のピクセル位置で定義される特定位置
における値を示す（図４の上部を参照）。
【００６６】
図５（ａ）を参照すると、垂直方向の色差成分Δv(r,s)を計算する計算式に関する。色
差成分Δv(r,s)の計算対象として目標ピクセルＺ(r,s)がＧ成分を有するピクセル（Ｇピ
クセル）である場合、図５（ａ）の上の方の計算式が採用される。プロセスはまず目標ピ
クセルの上および下にある非Ｇ成分のピクセル値Ｚ(r-1,s)およびＺ(r+1,s)の平均を計算
し（すなわち点を含む鎖線で囲まれた第２項）、計算された平均を目標ピクセルのＧ成分
（すなわち破線で囲まれた第１項）から引いて目標ピクセルの垂直方向の色差成分Δv(r,
s)を計算する。図４に関し上述のように、目標のＧピクセルの上と下にあるピクセルＺ(r
-1,s)およびＺ(r+1,s)はＲピクセルまたはＢピクセルであり得るが、常に同一色成分のピ
クセルである。従って図５（ａ）の上側の計算式において点を含む鎖線で囲まれた第２項
はＲ成分またはＢ成分を表す。
【００６７】
ＲピクセルまたはＢピクセルで垂直に囲まれたＧピクセルに同一の計算式を適用すると
２種類の異なる色差成分Δvが与えられる。検討中のＧピクセルの上と下のピクセルがＲ
ピクセルの場合、もたらされる垂直方向の色差成分Δv(r,s)はＧ成分とＲ成分との色差成
分を表す。逆に検討中のＧピクセルの上と下のピクセルがＢピクセルの場合、もたらされ
る垂直方向の色差成分Δv(r,s)はＧ成分とＢ成分との色差成分を表す。
【００６８】
垂直方向における色差成分Δvは元のＲ成分またはＢ成分を有するピクセル位置におい
ても同様に計算できる。例えば、色差成分Δv(r,s)の計算対象としての目標ピクセルがＲ
ピクセルまたはＢピクセルである場合、目標ピクセルの上と下にあるピクセルＺ(r-1,s)
およびピクセルＺ(r+1,s)は図４に関し上述のようにＧピクセルである。ピクセルＺ(r-1,
s)およびピクセルＺ(r+1,s)の平均は目標ピクセルにおけるＧ成分を色差成分Δv(r,s)の
計算の対象として指定すると考えられる。指定されたＧ成分から目標ピクセルの色調値を
引くと色差成分Δv(r,s)が決定される。
【００６９】
目標ピクセルとして設定されたＲピクセルおよびＢピクセル双方に関して同一の計算式
が垂直方向における色差成分Δv(r,s)の計算に適用できる。しかし目標ピクセルとして処
理されるＲピクセルおよびＢピクセルは２つの異なる種類の色差成分Δvをもたらすこと
が特記される。目標ピクセルＺ(r,s)がＲピクセルの場合、もたらされる色差成分Δv(r,s
)はＧ成分とＲ成分との色差成分を表す。目標ピクセルＺ(r,s)がＢピクセルの場合、もた
らされる色差成分Δv(r,s)はＧ成分とＢ成分との色差成分を表す。
【００７０】
水平方向における色差成分Δhは上述の垂直方向における色差成分Δvと同じように計算
できる。図５（ｂ）を参照して色差成分Δhの計算を簡単に説明する。図５（ｂ）の上側
の計算式で示されるように、右側の点を含む鎖線で囲まれた第２項を破線に囲まれた第１
項から引くと水平方向におけるＧピクセルの色差成分Δh(r,s)が与えられる。この式にお
いて、要素としてのピクセルＺ(r,s)は目標ピクセルにおける生の画像データの元のＧ成
分を表す一方、要素としてのピクセルＺ(r,s-1)およびピクセルＺ(r,s+1)は目標ピクセル
Ｚ(r,s)の左側および右側にあるピクセルにおける生の画像データの値を示す。目標Ｇピ
クセルの左側および右側にあるピクセルＺ(r,s-1)およびピクセルＺ(r,s+1)はＲピクセル
またはＢピクセルであり得るが、常に同一の色成分のピクセルである。
【００７１】
Ｒ目標ピクセルまたはＢ目標ピクセルＺ(r,s)のいずれかに関する水平方向の色差成分
Δh(r,s)の計算において、目標ピクセルの左側および右側にあるピクセルＺ(r,s-1)およ
びピクセルＺ(r,s+1)はＧピクセルである。図５（ｂ）の下側の計算式に示されるように
、点を含む鎖線で囲まれた第２項（目標ピクセルの色調値）を破線で囲まれた第１項（左
側および右側ピクセルの値の平均）から引くと水平方向の色差成分Δh(r,s)が与えられる
。
【００７２】
左側および右側にＲピクセルまたはＢピクセルを有する目標Ｇピクセルに関し、またＧ
ピクセル以外のＲピクセルおよびＢピクセル双方が目標ピクセルとして設定された場合に
関し、水平方向の色差成分Δhの計算に同一計算式が適用できる。しかし計算は２つの異
なる種類の色差成分Δh(r,s)、すなわちＧ成分とＲ成分との間の色差成分およびＧ成分と
Ｂ成分との間の色差成分、を与える。
【００７３】
図５（ａ）と図５（ｂ）との比較からはっきりと理解されるように、垂直方向の色差成
分Δv(r,s)の計算に使用される計算式は水平方向の色差成分Δh(r,s)の計算に使用される
計算式に極めて類似している。従って、処理の流れは２つの異なる方向における色差成分
Δv(r,s)および色差成分Δh(r,s)双方の計算に対し標準化することができる。加えて、図
５（ａ）および図５（ｂ）に示される２つの式は同一計算式を使用して２つの（水平およ
び垂直）方向各々における２つの異なる種類の色差成分に対する高度処理の簡単さと高速
を望ましく達成する。これは処理全体を簡単かつ高速にでき、演算効率において従来の単
純な処理に匹敵する。
【００７４】
図３のフローチャートのステップＳ１０２において、画像センサー２４により取り込ま
れた生の画像データは垂直方向の色差成分Δvおよび水平方向の色差成分Δhに変換される
。ステップＳ１０４において、垂直方向の色差成分Δvおよび水平方向の色差成分Δhから
あり得る雑音を除去する目的でこれらの色差成分にローパスフィルターを適用することに
より色差成分Δvおよび色差成分Δhが増強される。後述のように、実施形態の色画像デー
タ生成プロセスは画像に含まれるエッジの配向を検出するために色差成分を用いる。ロー
パスフィルターはエッジをぼかしエッジの検出精度を低下させがちなため画像データにロ
ーパスフィルターを適用することは一般的に望ましくない。しかしローパスフィルターを
用いて色差成分を増強することにより本実施形態の手順はより詳細に後述するように極め
て高い精度でエッジ配向の安定した検出を可能にする。
【００７５】
図６は色差成分に含まれる雑音の除去に適用されるローパスフィルターを示す。図６（
ａ）は垂直方向の色差成分Δvおよび水平方向の色差成分Δhに適用される２つのローパス
フィルターを示す。図６（ｂ）は垂直方向の色差成分Δv(r,s)を中心にした垂直方向フィ
ルター窓の例を示す。図６（ｃ）は水平方向の色差成分Δh(r,s)を中心にした水平方向フ
ィルター窓の例を示す。これらの図において、ローパスフィルター適用の対象としての目
標ピクセルが斜線の長方形で表される。これらの実施形態における各ローパスフィルター
はフィルター窓内の色差値（すなわちこれらの実施形態では５ピクセル）に対応する重み
を掛け、これらの掛け算の結果を合計し目標ピクセルにおける出力色差成分をもたらす。
方法は本実施形態で提示されるもの以外の重みおよび実施形態に用いられるものとは異な
る長さの窓を有するフィルターの使用が可能であることが特記される。
【００７６】
水平方向における色差成分Δhの各行または垂直方向における色差成分Δvの各列は同一
の種類（すなわち前述のようにＧ成分とＲ成分との間の色差またはＧ成分とＢ成分との間
の色差）の色差からなる。従って、ローパスフィルターは色差成分のこのような異なる種
類を考慮せずに垂直方向の色差成分Δvおよび水平方向の色差成分Δhに適用できる。この
ように実施形態の色画像データ生成プロセスは高度処理の極まった簡単さと高速を達成す
る。
【００７７】
図３のフローチャートに戻ると、上述のように垂直方向の色差成分ΔvのΞvと表示され
る増強版および水平方向の色差成分ΔhのΞhと表示される増強版の計算後、実施形態の色
画像データ生成プロセスは増強色差成分を用いてエッジ配向マップを作成する（エッジ配
向マップ作成プロセス）（ステップＳ１０６）。エッジ配向マップは画像に含まれる各エ
ッジの配向を垂直方向または水平方向として示す。エッジ配向は必ずしもすべてのピクセ
ルについて設定されないが、少なくとも非Ｇピクセル（すなわちＲピクセルおよびＢピク
セル）またはＧピクセルについて設定されるべきである。実施形態の色画像データ生成プ
ロセスはさらに詳細に後述するように垂直方向の色差成分Ξvおよび水平方向の色差成分
Ξhに基づきエッジ配向を検出する。これによりエッジ配向の正確かつ比較的高速な検出
が保証される。
【００７８】
エッジ配向マップの作成後、ＣＰＵはＧピクセル以外（すなわちＲピクセルまたはＢピ
クセル）の各目標ピクセルにおけるＧ成分の色調値を補間により判定する（輝度成分補間
プロセス）（ステップＳ１０８）。輝度成分補間プロセスはエッジ配向マップを参照し、
隣接ピクセルにおけるＧ成分の値で補間を行ない、非Ｇ目標ピクセルにおけるＧ成分の値
を判定する。この輝度成分補間プロセスはさらに詳細に後述される。
【００７９】
ＣＰＵは続いて信号オーバーシュートまたはアンダーシュートを有する補間Ｇ成分を最
近傍の元のＧ成分にクランプする（輝度成分クランピングプロセス）（ステップＳ１１０
）。輝度成分クランピングプロセスは精錬されたマルチステージ概念を用い取り込み画像
においてクランピング演算に由来する幾何学的アーティファクトを防ぐ。このマルチステ
ージ概念を用い、輝度成分クランピングプロセスは補間されたすべての値を変更するので
はなく、信号オーバーシュートおよびアンダーシュートが色アーティファクトをもたらし
得る有意な色彩エッジのある領域および信号オーバーシュートおよびアンダーシュートが
雑音のレベルを高め得る暗い領域において補間Ｇ値を変更することを目的とする。この輝
度成分クランピングプロセスはさらに詳細に後述される。
【００８０】
ＣＰＵは次に欠けているクロミナンス成分の補間を行なう（クロミナンス成分補間プロ
セス）（ステップＳ１１２）。ステップＳ１１２の処理は従って元のＧまたはＢ成分のあ
るピクセル位置においてＲ成分を補間し、元のＧ成分またはＲ成分のあるピクセル位置に
おいてＢ成分を補間する。クロミナンス成分補間プロセスはさらに詳細に後述される。
【００８１】
欠けているクロミナンス成分の補間を完了すると（ステップＳ１１２）、すべてのピク
セルがＲ成分、Ｇ成分、およびＢ成分のすべての色成分を得る。ＣＰＵはその後得られた
ＲＧＢ色成分を生の画像データから生成された色画像データとして出力し（ステップＳ１
１４）図３の色画像データ生成プロセスを終了する。
【００８２】
Ｃ．エッジ配向マップ作成プロセス
図７は図３の色画像データ生成プロセスのステップＳ１０６において実施形態の画像処
理装置３０により実行されるエッジ配向マップ作成プロセスの詳細を示すフローチャート
である。
【００８３】
図２に示すように、生の画像はその色成分のモザイク配置のため不連続の様子を呈する
ので、色成分Ｒ，Ｇ，Ｂ各々に関し色調値の偏差から高い精度でエッジを検出するのは難
しい。幸いにして色差成分の場合はそうではない。Ｇ成分およびＲ成分の交互配置を有す
る各ピクセル列またはピクセル行について、生の画像データはＧ成分とＲ成分との間の色
差成分のデータに変換される。Ｇ成分およびＢ成分の交互配置を有する各ピクセル列また
はピクセル行について、生の画像データはＧ成分とＢ成分との間の色差成分のデータに変
換される。このように、色差成分は生のモザイクデータより正確なエッジ配向検出に適し
ている。
【００８４】
既述のように、効率的な処理を可能にするためにエッジ配向は非Ｇピクセル位置におい
てのみ（すなわち元のＲ成分またはＢ成分のピクセルにおいて）判定される。このような
高速処理において、エッジ配向マップ作成プロセスはまず１つの非Ｇ目標ピクセルをエッ
ジ配向の検出対象として選択し（ステップＳ２００）、垂直方向の色差成分の偏差υv(r,
s)および水平方向の色差成分の偏差υh(r,s)を計算する（ステップＳ２０２）。垂直方向
の偏差υv(r,s)は当然垂直方向の色差成分Ξvから計算される。垂直方向の偏差υh(r,s)
は計算に水平方向の色差成分Ξhを用いること以外は垂直方向の偏差υv(r,s)の計算と同
様に計算される。方法は元の色差成分の信号を用いたエッジ配向検出プロセスも可能であ
るので、偏差υv(r,s)および偏差υh(r,s)双方ともこれら元の色差成分Δvおよび色差成
分Δhを用いても計算できることが特記される。しかし、これらの増強版Ξvおよび増強版
Ξhの使用は通常エッジ配向検出プロセスの精度を高める。
【００８５】
図８は垂直方向の色差成分Ξvから垂直方向の偏差υv(r,s)を計算する例を示す。図８
（ａ）は計算式を示し、図８（ｂ）は図８（ａ）の計算式に従った垂直方向の偏差υv(r,
s)の計算を概念的に示す。図８（ｂ）において斜線のある長方形は目標ピクセルの位置を
表す。図８（ｂ）に示される両方向の矢印は垂直色差成分間における差の二乗の演算を表
す。図８（ｂ）は垂直方向に配列された９対のピクセルから得られる９個の二乗を示す。
これら９個の二乗の合計が目標ピクセルに関する垂直方向の偏差υv(r,s)と指定される。
【００８６】
図９は水平方向の色差成分Ξhから水平方向の偏差υh(r,s)を計算する例を示す。図９
（ａ）は計算式を示し、図９（ｂ）は図９（ａ）の計算式に従った水平方向の偏差υv(r,
s)の計算を概念的に示す。図９（ｂ）の両方向矢印で示されるように、演算プロセスは水
平色差成分間の９個の二乗各々の差を逐次計算する。９個の二乗の合計は目標ピクセルに
関する水平方向の偏差υh(r,s)と指定される。本発明は図８および図９に提示される実施
形態に限定されず、エッジ配向を判定するために色差成分の他の任意の構成を用い得るこ
とが理解されよう。実施形態のエッジ配向マップ作成プロセスに示されるように、垂直方
向の偏差υv(r,s)を同じピクセル列からの垂直色差成分間の差に基づき演算することが重
要である。同様に、垂直方向の偏差υh(r,s)を同じピクセル行からの水平色差成分に基づ
き演算することが重要である。既述のように、色差成分の各列および行は１種類の色差か
らなる（すなわちＧ−ＲまたはＧ−Ｂ）。
【００８７】
図７のフローチャートに戻ると、上述のように計算された垂直方向の偏差υv(r,s)およ
び水平方向の偏差υh(r,s)は目標ピクセルについて互いに比較される（ステップＳ２０４
）。水平方向の偏差υh(r,s)が垂直方向の偏差υv(r,s)以上である場合（ステップＳ２０
４：はい）、エッジは垂直方向に目標ピクセルを通ると判定され、目標位置（ｒ，ｓ）に
おけるエッジ配向を表す値ｄ(r,s)が１に等しく設定される（ステップＳ２０６）。逆に
垂直方向の偏差υv(r,s)が水平方向の偏差υh(r,s)より大きい場合（ステップＳ２０４：
いいえ）、エッジは水平方向に目標ピクセルを通ると判定され、エッジ配向を表す値ｄ(r
,s)は次に３に等しく設定される（ステップＳ２０８）。このようにエッジ配向ｄ(r,s)が
１に設定されたピクセルは垂直方向のエッジを示す一方、エッジ配向ｄ(r,s)が３に設定
されたピクセルは垂直方向のエッジを示す。
【００８８】
色差成分間の差の二乗を使用することは色差成分間の差の記号を考慮に入れずエッジ配
向の検出を可能にする。このように１つの考えられる変更は二乗の計算の代わりに色差成
分間の各差の絶対値を計算することである。隣接ピクセルに関する絶対値の合計は垂直方
向の偏差υv(r,s)または水平方向の偏差υh(r,s)を与える。しかし二乗は絶対値に比べ色
成分間の差を増強し、従ってエッジ配向の検出精度を高める。本発明は絶対または二乗差
に限定されず、他の任意の差または類似尺度を代わりに用いてエッジ配向を判定できるこ
とが理解されよう。
【００８９】
再度、図７のフローチャートに戻ると、上述のように実施形態のエッジ配向マップ作成
プロセスは垂直方向の色差成分の偏差υv(r,s)および水平方向の色差成分の偏差υh(r,s)
を計算し（ステップＳ２０２）、垂直方向の偏差υv(r,s)と水平方向の偏差との比較υh(
r,s)に基づき目標ピクセルのエッジ配向を検出する（ステップＳ２０４からステップＳ２
０８）。ステップＳ２００で選択された目標ピクセルのエッジ配向の検出後、ＣＰＵはす
べてのピクセルについてエッジ配向が検出されたか判定する（ステップＳ２１０）。未処
理のピクセルがある場合（ステップＳ２１０：いいえ）、エッジ配向マップ作成プロセス
はステップＳ２００に戻り未処理ピクセルの中から別の目標ピクセルを選択し、続く一連
の処理を実行する。すべてのピクセルについてエッジ配向の検出が完了すると（ステップ
Ｓ２１０：はい）、図７のエッジ配向マップ作成プロセスは終了する。
【００９０】
実施形態のエッジ配向マップ作成プロセスは生の画像データに含まれるエッジ配向の高
い精度での検出を可能にする。この非常に正確なエッジ配向マップを参照して生の画像デ
ータを構成する各々のピクセルにおける欠けた色成分の補間が実施される。これにより擬
似色が生じることなく十分な補間が保証される。
【００９１】
Ｄ．輝度成分補間プロセス
図３のフローチャートに関して上述のように、実施形態の色画像データ生成プロセスは
エッジ配向マップの作成（ステップＳ１０６）の後に輝度成分補間プロセスを開始する（
ステップＳ１０８）。プロセスはＧピクセル以外のピクセル（すなわちＲピクセルおよび
Ｂピクセル）にＧ成分を補間する。
【００９２】
図１０はＲピクセルおよびＢピクセルにＧ成分を補間する輝度成分補間プロセスの詳細
を示すフローチャートである。輝度成分補間プロセスは最初に作成されたエッジ配向マッ
プを参照し、補間の対象となる各補間目標ピクセルのエッジ配向ｄ(r,s)を指定する（ス
テップＳ３００）。輝度成分補間プロセスを完了させるために、エッジ配向マップは非Ｇ
ピクセル（すなわちＲピクセルおよびＢピクセル）についてエッジ配向ｄを検出している
必要がある。あるいは、エッジ配向がＧピクセル位置においてのみ利用できる場合、輝度
補間目標ピクセル（すなわち非Ｇピクセル）におけるエッジ配向は目標ピクセルに隣接す
るピクセルにおけるエッジ配向値の関数（例えば中央値）として判定することができる。
しかし本実施形態では非Ｇピクセルに対するＧ成分の補間において、エッジ配向マップを
参照することによりエッジ配向ｄ(r,s)が指定される。
【００９３】
輝度成分補間プロセスはその後指定されたエッジ配向ｄ(r,s)が１に等しいか判定する
（ステップＳ３０２）。指定されたエッジ配向ｄ(r,s)が１に等しい場合（ステップＳ３
０２：はい）、補間目標ピクセルの色差成分に補間目標ピクセルの上と下にあるピクセル
の色差成分が補間される（ステップＳ３０４）。指定されたエッジ配向ｄ(r,s)が３に等
しい場合（ステップＳ３０２：いいえ）、補間目標ピクセルの色差成分に補間目標ピクセ
ルの左側と右側にあるピクセルの色差成分が補間される（ステップＳ３０６）。輝度成分
補間プロセスは次に補間目標ピクセルの生の画像データを取得し（ステップＳ３０８）、
生の画像データを補間目標ピクセルの補間された色差成分に加え補間目標ピクセルのＧ成
分を演算する（ステップＳ３１０）。この一連の処理をさらに詳細に説明する。
【００９４】
図４および図５に示すように、各ピクセル位置において垂直方向の色差成分および水平
方向の色差成分双方が利用できる。より偏差の小さい状態（定常状態に近い）における補
間の方がより偏差の大きい状態における補間に比べより良好な補間結果を有すると予想さ
れるので、より小さい偏差を有する垂直方向の色差成分がＧ成分の演算に用いられる。
【００９５】
図５に開示されるように、元のＲ成分の補間目標ピクセルにおいて、垂直方向の色差成
分および水平方向の色差成分双方ともＲ成分をＧ成分から引くことにより得られる。同様
に、元のＢ成分の補間目標ピクセルにおいて、垂直方向の色差成分および水平方向の色差
成分双方ともＢ成分をＧ成分から引くことにより得られる。従って生の画像データを色差
成分に加えると直ちに補間目標ピクセルにおけるＧ成分が判定される。Ｇ成分の演算に用
いられる色差成分は、好ましくは図６に示すローパスフィルターにより増強された色差成
分であるべきである。
【００９６】
補間目標ピクセルの色差成分は直接読み取る代わりに隣接ピクセルの色差成分から計算
することができる。補間目標ピクセルのエッジ配向ｄ(r,s)が１に等しい場合、この修正
された手順は垂直方向において補間目標ピクセルの上と下にあるピクセルの色差成分を読
み取り、読み取られた色差成分から補間目標ピクセルの色差成分を計算することができる
。同様に、補間目標ピクセルのエッジ配向ｄ(r,s)が３に等しい場合、この修正された手
順は水平方向において補間目標ピクセルの左側と右側にあるピクセルの色差成分を読み取
ることができる。図１０の輝度成分補間プロセスはステップＳ３０４またはステップＳ３
０６で隣接ピクセルの色差成分から補間目標ピクセルの色差成分を計算する。さらに別の
修正された手順は補間目標ピクセルのより広い近傍におけるピクセルの色差成分を読み取
り、読み取られた色差成分から補間目標ピクセルの色差成分を計算することができる。
【００９７】
上述のようにすべての補間目標ピクセルのＧ成分を計算した後、ＣＰＵは図１０の輝度
成分補間プロセスを終了し、図３の色画像データ生成プロセスに戻る。出力画像における
色アーティファクトを避けるために色画像データ生成プロセスは続いて輝度成分クランピ
ングプロセスを開始する（ステップＳ１１０）。
【００９８】
Ｅ．輝度成分クランピングプロセス
図１１は図３の色画像データ生成プロセスのステップＳ１１０において実施形態の画像
処理装置３０により実行される輝度成分クランピングプロセスの詳細を示すフローチャー
トである。
【００９９】
上述のように、補間Ｇ成分は色差を用いて得られる。このような概念はかなりの空間（
チャンネル内）およびスペクトル（チャンネル間）の相関関係双方を示す領域において非
常に正確な結果を実現する。あいにく、局部的画像領域における小さい色差（またはかな
りの空間およびスペクトルの相関関係）という根底の仮定は高コントラストの色彩画像に
おいてしばしば崩れ、いわゆる信号アンダーシュートおよびオーバーシュートをもたらす
。これらは考慮されるモザイク解除されたサンプルと同じカラーバンドに対応する周辺に
ある元の色成分の値より小さいか大きいモザイク解除値である。（相当な）信号アンダー
シュートおよびオーバーシュートはモザイク解除された画像に存在する色アーティファク
トと感知されるので、モザイク解除値はモザイク解除された画像に記憶される前にクラン
プする必要がある。Ｇカラーバンドの波長は人間の輝度周波数応答のピークに近いので、
これはＧ成分をモザイク解除する場合特に重要である。さらに、モザイク解除されたＧチ
ャンネルはしばしばＲ成分およびＢ成分をモザイク解除するために使用されるので、輝度
（すなわちＧ）チャンネルに存在するエラーは通常増幅されクロミナンス（すなわちＲお
よびＢ）チャンネルに伝播される。これらの問題を避けるため、相当なオーバーシュート
およびアンダーシュートを表す補間Ｇ成分は望ましい画像の局部的特徴を保存するべくク
ランプされるべきである。
【０１００】
クランピングプロセスがすべての補間Ｇ値に作用すると、このような処理は取り込み画
像において幾何学的アーティファクトにつながる可能性があるので、その必要はないこと
が理解されよう。精錬されたマルチステージ概念のため、ここでのクランピングプロセス
はむしろ信号オーバーシュートおよびアンダーシュートが色アーティファクトをもたらし
得る、相当な色彩エッジを有する領域ならびに信号オーバーシュートおよびアンダーシュ
ートが雑音のレベルを高める暗い領域における補間Ｇ値を変更することを目的とする。
【０１０１】
輝度成分クランピングプロセスは最初にクランピングプロセスの対象として補間Ｇ成分
を有する１つの目標ピクセルを選択する（ステップＳ３５０）。１つの目標ピクセルの選
択後、クランピングプロセスは次に輝度・クロミナンス差成分を用いて補間Ｇ成分におけ
る信号オーバーシュートまたはアンダーシュートを検出する（ステップＳ３５２）。次に
、クランピングプロセスは補間Ｇ成分において信号オーバーシュートまたはアンダーシュ
ートが検出されたか判定する（ステップＳ３５４）。
【０１０２】
補間Ｇ成分において信号オーバーシュートまたはアンダーシュートが検出された場合（
ステップＳ３５４：はい）、クランピングプロセスは補間Ｇ成分をモザイク解除が行なわ
れる方向（すなわち垂直または水平のいずれか）に位置する最も近い元の近接Ｇ成分にク
ランプする（ステップＳ３５６）。
【０１０３】
補間Ｇ成分において信号オーバーシュートまたはアンダーシュートが検出されない場合
（ステップＳ３５４：いいえ）、クランピングプロセスは次にクロミナンス成分を用いて
補間Ｇ成分の低いクロミナンス値を有するピクセル位置を検出する（ステップＳ３５８）
。つまり、クランピングプロセスは補間Ｇ成分を用いて欠けているクロミナンス成分を推
定し、元のおよび推定クロミナンス成分を所定または適応的に決定されるパラメーターと
比較し、ピクセルクロミナンス成分の値が低い暗い領域を検出する（ステップＳ３５８）
。次に、クランピングプロセスは補間Ｇ成分において信号オーバーシュートまたはアンダ
ーシュートが検出されるか判定する（ステップＳ３６０）。
【０１０４】
補間Ｇ成分において信号オーバーシュートまたはアンダーシュートが検出された場合（
ステップＳ３６０：はい）、クランピングプロセスは補間Ｇ成分を最も近い値を有する元
の近接Ｇ成分にクランプする（ステップＳ３６２）。
【０１０５】
補間Ｇ成分をモザイク解除が行なわれる方向に位置する最も近い元の近接Ｇ成分にクラ
ンプした後（ステップＳ３５６）、または補間Ｇ成分が最も近い値を有する元の近接Ｇ成
分にクランプされた後（ステップＳ３６２）、または補間Ｇ成分において信号オーバーシ
ュートまたはアンダーシュートが検出されない場合（ステップＳ３６０：いいえ）、ＣＰ
Ｕはモザイク解除されたＧ成分を有するすべてのピクセルについてクランピングプロセス
が完了したか判定する（ステップＳ３６４）。補間Ｇ成分を有する、未処理のピクセルが
ある場合（ステップＳ３６４：いいえ）、輝度成分クランピングプロセスはステップＳ３
００に戻り未処理ピクセルの中から別の目標ピクセルを選択し、続く一連の処理を実行す
る。補間Ｇ成分を有するすべてのピクセルに関しクランピングプロセスが完了すると（ス
テップＳ３６４：はい）、図１１のクランピングプロセスは終了する。
【０１０６】
図１２は補間Ｇ成分において信号オーバーシュートまたはアンダーシュートを検出し、
補間Ｇ成分をモザイク解除が行なわれる方向に位置する最も近い元の近接Ｇ成分にクラン
プすることを示す。特に図１９（ａ）および図１９（ｂ）は補間Ｇ成分Ｇ(r,s)における
信号オーバーシュートまたはアンダーシュートを検出するため、および信号オーバーシュ
ートまたはアンダーシュートが検出された補間Ｇ成分のピクセル位置においてモザイク解
除が実施される方向に位置する最も近い元のＧ成分にＧ成分Ｇ(r,s)をクランプするため
の計算式を示す。
【０１０７】
図１２（ａ）の計算式はピクセルの輝度・クロミナンス差成分の絶対値を補間Ｇ成分Ｇ
(r,s)と、輝度・クロミナンス差成分およびその増強版間の絶対差と比較する。ＶＤおよ
びＨＤは各々検出されたモザイク解除プロセスの実施される垂直方向（すなわちｄ(r,s)
＝１）または水平方向（すなわちｄ(r,s)＝３）を示す。クランピング条件が満足される
場合、目標位置におけるｄ(r,s)の値によってＧ(r,s)値は、ｄ(r,s)＝１の時は垂直方向
に位置する元のＧ成分Ｚ(r-1,s)およびＺ(r+1,s)、またはｄ(r,s)＝３の時は水平方向に
位置する元のＧ成分Ｚ(r,s-1)およびＺ(r,s+1)と比較される。Ｇ(r,s)がモザイク解除方
向における２つの元の近接緑より大きいか小さい場合、Ｇ(r,s)は元の２つの値の内規模
の点で最も近いもので置換される。このクランピング演算はｆc｛｝関数を用いて実現さ
れる。図１２（ａ）の計算においてクランピング条件が満足されない場合、モザイク解除
されたＧ(r,s)値はそのままにされる。
【０１０８】
クランピングプロセスをより良く制御できるよう、図１２（ａ）は図１２（ｂ）に示す
ように書き換えることができ、ここでαは正のスケーリングパラメーター、βはグローバ
ルな正の輝度・クロミナンス差、およびｍｉｎ（）は最小演算子を示す。この高度クラン
ピングは通常ほとんどの状況、特により明るい画像領域で満足できる結果を実現する。よ
り暗い領域で同様の性能を達成するために、クランピングプロセスは続いて利用可能なク
ロミナンス信号を評価する。
【０１０９】
図１３は補間Ｇ成分における信号オーバーシュートまたはアンダーシュートを検出し補
間Ｇ成分を最も近く近接する元のＧ成分にクランプすることを示す。特に、図１３（ａ）
および図１３（ｂ）は片方または双方のクロミナンス成分の値が低いピクセル位置におけ
る補間Ｇ成分Ｇ(r,s)のピクセルを検出する計算式を示す。信号オーバーシュートまたは
アンダーシュートがこのような位置に検出されると、同じ式がさらに補間Ｇ成分Ｇ(r,s)
を最も近く近接する元のＧ成分にクランプする。
【０１１０】
図１３（ａ）の計算式はＺ(r,s)で示される元のクロミナンス（すなわちＲまたはＢ）
成分をδで示され、クロミナンスチャンネルにおいて明るさが低減された画像領域を局限
するために用いられる所定のグローバルなクロミナンスレベルと比較する。同様に計算式
は、υv(r,s)≦υh(r,s)に対しＧ(r,s)、−（Ξh(r-1,s)＋Ξh(r+1,s)）またはυv(r,s)
＞υh(r,s)に対しＧ(r,s)、−（Ξh(r,s-1)＋Ξh(r,s+1)）／２で示される欠けているク
ロミナンス（すなわちＢまたはＲ）成分の推定値を所定のグローバルな画像レベルδとも
比較する。
【０１１１】
クランピングプロセスをより良く制御できるよう、図１３（ａ）は図１３（ｂ）に示す
ように書き換えることができ、ここで［］はモザイク解除の前にガンマ補正ステップが取
られる場合に該当成分をそれらの元の範囲にマップするために用いられる逆ガンマ演算を
示す。ガンマ補正ステップに加え、ｍｉｎ（）は検出プロセスを向上させるためにグロー
バルクロミナンス項をＶＤに対しＺ(r,s)＋Δv(r,s)またはＶＨに対しＺ(r,s)＋Δh(r,s)
のローカルクロミナンス項と比較して。図１３（ｂ）の計算式はクロミナンス成分の寄与
が低い色ピクセルを局限するためにｍｉｎ（）の出力と比較する。
【０１１２】
要約すると、図１１の輝度成分クランピングプロセスはモザイク解除された（すなわち
補間された）Ｇ成分を局限された近傍領域における望ましい信号範囲にクランプすること
により信号オーバーシュートおよびアンダーシュートを避けることができる。クランピン
グ演算は図１２における計算式の１つにより実現することができる。モザイク解除された
Ｇ成分は図１２の計算式における適当なクランピング条件が満足されない場合にのみ図１
３における計算式の１つの補完的演算を受けるべきである。
【０１１３】
Ｆ．クロミナンス成分補間プロセス
前述のように、クロミナンス成分クランピングプロセスがすべての位置における補間輝
度成分に対し完了した後、クロミナンス成分補間プロセスは各ピクセルにおける残りの色
成分を補間する。
【０１１４】
モザイク解除された画像において色アーティファクトを避けるため、クロミナンス補間
プロセスは利用可能な輝度・クロミナンス信号を利用し、補間目標ピクセルに隣接し対角
線上に配置されたピクセルの輝度・クロミナンス差成分を用いて元のＲピクセルにおける
Ｂ成分および元のＢピクセルにおけるＲ成分双方を補間する。これら４つの輝度・クロミ
ナンス差成分は補間目標ピクセルの色差成分を計算するのに用いられる。
【０１１５】
図４に示すように、目標補間位置が元のＲ成分である場合、その４つの対角線上に隣接
するピクセルは元のＢ成分のピクセルである。従って、目標位置における望ましい種類の
輝度・クロミナンス信号は補間目標ピクセルに隣接する４つの対角線上に配置されたピク
セル各々におけるＧ成分およびＢ成分に基づき計算することができる。同様に、目標補間
位置が元のＢ成分である場合、その４つの対角線上に隣接するピクセルは元のＲ成分のピ
クセルである。従って、目標位置における望ましい種類の輝度・クロミナンス信号は補間
目標ピクセルに隣接する４つの対角線上に配置されたピクセル各々におけるＧ成分および
Ｒ成分に基づき計算することができる。高速処理を可能にするために、補間目標位置にお
ける望ましい種類の輝度・クロミナンス信号は４つの対角線上の隣接ピクセル各々におけ
る輝度値および元のクロミナンス値間の差の平均として計算される。この平均値は次に目
標ピクセルにおいて利用可能な輝度（Ｇ）値に加えられ、目標クロミナンス（ＢまたはＲ
）位置において欠けているクロミナンス（ＲまたはＢ）値を実現する。
【０１１６】
他方のクロミナンス成分（すなわちＢまたはＲ）を有するすべてのピクセル位置におい
てクロミナンス成分（すなわちＲまたはＢ）を補間した後、クロミナンス成分補間プロセ
スは元の輝度成分（すなわちＧ）のすべてのピクセル位置において２つのクロミナンス成
分（すなわちＲおよびＢ）を判定する。これで双方のクロミナンス成分が元の輝度成分の
各位置において利用可能になる。図４に見られるように、このような４つのピクセル位置
は元の輝度成分の各補間目標ピクセルに対し垂直および水平に隣接している。従って、補
間すべきクロミナンス成分がＲ成分の場合、目標ピクセル位置における望ましい種類の輝
度・クロミナンス信号は補間目標ピクセルに隣接する垂直および水平に配置される４つの
ピクセル各々におけるＧ成分およびＲ成分に基づき計算することができる。同様に、補間
すべきクロミナンス成分がＢ成分の場合、目標ピクセル位置における望ましい種類の輝度
・クロミナンス信号は補間目標ピクセルに隣接する垂直および水平に配置される４つのピ
クセル各々におけるＧ成分およびＢ成分に基づき計算することができる。高速処理を可能
にするために、補間目標位置における望ましい種類の輝度・クロミナンス信号はこれら４
つの隣接ピクセル各々、またはエッジ配向作成プロセス（ステップＳ１０６）で得られた
エッジ配向を考慮に入れた場合は２つのみのピクセル（垂直または水平）、における輝度
値およびクロミナンス値間の差の平均として計算することができる。この平均値は次に目
標ピクセルにおいて利用可能な元の輝度（Ｇ）値に加えられ、欠けているクロミナンス（
ＲまたはＢ）値を実現する。
【０１１７】
欠けている色成分の上述の２方法のいずれかを用いた補間はかなり簡単で、高速におい
て実行可能である。このように実施形態における一連の処理はＲ成分、Ｇ成分、およびＢ
色成分のモザイク配置を有する生の画像データから充分な色画像データの高速生成を可能
にする。
【０１１８】
実施形態のデジタルカメラ１００は上述の手順に従い生の画像データから色画像データ
を生成する。本発明は上記に説明する本実施形態およびその改変に限定されず、本発明の
主要な特徴の範囲または精神から逸脱することなく各種の用途および態様で達成すること
ができる。
【０１１９】
本明細書に開示される実施形態例は他の具体的な形で具現することができる。本明細書
に開示される実施形態例はすべての面において単に例示的とみなされ、限定的とはみなさ
れない。
【符号の説明】
【０１２０】
１０…光学系、２０…撮像アッセンブリ、２２…カラーフィルターアレイ、２４…画像
センサー、３０…画像処理装置、１００…デジタルカメラ。
【図１】
2010016814.tif 000039
【図２】
2010016814.tif 000040
【図３】
2010016814.tif 000041
【図４】
2010016814.tif 000042
【図５】
2010016814.tif 000043
【図６】
2010016814.tif 000044
【図７】
2010016814.tif 000045
【図８】
2010016814.tif 000046
【図９】
2010016814.tif 000047
【図１０】
2010016814.tif 000048
【図１１】
2010016814.tif 000049
【図１２】
2010016814.tif 000050
【図１３】
2010016814.tif 000051