(57)【要約】【課題】色再現性が高く、偽色の発生を抑えることができる色補間装置を提供する。【解決手段】色補間装置９は、各画素のデータが単一色成分の画素データである画像データ（例えばベイヤー配列の画像データ）の色補間を行う色補間装置であって、複数の横ラインを用いて注目画素の補間対象色の値を演算する第１の演算部と、複数の縦ラインを用いて注目画素の補間対象色の値を演算する第２の演算部と、前記複数の横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度並びに前記複数の縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度を算出する確度算出部と、前記第１の演算部によって演算される注目画素の補間対象色の値と、前記第２の演算部によって演算される注目画素の補間対象色の値とを、前記確度算出部によって算出される確度に応じて重み付けをし、合成する合成部とを備える。【選択図】図１
2008131424.tif 000002
【特許請求の範囲】
【請求項１】
各画素のデータが単一色成分の画素データである画像データの色補間を行う色補間装置であって、
所定のライン長の複数の横ラインに属する画素データを用いて注目画素の補間対象色の値を演算する第１の演算部と、
所定のライン長の複数の縦ラインに属する画素データを用いて注目画素の補間対象色の値を演算する第２の演算部と、
前記所定のライン長の複数の横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度並びに前記所定のライン長の複数の縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度を算出する確度算出部と、
前記第１の演算部によって演算される注目画素の補間対象色の値と、前記第２の演算部によって演算される注目画素の補間対象色の値とを、前記確度算出部によって算出される確度に応じて重み付けをし、合成する合成部とを備えることを特徴とする色補間装置。
【請求項２】
前記合成部が、
前記所定のライン長の複数の縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度が大きいほど、前記第１の演算部によって演算される注目画素の補間対象色の値の重みを大きくし、
前記所定のライン長の複数の横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度が大きいほど、前記第２の演算部によって演算される注目画素の補間対象色の値の重みを大きくする請求項１に記載の色補間装置。
【請求項３】
請求項１又は請求項２に記載の色補間装置を有する画像処理装置を備えることを特徴とする電子機器。
【請求項４】
各画素のデータが単一色成分の画素データである画像データの色補間を行うための色補間プログラムであって、
コンピュータを、
所定のライン長の複数の横ラインに属する画素データを用いて注目画素の補間対象色の値を演算する第１の演算手段、
所定のライン長の複数の縦ラインに属する画素データを用いて注目画素の補間対象色の値を演算する第２の演算手段、
前記所定のライン長の複数の横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度並びに前記所定のライン長の複数の縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度を算出する確度算出手段、及び
前記第１の演算手段によって演算される注目画素の補間対象色の値と、前記第２の演算手段によって演算される注目画素の補間対象色の値とを、前記確度算出手段によって算出される確度に応じて重み付けをし、合成する合成手段として機能させるための色補間プログラム。
【請求項５】
前記合成手段が、
前記所定のライン長の複数の縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度が大きいほど、前記第１の演算手段によって演算される注目画素の補間対象色の値の重みを大きくし、
前記所定のライン長の複数の横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度が大きいほど、前記第２の演算手段によって演算される注目画素の補間対象色の値の重みを大きくする請求項４に記載の色補間プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各画素のデータが単一色成分の画素データである画像データの色補間を行う色補間装置及びそれを備える電子機器並びに各画素が単一色成分の画素データである画像データの色補間を行うようにコンピュータを機能させるための色補間プログラムに関するものである。
【背景技術】
【０００２】
デジタルスチールカメラやデジタルビデオカメラ等で利用される固体撮像素子（ＣＣＤカラーイメージセンサやＣＭＯＳカラーイメージセンサ等）は、カラーフィルタを介して受光する光を光電変換して画像データを出力する。このカラーフィルタには、ＲＧＢ系フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式のカラーフィルタを備える固体撮像素子は、各画素のデータが単一色成分の画素データである画像データを出力する。例えば、単板式のカラーフィルタがＲＧＢ系カラーフィルタである場合、１画素についてＲ（赤色）成分、Ｇ（緑色）成分、及びＢ（青色）成分のいずれか一つの画素データとなる。
【０００３】
このように単板式のカラーフィルタを備える固体撮像素子から出力される画像データについては、各画素のデータが単一色成分の画素データであるので、各画素での他の色成分を補間するために色補間処理が施される。そして、この色補間処理には、注目画素を中心とした３×３や５×５などの固定領域に属する画素データを用いて注目画素の補間対象色の値を演算する色補間方式（例えば特許文献１参照）や、所定のライン長の複数の横ラインに属する画素データのみ或いは所定のライン長の複数の縦ラインに属する画素データのみを用いて注目画素の補間対象色の値を演算する色補間方式等がある。
【特許文献１】特開２００１−２５８０４０号公報（段落０００３〜０００７）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した色補間方式では、演算する際に参照する領域に色及び／又は輝度の境界が存在する場合は、注目画素が本来持つ色とは異なる色の画素も参照することになるため、色再現性が低下し、又偽色も発生しやすくなる。例えば、図６（ａ）に示す５×５の固定領域による色補間方式、図６（ｂ）に示す３×３の固定領域による色補間方式、及び図６（ｃ）に示すライン長さが５画素分である三つの横ラインによる色補間方式において、図６のように参照領域に色の境界が存在する場合、注目画素Ｘは本来色(i)であるが、色補間の演算を行う際に色(ii)も参照するため、注目画素Ｘは色(i)と色(ii)が混合された色として色補間されてしまう。
【０００５】
本発明は、上記の状況に鑑み、色再現性が高く、偽色の発生を抑えることができる色補間装置及びそれを備える電子機器並びに色補間プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る色補間装置は、各画素のデータが単一色成分の画素データである画像データの色補間を行う色補間装置であって、所定のライン長の複数の横ラインに属する画素データを用いて注目画素の補間対象色の値を演算する第１の演算部と、所定のライン長の複数の縦ラインに属する画素データを用いて注目画素の補間対象色の値を演算する第２の演算部と、前記所定のライン長の複数の横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度並びに前記所定のライン長の複数の縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度を算出する確度算出部と、前記第１の演算部によって演算される注目画素の補間対象色の値と、前記第２の演算部によって演算される注目画素の補間対象色の値とを、前記確度算出部によって算出される確度に応じて重み付けをし、合成する合成部とを備える構成としている。
【０００７】
このような構成によると、演算する際に参照する領域に色及び／又は輝度の境界が存在する場合に、同色及び／又は同輝度の領域の画素に基づく補間色の合成割合を増加させることができるので、色再現性が高く、偽色の発生を抑えることができる。
【０００８】
演算する際に参照する領域に色及び／又は輝度の境界が存在する場合に、同色及び／又は同輝度の領域の画素に基づく補間色の合成割合を増加させるためには、例えば、前記合成部が、前記所定のライン長の複数の縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度が大きいほど、前記第１の演算部によって演算される注目画素の補間対象色の値の重みを大きくし、前記所定のライン長の複数の横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度が大きいほど、前記第２の演算部によって演算される注目画素の補間対象色の値の重みを大きくするとよい。
【０００９】
また、上記目的を達成するために、本発明に係る電子機器は、上記各構成の色補間装置を有する画像処理装置を備える構成としている。本発明に係る電子機器の例としては、カメラ付き携帯電話装置、デジタルスチールカメラ、デジタルビデオカメラ等が挙げられる。
【００１０】
また、上記目的を達成するために、本発明に係る色補間プログラムは、各画素のデータが単一色成分の画素データである画像データの色補間を行うための色補間プログラムであって、コンピュータを、所定のライン長の複数の横ラインに属する画素データを用いて注目画素の補間対象色の値を演算する第１の演算手段、所定のライン長の複数の縦ラインに属する画素データを用いて注目画素の補間対象色の値を演算する第２の演算手段、前記所定のライン長の複数の横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度並びに前記所定のライン長の複数の縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度を算出する確度算出手段、及び前記第１の演算手段によって演算される注目画素の補間対象色の値と、前記第２の演算手段によって演算される注目画素の補間対象色の値とを、前記確度算出手段によって算出される確度に応じて重み付けをし、合成する合成手段として機能させるようにする。
【００１１】
このような構成によると、演算する際に参照する領域に色及び／又は輝度の境界が存在する場合に、同色及び／又は同輝度の領域の画素に基づく補間色の合成割合を増加させることができるので、色再現性が高く、偽色の発生を抑えることができる。
【００１２】
演算する際に参照する領域に色及び／又は輝度の境界が存在する場合に、同色及び／又は同輝度の領域の画素に基づく補間色の合成割合を増加させるためには、例えば、上記構成の色補間プログラムにおいて、前記合成手段が、前記所定のライン長の複数の縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度が大きいほど、前記第１の演算手段によって演算される注目画素の補間対象色の値の重みを大きくし、前記所定のライン長の複数の横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度が大きいほど、前記第２の演算手段によって演算される注目画素の補間対象色の値の重みを大きくするとよい。
【発明の効果】
【００１３】
本発明によると、演算する際に参照する領域に色及び／又は輝度の境界が存在する場合に、同色及び／又は同輝度の領域の画素に基づく補間色の合成割合を増加させることができるので、色再現性が高く、偽色の発生を抑えることができる。
【発明を実施するための最良の形態】
【００１４】
本発明の実施形態について図面を参照して以下に説明する。本発明に係る電子機器として、ここではカメラ付き携帯電話装置を例に挙げて説明する。
【００１５】
本発明に係るカメラ付き携帯電話装置の概略構成例を図１に示す。光学レンズ系１と、単板式のカラーフィルタを有する固体撮像素子（ＣＣＤカラーイメージセンサやＣＭＯＳカラーイメージセンサ等）２と、固体撮像素子２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部３とによって構成されるカメラモジュール４は、デジタル画像データであるＲＡＷ形式の画像データを半導体集積回路装置である画像処理装置５に出力する。
【００１６】
画像処理装置５においては、カメラモジュール４から出力されたＲＡＷ形式の画像データをフレームメモリ６が一時的に保存し、欠陥画素検出装置７がＲＡＷ形式の画像データの欠陥画素を検出し、欠陥画素の画素データを欠陥画素の最も近くに存在する画素であって欠陥画素と同色成分の画素の画素データを演算処理して得られるデータに置換する等の補正処理によって補正部８が欠陥画素の画素データを補正し、色補間装置９が欠陥画素の画素データが補正されたＲＡＷ形式の画像データに色補間処理を施してＲＧＢ画像データを作成し、画像処理部１０が色補間装置９によって作成されたＲＧＢ画像データに各種画像処理を施す。
【００１７】
ＣＰＵ１２によってプレビューモードに設定されている場合、画像処理装置５は、画像処理部１０によって各種画像処理が施されたＲＧＢ画像データを液晶ディスプレイ等の表示装置１３に出力する。これにより、カメラモジュール４によって撮像された画像が表示装置１３に表示される。また、ＣＰＵ１２によって画像記録が指示されると、画像処理装置５は、画像処理部１０によって各種画像処理が施されたＲＧＢ画像データをデータ圧縮部１１での圧縮処理により圧縮画像データに変換した後、メモリカード等の外部記憶媒体が着脱可能に装着される記憶媒体インターフェース１４にその圧縮画像データを出力し、その圧縮画像データを外部記憶媒体に書き込む。これにより、カメラモジュール４によって撮像された画像の圧縮データが外部記憶媒体に記録される。
【００１８】
また、図１に示す本発明に係るカメラ付き携帯電話装置は、アンテナ１５と、アンテナ１５を介して基地局と送受信する無線部１６と、着信を音や振動によって報知する報知部１７と、キー入力部１８と、音声通話時に操作者が発する音声を入力して電気信号に変換する音声入力部１９と、音声通話時に相手方の音声に応じた電気信号を音声に変換して出力する音声出力部２０とを備えている。なお、表示装置１３は、ＣＰＵ１２の制御によって電話番号等の表示も行う。
【００１９】
次に、色補間装置９の動作例について詳細に説明する。ここでは、注目画素を中心とした５×５領域の縦、横３ラインを用いる場合を例として説明する。色補間装置９は、例えば、図２に示すように画素Ｐ4k（ｋは１〜５の自然数）と画素Ｐ5k（ｋは１〜５の自然数）との間に縦方向の色の境界が存在する場合、図２（ａ）のように縦３ラインを用いる色補間では、参照領域（斜線を付している画素領域）の画素全てが注目画素Ｐ33と同色であるが、図２（ｂ）のように横３ラインを用いる色補間では、参照領域の画素に注目画素Ｐ33と異なる色の画素が存在するため、縦３ラインによる補間色の合成割合を増加させて、縦３ラインによる補間色と横３ラインによる補間色とを合成する。
【００２０】
以下、カメラモジュール４から画像処理装置５に出力されるＲＡＷ形式の画像データが、ベイヤー配列（図３参照）の画像データである場合を例に挙げて説明する。
【００２１】
色補間装置９は、縦３ラインを用いて注目画素の色補間を行う、すなわち注目画素を含む縦ライン（注目画素が中央に位置するライン長さが５画素分である縦ライン）とその左右に隣接する縦ラインの各画素の画素データに、各画素に応じた係数を乗算し、これらを演算処理して注目画素の補間対象色の値を得る。また、色補間装置９は、横３ラインを用いて注目画素の色補間を行う、すなわち注目画素を含む横ライン（注目画素が中央に位置するライン長さが５画素分である横ライン）とその上下に隣接する横ラインの各画素の画素データに、各画素に応じた係数を乗算し、これらを演算処理して注目画素の補間対象色の値を得る。
【００２２】
次に、色補間装置９は、注目画素を含む縦ラインとその左右に隣接する縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度を算出する。また、色補間装置９は、注目画素を含む横ラインとその上下に隣接する横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度を算出する。
【００２３】
ここで、注目画素を含む縦ラインとその左右に隣接する縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度の算出例を示す。ベイヤー配列の画像データでは、Ｇ（緑色）成分の画素が最も多く存在し、色情報及び輝度情報を多く含んでいるため、Ｇ（緑色）成分の画素の信号レベルを用いて上記確度を算出する。
【００２４】
図４に示すように注目画素がＧ（緑色）成分の画素である場合、２行目３行目間或いは３行目４行目間に横方向の色及び／又は輝度の境界が存在する確度Ｄ１を（１）式により求め、１行目２行目間或いは２行目３行目間に横方向の色及び／又は輝度の境界が存在する確度Ｄ２を（２）式により求め、３行目４行目間或いは４行目５行目間に横方向の色及び／又は輝度の境界が存在する確度Ｄ３を（３）式により求める。ただし、ＬGmnは画素Ｇmnの信号レベルである（ｍ、ｎは自然数）。また、図４におけるＲ／Ｂ、Ｂ／Ｒは、Ｒ／ＢがＲ（赤色）成分の画素で有る場合にＢ／ＲがＢ（青色）成分の画素であり、Ｒ／ＢがＢ（青色）成分の画素で有る場合にＢ／ＲがＲ（赤色）成分の画素であることを意味している。
Ｄ１＝｜ＬG'32−ＬG'34｜
＝｜（ＬG22＋ＬG42）／２−（ＬG24＋ＬG44）／２｜  ・・・（１）
Ｄ２＝｜ＬG31−ＬG33｜  ・・・（２）
Ｄ３＝｜ＬG33−ＬG35｜  ・・・（３）
そして、注目画素Ｇ33から離れた位置に存在する色及び／又は輝度の境界は色補間に与える影響が小さいため、上記確度Ｄ１〜Ｄ３に対して注目画素Ｇ33からの距離に応じた重み付けを（４）式のように行い、注目画素を含む縦ラインとその左右に隣接する縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度Ｄ４を求める。
Ｄ４＝Ｄ１＋（Ｄ２＋Ｄ３）／２  ・・・（４）
なお、図４に示すように注目画素がＧ（緑色）成分の画素である場合、注目画素を含む横ラインとその上下に隣接する横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度も同様にして求める。
【００２５】
一方、図５に示すように注目画素がＧ（緑色）成分の画素でない場合、２行目３行目間或いは３行目４行目間に横方向の色及び／又は輝度の境界が存在する確度Ｄ５を（５）式により求め、１行目２行目間或いは２行目３行目間に横方向の色及び／又は輝度の境界が存在する確度Ｄ６を（６）式により求め、３行目４行目間或いは４行目５行目間に横方向の色及び／又は輝度の境界が存在する確度Ｄ７を（７）式により求める。ただし、ＬGmnは画素Ｇmnの信号レベルである（ｍ、ｎは自然数）。また、図５におけるＢ／Ｒ、Ｒ／Ｂは、Ｂ／ＲがＢ（青色）成分の画素で有る場合にＲ／ＢがＲ（赤色）成分の画素であり、Ｂ／ＲがＲ（赤色）成分の画素で有る場合にＲ／ＢがＢ（青色）成分の画素であることを意味している。
Ｄ５＝｜ＬG32−ＬG34｜  ・・・（５）
Ｄ６＝｜ＬG'31−ＬG'33｜
＝｜（ＬG21＋ＬG41）／２−（ＬG23＋ＬG43）／２｜  ・・・（６）
Ｄ７＝｜ＬG'33−ＬG'35｜
＝｜（ＬG23＋ＬG43）／２−（ＬG25＋ＬG45）／２｜  ・・・（７）
そして、注目画素Ｂ／Ｒ33から離れた位置に存在する色及び／又は輝度の境界は色補間に与える影響が小さいため、上記確度Ｄ５〜Ｄ７に対して注目画素Ｂ／Ｒ33からの距離に応じた重み付けを（８）式のように行い、注目画素を含む縦ラインとその左右に隣接する縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度Ｄ８を求める。
Ｄ８＝Ｄ５＋（Ｄ６＋Ｄ７）／２  ・・・（８）
なお、図５に示すように注目画素がＧ（緑色）成分の画素でない場合、注目画素を含む横ラインとその上下に隣接する横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度も同様にして求める。
【００２６】
最後に、色補間装置９は、縦３ラインを用いて得た注目画素の補間対象色の値と、横３ラインを用いて得た注目画素の補間対象色の値とを、注目画素を含む縦ラインとその左右に隣接する縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度並びに注目画素を含む横ラインとその上下に隣接する横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度に応じて重み付けをし、合成する。
【００２７】
縦３ラインを用いて補間した注目画素のＲ（赤色）成分の値、Ｇ（緑色）成分の値、及びＢ（青色）成分の値をそれぞれＲv、Ｇv、及びＢvとし、横３ラインを用いて補間した注目画素のＲ（赤色）成分の値、Ｇ（緑色）成分の値、及びＢ（青色）成分の値をそれぞれＲh、Ｇh、及びＢhとし、注目画素を含む縦ラインとその左右に隣接する縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度をＶとし、注目画素を含む横ラインとその上下に隣接する横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度Ｈとすると、合成して得られる注目画素のＲ（赤色）成分の値ＲC、Ｇ（緑色）成分の値ＧC、及びＢ（青色）成分の値ＢCはそれぞれ（９）式、（１０）式、及び（１１）式で表される。
ＲC＝Ｒv×Ｈ／（Ｖ＋Ｈ）＋Ｒh×Ｖ／（Ｖ＋Ｈ）  ・・・（９）
ＧC＝Ｇv×Ｈ／（Ｖ＋Ｈ）＋Ｇh×Ｖ／（Ｖ＋Ｈ）  ・・・（１０）
ＢC＝Ｂv×Ｈ／（Ｖ＋Ｈ）＋Ｂh×Ｖ／（Ｖ＋Ｈ）  ・・・（１１）
【００２８】
上述した色補間装置９の動作によると、注目画素を含む縦ラインとその左右に隣接する縦ラインからなる領域内に横方向の色及び／又は輝度の境界が存在する確度が大きいほど、横３ラインを用いて得た注目画素の補間対象色の値の重みを大きくし、注目画素を含む横ラインとその上下に隣接する横ラインからなる領域内に縦方向の色及び／又は輝度の境界が存在する確度が大きいほど、縦３ラインを用いて得た注目画素の補間対象色の値の重みを大きくしているので、演算する際に参照する領域に色及び／又は輝度の境界が存在する場合に、同色及び／又は同輝度の領域の画素に基づく補間色の合成割合を増加させることができる。これにより、色再現性が高く、偽色の発生を抑えることができる。
【００２９】
また、本発明の他の実施形態として、コンピュータが、単板式のカラーフィルタを有する固体撮像素子を備えるデジタルスチールカメラから出力されるデジタル画像データであるＲＡＷ形式の画像データを入力し、そのコンピュータが、図１中の画像処理装置５と同様の動作を行う実施形態が挙げられる。この場合、当該コンピュータは、本発明に係る色補間プログラムによって、図１中の色補間装置９と同様の動作を行う。
【図面の簡単な説明】
【００３０】
【図１】は、本発明に係るカメラ付き携帯電話装置の概略構成例を示す図である。
【図２】は、色補間に用いる縦３ライン及び横３ラインの領域を示す図である。
【図３】は、ベイヤー配列の基本構成を示す図である。
【図４】は、注目画素がＧ（緑色）成分の画素で有る場合の注目画素を中心とする５×５の領域を示す図である。
【図５】は、注目画素がＧ（緑色）成分の画素で無い場合の注目画素を中心とする５×５の領域を示す図である。
【図６】は、従来の色補間処理で用いられる参照領域を示す図である。
【符号の説明】
【００３１】
１    光学レンズ系
２    固体撮像素子
３    Ａ／Ｄ変換部
４    カメラモジュール
５    画像処理装置
６    フレームメモリ
７    欠陥画素検出装置
８    補正部
９    色補間装置
１０    画像処理部
１１    データ圧縮部
１２    ＣＰＵ
１３    表示装置
１４    記憶媒体インターフェース
１５    アンテナ
１６    無線部
１７    報知部
１８    キー入力部
１９    音声入力部
２０    音声出力部
【図１】
2008131424.tif 000003
【図２】
2008131424.tif 000004
【図３】
2008131424.tif 000005
【図４】
2008131424.tif 000006
【図５】
2008131424.tif 000007
【図６】
2008131424.tif 000008