(57)【要約】【課題】画像ぼけを抑えることができ、色再現性が高く、偽色の発生を抑えることができる色補間装置を提供する。【解決手段】色補間装置９は、各画素のデータが単一色成分の画素データである画像データ（例えばベイヤー配列の画像データ）の色補間を行う色補間装置であって、注目画素を含む所定のライン長のラインを基準ラインとし、前記基準ラインに隣接するラインの内から、前記基準ラインに対して色情報及び輝度情報がより近似している方のラインを選択する選択部と、前記基準ラインと前記選択部が選択したラインの各画素の画素データに、各画素に応じた係数を乗算し、これらを演算処理して前記注目画素の補間対象色の値を得る演算部とを備える。【選択図】図１
2008131187.tif 000002
【特許請求の範囲】
【請求項１】
各画素のデータが単一色成分の画素データである画像データの色補間を行う色補間装置であって、
注目画素を含む所定のライン長のラインを基準ラインとし、前記基準ラインに隣接するラインの内から、前記基準ラインに対して色情報及び輝度情報がより近似している方のラインを選択する選択部と、
前記基準ラインと前記選択部が選択したラインの各画素の画素データに、各画素に応じた係数を乗算し、これらを演算処理して前記注目画素の補間対象色の値を得る演算部とを備えることを特徴とする色補間装置。
【請求項２】
請求項１に記載の色補間装置を有する画像処理装置を備えることを特徴とする電子機器。
【請求項３】
各画素のデータが単一色成分の画素データである画像データの色補間を行うための色補間プログラムであって、
コンピュータを、
注目画素を含む所定のライン長のラインを基準ラインとし、前記基準ラインに隣接するラインの内から、前記基準ラインに対して色情報及び輝度情報がより近似している方のラインを選択する選択手段、及び
前記基準ラインと前記選択手段が選択したラインの各画素の画素データに、各画素に応じた係数を乗算し、これらを演算処理して前記注目画素の補間対象色の値を得る演算手段として機能させるための色補間プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各画素のデータが単一色成分の画素データである画像データの色補間を行う色補間装置及びそれを備える電子機器並びに各画素が単一色成分の画素データである画像データの色補間を行うようにコンピュータを機能させるための色補間プログラムに関するものである。
【背景技術】
【０００２】
デジタルスチールカメラやデジタルビデオカメラ等で利用される固体撮像素子（ＣＣＤカラーイメージセンサやＣＭＯＳカラーイメージセンサ等）は、カラーフィルタを介して受光する光を光電変換して画像データを出力する。このカラーフィルタには、ＲＧＢ系フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式のカラーフィルタを備える固体撮像素子は、各画素のデータが単一色成分の画素データである画像データを出力する。例えば、単板式のカラーフィルタがＲＧＢ系カラーフィルタである場合、１画素についてＲ（赤色）成分、Ｇ（緑色）成分、及びＢ（青色）成分のいずれか一つの画素データとなる。
【０００３】
このように単板式のカラーフィルタを備える固体撮像素子から出力される画像データについては、各画素のデータが単一色成分の画素データであるので、各画素での他の色成分を補間するために色補間処理が施される。そして、この色補間処理については様々なアルゴリズムが提案されている。最も単純なアルゴリズムとしては、注目画素を中心としたｎ×ｍ（ｎ、ｍは正の整数）の画素範囲に存在する補間対象色と同色成分の画素データの単純平均によって求めた値を注目画素の補間対象色の値とするアルゴリズムが挙げられる（特許文献１参照）。
【０００４】
他のアルゴリズムとして、所定のライン長の複数のラインに属する画素データを用いて注目画素の補間対象色の値を演算するアルゴリズムがある。
【特許文献１】特開２００１−２５８０４０号公報（段落０００３〜０００７）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、注目画素の補間対象色の値を演算する際に所定のライン長の３ラインを用いる場合、例えば図５に示すように、注目画素Ｐ32を中心とするライン長さが５画素分である３つの横ラインを用いる場合、演算する際に参照する領域が広くなるため、生成される画像がぼけやすくなる。
【０００６】
また、注目画素の補間対象色の値を演算する際に所定のライン長の固定２ラインを用いる場合、例えば図６（ａ）に示すように、注目画素Ｐ32が中央に位置するライン長さが５画素分である横ライン（画素Ｐ12〜Ｐ52から成るライン）とその上の横ライン（画素Ｐ11〜Ｐ51から成るライン）を用いる場合、図６（ｂ）に示すように２つのラインの間に、色及び／又は輝度の境界があれば、本来の色と異なる色の画素を参照することになるため、色再現性が低下し、又偽色も発生しやすくなる。
【０００７】
本発明は、上記の状況に鑑み、画像ぼけを抑えることができ、色再現性が高く、偽色の発生を抑えることができる色補間装置及びそれを備える電子機器並びに色補間プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に係る色補間装置は、各画素のデータが単一色成分の画素データである画像データの色補間を行う色補間装置であって、注目画素を含む所定のライン長のラインを基準ラインとし、前記基準ラインに隣接するラインの内から、前記基準ラインに対して色情報及び輝度情報がより近似している方のラインを選択する選択部と、前記基準ラインと前記選択部が選択したラインの各画素の画素データに、各画素に応じた係数を乗算し、これらを演算処理して前記注目画素の補間対象色の値を得る演算部とを備える構成としている。
【０００９】
このような構成によると、２ラインを用いて色補間を行うため、演算する際に参照する領域が広くならず、画像ぼけを抑えることができる。また、このような構成によると、色補間を行う際に用いる２つのラインの間に色及び／又は輝度の境界が入ることを抑えることができるので、色再現性が高く、偽色の発生を抑えることができる。
【００１０】
また、上記目的を達成するために、本発明に係る電子機器は、上記構成の色補間装置を有する画像処理装置を備える構成としている。本発明に係る電子機器の例としては、カメラ付き携帯電話装置、デジタルスチールカメラ、デジタルビデオカメラ等が挙げられる。
【００１１】
また、上記目的を達成するために、本発明に係る色補間プログラムは、各画素のデータが単一色成分の画素データである画像データの色補間を行うための色補間プログラムであって、コンピュータを、注目画素を含む所定のライン長のラインを基準ラインとし、前記基準ラインに隣接するラインの内から、前記基準ラインに対して色情報及び輝度情報がより近似している方のラインを選択する選択手段、及び前記基準ラインと前記選択手段が選択したラインの各画素の画素データに、各画素に応じた係数を乗算し、これらを演算処理して前記注目画素の補間対象色の値を得る演算手段として機能させるようにする。
【発明の効果】
【００１２】
本発明によると、２ラインを用いて色補間を行うため、演算する際に参照する領域が広くならず、画像ぼけを抑えることができる。また、このような構成によると、色補間を行う際に用いる２つのラインの間に色及び／又は輝度の境界が入ることを抑えることができるので、色再現性が高く、偽色の発生を抑えることができる。
【発明を実施するための最良の形態】
【００１３】
本発明の実施形態について図面を参照して以下に説明する。本発明に係る電子機器として、ここではカメラ付き携帯電話装置を例に挙げて説明する。
【００１４】
本発明に係るカメラ付き携帯電話装置の概略構成例を図１に示す。光学レンズ系１と、単板式のカラーフィルタを有する固体撮像素子（ＣＣＤカラーイメージセンサやＣＭＯＳカラーイメージセンサ等）２と、固体撮像素子２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部３とによって構成されるカメラモジュール４は、デジタル画像データであるＲＡＷ形式の画像データを半導体集積回路装置である画像処理装置５に出力する。
【００１５】
画像処理装置５においては、カメラモジュール４から出力されたＲＡＷ形式の画像データをフレームメモリ６が一時的に保存し、欠陥画素検出装置７がＲＡＷ形式の画像データの欠陥画素を検出し、欠陥画素の画素データを欠陥画素の最も近くに存在する画素であって欠陥画素と同色成分の画素の画素データを演算処理して得られるデータに置換する等の補正処理によって補正部８が欠陥画素の画素データを補正し、色補間装置９が欠陥画素の画素データが補正されたＲＡＷ形式の画像データに色補間処理を施してＲＧＢ画像データを作成し、画像処理部１０が色補間装置９によって作成されたＲＧＢ画像データに各種画像処理を施す。
【００１６】
ＣＰＵ１２によってプレビューモードに設定されている場合、画像処理装置５は、画像処理部１０によって各種画像処理が施されたＲＧＢ画像データを液晶ディスプレイ等の表示装置１３に出力する。これにより、カメラモジュール４によって撮像された画像が表示装置１３に表示される。また、ＣＰＵ１２によって画像記録が指示されると、画像処理装置５は、画像処理部１０によって各種画像処理が施されたＲＧＢ画像データをデータ圧縮部１１での圧縮処理により圧縮画像データに変換した後、メモリカード等の外部記憶媒体が着脱可能に装着される記憶媒体インターフェース１４にその圧縮画像データを出力し、その圧縮画像データを外部記憶媒体に書き込む。これにより、カメラモジュール４によって撮像された画像の圧縮データが外部記憶媒体に記録される。
【００１７】
また、図１に示す本発明に係るカメラ付き携帯電話装置は、アンテナ１５と、アンテナ１５を介して基地局と送受信する無線部１６と、着信を音や振動によって報知する報知部１７と、キー入力部１８と、音声通話時に操作者が発する音声を入力して電気信号に変換する音声入力部１９と、音声通話時に相手方の音声に応じた電気信号を音声に変換して出力する音声出力部２０とを備えている。なお、表示装置１３は、ＣＰＵ１２の制御によって電話番号等の表示も行う。
【００１８】
次に、色補間装置９の動作例について詳細に説明する。ここでは、ライン長さが５画素分である横ラインを用いる場合を例として説明する。また、カメラモジュール４から画像処理装置５に出力されるＲＡＷ形式の画像データが、ベイヤー配列（図２参照）の画像データである場合を例に挙げて説明する。ベイヤー配列の画像データでは、Ｇ（緑色）成分の画素が最も多く存在し、色情報及び輝度情報を多く含んでいるため、Ｇ（緑色）成分の画素の信号レベルをライン選択のための指標とする。
【００１９】
色補間装置９は、注目画素を含む基準ライン（注目画素が中央に位置するライン長さが５画素分である横ライン）に隣接するラインの内から、すなわち基準ラインの一つ上の横ライン及び基準ラインの一つ下の横ラインの内から、基準ラインに対して色情報及び輝度情報がより近似している方のラインを上記指標に基づいて選択し、その選択したラインと基準ラインを用いて、注目画素の補間対象色の値を演算する。
【００２０】
色補間装置９では、上記のように２ラインを用いて色補間を行うため、演算する際に参照する領域が広くならず、画像ぼけを抑えることができる。また、色補間装置９では、上記のように基準ラインに隣接するラインの内から基準ラインに対して色情報及び輝度情報がより近似している方のラインを選択するので、色補間を行う際に用いる２つのラインの間に色及び／又は輝度の境界が入ることを抑えることができる。したがって、色再現性を高くすることができるとともに、偽色の発生を抑えることができる。
【００２１】
図３に示すように注目画素がＧ（緑色）成分の画素で有る場合の色補間装置９の動作について説明する。なお、図３における、Ｒ／Ｂ、Ｂ／Ｒは、Ｒ／ＢがＲ（赤色）成分の画素で有る場合にＢ／ＲがＢ（青色）成分の画素であり、Ｒ／ＢがＢ（青色）成分の画素で有る場合にＢ／ＲがＲ（赤色）成分の画素であることを意味している。色補間装置９は、以下に示す手順で各横ラインの指標を求める。
【００２２】
注目画素Ｇ32を含む基準ライン（画素Ｇ12、画素Ｂ／Ｒ22、画素Ｇ32、画素Ｂ／Ｒ42、及び画素Ｇ52から成る横ライン）の指標を注目画素Ｇ32の信号レベルＬG32とする。
【００２３】
基準ラインに隣接する横ラインの指標は、注目画素Ｇ32の隣接画素がＧ（緑色）成分の画素ではないため、注目画素Ｇ32の周辺画素より近似して求める。
【００２４】
基準ラインの一つ上の横ライン（画素Ｒ／Ｂ11、画素Ｇ21、画素Ｒ／Ｂ31、画素Ｇ41、及び画素Ｒ／Ｂ51から成る横ライン）の指標を、（１）式により求まる信号レベルＬG'31とする。ただし、ＬG21は画素Ｇ21の信号レベルであり、ＬG41は画素Ｇ41の信号レベルである。
ＬG'31＝（ＬG21＋ＬG41）／２  ・・・（１）
【００２５】
基準ラインの一つ下の横ライン（画素Ｒ／Ｂ13、画素Ｇ23、画素Ｒ／Ｂ33、画素Ｇ43、及び画素Ｒ／Ｂ53から成る横ライン）の指標を、（２）式により求まる信号レベルＬG'33とする。ただし、ＬG23は画素Ｇ23の信号レベルであり、ＬG43は画素Ｇ43の信号レベルである。
ＬG'33＝（ＬG23＋ＬG43）／２  ・・・（２）
【００２６】
そして、上記手順で求めた各横ラインの指標が（３）式の条件を満たせば、色補間装置９は、基準ラインの一つ下の横ラインの方が基準ラインの一つ上の横ラインよりも基準ラインに対して色情報及び輝度情報が近似していると判断し、基準ラインとその一つ下のラインの２ラインを用いて注目画素の色補間を行う、すなわち基準ラインとその一つ下のラインの２ラインの各画素の画素データに、各画素に応じた係数を乗算し、これらを演算処理して注目画素の補間対象色の値を得る。一方、上記手順で求めた各横ラインの指標が（３）式の条件を満たさなければ、色補間装置９は、基準ラインの一つ上の横ラインの方が基準ラインの一つ下の横ラインよりも基準ラインに対して色情報及び輝度情報が近似していると判断し、基準ラインとその一つ上のラインの２ラインを用いて注目画素の色補間を行う、すなわち基準ラインとその一つ上のラインの２ラインの各画素の画素データに、各画素に応じた係数を乗算し、これらを演算処理して注目画素の補間対象色の値を得る。
｜ＬG'31−ＬG32｜＞｜ＬG'33−ＬG32｜  ・・・（３）
【００２７】
次に、図４に示すように注目画素がＧ（緑色）成分の画素で無い場合の色補間装置９の動作について説明する。なお、図４における、Ｂ／Ｒ、Ｒ／Ｂは、Ｂ／ＲがＢ（青色）成分の画素で有る場合にＲ／ＢがＲ（赤色）成分の画素であり、Ｂ／ＲがＲ（赤色）成分の画素で有る場合にＲ／ＢがＢ（青色）成分の画素であることを意味している。色補間装置９は、以下に示す手順で各横ラインの指標を求める。
【００２８】
注目画素Ｒ／Ｂ32を含む基準ライン（画素Ｒ／Ｂ12、画素Ｇ22、画素Ｒ／Ｂ32、画素Ｇ42、及び画素Ｒ／Ｂ52から成る横ライン）の指標は、注目画素自体がＧ（緑色）成分の画素でないため、注目画素Ｒ／Ｂ32の周辺画素より近似して求める。具体的には、注目画素Ｒ／Ｂ32を含む基準ライン（画素Ｒ／Ｂ12、画素Ｇ22、画素Ｒ／Ｂ32、画素Ｇ42、及び画素Ｒ／Ｂ52から成る横ライン）の指標を、（４）式により求まる信号レベルＬG'32とする。ただし、ＬG31は画素Ｇ31の信号レベルであり、ＬG22は画素Ｇ22の信号レベルであり、ＬG42は画素Ｇ42の信号レベルであり、ＬG33は画素Ｇ33の信号レベルである。
ＬG'32＝（ＬG31＋ＬG22＋ＬG42＋ＬG33）／４  ・・・（４）
【００２９】
基準ラインの一つ上の横ラインの指標を画素Ｇ31の信号レベルＬG31とする。また、基準ラインの一つ下の横ラインの指標を画素Ｇ33の信号レベルＬG33とする。
【００３０】
そして、上記手順で求めた各横ラインの指標が（５）式の条件を満たせば、色補間装置９は、基準ラインの一つ下の横ラインの方が基準ラインの一つ上の横ラインよりも基準ラインに対して色情報及び輝度情報が近似していると判断し、基準ラインとその一つ下のラインの２ラインを用いて注目画素の色補間を行う、すなわち基準ラインとその一つ下のラインの２ラインの各画素の画素データに、各画素に応じた係数を乗算し、これらを演算処理して注目画素の補間対象色の値を得る。一方、上記手順で求めた各横ラインの指標が（５）式の条件を満たさなければ、色補間装置９は、基準ラインの一つ上の横ラインの方が基準ラインの一つ下の横ラインよりも基準ラインに対して色情報及び輝度情報が近似していると判断し、基準ラインとその一つ上のラインの２ラインを用いて注目画素の色補間を行う、すなわち基準ラインとその一つ上のラインの２ラインの各画素の画素データに、各画素に応じた係数を乗算し、これらを演算処理して注目画素の補間対象色の値を得る。
｜ＬG31−ＬG'32｜＞｜ＬG33−ＬG'32｜  ・・・（５）
【００３１】
また、本発明の他の実施形態として、コンピュータが、単板式のカラーフィルタを有する固体撮像素子を備えるデジタルスチールカメラから出力されるデジタル画像データであるＲＡＷ形式の画像データを入力し、そのコンピュータが、図１中の画像処理装置５と同様の動作を行う実施形態が挙げられる。この場合、当該コンピュータは、本発明に係る色補間プログラムによって、図１中の色補間装置９と同様の動作を行う。
【００３２】
なお、上述した実施形態においては、横ラインを用いた色補間について説明したが、本発明はこれに限定されることはなく、縦ラインを用いた色補間或いは横ラインを用いた色補間及び縦ラインを用いた色補間を組み合わせた色補間を行うものであってもよい。
【図面の簡単な説明】
【００３３】
【図１】は、本発明に係るカメラ付き携帯電話装置の概略構成例を示す図である。
【図２】は、ベイヤー配列の基本構成を示す図である。
【図３】は、注目画素がＧ（緑色）成分の画素で有る場合の注目画素を中心とする３つの横ラインを示す図である。
【図４】は、注目画素がＧ（緑色）成分の画素で無い場合の注目画素を中心とする３つの横ラインを示す図である。
【図５】は、従来の色補間処理で用いられる３ラインを示す図である。
【図６】は、従来の他の色補間処理で用いられる固定２ラインを示す図である。
【符号の説明】
【００３４】
１    光学レンズ系
２    固体撮像素子
３    Ａ／Ｄ変換部
４    カメラモジュール
５    画像処理装置
６    フレームメモリ
７    欠陥画素検出装置
８    補正部
９    色補間装置
１０    画像処理部
１１    データ圧縮部
１２    ＣＰＵ
１３    表示装置
１４    記憶媒体インターフェース
１５    アンテナ
１６    無線部
１７    報知部
１８    キー入力部
１９    音声入力部
２０    音声出力部
【図１】
2008131187.tif 000003
【図２】
2008131187.tif 000004
【図３】
2008131187.tif 000005
【図４】
2008131187.tif 000006
【図５】
2008131187.tif 000007
【図６】
2008131187.tif 000008