(57)【要約】【課題】比較的簡易な構成及び方法で、ドットノイズ及び偽色信号などの画質劣化を抑制し得る画素補間装置を実現する。【解決手段】評価値算出部３０は、サンプリング範囲内に設定されている複数のブロック領域における画素データを用いて各前記ブロック領域の明るさを規定する評価値ＤＳ１〜ＤＳ４を算出する。領域選択部３１は、評価値ＤＳ１〜ＤＳ４間の大小関係を算出し、この大小関係に基づいて複数のブロック領域の中から参照領域を選択する。さらに領域選択部３１は参照領域の画素データを選択し、選択データＳＤ１〜ＳＤ５として補間部３２に出力する。補間部３２は、選択データＳＤ１〜ＳＤ５を用いて当該着目画素に欠けている色成分を補間する。この結果、補間部３２は、Ｒ成分、Ｇ成分及びＢ成分の画像信号を出力する。【選択図】        図３
2004180059.tif 000002
【特許請求の範囲】
【請求項１】
各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間装置であって、
前記入力画像データのうち着目画素を含む所定のサンプリング範囲の画素データを保持するレジスタ群と、
前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する評価値算出部と、
前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する領域選択部と、
前記領域選択部で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部と、
を備えることを特徴とする画素補間装置。
【請求項２】
請求項１記載の画素補間装置であって、前記評価値算出部は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する、画素補間装置。
【請求項３】
請求項１または請求項２記載の画素補間装置であって、
前記領域選択部は、
前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択するソート回路と、
前記ソート回路で選択された前記参照領域内の前記画素データを前記レジスタ群から取り込み前記補間部に与えるデータ選択回路と、を備える、
画素補間装置。
【請求項４】
請求項１〜請求項３の何れか１項に記載の画素補間装置であって、前記補間部は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する、画素補間装置。
【請求項５】
請求項１または請求項２記載の画素補間装置であって、
前記領域選択部は、
前記評価値間の大小関係を算出するソート回路と、
前記ソート回路で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する検出回路と、
当該輝度パターンに応じて、前記画素データを前記レジスタ群から選択的に取り込むデータ選択回路と、
を備えており、
前記補間部は、当該輝度パターンに応じて、前記データ選択回路で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する、
画素補間装置。
【請求項６】
請求項５記載の画素補間装置であって、
前記検出回路は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する機能を有し、
前記補間部は、前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている色成分を補間し、前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する機能を有する、
画素補間装置。
【請求項７】
請求項１〜請求項６の何れか１項に記載の画素補間装置であって、前記レジスタ群は、３行３列の前記サンプリング範囲の前記画素データを保持する、画素補間装置。
【請求項８】
請求項１〜請求項７の何れか１項に記載の画素補間装置を搭載したデジタルカメラ。
【請求項９】
各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間方法であって、
（ａ）前記入力画像データのうち所定のサンプリング範囲の画素データを保持する工程と、
（ｂ）前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する工程と、
（ｃ）前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する工程と、
（ｄ）前記工程（ｃ）で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている成分を補間する工程と、
を備えることを特徴とする画素補間方法。
【請求項１０】
請求項９記載の画素補間方法であって、前記工程（ｂ）は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する工程を含む、画素補間方法。
【請求項１１】
請求項９または請求項１０記載の画素補間方法であって、前記工程（ｃ）は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択する工程を含む、画素補間方法。
【請求項１２】
請求項９〜請求項１１の何れか１項に記載の画素補間方法であって、前記工程（ｄ）は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含む、画素補間方法。
【請求項１３】
請求項９または請求項１０記載の画素補間方法であって、前記工程（ｃ）は、
（ｃ−１）前記評価値間の大小関係を算出する工程と、
（ｃ−２）前記工程（ｃ−１）で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する工程と、
（ｃ−３）前記工程（ｃ−２）で検出された当該輝度パターンに応じて、前記工程（ａ）で保持した前記画素データを選択的に取り込む工程と、
を備えており、
前記工程（ｄ）は、当該輝度パターンに応じて、前記工程（ｃ−３）で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する工程を含む、
画素補間方法。
【請求項１４】
請求項１３記載の画素補間方法であって、
前記工程（ｃ−２）は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する工程を含み、
前記工程（ｄ）は、前記工程（ｃ−２）で前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている前記色成分を補間し、前記工程（ｃ−２）で前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含む、
画素補間方法。
【請求項１５】
請求項９〜請求項１４の何れか１項に記載の画素補間方法であって、前記工程（ａ）は、３行３列の前記サンプリング範囲の前記画素データを保持する工程を含む、画素補間方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画素補間装置及び画素補間方法に関する。
【０００２】
【従来の技術】
デジタルカメラに搭載されるＣＣＤセンサやＣＭＯＳセンサなどの撮像センサにおいては、入射光を着色するために受光素子上に色フィルタアレイが形成されている。単板の撮像センサを搭載するデジタルカメラの場合、受光素子上には、各画素に一対一対応する色フィルタが配列しており、撮像センサの出力信号は各画素に単色成分のみを有するため、フルカラーの画像データを得るには各画素に不足している色成分を補間するいわゆる画素補間処理を行う必要がある。例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色系の色フィルタからなる色フィルタアレイを採用した場合、Ｒ成分のみを有する画素に対しては、周辺画素を参照して不足しているＧ成分及びＢ成分を画素補間しなければならない。この種の画素補間方法としてはバイリニア補間法やバイキュービック補間法などが周知技術である。
【０００３】
しかしながら、この種の画素補間処理によって、本来存在しない偽色信号やドットノイズと称する信号が発生するという周知の問題がある。偽色信号を低減する従来技術は、例えば特許文献１（特開２００１−８０３７号公報）及び特許文献２（特開２０００−１６５８９２号公報）に開示されており、ドットノイズを低減する従来技術は、例えば許文献３（特開２００１−５４１２５号公報）に開示されている。
【０００４】
【特許文献１】
特開２００１−８０３７号公報
【特許文献２】
特開２０００−１６５８９２号公報
【特許文献３】
特開２００１−０５４１２５号公報
【０００５】
【発明が解決しようとする課題】
従来の画素補間方法では、上記偽色信号やドットノイズを低減するためには演算量の増大及びメモリ使用量の増大が避けられなかった。これらは、回路規模の増大や電力消費量の増加、製造コストの上昇を招いてしまう。
【０００６】
以上の状況に鑑みて本発明の目的は、比較的簡易な構成及び方法で、ドットノイズ及び偽色信号などの画質劣化を抑制し得る画素補間装置及び画素補間方法を提供する点にある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、第１の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間装置であって、前記入力画像データのうち着目画素を含む所定のサンプリング範囲の画素データを保持するレジスタ群と、前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する評価値算出部と、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する領域選択部と、前記領域選択部で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部と、を備えることを特徴としている。
【０００８】
第２の発明では、第１の発明の画素補間装置において、前記評価値算出部は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する。
【０００９】
第３の発明では、第１または第２の発明の画素補間装置において、前記領域選択部は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択するソート回路と、前記ソート回路で選択された前記参照領域内の前記画素データを前記レジスタ群から取り込み前記補間部に与えるデータ選択回路と、を備える。
【００１０】
第４の発明では、第１〜第３の発明のうち何れかの画素補間装置において、前記補間部は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する。
【００１１】
第５の発明では、第１または第２の発明の画素補間装置において、前記領域選択部は、前記評価値間の大小関係を算出するソート回路と、前記ソート回路で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する検出回路と、当該輝度パターンに応じて、前記画素データを前記レジスタ群から選択的に取り込むデータ選択回路と、を備えており、前記補間部は、当該輝度パターンに応じて、前記データ選択回路で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する。
【００１２】
第６の発明では、第５の発明の画素補間装置において、前記検出回路は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する機能を有し、前記補間部は、前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている色成分を補間し、前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する機能を有する。
【００１３】
第７の発明では、第１〜第６の発明のうち何れかの画素補間装置において、前記レジスタ群は、３行３列の前記サンプリング範囲の前記画素データを保持する。
【００１４】
そして、第８の発明は、第１〜第７の発明のうち何れかの画素補間装置を搭載したデジタルカメラである。
【００１５】
次に、第９の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間方法であって、（ａ）前記入力画像データのうち所定のサンプリング範囲の画素データを保持する工程と、（ｂ）前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する工程と、（ｃ）前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する工程と、（ｄ）前記工程（ｃ）で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている成分を補間する工程と、を備えることを特徴としている。
【００１６】
第１０の発明では、第９の発明の画素補間方法において、前記工程（ｂ）は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する工程を含む。
【００１７】
第１１の発明では、第９または第１０の発明の画素補間方法において、前記工程（ｃ）は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択する工程を含む。
【００１８】
第１２の発明では、第９〜第１１の発明の何れかの画素補間方法において、前記工程（ｄ）は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含む。
【００１９】
第１３の発明では、第９または第１０の発明の画素補間方法において、前記工程（ｃ）は、（ｃ−１）前記評価値間の大小関係を算出する工程と、（ｃ−２）前記工程（ｃ−１）で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する工程と、（ｃ−３）前記工程（ｃ−２）で検出された当該輝度パターンに応じて、前記工程（ａ）で保持した前記画素データを選択的に取り込む工程と、を備えており、前記工程（ｄ）は、当該輝度パターンに応じて、前記工程（ｃ−３）で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する工程を含む。
【００２０】
第１４の発明では、第１３の発明の画素補間方法において、前記工程（ｃ−２）は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する工程を含み、前記工程（ｄ）は、前記工程（ｃ−２）で前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている前記色成分を補間し、前記工程（ｃ−２）で前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含む。
【００２１】
そして、第１５の発明では、第９〜第１４の発明の何れかの画素補間方法において、前記工程（ａ）は、３行３列の前記サンプリング範囲の前記画素データを保持する工程を含む。
【００２２】
【発明の実施の形態】
以下、本発明の種々の実施形態について説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画素補間装置１を概略的に示すブロック図である。この画素補間装置１は、ＲＡＷデータ（入力画像データ）を３×３画素の範囲（以下、サンプリング範囲と呼ぶ。）で保持するレジスタ群１０と、ＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ  Ｆｉｒｓｔ−Ｏｕｔ）メモリ１１，１２と、処理部１３とを備えて構成されている。本実施形態では、画素補間装置１は、単板のＣＣＤセンサやＣＭＯＳセンサなどの撮像センサを搭載したデジタルカメラに組み込まれ、その撮像センサは、原色系（ＲＧＢ系）のベイヤー配列の色フィルタアレイを有するものとする。
【００２４】
レジスタ群１０は、タイミング・ジェネレータ（図示せず）から供給されたクロック信号（図示せず）に同期して、画素単位で入力する８ビットのＲＡＷデータを順次シフトさせつつ保持する９個のレジスタ２０Ａ〜２０Ｉを備えており、レジスタ２０Ａ〜２０Ｉの各々が１画素データを保持する。レジスタ群１０は、３組のシフトレジスタ２０Ａ〜２０Ｃ、２０Ｄ〜２０Ｆ及び２０Ｇ〜２０Ｉを備えており、第１のシフトレジスタ２０Ａ〜２０Ｃと第２のシフトレジスタ２０Ｄ〜２０Ｆとの間にＦＩＦＯメモリ１１が介在し、第２のシフトレジスタ２０Ｄ〜２０Ｆと第３のシフトレジスタ２０Ｇ〜２０Ｉとの間にＦＩＦＯメモリ１２が介在している。この構成によって、レジスタ群１０は、２次元配列の画像データであるＲＡＷデータの中の３行３列のサンプリング範囲の画素データを保持することになる。
【００２５】
また、レジスタ２０Ａ〜２０Ｉが出力した画素データＤＡ〜ＤＩは、処理部１３に入力させられている。この処理部１３は、入力する画素データＤＡ〜ＤＩを用いて後述する画素補間処理を実行し、その結果、着目画素に関して、Ｒ成分の８ビット信号、Ｇ成分の８ビット信号及びＢ成分の８ビット信号を並列に出力する。
【００２６】
図２は、レジスタ群１０に記憶される３行３列の保持データ２１を模式的に示す図である。この保持データ２１は画素データＤＡ〜ＤＩから構成されており、画素データＤＡ，ＤＢ，ＤＣ，ＤＤ，ＤＥ，ＤＦ，ＤＧ，ＤＨ及びＤＩはそれぞれ画素値Ｐ（０，０），Ｐ（０，１），Ｐ（０，２），Ｐ（１，０），Ｐ（１，１），Ｐ（１，２），Ｐ（２，０），Ｐ（２，１）及びＰ（２，２）を有する。なお、この明細書において「画素値」とは、Ｒ成分、Ｇ成分またはＢ成分のうち何れかのｋビット階調（２ｋ階調）値を意味する（ｋは２以上の整数）。
【００２７】
図３は、上記処理部１３の構成を概略的に示すブロック図である。この処理部１３は、評価値算出部３０、領域選択部３１及び補間部３２を備えている。評価値算出部３０は、第１〜第４加算器３０ａ〜３０ｄを備えて構成される。上記サンプリング範囲には４つのブロック領域が設定されており、第１加算器３０ａは、第１のブロック領域における画素データＤＡ，ＤＢ及びＤＤを加算して得た評価データＤＳ１を出力し、第２加算器３０ｂは、第２のブロック領域における画素データＤＢ，ＤＣ及びＤＦを加算して得た評価データＤＳ２を出力し、第３加算器３０ｃは、第３のブロック領域における画素データＤＤ，ＤＧ及びＤＨを加算して得た評価データＤＳ３を出力し、第４加算器３０ｄは、第４のブロック領域における画素データＤＦ，ＤＨ及びＤＩを加算して得た評価データＤＳ４を出力する。
【００２８】
また図４に、前記第１〜第４のブロック領域の保持データ２１Ａ〜２１Ｄを模式的に示す。第１のブロック領域は、サンプリング範囲の左上方に設定され、画素値Ｐ（０，０），Ｐ（０，１）及びＰ（１，０）を持つ保持データ２１Ａを含み、第２のブロック領域は、サンプリング範囲の右上方に設定され、画素値Ｐ（０，１），Ｐ（０，２）及びＰ（１，２）を持つ保持データ２１Ｂを含み、第３のブロック領域は、サンプリング範囲の左下方に設定され、画素値Ｐ（１，０），Ｐ（２，０）及びＰ（２，１）を持つ保持データ２１Ｃを含み、第４のブロック領域は、サンプリング範囲の右下方に設定され、画素値Ｐ（１，２），Ｐ（２，１）及びＰ（２，２）を持つ保持データ２１Ｄを含む。サンプリング範囲中心の着目画素の値Ｐ（１，１）は、これら第１〜第４のブロック領域から除外されている。
【００２９】
また上記評価データＤＳ１〜ＤＳ４が持つ評価値（加算値）Ｓ１〜Ｓ４は、各ブロック領域の明るさを規定する量であり、次式（１）に基づいて算出される。
【００３０】
【数１】
2004180059.tif 000003
【００３１】
なお、本実施形態では、評価値Ｓ１〜Ｓ４として画素値の加算値を採用するが、本発明ではこの限りでは無く、前記加算値を用いた量、例えば平均値を採用してもよい。
【００３２】
また領域選択部３１は、ソート回路３３とデータ選択回路３４とを備えている。ソート回路３３は、評価値算出部３０から並列に入力する評価データＤＳ１〜ＤＳ４を昇順または降順にソートして、評価値Ｓ１〜Ｓ４間の大小関係を算出する。次に、ソート回路３３は、上記第１〜第４のブロック領域の中から、評価値Ｓ１〜Ｓ４の中で中央の値（メディアン）に近い評価値を持つ参照領域を２個選択し、その選択結果を示す選択制御データＳＲをデータ選択回路３４に出力する。データ選択回路３４には、上記レジスタ群１０が出力した画素データＤＡ〜ＤＩが入力している。このデータ選択回路３４は、ソート回路３３から入力した選択制御データＳＲに従って、ソート回路３３で選択された２個の参照領域内の画素データのみを選択し、選択データＳＤ１〜ＳＤ６として補間部３２に出力する。
【００３３】
そして補間部３２は、入力する選択データＳＤ１〜ＳＤ６を用いて当該着目画素に欠けている色成分を補間し、その結果、Ｒ成分、Ｇ成分及びＢ成分の画像信号を出力する。
【００３４】
以上の構成を有する画素補間装置１による画素補間処理の例を、図５のフローチャートを参照しつつ以下に説明する。図６は、ベイヤー配列の色フィルタアレイを持つ撮像センサが出力したＲＡＷデータの画素配列を模式的に示す図である。図示する通り、このＲＡＷデータは、Ｒ，Ｇ，Ｒ，Ｇ，…，Ｇ，Ｂ，Ｇ，Ｂ，…の色成分の画素配列を有している。
【００３５】
先ずステップＳＴ１では、図１に示すレジスタ群１０が、画素単位で入力するＲＡＷデータ（図６）のうちサンプリング範囲の画素データＤＡ〜ＤＩを保持する。次いで、図３に示す評価値算出部３０が、レジスタ群１０から取り込んだ画素データＤＡ〜ＤＩを用いて、サンプリング範囲に設定された第１〜第４のブロック領域の評価値Ｓ１〜Ｓ４を算出する（ステップＳＴ２）。評価値算出部３０は、評価値Ｓ１〜Ｓ４をそれぞれ持つ評価データＤＳ１〜ＤＳ４を領域選択部３１のソート回路３３に出力する。
【００３６】
次に、ソート回路３３が、評価データＤＳ１〜ＤＳ４を降順にソートして、評価値Ｓ１〜Ｓ４の大小関係を算出する（ステップＳＴ３）。本例での大小関係は、Ｓ３＞Ｓ１＞Ｓ２＞Ｓ４、である。次に、ソート回路３３は、第１〜第４のブロック領域の中から、複数の評価値の中で中央の値（メディアン）に近い評価値を持つ参照領域を２個選択する（ステップＳＴ４）。本例では、４つの評価値Ｓ１〜Ｓ４の中で中央の値に最も近い評価値と次に近い評価値とを持つ第１及び第２のブロック領域が参照領域として選択される。
【００３７】
次の補間処理（ステップＳＴ５）では、データ選択回路３４が、第１及び第２のブロック領域の画素データＤＡ，ＤＢ，ＤＣ，ＤＤ及びＤＦを選択データＳＤ１〜ＳＤ５として補間部３２に出力した後、補間部３２は、バイリニア補間法あるいは最隣接補間法で画素補間を実行する。
【００３８】
図７及び図８は、前記画素補間（ステップＳＴ５）を説明するための図であり、サンプリング範囲の保持データ２１の画素配列を模式的に示している。図７に示すように、着目画素がＲ成分のみを有する場合、補間部３２は、この着目画素に対して上方及び左右方向に隣接する３画素のＧ成分を平均化することで不足のＧ成分を補間（バイリニア補間）すると共に、この着目画素に対して斜め上方に隣接する２画素のＢ成分を平均化することで不足のＢ成分を補間（バイリニア補間）する。他方、図８に示すように、着目画素がＧ成分のみを有する場合は、補間部３２は、この着目画素に対して左右方向に隣接する２画素のＲ成分を平均化することで不足のＲ成分を補間（バイリニア補間）すると共に、この着目画素に対して上方のＢ成分で不足のＢ成分を補間（最隣接補間）する。
【００３９】
以上の画素補間処理によって、補間部３２は１画素のＲＧＢの画像信号を出力する。なお、補間部３２から出力されたＲＧＢの画像信号に輪郭強調処理を施すことで、画質を向上させてもよい。
【００４０】
このように第１の実施形態に係る画素補間装置１及び画素補間方法によれば、少ない演算量で、偽色信号やドットノイズなどの画質劣化を効果的に抑制し得る画素補間処理を実行することが可能である。また、小回路規模の画素補間装置１を低コストで製造でき、低消費電力で画素補間処理を実行することができる。しかも、３×３画素の小さなサンプリング範囲を採用しても画質劣化を効果的に抑制できることから、ＦＩＦＯメモリ１１，１２の数が２本で済むため、回路規模と電力消費量と製造コストとを抑えることができる。
【００４１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態に係る画素補間装置は、処理部１３の構成を除いて、図１に示した画素補間装置１と同じ構成を有する。図９は、第２の実施形態に係る処理部１３Ａの構成を模式的に示す図である。図９に示す構成要素のうち、図３に示した符号と同一符号を付されたものは、図３に示した構成要素と同じ構成を有するためその詳細な説明を省略する。
【００４２】
この処理部１３Ａは、評価値算出部３０、領域選択部４０及び補間部４４を備えている。評価値算出部３０は第１〜第４加算器３０ａ〜３０ｄを備えており、上述した第１〜第４のブロック領域における画素データを加算して得た評価データＤＳ１〜ＤＳ４を領域選択部４０に出力する。
【００４３】
また領域選択部４０は、ソート回路４１と検出回路４２とデータ選択回路４３とを備えている。ソート回路４１は、評価値算出部３０から並列に入力する評価データＤＳ１〜ＤＳ４を昇順または降順にソートして、評価値Ｓ１〜Ｓ４間の大小関係を算出する。またソート回路４１は、評価データＤＳ１〜ＤＳ４を昇順または降順に並べ替えたデータＭ１〜Ｍ４と、前記大小関係を示すソート情報ＳＲＴとを検出回路４２に出力する。
【００４４】
また検出回路４２は、後述する方法に従って、前記ソート情報ＳＲＴに基づいてサンプリング範囲のＲＡＷデータの輝度パターンを検出し、その検出結果である検出データＤＲ０，ＤＲ１をデータ選択回路４３と補間部４４とに出力する。本実施の形態では、前記輝度パターンとして後述する高輝度領域のエッジ（縁部）の種類が検出される。
【００４５】
データ選択回路４３は、検出回路４２から入力する検出データＤＲ０により、検出された輝度パターンに応じて、レジスタ群１０から入力する画素データＤＡ〜ＤＩを選択的に取り込み、選択データＳＤ１〜ＳＤ５として補間部４４に出力する。そして、補間部４４は、検出回路４２から入力する検出データＤＲ１により、検出された輝度パターンに応じて、選択データＳＤ１〜ＳＤ５を用いて当該着目画素に欠けている色成分を補間し、その結果、Ｒ成分、Ｇ成分及びＢ成分の画像信号を出力する。
【００４６】
以上の構成を有する処理部１３Ａを備えた画素補間装置による画素補間処理の例を、図１０のフローチャートを参照しつつ以下に説明する。
【００４７】
先ずステップＳＴ１では、図１に示すレジスタ群１０が、画素単位で入力するＲＡＷデータ（図６）のうちサンプリング範囲の画素データＤＡ〜ＤＩを保持する。次いで、図９に示す評価値算出部３０が、レジスタ群１０から取り込んだ画素データＤＡ〜ＤＩを用いて、サンプリング範囲に設定されている第１〜第４のブロック領域の評価値Ｓ１〜Ｓ４を算出する（ステップＳＴ２）。評価値算出部３０は、評価値Ｓ１〜Ｓ４をそれぞれ持つ評価データＤＳ１〜ＤＳ４を領域選択部４０のソート回路４１に出力する。
【００４８】
次に、ソート回路４１が、評価データＤＳ１〜ＤＳ４を降順にソートして評価値Ｓ１〜Ｓ４の大小関係を算出する（ステップＳＴ３）。このときソート回路４１は、評価データＤＳ１〜ＤＳ４を降順に並べ替えたデータＭ１〜Ｍ４と、ソート情報ＳＲＴとを検出回路４２に出力する。
【００４９】
次に、検出回路４２は、ソート情報ＳＲＴに基づいてサンプリング範囲の輝度パターンを検出する検出処理を行う（ステップＳＴ１０）。本例の検出回路４２が検出し得る輝度パターンを図１１〜図１８に示す。図１１〜図１８に示す例では、着目画素で輝度成分を主体とするＧ成分が不足しており、保持データ２１に対する画像の高輝度領域４５とそれ以外の低輝度領域とが示されている。なお、図１１〜図１８は、着目画素がＲ成分のみを有する場合を示しているが、着目画素がＢ成分のみを有する場合も同様に検出可能である。
【００５０】
図１１〜図１４に示すように、高輝度領域４５のエッジの方向が略水平方向に向くとき、当該エッジ４５ｈは「横エッジ」と呼ばれ、図１５〜図１８に示すように、エッジの方向が略垂直方向に向くとき、当該エッジ４５ｖは「縦エッジ」と呼ばれる。また、図１１及び図１２は、高輝度領域４５がサンプリング範囲の上方に位置する場合を、図１３及び図１４は、高輝度領域４５がサンプリング範囲の下方に位置する場合を、図１５及び図１６は、高輝度領域４５がサンプリング範囲の左方に位置する場合を、図１７及び図１８は、高輝度領域４５がサンプリング範囲の右方に位置する場合を、それぞれ表している。
【００５１】
検出回路４２は、評価値Ｓ１〜Ｓ４に関して次式（２Ａ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲上方の高輝度領域の横エッジ５４ｈ（図１１または図１２）を検出する。
【００５２】
【数２】
2004180059.tif 000004
【００５３】
ここで、上式（２Ａ）中、演算子ｍｉｎ｛ｘ，ｙ｝は、入力変数ｘ，ｙのうち値が小さい方の変数を出力し、演算子ｍａｘ｛ｘ，ｙ｝は、入力変数ｘ，ｙのうち値が大きい方の変数を出力する。変数ｘ，ｙが同じ値を持つ場合は、変数ｘが出力される。
【００５４】
また検出回路４２は、次式（２Ｂ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲下方の高輝度領域の横エッジ４５ｈ（図１３または図１４）を検出する。
【００５５】
【数３】
2004180059.tif 000005
【００５６】
また検出回路４２は、次式（３Ａ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲左方の縦エッジ４５ｖ（図１５または図１６）を検出する。
【００５７】
【数４】
2004180059.tif 000006
【００５８】
そして検出回路４２は、次式（３Ｂ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲右方の高輝度領域の縦エッジ４５ｖ（図１７または図１８）を検出する。
【００５９】
【数５】
2004180059.tif 000007
【００６０】
次いで、ステップＳＴ１０ａの条件分岐処理において、上記ステップＳＴ１０で検出した検出パターンの種類に応じた補間処理（ステップＳＴ１１〜ＳＴ１５、ＳＴ４，ＳＴ５）が選択される。
【００６１】
着目画素にＧ成分が不足しており、且つ図１１及び図１２に示す横エッジ４５ｈが検出された場合（Ｉ＝１）、ステップＳＴ１０ａからステップＳＴ１１に処理が移行する。ここで、データ選択回路４３は、検出データＤＲ０に基づいて、当該着目画素に対して左右方向に隣接する２画素のＧ成分を選択して補間部４４に供給し、補間部４４は、検出データＤＲ１に基づいて、これら２画素のＧ成分を平均化することで不足のＧ成分を補間する。数式で表現すれば、補間されるＧ成分の画素値ＩＰＧについて、ＩＰＧ＝（Ｐ（１，０）＋Ｐ（１，２））／２、が成立する。次いで、補間部４４は、着目画素に不足しているＲ成分またはＢ成分をバイリニア補間法などで補間する（ステップＳＴ１５）。
【００６２】
また、着目画素にＧ成分が不足しており、且つ図１３及び図１４に示す横エッジ４５ｈが検出された場合は（Ｉ＝２）、ステップＳＴ１０ａからステップＳＴ１２に処理が移行し、上記ステップＳＴ１１と同じ処理が実行された後に、上記ステップＳＴ１５の処理が実行される。
【００６３】
また、着目画素にＧ成分が不足しており、且つ図１７及び図１８に示す縦エッジ４５ｖが検出された場合は（Ｉ＝３）、ステップＳＴ１０ａからステップＳＴ１３に処理が移行する。ここで、データ選択回路４３は、検出データＤＲ０に基づいて、当該着目画素に対して上下方向に隣接する２画素のＧ成分を選択して補間部４４に供給し、補間部４４は、検出データＤＲ１に基づいて、これら２画素のＧ成分を平均化することで不足のＧ成分を補間する。数式で表現すれば、補間されるＧ成分の画素値ＩＰＧについて、ＩＰＧ＝（Ｐ（０，１）＋Ｐ（２，１））／２、が成立する。次いで、補間部４４は、着目画素に不足しているＲ成分またはＢ成分をバイリニア補間法などで補間する（ステップＳＴ１５）。
【００６４】
また、着目画素にＧ成分が不足しており、且つ図１５及び図１６に示す縦エッジ４５ｖが検出された場合は（Ｉ＝４）、ステップＳＴ１０ａからステップＳＴ１４に処理が移行し、上記ステップＳＴ１３と同じ処理が実行された後に、上記ステップＳＴ１５が実行される。
【００６５】
そして、図１１〜図１８に示す輝度パターンの何れも検出されなかった場合は（Ｉ＝５）、ステップＳＴ１０ａからステップＳＴ４に処理が移行する。ここで、ソート回路３３は、上記第１〜第４のブロック領域の中から、複数の評価値の中で中央の値に近い評価値を持つ参照領域を２個選択する（ステップＳＴ４）。
【００６６】
次の補間処理（ステップＳＴ５）では、上記第１の実施形態の補間処理（図５；ステップＳＴ５）と同様に、データ選択回路４３が、前記ステップＳＴ４で選択された２個の参照領域の画素データを選択データＳＤ１〜ＳＤ５として補間部４４に出力した後、補間部４４は、検出データＤＲ１に応じて、バイリニア補間法あるいは最隣接補間法で画素補間を実行する。
【００６７】
以上のように第２の実施形態に係る画素補間装置及び画素補間方法によれば、サンプリング範囲の輝度パターンに応じて適応型の補間処理を実行できるため、偽色信号やドットノイズの発生をさらに効果的に抑制し得て、画質の向上が可能となる。
【００６８】
【発明の効果】
以上の如く、本発明に係る画素補間装置及び画素補間方法によれば、少ない演算量で、偽色信号やドットノイズなどの発生を効果的に抑制し得る画素補間処理を実現できる。同時に、小回路規模の画素補間装置を低コストで製造でき、低消費電力で画素補間処理を実行することが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画素補間装置を概略的に示すブロック図である。
【図２】レジスタ群に記憶される３行３列の保持データを模式的に示す図である。
【図３】第１の実施形態に係る画素補間装置の処理部の構成を概略的に示すブロック図である。
【図４】第１〜第４のブロック領域の保持データを模式的に示す図である。
【図５】第１の実施形態に係る画素補間処理の例を示すフローチャートである。
【図６】ＲＡＷデータの画素配列を模式的に示す図である。
【図７】第１の実施形態に係る画素補間処理の一工程を説明するための図である。
【図８】第１の実施形態に係る画素補間処理の一工程を説明するための図である。
【図９】本発明の第２の実施形態に係る画素補間装置の処理部の構成を模式的に示す図である。
【図１０】第２の実施形態に係る画素補間処理の一工程を説明するための図である。
【図１１】輝度パターンの一例を模式的に示す図である。
【図１２】輝度パターンの一例を模式的に示す図である。
【図１３】輝度パターンの一例を模式的に示す図である。
【図１４】輝度パターンの一例を模式的に示す図である。
【図１５】輝度パターンの一例を模式的に示す図である。
【図１６】輝度パターンの一例を模式的に示す図である。
【図１７】輝度パターンの一例を模式的に示す図である。
【図１８】輝度パターンの一例を模式的に示す図である。
【符号の説明】
１  画素補間装置
１０  レジスタ群
１１，１２  ＦＩＦＯメモリ
１３，１３Ａ  処理部
３０  評価値算出部
３０ａ〜３０ｄ  加算器
３１，４０  領域選択部
３２，４４  補間部
３３，４１  ソート回路
３４，４３  データ選択回路
４２  検出回路
【図１】
2004180059.tif 000008
【図２】
2004180059.tif 000009
【図３】
2004180059.tif 000010
【図４】
2004180059.tif 000011
【図５】
2004180059.tif 000012
【図６】
2004180059.tif 000013
【図７】
2004180059.tif 000014
【図８】
2004180059.tif 000015
【図９】
2004180059.tif 000016
【図１０】
2004180059.tif 000017
【図１１】
2004180059.tif 000018
【図１２】
2004180059.tif 000019
【図１３】
2004180059.tif 000020
【図１４】
2004180059.tif 000021
【図１５】
2004180059.tif 000022
【図１６】
2004180059.tif 000023
【図１７】
2004180059.tif 000024
【図１８】
2004180059.tif 000025