(57)【要約】【課題】任意の重み係数を用いて補間を行う画像処理を、少ない回路規模で且つ精度よく行えるようにした画像処理装置及び画像処理方法を提供する。【解決手段】周辺画素及び着目画素の情報から周辺画素の重み係数を求める重み係数算出部１と、該重み係数算出部で算出された各周辺画素の重み係数を正規化する重み正規化手段２と、前記重み係数算出部で算出された各周辺画素の重み係数のうち、最大のものを選択する最大重み係数算出手段３と、前記重み正規化手段で発生した正規化誤差を補正する正規化誤差補正手段４と、該正規化誤差補正手段による誤差修正済みの正規化重み係数及び周辺画素の画素値から、着目画素位置の補間データを算出する着目画素値生成部５とで画像処理装置を構成する。【選択図】        図１
2004253944.tif 000002
【特許請求の範囲】
【請求項１】
画像の撮影シーンに応じて、着目画素に対する周辺画素の重み係数を画素毎に算出し、その重み係数に基づいて周辺画素を加算して着目画素に対応する画素値を生成する画像処理装置であって、周辺画素の各々の重み係数を正規化して正規化重み係数を求める重み正規化手段と、前記周辺画素の各重み係数のうちその値が最大となる重み係数を求める最大重み係数算出手段と、前記重み正規化手段によって発生する正規化誤差値を最大重み係数に対応する正規化重み係数値に加算する正規化誤差補正手段とを備えた画像処理装置。
【請求項２】
前記正規化誤差補正手段は、周辺画素の重み係数の正規化によって得られる各々の正規化重み係数値の和と、正規化重み係数値の和の本来得られるべき理想値との差を求め、正規化誤差値とする正規化誤差算出手段を有していることを特徴とする請求項１に係る画像処理装置。
【請求項３】
前記正規化誤差補正手段は、更に、最大重み係数に対応する最大正規化重み係数を選択する第１のセレクタと、該第１のセレクタにより選択された最大正規化重み係数値と正規化誤差値を加算する加算器と、該加算器の出力信号を新たな正規化重み係数値とする正規化重み係数を選択し、対応付けを行う第２のセレクタとを有することを特徴とする請求項１又は２に係る画像処理装置。
【請求項４】
前記第２のセレクタは、前記加算器出力が接続される第１の入力端子と、前記周辺画素の正規化重み係数のいずれかの係数値が接続される第２の入力端子と、前記第１の入力端子又は前記第２の入力端子に入力された信号の何れか一方を選択して出力させるための選択信号が入力されるセレクタ端子とを有するサブセレクタを、前記周辺画素数分備えて構成されていることを特徴とする請求項３に係る画像処理装置。
【請求項５】
前記重み正規化手段は、重み係数の小数部の各桁を求める手段を複数段備えたことを特徴とする請求項１〜４のいずれか１項に係る画像処理装置。
【請求項６】
前記重み係数の小数部の各桁を求める手段は、重み係数値を１ビットシフトするシフターと、該シフターからのシフトされた重み係数値から、重み係数値の総和を減算する減算器と、該減算器の減算結果の符号ビットをセレクト信号として減算器出力とシフトされた重み係数値との何れか一方をセレクトするセレクタとを有することを特徴とする請求項５に係る画像処理装置。
【請求項７】
前記着目画素及び周辺画素に係る画素信号は、ベイヤー配列カラーフィルタが配置された撮像素子からの画素信号であることを特徴とする請求項１に係る画像処理装置。
【請求項８】
前記着目画素あるいは周辺画素の少なくとも一方に係る画素信号は、画像を拡大処理又は縮小処理した後に想定される画素配列位置における画素信号であることを特徴とする請求項１〜６のいずれか１項に係る画像処理装置。
【請求項９】
被写体像を光電変換して画素信号として出力する撮像素子と、該撮像素子からの出力に対して画像処理を行う請求項１〜８のいずれか１項に係る画像処理装置とを備えることを特徴とするデジタルカメラ。
【請求項１０】
画像の撮影シーンに応じて、着目画素に対する周辺画素の重み係数を画素毎に算出し、その重み係数に基づいて周辺画素を加算して着目画素に対応する画素値を生成する画像処理方法であって、周辺画素の各々の重み係数を正規化して正規化重み係数を求める重み正規化ステップと、周辺画素の各重み係数のうちその値が最大となる重み係数を求める最大重み係数算出ステップと、重み正規化ステップによって発生する正規化誤差を最大重み係数に対応する正規化重み係数値に加算する正規化誤差補正ステップとを備えている画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像処理装置及び方法に関し、特に少ない回路規模で精度のよい画像の画素補間を行えるようにした画像処理装置及び方法に関する。
【０００２】
【従来の技術】
【特許文献１】特開平１１−１７９９５号公報
【０００３】
ＣＣＤ等の撮像素子から得られる画像信号を、デジタル画像処理によって所望の画質の画像を得ることを目的とする画像処理装置において、画像処理の一機能として、ある着目画素位置に対する複数の周辺画素を補間して着目画素位置の画素信号を生成する、画素補間処理がある。
【０００４】
この画素補間処理は、例えばＲＧＢベイヤー配列のカラーフィルタが装着された撮像素子の出力画素データから、ＲＧＢの画素データを生成する、いわゆる単板三板化処理に用いられる。この単板三板化処理に用いる補間処理として一般的な処理手法としては、例えば、特開平１１−１７９９５号公報（特許文献１）の図７に記載のような、周辺画素をある一定の重みで混合し、着目画素位置の画素信号とするというものがある。
【０００５】
以下、図１０を用いて一般的な画素補間法を説明する。図１０は、ＲＧＢベイヤー配列のカラーフィルタが装着された撮像素子からの出力画素データの一部を表す図であり、図中、Ｒは赤色のフィルタ画素からの出力を表し、同様にＧ，Ｂはそれぞれ緑、青のフィルタ画素からの出力を表している。また、１〜２５の番号は説明を容易にするために付加した、画素位置を表す番号である。
【０００６】
図１０において、１３番の画素を着目画素とすると、この１３番の画素位置にはＲ画素しかないため、Ｇ及びＢ画素は１３番の周辺の画素を補間して新たに作り出す必要がある。一般的な画素補間法では、Ｇ１３及びＢ１３画素は以下の式で表す方法で生成される。
Ｇ１３＝（Ｇ８＋Ｇ１２＋Ｇ１４＋Ｇ１８）／４
Ｂ１３＝（Ｂ７＋Ｂ９＋Ｂ１７＋Ｂ１９）／４
【０００７】
上記式で示すように、Ｇ１３及びＢ１３画素は周辺４画素の平均値として生成される。すなわち、周辺４画素に対し、１／４の均等な重み付けをして着目画素位置の画素信号を生成していることになる。
【０００８】
しかしながら、上記一般的方法で画素補間を行った場合、着目画素が画像の撮影シーンのエッジ部などの輝度変化が大きい部分にあると、着目画素と周辺画素の相関が少なくなるため、結果として、補間して得られる画素値が所望とする画素値にならないことになる。
【０００９】
上記問題を解決するため、着目画素及び周辺画素位置の画素情報をもとに画像のエッジ部かどうかを判別し、エッジ部であった場合は、そのエッジの方向に応じた重みを周辺画素にかけ算し、適切な補間処理を行うという方法が考えられる。
【００１０】
上記方法を式で表すと以下の式となる。
2004253944.tif 000003
ここで、Ｋ１〜Ｋ８は着目画素及び周辺画素位置の画素情報から算出した重み係数であり、画素毎に異なる値である。
【００１１】
【発明が解決しようとする課題】
ところで、上記エッジの方向に応じた重みを周辺画素にかけ算し補間を行う補間方法においては、補間画素を求める際に、変数による除算処理が必要となり、例えばハードウェア処理においては、除数を逆数変換するためのテーブル等の、回路規模の増大を招くという問題がある。
【００１２】
本発明は、上記課題に鑑みてなされたもので、任意の重み係数を用いて補間を行う画像処理を、少ない回路規模で、且つ精度よく行えるようにした画像処理装置及び画像処理方法の提供を目的とする。
【００１３】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、画像の撮影シーンに応じて、着目画素に対する周辺画素の重み係数を画素毎に算出し、その重み係数に基づいて周辺画素を加算して着目画素に対応する画素値を生成する画像処理装置であって、周辺画素の各々の重み係数を正規化して正規化重み係数を求める重み正規化手段と、前記周辺画素の各重み係数のうちその値が最大となる重み係数を求める最大重み係数算出手段と、前記重み正規化手段によって発生する正規化誤差値を最大重み係数に対応する正規化重み係数値に加算する正規化誤差補正手段とで画像処理装置を構成するものである。
【００１４】
請求項２に係る発明は、請求項１に係る画像処理装置において、前記正規化誤差補正手段は、周辺画素の重み係数の正規化によって得られる各々の正規化重み係数値の和と、正規化重み係数値の和の本来得られるべき理想値との差を求め、正規化誤差値とする正規化誤差算出手段を有していることを特徴とするものである。
【００１５】
請求項３に係る発明は、請求項１又は２に係る画像処理装置において、更に最大重み係数に対応する前記正規化誤差補正手段は、最大正規化重み係数を選択する第１のセレクタと、該第１のセレクタにより選択された最大正規化重み係数値と正規化誤差値を加算する加算器と、該加算器の出力信号を新たな正規化重み係数値とする正規化重み係数を選択し、対応付けを行う第２のセレクタとを有することを特徴とするものである。
【００１６】
請求項４に係る発明は、請求項３に係る画像処理装置において、前記第２のセレクタは、前記加算器出力が接続される第１の入力端子と、前記周辺画素の正規化重み係数のいずれかの係数値が接続される第２の入力端子と、前記第１の入力端子又は前記第２の入力端子に入力された信号の何れか一方を選択して出力させるための選択信号が入力されるセレクタ端子とを有するサブセレクタを、前記周辺画素数分備えて構成されていることを特徴とするものである。
【００１７】
請求項５に係る発明は、請求項１〜４のいずれか１項に係る画像処理装置において、前記重み正規化手段は、重み係数の小数部の各桁を求める手段を複数段備えたことを特徴とするものである。
【００１８】
請求項６に係る発明は、請求項５に係る画像処理装置において、前記重み係数の小数部の各桁を求める手段は、重み係数値を１ビットシフトするシフターと、該シフターからのシフトされた重み係数値から、重み係数値の総和を減算する減算器と、該減算器の減算結果の符号ビットをセレクト信号として減算器出力とシフトされた重み係数値との何れか一方をセレクトするセレクタとを有することを特徴とするものである。
【００１９】
請求項７に係る発明は、請求項１〜６のいずれか１項に係る画像処理装置において、前記着目画素及び周辺画素に係る画素信号は、ベイヤー配列カラーフィルタが配置された撮像素子からの画素信号であることを特徴とするものである。
【００２０】
請求項８に係る発明は、請求項１〜６のいずれか１項に係る画像処理装置において、前記着目画素あるいは周辺画素の少なくとも一方に係る画素信号は、画像を拡大処理又は縮小処理した後に想定される画素配列位置における画素信号であることを特徴とするものである。
【００２１】
請求項９に係る発明は、被写体像を光電変換して画素信号として出力する撮像素子と、該撮像素子からの出力に対して画像処理を行う請求項１〜８のいずれか１項に係る画像処理装置とでデジタルカメラを構成するものである。
【００２２】
請求項１０に係る発明は、画像の撮影シーンに応じて、着目画素に対する周辺画素の重み係数を画素毎に算出し、その重み係数に基づいて周辺画素を加算して着目画素に対応する画素値を生成する画像処理方法であって、周辺画素の各々の重み係数を正規化して正規化重み係数を求める重み正規化ステップと、周辺画素の各重み係数のうちその値が最大となる重み係数を求める最大重み係数算出ステップと、重み正規化ステップによって発生する正規化誤差を最大重み係数に対応する正規化重み係数値に加算する正規化誤差補正ステップとを備えていることを特徴とするものである。
【００２３】
【発明の実施の形態】
次に、図面を参照して本発明の実施の形態について説明する。
（第１の実施の形態）
まず、本発明に係る画像処理装置の第１の実施の形態を、図１に示すブロック構成図で説明する。図１において、１は周辺画素及び着目画素の情報から周辺画素の重み係数をその都度求める重み係数算出部、２は前記重み係数算出部１によって算出された各々の周辺画素の重み係数を正規化する重み正規化手段、３は前記重み係数算出部１によって算出された各々の周辺画素の重み係数のうち、最大のものを選択する最大重み係数算出手段、４は前記重み正規化手段２によって発生した正規化誤差を補正する正規化誤差補正手段、５は前記正規化誤差補正手段４による誤差修正済みの正規化重み係数及び周辺画素の画素値から、着目画素位置の補間データを算出する着目画素値生成部である。
【００２４】
次に、図１に示した画像処理装置の動作について説明する。ここで、説明をし易くするため、本実施の形態においては、図１０に示したベイヤー画像データにおける着目画素位置（Ｒ１３位置）のＧ画素を、周辺のＧ８，Ｇ１２，Ｇ１４，Ｇ１８の４画素を任意の重みづけをすることにより生成する場合を例として説明する。まず、この実施の形態に係る画像処理装置の入力として、図１０に示す５×５のベイヤー画像データを想定する。ここで、着目画素位置は１３番の画素（Ｒ１３）位置、周辺画素は１３番画素の周辺の２４個の画素とする。着目画素位置の画素Ｒ１３及び周辺画素の各画素値は、まず重み係数算出部１に入力される。重み係数算出部１は、着目画素位置が画像のエッジ部分であるかどうかを判別し、補間に用いる周辺画素の重み係数を算出するブロックであるため、本説明においてはＧ８，Ｇ１２，Ｇ１４，Ｇ１８の４画素の重み係数を算出する処理が行われる。本発明においては、この重み係数算出部１の処理手順については特に限定されず、重み係数が求められればどのような算出処理であってもかまわないが、ここでは処理の一例を挙げて説明する。
【００２５】
Ｇ８，Ｇ１２，Ｇ１４，Ｇ１８の４画素の重み係数を、それぞれＷ８，Ｗ１２，Ｗ１４，Ｗ１８とすると、各重み係数は、
Ｗ８＝１／｜Ｒ１３−Ｒ３｜
Ｗ１２＝１／｜Ｒ１３−Ｒ１１｜
Ｗ１４＝１／｜Ｒ１３−Ｒ１５｜
Ｗ１８＝１／｜Ｒ１３−Ｒ２３｜
として求めることができる。
【００２６】
これは、着目画素と周辺画素との差分の逆数を重み係数とする式であり、着目画素と周辺画素との差分が小さいは場合は大きな重み係数、差分が大きい場合は小さな重み係数となる。すなわち、例えば着目画素位置が画像の撮影シーンの平坦部にある場合は、重み係数Ｗ８，Ｗ１２，Ｗ１４，Ｗ１８はほぼ同じ値になり、逆に、図１０において、上部の１ラインの画素Ｒ１，Ｇ２，Ｒ３，Ｇ４，Ｒ５の輝度が他の画素の輝度と異なるような、エッジ部分にある場合は、｜Ｒ１３−Ｒ３｜が大きくなるので、Ｗ８は小さくなる。以上のような処理で算出された複数の重み係数は、重み正規化手段２に入力される。重み正規化手段２では、それぞれの重み係数をｘ／２ｎ  （但し、ｎは正規化後の重み係数の精度を決める値で、０以上の整数であり、ｘは重み係数をｂ／ａとしたとき、ｘ≒ｂ／ａ×２ｎ  となる整数値である）となるように正規化し、重み係数Ｗ８，Ｗ１２，Ｗ１４，Ｗ１８に対する正規化重み係数ＮＷ８，ＮＷ１２，ＮＷ１４，ＮＷ１８を出力する。この重み正規化手段２の詳細な説明については後述する。
【００２７】
重み係数算出部１から出力される重み係数Ｗ８，Ｗ１２，Ｗ１４，Ｗ１８はまた、最大重み係数算出手段３に入力される。最大重み係数算出手段３では、入力された重み係数Ｗ８，Ｗ１２，Ｗ１４，Ｗ１８のうち最大となる係数を指し示すための最大重み識別信号を出力する。この最大重み係数算出手段３についても、後で詳細に説明する。
【００２８】
上記重み正規化手段２の出力である正規化重み係数ＮＷ８，ＮＷ１２，ＮＷ１４，ＮＷ１８，及び最大重み係数算出手段３の出力である最大重み識別信号は、正規化誤差補正手段４に入力される。正規化誤差補正手段４では、重み正規化手段２で発生する正規化誤差を算出し、その正規化誤差値を、最大重み識別信号が指し示す正規化重み係数ＮＷ８，ＮＷ１２，ＮＷ１４，ＮＷ１８に加算し、正規化誤差補正後の誤差補正済み正規化重み係数ＣＮＷ８，ＣＮＷ１２，ＣＮＷ１４，ＣＮＷ１８を出力する。この正規化誤差補正手段４についても、詳細な内容については後述する。
【００２９】
着目画素値生成部５では、周辺画素Ｇ８，Ｇ１２，Ｇ１４，Ｇ１８，及び誤差補正済み正規化重み係数ＣＮＷ８，ＣＮＷ１２，ＣＮＷ１４，ＣＮＷ１８を入力信号とし、以下の式により着目画素位置におけるＧ信号（Ｇ１３）を生成する。
Ｇ１３＝ＣＮＷ８×Ｇ８＋ＣＮＷ１２×Ｇ１２＋ＣＮＷ１４×Ｇ１４＋ＣＮＷ１８×Ｇ１８
【００３０】
次に、前記重み正規化手段２の詳細な回路構成及びその動作について、図２及び図３を用いて説明する。図２は、重み正規化手段２の内部構成を示すブロック構成図である。図２において、６は入力信号である４つの重み係数Ｗ８，Ｗ１２，Ｗ１４，Ｗ１８の和をとる加算部、７，８，９，１０はそれぞれ重み係数Ｗ８，Ｗ１２，Ｗ１４，Ｗ１８を正規化する第１から第４の正規化部である。加算部６では、重み係数Ｗ８，Ｗ１２，Ｗ１４，Ｗ１８の加算演算を行い、加算結果であるＳｕｍを出力する。第１の正規化部７は、重み係数加算値Ｓｕｍ及び重み係数Ｗ８を入力として、この２つの値の減算処理を複数回行うことによる簡易的な除算を行い、正規化重み係数ＮＷ８を求める。第２の正規化部８，第３の正規化部９，第４の正規化部１０においても同様の処理を行い、正規化重み係数ＮＷ１２，ＮＷ１４，ＮＷ１８を求める。
【００３１】
図３は、第１  の正規化部７の詳細な回路構成図である。図３において、１１は重み係数Ｗ８を１ビット左シフト、すなわち重み係数Ｗ８を２倍するシフター、１２は２倍された重み係数Ｗ８（ｂ）からＳｕｍ（ａ）を減算する減算器、１３は減算器１２の出力信号の最上位ビット（ＭＳＢ）が意味する符号ビットをセレクト信号として、減算器１２の出力結果と２倍された重み係数Ｗ８（ｂ）のいずれかを選択するセレクタ、１４は減算器１２の出力信号の符号ビットを反転するインバータである。
【００３２】
次に、この図３に示す第１の正規化部７を構成する回路の演算の概念を示した後、回路動作について説明する。まず、重み係数Ｗ８及び重み係数加算値ＳｕｍにはＳｕｍ＞Ｗ８＞０の関係が成り立つため、この回路で求めたいＷ８／Ｓｕｍの商は必ず１以下の正の値である。したがって、商は、２進数における小数ビットのみを求めればよい。以下、このフローについて説明する。
（１）まず、商の２進数における小数部第１位が１になるかどうかを調べるため、Ｗ８／Ｓｕｍ≧０．５  であるかどうかを調べる。Ｗ８／Ｓｕｍ≧０．５  を、（２×Ｗ８−Ｓｕｍ）／（２×Ｓｕｍ）≧０と変形すると、分子の２×Ｗ８−Ｓｕｍ≧０を評価すればよいことになる。
（２）もし、２×Ｗ８−Ｓｕｍ≧０のときは、商の２進数における小数部第１位を１とし、更に、小数部第２位が１になるかどうかを調べるため、Ｗ８／Ｓｕｍ−０．５  が０．２５より大きいかどうかを評価する。Ｗ８／Ｓｕｍ−０．５  ≧０．２５を変形すると、（２×Ｗ８−Ｓｕｍ）／（２×Ｓｕｍ）≧０．２５、更に、〔２×（２×Ｗ８−Ｓｕｍ）−Ｓｕｍ〕／（４×Ｓｕｍ）≧０となり、すなわち、２×（２×Ｗ８−Ｓｕｍ）−Ｓｕｍ≧０となるかどうかを評価すればよいことになる。この式は（１）で評価した２×Ｗ８−Ｓｕｍをｒと置くと、２×ｒ−Ｓｕｍ≧０となり、つまり、（１）の評価結果をそのまま用いることができるということを示している。
（３）一方、（１）において、２×Ｗ８−Ｓｕｍ＜０のときは、商の２進数における小数部第１位を０とし、更に、小数部第２位が１になるかどうかを調べるため、Ｗ８／Ｓｕｍが０．２５より大きいかどうかを評価する。Ｗ８／Ｓｕｍ≧０．２５を変形すると、（４×Ｗ８−Ｓｕｍ）／（４×Ｓｕｍ）≧０となり、分子の（４×Ｗ８−Ｓｕｍ）≧０を評価すればよいことになる。
上記の説明は、小数部第３位、第４位、・・・を求める場合にも当てはめることができる。
【００３３】
以上の演算概念を実現する正規化部の回路構成が、図３の（Ａ）に示すブロック構成図である。すなわち、重み係数Ｗ８はシフター１１によって２倍され、減算器１２によって２×Ｗ８−Ｓｕｍが演算される。減算器１２の出力２×Ｗ８−Ｓｕｍと、シフター１１の出力２×Ｗ８は、セレクタ１３の入力となり、減算器１２の出力の最上ビット信号ＭＳＢによってセレクトされる。ＭＳＢが０のとき、すなわち減算結果が正又は０のときはセレクタ１３は２×Ｗ８−Ｓｕｍを出力し、ＭＳＢが１のとき、すなわち減算結果が負のときはセレクタ１３は２×Ｗ８を出力する。また、ＭＳＢはインバータ１４で反転され、商の２進数における小数部第１位を示す信号α１となって出力される。以上の各部の出力態様を図３の（Ｂ）の図表に示す。
【００３４】
セレクタ１３の出力は、セレクタ１３の後段のシフター１１により２倍され、すなわち２×（２×Ｗ８−Ｓｕｍ）、又は４×Ｗ８となったのち、後段の減算器１２においてＳｕｍとの減算が行われる。これは、それぞれ、上記（２），（３）で説明した式、２×（２×Ｗ８−Ｓｕｍ）−Ｓｕｍ，及び（４×Ｗ８−Ｓｕｍ）であるから、（２），（３）で説明した方法により、商の２進数における小数部第２位を示す信号α２を求めることができる。
【００３５】
図３の（Ａ）に示す回路構成は、シフター１１，  減算器１２，  セレクタ１３，インバータ１４からなる回路の組を４つ持っているため、この回路構成により、Ｗ８／Ｓｕｍ＝α１×（１／２）＋α２×（１／４）＋α３×（１／８）＋α４×（１／１６）が得られ、α１からα４の小数桁４ビットを求めることができる。但し、最終段のセレクタ１３のみは後段にデータを渡す必要がないため、省略することが可能であり、図３の（Ａ）に示す回路構成図においても省略してある。この小数部信号α１からα４はビット連結され、正規化された重み係数ＮＷ８となって出力される。
【００３６】
ここで、重み正規化手段２で求める正規化重み係数は、着目画素のＧを求めるために必要な周辺画素の混合比であり、これはそれほど厳密な値として求める必要はないことが発明者の実験によりわかっている。したがって、本実施の形態においては小数４ビットまでを求める構成としたが、これに限られるわけではなく、より精度の高い正規化重み係数を求めたければ、より多くのシフター１１，減算器１２，セレクタ１３，インバータ１４からなる回路の組を直列に接続して、小数桁ビット数を増して行けばよい。また正規化重み係数を複数の処理サイクルを費やして求める場合は、シフター１１，減算器１２，セレクタ１３，インバータ１４からなる回路の組を１つだけ持ち、これをループ処理させる構成とすることもできる。これにより、より少ない規模で重み正規化手段を実現することができる。
【００３７】
次に、図１における最大重み係数算出手段３及び正規化誤差補正手段４の詳細な回路構成及びその動作について、図４を用いて説明する。図４は、説明をわかり易くするため、最大重み係数算出手段３及び正規化誤差補正手段４を同一回路図面上に示したものであり、点線枠で囲った部分が最大重み係数算出手段３の詳細な回路構成であり、それ以外は正規化誤差補正手段４の詳細な回路構成である。
【００３８】
まず最大重み係数算出手段３について説明する。図４の点線枠内において、１５は重み係数Ｗ８，Ｗ１２の大小比較をする比較器、１６は重み係数Ｗ１４，Ｗ１８の大小比較をする比較器、１７は重み係数Ｗ８，Ｗ１２のうち大きい方を選択するセレクタ、１８は重み係数Ｗ１４，Ｗ１８のうち大きい方を選択するセレクタ、１９はセレクタ１７及びセレクタ１８によってセレクトされた重み係数の大小比較をする比較器、２０は比較器１５，１６，１９の出力結果をもとに、２種類の最大重み識別信号Ｓ１，Ｓ２を生成するエンコーダである。
【００３９】
次に、このように構成されている最大重み係数算出手段３の動作について説明する。重み係数Ｗ８，Ｗ１２は、まず比較器１５に入力され、比較器１５では重み係数Ｗ８，Ｗ１２の大きさを比較し比較結果信号Ｘを出力する。Ｘは、Ｗ８の方が大きい場合は０，Ｗ１２の方が大きい場合は１とする。重み係数Ｗ８，Ｗ１２は、またセレクタ１７にも入力され、セレクタ１７では比較器１５の出力信号Ｘをセレクト信号として、重み係数Ｗ８，Ｗ１２のうち大きい方を選択する。同様に、重み係数Ｗ１４及びＷ１８は、比較器１６及びセレクタ１８に入力され、比較器１６は比較結果信号Ｙを出力し、セレクタ１８は重み係数Ｗ１４，Ｗ１８の大きい方を選択し出力する。セレクタ１７及び１８で選択された信号は、比較器１９に入力され、比較結果信号Ｚが生成される。
【００４０】
次に、３つの比較結果信号Ｘ，Ｙ，Ｚはエンコーダ２０によってエンコードされ、４つの重み係数Ｗ８，Ｗ１２，Ｗ１４，Ｗ１８のうち、どの重み係数の値が一番大きいのかを示す２ビットの最大重み識別信号Ｓ１，及び４ビットの最大重み識別信号Ｓ２が出力される。エンコーダ２０に示した表はエンコーダの動作を示す真理値表であり、例えば、Ｘ＝０，Ｚ＝０のときは、重み係数Ｗ８が最大であることを示す、Ｓ１＝“００”，Ｓ２＝“０００１”を出力する。なお、真理値表の−記号は、この値は０、１どちらでもよいことを示している。
【００４１】
次に、図４における正規化誤差補正手段の回路構成及びその動作について説明する。図４において、２１は正規化重み係数ＮＷ８，ＮＷ１２，ＮＷ１４，ＮＷ１８の和をとる加算器、２２は定数１６から加算器２１による正規化重み係数の和を減算し、誤差信号Ｅｒｒを出力する減算器、２３はエンコーダ２０の出力識別信号Ｓ１をセレクト信号として、正規化重み係数ＮＷ８，ＮＷ１２，ＮＷ１４，ＮＷ１８のいずれか１つを選択する第１のセレクタ、２４は減算器２２から出力される誤差信号Ｅｒｒと第１のセレクタ２３の出力を加算し、加算結果信号ＮＷｍａｘ  を出力する加算器、２５〜２８はエンコーダ２０の４ビットの出力識別信号Ｓ２の各ビットをセレクト信号として、ＮＷ８，ＮＷ１２，ＮＷ１４，ＮＷ１８の各正規化重み係数のうち、いずれか１つを加算結果信号ＮＷｍａｘ  に切り換える４つのサブセレクタである。以下、これら４つのサブセレクタをまとめて第２のセレクタと呼ぶ。なお、上記正規化重み係数ＮＷ８，ＮＷ１２，ＮＷ１４，ＮＷ１８の和を算出する加算器２１と誤差信号Ｅｒｒを出力する減算器２２とで正規化誤差算出手段を構成している。
【００４２】
次に、このように構成されている正規化誤差補正手段の動作について説明する。正規化重み係数ＮＷ８，ＮＷ１２，ＮＷ１４，ＮＷ１８は加算器２１により加算され、加算された信号は減算器２２によって定数１６との差分をとられる。それぞれの正規化重み係数は４ビットの信号であり、また重みの総和に対する比率を示す値であるため、本来は４つの正規化重み係数の和は１６になるはずである。しかし、正規化の際に除算の余りを切り捨てているため、それが誤差として補間後の画素に悪影響を及ぼす。したがって、この誤差を補正するために減算器２２によって、本来総和値となるべき１６との差分を取り、誤差信号Ｅｒｒを算出している。そして、この誤差信号Ｅｒｒは第１のセレクタ２３によって選択された最大の正規化重み係数に対し、加算器２４で加算され、誤差補正された最大正規化重み係数（加算結果信号）ＮＷｍａｘ  を出力する。
【００４３】
ここで、誤差を最大正規化重み係数に加える理由は以下の通りである。算出される誤差は必ず正の値であるため、これを加えた誤差補正後の正規化重み係数は必ず大きくなる。したがって、重みを加えることによる影響を一番小さくできるのは、もともと値が一番大きい最大正規化重み係数である。
【００４４】
加算器２４の出力信号（加算結果信号）ＮＷｍａｘ  は、第２のセレクタを構成する４つのサブセレクタ２５〜２８に入力される。このサブセレクタは、誤差信号Ｅｒｒと正規化重み係数を加算する加算器を１つで済ませたことにより、誤差補正された最大正規化重み係数ＮＷｍａｘ  が正規化重み係数ＮＷ８，ＮＷ１２，ＮＷ１４，ＮＷ１８のどれから生成されたか不明となるため、出力信号を再度選択し直すために必要なセレクタである。サブセレクタ２５〜２８は、それぞれ、誤差補正前の正規化重み係数ＮＷ８，ＮＷ１２，ＮＷ１４，ＮＷ１８と、誤差補正された最大正規化重み係数ＮＷｍａｘ  を入力とし、エンコーダ２０の出力識別信号Ｓ２の各ビットによって出力を切り換える。例えば、最大重み係数算出手段３により重み係数Ｗ８が最大であると算出された場合、識別信号Ｓ２は“０００１”となり、この４ビットの信号は、ビット別に４つのサブセレクタ２５〜２８のセレクト信号となる。このうち、最下位ビットであるＳ２（０）＝“１”はサブセレクタ２５のセレクト信号であるから、サブセレクタ２５は誤差補正された最大正規化重み係数ＮＷｍａｘ  を選択して、これを誤差補正済み正規化重み係数ＣＮＷ８として出力し、サブセレクタ２６，２７，２８はそれぞれ、正規化重み係数ＮＷ１２，ＮＷ１４，ＮＷ１８を誤差補正済み正規化重み係数ＣＮＷ１２，ＣＮＷ１４，ＣＮＷ１８として出力する。
【００４５】
以上のような構成の回路を用いることにより、少ない回路規模で精度のよい任意の重み係数による補間処理を行うことが可能となる。
【００４６】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。前記第１の実施の形態は、画像の単板三板化処理のために用いる補間処理に対応した画像処理装置に関するものであったが、本実施の形態は、画像の拡大又は縮小に用いる補間処理に対応した画像処理装置に関するものである。図５の（Ａ），（Ｂ）は画像の拡大処理をする際の画素配列の態様を示した図であり、図５の（Ａ）は拡大前の画素配列を示し、図５の（Ｂ）は図５の（Ａ）に示した画素配列を、縦横それぞれ２倍に拡大したときの画素配列を示している。ここで、Ｉ１〜Ｉ２５はモノクロ画像もしくは単色カラー画像の画素値である。
【００４７】
画像の拡大処理時においては、着目画素は拡大後の画素配列における画素であり、例えば着目画素を図５の（Ｂ）におけるＡとしたとき、Ａの周辺画素は図５の（Ｂ）におけるＩ７，Ｉ８，Ｉ１２，Ｉ１４の４画素であり、同じくＢを着目画素としたときの周辺画素は、Ｉ７，Ｉ８，Ｉ９，Ｉ１２，Ｉ１３，Ｉ１４の６画素、また、Ｃを着目画素としたときの周辺画素は、Ｉ７，Ｉ８，Ｉ１２，Ｉ１３，Ｉ１７，Ｉ１８の６画素である。ただし、ここに挙げたそれぞれの着目画素と周辺画素の関係は、あくまで一例であり、これに限ったものではない。
【００４８】
次に、着目画素をＡとしたときの拡大処理の動作について説明する。まず、着目画素Ａの周辺画素である、Ｉ７，Ｉ８，Ｉ１２，Ｉ１４の重み係数を求める。第１の実施の形態においては、着目画素位置にある画素と各周辺画素との差分から重み係数を求めていたが、本実施の形態においては拡大前の画素配列には着目画素位置に画素がないため、着目画素位置の画素を周辺画素から生成する。すなわち、着目画素位置の画素をＡ′とすると、Ａ′＝（Ｉ７＋Ｉ８＋Ｉ１２＋Ｉ１４）／４を求め、その後、第１の実施の形態と同じ方法で、Ａ′と周辺画素の差分から重み係数を求める。以下、重み正規化手段、最大重み係数算出手段、正規化誤差補正手段、着目画素生成部の構成、動作は第１の実施の形態と同じである。図５の（Ｂ）におけるＢ及びＣを着目画素としたときは、重み係数が６個となるため、それに応じて各処理手段の回路構成は増えるが、基本となる構成は着目画素をＡとしたときと同じである。
【００４９】
また、縮小処理についても拡大処理と同様の処理を行うことで実現可能である。図６の（Ａ），（Ｂ）は、縮小処理に用いる画素配列の態様を示した図であり、図６の（Ａ）は縮小前の画素配列を示し、図６の（Ｂ）は図６の（Ａ）に示した画素配列を、縦横それぞれ１／２に縮小したときの画素配列を示している。ここで、図６の（Ｂ）におけるＡは、図６の（Ａ）におけるＩ１，Ｉ２，Ｉ６，Ｉ７の４画素から生成する画素であり、同様に、Ｂ，Ｃ，Ｄはそれぞれ、図６の（Ａ）において対応する枠で囲った４画素から生成する。
【００５０】
以下、着目画素をＡとしたときの縮小処理について説明する。まず、Ｉ１，Ｉ２，Ｉ６，Ｉ７の４画素の重み係数を求める。拡大処理と同様に、Ｉ１，Ｉ２，Ｉ６，Ｉ７の４画素の画素値の平均値をＡ′とし、Ａ′と前記４画素とのそれぞれの差分の絶対値の逆数を重み係数とする。以下、重み正規化手段、最大重み係数算出手段、正規化誤差補正手段、着目画素生成部の構成、動作は第１の実施の形態と同じである。縮小画素Ｂ，Ｃ，Ｄに対する処理態様も同じである。
【００５１】
以上のような処理を行うことにより、少ない回路規模で精度のよい任意の重み係数による拡大処理及び縮小処理を行うことが可能となる。
【００５２】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図７は、第１の実施の形態に示した画像処理装置をデジタルカメラに応用したブロック構成図である。図７において、２９は撮像素子、３０は画像データを保存するための画像メモリ、３１は画像処理装置による単板三板化処理後の画像データに対し、様々な画像補正を行う画像補正部、３２は画像をＪＰＥＧ圧縮するＪＰＥＧ圧縮部、３３は画像をメモリカード等に記録する画像記録部である。その他の画像処理装置を構成する各ブロックは、図１に示した第１の実施の形態を示すブロックと同じであり、同一の構成要素には同一の符号を付して示し、その説明を省略する。
【００５３】
次に、上記のように構成された第３の実施の形態に係るデジタルカメラの動作について説明する。デジタルカメラで撮影された被写体像は、撮像素子２９によって光電変換され、Ａ／Ｄ変換（図示せず）された後、画像メモリ３０に蓄えられる。画像メモリ３０から読み出された着目画素および周辺画素は、重み係数算出部１，重み正規化手段２，最大重み係数算出手段３，正規化誤差補正手段４，及び着目画素値生成部５において、前記第１の実施の形態で示した動作により、単板三板化処理が施され、補間画素が生成される。その後、画像補正部３１において、色補正やγ変換等の画像補正が施され、ＪＰＥＧ圧縮部３２によって画像圧縮され、画像記録部３３にて記録される。
【００５４】
ここで、撮像素子２９に装着される色フィルタはあってもなくてもよく、また色フィルタがある場合においても、原色フィルタ、補色フィルタのどちらが装着されていてもかまわない。以上のような構成によってデジタルカメラを実現することにより、少ない回路規模で高画質な画像を得るデジタルカメラとすることができる。
【００５５】
なお、上記第３の実施の形態では、第１の実施の形態に係る画像処理放置を適用したデジタルカメラの構成を示したが、第２の実施の形態に係る画像処理装置をデジタルカメラに適用することも勿論可能である。
【００５６】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。図８及び図９は、本発明の第４の実施の形態に係る画像処理方法を説明するためのフローチャートである。図８において、３４は周辺画素の重み係数を算出するステップ、３５は算出された重み係数を正規化する重み正規化ステップ、３６は算出された重み係数のうち最大のものを算出する最大重み係数算出ステップ、３７は重み正規化ステップ３５及び最大重み係数算出ステップ３６の情報をもとに正規化重み係数の誤差を補正する正規化誤差補正ステップ、３８は誤差補正された正規化重み係数をもとに着目画素値を生成する着目画素値生成ステップである。
【００５７】
次に、図８に示したフローチャートの各ステップの動作について説明する。まず、重み係数算出ステップ３４では、着目画素周辺の画素の重み係数ｎｊを、例えば第１の実施の形態で説明した方法で算出する。ここで、ｊ  は周辺画素を区別するための添え字であり、例えば周辺画素が４つであれば、ｊは１〜４である。また、このステップ３４では重み係数の和ｍも求める。次に、重み正規化ステップ３５にて重み係数の正規化を行う。重み正規化ステップ３５は、図９に示したサブルーチンにて処理を行う。重み正規化ステップ３５は、ｎｊ／ｍをｘ／１６に正規化する処理であり、したがって、ｎｊ及びｍからｘを求める処理となる。ここでは、ｊが１のときを例として説明する。
【００５８】
まず、ステップ３９において、演算に必要な各値ｘ，ｒ，ｄ，ｎの初期値が設定される。ｘは答えとして求める正規化重み係数の分子、ｒは後の演算のために新たに設定した変数であり、最初はｎ１が代入される。ｄは答えとして求める正規化重み係数の分母、ｉはステップ４０から４４の繰返し回数を表す値である。次にステップ４０においてｒを２倍、すなわちｎ１を２倍し、またｄを１／２倍する。次にステップ４１においてｒ≧ｍが真であるかどうか評価される。ｒ≧ｍはすなわち２×ｎ１≧ｍであり、この演算の意味は第１の実施の形態で説明しているので、ここでは省略する。ステップ４１の結果が真であった場合、ステップ４２が実行される。
【００５９】
ステップ４２ではｒ−ｍ，すなわち２×ｎ１−ｍ，及びｘ＝ｘ＋ｄが演算される。２×ｎ１−ｍの演算の意味は、第１の実施の形態で説明しているので、ここでは省略する。ステップ４２の結果、ｘは８となる。つまり、ｘ／１６の分子が８ということであるから、正規化重み係数の２進表記における小数第１位が１となることを表す。一方ステップ４１の結果が偽であった場合は、ステップ４３に移る。ステップ４３においては、必要な繰返し回数分実行されたかどうかが評価され、実行されていない場合は、ステップ４４でｉをｉ−１に設定して再びステップ４０に戻る。この処理をｉで設定した４回分繰り返すことにより、ｘの値が求まり、その結果、ｎｊ／ｍをｘ／１６に正規化することができる。また、ｎｊの個数を表すｊ回分、重み正規化ステップを繰り返すことにより、必要な周辺画素の正規化重み係数を求めることができる。
【００６０】
次に、図８のメインフローチャートに戻って、最大重み係数算出ステップ３６が実行される。ここでは、複数の重み係数のうち最大となる重み係数を指し示すための最大重み識別信号を求める。次に、正規化誤差補正ステップ３７では、正規化重み係数及び最大重み識別信号をもとに、正規化誤差を補正した誤差補正後正規化重み係数を算出する。この算出方法については、第１の実施の形態で説明した方法と同じであるので省略する。その後、着目画素値生成ステップ３８で重み付けの補間を行い、着目画素が生成される。
【００６１】
以上の方法により、少ないステップ数で精度良い、任意の重み係数による補間方法が実現できる。
【００６２】
なお、上記画像処理方法は、図１に示した第１の実施の形態で示した構成のハードウェアで実行することもできるし、また、ＣＰＵに対して、ＥＥＰＲＯＭ等の不揮発性メモリに予め記憶されたプログラムに従って上記処理手順を実行させることによっても、上記画像処理方法を達成することも可能である。
【００６３】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、任意の重み係数を用いて補間を行う画像処理を、少ない回路規模で且つ精度よく行えるようにした画像処理装置を提供することができる。また、少ないステップ数で精度のよい任意の重み係数による補間処理を行える画像処理方法を提供することができる。また、少ない回路規模で高画質の画像を得ることが可能なデジタルカメラを提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の第１の実施の形態を示すブロック構成図である。
【図２】図１に示した第１の実施の形態における重み正規化手段の内部構成を示すブロック構成図である。
【図３】図２に示した重み正規化手段における第１の正規化部の詳細な構成を示すブロック構成図である。
【図４】図１に示した第１の実施の形態における最大重み係数算出手段及び正規化誤差補正手段の詳細な構成を示すブロック構成図である。
【図５】本発明の第２の実施の形態における拡大処理時の画素配列を示す図である。
【図６】本発明の第２の実施の形態における縮小処理時の画素配列を示す図である。
【図７】第３の実施の形態に係るデジタルカメラの構成を示すブロック構成図である。
【図８】第４の実施の形態に係る画像処理方法を説明するためのフローチャートである。
【図９】図８に示したフローチャートにおける重み正規化ステップのサブルーチンステップを示すフローチャートである。
【図１０】一般的な画素補間法を説明するためのＲＧＢベイヤー出力画素データの一部を示す図である。
【符号の説明】
１  重み係数算出部
２  重み正規化手段
３  最大重み係数算出手段
４  正規化誤差補正手段
５  着目画素値生成部
６  加算部
７  第１の正規化部
８  第２の正規化部
９  第３の正規化部
１０  第４の正規化部
１１  シフター
１２  減算器
１３  セレクタ
１４  インバータ
１５，１６  比較器
１７，１８  セレクタ
１９  比較器
２０  エンコーダ
２１  加算器
２２  減算器
２３  第１のセレクタ
２４  加算器
２５，２６，２７，２８  サブセレクタ
２９  撮像素子
３０  画像メモリ
３１  画像補正部
３２  ＪＰＥＧ圧縮部
３３  画像記録部
【図１】
2004253944.tif 000004
【図２】
2004253944.tif 000005
【図３】
2004253944.tif 000006
【図４】
2004253944.tif 000007
【図５】
2004253944.tif 000008
【図６】
2004253944.tif 000009
【図７】
2004253944.tif 000010
【図８】
2004253944.tif 000011
【図９】
2004253944.tif 000012
【図１０】
2004253944.tif 000013