(57)【要約】      （修正有）【課題】撮像された物体のエッジ近辺の画像において、高い忠実度を持つ画像補間方法を提供する。【解決手段】画像データのサンプリング間隔で零点が置かれるＳｉｎｃ関数に、ウィンドウ幅の最大値が１となる凸型の窓関数をかけた関数と、画像データを畳み込むことにより画像を補間する。前記窓関数は、パラメタによってウィンドウ幅が変更可能である。前記窓関数をＷｉｎｄｏｗ（ｘ）、パラメタをαとしたとき、Ｗｉｎｄｏｗ（ｘ）＝（Ｃｏｓ［παｘ］）／（１−４［αｘ］２）で表される。【選択図】なし【特許請求の範囲】
【請求項１】
画像データのサンプリング間隔で零点が置かれるＳｉｎｃ関数に、ウィンドウ幅の最大値が１となる凸型の窓関数をかけた関数と、画像データを畳み込むことにより画像を補間することを特徴とする画像補間方法。
【請求項２】
前記窓関数は、パラメタによってウィンドウ幅が変更できることを特徴とする請求項１に記載の画像補間方法。
【請求項３】
前記窓関数をＷｉｎｄｏｗ（ｘ）、パラメタをαとしたとき、Ｗｉｎｄｏｗ（ｘ）は、下記式で表されることを特徴とする請求項１または請求項２に記載の画像補間方法。
Ｗｉｎｄｏｗ（ｘ）＝（Ｃｏｓ［παｘ］）／（１−４［αｘ］２）
【請求項４】
請求項１ないし請求項２のいずれか1項に記載の画像補間方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補間方法に係り、特に、１画素において、ＲかＧかＢのいずれかの値を出力する単一受光チップを持つカメラから、１画素においてＲＧＢフルカラー画像を作成する画像補間方法に関する。
【背景技術】
【０００２】
従来から１画素において、ＲかＧかＢのいずれかの値を出力する単一受光チップを持つカメラから、１画素において、ＲＧＢフルカラー画像を作成する画像補間方法が知られている。（下記、非特許文献１）
以下、従来の画像補間方法について説明する。
図１は、１画素においてＲかＧかＢのいずれかの値を出力する単一受光チップを持つカメラから出力される画像データの一例について説明したものである。
図１（ａ）に示すような、４画素のＲ、Ｇ、Ｂの配列パタンが基本となる。図中のＲ、Ｇｒ、Ｇｂ、Ｂはそれぞれ、赤、緑、緑、青の強度を示す画素であり、Ｇｒは赤と緑だけが存在する行にある緑の画素、Ｇｂは青と緑だけが存在する行にある緑の画素である。図１（ａ）の基本パタンをタイル状に並べたものが（ｂ）であり、このようなＲ、Ｇ、Ｂの配列で画像データがカメラから出力される。
図２−Ｒ−１は、図１に示すＧｒ画素の位置においてＲ成分を補間で得ようとした場合に、そのＧｒ画素の周りのＲの画素がどのように配置されているかを示した図である。
補間でＲを求めようとしている画素をＲＧｒ画素と呼ぶこととする。四角は各画素を示しており、太線で示した四角は補間画素であるＲＧｒ画素を示している。四角の中の（）はＲＧｒ画素の座標を（ｉ，ｊ）とした場合の座標を示している。また、四角の中のＲはＲ成分を保持した画素を示している。
ＲＧｒ画素のＲ成分は、下記（１）式に示す畳み込みの式に従って得ることができる。
【０００３】
【数１】
2007288304.tif 000002
ここで、ＲＧｒ（ｉ，ｊ）は、ＲＧｒ画素のＲ成分の画素値、Ｒ（ｉ，ｊ）は、（ｉ，ｊ）位置のＲの画素値を表す。Ｒ成分のない画素においてはＲ（ｉ，ｊ）=０とする。
非特許文献１に記載のバイリニア法を用いた補間方法では、ｇ（ｕ，ｖ）は、下記（２）式のようになる。
【０００４】
【数２】
2007288304.tif 000003
ここで、Ｔｘ、Ｔｙは、それぞれｕ、ｖと同じ方向のＲ成分のＮｙｑｕｉｓｔ間隔であり、この場合は２画素間隔にＲ成分が位置しているので、Ｔｘ=Ｔｙ=２となる。
具体的な式は、図３の（ａ）の（ａ−１）に示すように、ＲＧｒ画素に隣接するＲの画素の画素値（図３では、Ｒ１とＲ２と表記）のみで計算され、補間の計算は同図右に記載されているような計算方法で計算される。
非特許文献１記載のキュービック畳み込み法を用いた補間方法では、ｇ（ｕ，ｖ）は、下記（３）式のようになる。
【０００５】
【数３】
2007288304.tif 000004
ここで、Ｔｘ、Ｔｙは、それぞれｕ、ｖと同じ方向のＲ成分のＮｙｑｕｉｓｔ間隔であり、この場合は２画素間隔にＲ成分が位置しているので、Ｔｘ=Ｔｙ=２となる。
具体的な式は、図４（ａ）の（ａ−１）に示すような画素範囲で計算され、補間の計算は同図右に記載されているような計算方法で計算される。
ここで、ｈ（ｕ）；ｕ=０，０．５，１，１．５の値は以下の通りである。
ｈ（０）＝１
ｈ（０．５）＝５／８＝０．６２５
ｈ（１）＝０
ｈ（１．５）＝−１／８＝−０．１２５
・・・・・・・・・・・・・・・・・・・  （４）
【０００６】
図１に示すＧｂの位置のＲの補間画素値ＲＧｂ（ｉ，ｊ）、図１に示すＢの位置のＲの補間画素値ＲＢ（ｉ，ｊ）と、図１に示すＧｂの位置のＢの補間画素値ＢＧｂ（ｉ，ｊ）、図１に示すＧｒの位置のＢの補間画素値ＢＧｒ（ｉ，ｊ）、図１に示すＲの位置のＢの補間画素値ＢＲ（ｉ，ｊ）についても、それぞれの画素配置を図２−Ｒ−２、図２−Ｒ−３、図２−Ｂ−１、図２−Ｂ−２、図２−Ｂ−３に示す。
これらについても、補間画素値ＲＧｒ（ｉ，ｊ）を求めたときと同様に、（１）式、（２）式、（３）式、（４）式を使用して、バイリニア法を用いた場合の補間方法と、キュービック畳み込み法を用いた場合の補間方法が得られる。
バイリニア法を用いた場合の具体的な補間方法については、図３の（ａ）の（ａ−２）、（ａ−３）、図３の（ｃ）の（ｃ−１）、（ｃ−２）、（ｃ−３）に示す。
また、キュービック畳み込み法を用いた場合の具体的な補間方法については、図４（ａ）の（ａ−２）、（ａ−３）、図４（ｃ）の（ｃ−１）、（ｃ−２）、（ｃ−３）に示す。
Ｇの補間方法については、若干異なり、以下、Ｇの補間方法について説明する。
図１に示すＲの位置の補間画素値ＧＲ（ｉ，ｊ）、図１に示すＢの位置の補間画素値ＧＢ（ｉ，ｊ）の画素配置は、図２−Ｇ−１、図２−Ｇ−２に示す通りであり、Ｇの画素配置が市松模様状に配置されている。
Ｒ、Ｂの補間に用いた（１）式はＧの補間では同様な式となるが、バイリニア法を用いた補間方法の（２）式は、下記（５）式となる。
【０００７】
【数４】
2007288304.tif 000005
ここでＴｘ、Ｔｙは、それぞれｕ、ｖの方向から−４５°回転した方向のＧ成分のＮｙｑｕｉｓｔ間隔であり、この場合は２１／２画素間隔にＧ成分が位置し、これを、ｕ−ｖ座標系の長さとｘ−ｙ座標系の長さの比１：２１／２で換算することにより、Ｔｘ=Ｔｙ=２１／２×２１／２=２となる。
具体的には、図３の（ｂ）の（ｂ−１）、（ｂ−２）に示すように、図１に示すＧＲ、ＧＢ画素に隣接するＧの画素の画素値Ｇ１、Ｇ２、Ｇ３、Ｇ４のみでＧＲ（ｉ，ｊ）、ＧＢ（ｉ，ｊ）は計算される。
また、キュービック畳み込み法を用いた補間方法の（３）式、（４）式は、下記（６）式、（７）式となる。
【０００８】
【数５】
2007288304.tif 000006
ここでＴｘ、Ｔｙはそれぞれｕ、ｖの方向から−４５°回転した方向のＧ成分のＮｙｑｕｉｓｔ間隔であり、この場合は２１／２画素間隔にＧ成分が位置し、これを、ｕ−ｖ座標系の長さとｘ−ｙ座標系の長さの比１：２１／２で換算することにより、Ｔｘ=Ｔｙ=２１／２×２１／２=２となる。
具体的には、図４（ｂ）の（ｂ−１）、（ｂ−２）に示すような画素範囲で計算され、補間の計算は同図右に記載されているような計算方法で計算される。
【０００９】
なお、本願発明に関連する先行技術文献としては以下のものがある。
【非特許文献１】Rifman, S.S. et.al.,“Evaluation of Digital Correction Techniques for ERTS Images-Final Report”, Report 20634-6003-TU-00 TRW System, California, July 1974.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、前述の従来方法では、撮像された物体のエッジ近辺の画像において、バイリニア法を用いた補間方法では、本来直線となるエッジがジグザグなエッジとなり、また、キュービック畳み込み方法を用いた場合の補間方法では、本来滑らかとなる平坦部分が、階調の凹凸が激しくなる、という欠点があった。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、撮像された物体のエッジ近辺の画像において、高い忠実度を持つ画像補間方法を提供することにある。
また、本発明の他の目的は、前述の画像補間方法をコンピュータに実行させるためのプログラムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【課題を解決するための手段】
【００１１】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
前述の目的を達成するために、本発明の画像補間方法は、画像データのサンプリング間隔で零点が置かれるＳｉｎｃ関数に、ウィンドウ幅の最大値が１となる凸型の窓関数をかけた関数と、画像データを畳み込むことにより画像を補間することを特徴とする。
また、本発明では、前記窓関数は、パラメタによってウィンドウ幅が変更できることを特徴とする。
また、本発明は、前記窓関数をＷｉｎｄｏｗ（ｘ）、パラメタをαとしたとき、Ｗｉｎｄｏｗ（ｘ）＝（Ｃｏｓ［παｘ］）／（１−４［αｘ］２）であることを特徴とする。
また、本発明は、前述の画像補間方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１２】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、撮像された物体のエッジ近辺の画像において、高い忠実度を持って画像を補間することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
前述したように、図１（ｂ）に示す、Ｒ、Ｇ、Ｂの配列で画像データがカメラから出力される。
本実施例でも、図２−Ｒ−１に示す、補間でＲを求めようとしているＲＧｒ画素（即ち、図１に示すＧｒ画素の位置において補間でＲを求めようとしている画素）のＲ成分は、下記（８）の畳み込みの式に従って得ることができる。
【００１４】
【数６】
2007288304.tif 000007
ここで、ＲＧｒ（ｉ，ｊ）は、ＲＧｒ画素のＲ成分の画素値、Ｒ（ｉ，ｊ）は（ｉ，ｊ）位置のＲの画素値を表す。Ｒ成分のない画素においてはＲ（ｉ，ｊ）=０とする。
また、ｇ（ｕ，ｖ）は、Ｓｉｎｃ関数に窓関数をかけた関数であり、例えば、下記（９）式のようなものが考えられる。
【００１５】
【数７】
2007288304.tif 000008
ここで、Ｔｘ、Ｔｙは、それぞれｕ、ｖと同じ方向のＲ成分のＮｙｑｕｉｓｔ間隔であり、この場合は、２画素間隔にＲ成分が位置しているので、Ｔｘ=Ｔｙ=２となる。また、パラメタαは、０〜１の実数であり、パラメタαが０では、ウィンドウ関数Ｗｉｎｄｏｗ（ｘ）のウィンドウ幅が最大の１となり、パラメタαが１では最小となる。
【００１６】
図１に示すＧｂの位置のＲの補間画素値ＲＧｂ（ｉ，ｊ）、図１に示すＢの位置のＲの補間画素値ＲＢ（ｉ，ｊ）と、図１に示すＧｂの位置のＢの補間画素値ＢＧｂ（ｉ，ｊ）、図１に示すＧｒの位置のＢの補間画素値ＢＧｒ（ｉ，ｊ）、図１に示すＲの位置のＢの補間画素値ＢＲ（ｉ，ｊ）についても、補間画素値ＲＧｒ（ｉ，ｊ）を求めたときと同様に、（８）式、（９）を使用して補間される。
Ｇの補間方法については、若干異なり、以下、Ｇの補間方法に説明する。
Ｒ、Ｂの補間に用いた（８）式はＧの補間では同様な式となるが、補間方法の（９）式は、下記（１０）式とされる。
【００１７】
【数８】
2007288304.tif 000009
ここでＴｘ、Ｔｙは、それぞれｕ、ｖの方向から−４５°回転した方向のＧ成分のＮｙｑｕｉｓｔ間隔であり、この場合は２１／２画素間隔にＧ成分が位置し、これを、ｕ−ｖ座標系の長さとｘ−ｙ座標系の長さの比１：２１／２で換算することにより、Ｔｘ=Ｔｙ=２１／２×２１／２=２となる。また、パラメタαは０〜１の実数であり、パラメタαが０ではウィンドウ幅が最大の１となり、パラメタαが１では最小となる。
【００１８】
ここで、パラメタαが０（α＝０）の場合は、Ｓｉｎｃ関数を３次間数で近似したキュービック畳み込み法を用いた補間方法とほぼ同等となり、また、パラメタαが１（α＝１）の場合はバイリニア法を用いた補間方法と同値になる。
即ち、パラメタαが１（α＝１）の時で、ｘが１／２（ｘ＝１／２）とき、Ｗｉｎｄｏｗ（ｘ）は、下記（１１）式に示すように、π／４となり、また、Ｓｉｎｃ（ｘ）は２／πとなるため、ｈ（１／２）は１／２となるので、バイリニア法を用いた補間方法と一致する。
したがって、パラメタαの値を変化させると、バイリニア法を用いる方法からキュービック畳み込み法を用いる方法まで、補間方法の性質が連続的に変化する。
特に、パラメタαを０．５（α＝０．５）にすると、バイリニア法とキュービック畳み込み法の両方の欠点を緩和した補間方法となる。
【００１９】
【数９】
2007288304.tif 000010
【００２０】
このように、本実施例では、窓関数のパラメタαを変化させることにより、原点において窓関数の値が１であり、Ｎｙｑｕｉｓｔ間隔の１／２の位置で窓関数の値が１／２であり、ｎ／２（ｎ＝±２，３…）において０となるようなバイリニア法による補間を実現する窓関数から、全領域において１となるようなキュービック畳み込み法による補間を実現する窓関数までを、連続的に変化させることができる。
図５は、本実施例の画像補間方法を処理手順を示すフローチャートである。
図５（ａ）は補間結果をユーザが確認しない場合の処理手順であり、図５（ｂ）は補間結果をユーザが確認する場合の処理手順である。
最初に、窓関数のパラメタαを設定し（ステップ１０１）、次に、Ｒ、Ｇ、Ｂそれぞれの成分に対する補間を行う（ステップ１０２）。
図５（ａ）では、その後すぐに終了するが、図５（ｂ）では、エッジ付近の画像をユーザが確認し（ステップ１０３）、良ければ終了し、悪ければ、αを設定し直す。
【００２１】
以上説明したように、本実施例では、Ｒ、Ｇ、Ｂ成分の補間において、元の画像と畳み込みを行う関数がＮｙｑｕｉｓｔ間隔で０となるＳｉｎｃ関数を含んでいるため、元のＲ、Ｇ、Ｂ成分を保持したまま、補間できるという利点がある。
また、元の画像と畳み込みを行う関数が、パラメタαによりウィンドウ幅が連続的に変えられるため、補間方法の性質を連続的に変化させることができ、再生像におけるエッジ付近の忠実度を画像の性質に応じて選ぶことができるという利点がある。
また、補間方法の性質を、バイリニア法を用いた補間方法からキュービック畳み込み法による補間方法まで連続的に変化させることができるので、再生像におけるエッジ付近の忠実度を画像の性質に応じて選ぶことができるという利点がある。
なお、前述の画像補間方法は、コンピュータに実行させることも可能であり、その場合に、前述の画像補間方法は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、ＣＤ−ＲＯＭ、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【００２２】
【図１】カメラ撮像画像のカラー画像の画素配置パタンを示す図である。
【図２−Ｒ−１】図１に示すＧｒ画素の位置でＲ成分を補間する場合の補間画素ＲＧｒとその近傍のＲ画素の配置を示す図である。
【図２−Ｒ−２】図１に示すＧｂ画素の位置でＲ成分を補間する場合の補間画素ＲＧｂとその近傍のＲ画素の配置を示す図である。
【図２−Ｒ−３】図１に示すＢ画素の位置でＲ成分を補間する場合の補間画素ＲＢとその近傍のＲ画素の配置を示す図である。
【図２−Ｇ−１】図１に示すＲ画素の位置でＧ成分を補間する場合の補間画素ＧＲとその近傍のＧ画素の配置を示す図である。
【図２−Ｇ−２】図１に示すＢ画素の位置でＧ成分を補間する場合の補間画素ＧＢとその近傍のＧ画素の配置を示す図である。
【図２−Ｂ−１】図１に示すＧｂ画素の位置でＢ成分を補間する場合の補間画素ＢＧｂとその近傍のＢ画素の配置を示す図である。
【図２−Ｂ−２】図１に示すＧｒ画素の位置でＢ成分を補間する場合の補間画素ＢＧｒとその近傍のＢ画素の配置を示す図である。
【図２−Ｂ−３】図１に示すＲ画素の位置でＢ成分を補間する場合の補間画素ＢＲとその近傍のＢ画素の配置を示す図である。
【図３】バイリニア法を用いた補間方法で考慮する画素パタンと計算方法を示す図である。
【図４（ａ）】Ｒ画素について、キュービック畳み込み法を用いた補間方法で考慮する画素パタンと計算方法を示す図である。
【図４（ｂ）】Ｇ画素について、キュービック畳み込み法を用いた補間方法で考慮する画素パタンと計算方法を示す図である。
【図４（ｃ）】Ｂ画素について、キュービック畳み込み法を用いた補間方法で考慮する画素パタンと計算方法を示す図である。
【図５】本発明の実施例の画像補間方法を処理手順を示すフローチャートである。
【図１】
2007288304.tif 000011
【図２−Ｒ−１】
2007288304.tif 000012
【図２−Ｒ−２】
2007288304.tif 000013
【図２−Ｒ−３】
2007288304.tif 000014
【図２−Ｇ−１】
2007288304.tif 000015
【図２−Ｇ−２】
2007288304.tif 000016
【図２−Ｂ−１】
2007288304.tif 000017
【図２−Ｂ−２】
2007288304.tif 000018
【図２−Ｂ−３】
2007288304.tif 000019
【図３】
2007288304.tif 000020
【図４（ａ）】
2007288304.tif 000021
【図４（ｂ）】
2007288304.tif 000022
【図４（ｃ）】
2007288304.tif 000023
【図５】
2007288304.tif 000024