(57)【特許請求の範囲】
【請求項１】
カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データを構成するＲ，Ｇ，Ｂの色信号に対して、安定度重視の補間法に基づく補間演算を施して前記各補間点における補間色信号を算出し、
前記各色信号に基づいて、前記原画像データの輝度信号を算出し、
前記各補間点の近傍の所定範囲の複数画素について、前記輝度信号に補間演算を施す場合における鮮鋭度重視の補間法による補間係数と前記安定度重視の補間法による補間係数との差である差分補間係数を算出し、
前記各補間点の近傍の所定範囲の複数画素における複数の前記輝度信号に、対応する前記差分補間係数をそれぞれ乗算し、該差分補間係数が乗算された前記複数の輝度信号を加算することにより前記複数の輝度信号に対して補間演算を施して前記各補間点における補間輝度信号を算出し、
該補間輝度信号の絶対値が所定のしきい値未満の場合には該補間輝度信号の信号値を有し、該補間輝度信号の絶対値が前記所定のしきい値以上の場合には、該補間輝度信号の絶対値の増大に伴って該補間輝度信号の絶対値を小さくし、さらに該絶対値よりも大きい一定値を超えた場合は該補間輝度信号の値を０とするように該補間輝度信号を補正した信号値を有する補正輝度信号を算出し、
前記補間輝度信号と前記補正輝度信号との差分値である差分輝度信号を算出し、
前記補間色信号に前記差分輝度信号を加算することにより前記補間色信号を補正して、補正されたＲ，Ｇ，Ｂの補間色信号からなる補間画像データを得ることを特徴とする画像データ補間方法。
【請求項２】
カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データを構成するＲ，Ｇ，Ｂの色信号に対して、安定度重視の補間法に基づく補間演算を施して前記各補間点における補間色信号を算出し、
前記各色信号に基づいて、前記原画像データの輝度信号を算出し、
前記輝度信号から前記カラー画像に含まれるエッジ成分を表すエッジ抽出信号を得、
前記各補間点の近傍の所定範囲の複数画素について、前記エッジ抽出信号に補間演算を施す場合における鮮鋭度重視の補間法による補間係数を算出し、
前記各補間点の近傍の所定範囲の複数画素における複数の前記エッジ抽出信号に、対応する前記補間係数をそれぞれ乗算し、該補間係数が乗算された前記複数のエッジ抽出信号を加算することにより前記複数のエッジ抽出信号に対して鮮鋭度重視の補間法による補間演算を施して前記各補間点における補間エッジ抽出信号を算出し、
前記補間色信号に前記補間エッジ抽出信号を加算することにより前記補間色信号を補正して、補正されたＲ，Ｇ，Ｂの補間色信号からなる補間画像データを得ることを特徴とする画像データ補間方法。
【請求項３】
カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データを構成するＲ，Ｇ，Ｂの色信号に対して、安定度重視の補間法に基づく補間演算を施して前記各補間点における補間色信号を算出する補間演算手段と、
前記各色信号に基づいて、前記原画像データの輝度信号を算出する輝度信号算出手段と、
前記各補間点の近傍の所定範囲の複数画素について、前記輝度信号に補間演算を施す場合における鮮鋭度重視の補間法による補間係数と前記安定度重視の補間法による補間係数との差である差分補間係数を算出する差分補間係数算出手段と、
前記各補間点の近傍の所定範囲の複数画素における複数の前記輝度信号に、対応する前記差分補間係数をそれぞれ乗算し、該差分補間係数が乗算された前記複数の輝度信号を加算することにより前記複数の輝度信号に対して補間演算を施して前記各補間点における補間輝度信号を算出する補間輝度信号算出手段と、
該補間輝度信号の絶対値が所定のしきい値未満の場合には該補間輝度信号の信号値を有し、該補間輝度信号の絶対値が前記所定のしきい値以上の場合には、該補間輝度信号の絶対値の増大に伴って該補間輝度信号の絶対値を小さくし、さらに該絶対値よりも大きい一定値を超えた場合は該補間輝度信号の値を０とするように該補間輝度信号を補正した信号値を有する補正輝度信号を算出する補正手段と、
前記補間輝度信号と前記補正輝度信号との差分値である差分輝度信号を算出する差分輝度信号算出手段と、
前記補間色信号に前記差分輝度信号を加算することにより前記補間色信号を補正して、補正されたＲ，Ｇ，Ｂの補間色信号からなる補間画像データを得る補間画像データ取得手段とを備えたことを特徴とする画像データ補間装置。
【請求項４】
カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データを構成するＲ，Ｇ，Ｂの色信号に対して、安定度重視の補間法に基づく補間演算を施して前記各補間点における補間色信号を算出する補間演算手段と、
前記各色信号に基づいて、前記原画像データの輝度信号を算出する輝度信号算出手段と、
前記輝度信号から前記カラー画像に含まれるエッジ成分を表すエッジ抽出信号を得るエッジ抽出手段と、
前記各補間点の近傍の所定範囲の複数画素について、前記エッジ抽出信号に補間演算を施す場合における鮮鋭度重視の補間法による補間係数を算出する補間係数算出手段と、
前記各補間点の近傍の所定範囲の複数画素における複数の前記エッジ抽出信号に、対応する前記補間係数をそれぞれ乗算し、該補間係数が乗算された前記複数のエッジ抽出信号を加算することにより前記複数のエッジ抽出信号に対して鮮鋭度重視の補間法による補間演算を施して前記各補間点における補間エッジ抽出信号を算出する補間エッジ抽出信号算出手段と、
前記補間色信号に前記補間エッジ抽出信号を加算することにより前記補間色信号を補正して、補正されたＲ，Ｇ，Ｂの補間色信号からなる補間画像データを得る補間画像データ取得手段とを備えたことを特徴とする画像データ補間装置。
【発明の詳細な説明】
【０００６】
【発明の属する技術分野】
【０００７】
本発明は画像データの補間方法および装置に関するものである。
【従来の技術】
【０００８】
従来より、写真フイルムに記録された画像を光電的に読み取ることにより得られた画像データあるいはデジタルカメラにより被写体を撮像することにより得られた画像データに対して適切な画像処理を施した後、画像を再生記録することが種々の分野で行われている。そして、画像データを得てこの画像データに基づいて可視画像を再生するシステムにおいて、その可視画像のうち観察対象となる関心領域をより詳細に観察したいとき、その領域を拡大して再生することがある。この場合、拡大して再生に供する画像データの数を原画像に対応した原画像データのデータ数のままで拡大再生したのでは、人の視覚の特性上その拡大画像の鮮鋭度は原画像よりも相対的に低下したものとして認識される。このため画像を単に拡大再生しただけでは鮮鋭度が低下して画像の詳細な観察はできない。
【０００９】
そこで、原画像を読み取って得られた原画像データに対して所定の補間演算を施して原画像データ数とは異なるデータ数、具体的には拡大再生に際しては原画像データよりも多いデータ数の２次的な画像データである補間画像データを求め、この補間画像データに基づいて可視画像の再生を行うことによって、拡大再生した場合でも画像の鮮鋭度の低下を防止することができる。
【００１０】
このように画像データに対して補間演算を施す補間演算方法としては従来より種々の方法が提案されているが、一般に３次のスプライン補間関数による方法がよく用いられている。この方法は、デジタル的に得られた原画像データ｛Ｚｋ  ｝を各区間ごとに３次関数｛ｆｋ  ｝で結び、補間点の設定位置（上記各区間内での設定位置）におけるｆｋ  の値を補間画像データとするものである。
【００１１】
このように原画像データを通過する補間演算は、鮮鋭度が比較的高い補間方法であり、例えばCubic スプライン補間演算などが知られている。以下、このCubic スプライン補間演算について具体的に説明する。
【００１２】
原画像からデジタル的に読み取って得られた連続する画素Ｘｋ−２  ，Ｘｋ‐１ ，Ｘｋ  ，Ｘｋ＋１  ，Ｘｋ＋２  ，…の画像データ（原画像データ）を図12に示すようにそれぞれＺｋ−２  ，Ｚｋ‐１ ，Ｚｋ  ，Ｚｋ＋１  ，Ｚｋ＋２  ，…とする。ここで、３次のスプライン補間関数は、各区間Ｘｋ−２  〜Ｘｋ‐１ ，Ｘｋ−１  〜Ｘｋ  ，Ｘｋ  〜Ｘｋ＋１ ，Ｘｋ＋１  〜Ｘｋ＋２  ごとにそれぞれ設定され、各区間に対応するスプライン補間関数をｆｋ−２  ，ｆｋ−１  ，ｆｋ  ，ｆｋ＋１  ，ｆｋ＋２  とする。この補間関数はいずれも各区間の位置を変数とする３次関数である。
【００１３】
ここでまず、補間しようとする点（以下、補間点という）Ｘｐ  が区間Ｘｋ  〜Ｘｋ＋１  の範囲にある場合について説明する。なお、区間Ｘｋ  〜Ｘｋ＋１  に対応するスプライン補間関数ｆｋ は下記式（１）で表される。
【００１４】
ｆｋ（ｘ）＝Ａｋｘ３＋Ｂｋｘ２＋Ｃｋｘ＋Ｄｋ              （１）
Cubic スプライン補間演算においては、スプライン補間関数ｆｋ  は元のサンプリング点（画素）を通ることと、その第１階微分係数が各区間間で連続することが必要とされ、これらの条件から下記式（２）〜（５）を満たす必要がある
ｆｋ  （Ｘｋ  ）＝Ｚｋ                          （２）
ｆｋ  （Ｘｋ＋１  ）＝Ｚｋ＋１                      （３）
ｆｋ  ′（Ｘｋ  ）＝ｆｋ−１  ′（Ｘｋ  ）          （４）
ｆｋ  ′（Ｘｋ＋１  ）＝ｆｋ＋１  ′（Ｘｋ＋１  ）      （５）
なお、ｆｋ  ′は関数ｆｋ  の第１階微分（３Ａｋ  ｘ２  ＋２Ｂｋ  ｘ＋Ｃｋ  ）を表すものである。
【００１５】
ここで、Cubic スプライン補間演算は厳密には第２階微分係数の連続条件を含むが、この第２階微分係数の連続条件によれば演算式が複雑になるため、上述のように簡略化して用いるのが一般的である。
【００１６】
またCubic スプライン補間演算においては、画素Ｘｋ における第１階微分係数が、その画素Ｘｋ  の前後の画素であるＸｋ−１  とＸｋ＋１  とについて、これらの画像データＺｋ−１  、Ｚｋ＋１  の勾配（Ｚｋ＋１  −Ｚｋ−１  ）／（Ｘｋ＋１  −Ｘｋ‐１  ）に一致することが条件であるから、下記式（６）を満たす必要がある。
【００１７】
ｆｋ  ′（Ｘｋ  ）＝（Ｚｋ＋１  −Ｚｋ−１  ）／（Ｘｋ＋１  −Ｘｋ−１  ）      （６）
同様に、画素Ｘｋ＋１  における第１階微分係数が、その画素Ｘｋ＋１  の前後の画素であるＸｋ  とＸｋ＋２  とについて、これらの画像データＺｋ  、Ｚｋ＋２  の勾配（Ｚｋ＋２  −Ｚｋ  ）／（Ｘｋ＋２  −Ｘｋ  ）に一致することが条件であるから、下記式（７）を満たす必要がある。
【００１８】
ｆｋ  ′（Ｘｋ＋１  ）＝（Ｚｋ＋２  −Ｚｋ  ）／（Ｘｋ＋２  −Ｘｋ  ）        （７）
ここで、各区間Ｘｋ−２  〜Ｘｋ−１  ，Ｘｋ−１  〜Ｘｋ  ，Ｘｋ  〜Ｘｋ＋１  ，
Ｘｋ＋１  〜Ｘｋ＋２  の間隔（格子間隔という）を１とし、画素Ｘｋ  からの画素Ｘｋ＋１  方向への補間点Ｘｐ  の位置をｔ（０≦ｔ≦１）とすれば、式（１）〜（７）より、
ｆｋ  （０）＝Ｄｋ  ＝Ｚｋ  
ｆｋ  （１）＝Ａｋ  ＋Ｂｋ  ＋Ｃｋ  ＋Ｄｋ  ＝Ｚｋ＋１  
ｆｋ  ′（０）＝Ｃｋ  ＝（Ｚｋ＋１  −Ｚｋ−１  ）／２
ｆｋ  ′（１）＝３Ａｋ  ＋２Ｂｋ  ＋Ｃｋ  ＝（Ｚｋ＋２  −Ｚｋ  ）／２
したがって、
Ａｋ  ＝（Ｚｋ＋２  −３Ｚｋ＋１  ＋３Ｚｋ  −Ｚｋ−１  ）／２
Ｂｋ  ＝（−Ｚｋ＋２  ＋４Ｚｋ＋１  −５Ｚｋ  ＋２Ｚｋ−１  ）／２
Ｃｋ  ＝（Ｚｋ＋１  −Ｚｋ−１  ）／２
Ｄｋ  ＝Ｚｋ  
なお、スプライン補間関数ｆｋ  （ｘ）は上述の通り、Ｘ＝ｔなる変数変換をしているため、
ｆｋ  （ｘ）＝ｆｋ  （ｔ）
となる。よって、補間点Ｘｐ  における補間画像データＺｐ  は、
Ｚｐ  ＝ｆｋ  （ｔ）＝Ａｋ  ｔ３  ＋Ｂｋ  ｔ２  ＋Ｃｋ  ｔ＋Ｄｋ              （８）
で表すことができる。ここで上記各係数Ａｋ  ，Ｂｋ  ，Ｃｋ  ，Ｄｋ  を式（８）に代入すると、
Ｚｐ  ＝｛（Ｚｋ＋２  −３Ｚｋ＋１  ＋３Ｚｋ  −Ｚｋ−１  ）／２｝ｔ３
＋｛（−Ｚｋ＋２  ＋４Ｚｋ＋１  −５Ｚｋ  ＋２Ｚｋ−１  ）／２｝ｔ２  
＋｛（Ｚｋ＋１  −Ｚｋ−１  ）／２｝ｔ＋Ｚｋ  
となり、これを画像データＺｋ−１  ，Ｚｋ  ，Ｚｋ＋１  ，Ｚｋ＋２  について整理すると、下記式（９）で表すことができる。
【００１９】
Ｚｐ  ＝｛（−ｔ３  ＋２ｔ２  −ｔ）／２｝Ｚｋ−１  
＋｛（３ｔ３  −５ｔ２  ＋２）／２｝Ｚｋ  
＋｛（−３ｔ３  ＋４ｔ２  ＋ｔ）／２｝Ｚｋ＋１＋｛（ｔ３  −ｔ２  ）／２｝Ｚｋ＋２
（９）
ここで、原画像データＺｋ−１  、Ｚｋ  、Ｚｋ＋１  、Ｚｋ＋２  の各係数を補間係数ｃｋ−１  、ｃｋ  、ｃｋ＋１  、ｃｋ＋２  と称する。すなわち、式（６）における原画像データＺｋ−１  、Ｚｋ  、Ｚｋ＋１  、Ｚｋ＋２  にそれぞれ対応する補間係数ｃｋ−１  、ｃｋ  、ｃｋ＋１  、ｃｋ＋２  は、
ｃｋ−１  ＝（−ｔ３  ＋２ｔ２  −ｔ）／２
ｃｋ    ＝（３ｔ３  −５ｔ２  ＋２）／２
ｃｋ＋１  ＝（−３ｔ３  ＋４ｔ２  ＋ｔ）／２
ｃｋ＋２  ＝（ｔ３  −ｔ２  ）／２
となる。
【００２０】
以上の演算を各区間Ｘｋ−２  〜Ｘｋ−１  ，Ｘｋ−１  〜Ｘｋ  ，Ｘｋ  〜Ｘｋ＋１  ，Ｘｋ＋１  〜Ｘｋ＋２  について繰り返すことにより、原画像データの全体について原画像データとは間隔の異なる補間画像データを求めることができる。
【００２１】
ところで、上記Cubic スプライン補間演算は、前述したように元のサンプリング点（画素）を通ることと、その第１階微分係数が各区間間で連続することが必要とされていて、鮮鋭度の比較的高いシャープな２次画像（補間により得られる画像）を再生するための補間画像データを得る補間関数であるが、一方、原画像の濃度変化が緩い部分についての補間演算では鮮鋭度は比較的低いが滑らかな２次画像を再生するのが望ましい。このように鮮鋭度は比較的低いが滑らかな２次画像を再生する補間画像データを得る補間関数としては例えばＢスプライン（Ｂスプライン）補間演算が知られている。このＢスプライン補間演算は、元のサンプリング点（画素）を通ることは必要とされない代わりに、第１階微分係数および第２階微分係数（ｆ”（Ｘ）で表す）が各区間間で連続することが必要とされる。
【００２２】
すなわち、
ｆｋ  （ｘ）＝Ａｋ  ｘ３  ＋Ｂｋ  ｘ２  ＋Ｃｋ  ｘ＋Ｄｋ                  （１）
において、
ｆｋ  ′（Ｘｋ  ）＝ｆｋ−１  ′（Ｘｋ  ）          （４）
ｆｋ  ′（Ｘｋ＋１  ）＝ｆｋ＋１  ′（Ｘｋ＋１  ）      （５）
ｆｋ  ″（Ｘｋ  ）＝ｆｋ−１  ″（Ｘｋ  ）          （10）
ｆｋ  ″（Ｘｋ＋１  ）＝ｆｋ＋１  ″（Ｘｋ＋１  ）      （11）
が条件となる。但し、画素Ｘｋ  における第１階微分係数が、その画素Ｘｋ  の前後の画素であるＸｋ−１  とＸｋ＋１  とについて、これらの画像データＺｋ−１  、Ｚｋ＋１  の勾配（Ｚｋ＋１  −Ｚｋ−１  ）／（Ｘｋ＋１  −Ｘｋ−１  ）に一致することが条件であるから、下記式（６）を満たす必要がある。
【００２３】
ｆｋ  ′（Ｘｋ  ）＝（Ｚｋ＋１  −Ｚｋ−１  ）／（Ｘｋ＋１  −Ｘｋ−１  ）      （６）
同様に、画素Ｘｋ＋１  における第１階微分係数が、その画素Ｘｋ＋１  の前後の画素であるＸｋ  とＸｋ＋２  とについて、これらの画像データＺｋ  、Ｚｋ＋２  の勾配（Ｚｋ＋２  −Ｚｋ  ）／（Ｘｋ＋２  −Ｘｋ  ）に一致することが条件であるから、下記式（７）を満たす必要がある。
【００２４】
ｆｋ  ′（Ｘｋ＋１  ）＝（Ｚｋ＋２  −Ｚｋ  ）／（Ｘｋ＋２  −Ｘｋ  ）        （７）
また関数ｆ（Ｘ）は一般に下記式（12）に示すもので近似される。
【００２５】
ｆ（Ｘ）＝ｆ(0) ＋ｆ′(0) Ｘ＋｛ｆ″(0)/２｝Ｘ２              （12）
ここで、各区間Ｘｋ−２  〜Ｘｋ−１  ，Ｘｋ−１  〜Ｘｋ  ，Ｘｋ  〜Ｘｋ＋１  ，Ｘｋ＋１  〜Ｘｋ＋２  の間隔（格子間隔という）を１とし、画素Ｘｋ  からの画素Ｘｋ＋１  方向への補間点Ｘｐ  の位置をｔ（０≦ｔ≦１）とすれば、式（１）、（４）〜（７）、（10）〜（12）より、
ｆｋ  ′（０）＝Ｃｋ  ＝（Ｚｋ＋１  −Ｚｋ−１  ）／２
ｆｋ  ′（１）＝３Ａｋ  ＋２Ｂｋ  ＋Ｃｋ  ＝（Ｚｋ＋２  −Ｚｋ  ）／２
ｆｋ  ″（０）＝Ｚｋ＋１  −２Ｚｋ  ＋Ｚｋ−１  ＝２Ｂ
したがって、
Ａｋ  ＝（Ｚｋ＋２  −３Ｚｋ＋１  ＋３Ｚｋ  −Ｚｋ−１  ）／６
Ｂｋ  ＝（Ｚｋ＋１  −２Ｚｋ  ＋Ｚｋ−１  ）／２
Ｃｋ  ＝（Ｚｋ＋１  −Ｚｋ−１  ）／２
ここで、Ｄｋ  は未知のため、
Ｄｋ  ＝（Ｄ１  Ｚｋ＋２  ＋Ｄ２  Ｚｋ＋１  ＋Ｄ３  Ｚｋ  ＋Ｄ４  Ｚｋ−１  ）／６
とおく。また、スプライン補間関数ｆｋ  （ｘ）は上述の通り、Ｘ＝ｔなる変数変換をしているため、
ｆｋ  （ｘ）＝ｆｋ  （ｔ）
となる。よって、
ｆｋ  （ｔ）＝｛（Ｚｋ＋２  −３Ｚｋ＋１  ＋３Ｚｋ  −Ｚｋ−１  ）／６｝ｔ３
＋｛（Ｚｋ＋１  −２Ｚｋ  ＋Ｚｋ−１  ）／２｝ｔ２  
＋｛（Ｚｋ＋１  −Ｚｋ−１  ）／２｝ｔ
＋（Ｄ１  Ｚｋ＋２  ＋Ｄ２  Ｚｋ＋１  ＋Ｄ３  Ｚｋ  ＋Ｄ４  Ｚｋ−１  ）／６
となり、これを画像データＺｋ−１  ，Ｚｋ  ，Ｚｋ＋１  ，Ｚｋ＋２  について整理すると、下記式（13）で表すことができる。
【００２６】
ｆｋ  （ｔ）＝｛（−ｔ３  ＋３ｔ２  −３ｔ＋Ｄ４  ）／６｝Ｚｋ−１
＋｛（３ｔ３  −６ｔ２  ＋Ｄ３  ）／６｝Ｚｋ
＋｛（−３ｔ３  ＋３ｔ２  ＋３ｔ＋Ｄ２  ）／６｝Ｚｋ＋１
＋｛（ｔ３  ＋Ｄ１  ）／６｝Ｚｋ＋２                      （13）
ここで、ｔ＝１とおけば、
ｆｋ  （１）＝｛（Ｄ４  −１）／６｝Ｚｋ−１  ＋｛（Ｄ３  −３）／６｝Ｚｋ
＋｛（Ｄ２  ＋３）／６｝Ｚｋ＋１  ＋｛（Ｄ１  ＋１）／６｝Ｚｋ＋２

次に区間Ｘｋ＋１  〜Ｘｋ＋２  については式（13）と同様に、下記式（14）で表すことができる。
【００２７】
ｆｋ＋１  （ｔ）＝｛（−ｔ３  ＋３ｔ２  −３ｔ＋Ｄ４  ）／６｝Ｚｋ
＋｛（３ｔ３  −６ｔ２  ＋Ｄ３  ）／６｝Ｚｋ＋１
＋｛（−３ｔ３  ＋３ｔ２  ＋３ｔ＋Ｄ２  ）／６｝Ｚｋ＋２
＋｛（ｔ３  ＋Ｄ１  ）／６｝Ｚｋ＋３                    （14）
ここで、ｔ＝０とおけば、
ｆｋ＋１  （０）＝（Ｄ４  ／６）Ｚｋ  ＋（Ｄ３  ／６）Ｚｋ＋１
＋（Ｄ２  ／６）Ｚｋ＋２  ＋（Ｄ１  ／６）Ｚｋ＋３  
連続性の条件（ｆｋ  （１）＝ｆｋ＋１  （０））、および各原画像データに対応する係数同士が等しいという条件により、Ｄ４  −１＝０，Ｄ３  −３＝Ｄ４  ，Ｄ２  ＋３＝Ｄ３  ，Ｄ１  ＋１＝Ｄ２  ，Ｄ１  ＝０、となり、したがって、  Ｄｋ  ＝（Ｚｋ＋１  ＋４Ｚｋ  ＋Ｚｋ−１  ）／６
となる。よって、
Ｚｐ  ＝ｆｋ  （ｔ）＝｛（−ｔ３  ＋３ｔ２  −３ｔ＋１）／６｝Ｚｋ−１
＋｛（３ｔ３  −６ｔ２  ＋４）／６｝Ｚｋ
＋｛（−３ｔ３  ＋３ｔ２  ＋３ｔ＋１）／６｝Ｚｋ＋１
＋｛ｔ３  ／６｝Ｚｋ＋２                          （15）
したがって、原画像データＺｋ−１  、Ｚｋ  、Ｚｋ＋１  、Ｚｋ＋２  にそれぞれ対応する補間係数ｂｋ−１  、ｂｋ  、ｂｋ＋１  、ｂｋ＋２  は、
ｂｋ−１  ＝（−ｔ３  ＋３ｔ２  −３ｔ＋１）／６
ｂｋ    ＝（３ｔ３  −６ｔ２  ＋４）／６
ｂｋ＋１  ＝（−３ｔ３  ＋３ｔ２  ＋３ｔ＋１）／６
ｂｋ＋２  ＝ｔ３  ／６
となる。
【００２８】
以上の演算を各区間Ｘｋ−２  〜Ｘｋ−１  ，Ｘｋ−１  〜Ｘｋ  ，Ｘｋ  〜Ｘｋ＋１  ，Ｘｋ＋１  〜Ｘｋ＋２  について繰り返すことにより、原画像データの全体について原画像データとは間隔の異なる補間画像データを求めることができる。
【００２９】
このように２次画像（補間画像）を高い鮮鋭度でシャープに再生したい場合は例えばCubic スプライン補間演算を用い、低い鮮鋭度で滑らかに再生したい場合は例えばＢスプライン補間演算を用いればよい。
【００３０】
ところで、人物を被写体とした画像には、人物が着ている服や顔が含まれており、このような画像を拡大する場合には、服の柄などを高い鮮鋭度でシャープに再生し、顔などの肌色の部分は鮮鋭度を低くして粒状等のノイズを除去し、滑らかに再生したいという要求がある。しかしながら、上述したCubic スプライン補間法やＢスプライン補間法を用いて画像を拡大した場合、画像の鮮鋭度を部分的に高くしたり、画像を部分的に滑らかにしたりすることができないため、シャープネスを犠牲にするかまたはノイズを犠牲にするかを選択する必要があり、両者をともに満たすように画像を拡大することができなかった。
【００３１】
このため、カラー画像を表す原画像データを構成するＲＧＢ色信号を、輝度信号と色差信号とに変換し、輝度信号に対して比較的鮮鋭度の高いCubic スプライン補間演算を施してCubic スプライン補間輝度信号を得、輝度信号および色差信号に対して比較的鮮鋭度の低いＢスプライン補間演算を施してＢスプライン補間輝度信号およびＢスプライン補間色差信号を得、Cubic スプライン補間輝度信号とＢスプライン補間輝度信号との差分信号を求め、この差分信号に対してさらにエッジなどの鮮鋭度の高い部分ほど値が大きくなるような補正を施して補正差分信号を得、この補正差分信号（輝度信号）とＢスプライン補間色差信号とを色信号に変換することにより、最終的な補間画像データを得るようにした画像データ補間方法が提案されている（特願平９−３３２７３３号）。
【００３２】
このように補間演算を行うことにより、再生画像中のエッジや細かい模様等の部分は鮮鋭度の比較的高いシャープな画像となり、人物の肌色などの部分は鮮鋭度は比較的低いが滑らかな画像となる。このため、従来、鮮鋭度重視の補間方法によりＲＧＢ各色信号についてそれぞれ補間色信号を求めていたために生じた、データ補間後の可視画像における各画素での異なる方向および異なる量の色相ずれをなくすことができる。一方、人間の視覚は輝度信号に対して非常に敏感であるが、色差信号についてはそれほど敏感ではないため、画像の鮮鋭度は輝度変化に依存するものである。したがって、輝度信号に対して鮮鋭度を強調する補間演算を行うことにより、最終的に得られた補間画像データを再生することにより得られた画像について、エッジや細かい模様等の部分については鮮鋭度の比較的高いシャープなものとすることができるとともに、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかなものとすることができる。
【発明が解決しようとする課題】
【００３３】
しかしながら、上述した色信号を輝度信号と色差信号とに変換して補間演算を行う方法においては、例えば補間演算がそれほど複雑でない場合には、補間演算よりも、色信号から輝度信号および色差信号への変換のための演算が多くなり、その結果、補間画像データを得るための演算時間が長くなってしまう。
【００３４】
本発明は上記事情に鑑みなされたものであり、色信号を輝度信号および色差信号に変換して補間演算を行うことにより得られる補間画像と同様の補間画像を、少ない演算量にて得ることができる画像データ補間方法および装置を提供することを目的とするものである。
【課題を解決するための手段】
【００３５】
本発明による画像データ補間方法は、カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データを構成するＲ，Ｇ，Ｂの色信号に対して、安定度重視の補間法に基づく補間演算を施して前記各補間点における補間色信号を算出し、
前記各色信号に基づいて、前記原画像データの輝度信号を算出し、
前記各補間点の近傍の所定範囲の複数画素について、前記輝度信号に補間演算を施す場合における鮮鋭度重視の補間法による補間係数と前記安定度重視の補間法による補間係数との差である差分補間係数を算出し、
前記各補間点の近傍の所定範囲の複数画素における複数の前記輝度信号に、対応する前記差分補間係数をそれぞれ乗算し、該差分補間係数が乗算された前記複数の輝度信号を加算することにより前記複数の輝度信号に対して補間演算を施して前記各補間点における補間輝度信号を算出し、
該補間輝度信号の絶対値が所定のしきい値未満の場合には該補間輝度信号の信号値を有し、該補間輝度信号の絶対値が前記所定のしきい値以上の場合には、該補間輝度信号の絶対値の増大に伴って該補間輝度信号の絶対値を小さくし、さらに該絶対値よりも大きい一定値を超えた場合は該補間輝度信号の値を０とするように該補間輝度信号を補正した信号値を有する補正輝度信号を算出し、
前記補間輝度信号と前記補正輝度信号との差分値である差分輝度信号を算出し、  前記補間色信号に前記差分輝度信号を加算することにより前記補間色信号を補正して、補正されたＲ，Ｇ，Ｂの補間色信号からなる補間画像データを得ることを特徴とするものである。
【００３６】
ここで、安定度重視の補間法とは、信号値の連続性を担保する補間法であり、例えば上述したＢスプライン補間法のことをいうものである。また、鮮鋭度重視の補間法とは、鮮鋭度が強調される補間法であり、例えば上述したCubic スプライン補間法のことをいうものである。
【００３７】
本発明の他の画像データ補間方法は、カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データを構成するＲ，Ｇ，Ｂの色信号に対して、安定度重視の補間法に基づく補間演算を施して前記各補間点における補間色信号を算出し、
前記各色信号に基づいて、前記原画像データの輝度信号を算出し、
前記輝度信号から前記カラー画像に含まれるエッジ成分を表すエッジ抽出信号を得、
前記各補間点の近傍の所定範囲の複数画素について、前記エッジ抽出信号に補間演算を施す場合における鮮鋭度重視の補間法による補間係数を算出し、
前記各補間点の近傍の所定範囲の複数画素における複数の前記エッジ抽出信号に、対応する前記補間係数をそれぞれ乗算し、該補間係数が乗算された前記複数のエッジ抽出信号を加算することにより前記複数のエッジ抽出信号に対して鮮鋭度重視の補間法による補間演算を施して前記各補間点における補間エッジ抽出信号を算出し、
前記補間色信号に前記補間エッジ抽出信号を加算することにより前記補間色信号を補正して、補正されたＲ，Ｇ，Ｂの補間色信号からなる補間画像データを得ることを特徴とするものである。
本発明による画像データ補間装置は、カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データを構成するＲ，Ｇ，Ｂの色信号に対して、安定度重視の補間法に基づく補間演算を施して前記各補間点における補間色信号を算出する補間演算手段と、
前記各色信号に基づいて、前記原画像データの輝度信号を算出する輝度信号算出手段と、
前記各補間点の近傍の所定範囲の複数画素について、前記輝度信号に補間演算を施す場合における鮮鋭度重視の補間法による補間係数と前記安定度重視の補間法による補間係数との差である差分補間係数を算出する差分補間係数算出手段と、
前記各補間点の近傍の所定範囲の複数画素における複数の前記輝度信号に、対応する前記差分補間係数をそれぞれ乗算し、該差分補間係数が乗算された前記複数の輝度信号を加算することにより前記複数の輝度信号に対して補間演算を施して前記各補間点における補間輝度信号を算出する補間輝度信号算出手段と、
該補間輝度信号の絶対値が所定のしきい値未満の場合には該補間輝度信号の信号値を有し、該補間輝度信号の絶対値が前記所定のしきい値以上の場合には、該補間輝度信号の絶対値の増大に伴って該補間輝度信号の絶対値を小さくし、さらに該絶対値よりも大きい一定値を超えた場合は該補間輝度信号の値を０とするように該補間輝度信号を補正した信号値を有する補正輝度信号を算出する補正手段と、
前記補間輝度信号と前記補正輝度信号との差分値である差分輝度信号を算出する差分輝度信号算出手段と、
前記補間色信号に前記差分輝度信号を加算することにより前記補間色信号を補正して、補正されたＲ，Ｇ，Ｂの補間色信号からなる補間画像データを得る補間画像データ取得手段とを備えたことを特徴とするものである。
本発明による他の画像データ補間装置は、カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データを構成するＲ，Ｇ，Ｂの色信号に対して、安定度重視の補間法に基づく補間演算を施して前記各補間点における補間色信号を算出する補間演算手段と、
前記各色信号に基づいて、前記原画像データの輝度信号を算出する輝度信号算出手段と、
前記輝度信号から前記カラー画像に含まれるエッジ成分を表すエッジ抽出信号を得るエッジ抽出手段と、
前記各補間点の近傍の所定範囲の複数画素について、前記エッジ抽出信号に補間演算を施す場合における鮮鋭度重視の補間法による補間係数を算出する補間係数算出手段と、  前記各補間点の近傍の所定範囲の複数画素における複数の前記エッジ抽出信号に、対応する前記補間係数をそれぞれ乗算し、該補間係数が乗算された前記複数のエッジ抽出信号を加算することにより前記複数のエッジ抽出信号に対して鮮鋭度重視の補間法による補間演算を施して前記各補間点における補間エッジ抽出信号を算出する補間エッジ抽出信号算出手段と、
前記補間色信号に前記補間エッジ抽出信号を加算することにより前記補間色信号を補正して、補正されたＲ，Ｇ，Ｂの補間色信号からなる補間画像データを得る補間画像データ取得手段とを備えたことを特徴とするものである。
【発明の効果】
【００３８】
本発明による画像データ補間方法および装置においては、まず原画像データを構成するＲ，Ｇ，Ｂの色信号に対して、例えばＢスプライン補間法のように安定度重視の補間法に基づく補間演算を施して補間色信号を算出する。一方で、原画像データを構成する各色信号に基づいて原画像データの輝度信号を算出し、この輝度信号から上記差分輝度信号または上記補間エッジ抽出信号を算出する。そして、差分輝度信号または補間エッジ抽出信号を補間色信号に加算することにより補間色信号を補正して、最終的な補間画像データを得る。このように、安定度重視の補間法を用いて得られた補間色信号に差分輝度信号または補間エッジ抽出信号を加算することによって、補間色信号を補正することにより、高い鮮鋭度でシャープに再生したい部分については鮮鋭度を強調し、低い鮮鋭度で滑らかに再生したい部分については鮮鋭度を低減することができる。したがって、シャープネスやノイズ低減効果を犠牲にすることなく画像の鮮鋭度を部分的に高くしたり、画像を部分的に滑らかにしたりすることができる。また、原画像データから輝度信号のみを求めているため、原画像データを輝度信号および色差信号に完全に変換する必要がなくなり、これにより、演算時間を低減して補間演算を高速に行うことができる。
【発明の実施の形態】
【００３９】
以下図面を参照して本発明の実施形態について説明する。
【００４０】
図１は本発明の第１の実施形態による画像データ補間装置30を内包する画像再生システムを示す概略ブロック図である。図１に示すように、第１の実施形態による画像データ補間装置30を内包する画像再生システムは、画像を表す画像データを記憶した画像データ記憶装置10と、所定の再生サイズに適合するように画像データ記憶装置10に記憶されたカラー原画像データＳorg に対して所定の信号処理を施す画像処理装置20と、画像処理装置20により所定の信号処理が施されることにより得られた補間画像データＳ′に基づいて、上記所望の再生サイズの可視画像を再生するＣＲＴやプリンタ等の再生手段40とを備えた構成である。
【００４１】
画像処理装置20は、例えば、画像を出力する印画紙のサイズ（Ｌサイズ、ポストカードサイズ、Ａ４サイズなど）に適合するように原画像データＳorg を信号処理するものであり、特に画像の拡大縮小に際して、原画像データＳorg とはデータ数の異なる補間画像データを補間演算によって算出する本発明の第１の実施形態による画像データ補間装置30を内包しているものである。
【００４２】
ここで本実施形態において使用される原画像データＳorg は、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）Ｘｋ−２ ，Ｘｋ−１  ，Ｘｋ  ，Ｘｋ＋１  ，Ｘｋ−２…に対応したデジタル画像データ（Ｓｋ−２ ，Ｓｋ−１  ，Ｓｋ，Ｓｋ＋１  Ｓｋ＋２  …）である。
【００４３】
画像処理装置20に内包された本発明の第１の実施形態による画像データ補間装置30は、原画像データＳorg を構成するＲＧＢの色信号から下記式（16）にしたがって、輝度信号Ｙを得る輝度変換手段31と、
Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ          （16）
輝度信号Ｙについて後述するCubic スプライン補間演算式における補間係数と、Ｂスプライン補間演算式における補間係数との差分値を差分補間係数として算出し、この差分補間係数に基づいて輝度信号Ｙに対して補間演算を施して補間輝度信号ＹＣＢを得る（Cubic スプライン−Ｂスプライン）補間演算手段32と、原画像データＳorg を構成する各色信号Ｒ，Ｇ，Ｂに対してＢスプライン補間演算を施して補間色信号ＲＢ，ＧＢ，ＢＢを得るＢスプライン補間演算手段33と、補間輝度信号ＹＣＢを後述するように補正して補正輝度信号ＹＣＢ′を得る補正手段34と、補間輝度信号ＹＣＢと補正輝度信号ＹＣＢ′との差分値である差分輝度信号ΔＹ（ＹＣＢ−ＹＣＢ′）を原画像データＳorg の鮮鋭度を表す特徴量として算出する加算手段35と、補間色信号ＲＢ，ＧＢ，ＢＢに差分輝度信号ΔＹを加算し、これにより得られた補間色信号ＲＢ′，ＧＢ′，ＢＢ′からなる最終的な補間画像データＳ′を得る加算手段36，37，38とを備えた構成である。
【００４４】
ここで、Cubic スプライン補間演算およびＢスプライン補間演算について説明する。Cubic スプライン補間演算は、具体的には、オリジナルのサンプリング点（画素）Ｘｋ  〜Ｘｋ＋１  間に設けられた補間点Ｘｐ の補間データＺｃｐ′を表す３次のCubic スプライン補間演算式（17）における補間データＺｋ−１  ，Ｚｋ  ，Ｚｋ＋１  ，Ｚｋ＋２  にそれぞれ対応する補間係数ｃｋ−１  ，ｃｋ  ，ｃｋ＋１  ，ｃｋ＋２  を、下記にそれぞれ示す演算により求める。
【００４５】
Ｚｃｐ′＝ｃｋ−１  Ｚｋ−１  ＋ｃｋ  Ｚｋ  ＋ｃｋ＋１  Ｚｋ＋１  ＋ｃｋ＋２  Ｚｋ＋２    （17）
ｃｋ−１  ＝（−ｔ３  ＋２ｔ２  −ｔ）／２
ｃｋ    ＝（３ｔ３  −５ｔ２  ＋２）／２
ｃｋ＋１  ＝（−３ｔ３  ＋４ｔ２  ＋ｔ）／２
ｃｋ＋２  ＝（ｔ３  −ｔ２）／２
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘｋ  を基準としたときの補間点Ｘｐ  の画素Ｘｋ＋１  方向への位置を示す。）
Ｂスプライン補間演算は、具体的には、オリジナルのサンプリング点Ｘｋ  〜Ｘｋ＋１  間に設けられた補間点Ｘｐ  の補間データＺｃｂ′を表す３次のＢスプライン補間演算式（18）における補間データＺｋ−１ 、Ｚｋ  、Ｚｋ＋１  、Ｚｋ＋２  にそれぞれ対応する補間係数ｂｋ−１  ，ｂｋ  ，ｂｋ＋１  ，ｂｋ＋２  を、下記にそれぞれ示す演算により求める。
【００４６】
Ｚｃｂ′＝ｂｋ−１  Ｚｋ−１  ＋ｂｋ  Ｚｋ  ＋ｂｋ＋１  Ｚｋ＋１  ＋ｂｋ＋２  Ｚｋ＋２    （18）
ｂｋ−１  ＝（−ｔ３  ＋３ｔ２  −３ｔ＋１）／６
ｂｋ    ＝（３ｔ３  −６ｔ２  ＋４）／６
ｂｋ＋１  ＝（−３ｔ３  ＋３ｔ２  ＋３ｔ＋１）／６
ｂｋ＋２  ＝ｔ３  ／６
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘｋ  を基準としたときの補間点Ｘｐ  の画素Ｘｋ＋１  方向への位置を示す。）
ここで、（Cubic スプライン−Ｂスプライン）補間演算手段32においては、Cubic スプライン補間演算式(17)における補間係数ｃｋ−１  ，ｃｋ  ，ｃｋ＋１  ，ｃｋ＋２  と、Ｂスプライン補間演算式（18）における補間係数ｂｋ−１  ，ｂｋ  ，ｂｋ＋１  ，ｂｋ＋２  との差分値を差分補間係数ｄｋ−１  ，ｄｋ  ，ｄｋ＋１  ，ｄｋ＋２  として算出し、この差分補間係数ｄｋ−１  ，ｄｋ  ，ｄｋ＋１  ，ｄｋ＋２  に基づいて輝度信号Ｙに対して補間演算を施して補間輝度信号ＹＣＢを得るものである。また、得られる補間輝度信号ＹＣＢは、輝度信号Ｙに対してCubic スプライン補間演算を施すことにより得られる補間信号と、Ｂスプラインを施すことにより得られる補間信号との差分信号と実質的に同一の値となるものである。
【００４７】
なお、実際の画像は画素が２次元に配列されて形成されるため、上記Cubic スプライン補間係数ｃｋ−１  ，ｃｋ  ，ｃｋ＋１  ，ｃｋ＋２  、Ｂスプライン補間係数ｂｋ−１  ,ｂｋ  ，ｂｋ＋１  ，ｂｋ＋２  、および差分補間係数ｄｋ−１  ，ｄｋ  ，ｄｋ＋１  ，ｄｋ＋２  は、それぞれ画像を構成する画素の互いに異なる２つの配列方向（ｉ方向、ｊ方向とする）ごとに求められるものである。
【００４８】
ここで、本実施形態の画像再生システムは単に補間画像データＳ′を出力するだけでなく、補間画像データＳ′の配列の間隔を原画像データＳorg の配列間隔と同一になるように拡張することによって、補間画像は原画像を拡大したものとして再生される。
【００４９】
補正手段34は、補間輝度信号ＹＣＢの値に基づいて補正輝度信号ＹＣＢ′を算出するものであり、具体的には図２に示すような補正関数に基づいて補正輝度信号ＹＣＢ′を算出するものである。すなわち、補間輝度信号ＹＣＢの絶対値がＳ１より小さい場合には、補間輝度信号ＹＣＢの値をそのまま補正輝度信号ＹＣＢ′の値とし（ＹＣＢ＝ＹＣＢ′）、補間輝度信号ＹＣＢの絶対値がＳ１より大きくなるのに応じて補正輝度信号ＹＣＢ′の絶対値を小さくし、さらに絶対値が一定値を超えた場合は補正輝度信号ＹＣＢ′の値を０とするものである。
【００５０】
ここで、補間輝度信号ＹＣＢは、鮮鋭度の比較的高いシャープな画像を再生する補間信号が得られるCubic スプライン補間係数と、鮮鋭度は比較的低いが滑らかな画像を再生する補間信号が得られるＢスプライン補間係数との差分補間係数に基づいて補間演算がなされているため、画像中のエッジ部分などの鮮鋭度の高い部分においては値が大きく、画像中の滑らかな部分については値が小さいものとなっている。したがって、この補間輝度信号ＹＣＢを補正手段34において図２に示す補正関数に基づいて補正することにより得られる補正輝度信号ＹＣＢ′は、画像中の鮮鋭度が高い部分については０もしくは低い値となり、画像中の滑らかな部分については鮮鋭度が高い部分よりも大きな値を有するものとなる。
【００５１】
次に、本実施形態の画像再生システムの作用について説明する。
【００５２】
まず、画像処理装置20は画像データ記憶装置10に予め記憶されている原画像データＳorg を読み出す。また画像処理装置20は、再生手段40の印画紙のサイズに応じた拡大画像を表す補間画像データＳ′を得るために、この読み出された原画像データＳorg を画像処理装置20内の画像データ補間装置30に入力する。
【００５３】
画像データ補間装置30に入力された原画像データＳorg は、輝度変換手段31およびＢスプライン補間演算手段33に入力される。輝度変換手段31においては、原画像データＳorg の各画素データを表すＲＧＢの色信号が上記式（16）にしたがって変換されて輝度信号Ｙが得られる。Ｂスプライン補間演算手段33は、再生手段40の印画紙のサイズに応じた各補間係数におけるｔの値を設定する。例えば２倍の拡大率が入力された場合は、ｔの値として0.5 および1.0 が設定され、４倍の場合は0.25,0.5,0.75,1.0 の各値が設定され、10倍の場合は0.1,0.2,…,1.0の各値がｔの値として設定される。そして、設定されたｔの値により補間係数が求められ、求められた補間係数により補間演算が行われて補間色信号ＲＢ，ＧＢ，ＢＢが求められる。
【００５４】
一方、輝度信号Ｙは、（Cubic スプライン−Ｂスプライン）補間演算手段32に入力される。（Cubic スプライン−Ｂスプライン）補間演算手段32においては、再生手段40の印画紙のサイズに応じてCubic スプライン補間係数およびＢスプライン補間係数が算出され、Cubic スプライン補間係数およびＢスプライン補間係数から差分補間係数が算出され、算出された差分補間係数に基づいて輝度信号Ｙに対して補間演算が施されて補間輝度信号ＹＣＢが求められる。求められた補間輝度信号ＹＣＢは補正手段34に入力される。
【００５５】
補正手段34に入力された補間輝度信号ＹＣＢは図２に示す補正関数に基づいて補正されて補正輝度信号ＹＣＢ′が算出される。ここで、補間輝度信号ＹＣＢにおいては、画像中のエッジ部分など鮮鋭度が高い部分においては値が大きく、人物の顔など画像中の滑らかな部分については値が小さいものとなっているため、補間輝度信号ＹＣＢを図２に示す補正関数に基づいて補正することにより得られた補正輝度信号ＹＣＢ′は、画像中の鮮鋭度が高い部分については０もしくは低い値となり、画像中の滑らかな部分については鮮鋭度が高い部分よりも大きな値を有するものとなる。
【００５６】
補正手段34において算出された補正輝度信号ＹＣＢ′は加算手段35に入力され、補間輝度信号ＹＣＢと補正輝度信号ＹＣＢ′との差分値である差分輝度信号ΔＹが算出される。ここで、補間輝度信号ＹＣＢはCubic スプライン補間法の補間係数とＢスプライン補間法の補間係数との差に基づいて算出されているため、図３（ａ）に示すように鮮鋭度の比較的高いシャープな画像を再生する輝度信号となっているが、画像中の本来滑らかであるべき肌色の部分においては図３（ａ）の部分Ｂに示すように値は小さいものの写真の粒状等のノイズが若干含まれた輝度信号となっている。一方、補正輝度信号ＹＣＢ′は図３（ｂ）に示すように画像中の鮮鋭度が高い部分（図３（ａ）の部分Ａに対応する部分）については０もしくは低い値であり、滑らかな部分については鮮鋭度が高い部分よりも大きな値を有するものとなっている。したがって、補間輝度信号ＹＣＢから補正輝度信号ＹＣＢ′を減算することにより得られる差分輝度信号ΔＹは、図３（ｃ）に示すように、補間輝度信号ＹＣＢ中の鮮鋭度が高い部分Ａの値が保存され、本来滑らかであるべき部分Ｂにおけるノイズが除去されたもの、すなわち輝度信号Ｙ中のエッジ成分のみを表す信号となる。
【００５７】
そして、得られた差分輝度信号ΔＹは、加算手段36，37，38において、補間色信号ＲＢ，ＧＢ，ＢＢに加算されて、補間色信号ＲＢ′，ＧＢ′，ＢＢ′からなる補間画像データＳ′が得られる。このようにして得られた補間画像データＳ′は再生手段40に入力される。
【００５８】
再生手段40は入力された補間画像データＳ′に基づいた画像を可視画像として再生する。上述の処理により、この再生された可視画像は、画像中のエッジや細かい模様等の部分については鮮鋭度の比較的高いシャープな画像となっており、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかな画像となっている。したがって、画像中の部分に応じた鮮鋭度を有する画像が再生できるように原画像の拡大縮小を行うことができる。
【００５９】
ここで、本発明の第１の実施形態による画像データ補間装置と、従来の画像データ補間装置とを比較する。図４は比較例としての従来の画像データ補間装置の構成を示す図である。図４に示すように、比較例としての画像データ補間装置は、原画像データＳorg を構成するＲＧＢの色信号を下記式（19）にしたがって、ＹＣＣ輝度色差信号に変換する第１の変換手段31′と、
Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ
Ｃｂ＝-0.299×Ｒ−0.587×Ｇ＋0.886×Ｂ
Ｃｒ＝0.701×Ｒ−0.587×Ｇ−0.114×Ｂ      （19）
変換手段31′により得られたＹＣＣ輝度色差信号のうち輝度信号Ｙに対してCubic スプライン補間演算を施して補間輝度信号ＹＣを得るCubic スプライン補間演算手段32′と、輝度信号Ｙに対してＢスプライン補間演算を施して補間輝度信号ＹＢを得るＢスプライン補間演算手段33A′と、色差信号ＣｂおよびＣｒに対してＢスプライン補間演算を施して補間色差信号ＣｂＢ、ＣｒＢを得るＢスプライン補間演算手段33B′と、補間輝度信号ＹＣと補間輝度信号ＹＢとの差分値である差分信号（上記第１の実施形態における補間輝度信号ＹＣＢに対応するため、参照符号としてＹＣＢを用いる）を算出する加算手段35′と、上述した本発明の第１の実施形態における図２に示す補正関数により差分信号ＹＣＢを補正して補正信号（上記第１の実施形態における補正輝度信号ＹＣＢ′に対応するため、参照符号としてＹＣＢ′を用いる）を得る補正手段34′と、補間輝度信号ＹＣから補正信号ＹＣＢ′を減算して補間輝度信号ＹＣ′を得る加算手段36′と、補間輝度信号ＹＣ′および補間色差信号ＣｂＢ、ＣｒＢを下記式（20）にしたがって、ＲＧＢ色信号に変換する第２の変換手段37′とを備えた構成である。
【００６０】
Ｒ＝ＹＣ′＋ＣｒＢ
Ｇ＝ＹＣ′−0.194×ＣｒＢ −0.509×ＣｒＢ
Ｂ＝ＹＣ′＋ＣｂＢ                                         （20）
ここで、図４に示す比較例における信号の流れを図５に示す。なお、補正手段34′における処理はフィルタ（Filter）として表し、その入出力関数をＦと表す。図５において、原画像データＳorg を色信号ＲＧＢからＹＣＣに変換して得られた輝度成分に関して、画素ｘｋ−１  ，ｘｋ  ，ｘｋ＋１  ，ｘｋ＋２  における原画像データの輝度値をそれぞれＹｋ−１  ，Ｙｋ  ，Ｙｋ＋１  ，Ｙｋ＋２  とすると、補間後の画素ｘｐ  における輝度成分Ｙｐ  は下記の式（21）により表される。
【数１】
0003759309.tif 000002
【００６１】
ここで、Ｉは入力信号をそのまま出力するフィルタの入出力関数であり、ｃｋ  ，ｂｋ  ，Ｙｋ  はそれぞれ、
【数２】
0003759309.tif 000003
【００６２】
である。式（21）の信号の流れを図で表すと図６に示すものとなり、これは図５と等価なものである。
【００６３】
次に、フィルタ（補正手段34′）からの出力合成を、ＹＣＣからＲＧＢに変換した後に行う場合について説明する。式（21）と同様に、色差信号Ｃｂ，Ｃｒに関しても補間後の画素ｘｐ  における補間値Ｃ１ｐ，Ｃ２ｐ  は下記の式（22），（23）に示すものとなる。
【数３】
0003759309.tif 000004
【００６４】
式（22），（23）中のＣ１ｋ，Ｃ２ｋ  は式（21）のＹｋ  と同様に原画像データＳorg におけるオリジナル点での色差値ベクトルであって、以下のように表される。
【数４】
0003759309.tif 000005
【００６５】
ところで、補間後の画素ｘｐ  におけるＲＧＢの値をそれぞれＲｐ  ，Ｇｐ  ，Ｂｐ  とすると、輝度色差信号ＹＣＣと色信号ＲＧＢとの間には下記の式（24），（25）に示す関係がある。
【数５】
0003759309.tif 000006
【００６６】
したがって、式（24）に式（21），（22），（23）を代入すると、
【数６】
0003759309.tif 000007
【００６７】
となる。式（26）における前半の２項は、輝度色差信号ＹＣＣそれぞれの成分に対してＢスプライン補間演算を施し、それを色信号ＲＧＢに変換したことを意味する。式（26）を用いると図６は図７のように変形することができる。
【００６８】
次いで、輝度色差信号ＹＣＣから色信号ＲＧＢへの変換と、Ｂスプライン補間演算との順序を入れ換える場合について説明する。図７において、フィルタからの出力を加算する前の色信号ＲＧＢの補間値をそれぞれＲ′ｐ  ，Ｇ′ｐ  ，Ｂ′ｐ  とすると、補間値Ｒ′ｐ  ，Ｇ′ｐ  ，Ｂ′ｐ  は式（26）の前半の２項から下記の式（27）により表される。
【数７】
0003759309.tif 000008
【００６９】
以下、簡便のため補間値Ｇ′ｐ  のみについて考えるが、他の補間値Ｒ′ｐ  ，Ｂ′ｐ  についても同様に求めることができる。式（27）より補間値Ｇ′ｐ  は下記の式（28）により表される。
【数８】
0003759309.tif 000009
【００７０】
ここで、式（28）のｈＧＨｂｋはスカラー量であるため、式（28）はさらに下記の式（29）に示すように変形することができる。
【数９】
0003759309.tif 000010
【００７１】
上述した式（15）より、ｂｋ−１  ＋ｂｋ  ＋ｂｋ＋１  ＋ｂｋ＋２  ＝１であるため、式（29）は下記の式（30），(31)により表すことができる。
【数１０】
0003759309.tif 000011
【００７２】
式（30）における（ｈＧＨ＋αＧＥ）Ｔの部分は、画素ｘｋ−１  ，ｘｋ  ，ｘｋ＋１  ，ｘｋ＋２  の輝度色差信号ＹＣＣを色信号ＲＧＢに変換したものにおけるＧ成分を意味しているため、式（30）全体としては、輝度色差信号ＹＣＣを色信号ＲＧＢに変換して得られたＧ成分に対してＢスプライン補間演算を施すことを意味している。Ｒ成分およびＢ成分についても同様に、ＹＣＣからＲＧＢに変換する処理とＢスプライン補間処理との順序を入れ換えても結果は同様である。
【００７３】
図７において、輝度色差信号ＹＣＣから色信号ＲＧＢへの変換処理と、Ｂスプライン補間処理との順序を入れ換えると、図７の破線部分は色信号ＲＧＢを輝度色差信号ＹＣＣに変換し、その直後に色信号ＲＧＢに戻していることとなる。このため、色信号ＲＧＢから輝度色差信号ＹＣＣへの変換と輝度色差信号ＹＣＣから色信号ＲＧＢへの変換を相殺して、図８に示すように簡略化することができる。この図８は本発明の第１の実施形態である
図１に示す画像データ補間装置において行われる処理の信号の流れを表している。したがって、本発明の第１の実施形態における画像データ補間装置と図４に示す比較例としての従来の画像データ補間装置とは、実質的に同一の機能を有することが分かる。
【００７４】
ここで、概算ではあるが、画像サイズＭ×Ｎ画素の画像に対して、色信号ＲＧＢから輝度色差信号ＹＣＣの各成分または輝度色差信号ＹＣＣから色信号ＲＧＢの各成分を計算するために３ＭＮ回の乗算が必要であり、したがって、色信号ＲＧＢから輝度色差信号ＹＣＣへの変換を完全に行うためには９ＭＮ回の乗算が必要である。一方、Cubic スプラインなどの補間演算は、４×４のフィルタ処理を行うため１６ＭＮ回の乗算が必要である。よって、第１の実施形態による画像データ補間装置と従来の画像データ補間装置とにおいて、色変換および補間演算に要する乗算階数を比較すると下記の表１に示すものとなる。したがって、本発明の画像データ補間方法によれば、従来の画像データ補間方法と比較して２割程度演算時間を短縮できることが分かる。
【表１】
0003759309.tif 000012
【００７５】
このように、本発明の第１の実施形態による画像データ補間装置によれば、上述の処理により得られた補間画像データＳ′を再生することにより得られる画像は、画像中のエッジや細かい模様等の部分については鮮鋭度の比較的高いシャープな画像となっており、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかな画像となっている。したがって、画像中の部分に応じた鮮鋭度を有する画像が再生できるように原画像の拡大縮小を行うことができる。また、原画像データＳorg から輝度信号Ｙのみを求めて、図４に示す従来の画像データ補間装置と同様の補間画像データＳ′を得ることができるため、原画像データＳorg を輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに完全に変換する必要がなくなり、これにより、演算時間を低減して補間演算を高速に行うことができる。
【００７６】
次いで、本発明の第２の実施形態について説明する。
【００７７】
図９は本発明の第２の実施形態による画像データ補間装置の構成を示すブロック図である。なお、図９においては、図１に示した画像データ記憶装置10、画像処理装置20および再生手段40を省略している。第２の実施形態による画像データ補間装置は、原画像データＳorg を構成するＲＧＢの色信号から上記式（16）にしたがって輝度信号Ｙを得る輝度変換手段51と、輝度信号Ｙに対して図10に示すようなフィルタによりフィルタリングを施すことにより輝度信号Ｙからエッジ成分を抽出して、エッジ抽出信号Ｙ′を得るエッジ抽出フィルタ54と、エッジ抽出信号Ｙ′に対してCubic スプライン補間演算を施して補間エッジ抽出信号Ｙ′Ｃを原画像データＳorg の鮮鋭度を表す特徴量として得るCubic スプライン補間演算手段52と、原画像データＳorg を構成する色信号Ｒ，Ｇ，Ｂに対してＢスプライン補間演算を施して補間色信号ＲＢ，ＧＢ，ＢＢを得るＢスプライン補間演算手段53と、補間色信号ＲＢ，ＧＢ，ＢＢに補間エッジ抽出信号Ｙ′Ｃを加算し、これにより得られた補間色信号ＲＢ′，ＧＢ′，ＢＢ′からなる最終的な補間画像データＳ′を得る加算手段56，57，58とを備えた構成である。
【００７８】
次いで、第２の実施形態の動作について説明する。原画像データＳorg は輝度変換手段51に入力され、ここで原画像データＳorg の輝度信号Ｙが得られる。一方、原画像データＳorg はＢスプライン補間演算手段53にも入力され、ここで、上記第１の実施形態と同様に各色信号Ｒ，Ｇ，Ｂに対してＢスプライン補間演算が施され、補間色信号ＲＢ，ＧＢ，ＢＢが得られる。一方、輝度信号Ｙはエッジ抽出フィルタ54においてエッジ成分が抽出されてエッジ抽出信号Ｙ′が得られ、さらにエッジ抽出信号Ｙ′はCubic スプライン補間演算手段52に入力され、補間エッジ抽出信号Ｙ′Ｃが得られる。ここで、エッジ抽出信号Ｙ′は輝度信号Ｙにおけるエッジ部分を表すものであり、これに対して鮮鋭度を重視するCubic スプライン補間演算を施すことにより得られる補間エッジ抽出信号Ｙ′Ｃは、エッジ部分が強調されたものとなる。したがって、このような補間エッジ抽出信号Ｙ′Ｃを加算手段56，57，58において補間色信号ＲＢ，ＧＢ，ＢＢに加算して得られる補間色信号ＲＢ′，ＧＢ′，ＢＢ′を再生することにより得られる画像においては、上記第１の実施形態と同様に、画像中のエッジや細かい模様等の部分については鮮鋭度の比較的高いシャープな画像となっており、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかな画像となっている。したがって、画像中の部分に応じた鮮鋭度を有する画像が再生できるように原画像の拡大縮小を行うことができる。
【００７９】
ここで、本発明の第２の実施形態による画像データ補間装置と等価な従来の画像データ補間装置について説明する。図11は本発明の第２の実施形態と等価な従来の画像データ補間装置の構成を示す図である。図11に示すように、従来の画像データ補間装置は、原画像データＳorg を構成するＲＧＢの色信号を上記式（19）にしたがって、ＹＣＣ輝度色差信号に変換する第１の変換手段51′と、変換手段51′により得られたＹＣＣ輝度色差信号のうち輝度信号Ｙについて第２の実施形態と同様のフィルタにより輝度信号Ｙからエッジを抽出してエッジ抽出信号Ｙ′を得るエッジ抽出フィルタ54′と、エッジ抽出信号Ｙ′に対してCubic スプライン補間演算を施して補間エッジ抽出信号Ｙ′Ｃを得るCubic スプライン補間演算手段52′と、輝度信号Ｙに対してＢスプライン補間演算を施して補間輝度信号ＹＢを得るＢスプライン補間演算手段53A′と、色差信号ＣｂおよびＣｒに対してＢスプライン補間演算を施して補間色差信号ＣｂＢ、ＣｒＢを得るＢスプライン補間演算手段53B′と、補間エッジ抽出信号Ｙ′Ｃと補間輝度信号ＹＢとの加算値である加算信号Ｙ′ＢＣを算出する加算手段56′と、加算信号Ｙ′ＢＣおよび補間色差信号ＣｂＢ、ＣｒＢを上記式（20）にしたがって、ＲＧＢ色信号に変換する第２の変換手段59′とを備えた構成である。なお、ここでは、式(20)におけるＹＣ′をＹ′ＢＣに読み替えて演算を行うものとする。
【００８０】
このような、従来の画像データ補間装置においては、色信号Ｒ，Ｇ，Ｂを第１の変換手段51′においてＹＣＣ輝度信号に完全に変換する必要があるが、本発明の第２の実施形態においては、原画像データＳorg から輝度信号Ｙのみを求めて、図11に示す従来の画像データ変換方法と同様の補間画像データＳ′を得ることができるため、原画像データＳorg を輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに完全に変換する必要がなくなり、これにより、演算時間を低減して補間演算を高速に行うことができる。
【００８１】
なお、上記実施形態においては、画像データ補間装置30は、画像データ記憶装置10に予め記憶された原画像データＳorg を用いるものについて説明したが、本発明の補間演算装置はこの形態に限るものではなく、画像読取装置により読み取って得られた、画像を表す画像データを用いる形態であってもよい。
【図面の簡単な説明】
【００８２】
【図１】  本発明の第１の実施形態による画像データ補間装置を内包する画像再生システムを示すブロック図
【図２】  補正関数を示すグラフ
【図３】  第１の実施形態の加算手段35において行われる処理を説明するための図
【図４】  第１の実施形態と等価な従来の画像データ補間装置を示すブロック図
【図５】  図４の画像データ補間装置の信号の流れを示す図
【図６】  図５の変形図
【図７】  図６の変形図
【図８】  図７の変形図
【図９】  本発明の第２の実施形態による画像データ補間装置の構成を示すブロック図
【図１０】  エッジ抽出フィルタを示す図
【図１１】  第２の実施形態と等価な従来の画像データ補間装置を示すブロック図
【図１２】  従来の、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）の原画像データからCubic スプライン補間演算により補間画像データを求める作用を説明するグラフ
【符号の説明】
【００８３】
10    画像データ記憶装置
20    画像処理装置
30    画像データ補間装置
31，51    輝度変換手段
32    （Cubic スプライン−Ｂスプライン）補間演算手段
33，53    Ｂスプライン補間演算手段
34    補正手段
35，36，37，38，56，57，58    加算手段
52    Cubic スプライン補間演算手段
54    エッジ抽出フィルタ
40    再生手段
【図１】
0003759309.tif 000013
【図２】
0003759309.tif 000014
【図３】
0003759309.tif 000015
【図４】
0003759309.tif 000016
【図５】
0003759309.tif 000017
【図６】
0003759309.tif 000018
【図７】
0003759309.tif 000019
【図８】
0003759309.tif 000020
【図９】
0003759309.tif 000021
【図１０】
0003759309.tif 000022
【図１１】
0003759309.tif 000023
【図１２】
0003759309.tif 000024