(57)【特許請求の範囲】
【請求項１】
画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における補間信号の差分信号を算出し、
該差分信号の絶対値が所定のしきい値未満の場合には該差分信号の信号値を有し、該差分信号の絶対値が前記所定のしきい値以上の場合には、該差分信号の絶対値の増大に伴って該差分信号の絶対値を小さくし、さらに該絶対値よりも大きい一定値を超えた場合は該差分信号の値を０とするように該差分信号を補正することにより補正信号を算出し、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が高い方の補間法に基づく補間演算を施して第３の補間画像データを算出し、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との差分値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得ることを特徴とする画像データ補間方法。
【請求項２】
画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における差分信号を算出し、
該差分信号の絶対値が所定のしきい値未満の場合には、該差分信号の絶対値が前記所定のしきい値以上の場合よりも該差分信号の絶対値を小さくするように該差分信号を補正することにより補正信号を算出し、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が低い方の補間法に基づく補間演算を施して第３の補間画像データを算出し、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との加算値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得ることを特徴とする画像データ補間方法。
【請求項３】
前記差分信号の算出を、前記第１の補間画像データと前記第２の補間画像データとの各補間点における補間信号の差分値を算出することにより行うことを特徴とする請求項１または２記載の画像データ補間方法。
【請求項４】
前記差分信号の算出を、前記各補間点の近傍の所定範囲の複数画素における前記第１の補間法による補間係数と前記第２の補間法による補間係数との差分値である差分補間係数を算出し、前記各補間点の近傍の所定範囲の複数画素における信号に、対応する前記差分補間係数をそれぞれ乗算し、該差分補間係数が乗算された前記複数の信号を加算することにより行うことを特徴とする請求項１または２記載の画像データ補間方法。
【請求項５】
前記互いに鮮鋭度の異なる第１および第２の補間法のうち一方がＢスプライン補間法、他方がCubicスプライン補間法であることを特徴とする請求項１から４のいずれか１項記載の画像データ補間方法。
【請求項６】
カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データを担持するＲ，Ｇ，Ｂの色信号を、前記原画像データを担持する輝度信号および色差信号に変換し、
前記輝度信号について請求項１から５のいずれか１項記載の画像データ補間方法による補間演算を施して補間輝度信号を算出し、
前記色差信号に安定度重視の補間法による補間演算を施して補間色差信号を算出し、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換し、該変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得ることを特徴とする画像データ補間方法。
【請求項７】
画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における補間信号の差分信号を算出する差分信号算出手段と、
該差分信号の絶対値が所定のしきい値未満の場合には該差分信号の信号値を有し、該差分信号の絶対値が前記所定のしきい値以上の場合には、該差分信号の絶対値の増大に伴って該差分信号の絶対値を小さくし、さらに該絶対値よりも大きい一定値を超えた場合は該差分信号の値を０とするように該差分信号を補正することにより補正信号を算出する補正手段と、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が高い方の補間法に基づく補間演算を施して第３の補間画像データを算出する補間演算手段と、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との差分値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得る差分手段とを備えたことを特徴とする画像データ補間装置。
【請求項８】
画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における差分信号を算出する差分信号算出手段と、
該差分信号の絶対値が所定のしきい値未満の場合には、該差分信号の絶対値が前記所定のしきい値以上の場合よりも該差分信号の絶対値を小さくするように該差分信号を補正することにより補正信号を算出する補正手段と、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が低い方の補間法に基づく補間演算を施して第３の補間画像データを算出する補間演算手段と、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との加算値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得る加算手段とを備えたことを特徴とする画像データ補間装置。
【請求項９】
前記差分信号算出手段は、前記差分信号の算出を、前記第１の補間画像データと前記第２の補間画像データとの各補間点における補間信号の差分値を算出することにより行う手段であることを特徴とする請求項７または８記載の画像データ補間装置。
【請求項１０】
前記差分信号手段は、前記差分信号の算出を、前記各補間点の近傍の所定範囲の複数画素における前記第１の補間法による補間係数と前記第２の補間法による補間係数との差分値である差分補間係数を算出し、前記各補間点の近傍の所定範囲の複数画素における信号に、対応する前記差分補間係数をそれぞれ乗算し、該差分補間係数が乗算された前記複数の信号を加算することにより行う手段であることを特徴とする請求項７または８記載の画像データ補間装置。
【請求項１１】
前記互いに鮮鋭度の異なる第１および第２の補間法のうち一方がＢスプライン補間法、他方がCubicスプライン補間法であることを特徴とする請求項７から１０のいずれか１項記載の画像データ補間装置。
【請求項１２】
カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データを担持するＲ，Ｇ，Ｂの色信号を、前記原画像データを担持する輝度信号および色差信号に変換する第１の変換手段と、
前記輝度信号について請求項１から５のいずれか１項記載の画像データ補間方法による補間演算を施して補間輝度信号を算出する補間輝度信号算出手段と、
前記色差信号に安定度重視の補間法による補間演算を施して補間色差信号を算出する補間色差信号算出手段と、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換し、該変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得る第２の変換手段とを備えたことを特徴とする画像データ補間装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像データの補間方法および装置に関するものである。
【０００２】
【従来の技術】
従来より、写真フイルムに記録された画像を光電的に読み取って画像信号を得、この画像信号に適切な画像処理を施した後、画像を再生記録することが種々の分野で行われている。そして、画像信号を得てこの画像信号に基づいて可視画像を再生するシステムにおいて、その可視画像のうち観察対象となる関心領域をより詳細に観察したいとき、その領域を拡大して再生することがある。この場合、拡大して再生に供する画像データの数を原画像に対応した原画像データのデータ数のままで拡大再生したのでは、人の視覚の特性上その拡大画像の鮮鋭度は原画像よりも相対的に低下したものとして認識される。このため画像を単に拡大再生しただけでは鮮鋭度が低下して画像の詳細な観察はできない。
【０００３】
そこで、原画像を読み取って得られた原画像データに対して所定の補間演算を施して原画像データ数とは異なるデータ数、具体的には拡大再生に際しては原画像データよりも多いデータ数の２次的な画像データである補間画像データを求め、この補間画像データに基づいて可視画像の再生を行うことによって、拡大再生した場合でも画像の鮮鋭度の低下を防止することができる。
【０００４】
このように画像データに対して補間演算を施す補間演算方法としては従来より種々の方法が提案されているが、一般に３次のスプライン補間関数による方法がよく用いられている。この方法は、デジタル的に得られた原画像データ｛Ｚk｝を各区間ごとに３次関数｛ｆk｝で結び、補間点の設定位置（上記各区間内での設定位置）におけるｆkの値を補間画像データとするものである。
【０００５】
このように原画像データを通過する補間演算は、鮮鋭度が比較的高い補間方法であり、例えばCubicスプライン補間演算などが知られている。以下、このCubicスプライン補間演算について具体的に説明する。
【０００６】
原画像からデジタル的に読み取って得られた連続する画素Ｘk-2，Ｘk-1，Ｘk，Ｘk+1，Ｘk+2，…の画像データ（原画像データ）を図８に示すようにそれぞれＺk-2，Ｚk-1，Ｚk，Ｚk+1，Ｚk+2，…とする。ここで、３次のスプライン補間関数は、各区間Ｘk-2〜Ｘk-1，Ｘk-1〜Ｘk，Ｘk〜Ｘk+1，Ｘk+1〜Ｘk+2ごとにそれぞれ設定され、各区間に対応するスプライン補間関数をｆk-2，ｆk-1，ｆk，ｆk+1，ｆk+2とする。この補間関数はいずれも各区間の位置を変数とする３次関数である。
【０００７】
ここでまず、補間しようとする点（以下、補間点という）Ｘpが区間Ｘk〜Ｘk+1の範囲にある場合について説明する。なお、区間Ｘk〜Ｘk+1に対応するスプライン補間関数ｆkは下記式（１）で表される。
【０００８】
ｆk（ｘ）＝Ａkｘ3＋Ｂkｘ2＋Ｃkｘ＋Ｄk              （１）
Cubicスプライン補間演算においては、スプライン補間関数ｆkは元のサンプル点（画素）を通ることと、その第１階微分係数が各区間間で連続することが必要とされ、これらの条件から下記式（２）〜（５）を満たす必要がある
ｆk（Ｘk）＝Ｚk                      （２）
ｆk（Ｘk+1）＝Ｚk+1                    （３）
ｆk′（Ｘk）＝ｆk-1′（Ｘk）          （４）
ｆk′（Ｘk+1）＝ｆk+1′（Ｘk+1）        （５）
なお、ｆk′は関数ｆkの第１階微分（３Ａkｘ2＋２Ｂkｘ＋Ｃk）を表すものである。
【０００９】
ここで、Cubicスプライン補間演算は厳密には第２階微分係数の連続条件を含むが、この第２階微分係数の連続条件によれば演算式が複雑になるため、上述のように簡略化して用いるのが一般的である。
【００１０】
またCubicスプライン補間演算においては、画素Ｘkにおける第１階微分係数が、その画素Ｘkの前後の画素であるＸk-1とＸk+1とについて、これらの画像データＺk-1、Ｚk+1の勾配（Ｚk+1−Ｚk-1）／（Ｘk+1−Ｘk-1）に一致することが条件であるから、下記式（６）を満たす必要がある。
【００１１】
ｆk′（Ｘk）＝（Ｚk+1−Ｚk-1）／（Ｘk+1−Ｘk-1）      （６）
同様に、画素Ｘk+1における第１階微分係数が、その画素Ｘk+1の前後の画素であるＸkとＸk+2とについて、これらの画像データＺk、Ｚk+2の勾配（Ｚk+2−Ｚk）／（Ｘk+2−Ｘk）に一致することが条件であるから、下記式（７）を満たす必要がある。
【００１２】
ｆk′（Ｘk+1）＝（Ｚk+2−Ｚk）／（Ｘk+2−Ｘk）        （７）
ここで、各区間Ｘk-2〜Ｘk-1，Ｘk-1〜Ｘk，Ｘk〜Ｘk+1，Ｘk+1〜Ｘk+2の間隔（格子間隔という）を１とし、画素Ｘkからの画素Ｘk+1方向への補間点Ｘpの位置をｔ（０≦ｔ≦１）とすれば、式（１）〜（７）より、
ｆk（０）＝Ｄk＝Ｚk
ｆk（１）＝Ａk＋Ｂk＋Ｃk＋Ｄk＝Ｚk+1
ｆk′（０）＝Ｃk＝（Ｚk+1−Ｚk-1）／２
ｆk′（１）＝３Ａk＋２Ｂk＋Ｃk＝（Ｚk+2−Ｚk）／２
したがって、
Ａk＝（Ｚk+2−３Ｚk+1＋３Ｚk−Ｚk-1）／２
Ｂk＝（−Ｚk+2＋４Ｚk+1−５Ｚk＋２Ｚk-1）／２
Ｃk＝（Ｚk+1−Ｚk-1）／２
Ｄk＝Ｚk
なお、スプライン補間関数ｆk（ｘ）は上述の通り、Ｘ＝ｔなる変数変換をしているため、
ｆk（ｘ）＝ｆk（ｔ）
となる。よって、補間点Ｘpにおける補間画像データＺpは、
Ｚp＝ｆk（ｔ）＝Ａkｔ3＋Ｂkｔ2＋Ｃkｔ＋Ｄk            （８）
で表すことができる。ここで上記各係数Ａk，Ｂk，Ｃk，Ｄkを式（８）に代入すると、
0003578613.tif 000002
となり、これを画像データＺk-1，Ｚk，Ｚk+1，Ｚk+2について整理すると、下記式（９）で表すことができる。
【００１３】
0003578613.tif 000003
ここで、原画像データＺk-1、Ｚk、Ｚk+1、Ｚk+2の各係数を補間係数ｃk-1、ｃk、ｃk+1、ｃk+2と称する。すなわち、式（６）における原画像データＺk-1、Ｚk、Ｚk+1、Ｚk+2にそれぞれ対応する補間係数ｃk-1、ｃk、ｃk+1、ｃk+2は、
ｃk-1＝（−ｔ3＋２ｔ2−ｔ）／２
ｃk＝（３ｔ3−５ｔ2＋２）／２
ｃk+1＝（−３ｔ3＋４ｔ2＋ｔ）／２
ｃk+2＝（ｔ3−ｔ2）／２
となる。
【００１４】
以上の演算を各区間Ｘk-2〜Ｘk-1，Ｘk-1〜Ｘk，Ｘk〜Ｘk+1，Ｘk+1〜Ｘk+2について繰り返すことにより、原画像データの全体について原画像データとは間隔の異なる補間画像データを求めることができる。
【００１５】
ところで、上記Cubicスプライン補間演算は、前述したように元のサンプル点（画素）を通ることと、その第１階微分係数が各区間間で連続することが必要とされていて、鮮鋭度の比較的高いシャープな２次画像（補間により得られる画像）を再生するための補間画像データを得る補間関数であるが、一方、原画像の濃度変化が緩い部分についての補間演算では鮮鋭度は比較的低いが滑らかな２次画像を再生するのが望ましい。このように鮮鋭度は比較的低いが滑らかな２次画像を再生する補間画像データを得る補間関数としては例えばＢスプライン（Ｂスプライン）補間演算が知られている。このＢスプライン補間演算は、元のサンプル点（画素）を通ることは必要とされない代わりに、第１階微分係数および第２階微分係数（ｆ”（Ｘ）で表す）が各区間間で連続することが必要とされる。
【００１６】
すなわち、
ｆk（ｘ）＝Ａkｘ3＋Ｂkｘ2＋Ｃkｘ＋Ｄk                （１）
において、
ｆk′（Ｘk）＝ｆk-1′（Ｘk）        （４）
ｆk′（Ｘk+1）＝ｆk+1′（Ｘk+1）      （５）
ｆk″（Ｘk）＝ｆk-1″（Ｘk）        （10）
ｆk″（Ｘk+1）＝ｆk+1″（Ｘk+1）      （11）
が条件となる。但し、画素Ｘkにおける第１階微分係数が、その画素Ｘkの前後の画素であるＸk-1とＸk+1とについて、これらの画像データＺk-1、Ｚk+1の勾配（Ｚk+1−Ｚk-1）／（Ｘk+1−Ｘk-1）に一致することが条件であるから、下記式（６）を満たす必要がある。
【００１７】
ｆk′（Ｘk）＝（Ｚk+1−Ｚk-1）／（Ｘk+1−Ｘk-1）      （６）
同様に、画素Ｘk+1における第１階微分係数が、その画素Ｘk+1の前後の画素であるＸkとＸk+2とについて、これらの画像データＺk、Ｚk+2の勾配（Ｚk+2−Ｚk）／（Ｘk+2−Ｘk）に一致することが条件であるから、下記式（７）を満たす必要がある。
【００１８】
ｆk′（Ｘk+1）＝（Ｚk+2−Ｚk）／（Ｘk+2−Ｘk）        （７）
また関数ｆ（Ｘ）は一般に下記式（12）に示すもので近似される。
【００１９】
ｆ（Ｘ）＝ｆ(0)＋ｆ′(0)Ｘ＋｛ｆ″(0)/２｝Ｘ2            （12）
ここで、各区間Ｘk-2〜Ｘk-1，Ｘk-1〜Ｘk，Ｘk〜Ｘk+1，Ｘk+1〜Ｘk+2の間隔（格子間隔という）を１とし、画素Ｘkからの画素Ｘk+1方向への補間点Ｘpの位置をｔ（０≦ｔ≦１）とすれば、式（１）、（４）〜（７）、（10）〜（12）より、
ｆk′（０）＝Ｃk＝（Ｚk+1−Ｚk-1）／２
ｆk′（１）＝３Ａk＋２Ｂk＋Ｃk＝（Ｚk+2−Ｚk）／２
ｆk″（０）＝Ｚk+1−２Ｚk＋Ｚk-1＝２Ｂ
したがって、
Ａk＝（Ｚk+2−３Ｚk+1＋３Ｚk−Ｚk-1）／６
Ｂk＝（Ｚk+1−２Ｚk＋Ｚk-1）／２
Ｃk＝（Ｚk+1−Ｚk-1）／２
ここで、Ｄkは未知のため、
Ｄk＝（Ｄ1Ｚk+2＋Ｄ2Ｚk+1＋Ｄ3Ｚk＋Ｄ4Ｚk-1）／６
とおく。また、スプライン補間関数ｆk（ｘ）は上述の通り、Ｘ＝ｔなる変数変換をしているため、
ｆk（ｘ）＝ｆk（ｔ）
となる。よって、
0003578613.tif 000004
となり、これを画像データＺk-1，Ｚk，Ｚk+1，Ｚk+2について整理すると、下記式（13）で表すことができる。
【００２０】
0003578613.tif 000005
ここで、ｔ＝１とおけば、
0003578613.tif 000006
次に区間Ｘk+1〜Ｘk+2については式（13）と同様に、下記式（14）で表すことができる。
【００２１】
0003578613.tif 000007
ここで、ｔ＝０とおけば、
0003578613.tif 000008
連続性の条件（ｆk（１）＝ｆk+1（０））、および各原画像データに対応する係数同士が等しいという条件により、Ｄ4−１＝０，Ｄ3−３＝Ｄ4，Ｄ2＋３＝Ｄ3，Ｄ1＋１＝Ｄ2，Ｄ1＝０、となり、したがって、
Ｄk＝（Ｚk+1＋４Ｚk＋Ｚk-1）／６
となる。よって、
0003578613.tif 000009
したがって、原画像データＺk-1、Ｚk、Ｚk+1、Ｚk+2にそれぞれ対応する補間係数ｂk-1、ｂk、ｂk+1、ｂk+2は、
ｂk-1＝（−ｔ3＋３ｔ2−３ｔ＋１）／６
ｂk＝（３ｔ3−６ｔ2＋４）／６
ｂk+1＝（−３ｔ3＋３ｔ2＋３ｔ＋１）／６
ｂk+2＝ｔ3／６
となる。
【００２２】
以上の演算を各区間Ｘk-2〜Ｘk-1，Ｘk-1〜Ｘk，Ｘk〜Ｘk+1，Ｘk+1〜Ｘk+2について繰り返すことにより、原画像データの全体について原画像データとは間隔の異なる補間画像データを求めることができる。
【００２３】
このように２次画像（補間画像）を高い鮮鋭度でシャープに再生したい場合は例えばCubicスプライン補間演算を用い、低い鮮鋭度で滑らかに再生したい場合は例えばＢスプライン補間演算を用いればよい。
【００２４】
【発明が解決しようとする課題】
ところで、人物を被写体とした画像には、人物が着ている服や顔が含まれており、このような画像を拡大する場合には、服の柄などを高い鮮鋭度でシャープに再生し、顔などの肌色の部分は鮮鋭度を低くして粒状等のノイズを除去し、滑らかに再生したいという要求がある。しかしながら、上述したCubicスプライン補間法やＢスプライン補間法を用いて画像を拡大した場合、画像の鮮鋭度を部分的に高くしたり、画像を部分的に滑らかにしたりすることができないため、シャープネスを犠牲にするかまたはノイズを犠牲にするかを選択する必要があり、両者をともに満たすように画像を拡大することができなかった。
【００２５】
本発明は上記事情に鑑みてなされたものであり、画像の鮮鋭度を部分的に変更して補間拡大および縮小を行うことができる、画像データ補間方法および装置を提供することを目的とするものである。
【００２６】
【課題を解決するための手段】
本発明による第１の画像データ補間方法は、画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における補間信号の差分信号を算出し、
該差分信号の絶対値が所定のしきい値未満の場合には該差分信号の信号値を有し、該差分信号の絶対値が前記所定のしきい値以上の場合には、該差分信号の絶対値の増大に伴って該差分信号の絶対値を小さくし、さらに該絶対値よりも大きい一定値を超えた場合は該差分信号の値を０とするように該差分信号を補正することにより補正信号を算出し、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が高い方の補間法に基づく補間演算を施して第３の補間画像データを算出し、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との差分値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得ることを特徴とするものである。
【００２７】
本発明による第２の画像データ補間方法は、画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における差分信号を算出し、
該差分信号の絶対値が所定のしきい値未満の場合には、該差分信号の絶対値が前記所定のしきい値以上の場合よりも該差分信号の絶対値を小さくするように該差分信号を補正することにより補正信号を算出し、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が低い方の補間法に基づく補間演算を施して第３の補間画像データを算出し、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との加算値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得ることを特徴とするものである。
【００２８】
ここで、上記互いに鮮鋭度の異なる第１および第２の補間法としては、鮮鋭度の低い画像に対応する補間法をＢスプライン補間法、これよりも鮮鋭度の高い画像に対応する補間法をCubicスプライン補間法とするのが望ましい。この両者の組合わせの場合は、第１階微分係数が連続するからである。
【００２９】
但し、本発明の補間法はこれらの組合わせに限るものではなく、Ｂスプライン補間法、Cubicスプライン補間法、線形補間法、Lagurange補間法などの種々の補間法を用いることができ、これらのうちの任意の２つの補間演算関数の組合わせることができる。
【００３０】
また、特徴量、補間画像データを算出するとは、必ずしも算術式によりそれぞれを計算結果として求める必要はないものであり、例えばコンピュータにおいて本発明の画像データ補間方法を実施する場合において、算出された特徴量および補間画像データをコンピュータのメモリに書き込むなどの物理的な算出をも含むものである。
【００３１】
さらに、上記第３の補間法としてこれらの補間法を用いることができ、とくに第３の補間法として前記第１および第２の補間法のいずれか一方とすることが好ましい。
【００３２】
また、本発明による第１および第２の画像データ補間方法においては、前記差分信号の算出を、前記第１の補間画像データと前記第２の補間画像データとの各補間点における差分値を算出することにより行ってもよい。
【００３３】
また、本発明による第１および第２の画像データ補間方法においては、前記差分信号の算出を、前記第１の補間画像データと前記第２の補間画像データとの各補間点における補間信号の差分値を算出することにより行ってもよい。
【００３４】
また、本発明による第１および第２の画像データ補間方法においては、前記差分信号の算出を、前記各補間点の近傍の所定範囲の複数画素における前記第１の補間法による補間係数と前記第２の補間法による補間係数との差分値である差分補間係数を算出し、前記各補間点の近傍の所定範囲の複数画素における信号に、対応する前記差分補間係数をそれぞれ乗算し、該差分補間係数が乗算された前記複数の信号を加算することにより行ってもよい。
【００３５】
本発明による第３の画像データ補間方法は、本発明による第１および第２の画像データ補間方法を特にカラー画像に適用したものであり、カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データを担持するＲ，Ｇ，Ｂの色信号を、前記原画像データを担持する輝度信号および色差信号に変換し、
前記輝度信号について本発明による第１または第２の画像データ補間方法に基づいて補間輝度信号を算出し、
前記色差信号について安定度重視で補間色差信号を算出し、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換し、該変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得ることを特徴とするものである。
【００３６】
ここで、安定度重視の補間とは、信号値の連続性を担保する補間であり、例えば上述したＢスプライン補間法による補間のことをいうものである。
【００３７】
本発明による第１の画像データ補間装置は、画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における補間信号の差分信号を算出する差分信号算出手段と、
該差分信号の絶対値が所定のしきい値未満の場合には該差分信号の信号値を有し、該差分信号の絶対値が前記所定のしきい値以上の場合には、該差分信号の絶対値の増大に伴って該差分信号の絶対値を小さくし、さらに該絶対値よりも大きい一定値を超えた場合は該差分信号の値を０とするように該差分信号を補正することにより補正信号を算出する補正手段と、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が高い方の補間法に基づく補間演算を施して第３の補間画像データを算出する補間演算手段と、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との差分値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得る差分手段とを備えたことを特徴とするものである。
【００３８】
本発明による第２の画像データ補間装置は、画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における差分信号を算出する差分信号算出手段と、
該差分信号の絶対値が所定のしきい値未満の場合には、該差分信号の絶対値が前記所定のしきい値以上の場合よりも該差分信号の絶対値を小さくするように該差分信号を補正することにより補正信号を算出する補正手段と、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が低い方の補間法に基づく補間演算を施して第３の補間画像データを算出する補間演算手段と、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との加算値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得る加算手段とを備えたことを特徴とするものである。
【００３９】
なお、本発明による第１および第２の画像データ補間装置においては、前記差分信号算出手段を、前記差分信号の算出を、前記第１の補間画像データと前記第２の補間画像データとの各補間点における補間信号の差分値を算出することにより行う手段としてもよい。
【００４０】
また、本発明による第１および第２の画像データ補間装置においては、前記差分信号手段を、前記差分信号の算出を、前記各補間点の近傍の所定範囲の複数画素における前記第１の補間法による補間係数と前記第２の補間法による補間係数との差分値である差分補間係数を算出し、前記各補間点の近傍の所定範囲の複数画素における信号に、対応する前記差分補間係数をそれぞれ乗算し、該差分補間係数が乗算された前記複数の信号を加算することにより行う手段としてもよい。
【００４１】
また、本発明による第１および第２の画像データ補間装置においては、前記互いに鮮鋭度の異なる第１および第２の補間法のうち一方がＢスプライン補間法、他方がCubicスプライン補間法であってもよい。
【００４２】
本発明による第３の画像データ補間装置は、カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データを担持するＲ，Ｇ，Ｂの色信号を、前記原画像データを担持する輝度信号および色差信号に変換する第１の変換手段と、
前記輝度信号について本発明による第１および第２の画像データ補間方法による補間演算を施して補間輝度信号を算出する補間輝度信号算出手段と、
前記色差信号に安定度重視の補間法による補間演算を施して補間色差信号を算出する補間色差信号算出手段と、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換し、該変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得る第２の変換手段とを備えたことを特徴とするものである。
【００４３】
【発明の効果】
本発明による第１の画像データ補間方法および装置においては、互いに鮮鋭度が異なる第１および第２の補間法に基づく補間演算を原画像データに対して施すことにより得られる第１および第２の補間画像データの各補間点における補間信号の差分信号を算出し、差分信号の絶対値が所定のしきい値未満の場合には差分信号の信号値を有し、差分信号の絶対値が所定のしきい値以上の場合には、差分信号の絶対値の増大に伴って差分信号の絶対値を小さくし、さらに絶対値よりも大きい一定値を超えた場合は差分信号の値を０とするように差分信号を補正することにより補正信号を算出し、原画像データに対して、第１および第２の補間法のうちの鮮鋭度が高い方の補間法に基づく補間演算を施して第３の補間画像データを算出し、各補間点における前記第３の補間画像データの補間信号と補正信号との差分値を算出することにより、第３の補間画像データを補正して最終的な補間画像データを得る。
【００４４】
本発明による第２の画像データ補間方法および装置においては、互いに鮮鋭度が異なる第１および第２の補間法に基づく補間演算を原画像データに対して施すことにより得られる第１および第２の補間画像データの各補間点における補間信号の差分信号を算出し、差分信号の絶対値が所定のしきい値未満の場合には、差分信号の絶対値が所定のしきい値以上の場合よりも差分信号の絶対値を小さくするように差分信号を補正することにより補正信号を算出し、原画像データに対して、第１および第２の補間法のうちの鮮鋭度が低い方の補間法に基づく補間演算を施して第３の補間画像データを算出し、各補間点における第３の補間画像データの補間信号と補正信号との加算値を算出することにより、第３の補間画像データを補正して最終的な補間画像データを得る。
【００４５】
これにより、高い鮮鋭度でシャープに再生したい部分については鮮鋭度を強調し、低い鮮鋭度で滑らかに再生したい部分については鮮鋭度を低減することができる。したがって、シャープネスやノイズ低減効果を犠牲にすることなく画像の鮮鋭度を部分的に高くしたり、画像を部分的に滑らかにしたりすることができる。
【００４６】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００４７】
図１は本発明の第１の実施形態による画像データ補間方法を実施するための補間演算装置30を内包する画像再生システムを示す概略ブロック図である。図１に示すように、第１の実施形態を内包する画像再生システムは、画像を表す画像データを記憶した画像データ記憶装置10と、所定の再生サイズに適合するように画像データ記憶装置10に記憶された原画像データＳorg（カラー、白黒のいずれでもよい）に対して所定の信号処理を施す画像処理装置20と、画像処理装置20により所定の信号処理が施された補間画像データＳ′に基づいて、上記所望の再生サイズの可視画像を再生するＣＲＴやプリンタ等の再生手段40とを備えた構成である。
【００４８】
画像処理装置20は、例えば、画像を出力する印画紙のサイズ（Ｌサイズ、ポストカードサイズ、Ａ４サイズなど）に適合するように原画像データＳorgを信号処理するものであり、特に画像の拡大縮小に際して、原画像データＳorgとはデータ数の異なる補間画像データを補間演算によって算出する本発明の補間演算装置30を内包しているものである。
【００４９】
ここで本実施形態において使用される原画像データＳorgは、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）Ｘk-2，Ｘk-1，Ｘk，Ｘk+1，Ｘk-2…に対応したデジタル画像データ（Ｓk-2，Ｓk-1，Ｓk，Ｓk+1Ｓk+2…）である。
【００５０】
画像処理装置20に内包された補間演算装置30は、原画像データＳorgについてCubicスプライン補間法（第１および第３の補間法）により各補間点における補間信号ＳＣを求めるCubicスプライン補間演算手段31と、原画像データＳorgについてＢスプライン補間法（第２の補間法）により各補間点における補間信号ＳＢを求めるＢスプライン補間演算手段32と、補間信号ＳＣと補間信号ＳＢとの各補間点における差分値である差分信号ΔＳ（＝ＳＣ−ＳＢ）を算出する加算手段33と、差分信号ΔＳを後述するように補正して補正信号ΔＳ′を得る補正手段34と、各補間点における補間信号ＳＣと補正信号ΔＳ′とを減算して最終的な補間画像データＳ′（＝ＳＣ−ΔＳ′）を得る加算手段35とを備えた構成である。
【００５１】
Cubicスプライン補間演算手段31は、既述のCubicスプライン補間方法に従って、原画像データＳorgの各補間点における補間信号ＳＣを求める。具体的には、オリジナルのサンプリング点（画素）Ｘk-1〜Ｘk+2間に設けられた補間点Ｘpの補間信号ＳＣを３次のCubicスプライン補間演算式（16）により求める。
【００５２】
ＳＣ＝ｃk-1Ｓk-1＋ｃkＳk＋ｃk+1Ｓk+1＋ｃk+2Ｓk+2  （16）
ｃk-1＝（−ｔ3＋２ｔ2−ｔ）／２
ｃk＝（３ｔ3−５ｔ2＋２）／２
ｃk+1＝（−３ｔ3＋４ｔ2＋ｔ）／２
ｃk+2＝（ｔ3−ｔ2）／２
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘkを基準としたときの補間点Ｘpの画素Ｘk+1方向への位置を示す。）
Ｂスプライン補間演算手段32は、既述のＢスプライン補間方法に従って、原画像データＳorgの各補間点における補間信号ＳＢを求める。具体的には、オリジナルのサンプリング点Ｘk-1〜Ｘk+2間に設けられた補間点Ｘpの補間信号ＳＢを３次のＢスプライン補間演算式（17）により求める。
【００５３】
ＳＢ＝ｂk-1Ｓk-1＋ｂkＳk＋ｂk+1Ｓk+1＋ｂk+2Ｓk+2  （17）
ｂk-1＝（−ｔ3＋３ｔ2−３ｔ＋１）／６
ｂk＝（３ｔ3−６ｔ2＋４）／６
ｂk+1＝（−３ｔ3＋３ｔ2＋３ｔ＋１）／６
ｂk+2＝ｔ3／６
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘkを基準としたときの補間点Ｘpの画素Ｘk+1方向への位置を示す。）
また、実際の画像は画素が２次元に配列されて形成されるため、上記Cubicスプライン補間係数ｃk-1，ｃk，ｃk+1，ｃk+2、およびＢスプライン補間係数ｂk-1,ｂk，ｂk+1，ｂk+2は、それぞれ画像を構成する画素の互いに異なる２つの配列方向（ｉ方向、ｊ方向とする）ごとに求められるものであり、そのように求められたものを、それぞれＣij、Ｂijと表記するものとすることがあるものとする。
【００５４】
ここで、本実施形態の画像再生システムは単に補間画像データＳ′を出力するだけでなく、補間画像データＳ′の配列の間隔を原画像データＳorgの配列間隔と同一になるように拡張することによって、補間画像は原画像を拡大したものとして再生される。
【００５５】
補正手段34は、補間信号ＳＣと補間信号ＳＢとの各補間点における差分値である差分信号ΔＳの値に基づいて補正信号ΔＳ′を算出するものであり、具体的には図２に示すような補正関数に基づいて補正信号ΔＳ′を算出するものである。すなわち、差分信号ΔＳの絶対値がＳ１より小さい場合には、差分信号ΔＳの値をそのまま補正信号ΔＳ′の値とし（ΔＳ＝ΔＳ′）、差分信号ΔＳの絶対値がＳ１より大きくなるのに応じて補正信号ΔＳ′の絶対値を小さくし、さらに絶対値が一定値を超えた場合は補正信号ΔＳ′の値を０とするものである。
【００５６】
ここで、補間信号ＳＣは上述したCubicスプライン補間法に基づいて算出されているため、鮮鋭度の比較的高いシャープな画像を再生する信号となっており、補間信号ＳＢは上述したＢスプライン補間法に基づいて算出されているため、鮮鋭度は比較的低いが滑らかな画像を再生する信号となっている。このため、補間信号ＳＣと補間信号ＳＢとの差分値である差分信号ΔＳにおいては、画像中のエッジ部分などの鮮鋭度の高い部分においては値が大きく、画像中の滑らかな部分については値が小さいものとなっている。したがって、この差分信号ΔＳを補正手段34において図２に示す補正関数に基づいて補正することにより、補正信号ΔＳ′は、画像中の鮮鋭度が高い部分については０もしくは低い値となり、画像中の滑らかな部分については鮮鋭度が高い部分よりも大きな値を有するものとなる。
【００５７】
次に、本実施形態の画像再生システムの作用について説明する。
【００５８】
まず、画像処理装置20は画像データ記憶装置10に予め記憶されている原画像データＳorgを読み出す。また画像処理装置20は、再生手段40の印画紙のサイズに応じた拡大画像を表す補間画像データＳ′を得るために、この読み出された原画像データＳorgを画像処理装置20内の補間演算装置30に入力する。
【００５９】
補間演算装置30に入力された原画像データＳorgは、Cubicスプライン補間演算手段31およびＢスプライン補間演算手段32に入力される。Cubicスプライン補間演算手段31、Ｂスプライン補間演算手段32は、再生手段40の印画紙のサイズに応じた各補間係数におけるｔの値を設定する。例えば２倍の拡大率が入力された場合は、ｔの値として0.5および1.0が設定され、４倍の場合は0.25,0.5,0.75,1.0の各値が設定され、10倍の場合は0.1,0.2,…,1.0の各値がｔの値として設定されて補間信号ＳＣ，ＳＢがそれぞれ求められる。Cubicスプライン補間演算手段31において求められた補間信号ＳＣと、Ｂスプライン補間演算手段32において求められた補間信号ＳＢとはそれぞれ加算手段33に入力され、この加算手段33において補間信号ＳＣと補間信号ＳＢとの各補間点における差分信号ΔＳが算出される。算出された差分信号ΔＳは補正手段34に入力される。
【００６０】
補正手段34に入力された差分信号ΔＳは図２に示す補正関数に基づいて補正されて補正信号ΔＳ′が算出される。ここで、差分信号ΔＳにおいては、画像中のエッジ部分など鮮鋭度が高い部分においては値が大きく、人物の顔など画像中の滑らかな部分については値が小さいものとなっているため、差分信号ΔＳを図２に示す補正関数に基づいて補正することにより、補正信号ΔＳ′は、画像中の鮮鋭度が高い部分については０もしくは低い値となり、画像中の滑らかな部分については鮮鋭度が高い部分よりも大きな値を有するものとなる。
【００６１】
補正手段34において算出された補正信号ΔＳ′は加算手段35に入力され、各補間点における補間信号ＳＣと補正信号ΔＳ′との差分値が算出される。ここで、補間信号ＳＣはCubicスプライン補間法に基づいて算出されているため、図３（ａ）に示すように鮮鋭度の比較的高いシャープな画像を再生する信号となっているが、画像中の本来滑らかであるべき肌色の部分においては図３（ａ）の部分Ｂに示すように写真の粒状等のノイズが目立ったものとなっている。一方、補正信号ΔＳ′は図３（ｂ）に示すように画像中の鮮鋭度が高い部分（図３（ａ）の部分Ａ）については０もしくは低い値であり、滑らかな部分については鮮鋭度が高い部分よりも大きな値を有するものとなっている。したがって、補間信号ＳＣから補正信号ΔＳ′を減算することにより得られる差分値からなる補間画像データＳ′は、図３（ｃ）に示すように、補間信号ＳＣ中の鮮鋭度が高い部分Ａの値が保存され、本来滑らかであるべき部分Ｂにおけるノイズが除去されたものとなる。このようにして得られた補間画像データＳ′は再生手段40に入力される。
【００６２】
再生手段40は入力された補間画像データＳ′に基づいた画像を可視画像として再生する。上述の処理により、この再生された可視画像は、画像中のエッジや細かい模様等の部分については鮮鋭度の比較的高いシャープな画像となっており、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかな画像となっている。したがって、画像中の部分に応じた鮮鋭度を有する画像が再生できるように原画像の拡大縮小を行うことができる。
【００６３】
次いで、本発明の第２の実施形態について説明する。
【００６４】
図４は本発明の第２の実施形態による画像データ補間方法を実施するための補間演算装置30の構成を示す図である。なお、図２においては、図１に示した画像データ記憶装置10、画像処理装置20および再生手段40を省略している。第２の実施形態は、Ｂスプライン補間演算手段32および加算手段33に代えて、上記Cubicスプライン補間演算式(16)における補間係数ｃk-1，ｃk，ｃk+1，ｃk+2と、Ｂスプライン補間演算式（17）における補間係数ｂk-1，ｂk，ｂk+1，ｂk+2との各補間点における差分値を差分補間係数ｄk-1，ｄk，ｄk+1，ｄk+2として算出し、この差分補間係数ｄk-1，ｄk，ｄk+1，ｄk+2に基づいて補間演算を行い、各補間点における差分補間信号ΔＳ″を得る（Cubicスプライン−Ｂスプライン）補間演算手段36を備えた点が第１の実施形態と異なるものである。
【００６５】
ここで、（Cubicスプライン−Ｂスプライン）補間演算手段36においては、Cubicスプライン補間演算式(16)における補間係数ｃk-1，ｃk，ｃk+1，ｃk+2と、Ｂスプライン補間演算式（17）における補間係数ｂk-1，ｂk，ｂk+1，ｂk+2との各補間点における差分値を差分補間係数ｄk-1，ｄk，ｄk+1，ｄk+2として算出し、この差分補間係数ｄk-1，ｄk，ｄk+1，ｄk+2に基づいて補間演算を行っているため、得られる差分補間信号ΔＳ″は、上記第１の実施形態の加算手段33において得られる補間信号ＳＣと補間信号ＳＢとの差分信号ΔＳと実質的に同一の値となるものである。
【００６６】
したがって、差分補間信号ΔＳ″を補正手段34において補正して補正信号ΔＳ′を得、加算手段35において各補間点における補間信号ＳＣと補正信号ΔＳ′との差分値を算出することにより、第１の実施形態と同様に図３（ｃ）に示すように、補間信号ＳＣ中の鮮鋭度が高い部分Ａの値が保存され、本来滑らかであるべき部分Ｂにおけるノイズが除去された信号からなる補間画像データＳ′を得ることができる。したがって、この補間画像データＳ′を再生手段40において再生することにより、画像中のエッジや細かい模様等の部分については鮮鋭度の比較的高いシャープな画像となり、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかな画像となるため、画像中の部分に応じた鮮鋭度を有する画像が再生できるように原画像の拡大縮小を行うことができる。
【００６７】
また、第２の実施形態においては、（Cubicスプライン−Ｂスプライン）補間演算手段36において実質的に第１の実施形態における加算手段33における処理をも同時に行うことができるため、装置の構成を簡易なものとすることができるとともに、演算時間を短縮して高速に処理を行うことができる。
【００６８】
なお、上記第１および第２の実施形態においては、補正信号ΔＳ′をCubicスプライン補間演算手段31において算出された補間信号ＳＣに対して加算しているが、Ｂスプライン補間演算手段32において算出された補間信号ＳＢに対して加算するようにしてもよい。この場合、Ｂスプライン補間法が第３の補間法となる。またこの場合、補正手段34において用いられる補正関数としては、図２に示すものとは逆に、差分信号ΔＳまたは差分補間信号ΔＳ″の信号値が小さい部分については０もしくは低い値とし、信号値が大きい部分についてはこれよりも大きな値となるような関数とするものである。
【００６９】
次いで、本発明の第３の実施形態について説明する。
【００７０】
図５は本発明の第３の実施形態による画像データ補間方法を実施するための補間演算装置30の構成を示す図である。なお、図２においては、図１に示した画像データ記憶装置10、画像処理装置20および再生手段40を省略している。第３の実施形態による補間演算装置30は、原画像データＳorgについて公知のLagurange補間法（第３の補間法）により補間信号ＳＬを求めるLagurange補間演算手段37と、上記第１および第２の実施形態と同様に各補間点における補間信号ＳＣ，ＳＢを算出するCubicスプライン補間演算手段31およびＢスプライン補間演算手段32と、補間信号ＳＣと補間信号ＳＢとをそれぞれ補正して補正補間信号ＳＣ′，ＳＢ′を得る補正手段34′と、各補間点における補正補間信号ＳＣ′を補正補間信号ＳＢ′により除して除算信号ＳＤを得る除算手段38と、除算信号ＳＤに基づいて補間信号ＳＬを補正するための補正信号ＳＤ′を得る演算手段39と、各補間点における補正信号ＳＤ′を補間信号ＳＬに乗じる乗算手段50とを備えた構成である。なお、第３の実施形態においては、Cubicスプライン補間法が第１の補間法、Ｂスプライン補間法が第２の補間法となる。
【００７１】
補正手段34′は、図６に示すような補正関数により補間信号ＳＣ、ＳＢを補正するものである。すなわち、画像中における信号値が大きい明るい部分については暗い部分よりも視覚的に濃度の差を認識しやすいものであるため、図６に示す補正関数により補間信号ＳＣ，ＳＢを補正することにより、より信号値が大きい明るい部分が強調されることとなる。
【００７２】
除算手段38は、各補間点における補正補間信号ＳＣ′を補正補間信号ＳＢ′により除して除算信号ＳＤを得るものである。ここで、補間信号ＳＣは上述したCubicスプライン補間法に基づいて算出されているため、鮮鋭度の比較的高いシャープな画像を再生する信号となっており、補間信号ＳＢは上述したＢスプライン補間法に基づいて算出されているため、鮮鋭度は比較的低いが滑らかな画像を再生する信号となっている。このため、除算信号ＳＤは、画像中のエッジ部分などの鮮鋭度の高い部分においては値が１より大きく、画像中の滑らかな部分については値が１程度のものとなっている。
【００７３】
演算手段39は除算信号ＳＤに基づいて、補間信号ＳＬを補正するための補正信号ＳＤ′を得るためのものであり、具体的に補正信号ＳＤ′は除算信号ＳＤの値が１に近いほど１よりも小さい値となり、除算信号ＳＤの値が１より大きいほど１よりも大きい値となるように演算手段39において補正信号ＳＤ′が演算される。
【００７４】
次に、第３の実施形態の作用について説明する。
【００７５】
補間演算装置30に入力された原画像データＳorgは、Lagurange補間演算手段37、Cubicスプライン補間演算手段31およびＢスプライン補間演算手段32に入力される。Lagurange補間演算手段37においてはLagurange補間法に基づいて補間信号ＳＬが算出される。Cubicスプライン補間演算手段31およびＢスプライン補間演算手段32においては上記第１の実施形態と同様に各補間点における補間信号ＳＣ，ＳＢが算出される。補間信号ＳＣ，ＳＢはそれぞれ補正手段34′に入力され、図６に示す補正関数に基づいて補正されて各補間点における補正補間信号ＳＣ′，ＳＢ′が算出される。補正補間信号ＳＣ′，ＳＢ′は除算手段38に入力され、各補間点における除算信号ＳＤ（＝ＳＣ′／ＳＢ′）が算出される。ここで、除算信号ＳＤにおいては、画像中のエッジ部分などの鮮鋭度の高い部分においては値が１より大きく、画像中の滑らかな部分については値が１程度となっている。除算信号ＳＤは演算手段39に入力され、ここで画像中のエッジ部分などの鮮鋭度の高い部分においては値が１より大きく、画像中の滑らかな部分については値が１より小さい補正信号ＳＤ′が算出される。
【００７６】
各補間点における補正信号ＳＤ′は乗算手段50において補間信号ＳＬに乗算される。ここで、補間信号ＳＬは鮮鋭度が高くもなく低くもない画像を再生するものであるが、補正信号ＳＤ′が乗算されることにより、滑らかな部分は信号値が小さくなり、本来鮮鋭度が比較的高い部分は信号値が大きくなるように補正される。したがって、補間信号ＳＬに補正信号ＳＤ′を乗算することにより得られる乗算信号からなる補間画像データＳ′は、補間信号ＳＬ中の本来滑らかであるべき部分の値が低減され、鮮鋭度が高い部分の値が強調されたものとなる。そしてこのようにして得られた補間画像データＳ′は再生手段40に入力されて可視像として再生される。
【００７７】
このように第３の実施形態においても、再生手段40において再生される可視画像は、画像中のエッジや細かい模様等の部分については鮮鋭度の比較的高いシャープな画像となっており、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかな画像となっているため、画像中の部分に応じた鮮鋭度を有する画像が再生できるように原画像の拡大縮小を行うことができる。
【００７８】
なお、上記第３の実施形態においては、補正手段34′において補間信号ＳＣ，ＳＢに対して図６に示す補正関数により補正を行うようにしているが、原画像データＳorgに対してまずこの補正関数により補正を行い、その後Cubicスプライン補間演算手段31およびＢスプライン補間演算手段32において補間演算を行うようにしてもよい。また、この補正を行わなくてもよいものである。
【００７９】
次いで、本発明の第４の実施形態について説明する。
【００８０】
図７は、本発明の第４の実施形態による画像データ補間方法を実施するための補間演算装置30の構成を示す図である。なお、図７においては、図１に示した画像データ記憶装置10、画像処理装置20および再生手段40を省略している。第４の実施形態による補間演算装置30は、特にカラーの原画像データＳorgに対して処理を行うものであり、原画像データＳorgの各画素データを表すＲＧＢの色信号を下記式（18）に従って、ＹＣＣ輝度色差信号に変換する第１の変換手段51と、
Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ
Ｃ１＝-0.299×Ｒ−0.587×Ｇ＋0.886×Ｂ
Ｃ２＝0.701×Ｒ−0.587×Ｇ−0.114×Ｂ      （18）
変換手段51により得られたＹＣＣ輝度色差信号のうち輝度信号Ｙについて強調Cubicスプライン補間法（第１および第３の補間法）により各補間点における補間輝度信号ＹＣを求める強調Cubicスプライン補間演算手段31′（補間輝度信号算出手段）と、輝度信号Ｙについて強調Ｂスプライン補間法（第２の補間法）により各補間点における補間輝度信号ＹＢを求める強調Ｂスプライン補間演算手段32′（補間色差信号算出手段）と、色差信号Ｃ１およびＣ２について安定度重視のＢスプライン補間法により各補間点における補間色差信号Ｃ１Ｂ、Ｃ２Ｂを求めるＢスプライン補間演算手段32と、各補間点における補間輝度信号ＹＣと補間輝度信号ＹＢとの差分値である差分輝度信号ΔＹを算出する加算手段33′と、上述した第１の実施形態と同様に差分輝度信号ΔＹを補正して補正輝度信号ΔＹ′を得る補正手段34′と、各補間点における補間輝度信号ＹＣから補正輝度信号ΔＹ′を減算して補間画像信号Ｙ′を得る加算手段35′と、ＹＣＣ輝度色差信号を下記式（19）に従って、ＲＧＢ色信号に変換する第２の変換手段52とを備えた構成である。
【００８１】
Ｒ＝Ｙ′＋Ｃ２
Ｇ＝Ｙ′−0.194×Ｃ２−0.509×Ｃ２
Ｂ＝Ｙ′＋Ｃ１                                        （19）
ここで、強調Cubicスプライン補間演算手段31′および強調Ｂスプライン補間演算手段32′においては、例えば特開平９−９３４２６号公報に記載されているように、上述した補間係数ｃk-1，ｃk，ｃk+1，ｃk+2および補間係数ｂk-1，ｂk，ｂk+1，ｂk+2を、次式（20）〜（23）にしたがって、原画像データＹk-1、Ｙk、Ｙk+1、Ｙk+2に対応するごとに重み付けして加算して補間係数ａk-2，ａk-1，ａk，ａk+1，ａk+2を決定し、この補間係数ａk-2，ａk-1，ａk，ａk+1，ａk+2に基づいて補間演算を行うものである。
【００８２】
0003578613.tif 000010
そして、強調Cubicスプライン補間演算手段31′においては、係数αの値を０よりも小さい値とすることにより、通常のCubicスプライン補間法により得られる画像よりも、一層鮮鋭度の高いシャープな補間画像を得ることができ、強調Ｂスプライン補間演算手段32′においては、係数αの値を１よりも大きい値とすることにより、通常のＢスプライン補間法により得られる画像よりも、さらに滑らかな補間画像を得ることができるものである。
【００８３】
次に、第４の実施形態の作用について説明する。
【００８４】
原画像データＳorgは、まず第１の変換手段51に入力され、Ｒ，Ｇ，Ｂの各色信号は前述の式（18）により輝度色差信号ＹＣＣに変換される。その後、輝度信号Ｙは強調Cubicスプライン補間演算手段31′および強調Ｂスプライン補間演算手段32′に入力され、色差信号Ｃ１およびＣ２はＢスプライン補間演算手段32に入力される。
【００８５】
強調Cubicスプライン補間演算手段31′および強調Ｂスプライン補間演算手段32′においては、輝度信号Ｙに対して上述した式（20）〜（23）により求められた補間係数ａk-1，ａk，ａk+1，ａk+2および係数αに基づいて補間演算が行われ各補間点における補間輝度信号ＹＣ，ＹＢが得られる。一方、Ｂスプライン補間演算手段32においては、上記第１の実施形態と同様にＢスプライン補間法に基づく補間演算が行われ、各補間点における補間色差信号Ｃ１Ｂ，Ｃ２Ｂが得られる。
【００８６】
補間輝度信号ＹＣ，ＹＢは加算手段33′、補正手段34′および加算手段35′において上記第１の実施形態と同様に演算が行われ、補間輝度信号Ｙ′が得られる。補間輝度信号Ｙ′と、補間色差信号Ｃ１ＢおよびＣ２Ｂはそれぞれ第２の変換手段52に入力され、この第２の変換手段52において前述の式（19）により補間色信号Ｒ′，Ｇ′，Ｂ′に変換される。
【００８７】
この補間演算装置30において得られた補間色信号Ｒ′，Ｇ′，Ｂ′は補間画像データＳ′における各色信号であり、補間画像データＳ′は再生手段40に入力されて可視像として再生される。
【００８８】
このように第４の実施形態においては、輝度信号Ｙに対して上記第１の実施形態と同様の補間演算を行うことにより、輝度信号Ｙについては画像中のエッジや細かい模様等の部分が鮮鋭度の比較的高いシャープな画像となり、人物の肌色などの部分が鮮鋭度は比較的低いが滑らかな画像となる。一方、色差信号Ｃ１，Ｃ２については滑らかな画像となる。このため、従来、鮮鋭度重視の補間方法によりＲＧＢ各色信号についてそれぞれ補間色信号を求めていたために生じた、データ補間後の可視画像における各画素での異なる方向および異なる量の色相ずれを生じることがなくなる。一方、人間の視覚は輝度信号に対して非常に敏感であるが、色差信号についてはそれほど敏感ではないものであるため、画像の鮮鋭度は輝度変化に依存するものである。第４の実施形態においては、輝度信号に対しては輝度信号に対して上記第１の実施形態と同様の補間演算を行うことにより、最終的に得られた補間画像データＳ′を再生することにより得られた画像について、エッジや細かい模様等の部分については鮮鋭度の比較的高いシャープなものとすることができるとともに、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかなものとすることができる。
【００８９】
なお、上記第４の実施形態においては、強調Cubicスプライン補間演算手段31′および強調Ｂスプライン補間演算手段32′により輝度信号Ｙに対して補間演算を行っているが、上記第１の実施形態と同様のCubicスプライン補間演算手段31およびＢスプライン補間演算手段32により補間演算を行ってもよく、第２の実施形態あるいは第３の実施形態と同様に補間演算を行ってもよいものである。
【００９０】
また、上記第１から第３の実施形態においては、Cubicスプライン補間演算手段31およびＢスプライン補間演算手段32あるいは（Cubicスプライン−Ｂスプライン）補間演算手段36により補間演算を行っているが、第４の実施形態のように強調Cubicスプライン補間演算手段31′および強調Ｂスプライン補間演算手段32′により原画像データＳorgに対して補間演算を行ってもよい。
【００９１】
さらに、上記第４の実施形態においては、補正輝度信号ΔＹ′を強調Cubicスプライン補間演算手段31′において算出された補間輝度信号ＹＣに対して加算しているが、強調Ｂスプライン補間演算手段32′において算出された補間輝度信号ＹＢに対して加算するようにしてもよい。
【００９２】
また、第４の実施形態においては、輝度色差空間における信号としてＹＣＣ輝度色差信号を用いたが、Ｌａｂ，Ｌｕｖ等で表される輝度色差信号を用いてもよい。
【００９３】
なお、本実施形態においては、補間演算装置30は、画像データ記憶装置10に予め記憶された原画像データＳorgを用いるものについて説明したが、本発明の補間演算装置はこの形態に限るものではなく、画像読取装置により読み取って得られた、画像を表す画像データを用いる形態であってもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像データ補間装置を内包する画像再生システムを示すブロック図
【図２】補正関数を示すグラフ
【図３】第１の実施形態の加算手段35において行われる処理を説明するための図
【図４】本発明の第２の実施形態による画像データ補間装置の構成を示すブロック図
【図５】本発明の第３の実施形態による画像データ補間装置の構成を示すブロック図
【図６】第３の実施形態において用いられる補正関数を示すグラフ
【図７】本発明の第４の実施形態による画像データ補間装置の構成を示すブロック図
【図８】従来の、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）の原画像データからCubicスプライン補間演算により補間画像データを求める作用を説明するグラフ
【符号の説明】
10    画像データ記憶装置
20    画像処理装置
30    補間演算装置
31    Cubicスプライン補間演算手段
31′  強調Cubicスプライン補間演算手段
32    Ｂスプライン補間演算手段
32′  強調Ｂスプライン補間演算手段
33，35    加算手段
34    補正手段
36    （Cubicスプライン−Ｂスプライン）補間演算手段
37    Lagurange補間演算手段
38    除算手段
39    演算手段
40    再生手段
50    乗算手段
【図１】
0003578613.tif 000011
【図２】
0003578613.tif 000012
【図３】
0003578613.tif 000013
【図４】
0003578613.tif 000014
【図５】
0003578613.tif 000015
【図６】
0003578613.tif 000016
【図７】
0003578613.tif 000017
【図８】
0003578613.tif 000018