(57)【要約】【課題】飛越し走査画像を順次走査変換する際およびスケーリング処理時の補間画素値の算出を、より高精度に行う画像処理方法を提供する。【解決手段】本発明の画像処理方法によると、まず、相関方向により状態を分割して、分割した各状態の画素毎に尤も確からしい相関方向を仮判定する。具体的には、左斜め相関算出部３が、左斜め相関方向に関する相関値などを算出し、また右斜め相関算出部４が、右斜め相関方向に関する相関値などを算出する。仮判定結果は少なくとも１画素以上保持される。続いて、過去に仮判定した各状態に属する１画素以上の複数画素の確からしさにより、最終的な相関方向を決定する。なお、確からしさの判定手法に、画素毎の相関方向を１つの系列とみなし、各状態に至る系列の累積相関値により尤も確からしい相関方向を持つ系列を選択することで、高精度の補間処理が可能となる。【選択図】        図１６
2004304504.tif 000002
【特許請求の範囲】
【請求項１】
相関方向により状態を分割し、分割した各状態の画素毎に尤も確からしい相関方向を仮判定し、仮判定結果を少なくとも１画素以上保持する機構を有し、過去に仮判定した各状態に属する１画素以上の複数画素の確からしさにより、最終的な相関方向を決定することを特徴とする画像処理方法。
【請求項２】
相関方向による状態分割を、一状態に含む相関方向を複数とすることで、垂直方向を含む右斜め状態と垂直方向を含む左斜め状態に２分割することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
１画素前の補間画素の相関方向と現補間画素の相関方向の推移に制限を加えることを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
画素毎の相関方向を１つの系列として、各状態に至る系列の累積相関値により、尤も確からしい相関方向を持つ系列を選択することを特徴とする請求項１から３のいずれかに記載の画像処理方法。
【請求項５】
複数の相関方向に対して設定される相関項と、相関項を調整するための制限値により算出される相関値をもとに相関方向を決定する方法であって、相関項の大きさに応じて制限値の大きさを変化させ、その結果算出される相関値により、相関方向を決定することを特徴とする相関方向決定方法。
【請求項６】
相関項が所定の閾値を超える場合に相関値が大きくなるように制限値の大きさを変化させ、複数の相関方向に対して算出される相関値が最小となる相関方向を選択することを特徴とする請求項５に記載の相関方向決定方法。
【請求項７】
複数の補間方向に対する相関値をもとに補間方向を決定する方法であって、相関値をもとに補間画素の補間方向を仮決定し、前補間画素に対して仮決定または決定された補間方向による参照画素同士の画素値の差分と、補間画素に対して仮決定した補間方向による参照画素同士の画素値の差分との比較結果に基づいて、仮決定した補間方向を、前補間画素に対する補間方向に変更することを特徴とする補間方向決定方法。
【請求項８】
さらに、前補間画素に対する補間方向に設定される相関項と、補間画素に対して仮決定された補間方向に設定される相関項との比較結果に基づいて、仮決定した補間方向を、前補間画素に対する補間方向に変更することを特徴とする請求項７に記載の補間方向決定方法。
【請求項９】
設定した複数の相関方向から補間画素の相関方向を決定する画像処理方法であって、補間画素に対して相関方向を仮決定し、仮決定した相関方向と、前補間画素に対して仮決定または決定された相関方向とをもとに、画像の連続性を実現する相関方向を選択することにより相関方向を決定する画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理技術に関し、特に、飛越し走査画像を順次走査画像に変換する際や、スケーリング処理時の補間技術に関する。
【０００２】
【従来の技術】
飛越し操作画像を順次走査画像に変換するＩＰ変換におけるフィールド内補間法に分類される補間画素生成方法の１つに例えば特許文献１に代表される斜め補間技術がある。この技術の基となるところは、図１に示すように補間画素の上ラインと下ラインにおいて補間画素を中心として相対する対応画素間の画素値差（相関値）が最も小さい組を探し、この組の画素値平均を補間画素値とする手法である。しかしながら、このように対応画素（以下、補間画素値を得るために使用する意味を強調するため、「参照画素」と呼ぶ。）同士の差を相関値として用いるだけでは間違った方向で補間することが多くなる。
【０００３】
そのため図２（ａ）に示すように、相対する参照画素間の差を求める際に、参照画素周辺を含めた画素値差を相関値とすることにより、より確からしい相関方向を選ぶようにするアプローチが考えられている。しかしながら、このようにしても目立つ補間ミスがあるため、従来の斜め補間では、さらに修正して、図２（ｂ）に示すように、最終的に決定される補間画素値が補間画素の周辺画素値から推測される範囲からなるべく逸脱しないようにしている。すなわち、補間画素周辺から推測される範囲から補間値が逸脱する場合は逸脱する量を相関値に加算する形式を取っている。このように、従来斜め補間では、参照画素周辺を含めた差としての相関項Ｒと補間画素周辺の値による制限項Ｔの和を相関値ＰＲとしている。
【０００４】
以下、数式を用いて従来手法の一例を示す。
今、補間画素のｘｙ座標を（ｃｘ，ｃｙ）とした場合、この補間画素に対する相関方向ｓの参照画素の座標は、補間画素の真上のライン中に存在する（ｃｘ−ｓ，ｃｙ−１）および真下のライン中に存在する（ｃｘ＋ｓ，ｃｙ＋１）となる。座標（ｘ，ｙ）の画素値をｖ［ｘ，ｙ］で表すと、補間画素に対する相関方向がｓｆｔである場合の補間画素値Ｗは次式により求まる。
（数式１）  Ｗ［ｃｘ，ｃｙ，ｓｆｔ］  ＝  （ｖ［ｃｘ−ｓｆｔ，  ｃｙ−１］  ＋  ｖ［ｃｘ＋ｓｆｔ，ｃｙ＋１］）／２
【０００５】
従来の斜め補間において、座標（ｃｘ，ｃｙ）の補間画素値ｖ［ｃｘ，ｃｙ］は、補間画素（ｃｘ，ｃｙ）に対する各相関方向ｓの相関値ＰＲ［ｓ］を求め、相関値ＰＲが最小となる相関方向ｓｆｔを決定することにより得られる。すなわち、補間画素値は、補間画素のｘｙ座標と相関方向ｓｆｔさえ決定すれば、次式により得ることができる。
（数式２）  ｖ［ｃｘ，ｃｙ］  ＝  Ｗ［ｃｘ，ｃｙ，ｓｆｔ］
【０００６】
補間画素（ｃｘ，ｃｙ）に対する相関方向ｓの相関値ＰＲ［ｓ］は、参照画素とその周辺の差としての相関項Ｒと補間画素周辺の値による制限項Ｔを、適切な比率αとβを用いて加算することで求める。
（数式３）  ＰＲ［ｓ］  ＝α×Ｒ［ｓ］＋β×Ｔ［ｓ］
【０００７】
補間画素（ｃｘ，ｃｙ）に対する参照画素周辺を含めた相関項Ｒ［ｓ］は次式で定義できる。
【数１】
2004304504.tif 000003
ここで、αｉ，ｊは各相関項の重みを表す。また、補間画素（ｃｘ，ｃｙ）に対する補間画素周辺の値による制限項Ｔ［ｓ］は次式より得られる。
（数式５）  Ｔ［ｓ］＝｜Ｍａｘ（（Ｗ［ｃｘ，ｃｙ，ｓ］−ｔｍａｘ＿ｖ），０）｜＋｜Ｍａｘ（（ｔｍｉｎ＿ｖ−Ｗ［ｃｘ，ｃｙ，ｓ］），０）｜
【０００８】
ここで、Ｍａｘ（ａ，ｂ，ｃ，．．．）およびＭｉｎ（ａ，ｂ，ｃ，．．．）は、それぞれ値ａ，ｂ，ｃ，．．．中の最大値と最小値を求める関数を表すものとする。また、補間画素（ｃｘ，ｃｙ）の周辺画素値から推定される補間画素値の上限ｔｍａｘ＿ｖと下限ｔｍｉｎ＿ｖは次式となる。
【数２】
2004304504.tif 000004
なお、従来手法で相関値ＰＲが最小となる相関方向ｓｆｔの決定は、相関方向ｓ＝０から左右方向へ山登り探索を用いて決定することもある。
【０００９】
【特許文献１】
特開２００１−３４６７０３号公報
【００１０】
【発明が解決しようとする課題】
上記の従来例から明らかなように、従来手法の性能は、補間画素に対する相関項Ｒと制限項Ｔの加算比率α（αｉ，ｊを含む）とβにより左右される。このように相関項Ｒと制限項Ｔのトレードオフにより成り立つシステムでは、特定の画像パターンによっては弊害をもたらすことがある。本明細書で提案する手法は、この弊害の発生確率を下げることを主目標とする。
【００１１】
上述した従来の斜め補間法において、正しい補間方向を選択できない画像パターンの一つとして図３に示すような傾斜の緩い細い斜め線がある。このような画像において、白地に黒線を引いたラインは、存在するラインだけでは、斜め線の途中が途切れることになる。この途切れた部分において従来の斜め補間法により補間値を求めると、上下方向を正しい方向とみなし、四角で示す補間画素の画素値は白レベルとなり、結果として線が途切れた斜め破線が形成されることになる。
【００１２】
この原因としては、相関項Ｒに対し制限項Ｔが効きすぎているケースが多い。そのため、制限項Ｔの比率を下げることにより正しい補間を行うようにすることも可能であるが、どのような画像パターンでも制限項Ｔを下げておくと、制限項Ｔの意味が薄れ、間違った方向に補間しやすくなるという問題がある。
【００１３】
また、図３において四角で示した補間画素で相関項Ｒの特性が図４のように複数の極小をもつケースでは、制限項Ｔの比率βを０にしても斜線が繋がらず、破線となる。これは真の相関方向が４であるにもかかわらず、相関項Ｒが垂直方向（ｓ＝０）近辺で極小になるためであり、このことは、従来の斜め補間法に補間限界が存在していることを示している。
【００１４】
更に、従来の斜め補間法の根本的な問題に、ドット状の妨害を発生し易いことがある。例えば、図３の四角で示す補間画素（ｃｘ，ｃｙ）で相関方向がそれまでの４から−１に急激に変化し、その次の補間画素（ｃｘ＋１，ｃｙ）で相関方向が４に戻ると、黒線の中の画素（ｃｘ，ｃｙ）に白のドットが現われることになる。このようなドット状の妨害は、相関方向が大きく変化する場合に発生しやすく、これは、従来の斜め補間法が画素毎に独立して相関方向を決定していることに起因する。
【００１５】
したがって、本発明は、従来の斜め補間法における問題を解決することのできる新規な画像処理技術を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記課題を解決するために、本発明のある態様は、相関方向により状態を分割し、分割した各状態の画素毎に尤も確からしい相関方向を仮判定し、仮判定結果を少なくとも１画素以上保持する機構を有し、過去に仮判定した各状態に属する１画素以上の複数画素の確からしさにより、最終的な相関方向を決定する画像処理方法を提供する。相関方向による状態分割を、一状態に含む相関方向を複数とすることで、垂直方向を含む右斜め状態と垂直方向を含む左斜め状態に２分割してもよい。また、１画素前の補間画素の相関方向と現補間画素の相関方向の推移に制限を加えてもよい。画素毎の相関方向を１つの系列として、各状態に至る系列の累積相関値により、尤も確からしい相関方向を持つ系列を選択してもよい。
【００１７】
この画像処理方法は、例えば動きに応じてフィールド内補間とフレーム間補間とを切り替える動き適応ＩＰ変換処理におけるフィールド内補間処理に利用することが可能である。この画像処理方法は、斜め補間回路としてフィールド内補間処理部に実装することができる。なお、斜め補間処理による遅延を吸収するために、フィールド間補間処理部などに適切な遅延等のタイミング調整措置を講じることにより、ＩＰ変換処理を実現することができる。また、この画像処理方法はＩＰ変換処理以外にも、例えばスケーリング処理時の補間技術としても利用することができ、その他、様々な場面において利用することが可能である。
【００１８】
本発明の別の態様は、複数の相関方向に対して設定される相関項と、相関項を調整するための制限値により算出される相関値をもとに相関方向を決定する方法であって、相関項の大きさに応じて制限値の大きさを変化させ、その結果算出される相関値により、相関方向を決定する相関方向決定方法を提供する。相関項が所定の閾値を超える場合に相関値が大きくなるように制限値の大きさを変化させ、複数の相関方向に対して算出される相関値が最小となる相関方向を選択してもよい。
【００１９】
本発明のさらに別の態様は、複数の補間方向に対する相関値をもとに補間方向を決定する方法であって、相関値をもとに補間画素の補間方向を仮決定し、前補間画素に対して仮決定または決定された補間方向による参照画素同士の画素値の差分と、補間画素に対して仮決定した補間方向による参照画素同士の画素値の差分との比較結果に基づいて、仮決定した補間方向を、前補間画素に対する補間方向に変更する補間方向決定方法を提供する。さらに、前補間画素に対する補間方向に設定される相関項と、補間画素に対して仮決定された補間方向に設定される相関項との比較結果に基づいて、仮決定した補間方向を、前補間画素に対する補間方向に変更してもよい。
【００２０】
本発明のさらに別の態様は、設定した複数の相関方向から補間画素の相関方向を決定する画像処理方法であって、補間画素に対して相関方向を仮決定し、仮決定した相関方向と、前補間画素に対して仮決定または決定された相関方向とをもとに、画像の連続性を実現する相関方向を選択することにより相関方向を決定する画像処理方法を提供する。
【００２１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
【００２２】
【発明の実施の形態】
本発明者は、従来の斜め補間法における課題の解決法を探った結果、現補間画素の補間方向を隣接補間画素の補間方向と大きく変えないように制御し、また従来のように１画素づつ補間方向を決定するのではなく、より大局的に複数画素で補間方向を決定することにより、従来の課題を解決できる可能性があるとの考えに想到するに至った。
【００２３】
本発明者は、磁気記録や通信分野においてリアルタイム処理可能な最尤復号法としてよく知られているビタビ・アルゴリズムに着目した。ビタビ・アルゴリズムは、実際の受信系列Ｄ’を観測したとき、その受信系列Ｄ’が符号化された符号系列Ｂに対する理想的な受信系列Ｄに属する確からしさを用い、すなわち尤度ＰＰ（Ｄ’｜Ｄ）を用い、より確からしい系列を選択する最尤法（ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ  ｍｅｔｈｏｄ）を、符号語ｂとこれに対応する理想的な受信値ｄの関係を表すトレリス線図上で実現する手法である。すなわち、ビタビ・アルゴリズムは、１つ前の時点で確からしいと判定したトレリス線図上の符号語系列それぞれに対し、尤度ＰＰを評価値として確からしいと見なした現時点の符号語をトレリス線図上に追加していくことを特徴とする。ビタビ・アルゴリズムの従来例としては、例えば本発明者により提案されている特許第２９７０９８５号を参照されたい。本実施の形態では、相関方向を状態とし、相関値を尤度として取り扱うことで、ビタビ・アルゴリズムの遅延判定機構を応用発展させた補間方法を実現する。
【００２４】
トレリス線図の具体例として、状態ＳＬとＳＲの２状態を持ち、時点ｃｘ−１から時点ｃｘ間を表すトレリス線図を図５に示す。図５において各状態に至る枝Ｌｌ，Ｒｌ，Ｌｒ，Ｒｒには、それぞれ固定された符号語ｂとこれに対応する理想的な受信値ｄが定まっているものとする。ビタビ・アルゴリズムでは、時点ｃｘにおける系列の選択を、枝の負の尤度Ｐ（以下では、「尤度」は特に「正の尤度」と断らない限り「負の尤度」とする。）と枝の起点となる状態の尤度ｐＳを加算した値をその枝を含む系列（パス）の尤度とし、各状態に至る尤度の小さい方を選ぶことによって、パスを選択する。なお、ここでは前述のように負の尤度を用いていることとするため、小さい方が確からしいことが判定される。この処理を、数式８と数式９を用いて表す。
（数式８）  ｐＳＬ（ｃｘ）  ＝  Ｍｉｎ｛  ｐＳＬ（ｃｘ−１）＋Ｐ［Ｌｌ］，  ｐＳＲ（ｃｘ−１）＋Ｐ［Ｒｌ］｝
（数式９）  ｐＳＲ（ｃｘ）  ＝  Ｍｉｎ｛  ｐＳＬ（ｃｘ−１）＋Ｐ［Ｌｒ］，  ｐＳＲ（ｃｘ−１）＋Ｐ［Ｒｒ］｝
ここで、Ｐ［Ｌｌ］は枝Ｌｌの尤度、ｐＳＬ（ｃｘ−１）は時点ｃｘ−１での状態ＳＬの尤度すなわち状態ＳＬに至る尤も確からしいパスの尤度を表す。
【００２５】
図６は、トレリス線図上でのパスの選択結果の一例を示す。図では時点ｃｘ−２の各状態に至るパスとしてＬ１系列とＬｒ系列が選択されているため、ｃｘ−３以前のパスが１本化（マージ）されて、生き残りパスが決定されている。これにより、生き残りパスを構成する時点ｃｘ−４のＬｌ枝と、時点ｃｘ−３でのＬｌ枝に対応した符号語が真の値として最終決定される。なお、ｃｘ−２〜ｃｘではパスが２本あるため、仮判定状態であり、まだ真の値は決定されていない。
【００２６】
ビタビ・アルゴリズムは、記録符号やＭＳＫなどの変調方式による規則性を持った信号系列の復号や復調に有効である。一方で、画像のように隣接画素間に緩やかな関連しかもたない分野、言い換えれば尤度を規定することが困難な分野には、従来ではビタビ・アルゴリズムの適用は不可能と考えられてきた。しかしながら本発明者は、トレリス線図を用いた遅延判定部分やその構成法に関して、ビタビ・アルゴリズムを画像空間に適応することの可能性を検討した。その結果、画素毎の相関方向を１つの系列とみなし、相関値ＰＲを負の尤度とみなして水平方向（スキャン方向順に左から右に）に駆動させることで、１画素毎の相関方向を生かしながら、複数画素間に一体性を持たせた補間が可能となるのではという考えに想到した。
【００２７】
ビタビ・アルゴリズムを実際のシステムに適応する際に重要となるのは、実用上問題のない状態数でトレリス線図を描けるか否かである。単純に考えるなら、画像に対してトレリス線図を規定することは困難である。例えば、相関方向が±４画素に限定される画像しか現われないと仮定しても、画像内に現われる相関方向は９つある。画像内に現われる画像パターンは様々であるので、現補間画素に対する相関方向とその１画素前の補間画素に対する相関方向との組み合わせ数は８１（＝９×９）と非常に多くなる。相関方向を状態と置き換えて表現すると、図７（ａ）に示すように、現画素（ｃｘ）の任意の状態には常に１画素前（ｃｘ−１）の全ての状態から推移する可能性があり、非常に複雑となることが感覚的に理解される。なお、図７で、丸印は各相関方向に対応する状態を表す。また、状態間の線分（枝）は隣接する画素間での相関方向の推移を表している。すなわち、画素ｃｘ−１のある状態（相関方向）から画素ｃｘのある状態（相関方向）へ相関方向が変化（推移）することを表す。
【００２８】
そこで、本発明者は、補間画素値を厳密に求めるのではなくある程度近似的に求めることにより、従来の斜め補間手法より総合的に良い画像が得られるのではとの考えから、図７（ａ）のトレリス線図を縮退することにした。なお、本実施の形態において、画素値は輝度値であってよく、また色差信号のＲ−Ｙ値、Ｂ−Ｙ値やＲＧＢ信号のＲ値、Ｇ値、Ｂ値等であってもよい。
【００２９】
まず、相関方向を左斜め状態ＳＬ（図では０〜＋４方向）と右斜め状態ＳＲ（図では０〜−４方向）の２状態に分けた。そして、ＳＬ（ｃｘ−１）（画素ｃｘ−１での状態ＳＬ）からＳＬ（ｃｘ）（画素ｃｘでの状態ＳＬ）へ推移する枝のように同じ状態間で推移する枝と、ＳＲ（ｃｘ−１）（画素ｃｘ−１での状態ＳＲ）からＳＬ（ｃｘ）へ推移する枝のように相反する状態間で推移する枝とでトレリス線図を構成した（図７（ｂ）参照）。なお、相反する状態とは、状態ＳＬに対し状態ＳＲは相反し、状態ＳＲに対し状態ＳＬは相反することを意味する。
【００３０】
次に、同じ状態間の推移において相関方向が急激に変化することを抑圧するために、同じ状態間の相関方向の推移も限定した。図７（ｃ）の例では、現画素の相関方向を前画素の相関方向の±１画素以内に限定した。
【００３１】
最後に、相反する状態間の推移において、図７（ｄ）で示すように現画素の相関方向を前画素の相反する状態の相関方向の符号を付け替えた相関方向とした逆相の枝を追加した。以上のように、一状態に含む相関方向を複数とすることで相関方向の状態数を削減し、かつ１画素前の補間画素と現補間画素との状態間の推移に制限を加えることで、実用上問題ないレベルまでトレリス線図の縮退を行った。
【００３２】
これにより、実際のハードウェアでは制御フローは図８に示すように、状態ＳＲに属する右斜め系列と状態ＳＬに属する左斜め系列を別個に仮判定し、仮判定された系列を他の系列に後述する適切な判断に従いコピーすることで真の補間値を得る構成となった。なお、上述の例では、説明のために、現われる相関方向を±４画素に限定したが、実際の相関方向は更に大となる。しかしながら、本実施の形態では、トレリス線図を縮退することにより、±４画素に限定した場合に限らず、他の画素数に設定した場合であっても、仮判定結果から真の補間値を得ることが可能である。
【００３３】
系列の選択手法を説明する前に、縮退のルールを決める際の指標ともなった従来の課題を緩和する仮判定手法について説明する。
【００３４】
まず、従来、相関項Ｒに対し制限項Ｔの影響が大きすぎることにより適切な斜め補間を行えない問題を解決する手法を示す。正しい相関方向であるなら相関値Ｒ［ｓ］が小さいことを利用し、画像パターンに応じ制限項Ｔを緩和する適応的制限項緩和手法を考案した。これは、垂直方向から相関方向の絶対値が大きくなる方向順に相関値の最小値を検出する最小相関検出ループにおいて、相関項Ｒ［ｓ］が所定値ｔｈ＿Ｒを越えるまでは制限項Ｔ［ｓ］の乗数βを低くし、ｔｈ＿Ｒを一旦越えるとそれ以降は乗数βを高くする手法である。
【００３５】
図９に最小相関検出ループの制御フローを示す。ここで、ＡＳＩＺＥはこのループで検索する相関方向の最大値を表す。制御フロー中、「Ａ＝＝Ｂ」は、ＡとＢとが等しいことを表す。ｉｎｃは相関方向ｓの増減方向を規定する変数であり、ｉｎｃを±１にすることで、左斜め方向（ｉｎｃ＝＋１）と右斜め方向（ｉｎｃ＝−１）の最小相関を検出することができる。
【００３６】
図中、適応的制限項緩和法は制御フラグ変数ｅｘｃｅｐｔ＿ｆを用い、βをｆａｃｔ＿βにすることにより実現している。なお、ｆａｃｔ＿βは０〜１未満の値を取る。ｆａｃｔ＿βの値は、ｔｈ＿Ｒの値にもよるが制限項Ｔ［ｓ］を誤って緩和し続けてしまう弊害の発生を考慮し、１／４程度に設定することが好ましい。
【００３７】
条件ａ２部は、オフセットつきの山登り法による最小相関検出ループ処理を表している。
図１０は、１画素前の同一状態に対する最小相関方向ｓｆｔ（ｃｘ−１）近辺において現画素における相関値ＰＲ［ｓ］が最小となる例を表している。この例に対し、ｓ＝０から従来の山登り法を行うとＰＲ［０］＜ＰＲ［１］となるため、探索終了後の最小相関値ｍｉｎ＿ｐｒはＰＲ［０］、最小相関方向ｓｆｔは０となり、正しい相関方向を選択することができない。そこで、条件ａ２に示すようにオフセットｔｈ＿ｃを代入し、ｍｉｎ＿ｐｒ  ＋  ｔｈ＿ｃ  ＜  ＰＲ［ｓ］となった以降は、ｍｉｎ＿ｐｒ＞ＰＲ［ｓ］が成立してもｍｉｎ＿ｐｒを更新しないようにしている。なお、ｍｉｎ＿ｐｒは、初期値として十分に大きな値、例えば１０００００を入れている。
【００３８】
次に、真の相関方向を検出できずに、垂直方向近辺で極小となる相関項Ｒにより相関方向を誤判定する問題を緩和する手法を示す。この処理を、前画素補間方向参照比較処理と呼ぶ。問題となる図３のパターンを見た場合、現補間画素の補間方向を隣接補間画素の補間方向と大きく変えないように制御すれば、黒線が繋がる可能性があることが分かる。実際、エッジ等は空間内で連続しているので、最小相関方向及びその相関値は隣接画素と似た値になることが多い。そこで、前補間画素に対する補間方向ｓｆｔ（ｃｘ−１）による参照画素同士の差に比べ、現補間画素に対する最小相関検出ループにより得られた最小相関方向ｓｆｔによる参照画素同士の差が極端に大きくなり（数式１０）、かつ、現補間画素に対する最小相関検出ループ中で算出した各相関方向の相関項Ｒ［ｓ］が（数式１１）を満足する場合は、現補間画素に対する最小相関検出ループにより得た仮の最小相関方向ｓｆｔを前補間画素に対する補間方向ｓｆｔ（ｃｘ−１）とする（数式１２）。
【数３】
2004304504.tif 000005
ここで、ｔｈ＿ｄは補間画素値が急激に変化する度合いを測る変数で、余裕をみて２程度に設定しても良い。なお、上で述べた前画素補間方向参照比較処理の例は一例にすぎない。この処理の真髄は、１画素前の補間方向ｓｆｔ（ｃｘ−１）が現補間画素においても信頼できる場合には、それを利用することを意味する。極論すると、基本は（数式１１）が成立すれば、（数式１２）を実行できるとすることができるが、前補間画素の補間方向が間違っている場合を考慮して、（数式１０）を追加したり、Ｒ［ｓｆｔ（ｃｘ−１）］とＲ［ｓｆｔ］の差が大きい場合の処理などとすることで、制約項をつけて実現してもよい。
【００３９】
また、従来の斜め補間法に発生するドット状の妨害の問題を解決する手法を示す。この処理を、画素に対するゴム紐の処理と呼び、その特徴を図１１に示す。この処理では、隣接補間画素の補間方向や補間画素値を考慮して現補間画素の補間方向もしくは補間画素値を決定する。ゴム紐の処理は、画像内の各画素はその周辺画素と相関を持ち互いに関連しあっていることをベースとする。
【００４０】
具体的には、最小相関検出ループや前画素補間方向参照比較処理により算出した現補間画素ｃｘに対する補間方向ｓｆｔを、前補間画素の補間方向ｓｆｔ（ｃｘ−１）に近づける処理を行う。すなわち、数式１３の制約条件を満たさない場合は、数式１４により補間方向ｓｆｔを変更する。
【数４】
2004304504.tif 000006
ここで、ｔｈ＿ｅはどの程度近づけるかを制御する変数で、検索範囲ＡＳＩＺＥにもよるがＡＳＩＺＥ＝１０［ｐｅｌ］程度なら図７（ｃ）で示したようにｔｈ＿ｅ＝１［ｐｅｌ］でも良い。なお、ＡＳＩＺＥが大である場合や処理時間に余裕がある場合は、真の値への収束を早めるため、前補間画素の画素値Ｗ［ｃｘ−１，ｃｙ，ｓｆｔ（ｃｘ−１）］と現補間画素に対してここまで算出してきた相関方向ｓｆｔによる補間値Ｗ［ｃｘ，ｃｙ，ｓｆｔ］との差がある範囲ｔｈ＿ｆに収まる限り（数式１５）、数式１４にて得た相関方向ｓｆｔを最小相関検出ループ結果もしくは前画素補間方向参照比較結果である相関方向ｓｆｔに近づけても良い。
（数式１５）  ｜Ｗ［ｃｘ−１，ｃｙ，ｓｆｔ（ｃｘ−１）］  −  Ｗ［ｃｘ，ｃｙ，ｓｆｔ］｜  ＜  ｔｈ＿ｆ
【００４１】
ここまで、相関方向と補間方向の用語を混在して用いてきたが、本実施の形態では相関方向と補間方向がほぼ同意義で用いることができるため、以下では、特別に断らない限り相関方向が補間方向を表していると解釈してもよい。
【００４２】
前述したゴム紐の処理を数式１３と数式１４を用いて行うと、急峻に補間方向が変化するパターンでは追随できないことがある。例えば、図１２のような円の頂きのように補間方向が急激に変化するパターンがそれである。これに対応する手段として数式１５を用いることも有用であるが、処理時間の関係上使用できないこともある。
【００４３】
そこで、以下では新たな手段として、図７（ｄ）にて説明した、１画素前の相反する状態の相関方向の符号を反転させた相関方向を現補間画素の逆相の相関方向として追加する。これを、逆相の処理と呼ぶ。図７（ｄ）では、１画素前の右斜めの相関方向がＲ＿ｓｆｔ（ｃｘ−１）である場合は現画素の左斜め逆相相関方向Ｒｌ＿ｓｆｔは数式１６で求め、１画素前の左斜めの相関方向がＬ＿ｓｆｔ（ｃｘ−１）である場合は現画素の右斜め逆相相関方向Ｌｒ＿ｓｆｔは数式１７で求めている。
（数式１６）  Ｒｌ＿ｓｆｔ  ＝  −Ｒ＿ｓｆｔ（ｃｘ−１）
（数式１７）  Ｌｒ＿ｓｆｔ  ＝  −Ｌ＿ｓｆｔ（ｃｘ−１）
【００４４】
なお、数式１６と数式１７を用いて処理時間に余裕がある場合は、以下の処理により逆相の相関方向を求めても良い。
【数５】
2004304504.tif 000007
ここで、ＡＳＩＺＥは最小相関値算出範囲の半分の画素数とする。また、Ｒｌ＿ｓｆｔに対する相関値ＰＲ［Ｒｌ＿ｓｆｔ］およびＬｒ＿ｓｆｔに対する相関値ＰＲ［Ｌｒ＿ｓｆｔ］は、図９の最小相関検出ループ内の相関値ＰＲを全相関方向に渡り退避させたものを参照して決定するものとする。また、理解を容易にするため、数式１５より以前に用いられた現補間画素に対する最小相関値となる相関方向ｓｆｔは、以降では、図９にてｉｎｃ＝１で得た左斜め方向の最小相関値となる相関方向をＬｌ＿ｓｆｔ、ｉｎｃ＝−１で得た右斜め方向の最小相関値となる相関方向をＲｒ＿ｓｆｔとして説明を行う。
【００４５】
上述してきた処理をまとめると図１３に示すフローチャートで表現できる。このフローチャートは、最小相関検出ループとのパイプライン化を考慮したものである。前画素補間方向参照比較処理、ゴム紐の処理では、１画素前の補間画素に対する補間方向をフィードバックして現画素の相関方向の算出に用いるため、図１３に示すように逆相の処理と正相の処理（前画素補間方向参照比較処理とゴム紐の処理）を並列で処理することにより、最小相関検出ループとの効率的なパイプライン化を実現することができる。なお、最小相関検出ループで１画素前の補間画素に対する補間方向をフィードバックし用いると正しい相関方向を選ぶ性能が向上する。なお、処理時間を考慮する場合には、数式１５を用いずに簡易化した処理を用いてもよい。
【００４６】
これらの簡易化でもリアルタイム性を満たせない場合は、前画素補間方向参照比較処理を行わず最小相関検出ループ後にゴム紐の処理を行っても良い。また、１画素前の結果を参照する代わりに２画素前の結果を参照しても良い。
【００４７】
このようにして求められた正相および逆相に対する相関方向ｓｆｔ、相関値ＰＲ［ｓｆｔ］、補間画素Ｗ［ｃｘ，ｃｙ，ｓｆｔ］の仮判定結果は、以下に説明する系列選択すなわち「マージ」により取捨選択され真の判定結果となる。
【００４８】
一般的なビタビ・アルゴリズムのマージ条件である数式８と数式９から、遅延判定を用いた斜め相関手法での系列選択条件は、以下のようになる。
【数６】
2004304504.tif 000008
ここで、Ｌｌ＿ｓｆｔは画素ｃｘの左斜め状態ＳＬにおける正相の相関方向を表し、ＰＲ［Ｌｌ＿ｓｆｔ］は枝Ｌｌ＿ｓｆｔ（相関方向Ｌｌ＿ｓｆｔ）の相関値、ｐｒＳＬ（ｃｘ−１）は画素ｃｘ−１での状態ＳＬの累積相関すなわち状態ＳＬに至る尤も確からしいパスを構成する各枝の相関値を累積加算した値を表す。
【００４９】
なお、画像自体の規則性が脆弱であることと、本方式の特徴でもある縮退した状態の使用および推移枝の制限に対応するべく、数式２０と数式２１に対応するマージ条件を拡張することが好ましい。図１４では、縮退したトレリス線図上における４種類のマージの状態と、各マージの縮退前状態でのパスの一例を示している。以下、拡張されたマージ条件について説明する。
【００５０】
画像空間上でのマージは、パスの累積相関（パスに含まれる各枝の相関値の累積値）の他に、各パスに対応する補間画素値の系列の挙動、更には現補間画素周辺の画素値により決定される。
【００５１】
マージは、図１５に示すように左斜め状態系列ＳＬに対応する補間画素値と右斜め状態系列ＳＲに対応する補間画素値が交わるか、補間画素の値が極めて近くなった場合（以下の表１では、ｔｈ＿ｇを用いて調整）に発生する。
【００５２】
また、ＬＬ：ｌＲマージやｒＬ：ＲＲマージでは、図１２に示したように現補間画素周辺が水平方向の相関が強いことを考慮する必要がある。このため、次の数式２２と数式２３を満足する場合のみｆｌａｔ＿ｆ＝ＯＮとした後、マージ条件を更に検査して行くかを決定する必要がある。
（数式２２）  ｖ［ｃｘ−２，ｃｙ−１］  −  ｖ［ｃｘ＋２，ｃｙ−１］  ＜  ｔｈ＿ｈ
（数式２３）  ｖ［ｃｘ−２，ｃｙ−１］  −  ｖ［ｃｘ＋２，ｃｙ−１］  ＜  ｔｈ＿ｈ
ここで、ｔｈ＿ｈは水平相関の検出強度を調整する変数で、画素値ｖの値が０〜２５５の範囲である場合、１０〜５程度に設定することが好ましい。これらのマージ条件の一例をまとめた表１を以下に示す。
【００５３】
【表１】
2004304504.tif 000009
【００５４】
なお、表１中、Ｌｒ＿ｓｆｔ（ｃｘ−１）は現画素ｃｘの１画素前すなわちｃｘ−１画素で決定した相関方向Ｌｒ＿ｓｆｔを、Ｒｌ＿ｓｆｔ（ｃｘ−１）はｃｘ−１画素で決定した相関方向Ｒｌ＿ｓｆｔを表すものとする。また、処理部のＬｒｅｇ，Ｒｒｅｇは仮判定結果をＮ画素分保持するシフトレジスタを表す。
【００５５】
表１に示したマージ条件を更に拡張することにより性能アップを図ることができる。例えば、パス中の相関値が急激に大きくなった場合はそのパスを破棄するなどの条件の拡張がある。なお、表中のマージ条件を判定する際に、Ｌｌ＿ｓｆｔ（ｃｘ−１）をＬｒｅｇ［０］で、Ｒｒ＿ｓｆｔ（ｃｘ−１）をＲｒｅｇ［０］で代用する等の工夫をすることによりハードウェア規模の削減を図ることも好ましい。
【００５６】
図１６は、遅延判定を用いた斜め補間法を実現する画像処理回路１の一例を示す。入力画像データ蓄積部２が、入力された画像データを蓄積する。左斜め相関算出部３では左斜め相関方向Ｌｌ＿ｓｆｔおよびＲｌ＿ｓｆｔとこれら各々に対応する相関値ＰＲ［Ｌｌ＿ｓｆｔ］，ＰＲ［Ｒｌ＿ｓｆｔ］、補間画素値Ｗ［ｃｘ，ｃｙ，Ｌｌ＿ｓｆｔ］、Ｗ［ｃｘ，ｃｙ，Ｒｌ＿ｓｆｔ］を算出する。右斜め相関算出部４では右斜め相関方向Ｒｒ＿ｓｆｔおよびＬｒ＿ｓｆｔとこれら各々に対応する相関値ＰＲ［Ｒｒ＿ｓｆｔ］，ＰＲ［Ｌｒ＿ｓｆｔ］、補間画素値Ｗ［ｃｘ，ｃｙ，Ｒｒ＿ｓｆｔ］、Ｗ［ｃｘ，ｃｙ，Ｌｒ＿ｓｆｔ］を算出する。１画素前のこれらの値を内部保持する機構等により参照可能なマージ判定部６では、内部保持する左斜め状態の累積相関ｐｒＳＬ（ｃｘ−１）および右斜め状態の累積相関ｐｒＳＲ（ｃｘ−１）を使用し、表１のマージ条件に従いマージの有無を判定する。一旦マージ種別が決定したら、表１中の対応するマージ処理手順に従い、左斜め補間値系列退避シフトレジスタ７Ｌｒｅｇ［１］〜Ｌｒｅｇ［Ｎ−１］と右斜め補間値系列退避シフトレジスタ８Ｒｒｅｇ［１］〜Ｒｒｅｇ［Ｎ−１］の間で適宜コピーを行い、Ｌｌ，ＲｌスイッチによりＬｒｅｇ［０］に適切な値を入れ、Ｌｒ，Ｒｒスイッチを切り替えによりＲｒｅｇ［０］に適切な値を入れる。なお、１画素の処理を行うごとにシフトレジスタＬｒｅｇおよびＲｒｅｇは、表１のマージ処理を行う処理の直前で右へ１画素分のデータをシフトし、右端から確定した補間値を得るものとする。また、ハードウェア規模の削減のため、シフトレジタＬｒｅｇ［１］〜Ｌｒｅｇ［Ｎ−１］およびＲｒｅｇ［１］〜Ｒｒｅｇ［Ｎ−１］は、それぞれＬｒｅｇ［０］およびＲｒｅｇ［０］から出力される補間画素値Ｗのみを退避する。周辺画素値状態検査回路５は、数式２２、数式２３を実装し、水平相関等の周辺状態ｆｌａｔ＿ｆをマージ判定部６に送る。また、マージ判定部６は、マージがＮフィールド間起こらなかった場合、ＬｒｅｇとＲｒｅｇの値が出力段において一致しないので、この場合に備えＬｒｅｇ［Ｎ−１］出力とＲｒｅｇ［Ｎ−１］出力の選択をｐｒＳＬ（ｃｘ）およびｐｒＳＲ（ｃｘ）の大小関係により切り替える。例えば、ｐｒＳＬ（ｃｘ）＞ｐｒ＿ＳＲ（ｃｘ）の場合はＲｒｅｇ［Ｎ−１］出力を選択する。
【００５７】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施の形態では、ＩＰ変換時の斜め補間を例にとり説明しているが、本技術は、縦方向や斜め方向にも適用することで、スケーリング時の補間画素値の算出に使用することもできる。また、本実施の形態にて説明した技術を用いれば、画素間の相関方向を知ることができるので、動き補償による補間と組み合わせることで、より高精度の補間器を構成することができる。このような補間器では、例えば、動き補償の正誤を判定する評価基準として使用することができる。更に、本実施の形態にて説明した技術を用いれば画素間の相関方向を知ることができるので、従来のエッジ検出等では断線化してしまうエッジを正しく連結可能であり、輪郭抽出等の画像認識技術にも応用が可能である。
【００５８】
【発明の効果】
本発明によれば、明確な相関性が脆弱な系において相関方向を限定し近似的な解を求めることで、ハード化可能な規模で、従来手法では誤るパターンに対し正しいパターンを選ぶことが可能となる。すなわち、従来の斜め補間法による手法では不可能であったパターンでも正しく補間することができる。また、状態数分だけ系列を保持可能となるため、システムとしての自由度が大きくなる。すなわち、本手法では２系統をもつため、効果が出る系列のみを選択可能とすることで、システムの柔軟性を向上することができる。また、本手法により補間を行うと、隣接する画素間での補間方向が揃う可能性が高くなるため、画像の見た目が良くなるという利点がある。さらに相関方向の急激な変化を抑制するため、ドット状の妨害が発生しにくく、またジャギ妨害を軽減することができる。
【図面の簡単な説明】
【図１】従来の斜め補間方法を説明するための図である。
【図２】従来の斜め補間方法を説明するための図である。
【図３】従来の斜め補間方法を説明するための図である。
【図４】複数の相関方向に対する相関項Ｒの一例を示す図である。
【図５】トレリス線図を説明するための図である。
【図６】トレリス線図上でのパスの選択結果の例を示す図である。
【図７】トレリス線図上での状態数を縮退させる例を示す図である。
【図８】実施の形態における遅延判定を用いた斜め補間方法の制御フローチャートである。
【図９】最小相関検出ループの制御フローチャートである。
【図１０】オフセット付山登り法を説明するための図である。
【図１１】実施の形態におけるゴム紐の処理を説明するための図である。
【図１２】実施の形態における逆相処理を説明するための図である。
【図１３】実施の形態における最小相関方向算出処理のフローチャートである。
【図１４】マージの種類を説明するための図である。
【図１５】マージ画素における補間画素値の挙動を示す図である。
【図１６】画像処理回路のハードウェア構成を示す図である。
【符号の説明】
１・・・画像処理回路、２・・・入力画像データ蓄積部、３・・・左斜め相関算出部、４・・・右斜め相関算出部、５・・・周辺画素値状態検査回路、６・・・マージ判定部、７・・・左斜め補間値系列退避シフトレジスタ、８・・・右斜め補間値系列退避シフトレジスタ。
【図１】
2004304504.tif 000010
【図２】
2004304504.tif 000011
【図３】
2004304504.tif 000012
【図４】
2004304504.tif 000013
【図５】
2004304504.tif 000014
【図６】
2004304504.tif 000015
【図７】
2004304504.tif 000016
【図８】
2004304504.tif 000017
【図９】
2004304504.tif 000018
【図１０】
2004304504.tif 000019
【図１１】
2004304504.tif 000020
【図１２】
2004304504.tif 000021
【図１３】
2004304504.tif 000022
【図１４】
2004304504.tif 000023
【図１５】
2004304504.tif 000024
【図１６】
2004304504.tif 000025