(57)【要約】【課題】インタレース走査の映像信号をプログレッシブ走査の映像信号に変換する際、周囲の画素との相関を考慮した精度の高いエッジの方向判定を行い、高精細な補間画像を生成できるようにする。【解決手段】インタレース走査の映像信号に対し、着目画素位置を中心とした領域に分割してクラスター分析回路によりクラスター分析処理を行い、クラスター分析処理の結果を用いて処理を行った領域の画像の形状とフィールド間の画像の動きとを相関判定回路により判定し、判定結果を基に生成された補間信号とインタレース走査の映像信号とを交互にプログレッシブ変換回路より出力するようにして、周囲の画素との相関を考慮したエッジの方向判定を可能にし、エッジの方向判定の精度を向上させ高精細な補間画像を生成できるようにする。【選択図】図１
2009170969.tif 000002
【特許請求の範囲】
【請求項１】
インタレース走査の映像信号を少なくとも１フィールド分保持する保持手段と、
前記インタレース走査の映像信号に対し、着目画素位置を中心とした領域に分割してクラスター分析処理を行う分析処理手段と、
前記分析処理手段によるクラスター分析処理の結果を用いて、クラスター分析処理を行った領域の画像の形状とフィールド間の画像の動きとを判定する判定手段と、
前記判定手段での判定の結果に基づいて、参照画素位置の画素値を前記着目画素位置からの距離に応じて重み付けして加算しフィールド内補間信号を生成する第１の補間信号生成手段と、
前記判定手段での判定の結果に基づいて、前記保持手段より出力された１フィールド前の映像信号と、前記第１の補間信号生成手段により生成されたフィールド内補間信号とから補間信号を生成する第２の補間信号生成手段と、
入力された前記インタレース走査の映像信号と、前記第２の補間信号生成手段により生成された補間信号とを交互に出力する変換手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記分析処理手段は、入力される前記インタレース走査の映像信号に対してクラスター分析処理を行う第１の分析処理手段と、前記保持手段より出力された１フィールド前の映像信号に対してクラスター分析処理を行う第２の分析処理手段とを有し、
前記判定手段は、前記第１の分析処理手段及び前記第２の分析処理手段によるクラスター分析処理の結果を用いて予め用意したパターンとの比較を行い、クラスター分析処理を行った領域の画像のエッジの形状が一致しているか判定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記判定手段は、前記予め用意したパターンとクラスター分析処理を行った領域の画像のエッジの形状が一致しているか否かを判定し、
前記第２の補間信号生成手段は、前記判定手段での判定の結果に応じて、前記保持手段より出力された１フィールド前の映像信号、又は前記第１の補間信号生成手段により生成されたフィールド内補間信号の何れか一方を画素単位で選択して出力することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記判定手段は、前記予め用意したパターンとクラスター分析処理を行った領域の画像のエッジの形状が一致している画素の割合を判定し、
前記第２の補間信号生成手段は、前記判定手段により得られた前記割合に応じて、前記保持手段より出力された１フィールド前の映像信号と前記第１の補間信号生成手段により生成されたフィールド内補間信号とを合成して前記補間信号を生成することを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記判定手段は、クラスター分析処理を行った領域の画像のエッジの形状を判定する形状判定手段と、フィールド間の画像の動きを判定する動き判定手段とを有し、
前記第２の補間信号生成手段は、前記動き判定手段での判定の結果に応じて、前記保持手段より出力された１フィールド前の映像信号と前記第１の補間信号生成手段により生成されたフィールド内補間信号とを合成して前記補間信号を生成することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記動き判定手段は、前記保持手段より出力された１フィールド前の映像信号と前記第１の補間信号生成手段により生成されたフィールド内補間信号とに基づいて、フィールド間の画像の動きを判定することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記形状判定手段は、クラスター分析処理を行った領域の画像が直交している角を含んでいるかどうかを判定することを特徴とする請求項５又は６記載の画像処理装置。
【請求項８】
前記分析処理手段は、比較を行ったクラスター間の画素値の差分値が一定値以上になった場合にはクラスター分析処理を終了することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
前記分析処理手段は、画素値及び前記着目画素位置からの距離から求めたクラスター間の距離が一定値以上になった場合にはクラスター分析処理を終了することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項１０】
前記判定手段は、分割されたクラスター数が一定値以上である場合にはクラスター分析処理の分類情報のパターンの比較を行わないことを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項１１】
インタレース走査の映像信号に対し、着目画素位置を中心とした領域に分割してクラスター分析処理を行う分析処理工程と、
前記クラスター分析処理の結果を用いて、クラスター分析処理を行った領域の画像の形状とフィールド間の画像の動きとを判定する判定工程と、
前記判定工程での判定の結果に基づいて、参照画素位置の画素値を前記着目画素位置からの距離に応じて重み付けして加算しフィールド内補間信号を生成する第１の補間信号生成工程と、
前記判定工程での判定の結果に基づいて、前記インタレース走査の映像信号を少なくとも１フィールド分保持する保持手段より出力された１フィールド前の映像信号と、前記第１の補間信号生成工程にて生成されたフィールド内補間信号とから補間信号を生成する第２の補間信号生成工程と、
入力された前記インタレース走査の映像信号と、前記第２の補間信号生成工程にて生成された補間信号とを交互に出力する変換工程とを有することを特徴とする画像処理方法。
【請求項１２】
インタレース走査の映像信号に対し、着目画素位置を中心とした領域に分割してクラスター分析処理を行う分析処理ステップと、
前記クラスター分析処理の結果を用いて、クラスター分析処理を行った領域の画像の形状とフィールド間の画像の動きとを判定する判定ステップと、
前記判定ステップでの判定の結果に基づいて、参照画素位置の画素値を前記着目画素位置からの距離に応じて重み付けして加算しフィールド内補間信号を生成する第１の補間信号生成ステップと、
前記判定ステップでの判定の結果に基づいて、前記インタレース走査の映像信号を少なくとも１フィールド分保持する保持手段より出力された１フィールド前の映像信号と、前記第１の補間信号生成ステップにて生成されたフィールド内補間信号とから補間信号を生成する第２の補間信号生成ステップと、
入力された前記インタレース走査の映像信号と、前記第２の補間信号生成ステップにて生成された補間信号とを交互に出力する変換ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、詳しくはインタレース走査の映像信号をプログレッシブ走査の映像信号に変換する際の補間技術に関する。
【背景技術】
【０００２】
インタレース走査された映像信号では、非常に細かい横縞部分でフリッカが生じるなどの問題がある。この問題を改善するために、インタレース走査の映像信号を基にインタレース走査の走査線を補間して、プログレッシブ走査の映像信号として出力する方式がある。この方式では一般的に動き判定を行い、静止している場合に使用する前フィールドの信号と、動いている場合に使用する現フィールドの信号によって生成する信号とを、判定結果に応じて混合し補間信号を生成する。
【０００３】
また、補間画素のエッジ方向を判定してフィールド内補間値を生成し、エッジや斜め線に対しても有効な補間処理を行う手法（従来手法Ａ）が提案されている（例えば、特許文献１参照。）。この手法では、エッジの方向の判定は、補間画素を中心とした点対称位置の原画素の組から差分値の絶対値を求め比較することにより行い、差分値が最小となる方向を相関が高いとしてエッジの方向としていた。そして、エッジ方向とした差分値が最小となる方向の原画素の組を選択して補間処理を行うことで、斜め方向のエッジは相関が高い方向の平均値で補間され、エッジがギザギザになってしまうことを防ぐことができる。
【０００４】
【特許文献１】特開平８−１６３５１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来手法Ａでは、補間画素を中心として点対称位置となる原画素の組の差分値を単純に比較しているため、周囲の画素との相関が分かりにくいという問題があった。また、差分値が等しい方向が複数あった場合に、正しいエッジの方向を判定することができないという問題があった。
【０００６】
例えば、従来手法Ａにおいては、補間画素が実際には直交している角であった場合にも斜め方向の相関が高くなってしまい、斜め方向の原画素の組を用いた補間処理が行われて角が潰れてしまう。さらに、補間画素が直交している角で、かつ実際に静止している場合には、フィールド毎に値の違う画素値が交互に同じ位置に現れてしまうため、１画素のフリッカ（ドットフリッカ）となって見えてしまう。
【０００７】
本発明は、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換する際、周囲の画素との相関を考慮した精度の高いエッジの方向判定を行い、高精細な補間画像を生成できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、インタレース走査の映像信号を少なくとも１フィールド分保持する保持手段と、前記インタレース走査の映像信号に対し、着目画素位置を中心とした領域に分割してクラスター分析処理を行う分析処理手段と、前記分析処理手段によるクラスター分析処理の結果を用いて、クラスター分析処理を行った領域の画像の形状とフィールド間の画像の動きとを判定する判定手段と、前記判定手段での判定の結果に基づいて、参照画素位置の画素値を前記着目画素位置からの距離に応じて重み付けして加算しフィールド内補間信号を生成する第１の補間信号生成手段と、前記判定手段での判定の結果に基づいて、前記保持手段より出力された１フィールド前の映像信号と、前記第１の補間信号生成手段により生成されたフィールド内補間信号とから補間信号を生成する第２の補間信号生成手段と、入力された前記インタレース走査の映像信号と、前記第２の補間信号生成手段により生成された補間信号とを交互に出力する変換手段とを備えることを特徴とする。
本発明の画像処理方法は、インタレース走査の映像信号に対し、着目画素位置を中心とした領域に分割してクラスター分析処理を行う分析処理工程と、前記クラスター分析処理の結果を用いて、クラスター分析処理を行った領域の画像の形状とフィールド間の画像の動きとを判定する判定工程と、前記判定工程での判定の結果に基づいて、参照画素位置の画素値を前記着目画素位置からの距離に応じて重み付けして加算しフィールド内補間信号を生成する第１の補間信号生成工程と、前記判定工程での判定の結果に基づいて、前記インタレース走査の映像信号を少なくとも１フィールド分保持する保持手段より出力された１フィールド前の映像信号と、前記第１の補間信号生成工程にて生成されたフィールド内補間信号とから補間信号を生成する第２の補間信号生成工程と、入力された前記インタレース走査の映像信号と、前記第２の補間信号生成工程にて生成された補間信号とを交互に出力する変換工程とを有することを特徴とする。
本発明のプログラムは、インタレース走査の映像信号に対し、着目画素位置を中心とした領域に分割してクラスター分析処理を行う分析処理ステップと、前記クラスター分析処理の結果を用いて、クラスター分析処理を行った領域の画像の形状とフィールド間の画像の動きとを判定する判定ステップと、前記判定ステップでの判定の結果に基づいて、参照画素位置の画素値を前記着目画素位置からの距離に応じて重み付けして加算しフィールド内補間信号を生成する第１の補間信号生成ステップと、前記判定ステップでの判定の結果に基づいて、前記インタレース走査の映像信号を少なくとも１フィールド分保持する保持手段より出力された１フィールド前の映像信号と、前記第１の補間信号生成ステップにて生成されたフィールド内補間信号とから補間信号を生成する第２の補間信号生成ステップと、入力された前記インタレース走査の映像信号と、前記第２の補間信号生成ステップにて生成された補間信号とを交互に出力する変換ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、着目画素位置を中心とした領域に分割してクラスター分析処理を行い、その結果を用いてクラスター分析処理を行った領域の画像の形状とフィールド間の画像の動きとを判定し、インタレース走査の映像信号に係る補間信号を生成する。これにより、周囲の画素との相関を考慮したエッジの方向判定が可能となり、エッジの方向判定の精度を向上させ、より精度の高いエッジの方向判定ができ、高精細な補間画像を生成することができる。したがって、エッジの方向に沿って滑らかな補間を行うことが可能になり、良好なプログレッシブ走査の映像を生成することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態を図面に基づいて説明する。
【００１１】
（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態に係る画像処理装置１の構成例を示すブロック図である。図１には、第１の実施形態に係る画像処理装置１を適用した撮像システムを一例として図示している。
【００１２】
図１に示す撮像システムは、電荷結合素子（ＣＣＤ）１１、アナログ−デジタル（Ａ／Ｄ）変換器１２、カメラ信号処理回路１３、及び画像処理装置１を有する。画像処理装置１は、フィールドメモリ１４、クラスター分析回路１５、１６、相関判定回路１７Ａ、フィールド内補間信号生成回路１８、セレクタ１９、及びプログレッシブ変換回路２０を有する。
【００１３】
ＣＣＤ１１で光電変換して得られたインタレース走査の映像信号は、Ａ／Ｄ変換器１２でアナログ−デジタル変換（ＡＤ変換）される。カメラ信号処理回路１３は、Ａ／Ｄ変換器１２によりデジタル信号に変換されたインタレース走査の映像信号に対して、アパーチャ補正、ガンマ補正、ホワイトバランス等の撮像系の信号処理を行う。
【００１４】
第１の実施形態に係る画像処理装置１は、カメラ信号処理回路１３の出力信号であるインタレース走査の映像信号Ｓ１１を入力信号とし、プログレッシブ変換等の処理を行ってプログレッシブ走査の映像信号Ｓ２１を出力する。具体的には、画像処理装置１は、クラスター分析を用いたエッジの方向判定等を行うことにより補間画像を生成し、入力されるインタレース走査の映像信号Ｓ１１をプログレッシブ走査の映像信号Ｓ２１に変換する。
【００１５】
以下、画像処理装置１内の各機能部について説明する。
フィールドメモリ（保持手段）１４は、入力されるインタレース走査の映像信号Ｓ１１を少なくとも１フィールド分保持するメモリである。フィールドメモリ１４に入力されたインタレース走査の映像信号Ｓ１１は、フィールドメモリ１４で保持され、１フィールド分だけ遅延される。
【００１６】
クラスター分析回路（第１の分析処理手段）１５は、インタレース走査の映像信号Ｓ１１が入力される。クラスター分析回路１５は、入力されたインタレース走査の映像信号Ｓ１１に対して、補間点である着目画素位置を中心とした領域に分割してクラスター分析処理を行い、分類された画素情報を出力信号Ｓ１２とし、分類数を出力信号Ｓ１３として出力する。
【００１７】
クラスター分析回路（第２の分析処理手段）１６は、フィールドメモリ１４の出力信号Ｓ１４、すなわち１フィールド分だけ遅延されたインタレース走査の映像信号Ｓ１１が入力される。クラスター分析回路１６は、フィールドメモリ１４の出力信号Ｓ１４に対して、着目画素位置を中心とした領域に分割してクラスター分析処理を行い、分類された画素情報を出力信号Ｓ１５とし、分類数を出力信号Ｓ１６として出力する。
【００１８】
すなわち、クラスター分析回路１５は、現フィールドについてクラスター分析を行い、現フィールドの映像信号に係る分類された画素情報及び分類数を出力する。クラスター分析回路１６は、前フィールドについてクラスター分析を行い、１フィールド前の映像信号に係る分類された画素情報及び分類数を出力する。なお、クラスター分析回路１５、１６でのクラスター分析処理は、画素毎に処理を行っても、ブロック単位で行っても良く、またブロックのサイズにも制約はない。
【００１９】
相関判定回路（判定手段）１７Ａは、クラスター分析回路１５の出力信号Ｓ１２、Ｓ１３、及びクラスター分析回路１６の出力信号Ｓ１５、Ｓ１６が入力される。相関判定回路１７Ａは、出力信号Ｓ１２、Ｓ１３、及び出力信号Ｓ１５、Ｓ１６によって示されるクラスター分析の結果からエッジの形状の判定及びフィールド間での動きの判定を行う。相関判定回路１７Ａは、判定結果に基づいて、セレクタ１９に補間方法の制御信号Ｓ１７Ａを出力し、フィールド内補間信号生成回路１８に補間値を算出するために使用する参照画素の位置情報を出力信号（位置信号）Ｓ１８として出力する。
【００２０】
フィールド内補間信号生成回路（第１の補間信号生成手段）１８は、インタレース走査の映像信号Ｓ１１及び相関判定回路１７Ａの出力信号Ｓ１８が入力され、フィールド内補間信号を生成する。詳細には、フィールド内補間信号生成回路１８は、相関判定回路１７Ａの出力信号Ｓ１８により参照する画素情報を取得して、補間点からの距離を考慮に入れた加重平均を求めることによりフィールド内補間信号を生成し、出力信号Ｓ１９として出力する。言い換えれば、フィールド内補間信号生成回路１８は、参照画素位置の画素値を補間点である着目画素位置からの距離に応じて重み付けして加算することによりフィールド内補間信号を生成する。
【００２１】
セレクタ（第２の補間信号生成手段）１９は、フィールド内補間信号生成回路１８の出力信号Ｓ１９、フィールドメモリ１４の出力信号Ｓ１４、及び相関判定回路１７Ａからの補間方法の制御信号Ｓ１７Ａが入力される。セレクタ１９は、補間方法の制御信号Ｓ１７Ａに応じて、フィールド内補間信号生成回路１８の出力信号Ｓ１９又はフィールドメモリ１４の出力信号Ｓ１４の何れか一方を画素単位で選択し出力信号Ｓ２０として出力する。
【００２２】
具体的には、補間方法の制御信号Ｓ１７Ａが“１”であるとき、前フィールドの値を用いて補間処理を行うので、セレクタ１９は、フィールドメモリ１４の出力信号Ｓ１４を出力信号Ｓ２０として出力する。また、補間方法の制御信号Ｓ１７Ａが“０”であるとき、フィールド内のデータで生成された信号を使用して補間処理を行うので、セレクタ１９は、フィールド内補間信号生成回路１８の出力信号Ｓ１９を出力信号Ｓ２０として出力する。
【００２３】
プログレッシブ変換回路（変換手段）２０は、インタレース走査の映像信号Ｓ１１及びセレクタ１９の出力信号Ｓ２０が入力される。プログレッシブ変換回路２０は、インタレース走査における走査線（水平走査期間）単位で、信号Ｓ１１、Ｓ２０を順次交互に出力することにより、プログレッシブ変換された映像信号（プログレッシブ走査の映像信号）Ｓ２１を出力する。
【００２４】
次に、クラスター分析回路１５、１６について説明する。
以下では、クラスター分析回路１５を一例に説明する。なお、クラスター分析回路１６は、クラスター分析回路１５と入力される信号が異なるが、実行するクラスター分析処理については同様である。また、本実施形態では、クラスター分析において分類するためのデータとして、画像の画素値を使用する。なお、この画像の画素値を使用する手法は一例であり、画素値と補間点からの距離等を考慮に入れた２次元のクラスター分析を行っても良い。
【００２５】
クラスター分析回路１５におけるクラスター分析処理は、階層的クラスター分析処理により行う。階層的クラスター分析処理は、クラスターの併合の処理と、距離の再演算の処理とを繰り返し行っていく。クラスターの併合の処理では、比較を行うデータ同士の差分値を意味する「距離」を求めて、距離が近いデータを同じクラスターのデータとしてまとめる。また、距離の再演算の処理では、クラスターの併合の処理を行った後に併合を行ったクラスターから他のクラスターまでの距離を再演算する。階層的クラスター分析処理では、基本的にクラスター数が１になるまで、つまりすべてのクラスターを併合するまで処理を繰り返し行うが、本実施形態では、クラスター間の距離が一定値以上に離れるまでクラスターの併合を繰り返すように制御を行う。
【００２６】
階層的クラスター分析処理について、図２に示す具体例を参照して説明する。
図２においては、（Ａ）に画素位置を示す模式図、（Ｂ）に各画素の画素値を示す線分図を示したように６画素（ＰＡ、ＰＢ、ＰＣ、ＰＤ、ＰＥ、ＰＦ）を使用したクラスター分析処理の例を示している。
【００２７】
階層的クラスター分析処理では、まず、全画素ＰＡ〜ＰＦの画素値の差分値を距離として求め、テーブルとして保持する（図２（Ｃ）参照）。次に、その中から距離が最小となる組を探し出し、同じクラスターとしてまとめるクラスターの併合の処理を行う。続いて、クラスターの併合の処理を行った後に、併合したクラスターとの距離の再演算の処理を行い、再度テーブルの作成を行う。このクラスターの併合の処理と距離の再演算の処理とを繰り返していき、テーブルの中の距離の最小値が一定値を越えた時、又はクラスター数が１になったときに処理を終了する。
【００２８】
図２（Ｄ）は、画素ＰＡのクラスターと画素ＰＤのクラスターとを１つのクラスターとして併合した場合を示しており、図２（Ｅ）は、その併合後に画素ＰＢのクラスターと画素ＰＥのクラスターとを１つのクラスターとして併合した場合を示している。
【００２９】
図３は、クラスター分析回路１５による階層的クラスター分析処理の流れを示すフローチャートである。
クラスター分析回路１５は、クラスター分析処理を開始すると、まず、全画素の画素値のそれぞれの差分値を距離として求め、テーブルとして保持する（Ｓ１０１）。ここで、クラスター分析処理を開始する時は、すべての画素がそれぞれ１つのクラスターであると考えることができる。
【００３０】
次に、クラスター分析回路１５は、クラスター数の確認を行い、クラスター数が１であるか否かを判定する（Ｓ１０２）。判定の結果、クラスター数が１である場合には、これ以上クラスターの併合を行うことができないので、クラスター分析回路１５は、分類された画素情報（分類情報）及び分類数を出力信号Ｓ１２、Ｓ１３として出力し、クラスター分析処理を終了する。
【００３１】
一方、ステップＳ１０２での判定の結果、クラスター数が１以外の場合には、クラスター分析回路１５は、距離のテーブルの中から最小値を探し出し、最小値が定数αよりも大きいかどうかを判定する（Ｓ１０３）。なお、定数αは、実験等によりエッジと判断する時に画素値の差分値を予め求めて設定しておく。
【００３２】
ステップＳ１０３での判定の結果、最小値が定数αよりも大きい場合には、差分値が大きすぎるということであるので、クラスター分析回路１５は、その部分がエッジになると判断してクラスターの併合を中止する。そして、クラスター分析回路１５は、その時点の分類された画素情報（分類情報）を出力信号Ｓ１２として、分類数を出力信号Ｓ１３として出力し、クラスター分析処理を終了する。
【００３３】
一方、ステップＳ１０３での判定の結果、最小値が定数α以下である場合には、比較した画素値の差分が小さく値が似ており、まだクラスターの併合を行うことが可能ということである。そのため、クラスター分析回路１５は、差分値が最小の画素を同じクラスターとして併合する（Ｓ１０４）。クラスターの併合を行った場合には、クラスター分析回路１５は、併合後の各クラスター間の距離を再度求めてテーブルの再構成を行い（Ｓ１０５）、ステップＳ１０２に戻る。そして、上述したステップＳ１０２以降の処理を繰り返し行う。
【００３４】
ここで、クラスターの併合後における併合されたクラスターとの距離の再演算は、例えば、下記に示すようなウォード法を使用して求める。
＜ウォード法＞
クラスターａとクラスターｂとが併合されてクラスターｃが作られたとする。また、クラスターａとクラスターｂとが併合される前の、クラスターａとクラスターｂの距離をｄab、クラスターａとクラスターｘの距離をｄxa、クラスターｂとクラスターｘの距離をｄxbとする。なお、クラスターｘは、クラスターａ及びクラスターｂとは異なる他のクラスターである。このとき、併合後のクラスターｃとクラスターｘとの距離は、次式で求められる。
ｄ2xc＝αaｄ2xa＋αbｄ2xb＋βｄ2ab
αa：（ｎx＋ｎa）／（ｎx＋ｎc）
αb：（ｎx＋ｎb）／（ｎx＋ｎc）
β：−ｎx／（ｎx＋ｎc）
ただし、ｎxはクラスターｘに含まれる個体数である。ｎa、ｎb、ｎcについても同様である。
【００３５】
なお、併合されたクラスターとの距離の再計算の手法は、ウォード法に限ったものではなく、クラスター分析の手法で用いられている最短距離法などの他の手法であっても良い。
【００３６】
上述した説明では、クラスター分析回路１５、１６におけるクラスター分析処理は、階層的クラスター分析処理を使用するようにしているが、非階層的クラスター分析処理を使用するようにしても良い。非階層的クラスター分析処理を使用する場合でも、階層的クラスター分析処理と同様に、データ同士の差分値を距離として求める。
【００３７】
非階層的クラスター分析処理について、図４に示す具体例を参照して説明する。
図４においては、（Ａ）に画素位置の模式図を示したように６画素（ＰＡ、ＰＢ、ＰＣ、ＰＤ、ＰＥ、ＰＦ）を使用し、分類するクラスター数を２としたクラスター分析処理の例を示している。なお、（Ｂ）〜（Ｅ）に示す線分図では、それぞれの画素の画素値を示している。
【００３８】
非階層的クラスター分析処理では、まず、分類の始点となる画素をランダムに選択する。図４に示す例では、画素ＰＡ、ＰＦを始点として処理を行っている（図４（Ｂ）参照）。次に、分類を行うそれぞれの画素と始点との画素値の差分値を距離として計算し、距離が近い方のクラスターに仮に分類を行う（図４（Ｃ）参照）。図４（Ｃ）に示す例では、画素ＰＡと画素ＰＤを同じクラスターに分類し、画素ＰＢと画素ＰＣと画素ＰＥと画素ＰＦを同じクラスターに分類している。
【００３９】
分類が終了したら、各クラスター内の重心を求める。重心は、例えばクラスター内の画素の画素値の平均値を使用することができる。続いて、重心を求めたら、再び各画素と重心との距離の演算を行い、仮に分類されているクラスターの重心よりも別のクラスターの重心との距離が近い場合にはクラスターの移動を行う。クラスター間の移動が発生した場合には、クラスターの重心に変化が生じるため、再度重心を求めて各画素と重心との距離を求める処理を再度行う。クラスター間の移動が発生しなかった場合には、これ以上処理を繰り返しても結果は変わらないので処理を終了する（図４（Ｄ）、（Ｅ）参照）。
【００４０】
図５は、非階層的クラスター分析処理の流れを示すフローチャートである。
図５に示す例では、クラスター数を２つとして処理を行っているが、これに限定されるものではなく、３つ以上のクラスターに分類して処理を行っても良い。
【００４１】
クラスター分析回路１５は、まず２つのクラスターに分類することを目標とするため、分類の始点として２つの画素（例えば、左上、右下の位置に存在する画素）を選択して、仮の別のクラスターに分類する（Ｓ２０１）。次に、クラスター分析回路１５は、全画素に対して始点からの距離を求め、画素の各々を距離が近い方のクラスターに分類する（Ｓ２０２）。ここでの距離は画素値の差分値とする。
【００４２】
次に、クラスター分析回路１５は、分類されたクラスター内の重心を求める（Ｓ２０３）。本実施形態では、一例としてクラスター内の重心として画素値の平均値を求めるものとする。続いて、クラスター分析回路１５は、求めた重心からの距離を全画素に対して求め、距離が近い方のクラスターに再度分類を行う（Ｓ２０４）。ここで、所属しているクラスターとは別のクラスターの重心の方が距離が近い場合には、クラスターの移動を行う。
【００４３】
ステップＳ２０４での処理においてクラスター間の移動が発生した場合には（Ｓ２０５のＹｅｓ）、最適な分類が行われていなかったということであるので、クラスター分析回路１５は、ステップＳ２０３に戻る。すなわち、クラスター分析回路１５は、クラスター内の重心を再度求め（Ｓ２０３）、クラスターの再分類の処理を行う（Ｓ２０４）。この処理をクラスター間の移動が発生しなくなるまで繰り返し行う。
【００４４】
一方、ステップＳ２０４での処理においてクラスター間の移動が発生しなかった場合には（Ｓ２０５のＮｏ）、これ以上再分類の処理を行っても変化はないので、クラスター分析回路１５は、クラスター分類に係る処理を終了する。
【００４５】
クラスター分類に係る処理を終了した後、クラスター分析回路１５は、予め設定したクラスターの分類数２が正当なものであるか否かの判定を行う。
まず、クラスター分析回路１５は、分類されたクラスターの重心間の距離が定数βよりも大きいかどうかを判定する（Ｓ２０６）。なお、定数βは、予め実験等により求められた値を使用する。
【００４６】
ステップＳ２０６での判定の結果、分類されたクラスターの重心間の距離が定数β以下である場合には、２つのクラスターの距離が近いということであるので、別のクラスターに分類するべきではないと判断できる。したがって、クラスター分析回路１５は、分類数「１」を出力信号Ｓ１３として出力し（Ｓ２０７）、クラスター分析処理を終了する。
【００４７】
一方、ステップＳ２０６での判定の結果、分類されたクラスターの重心間の距離が定数βよりも大きい場合には、クラスター分析回路１５は、さらに細かいクラスターに分類可能であったかどうかの判定を行う。具体的には、クラスター分析回路１５は、分類された各クラスターについてクラスター内での距離の最大値を求め、その最大値が定数γよりも大きいかどうかを判定する（Ｓ２０８）。なお、定数γは、予め実験等により求められた値を使用する。
【００４８】
ステップＳ２０８での判定の結果、分類されたクラスター内での距離の最大値が定数γよりも大きい場合には、距離が離れていてエッジであると考えられる画素を同じクラスターに分類していたということになるので、分類数は３つ以上であると判断できる。したがって、クラスター分析回路１５は、分類数「３」を出力信号Ｓ１３として出力し（Ｓ２０９）、クラスター分析処理を終了する。
【００４９】
一方、ステップＳ２０８での判断の結果、分類されたクラスター内での距離の最大値が定数γ以下である場合には、分類数として２が最適であると判断することができる。したがって、クラスター分析回路１５は、分類数「２」を出力信号Ｓ１３として出力し（Ｓ２１０）、クラスター分析処理を終了する。
【００５０】
なお、上述した本実施形態におけるクラスター分析の手法は一例であり、本発明はこれに限定されるものではない。
【００５１】
次に、相関判定回路１７Ａによる相関判定処理について説明する。
図６は、第１の実施形態における相関判定処理の流れを示すフローチャートである。本実施形態における相関判定処理では、現フィールドの分割されたクラスター数によって処理を分ける。現フィールドの分割されたクラスター数は、クラスターの分類数を示しているクラスター分析回路１５の出力信号Ｓ１３により判断することができる。
【００５２】
以下に説明する図６には、現フィールドのクラスター数が２であるときにパターンの照合処理を行う場合を一例として示しているが、本発明はこれに限定されるものではない。例えば、現フィールドのクラスター数が３つ以上であるときにもパターンの照合処理を行っても良く、一定数以上のクラスター数に分類されたときにパターンの照合を行わないようにすれば良い。
【００５３】
相関判定回路１７Ａは、相関判定処理を開始すると、まず、クラスター分析回路１５からの出力信号Ｓ１３に基づいて、現フィールドの分割されたクラスター数がいくつであるか判定する（Ｓ３０１）。
【００５４】
ステップＳ３０１での判定の結果、分割されたクラスター数が１であるときには、クラスター分析処理を行った領域が１つのクラスターに併合されたということなので、エッジを含まない平面であると判断することができる。したがって、相関判定回路１７Ａは、セレクタ１９においてフィールド内補間処理を行った値（フィールド内補間信号生成回路１８の出力信号Ｓ１９）が選択されるように、補間方法の制御信号Ｓ１７Ａとして“０”を出力する。また、相関判定回路１７Ａは、フィールド内補間信号生成回路１８においてフィールド内補間処理を行うときの参照画素として平面のデータすべてを使用するように、クラスター分析処理を行った領域の全画素の情報を出力信号Ｓ１８として出力する（Ｓ３０２）。
【００５５】
ステップＳ３０１での判定の結果、分割されたクラスター数が２であるときには、相関判定回路１７Ａは、予め用意したパターンとの比較を行い、エッジの形状の判定及びフィールド間の動きの判定を行う。なお、現フィールドの分割された領域の情報は、クラスターの分類情報を示しているクラスター分析回路１５の出力信号Ｓ１２により判断することができる。
【００５６】
予め用意しているパターンの一例を図７に示す。現フィールドのそれぞれのパターンには、静止している場合に予想される前フィールドのパターン情報も用意されている。また、用意されているパターンには、エッジを判定する際に、「完全に一致しなければならない位置」と「一致しなくても良い位置」というものが存在している。
【００５７】
分割されたクラスター数が２であるとき、相関判定回路１７Ａは、まず、クラスター分析回路１５の出力信号Ｓ１２により現フィールドの分割された領域の情報を取得する。そして、相関判定回路１７Ａは、取得した現フィールドの分割された領域の情報と、用意されたパターンとを順次比較し、「完全に一致しなければならない位置」の分類が、すべて一致しているパターンを検出する（Ｓ３０３）。
【００５８】
次に、相関判定回路１７Ａは、ステップＳ３０３において検出したパターンから、前フィールドのクラスター分析の結果と比較するためのパターンを取得する（Ｓ３０４）。そして、相関判定回路１７Ａは、クラスターの分類情報を示しているクラスター分析回路１６の出力信号Ｓ１５により前フィールドの分割された領域の情報を取得し、先に取得した前フィールドのパターンとの比較を行う（Ｓ３０５）。
【００５９】
ステップＳ３０５での比較の結果、「完全に一致しなければならない位置」の分類がすべて一致している場合には（Ｓ３０６のＹｅｓ）、その分割された領域は静止しているエッジであると判断することができる。したがって、相関判定回路１７Ａは、セレクタ１９において前フィールドの値（フィールドメモリ１４の出力信号Ｓ１４）が選択されるように、補間方法の制御信号Ｓ１７Ａとして“１”を出力する（Ｓ３０７）。このときフィールド内補間処理は行わないので、出力信号Ｓ１８は特に制約はない。
【００６０】
一方、ステップＳ３０５での比較の結果、「完全に一致しなければならない位置」の分類が一致しなかった場合には（Ｓ３０６のＮｏ）、その分割された領域は動いているエッジであると判断することができる。したがって、相関判定回路１７Ａは、セレクタ１９においてフィールド内補間処理を行った値（フィールド内補間信号生成回路１８の出力信号Ｓ１９）が選択されるように、補間方法の制御信号Ｓ１７Ａとして“０”を出力する。また、フィールド内補間処理を行うときの参照画素位置は、補間点が含まれているクラスターの位置情報を現フィールドのパターンから取得し、相関判定回路１７Ａの出力信号Ｓ１８としてフィールド内補間信号生成回路１８に出力する（Ｓ３０８）。
【００６１】
ステップＳ３０１での判定の結果、分割されたクラスター数が３以上であるときには、クラスター分析処理を行った領域が複数のエッジが含まれている混沌とした領域であると判断することができる。したがって、相関判定回路１７Ａは、セレクタ１９においてフィールド内補間処理を行った値（フィールド内補間信号生成回路１８の出力信号Ｓ１９）が選択されるように、補間方法の制御信号Ｓ１７Ａとして“０”を出力する。また、フィールド内補間処理を行うときの参照画素位置は、エッジの方向を判定することができない領域であるため、補間点の上下の画素の情報を相関判定回路１７Ａの出力信号Ｓ１８として出力する（Ｓ３０９）。
【００６２】
第１の実施形態によれば、クラスター分析処理を行い、その結果によりクラスター分析処理を行った領域の画像の形状及びフィールド間の画像の動きを判定する。そして、判定結果に応じて、フィールド内補間信号生成回路１８の出力信号Ｓ１９又はフィールドメモリ１４の出力信号Ｓ１４の何れか一方を補間信号としてプログレッシブ変換回路２０に出力する。
【００６３】
これにより、周囲の画素との相関を考慮したエッジの方向判定が可能となり、エッジの方向判定の精度を向上させ、エッジの方向に沿って滑らかな補間を行うことが可能になる。したがって、正確にエッジの方向を判定して高精細な補間画像を生成することができ、良好なプログレッシブ走査の映像信号を出力することができる。
【００６４】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図８は、第２の実施形態に係る画像処理装置２の構成例を示すブロック図である。図８には、第２の実施形態に係る画像処理装置２を適用した撮像システムを一例として図示している。図８において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。
【００６５】
図８に示す撮像システムは、ＣＣＤ１１、Ａ／Ｄ変換器１２、カメラ信号処理回路１３、及び画像処理装置２を有する。画像処理装置２は、フィールドメモリ１４、クラスター分析回路１５、１６、相関判定回路１７Ｂ、フィールド内補間信号生成回路１８、補間信号生成回路２１、及びプログレッシブ変換回路２０を有する。画像処理装置２は、インタレース走査の映像信号（カメラ信号処理回路１３の出力信号）Ｓ１１を入力信号とし、クラスター分析を用いたエッジの方向判定等を行うことにより補間画像を生成してプログレッシブ走査の映像信号Ｓ２１を出力する。
【００６６】
相関判定回路（判定手段）１７Ｂは、クラスター分析回路１５の出力信号Ｓ１２、Ｓ１３、及びクラスター分析回路１６の出力信号Ｓ１５、Ｓ１６が入力される。相関判定回路１７Ｂは、出力信号Ｓ１２、Ｓ１３、及び出力信号Ｓ１５、Ｓ１６によって示されるクラスター分析の結果からエッジの形状の判定及びフィールド間での動きの判定を行う。相関判定回路１７Ｂは、判定結果に基づいて、補間信号生成回路２１に補間方法の制御信号Ｓ１７Ｂを出力し、フィールド内補間信号生成回路１８に補間値を算出するために使用する参照画素の位置情報を出力信号（位置信号）Ｓ１８として出力する。
【００６７】
補間信号生成回路（第２の補間信号生成手段）２１は、フィールド内補間信号生成回路１８の出力信号Ｓ１９、フィールドメモリ１４の出力信号Ｓ１４、及び相関判定回路１７Ｂからの補間方法の制御信号Ｓ１７Ｂが入力される。補間信号生成回路２１は、フィールド内補間信号生成回路１８の出力信号Ｓ１９とフィールドメモリ１４の出力信号Ｓ１４とを線形合成することにより補間信号を生成し出力信号Ｓ２２として出力する。この線形合成では、補間方法の制御信号Ｓ１７Ｂが“０”に近いほど、フィールド内補間信号生成回路１８の出力信号Ｓ１９に近い値が出力信号Ｓ２２として出力される。なお、補間信号生成回路２１の出力信号Ｓ２２が、第１の実施形態における信号Ｓ２０に対応し、プログレッシブ変換回路２０に入力される。
【００６８】
相関判定回路１７Ｂによる相関判定処理について説明する。
図９は、第２の実施形態における相関判定処理の流れを示すフローチャートである。本実施形態における相関判定処理では、クラスター分析回路１５の出力信号Ｓ１３により現フィールドの分割されたクラスター数を判断し、そのクラスター数によって処理を分ける。
【００６９】
以下に説明する図９には、現フィールドのクラスター数が２であるときにパターンの照合処理を行う場合を一例として示しているが、本発明はこれに限定されるものではない。例えば、現フィールドのクラスター数が３つ以上であるときにもパターンの照合処理を行っても良く、一定数以上のクラスター数に分類されたときにパターンの照合を行わないようにすれば良い。
【００７０】
相関判定回路１７Ｂは、相関判定処理を開始すると、まず、クラスター分析回路１５からの出力信号Ｓ１３に基づいて、現フィールドの分割されたクラスター数がいくつであるか判定する（Ｓ４０１）。
【００７１】
ステップＳ４０１での判定の結果、分割されたクラスター数が１であるときには、クラスター分析処理を行った領域が１つのクラスターに併合されたということなので、エッジを含まない平面であると判断することができる。したがって、相関判定回路１７Ｂは、補間信号生成回路２１においてフィールド内補間処理を行った値（フィールド内補間信号生成回路１８の出力信号Ｓ１９）が使用されるように、補間方法の制御信号Ｓ１７Ｂとして“０”を出力する。また、フィールド内補間信号生成回路１８においてフィールド内補間処理を行うときの参照画素として平面のデータすべてを使用するように、クラスター分析処理を行った領域の全画素の情報を出力信号Ｓ１８として出力する（Ｓ４０２）。
【００７２】
ステップＳ４０１での判定の結果、分割されたクラスター数が２であるときには、相関判定回路１７Ｂは、図７に一例を示したような予め用意したパターンとの比較を行い、エッジの形状の判定及びフィールド間の画像の動きの判定を行う。現フィールドの分割された領域の情報は、クラスター分析回路１５の出力信号Ｓ１２により判断することができる。
【００７３】
現フィールドのそれぞれのパターンには、静止している場合に予想される前フィールドのパターン情報、及び前フィールドで除外しなければならないパターン情報も用意されている。前フィールドで除外しなければならないパターンとは、エッジの方向が逆であるものや、エッジの形状がまったく異なるもののパターンを意味している。また、用意されているパターンには、エッジを判定する際に、「完全に一致しなければならない位置」と「一致しなくても良い位置」というものが存在している。
【００７４】
分割されたクラスター数が２であるとき、相関判定回路１７Ｂは、クラスター分析回路１５の出力信号Ｓ１２により現フィールドの分割された領域の情報を取得する。そして、相関判定回路１７Ｂは、取得した現フィールドの分割された領域の情報と、用意されたパターンとを順次比較していき、「完全に一致しなければならない位置」の分類が、すべて一致しているパターンを検出する（Ｓ４０３）。
【００７５】
次に、相関判定回路１７Ｂは、ステップＳ４０３において検出したパターンから、前フィールドのクラスター分析の結果と比較するためのパターンのうち、除外しなければならないパターンの情報を取得する（Ｓ４０４）。そして、相関判定回路１７Ｂは、クラスター分析回路１６の出力信号Ｓ１５により前フィールドの分割された領域の情報を取得し、ステップＳ４０４において取得した前フィールドのパターンとの比較を行う（Ｓ４０５）。
【００７６】
ステップＳ４０５での比較の結果、「完全に一致しなければならない位置」の分類がすべて一致している場合には（Ｓ４０６のＹｅｓ）、ステップＳ４０７に進む。そして、相関判定回路１７Ｂは、現フィールドとの相関判定処理を行わないようにするために、補間方法の制御信号Ｓ１７Ｂとして“０”を出力し、相関判定処理を終了する。また、フィールド内補間処理を行うときの参照画素位置は、補間点が含まれているクラスターの位置情報を現フィールドのパターンから取得し、相関判定回路１７Ｂの出力信号Ｓ１８としてフィールド内補間信号生成回路１８に出力する（Ｓ４０７）。この処理は、後述する一致している画素数のカウントを行う際に、まったく形状が違うエッジに対してカウントを行った場合にも値が大きくなってしまう可能性があるため、予め除外できるパターンについては別の処理で判定を行えるようにするためのものである。
【００７７】
一方、ステップＳ４０５での比較の結果、「完全に一致しなければならない位置」の分類が一致しなかった場合には（Ｓ４０６のＮｏ）、ステップＳ４０８に進む。相関判定回路１７Ｂは、ステップＳ４０３において検出したパターンから、前フィールドのクラスター分析の結果と比較するためのパターンのうち、静止しているか判定を行うためのパターンの情報を取得する（Ｓ４０８）。そして、相関判定回路１７Ｂは、クラスター分析回路１６の出力信号Ｓ１５により前フィールドの分割された領域の情報を取得し、ステップＳ４０８において取得した前フィールドのパターンとの比較を行う（Ｓ４０９）。
【００７８】
相関判定回路１７Ｂは、ステップＳ４０９において比較を行うときに、「完全に一致しなければならない位置」の画素がいくつ一致しているかをカウントしておき、一致した画素の割合を補間方法の制御信号Ｓ１７Ｂとして出力する。また、フィールド内補間処理を行うときの参照画素位置は、補間点が含まれているクラスターの位置情報を現フィールドのパターンから取得し、相関判定回路１７Ｂの出力信号Ｓ１８としてフィールド内補間信号生成回路１８に出力する（Ｓ４１０）。
【００７９】
ステップＳ４０１での判定の結果、分割されたクラスター数が３以上であるときには、クラスター分析処理を行った領域が複数のエッジが含まれている混沌とした領域であると判断することができる。したがって、相関判定回路１７Ｂは、補間信号生成回路２１においてフィールド内補間処理を行った値（フィールド内補間信号生成回路１８の出力信号Ｓ１９）が選択されるように、補間方法の制御信号Ｓ１７Ｂとして“０”を出力する。また、フィールド内補間処理を行うときの参照画素位置は、エッジの方向を判定することができない領域であるため、補間点の上下の画素の情報を相関判定回路１７Ｂの出力信号Ｓ１８として出力する（Ｓ４１１）。
【００８０】
第２の実施形態によれば、クラスター分析処理を行い、その結果によりクラスター分析処理を行った領域の画像の形状及びフィールド間の画像の動きを判定する。そして、判定結果に応じて、フィールド内補間信号生成回路１８の出力信号Ｓ１９とフィールドメモリ１４の出力信号Ｓ１４とを線形合成して補間信号を生成しプログレッシブ変換回路２０に出力する。これにより、周囲の画素との相関を考慮したエッジの方向判定が可能となり、エッジの方向判定の精度を向上させて高精細な補間画像を生成することができ、良好なプログレッシブ走査の映像信号を出力することができる。
【００８１】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図１０は、第３の実施形態に係る画像処理装置３の構成例を示すブロック図である。図１０には、第３の実施形態に係る画像処理装置３を適用した撮像システムを一例として図示している。図１０において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。
【００８２】
図１０に示す撮像システムは、ＣＣＤ１１、Ａ／Ｄ変換器１２、カメラ信号処理回路１３、及び画像処理装置３を有する。画像処理装置３は、フィールドメモリ１４、クラスター分析回路１５、形状判定回路３１Ａ、フィールド内補間信号生成回路３２Ａ、動き判定回路３３、補間信号生成回路３４、及びプログレッシブ変換回路２０を有する。画像処理装置３は、インタレース走査の映像信号（カメラ信号処理回路１３の出力信号）Ｓ１１を入力信号とし、クラスター分析を用いた形状判定等を行うことにより補間画像を生成してプログレッシブ走査の映像信号Ｓ２１を出力する。
【００８３】
形状判定回路（判定手段、形状判定手段）３１Ａは、クラスター分析回路１５の出力信号Ｓ１２、Ｓ１３が入力され、出力信号Ｓ１２、Ｓ１３により示されるクラスター分析の結果からクラスター分析処理を行った領域の画像のエッジの形状を判定する。形状判定回路３１Ａは、判定結果に基づいて、フィールド内補間信号生成回路３２Ａにフィールド内補間値を算出するための出力信号Ｓ３１Ａを出力する。
【００８４】
具体的には、形状判定回路３１Ａは、クラスターの分類数を示しているクラスター分析回路１５の出力信号Ｓ１３により分割されたクラスター数を判断し、そのクラスター数によってクラスター分析処理を行った領域の形状を判定する。
【００８５】
分割されたクラスター数が１であるときには、クラスター分析処理を行った領域が１つのクラスターに併合されたということなので、形状判定回路３１Ａは、クラスター分析処理を行った領域が平面であると判断することができる。この場合には、形状判定回路３１Ａは、フィールド内補間信号生成回路３２Ａにおいてフィールド内補間処理を行うときの参照画素として平面のデータすべてを使用するように、クラスター分析処理を行った領域の全画素の情報を出力信号Ｓ３１Ａとして出力する。
【００８６】
また、分割されたクラスター数が２であるときには、クラスター分析処理を行った領域が２つの領域に正確に分割されたということなので、形状判定回路３１Ａは、補間点を含むクラスターの位置情報（参照画素位置の情報）を出力信号Ｓ３１Ａとして出力する。
【００８７】
また、分割されたクラスター数が３以上であるときには、クラスター分析処理を行った領域が複数のエッジが含まれている混沌とした領域であると判断することができる。この場合には、形状判定回路３１Ａは、エッジの判定を行うことができないため、補間点の上下の画素の情報を出力信号Ｓ３１として出力する。
【００８８】
フィールド内補間信号生成回路（第１の補間信号生成手段）３２Ａは、インタレース走査の映像信号Ｓ１１及び形状判定回路３１Ａの出力信号Ｓ３１Ａが入力され、フィールド内補間信号を生成する。フィールド内補間信号生成回路３２Ａは、形状判定回路３１Ａの出力信号Ｓ３１Ａにより参照する画素情報を取得して、補間点からの距離を考慮に入れた加重平均を求めることによりフィールド内補間信号を生成し、出力信号Ｓ３２Ａとして出力する。言い換えれば、フィールド内補間信号生成回路３２Ａは、参照画素位置の画素値を補間点である着目画素位置からの距離に応じて重み付けして加算することによりフィールド内補間信号を生成する。
【００８９】
動き判定回路（判定手段、動き判定手段）３３は、フィールドメモリ１４の出力信号Ｓ１４及びフィールド内補間信号生成回路３２Ａの出力信号Ｓ３２Ａが入力される。動き判定回路３３は、入力された信号Ｓ１４、Ｓ３２Ａに基づいてクラスター分析処理を行った領域（補間点の領域）が動いているかどうかの判定を行う。動き判定回路３３は、フィールドメモリ１４の出力信号Ｓ１４とフィールド内補間信号生成回路３２Ａの出力信号Ｓ３２Ａとの差分値の絶対値を求め、さらにその絶対値を割り当てられたビット長の最大値で割ることで正規化して出力信号Ｓ３３として出力する。
【００９０】
フィールドメモリ１４の出力信号Ｓ１４とフィールド内補間信号生成回路３２Ａの出力信号Ｓ３２Ａとの差が小さいときには、補間点の領域の動きが少ないと判断することができ、動き判定回路３３の出力信号Ｓ３３として“０”に近い値が出力される。一方、入力される出力信号Ｓ１４と出力信号Ｓ３２Ａとの差が大きいときには、１フィールド前の値との関連性が低く、補間点の領域が動いていると判断することができ、動き判定回路３３の出力信号Ｓ３３として“１”に近い値が出力される。
【００９１】
補間信号生成回路（第２の補間信号生成手段）３４は、フィールドメモリ１４の出力信号Ｓ１４、フィールド内補間信号生成回路３２Ａの出力信号Ｓ３２Ａ、及び動き判定回路３３の出力信号Ｓ３３が入力される。補間信号生成回路３４は、フィールドメモリ１４の出力信号Ｓ１４とフィールド内補間信号生成回路３２Ａの出力信号Ｓ３２Ａとを線形合成することにより補間点の値として出力する補間信号を生成し出力信号Ｓ３４として出力する。
【００９２】
補間信号生成回路３４における線形合成では、動き判定回路３３の出力信号Ｓ３３が“１”に近いほど、フィールド内補間信号生成回路３２Ａの出力信号Ｓ３２Ａに近い値が出力信号Ｓ３４として出力される。一方、動き判定回路３３の出力信号Ｓ３３が“０”に近いほど、フィールドメモリ１４の出力信号Ｓ１４に近い値が出力信号Ｓ３４として出力される。なお、補間信号生成回路３４の出力信号Ｓ３４が、第１の実施形態における信号Ｓ２０に対応し、プログレッシブ変換回路２０に入力される。
【００９３】
第３の実施形態によれば、クラスター分析処理を使用して画像の形状及びフィールド間の画像の動きを判定し、その結果に応じて、出力信号Ｓ３２Ａと出力信号Ｓ１４とを線形合成して補間信号を生成しプログレッシブ変換回路２０に出力する。これにより、周囲の画素との相関を考慮したエッジの方向判定が可能となり、エッジの方向判定の精度を向上させ、エッジの方向に沿って滑らかな補間を行うことが可能になる。したがって、正確にエッジの方向を判定して高精細な補間画像を生成することができ、良好なプログレッシブ走査の映像信号を出力することができる。
【００９４】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
図１１は、第４の実施形態に係る画像処理装置４の構成例を示すブロック図である。図１１には、第４の実施形態に係る画像処理装置４を適用した撮像システムを一例として図示している。図１１において、図１及び図９に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。
【００９５】
図１１に示す撮像システムは、ＣＣＤ１１、Ａ／Ｄ変換器１２、カメラ信号処理回路１３、及び画像処理装置４を有する。画像処理装置４は、フィールドメモリ１４、クラスター分析回路１５、形状判定回路３１Ｂ、エッジ方向判定回路４１、フィールド内補間信号生成回路３２Ｂ、動き判定回路３３、補間信号生成回路３４、及びプログレッシブ変換回路２０を有する。画像処理装置４は、インタレース走査の映像信号（カメラ信号処理回路１３の出力信号）Ｓ１１を入力信号とし、クラスター分析を用いたエッジの方向判定等を行うことにより補間画像を生成してプログレッシブ走査の映像信号Ｓ２１を出力する。
【００９６】
形状判定回路（判定手段、形状判定手段）３１Ｂは、クラスター分析回路１５の出力信号Ｓ１２、Ｓ１３が入力され、出力信号Ｓ１２、Ｓ１３により示されるクラスター分析の結果からクラスター分析処理を行った領域の形状を判定する。形状判定回路３１Ｂは、判定結果に応じてエッジ方向判定回路４１の動作を制御するための出力信号Ｓ３１Ｂをエッジ方向判定回路４１に出力する。
【００９７】
詳細には、形状判定回路１３Ｂは、エッジ方向判定回路４１でのエッジの方向判定処理において不具合を発生する、直交している角のエッジ形状の検出を行う。クラスター分析処理を行った領域の形状が直交している角のエッジ形状を含んでいる場合には、エッジ方向判定回路４１の出力信号Ｓ３５を制御する。直交している角のエッジ形状の一例を図１２に示す。なお、図１２に示す形状は一例であり、この形状を回転、反転させたものも含む。
【００９８】
形状判定回路３１Ｂは、クラスター分析回路１５の出力信号Ｓ１３により分割されたクラスター数を判断し、そのクラスター数に応じた処理を行う。
分割されたクラスター数が１であるときには、クラスター分析処理を行った領域が１つのクラスターに併合されたということなので、平面であると判断することができる。したがって、形状判定回路３１Ｂは、該当するパターン（直交している角のエッジ形状）ではないので出力信号Ｓ３１Ｂとして“０”を出力する。
【００９９】
また、分割されたクラスター数が２であるときには、形状判定回路３１Ｂは、クラスター分析処理を行った領域と、該当するパターンとのエッジ形状の比較を行う。そして、形状判定回路３１Ｂは、エッジ形状が一致している場合には、該当するパターンであるので出力信号Ｓ３１Ｂとして“１”を出力し、エッジ形状が一致しなかった場合には、該当するパターンではないので出力信号Ｓ３１Ｂとして“０”をする。
【０１００】
また、分割されたクラスター数が３以上であるときには、クラスター分析処理を行った領域が複数のエッジが含まれている混沌とした領域であると判断することができる。したがって、形状判定回路３１Ｂは、エッジの形状判定を行うことができず、該当するパターンであるかどうかの判定も行うことができないため、出力信号Ｓ３１Ｂとして“０”を出力する。
【０１０１】
エッジ方向判定回路４１は、インタレース走査の映像信号Ｓ１１及び形状判定回路３１Ｂの出力信号Ｓ３１Ｂが入力され、それらに基づいて補間点におけるエッジの方向判定を行い、判定結果を出力信号Ｓ３５として出力する。エッジ方向判定回路４１におけるエッジ方向判定処理の詳細については後述する。
【０１０２】
フィールド内補間信号生成回路（第１の補間信号生成手段）３２Ｂは、インタレース走査の映像信号Ｓ１１及びエッジ方向判定回路４１の出力信号Ｓ３５が入力され、フィールド内補間信号を生成する。ここで本実施形態のフィールド内補間信号生成回路３２Ｂは、補間点の上下のラインにおいて、エッジ方向判定回路４１の出力信号Ｓ３５により示される方向の画素の平均値をフィールド内補間信号とする。
【０１０３】
エッジ方向判定回路４１によるエッジ方向判定処理について説明する。
図１３は、本実施形態におけるエッジ方向判定処理を示す概念図であり、エッジの方向判定を行う際に使用する画素を模式的に図示している。なお、以下ではエッジの方向判定を３方向で行う場合を一例として説明するが、本発明はこれに限定されるものではない。
【０１０４】
図１３において、補間点である注目点ｘを中心として、補間点の上側のラインの水平方向に連続した３つの画素をｆ、ｄ、ｇとし、補間点の下側のラインの水平方向に連続した３つの画素をｈ、ｅ、ｉとする。エッジ方向判定回路４１は、エッジ方向判定処理の結果、エッジの方向を垂直方向（画素ｄ−画素ｅの方向）と判定したときには出力信号Ｓ３５として“０”を出力する。同様に、エッジの方向を斜め方向でかつ画素ｆ−画素ｉの方向と判定したときには出力信号Ｓ３５として“１”を出力し、エッジの方向を斜め方向でかつ画素ｇ−画素ｈの方向と判定したときには出力信号Ｓ３５として“２”を出力とする。
【０１０５】
図１４は、第４の実施形態におけるエッジ方向判定処理の流れを示すフローチャートである。
エッジ方向判定回路４１は、処理を開始すると、まず、使用するデータの初期設定処理を行う（Ｓ５０１）。図１５は、図１４に示すステップＳ５０１での初期設定処理を示すフローチャートである。エッジ方向判定回路４１は、斜め方向の差分値として、画素ｆと画素ｉとの画素値の差分値の絶対値を計算し、それをｄｉｆＸ１として設定する（Ｓ６０１）。同様に、斜め方向の差分値として、画素ｇと画素ｈとの画素値の差分値の絶対値を計算し、それをｄｉｆＸ２として設定する（Ｓ６０２）。また、垂直方向の差分値として、画素ｄと画素ｅとの画素値の差分値の絶対値を計算し、それをｄｉｆＸとして設定する（Ｓ６０３）。
【０１０６】
次に、エッジ方向判定回路４１は、ｄｉｆＸ１とｄｉｆＸ２との比較を行う（Ｓ５０２、Ｓ５０３）。
【０１０７】
比較の結果、ｄｉｆＸ１がｄｉｆＸ２より大きい場合には（Ｓ５０２のＹｅｓ）、斜め方向の差分値の最小値がｄｉｆＸ２となるので、エッジ方向判定回路４１は、ｄｉｆＸ２をｄｉｆｍｉｎとして設定する（Ｓ５０４）。また、エッジ方向判定回路４１は、そのときの方向を示す２をｄｉｆｓｅｌとして設定し保持する（Ｓ５０５）。
【０１０８】
一方、ｄｉｆＸ２がｄｉｆＸ１より大きい場合には（Ｓ５０２のＮｏ、かつＳ５０３のＮｏ）、斜め方向の差分値の最小値がｄｉｆＸ１となるので、エッジ方向判定回路４１は、ｄｉｆＸ１をｄｉｆｍｉｎとして設定する（Ｓ５０６）。また、エッジ方向判定回路４１は、そのときの方向を示す１をｄｉｆｓｅｌとして設定し保持する（Ｓ５０７）。
【０１０９】
また、ｄｉｆＸ１とｄｉｆＸ２との値が等しい場合には（Ｓ５０２のＮｏ、かつＳ５０３のＹｅｓ）、斜め方向の相関が等しいということになるので、エッジ方向判定回路４１は、いずれの方向もエッジ方向とは判断しない。そして、エッジ方向判定回路４１は、出力信号Ｓ３５として“０”を出力する（Ｓ５０８）。
【０１１０】
次に、エッジ方向判定回路４１は、ｄｉｆｓｅｌが０でない場合には、垂直方向の差分値であるｄｉｆＸと、斜め方向の差分値の最小値であるｄｉｆｍｉｎとの比較を行う（Ｓ５０９）。
【０１１１】
その結果、ｄｉｆＸがｄｉｆｍｉｎより大きい場合には（Ｓ５０９のＹｅｓ）、エッジ方向判定回路４１は、ｄｉｆｓｅｌに設定されている値を選択する（Ｓ５１０）。一方、ｄｉｆＸがｄｉｆｍｉｎより小さい場合又はｄｉｆＸとｄｉｆｍｉｎとの値が等しい場合には（Ｓ５０９のＮｏ）、エッジ方向判定回路４１は、出力信号Ｓ３５として“０”を出力する（Ｓ５０８）。
【０１１２】
次に、エッジ方向判定回路４１は、形状判定回路３１Ｂの出力信号Ｓ３１Ｂが“１”であるか“０”であるか判断する（Ｓ５１１）。その結果、出力信号Ｓ３１Ｂが“１”であった場合には、補間点のエッジの形状が直交している角ではないということなので、エッジ方向判定回路４１は、出力信号Ｓ３５としてｄｉｆｓｅｌを出力する（Ｓ５１２）。一方、出力信号Ｓ３１Ｂが“０”であった場合には、補間点のエッジの形状が直交している角であるということなので、エッジ方向判定回路４１は、エッジの方向を垂直方向の判定結果にするために出力信号Ｓ３５として“０”を出力する（Ｓ５０８）。
【０１１３】
第４の実施形態によれば、クラスター分析処理を使用して画像のエッジの形状及びフィールド間の画像の動きを判定し、その結果に応じて、出力信号Ｓ３２Ａと出力信号Ｓ１４とを線形合成して補間信号を生成しプログレッシブ変換回路２０に出力する。これにより、周囲の画素との相関を考慮したエッジの方向判定が可能となり、エッジの方向判定の精度を向上させて高精細な補間画像を生成することができ、良好なプログレッシブ走査の映像信号を出力することができる。
【０１１４】
（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が上述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【０１１５】
例えば、第１〜第４の実施形態に示した画像処理装置は、図１６に示すようなコンピュータ機能７００を有し、そのＣＰＵ７０１により各実施形態での動作が実施される。
コンピュータ機能７００は、図１６に示すように、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３とを備える。また、操作部（ＣＯＮＳ）７０９のコントローラ（ＣＯＮＳＣ）７０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）７１０のディスプレイコントローラ（ＤＩＳＰＣ）７０６とを備える。さらに、ハードディスク（ＨＤ）７１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）７１２のコントローラ（ＤＣＯＮＴ）７０７と、ネットワークインタフェースカード（ＮＩＣ）７０８とを備える。それら機能部７０１、７０２、７０３、７０５、７０６、７０７、７０８は、システムバス７０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ７０１は、ＲＯＭ７０２又はＨＤ７１１に記憶されたソフトウェア、又はＳＴＤ７１２より供給されるソフトウェアを実行することで、システムバス７０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ７０１は、上述したような動作を行うための処理プログラムを、ＲＯＭ７０２、ＨＤ７１１、又はＳＴＤ７１２から読み出して実行することで、上述した各実施形態での動作を実現するための制御を行う。ＲＡＭ７０３は、ＣＰＵ７０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ７０５は、ＣＯＮＳ７０９からの指示入力を制御する。ＤＩＳＰＣ７０６は、ＤＩＳＰ７１０の表示を制御する。ＤＣＯＮＴ７０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び各実施形態における前記処理プログラム等を記憶するＨＤ７１１及びＳＴＤ７１２とのアクセスを制御する。ＮＩＣ７０８はネットワーク７１３上の他の装置と双方向にデータをやりとりする。
【０１１６】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【０１１７】
【図１】第１の実施形態に係る画像処理装置の構成例を示す図である。
【図２】階層的クラスター分析処理の具体例を示す図である。
【図３】第１の実施形態における階層的クラスター分析処理を示すフローチャートである。
【図４】非階層的クラスター分析処理の具体例を示す図である。
【図５】第１の実施形態における非階層的クラスター分析処理を示すフローチャートである。
【図６】第１の実施形態における相関判定処理を示すフローチャートである。
【図７】相関判定処理に用いるパターンの一例を示す図である。
【図８】第２の実施形態に係る画像処理装置の構成例を示す図である。
【図９】第２の実施形態における相関判定処理を示すフローチャートである。
【図１０】第３の実施形態に係る画像処理装置の構成例を示す図である。
【図１１】第４の実施形態に係る画像処理装置の構成例を示す図である。
【図１２】形状判定処理に用いるパターンの一例を示す図である。
【図１３】第４の実施形態におけるエッジ方向判定処理を示す概念図である。
【図１４】第４の実施形態におけるエッジ方向判定処理を示すフローチャートである。
【図１５】図１４に示した初期データ設定処理を示すフローチャートである。
【図１６】本実施形態における画像処理装置を実現可能なコンピュータ機能を示す図である。
【符号の説明】
【０１１８】
１〜４  画像処理装置
１４  フィールドメモリ
１５、１６  クラスター分析回路
１７Ａ、１７Ｂ  相関判定回路
１８、３２Ａ、３２Ｂ  フィールド内補間信号生成回路
１９  セレクタ
２０  プログレッシブ変換回路
２１、３４  補間信号生成回路
３１Ａ、３１Ｂ  形状判定回路
３３  動き判定回路
４１  エッジ方向判定回路
【図１】
2009170969.tif 000003
【図２】
2009170969.tif 000004
【図３】
2009170969.tif 000005
【図４】
2009170969.tif 000006
【図５】
2009170969.tif 000007
【図６】
2009170969.tif 000008
【図７】
2009170969.tif 000009
【図８】
2009170969.tif 000010
【図９】
2009170969.tif 000011
【図１０】
2009170969.tif 000012
【図１１】
2009170969.tif 000013
【図１２】
2009170969.tif 000014
【図１３】
2009170969.tif 000015
【図１４】
2009170969.tif 000016
【図１５】
2009170969.tif 000017
【図１６】
2009170969.tif 000018