(57)【特許請求の範囲】
【請求項１】
複数の画素からなる小区画画像を入力画像から切り出して記憶するバッファメモリと、
前記バッファメモリ内の小区画画像を周波数解析し、前記小区画画像の空間周波数分布を出力する周波数解析手段と、
前記バッファメモリ内の小区画画像を周期性解析し、前記小区画画像の時間周期性分布を出力する周期性解析手段と、
前記小区画画像の空間周波数分布及び時間周期性分布を基に、前記小区画画像の画像パターンの判別結果を出力する判別分析手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記バッファメモリは、着目画素を移動しながら前記着目画素を中心とした複数の画素からなる小区画画像を切り出して記憶し、
さらに、前記判別分析手段が出力する空間的に近傍の複数の小区画画像の画像パターンの判別結果を基に、前記判別分析手段が出力する小区画画像の画像パターンの判別結果を補正する判定手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記バッファメモリは、着目画素を移動しながら前記着目画素を中心とした複数の画素からなる小区画画像を切り出して記憶し、
さらに、前記判別分析手段が出力する時間的に近傍の複数の小区画画像の画像パターンの判別結果を基に、前記判別分析手段が出力する小区画画像の画像パターンの判別結果を補正する判定手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記周波数解析手段は、バンドパスフィルタ処理、直交変換処理、短時間フーリエ変換又は連続ウェーブレット変換により前記小区画画像の空間周波数分布を出力することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記周期性解析手段は、前記小区画画像を少なくとも２つの異なる方向で時間波形解析し、前記波形の傾きの符号が切り替わる回数を基に前記小区画画像の時間周期性分布を出力することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記周期性解析手段は、閾値を超えたレベル変動を伴う前記波形の傾きの符号が切り替わる回数を基に前記小区画画像の時間周期性分布を出力することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記判定手段は、メディアンフィルタ又は平均化フィルタを用いて前記判別分析手段が出力する小区画画像の画像パターンの判別結果を補正することを特徴とする請求項２又は３記載の画像処理装置。
【請求項８】
さらに、前記入力画像をリサイズ倍率で拡大又は縮小するリサイズ手段と、
前記小区画画像の画像パターンの判別結果及び前記リサイズ倍率に応じて、前記リサイズ手段の入力信号又は出力信号に対して帯域制限処理を行う帯域制限フィルタとを有することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記帯域制限フィルタは、前記リサイズ倍率が拡大の場合、拡大率が大きくなるに従って、波形歪みによる高調波の抑圧度を高めるようにフィルタ係数を変更することを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記帯域制限フィルタは、前記リサイズ倍率が２つの異なる方向に対して独立に設定されており、フィルタ係数を各方向に対して独立に制御することを特徴とする請求項８記載の画像処理装置。
【請求項１１】
前記帯域制限フィルタは、機能が異なる複数のフィルタ手段を有し、前記小区画画像の画像パターンの判別結果に応じて前記複数のフィルタ手段から１つを選択することを特徴とする請求項８記載の画像処理装置。
【請求項１２】
前記複数のフィルタ手段は、ローパスフィルタ、εフィルタ及びメディアンフィルタを有することを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
さらに、前記入力画像を拡大又は縮小するリサイズ手段を有し、
前記リサイズ手段は、前記小区画画像の画像パターンの判別結果に応じて、異なる参照画素を基に補間を行うことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項１４】
複数の画素からなる小区画画像を入力画像から切り出してバッファメモリに記憶する記憶ステップと、
前記バッファメモリ内の小区画画像を周波数解析し、前記小区画画像の空間周波数分布を出力する周波数解析ステップと、
前記バッファメモリ内の小区画画像を周期性解析し、前記小区画画像の時間周期性分布を出力する周期性解析ステップと、
前記小区画画像の空間周波数分布及び時間周期性分布を基に、前記小区画画像の画像パターンの判別結果を出力する判別分析ステップと
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関する。
【背景技術】
【０００２】
近年は、フレーム間の圧縮符号化を伴う映像方式であるＭＰＥＧ２、ＭＰＥＧ４方式を採用した録画再生機器の普及や、超多画素のセンサーを使用したデジタルカメラ、デジタルビデオカメラの普及が急速に進んでいる。
【０００３】
このような状況下では、処理される情報量に対して、記憶したり伝送したりできるデータ容量が相対的に小さくなってきており、映像の伝えたい意味を把握し、必要な情報を適切に処理する必要が出てきている。
【０００４】
画像の意味や特徴を把握し、フレーム間予測符号化を行うものとしては、下記の特許文献１がある。また、画像の意味や特徴を把握し、それに基づいて補間処理を行うものとしては、下記の特許文献２がある。
【０００５】
【特許文献１】特開平９−２９８７５３号公報
【特許文献２】特開２００１−２３８０７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１では、フレーム間予測符号化処理によって必然的に得られる、発生符号量或いは予測残差を画像の複雑さと定義して、その複雑さに応じて入力信号に適応的にＬＰＦを施すことにより、符号化効率の低下を防いでいる。
しかしながらこのような画像の意味や特徴の判定方法は、元々ある信号処理により得られる情報の流用であり、構成が著しく限定されるばかりでなく、画像の判定処理そのものが大規模で複雑な処理である。
【０００７】
従って、独立した処理として設けたり、要求に応じたハードウェア規模で構成し組み入れたりすることへの対応が難しい。
【０００８】
また、上記特許文献２では、画像の一部分の内容を分類し、それに基づいて、線形補間、非線形補間の補間処理アルゴリズムを切り替えることにより、補間後の画像の周波数応答が良い補間処理を行っている。
【０００９】
しかしながらこのような画像の意味や特徴の判定方法は、波形パターンとの一致性を評価するいわゆるパターンマッチングであり、パターンの設定自体が画像判定結果を大きく変えてしまう。
【００１０】
また、拡大、縮小による補間処理後の画像の特性が考慮されておらず、出力画像に対して本質的に好適な処理がなされていない。
【００１１】
本発明の目的は、簡単な構成で、画像中の小区画画像における被写体の意味や特徴を判別することができる画像処理装置及び方法を提供することである。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、複数の画素からなる小区画画像を入力画像から切り出して記憶するバッファメモリと、前記バッファメモリ内の小区画画像を周波数解析し、前記小区画画像の空間周波数分布を出力する周波数解析手段と、前記バッファメモリ内の小区画画像を周期性解析し、前記小区画画像の時間周期性分布を出力する周期性解析手段と、前記小区画画像の空間周波数分布及び時間周期性分布を基に、前記小区画画像の画像パターンの判別結果を出力する判別分析手段とを有することを特徴とする。
【００１３】
また、本発明の画像処理方法は、複数の画素からなる小区画画像を入力画像から切り出してバッファメモリに記憶する記憶ステップと、前記バッファメモリ内の小区画画像を周波数解析し、前記小区画画像の空間周波数分布を出力する周波数解析ステップと、前記バッファメモリ内の小区画画像を周期性解析し、前記小区画画像の時間周期性分布を出力する周期性解析ステップと、前記小区画画像の空間周波数分布及び時間周期性分布を基に、前記小区画画像の画像パターンの判別結果を出力する判別分析ステップとを有することを特徴とする。
【発明の効果】
【００１４】
前後の信号処理とは独立に、簡単な構成で、画像中の小区画画像における被写体の意味や特徴を判別することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
（第１の実施形態）
本発明の第１の実施形態についての説明をする。図１は、本発明の第１の実施形態による撮像装置（画像処理装置）のブロック図の例である。以下、画像処理装置の画像処理方法を説明する。入力端子から入力された映像信号は、着目画素を移動しながら着目画素を中心として、画像の走査方向及び直交方向の周辺の画素を一時的に保持するバッファメモリ１に入力される。
【００１６】
バッファメモリ１は、入力信号を画像の走査方向及び直交方向に保持するとともに、保持された着目画素を含む周辺画素信号を、図９にあるような小区画画像信号Ｉとして、全画素信号を同時に出力する。小区画画像信号Ｉは、周波数解析回路２及び周期性解析回路３に入力される。
【００１７】
周波数解析回路２は、入力された小区画画像信号Ｉに対し、空間周波数の解析処理を施し、解析結果から、小区画画像Iにおける空間周波数分布Hfを出力する。
【００１８】
周期性解析回路３は、入力された小区画画像信号Ｉに対し、画像の少なくとも走査方向及び直交方向について時間波形の解析処理を施し、解析結果から、小区画画像Iにおける時間周期性分布Hcを出力する。空間周波数分布Hf及び時間周期性分布Hcは、判別分析回路４に入力される。
【００１９】
さらに判別分析回路４には、例えば図８のような意味で区別された、既存の画像信号からあらかじめ得られている小区画画像のパターン群定義情報が、画像パターンデータIpkとして入力される。判別分析回路４は、空間周波数分布Hf及び時間周期性分布Hcから、入力された小区画画像の画像パターン定義Ｍを出力し、出力端子から外部に出力する。
【００２０】
マイコン５は、バッファメモリ１に対して、1走査線期間を指示するとともに、周波数解析回路２及び周期性解析回路３には、解析する小区画領域を指示し、さらに、判別分析回路４には、判別分析に必要な画像パターンの制御を指示する。
【００２１】
次に、バッファメモリ１について詳細に述べる。バッファメモリ1は、例えば図２のような回路で構成されている。この例の場合、着目画素を中心とした５×５の範囲で画素信号を出力する。
【００２２】
ラインメモリ制御回路１００は、マイコン５から指示されたタイミングを基に、1走査線期間の画素信号をラインメモリから読み出し書き込むための制御信号を生成し、出力する。入力された画素信号は、ラインメモリ１０１〜１０５により、順次走査方向とは直交方向に、1走査線期間の画素信号を保持する。
【００２３】
保持された各走査線の画素信号は順次読み出され、ラインメモリ１０１〜１０５にそれぞれ接続された遅延素子１１１〜１１４、１２１〜１２４、１３１〜１３４、１４１〜１４４、１５１〜１５４で走査方向に画素サンプリング周期で順次遅延される。各遅延素子からの出力は、同時に外部に対して小区画画像Iとして出力される。
【００２４】
次に、周波数解析回路２について詳細に述べる。周波数解析回路２は、例えば図３のような回路で構成されている。バッファメモリ１からの小区画画像Iは、ｎ個の評価関数フィルタ２０１〜２０ｎに入力される。評価関数フィルタは、小区画画像Iが特定の周波数帯の応答をどれほど持つかを解析するフィルタである。このような周波数解析フィルタは、例えばBPF、DCTやアダマール変換などの直交変換、短時間フーリエ変換、連続ウェーブレット変換などを適用することで構成できる。
【００２５】
さらに、これらの処理は、評価関数フィルタを変更することで周波数解析の分解能を調整できるので、構成するハードウェア規模や処理時間の制約に応じて、評価関数の数ｎを調整すればよい。
【００２６】
各評価関数フィルタ２０１〜２０ｎの出力は、ヒストグラム生成回路２１０に入力される。ヒストグラム生成回路２１０は、マイコン５から指示された期間の各評価関数フィルタ２０１〜２０ｎの出力を統計処理し、図１２のような空間周波数分布Hfを出力する。
【００２７】
周波数解析回路２は、上記実施形態のほかにも、例えば図４のような回路で構成しても良い。この場合、入力された小区画画像Iは、図２のような構成のバッファメモリ２２０に一時保持される。
【００２８】
領域制御回路２００は、マイコン５からの評価関数の設定数kの指示により、保持した小区画画像Iを同時に外部に対してk回繰り返し出力するように、制御信号Akを出力する。係数発生器２３０は、マイコン５からの評価関数の種別指示により、対応したフィルタ係数Fkを出力する。
【００２９】
評価関数フィルタ２０１には、バッファメモリ２２０から出力された小区画画像Iが入力され、係数発生器２３０から出力されたフィルタ係数を使用して、小区画画像Iが特定の周波数帯の応答をどれほど持つかを解析する。
【００３０】
このような周波数解析フィルタは、例えばＢＰＦ、ＤＣＴやアダマール変換などの直交変換、短時間フーリエ変換、連続ウェーブレット変換などを適用することで構成できる。
【００３１】
さらに、これらの処理は、評価関数フィルタ数を変更することで周波数解析の分解能を調整できるので、構成するハードウェア規模や処理時間の制約に応じて、評価関数の数ｋを調整すればよい。
【００３２】
評価関数フィルタ２０１の出力は、ヒストグラム生成回路２１０に入力される。ヒストグラム生成回路２１０は、評価関数フィルタ２０１のｋ回の出力を統計処理し、図１２のような空間周波数分布Hfを出力する。
【００３３】
周波数解析回路２は、映像の出力データレートに対してｋ倍速い動作出力を与えることにより、図３の並列処理と同等の分解能を持って動作が可能となる。
【００３４】
次に、周期性解析回路３について詳細に述べる。周期性解析回路３は、例えば図５のような回路で構成されている。バッファメモリ１からの小区画画像Iは、m個の水平差分検出回路３０１〜３０ｍ及びn個の垂直差分検出回路３２１〜３２ｎに入力される。このとき、小区画画像Iの入力は（ｍ＋１）行×（ｎ＋１）列の空間領域であることを想定している。
【００３５】
水平差分検出回路３０１〜３０ｍは、小区画画像Iの各行に対して、隣接する画素間の差分値を順次出力する。垂直差分検出回路３２１〜３２ｎは、小区画画像Iの各列に対して、隣接する画素間の差分値を順次出力する。
【００３６】
水平カウンタ３１１〜３１ｍは、それぞれ水平差分検出回路３０１〜３０ｍの出力の符号を見て、符号の変化があったときに、直前の出力値に１を加算して出力するとともに、出力した値を保持する。
【００３７】
垂直カウンタ３３１〜３３ｎは、それぞれ垂直差分検出回路３２１〜３２ｎの出力の符号を見て、符号の変化があったときに、直前の出力値に１を加算して出力するとともに、出力した値を保持する。
【００３８】
なお、水平カウンタ３１１〜３１ｍ及び垂直カウンタ３３１〜３３ｎは、ノイズ等の微少な変動による符号の変化を抑圧するために、差分値に閾値を設定し、閾値以上の変化を伴う場合にのみ、直前の出力値に１を加算して出力すると共に、出力値を保持してもよい。
【００３９】
水平カウンタ３１１〜３１ｍ及び垂直カウンタ３３１〜３３ｎの出力は、ヒストグラム生成回路３１０に入力される。ヒストグラム生成回路３１０は、マイコン５から指示された期間の水平カウンタ３１１〜３１ｍ及び垂直カウンタ３３１〜３３ｎの出力を統計処理し、図１３のような時間周期性分布Hcを出力する。
【００４０】
周期性解析回路３は、上記実施形態のほかにも、例えば図７のような回路で構成しても良い。この場合、入力された小区画画像Iは、図２のような構成のバッファメモリ３２０に一時保持される。
【００４１】
領域制御回路３００は、マイコン５からの差分検出の設定数kの指示により、保持した小区画画像Iを同時に外部に対してk回繰り返し出力するように、制御信号Akを出力する。このとき、小区画画像Iの入力は（ｍ＋１）行×（ｎ＋１）列の空間領域であることを想定すれば、ｋ＝ｍ×nである。
【００４２】
差分回路３０１は、領域制御回路３００で指定された行又は列について、隣接する画素間の差分値を順次出力する。カウンタ３１１は、差分検出回路３０１の出力の符号を見て、符号の変化があったときに、直前の出力値に１を加算して出力するとともに、出力した値を保持する。
【００４３】
カウンタ制御回路３４０は、マイコン５から設定された期間が経過するごとに、リセット信号を発生する。カウンタ３１１は、カウンタ制御回路３４０からリセット信号を受け取ると、保持されたカウント値をリセットする。
【００４４】
なお、カウンタ３１１は、ノイズなどの微少な変動による符号の変化を抑圧するために、差分値に閾値を設定し、閾値以上の変化を伴う場合にのみ、直前の出力値に１を加算して出力するとともに、出力した値を保持するようにしてもよい。
【００４５】
カウンタ３１１の出力は、ヒストグラム生成回路３１０に入力される。ヒストグラム生成回路３１０は、カウンタ３１１の出力を統計処理し、図１３のような時間周期性分布Hcを出力する。
【００４６】
周期性解析回路３は、映像の出力データレートに対してｋ倍速い動作出力を与えることにより、図５の並列処理と同等の分解能を持って動作が可能となる。
【００４７】
次に、判別分析回路４について詳細に述べる。判別分析回路４は、例えば図６のような回路で構成されている。周波数代表値算出回路４０１は、空間周波数分布Hfを入力し、分布の中央値、平均値などを算出して、空間周波数分布Hfの代表値Sfを出力する。周期性代表値算出回路４０２は、時間周期性分布Hcを入力し、分布の中央値、平均値などを算出して、時間周期性分布Hcの代表値Scを出力する。
【００４８】
判別関数回路４０３には、空間周波数代表値Sf及び時間周期性代表値Scが入力されるとともに、画像パターンデータIpkが入力される。ここで、画像パターンデータIpkは、マイコン５からの判別パターンの設定数kの指示により、画像パターン制御回路４０６及び画像パターンデータベース４０７から、例えば図８に示すような画像パターンに応じて出力される。画像パターンは、例えば、平坦、ステップ、線、テクスチャ等である。
【００４９】
画像パターンデータIpkは、予め解析された、画像パターンkにおける空間周波数代表値の平均Akf、分散Dkf、時間周期性代表値の平均Akc、分散Dkc、空間周波数代表値と時間周期性代表値の相関係数Ck、画像パターンの識別値Rkで構成される。
【００５０】
なお、画像パターンデータIpkは、空間周波数代表値Sf及び時間周期性代表値Scに対して、図１１に示すような領域で判別されるように、既知の画像データを使用してあらかじめ解析されて生成したものである。画像パターンとして、テクスチャ、線、ステップ及び平坦は、周波数及び周期性が異なる。
【００５１】
判別関数回路４０３は、画像パターンkに対するマハラノビス距離Mkを、以下の式（１）で求め、出力する。
【００５２】
【数１】
0004963645.tif 000002
【００５３】
ここで、uf、ucはそれぞれ以下の式（２）で求める。
【００５４】
【数２】
0004963645.tif 000003
【００５５】
ハードウェアでの演算負荷の高い自乗演算や平方根演算は、あらかじめ計算されたものを画像パターンデータIpkに含めてしまっても良い。
【００５６】
バッファメモリ４０４は、画像パターンの識別値Rkに従い、判別回路４０３が出力したマハラノビス距離Mkを一時的に保持する。
【００５７】
パターン判定回路４０５は、バッファメモリ４０４から読み出されるマハラノビス距離Mkのうち、もっとも値の小さいものを決定し、該当する画像パターンの識別値Rkを画像パターン定義Mとして出力する。画像パターン定義Mは、平坦、ステップ、線、テクスチャ等のうちのいずれかである。
【００５８】
（第２の実施形態）
本発明の第２の実施形態についての説明をする。図１０は、本発明の第２の実施形態による撮像装置のブロック図の例である。本実施形態は、第１の実施形態の出力に対する処理が加わるものであるので、第１の実施形態と重複する部分、即ちパターン判定回路４０５の出力までは解説を省略する。
【００５９】
パターン判定回路４０５が出力した画像パターン定義Mは、判定回路６に入力されるとともに、バッファメモリ７に入力される。バッファメモリ７は、例えば画素単位の複数の遅延素子によるシフトレジスタで構成されており、入力された画像パターン定義Mを順次遅延させて保持するとともに、各遅延素子に保持されている画像パターン定義群Mxが出力される。
【００６０】
判定回路６は、バッファメモリ７からの画像パターン定義群Mxに対して平均化フィルタ、メディアンフィルタなど、周囲の画像パターン判定に対して特異な結果が排除、緩和されるような処理を行い、新しい画像パターン定義M'を出力する。
【００６１】
バッファメモリ７の容量を大きくし、フレーム単位で複数の画像パターン定義Mを一時的に保持できるようにすれば、時間方向の特異点除去も可能となるため、動画像に本実施形態を適用した際にも、画像パターン定義M'が好適に得られる。
【００６２】
以上のように、第１及び第２の実施形態では、前後の信号処理とは独立に、簡単な構成で、画像中の小区画における被写体の意味や特徴を判別することを実現することができる。
【００６３】
また、周囲の小区画画像と比較して、判別結果が孤立している場合はそれを破棄し、周囲の判別結果から推定される判別結果に置き換えることで、判別結果の正当性を確保している。
【００６４】
また、時間的に前後のフレームとなる同一位置の小区画画像と比較して、判別結果が孤立している場合はそれを破棄し、時間的に前後の判別結果から推定される判別結果に置き換えることで、判別結果の正当性を確保している。
【００６５】
以上のように、既知の画像データから生成された複数の画像パターン群が定義され、各画像パターン群に、空間周波数分布と時間周期性分布を関数として得られている固有値群とを有する。判別分析回路４は、小区画画像の空間周波数分布と時間周期性分布を関数として得られる固有値と、各画像パターン群の固有値から判別距離を出力し、各画像パターン群で最も判別距離の近い画像パターンに、小区画画像を定義して出力する。
【００６６】
第１及び第２の実施形態では、バッファメモリ１は、複数の画素からなる小区画画像Ｉを入力画像から切り出して記憶する。周波数解析手段（回路）２は、前記バッファメモリ１内の小区画画像Ｉを周波数解析し、前記小区画画像Ｉの空間周波数分布Ｈｆを出力する。周期性解析手段（回路）３は、前記バッファメモリ１内の小区画画像Ｉを周期性解析し、前記小区画画像Ｉの時間周期性分布Ｈｃを出力する。判別分析手段（回路）４は、前記小区画画像Ｉの空間周波数分布Ｈｆ及び時間周期性分布Ｈｃを基に、前記小区画画像Ｉの画像パターンの判別結果Ｍを出力する。
【００６７】
前記バッファメモリ１は、着目画素を移動しながら前記着目画素を中心とした複数の画素からなる小区画画像を切り出して記憶する。判定手段（回路）６は、前記判別分析手段４が出力する空間的に近傍の複数の小区画画像Ｉの画像パターンの判別結果を基に、前記判別分析手段４が出力する小区画画像Ｉの画像パターンの判別結果を補正する。また、判定手段６は、前記判別分析手段４が出力する時間的に近傍の複数の小区画画像Ｉの画像パターンの判別結果を基に、前記判別分析手段４が出力する小区画画像Ｉの画像パターンの判別結果を補正してもよい。
【００６８】
前記周波数解析手段２は、バンドパスフィルタ処理、直交変換処理、短時間フーリエ変換又は連続ウェーブレット変換により前記小区画画像Ｉの空間周波数分布を出力する。
【００６９】
前記周期性解析手段３は、前記小区画画像Ｉを少なくとも２つの異なる方向で時間波形解析し、前記波形の傾きの符号が切り替わる回数を基に前記小区画画像Ｉの時間周期性分布を出力する。
【００７０】
また、前記周期性解析手段３は、閾値を超えたレベル変動を伴う前記波形の傾きの符号が切り替わる回数を基に前記小区画画像Ｉの時間周期性分布を出力する。
【００７１】
前記判定手段６は、メディアンフィルタを用いて前記判別分析手段４が出力する小区画画像Ｉの画像パターンの判別結果を補正する。
【００７２】
また、前記判定手段６は、平均化フィルタを用いて前記判別分析手段４が出力する小区画画像の画像パターンの判別結果を補正する。
【００７３】
（第３の実施形態）
本発明の第３の実施形態についての説明をする。図１４は、本発明の第３の実施形態による縮小処理を行う撮像装置のブロック図の例である。入力端子から入力された映像信号は、帯域制限フィルタ１００１に入力されるとともに、画像判別回路１００２に入力される。
【００７４】
画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。
【００７５】
係数発生回路１００３は、マイコン１００４から指示されたリサイズ倍率設定値Zoom及び画像判別回路１００２からの画像パターン定義Mを入力する。そして、係数発生回路１００３は、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefに対し、係数制御を施したのち、フィルタ係数Coef'を出力する。
【００７６】
帯域制限フィルタ１００１には、係数発生回路１００３からのフィルタ係数Coef'が入力され、帯域制限フィルタ１００１は、フィルタ係数Coef'に基づいて、入力信号に帯域制限を施して出力する。
【００７７】
帯域制限フィルタ１００１の出力はリサイズ回路１００５に入力される。リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号holdに従い、映像信号に対して補間処理を施し、リサンプリングしたのち、出力端子より出力する。
【００７８】
次に、画像判別回路１００２について詳細に述べる。画像判別回路１００２は、例えば図１６のような回路で構成されている。入力端子から入力された映像信号は、着目画素を中心として、画像の走査方向及び直交方向の周辺の画素を一時的に保持するバッファメモリ１２０１に入力される。
【００７９】
バッファメモリ１２０１は、入力信号を画像の走査方向及び直交方向に保持するとともに、保持された着目画素を含む周辺画素信号を、図９にあるような小区画画像信号Ｉとして、全画素信号を同時に出力する。
【００８０】
小区画画像信号Ｉは、周波数解析回路１２０２及び周期性解析回路１２０３に入力される。周波数解析回路１２０２は、入力された小区画画像信号Ｉに対し、空間周波数の解析処理を施し、解析結果から、小区画画像Iにおける空間周波数分布Hfを出力する。
【００８１】
周期性解析回路１２０３は、入力された小区画画像信号Ｉに対し、画像の少なくとも走査方向及び直交方向について時間波形の解析処理を施し、解析結果から、小区画画像Iにおける時間周期性分布Hcを出力する。
【００８２】
周波数代表値算出回路１２０４は、空間周波数分布Hfを入力し、分布の中央値、平均値などを算出して、空間周波数分布Hfの代表値Sfを出力する。周期性代表値算出回路１２０５は、時間周期性分布Hcを入力し、分布の中央値、平均値などを算出して、時間周期性分布Hcの代表値Scを出力する。
【００８３】
判別関数回路１２０６には、空間周波数代表値Sf及び時間周期性代表値Scが入力されるとともに、画像パターンデータIpkが入力される。マイコン１００４からの判別パターンの設定数Cipの指示により画像パターン制御回路１２０９は、例えば図８に示すような画像パターンに応じた画像パターンデータIpkを出力するように画像パターンデータベース１２１０に指示する。画像パターンデータベース１２１０は、画像パターンデータIpkを出力する。
【００８４】
画像パターンデータIpkは、予め解析された、画像パターンkにおける空間周波数代表値の平均Akf、分散Dkf、時間周期性代表値の平均Akc、分散Dkc、空間周波数代表値と時間周期性代表値の相関係数Ck、画像パターンの識別値Rkで構成される。
【００８５】
なお、画像パターンデータIpkは、空間周波数代表値Sf及び時間周期性代表値Scに対して、図１１に示すような領域で判別されるように、既知の画像データを使用してあらかじめ解析されて生成したものである。
【００８６】
判別関数回路１２０６は、画像パターンkに対するマハラノビス距離Mkを、上記の式（１）で求め、出力する。ここで、uf、ucはそれぞれ上記の式（２）で求める。
【００８７】
ハードウェアでの演算負荷の高い自乗演算や平方根演算は、あらかじめ計算されたものを画像パターンデータIpkに含めてしまっても良い。
【００８８】
バッファメモリ１２０７は、画像パターンの識別値Rkに従い、判別関数回路１２０６が出力したマハラノビス距離Mkを一時的に保持する。
【００８９】
パターン判定回路１２０８は、バッファメモリ１２０７から読み出されるマハラノビス距離Mkのうち、もっとも値の小さいものを決定し、該当する画像パターンの識別値Rkを画像パターン定義Mとして出力する。画像パターン定義Mは、平坦、ステップ、線、テクスチャ等のうちのいずれかである。
【００９０】
次に、周波数解析回路１２０２について詳細に述べる。周波数解析回路１２０２は、例えば図３のような回路で構成されている。その説明は、上記と同様である。
【００９１】
次に、周期性解析回路１２０３について詳細に述べる。周期性解析回路１２０３は、例えば図５のような回路で構成されている。その説明は、上記と同様である。
【００９２】
次に、帯域制限フィルタ１００１の周波数特性の決定方法について、図２５、図２６により説明する。図２５（Ａ）は、リサイズ処理前の画像のサンプリング周波数をfs、ナイキスト周波数をfnとした周波数領域での様子を示している。ここで、実線の周波数帯はベースバンド信号であり、破線の周波数帯は折り返しの信号である。
【００９３】
リサイズで縮小処理を施すと、図２５（Ｂ）のようにサンプリング周波数がfs'、ナイキスト周波数fn'になるが、このときに、ベースバンド信号と折り返し信号が重なることがない状態が理想的である。
【００９４】
マイコン１００４は、リサイズの縮小率が与えられると、図２６（Ａ）のリサイズ前のサンプリング周波数の信号（図２５（Ａ）と同一）に対して、フィルタ係数を算出する。そのフィルタ係数は、図２６（Ｂ）の太線に示すような、リサイズ後のナイキスト周波数fn'で十分に信号帯域が抑圧される帯域制限特性のフィルタ係数である。
【００９５】
帯域制限フィルタ１００１の処理の結果、映像信号は、図２６（Ｃ）のように、サンプリング周波数fsで、帯域がfn'程度の周波数成分に制限されたものになる。従って、帯域制限フィルタ１００１の周波数特性は、図１８のような連続的な帯域変化を示す周波数特性を有しており、リサイズの倍率に対して可変制御され、縮小倍率が高くなるほど狭帯域な特性を取る。
【００９６】
次に、係数発生回路１００３の制御フローについて、図２８及び図２９で詳細に説明する。図２８は、係数発生回路１００３の内部で行われる制御のフローチャートである。係数発生回路１００３には、マイコン１００４から指示された帯域制限フィルタ係数Coefが入力されるとともに、画像判別回路１００２の出力である、着目画素における画像パターン定義Mが入力される。
【００９７】
まず、係数発生回路１００３は、マイコン１００４から指示されたリサイズ倍率設定値Zoomにより、リサイズ倍率が縮小か拡大かを判定する。縮小の場合（拡大の場合は第４の実施形態で述べる）、縮小時の帯域シフト量の算出ルーチンに進む。縮小時の帯域シフト量の算出ルーチンは、例えば図２９に示すようなフローチャートの制御である。
【００９８】
画像パターン定義Mにより、周波数リサンプリング比率によりマイコン１００４が決定した既定のフィルタ係数に対して、通過帯域を操作する帯域シフト量Shiftが規定される。この例では、画像パターン定義Mが平坦であれば、帯域制限の必要性が低いと判断できるので、帯域制限フィルタ１００１は既定よりも超広帯域となるように、帯域シフト量Shiftはbroad+（超広帯域を示す値）が選択される。
【００９９】
画像パターン定義Mがステップであれば、急峻な波形変動付近に発生しやすい高周波の折り返しを低減するために、帯域制限フィルタ１００１は既定よりもやや狭帯域となるように、帯域シフト量Shiftはnarrow（やや狭帯域を示す値）が選択される。
【０１００】
画像パターン定義Mが線であれば、線自体の鮮鋭さを維持するために、帯域制限フィルタは既定よりもやや広帯域となるように、帯域シフト量Shiftはbroad（やや広帯域を示す値）が選択される。
【０１０１】
画像パターン定義Mがテクスチャであれば、高周波成分が集中する付近に発生しやすい折り返しを低減するために、帯域制限フィルタは既定よりも超狭帯域となるように、帯域シフト量Shiftはnarrow+（超狭帯域を示す値）が選択される。
【０１０２】
画像パターン定義Mがその他であれば、画像による帯域の操作の効果は出ないと判断できるので、帯域シフト量Shiftは0が選択され、帯域シフト量の算出ルーチンを抜ける。
【０１０３】
決定された帯域シフト量Shiftに基づき、係数発生回路１００３は、マイコン１００４から指示された帯域制限フィルタ係数Coefを変更し、画像パターンとリサイズ倍率に応じた所望の帯域制限特性の得られる帯域制限フィルタ係数Coef'を出力する。
【０１０４】
次に、帯域制限フィルタ１００１について詳細に述べる。帯域制限フィルタ１００１は、例えば図１７のような回路で構成されている。この例では、フィルタのタップ数は５タップである。
【０１０５】
入力端子からの映像信号は、遅延素子１１０１〜１１０４で１画素分の遅延を順次施されるとともに、入力映像信号及び遅延素子１１０４の出力が加算器１１０５で加算され、遅延素子１１０１の出力及び遅延素子１１０３の出力が加算器１１０６で加算される。
【０１０６】
外部から入力されたフィルタ係数Coef'は、各々のフィルタタップに対して1つのフィルタ係数Coef'0、Coef'1、Coef'2で構成されている。
【０１０７】
フィルタタップの中央の画素値にあたる遅延素子１１０２の出力は、乗算器１１０９でCoef'0と乗算されて出力される。
【０１０８】
フィルタタップの中央から1番目の画素値にあたる加算器１１０６の出力は、乗算器１１０８でCoef'1と乗算されて出力される。
【０１０９】
フィルタタップの中央から2番目の画素値にあたる加算器１１０５の出力は、乗算器１１０７でCoef'2と乗算されて出力される。
【０１１０】
乗算器１１０７，１１０８，１１０９の出力は、加算器１１１０で加算され、フィルタ係数のゲイン分をビットシフトされ、出力端子に出力される。
【０１１１】
次に、リサイズ回路１００５について詳細に述べる。図２１は、リサイズ回路１００５の補間処理とリサンプリングにより、リサイズ前のサンプリング周波数のデータ列（Ａ／Ｂ）が、リサイズ後のサンプリング周波数のデータ列Iになる様子の模式図である。
【０１１２】
ここでは、説明を簡単にするために、補間処理は図２０に示すような、補間画素近傍２点の画素と、補間位置への距離Kを使用する線形補間処理とする。
【０１１３】
図２１の上から下への矢印が、補間画素近傍２点の画素から、補間画素位置に補間画素を生成することを示しており、補間画素近傍の画素Ａ及びＢと、図２０の補間位置への距離Kから、補間画素は次式で求められる。
Ｉ＝Ｋ×（Ａ−Ｂ）＋Ｂ            （ＡはＢの一つ前の画素位置）
【０１１４】
リサイズ回路１００５は、例えば図１９のような回路で構成されている。この例では、フィルタのタップ数は２タップの線形補間フィルタである。
【０１１５】
入力端子からの映像信号は、バッファメモリ１５０１に1走査線分保持され、読み出し時に、マイコン１００４から指示された繰り返し読み出しの制御信号holdにより、hold = high（ハイレベル）のときに、前回読み出した画素をもう一度読み出す。
【０１１６】
また、遅延素子１５０２、１５０３は、制御信号holdにより、hold = lowのときに、１画素分の遅延を順次施す。ただし、この繰り返し読み出し制御は縮小処理では不要であり、hold = low（ローレベル）に固定されている。
【０１１７】
そして、各画素信号A及びB、補間位置への距離Kから、加算器１５０４（演算は減算）、乗算器１５０５、加算器１５０６で上記線形補間式を実現し、補間処理結果をバッファメモリ１５０７に1走査線分保持する。
【０１１８】
バッファメモリ１５０７に書き込む際の制御を示したのが、図２２である。縮小の補間処理では、リサイズ前のサンプリング周波数よりも小さい周波数にリサンプリングされる。このため、リサイズ前のサンプリング周波数で補間処理された出力には、リサンプリング後には不要となる画素（図２２の網掛けの演算結果）が含まれていることになる。
【０１１９】
そこで、補間画素近傍の画素データ列Ai及びBi+1と、補間画素位置までの距離Kiにより、補間画素データ列Iiが次式で表される時に、以下の制御を行う。すなわち、マイコン１００４から指示された書き飛ばし制御信号skipにより、skip = highでは補間演算結果はバッファメモリ１５０７に書き込まないように制御する。
Ii = Ki×(Ai - Bi+1) + Bi+1          （Ai = Bi）
【０１２０】
バッファメモリ１５０７の出力は、図２６（Ｄ）のように、サンプリング周波数fs'で、帯域がfn'程度の周波数成分に制限されたものであると同時に、画像パターン定義により、画像の内容に好適な帯域に適宜調整された映像信号として出力される。
【０１２１】
なお、ここでは帯域制限フィルタ１００１とリサイズ回路１００５を水平方向の処理のみで記述しているが、各回路内の遅延素子を1走査期間分のラインメモリとし、バッファメモリを１フィールド又はフレームとすることで、垂直方向にも同様の構成を適用できる。
【０１２２】
（第４の実施形態）
本発明の第４の実施形態についての説明をする。図１５は、本実施形態による拡大処理を行う撮像装置のブロック図の例である。本実施形態が第３の実施形態と異なるのは、リサイズ回路１００５の前段にあった帯域制限フィルタ１００１がなく、代わりに後段に波形整形フィルタ１００６が挿入されたことである。
【０１２３】
図２７（Ａ）は、リサイズ処理前の画像のサンプリング周波数をfs、ナイキスト周波数をfnとした周波数領域での様子を示している。ここで、実線の周波数帯はベースバンド信号であり、破線の周波数帯は折り返しの信号である。
【０１２４】
リサイズで拡大処理を施すと、図２７（Ｂ）のようにサンプリング周波数がfs'、ナイキスト周波数fn'になるが、このときに、ベースバンド信号と折り返し信号は、原サンプリング以上の周波数を持たないために、重なることはない。従って、拡大処理では、帯域制限は原理的には不要であるが、補間処理による波形歪みにより、高調波が発生する場合がある。
【０１２５】
以下は、構成、制御の相違点のみ詳細に記述し、本実施形態が第３の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。
【０１２６】
入力端子から入力された映像信号は、リサイズ回路１００５に入力されるとともに、画像判別回路１００２に入力される。
【０１２７】
リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号holdに従い、映像信号に対して補間処理を施し、リサンプリングしたのち出力する。
【０１２８】
画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。
【０１２９】
係数発生回路１００３は、マイコン１００４から指示された、リサイズ倍率Zoomが大きくなるほど、映像信号の高調波抑圧の特性を強くするようなフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、画像判別回路１００２からの画像パターン定義Mに従って係数制御を施す。その後、フィルタ係数Coef'を出力する。
【０１３０】
波形整形フィルタ１００６には、係数発生回路１００３からのフィルタ係数Coef'が入力され、波形整形フィルタ１００６は、フィルタ係数Coef'に基づいて、リサイズ回路１００５からの入力信号に波形整形処理を施したのち、出力端子より出力する。
【０１３１】
次に、リサイズ回路１００５について詳細に述べる。図２３は、リサイズ回路１００５の補間処理とリサンプリングにより、リサイズ前のサンプリング周波数のデータ列（A/B）が、リサイズ後のサンプリング周波数のデータ列Iになる様子の模式図である。
【０１３２】
ここでは、説明を簡単にするために、補間処理は図２０に示すような、補間画素近傍2点の画素と、補間位置への距離Kを使用する線形補間処理とする。
【０１３３】
図２３の上から下への矢印が、補間画素近傍2点の画素から、補間画素位置に補間画素を生成することを示しており、補間画素近傍の画素A及びBと、図２０の補間位置への距離Kから、補間画素は次式で求められる。
I = K×(A - B) + B            （AはBの一つ前の画素位置）
【０１３４】
リサイズ回路１００５は、第３の実施形態と同様に、例えば図１９のような回路で構成された、フィルタのタップ数は２タップの線形補間フィルタである。
【０１３５】
入力端子からの映像信号は、バッファメモリ１５０１に1走査線分保持され、読み出される。
【０１３６】
バッファメモリ１５０１から読み出す際の制御を示したのが、図２４である。拡大の補間処理では、リサイズ前のサンプリング周波数よりも大きい周波数にリサンプリングされる。このため、倍率によっては、リサイズ前のサンプリング周波数における同一組の画素間に対し、補間処理された出力には、複数のリサンプリング後の画素が含まれる場合がある（図２４の網掛けの演算結果）ことになる。
【０１３７】
そこで、補間画素近傍の画素データ列Ai及びBi+1と、補間画素位置までの距離Kiにより、補間画素データ列Iiが次式で表される時に、以下の制御を行う。すなわち、マイコン１００４から指示された繰り返し読み制御信号holdにより、hold = highではバッファメモリ１５０１の読み出し画素を進めずに、前回読み出した画素をもう一度読み出すように制御する。
Ii = Ki×(Ai - Bi+1) + Bi+1          （Ai = Bi）
【０１３８】
また、遅延素子１５０２、１５０３は、制御信号holdにより、hold = lowのときに、１画素分の遅延を順次施すとともに、hold = highのときは、画素遅延動作を行わないように制御される。
【０１３９】
そして、各画素信号A及びB、補間位置への距離Kから、加算器１５０４（演算は減算）、乗算器１５０５、加算器１５０６で上記線形補間式を実現する。そして、マイコン１００４から指示された書き飛ばし制御信号skipにより、skip = highでは補間演算結果はバッファメモリ１５０７に書き込まないように制御して、補間処理結果をバッファメモリ１５０７に1走査線分保持する。ただし、この書き飛ばし制御は拡大処理では不要であり、skip = lowに固定されている。バッファメモリ１５０７の出力は、所望のリサイズ倍率で拡大処理がなされた映像信号として出力される。
【０１４０】
次に、係数発生回路１００３の制御フローについて、図２８及び図３０で詳細に説明する。図２８は、係数発生回路１００３の内部で行われる制御のフローチャートである。
【０１４１】
係数発生回路１００３には、マイコン１００４から指示された波形整形フィルタ係数Coefが入力されるとともに、画像判別回路１００２の出力である、着目画素における画像パターン定義Mが入力される。
【０１４２】
まず、係数発生回路１００３は、マイコン１００４から指示されたリサイズ倍率設定値Zoomにより、リサイズ倍率が縮小か拡大かを判定する。
【０１４３】
拡大の場合（縮小の場合は第３の実施形態で述べた）、拡大時の高調波抑圧量の算出ルーチンに進む。拡大時の高調波抑圧量の算出ルーチンは、例えば図３０に示すようなフローチャートの制御である。
【０１４４】
画像パターン定義Mにより、マイコン１００４が決定した既定のフィルタ係数Coefに対して、通過帯域を操作するフィルタ係数Coef'が規定される。この例では、画像パターン定義Mが平坦であれば、波形整形の必要性が低いと判断できるので、フィルタ係数Coef'は、as is（拡大倍率に応じて設定された高調波抑圧特性）が選択される。
【０１４５】
画像パターン定義Mがステップであれば、急峻な波形変動付近に発生しやすい高調派歪みを低減するために、フィルタ係数Coef'はweak（拡大倍率に応じて設定された高調波抑圧特性を少し強くする）が選択される。
【０１４６】
画像パターン定義Mが線であれば、線自体の鮮鋭さを維持するために、フィルタ係数Coef'はas is（拡大倍率に応じて設定された高調波抑圧特性）が選択される。
【０１４７】
画像パターン定義Mがテクスチャであれば、高周波成分が集中する付近に発生しやすい高調派歪みを低減するために、フィルタ係数Coef'はstrong（拡大倍率に応じて設定された高調波抑圧特性を強くする）が選択される。
【０１４８】
画像パターン定義Mがその他であれば、画像による波形整形の効果は出ないと判断できるので、フィルタ係数Coef'はas is（拡大倍率に応じて設定された高調波抑圧特性）が選択される。
【０１４９】
係数発生回路１００３は、マイコン１００４から指示された帯域制限フィルタ係数Coefを変更し、画像パターン定義Mとリサイズ倍率Zoomに応じた所望の帯域制限特性の得られる帯域制限フィルタ係数Coef'を出力する。
【０１５０】
波形整形フィルタ１００６は、所望のリサイズ倍率で拡大処理がなされた画像パターンに、より好適な波形整形を行い、映像信号を出力する。
【０１５１】
（第５の実施形態）
本発明の第５の実施形態についての説明をする。図３１は、本実施形態による縮小処理を行う撮像装置のブロック図の例である。本実施形態が第３の実施形態と異なるのは、画像判別回路１００２の出力に対して、バッファメモリ１００７、判定回路１００８が接続されたことである。
【０１５２】
以下は、構成、制御の相違点のみ詳細に記述し、本実施形態が第３の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。
【０１５３】
入力端子から入力された映像信号は、帯域制限フィルタ１００１に入力されるとともに、画像判別回路１００２に入力される。
【０１５４】
画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。
【０１５５】
バッファメモリ１００７は、画像判別回路１００２の出力である画像パターン定義Mを入力し、入力された画像パターン定義Mを順次遅延させて保持するとともに、保持されている画像パターン定義群Mxを出力する。
【０１５６】
判定回路１００８は、画像判別回路１００２の出力である画像パターン定義M及びバッファメモリ１００７からの画像パターン定義群Mxを入力する。そして、平均化フィルタ、メディアンフィルタなど、着目画素位置とその周囲の画像パターン判定結果から、空間的に特異な結果が排除、緩和されるような処理を行い、着目画素位置における新しい画像パターン定義M'を出力する。
【０１５７】
係数発生回路１００３は、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefに対し、フィルタ係数Coef'を出力する。係数発生回路１００３は、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、判定回路１００８からの画像パターン定義M'に従って係数制御を施したのち、フィルタ係数Coef'を出力する。
【０１５８】
帯域制限フィルタ１００１には、係数発生回路１００３からのフィルタ係数Coef'が入力され、帯域制限フィルタ１００１は、フィルタ係数Coef'に基づいて、入力信号に帯域制限を施して出力する。
【０１５９】
帯域制限フィルタ１００１の出力はリサイズ回路１００５に入力される。リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号holdに従い、映像信号に対して補間処理を施し、リサンプリングしたのち、出力端子より出力する。
【０１６０】
バッファメモリ１００７の容量を大きくし、フレーム単位で複数の画像パターン定義Mを一時的に保持できるようにすれば、時間方向の特異点除去も可能となるため、動画像に本実施形態を適用した際にも、画像パターン定義M'が好適に得られる。
【０１６１】
（第６の実施形態）
本発明の第６の実施形態についての説明をする。図３２は、本実施形態による拡大処理を行う撮像装置のブロック図の例である。本実施形態が第４の実施形態と異なるのは、画像判別回路１００２の出力に対して、バッファメモリ１００７、判定回路１００８が接続されたことである。
【０１６２】
以下は、構成、制御の相違点のみ詳細に記述し、本実施形態が第４の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。
【０１６３】
入力端子から入力された映像信号は、リサイズ回路１００５に入力されるとともに、画像判別回路１００２に入力される。
【０１６４】
リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号holdに従い、映像信号に対して補間処理を施し、リサンプリングしたのち出力する。
【０１６５】
画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。
【０１６６】
係数発生回路１００３は、マイコン１００４から指示された、リサイズ倍率Zoomが大きくなるほど、映像信号の高調波抑圧の特性を強くするようなフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、判定回路１００８からの画像パターン定義M'に従って係数制御を施したのち、フィルタ係数Coef'を出力する。
【０１６７】
波形整形フィルタ１００６には、係数発生回路１００３からのフィルタ係数Coef'が入力され、波形整形フィルタ１００６は、フィルタ係数Coef'に基づいて、入力信号に波形整形処理を施したのち、出力端子より出力する。
【０１６８】
バッファメモリ１００７は、画像判別回路１００２の出力である画像パターン定義Mを入力し、入力された画像パターン定義Mを順次遅延させて保持するとともに、保持されている画像パターン定義群Mxを出力する。
【０１６９】
判定回路１００８は、画像判別回路１００２の出力である画像パターン定義M及びバッファメモリ１００７からの画像パターン定義群Mxを入力する。そして、平均化フィルタ、メディアンフィルタなど、着目画素位置とその周囲の画像パターン判定結果から、空間的に特異な結果が排除、緩和されるような処理を行い、着目画素位置における新しい画像パターン定義M'を出力する。
【０１７０】
バッファメモリ１００７の容量を大きくし、フレーム単位で複数の画像パターン定義Mを一時的に保持できるようにすれば、時間方向の特異点除去も可能となるため、動画像に本実施形態を適用した際にも、画像パターン定義M'が好適に得られる。
【０１７１】
以上のように、第３〜第６の実施形態では、簡単な構成で、画像中の小区画における被写体の意味や特徴を判別し、かつ、リサイズ処理が縮小か拡大かに応じて、補間処理の前後に配置されたプレ又はポストフィルタ処理を、より好適に制御することが実現できる。
【０１７２】
また、周囲の小区画画像と比較して、判別結果が孤立している場合はそれを破棄し、周囲の判別結果から推定される判別結果に置き換えることで、判別結果の正当性を確保している。
【０１７３】
また、時間的に前後のフレームとなる同一位置の小区画画像と比較して、判別結果が孤立している場合はそれを破棄し、時間的に前後の判別結果から推定される判別結果に置き換えることで、判別結果の正当性を確保している。
【０１７４】
以上のように、バッファメモリ１２０１は、複数の画素からなる小区画画像Ｉを入力画像から切り出して記憶する。周波数解析手段（回路）１２０２は、前記バッファメモリ１２０１内の小区画画像Ｉを周波数解析し、前記小区画画像Ｉの空間周波数分布を出力する。周期性解析手段（回路）１２０３は、前記バッファメモリ１２０１内の小区画画像Ｉを周期性解析し、前記小区画画像Ｉの時間周期性分布を出力する。判別分析手段は、回路１２０４〜１２１０を有し、前記小区画画像Ｉの空間周波数分布及び時間周期性分布を基に、前記小区画画像Ｉの画像パターンの判別結果を出力する。
【０１７５】
リサイズ手段（回路）１００５は、前記入力画像をリサイズ倍率で拡大又は縮小する。帯域制限フィルタ１００１は、前記小区画画像Ｉの画像パターンの判別結果及び前記リサイズ倍率に応じて、前記リサイズ手段１００５の入力信号又は出力信号に対して帯域制限処理を行う。
【０１７６】
前記帯域制限フィルタ１００１は、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定する。そして、前記小区画画像の画像パターンの判別結果が高周波成分を多く含むもの（テクスチャ又はステップ等）と判別されている場合には、より狭い帯域制限を行うために前記フィルタ係数をシフトする。
【０１７７】
前記帯域制限フィルタ１００１は、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定する。そして、前記小区画画像の画像パターンの判別結果が輪郭成分を多く含むもの（線等）と判別されている場合には、より広い帯域制限を行うために前記フィルタ係数をシフトする。
【０１７８】
前記帯域制限フィルタ１００１は、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定する。そして、前記小区画画像の画像パターンの判別結果が高周波成分をほとんど含まないもの（平坦等）と判別されている場合には、より広い帯域制限を行うために前記フィルタ係数をシフトする。
【０１７９】
前記帯域制限フィルタ１００１は、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が高周波成分を多く含むもの（テクスチャ又はステップ等）と判別されている場合には、波形歪みによる高調波を抑圧するようにフィルタ係数を変更する。
【０１８０】
前記帯域制限フィルタ１００１は、前記リサイズ倍率が拡大の場合、拡大率が大きくなるに従って、波形歪みによる高調波の抑圧度を高めるようにフィルタ係数を変更する。
【０１８１】
前記帯域制限フィルタ１００１は、前記リサイズ倍率が２つの異なる方向に対して独立に設定されており、フィルタ係数を各方向に対して独立に制御する。
【０１８２】
（第７の実施形態）
本発明の第７の実施形態についての説明をする。図３３は、本実施形態による縮小処理を行う撮像装置のブロック図の例である。
【０１８３】
入力端子から入力された映像信号は、帯域制限フィルタ１００１に入力されるとともに、画像判別回路１００２に入力される。画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。
【０１８４】
係数発生回路１００３は、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、画像判別回路１００２からの画像パターン定義Mに従って係数制御とフィルタ機能選択信号Selectを生成する。その後、フィルタ係数Coef'とフィルタ機能選択信号Selectを出力する。
【０１８５】
帯域制限フィルタ１００１には、係数発生回路１００３からのフィルタ係数Coef'とフィルタ機能選択信号Selectが入力される。帯域制限フィルタ１００１は、フィルタ係数Coef' とフィルタ機能選択信号Selectに基づいて、入力信号に帯域制限を施して出力する。
【０１８６】
帯域制限フィルタ１００１の出力はリサイズ回路１００５に入力される。リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号holdに従い、映像信号に対して補間処理を施し、リサンプリングしたのち、出力端子より出力する。
【０１８７】
次に、画像判別回路１００２について詳細に述べる。画像判別回路１００２は、例えば図１６のような回路で構成されている。その説明は、上記と同様である。
【０１８８】
次に、帯域制限フィルタ１００１の周波数特性の決定方法については、上記の図２５、図２６の説明と同様である。
【０１８９】
次に、係数発生回路１００３の制御フローについて、図３６及び図３７で詳細に説明する。図３６は、係数発生回路１００３の内部で行われる制御のフローチャートである。
【０１９０】
係数発生回路１００３には、マイコン１００４から指示された帯域制限フィルタ係数Coefが入力されるとともに、画像判別回路１００２の出力である、着目画素における画像パターン定義Mが入力される。
【０１９１】
まず、係数発生回路１００３は、マイコン１００４から指示されたリサイズ倍率設定値Zoomにより、リサイズ倍率が縮小か拡大かを判定する。
【０１９２】
縮小の場合（拡大の場合は第８の実施形態で述べる）、縮小時のフィルタ機能選択信号の算出ルーチンに進む。
【０１９３】
縮小時のフィルタ機能選択信号の算出ルーチンは、例えば図３７に示すようなフローチャートの制御である。画像パターン定義Mにより、使用するフィルタを選択するフィルタ機能選択信号Selectが規定される。この例では、画像パターン定義Mが平坦であれば、帯域制限よりもノイズを抑圧する必要性が高いと判断できるので、帯域制限フィルタはノイズをより抑圧できるεフィルタが選択されるように、フィルタ機能選択信号Selectはefilterが選択される。このとき、マイコン１００４から指示された帯域制限フィルタ係数Coefに変更を加えず、そのままCoef'とする。
【０１９４】
画像パターン定義Mがステップであれば、ステップ自体の鮮鋭さを維持するため、エッジを残すことができるメディアンフィルタが選択されるように、フィルタ機能選択信号Selectはmedianが選択される。
【０１９５】
画像パターン定義Mが線であれば、線自体の鮮鋭さを維持するため、エッジを残すことができるメディアンフィルタが選択されるように、フィルタ機能選択信号Selectはmedianが選択される。
【０１９６】
画像パターン定義Mがテクスチャであれば、高周波成分が集中する付近に発生しやすい折り返しを低減するため、既定よりも狭帯域となるLPF（ローパスフィルタ）が選択されるように、フィルタ機能選択信号Selectはlpf_nが選択される。
【０１９７】
画像パターン定義Mがその他であれば、画像によるフィルタ機能操作の効果は出ないと判断できるので、フィルタ機能選択信号Selectはlpf_sが選択され、フィルタ機能選択信号の算出ルーチンを抜ける。
【０１９８】
決定されたフィルタ機能選択信号Selectがlpf_nであったならば、係数発生回路１００３は、マイコン１００４から指示された帯域制限フィルタ係数Coefを変更する。そして、画像パターン定義Mとリサイズ倍率Zoomに応じた所望の帯域制限特性の得られる帯域制限フィルタ係数Coef'とフィルタ機能選択信号Selectを出力する。
【０１９９】
一方、決定されたフィルタ機能選択信号Selectがlpf_n以外であれば、マイコン１００４から指示された帯域制限フィルタ係数Coefに変更を加えず、そのままCoef'とし、フィルタ機能選択信号Selectとともに出力する。
【０２００】
次に、帯域制限フィルタ１００１について詳細に述べる。帯域制限フィルタ１００１は、例えば図３５のような回路で構成されている。
【０２０１】
入力端子からの映像信号は、それぞれＬＰＦ２１０１、εフィルタ２１０２、メディアンフィルタ２１０３に入力される。ここで、ＬＰＦ２１０１は、外部から入力されるフィルタ係数Coef'を用いてローパスフィルタ処理を行う。また、εフィルタ２１０２は、外部から入力されるフィルタ係数Coef'を用いてεフィルタ処理を行う。また、メディアンフィルタ２１０３は、メディアンフィルタ処理を行う。ＬＰＦ２１０１、εフィルタ２１０２、メディアンフィルタ２１０３からの出力はセレクタ２１０４に入力される。
【０２０２】
セレクタ２１０４は外部から入力されるSelectが、lpf_n、lpf_sであったならば、ＬＰＦ２１０１からの入力を出力端子に出力する。Selectがefilterであったならば、εフィルタ２１０２からの入力を出力端子に出力する。Selectがmedianであったならば、メディアンフィルタ２１０３からの入力を出力端子に出力する。
【０２０３】
次に、リサイズ回路１００５について述べる。リサイズ回路１００５は、上記の第３の実施形態と同様である。
【０２０４】
（第８の実施形態）
本発明の第８の実施形態についての説明をする。図３４は、本実施形態による拡大処理を行う撮像装置のブロック図の例である。本実施形態が第７の実施形態と異なるのは、リサイズ回路１００５の前段にあった帯域制限フィルタ１００１がなく、代わりに後段に波形整形フィルタ１００６が挿入されたことである。
【０２０５】
図２７（Ａ）は、リサイズ処理前の画像のサンプリング周波数をfs、ナイキスト周波数をfnとした周波数領域での様子を示している。ここで、実線の周波数帯はベースバンド信号であり、破線の周波数帯は折り返しの信号である。
【０２０６】
リサイズで拡大処理を施すと、図２７（Ｂ）のようにサンプリング周波数がfs'、ナイキスト周波数fn'になるが、このときに、ベースバンド信号と折り返し信号は、原サンプリング以上の周波数を持たないために、重なることはない。
【０２０７】
従って、拡大処理では、帯域制限は原理的には不要であるが、補間処理による波形歪みにより、高調波が発生する場合がある。
【０２０８】
以下は、構成、制御の相違点のみ詳細に記述し、本実施形態が第７の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。
【０２０９】
入力端子から入力された映像信号は、リサイズ回路１００５に入力されるとともに、画像判別回路１００２に入力される。リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号holdに従い、映像信号に対して補間処理を施し、リサンプリングしたのち出力する。
【０２１０】
画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。
【０２１１】
係数発生回路１００３は、マイコン１００４から指示された、リサイズ倍率Zoomが大きくなるほど、映像信号の高調波抑圧の特性を強くするようなフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、画像判別回路１００２からの画像パターン定義Mに従って係数制御とフィルタ機能選択信号Selectを生成する。その後、フィルタ係数Coef'とフィルタ機能選択信号Selectを出力する。
【０２１２】
波形整形フィルタ１００６には、係数発生回路１００３からのフィルタ係数Coef' とフィルタ機能選択信号Selectが入力される。波形整形フィルタ１００６は、フィルタ係数Coef' とフィルタ機能選択信号Selectに基づいて、入力信号に波形整形処理を施したのち、出力端子より出力する。
【０２１３】
次に、リサイズ回路１００５について詳細に述べる。リサイズ回路１００５の説明は、上記の第４の実施形態と同様である。
【０２１４】
次に、係数発生回路１００３の制御フローについて、図３６及び図３８で詳細に説明する。図３６は、係数発生回路１００３の内部で行われる制御のフローチャートである。
【０２１５】
係数発生回路１００３には、マイコン１００４から指示された波形整形フィルタ係数Coefが入力されるとともに、画像判別回路１００２の出力である、着目画素における画像パターン定義Mが入力される。
【０２１６】
まず、係数発生回路１００３は、マイコン１００４から指示されたリサイズ倍率設定値Zoomにより、リサイズ倍率が縮小か拡大かを判定する。
【０２１７】
拡大の場合（縮小の場合は第７の実施形態で述べた）、拡大時の高調波抑圧量及び機能選択信号の算出ルーチンに進む。拡大時の高調波抑圧量及び機能選択信号の算出ルーチンは、例えば図３８に示すようなフローチャートの制御である。
【０２１８】
画像パターン定義Mにより、マイコン１００４が決定した既定のフィルタ係数Coefに対して、通過帯域を操作するフィルタ係数Coef'が規定される。この例では、画像パターン定義Mが平坦であれば、波形整形の必要性は低く、ノイズを抑圧する必要性の方が高いと判断できる。したがって、フィルタ係数Coef'は、as is（拡大倍率に応じて設定された高調波抑圧特性）が選択され、フィルタ機能選択信号Selectは、ノイズをより抑圧できるεフィルタが選択されるようにefilterが選択される。
【０２１９】
画像パターン定義Mがステップであれば、ステップ自体の鮮鋭さを維持するため、エッジを残すことができるメディアンフィルタが選択されるように、フィルタ機能選択信号Selectはmedianが選択される。
【０２２０】
画像パターン定義Mが線であれば、線自体の鮮鋭さを維持するため、エッジを残すことができるメディアンフィルタが選択されるように、フィルタ機能選択信号Selectはmedianが選択される。
【０２２１】
画像パターン定義Mがテクスチャであれば、鮮鋭感を確保するため、フィルタ係数Coef'はstrong（ナイキスト周波数fn付近を抽出するBPFとなる）が選択される。フィルタ機能選択信号Selectは、輪郭補償フィルタが選択されるように、sharpnesが選択される。
【０２２２】
画像パターン定義Mがその他であれば、画像による波形整形の効果は出ないと判断できるので、フィルタ係数Coef'はas is（拡大倍率に応じて設定された高調波抑圧特性）が選択され、フィルタ機能選択信号Selectは、othersが選択される。
【０２２３】
係数発生回路１００３は、マイコンから指示された帯域制限フィルタ係数Coefを変更し、画像パターン定義Mとリサイズ倍率Zoomに応じた所望の帯域制限特性の得られる帯域制限フィルタ係数Coef'及びフィルタ機能選択信号Selectを出力する。
【０２２４】
次に、波形整形フィルタ１００６について詳細に述べる。波形整形フィルタ１００６は、例えば図４１のような回路で構成されている。入力端子からの映像信号は、それぞれ係数フィルタ２７０１、εフィルタ２７０３、メディアンフィルタ２７０４に入力される。
【０２２５】
ここで、係数フィルタ２７０１は、外部から入力されるフィルタ係数Coef'を用いて高調波抑圧又はBPF処理を行う。ここで、係数フィルタ２７０１がBPF処理を行う時、映像信号と係数フィルタ２７０１との出力を、加算器２７０２で加算することで輪郭補償フィルタ処理となる。また、εフィルタ２７０３は、外部から入力されるフィルタ係数Coef'を用いてεフィルタ処理を行う。また、メディアンフィルタ２７０４は、メディアンフィルタ処理を行う。
【０２２６】
係数フィルタ２７０１、加算器２７０２、εフィルタ２７０３、メディアンフィルタ２７０４からの出力はセレクタ２７０５に入力される。
【０２２７】
セレクタ２７０５は外部から入力されるSelectが、othersであったならば、係数フィルタ２７０１の出力を出力端子に出力する。Selectがsharpnesであったならば、加算器２７０２の出力を出力端子に出力する。Selectがefilterであったならば、εフィルタ２７０３の出力を出力端子に出力する。Selectがmedianであったならば、メディアンフィルタ２７０４の出力を出力端子に出力する。
【０２２８】
波形整形フィルタ１００６は、所望のリサイズ倍率で拡大処理がなされた画像パターンに、より好適な波形整形を行い、映像信号を出力する。
【０２２９】
（第９の実施形態）
本発明の第９の実施形態についての説明をする。図３９は、本実施形態による縮小処理を行う撮像装置のブロック図の例である。本実施形態が第７の実施形態と異なるのは、画像判別回路１００２の出力に対して、バッファメモリ１００７、判定回路１００８が接続されたことである。
【０２３０】
以下は、構成、制御の相違点のみ詳細に記述し、第７の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。
【０２３１】
入力端子から入力された映像信号は、帯域制限フィルタ１００１に入力されるとともに、画像判別回路１００２に入力される。
【０２３２】
画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。
【０２３３】
バッファメモリ１００７は、画像判別回路１００２の出力である画像パターン定義Mを入力し、入力された画像パターン定義Mを順次遅延させて保持するとともに、保持されている画像パターン定義群Mxを出力する。
【０２３４】
判定回路１００８は、画像判別回路１００２の出力である画像パターン定義M及びバッファメモリ１００７からの画像パターン定義群Mxを入力する。そして、平均化フィルタ、メディアンフィルタなど、着目画素位置とその周囲の画像パターン判定結果から、空間的に特異な結果が排除、緩和されるような処理を行い、着目画素位置における新しい画像パターン定義M'を出力する。
【０２３５】
係数発生回路１００３は、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、判定回路１００８からの画像パターン定義M'に従って係数制御とフィルタ機能選択信号Selectを生成する。その後、フィルタ係数Coef'とフィルタ機能選択信号Selectを出力する。
【０２３６】
帯域制限フィルタ１００１には、係数発生回路１００３からのフィルタ係数Coef'とフィルタ機能選択信号Selectが入力される。帯域制限フィルタ１００１は、フィルタ係数Coef'とフィルタ機能選択信号Selectに基づいて、入力信号に帯域制限を施して出力する。
【０２３７】
帯域制限フィルタ１００１の出力はリサイズ回路１００５に入力される。リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号holdに従い、映像信号に対して補間処理を施し、リサンプリングしたのち、出力端子より出力する。
【０２３８】
バッファメモリ１００７の容量を大きくし、フレーム単位で複数の画像パターン定義Mを一時的に保持できるようにすれば、時間方向の特異点除去も可能となるため、動画像に本実施形態を適用した際にも、画像パターン定義M'が好適に得られる。
【０２３９】
（第１０の実施形態）
本発明の第１０の実施形態についての説明をする。図４０は、本実施形態による拡大処理を行う撮像装置のブロック図の例である。本実施形態が第８の実施形態と異なるのは、画像判別回路１００２の出力に対して、バッファメモリ１００７、判定回路１００８が接続されたことである。
【０２４０】
以下は、構成、制御の相違点のみ詳細に記述し、本実施形態が第８の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。
【０２４１】
入力端子から入力された映像信号は、リサイズ回路１００５に入力されるとともに、画像判別回路１００２に入力される。
【０２４２】
リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号holdに従い、映像信号に対して補間処理を施し、リサンプリングしたのち出力する。
【０２４３】
画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。
【０２４４】
バッファメモリ１００７は、画像判別回路１００２の出力である画像パターン定義Mを入力し、入力された画像パターン定義Mを順次遅延させて保持するとともに、保持されている画像パターン定義群Mxを出力する。
【０２４５】
判定回路１００８は、画像判別回路１００２の出力である画像パターン定義M及びバッファメモリ１００７からの画像パターン定義群Mxを入力する。そして、平均化フィルタ、メディアンフィルタなど、着目画素位置とその周囲の画像パターン判定結果から、空間的に特異な結果が排除、緩和されるような処理を行い、着目画素位置における新しい画像パターン定義M'を出力する。
【０２４６】
係数発生回路１００３は、マイコン１００４から指示された、リサイズ倍率Zoomが大きくなるほど、映像信号の高調波抑圧の特性を強くするようなフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、判定回路１００８からの画像パターン定義M'に従って係数制御とフィルタ機能選択信号Selectを生成する。その後、フィルタ係数Coef'とフィルタ機能選択信号Selectを出力する。
【０２４７】
波形整形フィルタ１００６には、係数発生回路１００３からのフィルタ係数Coef'とフィルタ機能選択信号Selectが入力される。波形整形フィルタ１００６は、フィルタ係数Coef'とフィルタ機能選択信号Selectに基づいて、入力信号に波形整形処理を施したのち、出力端子より出力する。
【０２４８】
バッファメモリ１００７の容量を大きくし、フレーム単位で複数の画像パターン定義Mを一時的に保持できるようにすれば、時間方向の特異点除去も可能となるため、動画像に本実施形態を適用した際にも、画像パターン定義M'が好適に得られる。
【０２４９】
以上のように、第７〜第１０の実施形態では、簡単な構成で、画像中の小区画における被写体の意味や特徴を判別し、かつ、リサイズ処理が縮小か拡大かに応じて、補間処理の前後に配置されたプレ又はポストフィルタ処理を、より好適に制御することができる。
【０２５０】
また、周囲の小区画画像と比較して、判別結果が孤立している場合はそれを破棄し、周囲の判別結果から推定される判別結果に置き換えることで、判別結果の正当性を確保している。
【０２５１】
また、時間的に前後のフレームとなる同一位置の小区画画像と比較して、判別結果が孤立している場合はそれを破棄し、時間的に前後の判別結果から推定される判別結果に置き換えることで、判別結果の正当性を確保している。
【０２５２】
以上のように、バッファメモリ１２０１は、複数の画素からなる小区画画像Ｉを入力画像から切り出して記憶する。周波数解析手段（回路）１２０２は、前記バッファメモリ１２０１内の小区画画像Ｉを周波数解析し、前記小区画画像Ｉの空間周波数分布を出力する。周期性解析手段（回路）１２０３は、前記バッファメモリ１２０１内の小区画画像Ｉを周期性解析し、前記小区画画像Ｉの時間周期性分布を出力する。判別分析手段は、回路１２０４〜１２１０を有し、前記小区画画像Ｉの空間周波数分布及び時間周期性分布を基に、前記小区画画像Ｉの画像パターンの判別結果を出力する。
【０２５３】
リサイズ手段１００５は、前記入力画像をリサイズ倍率で拡大又は縮小する。帯域制限フィルタ１００１は、前記小区画画像Ｉの画像パターンの判別結果及び前記リサイズ倍率に応じて、前記リサイズ手段１００５の入力信号又は出力信号に対して帯域制限処理を行う。
【０２５４】
前記帯域制限フィルタ１００１は、機能が異なる複数のフィルタ手段を有し、前記小区画画像Ｉの画像パターンの判別結果に応じて前記複数のフィルタ手段から１つを選択する。
【０２５５】
前記複数のフィルタ手段は、ローパスフィルタ２１０１、εフィルタ２１０２及びメディアンフィルタ２１０３を有する。
【０２５６】
また、前記複数のフィルタ手段は、ローパスフィルタ、輪郭補償フィルタ、εフィルタ及びメディアンフィルタを有する。
【０２５７】
前記帯域制限フィルタ１００１は、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定する。そして、前記小区画画像の画像パターンの判別結果が輪郭成分を多く含むもの（線又はステップ等）と判別されている場合には、メディアンフィルタを選択する。
【０２５８】
前記帯域制限フィルタ１００１は、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定する。そして、前記小区画画像の画像パターンの判別結果が高周波成分をほとんど含まないもの（平坦等）と判別されている場合には、εフィルタを選択する。
【０２５９】
前記帯域制限フィルタ１００１は、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が高周波成分を多く含むもの（テクスチャ等）と判別されている場合には、ナイキスト周波数周辺を抽出するようにフィルタ係数を設定する。そして、輪郭補償フィルタを選択する。
【０２６０】
前記帯域制限フィルタ１００１は、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が輪郭成分を多く含むもの（線又はステップ等）と判別されている場合には、メディアンフィルタを選択する。
【０２６１】
前記帯域制限フィルタ１００１は、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が高周波成分をほとんど含まないもの（平坦等）と判別されている場合には、εフィルタを選択する。
【０２６２】
（第１１の実施形態）
本発明の第１１の実施形態についての説明をする。図４２は、本実施形態によるリサイズ処理を行う撮像装置のブロック図の例である。入力端子から入力された映像信号は、帯域制限フィルタ１００１に入力されるとともに、画像判別回路１００２に入力される。画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。
【０２６３】
帯域制限フィルタ１００１には、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefが入力される。帯域制限フィルタ１００１は、フィルタ係数Coefに基づいて、入力信号に帯域制限を施して出力する。帯域制限フィルタ１００１の出力はリサイズ回路１００５に入力される。リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号hold及び、画像判別回路１００２の出力信号Mに従い、映像信号に対して補間処理を施す。そして、リサンプリングしたのち、出力端子より出力する。
【０２６４】
次に、画像判別回路１００２について詳細に述べる。画像判別回路１００２は、例えば図１６のような回路で構成されており、上記の第３の実施形態の説明と同様である。
【０２６５】
次に、帯域制限フィルタ１００１の周波数特性の決定方法について、図２５、図２６により説明する。図２５（Ａ）は、リサイズ処理前の画像のサンプリング周波数をfs、ナイキスト周波数をfnとした周波数領域での様子を示している。ここで、実線の周波数帯はベースバンド信号であり、破線の周波数帯は折り返しの信号である。
【０２６６】
リサイズで縮小処理を施すと、図２５（Ｂ）のようにサンプリング周波数がfs'、ナイキスト周波数fn'になるが、このときに、ベースバンド信号と折り返し信号が重なることがない状態が理想的である。
【０２６７】
マイコン１００４は、リサイズの縮小率が与えられると、図２６（Ａ）のリサイズ前のサンプリング周波数の信号（図２５（Ａ）と同一）を入力する。そして、図２６（Ｂ）の太線に示すような、リサイズ後のナイキスト周波数fn'で十分に信号帯域が抑圧される帯域制限特性のフィルタ係数を算出する。
【０２６８】
帯域制限フィルタ１００１の処理の結果、映像信号は、図２６（Ｃ）のように、サンプリング周波数fsで、帯域がfn'程度の周波数成分に制限されたものになる。
【０２６９】
従って、帯域制限フィルタ１００１の周波数特性は、図１８のような連続的な帯域変化を示す周波数特性を有しており、リサイズの倍率に対して可変制御され、縮小倍率が高くなるほど狭帯域な特性を取る。
【０２７０】
次に、帯域制限フィルタ１００１について詳細に述べる。帯域制限フィルタ１００１は、例えば図１７のような回路で構成されている。ただし、本実施形態では、フィルタ係数Coef'の代わりにフィルタ係数Coefを入力するので、図１７のフィルタ係数Coef'、Coef'0、Coef'1、Coef'2はフィルタ係数Coef、Coef0、Coef1、Coef2に置き換えられる。この例では、フィルタのタップ数は５タップである。
【０２７１】
入力端子からの映像信号は、遅延素子１１０１〜１１０４で１画素分の遅延を順次施されるとともに、入力映像信号及び遅延素子１１０４の出力が加算器１１０５で加算され、遅延素子１１０１の出力及び遅延素子１１０３の出力が加算器１１０６で加算される。
【０２７２】
マイコン１００４から入力されたフィルタ係数Coefは、各々のフィルタタップに対して1つのフィルタ係数Coef0、Coef1、Coef2で構成されている。フィルタタップの中央の画素値にあたる遅延素子１１０２の出力は、乗算器１１０９でCoef0と乗算されて出力される。フィルタタップの中央から1番目の画素値にあたる加算器１１０６の出力は、乗算器１１０８でCoef1と乗算されて出力される。フィルタタップの中央から２番目の画素値にあたる加算器１１０５の出力は、乗算器１１０７でCoef2と乗算されて出力される。乗算器１１０７，１１０８，１１０９の出力は、加算器１１１０で加算され、フィルタ係数のゲイン分をビットシフトされ、出力端子に出力される。
【０２７３】
次に、リサイズ回路１００５について詳細に述べる。リサイズ回路１００５は例えば図４４のような回路で構成されている。この例では、フィルタのタップ数は４タップの補間フィルタである。
【０２７４】
入力端子からの映像信号は、バッファメモリ３３０１に１走査線分保持し、マイコン１００４から指示された繰り返し読み出しの制御信号holdにより、前回に読み出した画素をもう一度読み出すように制御される。
【０２７５】
バッファメモリ３３０１で保持されたデータは、マイコン１００４から指示された繰り返し読みの制御信号holdにより、遅延素子３３０２〜３３０５で１画素分の遅延を順次施される。
【０２７６】
データ操作回路３３０６では、遅延素子３３０２〜３３０５及び、マイコン１００４から指示された補間位置への距離K、画像判別回路１００２の出力信号Mに従い、補間処理演算で使用する画素データdata0〜data3の出力を行う。
【０２７７】
係数発生回路３３０７は、マイコン１００４から指示された補間位置への距離Kから、補間演算で使用する補間係数coef0,coef1,coef2,coef3を算出し、出力する。
【０２７８】
データ操作回路３３０６から出力された画素データdata0,data1,data2,data3と、係数発生回路３３０７から出力された補間係数coef0,coef1,coef2,coef3を、乗算器３３０８〜３３１１を使用して乗算を行う。
【０２７９】
乗算器３３０８〜３３１１の出力は、加算器３３１２で加算され、フィルタ係数のゲイン分をビットシフトされ、バッファメモリ３１３において、マイコン１００４から指示された書き込みの制御信号skipによって制御されながら書き込みを行い、出力される。
【０２８０】
次に、このリサイズ回路１００５において、縮小処理時の動作について詳細に述べる。図４５は、リサイズ回路１００５の補間処理とリサンプリングにより、リサイズ前のサンプリング周波数のデータ列（A/B/C/D）が、リサイズ後のサンプリング周波数のデータ列Iになる様子の模式図である。ここでは、補間処理は図４３に示すような、補間画素近傍４点の画素と、補間位置への距離Kを使用する補間処理とする。
【０２８１】
図４５の上から下への矢印が、補間画素近傍４点の画素から、補間画素位置に補間画素を生成することを示しており、補間画素近傍の画素A及びB,C,Dと、図４３の補間位置への距離Kから、補間画素は次式で求められる。
I = f(A,B,C,D,K)
【０２８２】
これは、補間位置への距離Kから求めた補間画素近傍の画素A及びB,C,Dを合成するための補間係数と、補間画素近傍の画素A及びB,C,Dの積の和から補間画素値を求める事を意味している。
【０２８３】
補間係数は、係数発生回路３３０７において、補間位置への距離Kを入力信号として生成し、出力信号coef0,coef1,coef2,coef3として出力する。補間係数の生成方法の概念図を図５５に示す。補間係数は、例えば図５５の特性を持つ、参照画素区間の時間関数として表現できる。参照画素と補間画素との距離Kは、時間関数の位相差であることから、前記時間関数に距離Kのオフセットをつけて、画素区間単位で関数値を取得すれば、それが各参照画素位置での補間係数となる。
【０２８４】
入力端子からの映像信号は、バッファメモリ３３０１に1走査線分保持され、読み出し時に、マイコン１００４から指示された繰り返し読み出しの制御信号holdにより、hold = highのときに、前回読み出した画素をもう一度読み出す。
【０２８５】
また、遅延素子３３０２、３３０３、３３０４、３３０５は、制御信号holdにより、hold = lowのときに、１画素分の遅延を順次施す。ただし、この繰り返し読み出し制御は縮小処理では不要であり、hold = lowに固定されている。
【０２８６】
そして、データ操作回路３３０６には、各画素信号A及びB,C,D、補間位置への距離K,画像判別回路１００２の出力である、着目画素における画像パターン定義Mが入力され、補間処理で演算に使用する画素値の出力を行う。
【０２８７】
乗算器３３０８，３３０９，３３１０，３３１１は、データ操作回路３３０６の出力信号data0,data1,data2,data3及び係数発生回路３３０７の出力信号coef0,coef1,coef2,coef3をそれぞれ乗算する。それらの出力は、加算器３３１２によって加算され、フィルタゲイン分をビットシフトしてバッファメモリ３３１３に1走査線分保持される。
【０２８８】
バッファメモリ３３１３に書き込む際の制御を示したのが、図４６である。縮小の補間処理では、リサイズ前のサンプリング周波数よりも小さい周波数にリサンプリングされる。このため、リサイズ前のサンプリング周波数で補間処理された出力には、リサンプリング後には不要となる画素（図４６の網掛けの演算結果）が含まれていることになる。
【０２８９】
そこで、補間画素近傍の画素データ列Ai-1及びBi、Ci+1、Di+2と、補間画素位置までの距離Kiにより、補間画素データ列Iiが次式で表される時に、以下の制御を行う。すなわち、マイコン１００４から指示された書き飛ばし制御信号skipにより、skip = highでは補間演算結果はバッファメモリ３３１３に書き込まないように制御する。
Ii = f(Ai-1 , Bi , Ci+1 , Di+2 , Ki)  （Ai = Bi = Ci = Di ）
【０２９０】
バッファメモリ３３１３の出力は、図２６（Ｄ）のように、サンプリング周波数fs'で、帯域がfn'程度の周波数成分に制限されたものであると同時に、画像パターン定義により、画像の内容に好適な帯域に適宜調整された映像信号として出力される。
【０２９１】
次に、このリサイズ回路１００５において、拡大処理時の動作について詳細に述べる。図２７（Ａ）は、リサイズ処理前の画像のサンプリング周波数をfs、ナイキスト周波数をfnとした周波数領域での様子を示している。ここで、実線の周波数帯はベースバンド信号であり、破線の周波数帯は折り返しの信号である。
【０２９２】
リサイズで拡大処理を施すと、図２７（Ｂ）のようにサンプリング周波数がfs'、ナイキスト周波数fn'になるが、このときに、ベースバンド信号と折り返し信号は、原サンプリング以上の周波数を持たないために、重なることはない。
【０２９３】
図４７は、リサイズ回路１００５の補間処理とリサンプリングにより、リサイズ前のサンプリング周波数のデータ列(A/B/C/D)が、リサイズ後のサンプリング周波数のデータ列Iになる様子の模式図である。ここでは、補間処理は図４３に示すような、補間画素近傍4点の画素と、補間位置への距離Kを使用する補間処理とする。
【０２９４】
図４７の上から下への矢印が、補間画素近傍4点の画素から、補間画素位置に補間画素を生成することを示しており、補間画素近傍の画素A及びB,C,Dと、図４３の補間位置への距離Kから、補間画素は次式で求められる。
I = f(A,B,C,D,K)
【０２９５】
補間係数は、係数発生回路３３０７において、補間位置への距離Kを入力信号として生成し、出力信号coef0,coef1,coef2,coef3として出力される。補間係数の生成方法の概念図を図５５に示す。補間係数は、例えば図５５の特性を持つ、参照画素区間の時間関数として表現できる。参照画素と補間画素との距離Kは、時間関数の位相差であることから、前記時間関数に距離Kのオフセットをつけて、画素区間単位で関数値を取得すれば、それが各参照画素位置での補間係数となる。
【０２９６】
入力端子からの映像信号は、バッファメモリ３３０１に1走査線分保持され、読み出される。バッファメモリ３３０１から読み出す際の制御を示したのが、図４８である。拡大の補間処理では、リサイズ前のサンプリング周波数よりも大きい周波数にリサンプリングされる。このため、倍率によっては、リサイズ前のサンプリング周波数における同一組の画素間に対し、補間処理された出力には、複数のリサンプリング後の画素が含まれる場合がある（図４８の網掛けの演算結果）ことになる。
【０２９７】
そこで、補間画素近傍の画素データ列Ai-1及びBi、Ci+1、Di+2と、補間画素位置までの距離Kiにより、補間画素データ列Iiが次式で表される時に、以下の制御を行う。すなわち、マイコン１００４から指示された繰り返し読み制御信号holdにより、hold=highではバッファメモリ３３０１の読み出し画素を進めずに、前回読み出した画素をもう一度読み出すように制御する。
Ii = f(Ai-1 , Bi , Ci+1 , Di+2 , Ki)  （Ai = Bi = Ci = Di ）
【０２９８】
また、遅延素子３３０２，３３０３，３３０４，３３０５は、制御信号holdにより、hold=lowのときに、1画素分の遅延を順次施すとともに、hold=highのときは、画素遅延動作を行わないように制御される。
【０２９９】
そして、データ操作回路３３０６には、各画素信号A及びB,C,D、補間位置への距離K,画像判別回路１００２の出力である、着目画素における画像パターン定義Mが入力され、補間処理で演算に使用する画素値の出力を行う。
【０３００】
乗算器３３０８，３３０９，３３１０，３３１１は、データ操作回路３３０６の出力信号data0,data1,data2,data3及び係数発生回路３３０７の出力信号coef0,coef1,coef2,coef3をそれぞれ乗算する。それらの出力は、加算器３３１２によって加算され、フィルタゲイン分をビットシフトしてバッファメモリ３３１３に1走査線分保持される。
【０３０１】
そして、マイコン１００４から指示された書き飛ばし制御信号skipにより、skip=highでは補間演算結果はバッファメモリ３３１３に書き込まないように制御して、補間処理結果をバッファメモリ３３１３に1走査線分保持する。ただし、この書き飛ばし処理は拡大処理では不要であり、skip=lowに固定されている。バッファメモリ３３１３の出力は、所望のリサイズ倍率で拡大処理がなされた映像信号として出力される。
【０３０２】
次に、データ操作回路３３０６の処理のフローチャートが図４９に示す。ステップＳ３４９１では、画像パターン定義Mが線か否かをチェックする。画像パターン定義Mが線であれば、補間点の前後の値が同じ値であるため、その値をそのまま使用して補間を行う。したがって、ステップＳ３４９２において、前置ホールド又は後置ホールドの判定をホールド判定処理によって行い、ステップＳ３４９３において、data0,data1,data2,data3はホールド判定処理の結果のデータを出力信号として出力する。
【０３０３】
ステップＳ３４９２のホールド判定処理のフローチャートを図５０に示す。ステップＳ３５０１では、補間位置への距離Kが0.5よりも小さいか否かをチェックする。補間位置への距離Kが0.5よりも小さい場合は、ステップＳ３５０２で前置ホールドを行い、補間位置への距離Kが0.5以上の場合は、ステップＳ３５０３で後置ホールドを行うように制御する。
【０３０４】
前置ホールドを行った場合の制御を示したのが、図５３である。前置ホールドを行った場合、全ての画素の出力をBの位置の値として出力を行う（網掛けの部分）。
【０３０５】
また、後置ホールドを行った場合の制御を示したのが、図５４である。後置ホールドを行った場合、全ての画素の出力をCの位置の値として出力を行う（網掛けの部分）。
【０３０６】
図４９のステップＳ３４９４では、画像パターン定義Mがステップである否かをチェックする。画像パターン定義Mがステップであれば、補間点は補間点の前後の画素のどちらかに値が近いため、線形合成による補間演算を行うよりも、補間点の前後の値で置き換えた方がエッジの先鋭度を保つ事が出来る。したがって、ステップＳ３４９２で前置ホールド又は後置ホールドの判定をホールド判定処理によって行い、ステップＳ３４９３でdata0,data1,data2,data3はホールド判定処理の結果のデータを出力信号として出力する。
【０３０７】
ステップＳ３４９５では、画像パターン定義Mが平坦であるか否かをチェックする。画像パターン定義Mが平坦であれば、周囲の画素も同じ値で高周波成分が少ないので、補間演算に使用する画素は少なくすることができる。したがって、少タップでの補間処理を行うようにするため、ステップＳ３４９６において、data0,data3の出力信号を0とし、data1の出力信号をB,data2の出力信号をCとして出力する。
【０３０８】
画像パターン定義Mが上記のものに当てはまらなかった場合は、データ操作回路における特殊制御を行わない。そのため、ステップＳ３４９７において、data0の出力信号としてA、data1の出力信号としてB、data2の出力信号としてC、data3の出力信号としてDを出力する。
【０３０９】
また、補間点と現画素との距離を考慮に入れた場合のフローチャートを、図５１に示す。現画素との距離を考慮に入れることによって、補間画素との相関性をより考慮にいれた補間処理が可能となる。
【０３１０】
ステップＳ３４９１では、画像パターン定義Mが線であるか否かをチェックする。画像パターン定義Mが線であれば、補間点の前後の値が同じ値であるため、その値をそのまま使用して補間を行う。したがって、ステップＳ３４９２で前置ホールド又は後置ホールドの判定をホールド判定処理によって行い、ステップＳ３４９３でdata0,data1,data2,data3はホールド判定処理の結果のデータを出力信号として出力する。ステップＳ３４９２のホールド判定処理は、上記の図５０、図５３及び図５４の説明と同じである。
【０３１１】
画像パターン定義Mが線でない場合は、ステップＳ３５１１で補間位置への距離Kによって距離判定処理を行う。距離判定処理のフローチャートを図５２に示す。
【０３１２】
距離判定処理では、ステップＳ３５２１及びＳ３５２２で補間位置への距離Kが次の式を満たしている場合に、ステップＳ３５２３で遠いと判定し、この式を満たしていない場合は、ステップＳ３５２４で近いと判定する。なお、この式のｎは予め実験等により求められ、設定された値である。
K>n  かつ  K<1-n
【０３１３】
図５１のステップＳ３５１２では、距離判定処理で近いと判定されたか否かをチェックする。近いと判定された場合にはステップＳ３４９４に進み、遠いと判定された場合にはステップＳ３４９７に進む。ステップＳ３４９４では、画像パターン定義Mがステップであるか否かをチェックする。ステップでなければ、ステップＳ３４９５で画像パターン定義Mが平坦であるか否かをチェックする。
【０３１４】
距離判定処理で近いと判定され、かつ、画像パターン定義Mがステップであれば、補間点は補間点の前後の画素のどちらかに値が近いため、線形合成による補間演算を行うよりも、補間点の前後の値で置き換えた方がエッジの先鋭度を保つ事が出来る。したがって、ステップＳ３４９２で前置ホールド又は後置ホールドの判定をホールド判定処理によって行い、ステップＳ３４９３でdata0,data1,data2,data3はホールド判定処理の結果のデータを出力信号として出力する。
【０３１５】
距離判定処理で近いと判定され、かつ、画像パターン定義Mが平坦であれば、周囲の画素も同じ値で高周波成分が少ないので、補間演算に使用する画素は少なくすることができる。したがって、少タップでの補間処理を行うようにするため、ステップＳ３４９６でdata0,data3の出力信号を0とし、data1の出力信号をB,data2の出力信号をCとして出力する。
【０３１６】
距離判定処理で近いと判定されなかった場合、及び、距離判定処理で近いと判定されたが画像パターン定義Mが上記のものに当てはまらなかった場合は、データ操作回路３３０６における特殊制御を行わない。そのため、ステップＳ３４９７でdata0の出力信号としてA、data1の出力信号としてB、data2の出力信号としてC、data3の出力信号としてDを出力する。
【０３１７】
なお、ここでは帯域制限フィルタ１００１とリサイズ回路１００５を水平方向の処理のみで記述しているが、各回路内の遅延素子を1走査期間分のラインメモリとし、バッファメモリを１フィールド又はフレームとすることで、垂直方向にも同様の構成を適用できる。
【０３１８】
（第１２の実施形態）
本発明の第１２の実施形態についての説明をする。図５６は、本実施形態によるリサイズ処理を行う撮像装置のブロック図の例である。本実施形態が第１１の実施形態と異なるのは、画像判別回路１００２の出力に対して、バッファメモリ１００７、判定回路１００８が接続されたことである。
【０３１９】
以下は、構成、制御の相違点のみ詳細に記述し、本実施形態が第１１の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。
【０３２０】
入力端子から入力された映像信号は、帯域制限フィルタ１００１に入力されるとともに、画像判別回路１００２に入力される。
【０３２１】
画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。
【０３２２】
バッファメモリ１００７は、画像判別回路１００２の出力である画像パターン定義Mを入力し、入力された画像パターン定義Mを順次遅延させて保持するとともに、保持されている画像パターン定義群Mxを出力する。
【０３２３】
判定回路１００８は、画像判別回路１００２の出力である画像パターン定義M及びバッファメモリ１００７からの画像パターン定義群Mxを入力する。そして、平均化フィルタ、メディアンフィルタなど、着目画素位置とその周囲の画像パターン判定結果から、空間的に特異な結果が排除、緩和されるような処理を行い、着目画素位置における新しい画像パターン定義M'を出力する。
【０３２４】
帯域制限フィルタ１００１には、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefが入力される。帯域制限フィルタ１００１は、フィルタ係数Coefに基づいて、入力信号に帯域制限を施して出力する。
【０３２５】
帯域制限フィルタ１００１の出力はリサイズ回路１００５に入力される。リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号hold及び、判定回路１００８の出力信号M'に従い、映像信号に対して補間処理を施し、リサンプリングする。その後、出力端子より出力する。
【０３２６】
バッファメモリ１００７の容量を大きくし、フレーム単位で複数の画像パターン定義Mを一時的に保持できるようにすれば、時間方向の特異点除去も可能となるため、動画像に本実施形態を適用した際にも、画像パターン定義M'が好適に得られる。
【０３２７】
以上のように、第１１及び第１２の実施形態では、簡単な構成で、画像中の小区画における被写体の意味や特徴を判別することで、補間フィルタの参照画素構成を、より好適に制御することが実現できる。
【０３２８】
また、周囲の小区画画像と比較して、判別結果が孤立している場合はそれを破棄し、周囲の判別結果から推定される判別結果に置き換えることで、判別結果の正当性を確保している。
【０３２９】
また、時間的に前後のフレームとなる同一位置の小区画画像と比較して、判別結果が孤立している場合はそれを破棄し、時間的に前後の判別結果から推定される判別結果に置き換えることで、判別結果の正当性を確保している。
【０３３０】
以上のように、バッファメモリ１２０１は、複数の画素からなる小区画画像Ｉを入力画像から切り出して記憶する。周波数解析手段（回路）１２０２は、前記バッファメモリ１２０１内の小区画画像Ｉを周波数解析し、前記小区画画像Ｉの空間周波数分布を出力する。周期性解析手段（回路）１２０３は、前記バッファメモリ１２０１内の小区画画像Ｉを周期性解析し、前記小区画画像Ｉの時間周期性分布を出力する。判別分析手段は、回路１２０４〜１２１０を有し、前記小区画画像Ｉの空間周波数分布及び時間周期性分布を基に、前記小区画画像Ｉの画像パターンの判別結果を出力する。
【０３３１】
リサイズ手段（回路）１００５は、前記入力画像を拡大又は縮小する。また、前記リサイズ手段１００５は、前記小区画画像Ｉの画像パターンの判別結果に応じて、異なる参照画素を基に補間を行う。
【０３３２】
前記リサイズ手段１００５は、前記小区画画像Ｉの画像パターンの判別結果が輪郭成分を多く含むもの（線等）と判別されている場合には、前置ホールド又は後置ホールドによって補間点を生成する。
【０３３３】
前記リサイズ手段１００５は、前記小区画画像Ｉの画像パターンの判別結果が高周波成分を多く含むもの（ステップ等）と判別されている場合には、前置ホールド又は後置ホールドによって補間点を生成する。その際、前記リサイズ手段１００５は、補間点の前後の画素と補間点との距離が近い場合に、補間点を前置ホールド又は後置ホールドによって生成する。
【０３３４】
前記リサイズ手段１００５は、前記小区画画像Ｉの画像パターンの判別結果が高周波成分をほとんど含まないもの（平坦等）と判別されている場合には、前記参照画素を少なくする。その際、前記リサイズ手段１００５は、補間点の前後の画素と補間点との距離が近い場合に、前記参照画素を少なくする。
【０３３５】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【０３３６】
【図１】本発明の第１の実施形態を示す図である。
【図２】バッファメモリの例を示す図である。
【図３】周波数解析回路の例を示す図である。
【図４】周波数解析回路の別の例を示す図である。
【図５】周期性解析回路の例を示す図である。
【図６】判別回路の例を示す図である。
【図７】周期性解析回路の別の例を示す図である。
【図８】画像パターンの例を示す図である。
【図９】小区画画像の例を示す図である。
【図１０】本発明の第２の実施形態を示す図である。
【図１１】画像パターンの判別領域の例を示す図である。
【図１２】空間周波数分布の例を示す図である。
【図１３】時間周期性分布の例を示す図である。
【図１４】本発明の第３の実施形態を示す図である。
【図１５】本発明の第４の実施形態を示す図である。
【図１６】画像判別回路の例を示す図である。
【図１７】帯域制限フィルタ、波形整形フィルタの例を示す図である。
【図１８】帯域制限フィルタ特性の例を示す図である。
【図１９】リサイズ回路の例を示す図である。
【図２０】線形補間処理の例を示す図である。
【図２１】縮小処理の様子の例を示す図である。
【図２２】縮小処理の書き飛ばし制御の例を示す図である。
【図２３】拡大処理の様子の例を示す図である。
【図２４】拡大処理の繰り返し読み制御の例を示す図である。
【図２５】縮小処理の周波数領域の様子の例を示す図である。
【図２６】縮小処理の周波数領域の変換処理の様子の例を示す図である。
【図２７】拡大処理の周波数領域の様子の例を示す図である。
【図２８】帯域制限フィルタ、波形整形フィルタの制御の例を示す図である。
【図２９】帯域制限フィルタの帯域シフト制御の例を示す図である。
【図３０】波形整形フィルタの高調波抑圧シフト制御の例を示す図である。
【図３１】本発明の第５の実施形態を示す図である。
【図３２】本発明の第６の実施形態を示す図である。
【図３３】本発明の第７の実施形態を示す図である。
【図３４】本発明の第８の実施形態を示す図である。
【図３５】帯域制限フィルタの例を示す図である。
【図３６】帯域制限フィルタ、波形整形フィルタの制御の例を示す図である。
【図３７】帯域制限フィルタの帯域シフト制御の例を示す図である。
【図３８】波形整形フィルタの高調波抑圧シフト制御の例を示す図である。
【図３９】本発明の第９の実施形態を示す図である。
【図４０】本発明の第１０の実施形態を示す図である。
【図４１】波形整形フィルタの例を示す図である。
【図４２】本発明の第１１の実施形態を示す図である。
【図４３】補間処理の例を示す図である。
【図４４】リサイズ回路の例を示す図である。
【図４５】縮小処理の様子の例を示す図である。
【図４６】縮小処理の書き飛ばし制御の例を示す図である。
【図４７】拡大処理の様子の例を示す図である。
【図４８】拡大処理の繰り返し読み制御の例を示す図である。
【図４９】データ操作回路の例を示す図である。
【図５０】データ操作回路の例を示す図である。
【図５１】データ操作回路の例を示す図である。
【図５２】データ操作回路の例を示す図である。
【図５３】前置ホールドの例を示す図である。
【図５４】後置ホールドの例を示す図である。
【図５５】係数発生回路の例を示す図である。
【図５６】本発明の第１２の実施形態を示す図である。
【符号の説明】
【０３３７】
１  バッファメモリ（小区画画像保持）
２  周波数解析回路
３  周期性解析回路
４  判別回路
５  マイコン
６  判定回路
７  バッファメモリ（判別結果保持）
１００１  帯域制限フィルタ
１００２  画像判別回路
１００３  係数発生回路
１００４  マイコン
１００５  リサイズ回路
１００６  波形整形フィルタ
１００７  バッファメモリ
１００８  判定回路
【図１】
0004963645.tif 000004
【図２】
0004963645.tif 000005
【図３】
0004963645.tif 000006
【図４】
0004963645.tif 000007
【図５】
0004963645.tif 000008
【図６】
0004963645.tif 000009
【図７】
0004963645.tif 000010
【図８】
0004963645.tif 000011
【図９】
0004963645.tif 000012
【図１０】
0004963645.tif 000013
【図１１】
0004963645.tif 000014
【図１２】
0004963645.tif 000015
【図１３】
0004963645.tif 000016
【図１４】
0004963645.tif 000017
【図１５】
0004963645.tif 000018
【図１６】
0004963645.tif 000019
【図１７】
0004963645.tif 000020
【図１８】
0004963645.tif 000021
【図１９】
0004963645.tif 000022
【図２０】
0004963645.tif 000023
【図２１】
0004963645.tif 000024
【図２２】
0004963645.tif 000025
【図２３】
0004963645.tif 000026
【図２４】
0004963645.tif 000027
【図２５】
0004963645.tif 000028
【図２６】
0004963645.tif 000029
【図２７】
0004963645.tif 000030
【図２８】
0004963645.tif 000031
【図２９】
0004963645.tif 000032
【図３０】
0004963645.tif 000033
【図３１】
0004963645.tif 000034
【図３２】
0004963645.tif 000035
【図３３】
0004963645.tif 000036
【図３４】
0004963645.tif 000037
【図３５】
0004963645.tif 000038
【図３６】
0004963645.tif 000039
【図３７】
0004963645.tif 000040
【図３８】
0004963645.tif 000041
【図３９】
0004963645.tif 000042
【図４０】
0004963645.tif 000043
【図４１】
0004963645.tif 000044
【図４２】
0004963645.tif 000045
【図４３】
0004963645.tif 000046
【図４４】
0004963645.tif 000047
【図４５】
0004963645.tif 000048
【図４６】
0004963645.tif 000049
【図４７】
0004963645.tif 000050
【図４８】
0004963645.tif 000051
【図４９】
0004963645.tif 000052
【図５０】
0004963645.tif 000053
【図５１】
0004963645.tif 000054
【図５２】
0004963645.tif 000055
【図５３】
0004963645.tif 000056
【図５４】
0004963645.tif 000057
【図５５】
0004963645.tif 000058
【図５６】
0004963645.tif 000059