(57)【要約】【課題】画像のパターンに応じて撮像装置の動作を最適化できるようにする。【解決手段】撮像した画像のパターンを識別する識別部１−１０と、識別部により識別された画像のパターン情報に基づいてオートフォーカスを行なうための処理方法を変更するオートフォーカス制御部１−４〜１−９と、を備える。【選択図】      図１
2004242249.tif 000002
【特許請求の範囲】
【請求項１】
撮像した画像のパターンを識別する識別手段と、
該識別手段により識別された前記画像のパターン情報に基づいてオートフォーカスを行なうための処理方法を変更するオートフォーカス制御手段と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像のパターンに応じて撮像装置の動作を制御する技術に関するものである。
【０００２】
【従来の技術】
ビデオカメラ装置では、従来より焦点制御を自動的に行うオートフォーカス機構、得られた画像の一部を拡大処理することによりズーム画像を得る電子ズーム機構、画像内の動き情報を得る動きベクトル検出機構を備えるものがある。特に、オートフォーカス機構はほぼ全てのビデオカメラ装置に存在し、電子ズーム機構、動きベクトル検出機構を備えるものもかなりの割合となっている。これらの各機構の従来の処理方法を説明する。
【０００３】
まず、オートフォーカス機構は、例えば特開平４−２９２３８２号公報（特許文献１）に開示されているように、撮影した画像信号に含まれる所定の周波数帯域成分をフィルタで抽出し、前記周波数帯域成分の強度に依存する評価値を検出し、前記評価値が常にピークの値となるように結像光学系を制御する方式となっている。これは、合焦時には撮影画像はぼけのないシャープな画像となるため、エッジ部分等、高い周波数成分をもつ画像領域が必然的に増えるという現象に基づいている。
【０００４】
次に、電子ズーム機構では、撮影または再生した画像の所定の部分を切り出し、例えば特開平４−３５０３９７号公報（特許文献２）に開示されているように、前記所定の部分画像の画素間を補間してフィルタ処理することにより、前記部分画像の拡大画像を生成してズーム画像を得ている。
【０００５】
また、動きベクトル検出機構では、例えば特開平４−３０４１１号公報（特許文献３）に開示されているように、あるフレームまたはフィールドの撮影または再生した画像の代表点または部分画像を検出し、前記代表点または部分画像と次のフレームまたはフィールドの画像との相関マッチング処理を行い、前記部分画像のフレームまたはフィールド内での位置と、前記相関マッチングの結果最も相関の高い位置の差分を、部分画像における動きベクトルとし、これを画面の任意の位置において検出している。
【０００６】
【特許文献１】
特開平４−２９２３８２号公報
【特許文献２】
特開平４−３５０３９７号公報
【特許文献３】
特開平４−３０４１１号公報
【発明が解決しようとする課題】
しかしながら、上記従来の技術では以下のような問題があった。
【０００７】
すなわち、上記オートフォーカス機構では、例えば撮影された画像が垂直方向にはエッジが多数存在するが、水平方向にはほとんど存在しないような縞模様の画像などである場合、フィルタにより検出される所定の周波数成分としては、垂直方向では評価値となる成分が得られるが、水平方向にはノイズ成分しか検出されず、前記ノイズ成分により最終的な評価値に誤差が多く含まれてしまい、合焦状態に近い状態にはなるが、安定して合焦状態を保てず、ふらついてしまう等の問題がある。これは、倍率の高いレンズを用いた、高画質の高級ビデオカメラでは、特に重大な問題である。
【０００８】
また、上記電子ズーム機構では、画素を間引いて補間、フィルタ処理をするため、拡大画像がぼけてしまう。特に、垂直ローパスフィルタと水平ローパスフィルタを縦続接続して構成した簡易的な２次元フィルタでは、斜め方向の帯域が水平、垂直方向と比べて１／２近くに抑圧される。そのため、従来の電子ズームでは拡大画像の斜め方向のエッジの画質劣化が、特に顕著に現れるという問題が有る。また、ハード量の増加を無視して理想的なフィルタを実現した場合でも、水平、垂直、斜め等の各方向のナイキスト周波数までは広帯域に拡大画像を再現することができるが、高周波のノイズ成分も同時に協調してＳ／Ｎが低下するため、総合的な画質はそれほど上がらないという問題が生じていた。
【０００９】
また上記動きベクトル検出機構では、縞模様のような周期性のある画像に対しては、相関マッチングポイントが多数発生するために、動きベクトルの誤検出が生じるという問題がある。
【００１０】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、画像のパターンに応じて撮像装置の動作を最適化できるようにすることである。
【００１１】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像した画像のパターンを識別する識別手段と、該識別手段により識別された前記画像のパターン情報に基づいてオートフォーカスを行なうための処理方法を変更するオートフォーカス制御手段と、を備えることを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明の好適な実施形態について説明する。
【００１３】
まず、好適な実施形態の概要について説明する。
【００１４】
前述した従来の技術の問題点は、いずれも画像に含まれるエッジの方向の分布、あるいは画像の模様がどのような傾向のものかが判別できれば解決することが可能である。即ち、オートフォーカス機構では、例えば画像に含まれるエッジが縦か横かいずれが多いかの情報があらかじめ検出できれば、それに応じて評価値に用いる周波数成分を検出するフィルタを、主として垂直方向にかけるか、水平方向にかけるかを調節すればよい。そのため本実施形態では、画像に含まれるエッジが縦か横かいずれが多いか等の情報を得るために、近年画像処理技術分野で知られているテクスチャ解決手法を適用し、撮影した画像の所定の位置のテクスチャ情報を、所定のフィールド間隔または所定のフレーム間隔で検出し、前記テクスチャ情報が、リファレンスとしてあらかじめ記憶された複数のテクスチャの中のどのテクスチャに最も近似であるかを識別するテクスチャ識別部を含み、前記テクスチャ識別部の識別結果に応じて処理方法を変えるオートフォーカス制御手段を備えることにより、上記従来の問題を解決するものである。
【００１５】
また、電子ズーム機構では画像に含まれるエッジが、どの方向のものが多いか等が判別できれば、補間処理を垂直、水平、斜めのいずれの方向を重視して行うかを選択できる。そのため本実施形態では、撮影、または再生した画像の所定の位置のテクスチャ情報を、所定のフィールド間隔または所定のフレーム間隔で検出し、前記テクスチャ情報が、リファレンスとしてあらかじめ記憶された複数のテクスチャの中のどのテクスチャに最も近似であるかを識別するテクスチャ識別部と、前記テクスチャ識別部の識別結果に応じて、ズーム補間処理を変える電子ズーム処理手段を備えることにより、上記従来の問題を解決するものである。
【００１６】
また、動きベクトル検出機構では、周期性のある画像部分については相関マッチング処理を行わず、他の画像部分からのみ動きベクトルを検出すれば、周期性画像に起因する動きベクトルの誤検出を防止することができる。そのため本実施形態では、撮影、または再生した画像の所定の位置のテクスチャ情報を、所定のフィールド間隔または所定のフレーム間隔で検出し、前記テクスチャ情報が、リファレンスとしてあからじめ記憶された複数のテクスチャの中のどのテクスチャに最も近似であるかを識別するテクスチャ識別部と、前記テクスチャ識別部の識別結果に応じて、処理方法を変える動きベクトル検出手段を備えることにより、上記問題を解決するものである。
【００１７】
そして、本実施形態の撮像装置は、撮像した画像のパターンを識別する識別手段と、該識別手段により識別された前記画像のパターン情報に基づいてオートフォーカスを行なうための処理方法を変更するオートフォーカス制御手段と、を備えることを特徴とする。
【００１８】
また、本実施形態の撮像装置において、前記識別手段は、撮像した画像のパターンを、所定のフィールド間隔又は所定のフレーム間隔毎に識別することを特徴とする。
【００１９】
また、本実施形態の撮像装置において、所定のパターン情報を記憶する記憶手段をさらに備え、前記識別手段は、前記画像のパターンが前記記憶手段に予め記憶されているどのパターンと近似しているかを識別することを特徴とする。
【００２０】
また、本実施形態の撮像装置において、前記識別手段は、撮像した画像中に縦方向のエッジが多いか横方向のエッジが多いかを識別し、前記オートフォーカス制御手段は、前記識別手段の識別結果に応じて、画像信号にかけるフィルタの特性を変更することを特徴とする。
【００２１】
また、本実施形態の撮像装置は、撮像した画像のパターンを識別する識別手段と、該識別手段により識別された前記画像のパターン情報に基づいて電子ズームを行なうための補間処理方法を変更する電子ズーム制御手段と、を備えることを特徴とする。
【００２２】
また、本実施形態の撮像装置において、前記識別手段は、撮像した画像のパターンを、所定のフィールド間隔又は所定のフレーム間隔毎に識別することを特徴とする。
【００２３】
また、本実施形態の撮像装置において、所定のパターン情報を記憶する記憶手段をさらに備え、前記識別手段は、前記画像のパターンが前記記憶手段に予め記憶されているどのパターンと近似しているかを識別することを特徴とする。
【００２４】
また、本実施形態の撮像装置において、前記識別手段は、撮像した画像中に縦方向のエッジ、横方向のエッジ、斜め方向のエッジのいずれが多いかを識別し、前記電子ズーム制御手段は、前記識別手段の識別結果に応じて、補間処理の方法を変更することを特徴とする。
【００２５】
また、本実施形態の撮像装置は、撮像した画像のパターンを識別する識別手段と、該識別手段により識別された前記画像のパターン情報に基づいて動きベクトルの検出のための処理方法を変更する動きベクトル検出手段と、を備えることを特徴とする。
【００２６】
また、本実施形態の撮像装置において、前記識別手段は、撮像した画像のパターンを、所定のフィールド間隔又は所定のフレーム間隔毎に識別することを特徴とする。
【００２７】
また、本実施形態の撮像装置において、所定のパターン情報を記憶する記憶手段をさらに備え、前記識別手段は、前記画像のパターンが前記記憶手段に予め記憶されているどのパターンと近似しているかを識別することを特徴とする。
【００２８】
また、本実施形態の撮像装置において、前記識別手段は、撮像した画像中に周期性のパターンがあるか否かを識別し、前記動きベクトル検出手段は、周期性のパターンがある画像情報を前記動きベクトルの検出に用いないことを特徴とする。
【００２９】
また、本実施形態の撮像方法は、撮像した画像のパターンを識別する識別工程と、該識別工程において識別された前記画像のパターン情報に基づいてオートフォーカスを行なうための処理方法を変更するオートフォーカス制御工程と、を備えることを特徴とする。
【００３０】
また、本実施形態の撮像方法は、撮像した画像のパターンを識別する識別工程と、該識別工程において識別された前記画像のパターン情報に基づいて電子ズームを行なうための補間処理方法を変更する電子ズーム制御工程と、を備えることを特徴とする。
【００３１】
また、本実施形態の撮像方法は、撮像した画像のパターンを識別する識別工程と、該識別工程において識別された前記画像のパターン情報に基づいて動きベクトルの検出のための処理方法を変更する動きベクトル検出工程と、を備えることを特徴とする。
【００３２】
また、本実施形態のプログラムは、上記の撮像方法をコンピュータに実行させることを特徴とする。
【００３３】
また、本実施形態の記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする。
【００３４】
以下、本発明の好適な実施形態について、図面を参照して具体的に説明する。
【００３５】
（第１の実施形態）
図１は本発明の第１の実施形態の撮像装置のブロック構成を示す図である。
【００３６】
図１において、１−１はフォーカスレンズ、１−２はＣＣＤ撮像素子、１−３はカメラ信号処理回路、１−４は垂直方向フィルタ、１−５は水平方向フィルタ、１−６は第１の乗算器、１−７は第２の乗算器、１−８は加算器、１−９はＡＦ制御回路、１−１０はテクスチャ識別部、１−１１はリファレンステクスチャデータのテーブル、１−１２はゲイン制御回路、１−１３はデフォルトゲイン０．５、１−１４はスイッチである。図１の１−１０のテクスチャ識別部は図２に詳細図を示す。
【００３７】
まず、図１を参照して第１の実施形態の全体の動作の説明を行う。
【００３８】
フォーカスレンズ１−１を通じてＣＣＤ１−２に到達した光学像は、光電変換され、カメラ信号処理回路１−３にて画像信号に加工される。この画像信号はの垂直方向フィルタ１−４、水平方向フィルタ１−５、およびテクスチャ特徴量検出回路１−１０に入力される。垂直方向フィルタ１−４は、画像信号の所定の垂直周波数帯域成分の代表値を抽出するフィルタであり、水平方向フィルタ１−５は、画像信号の所定の水平周波数帯域成分の代表値を抽出するものである。
【００３９】
垂直、および水平周波数帯域成分の代表値は、おのおの乗算器１−６，１−７で所定のゲインをかけて加算器１−８で加算されることにより垂直方向、水平方向の平均的な所定周波数帯域成分の値となる。ＡＦ制御回路１−９では、この所定周波数帯域成分の値をみてフォーカスレンズ１−１の制御を行う。
【００４０】
一方、テクスチャ識別部１−１０では、入力された画像信号からテクスチャ情報の特徴量を検出し、リファレンステクスチャデータ１−１１のテーブルに記憶されたリファレンステクスチャデータとの比較を行ない、どのリファレンステクスチャに最も近いのかを識別する。
【００４１】
図２は、テクスチャ識別部１−１０の詳細構成を示す図である。以下図２を参照して説明する。
【００４２】
図２において、２−０は画像信号入力端子、２−１は垂直ハイパスフィルタ、２−２は垂直ローパスフィルタ、２−３は水平ハイパスフィルタ、２−４は水平ローパスフィルタ、２−５は垂直方向の２：１ダウンサンプリング器、２−６は水平方向の２：１ダウンサンプリング器、２−７は絶対値算出回路、２−８は平均値算出回路、２−９はベクトル積算演算回路、２−１０は最小値検出回路、２−１１はテクスチャインデックス信号出力、２−１２はリファレンステクスチャデータ入力端子である。
【００４３】
図２の垂直ハイパスフィルタ２−１、垂直ローパスフィルタ２−２、水平ハイパスフィルタ２−３、水平ローパスフィルタ２−４、垂直方向の２：１ダウンサンプリング器２−５、水平方向の２：１ダウンサンプリング器２−６から成る部分は、いわゆるハール基底を用いたウェーブレット変換回路として知られている。図２におけるＷ１〜Ｗ９がウェーブレット変換係数である。絶対値算出回路２−７と、平均値算出回路２−８により各ウェーブレット係数の平均的エネルギーを求め、これを特徴ベクトルとして、線形識別することにより、あらかじめ学習した複数のテクスチャのうち、どのテクスチャに近いかを識別することができることが知られている。積算演算回路２−９は、線形識別関数を計算するものであり、前記線形識別関数の係数が、リファレンステクスチャデータ入力端子２−１２より（すなわち図１のテーブル１−１１より）入力される。
【００４４】
画像入力端子２−０から得られる画像信号は、線形識別関数の値の絶対値が最も少なくなるときのリファレンステクスチャに対して、最も相似であるといえるため、最小値検出回路２−１０において線形識別関数が最小となるリファレンステクスチャを判別し、テクスチャインデックス信号出力２−１１に出力する。
【００４５】
再び図１に戻り説明を続ける。
【００４６】
以上説明したようにテクスチャ識別部１−１０で画像信号があらかじめ記憶されたリファレンステクスチャの中のどれに相似であるかのインデックスデータが出力され、ゲイン制御回路１−１２に入力される。判定された画像信号のテクスチャが、例えば水平の縞模様にカテゴリ分けされる場合には垂直方向には十分エッジがある。したがって、この場合にはゲイン制御回路１−１２は垂直フィルタ１−６側のゲインを高く、水平フィルタ１−７側のゲインを０に近い値に設定する。逆に、判定された画像信号のテクスチャが、垂直の縞模様にカテゴリ分けされる場合には、垂直フィルタ１−６のゲインを小さく、水平フィルタ１−７のゲインを大きく設定する。そのため従来はエッジの少ない方向にも所定の周波数成分を抽出していたために生じていたノイズ成分を抑圧することができ、より安定した合焦状態を保つことができる。
【００４７】
また、ＡＦ制御回路１−９は所定の合焦状態にないものと判断される場合には、スイッチ１−１４を切り替えて１−１３のデフォルトゲイン０．５が各乗算器１−６，１−７に入力されるようになる。これは合焦前の大きくボケた状態ではテクスチャが得られないためである。
【００４８】
（第２の実施形態）
図３は本発明の第２の実施形態の撮像装置のブロック構成を示す図である。
【００４９】
図３において、１−１はフォーカスレンズ、１−２はＣＣＤ撮像素子、１−３はカメラ信号処理回路、３−４は画像切り出し回路、３−５は補間フィルタ、３−６はフィルタ選択回路、３−７は画像出力端子、１−１０はテクスチャ識別部、１−１１はリファレンステクスチャデータのテーブルである。
【００５０】
補間フィルタ３−５については図４に詳細図を示す。
【００５１】
以下、図３を参照して第２の実施形態の動作の説明を行う。
【００５２】
なお、図３のフォーカスレンズ１−１、ＣＣＤ撮像素子１−２、カメラ信号処理回路１−３、テクスチャ識別部１−１０、リファレンステクスチャデータ１−１１のテーブルについては、図１、図２の第１の実施形態と同様であるため、その動作説明は省略する。
【００５３】
図３において画像切り出し回路３−４では、入力された画像信号の所定の部分画像を切り出し、各画素間にゼロ値などの値を挿入し、前記入力された画像信号と同一の画素数のフィルタ前画像信号として構成する。フィルタ前画像信号は補間フィルタ３−５に入力される。
【００５４】
一方、テクスチャ識別部１−１０にて得られたテクスチャ情報は、フィルタ選択回路３−６に入力される。フィルタ選択回路３−６は得られたテクスチャの種類（例えば縦エッジが多い、横エッジが多い、斜めエッジが多い等）に対応して、４種類のフィルタ選択状態に対応するフィルタ選択制御信号を生成し、補間フィルタ３−５に入力する。補間フィルタ３−５については図４により説明する。
【００５５】
図４は、補間フィルタの構成を示す図である。
【００５６】
図４において、４−１は画像信号入力端子、４−２は第１の１Ｈ（水平）ラインメモリ、４−３は第２の１Ｈラインメモリ、４−４は第３の１Ｈラインメモリ、４−５は第４の１Ｈラインメモリ、４−６はＤＦＦ群、４−７は第１の水平加算処理回路、４−８は第２の水平加算処理回路、４−９は第３の水平加算処理回路、４−１０は第４の水平加算処理回路、４−１１は第５の水平加算処理回路、４−１２は第１の加算器、４−１３は第２の加算器、４−１４は第３の加算器、４−１５は第４の加算器、４−１６は画像信号出力端子、４−１７はフィルタ選択制御信号入力端子である。
【００５７】
図５は図４の各水平加算処理回路４−７〜４−１１の構成例を示す図である。
【００５８】
図５において５−１は第１の信号入力端子、５−２は第２の信号入力端子、５−３は第３の信号入力端子、５−４は第４の信号入力端子、５−５は第５の信号入力端子、５−６は第１の係数乗算器、５−７は第２の係数乗算器、５−８は第３の係数乗算器、５−９は第４の係数乗算器、５−１０は第５の係数乗算器、５−１１は第１の加算器、５−１２は第２の加算器、５−１３は第３の加算器、５−１４は第４の加算器、５−１５はフィルタ選択制御信号入力端子、５−１６は信号出力端子である。
【００５９】
図４において、各１Ｈラインメモリ４−２〜４−５により５ライン分のデータを生成し、各ラインに対してＤＤＦ群４−６により各々５画素分のデータを生成し、水平加算処理回路４−７〜４−１１に入力する。また、フィルタ選択制御信号入力端子４−１７よりフィルタ選択制御信号が入力され、各水平加算処理回路４−７〜４−１１に入力される。
【００６０】
以下図５により説明する。
【００６１】
水平に５画素の画像信号は各入力端子５−１〜５−５から入力され、各係数乗算器５−６〜５−１０にてディジタルフィルタの係数が乗算される。ここで各係数乗算器５−６〜５−１０の係数は、フィルタ選択制御信号入力端子５−１５の前記４種類のフィルタ選択状態に従って、４種類の値を切り換えられるものとなっている。前記フィルタ係数がかけられた信号は、各加算器５−１１〜５−１４により加算され、出力端子５−１６より出力される。
【００６２】
ここより図４に戻り、以上により各水平加算処理回路４−７〜４−１１から出力された信号は、各加算器４−１２〜４−１５により垂直方向に加算され、画像信号出力端子４−１６から出力される。
【００６３】
各水平加算処理回路４−７〜４−１１内の係数乗算器５−６〜５−１０により実現される可変補間フィルタの係数は、フィルタ選択制御信号の第１のフィルタ選択状態の場合は図６で示す周波数特性の係数となる。図６の周波数特性は水平方向は帯域が広く、垂直方向には帯域が狭いが、上記勾配ヒストグラム検出部の説明において第１のフィルタ選択状態は垂直のエッジが多く分布することを示しているから、図６の周波数特性のフィルタ係数で補間された画像は、そのブロックで最も多く分布している垂直エッジをより鮮明に再現することとなる。
【００６４】
以下、同様に、各水平加算処理回路４−７〜４−１１内の係数乗算器５−６〜５−１０により、第２のフィルタ選択状態の場合は図７、第３のフィルタ選択状態の場合は図８、第４のフィルタ選択状態の場合は図９に示す周波数特性が実現される、それぞれ左上がりの斜めエッジ、水平エッジ、右上がりの斜めエッジをより鮮明に再現してゆく。
【００６５】
このようにして、拡大したい画像の各部分において、その各部分で最も多く分布するエッジを鮮明に再現することとなり、全体的には解像度の劣化の少ない拡大処理が実現される。同時に、各部分で信号変化の少ない方向には緩やかなローパス特性のフィルタがかけられることとなり、拡大画像のＳ／Ｎを高く保つ効果がある。
【００６６】
（第３の実施形態）
図１０は本発明の第３の実施形態のブロック構成を示す図である。
【００６７】
図１０において、１０−１は再生画像信号入力端子、１０−２は相関マッチング回路、１０−３はメモリ、１０−４は信頼性判別回路、１０−５は動きベクトルデータ生成回路、１０−６は動きベクトルデータ出力端子、１−１０はテクスチャ識別部、１−１１はリファレンステクスチャデータのテーブルである。
【００６８】
以下、図１０を参照して第３の実施形態の動作の説明を行う。
【００６９】
なお、図１０のテクスチャ識別部１−１０、リファレンステクスチャデータのテーブル１−１１は、第１の実施形態の図１に示したものと同一であり、その詳細な動作の説明は省略する。
【００７０】
再生画像信号入力端子１０−１から入力された再生画像信号は相関マッチング回路１０−２とメモリ１０−３とテクスチャ識別部１−１０に入力される。相関マッチング回路１０−２はメモリ１０−３に記憶された所定フレーム数だけ前の画像信号と、現在の再生画像信号の間で所定の代表値による相関マッチング処理を行い、現フレームと所定フレーム数だけ前の画像の前記代表値の位置ずれ量を検出する。一方、テクスチャ識別部１−１０では、再生画像のテクスチャを解析し、リファレンステクスチャデータのテーブル１−１１にあらかじめ記憶された周期性のテクスチャにカテゴリ分類されるものであるかのテクスチャ情報を検出する。信頼性判別回路１０−４では、前記位置ずれ量と前記テクスチャ情報が入力され、もし周期性のあるテクスチャとみなされる場合には、同時に入力された前記位置ずれ量を以後の処理に使わないように動作する。動きベクトルデータ生成回路１０−５では、信頼性判別回路１０−４を通された前記位置ずれ量に基づき、動きベクトルデータを生成し、動きベクトルデータ出力端子１０−６に出力する。このため、周期性のある画像部分においては動きベクトル計算が行われず、周期性テクスチャに起因する動きベクトルの誤検出は防止される。
【００７１】
以上説明したように、上記の第１の実施形態によれば、オートフォーカス機構において、画像に含まれるエッジが縦か横かいずれが多いかの情報を、テクスチャ判別を用いることにより、あらかじめ検出できるため、評価値に用いる周波数成分を検出するフィルタを前記テクスチャに適したものとすることができる。そのため不要なノイズの影響を受けることなく安定したオートフォーカス動作を実現することができる。
【００７２】
また、上記の第２の実施形態によれば、電子ズーム機構において、画像に含まれるエッジが、どの方向のものが多いか等が、テクスチャ判別により判別できるため、補間処理を垂直、水平、斜めのいずれの方向を重視して行うか等を選択することができる。そのため、拡大したい画像の各部分において、その各部分で最も多く分布するエッジを鮮明に再現することとなり、全体的には解像度の劣化の少ない拡大処理が実現される。同時に、各部分で信号変化の少ない方向には緩やかなローパスフィルタがかけられることとなり、拡大画像のＳ／Ｎを高く保つ効果がある。
【００７３】
また、上記の第３の実施形態によれば、動きベクトル検出機構において、テクスチャ判別により周期性のある画像部分の検出が可能であるため、周期性のある画像部分については相関マッチング処理を行わず、他の画像部分からのみ動きベクトルを検出すれば、周期性画像に起因する動きベクトルの誤検出を防止することができる。
【００７４】
【他の実施形態】
以上、実施形態例を詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００７５】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（上記の実施形態で説明した手順に対応するプログラム）を、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００７６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明には、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００７７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００７８】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００７９】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）サーバも、本発明の範疇に含まれるものである。
【００８０】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００８１】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００８２】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、画像のパターンに応じて撮像装置の動作を最適化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の撮像装置のブロック構成を示す図である。
【図２】テクスチャ識別部の詳細構成を示す図である。
【図３】本発明の第２の実施形態の撮像装置のブロック構成を示す図である。
【図４】補間フィルタの構成を示す図である。
【図５】水平加算処理回路の構成例を示す図である。
【図６】第２の実施形態の２次元フィルタの第１の周波数特性を示す図である。
【図７】第２の実施形態の２次元フィルタの第２の周波数特性を示す図である。
【図８】第２の実施形態の２次元フィルタの第３の周波数特性を示す図である。
【図９】第２の実施形態の２次元フィルタの第４の周波数特性を示す図である。
【図１０】本発明の第３の実施形態のブロック構成を示す図である。
【符号の説明】
１−１  フォーカスレンズ
１−２  ＣＣＤ撮像素子
１−３  カメラ信号処理回路
１−４  垂直方向フィルタ
１−５  水平方向フィルタ
１−６  第１の乗算器
１−７  第２の乗算器
１−８  加算器
１−９  ＡＦ制御回路
１−１０  テクスチャ識別部
１−１１  リファレンステクスチャデータのテーブル
１−１２  ゲイン制御回路
１−１３  デフォルトゲイン０．５
１−１４  スイッチ
【図１】
2004242249.tif 000003
【図２】
2004242249.tif 000004
【図３】
2004242249.tif 000005
【図４】
2004242249.tif 000006
【図５】
2004242249.tif 000007
【図６】
2004242249.tif 000008
【図７】
2004242249.tif 000009
【図８】
2004242249.tif 000010
【図９】
2004242249.tif 000011
【図１０】
2004242249.tif 000012