(57)【特許請求の範囲】
【請求項１】
画像中の指定されたアドレスに対応するアナログ画素信号を読み出すセンサ回路と、
それぞれが対応するアドレスの画素信号に対して、設定されたフィルタ特性に応じたアナログ信号処理を実行する複数のフィルタ要素回路を備えた空間フィルタ回路と、
複数の方向選択性パラメータの１つと複数のスケール選択性パラメータの１つとの組を順次選択し、当該選択された組に対応するフィルタ特性を前記複数のフィルタ要素回路に設定し、前記選択された組のそれぞれについて、前記センサ回路に対して画像中のアドレスを順次指定するとともに、当該センサ回路より当該指定されたアドレスに対応して読み出されたアナログ画素信号を当該アドレスに対応する前記フィルタ要素回路に処理させるように制御する制御回路とを有することを特徴とする画像処理装置。
【請求項２】
前記センサ回路と、前記空間フィルタ回路と、前記制御回路とを同一半導体チップに形成したことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御回路は、前記画素信号の読み出し制御信号を前記センサ回路に出力することで前記画像中のアドレスを順次指定するとともに、前記読み出し制御信号に基づいて空間フィルタ特性制御信号を前記空間フィルタ回路に出力することで対応するフィルタ特性を前記複数のフィルタ要素回路に設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記制御回路は、前記読み出し制御信号に同期した駆動タイミング信号を前記空間フィルタ回路に出力することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記空間フィルタ回路は、デマルチプレクサ回路を有し、
前記デマルチプレクサ回路は、前記センサ回路からのアナログ画素信号を前記指定されたアドレスに対応するフィルタ要素回路に出力することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項６】
前記センサ回路から読み出された画素群の信号を一時的に記憶するブロックメモリを有し、
前記空間フィルタ回路は、前記ブロックメモリから転送される画素信号を処理することを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
請求項１〜６の何れか１項に記載の画像処理装置を搭載したことを特徴とする画像入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置及び画像入力装置に関し、特に、ＣＭＯＳセンサ等のイメージセンサからの撮像信号を処理して被写体の認識・検出・抽出などの画像処理を行うセンサ信号処理を行うために用いて好適な回路に関する。
【０００２】
【従来の技術】
従来、固体撮像素子としてのイメージセンサにアナログ処理回路を集積化することにより、画像処理機能を付加した様々なイメージセンサとして例えば、固体撮像素子と空間フィルタ処理その他の機能とを集積化した半導体チップの構成（特開２０００―１３６９４、特開平１１―２６６００２）等が知られている。
【０００３】
一方、イメージセンサに生体の初期視覚機能を付加する試みとしてMeadらによるシリコン網膜の研究(C. Mead, "Analog VLSI and Neural Systems",・Addison Wesley Pub., 1989、ＵＳＰ４７８６８１８号公報) があり、また、画素アレイ、画素アクセス制御回路、マルチプレクサ、重み制御回路をワンチップに集積化し、所定のフィルタリング機能を実現する人工網膜ＬＳＩ（映像情報メディア学会誌Vol.53, No.2, pp.178-183, 1999）などがある。
【０００４】
以下、従来技術としてＣＭＯＳセンサ回路の動作について説明する。図８は、特開平１１―１９６３３２号公報に係るセンサ回路の概略的回路構成図（ＣＭＯＳセンサの駆動回路図）を示す。同センサ回路は、上述した撮像信号処理回路の空間フィルタ回路などへの映像信号出力を行う。
【０００５】
図８において、ＰＮ接合のフォトダイオードＰＤ１１〜ＰＤ２２…と、そのカソードに接続される転送ＭＯＳトランジスタＳＴ１１〜ＳＴ２２…とで光電変換素子を構成している。垂直選択回路ＶＳＲにより順次出力Ｖ１〜Ｖ８…を“Ｈ”出力して、順次垂直選択線ＨＬ１，ＨＬ２…を活性化すると共に、水平選択回路ＨＳＲの出力Ｈ１〜Ｈ８…を順次“Ｈ”として、各水平転送スイッチＭＯＳトランジスタＨＴ１〜ＨＴ８…をオンして、各垂直出力線ＨＶ１〜ＨＶ８…から各画素に蓄積された画像電荷を出力線ＨＯＬに時系列的に順次読み出し、アンプＡＭＰを介して出力される。
【０００６】
また、リセットＭＯＳトランジスタＲＥＳは、オンして出力線ＨＯＬを画素電荷の出力毎にリセットする。さらに、フォトダイオードＰＤ１１〜ＰＤ２２…中垂直出力線ＨＶ１〜ＨＶ８…の垂直出力線ＨＶ１，ＨＶ２に接続されているフォトダイオードＰＤ１１，ＰＤ１２，ＰＤ２１，ＰＤ２２，ＰＤ３１…は暗電荷の抽出用としてカソード側を遮光されている。
【０００７】
図９は、固体撮像装置の間引き読み出しのタイミングチャートを示している。
読み出し画素を有効信号範囲の光電変換素子の水平垂直並びで隣接画素を１個ずつ飛んで読み出される。
【０００８】
まず、垂直選択回路ＶＳＲにより出力Ｖ１を”Ｈ”とし、垂直選択線ＨＬ１を”Ｈ”とする。続いて、水平選択回路ＨＳＲの出力Ｈ１，Ｈ２，Ｈ３，Ｈ５，Ｈ７…を順次”Ｈ”として、水平転送スイッチＭＯＳトランジスタＨＴ１，ＨＴ２，ＨＴ３，ＨＴ５，ＨＴ７…をオンして、各垂直出力線ＨＶ１，ＨＶ２，ＨＶ３，ＨＶ５，ＨＶ７…から各画素に蓄積された画像電荷を出力線ＨＯＬに時系列的に順次読み出し、アンプＡＭＰを介して出力する。
【０００９】
その際、水平選択回路ＨＳＲの出力Ｈ１，Ｈ２，Ｈ３，Ｈ５，Ｈ７…を順次”Ｈ”とした後にリセットＭＯＳトランジスタＲＥＳをオンして各画素電荷を読み出す毎に出力線ＨＯＬをリセットして、隣接画素の影響を無くしている。
【００１０】
図９では、アンプＡＭＰの出力ＯＵＴは、画素のフォトダイオードＰＤ１１とＰＤ１２の基準信号出力用光電変換素子群が遮光されているので”Ｈ”信号を、ＰＤ１３とＰＤ１５，ＰＤ１７の第１の有効信号出力用光電変換素子群の電荷に応じてロー電位側レベルを出力している。このような間引き読み出しのほかに、画像全体から任意範囲を読み出すブロック読み出しも同様に行われる。
【００１１】
また、間引きの間隔も任意に変更することができる。なお、上述した読み出し後に空間フィルタを適用した従来例としては、特開２０００―１３６９４号公報等に示されてある。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記従来例では時系列で入力された画像データに対して、予め定められた複数の異なる幾何学的な特徴を単一の回路で効率よく逐次抽出することはできない問題点があった。
【００１３】
また、空間的に並列に特徴抽出回路が配列したアレイ状回路により予め定められた複数の異なる幾何学的特徴を抽出するためには、センサからの時系列画像信号を空間的に分離して個々の対応する特徴抽出回路に入力する必要があった。また、センサ出力とアレイ状回路上の特徴抽出回路のアドレスとの対応づけを行う必要があった。
【００１４】
本発明は上述の問題点にかんがみ、時系列で入力された画像データに対して、予め定められた複数の異なる幾何学的な特徴を単一の回路で効率よく逐次抽出できるようにすることを第１の目的とする。
また、時間的に変調された空間フィルタ出力をセンサ出力タイミングと連動させて、撮像された画像について異なる空間フィルタ処理を効率よく、かつ安定して行うようにすることを第２の目的とする。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、画像中の指定されたアドレスに対応するアナログ画素信号を読み出すセンサ回路と、それぞれが対応するアドレスの画素信号に対して、設定されたフィルタ特性に応じたアナログ信号処理を実行する複数のフィルタ要素回路を備えた空間フィルタ回路と、複数の方向選択性パラメータの１つと複数のスケール選択性パラメータの１つとの組を順次選択し、当該選択された組に対応するフィルタ特性を前記複数のフィルタ要素回路に設定し、前記選択された組のそれぞれについて、前記センサ回路に対して画像中のアドレスを順次指定するとともに、当該センサ回路より当該指定されたアドレスに対応して読み出されたアナログ画素信号を当該アドレスに対応する前記フィルタ要素回路に処理させるように制御する制御回路とを有することを特徴とする。
また、本発明の他の特徴とするところは、前記センサ回路と、前記空間フィルタ回路と、前記制御回路とを同一半導体チップに形成したことを特徴とする。
また、本発明のその他の特徴とするところは、前記制御回路は、前記画素信号の読み出し制御信号を前記センサ回路に出力することで前記画像中のアドレスを順次指定するとともに、前記読み出し制御信号に基づいて空間フィルタ特性制御信号を前記空間フィルタ回路に出力することで対応するフィルタ特性を前記複数のフィルタ要素回路に設定することを特徴とする。
また、本発明のその他の特徴とするところは、前記制御回路は、前記読み出し制御信号に同期した駆動タイミング信号を前記空間フィルタ回路に出力することを特徴とする。
また、本発明のその他の特徴とするところは、前記空間フィルタ回路は、デマルチプレクサ回路を有し、前記デマルチプレクサ回路は、前記センサ回路からのアナログ画素信号を前記指定されたアドレスに対応するフィルタ要素回路に出力することを特徴とする。
また、本発明のその他の特徴とするところは、前記センサ回路から読み出された画素群の信号を一時的に記憶するブロックメモリを有し、前記空間フィルタ回路は、前記ブロックメモリから転送される画素信号を処理することを特徴とする。
【００１６】
本発明の画像入力装置は、上記の何れかに記載の画像処理装置を搭載したことを特徴としている。
【００１９】
【発明の実施の形態】
（第１の実施の形態）
図１は、本実施の形態に係る撮像信号処理回路の全体構成を示すブロック図である。
【００２０】
図１において、空間フィルタ回路１は、センサ回路３から入力される映像信号のセンサ上の各画素位置に対応する点において所定の異なる特性の空間フィルタ演算を時系列に施すもので、映像信号の各点を中心とした所定サイズの領域についての異なる幾何学的画像特徴量を抽出する機能を有する。
【００２１】
また、制御回路２は、後述するようにセンサ回路３への所定の読み出し制御パルス信号を所定のタイミングに従って出力するとともに、空間フィルタ回路１に対しても読み出し制御パルス信号に同期したタイミングパルス信号を出力することにより、センサ回路２からの出力と空間フィルタ回路１の処理を同期して行うことができるようにしている。なお、上記空間フィルタ回路１の詳細な制御については後述する。
【００２２】
次に、図２を用いて、画像信号の読み出しの一例及びその前処理について詳しく説明する。
光電変換素子をマトリクス状に配置した光電変換装置１０は、垂直選択回路ＶＳＲ１１により各水平ラインが順次活性化され、水平選択回路ＨＳＲ１２により基準信号出力用光電変換素子群及び有効信号出力用光電変換素子群の画像信号を、アンプＡＭＰを介して順次出力する。
【００２３】
上記のように構成された固体撮像装置の出力は、基準信号出力用光電変換素子群の出力期間に基準電圧発生器１４に入力され、基準電圧を発生する。この場合、基準信号出力用光電変換素子群が２画素の場合は、例えばその平均値を基準電圧とする。
【００２４】
次に、有効信号出力用光電変換素子群の出力期間にはクランプ回路１３に入力され、上記基準電圧発生器１４の基準電圧にクランプされて、有効信号出力用光電変換素子群の光電荷電圧は、光電変換装置の同一水平ラインの暗電荷に応じた基準電圧を差し引かれ、光電荷に応じた画像信号を得る。
【００２５】
この場合、基準電圧発生器１４の基準電圧は、１水平ラインを読み出された後、リセットされ、改めて水平ラインの読み出しの基準信号出力用光電変換素子群によって基準電圧を発生し、有効信号出力用光電変換素子群の光電荷電圧から差を取られて、実質的な画像信号を出力する。また、クランプ回路１３の出力はＡ／Ｄ変換器１５にてデジタル信号に変換され、以下に説明する空間フィルタ処理がなされる。
【００２６】
〈空間フィルタ回路の構成と動作〉
図３は、本実施の形態で用いる空間フィルタ要素の構成例を簡略化して示す図である。ここでは、画素位置(p,q)の最近傍の隣接画素位置(p±1,q±1)での出力(hr(p±1,q±1), hi(p±1,q±1))までを表示しているが、実際には、この回路要素が２次元的に配列している。
【００２７】
図３において、hr(p,q)、hi(p,q)は、それぞれセンサ上の画素位置(p,q)に対応して（以下に説明する）フィルタ出力の実部と虚部を表す。この空間フィルタ要素回路の入出力制御については、後で説明する。
【００２８】
ここで用いる空間フィルタは、GaborフィルタまたはGaborフィルタ出力に近似する出力を行ういわゆるGaborタイプフィルタで、所定方向に関する空間周波数選択性、すなわち、方向選択性（画像中の所定範囲のエッジ方向成分に感度を有すること）とスケール選択性（画像中の所定範囲のサイズ又は空間周波数の幾何学的特徴に感度を有すること）がある。
【００２９】
本実施の形態では、Gaborタイプフィルタを用いた多重スケール処理により入力画像に対してGabor wavelet変換を行う。なお、Gabor wavelet変換を行う方法及び回路については、文献 IEEE Trans. on Acoustics, Speech, and Signal Processing, vol.36, pp.1169-1179 (1988)、及びIEEE Trans. on Circuits and Systems-I: Fundamental Theory and Applications, vol.45, pp.121-132.（1998）などを参照されたい。
【００３０】
本実施の形態で用いる空間フィルタはこれら選択性を回路要素の特性（コンダクタンスや増幅器のゲインなど）によって制御することができるもので、図３では入力画像中のある点(p,q)を中心とする局所領域についてのGaborタイプフィルタリング動作を行う回路要素の構成例を文献１(B.E.Shi, "2D Focal Plane Steerabale and Scalable Cortical Filters", Proc. of Seventh International Conference on Microelectronics for Neural, Fuzzy, and Bio-Inspired Systems, pp.232-239. 1999)をもとに示している。
【００３１】
図３において、台形で示した要素は、典型的には５つのＭＯＳトランジスタを用いたトランスコンダクタンス型増幅器（ゲインを可変とする構成としては例えば、特開平７―２３５８３９号公報、特開平１１―６８４７７号公報などに記載されている）である。
【００３２】
各抵抗要素は、ＣＭＯＳトランスミッションゲートにより構成され（例えば、２個のＣＭＯＳトランジスタなどにより構成；文献２：B.E.Shi "Subthreshold Current Mode design of Gabor-type CNN Image Filters, Proc. European Conference on Circuit Theory and Design, pp.1163-1169, 1999）、抵抗要素のラベルＧはコンダクタンスを、各トランスコンダクタンス型増幅器のラベルＧはゲインを表す。フィルタ回路としては、各トランジスタを閾値以上で動作させるものであっても、閾値以下で動作させるものであってもよい。
【００３３】
次に、フィルタ回路への画像データの入力について説明する。画素信号は制御回路２から出力される読み出し制御パルス信号により駆動されるセンサ回路から所定のタイミングで図３のメモリ素子Ｃmに送られる。
【００３４】
このメモリ素子及びトランスコンダクタンス増幅器Ｇsは、アドレス（画素位置）が(p,q)の空間フィルタ要素回路の入力部をなし、各アドレスごと（各フィルタ要素回路ごと）に存在する。フィルタ出力の読み出しは、各フィルタ要素回路の入力部（メモリ素子Ｃm）への画像信号の転送が全て済んだ後に行われる。
【００３５】
画素信号は、入力部のトランスコンダクタンス増幅器Ｇｓに結合するメモリ素子Ｃmに電圧信号として一時的に保持され、制御回路からの所定のフィルタ出力読み出し信号により空間フィルタ回路からの出力が読み出されると、そのメモリ素子の内容を書き換える動作を行う。そのメモリ素子に保持されたデータはトランスコンダクタンス増幅器Ｇｓで電圧―電流変換されu(p,q)として入力される。
【００３６】
以上説明した空間フィルタ回路要素により空間周波数(wx0,wy0)を中心とした所定幅の方向選択性とスケール選択性が得られる。なお、wx0 = atan(G2x/G1x), wy0 = atan(G2y/G1y)である。また、方向選択性の中心方向θは、θ＝ atan(wy0/wx0)で与えられる。
【００３７】
〈空間フィルタ回路の制御概要〉
次に、上述した空間フィルタ要素が２次元的に配列したフィルタアレイ回路により、入力画像の所定サンプリング点を中心とする局所領域での幾何学的特徴を抽出する処理について説明する。空間フィルタアレイ回路のフィルタ特性及び駆動タイミング制御信号は、図１の制御回路から空間フィルタアレイ回路の各フィルタ要素回路（図３）に一括して出力される。
【００３８】
すなわち、フィルタ特性及び駆動タイミング制御信号は、各フィルタ要素回路のフィルタ特性を一括して制御（更新）する。上述したセンサ回路は入力画像データについて所定間隔で間引き読み出し走査を行い、画像信号データを出力する。
【００３９】
空間フィルタ回路の特性の更新を行う駆動タイミング制御信号としては、一画面分の空間フィルタ回路アレイからの出力タイミングに同期した制御信号が制御回路２から出力される。
【００４０】
また、センサ回路の垂直・水平選択回路へはこの制御信号に同期した読み出し制御信号（図１のセンサ選択線信号）を出力するとセンサから対応するアドレスの画像信号データが読み出される。
【００４１】
また、センサ選択線信号（入力画像中のアドレス）に対応するフィルタアレイ回路中の所定の空間フィルタ要素回路にデマルチプレクサを介してそのタイミング制御信号（図１のフィルタ選択線信号）が出力され、該当する空間フィルタ要素回路にセンサ選択線信号で指定されたアドレスの画像信号データが転送される。
【００４２】
各空間フィルタ要素回路は、フィルタ選択線信号の入力がある度に、その空間フィルタ特性を予め設定した方向選択性とスケール選択性の属するパラメータ値の組の一つになるように、図３の各G0,G1x,G1y,G2x,G2yを設定（制御回路２からのフィルタ特性制御信号による）したうえで、センサからの画像データを入力する。
【００４３】
各パラメータ値としては、具体的には、上記空間周波数選択性パラメータを用いてスケールパラメータをΩ-1＝[wx02+wy02]-0.5とし、各選択性パラメータΩ、θが与えられると各抵抗、増幅器が設定すべき特性値は、α2=G2(max)[1+cot2Ω]0.5, Δ＝λ/（αΩ）として、
G1x=α2cos(Ωcosθ)、G2x=α2sin(Ωcosθ)、G1y=α2cos(Ωsinθ)、
G2y=α2sin(Ωsinθ)、G0=α2[(ΔΩ)2＋４―２cos（Ωcosθ）―２cos（Ωsinθ）]
のように与えられる（文献１）。
【００４４】
所定のフィルタ特性についての全ての空間フィルタ回路要素への画像データの転送が終了した後、設定された特性を有する空間フィルタ処理結果の読み出しを行う。
【００４５】
〈Gaborフィルタ及びGabor wavelet変換について〉
次に、各空間フィルタが実行するGabor（タイプ）フィルタリングについて説明する。Gabor関数は式（１）で与えられるように、一定の方向成分と空間周波数を有する正弦波をガウシアン関数（Gaborタイプフィルタでは非ガウシアン関数）で変調した形状を有し、以下に説明するスケーリングレベルのインデックスmと方向成分のインデックスｎでその特性が設定される。
【００４６】
ウエーブレットとしてのこのフィルタ関数のセットは互いに相似の関数形状を有し、また主方向と大きさが互いに異なる。このウエーブレットは空間周波数ドメインと実空間ドメインで関数形が局在していること、位置と空間周波数に関する同時不確定性が最小となり、実空間でも周波数空間でも最も局在した関数であることが知られている（J,G.Daugman (1985), Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters, Journal of Optical Society of America A, vol.2, pp. 1160-1169）。
【００４７】
【数１】
0004545978.tif 000002
【００４８】
ここに、(x,y)が画像中の位置、aはスケーリングファクター、θnはフィルタの方向成分を表し、Wは基本空間周波数、σXσYはフィルタ関数のｘ方向、ｙ方向の広がりの大きさを与えるパラメータである。但し、図３に示す回路構成上は、（１）式のガウシアン関数形状がラプラシアンで近似されたものとなる。
【００４９】
本実施の形態では方向選択性パラメータとしてのθnは６方向で０度、３０度、６０度、９０度、１２０度、１５０度の値をとり、aは２とし、スケール選択性パラメータとしてのｍは１から３までの値をとる整数として与える。なお、実際の回路構成上は、図３の回路要素の特性値（コンダクタンス値及びトランスコンダクタンス増幅器のゲイン）を適切に制御することにより、このような選択性が実現される。
【００５０】
Gaborフィルタカーネル（（１）式のgmn）のサイズ(広がり)はスケールインデックスmに応じて変わるので、異なるスケールインデックスを有するGaborフィルタは異なるサイズ選択性を有するが、ここでは図３に示すような回路アレイの広がりが無限にあると仮定した場合にその伝達関数が、空間周波数選択性（スケール選択性）を有すること（文献１）を利用している。
【００５１】
先述した駆動タイミング制御信号の入力時刻ｔで、選択されるフィルタの特性パラメータをスケール選択性に関してm(t)と方向選択性に関してn(t)とおく。この選択された空間フィルタ特性を有する各フィルタについてgm(t)n(t)(x,y)と入力濃淡画像との２次元畳み込み演算を行う（但し実際には、図３に示すような回路要素では、gm(t)n(t)(x,y)の関数形状をラプラシアンとしたものとの畳み込み演算と等価な変換出力が得られる）ことによりGaborウエーブレット変換が行われる。すなわち、
【００５２】
【数２】
0004545978.tif 000003
【００５３】
ここに、Iは入力画像、Wm(t)n(t)はGaborウエーブレット変換係数である。Wm(t)n(t) (m(t)=1,2,3; n(t)=1,..., 6)のセットを特徴ベクトルとして各点で求める。「*」は、複素共役をとることを示す。
【００５４】
図３に示す回路要素の空間フィルタアレイの出力、すなわち、hr(p,q), hi(p,q)としては、Wm(t)n(t) ≒ hr(p,q) + j hi(p,q)のように関係づけられる。
【００５５】
各空間フィルタ要素回路は、分布重み係数と画像データとの積和入力を行って得られるウエーブレット変換係数値出力を行う。すなわち、センサ出力からの全画面分のデータについて、所定のフィルタ特性を与えての空間フィルタ回路要素からの出力が時系列に読み出され、同様にして一連の異なるフィルタ特性を与えてのフィルタ出力がなされた結果、空間フィルタアレイ全体の時系列出力（式（２）のインデクスm, nが取りうる値の範囲全体にわたるWmnに相当するの値のセット）として、（2）式のGabor wavelet変換が行われたことになる。
【００５６】
なお、以下のようにして更新される各フィルタ特性ごとの時系列出力結果は一旦、それぞれ個別に複数の（或いは、一括して単一の）一時記憶手段に２次元アレイデータとして格納されて後続の処理（例えば、画像認識処理など）が行われる。例えば、空間フィルタ出力を受ける後続の処理モジュールが複数の演算素子が並列階層的に結合してなる神経回路網である場合には、上述した２次元アレイデータは、（例えば電圧信号に変換されて）通常は一括して同時に入力層の神経素子に出力される。
【００５７】
〈センサ回路からの画像データの転送制御〉
以下、再び図１を参照して説明する。制御回路２は、Gaborタイプ空間フィルタアレイ回路１の特性パラメータ(m,n)を更新するたびに、空間フィルタ回路要素中の対応する各抵抗値、及び増幅器ゲインの制御信号を出力する。
【００５８】
具体的には、制御回路２は、フィルタ特性制御信号として各抵抗を構成するＣＭＯＳトランスミッションゲート回路を構成するトランジスタのゲート電圧制御信号（VG1x, VG1y,VG0）、及びトランスコンダクタンス増幅器を構成するトランジスタへのゲイン制御信号（VG2x,VG2y）を各空間フィルタ回路要素の特性が一括して更新されるように出力する。
【００５９】
以下、図４を参照して、制御回路の構成等について説明する。制御回路２は、内部の記憶手段４３に、Gaborタイプフィルタのスケール及び方向選択性インデクスの組(m,n)に対して、それぞれ固有のコンダクタンス値および増幅器ゲイン値のセット(G0, G1x, G1y, G2x, G2y)を与える制御信号値の組のデータをテーブルとして記憶しており、各インデクスの組に対応する制御信号としてVcon,(mn)が方向・スケール選択信号発生器４１より入力されると、ゲート制御信号発生回路４２からは以下に示すコンダクタンス値および増幅器ゲイン値を与える制御信号VG1x, VG1y, VG2x,VG2y, VG0が、図３に示す各空間フィルタ回路要素の各抵抗及び増幅器を構成するトランジスタへ出力される。
【００６０】
すなわち、Vcon,(mn)に対応するG1x,(mn), G2x,(mn),G1y,(mn),G2y,(mn), G0,(mn)は、それぞれ以下のように与えられるとすると、メモリでは、それぞれに対応する制御信号レベルVG1x, VG1y, VG2x,VG2y, VG0を上記インデクス組(m,n)に対応して記憶している。なお、G1x,(mn), G2x,(mn),G1y,(mn),G2y,(mn), G0,(mn)の値は上述した定義式により、中心方向θn、中心空間周波数Ωmを用いて、
G1x,(mn)=αm2cos(Ωmcosθn)、G2x,(mn)=αm2sin(Ωmcosθn)、
G1y,(mn)=αm2cos(Ωmsinθn)、G2y,(mn)=αm2sin(Ωmsinθn)、
G0,(mn)=αm2[(ΔmΩm)2＋４―２cos（Ωmcosθn）―２cos（Ωmsinθn）]
のように表される。ここに、
αm2=G2(max)[1+cot2Ωm]0.5, Δm＝λ/（αmΩm）
である。
【００６１】
なお、各抵抗および増幅器への制御信号線は図３の各回路要素の所定のトランジスタに配線されているが、煩雑さを避けるため図示していない。
【００６２】
制御回路２は、上述した方向・スケール選択信号発生器からの制御信号の出力タイミングに同期するようにセンサ回路３中の水平選択回路３ｈ及び垂直選択回路３ｖに対して、各水平・垂直選択線のうち順次”Ｈ”にすべき線の選択線信号を出力する。
【００６３】
具体的には、更新された上記選択信号Vcon,(mn)が出力されると、これに同期して、センサ側に水平選択線信号と垂直選択線信号のアクティベート信号が出力され、センサ回路では、このアクティベート信号が入力されると順次”Ｈ”にすべき線の選択線信号が出力され、水平選択線と垂直選択線の両方がアクティブとなった画素の画素信号がセンサから上述した空間フィルタ回路へ出力される。
【００６４】
このようにして時系列信号として読み出された画素信号は、デマルチプレクサ回路５により選択された各空間フィルタ回路要素（図３）の入力部に以下のように転送される。デマルチプレクサ回路５としては、通常用いられる回路構成でよく（例えば、スイッチアレイとそのアクティベート回路等から構成される）、前処理された画素信号と選択線信号を入力して、選択線信号で決まる入力画像中の読み出し画素位置に対応するGaborタイプ空間フィルタ回路要素へ対応する画素信号の出力を行う。
【００６５】
次に、Gaborタイプ空間フィルタアレイ回路１からの出力の読み出しについて説明する。 読み出しは、制御回路２の方向・スケール選択信号発生器により設定されるべきスケールパラメータｍと方向成分パラメータｎが更新され、各フィルタ回路要素に入力されるべき画素信号が全て転送された後に行われる。
【００６６】
例えば、Gaborタイプフィルタの上記パラメータ(m,n)に応じて読み出された画像データのフィルタ回路要素への転送終了タイミングを、最後の選択線信号を入力することにより検出し、その後、デバイス特性により決まる所定の遅延時間を経て空間フィルタ出力が読み出され、一時記憶手段に複数の２次元アレイデータ（同一特性ごとの空間フィルタアレイ出力）として格納されるか、或いはそのまま時系列データとして後続の処理モジュールに出力してもよい。
【００６７】
この空間フィルタ出力の読み出しは、制御回路２からのセンサ選択線信号と同期したフィルタ選択線信号出力から所定の遅延時間後に行われるので、センサからの画像信号出力と常に一定の時間的対応を保持しながら空間フィルタ出力を取り出すことができる。
【００６８】
また、センサからのデータの読み出しと空間フィルタ特性の制御の適切なタイミング制御により、回路規模を小さくしながら上述した空間フィルタ出力とセンサ出力の対応付けを行うことができる。
【００６９】
後続の処理モジュールが神経回路網などの並列演算装置である場合には、読み出された時系列フィルタ出力を入力段の各素子にデマルチプレクサ回路等により分岐出力し、各素子の入力部には、入力データの値を保持するサンプルホールド回路または一時記憶メモリ素子を導入しておくか、或いは、所定のブロックメモリ素子に２次元アレイデータとして書き込み、その後、並列演算装置の入力素子アレイに一括出力してもよい。
【００７０】
以上、本実施の形態では、空間フィルタ回路の制御タイミングに基づいて、センサ回路へのアドレス制御や転送制御を行うものであったが、上述した空間フィルタ以外の他の処理回路、例えば、画像認識回路の中間処理出力タイミングなどに基づいて同様な制御を行う構成としてもよい。
【００７１】
次に、上述した空間フィルタリングを行う撮像信号処理回路を搭載した撮像装置（画像入力装置）の構成について説明する。
本実施の形態の構成に係る撮像信号処理回路を用いたパターン認識(検出)装置を撮影手段に搭載させることにより、特定被写体へのフォーカシングや特定被写体の色補正、露出制御を行う場合について、図５を参照して説明する。
【００７２】
図５の撮像装置９は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系９２、ＣＭＯＳイメージセンサ９３、撮像パラメータの計測手段９４、本実施の形態に係る空間フィルタ動作などを行う撮像信号処理回路９５、記憶手段９６、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生手段９７、EVFなどファインダーを兼ねた表示ディスプレイ９８、ストロボ発光手段９９、記録媒体９１０、更に被写体認識手段９１１などを具備する。被写体認識手段９１１は、撮像信号処理回路からのGaborタイプウエーブレット変換出力を用いて画像中から特定カテゴリのパターンの検出等を行う機能を有する。
【００７３】
この撮像装置は、例えば撮影された映像中から予め登録された人物の顔画像の検出(存在位置、サイズの検出)を被写体認識手段９１１により行う。その人物の位置、サイズ情報は制御信号発生手段に９７に入力されると、同制御信号発生手段９７は、撮像パラメータ計測手段９４からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【００７４】
本実施の形態に係る撮像信号処理回路を用いたパターン検出(認識)装置を、以上のように撮像装置に用いることにより、上記被写体の検出(認識)機能を小回路規模で低消費電力かつ高速（リアルタイム）に実現することができる。またその結果に基づいて、人物等の検出とそれに基づく撮影の最適制御（ＡＦ、ＡＥなど）を行うことができた。
【００７５】
本実施の形態は、図１に示されているセンサ回路３、制御回路２、前処理回路４、及び空間フィルタ回路１をそれぞれ、別々の半導体チップに形成する場合や同一の半導体チップに形成する場合とに適用される。
【００７６】
しかしながら、図１に示されているそれぞれの回路を、ＣＭＯＳプロセス等で同一の半導体チップ上に形成することによって、本実施の形態はより効果を発揮する。
【００７７】
本実施の形態では、光電変換素子アレイの一画面分の画像データに対して複数の異なる空間フィルタ特性における複数の空間フィルタ演算を、複数の空間フィルタ回路を設けて、並列的に行うのではなく、一つの空間フィルタによって時系列的に行うようにしている。
【００７８】
また、センサ回路３と空間フィルタ回路１とを同一半導体チップに形成した場合には、センサ回路３と空間フィルタ１のどちらに欠陥があると、そのチップは使用することはできなくなり、歩留まりが悪くなる。この場合に、空間フィルタを複数設ける場合には、チップ面積が大きくなり、非常に歩留まりが悪くなる不都合が発生する。それに対して、上述した本実施の形態のように、一つの空間フィルタ回路で時系列的に処理を行うようにした場合には、チップ面積が小さくなり、歩留まりを良くすることができる。
【００７９】
このように、複数の異なる処理を時系列的に行う一つの空間フィルタ回路を、センサ回路３等と一緒に同一半導体チップに形成することによって、複数の回路を同一の半導体チップ上に形成することによる歩留まりの悪化を防ぎ、かつ同一半導体チップに形成することによるメリット、すなわち、少面積化、低電力化、低価格化等のメリットを得ることが可能となる。
【００８０】
（第２の実施の形態）
図６に本実施の形態の要部構成ブロック図を示す。ここでは、図３の空間フィルタ回路要素の入力部にあるメモリ素子Ｃmは不要である。センサ回路出力のうち、時系列的にアクセスされる所定の空間フィルタ回路要素に対応する必要部分をブロックメモリに一旦記録し、その後ブロックメモリの各画素データを電圧信号として一括に（図３の回路でメモリ素子Ｃmを用いる場合は、時系列に）読み出して、上述したような空間フィルタ処理を行う。
【００８１】
本実施の形態では制御回路２は、第１の実施の形態と同様に空間フィルタ特性パラメータ(m,n)のうち、スケールパラメータｍに対応するスケール制御信号をアドレス選択信号とともにセンサ回路側に送出し、センサ回路の水平・垂直選択回路は、このスケール制御信号に応じた所定領域サイズについて各サンプリング画素を中心とする局所領域の画像データ（間引きによりサンプリングされた局所領域）をブロックメモリ６に記憶させる。このようにすることにより、センサ回路への読み出しタイミング制御信号を出力する制御回路２の負荷を軽減させることができる。
【００８２】
このブロックメモリ６は一次記憶素子としての機能を果たし、制御回路２からのタイミング信号に従って、各サンプリング位置を中心とした局所的な領域（サイズはスケールパラメータ依存）の画像データは、そのサンプリング点位置に対応する各空間フィルタ回路要素へ送出される。
【００８３】
この時、ブロックメモリが記憶する画像データは、制御回路２からの制御信号により間引きのサンプリング点位置が更新されるたびに、そのサンプリング点位置に対応する画像信号データ（前処理後）が後段の空間フィルタアレイ回路に転送され、また上記位置（アドレス）でのセンサからの画像信号が入力され、そのブロックメモリ上の対応するアドレスの画像データが書き換えられる結果、一定範囲で重複した画像データとして更新される。
【００８４】
その後、制御回路２の制御信号により空間フィルタ回路要素に時系列的に画像信号として出力される。なお、空間フィルタ回路からの出力の読み出しその他は、第１の実施の形態と同様である。
【００８５】
この場合も、図６に示されているセンサ回路３、制御回路２、前処理回路４、ブロックメモリ６、及び空間フィルタ回路１をそれぞれ、別々の半導体チップに形成する場合や同一の半導体チップに形成する場合とに適用される。
【００８６】
しかしながら、図６に示されているそれぞれの回路を、ＣＭＯＳプロセス等で同一の半導体チップ上に形成することによって、本実施の形態はより効果を発揮することができる。
【００８７】
本実施の形態では、光電変換素子アレイの一画面分の画像データに対して複数の異なる空間フィルタ特性における複数の空間フィルタ演算を、複数の空間フィルタ回路を設けて、並列的に行うのではなく、一つの空間フィルタによって時系列的に行うようにしている。
【００８８】
また、センサ回路３と空間フィルタ回路１とを同一半導体チップに形成した場合には、センサ回路３と空間フィルタ１のどちらに欠陥があると、そのチップは使用することはできなくなり、歩留まりが悪くなる。この場合に、空間フィルタを複数設ける場合には、チップ面積が大きくなり、非常に歩留まりが悪くなる不都合が発生する。それに対して、上述した本実施の形態のように、一つの空間フィルタ回路で時系列的に処理を行うようにした場合には、チップ面積が小さくなり、歩留まりを良くすることができる。
【００８９】
このように、複数の異なる処理を時系列的に行う一つの空間フィルタ回路１を、センサ回路３等と一緒に同一半導体チップに形成することによって、複数の回路を同一の半導体チップ上に形成することによる歩留まりの悪化を防ぎ、かつ同一半導体チップに形成することによるメリット、すなわち、少面積化、低電力化、低価格化等のメリットを得ることが可能となる。
【００９０】
（第３の実施の形態）
本実施の形態の要部構成を図７に示す。ここでは、センサ回路のタイミング制御特性、すなわち、空間フィルタ回路側の変調タイミング制御を通常のＣＭＯＳセンサで用いる読み出し制御信号を用いて行う。ただし、第１の実施の形態に示したような間引き読み出し制御が行われるものとする。
【００９１】
このようにすると、ＣＭＯＳセンサ回路についての読み出しタイミング制御、或いは転送回路等の内部の配線に変更を加えずに済み、既存のＣＭＯＳセンサチップ等を用いて空間フィルタリング動作を安定して行うことができる。
【００９２】
制御回路２は、センサ読み出し時の選択線信号を入力し、画像信号のアドレスの情報を得て、対応する位置の空間フィルタ回路要素に画像信号の転送制御を行う。
【００９３】
このとき、第１の実施の形態に示したGaborタイプのウエーブレット変換の特性パラメータ(m,n)に対応させて図３に示す各回路要素（抵抗、トランスコンダクタンス増幅器）の特性制御信号の送出を行うが、その更新はセンサからの読み出し動作が一通り終了してから行われる。例えば、入力画像について行うべき間引き読み出しが終了するたびに更新すればよい。また、その更新後に再び、（間引き）読み出し走査がセンサ回路において行われる。
【００９４】
画素信号は、第１の実施の形態と同様に入力部のトランスコンダクタンス増幅器Ｇｓに結合するメモリ素子Ｃmに電圧信号として一時的に保持され、空間フィルタ回路からの出力が読み出されると、そのメモリ素子の内容の書き換え動作を行う。その他の動作及び構成は、第１の実施の形態と同様である。
【００９５】
この第３の実施の形態においても、図７に示されているセンサ回路３、制御回路２、前処理回路４、及び空間フィルタ回路１をそれぞれ、別々の半導体チップに形成する場合や同一の半導体チップに形成する場合とに適用される。
【００９６】
しかしながら、図７に示されているそれぞれの回路を、ＣＭＯＳプロセス等で同一の半導体チップ上に形成することによって、本実施の形態はより効果を発揮することができる。
【００９７】
本実施の形態では、光電変換素子アレイの一画面分の画像データに対して複数の異なる空間フィルタ特性における複数の空間フィルタ演算を、複数の空間フィルタ回路を設けて、並列的に行うのではなく、一つの空間フィルタによって時系列的に行うようにしている。
【００９８】
また、センサ回路３と空間フィルタ回路１とを同一半導体チップに形成した場合には、センサ回路３と空間フィルタ１のどちらに欠陥があると、そのチップは使用することはできなくなり、歩留まりが悪くなる。この場合に、空間フィルタを複数設ける場合には、チップ面積が大きくなり、非常に歩留まりが悪くなる不都合が発生する。それに対して、上述した本実施の形態のように、一つの空間フィルタ回路１で時系列的に処理を行うようにした場合には、チップ面積が小さくなり、歩留まりを良くすることができる。
【００９９】
このように、複数の異なる処理を時系列的に行う一つの空間フィルタ回路１を、センサ回路３等と一緒に同一半導体チップに形成することによって、複数の回路を同一の半導体チップ上に形成することによる歩留まりの悪化を防ぎ、かつ同一半導体チップに形成することによるメリット、すなわち、少面積化、低電力化、低価格化等のメリットを得ることが可能となる。
【０１００】
（本発明の他の実施の形態）
本発明は複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。
【０１０１】
また、上述した実施の形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【０１０２】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１０３】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることは言うまでもない。
【０１０４】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【０１０５】
【発明の効果】
本発明は上述したように、本発明によれば、画像入力手段から入力される同一の画像データに対して、複数の異なる空間フィルタ特性に対応させて複数の空間フィルタ演算を時系列的に行うようにしたので、時系列で入力された画像データに対して、予め定められた複数の異なる幾何学的な特徴を単一の回路で効率よく逐次抽出することができる。また、時間的に変調された空間フィルタ出力をセンサ出力タイミングと連動させることができ、撮像された画像について異なる空間フィルタ処理を効率よく、かつ安定して行うようにすることができる。
【０１０６】
また、本発明のその他の特徴によれば、光電変換特性を有する画素アレイと、上記画素アレイから画像データを読み出すための読み出し手段とを含むセンサ領域と、上記センサ領域から読み出された同一の画像データに対して、複数の異なる空間フィルタ特性に対応させて複数の空間フィルタ演算を時系列的に行う画像処理手段とを同一半導体チップに形成したので、複数の回路を同一の半導体チップ上に形成することによる歩留まりの悪化を防ぎ、かつ同一半導体チップに形成することによるメリットである、少面積化、低電力化、低価格化等のメリットを得ることができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る撮像信号処理回路の要部構成を示すブロック図である。
【図２】センサ回路と前処理回路の構成例を示す図である。
【図３】空間フィルタ回路要素の構成例を示す図である。
【図４】本発明で用いる制御回路のブロック構成例を示す図である。
【図５】本発明の撮像信号処理回路を搭載した被写体認識を行う撮像装置の構成例を示す図である。
【図６】第２の実施の形態に係る撮像信号処理回路の要部構成を示す図である。
【図７】第３の実施の形態に係る撮像信号処理回路の要部構成を示す図である。
【図８】センサ回路の要部構成例を示す図である。
【図９】センサ回路での間引き読み出し時のタイミング制御を示す図である。
【符号の説明】
１  空間フィルタ回路
２  制御回路
３  センサ回路
３ｈ  水平シフトレジスタ
３ｔ  転送回路
３ｖ  垂直シフトレジスタ
４  前処理回路
５  デマルチプレクサ回路
６  ブロックメモリ
【図１】
0004545978.tif 000004
【図２】
0004545978.tif 000005
【図３】
0004545978.tif 000006
【図４】
0004545978.tif 000007
【図５】
0004545978.tif 000008
【図６】
0004545978.tif 000009
【図７】
0004545978.tif 000010
【図８】
0004545978.tif 000011
【図９】
0004545978.tif 000012