(57)【要約】      （修正有）【課題】撮像した画像のナイキスト周波数以上の高周波成分が支配的となるような場合にも、処理クロックの周波数を上げることなくナイキスト周波数以上の周波数成分を扱うことができ、有効なフォーカス評価値を得る。【解決手段】フォーカス制御装置は、画素ずれ補正部、第１信号処理部、モアレ成分抽出部、フォーカス評価値生成部、およびフォーカス制御部を備える。画素ずれ補正部は第１画像信号間における位相のずれを補正して第２画像信号を生成し、第１信号処理部は第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する。モアレ成分抽出部は第３画像信号間において減算を行い、ナイキスト周波数帯域内の信号成分を抑制し、同ナイキスト周波数帯域内に折り返したモアレ成分を抽出する。フォーカス評価値生成部はモアレ成分に基づいてフォーカス評価値を算出し、フォーカス評価値に基づいてフォーカス制御が行われる。【選択図】図１
2008304629.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部とを含む撮像装置に適用されるフォーカス制御装置であって、
前記第１画像信号間における位相のずれを補正して第２画像信号を生成する画素ずれ補正部と、
前記第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する第１信号処理部と、
前記第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制して前記ナイキスト周波数帯域内に折り返したモアレ成分を抽出するモアレ成分抽出部と、
前記モアレ成分に基づいてフォーカス評価値を算出するフォーカス評価値生成部と、
前記フォーカス評価値に基づいて前記レンズユニット部のフォーカス制御を行うフォーカス制御部と、
を備える、フォーカス制御装置。
【請求項２】
前記第１の所定の周波数成分は、前記第２画像信号の全周波数成分または一部の周波数成分である、
請求項１に記載のフォーカス制御装置。
【請求項３】
前記第１信号処理部は、各前記第２画像信号から低周波成分を抽出し、前記低周波成分の振幅レベルがほぼ等しくなるように所定の割合を決定し、
前記モアレ成分抽出部は、前記所定の割合により前記第３画像信号間において前記減算を行う、
請求項１または２に記載のフォーカス制御装置。
【請求項４】
前記モアレ成分から第２の所定の周波数成分を抽出する第２信号処理部を更に備え、
前記フォーカス評価値生成部は、前記第２の所定の周波数成分の少なくとも一部を積分して前記フォーカス評価値を生成する、
請求項１から３のいずれかに記載のフォーカス制御装置。
【請求項５】
前記モアレ成分から抽出する前記第２の所定の周波数成分は、前記モアレ成分の全周波数成分または一部の周波数成分である、請求項４に記載のフォーカス制御装置。
【請求項６】
被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部とを含む撮像装置に適用されるフォーカス制御装置であって、
前記第１画像信号間における位相のずれを補正して第２画像信号を生成する画素ずれ補正部と、
前記第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する第１信号処理部と、
前記第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制して前記ナイキスト周波数帯域内に折り返したモアレ成分を抽出するモアレ成分抽出部と、
前記第３画像信号間において加算を行うことにより、前記ナイキスト周波数帯域内に折り返した前記モアレ成分を抑制して所定の信号成分を抽出する信号成分抽出部と、
抽出した前記モアレ成分および抽出した前記所定の信号成分の少なくとも一方からフォーカス評価値を算出するフォーカス評価値生成部と、
前記フォーカス評価値に基づいて前記レンズユニット部のフォーカス制御を行うフォーカス制御部と、
を備える、フォーカス制御装置。
【請求項７】
前記第１の所定の周波数成分は、前記第２画像信号の全周波数成分または一部の周波数成分である、
請求項６に記載のフォーカス制御装置。
【請求項８】
前記第１信号処理部は、各前記第２画像信号から低周波成分を抽出し、前記低周波成分の振幅レベルがほぼ等しくなるように所定の割合を決定し、
前記モアレ成分抽出部は、前記所定の割合により前記第３画像信号間において前記減算を行い、
前記信号成分抽出部は、前記所定の割合により前記第３画像信号間において前記加算を行う、
請求項６または７に記載のフォーカス制御装置。
【請求項９】
前記モアレ成分および前記所定の信号成分の一方または両方から第２の所定の周波数成分を抽出する第２信号処理部を更に備え、
前記フォーカス評価値生成部は、前記第２の所定の周波数成分の少なくとも一部を積分して前記フォーカス評価値を生成する、
請求項６から８のいずれかに記載のフォーカス制御装置。
【請求項１０】
前記モアレ成分および前記所定の信号成分から抽出する前記第２の所定の周波数成分は、前記モアレ成分および前記所定の信号成分の全周波数成分または一部の周波数成分である、
請求項９に記載のフォーカス制御装置。
【請求項１１】
前記レンズユニットのズーム位置および算出した前記フォーカス評価値のうち少なくとも一方により前記モアレ成分および前記所定の信号成分の一方または両方を選択する選択部を更に備える、
請求項６から１０のいずれかに記載のフォーカス制御装置。
【請求項１２】
前記第２信号処理部はフィルタを有し、
前記フィルタは、前記モアレ成分および前記所定の信号成分の双方について前記第２の所定の周波数成分を抽出する共通のフィルタである、
請求項９または１０に記載のフォーカス制御装置。
【請求項１３】
請求項１または６に記載のフォーカス制御装置を備える、
撮像装置。
【請求項１４】
被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部とを含む撮像装置に適用されるフォーカス制御方法であって、
前記第１画像信号間における位相のずれを補正して第２画像信号を生成する画素ずれ補正ステップと、
前記第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する信号処理ステップと、
前記第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制して前記ナイキスト周波数帯域内に折り返したモアレ成分を抽出するモアレ成分抽出ステップと、
前記モアレ成分に基づいてフォーカス評価値を算出するフォーカス評価値生成ステップと、
前記フォーカス評価値に基づいて前記レンズユニット部のフォーカス制御を行うフォーカス制御ステップと、
を備える、フォーカス制御方法。
【請求項１５】
被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部とを含む撮像装置に適用されるフォーカス制御方法であって、
前記第１画像信号間における位相のずれを補正して第２画像信号を生成する画素ずれ補正ステップと、
前記第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する信号処理ステップと、
前記第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制して前記ナイキスト周波数帯域内に折り返したモアレ成分を抽出するモアレ成分抽出ステップと、
前記第３画像信号間において加算を行うことにより、前記ナイキスト周波数帯域内に折り返した前記モアレ成分を抑制して所定の信号成分を抽出する信号成分抽出ステップと、
抽出した前記モアレ成分および抽出した前記所定の信号成分の少なくとも一方からフォーカス評価値を算出するフォーカス評価値生成ステップと、
前記フォーカス評価値に基づいて前記レンズユニット部のフォーカス制御を行うフォーカス制御ステップと、
を備える、フォーカス制御方法。
【請求項１６】
被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部と、フォーカス評価値に基づいて前記レンズユニット部のフォーカス制御を行うフォーカス制御部とを含む撮像装置に適用される集積回路であって、
前記第１画像信号間における位相のずれを補正して第２画像信号を生成する画素ずれ補正部と、
前記第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する信号処理部と、
前記第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制して前記ナイキスト周波数帯域内に折り返したモアレ成分を抽出するモアレ成分抽出部と、
前記モアレ成分に基づいて前記フォーカス評価値を算出するフォーカス評価値生成部と、
を備える、集積回路。
【請求項１７】
被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部と、フォーカス評価値に基づいて前記レンズユニット部のフォーカス制御を行うフォーカス制御部とを含む撮像装置に適用される集積回路であって、
前記第１画像信号間における位相のずれを補正して第２画像信号を生成する画素ずれ補正部と、
前記第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する信号処理部と、
前記第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制して前記ナイキスト周波数帯域内に折り返したモアレ成分を抽出するモアレ成分抽出部と、
前記第３画像信号間において加算を行うことにより、前記ナイキスト周波数帯域内に折り返した前記モアレ成分を抑制して所定の信号成分を抽出する信号成分抽出部と、
抽出した前記モアレ成分および抽出した前記所定の信号成分の少なくとも一方から前記フォーカス評価値を算出するフォーカス評価値生成部と、
を備える、集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカス制御を行う撮像装置のフォーカス制御装置、撮像装置、フォーカス制御方法および集積回路に関する。
【背景技術】
【０００２】
従来、撮像装置のオートフォーカスには様々な方式が提案され、実用化されている。その中でも撮像素子により撮像された画像信号に様々な処理を施し、画像信号のコントラストを検出するコントラスト検出方式が一般に広く利用されている。被写体を撮像した時に輪郭部分等に存在する画像信号の高周波成分は、フォーカスが合うほど大きくなる。これは被写体の輪郭部分の明部と暗部の輝度レベル差、すなわちコントラストが大きくなることを意味する。コントラスト検出方式は、この性質を利用するものである。すなわち、所望の被写体にフォーカスを合わせるためには、その画像信号の高周波成分が大きくなるようにフォーカスレンズを自動または手動により制御すればよいことになる。ここでコントラストを検出する方法としては、画像信号に所定の周波数特性を有するＨＰＦ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）によるフィルタ処理を施すことで、高周波成分をコントラスト値として抽出する方法が多く利用されている。
【０００３】
この高周波成分を抽出するためのＨＰＦの周波数特性としては様々なものが考えられるが、撮像された画像信号に含まれる周波数成分は撮像する被写体の種類やレンズのズーム位置等の撮像条件により異なるため、適切な周波数特性のＨＰＦを選択することが望ましい。例えば、被写体に含まれる周波数成分が比較的低い場合には、その周波数成分を抽出するためにカットオフ周波数の低いＨＰＦを選択し、被写体に含まれる周波数成分が比較的高い場合には、その周波数成分を抽出するためにカットオフ周波数の高いＨＰＦを選択する方が、良好なフォーカス評価値を得ることができる。同様に同じ被写体を撮像する場合であっても、レンズのズーム位置がテレ（Ｔｅｌｅ）側（望遠側）である場合には、撮像した画像信号に含まれる周波数成分は比較的低いためカットオフ周波数の低いＨＰＦを選択し、レンズのズーム位置がワイド（Ｗｉｄｅ）側（広角側）である場合には、撮像した画像信号に含まれる周波数成分は比較的高いためカットオフ周波数の高いＨＰＦを選択する方が望ましい。
【０００４】
このようにレンズのズーム位置に応じて高周波成分の抽出に使用するＨＰＦのカットオフ周波数を切り替える従来のフォーカス制御装置としては、例えば特許文献１に記載されたものが知られている。
【０００５】
図８は従来のフォーカス制御装置の構成を示す図である。
【０００６】
図８に示すフォーカス制御装置は、レンズユニット部１と、ズーム位置検出部１１と、ＣＣＤやＣＭＯＳ等の撮像素子を含む撮像部１２Ｇ，１２Ｂ，１２Ｒと、高周波成分抽出部１３と、評価値生成部１４と、フォーカス制御部１０とを有する。レンズユニット部１は、被写体に対するズームおよびフォーカス制御可能である。ズーム位置検出部１１は、レンズユニット部１のズーム位置を検出する。撮像部１２Ｇ、１２Ｂおよび１２Ｒは、レンズユニット部１を通して被写体を撮像する。高周波成分抽出部１３は、撮像部１２Ｇ、１２Ｂおよび１２Ｒにより光電変換されて出力された３チャンネルの信号Ｇ０、Ｂ０およびＲ０から輝度信号を生成した後、ズーム位置検出部１１により検出されたレンズユニット部１のズーム位置に基づいてＮ個の中から選択したＨＰＦにより高周波成分を抽出する。フォーカス評価値生成部１４は、高周波成分抽出部１３により抽出された高周波成分の絶対値を、フォーカス状態を評価する領域内にわたって積分してフォーカス評価値を生成する。フォーカス制御部１０は、フォーカス評価値によりフォーカス状態を判定してレンズユニット部１のフォーカス制御を行う。
【０００７】
図９は図８に示す高周波成分抽出部１３のＨＰＦの選択方法を示すフローチャートである。
【０００８】
以下、従来のフォーカス制御装置のフォーカス動作について図８および図９を用いて説明する。図８に示すフォーカス制御装置を含んだ撮像装置を用いて被写体を撮像する場合、レンズユニット部１を通して入射された光は撮像部１２Ｇ、１２Ｂおよび１２Ｒによって３チャンネルの電気信号に変換される。高周波成分抽出部１３は、この３チャンネルの電気信号から輝度信号を生成し、図９に示すフローチャートに従って選択されたＨＰＦにより高周波成分を抽出する。以下この動作について説明する。
【０００９】
図９に示すように、高周波成分抽出部１３ではズーム位置検出部１１により検出されたレンズユニット部１のズーム位置を確認し、ズーム位置がテレ（Ｔｅｌｅ）端（望遠側の端）にあればテレ端用ＨＰＦを選択し、ズーム位置がテレ端でなければ次にポジション１にあるかを確認する。ズーム位置がポジション１にあればポジション１用ＨＰＦを選択し、ズーム位置がポジション１になければ次にポジション２にあるかを確認する。以下同様にポジション３、４、・・・、Ｎ−２と確認して、いずれでもなければズーム位置はワイド端（広角側の端）にあると判断してワイド端用ＨＰＦを選択する。このようにして、カットオフ周波数の低いテレ端用ＨＰＦからカットオフ周波数の高いワイド端用ＨＰＦまで、ズーム位置に応じて選択されたＨＰＦにより輝度信号から高周波成分を抽出する。フォーカス評価値生成部１４では、この抽出された高周波成分の絶対値をあらかじめ設定された領域内にわたって積分してフォーカス状態を評価する指標となるフォーカス評価値を生成する。このフォーカス評価値は被写体に対してレンズユニット部１のフォーカス位置が合焦位置に近づくほど大きな値となるため、フォーカス制御部１０はフォーカス評価値が極大値をとるようにレンズユニット部１を制御することによりレンズのズーム位置に応じたフォーカス動作を実現している。
【特許文献１】特開２００６−２１５１０５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら上記従来のフォーカス制御装置では、離れた所にある被写体をワイド端で撮像した場合や被写体自身の模様が非常に精細な場合等、撮像した画像に含まれる周波数成分としてナイキスト周波数以上の高周波成分が支配的となるような場合がある。このような場合、合焦状態になっても十分なフォーカス評価値が生成されないため、フォーカスを制御することが困難となる。以下、このことについて図１０を用いて説明する。
【００１１】
図１０は一般的な撮像装置により撮像された画像信号の周波数特性を示す図である。図１０において、（ａ）、（ｂ）および（ｃ）は撮像部１２Ｇ、１２Ｂおよび１２Ｒにより撮像された３チャンネルの画像信号の周波数特性であり、（ｄ）はこの３チャンネルの画像信号を所定の割合で加算することにより生成した輝度信号の周波数特性である。一般的に、被写体を撮像した画像信号に撮像部の駆動周波数ｆｓのナイキスト周波数ｆｓ／２よりも高い周波数成分が含まれる場合、この画像信号をアナログ／デジタル（Ａ／Ｄ）変換する際に撮像部の駆動周波数ｆｓでサンプリングすることにより、ナイキスト周波数以上の信号がナイキスト周波数帯域内に折り返してモアレ成分として信号成分に混入する。
【００１２】
一度このモアレ成分が混入してしまうと後の信号処理では除去できないため、通常はあらかじめナイキスト周波数よりも高い周波数成分を除去するための光学ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）を通して被写体を撮像する。その結果、得られる３チャンネルの画像信号の信号成分は図１０の（ａ）、（ｂ）および（ｃ）に示すように、ナイキスト周波数ｆｓ／２以下の周波数帯域に制限されることになる。従って、この３チャンネルの画像信号から生成した輝度信号の周波数帯域も図１０の（ｄ）に示すように、ナイキスト周波数ｆｓ／２以下の周波数帯域に制限される。当然、高周波成分抽出部１３において、どのようなＨＰＦを選択しようとも、この輝度信号からフォーカス評価値を生成するために抽出される高周波成分はナイキスト周波数以下の周波数成分となる。従って、前述のように撮像した画像に含まれる周波数成分としてナイキスト周波数以上の高周波成分が支配的となるような場合には、合焦状態になっても十分なフォーカス評価値が生成されないため、フォーカスを制御することが困難となる。
【００１３】
このような撮像装置以外に、画像信号の解像感を向上させる手法として空間画素ずらし法を採用した撮像装置があり、この場合には撮像部の駆動周波数ｆｃｃｄに対してナイキスト周波数ｆｃｃｄ／２以上の周波数成分も通過させる光学ＬＰＦを使用する。空間画素ずらし法では、詳細については後述するが、各チャンネル間の空間的な画素位置のずれを補正する処理を行った後のクロック周波数をｆｓとすると、この場合にもナイキスト周波数ｆｓ／２以上の周波数成分が存在するとモアレ成分としてナイキスト周波数帯域内に折り返すため、デジタルフィルタ等によりナイキスト周波数ｆｓ／２以下の周波数帯域に制限する必要がある。したがって、あらかじめナイキスト周波数よりも高い周波数成分を除去するための光学ＬＰＦを通して被写体を撮像する場合と同様に、撮像した画像に含まれる周波数成分としてナイキスト周波数以上の高周波成分が支配的となるような場合には、フォーカスを制御することが困難となる。
【００１４】
本発明は上記従来の問題点を解決するもので、撮像した画像に含まれる周波数成分としてナイキスト周波数以上の高周波成分が支配的となるような場合にも、ナイキスト周波数帯域内に折り返したモアレ成分を被写体に対する合焦度合いの指標として利用することで、処理クロックの周波数を上げることなくナイキスト周波数以上の周波数成分を扱うことができ、有効なフォーカス評価値を得ることが可能なフォーカス制御装置、撮像装置、フォーカス制御方法および集積回路を提供するものである。
【課題を解決するための手段】
【００１５】
本発明の第１の発明にかかるフォーカス制御装置は、被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部とを含む撮像装置に適用されるフォーカス制御装置であって、画素ずれ補正部と、第１信号処理部と、モアレ成分抽出部と、フォーカス評価値生成部と、フォーカス制御部とを備える。画素ずれ補正部は、第１画像信号間における位相のずれを補正して第２画像信号を生成する。第１信号処理部は、第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する。モアレ成分抽出部は、第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制して同ナイキスト周波数帯域内に折り返したモアレ成分を抽出する。フォーカス評価値生成部は、モアレ成分に基づいてフォーカス評価値を算出する。フォーカス制御部は、フォーカス評価値に基づいてレンズユニット部のフォーカス制御を行う。
【００１６】
第１画像信号は、画素ずれ補正部により位相のずれを補正されて第２画像信号が生成され、第２画像信号は、第１信号処理部により第１の所定の周波数成分を抽出されて第３画像信号が生成され、第３画像信号は、モアレ成分抽出部により所定の割合により減算されて、ナイキスト周波数帯域内の信号成分が抑制され同ナイキスト周波数帯域内に折り返したモアレ成分が抽出される。そして、フォーカス評価値生成部により、モアレ成分としてナイキスト周波数帯域内に折り返した、ナイキスト周波数以上の周波数成分からフォーカス評価値が生成され、フォーカス制御部により、そのフォーカス評価値に基づいたフォーカス制御が行われる。
【００１７】
これにより、画像に含まれる周波数成分としてナイキスト周波数以上の高周波成分が支配的となるような場合にも、ナイキスト周波数帯域内に折り返したモアレ成分を被写体に対する合焦度合いの指標として利用することで、処理クロックの周波数を上げることなくナイキスト周波数以上の周波数成分を扱うことができ、有効なフォーカス評価値を得ることが可能となる。
【００１８】
本発明の第２の発明にかかるフォーカス制御装置は、第１の発明のフォーカス制御装置であって、第１の所定の周波数成分は、第２画像信号の全周波数成分または一部の周波数成分である。
【００１９】
本発明の第３の発明にかかるフォーカス制御装置は、第１または第２の発明のフォーカス制御装置であって、第１信号処理部は、各第２画像信号から低周波成分を抽出し、同低周波成分の振幅レベルがほぼ等しくなるように所定の割合を決定し、モアレ成分抽出部は、同所定の割合により第３画像信号間において減算を行う。
【００２０】
ここで、所定の割合とは、例えば、第１信号処理部によって行われる、各画像信号の信号成分のレベルが等しくなるようなゲイン調整の割合をいう。撮像する被写体が有彩色である場合には、Ｇチャンネル、ＢチャンネルおよびＲチャンネルの撮像部が出力する各画像信号は信号成分のバランスが崩れたものになる。そこで、第１信号処理部によって各々の信号成分のレベルが等しくなるように調整を行うことで、撮像する被写体が有彩色である場合でもモアレ成分抽出部での減算による信号成分の抑制が可能となり、また無彩色であっても信号成分の抑制効果をより高めることができる。
【００２１】
本発明の第４の発明にかかるフォーカス制御装置は、第１から第３の発明のいずれかのフォーカス制御装置であって、モアレ成分から第２の所定の周波数成分を抽出する第２信号処理部を更に備え、フォーカス評価値生成部は、第２の所定の周波数成分の少なくとも一部を積分してフォーカス評価値を生成する。
【００２２】
本発明の第５の発明にかかるフォーカス制御装置は、第４の発明のフォーカス制御装置であって、モアレ成分から抽出する第２の所定の周波数成分は、モアレ成分の全周波数成分または一部の周波数成分である。
【００２３】
本発明の第６の発明にかかるフォーカス制御装置は、被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部とを含む撮像装置に適用されるフォーカス制御装置であって、画素ずれ補正部と、第１信号処理部と、モアレ成分抽出部と、信号成分抽出部と、フォーカス評価値生成部と、フォーカス制御部とを備える。画素ずれ補正部は、第１画像信号間における位相のずれを補正して第２画像信号を生成する。第１信号処理部は、第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する。モアレ成分抽出部は、第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制して同ナイキスト周波数帯域内に折り返したモアレ成分を抽出する。信号成分抽出部は、第３画像信号間において加算を行うことにより、ナイキスト周波数帯域内に折り返したモアレ成分を抑制して所定の信号成分を抽出する。フォーカス評価値生成部は、抽出したモアレ成分および抽出した所定の信号成分の少なくとも一方からフォーカス評価値を算出する。フォーカス制御部は、フォーカス評価値に基づいてレンズユニット部のフォーカス制御を行う。
【００２４】
これにより、ナイキスト周波数帯域内に折り返したモアレ成分を利用することで、処理クロックの周波数を上げることなくナイキスト周波数以上の周波数成分を扱うことができるとともに、ナイキスト周波数帯域内の信号成分とモアレ成分の発生量のいずれかまたは両方を使用して被写体に対する合焦度合いの指標とできるため、撮像した画像に含まれる周波数成分としてナイキスト周波数以下の周波数成分、およびナイキスト周波数以上の高周波成分のいずれが支配的となっても、有効なフォーカス評価値を得ることが可能となる。
【００２５】
本発明の第７の発明にかかるフォーカス制御装置は、第６の発明のフォーカス制御装置であって、第１の所定の周波数成分は、第２画像信号の全周波数成分または一部の周波数成分である。
【００２６】
本発明の第８の発明にかかるフォーカス制御装置は、第６または第７の発明のフォーカス制御装置であって、第１信号処理部は、各第２画像信号から低周波成分を抽出し、低周波成分の振幅レベルがほぼ等しくなるように所定の割合を決定し、モアレ成分抽出部は、同所定の割合により第３画像信号間において減算を行い、信号成分抽出部は、同所定の割合により第３画像信号間において加算を行う。
【００２７】
本発明の第９の発明にかかるフォーカス制御装置は、第６から第８の発明のいずれかのフォーカス制御装置であって、モアレ成分および所定の信号成分の一方または両方から第２の所定の周波数成分を抽出する第２信号処理部を更に備え、フォーカス評価値生成部は、同第２の所定の周波数成分の少なくとも一部を積分してフォーカス評価値を生成する。
【００２８】
本発明の第１０の発明にかかるフォーカス制御装置は、第９の発明のフォーカス制御装置であって、モアレ成分および所定の信号成分から抽出する第２の所定の周波数成分は、モアレ成分および所定の信号成分の全周波数成分または一部の周波数成分である。
【００２９】
本発明の第１１の発明にかかるフォーカス制御装置は、第６から第１０の発明のいずれかのフォーカス制御装置であって、レンズユニットのズーム位置および算出したフォーカス評価値のうち少なくとも一方によりモアレ成分および所定の信号成分の一方または両方を選択する選択部を更に備える。
【００３０】
本発明の第１２の発明にかかるフォーカス制御装置は、第９または１０の発明のフォーカス制御装置であって、第２信号処理部はフィルタを有し、同フィルタは、モアレ成分および所定の信号成分の双方について第２の所定の周波数成分を抽出する共通のフィルタである。
【００３１】
本発明の第１３の発明にかかる撮像装置は、第１または第６の発明のフォーカス制御装置を備える。
【００３２】
これにより、第１の発明または第６の発明と同様の効果を奏するフォーカス制御装置を備えた撮像装置を実現できる。
【００３３】
本発明の第１４の発明にかかるフォーカス制御方法は、被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部とを含む撮像装置に適用されるフォーカス制御方法であって、画素ずれ補正ステップと、信号処理ステップと、モアレ成分抽出ステップと、フォーカス評価値生成ステップと、フォーカス制御ステップとを備える。画素ずれ補正ステップにおいては、第１画像信号間における位相のずれを補正して第２画像信号を生成する。信号処理ステップにおいては、第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する。モアレ成分抽出ステップにおいては、第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制してナイキスト周波数帯域内で折り返したモアレ成分を抽出する。フォーカス評価値生成ステップにおいては、モアレ成分に基づいてフォーカス評価値を算出する。フォーカス制御ステップにおいては、フォーカス評価値に基づいてレンズユニット部のフォーカス制御を行う。
【００３４】
これにより、第１の発明と同様の効果を奏するフォーカス制御方法を実現できる。
【００３５】
本発明の第１５の発明にかかるフォーカス制御方法は、被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部とを含む撮像装置に適用されるフォーカス制御方法であって、画素ずれ補正ステップと、信号処理ステップと、モアレ成分抽出ステップと、信号成分抽出ステップと、フォーカス評価値生成ステップと、フォーカス制御ステップとを備える。画素ずれ補正ステップにおいては、第１画像信号間における位相のずれを補正して第２画像信号を生成する。信号処理ステップにおいては、第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する。モアレ成分抽出ステップにおいては、第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制して同ナイキスト周波数帯域内に折り返したモアレ成分を抽出する。信号成分抽出ステップにおいては、第３画像信号間において加算を行うことにより、ナイキスト周波数帯域内に折り返したモアレ成分を抑制して所定の信号成分を抽出する。フォーカス評価値生成ステップにおいては、抽出したモアレ成分および抽出した所定の信号成分の少なくとも一方からフォーカス評価値を算出する。フォーカス制御ステップにおいては、フォーカス評価値に基づいてレンズユニット部のフォーカス制御を行う。
【００３６】
これにより、第６の発明と同様の効果を奏するフォーカス制御方法を実現できる。
【００３７】
本発明の第１６の発明にかかる集積回路は、被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部と、フォーカス評価値に基づいてレンズユニット部のフォーカス制御を行うフォーカス制御部とを含む撮像装置に適用される集積回路であって、画素ずれ補正部と、信号処理部と、モアレ成分抽出部と、フォーカス評価値生成部とを備える。画素ずれ補正部は、第１画像信号間における位相のずれを補正して第２画像信号を生成する。信号処理部は、第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する。モアレ成分抽出部は、第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制して同ナイキスト周波数帯域内に折り返したモアレ成分を抽出する。フォーカス評価値生成部は、モアレ成分に基づいてフォーカス評価値を算出する。
【００３８】
これにより、第１の発明と同様の効果を奏する集積回路を実現できる。
【００３９】
本発明の第１７の発明にかかる集積回路は、被写体からの光を集光し、フォーカス制御可能な構成を有するレンズユニット部と、水平および垂直方向の少なくとも一方向に画素ピッチのほぼ半分だけ互いにずらして配置され、第１画像信号をそれぞれ出力する複数の撮像部と、フォーカス評価値に基づいてレンズユニット部のフォーカス制御を行うフォーカス制御部とを含む撮像装置に適用される集積回路であって、画素ずれ補正部と、信号処理部と、モアレ成分抽出部と、信号成分抽出部と、フォーカス評価値生成部とを備える。画素ずれ補正部は、第１画像信号間における位相のずれを補正して第２画像信号を生成する。信号処理部は、第２画像信号から第１の所定の周波数成分を抽出して第３画像信号を生成する。モアレ成分抽出部は、第３画像信号間において減算を行うことにより、ナイキスト周波数帯域内の信号成分を抑制して同ナイキスト周波数帯域内に折り返したモアレ成分を抽出する。信号成分抽出部は、第３画像信号間において加算を行うことにより、ナイキスト周波数帯域内に折り返したモアレ成分を抑制して所定の信号成分を抽出する。フォーカス評価値生成部は、抽出したモアレ成分および抽出した所定の信号成分の少なくとも一方からフォーカス評価値を算出する。
【００４０】
これにより、第６の発明と同様の効果を奏する集積回路を実現できる。
【発明の効果】
【００４１】
本発明は上記方法により、撮像した画像に含まれる周波数成分としてナイキスト周波数以上の高周波成分が支配的となるような場合にも、ナイキスト周波数帯域内に折り返したモアレ成分を被写体に対する合焦度合いの指標として利用することで、処理クロックの周波数を上げることなくナイキスト周波数以上の周波数成分を扱うことができ、有効なフォーカス評価値を得ることが可能となる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明の実施の形態について、図１、図２、図３、図４、図５および図６を用いて説明する。
（実施の形態１）
＜１．１：フォーカス制御装置の構成＞
図１は、本発明の実施の形態１のフォーカス制御装置１００の概略構成を示す図である。
【００４３】
図１に示すフォーカス制御装置１００は、レンズユニット部１と、撮像部２Ｇ、２Ｂ、２Ｒと、画素ずれ補正部３と、第１フィルタ処理部４と、ゲイン調整部５と、モアレ成分抽出部６と、第２フィルタ処理部８と、フォーカス評価値生成部９と、フォーカス制御部１０とを有する。なお、このフォーカス制御装置１００は、撮像装置の一部を構成する。
【００４４】
レンズユニット部１は、複数のレンズから構成され、被写体からの光を集光し、レンズを移動させること等で被写体からの光束（以下、単に光と称する）について焦点距離を調整する、つまり、被写体に対するズームおよびフォーカス制御可能な構成を有する。レンズユニット部１は、集光した被写体からの光を撮像部２Ｇ、２Ｂ、２Ｒに出力する。なお、レンズユニット部１もしくは撮像部２Ｇ、２Ｂ、２Ｒには、撮像部２Ｇ、２Ｂ、２Ｒの駆動周波数のナイキスト周波数以上の周波数成分を含む光を通過させる光学ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）が含まれる。
【００４５】
撮像部２Ｇ、２Ｂ、２Ｒは、ＣＣＤやＣＭＯＳ等の撮像素子を含み、レンズユニット部１から出力された光を入力とし、レンズユニット部１から出力された光を光電変換により電気信号に変換し、変換した電気信号Ｇ０、Ｂ０、Ｒ０を画素ずれ補正部３に出力する。撮像部２Ｇ、２Ｂ、２Ｒは、図２等に示すように、レンズユニット部１を通して被写体を撮像する画素位置をずらすようにして配置されている。
【００４６】
画素ずれ補正部３は、撮像部２Ｇ、２Ｂおよび２Ｒより入力される電気信号Ｇ０、Ｂ０、Ｒ０の間の画素位置のずれ、すなわち位相のずれを後述するような方法で補正し、各チャンネルの画像信号Ｇ１、Ｂ１、Ｒ１を出力する。なお、本実施の形態においては、画素ずれ補正部３以降の処理はデジタル処理となる。
【００４７】
第１フィルタ処理部４は、第１信号処理部の一部として、画素ずれ補正部３が出力する各チャンネルの画像信号Ｇ１、Ｂ１、Ｒ１の各々から第１の所定の周波数成分を抽出して画像信号Ｇ２、Ｂ２、Ｒ２を出力する。また、第１フィルタ処理部４は、後述のゲイン調整部５で用いるための低域の周波数成分からなる信号ＧＬ２、ＢＬ２、ＲＬ２も出力する。なお、第１フィルタ処理部４により出力される信号Ｇ２、Ｂ２、Ｒ２は、一部の周波数成分に限定されるわけでなく、すべての周波数成分を含むものであってもよい。ここで、全周波数成分とは、画像信号Ｇ１、Ｂ１、Ｒ１に含まれるすべての周波数をいう。
【００４８】
ゲイン調整部５は、第１信号処理部の一部として、第１フィルタ処理部４の出力である画像信号の低周波数成分の比に応じてゲイン調整し、各チャンネルの画像信号Ｇ３、Ｂ３、Ｒ３を生成する。図６を参照しながら後述するように、撮像する被写体が有彩色である場合にはＧチャンネル、ＢチャンネルおよびＲチャンネルの撮像部２Ｇ、２Ｂおよび２Ｒが出力する画像信号がバランスの崩れたものになる。よって、撮像する被写体が有彩色である場合や、無彩色であっても信号成分の抑制効果をより高めたい場合には、ゲイン調整部５によって各々の信号成分のレベルが等しくなるようにゲイン調整を行う。
【００４９】
モアレ成分抽出部６は、ゲイン調整部５において生成された各チャンネルの画像信号Ｇ３、Ｂ３、Ｒ３からモアレ成分Ｍ４を抽出し（図６（ｃ））、出力する。
【００５０】
第２フィルタ処理部８は、第２信号処理部の一部として、モアレ成分抽出部６において抽出し出力されたモアレ成分Ｍ４から第２の所定の周波数成分を抽出し、モアレ成分Ｍ５を出力する。第２の所定の周波数成分を抽出するとは、例えば、すべての周波数成分の抽出であってもよいし、図５（ｃ）に示すような一部のモアレ成分の抽出であってもよい。
【００５１】
フォーカス評価値生成部９は、例えば、画面内においてフォーカス状態を評価するために決められる一定の領域内で、モアレ成分Ｍ５の第２の所定の周波数成分の絶対値を積分してフォーカス評価値を生成し、フォーカス制御部１０へ出力する。なお、同領域内におけるすべてのモアレ成分よりフォーカス評価値を生成してもよいし、処理量を節減するためその一部（例えば、間引いて抽出したもの）よりフォーカス評価値を生成してもよい。
【００５２】
フォーカス制御部１０は、入力されたフォーカス評価値によりフォーカス状態を判定し、レンズユニット部１へフォーカス制御信号を出力する。レンズユニット部１は、入力されたフォーカス制御信号に応じて、レンズを移動させること等で被写体からの光について焦点距離を調整する。
＜１．２：フォーカス制御装置の動作＞
以下、本発明の実施の形態１のフォーカス制御装置の動作について説明する。
【００５３】
被写体からの光は、レンズユニット部１において集光され、撮像部２Ｇ、２Ｂ、２Ｒに入力される。撮像部２Ｇ、２Ｂ、２Ｒに入力された光は、光電変換により電気信号に変換され、電気信号Ｇ０、Ｂ０、Ｒ０として画素ずれ補正部３へ出力される。画素ずれ補正部３に入力された信号Ｇ０、Ｂ０、Ｒ０は、後述するような方法で画素位置のずれ、すなわち位相のずれを補正され、チャンネルの画像信号Ｇ１、Ｂ１、Ｒ１として第１フィルタ処理部４へ出力される。第１フィルタ処理部４に入力された信号Ｇ１、Ｂ１、Ｒ１は、第１の所定の周波数成分を抽出され、画像信号Ｇ２、Ｂ２、Ｒ２としてゲイン調整部５へ出力される。また、第１フィルタ処理部４に入力された信号Ｇ１、Ｂ１、Ｒ１は、ゲイン調整部５で用いるための低域の周波数成分を抽出され、低域の周波数成分信号ＧＬ２、ＢＬ２、ＲＬ２として出力される。ゲイン調整部５に入力された信号Ｇ２、Ｂ２、Ｒ２は、低域の周波数成分ＧＬ２、ＢＬ２、ＲＬ２等に基づいてゲイン調整されて画像信号Ｇ３，Ｂ３，Ｒ３としてモアレ抽出部６へ出力される。モアレ抽出部６に入力された画像信号Ｇ３，Ｂ３，Ｒ３は、モアレ成分Ｍ４を抽出され、第２フィルタ処理部８へ出力される。第２フィルタ処理部８へ入力されたモアレ成分Ｍ４は、第２の所定の周波数成分を抽出され、モアレ成分Ｍ５としてフォーカス評価値生成部９へ出力される。
【００５４】
フォーカス評価値生成部９においては、このように抽出したモアレ成分の一部の周波数成分の絶対値を、フォーカス状態を評価したい領域内にわたって積分することでフォーカス評価値を生成する。この場合、全ての絶対値ではなく、間引くことによってデータ数を削減して一部のみを積分することでフォーカス評価値を生成してもよい。このようにして生成されたフォーカス評価値はフォーカス制御部１０へ出力される。そして、フォーカス制御部１０ではこのフォーカス評価値が極大値となるようにレンズユニット部１を制御することで合焦動作を実現する。
【００５５】
本発明の実施の形態１のフォーカス制御装置１００では空間画素ずらし法が採用されている。図２（ａ）および図３（ａ）に示すように、ＢチャンネルおよびＲチャンネルの撮像部２Ｂおよび２Ｒは、Ｇチャンネルの撮像部２Ｇに対して画素ピッチの１／２だけ水平方向に空間的にずらして配置されている。従って、各チャンネルの撮像部２Ｇ、２Ｂおよび２Ｒからは撮像部の駆動周波数をｆｃｃｄとすると、１／（２ｆｃｃｄ）だけ位相のずれた画像信号が出力される。この各チャンネル間の位相のずれを画素ずれ補正部３により補正する。
【００５６】
この画素ずれの補正方法としては、撮像装置によって様々な方法が考えられる。例えば、図２に示すようにＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）カメラのような場合には、撮像部から出力される各チャンネルの画像信号に、撮像部の駆動周波数ｆｃｃｄ（例えば、７４ＭＨｚ）と同じ周波数の処理クロックｆｓで動作するデジタルフィルタ等により補間処理を行い、図２（ｂ）に示すようにＧチャンネルと同じ位相のＢチャンネルおよびＲチャンネルの画像信号を生成する。一方、図３に示すようにＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）カメラのような場合には、撮像部の駆動周波数ｆｃｃｄ（例えば、１８ＭＨｚ）の２倍の周波数の処理クロックｆｓで画素ずれの補正が行われる。この場合、２つの方法が考えられる。１つ目は撮像部から出力される各チャンネルの画像信号にＧチャンネルとＢチャンネルおよびＲチャンネルとで互いに１／（２ｆｃｃｄ）だけ位相のずれた位置に０挿入をした後に、上述と同様に処理クロックｆｓで動作するデジタルフィルタ等により補間処理を行う方法である。２つ目は零次ホールドにより処理クロックｆｓで補間処理を行う方法である。いずれも図３（ｂ）に示すように各チャンネル同じ位相の画像信号を生成する。
【００５７】
空間画素ずらし法が採用された撮像装置で使用される光学ＬＰＦ（図示省略）は、ナイキスト周波数ｆｃｃｄ／２以上の周波数成分も通過させる。よって、そのような周波数成分を含んだ被写体を撮像した場合、Ｇチャンネル、ＢチャンネルおよびＲチャンネルの撮像部２Ｇ、２Ｂおよび２Ｒが出力する画像信号Ｇ０、Ｂ０、Ｒ０は、図４（ａ）および（ｂ）に示すように、ナイキスト周波数ｆｃｃｄ／２以上の周波数成分がモアレ成分としてナイキスト周波数ｆｃｃｄ／２以下の周波数帯域に折り返した周波数特性を有する。ここで、上述したように、ＢチャンネルおよびＲチャンネルの撮像部２Ｂおよび２Ｒは、Ｇチャンネルの撮像部２Ｇに対して画素ピッチの１／２だけ水平方向に空間的にずらして配置されている。従って、ＢチャンネルおよびＲチャンネルのモアレ成分は、図４（ｂ）に示すように、Ｇチャンネルのモアレ成分に対して位相が１８０°反転したモアレ成分となる。空間画素ずらし法では解像感を向上させるため、例えばＧチャンネル、ＢチャンネルおよびＲチャンネルの画像信号は、それぞれ高周波成分と低周波成分とに分離され、Ｇチャンネルの高周波成分と、ＢチャンネルおよびＲチャンネルの高周波成分とを加算したものを加算平均することにより、互いに位相が反転しているモアレ成分を抑制した高周波成分を抽出することができる。これを各チャンネル共通の高周波成分として各々の低周波成分に加算して、図４（ｄ）に示すように、モアレ成分を抑制した画像信号が得られる。なお、このモアレ成分を抑制した画像信号の抽出は、撮像装置の一部である所定の信号成分抽出部（図示省略）で行われる。
【００５８】
本発明の実施の形態１のフォーカス制御装置１００では、これとは逆に、モアレ成分抽出部６により、例えばＧチャンネルの画像信号からＢチャンネルおよびＲチャンネルの画像信号を加算したものを減算することにより、図４（ｃ）に示すように、互いに同相の信号成分を抑制して逆相のモアレ成分を抽出する。
【００５９】
この際、撮像する被写体が無彩色である場合には、Ｇチャンネルの画像信号とＢチャンネルおよびＲチャンネルの画像信号を加算したものとは、厳密には同じ大きさの信号レベルではないものの比較的近い大きさとなっている。よって、そのままの割合で減算してもある程度の信号成分の抑制効果を得ることができる。しかしながら、撮像する被写体が有彩色である場合にはＧチャンネル、ＢチャンネルおよびＲチャンネルの撮像部２Ｇ、２Ｂおよび２Ｒが出力する画像信号は図６（ａ）および（ｂ）に示すようにバランスの崩れたものになる。そこで、撮像する被写体が有彩色である場合や、無彩色であっても信号成分の抑制効果をより高めたい場合には、ゲイン調整部５によって各々の信号成分のレベルが等しくなるようにゲイン調整を行う。なお、このゲイン調整においては、Ｇチャンネルの画像信号に対する、ＢチャンネルおよびＲチャンネルの画像信号の加算したものの平均値との関係を用いてもよいし、ＢチャンネルもくしはＲチャンネルのいずれか一方の画像信号との関係を用いてもよい。
【００６０】
その方法として、画像信号の低周波成分と高周波成分の信号レベルには相関性があることを前提として、次のような方法がある。例えば、第１フィルタ処理部４において図６（ａ）および（ｂ）に斜線で示すように各チャンネルの低周波成分を抽出してＧチャンネルの低周波成分の信号レベルをｇ、Ｂチャンネルの低周波成分とＲチャンネルの低周波成分を加算した信号レベルをｂｒとすると、ゲイン調整部５ではＢチャンネルおよびＲチャンネルの画像信号を加算したものをｇ／ｂｒ倍して、モアレ成分抽出部６においてＧチャンネルの画像信号から減算することにより、図６（ｃ）に示すように、互いに同相の信号成分を大幅に抑制して逆相のモアレ成分を抽出する。
＜１．３：その他＞
本実施の形態においては、第２フィルタ処理部８により、モアレ成分の一部の周波数成分のみに絞って使用することで合焦したい被写体の周波数成分を絞っていたが、一部の周波数成分に絞らず、モアレ成分の全周波数成分を使用するようにしても良い。
【００６１】
また、この第２フィルタ処理部８で行ったモアレ成分の周波数帯域の制限は、第１フィルタ処理部４で行うようにしても良い。すなわち第１フィルタ処理部４において減算に使用する画像信号の周波数成分をあらかじめ図５（ａ）および（ｂ）の斜線で示した部分を抽出しておけば第２フィルタ処理部８がなくても、図５（ｃ）に示すモアレ成分を抽出することができる。
【００６２】
また、本実施の形態においては、ＢチャンネルおよびＲチャンネルの撮像部２Ｂおよび２ＲをＧチャンネルの撮像部２Ｇに対して画素ピッチの１／２だけ水平方向に空間的にずらして配置した場合について説明したが、垂直方向に空間的にずらして配置して、上述の水平方向の各クロック周波数を垂直方向のクロック周波数すなわちライン周波数に置き換えて処理しても良い。また、水平方向および垂直方向の両方にそれぞれ画素ピッチの１／２だけ空間的にずらして配置して同様に処理しても良い。
【００６３】
本実施の形態においては、Ｇチャンネル、ＢチャンネルおよびＲチャンネルのそれぞれ異なる色信号用の撮像部が出力する画像信号を使用したが、代わりに例えば、水平方向および垂直方向の少なくとも一方向に画素ピッチの１／２だけ空間的にずらして配置した２個の同じ色信号用の撮像部を設け（例えば、４板式撮像部を用いて２Ｇを二つ設け、ずらして配置する）、それぞれが出力する画像信号を使用しても良い。この場合に、同２個の撮像部が受光する光量を等しくしておいて減算するか、または受光した光量に応じた割合で減算をすれば、ゲイン調整部５は不要であり、また減算により信号成分をほぼ完全に除去することが可能となる。なお、Ｇチャンネル、ＢチャンネルおよびＲチャンネルを二つずつ設けた６板式撮像部を用いてもよい。この場合、Ｇ，Ｂ，Ｒのそれぞれの第１の撮像部に対して第２の撮像部を水平方向および垂直方向の少なくとも一方向に画素ピッチの１／２だけ空間的にずらして配置する。このような構成とすることにより、被写体がどのような色であってもより確実にフォーカス評価値を得ることができる。
＜１．３：フォーカス制御装置の特徴＞
以上のように本実施の形態１によれば、ナイキスト周波数帯域内に折り返したモアレ成分を利用することで、処理クロックの周波数を上げることなくナイキスト周波数以上の周波数成分を扱うことができ、モアレ成分の発生量を被写体に対する合焦度合いの指標とするので、撮像した画像に含まれる周波数成分としてナイキスト周波数以上の高周波成分が支配的となるような場合にも、有効なフォーカス評価値を得ることが可能なフォーカス制御装置等を提供することができる。
（実施の形態２）
＜２．１：フォーカス制御装置の構成＞
図７は、本発明の実施の形態２のフォーカス制御装置２００の概略構成を示す図である。フォーカス制御装置２００はフォーカス評価値生成に使用するための信号成分抽出部７とズーム位置検出部１１とを備えることを除いては、図１の実施の形態１のフォーカス制御装置１００と、同様の構成を有する。
【００６４】
図７に示すフォーカス制御装置２００は、レンズユニット部１と、撮像部２Ｇ、２Ｂ、２Ｒと、画素ずれ補正部３と、第１フィルタ処理部４と、ゲイン調整部５と、モアレ成分抽出部６と、信号成分抽出部７と、第２フィルタ処理部８と、フォーカス評価値生成部９と、フォーカス制御部１０と、ズーム位置検出部１１とを有する。
【００６５】
レンズユニット部１は、複数のレンズから構成され、被写体からの光を集光し、レンズを移動させること等で被写体からの光束（以下、単に光と称する）について焦点距離を調整する、つまり、被写体に対するズームおよびフォーカス制御可能な構成を有する。レンズユニット部１は、集光した被写体からの光を撮像部２Ｇ、２Ｂ、２Ｒに出力する。なお、レンズユニット部１もしくは撮像部２Ｇ、２Ｂ、２Ｒには、撮像部２Ｇ、２Ｂ、２Ｒの駆動周波数のナイキスト周波数以上の周波数成分を含む光を通過させる光学ＬＰＦが含まれる。
【００６６】
撮像部２Ｇ、２Ｂ、２Ｒは、ＣＣＤやＣＭＯＳ等の撮像素子を含み、レンズユニット部１から出力された光を入力とし、レンズユニット部１から出力された光を光電変換により電気信号に変換し、変換した電気信号Ｇ０、Ｂ０、Ｒ０を画素ずれ補正部３に出力する。撮像部２Ｇ、２Ｂ、２Ｒは、図２等に示すように、レンズユニット部１を通して被写体を撮像する画素位置をずらすようにして配置されている。
【００６７】
画素ずれ補正部３は、撮像部２Ｇ、２Ｂおよび２Ｒより入力される電気信号Ｇ０、Ｂ０、Ｒ０間の画素位置のずれ、すなわち位相のずれを実施の形態１と同様の方法で補正し、各チャンネルの画像信号Ｇ１、Ｂ１、Ｒ１を出力する。なお、本実施の形態においては、画素ずれ補正部３以降の処理はデジタル処理となる。
【００６８】
第１フィルタ処理部４は、第１信号処理部の一部として、画素ずれ補正部３が出力する各チャンネルの画像信号Ｇ１、Ｂ１、Ｒ１の各々から第１の所定の周波数成分を抽出して画像信号Ｇ２、Ｂ２、Ｒ２を出力する。また、第１フィルタ処理部４は、後述のゲイン調整部５で用いるための低域の周波数成分からなる画像信号ＧＬ２、ＢＬ２、ＲＬ２も出力する。なお、第１フィルタ処理部４により出力される画像信号Ｇ２、Ｂ２、Ｒ２は、一部の周波数成分に限定されるわけでなく、上記実施の形態１と同様にすべての周波数成分を含むものであってもよい。
【００６９】
ゲイン調整部５は、第１信号処理部の一部として、第１フィルタ処理部４の出力である画像信号の低周波数成分の比に応じてゲイン調整し、各チャンネルの画像信号Ｇ３、Ｂ３、Ｒ３を生成する。実施の形態１で既述したように、撮像する被写体が有彩色である場合にはＧチャンネル、ＢチャンネルおよびＲチャンネルの撮像部２Ｇ、２Ｂおよび２Ｒが出力する画像信号がバランスの崩れたものになる。よって、撮像する被写体が有彩色である場合や、無彩色であっても信号成分の抑制効果をより高めたい場合には、ゲイン調整部５によって各々の信号成分のレベルが等しくなるようにゲイン調整を行う。
【００７０】
モアレ成分抽出部６は、ゲイン調整部５において生成された各チャンネルの画像信号Ｇ３、Ｂ３、Ｒ３からモアレ成分Ｍ４を抽出し（図６（ｃ））、出力する。
【００７１】
信号成分抽出部７は、例えばＧチャンネルの画像信号とＢチャンネルおよびＲチャンネルの画像信号を加算したものとを加算することにより、図４（ｄ）に示すように、互いに逆相のモアレ成分を抑制して同相の信号成分Ｓ４を抽出する。なお、このような信号成分抽出は、撮像装置においては解像感向上を目的とする信号処理のために行われることであるが、本実施の形態２においては、この信号成分をフォーカス評価値の生成のために用いる点において特徴がある。
【００７２】
第２フィルタ処理部８は、第２信号処理部の一部として、モアレ成分抽出部６において抽出し出力されたモアレ成分Ｍ４から第２の所定の周波数成分を抽出し、モアレ成分Ｍ５を出力する。第２の所定の周波数成分を抽出するとは、例えば、すべての周波数成分の抽出であってもよいし、図５（ｃ）に示すような一部のモアレ成分の抽出であってもよい。第２フィルタ処理部８はまた、第２信号処理部の一部として、信号成分抽出部７において抽出し出力された信号成分Ｓ４から第２の所定の周波数成分を抽出し、信号成分Ｓ５を出力する。第２の所定の周波数成分を抽出するとは、例えば、すべての周波数成分の抽出であってもよいし、図５（ｄ）に示すような一部の周波数成分の抽出であってもよい。また、モアレ成分Ｍ５と信号成分Ｓ５の抽出には同じ特性のフィルタを使用してもよいし、異なる特性のフィルタを使用してもよい。
【００７３】
フォーカス評価値生成部９は、例えば、画面内においてフォーカス状態を評価するために決められる一定の領域内で、モアレ成分Ｍ５および信号成分Ｓ５の一方または両方の第２の所定の周波数成分の絶対値を積分してフォーカス評価値を生成し、フォーカス制御部１０へ出力する。なお、同領域内におけるモアレ成分Ｍ５および信号成分Ｓ５のすべての周波数成分に対してフォーカス評価値を生成してもよいし、処理量を節減するためにその一部（例えば、間引いて抽出したもの）のみに対してフォーカス評価値を生成してもよい。
【００７４】
フォーカス制御部１０は、入力されたフォーカス評価値によりフォーカス状態を判定し、レンズユニット部１へフォーカス制御信号を出力する。レンズユニット部１は、入力されたフォーカス制御信号に応じて、レンズを移動させること等で被写体からの光について焦点距離を調整する。
【００７５】
ズーム位置検出部１１は、レンズユニット部１より出力されたズーム位置信号（Ｚ位置信号）を受けズーム位置を検出し、ズーム位置検出信号（Ｚ位置検出信号）を第１フィルタ処理部４、第２フィルタ処理部８およびフォーカス評価値生成部９の少なくとも一つに出力する。
＜２．２：フォーカス制御装置の動作＞
以下、本発明の実施の形態２のフォーカス制御装置２００の動作について説明する。
【００７６】
本発明の実施の形態２のフォーカス制御装置２００でも空間画素ずらし法が採用されており、各チャンネルの撮像部２Ｇ、２Ｂおよび２Ｒからは撮像部の駆動周波数をｆｃｃｄとすると、１／２ｆｃｃｄだけ位相のずれた画像信号が出力され、この各チャンネル間の位相のずれを画素ずれ補正部３により補正する。
【００７７】
実施の形態１と同様に、レンズユニット部１もしくは撮像部２Ｇ、２Ｂ、２Ｒに設けられた光学ＬＰＦは、ナイキスト周波数ｆｃｃｄ／２以上の周波数成分も通過させる。そのような周波数成分を含んだ被写体を撮像した場合、撮像部２Ｇ、２Ｂおよび２Ｒが出力する画像信号は、図４（ａ）および（ｂ）に示すような周波数特性を有する。そして画素ずれ補正部３、第１フィルタ処理部４、ゲイン調整部５およびモアレ成分抽出部６も実施の形態１と同様に動作する。
【００７８】
信号成分抽出部７では、例えばＧチャンネルの画像信号とＢチャンネルおよびＲチャンネルの画像信号とを加算したものを加算することにより、図４（ｄ）に示すように、互いに逆相のモアレ成分を抑制して同相の信号成分を抽出する。
【００７９】
フォーカス評価値を生成する場合には、モアレ成分抽出部６が抽出したモアレ成分と信号成分抽出部７が抽出した信号成分のうち選択によりいずれか一方を使用しても、両方を使用しても良い。また、抽出したモアレ成分および信号成分の全周波数成分を使用しても良い。さらに、第２フィルタ処理部８で一部の周波数成分のみを抽出することにより合焦したい被写体の周波数成分を絞っても良い。例えば、第２フィルタ処理部８により、図５（ａ）および（ｂ）の斜線で示した部分を取り出してモアレ成分の図５（ｃ）に示す部分、および信号成分の図５（ｄ）に示す部分を使用しても良い。
【００８０】
なお、この第２フィルタ処理部８で行ったモアレ成分の周波数成分の制限は、第１フィルタ処理部４で行うこともできる。すなわち第１フィルタ処理部４において減算に使用する画像信号の周波数成分をあらかじめ図５（ａ）および（ｂ）の斜線で示した部分を抽出しておけば、第２フィルタ処理部８がなくても図５（ｃ）に示すモアレ成分および図５（ｄ）に示す信号成分を抽出することができる。フォーカス評価値生成部９は、このように抽出したモアレ成分および信号成分の全周波数成分または一部の周波数成分の絶対値を、フォーカス状態を評価したい領域内にわたって積分することでフォーカス評価値を生成する。この場合、全ての絶対値ではなく、間引くことによってデータ数を削減して一部のみを積分することでフォーカス評価値を生成してもよい。そして、フォーカス制御部１０ではこのフォーカス評価値が極大値となるようにレンズユニット部１を制御することで合焦動作を実現する。
【００８１】
ここで第１フィルタ処理部４、第２フィルタ処理部８またはフォーカス評価値生成部９では、モアレ成分および信号成分のどちらを選択するか、また両方を使用するかを判定・選択する選択部を設けても良い。この選択は、図７に示すようにズーム位置検出部１１により検出されたレンズユニット部１のズーム位置、または生成したフォーカス評価値を分析した結果等に基づいて行われる。例えば、レンズユニット部１がテレ（Ｔｅｌｅ）側（望遠側）にある場合には、得られる画像信号の周波数は比較的低く、ナイキスト周波数以下が支配的であると判断して信号成分からフォーカス評価値を生成する。一方、レンズユニット部１がワイド（Ｗｉｄｅ）側（広角側）にある場合には、得られる画像信号の周波数は比較的高く、ナイキスト周波数以上が支配的であると判断してモアレ成分からフォーカス評価値を生成する。あるいは、常に信号成分とモアレ成分との両方または一方からフォーカス評価値をそれぞれ生成して使用しても良い。また信号成分から生成したフォーカス評価値として十分なレベルが得られない場合には、モアレ成分からフォーカス評価値を生成し、逆にモアレ成分から生成したフォーカス評価値として十分なレベルが得られない場合には、信号成分からフォーカス評価値を生成するようにしてもよい。
【００８２】
以上のように、信号成分とモアレ成分のいずれかを選択してフィルタ処理を行うということにより、第１フィルタ処理部４や第２フィルタ処理部８において使用するフィルタ特性は同じでも、すなわち共通のフィルタを使用しても抽出される周波数成分は２通り選択されることになるため、フィルタ特性を変更するのと同等の効果が得られるという利点もある。また、フィルタの特性は１種類に限定されず、複数の種類のフィルタを用いてもよい。例えば、２種類のフィルタを使用する場合、各フィルタで信号成分とモアレ成分の周波数成分をそれぞれ抽出するため、合わせて４種類の周波数成分を抽出することが可能となる。
【００８３】
なお、ここではＢチャンネルおよびＲチャンネルの撮像部２Ｂおよび２ＲをＧチャンネルの撮像部２Ｇに対して画素ピッチの１／２だけ水平方向に空間的にずらして配置した場合について説明したが、垂直方向に空間的にずらして配置して、上述の水平方向の各クロック周波数を垂直方向のクロック周波数すなわちライン周波数に置き換えて処理しても良いし、水平方向および垂直方向の両方にそれぞれ画素ピッチの１／２だけ空間的にずらして配置して同様に処理しても良い。
【００８４】
また、ここではＧチャンネル、ＢチャンネルおよびＲチャンネルのそれぞれ異なる色信号用の撮像部が出力する画像信号を使用したが、代わりに例えば、水平方向および垂直方向の少なくとも一方向に画素ピッチの１／２だけ空間的にずらして配置した２個の同じ色信号用の撮像部を設け（例えば、４板式撮像部を用いて２Ｇを二つ設け、ずらして配置する）、それぞれが出力する画像信号を使用しても良い。この場合に、同２個の撮像部が受光する光量を等しくしておいて減算および加算するか、または受光した光量に応じた割合で減算および加算をすれば、ゲイン調整部５は不要であり、また減算および加算により信号成分およびモアレ成分をほぼ完全に除去することが可能となる。なお、上記実施の形態１と同様に、Ｇチャンネル、ＢチャンネルおよびＲチャンネルを二つずつ設けた６板式撮像部を用いてもよい。
＜２．３：フォーカス制御装置の特徴＞
以上のように本実施の形態によれば、ナイキスト周波数帯域内に折り返したモアレ成分を利用することで、処理クロックの周波数を上げることなくナイキスト周波数以上の周波数成分を扱うことができるとともに、ナイキスト周波数帯域内の信号成分とモアレ成分の発生量のいずれかまたは両方を使用して被写体に対する合焦度合いの指標とするため、撮像した画像に含まれる周波数成分としてナイキスト周波数以下の周波数成分、およびナイキスト周波数以上の高周波成分のいずれが支配的となっても、有効なフォーカス評価値を得ることが可能なフォーカス制御装置等を提供することができる。
（その他の実施の形態）
上述したフォーカス制御装置は、ＬＳＩなどの半導体装置により一部を１チップ化してもよい。
【００８５】
また、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プリント基板に実装後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【００８７】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【００８８】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【００８９】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００９０】
本発明にかかるフォーカス制御装置、撮像装置、フォーカス制御方法および集積回路は、被写体を撮像して得られる画像信号の中から、撮像装置の出力信号としては本来扱うことのないナイキスト周波数以上の高周波成分も利用して合焦状態を評価するため、離れた所にある被写体をワイド端で撮像した場合や被写体自身の模様が非常に精細な場合等、撮像した画像に含まれる周波数成分としてナイキスト周波数以上の高周波成分が支配的となるような場合にも有効なフォーカス評価値に基づいてフォーカス制御が可能であり、撮像装置のオートフォーカス機能およびマニュアルフォーカス機能として有用である。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施の形態１におけるフォーカス制御装置の概略構成を説明する図
【図２】空間画素ずらし法を採用したＨＤカメラにおける画素配置を説明する図
【図３】空間画素ずらし法を採用したＳＤカメラにおける画素配置を説明する図
【図４】本発明の実施の形態１および２における画像信号の周波数特性を示す図
【図５】本発明の実施の形態１および２における画像信号の周波数特性を示す図
【図６】本発明の実施の形態１および２における画像信号の周波数特性を示す図
【図７】本発明の実施の形態２におけるフォーカス制御装置の概略構成を説明する図
【図８】従来のフォーカス制御装置の概略構成を説明する図
【図９】従来のフォーカス制御装置のＨＰＦの選択方法を示すフローチャート
【図１０】従来のフォーカス制御装置における画像信号の周波数特性を示す図
【符号の説明】
【００９２】
１  レンズユニット部
２Ｇ、２Ｂ、２Ｒ  １２Ｇ、１２Ｂ、１２Ｒ  撮像部
３  画像ずれ補正部
４、８  第１、第２フィルタ処理部（第１、第２信号処理部）
５  ゲイン調整部（第１信号処理部）
６  モアレ成分抽出部
７  信号成分抽出部
９、１４  フォーカス評価値生成部
１０  フォーカス制御部
１１  ズーム位置検出部
１３  高周波成分抽出部
【図１】
2008304629.tif 000003
【図２】
2008304629.tif 000004
【図３】
2008304629.tif 000005
【図４】
2008304629.tif 000006
【図５】
2008304629.tif 000007
【図６】
2008304629.tif 000008
【図７】
2008304629.tif 000009
【図８】
2008304629.tif 000010
【図９】
2008304629.tif 000011
【図１０】
2008304629.tif 000012