(57)【要約】【課題】低輝度時等の色により追尾が出来ない状況でも、追尾が機能するカメラを提供する。【解決手段】ＲＧＢの色画素とＩｒの赤外画素がベイヤ状に配置されたＸＹアドレス型の固体撮像素子である撮像手段と、撮像手段により取得された画像信号の特定の画素を周辺の画素で補間する他の画素相当とする補間手段と、補間された画像信号を現像して輝度値と色値のＹＵＶ画像に変換する現像手段と、ＲＧＢの画素で現像し得られたＹＵＶ画像を用いて色による追尾を行う色追尾モードと、特定の色画素が輝度値となるように補間を行い得られたＹＵＶ画像を用いて輝度による追尾を行う輝度追尾モードと、これら二つの追尾モードを持ち、切り替えることを特徴とする構成とした。【選択図】  図１
2015204579.tif 000002
【特許請求の範囲】
【請求項１】
ＲＧＢの色画素とＩｒの赤外画素がベイヤ状に配置されたＸＹアドレス型の固体撮像素子である撮像手段（１０６もしくは１１６）と、
撮像手段により取得された画像信号の特定の画素を周辺の画素で補間する他の画素相当とする補間手段（１０１）と、
補間された画像信号を現像して輝度値と色値のＹＵＶ画像に変換する現像手段（１０１）と、
ＲＧＢの画素で現像し得られたＹＵＶ画像を用いて色による追尾を行う色追尾モードと、
特定の色画素が輝度値となるように補間を行い得られたＹＵＶ画像を用いて輝度による追尾を行う輝度追尾モードと、
これら二つの追尾モードを持ち、切り替えることを特徴とする撮像装置。
【請求項２】
被写体の明るさによって、色追尾モードと輝度追尾モードとを切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
被写体の特徴的な色に応じて、補間の画素を変え特徴色が輝度になるように現像して輝度による追尾を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
赤外光を照射する赤外光照射手段を有し、Ｉｒの赤外画素が輝度になるように現像して輝度による追尾を行うことを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージャータイプのＡＥセンサーによる被写体追跡に関し、特に赤、青、緑、赤外（Ｒ，  Ｇ，Ｂ，Ｉｒ）画素を持つＡＥセンサーを有する撮像装置に関するものである。
【背景技術】
【０００２】
非特許文献１では、ＲＧＢの色信号にＩｒの赤外信号を重畳して画像信号を取得し、明るい場合には得られた画像信号からＩｒ成分を引いて色のついた画像を取得している。また暗い場合には、Ｉｒの赤外信号用いて、色のない輝度画像取得している。これにより明るさによらず良好な画像を取得する技術を開示している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】監視カメラ用昼夜兼用イメージセンサ                    香山信三  田中圭介  廣瀬裕                      Ｐａｎａｓｏｎｉｃ  Ｔｅｃｈｎｉｃａｌ  Ｊｏｕｒｎａｌ                      Ｖｏｌ．５４  Ｎｏ．４  Ｊａｎ．２００９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、ＲＧＢの色信号にＩｒの赤外信号を重畳読出し、その後ＲＧＢとＩｒとを分離するため、どうしても画像信号の劣化が発生してしまう。
【０００５】
本発明では、ＲＧＢの画素と同等にＩｒの画素を配置し画像信号の劣化が起きないようにする。また、得られた画像信号の補間を工夫し、色の判別が出来ないような暗い条件でも追尾が出来るようにする。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置の構成は、
ＲＧＢの色画素とＩｒの赤外画素がベイヤ状に配置されたＸＹアドレス型の固体撮像素子である撮像手段と、
撮像手段により取得された画像信号の特定の画素を周辺の画素で補間する他の画素相当とする補間手段と、
補間された画像信号を現像して輝度値と色値のＹＵＶ画像に変換する現像手段と、
ＲＧＢの画素で現像し得られたＹＵＶ画像を用いて色による追尾を行う色追尾モードと、
特定の色画素が輝度値となるように補間を行い得られたＹＵＶ画像を用いて輝度による追尾を行う輝度追尾モードと、
これら二つの追尾モードを持ち、切り替えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、明るい場合と暗い場合とで追尾方法を切り替えることにより、明るさによらず安定した追尾機能を提供することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るデジタル一眼レフカメラのブロック図である。
【図２】本発明の実施形態に係る交換レンズ、カメラおよび各ブロックの配置図である。
【図３】静止画撮影を行う場合のフローチャートである。
【図４】測光・追尾の処理を行う場合のフローチャートである。
【図５】Ｒ、Ｇ、Ｂ、Ｉｒ画素がベイヤ配列されている画面の一部を示す図である。
【図６】画像信号の流れを示す図である。
【図７】画像信号の流れを示す図である。
【図８】傷補正回路が行う処理の一例を示す図である。
【図９】走っている子供を追尾する場面を想定した図である。
【図１０】画像をブロックに分割する様子を示す図である。
【図１１】Ｒ画素を用いた輝度画像による追尾を説明するための図である。
【図１２】Ｉｒ画素の輝度による追尾を説明するための図である。
【図１３】赤外光を照射するストロボを示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施例について図面を用いて説明する。ここで、本発明の実施形態においては、本発明に係る撮像装置として、デジタル一眼レフカメラを適用した例を挙げて説明を行う。
【実施例１】
【００１０】
図１は、本発明の実施形態に係るデジタル一眼レフカメラ（撮像装置）の概略構成を示す実施例１のブロック図であり、１００がカメラの本体、２００が交換式のレンズである。また、図２は図１で示したブロックのカメラ内での実際の配置について示した図となっている。
【００１１】
図１と図２において、１０１は各種の演算処理と当該撮像装置であるデジタル一眼レフカメラ１００と交換レンズ２００の全体を統括的に制御する全体制御・演算部である。２００はデジタル一眼レフカメラ用の交換レンズであり、２０２は被写体の光学像を撮像素子Ａ１０６に結像させる撮像レンズで、２０３は撮影レンズをピント（焦点）が合うように駆動する駆動装置、２０４は被写体像からの反射光がレンズを通る光量を制御する絞り機構で、２０５は絞り機構を駆動する駆動装置である。
【００１２】
撮影用の交換レンズ２００とデジタル一眼レフカメラ１００との間は、交換のため取り外すことが可能で、交換レンズ２００とデジタル一眼レフカメラ１００との間は情報交換のための通信を行っている。このときの通信はデジタル一眼レフカメラ１００に関しては、全体制御・演算部１０１とレンズ制御部２０１が通信をしていて、送信／受信の管理を行っている。
【００１３】
１００は撮像装置の本体であるデジタル一眼レフカメラで、１０２は撮影レンズ２０２を通った光学像を、ファインダー使用時にはファインダーとＡＥ用撮像素子Ｂに導き、撮影時には跳ね上がり光学像を撮像素子Ａ１０６へと導く、一般的にはクイックリターン（ＱＲ）ミラーと言われる。１０３はＱＲミラーを駆動する駆動装置である。
【００１４】
１０４はいわゆる一眼レフカメラに使用されるフォーカルプレーン型の先幕／後幕に相当するシャッター幕を有するシャッター機構であり、撮像レンズ２０２を通ってきた光学像の露光時間の制御と遮光を行う。１０５はシャッター機構１０４の駆動を行うシャッター駆動部である。
【００１５】
１０６は撮像レンズ２０２により結像された被写体の光学像を画像信号として取り込むための（固体）撮像素子Ａである。本実施形態の撮像素子Ａ１０６は例えば、ＣＭＯＳセンサーのようなＸ−Ｙアドレスで形成されている。
【００１６】
１０７は撮像素子Ａ１０６から出力される画像信号の増幅処理や、アナログからデジタルへの変換を行うＡ／Ｄ変換処理、Ａ／Ｄ変換後の画像データに対する傷補正等の各種の補正処理、或いは、画像データを圧縮する圧縮処理等を行う撮像信号処理部Ａである。
【００１７】
１０８は撮像素子Ａ１０６と撮像信号処理部Ａ１０７に対して各種のタイミング信号を出力するタイミング発生部Ａである。１１２は撮影した静止画像や動画像等を表示する表示部１１３を駆動する駆動部である。１１４は外部インターフェースであり、コンピュータ１１５の用な外部機器と画像信号、制御信号等の情報のやりとりを行う。
【００１８】
１１６はＡＥ信号／光源検知信号を取得するための撮像素子Ｂで、ＲＢＧのベイヤ配置のセンサーといなっている。一般的にグローバル電子シャッターの機能を有するＣＣＤセンサーを用いるが、読み出しの早い（読み出し時間の短いセンサーであればＣＭＯＳセンサーを用いても良い）。
【００１９】
１１７は撮像素子Ｂ１１６から出力される画像信号の増幅処理や、アナログからデジタルへの変換を行うＡ／Ｄ変換処理、Ａ／Ｄ変換後の画像データに対する傷補正等の各種の補正処理、或いは、画像データを圧縮する圧縮処理等を行う撮像信号処理部Ｂである。１１８は撮像素子Ｂ１１６と撮像信号処理部Ｂ１１７に対して各種のタイミング信号を出力するタイミング発生部Ｂである。
【００２０】
１１９はペンタプリズムであり、ＱＲミラー１０３で曲げられた光線を図示されていないファインダーと撮像素子Ｂ１１６へ導く。１２１は、位相差方式による測距部であり、図示されていないがＱＲミラー１０３を透過した光線により被写体のデフォーカス量により位相が変化する２つの１対の画像を取得する。この２画像のズレ量から被写体のデファーカス量を演算して、撮像レンズ２０２を移動させる。１２０は、位相差測距部１２１を駆動する測距部駆動装置である。
【００２１】
図３は静止画撮影を行う場合のフローチャートを示している。図３において、＃２００で静止画撮影が開始される。＃２０１で図示されていないＳＷ１が押されＳＷ１オンがＹｅｓになるまでループ状態で待つ。ＳＷ１が押されると＃２０２へ進み測光の処理と被写体追尾の処理を行う。この処理内容については、後述する。
【００２２】
＃２０３で測光部１２１の出力に基づいて被写体までの距離を測定して、この測定結果に応じて撮像レンズ２０２を駆動する。＃２０４でＳＷ１が押されているかどうかを確認して、押されていない場合には＃２０１へと戻る。＃２０４でＳＷ１が押されている場合には、＃２０５へと進みＳＷ２が押されているかどうかを確認する。ＳＷ１が押されていてＳＷ２までは押されていない場合には、＃２０２の測光・追尾処理と＃２０３の測距処理とを繰り返す。
【００２３】
＃２０５でＳＷ２まで押された場合には＃２０６へと進み、＃２０６で静止画撮影として、絞り２０４、ＱＲミラー１０２、シャッター１０４を制御し、固体撮像素子Ａ１０６に適正量の光が当たるようにする。そして、静止画撮影用の固体撮像素子Ａ１０６から画像信号を読出し、撮像信号処理部Ａ１０７で現像処理を行い静止画を生成する。
【００２４】
＃２０７でこの生成された静止画を記録媒体１１１へ記録する。＃２０８でＳＷ２まで押されている間は、＃２０６の静止画撮影と＃２０７の画像の書き込みを繰り返す。＃２０８でＳＷ２が離されＳＷ２がオフした場合には、＃２０９へと進み表示装置１１３に撮影された画像を表示する。その後、＃２１０へ進み、静止画撮影のフローチャートが終了する。カメラの電源が入っている間は、このフローチャートが繰り返される。
【００２５】
図４は測光・追尾の処理を行う場合のフローチャートを示している。図４において、＃１００で測光・追尾の処理が開始される。＃１０１で測光用の固体撮像素子Ｂ１１７に蓄積される画像信号の光量が適正になるように蓄積時間等を制御し、固体撮像素子Ｂ１１７から画像信号を読み出す。＃１０２で読み出した画像信号をブロック積分し、縦横数ブロックに分割してそれぞれのＲ、Ｇ、Ｂ、Ｉｒの積分値を求める。＃１０３でＲ、Ｇ、Ｂ、Ｉｒの積分値に基づいて測光処理を行い、被写体の明るさを算出する。
【００２６】
＃１０４で＃１０３で算出した被写体の明るさがＴｈ２よりも明るい場合には＃１０５へ進む。この明るさより明るい場合はＲ、Ｇ、Ｂが判別でき、暗い場合にはＲ、Ｇ、Ｂが判別できない程の明るさを想定している。＃１０５でＩｒ画素を傷とみなしＧ画素で補間する。そして、ＲＧＢの画像として現像処理を行う。傷補正の詳細は後述する。
【００２７】
＃１０６で被写体の明るさがＴｈ１よりも明るい場合には＃１０７へ進む。この明るさより明るい場合はＲ、Ｇ、Ｂだけでなくその間の色も十分に判別でき、暗い場合には色の判別が十分にできない程度の明るさを想定している。＃１０７でＲ、Ｇ、Ｂ画素による現像を行った画像を用いて色による追尾を行う。＃１１８で測光・追尾の一連の処理が完了する。
【００２８】
＃１０６で被写体がＴｈ１よりも明るくない場合には＃１０８にへ進む。＃１０８でＧ画素が特徴的であった場合には＃１０９へ進む。Ｇ画素が特徴的であるかどうかの判定に関しては後述する。＃１０９では色による追尾が出来ないような明るさを想定しているので、Ｇ画素を用いた輝度画像による追尾を行う。＃１１８で測光・追尾の一連の処理が完了する。
【００２９】
＃１０８でＧ画素が特徴的でない場合には＃１１０へ進む。＃１１０でＲ画素が特徴的であった場合には＃１１１へ進む。＃１１１でＢ画素を傷とみなしＲ画素で補間する。そして、Ｒ画素が輝度信号となるように現像を行う。＃１１２でＲ画素を用いた輝度画像による追尾を行う。＃１１８で測光・追尾の一連の処理が完了する。
【００３０】
＃１１０でＲ画素が特徴的でない場合には＃１１３へ進む。＃１１３でＢ画素が特徴的であった場合には＃１１４へ進む。＃１１４でＲ画素を傷とみなしＢ画素で補間する。そして、Ｂ画素が輝度信号となるように現像を行う。＃１１５でＢ画素を用いた輝度画像による追尾を行う。＃１１８で測光・追尾の一連の処理が完了する。
【００３１】
＃１１３でＢ画素が特徴的でない場合には＃１１６へ進む。＃１１６は＃１０４で被写体がＴｈ２よりも明るくない場合で、Ｒ、Ｇ、Ｂが判別できないような暗さを想定している。＃１１６ではＧ画素を傷とみなしＩｒ画素で補間する。そして、ＲＧＢの画像として現像処理を行う。＃１１７でＩｒ画素を用いた輝度画像による追尾を行う。＃１１８で測光・追尾の一連の処理が完了する。
【００３２】
図５は、本発明の画素配置を示していてＲ、Ｇ、Ｂ、Ｉｒ画素がベイヤ配列されている画面の一部を示している。図６はＩｒ画素を傷とみなしＧ画素で補間し現像を行う場合の画像信号の流れを示している。
【００３３】
図６において、センサーから読み出された画像信号（１）は１つのルートとして積分処理回路通り積分結果として、Ｒ画素の積分値、Ｇ画素の積分値、Ｂ画素の積分値、Ｉｒ画素の積分値をそれぞれ求める。これが図４の＃１０２に対応している。この積分結果に基づいて測光処理を行い被写体の明るさを算出するのが＃１０３である。
【００３４】
もう１つのルートとしてセンサーから読み出された画像信号（１）に傷補正回路により不良画素であるという情報として不良画素情報を付加する。ここでは全てのＩｒ画素に対して不良画素情報を付加し、黒い画素として示している。これが画像信号（２）の状態である。傷補正回路により、この不良画素を周りのＧ画素を用いて補間する。これが画像信号（３）の状態である。この画像信号に対して現像回路により現像の処理を行うことにより、ＲＧＢの画像からＹＵＶの追尾画像を生成する。これが追尾画像（４）の状態である。この不良画素情報、傷補正、現像の一連の処理を図４の＃１０５で行っている。一連の処理により生成された追尾画像を用いて、色による追尾もしくはＧ画素の輝度による追尾を行う。
【００３５】
図７では図６と同様に画像僧信号（１）に傷補正回路によりＧ画素に対して不良画素情報を付加し画像信号（２）を得る。不良画素補正回路によりこの不良画素を周りのＩｒ画素により補間し画像信号（３）を得る。画像信号（３）に対して現像回路により現像処理を行うことにより、追尾画像（４）が生成される。これが、図４の＃１１６に対応している。この画像は、Ｉｒ画素に応じた輝度の画像となっていて、色の信号は狂ってしまっている。そのため、ここではＩｒ画素の輝度による追尾を行う。
【００３６】
これと同じように、図４の＃１１１では、Ｒ画素に応じた追尾用輝度画像、＃１１４では、Ｂ画素に応じた追尾用輝度画像を生成する。
【００３７】
図８は図６の傷補正回路が行う処理の一例を示している。この例では、Ｉｒ画素を補間するので周りのＧ１、Ｇ２，Ｇ３、Ｇ４を加算平均してこれをＧ画素としてＩｒ画素を置き換える。同じようにＧ画素、Ｒ画素、Ｂ画素置換えることが出来る。この処理を＃１０５、＃１１１、＃１１４、＃１１６のそれぞれで画素の補間と置き換えを行ってから現像処理を行って追尾画像を生成している。
【００３８】
図９は走っている子供を追尾する場面を想定した図である。この例は、図４の＃１０７の説明となる。＃１０７では、明るさが十分にあり、厳密な色の区別が可能な条件である。ここで先頭の子供４０１を色で追尾しようとすると、この子供４０１が背景や後ろの子供と異なる特徴的な色を探す必要がある。本例では、子供４０１のズボン４０２が背景等と異なる特徴的な色だとすると、この特徴色を探すことで色による追尾を実現することが可能となる。
【００３９】
図１０は図９と同じであるが、図４の＃１１２の説明となる。＃１１２では厳密な色の区別が出来るための明るさが無い条件である。ここで縦横数ブロックに分割されたブロック毎に、Ｒ、Ｇ、Ｂ、Ｉｒの比率を求める。本例では、子供４０１のズボンの部分が赤かったとし、ブロック４０３だけ赤の比率が高かったとする。図４の＃１１０でこの判定を行っている。そして、＃１１１で現像を行うと図１１の様に、子供４０１のズボンの部分のみが抽出された画像を得ることが出来る。この部分抽出された部分を探すことにより、輝度による追尾を実現することが可能となる。また同様に、＃１０９では緑を＃１１５では青を抽出することにより、それぞれの色の輝度による追尾が可能となる。
【００４０】
図１２はＩｒ画素の輝度による追尾、図４の＃１１７の説明となる。＃１１７は色が分離できない程暗い条件である。ここでは、被写体が判別できない程暗い場合が考えられるので、図１３のカメラ１００に取り付けられたストロボ３００に赤外（Ｉｒ）の光を発する赤外光発光部３０１を設け、被写体４０４に赤外光を照射する。赤外光であれば人間の目には見えないので、被写体にたいして邪魔になることは無い。この状態で＃１１６のＩｒでの現像を行うことにより被写体が抽出され、Ｉｒの輝度による追尾が可能となる。
【００４１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４２】
１００  カメラ、１０１  全体制御部・演算部、１０２  ミラー、
１０３  ミラー駆動装置、１０４  シャッター、１０５  シャッター駆動装置、
１０６  撮像素子Ａ、１０７  撮像信号処理部Ａ、１０８  タイミング発生部Ａ、
１０９  メモリ部、１１０  記録媒体制御Ｉ／Ｆ部、１１１  記録媒体、
１１２  表示駆動・外部Ｉ／Ｆ部、１１３  表示装置、１１４  外部Ｉ／Ｆ、
１１５  マクロコンピューター、１１６  撮像素子Ｂ（ＡＥセンサー）、
１１７  撮像信号処理部Ｂ、１１８  タイミング発生部Ｂ、
１１９  ペンタプリズム、１２０  測距部駆動装置、
１２１  位相差測距部（ＡＦセンサー）、２００  交換レンズ、
２０１  レンズ制御部、２０２  撮像レンズ部、２０３  レンズ駆動装置、
２０４  絞り機構、２０５  絞り駆動装置
【図６】
2015204579.tif 000003
【図７】
2015204579.tif 000004
【図１】
2015204579.tif 000005
【図２】
2015204579.tif 000006
【図３】
2015204579.tif 000007
【図４】
2015204579.tif 000008
【図５】
2015204579.tif 000009
【図８】
2015204579.tif 000010
【図９】
2015204579.tif 000011
【図１０】
2015204579.tif 000012
【図１１】
2015204579.tif 000013
【図１２】
2015204579.tif 000014
【図１３】
2015204579.tif 000015