(57)【要約】【課題】被写体が移動したとしても精度良く被写体の追従を行う。【解決手段】ＣＰＵ２４は、追従領域を撮像エリア内に設定し、この追従領域に合わせ込まれた被写体２の追従を行う。ＣＰＵ２４は、タイミング信号Ｓｔをフラッシュ制御部１４，撮像制御部１５、センサ部１１の素子駆動部１０２，１０３に供給して、各部を駆動する。ＣＰＵ２４は、データ処理部２０から取得したカラー画像と不揮発性メモリから取得したカラー画像とを比較し、被写体２の位置の変化を検出し、被写体２の移動後の位置データを取得する。また、ＣＰＵ２４は、データ処理部２０から取得した距離画像と不揮発性メモリから取得した距離画像とを比較し、被写体２の位置の変化を検出し、移動後の位置データを取得する。ＣＰＵ２４は、最も信頼性の高い位置データを選択し、選択した位置データに基づいて、追従領域を移動させる。【選択図】図１
2008193514.tif 000002
【特許請求の範囲】
【請求項１】
被写体を繰り返し撮像する撮像素子と、
前記撮像素子により取り込まれた前記被写体の画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得する第１の画像取得部と、
前記撮像素子により取り込まれた前記被写体の画像から、前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得する第２の画像取得部と、
前記撮像素子が撮像を行う毎に、前記第１の画像取得部が取得した前記第１の画像又は前記第２の画像取得部が取得した第２の画像に基づいて前記被写体の位置の変化を検出する位置変化検出部と、
前記位置変化検出部が前記被写体の位置の変化を検出したとき、前記被写体を追尾して、特定の制御を行うための追従領域を移動させる追従領域移動部と、を備えた、
ことを特徴とする撮像装置。
【請求項２】
前記追従領域移動部は、前記特定の制御として、オートフォーカス制御を行い、前記追従領域に対するオートフォーカス制御を行いながら画像を取得し続ける、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記追従領域移動部は、前記特定の制御として、所定画像の重畳表示制御を行い、前記追従領域に前記所定画像を重畳して表示を行い続ける、
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記追従領域移動部は、前記特定の制御として、オートフレーミング制御を行い、前記追従領域に対応させてフレームを追従させ続ける、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像素子が撮像を行う毎に、前記第１の画像取得部が取得した前記第１の画像と前記第２の画像取得部が取得した第２の画像とを記憶する記憶部を備え、
前記位置変化検出部は、前記記憶部に記憶された前記第１の画像と前記第１の画像取得部が新たに取得した前記第１の画像とを比較するとともに、前記記憶部に記憶された前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像とを比較することにより、いずれか一方の比較結果に基づいて前記被写体の位置の変化を検出する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第１の画像に含まれる前記被写体と前記第１の画像取得部が新たに取得した前記第１の画像に含まれる前記被写体とを比較し、比較した２つの第１の画像にそれぞれ含まれる前記被写体の位置関係をパターンマッチングにより解析する第１の解析方法に従って、前記被写体の位置の変化を検出する、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第１の画像と前記第１の画像取得部が新たに取得した前記第１の画像とを比較し、前記撮像領域を複数の小領域に区分して区分された各小領域のエントロピーを取得することにより比較した２つの第１の画像に含まれる前記被写体の位置関係を解析する第２の解析方法に従って、前記被写体の位置の変化を検出する、
ことを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第１の画像に含まれる前記被写体と前記第１の画像取得部が新たに取得した前記第１の画像に含まれる前記被写体とを比較し、前記撮像領域を複数の小領域に区分して区分された各小領域の色差信号を取得することにより比較した２つの第１の画像に含まれる前記被写体の位置関係を解析する第３の解析方法に従って、前記被写体の位置の変化を検出する、
ことを特徴とする請求項５に記載の撮像装置。
【請求項９】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第１の画像又は前記第２の画像と前記第１の画像取得部又は前記第２の画像取得部が新たに取得した画像とを比較して、前記被写体の前後を横切る他の物体を検出した場合、前記記憶部に記憶された前記第１の画像に含まれる前記被写体と前記第１の画像取得部が新たに取得した前記第１の画像に含まれる前記被写体とを比較し、前記第３の解析方法を選択し、選択した第３の解析方法に従って、前記被写体の位置の変化を検出する、
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像とを比較し、比較した２つの第２の画像にそれぞれ含まれる前記被写体の位置関係をパターンマッチングにより解析する第１の解析方法に従って、前記被写体の位置の変化を検出する、
ことを特徴とする請求項５乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像とを比較し、前記撮像領域を複数の小領域に区分して区分された各小領域のエントロピーを取得することにより比較した２つの第２の画像に含まれる前記被写体の位置関係を解析する第２の解析方法に従って、前記被写体の位置の変化を検出する、
ことを特徴とする請求項５乃至９のいずれか１項に記載の撮像装置。
【請求項１２】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第１の画像又は前記第２の画像と前記第１の画像取得部又は前記第２の画像取得部が新たに取得した画像とを比較して、前記被写体の形状の変化を検出した場合、前記第２の解析方法に従って、前記記憶部に記憶された前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像との比較結果に基づいて、前記被写体の位置の変化を検出する、
ことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、
前記第１の画像取得部、前記第２の画像取得部が、それぞれ、第１の画像、第２の画像を取得する毎に、前記記憶部に記憶した複数の前記被写体の位置データに基づいて前記被写体の移動方向の範囲を設定し、
前記第１の画像取得部が新たに取得した前記第１の画像に含まれる前記被写体の位置、前記第２の画像取得部が新たに取得した前記第２の画像に含まれる前記被写体の位置が、設定した移動方向の範囲外のときは、新たに取得した前記被写体の位置データを破棄し、判別した移動方向の範囲内のときにのみ、新たに取得した前記被写体の位置データを前記記憶部に記憶する、
ことを特徴とする請求項５乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記撮像素子は、前記被写体で反射した光を受光して、前記第１の画像を取得するための第１の画素部と前記第２の画像を取得するための第２の画素部とを１画素ユニットとして、複数の画素ユニットが行列配置されて構成されたものであり、
前記第１の画像を取得するように複数の前記第１の画素部を駆動する第１の素子駆動部と、
前記第２の画像を取得するように複数の前記第２の画素部を駆動する第２の素子駆動部と、を備えた、
ことを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記各第１の画素部は、それぞれ、前記被写体で反射した光を色成分毎に受光して信号電荷を発生させ、前記色成分毎に発生した前記信号電荷を出力する複数の受光部からなり、
前記第１の素子駆動部は、前記色成分毎に前記複数の受光部を駆動するものである、
ことを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記第２の画像取得部は、
光を投光する投光部と、
前記投光部が投光する光を点滅させる撮像制御部と、
前記撮像素子の複数の第２の画素部と、
前記複数の前記第２の画素部を駆動する第２の素子駆動部と、
前記各第２の画素部から出力された信号電荷に基づいて前記被写体までの距離情報を取得する演算部と、を備え、
前記各第２の画素部は、前記投光部が投光して前記被写体で反射した点滅光を受光して信号電荷を生成し、生成した信号電荷を前記投光部が点灯している期間に受光した反射光により発生した第１の信号電荷と前記投光部が消灯している期間に受光した反射光により発生した第２の信号電荷とに分けて出力し、
前記演算部は、前記各第２の画素部が出力した前記第１の信号電荷の量と前記第２の信号電荷の量とに基づいて、前記投光部が点灯してから前記受光部が反射光を受光するまでの遅れ時間を計測し、計測した遅れ時間に基づいて、前記被写体までの距離情報を取得する、
ことを特徴とする請求項１４又は１５に記載の撮像装置。
【請求項１７】
撮像素子に被写体を繰り返し撮像させるステップと、
前記撮像素子が撮像を行う毎に取りこまれた画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得するステップと、
前記撮像素子が撮像を行う毎に取りこまれた画像から、前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得するステップと、
前記撮像素子が撮像を行う毎に取得した前記第１の画像又は前記第２の画像に基づいて前記被写体の位置の変化を検出するステップと、
前記被写体の位置の変化を検出したとき、前記被写体を追尾するように設定された、特定の制御を行うための追従領域を移動させるステップと、を備えた、
ことを特徴とする撮像装置の被写体追従方法。
【請求項１８】
コンピュータに、
撮像素子に被写体を繰り返し撮像させる手順、
前記撮像素子が撮像を行う毎に取りこまれた画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得する手順、
前記撮像素子が撮像を行う毎に取りこまれた画像から、前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得する手順、
前記被写体を撮影する毎に取得した前記第１の画像又は前記第２の画像に基づいて前記被写体の位置の変化を検出する手順、
前記被写体の位置の変化を検出したとき、前記被写体を追尾するように設定された、特定の制御を行うための追従領域を移動させる手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その被写体追従方法及びプログラムに関するものである。
【背景技術】
【０００２】
被写体を追尾して合焦（ピント合わせ）などの特定の処理を行うオートフォーカス装置を備えた撮像装置がある（例えば、特許文献１、２参照）。
【０００３】
特許文献１記載の撮像装置は、合焦対象の被写体の画像を基準パターンとして記憶し、パターンマッチングにより、撮影画像の中からその基準パターンに対応する画像を検出することにより、被写体の位置の変化を検出し、被写体を追尾するようにしている。
【０００４】
特許文献２記載の撮像装置は、フォーカスエリアを複数の領域に分割し、各領域毎に画像が有するエントロピーを計算することにより、エントロピーの変化を検出することにより被写体の位置の変化を検出し、注目領域を移動する被写体を追尾するようにしている。
【特許文献１】特開２００６−５８４３１号公報（第４頁、図１）
【特許文献２】特開平５−８０２４８号公報（第３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、被写体を追尾する場合、被写体の向きが変わって形状が変化したり、被写体の前を、他の物体が変化したりして、様々な状況が予想される。
【０００６】
特許文献１記載の撮像装置では、被写体の向きが変わって形状が変化すると、被写体と基準パターンとのパターンマッチングを行えなくなり、被写体を追尾できなくなってしまう。
【０００７】
また、特許文献１記載の撮像装置では、被写体の位置が撮像装置に対して前後に変化した場合、基準パターンの形状も位置も変化せず、被写体の位置の変化を検出することができない。
【０００８】
また、特許文献２記載の撮像装置では、被写体の前後を、被写体と同じエントロピーを有する物体が横切ると、この物体を追跡してしまい、被写体の追尾を行えなくなる場合がある。
【０００９】
本発明は、このような従来の問題点に鑑みてなされたもので、より精度良く被写体に追従させることが可能な撮像装置、その被写体追従方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
この目的を達成するため、本発明の第１の観点に係る撮像装置は、
被写体を繰り返し撮像する撮像素子と、
前記撮像素子により取り込まれた前記被写体の画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得する第１の画像取得部と、
前記撮像素子により取り込まれた前記被写体の画像から、前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得する第２の画像取得部と、
前記撮像素子が撮像を行う毎に、前記第１の画像取得部が取得した前記第１の画像又は前記第２の画像取得部が取得した第２の画像に基づいて前記被写体の位置の変化を検出する位置変化検出部と、
前記位置変化検出部が前記被写体の位置の変化を検出したとき、前記被写体を追尾して、特定の制御を行うための追従領域を移動させる追従領域移動部と、を備えたことを特徴とする。
【００１１】
前記追従領域移動部は、前記特定の制御として、オートフォーカス制御を行い、前記追従領域に対するオートフォーカス制御を行いながら画像を取得し続けるようにしてもよい。
【００１２】
前記追従領域移動部は、前記特定の制御として、所定画像の重畳表示制御を行い、前記追従領域に前記所定画像を重畳して表示を行い続けるようにしてもよい。
【００１３】
前記追従領域移動部は、前記特定の制御として、オートフレーミング制御を行い、前記追従領域に対応させてフレームを追従させ続けるようにしてもよい。
【００１４】
前記撮像素子が撮像を行う毎に、前記第１の画像取得部が取得した前記第１の画像と前記第２の画像取得部が取得した第２の画像とを記憶する記憶部を備え、
前記位置変化検出部は、前記記憶部に記憶された前記第１の画像と前記第１の画像取得部が新たに取得した前記第１の画像とを比較するとともに、前記記憶部に記憶された前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像とを比較することにより、いずれか一方の比較結果に基づいて前記被写体の位置の変化を検出するようにしてもよい。
【００１５】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第１の画像に含まれる前記被写体と前記第１の画像取得部が新たに取得した前記第１の画像に含まれる前記被写体とを比較し、比較した２つの第１の画像にそれぞれ含まれる前記被写体の位置関係をパターンマッチングにより解析する第１の解析方法に従って、前記被写体の位置の変化を検出するようにしてもよい。
【００１６】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第１の画像と前記第１の画像取得部が新たに取得した前記第１の画像とを比較し、前記撮像領域を複数の小領域に区分して区分された各小領域のエントロピーを取得することにより比較した２つの第１の画像に含まれる前記被写体の位置関係を解析する第２の解析方法に従って、前記被写体の位置の変化を検出するようにしてもよい。
【００１７】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第１の画像に含まれる前記被写体と前記第１の画像取得部が新たに取得した前記第１の画像に含まれる前記被写体とを比較し、前記撮像領域を複数の小領域に区分して区分された各小領域の色差信号を取得することにより比較した２つの第１の画像に含まれる前記被写体の位置関係を解析する第３の解析方法に従って、前記被写体の位置の変化を検出するようにしてもよい。
【００１８】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第１の画像又は前記第２の画像と前記第１の画像取得部又は前記第２の画像取得部が新たに取得した画像とを比較して、前記被写体の前後を横切る他の物体を検出した場合、前記記憶部に記憶された前記第１の画像に含まれる前記被写体と前記第１の画像取得部が新たに取得した前記第１の画像に含まれる前記被写体とを比較し、前記第３の解析方法を選択し、選択した第３の解析方法に従って、前記被写体の位置の変化を検出するようにしてもよい。
【００１９】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像とを比較し、比較した２つの第２の画像にそれぞれ含まれる前記被写体の位置関係をパターンマッチングにより解析する第１の解析方法に従って、前記被写体の位置の変化を検出するようにしてもよい。
【００２０】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像とを比較し、前記撮像領域を複数の小領域に区分して区分された各小領域のエントロピーを取得することにより比較した２つの第２の画像に含まれる前記被写体の位置関係を解析する第２の解析方法に従って、前記被写体の位置の変化を検出するようにしてもよい。
【００２１】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、前記記憶部に記憶された前記第１の画像又は前記第２の画像と前記第１の画像取得部又は前記第２の画像取得部が新たに取得した画像とを比較して、前記被写体の形状の変化を検出した場合、前記第２の解析方法に従って、前記記憶部に記憶された前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像との比較結果に基づいて、前記被写体の位置の変化を検出するようにしてもよい。
【００２２】
前記位置変化検出部は、前記撮像素子が撮像を行う毎に、
前記第１の画像取得部、前記第２の画像取得部が、それぞれ、第１の画像、第２の画像を取得する毎に、前記記憶部に記憶した複数の前記被写体の位置データに基づいて前記被写体の移動方向の範囲を設定し、
前記第１の画像取得部が新たに取得した前記第１の画像に含まれる前記被写体の位置、前記第２の画像取得部が新たに取得した前記第２の画像に含まれる前記被写体の位置が、設定した移動方向の範囲外のときは、新たに取得した前記被写体の位置データを破棄し、判別した移動方向の範囲内のときにのみ、新たに取得した前記被写体の位置データを前記記憶部に記憶するようにしてもよい。
【００２３】
前記撮像素子は、前記被写体で反射した光を受光して、前記第１の画像を取得するための第１の画素部と前記第２の画像を取得するための第２の画素部とを１画素ユニットとして、複数の画素ユニットが行列配置されて構成されたものであり、
前記第１の画像を取得するように複数の前記第１の画素部を駆動する第１の素子駆動部と、
前記第２の画像を取得するように複数の前記第２の画素部を駆動する第２の素子駆動部と、を備えてもよい。
【００２４】
前記各第１の画素部は、それぞれ、前記被写体で反射した光を色成分毎に受光して信号電荷を発生させ、前記色成分毎に発生した前記信号電荷を出力する複数の受光部からなり、
前記第１の素子駆動部は、前記色成分毎に前記複数の受光部を駆動するものであってもよい。
【００２５】
前記第２の画像取得部は、
光を投光する投光部と、
前記投光部が投光する光を点滅させる撮像制御部と、
前記撮像素子の複数の第２の画素部と、
前記複数の前記第２の画素部を駆動する第２の素子駆動部と、
前記各第２の画素部から出力された信号電荷に基づいて前記被写体までの距離情報を取得する演算部と、を備え、
前記各第２の画素部は、前記投光部が投光して前記被写体で反射した点滅光を受光して信号電荷を生成し、生成した信号電荷を前記投光部が点灯している期間に受光した反射光により発生した第１の信号電荷と前記投光部が消灯している期間に受光した反射光により発生した第２の信号電荷とに分けて出力し、
前記演算部は、前記各第２の画素部が出力した前記第１の信号電荷の量と前記第２の信号電荷の量とに基づいて、前記投光部が点灯してから前記受光部が反射光を受光するまでの遅れ時間を計測し、計測した遅れ時間に基づいて、前記被写体までの距離情報を取得するようにしてもよい。
【００２６】
本発明の第２の観点に係る撮像装置の被写体追従方法は、
撮像素子に被写体を繰り返し撮像させるステップと、
前記撮像素子が撮像を行う毎に取りこまれた画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得するステップと、
前記撮像素子が撮像を行う毎に取りこまれた画像から、前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得するステップと、
前記撮像素子が撮像を行う毎に取得した前記第１の画像又は前記第２の画像に基づいて前記被写体の位置の変化を検出するステップと、
前記被写体の位置の変化を検出したとき、前記被写体を追尾するように設定された、特定の制御を行うための追従領域を移動させるステップと、を備えたことを特徴とする。
【００２７】
本発明の第３の観点に係るプログラムは、
コンピュータに、
撮像素子に被写体を繰り返し撮像させる手順、
前記撮像素子が撮像を行う毎に取りこまれた画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得する手順、
前記撮像素子が撮像を行う毎に取りこまれた画像から、前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得する手順、
前記被写体を撮影する毎に取得した前記第１の画像又は前記第２の画像に基づいて前記被写体の位置の変化を検出する手順、
前記被写体の位置の変化を検出したとき、前記被写体を追尾するように設定された、特定の制御を行うための追従領域を移動させる手順、
を実行させるためのものである。
【発明の効果】
【００２８】
本発明によれば、精度良く被写体の追従を行うことができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施形態に係る装置を図面を参照して説明する。
本実施形態に係る撮像装置の構成を図１に示す。
本実施形態に係る撮像装置１は、センサ部１１と、フラッシュ１２，１３と、フラッシュ制御部１４と、撮像制御部１５と、撮像レンズ１６と、レンズ駆動部１７と、フレームメモリ１８と、メモリコントローラ１９と、データ処理部２０と、ＲＯＭ２１と、ＲＡＭ２２と、不揮発性メモリ２３と、ＣＰＵ２４と、を備える。
【００３０】
この撮像装置１は、被写体２に、フラッシュ１２、１３で、それぞれ、可視光、近赤外光を照射し、センサ部１１の撮像エリア３内において、被写体２で反射した反射光を受光する。
【００３１】
この被写体２が、図２に示すように、それぞれ、文字が描かれるとともに位置が異なる３つの被写体２Ａ，２Ｂ，２Ｃである場合、この撮像装置１は、図３（ａ）に示すように、撮像エリア３内において、それぞれ、カラー画像２Ａｉ，２Ｂｉ，２Ｃｉを取得する。
【００３２】
カラー画像２Ａｉ，２Ｂｉ，２Ｃｉは、それぞれ、視覚で得られる視覚情報、例えば、被写体２Ａ，２Ｂ，２ＣのＲＧＢ成分、輝度の情報を含めて被写体２Ａ，２Ｂ，２Ｃの形状を表した画像である。
【００３３】
また、この撮像装置１は、図３（ｂ）に示すように、撮像エリア３内において、距離画像２Ａｉ，２Ｂｉ，２Ｃｉを取得する。距離画像２Ａｄ，２Ｂｄ，２Ｃｄは、それぞれ、撮像装置１から被写体２Ａ，２Ｂ，２Ｃまでの距離情報を含めて被写体２Ａ，２Ｂ，２Ｃの形状を表した画像である。
【００３４】
撮像装置１と被写体２Ａ，２Ｂ、２Ｃとの距離を、２Ａ＜２Ｂ＜２Ｃとすると、撮像装置１は、図３（ｂ）に示すように、距離画像２Ａｄ，２Ｂｄ，２Ｃｄの輝度を、２Ａｄ＞２Ｂｄ＞２Ｃｄとなるように設定する。
【００３５】
本実施形態の撮像装置１は、このカラー画像２Ａｉ，２Ｂｉ，２Ｃｉと、距離画像２Ａｄ，２Ｂｄ，２Ｃｄと、を同時に取得するように構成されている。
【００３６】
また、この撮像装置１は、被写体２に合焦するように、被写体２を追尾してＡＦ処理を行う機能を有している。
【００３７】
図１に戻り、センサ部１１は、撮像素子１０１と、素子駆動部１０２，１０３と、を備える。
【００３８】
撮像素子１０１は、カラー画像と距離画像とを取得するものであり、図４に示すように、画素回路１０１Ｇと、画素回路１０１Ｒと、画素回路１０１Ｂと、画素回路１０１Ｌと、によって構成される。
【００３９】
画素回路１０１Ｇ，１０１Ｒ，１０１Ｂは、それぞれ、被写体２のＧ（Green）成分、Ｒ（Red）成分、Ｂ（Blue）成分を取得するためのものである。画素回路１０１Ｌは、距離画像を取得するためのものである。
【００４０】
撮像素子１０１は、１つの画素回路１０１Ｇ、１０１Ｒ、１０１Ｂ、１０１Ｌを１つの画素ユニットとして、複数の画素ユニットによって構成される。本実施形態では、画素ユニットが、ｎ行×ｎ列（ｎは０を除く自然数）に行列配置されるものとする。
【００４１】
このｎ×ｎの画素回路１０１Ｇ、１０１Ｒ、１０１Ｂ、１０１Ｌによって、それぞれ、Ｇ，Ｒ，Ｂ成分のカラー画像取得用の画素アレイが構成され、ｎ×ｎの画素回路１０１Ｌによって、距離画像取得用の画素アレイが構成される。
【００４２】
尚、画素アレイの行列配置された各画素回路１０１Ｇ、１０１Ｒ、１０１Ｂ、１０１Ｌを、ぞれぞれ、画素回路１０１Ｇ（ｉ，ｊ）、１０１Ｒ（ｉ，ｊ）、１０１Ｂ（ｉ，ｊ）、１０１Ｌ（ｉ，ｊ）と表すものとする（ｉ，ｊ；整数、１≦ｉ≦ｎ，１≦ｊ≦ｎ）。
【００４３】
この撮像装置１は、このような画素アレイを含んで構成されたカラー画像取得部と距離画像取得部とを備える。カラー画像取得部は、図３（ａ）に示すようなカラー画像２Ａｉ，２Ｂｉ、２Ｃｉを取得するためのものであり、距離画像取得部は、図３（ｂ）に示すような距離画像２Ａｄ，２Ｂｄ，２Ｃｄを取得するためのものである。
【００４４】
図５は、Ｇ成分のカラー画像取得用の画素アレイを含んで構成されたカラー画像取得部２００の構成を示す図である。カラー画像取得部２００は、フラッシュ１２と、フラッシュ制御部１４と、画素アレイ２０１と、垂直走査部２０２と、水平走査部２０３と、トランジスタＱ１−１〜Ｑ１−ｎと、増幅器２０４と、Ａ／Ｄ変換器２０５と、によって構成される。
【００４５】
撮像装置１は、このような構成を有するＧ成分用のカラー画像取得部２００とともに、Ｒ成分用、Ｂ用のカラー画像取得部２００も備えている。本実施形態では、Ｇ成分用のカラー画像取得部２００についてのみ説明する。
【００４６】
尚、図１に示す素子駆動部１０２は、Ｇ，Ｒ，Ｂ成分用の垂直走査部２０２と、水平走査部２０３と、トランジスタＱ１１−１〜Ｑ１１−ｎと、増幅器２０４とが、Ａ／Ｄ変換器２０５と、によって構成される。
【００４７】
フラッシュ１２は、被写体２に向けて可視光を発するものである。フラッシュ制御部１４は、ＣＰＵ２４からタイミング信号Ｓｔが供給されて、フラッシュ１２を発光させるものである。
【００４８】
画素アレイ２０１は、被写体２で反射した可視光を受光するものであり、前述のようにｎ×ｎの画素回路１０１Ｇ（ｉ，ｊ）によって構成される。各画素回路１０１Ｇ（ｉ，ｊ）は、図６に示すように、フォトダイオードＰＤ１１と、トランジスタＱ１１〜Ｑ１３と、によって構成される。
【００４９】
フォトダイオードＰＤ１１は、被写体２で反射したＧ成分の光を受光して受光した光の量に対応する量の信号電荷を発生させて、出力するものであり、アノードは接地される。
【００５０】
トランジスタＱ１１は、ゲート（端子）にリセット信号Ｒ１１が供給されてフォトダイオードＰＤ１１をリセットするトランジスタである。
【００５１】
トランジスタＱ１１のゲートは、リセット線Ｌ１１に接続され、ソースは、フォトダイオードＰＤ１１のカソードに接続され、ドレインには、正電圧が印加される。
【００５２】
トランジスタＱ１２は、フォトダイオードＰＤ１１が生成した信号電荷による電流を増幅するためのものであり、そのゲートは、フォトダイオードＰＤ１１のカソードに接続され、ドレインには、正電圧が印加される。
【００５３】
トランジスタＱ１３は、行選択用のトランジスタであり、そのゲートは、行選択線Ｌ１２に接続され、ドレインは、トランジスタＱ１２のソースに接続され、ソースは、垂直信号線Ｌ１３に接続される。
【００５４】
垂直走査部２０２は、ＣＰＵ２４からタイミング信号Ｓｔが供給されて、行を選択し、その行の画素回路１０１Ｇをリセットするとともに、信号出力を制御するためのものである。垂直走査部２０２は、選択した行のリセット線Ｌ１１を介して画素回路１０１ＧのトランジスタＱ１１のゲートに、リセット信号Ｒ１１を出力することにより、選択した行の画素回路１０１Ｇをリセットする。
【００５５】
また、垂直走査部２０２は、選択した行の行選択線Ｌ１２を介して各画素回路１０１ＧのトランジスタＱ１３のゲートに、行選択信号Ｓ１１を出力することにより、信号出力を制御する。
【００５６】
トランジスタＱ１−１〜Ｑ１−ｎは、行選択線Ｌ１２に接続された画素回路１０１Ｇ（ｉ，ｊ）からの信号Ｓｉの出力を制御するためのものであり、各ドレインは、各垂直信号線Ｌ１３に接続され、各ソースは、増幅器２０４の入力端に接続される。
【００５７】
水平走査部２０３は、ＣＰＵ２４からタイミング信号Ｓｔが供給されて、トランジスタＱ１−１〜Ｑ１−ｎを制御し、信号Ｓｉを選択して出力するためのものである。
【００５８】
水平走査部２０３は、第１列目のトランジスタＱ１−１のゲートに、ハイレベルの列選択信号Ｓ１２を出力してトランジスタＱ１−１をオンする。トランジスタＱ１−１が信号Ｓｉを出力すると、列選択信号Ｓ１２の信号レベルをローレベルに設定して、トランジスタＱ１−１をオフする。
【００５９】
水平走査部２０３は、第２列目のトランジスタＱ１−２、・・・第ｎ列目のトランジスタＱ１−ｎについても、順次、列選択信号Ｓ１２を出力して、このような処理を行う。
【００６０】
増幅器２０４は、各トランジスタＱ１−１〜Ｑ１−ｎから出力された信号Ｓｉの信号電圧を増幅するものである。
【００６１】
Ａ／Ｄ変換器２０５は、増幅器２０４が信号電圧を増幅したアナログの信号Ｓｉを、カラー画像データとして、ディジタルデータに変換するものである。素子駆動部１０２は、このＡ／Ｄ変換器２０５が変換したカラー画像データを出力する。
【００６２】
次に、距離画像取得用の画素アレイを含んで構成された距離画像取得部３００の構成について説明する。この距離画像取得部３００には、例えば、特開２００４−２９４４２０号公報に記載されたものが用いられる。
【００６３】
この距離画像取得部３００は、被写体２にパルス光を照射し、このパルス光が被写体２で反射して受光するまでの光の飛行時間に基づいて距離画像を取得するものである。
【００６４】
この距離画像取得部３００は、図７に示すように、フラッシュ１３と、撮像制御部１５と、画素アレイ３０１と、受光レンズ３０２と、タイミング制御部３０３と、垂直シフトレジスタ３０４と、サンプルホールド部３０５−１〜３０５−ｎと、スイッチ部３０６−１〜３０６−ｎと、水平シフトレジスタ３０７と、出力バッファ３０８−１，３０８−２と、演算部３０９と、Ａ／Ｄ変換器３１０と、によって構成される。
【００６５】
尚、図１に示すセンサ部１１の素子駆動部１０３は、タイミング制御部３０３と、垂直シフトレジスタ３０４と、サンプルホールド部３０５−１〜３０５−ｎと、スイッチ部３０６−１〜３０６−ｎと、水平シフトレジスタ３０７と、出力バッファ３０８−１，３０８−２と、演算部３０９と、Ａ／Ｄ変換器３１０と、によって、構成される。
【００６６】
フラッシュ１３は、被写体２に向けて近赤外光を照射するものである。撮像制御部１５は、距離画像を取得するために、ＣＰＵ２４によって指示されて、フラッシュ１３とセンサ部１１とを制御するものである。
【００６７】
撮像制御部１５は、図８（ａ）に示すようなクロック信号ＣＬＫを生成するクロック信号生成部（図示せず）と、このクロック信号ＣＬＫのクロック数をカウントするカウンタと、を備える。
【００６８】
撮像制御部１５は、時刻ｔ０から、クロック信号生成部が生成したクロック信号ＣＬＫのレベルが反転する毎にフラッシュ１３を点滅することにより、近赤外光のパルス変調を行う。
【００６９】
尚、期間Ｔｐは、クロック信号ＣＬＫの信号レベルがハイレベルとなる期間を示し、期間Ｔｑは、クロック信号ＣＬＫの信号レベルがローレベルとなる期間を示し、期間Ｔｐと期間Ｔｑとは、等しいものとする。
【００７０】
撮像制御部１５は、画素回路１０１Ｌ内のフォトダイオードＰＤ１１の暗電流を検出するため、カウント数がＮ（Ｎは１以上の自然数）になる時刻ｔ１において、フラッシュ１３を消灯する。図８に示す期間Ｔａ（時刻ｔ０〜ｔ１）は、フラッシュ１３を点滅させてパルス変調を行う期間を示す。
【００７１】
そして、カウンタは、カウント数をリセットして、再び、時刻ｔ１から、クロック信号ＣＬＫのクロック数をカウントし、撮像制御部１５は、クロック数がＮになる時刻ｔ２まで、フラッシュ１３を消灯する。図８に示す期間Ｔｂ（時刻ｔ１〜ｔ２）は、このフラッシュ１３を消灯する期間を示す。
【００７２】
撮像制御部１５は、このクロック信号生成部が生成したクロック信号ＣＬＫをタイミング制御部３０３、垂直シフトレジスタ３０４に供給する。
【００７３】
画素アレイ３０１は、フラッシュ１３が照射した近赤外光が被写体２で反射したフラッシュ光を受光するものであり、前述のように、ｎ×ｎの画素回路１０１Ｌ（ｉ，ｊ）によって構成される。
【００７４】
本実施形態に係る距離画像取得部３００は、ＣＭＯＳ型の構成を有している。図９（ａ）は、本実施形態に係る各画素回路１０１Ｌ（ｉ，ｊ）の構成を示す図であり、図９（ｂ）は、この各画素回路１０１Ｌ（ｉ，ｊ）の等価回路の構成を示す図である。
【００７５】
本実施形態に係る各画素回路１０１Ｌ（ｉ，ｊ）は、図９（ａ）に示すように、ｎ層３１１ａ、ｐ+層３１１ｂ、ｎ+層３１１ｃ、３１１ｄ、シリコン酸化膜３１１ｅ、制御電極３１１ｆ、３１１ｇが形成されたｐ型シリコン基板３１１と、遮光膜３１２と、トランジスタＱ２１，Ｑ２２と、増幅器３１３と、によって構成される。
【００７６】
図９（ｂ）に示すフォトダイオードＰＤ１２は、被写体２で反射した光を受光して受光した光の量に対応する量の信号電荷を発生させて、出力するものであり、図９（ａ）に示すｎ層３１１ａとｐ+層３１１ｂとによって構成される。
【００７７】
図９（ｂ）に示すトランジスタＱ２１は、図９（ａ）に示すｐ型シリコン基板３１１とｎ層３１１ａと制御電極３１１ｆとｎ+層３１１ｃとによって構成される。この場合、ｎ層３１１ａ、ｎ+層３１１ｃ、制御電極３１１ｆが、それぞれ、トランジスタＱ２１のドレイン、ソース、ゲートになる。
【００７８】
図９（ｂ）に示すトランジスタＱ２２は、図９（ａ）に示すｐ型シリコン基板３１１とｎ層３１１ａと制御電極３１１ｇとｎ+層３１１ｄとによって構成される。この場合、ｎ層３１１ａ、ｎ+層３１１ｄ、制御電極３１１ｇが、それぞれ、トランジスタＱ２２のドレイン、ソース、ゲートになる。
【００７９】
シリコン酸化膜３１１ｅは、ｐ型シリコン基板３１１及びｐ型シリコン基板３１１に形成された各層を絶縁するためのものであり、被写体２から反射した近赤外光を透過する。
【００８０】
遮光膜３１２は、フォトダイオードＰＤ１２に相当するｎ層３１１ａ、ｐ+層３１１ｂの上部のみ開口し、この領域を除くｐ型シリコン基板３１１を遮光する。これにより、フォトダイオードＰＤ１２のみが被写体２から反射した近赤外光を受光する。
【００８１】
制御電極３１１ｆ，３１１ｇは、それぞれ、制御信号ＴＸ１，ＴＸ２が印加される電極である。制御電極３１１ｆに、ハイレベルの制御信号ＴＸ１が印加されると、制御電極３１１ｆ下にチャンネルが形成されて、図９（ｂ）に示すトランジスタＱ２１はオンする。
【００８２】
また、制御電極３１１ｇも同様に、ハイレベルの制御信号ＴＸ２が印加されると、制御電極３１１ｇ下にチャンネルが形成されて、図９（ｂ）に示すトランジスタＱ２２はオンする。
【００８３】
従って、ハイレベルの制御信号ＴＸ１，ＴＸ２が、それぞれ、制御電極３１１ｆ，３１１ｇに、交互に印加され、トランジスタＱ２１がオンすると、フォトダイオードＰＤ１２に蓄積された信号電荷による電流はトランジスタＱ２１のドレイン−ソースを経由して垂直信号線Ｌ２１へと流れる。
【００８４】
一方、トランジスタＱ２２がオンすると、フォトダイオードＰＤ１２に蓄積された信号電荷による電流はトランジスタＱ２２のドレイン−ソースを経由して垂直信号線Ｌ２２へと流れる。
【００８５】
このように、各画素回路１０１Ｌは、ハイレベルの制御信号ＴＸ１，ＴＸ２が交互に供給されることにより、フラッシュ１３が点灯している期間Ｔｐに受光した反射光により発生した第１の信号電荷と、フラッシュ１３が消灯している期間Ｔｑに受光した反射光により発生した第２の信号電荷とに分けて出力する。
【００８６】
図９（ａ），（ｂ）に示すトランジスタＱ２３，Ｑ２４は、フォトダイオードＰＤ１２をリセットするためのものである。
【００８７】
トランジスタＱ２３，Ｑ２４のソースは、それぞれ、図９（ａ）に示すｎ+層３１１ｃ、３２１ｄに接続され、それぞれのドレインには、電圧＋Ｖの電源ラインから電流が供給される。
【００８８】
増幅器３１３は、図９（ｂ）に示すトランジスタＱ２１，Ｑ２２の出力電流を増幅するためのものであり、トランジスタＱ２５〜Ｑ２７を備える。トランジスタＱ２５のドレインには、電圧＋Ｖの電源ラインから電流が供給される。
【００８９】
トランジスタＱ２６，Ｑ２７のドレインは、トランジスタＱ２５のソースに接続され、ソースは、それぞれ、垂直信号線Ｌ２１，Ｌ２２に接続される。トランジスタＱ２６，Ｑ２７のゲートは、それぞれ、トランジスタＱ２１，Ｑ２２のソースに接続される。
【００９０】
そして、トランジスタＱ２５は、ゲートにハイレベルの行選択信号Ｓ２１が供給されるとオンして、トランジスタＱ２６，Ｑ２７に電流を供給する。トランジスタＱ２１がトランジスタＱ２６のゲートに電流を供給すると、ゲート電圧はハイレベルとなって、トランジスタＱ２６はオンする。
【００９１】
トランジスタＱ２６は、オンして、トランジスタＱ２１の出力電流を増幅し、電流増幅した信号を信号Ｓｄ１として、この信号Ｓｄ１の信号電流を垂直信号線Ｌ２１に出力する。
【００９２】
また、トランジスタＱ２２がトランジスタＱ２７のゲートに電流を供給すると、トランジスタＱ２７のゲート電圧はハイレベルとなって、トランジスタＱ２７は、オンする。
【００９３】
トランジスタＱ２７は、オンして、トランジスタＱ２２の出力電流を増幅し、電流増幅した信号を信号Ｓｄ２として、この信号Ｓｄ２の信号電流を垂直信号線Ｌ２２に出力する。
【００９４】
図７に示す受光レンズ３０２は、各画素回路１０１Ｌ（ｉ，ｊ）のフォトダイオードＰＤ１２に光を集光するためのレンズである。
【００９５】
タイミング制御部３０３は、撮像制御部１５から供給されたクロック信号ＣＬＫのクロックタイミングに同期して、各画素回路１０１Ｌ（ｉ，ｊ）から信号Ｓｄ１，Ｓｄ２の信号電流を出力する出力タイミングを制御するためのものである。
【００９６】
タイミング制御部３０３は、各制御線Ｌ２３を介して各画素回路１０１Ｌ（ｉ，ｊ）に、行毎に制御信号ＴＸ１を供給する。タイミング制御部３０３は、制御信号ＴＸ１の信号レベルを、図８（ｄ）に示すように、期間Ｔｐでは、ハイレベルに設定し、期間Ｔｑでは、ローレベルに設定する。
【００９７】
また、タイミング制御部３０３は、各制御線Ｌ２４を介して各画素回路１０１Ｌ（ｉ，ｊ）に、行毎に制御信号ＴＸ２を供給する。タイミング制御部３０３は、制御信号ＴＸ２の信号レベルを、図８（ｅ）に示すように、期間Ｔｐでは、ローレベルに設定し、期間Ｔｑでは、ハイレベルに設定する。
【００９８】
垂直シフトレジスタ３０４は、行を選択して、選択した行の画素回路１０１Ｌ（ｉ，１）をリセットして、信号Ｓｄ１，Ｓｄ２の信号電流を出力する行の画素回路１０１Ｌを選択するためのものである。
【００９９】
垂直シフトレジスタ３０４は、第ｊ行目の画素回路１０１Ｌ（１，ｊ）〜１０１Ｌ（ｎ，ｊ）を選択する場合、図８（ｆ）に示すように、期間Ｔａ、期間Ｔｂの始めのクロック信号ＣＬＫの１周期において、それぞれ、図７に示すリセット線Ｌ１５を介して、ハイレベルのリセット信号Ｒ２１を画素回路１０１Ｌ（ｉ，１）に供給する。
【０１００】
また、垂直シフトレジスタ３０４は、期間Ｔａ、期間Ｔｂのそれぞれのクロック信号ＣＬＫの１周期が終了すると、リセット信号Ｒ２１をローレベルに設定してリセットを終了させる。
【０１０１】
そして、垂直シフトレジスタ３０４は、図８（ｇ）に示すように、それぞれ、期間Ｔａ，Ｔｂが終了するまで、画素回路１０１Ｌ（１，ｊ）〜１０１Ｌ（ｎ，ｊ）にハイレベルの行選択信号Ｓ２１を供給する。
【０１０２】
サンプルホールド部３０５−１〜３０５−ｎは、列毎に、各画素回路１０１Ｌ（ｉ，ｊ）から垂直信号線Ｌ２１を介して出力された信号Ｓｄ１の信号電流、垂直信号線Ｌ２２に出力された信号Ｓｄ２の信号電流を個別に蓄積して、それぞれの信号電圧をサンプルホールドするためのものである。サンプルホールド部３０５−１〜３０５−ｎは、それぞれ、サンプルホールド回路３２１，３２２を備える。
【０１０３】
サンプルホールド回路３２１は、各画素回路１０１Ｌ（ｉ，ｊ）から垂直信号線Ｌ２１を介して出力された信号Ｓｄ１の信号電流を蓄積し、蓄積した信号電流による信号電圧をサンプルホールドするものである。
【０１０４】
サンプルホールド回路３２２は、各画素回路１０１Ｌ（ｉ，ｊ）から垂直信号線Ｌ２２を介して出力された信号Ｓｄ２の信号電流を蓄積し、蓄積した信号電流による信号電圧をサンプルホールドするものである。
【０１０５】
スイッチ部３０６−１〜３０６−ｎは、各サンプルホールド部３０５−１〜３０５−ｎのサンプルホールド回路３２１，３２２がそれぞれサンプルホールドした信号Ｓｄ１の信号電圧，信号Ｓｄ２の信号電圧の出力を制御するためのものである。
【０１０６】
水平シフトレジスタ３０７は、スイッチ部３０６−１〜３０６−ｎから、いずれか１つのスイッチ部３０６−ｊを選択して、選択したスイッチ部３０６−ｉをオンするものである。
【０１０７】
水平シフトレジスタ３０７は、図８（ｈ）に示すように、選択したスイッチ部３０６−ｉに、ハイレベルの列選択信号Ｓ２２を出力することにより、スイッチ部３０６−ｉをオンする。
【０１０８】
出力バッファ３０８−１，３０８−２は、それぞれ、各サンプルホールド部３０５−１〜３０５−ｎから出力された信号Ｓｄ１の信号電圧，信号Ｓｄ２の信号電圧を個別に一時記憶するためのものである。
【０１０９】
演算部３０９は、出力バッファ３０８−１，３０８−２がそれぞれ一時記憶している信号Ｓｄ１の信号電圧，信号Ｓｄ２の信号電圧に基づいて、被写体２までの距離を演算し、距離画像データを取得するものである。
【０１１０】
演算部３０９は、出力バッファ３０８−１が一時記憶した信号電圧を記憶するメモリを備える。そして、演算部３０９は、サンプルホールド部のサンプルホールド回路３２１，３２２が期間Ｔａにおいて、それぞれ、サンプルホールドした信号Ｓｄ１の信号電圧Ｖ１、信号Ｓｄ２の信号電圧Ｖ２を、それぞれ、出力バッファ３０８−１，３０８−２から取得して、内蔵するメモリに記憶する。
【０１１１】
また、演算部３０９は、サンプルホールド回路３２１，３２２が期間Ｔｂにおいて、それぞれ、サンプルホールドした信号Ｓｄ１の信号電圧Ｖ１’、信号Ｓｄ２の信号電圧Ｖ２’を、それぞれ、出力バッファ３０８−１から取得して、内蔵するメモリに記憶する。演算部３０９は、内蔵するメモリに記憶した信号電圧Ｖ１，Ｖ１’，Ｖ２，Ｖ２’に基づいて、被写体２までの距離を演算し、距離画像データを取得する。
【０１１２】
この演算部３０９の距離画像データを取得する処理について説明する。
フォトダイオードＰＤ１２は、図８（ｂ），（ｃ）に示すように、期間Ｔａにおいて、フラッシュ１３が点灯してから、遅れ時間Ｔｄだけ遅れて、このフラッシュ光を受光する。この遅れ時間Ｔｄは、撮像装置１と被写体２と間を往復する光の飛行時間に相当するものであり、撮像装置１と被写体２と間の距離に比例する。
【０１１３】
画素回路１０１Ｌ（ｉ，ｊ）のフォトダイオードＰＤ１２は、フラッシュ光を受光している間、信号電荷を生成する。受光した光の強度を一定として、受光した光によってフォトダイオードＰＤ１２に蓄積される信号電荷の量は、受光した時間に比例する。
【０１１４】
信号電圧Ｖ１は、次の式（１）によって表される。
Ｖ１＝Ｇｃ・Ｎ・（Ｉｄ１・（Ｔｐ−Ｔｄ）
＋Ｉｄ１・２Ｔｐ＋Ｉｂ・Ｔｐ）
・・・・・・（１）
但し、Ｇｃ：利得
Ｎ：クロック信号ＣＬＫのパルス数
Ｉｐ：フォトダイオードＰＤ１２
が生成した信号電荷による電流（量）
Ｉｄ１：フォトダイオードＰＤ１２から
トランジスタＱ２１に流れる暗電流（の量）
【０１１５】
信号電圧Ｖ２は、次の式（２）によって表される。
Ｖ２＝Ｇｃ・Ｎ・（Ｉｄ１・Ｔｄ＋Ｉｄ２・２Ｔｑ＋Ｉｂ・Ｔｑ）
・・・・・・（２）
但し、Ｉｄ１：フォトダイオードＰＤ１２から
トランジスタＱ２２に流れる暗電流暗電流（の量）
【０１１６】
信号電圧Ｖ１’は、次の式（３）によって表される。
Ｖ１’＝Ｇｃ・Ｎ・（Ｉｄ１・２Ｔｐ＋Ｉｂ・Ｔｐ）    ・・・（３）
【０１１７】
信号電圧Ｖ２’は、次の式（４）によって表される。
Ｖ２’＝Ｇｃ・Ｎ・（Ｉｄ２・２Ｔｑ＋Ｉｂ・Ｔｑ）    ・・・（４）
【０１１８】
Ｔｐ＝Ｔｑであり、式（１）〜（４）より、遅れ時間Ｔｄは、次の式（５）によって表される。
【数１】
2008193514.tif 000003
但し、
Ｖ１１＝Ｖ１＋Ｖ２
Ｖ１２＝Ｖ１’＋Ｖ２’
Ｖ１３＝Ｖ１−Ｖ１’
Ｖ１４＝Ｖ２−Ｖ２’
・・・・・・（５）
【０１１９】
演算部３０９は、この式（５）に従い、信号Ｓｄ１の信号電圧Ｖ１，Ｖ１’、信号Ｓｄ２の信号電圧Ｖ２，Ｖ２’に基づいて遅れ時間Ｔｄを演算する。
【０１２０】
この遅れ時間Ｔｄは、被写体２までの光の飛行時間に比例し、光の飛行時間は、被写体２までの距離に比例する。このため、演算部３０９は、遅れ時間Ｔｄに基づいて、被写体２までの距離を演算する。
【０１２１】
演算部３０９は、このような演算を、各画素回路１０１Ｌ（ｉ，ｊ）に対して、各行、各列毎に行い、演算した距離値をアナログで出力する。
【０１２２】
このように、演算部３０９は、各画素回路１０１Ｌが出力した２つの信号電荷の量に基づいて、フラッシュ１３が点灯してからフォトダイオードＰＤ１２が反射光を受光するまでの遅れ時間を計測し、計測した遅れ時間に基づいて、被写体２までの距離情報を取得するように構成されている。
【０１２３】
Ａ／Ｄ変換器３１０は、演算部３０９が出力したアナログの距離値を距離画像データとして、ディジタルデータに変換するものである。素子駆動部１０３は、このＡ／Ｄ変換器３１０が変換した距離画像データを出力する。
【０１２４】
このように、各画素回路１０１Ｌは、フラッシュ１３が点灯している期間Ｔｐに受光した反射光により発生した第１の信号電荷と、フラッシュ１３が消灯している期間Ｔｑに受光した反射光により発生した第２の信号電荷とに分けて出力する。
【０１２５】
そして、各画素回路１０１Ｌは、第１の信号電荷の量と前記第２の信号電荷の量とに基づいて、フラッシュ１３が点灯してからフォトダイオードＰＤ１２が反射光を受光するまでの遅れ時間を計測し、計測した遅れ時間に基づいて、被写体２までの距離情報を取得するように構成されている。
【０１２６】
図１に戻り、撮像レンズ１６は、被写体２の画像を撮像素子１０１上に結像させるためのものである。レンズ駆動部１７は、ＣＰＵ２４から、コントロール信号Ｓｃ１が供給されて、被写体２への合焦が行われるように、撮像レンズ１６を駆動するためのものである。
【０１２７】
フレームメモリ１８は、センサ部１１の素子駆動部１０２（Ａ／Ｄ変換器２０４）、素子駆動部１０３（Ａ／Ｄ変換器３０９）からそれぞれ出力されたカラー画像データ、距離画像データを記憶するためのものであり、カラー画像領域１８ａと距離画像領域１８ｂとを有する。
【０１２８】
カラー画像領域１８ａは、センサ部１１の素子駆動部１０２（増幅器２０４）から出力されたカラー画像データを格納するための領域であり、距離画像領域１８ｂは、センサ部１１の素子駆動部１０３（演算部３０９）から出力された距離画像データを格納するための領域である。
【０１２９】
メモリコントローラ１９は、フレームメモリ１８への記憶処理を行うものであり、センサ部１１から出力されたカラー画像データ、距離画像データを、それぞれ、カラー画像領域１８ａ、距離画像領域１８ｂに格納する。
【０１３０】
メモリコントローラ１９は、各画素回路１０１Ｇ（ｉ，ｊ），１０１Ｒ（ｉ，ｊ），１０１Ｂ（ｉ，ｊ）毎に、センサ部１１の素子駆動部１０２（Ａ／Ｄ変換器２０４）から出力されたカラー画像データをカラー画像領域１８ａに格納する。
【０１３１】
また、メモリコントローラ１９は、画素回路１０１Ｌ（ｉ，ｊ）毎に、センサ部１１の素子駆動部１０３（（Ａ／Ｄ変換器３１０）から出力された距離画像データを距離画像領域１８ｂに格納する。
【０１３２】
データ処理部２０は、フレームメモリ１８に記憶されたカラー画像データ、距離画像データに対して、データ処理を施すものである。データ処理部２０は、フレームメモリ１８のカラー画像領域１８ａに記憶されているカラー画像データに基づいて、画素毎に、Ｇ，Ｒ，Ｂ成分のカラー画像を取得する。
【０１３３】
また、データ処理部２０は、フレームメモリ１８の距離画像領域１８ｂに記憶されている距離画像データに基づいて、画素毎に、色、明度を設定して、距離画像を取得する。
【０１３４】
ＲＯＭ２１は、ＣＰＵ２４が実行するプログラム等を記憶するためのメモリである。ＲＡＭ２２は、ＣＰＵ２４が処理を実行するために必要なデータを供給するためのものである。不揮発性メモリ２３は、データ処理部２０が取得したカラー画像、距離画像のデータを記憶するものである。
【０１３５】
ＣＰＵ２４は、ＲＯＭ２１に記憶されたプログラムに従って、撮像装置１全体を制御するものである。
【０１３６】
具体的に、例えば、撮像装置１がデジタルカメラに備えられた場合、ハーフシャッターが押下されると、ＣＰＵ２４は、ＲＯＭ２１からＡＦ処理のプログラムを読み出してＡＦ処理を実行する。ＣＰＵ２４は、この処理として、まず、図１０に示すように、撮像エリア３内に追従領域（フォーカスエリア）ＦＡを設定する。
【０１３７】
ＣＰＵ２４は、予め設定された周期で制御信号Ｓｃ１を繰り返しレンズ駆動部１７に供給し、撮像レンズ１６の焦点位置を調整して、この追従領域ＦＡに合わせ込まれた被写体２の合焦を行う。
【０１３８】
ＣＰＵ２４は、例えば、山登りサーボ方式により、被写体２の合焦を行う。この山登りサーボ方式は、撮像素子１０１から得られる信号から特定の高周波成分を取得し、この高周波成分の振幅が最大となるように撮像レンズ１６の位置を前後に移動させる方式である。
【０１３９】
ＣＰＵ２４は、予め設定された周期でタイミング信号Ｓｔを繰り返しフラッシュ制御部１４、撮像制御部１５、センサ部１１の素子駆動部１０２，１０３に供給して、各部を動作させる。
【０１４０】
次に、ＣＰＵ２４は、データ処理部２０が生成したカラー画像、距離画像に基づいて、被写体２の位置の変化の検出処理を行い、さらに、被写体２の移動後の位置データを取得する。
【０１４１】
即ち、データ処理部２０がカラー画像を生成すると、ＣＰＵ２４は、新たなカラー画像をデータ処理部２０から取得し、不揮発性メモリ２３から、既に取得したカラー画像、距離画像を取得する。
【０１４２】
また、データ処理部２０が距離画像を生成すると、ＣＰＵ２４は、新たな距離画像をデータ処理部２０から取得し、不揮発性メモリ２３から、既に取得した距離画像を取得する。
【０１４３】
そして、ＣＰＵ２４は、２つのカラー画像を比較して、被写体２の位置の変化を検出するための解析方法を選択する。また、ＣＰＵ２４は、２つの距離画像を比較して、被写体２の位置の変化を検出するための解析方法を選択する。
【０１４４】
解析方法としては、以下の３つの方法が考えられる。まず、解析方法１は、パターンマッチング方法により、被写体２の位置を検出する方法である。
【０１４５】
解析方法２は、撮像エリア３を小領域に区分し、区分した各小領域のエントロピーの変化を検出することにより、被写体２の位置を検出する方法である。エントロピーは、画面内のある画素における事象の生起確率である。
【０１４６】
解析方法３は、撮像エリア３を小領域に区分し、区分した各小領域の色差信号の変化を検出することにより、被写体２の位置を検出する方法である。
【０１４７】
カラー画像の場合、ＣＰＵ２４は、解析方法１〜３のいずれかの方法を用いて被写体２の動きを判別する。
【０１４８】
距離画像の場合、距離画像に色差成分が含まれないため、ＣＰＵ２４は、解析方法３を用いることができず、解析方法１又は２を用いて被写体２の位置を解析する。
【０１４９】
そして、ＣＰＵ２４は、カラー画像の場合は、上記解析方法１〜３から選択し、２つのカラー画像を比較して、選択した解析方法に従い、被写体２の位置の変化を検出する。
【０１５０】
また、ＣＰＵ２４は、距離画像の場合は、上記解析方法１又は２を選択し、２つの距離画像を比較して、選択した解析方法に従い、被写体２の位置の変化を検出する。
【０１５１】
ＣＰＵ２４は、２つのカラー画像を比較して被写体２の位置が変化したか否かを判定し、位置が変化したと判定した場合は、被写体２の移動後の位置を取得する。
【０１５２】
そして、ＣＰＵ２４は、新たに取得したカラー画像のデータと被写体２の移動後の位置データとをＲＡＭに記憶する。
【０１５３】
距離画像についても同様に、ＣＰＵ２４は、２つの距離画像を比較して被写体２の位置が変化したか否かを判定し、位置が変化したと判定した場合は、被写体２の移動後の位置を取得する。
【０１５４】
そして、ＣＰＵ２４は、新たに取得した距離画像のデータと被写体２の移動後の位置データとをＲＡＭに記憶する。
【０１５５】
ＣＰＵ２４は、ＲＡＭに記憶した２つの位置データが正当なものであるか否かを判定し、正当な位置データであると判定した場合、ＲＡＭに記憶した新たな位置データを不揮発性メモリ２３に記憶する。
【０１５６】
即ち、被写体２がどのように移動してきたか、その移動の履歴に基づいて、２つの位置データが正当なものか否かを判別する。
【０１５７】
被写体２が今までと全く異なる位置に出現する可能性は低く、被写体２が突然進行方向を変える可能性も低い。
【０１５８】
このため、ＣＰＵ２４は、不揮発性メモリ２３に記憶した位置データに基づいて、被写体２の移動方向に範囲を設定し、この範囲内の位置データを正当と判定する。
【０１５９】
ＣＰＵ２４は、このように正当と判定した位置データを不揮発性メモリ２３に記憶する。尚、ＣＰＵ２４は、不揮発性メモリ２３に記憶するデータ数に対して、予め制限数を設定し、記憶するデータの数がこの制限数を越えた場合、古いデータを消去する。
【０１６０】
次に、ＣＰＵ２４は、２つのカラー画像を比較した結果、取得した位置データと、２つの距離画像を比較した結果、取得した位置データとのいずれか一方を選択する。
【０１６１】
２つのカラー画像を比較した結果、取得した位置データと、２つの距離画像を比較した結果、取得した位置データと、が重なっている場合、ＣＰＵ２４は、この重なっている位置データを被写体２の移動先の位置のデータとして採用する。
【０１６２】
ＣＰＵ２４は、このように、被写体２の移動後の位置データを取得すると、被写体２の移動後の位置に追従領域ＦＡを移動させ、レンズ駆動部１７に制御信号Ｓｃ１を供給してレンズ駆動部１７を制御し、新たな追従領域ＦＡで被写体２の合焦を行う。
【０１６３】
次に実施形態１に係る撮像装置１の動作を説明する。
例えば、撮像装置１がデジタルカメラに備えられた場合、ハーフシャッターが押下されると、ＣＰＵ２４は、ＲＯＭ２１からＡＦ処理のプログラムデータを読み出す。ＣＰＵ２４は、図１１，１２に示すフローチャートに従って、ハーフシャッタが押下されている間、予め設定された周期で繰り返しこのＡＦ処理を実行する。
【０１６４】
ＣＰＵ２４は、タイミング信号Ｓｔをフラッシュ制御部１４、撮像制御部１５、センサ部１１に供給する（ステップＳ１１）。
【０１６５】
フラッシュ制御部１４は、フラッシュ１２を発光させて、可視光を被写体２に向けて投射し、撮像制御部１５は、フラッシュ１３を発光させて、パルス変調した近赤外光を被写体２に向けて投射する。
【０１６６】
センサ部１１は、ＣＰＵ２４からタイミング信号Ｓｔが供給されると、カラー画像データ、距離画像データを生成し、メモリコントローラ１９は、カラー画像データ、距離画像データを、それぞれ、フレームメモリ１８のカラー画像領域１８ａ、距離画像領域１８ｂに記憶する。
【０１６７】
データ処理部２０は、フレームメモリ１８のカラー画像領域１８ａ、距離画像領域１８ｂに記憶されたデータに基づいて、カラー画像、距離画像を生成する。
【０１６８】
ＣＰＵ２４は、データ処理部２０が生成した新たなカラー画像を取得する（ステップＳ１２）。
【０１６９】
ＣＰＵ２４は、不揮発性メモリ２３から、カラー画像を取得する（ステップＳ１３）。
【０１７０】
ＣＰＵ２４は、新たに取得したカラー画像と不揮発性メモリ２３から取得したカラー画像を比較する（ステップＳ１４）。
ＣＰＵ２４は、比較結果に基づいて、解析方法を選択する（ステップＳ１５）。
【０１７１】
ＣＰＵ２４は、選択した解析方法を用いて、被写体２の位置の変化を解析する（ステップＳ１６）。
【０１７２】
ＣＰＵ２４は、解析の結果、被写体２の位置が変化したか否かを判定する（ステップＳ１７）。
【０１７３】
被写体２の位置が変化していないと判定した場合（ステップＳ１７においてＮｏ）、ＣＰＵ２４は、ステップＳ２０の処理を実行する。
【０１７４】
一方、被写体２の位置が変化したと判定した場合（ステップＳ１７においてＹｅｓ）、ＣＰＵ２４は、被写体２の移動後の位置を取得する（ステップＳ１８）。
【０１７５】
ＣＰＵ２４は、新たに取得したカラー画像、移動後の被写体２の位置をＲＡＭに記憶する（ステップＳ１９）。
【０１７６】
ＣＰＵ２４は、データ処理部２０が生成した新たな距離画像を取得する（ステップＳ２０）。
【０１７７】
ＣＰＵ２４は、不揮発性メモリ２３から、距離画像を取得する（ステップＳ２１）。
【０１７８】
ＣＰＵ２４は、新たに取得したカラー画像と不揮発性メモリ２３から取得したカラー画像を比較する（ステップＳ２２）。
ＣＰＵ２４は、比較結果に基づいて、解析方法を選択する（ステップＳ２３）。
【０１７９】
ＣＰＵ２４は、選択した解析方法を用いて、被写体２の位置の変化を解析する（ステップＳ２４）。
【０１８０】
ＣＰＵ２４は、解析の結果、被写体２の位置が変化したか否かを判定する（ステップＳ２５）。
【０１８１】
被写体２の位置が変化していないと判定した場合（ステップＳ２５においてＮｏ）、ＣＰＵ２４は、このＡＦ処理を終了させる。
【０１８２】
一方、被写体２の位置が変化したと判定した場合（ステップＳ２５においてＹｅｓ）、ＣＰＵ２４は、被写体２の移動後の位置を取得する（ステップＳ２６）。
【０１８３】
ＣＰＵ２４は、新たに取得した距離画像、移動後の被写体２の位置をＲＡＭに記憶する（ステップＳ２７）。
【０１８４】
ＣＰＵ２４は、不揮発性メモリ２３に記憶した被写体２がいままで移動した位置データに基づいて、被写体２の移動方向を設定する（ステップＳ２８）。
【０１８５】
ＣＰＵ２４は、ＲＡＭに記憶した被写体２の移動後の位置が設定した移動方向の範囲内か否かを判定する（ステップＳ２９）。
【０１８６】
ＲＡＭに記憶した被写体２の移動後の位置が設定した移動方向の範囲内ではないと判定した場合（ステップＳ２９においてＮｏ）、ＣＰＵ２４は、このＡＦ処理を終了させる。
【０１８７】
一方、ＲＡＭに記憶した被写体２の移動後の位置が設定した移動方向の範囲内であると判定した場合（ステップＳ２９においてＹｅｓ）、ＣＰＵ２４は、ＲＡＭに記憶したカラー画像のデータ、カラー画像に基づいて取得した位置データ、距離画像、距離画像に基づいて取得した位置データを、不揮発性メモリ２３に記憶する（ステップＳ３０）。
【０１８８】
ＣＰＵ２４は、カラー画像に基づいて取得した位置データ及び距離画像に基づいて取得した位置データのうちのいずれかを選択する（ステップＳ３１）。
【０１８９】
ＣＰＵ２４は、選択した位置データに基づいて、追従領域ＦＡを移動させる（ステップＳ３２）。
【０１９０】
ＣＰＵ２４は、レンズ駆動部１７に制御信号Ｓｃ１を供給して、被写体２に合焦するように、レンズ駆動部１７を制御する（ステップＳ３３）。
【０１９１】
ＣＰＵ２４は、被写体２に合焦したか否かを判定する（ステップＳ３４）。
合焦していないと判定した場合（ステップＳ３４においてＮｏ）、ＣＰＵ２４は、再び、レンズ駆動部１７に制御信号Ｓｃ１を供給して、被写体２に合焦するように、レンズ駆動部１７を制御する（ステップＳ３３）。
【０１９２】
合焦したと判定した場合（ステップＳ３４においてＹｅｓ）、ＣＰＵ２４は、このＡＦ処理を終了させる。
【０１９３】
次に、この撮像装置１の動作を具体的に説明する。
ＣＰＵ２４が、タイミング信号Ｓｔをフラッシュ制御部１４、撮像制御部１５、センサ部１１に供給する（ステップＳ１１の処理）。
【０１９４】
図１３（ａ）に示すカラー画像２Ｄｉ０を不揮発性メモリ２３に記憶されたカラー画像として、図１３（ｂ）に示すカラー画像２Ｄｉ１をデータ処理部２０が新たに取得したカラー画像とする。
【０１９５】
ＣＰＵ２４は、図１３（ｂ）に示すカラー画像２Ｄｉ１を、データ処理部２０から取得する（ステップＳ１２の処理）。また、ＣＰＵ２４は、図１３（ａ）に示すカラー画像２Ｄｉ０を不揮発性メモリ２３から取得する（ステップＳ１３の処理）。
【０１９６】
ＣＰＵ２４は、この２つのカラー画像２Ｄｉ０，２Ｄｉ１を比較して、解析方法を選択する（ステップＳ１４，Ｓ１５の処理）。
【０１９７】
この場合、解析方法１〜３のいずれでも選択することができる。例えば、解析方法２を選択した場合、ＣＰＵ２４は、解析方法２に従って被写体２の位置の変化を解析する（ステップＳ１６の処理）。
【０１９８】
まず、ＣＰＵ２４は、図１３（ａ），（ｂ）に示すように、撮像エリア３内に領域ＵＬ，ＵＲ，ＬＬ，ＬＲ，ＦＡを設定する。
【０１９９】
そして、ＣＰＵ２４は、図１３（ａ），（ｂ）に示す各領域ＵＬ，ＵＲ，ＬＬ，ＬＲ，ＦＡのエントロピーＰｉを演算し、被写体２の位置の変化を解析する。
【０２００】
エントロピーをＨｉとして、各領域内のある画素における事象“ｉ”の生起確率をＰｉとすると、エントロピーＨｉは、次の式（６）によって表される。
Ｈｉ＝−ＰｉlogＰｉ                    ・・・・・・（６）
【０２０１】
ＣＰＵ２４は、この式（６）に従い、図１３（ａ），（ｂ）にそれぞれ示す各領域ＵＬ，ＵＲ，ＬＬ，ＬＲ，ＦＡのエントロピーＨｉを演算する。
【０２０２】
図１３（ａ），（ｂ）に示すように、領域ＦＡ，ＵＲのエントロピーＨｉは、変化する。このため、ＣＰＵ２４は、被写体２の位置が変化したと判定する（ステップＳ１７においてＹｅｓ）。
【０２０３】
ＣＰＵ２４は、図１３（ｃ）に示すように、動きベクトルＶｉ１を取得して、被写体２の移動後の位置を取得する（ステップＳ１８の処理）。
【０２０４】
ＣＰＵ２４は、新たに取得したカラー画像２Ｄｉ１とこの動きベクトルＶｉ１とをＲＡＭに記憶する（ステップＳ１９の処理）。
【０２０５】
ＣＰＵ２４は、距離画像についても同様の処理を行う。
図１４（ａ）に示す距離画像２Ｄｄ０は不揮発性メモリ２３に記憶された距離画像であり、図１４（ｂ）に示す距離画像２Ｄｄ１は、データ処理部２０が新たに取得した距離画像とする。
【０２０６】
ＣＰＵ２４は、図１４（ｂ）に示す距離画像２Ｄｄ１を、データ処理部２０から取得し（ステップＳ２０の処理）、図１４（ａ）に示す距離画像２Ｄｄ０を不揮発性メモリ２３から取得する（ステップＳ２１の処理）。
【０２０７】
ＣＰＵ２４は、この２つの距離画像２Ｄｄ０，２Ｄｄ１を比較して、解析方法を選択する（ステップＳ２２，Ｓ２３の処理）。
【０２０８】
この場合も、解析方法１〜３のいずれかを選択することができるため、ＣＰＵ２４は、解析方法２を選択するものとする。ＣＰＵ２４は、解析方法２に従って被写体２の位置の変化を解析する（ステップＳ２４の処理）。
【０２０９】
ＣＰＵ２４は、同様に、図１４（ａ），（ｂ）に示すように、撮像エリア３内に領域ＵＬ，ＵＲ，ＬＬ，ＬＲ，ＦＡを設定し、図１４（ａ），（ｂ）に示す各領域ＵＬ，ＵＲ，ＬＬ，ＬＲ，ＦＡのエントロピーＰｉを演算し、被写体２の位置の変化を解析する。
【０２１０】
図１４（ａ），（ｂ）に示すように、領域ＦＡ，ＵＲのエントロピーＨｉは、変化するため、ＣＰＵ２４は、被写体２の位置が変化したと判定する（ステップＳ２５においてＹｅｓ）。
【０２１１】
ＣＰＵ２４は、図１４（ｃ）に示すように、動きベクトルＶｄ１を取得して、被写体２の移動後の位置を取得する（ステップＳ２６の処理）。
【０２１２】
ＣＰＵ２４は、新たに取得したカラー画像２Ｄｄ１とこの動きベクトルＶｄ１とをＲＡＭに記憶する（ステップＳ２７の処理）。
【０２１３】
図１５（ａ）に示すように、動きベクトルＶｉ１，Ｖｄ１により得られた被写体２の移動後の位置が設定した移動方向の範囲内と判定した場合（ステップＳ２９においてＹｅｓ）、ＣＰＵ２４は、ＲＡＭに記憶したデータを不揮発性メモリ２３に記憶する（ステップＳ３０の処理）。
【０２１４】
この場合、動きベクトルＶｉ１，Ｖｄ１により得られた被写体２の移動後の位置がいずれも設定した移動方向の範囲内であるため、例えば、ＣＰＵ２４は、動きベクトルＶｉ１により得られた被写体２の移動後の位置データを選択するものとする（ステップＳ３１の処理）。
【０２１５】
位置データを選択する方法としては、検出精度の高いと推定される方の動きベクトルを採用する。具体的には、ＣＰＵ２４は、動きベクトルを記憶し、今までに取得した動きベクトルに基づいて検出精度を推定する。
【０２１６】
例えば、カラー画像、距離画像が全く異なる位置に出現する可能性は低く、被写体２が突然、進行方向を変える可能性も低い。ＣＰＵ２４は、このような場合、検出精度が低いと判定し、この位置データを採用しない。
【０２１７】
そして、ＣＰＵ２４は、図１５（ｂ）に示すように、選択した位置データに基づいて追従領域ＦＡを移動させる（ステップＳ３２の処理）。
【０２１８】
ＣＰＵ２４は、レンズ駆動部１７に制御信号Ｓｃ１を供給し（ステップＳ３３の処理）、合焦した場合（ステップＳ３４においてＹｅｓ）、このＡＦ処理を終了させる。
【０２１９】
以上説明したように、本実施形態１によれば、ＣＰＵ２４は、カラー画像に基づいて取得した被写体２の位置データと距離画像に基づいて取得した位置データとを比較して、比較結果に基づいて、被写体２の位置の変化を取得するようにした。
従って、精度良く被写体２の合焦を行うことができ、被写体２の画像を撮像素子１０１に結像させることができる。
【０２２０】
また、カラー画像については、解析方法１〜３を選択することができ、距離画像については、解析方法１又は２を選択して、被写体２の位置の変化するので、被写体２のどのような状況でも、その状況に応じて、被写体２を確実に追尾することができる。
【０２２１】
例えば、図１８に示すように、被写体２が（ａ）→（ｂ）→（ｃ）→（ｄ）に示すように、形状が変化した場合、ＣＰＵ２４は、不揮発性メモリ２３に記憶された距離画像とデータ処理部が生成した距離画像とを比較して、解析方法２を選択する。ＣＰＵ２４がこの解析方法２を選択して、被写体２の位置の変化を解析することにより、精度良く被写体２の位置の変化を検出することができる。そして、精度良く撮像素子上に被写体２の画像を結像させることができる。
【０２２２】
また、図１９に示すように、被写体２ｐの前を、被写体２ｐと同じエントロピーを有する物体２ｑが横切った場合、ＣＰＵ２４は、不揮発性メモリ２３に記憶されたカラー画像とデータ処理部が生成したカラー画像とを比較して、解析方法３を選択する。
【０２２３】
そして、ＣＰＵ２４は、各小領域の色差信号の変化により、被写体２の位置の変化を検出する。
【０２２４】
このように、被写体２ｐの前を、被写体２ｐと同じエントロピーを有する物体２ｑが横切ったとしても、ＣＰＵ２４は、解析方法３を選択することにより、精度良く被写体２を追尾することができ、精度良く撮像素子上に被写体２の画像を結像させることができる。
【０２２５】
また、図２０に示すように、被写体２が撮像装置１から遠ざかる場合、ＣＰＵ２４は、不揮発性メモリ２３に記憶された距離画像とデータ処理部が生成した距離画像とを比較して、解析方法２を選択する。ＣＰＵ２４がこの解析方法２を選択して、被写体２の位置の変化を解析することにより、精度良く被写体２の位置の変化を検出することができる。
【０２２６】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、被写体２が撮像エリア３から外れた場合、撮像装置１の向きを変えるようにしてもよい。
【０２２７】
この場合、撮像装置１は、図１６に示すように、撮像部１ａと、制御部１ｂと、姿勢制御部１ｃと、によって構成される。撮像部１ａは、図１７に示すように構成され、図１に示すＲＯＭ２１、ＲＡＭ２２、不揮発性メモリ２３、ＣＰＵ２４が撮像部１ａから除かれる。そして、制御部１ｂは、ＲＯＭ２１、ＲＡＭ２２、不揮発性メモリ２３、ＣＰＵ２４を備える。
【０２２８】
姿勢制御部１ｃは、撮像部１ａの姿勢を制御して向きを変えるためのものである。
【０２２９】
制御部１ｂのＣＰＵ２４は、撮像部１ａにタイミング信号を出力し、撮像部１ａのメモリコントローラ１９に制御信号Ｓｃ２を供給して、メモリコントローラ１９を制御する。
【０２３０】
また、ＣＰＵ２４は、図１５，１６に示すように、撮像部１ａのデータ処理部２０から、カラー画像、距離画像のデータＤoutを取得する。
【０２３１】
ＣＰＵ２４は、被写体２が撮像エリア３から外れた場合、姿勢制御部１ｃに制御信号Ｓｃ３が供給して、撮像部１ａが被写体２を追尾するように、姿勢制御部１ｃを制御する。
【０２３２】
撮像装置１がこのように構成されることにより、被写体２が撮像エリア３から外れた場合でも、制御部１ｂ、姿勢制御部１ｃが、撮像部１ａの向きを調整して、被写体２を追尾することができ、精度良く被写体２を追従領域ＦＡ内に捉えることができる。
【０２３３】
また、本実施形態では、被写体２のカラー画像、距離画像を２つとも取得するようにした。しかし、いずれか一方の画像を取得するように、手動で選択させることもできる。この場合、撮像装置１に、指示情報を入力するための操作部（図示せず）を備える。
【０２３４】
また、上記実施形態において、距離を測定する距離画像センサとして図９に示すような構造を有するものを用いた。しかし、距離画像センサは、このものに限られるものではない。例えば一画素置きに配置される距離画素３つで、それぞれ図９のｎ+層３１１ｃ、ｐ+層３１１ｂ、ｎ+層３１１ｄとなるように構成しても構わない。このように構成することにより、設計の自由度が向上する。
【０２３５】
また、上記実施形態において、距離を測定する為の画素はＲＧＢの輝度を測定する画素とは全く異なる構造を有しているものとして説明が、このようではなくとも構わない。すなわち、ＣＭＯＳ、ＣＣＤを用いて距離を測定することもできる。
【０２３６】
通常のＣＭＯＳやＣＣＤにおいても近赤外線や紫外線を受光することが出来ると共に、現状の撮像素子においては、その動作速度から、特に近距離の近赤外線や紫外線が被写体に反射して帰ってくる時間を計測するのには、その測定精度に問題があるが、強力な近赤外線や紫外線を使用して、比較的長距離を測定する場合においては、特段特殊な構造の撮像素子を用いなくとも、距離を測定することは可能であると共に、将来撮像素子の性能が向上すれば、距離の測定も可能になり、距離を測定するための画素をこのように構成しても構わない。
【０２３７】
また、上記実施形態では、検出した被写体に追従してＡＦを行うように構成したが、このようではなくとも構わない。
例えば、検出した被写体に追従して、単に特定のマークを重畳して表示してもよく、これにより被写体がどのように動いているのか解り易く表示することができる。
【０２３８】
また、特許第３７５０４９９号のように検出した被写体を中心として特定の領域のズームを行い切り出すようにフレーミングを追従して行うように構成（オートフレーミング）しても良く、これにより被写体が頻繁に動きフレーミングを合わせ続け難いような状況であっても、適当となるフレーミングを継続することができる。
【０２３９】
また、上記したＡＦ追従、特定マークの追従、フレーミングの追従を単独で行うばかりではなく、必要に応じて組み合わせて使用しても良い。
【０２４０】
また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、撮像装置１を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【０２４１】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【図面の簡単な説明】
【０２４２】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】図１に示す撮像装置が被写体を撮像する例を示す図である。
【図３】撮像装置が被写体を撮像したときの画像を示す図であり、（ａ）は、撮像装置が取得した被写体のカラー画像を示し、（ｂ）は、撮像装置が取得した距離画像を示す。
【図４】図１に示す撮像素子の構成を示す図である。
【図５】図１に示す撮像装置が備えるカラー画像取得部の構成を示す図である。
【図６】図５に示すカラー画像取得部の画素回路の構成を示す。
【図７】図１に示す撮像装置が備える距離画像取得部の構成を示す図である。
【図８】図７に示す距離画像取得部の動作を示すタイミングチャートである。
【図９】図７に示す距離画像取得部の画素回路の構成を示す図であり、（ａ）は、画素回路のフォトダイオード及びその周辺の断面を示し、（ｂ）は、（ａ）の等価回路を示す。
【図１０】撮像エリア内に設定された追従領域を示す図である。
【図１１】図１に示すＣＰＵが実行するＡＦ処理を示すフローチャート（その１）である。
【図１２】図１に示すＣＰＵが実行するＡＦ処理を示すフローチャート（その２）である。
【図１３】撮像装置の具体的な動作（その１）を示す図であり、（ａ）は、不揮発性メモリに記憶されているカラー画像と追従領域周辺に設定された各領域を示し、（ｂ）は、データ処理部から取得したカラー画像と追従領域周辺に設定された各領域を示し、（ｃ）は、移動した被写体の動きベクトルを示す。
【図１４】撮像装置の具体的な動作（その２）を示す図であり、（ａ）は、不揮発性メモリに記憶されている距離画像と追従領域周辺に設定された各領域を示し、（ｂ）は、データ処理部から取得した距離画像と追従領域周辺に設定された各領域を示し、（ｃ）は、移動した被写体の動きベクトルを示す。
【図１５】撮像装置の具体的な動作（その３）を示す図であり、（ａ）は、２つのカラー画像を比較した結果、取得した動きベクトルと、２つの距離画像を比較した結果、取得した動きベクトルとの関係を示し、（ｂ）は、移動させた追従領域を示す。
【図１６】撮像装置の応用例として、撮像エリアから外れた被写体を追従するようにした場合の撮像装置の構成を示す図である。
【図１７】図１６に示す撮像部の構成を示す図である。
【図１８】形状が変化する被写体を示す図である。
【図１９】被写体の前を、被写体の同じエントロピーを有する物体が横切る例を示す図である。
【図２０】被写体が撮像装置から遠ざかる例を示す図である。
【符号の説明】
【０２４３】
１・・・撮像装置、２・・・被写体、１１・・・センサ部、１４・・・フラッシュ制御部、１５・・・撮像制御部、２０・・・データ処理部、２４・・・ＣＰＵ、２３・・・不揮発性メモリ、１０２、１０３・・・素子駆動部、２００・・・カラー画像取得部、３００・・・距離画像取得部
【図１】
2008193514.tif 000004
【図２】
2008193514.tif 000005
【図３】
2008193514.tif 000006
【図４】
2008193514.tif 000007
【図５】
2008193514.tif 000008
【図６】
2008193514.tif 000009
【図７】
2008193514.tif 000010
【図８】
2008193514.tif 000011
【図９】
2008193514.tif 000012
【図１０】
2008193514.tif 000013
【図１１】
2008193514.tif 000014
【図１２】
2008193514.tif 000015
【図１３】
2008193514.tif 000016
【図１４】
2008193514.tif 000017
【図１５】
2008193514.tif 000018
【図１６】
2008193514.tif 000019
【図１７】
2008193514.tif 000020
【図１８】
2008193514.tif 000021
【図１９】
2008193514.tif 000022
【図２０】
2008193514.tif 000023