(57)【要約】【課題】被写体検出の応答性を維持しつつ、検出画角の制約がなく、被写体が大きくなった場合においても被写体検出精度の高いシステムを提供することを目的とする。【解決手段】デジタルカメラ、デジタルビデオカメラのように撮像手段から入力された映像、あるいは音声入力手段から入力された音声情報を該デジタルカメラ、デジタルビデオカメラの有する記録媒体に記録し、該記録媒体に記録された映像、音声情報を記録媒体から読み出し、再生することができ、更に被写体を検出する手段を有する撮像装置において、撮像素子から所望の画素データを先読みする手段を有し、画像データを構成するための画素を、第１グループと第２グループに分け、第１グループから先に撮像手段から読み出し、第１グループを読み出した後に、第２グループを読み出す手段を有することを特徴とする。【選択図】  図１
2012124769.tif 000002
【特許請求の範囲】
【請求項１】
デジタルカメラ、デジタルビデオカメラのように撮像手段から入力された映像、あるいは音声入力手段から入力された音声情報を該デジタルカメラ、デジタルビデオカメラの有する記録媒体に記録し、該記録媒体に記録された映像、音声情報を記録媒体から読み出し、再生することができ、更に被写体を検出する手段を有する撮像装置において、撮像素子からの画素データを先読みする手段を有し、画像データを構成するための画素を、第１グループと第２グループに分け、第１グループから先に撮像手段から読み出し、第１グループを読み出した後に、第２グループを読み出す手段を有することを特徴とする被写体検出手段を有する撮像装置。
【請求項２】
第１グループに含まれる画素は離散的に配置されていて、第２グループはそれ以外の位置に配置されていることを特徴とする請求項１に記載の被写体検出手段を有する撮像装置。
【請求項３】
第１グループには特定色の画素のみ含まれているか、あるいは、第１グループの方が第２グループよりも特定色の画素が含まれている割合が高いことを特徴とする請求項１又は請求項２に記載の被写体検出手段を有する撮像装置。
【請求項４】
記録媒体に記録される画像データは、第１および第２グループの画素データを合成して生成することを特徴とする請求項１乃至請求項３の何れか１項に記載の被写体検出手段を有する撮像装置。
【請求項５】
撮像装置の電源投入後、第１グループから先行して撮像手段から読み出し、該第１グループの画素データから生成した画像に基づいて被写体を検出することを特徴とする請求項１乃至請求項４の何れか１項に記載の被写体検出手段を有する撮像装置。
【請求項６】
検出した被写体の大きさに応じて撮像手段から読み出す画素データを適応的に切り替える手段を有し、該検出した被写体の大きさが全画素数の１／Ｎの画素数を含む領域を基準に該検出した被写体の大小比較する手段を有することを特徴とする請求項１乃至請求項５の何れか１項に記載の被写体検出手段を有する撮像装置。
【請求項７】
検出した被写体の大きさが全画素数の１／Ｎの画素数を含む領域よりも大きい場合、第１グループの画素データを先行して撮像手段から読み出す手段を有することを特徴とする請求項１乃至請求項６の何れか１項に記載の被写体検出手段を有する撮像装置。
【請求項８】
撮影画像を複数の領域に分割する手段を有し、検出した被写体の大きさが全画素数の１／Ｎの画素数を含む領域よりも小さい場合、該複数に分割した領域のうち特定の領域の画素データを撮像手段から読み出す手段を有することを特徴とする請求項１乃至請求項７の何れか１項に記載の被写体検出手段を有する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ、デジタルビデオカメラのように撮像手段（センサ）から入力された映像、あるいは音声入力手段から入力された音声情報を該デジタルカメラ、デジタルビデオカメラの有する記録媒体に記録し、該記録媒体に記録された映像、音声情報を記録媒体から読み出し、再生することができる撮像装置における被写体検出手段の制御手法に関するものである。
【背景技術】
【０００２】
撮像装置における被写体検出手段において、被写体検出処理の応答性を高め、撮影画像内の被写体を高速に検出するため、撮影画像内で被写体検出の対象とする領域を限定していた。（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2010-010737号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、撮影画像内で被写体検出の対象とする領域を限定し、撮像手段（センサ）から該領域における画素データを先行して読み出すことにより、被写体検出の応答性を高めているシステムにおいては、検出画角に制約があるため、被写体が広範囲に渡る（例えば、被写体が大きい）場合、被写体を検出できなくなる可能性がある。
【０００５】
図６（１）は
【特許文献１】に示すように撮影画像内で被写体検出の対象とする領域を限定し、撮像手段（センサ）から該領域の画素データを先行して読み出すことにより、先行して読み出した画素データに基づいて被写体を検出することにより、被写体検出の応答性を高めているシステムにおける領域分割の一例である。
【０００６】
図中、領域Ａは被写体検出の対象とする領域であり、撮像手段（センサ）から該領域の画素データを先行して読み出す。領域Ｂは、撮像画像のうち、領域Ａ以外の領域であり、撮像手段（センサ）から領域Ａの画素データを読み出した後、該領域の画素データが読み出される。
【０００７】
該撮像手段（センサ）からの画素データの読み出し処理は垂直同期信号（Ｖ）の１周期間内で完了する。
【０００８】
図６（２）に示すように、撮影中に被写体が広範囲に渡る（例えば、被写体が大きくなった）場合、領域Ａに存在する画像データからは被写体を検出できない（例えば、領域Ａに存在する画素データから、顔と認識できない）。それを回避するために領域Ａを大きくしてしまうと、領域Ａを構成する画素数は多くなり、被写体検出の対象とする領域が大きくなる。その結果、図６（３）に示すように被写体検出処理に時間を要し、例えば、垂直同期信号（Ｖ）に同期して撮像手段（センサ）から画素データを読み出す場合、該被写体検出処理は次のＶまで処理時間を要する。すなわち、１Ｖ期間内で被写体検出処理が完了しない。
【０００９】
そこで、本発明は、被写体検出の応答性を維持しつつ、検出画角の制約がなく、被写体が大きくなった場合においても被写体検出精度の高いシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、撮像手段（センサ）から所望の画像データを先行して読み出すことが可能な撮像システムにおいて、画像データを構成する画素を、第１グループと第２グループに分け、第１グループから先に撮像手段から読み出し、先に読み出した第１グループの画素で構成される画像データに基づいて、被写体検出する。
【００１１】
尚、記録媒体に記録される画像データは、第１および第２グループの出力を合成して生成する。
第１グループに含まれる画素は離散的に配置されていて、第２グループはそれ以外の位置に配置されている。
【００１２】
また、第１グループには特定色の画素のみ含まれているか、あるいは、第１グループの方が第２グループよりも特定色の画素が含まれている割合が高いものとする。
【発明の効果】
【００１３】
本発明によれば、被写体が広範囲に渡る（被写体が大きい）場合においても、検出画角に制約がなく、検出応答性を維持しつつ、被写体が大きくなっても確実に検出できる（検出精度を高めることができる）。
【図面の簡単な説明】
【００１４】
【図１】第一、二の実施例を説明するための撮像装置の構成図
【図２（１）】第一、二の実施例を説明するためのタイミング図
【図２（２）】第一、二の実施例を説明するためのタイミング図
【図３】第一の実施例の処理シーケンス説明図
【図４】第二の実施例を説明するためのタイミング図
【図５】第二の実施例の処理シーケンス説明図
【図６（１）】従来例の説明図
【図６（２）】従来例の説明図
【図６（３）】従来例の説明図
【発明を実施するための形態】
【００１５】
［実施例１］
図１に本発明の第一の実施例に関わるデジタルカメラ、デジタルビデオカメラ等の撮像装置の構成図を示す。
【００１６】
図中、１０１はフォーカスレンズ、１０２はＣＭＯＳ等の固体撮像素子、１０３は該ＣＭＯＳ等の固体撮像素子１０２の読み出し制御を行うＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｅ）部、１０４は該固体撮像素子１０２から読み出された信号をディジタル信号に変換するＡ／Ｄ変換部（センサインターフェース）、１０５はディジタル信号に変換された固体撮像素子からの信号を処理し、画像データを生成するカメラ信号処理部、１０６は画像データを高精細な静止画生成のためにインターレース方式の信号からプログレッシブ方式の信号に変換するＩＰ変換部、１０７は画像データを動画像記録の画角にするための動画リサイズ部、１０８は動画リサイズ部１０７にてリサイズした画像に対するＮＲ（Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ）処理部、１０９は、動画像の画角にリサイズされた画像データを符号化する動画符号化部、１１０は、映像信号と音声情報入力手段であるマイクロフォン（不図示）からの音声情報信号を記録するフォーマットに変換する記録信号処理部であり、更に、音声データを復号処理し、音声信号としてスピーカー（不図示）に送る。１１１は、映像情報、音声情報を記録する記録媒体である。
【００１７】
１１２は、ＪＰＥＧ等の符号化処理を行う静止画符号化部、１１３は、ＪＰＥＧ等の静止画符号化手段にて符号化された静止画像データを格納するＳＤカード等の静止画記録部、１１４は、各種信号処理部と符号化手段等の機能ブロックにて処理されたデータを一旦、格納するＳＤＲＡＭ等のメインメモリであり、該各機能ブロックは、該メインメモリ１１４をシェアして使用しており、該メインメモリ１１４を介して信号処理データ、画像データの受け渡しを行っている。１１５は、該メインメモリ１１４に対する各機能ブロックからのアクセス要求を制御し、アクセスを調停するアービター部、１１６は、ＣＭＯＳ等の固体撮像素子１０２から読み出した画素データからなる撮影画角の領域を分割する領域制御部、１１７は、撮影している被写体を検出し、該被写体の動きを検出する動き／被写体検出部、１１８は、該撮像装置システムを制御するシステム制御部である。
【００１８】
このような処理システムを有する撮像装置における撮像素子１０２から画素データを読み出すタイミングの説明図を図２（１）に示す。本構成では、垂直同期信号（Ｖ）に同期して撮像素子１０２から画素データを読み出し、１Ｖ期間かけてＣＭＯＳ等の撮像素子１０２から全画素データを読み出す。
【００１９】
本構成においては、撮像素子１０２を原色単板ベイヤ配列のＣＭＯＳセンサとし、画像データを構成するための画素（全画素データ）を、第１グループと第２グループに分け、第１グループから先に撮像素子１０２から読み出し、第１グループを読み出した後に、第２グループを読み出す構成とする。
【００２０】
第１グループに含まれる画素は離散的に配置されていて、第２グループはそれ以外の位置に配置されている。
【００２１】
また、第１グループには特定色の画素のみ含まれているか、あるいは、第１グループの方が第２グループよりも特定色の画素が含まれている割合が高いとする。
【００２２】
本構成では、特定色をＧ１データとする。
【００２３】
図２（２）に撮像素子１０２から読み出した画素データを示す。
【００２４】
撮像素子１０２からの画素データの読み出しは第１グループ、すなわち全画素データのうちＧ１データのみを先行して読み出す。その後、撮像素子１０２から第２グループ、すなわち全画素データのうちＧ１以外のＲ、Ｇ２、Ｂデータを読み出す。
【００２５】
第１グループの画素データ（Ｇ１）、第２グループの画素データ（Ｒ、Ｇ２、Ｂ）は共にアービター１１５経由でＤＲＡＭ１１４に格納される。
【００２６】
第１グループの画素データ（Ｇ１）、第２グループの画素データ（Ｒ、Ｇ２、Ｂ）はカメラ信号処理部１０５で合成され、該合成された画像データは、記録媒体に記録する画像データとする。
【００２７】
また、先行して読み出した第１グループの画素データ（Ｇ１）は被写体検出部１１７にも入力され、該被写体検出部１１７にて該Ｇ１データに基づき、被写体が検出される。
この処理シーケンスのフローチャートを図３に示す。
【００２８】
撮像装置の電源投入後（Ｓ３０１）、撮影者から記録指示がなされた場合（Ｓ３０２）、第１グループから先に撮像素子１０２から読み出し（Ｓ３０３）、第１グループを読み出した後に、第２グループを読み出す（Ｓ３０５）。第１グループの画素データは、被写体検出部１１７に入力し、被写体を検出する（Ｓ３０８）。本シーケンスは、記録中、継続する。
このように撮像素子１０２から先行して読み出した画素データに基づき、被写体を検出するので、領域を分割して撮像素子から画素データを順次、読み出す従来の構成（図６）と比較し、被写体検出の応答性を維持しつつ、撮影画像の全体（全画角）を対象に被写体検出可能とし、検出画角の制約をなくし、被写体が大きくなっても被写体を確実に検出できる。
【００２９】
［実施例２］
本構成における他の実施例を以下に説明する。
【００３０】
本実施例における撮像装置の構成も図１と同様の構成とする。
【００３１】
撮像素子１０２を原色単板ベイヤ配列のＣＭＯＳセンサとし、画像データを構成するための画素（全画素データ）を、第１グループと第２グループに分け、第１グループから先に撮像素子１０２から読み出し、第１グループを読み出した後に、第２グループを読み出す。
【００３２】
第１グループに含まれる画素は離散的に配置されていて、第２グループはそれ以外の位置に配置されている。
【００３３】
また、第１グループには特定色の画素のみ含まれているか、あるいは、第１グループの方が第２グループよりも特定色の画素が含まれている割合が高いとする。
【００３４】
本構成では、特定色をＧ１データとする。
【００３５】
図２（２）に撮像素子１０２から読み出した画素データを示す。
【００３６】
撮像素子１０２からの画素データの読み出しは第１グループ、すなわち全画素データのうちＧ１データのみを先行して読み出す。その後、撮像素子１０２から第２グループ、すなわち全画素データのうちＧ１以外のＲ、Ｇ２、Ｂデータを読み出す。
【００３７】
第１グループの画素データ（Ｇ１）、第２グループの画素データ（Ｒ、Ｇ２、Ｂ）は共にアービター１１５経由でＤＲＡＭ１１４に格納される。
【００３８】
第１グループの画素データ（Ｇ１）、第２グループの画素データ（Ｒ、Ｇ２、Ｂ）はカメラ信号処理部１０５で合成され、記録媒体に記録する画像データとする。
【００３９】
また、先行して読み出した第１グループの画素データ（Ｇ１）は被写体検出部１１７にも入力され、該被写体検出部１１７にて該Ｇ１データに基づき、被写体が検出される。
【００４０】
このように撮像素子１０２から先行して読み出した画素データに基づき、被写体を検出するので、図６に示す領域を分割して撮像素子から画素データを順次、読み出す従来の構成と比較し、被写体検出の応答性を維持し、撮影画像の全体（全画角）を対象に被写体を検出でき、検出画角に制約がなく、被写体が大きくなっても被写体を確実に検出できる。      
【００４１】
しかし、第１グループの画素データ（Ｇ１）は全画素データにおいて離散的に配置されている。
【００４２】
すなわち、撮像素子１０２から画素を間引いて読み出すことと等価となり、被写体を検出するために使用する画像データの解像度が低下する。本構成のように撮像素子１０２が原色単板ベイヤ配列のＣＭＯＳセンサの場合、撮像素子１０２から先行して読み出した第１グループの画素データ（Ｇ１）は１／４に間引きされることとなる。
【００４３】
被写体が小さい場合は、該先行して読み出した画素データの解像度が低下に伴い、被写体検出処理に利用する被写体検出画像の解像度が低下することになり、その結果、被写体検出の精度が低下する可能性がある。
【００４４】
そこで、被写体検出の精度が低下することを抑制するため、必要に応じて、適応的に撮像素子１０２を制御し、該撮像素子１０２から読み出す画素データを切り替える。
【００４５】
図４に本構成におけるシーケンスのタイミング図を示す。撮像装置の電源投入後、領域制御部１１６はＴＧ１０３に対し、撮像素子１０２から読み出す画素データを選択する指示を出す。
【００４６】
撮像装置の電源投入直後は、撮影する被写体が撮影画角内のどこに存在するのかわからないので、撮像素子１０２から第１グループの画素データ（Ｇ１）を先行して読み出し、第１グループの画素データ（Ｇ１）を先行して読み出した後、第２グループの画素データ（Ｒ、Ｇ２、Ｂ）を読み出す。該先行して読み出した第１グループの画素データ（Ｇ１）に基づいて被写体を検出することにより、被写体検出は撮影画像全体（全画角）に渡って実行される。このとき、検出した被写体に対する撮影画像における位置を被写体検出部１１７に記憶しておく。ここでは、記憶する情報を被写体に対する撮影画像における位置を含む領域の座標として記憶し、領域Ａとし、座標情報として記憶する。
【００４７】
ここで、システム制御部１１８にて領域Ａの座標情報に基づき、該領域Ａが全画角の１／４以下の領域か、あるいは１／４より大きい領域か否かの判定を行う。
【００４８】
領域Ａが全画角の１／４以下の領域であると判定された場合、被写体検出部１１７にて記憶している被写体位置情報（領域Ａの座標情報）をシステム制御部１１８を通じて領域制御部１１６に送出し、領域制御部１１６は、該被写体位置情報に基づき、ＴＢ１０３を制御し、該被写体位置情報に基づいた領域Ａの画素データを撮像素子１０２から先行して読み出す。領域Ａの画素データを読み出した後、領域Ａ以外の領域である領域Ｂの画素データを読み出す。
【００４９】
また、領域Ａが全画角の１／４より大きい領域であると判定された場合、システム制御部１１８を通じて領域制御部１１６に対し、撮像素子１０２から第１グループの画素データ（Ｇ１）を先行して読み出すように指示を出す。該指示を受けた領域制御部１１６は、ＴＢ１０３を制御し、    第１グループの画素データ（Ｇ１）を先行して読み出す。
【００５０】
該第１グループの画素データ（Ｇ１）を先行して読み出した後、第２グループの画素データ（Ｒ、Ｇ２、Ｂ）を読み出す。該先行して読み出した第１グループの画素データ（Ｇ１）に基づいて被写体を検出することにより、被写体検出は撮影画像全体（全画角）に渡って実行される。
【００５１】
この処理シーケンスのフローチャートを図５に示す。
【００５２】
撮像装置の電源投入後（Ｓ５０１）、撮影者から記録指示がなされた場合（Ｓ５０２）、第１グループから先に撮像素子１０２から読み出し（Ｓ５０３）、第１グループを読み出した後に、第２グループを読み出す（Ｓ５０５）。第１グループの画素データは、被写体検出部１１７に入力し、被写体を検出し（Ｓ５０８）、その結果を記憶しておく（Ｓ５０９）。結果は、被写体を含む領域の座標として記憶しておく。該領域が全画角の１／４以下の領域か、あるいは１／４より大きい領域か否かの判定を行う（Ｓ５１０）。
【００５３】
該領域が全画角の１／４以上の領域であると判定された場合、次の垂直同期信号（Ｖ）に同期して撮像素子１０２から画素データを読み出す際にも、第１グループの画素データを先行して読み出す。
【００５４】
該領域が全画角の１／４以下の領域であると判定された場合、次の垂直同期信号（Ｖ）に同期して撮像素子１０２から画素データを読み出す際、該領域を撮像素子１０２から先行して読み出す（Ｓ５１１）。該領域を読み出した後、該領域以外の領域である領域を読み出す（Ｓ５１３）。
【００５５】
本シーケンスは、記録中、継続する。
【００５６】
以上のように被写体位置情報により、被写体の大きさを判定し、該被写体の大きさが全画角の１／４の領域より小さい場合、領域を分割して該分割した領域の画素データを撮像素子から順次、読み出す構成とし、被写体の大きさが全画角の１／４の領域より大きい場合、画素データの解像度低下の影響は少ないので、特定色データ（Ｇ１）を先行して撮像素子から読み出し、該先行して読み出した特定色の画素データに基づき、被写体を検出することにより、被写体の大きさによらず、被写体検出の応答性を維持することができ、被写体の大小判断に応じて適応的に撮像素子に対する制御を切り替え、該撮像素子から読み出す画素データを変えることにより、被写体検出画角に制約がなくなり、被写体を確実に検出できる。
【符号の説明】
【００５７】
１０１： フォーカスレンズ
１０２： 撮像素子
１０３： ＴＧ部
１０４： Ａ／Ｄ変換部
１０５： カメラ信号処理部
１０６： ＩＰ変換部
１０７： 動画像リサイズ部
１０８： ＮＲ処理部
１０９： 動画符号化部
１１０： 記録信号処理部
１１１： 記録媒体
１１２： 静止画符号化部
１１３： 静止画記録媒体
１１４： メインメモリ
１１５： メモリ制御部
１１６： 領域制御部
１１７： 動き／被写体検出部
１１８： システム制御部
【図１】
2012124769.tif 000003
【図２（１）】
2012124769.tif 000004
【図２（２）】
2012124769.tif 000005
【図３】
2012124769.tif 000006
【図４】
2012124769.tif 000007
【図５】
2012124769.tif 000008
【図６（１）】
2012124769.tif 000009
【図６（２）】
2012124769.tif 000010
【図６（３）】
2012124769.tif 000011