(57)【要約】      （修正有）【課題】撮像された画像に対しての演算を色情報のみに限定しても、自動焦点調節に用いる測距点を精度よく探索することを可能にした撮像装置を提供すること。【解決手段】複数の測距点を測距する測距手段と、色情報を含む測光画像データを取得する測光手段と、追尾対象の特徴色を設定して測光画像データから追尾対象に最も近い１点を追尾結果として出力する特徴色追尾手段と、測光画像データから特徴色と略同色を有する画像領域を検出する色領域検出手段と、位置情報を元に測距点を選択する第１の測距点選択手段と、デフォーカス量を用いて画像領域の中から焦点調節を行う測距点を選択する第２の測距点選択手段とを有し、追尾対象の色と略同色を有する画像領域の大きさが閾値未満である場合は、第１測距点選択手段を用い、そうでない場合は第２の測距点選択手段を用いて選択された測距点に対して焦点調節を行う。【選択図】図１
2018013665.tif 000002
【特許請求の範囲】
【請求項１】
撮像画面上に設定した複数の測距点を測距する測距手段（１０５）と、
被写体の色情報を含む測光画像データを取得する測光手段（１０８）と、
追尾対象の特徴色を設定して前記測光画像データから前記追尾対象の特徴色に最も近い１点を追尾結果として出力する特徴色追尾手段（１０８）と、
前記測光画像データから前記特徴色と同色を有する画像領域を検出する色領域検出手段（１０８）と、
前記特徴色追尾手段により得られた位置情報を元に焦点調節を行う測距点を選択する第１の測距点選択手段（１０５）と、
前記色領域検出手段によって得られた画像領域と前記複数の測距点のデフォーカス量を算出し前記デフォーカス量を用いて前記画像領域の中から焦点調節を行う測距点を選択する第２の測距点選択手段（１０５）と、を有し、
前記追尾対象の色と同色を有する画像領域の大きさが閾値未満である場合は、前記第１測距点選択手段を用い、そうでない場合は前記第２の測距点選択手段を用いて選択された測距点に対して焦点調節を行うことを特徴とする撮像装置（１０１）。
【請求項２】
撮像装置内に色領域検出手段に設定するための色域に関する情報を予め保持しておく色域保持手段（２０６）をさらに有し、前記追尾対象の特徴色が前記色域に属すると判定された場合は、前記第２の測距点選択手段を用いることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記色域保持手段に保持している色域は肌色であることを特徴とする請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における被写体追尾処理および焦点検出の技術に関する。
【背景技術】
【０００２】
従来、固体撮像素子を搭載したカメラにおいて、連続して撮像される画像から任意の被写体像を抽出し、連続するコマ間で被写体を追尾し続ける機能が実用化されている。連続撮影中の各画像における被写体像の位置検出によって、適切な自動焦点調節と自動露出演算が可能となる。被写体追尾法としては、画像内における被写体像の領域をテンプレートとしてテンプレートマッチングを行って被写体を探索する方法や、被写体像の領域内の特徴色を抽出し、抽出した特徴色を用いて被写体を探索する方法が知られている。
【０００３】
特許文献１には、パターンを繰り返し検出することにより追尾対象の像を追尾する第１追尾手段と、対象の色と輝度との少なくとも一方を用いて追尾する第２追尾手段とを持ち、第１追尾手段による追尾が不可能となった場合に、第２追尾手段による追尾に変更する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−９５９０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された従来技術では、パターンを処理するための演算部と色または輝度を処理するための演算部の両方を持つ必要があり、演算回路の規模が大きくなってしまう。
【０００６】
そこで、本発明の目的は、撮像された画像に対しての演算を色情報のみに限定しても、自動焦点調節に用いる測距点を精度よく探索することを可能にした撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明に係る撮像装置は、
撮像画面上に設定した複数の測距点を測距する測距手段と、被写体の色情報を含む測光画像データを取得する測光手段と、追尾対象の特徴色を設定して前記測光画像データから前記追尾対象の特徴色に最も近い１点を追尾結果として出力する特徴色追尾手段と、前記測光画像データから前記特徴色と略同色を有する画像領域を検出する色領域検出手段と、前記特徴色追尾手段により得られた位置情報を元に焦点調節を行う測距点を選択する第１の測距点選択手段と、前記色領域検出手段によって得られた画像領域と前記複数の測距点のデフォーカス量を算出し前記デフォーカス量を用いて前記画像領域の中から焦点調節を行う測距点を選択する第２の測距点選択手段とを有し、前記追尾対象の色と略同色を有する画像領域の大きさが閾値未満である場合は、前記第１測距点選択手段を用い、そうでない場合は前記第２の測距点選択手段を用いて選択された測距点に対して焦点調節を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮像された画像に対しての演算を色情報のみに限定しても、自動焦点調節に用いる測距点を精度よく探索することを可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の構成例を示す図である。
【図２】撮像装置の構成例を示すブロック図である。
【図３】本発明の実施例に係る撮像装置の撮影処理を示すフローチャートである。
【図４】色領域抽出結果および測距点群の配置を示す概略図である。
【図５】色領域抽出結果を示す概略図である。
【図６】追尾対象の色領域抽出と色追尾に用いる色空間を例示した図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１１】
図１の構成例に示す撮像装置において、カメラ本体部１０１の前面には撮影レンズ１０２が装着される。撮影レンズ１０２は交換可能であり、カメラ本体部１０１と撮影レンズ１０２は、マウント接点群１１５を介して電気的に接続されている。撮影レンズ１０２は、内部にフォーカスレンズ１１３と絞り１１４を備えており、マウント接点群１１５を介した制御により、カメラ内に取り込む光量とピントを調整する。
【００１２】
カメラ本体部１０１内に配置された可動のメインミラー１０３はハーフミラーであり、ファインダ観測状態で撮影光路上に斜設され、撮影レンズ１０２からの撮影光束をファインダ光学系へと反射する。一方、メインミラー１０３の透過光は可動のサブミラー１０４を介してＡＦ（オートフォーカス）装置１０５に入射する。
【００１３】
ＡＦ装置１０５は焦点状態検出センサを備え、撮影レンズ１０２の二次結像面を焦点検出ラインセンサ上に形成することで、位相差検出方式により撮影レンズ１０２の焦点調節状態を検出する。ピント板１０６はファインダ光学系を構成し、撮影レンズ１０２の予定結像面に配置されている。ペンタプリズム１０７はファインダ光路を変更し、アイピース１０９からユーザがピント板１０６を観察することで撮影画面を確認できる。
【００１４】
ＡＥ（自動露出）装置１０８は測光センサを備え、これに照射される光信号から測光画像データを生成する。測光画像データは輝度データと色データを有する。ＡＥ装置１０８は、測光画像データを用いて被写体の明るさと色を検出し、露出演算および被写体検出処理を行う。サブミラー１０４の背後にはフォーカルプレーンシャッタ１１０が配置され、さらに撮像素子１１１が位置する。メインミラー１０３およびサブミラー１０４が撮影光束上から退避し、フォーカルプレーンシャッタ１１０が開くことにより、撮像素子１１１が露光される。カメラ本体部１０１の背面には表示手段としてディスプレイユニット１１２が設けられており、ユーザが撮影情報や撮影画像を確認できる。
【００１５】
次に、本実施形態の撮像装置の機能について、図１および図２を用いて説明する。なお、図２は本発明に関連する構成要素のみを示す。
【００１６】
操作部２０１はユーザが操作する操作部材を備えており、カメラ本体部１０１に取り付けられたボタン、スイッチ、ダイヤル、接続機器等を介してユーザが行った操作を検知し、操作指示に応じた信号をシステム制御部２０６へ送る。操作部２０１は、ユーザがレリーズボタンを半押し操作した場合に発する指示信号（以下、ＳＷ１信号という）と、レリーズボタンを深く押し込む全押し操作を行った場合に発する指示信号（以下、ＳＷ２信号という）をシステム制御部２０６に出力する。ここで、ユーザがレリーズボタンの半押し操作を維持した状態を「ＳＷ１保持状態」と呼び、レリーズボタンの全押し操作を維持した状態を「ＳＷ２保持状態」と呼ぶこととする。
【００１７】
また、操作部２０１は、ユーザがＳＷ１保持状態にてレリーズボタンを離した瞬間にＳＷ１解除信号をシステム制御部２０６に出力し、ＳＷ２保持状態にてユーザがレリーズボタンを離した瞬間にＳＷ２解除信号をシステム制御部２０６に出力する。
【００１８】
自動焦点検出を行うＡＦ装置１０５は、ＡＦ制御部２０４および焦点状態検出センサ２０５を備える。ＡＦ制御部２０４は、焦点状態検出センサ２０５の検出情報を取得して焦点調節に用いる測定点での焦点ずれ量を演算する。
【００１９】
焦点状態検出センサ２０５は、図４に示すように、複数の検出位置に対応するラインセンサで構成される。図示の例では、撮像画面上での６１個の検出位置に対応する複数のラインセンサが設けられており、サブミラー１０４を介した入射光を電気信号に変換し、像信号をＡＦ制御部２０４に出力する。
【００２０】
ＡＦ制御部２０４は、焦点状態検出センサ２０５が出力する像信号に基づいて、各ラインセンサに対応する測定点での焦点ずれ量、つまりデフォーカス量を計算し、焦点調節に用いる測定点を１つ選択する。そして、ＡＦ制御部２０４は、各測定点でのデフォーカス量をデータとして持つデフォーカスマップと、選択した測定点の位置情報をシステム制御部２０６に出力する。
【００２１】
ＡＦ制御部２０４はシステム制御部２０６を介して、選択された測定点の位置情報およびデフォーカスマップのデータに基づいて焦点調節制御を行い、不図示の駆動部を介して可動の光学部材であるフォーカスレンズ１１３を駆動制御する。なお、焦点調節制御では、選択された測定点でのデフォーカス量に対応したフォーカスレンズ１１３の駆動量が算出される。あるいは、光学部材の駆動に伴って撮像素子等の位置制御を行う形態等でもよく、本発明の実施上、制御形態の如何は問わない。
【００２２】
自動露出演算および被写体検出を行うＡＥ装置１０８は、ＡＥ制御部２０２および測光センサ２０３を備える。測光センサ２０３は、被写体の色情報を含む測光画像データを検出する。ＡＥ制御部２０２は、測光センサ２０３が検出した測光画像データを取得して、特定色と同色の領域を求める演算を行うことができる。
【００２３】
特定色と同色であるかどうかは、測光画像データの画素が、例えば、図６−（ａ）のようにｘｙ色度図中の点Ｃ１〜Ｃ４から構成される四角形の内部に位置しているかどうかで判定する。内部に位置している場合は当該画素に１をセットし、そうでない場合は０にセットした二値画像を生成する。ここで、想定した被写体に対して、光源の設定などを変えたときに取りうる色の範囲を予め測定しておき、この範囲を点Ｃ１〜Ｃ４として設定するようにしてもよい。例えば、想定した被写体が人物である場合は、肌の色の範囲を予め決定しておき、点Ｃ１〜Ｃ４に設定することで人物の顔部分を含む領域を取得することができる。事前に決定した範囲を設定することで、光源の状態変化に対してロバストな被写体領域抽出が可能となる。
【００２４】
さらに、ＡＥ制御部２０２は、測光センサ２０３が検出した測光画像データを取得して、設定した特徴色に最も近い色を持つ画素の座標を演算することもできる。例えば、図６−（ｂ）のようにｘｙ色度図上で、追尾対象の特徴色を表す点Ｐから最も近い距離にある画素Ｑを測光画像データの画素のなかから探索し、画素Ｑの測光画像上での座標を出力する。測光画像データの取得と特徴色に最も近い色を持つ画素の座標演算を繰り返すことで、特徴色に対しての色追尾を行うことができる。
【００２５】
また、ＡＥ制御部２０２は、測光センサ２０３の測光画像データに基づいて自動露出演算を行い、演算結果をシステム制御部２０６に出力する。
【００２６】
システム制御部２０６はＡＥ制御部２０２からの自動露出演算結果に基づいて、絞り１１４の絞り量を制御し、カメラ本体部１０１内の入射光量を調節する。さらに、自動露出演算結果に基づいて、レリーズ操作時にフォーカルプレーンシャッタ１１０の制御が行われ、撮像素子１１１の露光時間が調節される。
【００２７】
システム制御部２０６は、操作部２０１の出力信号に基づいてメインミラー１０３、サブミラー１０４、およびフォーカルプレーンシャッタ１１０を制御する。
【００２８】
システム制御部２０６は、操作部２０１の出力信号がＳＷ２信号である場合、メインミラー１０３およびサブミラー１０４のアップ動作制御を行って撮影光路上から退避させ、フォーカルプレーンシャッタ１１０を制御して撮像素子１１１へ光を照射させる。そして、シャッタ制御が終了すると、システム制御部２０６はメインミラー１０３およびサブミラー１０４のダウン動作制御を行う。
【００２９】
撮像素子１１１は撮影レンズ１０２を通して入射する被写体からの光を電気信号に変換して画像データを生成し、システム制御部２０６へ出力する。システム制御部２０６は撮像素子１１１から取得した画像データに従ってディスプレイユニット１１２の画面上に画像を表示させるとともに、画像記憶装置２０７へ画像データを書き込む制御を行う。
【実施例１】
【００３０】
以下、図３のフローチャートを参照して、本発明の実施形態における撮像装置の動作について説明する。
【００３１】
まず、ステップＳ１０１で、システム制御部２０６はＡＥ制御部２０２から特定色領域の抽出を指示し、ＡＥ制御部２０２から特定色領域データを取得する。ＡＥ制御部２０２は、測光センサ２０３を駆動し得られた測光画像データを用いて特定色と同色の領域を求める演算を行い、特定色画素を１、それ以外の画素を０とした二値画像データを生成し、特定色領域データとしてシステム制御部２０６へ送信する。ここで、人物の肌色とみなせる範囲予め決定しておきこの範囲を特定色として設定すると、図４や図５に示すように人物の顔部分を含む領域を取得することができる。
【００３２】
ステップＳ１０２では、システム制御部２０６は、Ｓ１０１で取得した特定色領域データをＡＦ制御部２０４に送信するとともに、ＡＦ制御部２０４にＡＦ制御を指示し、ＡＦ制御部２０４から追尾対象位置を取得する。ＡＦ制御部２０４は、焦点状態検出センサ２０５が出力する像信号に基づいて、各ラインセンサに対応する測定点での焦点ずれ量、つまりデフォーカス量を計算する。さらにＡＦ制御部２０４は、得られたデフォーカス量と特定色領域データを用いて焦点調節に用いる測定点を１つ選択する。測定点選択方法としては、例えば、特定色領域（画素が１となっている領域）の中でデフォーカス量がもっともカメラから近い距離を示す測距点を選択する方法を用いてもよい。ユーザが操作部２０１を操作して測距点を指定している場合は、指定された測距点を選択するようにしてもよい。ＡＦ制御部２０４は、選択した測距点に対して焦点調節を行うとともに、選択した測距点を追尾対象位置として、システム制御部２０６に通知する。
【００３３】
ステップＳ１０３では、システム制御部２０６は、追尾対象位置の画素が特定色であるかどうかを判定する。例えば、ステップＳ１０１で取得した二値画像データ上で追尾対象位置の画素が１かどうかを判定し、１ならば追尾対象位置の画素が特定色であると判断する。特定色であると判定された場合はステップＳ１０４に進み、そうでなければステップＳ１１０に進む。
【００３４】
ステップＳ１０４では、システム制御部２０６は、追尾対象の大きさが所定値以上であるかどうかを判定する。追尾対象の大きさの求める方としては、例えば次に示し方法を用いる。まず、ステップＳ１０１で取得した二値画像データに対して、ラベリング処理を行う。ラベリング処理については、縦、横、斜め方向に連続している部分を同じラベルにするなどの公知の方法を適用する。次に、ラベリングされた領域のうち、追尾対象の画素を含む領域を追尾対象領域として、その大きさを求める。大きさを求める方法として、ここでは、追尾対象領域内でラベリングされている画素の個数を追尾対象領域の大きさとみなす方法を採用する。
【００３５】
図４と図５は取得した測光画像データを示している。塗りつぶしてある領域は特定色と判定された領域のうちで、追尾対象領域としてラベリングされている領域を示している。ここで、図４の追尾対象領域Ｒの大きさＮ１、図５の追尾対象領域の大きさＮ２、追尾対象の大きさ判定用の閾値Ｎｔｈとの関係が、
Ｎ１＞Ｎｔｈ＞Ｎ２
であるとする。図４で示した追尾対象領域の大きさＮ１は、
Ｎ１＞Ｎｔｈ
なので、追尾対象の大きさが所定値以上であると判断し、ステップＳ１０５に進む。図４で示した追尾対象領域の大きさＮ２は、
Ｎ２＜Ｎｔｈ
なので、追尾対象の大きさが所定値未満であると判断し、ステップＳ１１０に進む。
【００３６】
ステップＳ１０５からステップＳ１０９では、特定色領域抽出結果から測距点を選択し、選択した測距点に対して焦点調節を行う方法を示している。
【００３７】
ステップＳ１０５では、システム制御部２０６は、ＡＥ制御部２０２に対して特定色領域の抽出を指示し、ＡＥ制御部２０２から特定色領域データを取得する。ＡＥ制御部２０２は、測光センサ２０３を駆動し得られた測光画像データを用いて特定色と同色の領域を求める演算を行い、特定色画素を１、それ以外の画素を０とした二値画像データを生成し、特定色領域データとしてシステム制御部２０６へ送信する。
【００３８】
ステップＳ１０６では、システム制御部２０６は、ＡＦ制御部２０４にデフォーカスマップ取得を指示する。ＡＦ制御部２０４は、焦点状態検出センサ２０５が出力する像信号に基づいて、各測定点でのデフォーカス量をデータとして持つデフォーカスマップを生成する。
【００３９】
ステップＳ１０７では、システム制御部２０６は、Ｓ１０５で取得した特定色領域データをＡＦ制御部２０４に送信するとともに、ＡＦ制御部２０４に測距点選択を指示する。ＡＦ制御部２０４は、特定色領域の内部にある測距点を候補として設定し、測距点候補のなかから次回の焦点調節に用いる測定点を１つ選択する。測定点選択方法としては、例えば、デフォーカスマップと前回までの選択測距点情報から、公知の測距点選択方法を用いる。ＡＦ制御部２０４は選択した測距点情報をシステム制御部２０６に通知する。
【００４０】
ステップＳ１０８では、ＡＦ制御部２０４は選択した測距点に対して焦点調節を行う。
【００４１】
ステップＳ１０９では、追尾ＡＦを終了するかどうかの判定を行い、追尾処理を継続すると判断した場合はステップＳ１０５に戻り、追尾処理を終了すると判断した場合は追尾ＡＦを終了する。判定方法としては、例えば、ユーザが操作部２０１を操作して追尾ＡＦ終了を指示した場合は追尾ＡＦを終了すると判断する。
【００４２】
ステップＳ１１０からステップＳ１１４では、色追尾結果から測距点を選択し、選択した測距点に対して焦点調節を行う方法を示している。
【００４３】
ステップＳ１１０では、システム制御部２０６は、ＡＥ制御部２０２に対して色追尾を指示し、色追尾結果を取得する。まず、システム制御部２０６は、ステップＳ１０２で取得した追尾対象位置をＡＥ制御部２０２に通知する。ＡＥ制御部２０２は、ステップＳ１０２で取得した測光画像データ上の追尾対象位置に相当する画素の色情報を色追尾に使う特徴色として設定する。つづいて、ＡＥ制御部２０２は、測光センサ２０３を駆動し、得られた測光画像データを用いて、設定した特徴色に最も近い色を持つ画素の座標を演算する。ＡＥ制御部２０２は、演算結果を色追尾結果としてシステム制御部２０６に通知する。
【００４４】
ステップＳ１１１では、システム制御部２０６は、ステップＳ１１０で取得した色追尾結果をＡＦ制御部２０４に送信するとともに、ＡＦ制御部２０４に測距点選択を指示する。ＡＦ制御部２０４は、色追尾結果の位置からもっとも近い距離にある測距点を次回の焦点調節に用いる測定点として選択する。
【００４５】
ステップＳ１１２では、システム制御部２０６は、ＡＦ制御部２０４にデフォーカスマップ取得を指示する。ＡＦ制御部２０４は、焦点状態検出センサ２０５が出力する像信号に基づいて、各測定点でのデフォーカス量をデータとして持つデフォーカスマップを生成する。
【００４６】
ステップＳ１１３では、ＡＦ制御部２０４は選択した測距点に対して焦点調節を行う。
【００４７】
ステップＳ１１４では、追尾ＡＦを終了するかどうかの判定を行い、追尾処理を継続すると判断した場合はステップＳ１１０に戻り、追尾処理を終了すると判断した場合は追尾ＡＦを終了する。判定方法としては、例えば、ユーザが操作部２０１を操作して追尾ＡＦ終了を指示した場合は追尾ＡＦを終了すると判断する。
【００４８】
以上のように制御することで、追尾対象が大きい場合は、特定色領域データとデフォーカスマップ情報を利用して測距点選択を行い、被写体に対して精度良く焦点調節を行うことが可能となる。追尾対象が小さい場合は、追尾対象色と同色である領域の大きさも小さいので良好に色追尾結果を得ることができるため、被写体に対して精度良く焦点調節を行うことが可能となる。さらに、特定色領域を抽出するときに使う色領域を予め決定しておくことで、被写体の光源状態によらず精度よく被写体領域を抽出することができる。
【００４９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５０】
１１３  フォーカスレンズ、２０２  ＡＥ制御部、２０３  測光センサ、
２０４  ＡＦ制御部、２０５  焦点状態検出センサ、２０６  システム制御部
【図１】
2018013665.tif 000003
【図２】
2018013665.tif 000004
【図３】
2018013665.tif 000005
【図４】
2018013665.tif 000006
【図５】
2018013665.tif 000007
【図６】
2018013665.tif 000008