(57)【要約】【課題】  ズームインのときに注目被写体の位置をユーザに容易に把握させる。【解決手段】  撮像装置は、ズームレンズを介して被写体の画像を撮像する撮像部と、ズーム操作を受け付ける操作部と、ズーム制御部と、特徴量取得部と、被写体検出部と、報知部とを備える。ズーム制御部は、ズーム操作に応じてズームレンズの倍率を調整する。特徴量取得部は、ズームインの開始のときに、注目被写体の特徴量を画像から取得する。被写体検出部は、特徴量を用いて、ズームレンズのズームインの間に撮像された他の画像から注目被写体の位置を検出する。報知部は、ズームインのときに、撮像部の撮像範囲内での注目被写体の位置に関する情報を出力する。【選択図】  図１
2013251701.tif 000002
【特許請求の範囲】
【請求項１】
ズームレンズを介して被写体の画像を撮像する撮像部と、
ズーム操作を受け付ける操作部と、
前記ズーム操作に応じて前記ズームレンズの倍率を調整するズーム制御部と、
ズームインの開始のときに、注目被写体の特徴量を前記画像から取得する特徴量取得部と、
前記特徴量を用いて、前記ズームレンズのズームインの間に撮像された他の画像から前記注目被写体の位置を検出する被写体検出部と、
ズームインのときに、前記撮像部の撮像範囲内での前記注目被写体の位置に関する情報を出力する報知部と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記報知部は、前記注目被写体の位置表示を重畳した画像を表示する表示装置を含む撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記特徴取得部は、ズームインによって前記注目被写体が所定の大きさを超えたときに、前記他の画像における前記注目被写体の範囲の一部から前記特徴量を再取得する撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記ズーム制御部は、前記注目被写体の範囲の一部にエッジが含まれないときには、前記操作部からのズームインの操作を不能化する撮像装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の撮像装置において、
前記ズーム制御部は、前記他の画像から前記注目被写体の位置が検出できないときに、前記操作部からのズームインの操作を不能化する撮像装置。
【請求項６】
請求項１から請求項４のいずれか１項に記載の撮像装置において、
前記ズーム制御部は、前記他の画像から前記注目被写体の位置が検出できないときに、前記ズームレンズをズームアウトさせる制御を行う撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来から、電子カメラなどの撮像装置に関し、注目する被写体をフレーミングするための種々の技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２８８１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像装置で被写体をズームインするときには次第に画角が狭くなるので、些細な手ぶれなどでも被写体がフレームアウトしやすくなる。そのため、ズームインのときに注目する被写体が撮像範囲内のどの位置にあるかを、ユーザが容易に把握できるようにすることが望まれる。
【課題を解決するための手段】
【０００５】
本発明の一例である撮像装置は、ズームレンズを介して被写体の画像を撮像する撮像部と、ズーム操作を受け付ける操作部と、ズーム制御部と、特徴量取得部と、被写体検出部と、報知部とを備える。ズーム制御部は、ズーム操作に応じてズームレンズの倍率を調整する。特徴量取得部は、ズームインの開始のときに、注目被写体の特徴量を画像から取得する。被写体検出部は、特徴量を用いて、ズームレンズのズームインの間に撮像された他の画像から注目被写体の位置を検出する。報知部は、ズームインのときに、撮像部の撮像範囲内での注目被写体の位置に関する情報を出力する。
【発明の効果】
【０００６】
本発明によれば、ズームインのときに注目する被写体が撮像範囲内のどの位置にあるかを、ユーザが容易に把握できる。
【図面の簡単な説明】
【０００７】
【図１】一の実施形態における電子カメラの構成例を示す図
【図２】一の実施形態における電子カメラの動作例を示す流れ図
【図３】一の実施形態におけるスルー画像の表示例を示す図
【図４】一の実施形態におけるスルー画像の表示例を示す図
【図５】一の実施形態におけるスルー画像の表示例を示す図
【発明を実施するための形態】
【０００８】
図１は、撮像装置の一例である一の実施形態における電子カメラの構成例を示す図である。なお、一の実施形態では、高倍率ズームレンズを備えたレンズ一体型電子カメラ（コンパクト型電子カメラ）での構成例を説明する。
【０００９】
電子カメラ１００は、ズームレンズ１０１と、レンズドライバ１０２と、撮像部１０３と、カメラマイコン１０４と、メモリ１０５と、メディアＩ／Ｆ１０６と、モニタ１０７と、ズームスイッチ１０８と、レリーズスイッチ１０９とを有している。ここで、レンズドライバ１０２、撮像部１０３、メモリ１０５、メディアＩ／Ｆ１０６、モニタ１０７、ズームスイッチ１０８およびレリーズスイッチ１０９は、それぞれカメラマイコン１０４と接続されている。
【００１０】
ズームレンズ１０１は、撮影倍率を調整するためのレンズである。ズームレンズ１０１のレンズ位置（ズーム位置）は、レンズドライバ１０２によって光軸方向に調整される。
【００１１】
撮像部１０３は、ズームレンズ１０１を介して結像された被写体の像を撮像（撮影）するモジュールである。例えば、撮像部１０３は、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やＡ／Ｄ変換処理などを施す信号処理回路とを含んでいる。
【００１２】
また、電子カメラ１００の撮影モードにおいて、撮像部１０３は、レリーズスイッチ１０９による撮像指示に応じて、不揮発性の記憶媒体（１１０）への記録を伴う記録用の静止画像を撮影する。また、撮像部１０３は、撮影モードにおいて所定の時間間隔ごとに観測用の画像（スルー画像）を連続的に撮影する。時系列に取得されたスルー画像のデータは、モニタ１０７での動画表示（ライブビュー表示）やカメラマイコン１０４による各種の演算処理に使用される。
【００１３】
カメラマイコン１０４は、電子カメラ１００の動作を統括的に制御するプロセッサである。例えば、カメラマイコン１０４は、入力される１フレーム分の画像のデータに対して、色補間、ホワイトバランス補正、階調変換、色空間変換などの画像処理を施す。
【００１４】
また、カメラマイコン１０４は、ズーム制御部１１１と、特徴量取得部１１２と、被写体検出部１１３と、表示制御部１１４とを有する。なお、カメラマイコン１０４に含まれる各部の機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現される。
【００１５】
ズーム制御部１１１は、ズームスイッチ１０８の入力に応じてレンズドライバ１０２を制御し、ズームレンズ１０１の撮影倍率を調整する。
【００１６】
特徴量取得部１１２は、注目被写体の特徴量をスルー画像から取得し、ズーム時のマッチング処理に用いるテンプレートを生成する。
【００１７】
被写体検出部１１３は、ズームインのときに上述のテンプレートを用いたテンプレートマッチングを実行し、スルー画像から注目被写体の位置を検出する。
【００１８】
表示制御部１１４は、報知部の一例であって、モニタ１０７への画像表示を制御する。例えば、表示制御部１１４は、撮影モードにおいてスルー画像をモニタ１０７に表示させる。このとき、表示制御部１１４は、注目被写体の位置を示す表示をスルー画像に重畳させることもできる。
【００１９】
メモリ１０５は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、メモリ１０５は、揮発性の記憶媒体であるＳＤＲＡＭである。
【００２０】
メディアＩ／Ｆ１０６は、不揮発性の記憶媒体１１０を接続するためのコネクタを有している。そして、メディアＩ／Ｆ１０６は、コネクタに接続された記憶媒体１１０に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１１０は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードなどである。なお、図１では記憶媒体１１０の一例としてメモリカードを図示する。
【００２１】
モニタ１０７は、スルー画像のライブビュー表示や、静止画の再生表示などを行う表示装置である。
【００２２】
ズームスイッチ１０８は、ズームレンズ１０１の撮影倍率を広角側に変化する操作（ズームアウト）または望遠側に変化させる操作（ズームイン）を受け付ける操作部材である。また、レリーズスイッチ１０９は、記録用画像の撮像指示などを受け付ける操作部材である。
【００２３】
次に、図２の流れ図を参照しつつ、一の実施形態における電子カメラの動作例を説明する。なお、図２の流れ図は、例えば、撮影モードの起動時にカメラマイコン１０４により開始される。
【００２４】
ステップ＃１０１：カメラマイコン１０４は、撮像部１０３を駆動させてスルー画像の撮像を開始する。これにより、カメラマイコン１０４は、スルー画像を撮像部１０３から取得する。また、撮影モードでのカメラマイコン１０４は、スルー画像をモニタ１０７に動画表示させる。したがって、ユーザは、モニタ１０７のスルー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。なお、フレーミングを行うときには、ユーザはズームスイッチ１０８を操作することで、撮影倍率を自由に変更できる。
【００２５】
ステップ＃１０２：特徴量取得部１１２は、ユーザの注目被写体決定操作（例えばレリーズスイッチ１０９の半押し操作）に応じて、スルー画像から注目被写体のテンプレートを生成する。一の実施形態では、注目被写体決定操作のときに撮像範囲の中央に位置する被写体を注目被写体として扱う。
【００２６】
例えば、特徴量取得部１１２は、レリーズスイッチ１０９の半押し操作を受け付けたタイミングで、スルー画像の中央部分から所定サイズの範囲をトリミングする。そして、特徴量取得部１１２は、トリミングされた所定サイズの部分画像から被写体のエッジを抽出し、テンプレートを生成する。テンプレートには、エッジの位置、エッジの長さ、エッジの交点（コーナー）などの特徴量が含まれる。なお、テンプレートの情報は、特徴量取得部１１２によってメモリ１０５に保持される。
【００２７】
ステップ＃１０３：被写体検出部１１３は、新たに入力されたスルー画像と、テンプレートとのマッチングを実行する。例えば、被写体検出部１１３は、マッチング対象となるスルー画像からエッジを抽出し、スルー画像の各位置でテンプレートの特徴量と比較する。そして、被写体検出部１１３は、スルー画像とテンプレートとの類似度が閾値以上であって、かつ類似度が最も高くなる箇所を注目被写体の位置とする。
【００２８】
ステップ＃１０４：被写体検出部１１３は、＃１０３でスルー画像から注目被写体の位置を検出できたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０５に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０６に処理が移行する。なお、＃１０６のＮＯ側は、例えば、撮像範囲から注目被写体をロストした場合に相当する。
【００２９】
ステップ＃１０５：表示制御部１１４は、注目被写体の位置表示を、スルー画像とともにモニタ１０７に表示する。例えば、表示制御部１１４は、＃１０３の検出結果に基づき、撮像範囲内での注目被写体の位置を示す矩形枠をスルー画像に重畳させる（図３参照）。これにより、ユーザはモニタ１０７を参照することで、注目被写体が撮像範囲に収まっていることを容易に把握できる。その後、＃１０８に処理が移行する。
【００３０】
ステップ＃１０６：表示制御部１１４は、注目被写体の位置表示を行わずにスルー画像をモニタ１０７に表示する。＃１０６の場合には、＃１０５の矩形枠がモニタ１０７に表示されないため、ユーザは注目被写体が撮像範囲からフレームアウトしていることを容易に把握できる。
【００３１】
ステップ＃１０７：ズーム制御部１１１は、ズームスイッチ１０８からのズームイン操作を不能化する。これにより、過剰なズームインによって画角が狭まって、ロストした注目被写体がさらに捜しにくくなる事態を避けることができる。なお、＃１０７でのズーム制御部１１１は、ズームレンズ１０１のレンズ位置を広角側にズームアウト（ズームバック）させる制御を行ってもよい。この場合には、ズームアウトにより画角が広くなるため、ロストした注目被写体を捜しやすくすることができる。
【００３２】
なお、＃１０７の制御の後、ユーザが電子カメラ１００を動かして注目被写体を撮像範囲内に収めた場合には、上述のマッチング処理が再開される。
【００３３】
ステップ＃１０８：カメラマイコン１０４は、静止画像の撮像指示（例えばレリーズスイッチ１０９の全押し操作）を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０９に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１１０に処理が移行する。
【００３４】
ステップ＃１０９：カメラマイコン１０４は、記録用の静止画像の撮像処理を実行する。撮像部１０３によって撮像された静止画像のデータは、メディアＩ／Ｆ１０６を介して記憶媒体１１０に記録される。その後、カメラマイコン１０４は、撮影モードの処理を終了する。
【００３５】
ステップ＃１１０：カメラマイコン１０４は、ズームインの操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１１１に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０３に戻って、カメラマイコン１０４は上記動作を繰り返す。
【００３６】
ステップ＃１１１：カメラマイコン１０４は、ズームレンズ１０１のズーム位置が望遠端か否か判定する。上記要件を満たす場合（ＹＥＳ側）、ズーム制御部１１１がズーム制御を行うことなく、＃１０３に戻ってカメラマイコン１０４が上記動作を繰り返す。一方、上記要件を満たさない場合（ＮＯ側）には＃１１２に処理が移行する。
【００３７】
ステップ＃１１２：ズーム制御部１１１は、ズームスイッチ１０８の操作量の分だけ、ズームレンズ１０１のレンズ位置を望遠側に移動させて撮影倍率を拡大する。
【００３８】
ステップ＃１１３：カメラマイコン１０４は、現在のテンプレートを取得した撮影倍率と比べて、ズームインによる撮影倍率の変化が閾値以上か否か（ズームインによってスルー画像上で注目被写体が所定の大きさを超えるか）を判定する。上記要件を満たす場合（ＹＥＳ側）には＃１１５に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１１４に処理が移行する。
【００３９】
ステップ＃１１４：被写体検出部１１３は、撮影倍率の変化に応じてテンプレートを拡大して正規化する。その後、＃１０３に戻って、カメラマイコン１０４は上記動作を繰り返す。この＃１１４の処理により、ズームインした場合にもテンプレートを用いてマッチングを行うことが可能となる。
【００４０】
なお、図４は、図３よりもズームインした状態でのスルー画像の表示例を示す図である。また、図５は、図４よりもズームインした状態でのスルー画像の表示例を示す図である。これらの例では、テンプレートの正規化により、ズームインで拡大された主要被写体がそれぞれ検出されている。
【００４１】
ステップ＃１１５：特徴量取得部１１２は、スルー画像における注目被写体の範囲の一部から、テンプレートを再び生成する。
【００４２】
例えば、特徴量取得部１１２は、検出した注目被写体の重心を基準として、スルー画像から初期のテンプレートと同じサイズの範囲をトリミングする。そして、特徴量取得部１１２は、トリミングされた所定サイズの部分画像から被写体のエッジを抽出し、テンプレートを生成すればよい。＃１１５で生成されるテンプレートは、ズームインで拡大した以前のテンプレートと比べて注目被写体の狭い範囲の特徴を反映したものとなる。
【００４３】
ズームイン後のスルー画像では、ズームイン前と比べて注目被写体の微小なエッジが拡大され、ズームイン前後において同じ範囲をみると画像の特徴が大きく変化する。そのため、撮影倍率が一定量変化する場合、特徴量取得部１１２が注目被写体の一部からテンプレートを再生成することで、ズームイン後の注目被写体を継続的に検出することが可能となる。
【００４４】
なお、図５は、図３に対して撮影倍率の変化が閾値以上であって、テンプレートを再生成する場合に相当する。図５の例では、注目被写体の範囲の一部（テンプレートの生成範囲）を破線で示している。
【００４５】
ステップ＃１１６：特徴量取得部１１２は、注目被写体の範囲の一部（＃１１５のテンプレートの生成範囲）にエッジが含まれているか否かを判断する。上記要件を満たす場合（ＹＥＳ側）には＃１１７に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１１８に処理が移行する。
【００４６】
ステップ＃１１７：特徴量取得部１１２は、メモリ１０５のテンプレートの情報を、＃１１５で生成されたテンプレートの情報で更新する。その後、＃１０３に戻って、カメラマイコン１０４は上記動作を繰り返す。
【００４７】
ステップ＃１１８：この場合は、例えばズームインにより注目被写体が過剰に拡大され、被写体の特徴が検出できない状態に相当する。
【００４８】
＃１１８での特徴量取得部１１２は、＃１１５で生成されたテンプレートを破棄し、メモリ１０５のテンプレートの情報をそのまま保持する。
【００４９】
ステップ＃１１９：ズーム制御部１１１は、ズームスイッチ１０８からのズームイン操作を不能化する。これにより、電子カメラ１００の過剰なズームインが抑制される。なお、＃１１９でのズーム制御部１１１は、ズームレンズ１０１のレンズ位置を広角側にズームアウト（ズームバック）させる制御を行ってもよい。この場合には、ズームアウトにより画角が広くなるため、注目被写体が適正な大きさで撮像範囲に収まりやすくなる。その後、＃１０３に戻って、カメラマイコン１０４は上記動作を繰り返す。以上で、図２の流れ図の説明を終了する。
【００５０】
以下、一の実施形態での作用効果を述べる。
【００５１】
一の実施形態の電子カメラは、所定のレンズ位置に対応する注目被写体のテンプレートをズーム操作に応じて正規化し（＃１０２、＃１１４）、ズームイン（＃１１２）後に撮像されたスルー画像とテンプレートとのマッチングを実行する（＃１０３）。そして、電子カメラは、注目被写体の位置表示とともにスルー画像をモニタ１０７に表示する（＃１０５）。したがって、一の実施形態では、モニタ１０７上の注目被写体の位置表示によって、ズームインによって注目被写体がフレームアウトしていないかをユーザが容易に把握できる。
【００５２】
また、一の実施形態の電子カメラは、ズームインによって注目被写体が所定の大きさを超えたときに、スルー画像における注目被写体の範囲の一部からテンプレートを再び生成する（＃１１３、＃１１５）。したがって、一の実施形態では、ズームイン後の注目被写体を継続的に検出できる。なお、一の実施形態の電子カメラは、注目被写体の範囲の一部（＃１１５のテンプレートの生成範囲）にエッジが含まれていない場合、ズームイン操作を不能化する（＃１１９）。これにより、電子カメラの過剰なズームインが抑制される。
【００５３】
また、一の実施形態の電子カメラは、スルー画像から注目被写体の位置を検出できない場合には、ズームイン操作の不能化や、広角側へのズームアウトを行う（＃１０７）。これにより、ロストした注目被写体を探しやすくすることができる。
【００５４】
＜実施形態の補足事項＞
（補足１）：上述の実施形態ではレンズ一体型の電子カメラでの構成例を説明した。しかし、本発明の撮像装置は、レンズ交換式の電子カメラであってもよい。また、本発明の撮像装置は、ズームレンズによる光学ズーム制御の機能を有することを前提として、携帯電子機器（例えば、スマートフォン、携帯電話等）に組み込まれるカメラモジュールにも適用できる。
【００５５】
（補足２）：上述の実施形態では、注目被写体の位置表示を、スルー画像に重畳して表示する例を説明した。しかし、本発明の報知部は、注目被写体が撮像範囲にフレームインしていることを示す指標や、注目被写体が撮像範囲からフレームアウトしていることを示す指標を出力してもよい。なお、上記の指標は、例えばアイコンの表示や、所定のランプの点灯などであってもよい。
【００５６】
（補足３）：上記実施形態のテンプレートは、例えば注目被写体の輝度、色差の情報であってもよい。
【００５７】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００５８】
１００…電子カメラ、１０１…ズームレンズ、１０２…レンズドライバ、１０３…撮像部、１０４…カメラマイコン、１０５…メモリ、１０６…メディアＩ／Ｆ、１０７…モニタ、１０８…ズームスイッチ、１０９…レリーズスイッチ、１１０…記憶媒体、１１１…ズーム制御部、１１２…特徴量取得部、１１３…被写体検出部、１１４…表示制御部
【図１】
2013251701.tif 000003
【図２】
2013251701.tif 000004
【図３】
2013251701.tif 000005
【図４】
2013251701.tif 000006
【図５】
2013251701.tif 000007