(57)【要約】      （修正有）【課題】一時的にユーザが指定した主被写体を見失った場合でも継続して表示枠を継続しユーザに主被写体の指定を再度させなくとも追尾し続けることを可能にする制御装置、光学機器、撮像装置及び制御方法を提供する。【解決手段】対象物が検出された領域を示す検出表示を撮像画像に重畳させて表示する画像重畳手段と、画像重畳手段が検出表示している際に対象物を検出できなかった場合に、対象物を検出できなかった時から数えて所定時間までは検出表示を画像に重畳させて表示し続ける画像重畳表示継続手段を有する画像処理装置であって、対象物を検出できなかった時から所定時間経過後に、同一対象であるか否かを判定する同一対象物判定部が、同一対象物であると判定した場合に検出表示を前記撮像画像に再度重畳させる。【選択図】図５
2017224909.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像データを繰り返し更新する画像データ更新手段と、前記撮像画像データを用いて画像を表示する表示手段と、前記撮像画像データから所定の条件を満たす対象物を検出する対象物検出手段と、前記対象物検出手段によって検出された対象物のデフォーカス量を検出する焦点検出手段と、前記対象物が検出された領域を示す検出表示を前記撮像画像に重畳させて表示する画像重畳手段と、前記画像重畳手段が検出表示している際に前記対象物を検出できなかった場合に、前記対象物を検出できなくなった時から数えて所定時間までは検出表示を前記画像に重畳させて表示し続ける画像重畳表示継続手段を有する画像処理装置であって、前記対象物を検出できなくなった時から数えて所定時間経過後に、同一対象であるか否かを判定する同一対象物判定部が同一対象物であると判定した場合に前記検出表示を前記撮像画像に再度重畳させ、同一対象物でないと判定した場合に検出表示を消灯することを特徴とする画像処理装置。
【請求項２】
前記判定部は前記対象物を検出できなくなる直前の焦点検出結果と、前記対象を検出できなかった時から数えて所定時間後に検出した焦点検出結果を比較して、その差分が第一の閾値以内であれば同一対象だとみなすことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定部の前記対象を検出できなかった時から数えて所定時間後に検出した焦点検出結果が、前記対象物を検出できなくなる直前の焦点検出結果よりも手前にあると検出された場合には、前記対象物を検出できなくなる直前の焦点検出結果よりも後ろにある場合よりも第一の閾値を大きくすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記判定部は前記対象物が検出できなかった時から数えて所定時間後の検出結果が対象の体の一部や形が、検出できなくなる直前の対象と同一対象だとみなすことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
撮像画像データを繰り返し更新する画像データ更新手段と、前記撮像画像データを用いて画像を表示する表示手段と、前記撮像画像データから所定の条件を満たす対象物を検出する対象物検出手段と、前記対象物検出手段によって検出された対象のデフォーカス量を検出する焦点検出手段と、前記対象物が検出された領域を示す検出表示を前記撮像画像に重畳させて表示する画像重畳手段と、前記画像重畳手段が検出表示している際に前記対象物を検出できなかった場合に、前記対象物を検出できなくなった時から数えて所定時間までは検出表示を前記画像に重畳させて表示し続ける画像重畳表示継続手段を有する画像処理装置であって、前記対象物を検出できなくなった時から数えて所定時間経過後に、同一対象であるか否かを判定する同一対象物判定部が同一対象物でないと判定した場合に、前記検出表示を消灯させ、表示枠を消灯後に、同一対象物であると判定した場合に前記焦点検出表示を前記撮像画像に重畳させることを特徴とする画像処理装置。
【請求項６】
前記検出表示を消灯後に焦点検出で得られた焦点結果と前記対象物を検出できなくなる直前の焦点検出結果とを比較して、その差分が第一の閾値以内であれば同一対象だとみなし、焦点検出で検出された対象物に検出表示を重畳させて表示することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記判定部の前記検出表示を消灯後に焦点検出で得られた焦点検出結果が前記対象物を検出できなくなる直前の焦点検出結果よりも手前にあると検出された場合には、前記対象物を検出できなくなる直前の焦点検出結果よりも後ろにある場合よりも第一の閾値を大きくすることを特徴とする請求項６に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像データから所定の条件を満たす対象を繰り返し検出し、この対象の表示機能に関する。
【背景技術】
【０００２】
従来、撮影画像データから所定の条件を満たす被写体を繰り返し検出する機能を有する装置がある。このような装置は以下の状況を改善するために用いられる。自動的に被写体に焦点を合わせる機能を備えたカメラでは、一般的に複数の焦点検出エリアの中から１つ、あるいは複数の焦点検出エリアを検出し、選択された検出エリアに存在する主被写体に焦点が合うようにレンズ位置を調節する。
【０００３】
しかしながら、この焦点検出エリアの範囲は画面の一部に限られているため、焦点を合わせたい主被写体がこのエリアの範囲外に存在する時には、焦点を主被写体に合わせることができない。また、焦点検出エリアの範囲内に主被写体が存在する場合でも、別の被写体がカメラ側からみて主被写体の前に存在している場合は主被写体ではなく手前の被写体を主被写体として焦点を合わせてしまう。
【０００４】
そこで、これを回避するためにユーザが指定した主被写体を繰り返し検出し、被写体が検出したエリアを焦点検出エリアとして設定することで所定の条件に合った場合にユーザが撮りたい主被写体に焦点を合わせ続けることができる。
【０００５】
しかしながら、自動的に主被写体を検出する機能を有する装置には、ユーザが意図していない異なる被写体を誤って選択する可能性があるため、どの被写体を主被写体として検出したかをユーザに知らせて確認させる必要がある。また、主被写体の動きを観察するためには画像データを連続的に表示させ、主被写体の動きに合わせて検出結果も更新することが必要である。
【０００６】
そこで、周期的に主被写体の検出結果を随時更新し、最新の主被写体の検出された領域を常に表示する処理を行うために、主被写体が検出されたことを示す枠を主被写体の画像に重畳させて表示する。ここで、主被写体の検出動作としては、例えばユーザが指定した主被写体が人物であれば目や鼻や口など顔の器官の配置に基づいて顔を検出し、物であれば色や形状を検出する方法が一般的に知られている。
【０００７】
しかしながら、主被写体が人物の場合は顔が横向きになったり、目を閉じたりしたときに得られた画像からは顔として認識できなくなるため主被写体の検出ができなる。すると、検出位置を示す枠の表示が一時的に消え、再度検出できた時には枠の表示が再度表示できるようになったりする。このように枠の表示が消えたり点いたりを繰り返すと、ユーザとしてみれば主被写体を追っているのに本当に主被写体を追えているのか否か不安感を与えてしまうことになりかねない。
【０００８】
そのため、特許文献１には、追尾対象の主被写体を検出できなかった場合に、追尾している対象に重畳されている枠をすぐに消すのではなく、その主被写体の位置を示す表示をしていた時間に応じて、その表示を継続するか否かを選択する技術が開示されている。
【０００９】
また、被写体の移動が速すぎてカメラが被写体を追いきれないと主被写体の検出領域から外れてしまって、その後の動作主被写体の検出をあきらめてしまう場合がある。
【００１０】
そのため、特許文献２には、追尾対象の主被写体が検出領域から外れて見失った場合に、追尾対象の主被写体を検出できている時よりも主被写体を探索する範囲を拡大して再探索し、再探索で主被写体を検出できた場合には追尾対象の被写体に表示し続けることができる技術が開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００７−６８１４７号公報
【特許文献２】特開２００９−１７２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、上述の特許文献１に開示された従来技術では、主被写体の位置を示す表示を継続していた時間に応じて、その表示を継続するか否かを選択する。その場合、追尾枠を表示した直後に被写体がフレームアウトし、すぐに引き返して戻ってきた場合には戻ってきた主被写体に追尾表示枠を重畳することができなくなってしまう。この場合はもう一度ユーザが主被写体を指定し直す必要があるため、ユーザに手間をかけさせることになってしまう。
【００１３】
また、上述の特許文献２に開示された従来技術では追尾対象の主被写体を検出できている時よりも主被写体を探索する範囲を拡大する。そうすると、その拡大した探索範囲の中に別の被写体が存在した場合に、ユーザが指定した主被写体として誤認識し、追尾枠表示の継続をしてしまうことになりかねない。ユーザとしてみれば、撮りたい主被写体とは異なるものを追っているので、ユーザはもう一度撮りたい主被写体を指定し直す必要がある。このため、特許文献２も特許文献１と同様にユーザに手間をかけさせることになってしまう。
【００１４】
そこで、本発明の目的は、一時的にユーザが指定した主被写体を見失った場合でも表示枠を継続し、ユーザに主被写体の再指定をさせなくとも追尾し続けることを可能にする画像処理装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記の目的を達成するために、本発明に係る画像処理装置は、
撮像画像データを繰り返し更新する画像データ更新手段と、前記撮像画像データを用いて画像を表示する表示手段と、前記撮像画像データから所定の条件を満たす対象物を検出する対象物検出手段と、前記対象物検出手段によって検出された対象のデフォーカス量を検出する焦点検出手段と、前記対象物が検出された領域を示す検出表示を前記撮像画像に重畳させて表示する画像重畳手段と、前記画像重畳手段が検出表示している際に前記対象物を検出できなかった場合に、前記対象物を検出できなかった時から数えて所定時間までは検出表示を前記画像に重畳させて表示し続ける画像重畳表示継続手段を有する画像処理装置であって、前記対象物を検出できなかった時から数えて所定時間経過後に、同一対象であるか否かを判定する同一対象物判定部が同一対象物であると判定した場合に前記検出表示を前記撮像画像に再度重畳させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、一時的にユーザが指定した主被写体を見失った場合でも継続して表示枠を継続しユーザに主被写体の指定を再度させなくとも追尾し続けることを可能にする画像処理装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態である一眼レフカメラの構成を示すブロック図である。
【図２】本発明の実施形態での撮像素子の全体及び１画素の概略構成を示す図である。
【図３】本発明の実施形態での撮像素子の画素部の概略構成を示す図である。
【図４】本発明の実施形態での位相差方式の焦点検出を模式的に説明する図である。
【図５】本発明の実施形態である画像処理装置の概念を示すブロック図である。
【図６】実施例１及び実施例２における追尾処理を示すフローチャートである。
【図７】マッチング処理におけるテンプレートマッチングの説明図である。
【図８】実施例１に関する対象物検出枠表示の動作例を示すフローチャートである。
【図９】実施例１及び２の同一対象物判定処理の動作例を示すフローチャートである。
【図１０】実施例２に関する対象物検出枠表示の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１９】
本発明を実施するための形態は、以下の図１に記載される通りである。
【００２０】
図１は本発明の画像処理装置の実施例１及び実施例２の一眼レフカメラの構成を示すブロック図である。
【００２１】
１０１は撮影レンズである。１０２はＡＦ（オートフォーカス）駆動手段である。ＡＦ駆動手段１０２は、例えばＤＣモータや超音波モータによって構成され、マイクロコンピュータ１２１の制御によって撮影レンズ１０１のフォーカスレンズ位置を変化させることによりピントを合わせる。１０３は絞りである。１０４は絞り駆動手段である。絞り駆動手段１０４は、絞り１０３を駆動する。駆動されるべき量はマイクロコンピュータ１２１によって算出され、光学的な絞り値を変化させる。
【００２２】
１０５は撮影レンズ１０１から入射した光束をファインダ側と撮像素子側とに切替えるための主ミラーである。主ミラー１０５は常時はファインダ部へと光束を導くよう反射させるように配されているが、撮影が行われる場合には、撮像素子１１３へと光束を導くように上方に跳ね上がり光束中から待避する。また主ミラー１０５はその中央部が光の一部を透過できるようにハーフミラーとなっている。
【００２３】
１０６は主ミラー１０５から透過してきた光束を反射させ焦点検出を行うための一対のラインセンサ（焦点検出手段１１０内に配置されている）に導くためのサブミラーである。１０７はファインダを構成するペンタプリズムである。ファインダは他にピント板１０８、アイピース１０９などによって構成させる。
【００２４】
１１０は焦点検出手段である。主ミラーが下がっている状態において、主ミラー１０５の中央部を透過し、サブミラー１０６で反射された光束は、焦点検出手段１１０の内部に配置された光電変換を行うための一対のラインセンサに至る。被写体に対する撮影レンズの焦点調節状態を示すデフォーカス量は、一対のラインセンサの出力を演算することによって求められる。マイクロコンピュータ１２１は演算結果を評価してＡＦ駆動手段１０２に指示し、フォーカスレンズを駆動させる。
【００２５】
１１１はフォーカルプレーンシャッタである。１１２はシャッタ駆動手段であり、フォーカルプレーンシャッタ１１１を駆動する。シャッタの開口時間はマイクロコンピュータ１２１によって、制御される。１１３は撮像素子である。撮像素子１１３には、ＣＣＤやＣＭＯＳセンサなどが用いられ、撮影レンズ１０１によって結像された被写体像を電気信号に変換する。
【００２６】
１１４はクランプ回路である。１１５はＡＧＣ回路である。クランプ回路１１４やＡＧＣ回路１１５は、Ａ／Ｄ変換をする前の基本的なアナログ信号処理を行い、マイクロコンピュータ１２１により、クランプレベルやＡＧＣ基準レベルの変更が行われる。１１６はＡ／Ｄ変換器である。Ａ／Ｄ変換器１１６は撮像素子１１３のアナログ出力信号をデジタル信号に変換する。
【００２７】
１１７は映像信号処理回路であり、ゲートアレイなどのロジックデバイスにより実現される。１１８はメモリコントローラである。１１９はメモリである。１２０はバッファメモリである。
【００２８】
映像信号処理回路１１７は、デジタル化された画像データに、フィルター処理、色変換処理、ガンマ処理を行うと共に、ＪＰＥＧなどの圧縮処理を行い、メモリコントローラ１１８に出力する。映像信号処理回路１１７は、必要に応じて撮像素子１１３の信号の露出情報やホワイトバランスなどの情報をマイクロコンピュータ１２１に出力することが可能である。それらの情報を基にマイクロコンピュータ１２１はホワイトバランスやゲイン調整の指示を行う。連続撮影動作の場合においては、一旦、未処理画像のままバッファメモリ１２０に撮影データを格納し、メモリコントローラ１１８を通して未処理の画像データを読み出し、映像信号処理回路１１７にて画像処理や圧縮処理を行い連続撮影を行う。連続撮影枚数は、バッファメモリ１２０の大きさに左右される。メモリコントローラ１１８では、映像信号処理回路１１７から入力された未処理のデジタル画像データをバッファメモリ１２０に格納し、処理済みのデジタル画像データをメモリ１１９に格納する。また、逆にバッファメモリ１２０やメモリ１１９から画像データを映像信号処理回路部１１７に出力する。メモリ１１９は取り外し可能である場合もある。１２１はマイクロコンピュータである。
【００２９】
１２２は操作部材である。操作部材１２２は、マイクロコンピュータ１２１にその状態を伝え、マイクロコンピュータ１２１はその操作部材の変化に応じて各部をコントロールする。また、操作部材１２２は測距点１点でオートフォーカスさせる任意選択モードと複数の測距点でオートフォーカスさせる自動選択モードへの切り替え操作を行うことができる。
【００３０】
１２３はスイッチ１（以後ＳＷ１）である。１２４はスイッチ２（以後ＳＷ２）である。スイッチＳＷ１とスイッチＳＷ２は、レリーズボタンの操作でオンオフするスイッチであり、それぞれ操作部材１２２の入力スイッチのうちの１つである。スイッチＳＷ１のみオンの状態はレリーズボタン半押し状態であり、この状態でオートフォーカスの動作を行ったり、測光動作を行う。スイッチＳＷ１，ＳＷ２が共にオンの状態はレリーズボタンの全押し状態であり、画像を記録するためのレリーズボタンオン状態である。この状態で撮影が行われる。またスイッチＳＷ１，ＳＷ２がＯＮし続けている間は、連続撮影動作が行われる。操作部材１２２には、他に、ＩＳＯ設定ボタン、画像サイズ設定ボタン、画質設定ボタン、情報表示ボタンなど不図示のスイッチが接続されており、スイッチの状態が検出されている。
【００３１】
１２５は電源部である。電源部１２５は、各ＩＣや駆動系に必要な電源を供給する。１２６はＴＦＴ駆動回路である。１２７はＴＦＴ（液晶）モニタである。
【００３２】
次に、本発明の撮像装置の実施例１及び実施例２であるデジタル一眼レフカメラについて説明する。
【００３３】
図２は本発明の撮像素子の全体及び１画素の概略を示す図である。
【００３４】
図２（Ａ）において撮像素子１１２は、二次元アレイ状に各画素が配置された画素部２０１と、画素部２０１における行を選択する垂直選択回路２０２、画素部２０１における列を選択する水平選択回路２０４を含む。また、画素部２０１の画素のうち垂直選択回路２０２によって選択される画素の信号を読み出す読み出し回路２０３、各回路の動作モードなどを外部から決定するためのシリアルインターフェイス２０５を含んで構成される。読み出し回路２０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。なお、撮像素子１１３は、図示された構成要素以外にも、例えば、垂直選択回路２０２、水平選択回路２０４、信号読み出し回路２０３等にタイミングを提供するタイミングジェネレータ或いは制御回路等を備える。典型的には、垂直選択回路２０２は、画素部２０１の複数の行を順に選択して読み出し回路２０３に読み出す。水平選択回路２０４は、読み出し回路２０３に読み出された複数の画素信号を列毎に順に選択する。
【００３５】
図２（Ｂ）は本発明の撮像素子１１３の１画素の概略構成を示す図である。
【００３６】
２０６は１画素を表す。一つの画素は、一つのマイクロレンズ２０７を有する。また、一つの画素は、撮像面での位相差方式のＡＦも可能する為に、フォトダイオード（以下ＰＤ）をＰＤ２０８とＰＤ２０９の二つ有する。なお、１画素は、図示された構成要素以外にも、例えば、ＰＤの信号を読み出し回路２０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。
【００３７】
図３は画素部２０１の概略構成を示す図である。
【００３８】
画素部２０１は、２次元の画像を提供するために、図２（Ｂ）で示したような画素を複数、二次元アレイ状に配列して構成される。３０１、３０２、３０３、３０４が各々１画素である。３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌが図２（Ｂ）で示したＰＤ２０８であり、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒが同図で示したＰＤ２０９である。
【００３９】
図３のような画素構成を有する撮像素子１１２における受光の様子について、図４を用いて説明する。
【００４０】
図４は撮影レンズの射出瞳から出た光束が撮像素子１１３に入射する概念図である。
【００４１】
４０１は撮像素子１１３の断面の概略を示す。４０２はマイクロレンズ（図２（Ｂ）の２０７）、４０３はカラーフィルター、４０４、４０５はフォトダイオードである。ＰＤ４０４、ＰＤ４０５が各々図２（Ｂ）で示した、ＰＤ２０８、ＰＤ２０９である。４０６は撮影レンズの射出瞳を示す。
【００４２】
ここでは、マイクロレンズ４０２を有する画素に対して、射出瞳から出た光束の中心を光軸４０９とする。射出瞳から出た光は、光軸４０９を中心として撮像素子１１３に入射される。４０７、４０８は撮影レンズの射出瞳の一部領域を表す。射出瞳の一部領域４０７を通過する光の最外周の光線を４１０、４１１で示し、射出瞳の一部領域４０８を通過する光の最外周の光線を４１２、４１３で示す。この図からわかるように、射出瞳から出る光束のうち、光軸４０９を境にして、上側の光束はＰＤ４０５に入射され、下側の光束はＰＤ４０４に入射される。つまり、ＰＤ４０４とＰＤ４０５は各々、撮影レンズの射出瞳の別の領域の光を受光している。
【００４３】
図２（Ｂ）、図４において、一つのマイクロレンズに対し、ＰＤが２つある構成を示しているが、本構成に限らず、ある画素は片側のＰＤ、隣の画素は反対側のＰＤのみという構成でも位相差検出は可能である。即ち、撮像面である撮像素子で撮影レンズの射出瞳の別々の領域の像が得られれば、撮像面での位相差方式の焦点検出が可能となる。
【００４４】
撮像素子１１３は、撮像レンズの異なる射出瞳からの光を受光するＡライン画素とＢライン画素が２次元状に配置されている。図３を用いて説明すると、行３０５のうち、３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌの画素でＡラインを形成し、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒの画素でＢライン画素を形成する。Ａライン、Ｂラインの出力は、合焦状態、前ピン状態及び後ピン状態の何れであるかによりに２像の間隔が異なる。像間隔が合焦状態の間隔になるように、撮像レンズのフォーカス用レンズを移動させて、ピントを合わせる。つまりフォーカス用レンズの移動量は、２像のずれ量から計算して求めることができる。なお、上記では２像（Ａライン、Ｂライン）を説明の便宜上、隣接した画素の並びで説明したが、実際にはカラーフィルターが同じ画素で構成するのが望ましい。また、２像のズレ量からレンズを駆動するまでの処理は従来から公知の方法となるので詳細な説明は省略する。
【００４５】
以下、図５を参照して、本発明の第１及び第２の実施例による概念を示すブロック図において説明する。
【００４６】
５０１は更新手段であり、撮像素子１１３で得られる撮像画像データを繰り返し更新する手段である。
【００４７】
５０２は表示手段であり、撮像画像データを用いて画像をＴＦＴ１２７へ表示する手段である。
【００４８】
５０３は対象物検出手段であり、撮像画像データから所定の条件を満たす対象を検出する手段である。対処物を検出する手段としては対象物の画像を基準パターンとして記憶し、撮影画像の中からその基準パターンに合致する画像をパターンマッチング処理により検出する方法が広く知られている。本実施例では映像信号処理回路で実施される。
【００４９】
５０４は焦点検出手段であり、対象物検出手段５０３によって検出された対象のデフォーカス量を撮像素子１１３での位相差方式によって検出する手段である。
【００５０】
５０５は同一対象物判定手段であり、対象物を検出できなかった時から計時して所定時間経過後に、同一対象であるか否かを判定する手段である。
【００５１】
５０６は画像重畳手段であり、対象物が検出された領域を示す検出表示を撮像画像に重畳させてＴＦＴ１２７へ表示する手段である。
【００５２】
５０７は画像重畳表示継続手段であり、対象物を検出できなかった時から計時して所定時間までは検出表示を前記画像に重畳させてＴＦＴ１２７へ表示し続ける手段である。
【実施例１】
【００５３】
本発明の画像処理装置の実施例１に関する対象物検出枠表示の動作例を図６のフローチャートに基づいて説明する。
【００５４】
ステップＳ６０１で、対象物用画像の読み込みを行う。本実施例１では対象物用画像を撮像素子１１３から得られる撮影データより読み込む。
【００５５】
ステップＳ６０２で、対象物が設定されているかを判定する。対象物が存在するときはステップＳ６０５へ、対象物が存在しないときはステップＳ６０３へ進む。
【００５６】
ステップＳ６０３で、対象物を設定する。対象物を設定する方法としては、撮影者の指示に基づく方法や、自動で設定する方法がある。撮影者の指示に基づく方法としては、操作部材１２２を介して主被写体の位置が指示される。また自動で設定する方法としては、顔検出が一般的である。顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法などがある。
【００５７】
ステップＳ６０４で、対象物の特徴量を計算する。本実施例１では、テンプレートマッチングに基づく処理を行うため、対象物を検索する領域の画像パターンを特徴量（テンプレート）として保持しておく。
【００５８】
ステップＳ６０２で、対象物が存在すると判定された場合の処理について説明する。
【００５９】
ステップＳ６０５において、マッチング処理を行う。
【００６０】
テンプレートマッチングの詳細を図７で説明する。
【００６１】
ステップＳ６０１で撮像素子１１３より読み込んだ対象物用画像は、水平画素数Ｗ、垂直画素数Ｈからなり、対象物検索可能領域７０１と一致する。テンプレート７０２は、対象物用画像の一部であり、水平画素数ＷＴ、垂直画素数ＨＴからなる。本実施例１ではテンプレート７０２はステップＳ５０４で設定される。テンプレート７０２を対象物用画像の任意の箇所に配置し、一致度を求める。一致度の求め方として、輝度信号の差分、明度・色相・彩度の差分等を使って求めてもよい。テンプレート７０２を対象物用画像内で走査させることで、対象物用画像内の各位置における一致度を求めることができる。
【００６２】
ステップＳ６０６で、対象物の位置推定を行う。ステップＳ６０５で得られた対象物用画像内の任意値の位置の一致度より対象物の位置推定を行う。一致度が最も高かったところを対象物の位置として設定する。対象物の位置は焦点検出手段５０４の焦点検出領域に対応させてもよい。また、対象物の位置推定は体の一部を推定しても良い。例えば、検出対象が人物の顔の場合に人物の顔が横向きになったり、後ろを向いてしまったときなどは、顔の検出ができなくなるが、体の一部や逆光などで対象物の色が分からないほど暗い場合は体の形から顔の位置を推定しても良いし、体の一部または体の形があればそれを対象物として位置の推定を行っても良い。
【００６３】
ステップＳ６０７で、対象物検出の信頼度算出を行う。対象物検出の信頼度の算出はステップＳ６０５で得られた一致度を対象物検出の信頼度として用いてもよい。さらに前回の対象物の位置と今回の対象物の位置の差分を対象物検出の信頼度に反映させてもよい。
【００６４】
ステップＳ６０８で、対象物の特徴量の更新を行う。ステップＳ６０６で推定された対象物検出領域に基づいてテンプレート更新を行うことで、被写体のスケール変化に対応できる。
【００６５】
次に、対象物検出手段５０３において対象物を検出できなかった場合以後の表示処理について図８のフローチャートを用いて詳しく説明する。
【００６６】
ステップＳ８０１で対象物検出処理を実行する。対象物検出処理は図６で説明した対象物検索処理と一致する。
【００６７】
ステップＳ８０２で対象物の検出領域でデフォーカス量の算出を行いステップＳ８０３へ進む。また、対象物を検出できなかった時は前回対象物の検出成功時の検出領域でデフォーカス量の算出を行い、ステップＳ８０３へ進む。ステップＳ８０１の結果、対象物を検出できた場合にはステップＳ８０４へ進み対象物の位置表示枠を表示する。一方、ステップＳ８０１の結果、対象物を検出できなかった場合にはステップＳ８０５に進む。
【００６８】
ステップＳ８０５では対象物を検出できなくなってからの時間をマイクロコンピュータ１２１で計時し、所定時間経過していない場合はＳ８０６へと進む。
【００６９】
ステップＳ８０６では対象物の検出はできていないので、前回対象物の検索に成功し、対象物の位置に表示枠を表示した位置に固定して表示枠を表示する。一方、ステップＳ８０５で所定時間経過した場合にはステップＳ８０７へと進み同一対象物判定処理を実施しステップＳ８０８へと進む。ステップＳ８０７の同一対象物判定処理については後述で詳しく説明する。ステップＳ８０８で同一対象物だと判定された場合はステップＳ８０９へと進み対象物の位置に表示枠を表示する。一方、ステップＳ８０８で同一対象物と判定されなかった場合には、ステップＳ８１０へと進み表示枠を消灯する。
【００７０】
次に、ステップＳ８０７の同一対象物判定処理の動作例を図９のフローチャートに基づいて説明する。
【００７１】
図９−９ＡのステップＳ９０１では対象物の検出が失敗する前のデフォーカス量と対象物の検出に失敗してから所定時間経過後のデフォーカス量の差分を算出し、ステップＳ９０２へ進む。
【００７２】
ステップＳ９０２はステップＳ９０１で算出したデフォーカス量の差が閾値１以下である場合は同一対象物として判定する。一方、デフォーカス量の差が閾値１よりも大きい場合には同一対象物ではないと判定する。同一対象物か否かの判定に使用する閾値１は対象を検出できなかった時から数えて所定時間後に検出したデフォーカス量が、対象物を検出できなくなる直前のデフォーカス量よりも手前にあると検出された場合には、対象物を検出できなくなる直前のデフォーカス量よりも後ろにある場合よりも閾値１を大きく設定してもよい。また、その他の実施例として、図９−９Ｂのように同一対象物の判定には体の一部や逆光などで対象物の色が分からないほど暗い場合は体の形から人物の顔の位置を推定しても良いし、体の一部または体の形があればそれを対象物として位置の推定し、判定に用いても良い。
【００７３】
本実施例によれば、例えば、追尾している対象物が対象物検索領域からしばらくの間、存在しなくなり、もう一度戻ってきた場合に再び追尾できることを想定している。本実施例を実施することで、対象物の位置を表す表示枠が消えることがないので、ユーザに追いかけたい対象物を再度指定させる手間を省かせることができる。
【実施例２】
【００７４】
次に、本発明の画像処理装置の実施例２に関する表示処理の動作例を図１０のフローチャートに基づいて説明する。ステップＳ１００１からステップＳ１０１０までのフローについては実施例１と同じであるため説明を省略する。
【００７５】
ステップＳ１０１０で表示枠を消灯後ステップＳ１０１１に進む。
【００７６】
ステップＳ１０１１の焦点検出処理では対象物を見失い、表示枠も消灯しているので、表示枠の領域内で焦点検出処理は行わず、撮像領域全面で焦点検出処理を行いデフォーカス量を算出する。Ｓ１０１１でのデフォーカス量の算出は最も手前にある被写体のデフォーカス量を焦点検出結果として採用する方法や、特定の色の領域の焦点検出結果を採用する方法などがある。
【００７７】
ステップＳ１０１１の焦点検出処理後、ステップＳ１０１２へと進み同一対象物判定処理を実施し、ステップＳ１０１３へと進む。ステップＳ１０１２の同一対象物判定処理は図９−９Ａと同じであり、同一対象物とみなすデフォーカス差の閾値も実施例１と同様であるため、説明を省略する。
【００７８】
ステップＳ１０１２で同一対象物と判定された場合にはＳ１０１３へと進み対象物の位置に表示枠を再度表示する。一方、ステップＳ１０１２で同一対象物と判定されない場合にはステップＳ１０１１へと進み焦点検出処理からＳ１０１２を繰り返す。本実施例によれば、例えば、舞台上で人物を対象として追尾したい場合に、ユーザのその人物を指定し、その人物の出演が終わったら舞台右袖へはけて、再度舞台左袖から現れた場合に追尾できることを想定している。
【００７９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８０】
１０１  撮影レンズ、１０２  ＡＦ駆動部、１０３  絞り、１０４  絞り駆動部、
１０５  主ミラー、１０６  サブミラー、１０７  ペンタプリズム、１０８  ピント板、
１０９  アイピース、１１０  焦点検出手段、１１１  シャッタ、
１１２  シャッタ駆動手段、１１３  撮像素子、１１４  クランプ手段、
１１５  ＡＧＣ手段、１１６  Ａ／Ｄ変換器、１１７  映像信号処理手段、
１１８  メモリコントローラ、１１９  メモリ、１２０  バッファメモリ、
１２１  マイクロコンピュータ、１２２  操作部材、１２３  スイッチ１、
１２４  スイッチ２、１２５  電源部、１２６  ＴＦＴ駆動回路、１２７  ＴＦＴ、
５０１  画像データ更新手段、５０２  表示手段、５０３  対象物検出手段、
５０４  焦点検出手段、５０５  同一対象物判定手段、５０６  画像重畳手段、
５０７  画像重畳表示継続手段
【図１】
2017224909.tif 000003
【図２】
2017224909.tif 000004
【図３】
2017224909.tif 000005
【図４】
2017224909.tif 000006
【図５】
2017224909.tif 000007
【図６】
2017224909.tif 000008
【図７】
2017224909.tif 000009
【図８】
2017224909.tif 000010
【図９】
2017224909.tif 000011
【図１０】
2017224909.tif 000012