(57)【要約】【課題】特定被写体を認識し続けたいにも関わらず、近傍の別の特定被写体に認識対象が移ってしまい、そのことをユーザに伝えることが出来ないという課題があった。【解決手段】画像処理部１１の出力画像中の特定被写体を検出する特徴検出部１２と、特徴検出部１２で検出した特定被写体の信頼度を算出する信頼度算出部と、操作指示を受け付ける操作部１６と、特徴検出部１２で検出した特定被写体のうち、選択した一つの特定被写体を示すマークとともに、画像を表示する表示部１３と、表示部１３に、マークを表示する場合において、信頼度が閾値未満になった時に、表示部１３に警告表示を行い、その後、信頼度が閾値を超えた時も、警告を表示し続け、操作部１６による、警告解除操作か、又は特定被写体の選択操作により、警告の表示を停止する制御部１４と、を備える。【選択図】図１
2010093404.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
前記撮像部の出力を画像処理する画像処理部と、
前記画像処理部の出力画像中の特定被写体を検出し、前記特定被写体の信頼度を算出する特徴検出部と、
前記特徴検出部で検出した特定被写体から、少なくともひとつの特定被写体を選択する操作を含む操作指示を受け付ける操作部と、
前記選択された特定被写体を示すマークとともに、前記画像処理部の出力画像を表示する表示部と、
前記表示部に、前記マークを表示する場合において、
前記信頼度が閾値未満になった時に、前記表示部に警告表示を行い、
その後、前記信頼度が閾値以上になった時も、前記警告表示を続け、
前記操作部による警告解除操作、又は特定被写体の選択操作により、前記警告表示を停止する制御部と、
を備えた撮像装置。
【請求項２】
前記制御部は、
前記表示部に、前記マークを表示する場合において、
前記信頼度が閾値未満になった時に、前記表示部に警告表示を行い、
その後、前記信頼度が閾値以上になった時も、前記警告表示を続け、
前記操作部による、警告解除操作か、若しくは特定被写体の選択操作、又は前記操作部による操作が一定時間行われなかった時に、前記警告表示を停止する
請求項１に記載の撮像装置。
【請求項３】
前記特徴検出部は、前記特定被写体として人の顔を検出する
請求項１又は請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関するものであり、特に、被写体認識を行い、認識している被写体を表示する撮像装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラなどの被写体を認識する機能を有する撮像装置において、撮像装置はＡＥ、ＡＦ等で認識された被写体が、最適に撮影できるように、各種制御が行われる。認識されている被写体を示す方法として、認識被写体に枠表示等を行う方法がある。ユーザはこの枠表示によって、撮像装置が画面上のどの被写体を認識しているかが分かる。
【０００３】
しかし、このような枠表示は、図８に示すように、被写体の信頼度が時間と共に２１のように変化した時、認識のための信頼度が認識判定をするかしないかの検出スレッシュ２２付近で枠表示２４が明滅してしまう。この明滅を避けるために信頼度によって枠線の濃度を変化させ、連続的に表示する技術がある（特許文献１）。
【０００４】
以下、図９を用いて、従来の被写体認識機能を備えた撮像装置について説明する。
【０００５】
撮像装置は、表示部において、特定された対象の信頼度と、対象を表す枠の位置から、信頼度に応じた枠線濃度で対象を表す枠表示を行う。被写体の信頼度が時間と共に２１のように変化した時、対象の枠線濃度は、時間と共にＡ１→Ａ２→Ａ３→Ａ４→Ａ５→Ａ４→Ａ５→Ａ４→Ａ３→Ａ４→Ａ５→Ａ４→Ａ３→Ａ２→Ａ１と変化し、対象を表す枠の濃度表示により、信頼度を直感的に認識できると共に、連続的に表示するので滑らかな表示が可能となる。
【特許文献１】特開２００７−２７４２０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記被写体認識機能を備えた撮像装置では、特定被写体を認識し続けたいにも関わらず、一旦、特定被写体の信頼度が下がって、特定被写体の近傍に特定被写体より高い信頼度で認識される被写体が存在した場合に、近傍の別の特定被写体に認識対象が移ってしまい、再び元の被写体の信頼度が上がった時でも、別の特定被写体の信頼度が下がらない限り、別の近傍の被写体を認識し続け、誤判定している可能性をユーザに伝えることが出来ないという課題があった。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、上記課題を解決するものであり、被写体を撮像する撮像部と、前記撮像部の出力を画像処理する画像処理部と、前記画像処理部の出力画像中の特定被写体を検出し、前記特定被写体の信頼度を算出する特徴検出部と、前記特徴検出部で検出した特定被写体から、少なくともひとつの特定被写体を選択する操作を含む操作指示を受け付ける操作部と、前記選択された特定被写体を示すマークとともに、前記画像処理部の出力画像を表示する表示部と、前記表示部に、前記マークを表示する場合において、前記信頼度が閾値未満になった時に、前記表示部に警告表示を行い、その後、前記信頼度が閾値以上になった時も、前記警告表示を続け、前記操作部による警告解除操作、又は特定被写体の選択操作により、前記警告表示を停止する制御部と、を備える。
【発明の効果】
【０００８】
本発明の撮像装置は、上記の構成によって、被写体の誤認識が発生しそうなことをユーザがあらかじめ知ることができるため、被写体の誤認識による撮影失敗の可能性を低減させることができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態について、図面を用いて詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る被写体認識機能を備えたビデオカメラ１００の構成を示すブロック図である。図１において、ビデオカメラ１００は、撮像部１０と、撮像部１０の信号を処理する信号処理部１１と、信号処理された画像より特定対象を検出する特定対象検出部１２と、信号処理された画像を記録する画像記録部１７と、検出された特定対象を表示する表示部１３と、それらを制御するコントローラ１４と、外部からユーザが操作する操作部１６を備える。
【００１０】
撮像部１０は、光学系と撮像素子とで構成される。
【００１１】
光学系は、対物レンズ、ズームレンズ、絞り、ＯＩＳユニット、フォーカスレンズ等を含む。光学系は、被写体からの光を集光し、被写体像を形成する。
【００１２】
撮像素子は、光学系で形成された被写体像を撮像して、画像データを生成する。撮像素子は、ＣＭＯＳイメージセンサー、ＣＣＤイメージセンサー等である。
【００１３】
信号処理部１１は、ＡＤコンバータ、画像処理部、システムエンコーダ、システムデコーダを含む。
【００１４】
ＡＤコンバータは、撮像素子で生成された画像データをデジタル信号に変換する。
【００１５】
画像処理部は、ＡＤコンバータで変換された画像データに対して各種の処理を施す。画像処理部は、システムエンコーダへ入力する画像データを生成したり、表示部１３に表示するための画像データを生成したりする。また、画像処理部は、システムデコーダが出力する画像データに対して画像処理を施し、表示部１３に表示するための画像データを生成したり、システムエンコーダへ再入力するための画像データを生成したりする。
【００１６】
画像処理部は、画像前処理部、画像圧縮部、画像伸張部を含む。
【００１７】
画像前処理部は、ＡＤコンバータで変換された画像データに対して、ガンマ補正やホワイトバランス補正などの各種画像処理を行う。
【００１８】
画像圧縮部は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、画像データを圧縮する。画像圧縮部は、例えば、ＭＰＥＧ−２や、Ｈ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。但し、本発明は、ＭＰＥＧ−２や、Ｈ．２６４の形式の画像データに限定されない。
【００１９】
画像伸張部は、システムデコーダから出力された圧縮済みの画像データを表示部１３で再生する場合などに、この画像データを非圧縮の状態に復号化する。
【００２０】
システムデコーダは、画像記録部１７に記録されたＡＶデータを復号化し、圧縮画像データを生成する。システムデコーダは、生成した圧縮画像データを画像伸張部へ出力する。
【００２１】
コントローラ１４は、ビデオカメラ１００全体を制御する制御手段である。コントローラ１４は、半導体素子などで実現可能である。コントローラ１４は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。コントローラ１４は、マイクロコンピュータで実現できる。
【００２２】
特定対象検出部１２は、信号処理部１１で生成された画像データを解析し、画像データ中の特定対象を検出する。特定対象は、例えば人の顔や、人全体、ねこ等の特定の動物、動く物体等である。特定対象検出部１２は、特定対象を検出するとともに、その特定対象の確からしさを示す信頼度を算出する。本実施の形態では、特定対象検出部１２をコントローラ１４と別に設けているが、コントローラ１４で実現しても良い。
【００２３】
画像記録部１７は、記録媒体制御部と記録媒体で構成される。記録媒体は、メモリカード、ハードディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等である。
【００２４】
表示部１３は、液晶モニタや電子ビューファインダである。表示部１３は、撮像部１０で撮像された画像データや、画像記録部１７から読み出したＡＶデータ中の画像データを表示可能である。また、表示部１３は、ビデオカメラ１００の各種の設定情報や、撮影時間などを表示可能である。
【００２５】
操作部１６は、各種操作手段を総称した構成要素である。操作部１６は、ユーザの指示を受け付け、その指示をコントローラ１４に伝える。
【００２６】
信号処理部１１は、本発明の画像処理部の一例である。特定対象検出部１２は、本発明の特徴検出部の一例である。コントローラ１４は、本発明の制御部の一例である。
【００２７】
このように構成された被写体認識機能を備えたビデオカメラ１００について、その動作を説明する。
【００２８】
撮像部１０で撮像された画像データは、信号処理部１１で各種の補正等が行われる。補正された信号は、画像記録部１７で記録される。また。特定対象検出部１２は、信号処理部１１からの信号を基に特定対象を検出し、検出箇所は枠表示等を用いて表示する。同時にコントローラ１４は特定対象の検出位置に対してＡＦ、ＡＥ等が最適となるように撮像部１０、信号処理部１１等を制御する。
【００２９】
図２、図３を用いて、特定被写体の信頼度が変化した場合の表示部１３の表示内容の変化を説明する。
【００３０】
図２において、特定被写体の信頼度２１が検出スレッシュ２２より低くなった場合、コントローラ１４は枠表示２４の状態から警告表示２３の状態に表示部１３の表示を変更する。
【００３１】
表示部１３における枠表示の状態を図４（ａ）に、警告表示の状態を図４（ｂ）に示す。警告表示の方法として、図４（ｂ）では、枠表示を点線で点滅する方法について示す。その他の警告表示の方法として、表示枠の色を赤色に変更する、表示枠を表示しつつ表示部１３の画面の縁全体を点滅する、等の方法がある。
【００３２】
コントローラ１４は、表示部１３に警告表示２３を行った後に、信頼度２１が検出スレッシュ２２より高くなった場合でも警告表示２３を表示し続ける。これにより、図３に示すように、信頼度２１が検出スレッシュ２２を繰り返し上下した場合でも、枠表示と警告表示とを繰り返し表示する状況は発生しない。
【００３３】
図３において、警告表示２３の状態で、特定被写体の信頼度２１が検出スレッシュ２２以上になり、且つ、ユーザが設定時間３６を経過する間、何も操作しなかった時に警告表示２３を解除して、枠表示２４に復帰する。設定時間３６を設けることによって、警告表示２３が行われた場合でも、ユーザが意図した被写体が選択されたままであると認める場合には、操作を行わないことによって、自動的に枠表示２４に復帰することが出来る。警告表示２３が行われた場合に、ユーザが意図した被写体と異なる被写体が選択されていると判断した場合には、操作部１６によってユーザは特定被写体を再設定することが出来る。
【００３４】
図５、図６は、特定被写体８１から被写体８２に枠表示が移動してしまう例である。選択された特定被写体８１と被写体８２が、それぞれ移動し、表示部１３の中心付近で、両者が重なる場合を示す。特定被写体８１の信頼度は、特定被写体８１が被写体８２と重なりあうために低下し、検出スレッシュ８４より低くなると、コントローラ１４は、枠表示２４を警告表示２３に変更する。その後、特定被写体８１と被写体８２が重なった際に、コントローラ１４は、いずれの被写体が、特定被写体か判断できず、特定被写体を誤って認識する場合がある。図５、図６では、コントローラ１４が、被写体８２を特定被写体と誤認識し、警告表示を被写体８２に対して行う場合を示す。その後、特定被写体８２は、その信頼度８３が高くなり、検出スレッシュ８４より高くなった場合でも、警告表示２４を表示し続ける。これにより、被写体同士が重なる等により、誤って特定被写体が認識された場合でも、警告表示を行い、ユーザに注意を喚起することができるため、ユーザは、誤った特定被写体が選択された状態であることを認識することができる。
【００３５】
ユーザは、図５に示すように、警告表示２３を基に、特定被写体が被写体８２に移動していることを確認し、被写体８１を改めて再選択することにより、被写体８１を特定被写体として設定することができる。
【００３６】
ユーザは、図６に示すように、警告表示２４を基に、特定被写体が被写体８２に移動していることを確認し、それ以降、特定被写体を変更して、被写体８２を特定被写体として設定すると決めた場合には、警告の解除操作、又は設定時間３６の間、操作を行わないことにより、被写体８２を特定被写体として設定することができる。
【００３７】
以下、図７のフローチャートを用いて、ビデオカメラ１００の動作をより詳細に説明する。
【００３８】
表示部１３上に複数の被写体が表示された状態で、ユーザは操作を行い、複数の被写体から、認識させたい被写体を選択する（ＳＴ１）。例えば、表示部１３がタッチパネルである場合には、ユーザは、表示部１３上の特定の被写体をタッチすることにより、被写体を選択する。
【００３９】
コントローラ１４は、特定対象検出部１２を用いて選択された被写体の信頼度を検出する（ＳＴ２）。検出した信頼度が設定値以上（ＳＴ３でＹＥＳ）ならば、特定対象に枠表示を行う（ＳＴ４）。それ以降、操作部１６よりターゲットの再設定、又は電源オフなどの操作が行われない限り、信頼度検出を続ける。ターゲットの再設定が行われた場合には、ターゲット設定（ＳＴ１）より、処理が開始される。
【００４０】
検出した信頼度が設定値以上でなければ（ＳＴ３でＮＯ）、選択された被写体に枠表示が行われているか否かを判定する（ＳＴ５）。
【００４１】
枠の表示中でなければ（ＳＴ５のＮＯ）、ターゲットを設定しなおす（ＳＴ１）。枠を表示中の場合（ＳＴ５でＹＥＳ）は、信頼値が低下したことを示す警告表示を行う（ＳＴ６）。その後、選択された被写体の信頼度検出を行う（ＳＴ７）。
【００４２】
信頼度が回復した場合（ＳＴ８でＹＥＳ）は、警告解除タイマーをセットする（ＳＴ９）。信頼度が回復しない場合（ＳＴ８でＮＯ）は、表示解除タイマーをセットする（ＳＴ１４）。
【００４３】
警告解除タイマーがセットされた（ＳＴ９）後に、ユーザにより、警告解除操作が行われた場合（ＳＴ１０でＹＥＳ）は、表示部１３に枠表示を行う（ＳＴ４）。警告解除操作が行われない場合（ＳＴ１０でＮＯ）は、再度、選択された被写体の信頼度検出を行う（ＳＴ１１）。その後、信頼度が設定値以上の場合（ＳＴ１２でＹＥＳ）は、警告解除タイマーが設定時間経過したか否かを判定し（ＳＴ１３）、信頼度が設定値未満の場合（ＳＴ１２でＮｏ）は、表示解除タイマーをセットする（ＳＴ１４）。
【００４４】
警告解除タイマーが設定時間経過した場合（ＳＴ１３でＹＥＳ）は、表示部１４に枠表示を行い（ＳＴ４）、設定時間が経過するまでの間は、警告解除操作の有無の判定（ＳＴ１０）以降を繰り返す。
【００４５】
表示解除タイマーを設定（ＳＴ１４）した後、選択された被写体の信頼度検出を行う（ＳＴ１５）。信頼度が回復した場合（ＳＴ１６でＹＥＳ）は、警告解除タイマーの設定を行い（ＳＴ９）、信頼度が回復しない場合（ＳＴ１６でＮＯ）は、表示解除タイマーが設定時間経過したか否かを判定する（ＳＴ１７）。
【００４６】
表示解除タイマーが設定時間経過するまでの間は、信頼度の検出（ＳＴ１５）以降を繰り返し、表示解除タイマーが設定時間経過した場合（ＳＴ１７でＹＥＳ）は、表示部１４上の枠表示を解除した（ＳＴ１８）後に、被写体の選択を可能とする（ＳＴ１）。
【００４７】
このように、選択した特定被写体の信頼度が下がった場合に、警告表示を行い、信頼度が回復しても警告表示を表示し続け、ユーザが、特定された被写体が正しいと判断して警告解除操作を行うか、警告表示を表示し始めて一定時間解除動作を行わずに経過した時、つまり暗黙の内に認識対象が正しいと認めている時に、警告表示を解除することによって、枠表示と警告表示とが繰り返し表示される状況を回避することができるとともに、被写体の誤認識が発生しそうなことをユーザがあらかじめ知ることができるため、被写体の誤認識による撮影失敗の可能性を低減させることができる。
【産業上の利用可能性】
【００４８】
本発明の、特定被写体の信頼度が一旦低下した後は警告表示を出し続ける方式を用いることによりＡＥ，ＡＦ等が意図以外の被写体に最適化されてしまい結果的に撮影したい特定被写体にＡＦ，ＡＥ等が合わずに撮影されている可能性を確実にユーザに警告することが可能となりデジタルカメラ、ビデオカメラ等で有用である。
【図面の簡単な説明】
【００４９】
【図１】本発明の一実施の形態における撮像装置の構成を示すブロック図
【図２】本発明の一実施の形態における警告表示のタイミングを表す図
【図３】本発明の一実施の形態における警告表示を解除するタイミングを表す図
【図４】本発明の一実施の形態における枠表示及び警告表示を表す図
【図５】本発明の一実施の形態における特定被写体の誤った警告表示における被写体変更を示す図
【図６】本発明の一実施の形態における特定被写体の誤った警告表示における被写体選択を示す図
【図７】本発明の一実施の形態における撮像装置の処理を示すフローチャート
【図８】従来の枠表示のタイミングを表す図
【図９】従来の枠表示の濃度の変化を表す図
【符号の説明】
【００５０】
１０    撮像部
１１    信号処理部
１２    特定対象検出部
１３    表示部
１４    コントローラ
１６    操作部
１７    画像記録部
【図１】
2010093404.tif 000003
【図２】
2010093404.tif 000004
【図３】
2010093404.tif 000005
【図４】
2010093404.tif 000006
【図５】
2010093404.tif 000007
【図６】
2010093404.tif 000008
【図７】
2010093404.tif 000009
【図８】
2010093404.tif 000010
【図９】
2010093404.tif 000011