(57)【要約】【課題】従来の被写体認識機能を有する撮像装置では、被写体の動きベクトル等の検出が必要となり、さらに被写体が画面外に移動した場合と障害物に隠れた場合とを別に検出する必要があり、処理が複雑になるという課題があった。【解決手段】被写体を撮像する撮像部１０と、撮像部１０の出力を画像処理する画像処理部１１と、画像処理部１１の出力画像中の特定被写体を検出する特徴検出部１２と、特徴検出部１２で検出した特定被写体から、少なくともひとつの特定被写体を選択する操作を含む操作指示を受け付ける操作部１６と、選択された特定被写体を示すマークとともに、画像処理部１１の出力画像を表示する表示部１３と、表示部１３を複数の表示領域に分割し、マークを表示した特定被写体が存在する表示領域に応じて、表示部１３に異なる警告を表示するよう制御する制御部１４と、を備える。【選択図】図１
2010098354.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
前記撮像部の出力を画像処理する画像処理部と、
前記画像処理部の出力画像中の特定被写体を検出する特徴検出部と、
前記特定被写体を示すマークとともに、前記画像処理部の出力画像を表示する表示部と、
前記表示部を複数の表示領域に分割し、前記マークを表示した特定被写体が存在する前記表示領域に応じて、警告の有無を決定し、又は警告方法を決定する制御部と、
を備えた撮像装置。
【請求項２】
前記特徴検出部で検出した特定被写体から、少なくともひとつの特定被写体を選択する操作を含む操作指示を受け付ける操作部を備え、
前記表示部は、前記選択された特定被写体を示す選択マークとともに、前記画像処理部の出力画像を表示し、
前記制御部は、前記表示部を複数の表示領域に分割し、前記選択マークを表示した特定被写体が存在する前記表示領域に応じて、警告の有無を決定し、又は警告方法を決定する
請求項１に記載の撮像装置。
【請求項３】
前記特徴検出部は、前記検出した特定被写体の信頼度を算出し、
前記制御部は、前記表示部に警告を表示している場合に、前記マークを表示した特定被写体の信頼度が閾値以下になった際に、所定時間、前記警告を表示し、所定時間経過後に、前記警告を表示しないよう制御する
請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記制御部は、前記所定時間が経過する前に、特定被写体の信頼度が前記閾値を超えた場合に、該特定被写体が、前記操作部により選択された特定被写体と一致するか否かを判断し、一致する場合に、前記警告を表示し続けるよう制御する
請求項３に記載の撮像装置。
【請求項５】
前記制御部は、信頼度の変化前後の特定被写体が一致するか否かを、
前記マークを表示した特定被写体の信頼度が閾値以下になった際の前記表示部における前記特定被写体の消失位置を記憶し、
信頼度が前記閾値を超えた特定被写体の位置が、前記消失位置の近傍であるか否かにより判断する
請求項４に記載の撮像装置。
【請求項６】
前記表示領域は、前記表示部の中心領域、上領域、下領域、左領域、及び右領域の５つの領域からなる
請求項１から請求項５の何れかに記載の撮像装置。
【請求項７】
前記制御部は、前記マークを表示した特定被写体が、上領域、下領域、左領域、又は右領域に存在する場合に、前記表示部における前記特定被写体が存在する領域近傍に、警告を表示する
請求項６に記載の撮像装置。
【請求項８】
前記特徴検出部は、前記特定被写体として人の顔を検出する
請求項１から請求項７の何れかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関するものであり、特に、被写体認識を行い、認識している被写体を表示する撮像装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラなどの被写体を認識する機能を有する撮像装置において、認識された被写体が、最適に撮影できるように、撮像装置はＡＥ、ＡＦ等で各種制御が行われる。しかし、画面上の画像情報から被写体を認識しているため、画面内から被写体が外れると、ＡＥ、ＡＦに対する制御が不可能になる。
【０００３】
これに対して、被写体を画面の中心部からの放射方向の矢印で示し、操作者に被写体の位置を知らせることにより被写体を画面内から外れにくくしたものがある（特許文献１）。
【０００４】
以下、図９により従来の被写体認識機能を備えた撮像装置について説明する。
【０００５】
図９（ａ）では、表示部１３に表示された被写体１０１に対して、モニタの中心部からの放射状の矢印１０２で、撮影者に被写体の位置を知らせる。また図９（ｂ）では、表示部１３から外れた（写っていない）被写体１０１（実際には表示されない）に対して画面中央と被写体を結ぶ線上に矢印１０２を配置し被写体が画面外にあることを示している。
【特許文献１】特開２００５−３４１４４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、以上に述べた撮像装置では、被写体１０１の動きベクトル等の検出が必要となり、さらに被写体１０１が画面外に移動した場合と被写体１０１が障害物に隠れた場合とを別に検出する必要があり、処理が複雑になるという課題がある。
【課題を解決するための手段】
【０００７】
本発明の被写体認識機能を備えた撮像装置は、上記の課題を解決するものであり、被写体を撮像する撮像部と、前記撮像部の出力を画像処理する画像処理部と、前記画像処理部の出力画像中の特定被写体を検出する特徴検出部と、前記特定被写体を示すマークとともに、前記画像処理部の出力画像を表示する表示部と、前記表示部を複数の表示領域に分割し、前記マークを表示した特定被写体が存在する前記表示領域に応じて、警告の有無を決定し、又は警告方法を決定する制御部と、を備える。
【発明の効果】
【０００８】
上記の構成により、本発明の撮像装置は、被写体に関する動きベクトル等の検出が不要となり、簡易な構成で適切な警告を発することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態について、図面を用いて詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る被写体認識機能を備えたビデオカメラ１００の構成を示すブロック図である。図１において、ビデオカメラ１００は、撮像部１０と、撮像部１０の信号を処理する信号処理部１１と、信号処理された画像より特定対象を検出する特定対象検出部１２と、信号処理された画像を記録する画像記録部１７と、検出された特定対象を表示する表示部１３と、それらを制御するコントローラ１４と、外部からユーザが操作する操作部１６を備える。
【００１０】
撮像部１０は、光学系と撮像素子とで構成される。
【００１１】
光学系は、対物レンズ、ズームレンズ、絞り、ＯＩＳユニット、フォーカスレンズ等を含む。光学系は、被写体からの光を集光し、被写体像を形成する。
【００１２】
撮像素子は、光学系で形成された被写体像を撮像して、画像データを生成する。撮像素子は、ＣＭＯＳイメージセンサー、ＣＣＤイメージセンサー等である。
【００１３】
信号処理部１１は、ＡＤコンバータ、画像処理部、システムエンコーダ、システムデコーダを含む。
【００１４】
ＡＤコンバータは、撮像素子で生成された画像データをデジタル信号に変換する。
【００１５】
画像処理部は、ＡＤコンバータで変換された画像データに対して各種の処理を施す。画像処理部は、システムエンコーダへ入力する画像データを生成したり、表示部１３に表示するための画像データを生成したりする。また、画像処理部は、システムデコーダが出力する画像データに対して画像処理を施し、表示部１３に表示するための画像データを生成したり、システムエンコーダへ再入力するための画像データを生成したりする。
【００１６】
画像処理部は、画像前処理部、画像圧縮部、画像伸張部を含む。
【００１７】
画像前処理部は、ＡＤコンバータで変換された画像データに対して、ガンマ補正やホワイトバランス補正などの各種画像処理を行う。
【００１８】
画像圧縮部は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、画像データを圧縮する。画像圧縮部は、例えば、ＭＰＥＧ−２や、Ｈ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。但し、本発明は、ＭＰＥＧ−２や、Ｈ．２６４の形式の画像データに限定されない。
【００１９】
画像伸張部は、システムデコーダから出力された圧縮済みの画像データを表示部１３で再生する場合などに、この画像データを非圧縮の状態に復号化する。
【００２０】
システムデコーダは、画像記録部１７に記録されたＡＶデータを復号化し、圧縮画像データを生成する。システムデコーダは、生成した圧縮画像データを画像伸張部へ出力する。
【００２１】
コントローラ１４は、ビデオカメラ１００全体を制御する制御手段である。コントローラ１４は、半導体素子などで実現可能である。コントローラ１４は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。コントローラ１４は、マイクロコンピュータで実現できる。
【００２２】
特定対象検出部１２は、信号処理部１１で生成された画像データを解析し、画像データ中の特定対象を検出する。特定対象は、例えば人の顔や、人、ねこ等の特定の動物、動く物体等である。特定対象検出部１２は、特定対象を検出するとともに、その特定対象の確からしさを示す信頼度を算出する。本実施の形態では、特定対象検出部１２をコントローラ１４と別に設けているが、コントローラ１４で実現しても良い。
【００２３】
画像記録部１７は、記録媒体制御部と記録媒体で構成される。記録媒体は、メモリカード、ハードディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等である。
【００２４】
表示部１３は、液晶モニタや電子ビューファインダである。表示部１３は、撮像部１０で撮像された画像データや、画像記録部１７から読み出したＡＶデータ中の画像データを表示可能である。また、表示部１３は、ビデオカメラ１００の各種の設定情報や、撮影時間などを表示可能である。
【００２５】
操作部１６は、各種操作手段を総称した構成要素である。操作部１６は、ユーザの指示を受け付け、その指示をコントローラ１４に伝える。
【００２６】
撮像部１０は、本発明の撮像部の一例である。信号処理部１１は、本発明の画像処理部の一例である。特定対象検出部１２は、本発明の特徴検出部の一例である。操作部１６は、本発明の操作部の一例である。表示部１３は、本発明の表示部の一例である。コントローラ１４は、本発明の制御部の一例である。
【００２７】
このように構成された被写体認識機能を備えたビデオカメラ１００について、その動作を説明する。
【００２８】
撮像部１０で撮像された画像データは、信号処理部１１で各種の補正等が行われる。補正された信号は、画像記録部１７で記録される。また。特定対象検出部１２は、信号処理部１１からの信号を基に特定対象を検出し、検出箇所は枠表示等を用いて表示する。同時にコントローラ１４は特定対象の検出位置に対して、対応する領域に応じた警告、信頼度低下に対する警告を表示部１３を用いて表示する。
【００２９】
以下、警告表示の処理について、図２のフローチャートを用いて説明する。
【００３０】
表示部１３上に複数の被写体が表示された状態で、撮影者は操作を行い、複数の被写体から、認識させたい被写体を選択する（ステップＳ２０１）。例えば、表示部１３がタッチパネルである場合には、撮影者は、表示部１３上の特定の被写体をタッチすることにより、被写体を選択する。撮影者が、操作部１６上の操作ボタンを操作することで、複数の被写体に、順次、選択表示が移動し、選択したい特定被写体に選択表示が行われているタイミングで、決定ボタンを操作することによって、特定対象を選択しても良い。
【００３１】
なお、本実施の形態では、複数の被写体から、特定被写体として一つの対象を選択する場合について説明するが、本発明はこれに限られず、複数の特定被写体を選択しても良い。
【００３２】
コントローラ１４は、選択された特定被写体について、表示部１３の画面上にマークを表示する（ステップＳ２０２）。マークの表示例を図３に示す。特定被写体として顔３０が選択された場合、顔３０のまわりに通常の枠表示とは異なる色の枠表示を行う。選択した顔３０のまわりの枠表示を点滅するとしても良い。
【００３３】
コントローラ１４は、選択された特定被写体について、表示部１３の画面上で、どの領域に存在するかを検出する（ステップＳ２０３）。
【００３４】
画面の分割例を図３に示す。画面は、中心領域３１、上領域３２、右領域３３、下領域３４、左領域３５の５つの領域に分割する。図３に示す各領域の大きさは、一例であり、上領域３２、右領域３３、下領域３４、及び左領域３５がより大きく、中心領域３１がより小さくても良く、またはその逆であっても良い。本実施の形態では、上領域３２、右領域３３、下領域３４、及び左領域３５をそれぞれ台形の形状としたが、それぞれが長方形の形状であっても良い。図３において、コントローラ１４は、特定被写体３０が右領域３３に存在することを検出する。
【００３５】
コントローラ１４は、特定対象検出部１２を用いて選択された被写体の信頼度を検出する（ステップＳ２０４）。
【００３６】
コントローラ１４は、特定被写体３０が、所定領域として定めた、上領域３２、右領域３３、下領域３４、左領域３５の４つの領域のいずれかに存在するかを検出する（ステップＳ２０５）。特定被写体３０が、画面の周辺に位置する上記４つの領域に存在する場合、特定被写体３０が、今後画面外に移動する可能性が高い。したがって、コントローラ１４は、あらかじめ撮影者に警告を発する。
【００３７】
コントローラ１４は、図３に示すように、特定被写体３０が所定領域に存在する（ステップＳ２０５でＹｅｓ）場合、特定被写体３０の信頼度を、保持する閾値と比較する（ステップＳ２０６）。信頼度が閾値以下（ステップＳ２０６でＹｅｓ）の場合、コントローラ１４は、表示しているマーク（表示枠）を消す（ステップＳ２０８）とともに、特定被写体３０が閾値以下となった表示画面上の位置を内部メモリ（図示せず）上に記憶する（ステップＳ２０９）。信頼度が閾値を超える（ステップＳ２０６でＮｏ）場合、コントローラ１４は、表示部１３に警告表示を行う（ステップＳ２０７）。
【００３８】
特定被写体３０の信頼度が下がった場合、一般に、特定被写体３０が遠ざかった、障害物に隠れた、画面外に出かかった等が考えられる。特定被写体３０の動きベクトルを検出することで、画面外に向かっているかどうかは判断できるが、画面外にでかかったために信頼度が下がったのか、或いは画面の端の方にある障害物に隠れたかを区別することは困難である。また特定被写体３０が画面の端にあるとき、障害物が移動してきて特定被写体３０を隠してしまった場合、或いは画面の端で特定被写体３０が遠ざかっていく場合等は、特定被写体の信頼度は下がるが、動きベクトルは検出されず、警告を発することが出来ない。したがって、本実施の形態では、これらの区別を行わず、特定被写体３０の位置する領域と、その信頼度に応じて、警告を発することにより、特定被写体３０の認識が困難になっていることを撮影者に知らせる。これによって撮影者は特定被写体３０を認識しやすいようにさまざまなアクションを取ることが出来る。つまり、被写体に関する動きベクトルの検出等を行わず、簡易な構成で、適切な警告を発することができる。
【００３９】
図３に示すように、特定被写体３０が右領域３３に存在する場合の警告表示の例を図４に示す。図４において、コントローラ１４は、警告表示として、右領域に警告表示バー４３を点滅させる。これにより、撮影者は、特定被写体３０が右領域に位置することを認識することができるため、その方向にビデオカメラ１００を向ける等のアクションを取ることができる。
【００４０】
コントローラ１４は、信頼度が閾値以下になった場合（ステップＳ２０６でＹｅｓ）、その経過時間を測定し、その経過時間があらかじめ保持する所定時間を越えた場合（ステップＳ２１０でＹｅｓ）に、表示している警告を非表示とし（ステップＳ２１１）、再度、特定被写体の選択操作（ステップＳ２０１）から、処理を開始する。この場合は、特定被写体３０が画面外に移動し、その方向を示す警告表示を所定時間行ったにも関わらず、撮影者がそれに対応するアクションを行わなかった場合に相当し、撮影者は新たな特定被写体を選択することを望んでいると考えられるため、特定被写体の選択操作（ステップＳ２０１）から、処理を開始する。
【００４１】
コントローラ１４は、所定時間を経過するまでの間は（ステップＳ２１０でＮｏ）、警告表示を継続する（ステップＳ２０７）。すなわち、特定被写体３０の信頼度が下がって見失った場合も、警告表示を一定時間継続させることによって、撮影者が特定被写体３０を見つける一助とすることが出来る。
【００４２】
コントローラ１４は、所定領域に存在（ステップＳ２０５でＹｅｓ）する特定被写体３０の信頼度が、閾値以下（ステップＳ２０６でＹｅｓ）になり、所定時間が経過する前（ステップＳ２１０でＮｏ）に、特定被写体３０の信頼度が回復し、閾値を超えた（ステップＳ２０６でＮｏ）場合、警告表示を継続する（ステップＳ２０７）。ただし、この場合、特定被写体３０の信頼度が下がった際に、特定被写体３０を別の被写体と誤って認識し、その後、誤認識した被写体の信頼度が上がったために、誤った被写体を選択し続ける状況が発生し得る。この状況を回避するために、コントローラ１４は、特定被写体３０の信頼度が閾値以下になった際の表示画面上の消失位置を内部メモリ（図示せず）上に記憶し（ステップＳ２０９）、特定被写体の信頼度が回復し、閾値を超えた場合の出現位置が、消失位置の近傍にあるか否かによって、信頼度が低下する前後の特定被写体が一致しているか否かを判断する。コントローラ１４は、特定被写体の出現位置が、消失位置の近傍にない時には、異なる特定被写体が選択されていると判断し、マーク表示、及び警告表示をやめ、特定被写体の選択操作（ステップＳ２０１）から、処理を開始する。
【００４３】
なお、信頼度の低下前後で特定被写体が一致しているか否かを、特定被写体の色や形状等の特徴を比較することによって判断しても良い。
【００４４】
図５に、領域に応じた、警告表示バーの表示方法の違いを示す。警告表示として、コントローラ１４は、特定被写体３０が上領域３２に有る時は警告表示４２を点滅し、特定被写体３０が右領域３３にあるときは警告表示４３を点滅し、特定被写体３０が下領域３４にあるときは警告表示４４を点滅し、特定被写体３０が左領域３５にあるときは警告表示４５を点滅する。
【００４５】
このような警告表示を行うことによって、被写体を示す矢印等を表示する場合と比較して、矢印表示の場合における、矢印の大きさ、位置等によって、認識のしやすさが異なり、さらに他の被写体を確認するのに邪魔になる等の問題が発生せず、撮影者に視認しやすい警告表示を行うことができる。
【００４６】
コントローラ１４は、図６に示すように、特定被写体３０が所定領域以外の中心領域３１に存在する（ステップＳ２０５でＮｏ）場合、警告表示を行わない。
【００４７】
なお、特定被写体３０が中心領域に存在し、その信頼度を、保持する閾値と比較し、信頼度が閾値以下の場合、コントローラ１４は、図８に示す警告表示を行ってもよい。図８において、コントローラ１４は、全ての警告表示バー４２、４３、４４、及び４５を点滅させる。これにより、撮影者は、特定被写体３０が中心領域に位置しつつ、その信頼度が低下したこと、すなわち、例えば、特定被写体３０が、樹木等の障害物の後ろに位置し、見失いかけていることを認識することができ、撮影者が移動して、特定被写体３０が見える位置に移動する等の適切なアクションを取ることができる。
【００４８】
なお、本実施の形態では、特定被写体３０が中心領域３１に有り、信頼度が閾値を超える場合は、警告を行わないとしたが、警告表示バー４２、４３、４４、４５全てを点灯して撮影者に知らせることも可能である。
【００４９】
このように、ビデオカメラ１００は、特定被写体３０の位置する領域、及び信頼度を用いて、警告表示の方法を変えることで、簡易な構成で、適切な警告表示を行うことが可能となる。
【００５０】
なお、警告表示の方法として、図８に示すように、表示部１０の外側にＬＥＤ等からなる警告表示部９１、９２、９３及び９４を設け、警告表示部９１、９２、９３、９４を、被写体の位置と信頼度に応じて、点灯又は点滅するとしてもよい。
【産業上の利用可能性】
【００５１】
本発明の撮像装置は、被写体の存在領域を表示し、同時に被写体の信頼度を表示する方式を用いることによって、目標の被写体が画面から外れそうに、或いは目標の被写体を見失いそうになっていることを撮影者に知らせる事が可能となる。また警告表示は画面の周辺に位置するため、他の被写体の確認を邪魔することなく警告が可能となり、デジタルカメラ、ビデオカメラ等で有用である。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施の形態における撮像装置の構成を示すブロック図
【図２】本発明の一実施の形態における警告表示の処理を示すフローチャート
【図３】本発明の一実施の形態における画面領域分割を示す図
【図４】本発明の一実施の形態における警告表示を示す図
【図５】本発明の一実施の形態における領域に応じた警告表示を示す図
【図６】本発明の一実施の形態における分割画面領域に位置する被写体を示す図
【図７】本発明の一実施の形態における警告表示を示す図
【図８】本発明の他の実施の形態における警告表示方法を示す図
【図９】従来の警告表示を示す図
【符号の説明】
【００５３】
１０    撮像部
１１    信号処理部
１２    特定対象検出部
１３    表示部
１４    コントローラ
１６    操作部
１７    画面記録部
１００    ビデオカメラ
【図１】
2010098354.tif 000003
【図２】
2010098354.tif 000004
【図３】
2010098354.tif 000005
【図４】
2010098354.tif 000006
【図５】
2010098354.tif 000007
【図６】
2010098354.tif 000008
【図７】
2010098354.tif 000009
【図８】
2010098354.tif 000010
【図９】
2010098354.tif 000011