(57)【要約】【課題】メイン画像に複数の顔が存在する場合においても、メイン画像に存在する顔に影響を与えることなくイン画像を表示するためサブウィンドウを表示する。【解決手段】メインカメラ部１０１は被写体を撮像してメイン画像を得、インカメラ部１０７は撮影者を撮像してイン画像を得る。システム制御部１１８は表示部１１５に表示されたメイン画像にイン画像を表示するウィンドウを表示する際、画像処理部１０６および１１２によってそれぞれメイン画像およびイン画像において顔領域を検出する。システム制御部はメイン画像における顔領域の位置およびサイズを求め、イン画像における顔領域のサイズを求めて、メイン画像における顔領域の位置およびサイズとイン画像における顔のサイズとに応じて、ウィンドウの位置およびサイズを制御する。【選択図】図５
2016012845.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して第１の画像を得る第１の撮像手段と、被写体以外の撮影者を撮像して第２の画像を得る第２の撮像手段とを有し、表示部に表示された前記第１の画像に前記第２の画像を重ねて表示する撮像装置であって、
前記第１の画像において予め定められた部位を第１の部位として検出する検出手段と、
前記第１の部位の位置に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御する制御手段と、を有し、
前記検出手段により前記第１の画像において複数の前記第１の部位が検出される場合、前記制御手段は、複数の前記第１の部位の優先度に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第１の部位の位置およびサイズに応じて、前記第２の画像を前記第１の画像に重ねる位置を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、前記第１の画像において予め定められた部位を第１の部位として検出するとともに前記第２の画像において予め定められた部位を第２の部位として検出し、
前記制御手段は、前記検出手段により検出した前記第１の部位の位置およびサイズと、前記検出手段により検出した前記第２の部位のサイズとに応じて、前記第２の画像を前記第１の画像に重ねる位置を制御することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記検出手段によって前記第１の画像において複数の前記第１の部位が検出されると、前記制御手段は、前記複数の第１の部位のうちそのサイズが大きい第１の部位を優先して、その優先度に応じて前記第２の画像を前記第１の画像に重ねる位置を制御することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記検出手段によって検出された前記第２の部位のサイズに応じて、前記第２の画像を前記第１の画像に重ねる際に表示されるウィンドウのサイズを制御することを特徴とする請求項３又は４に記載の撮像装置。
【請求項６】
前記制御手段は、前記検出手段によって検出された前記第２の部位のサイズに応じて、前記第２の画像を前記第１の画像に重ねる際に表示されるウィンドウのサイズを決定しており、
前記制御手段は、前記検出手段によって前記第１の画像において複数の前記第１の部位が検出されると、前記第１の部位の各々のサイズと前記ウィンドウのサイズとのうち大きいサイズを優先して、その優先度に基づいて前記ウィンドウの位置を制御することを特徴とする請求項３又は４に記載の撮像装置。
【請求項７】
前記制御手段は、前記検出手段によって前記第１の画像において複数の前記第１の部位が検出されると、前記複数の第１の部位のうちそのサイズが最も大きい第１の部位に応じて、前記ウィンドウのサイズを制御することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第１の部位および前記第２の部位の各々は顔領域であることを特徴とする請求項３〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１の部位は顔領域であり、
前記第１の部位が笑顔であるか否かを判定する判定手段を備え、
前記制御手段は、前記判定手段によって笑顔であると判定された第１の部位についてその優先度を高くすることを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項１０】
前記第１の撮像手段をズーム動作するズーム手段を備え、
前記ズーム動作が行われていると、前記制御手段は、前記第２の画像を前記第１の画像に重ねる際に表示されるウィンドウのサイズおよび表示位置を予め定められたサイズおよび位置とすることを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１１】
前記制御手段は、前記検出手段によって前記第２の部位が検出されないと、前記第２の画像を前記第１の画像に重ねる際に表示されるウィンドウを非表示とすることを特徴とする請求項３〜８のいずれか１項に記載の撮像装置。
【請求項１２】
被写体を撮像して第１の画像を得る第１の撮像手段と、被写体以外の撮影者を撮像して第２の画像を得る第２の撮像手段とを有し、表示部に表示された前記第１の画像に前記第２の画像を重ねて表示する撮像装置の制御方法であって、
前記第１の画像において予め定められた部位を第１の部位として検出する検出ステップと、
前記第１の部位の位置に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御する制御ステップと、を有し、
前記制御ステップでは、前記検出ステップにより前記第１の画像において複数の前記第１の部位が検出される場合、複数の前記第１の部位の優先度に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御することを特徴とする制御方法。
【請求項１３】
被写体を撮像して第１の画像を得る第１の撮像手段と、被写体以外の撮影者を撮像して第２の画像を得る第２の撮像手段とを有し、表示部に表示された前記第１の画像に前記第２の画像を重ねて表示する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記第１の画像において予め定められた部位を第１の部位として検出する検出ステップと、
前記第１の部位の位置に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御する制御ステップと、を実行させ、
前記制御ステップでは、前記検出ステップにより前記第１の画像において複数の前記第１の部位が検出される場合、複数の前記第１の部位の優先度に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御することを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮影の結果得られた画像を表示する際の表示制御に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置において、主被写体を撮影するための第１の撮像部（以下メインカメラと呼ぶ）と撮影者を撮影するための第２の撮像部（以下インカメラと呼ぶ）を備えるものがある。このような撮像装置において、メインカメラおよびインカメラの各々で得られた画像を１つの表示装置に表示する際、インカメラで得られた画像（インカメラ画像と呼ぶ）をメインカメラで得られた画像（以下メインカメラ画像と呼ぶ）上にサブウィンドウを表示することが行われている。
【０００３】
ところが、メインカメラ画像に拘わらず、サブウィンドウはメインカメラ画像上（つまり、表示画面上）の所定の領域に表示される。このため、サブウィンドウとメインカメラ画像における主被写体（例えば、顔）が重なってしまい、主被写体の顔が見えなくなってしまうことがある。
【０００４】
このような事態に対処するため、主被写体の顔と重ならない領域を探索して、サブウィンドウを表示するようにしたものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１８８５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に記載の表示手法では、メインカメラ画像に多数の顔が存在すると、表示画面上においてサブウィンドウを表示する領域がなくなってしまうことがある。
【０００７】
そこで、本発明の目的は、メインカメラ画像に複数の顔が存在する場合においても、メインカメラ画像に存在する顔に影響を与えることなくインカメラ画像を表示するためのサブウィンドウを表示することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明による撮像装置は、被写体を撮像して第１の画像を得る第１の撮像手段と、被写体以外の撮影者を撮像して第２の画像を得る第２の撮像手段とを有し、表示部に表示された前記第１の画像に前記第２の画像を重ねて表示する撮像装置であって、前記第１の画像において予め定められた部位を第１の部位として検出する検出手段と、前記第１の部位の位置に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御する制御手段と、を有し、前記検出手段により前記第１の画像において複数の前記第１の部位が検出される場合、前記制御手段は、複数の前記第１の部位の優先度に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御することを特徴とする。
【０００９】
本発明による制御方法は、被写体を撮像して第１の画像を得る第１の撮像手段と、被写体以外の撮影者を撮像して第２の画像を得る第２の撮像手段とを有し、表示部に表示された前記第１の画像に前記第２の画像を重ねて表示する撮像装置の制御方法であって、前記第１の画像において予め定められた部位を第１の部位として検出する検出ステップと、前記第１の部位の位置に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御する制御ステップと、を有し、前記制御ステップでは、前記検出ステップにより前記第１の画像において複数の前記第１の部位が検出される場合、複数の前記第１の部位の優先度に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御することを特徴とする。
【００１０】
本発明による制御プログラムは、被写体を撮像して第１の画像を得る第１の撮像手段と、被写体以外の撮影者を撮像して第２の画像を得る第２の撮像手段とを有し、表示部に表示された前記第１の画像に前記第２の画像を重ねて表示する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記第１の画像において予め定められた部位を第１の部位として検出する検出ステップと、前記第１の部位の位置に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御する制御ステップと、を実行させ、前記制御ステップでは、前記検出ステップにより前記第１の画像において複数の前記第１の部位が検出される場合、複数の前記第１の部位の優先度に応じて、前記第２の画像を前記第１の画像に重ねる位置を制御することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、第１の画像における第１の部位（例えば、顔）の位置に応じて、第２の画像を第１の画像に重ねる位置を制御する際、第１の画像において複数の第１の部位が検出される場合には、複数の第１の部位の優先度に応じて、第２の画像を第１の画像に重ねる位置を制御する。これによって、第１の画像に複数の顔が存在する場合においても、第１の画像に存在する顔に影響を与えることなくサブウィンドウを表示することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態による撮像装置の一例についてその外観を示す図であり、（ａ）は背面からみた図、（ｂ）は正面からみた図である。
【図２】図１に示すカメラの構成についてその一例を示すブロック図である。
【図３】図２に示すカメラの動作の一例を説明するためのフローチャートである。
【図４】図１に示すメインカメラ部の撮影によって得られた画像とインカメラ部の撮影によって得られた画像とを表示部に表示した状態を説明するための図であり、（ａ）は表示状態の一例を示す図、（ｂ）は表示状態の他の例を示す図である。
【図５】図３に示す撮影モード処理を説明するためのフローチャートである。
【図６】図５に示すサブウィンドウサイズ算出処理を説明するためのフローチャートである。
【図７】図５に示す領域重み付け処理を説明するためのフローチャートである。
【図８】図５に示すサブウィンドウ表示位置決定処理を説明するためのフローチャートである。
【図９】図３に示す再生モード処理を説明するためのフローチャートである。
【図１０】本発明の第２の実施形態で行われる領域重み付け処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
以下に、本発明の実施の形態による撮像装置の一例について、図面を参照して説明する。
【００１４】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその外観を示す図である。そして、図１（ａ）は背面からみた図であり、図１（ｂ）は正面から見た図である。
【００１５】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）２０１であり、その背面側には表示部２０２が配置されている（図１（ａ）参照）。この表示部２０２は、例えば、液晶ディスプレイであり、表示部２０２には画像および各種情報が表示される。
【００１６】
カメラ２０１の上面にはシャッターボタン２０３および電源スイッチ２０６が配置されている。電源スイッチ２０６はカメラ２０１の電源をオン又はオフする際に用いられる。そして、シャッターボタン２０３の操作によって撮影指示が行われる。
【００１７】
表示部２０２の斜め右上にはモード切替スイッチ２０４が配置されている。モード切替スイッチ２０４はカメラ２０１において各種モードを切り替える際に用いられる。表示部２０２の右側には操作部２０５が配置されている。この操作部２０５は、ユーザの各種操作を受け付ける各種スイッチおよびボタンなどを有している。そして、表示部２０２の上側には、第２の撮像部であるインカメラ部２０７が配置され、このインカメラ部２０７によって、被写体以外のユーザである撮影者が撮影される。
【００１８】
図１（ｂ）に示す正面側において、カメラ２０１は第１の撮像部であるメインカメラ部２０８を有している。このメインカメラ部２０８によって主被写体が撮影される。なお、メインカメラ部２０８は、主被写体をズームイン又はズームアウトするためのズーム機構を備えている。
【００１９】
図２は、図１に示すカメラ２０１の構成についてその一例を示すブロック図である。
【００２０】
前述のように、カメラ２０１はメインカメラ部およびインカメラ部を有している。図２においては、メインカメラ部およびインカメラ部はそれぞれ参照番号１０１および１０７が付されている。メインカメラ部１０１は、撮影レンズユニット（以下単に撮影レンズと呼ぶ）１０２を有しており、この撮影レンズ１０２はズームレンズおよびフォーカスレンズを含む。
【００２１】
撮影レンズ１０２の後段には、メカ機構部１０３が配置されている。メカ機構部１０３は、撮影レンズ１０２を介して入射する被写体像を拡大又は縮小して撮像素子１０４に結像させる。メカ機構部１０３は撮影レンズ１０２を駆動するズーム機構、光量を制御するための絞り機構、そして、撮影の際に光を遮るシャッター機構などを有している。
【００２２】
メカ機構部１０３の後段には、ＣＭＯＳイメージセンサなどの撮像素子１０４が配置されている。撮像素子１０４は、結像した被写体像に応じた電気信号（アナログ信号）を出力する。撮像素子１０４の出力であるアナログ信号はＡ／Ｄ変換器１０５に送られる。Ａ／Ｄ変換器１０５はアナログ信号デジタル信号に変換して、画像処理部１０６に送る。
【００２３】
画像処理部１０６は、Ａ／Ｄ変換器１０５から送られたデジタル信号、又はメモリ制御部１１３から送られる画像データについて所定の画素補間、縮小などのリサイズ処理、および色変換処理を行う。さらに、画像処理部１０６は、撮像の結果得られた画像データにおいて、人物の顔領域を検出する顔検出処理を行う。
【００２４】
同様に、インカメラ部１０７は、撮影レンズ１０８、メカ機構部１０９、および撮像素子１１０を有している。そして、撮像素子１１０の出力であるアナログ信号はＡ／Ｄ変換器１１１によってデジタル信号に変換される。画像処理部１１２はＡ／Ｄ変換器１１１から送られるデジタル信号、又はメモリ制御部１１３から送られる画像データについて所定の画素補間、縮小などのリサイズ処理、および色変換処理を行う。なお、画像処理部１１２は、撮像の結果得られた画像データにおいて、人物の顔領域を検出する顔検出処理を行う。
【００２５】
Ａ／Ｄ変換器１０５の出力であるデジタル信号は、画像処理部１０６およびメモリ制御部１１３を介して、或いはメモリ制御部１１３を介して画像データとしてメモリ１１４に直接書き込まれる。同様に、Ａ／Ｄ変換器１１１の出力であるデジタル信号は、画像処理部１１２およびメモリ制御部１１３を介して、或いはメモリ制御部１１３を介して画像データとしてメモリ１１４に直接書き込まれる。
【００２６】
以下の説明では、メインカメラ１０１で得られた画像データをメイン画像データ又はメイン画像と呼び、インカメラ１０７で得られた画像データをイン画像データ又はイン画像と呼ぶ。
【００２７】
メモリ１１４には、上述のメイン画像データおよびイン画像データが格納されるとともに、表示部１１５に表示するための表示用画像データが格納される。なお、メモリ１１４は、所定枚数の静止画像又は所定時間の動画像、および音声を格納するための十分な記憶容量を備えている。メモリ１１４は画像表示用のメモリ（ビデオメモリ）を兼ねている。
【００２８】
メモリ制御部１１３はシステム制御部１１８の制御下で、Ｄ／Ａ変換器１１６によってメモリ１１４に格納された表示用画像データをアナログ信号に変換して表示部１１５に送る。これによって、メモリ１１４に格納された表示用画像データはＤ／Ａ変換器１１６を介して表示部１１５に画像として表示される。
【００２９】
表示部１１５（図１においては表示部２０２で示されている）は、例えば、ＬＣＤであって、Ｄ／Ａ変換器１１６の出力であるアナログ信号に応じた画像を表示する。なお、メモリ１１４に蓄積されたメイン画像データ又はイン画像データをＤ／Ａ変換器１１６によってアナログ信号に変換して、当該アナログ信号を表示部１１５に逐次転送して表示することによってスルー画像表示（以下ライブビュー表示ともいう）が行われる。つまり、撮影の際に所謂電子ビューファインダとして機能することになる。
【００３０】
不揮発性メモリ１１７は、電気的に消去および記録が可能なメモリであって、例えばＥＥＰＲＯＭが用いられる。そして、不揮発性メモリ１１７には、システム制御部１１８の動作用の定数およびプログラムなどが記憶される。このプログラムには、後述する各種フローチャートを実行するためのプログラムが含まれる。
【００３１】
システム制御部１１８は、カメラ２０１全体を制御する。システム制御部１１８は、不揮発性メモリ１１７に記録されたプログラムを実行することによって、例えば、後述する処理を行う。
【００３２】
前述のメモリ１１４は、例えば、ＲＡＭであり、メモリ１１４には、システム制御部１１８の動作用の定数、変数、そして、不揮発性メモリ１１７から読み出したプログラムなどが展開される。なお、システム制御部１１８は、メモリ１１４、Ｄ／Ａ変換器１１６、および表示部１１５などを制御して表示制御を行う。
【００３３】
図２に示す操作部１１９は、図１に示すシャッターボタン２０３、電源スイッチ２０６、モード切替スイッチ２０４、および操作部２０５が含まれている。モード切替スイッチは、システム制御部１１８の動作モードを、例えば、撮影モードおよび再生モードのいずれかに切り替える際に用いられる。撮影モードには、例えば、静止画撮影モードおよび動画撮影モードがあり、撮影モードの際には、表示部１１５によるライブビュー表示が行われる。再生モードにおいては、撮影済みの画像（メイン画像および／又はイン画像）が閲覧のため表示部１１５に表示される。
【００３４】
静止画撮影モードには、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、およびプログラムＡＥモード、およびカスタムモードなどが含まれている。
【００３５】
静止画撮影モードに含まれるこれらのモードの切り替えは、例えば、モード切替スイッチによって行われる。なお、モード切替スイッチを用いて静止画撮影モードに一旦切り替えた後、静止画撮影モードに含まれるこれらのモードのいずれかに操作部１１９に備えられた他の操作部材を用いて切り替えるようにしてもよい。また、動画撮影モードにおいても複数のモードを含むようにしてもよい。
【００３６】
操作部１１９に備えられたシャッターボタンは、第１のシャッタースイッチおよび第２のシャッタースイッチを有している。シャッターボタンが操作途中、所謂半押し状態となると（撮影準備指示）、第１のシャッタースイッチがオンとなって、第１のシャッタースイッチ信号ＳＷ１がシステム制御部１１８に送られる。
【００３７】
システム制御部１１８は、第１シャッタースイッチ信号ＳＷ１に応答して、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、およびＥＦ（フラッシュプリ発光）処理などを開始する。
【００３８】
シャッターボタンが操作完了、所謂全押し状態となると（撮影指示）、第２のシャッタースイッチがオンとなって、第２のシャッタースイッチ信号ＳＷ２がシステム制御部１１８に送られる。
【００３９】
システム制御部１１８は、第２のシャッタースイッチ信号ＳＷ２に応答して、撮像素子１０４および１１０における信号読み出しから記録媒体１２０に画像データを書き込むまでの一連の撮影処理（本撮影）を開始する。
【００４０】
ところで、表示部１１５に表示される種々の機能アイコンを選択操作することによって、場面（撮影シーン）毎に、操作部１１９には適宜機能が割り当てられて、各種機能ボタンとして作用する。機能ボタンとして、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタンがある。例えば、メニューボタンが操作されると、各種設定が可能なメニュー画面が表示部１１５に表示される。ユーザは、表示部１１５に表示されたメニュー画面と、操作部１１９に備えられた上下左右の４方向ボタンおよびＳＥＴボタンを用いて直感的に各種設定を行うことができる。
【００４１】
電源部１２１は、アルカリ電池又はリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池などの二次電池を有するとともに、ＡＣアダプターなどを備えている。記録媒体Ｉ／Ｆ１２２は、メモリカード又はハードディスクなどの記録媒体１２０とのインターフェースである。記録媒体１２０には、撮影の結果得られた画像が記録され、例えば、半導体メモリ又は磁気ディスクから構成される。
【００４２】
上述のカメラ２０１においては、所謂中央１点ＡＦ又は顔ＡＦを用いた撮影を行うことができる。中央１点ＡＦでは撮影画面の中央位置１点に対してＡＦが行われる。顔ＡＦでは顔検出によって検出された撮影画面における顔領域に対してＡＦが行われる。
【００４３】
ここで、カメラ２０１における顔検出について説明する。なお、顔検出において、メイン画像データについて第１の部位である顔領域を検出する際には、システム制御部１１８から画像処理部１０６に顔検出対象の画像データが送られる。同様に、イン画像データについて第２の部位である顔領域を検出する際には、システム制御部１１８から画像処理部１１２に顔検出対象の画像データが送られる。画像処理部１０６および１１２における顔検出処理は同様であるので、ここでは、画像処理部１０６に注目して顔検出処理を説明する。
【００４４】
前述のように、顔検出の際には、システム制御部１１８は顔検出対象の画像データを画像処理部１０６に送る。システム制御部１１８の制御下で、画像処理部１０６は、当該画像データに対して水平方向バンドパスフィルタ処理を行う。そして、画像処理部１０６は水平方向バンドパスフィルタ処理された画像データに対して垂直方向バンドパスフィルタ処理を行う。これら水平および垂直方向バンドパスフィルタ処理によって、画像データのエッジ成分が検出される。
【００４５】
その後、システム制御部１１８は、検出されたエッジ成分についてパターンマッチング処理を行って、目および鼻、口、耳の候補群を抽出する。そして、システム制御部１１８は、抽出された目の候補群から、予め設定された条件（例えば、２つの目の距離および傾きなど）を満たすものを、目の対と判定して、目の対があるもののみ目の候補群として絞り込む。
【００４６】
システム制御部１１８は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付けるとともに、予め設定した非顔条件フィルタ処理を行って、顔領域を検出する。
【００４７】
なお、システム制御部１１８で行われる顔検出は、１つの顔領域のみではなく複数の顔領域について行われる。システム制御部１１８は、顔の検出結果に応じて顔領域を示す顔情報を生成する。
【００４８】
このようにして、ライブビュー表示又は再生表示される画像データを画像解析して、画像データの特徴量を示す被写体情報の一つである顔情報を得て、この顔情報に応じて被写体（主被写体又は撮影者）を検出することができる。なお、被写体情報として顔情報を例に挙げて説明したが、被写体情報には、顔情報の他にも赤目判定、目の検出、目つむり検出、又は笑顔検出などで得られた様々な情報がある。
【００４９】
図３は、図２に示すカメラ２０１の動作の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理はシステム制御部１１８の制御下で行われる。
【００５０】
ここでは、カメラ２０１は撮影モードおよび再生モード」のいずれかのモードで動作するものとする。前述のように、撮影モードにおいては、表示部１１５にライブビュー表示が行なわれ、シャッターボタンの操作により撮影が行われる。一方、再生モードにおいては、記録媒体１２０に格納された撮影済みの画像データが閲覧のため画像として表示部１１５に再生表示される。
【００５１】
カメラ動作が開始されると、システム制御部１１８は、モード切替スイッチの位置に応じて、カメラ２０１が撮影モードであるか否かを判定する（ステップＳ３０１）。カメラ２０１が撮影モードであると（ステップＳ３０１において、ＹＥＳ）、システム制御部１１８は、後述する撮影モード処理を行う（ステップＳ３０２）。
【００５２】
一方、カメラ２０１が撮影モードではないと（ステップＳ３０１において、ＮＯ）、システム制御部１１８は、カメラ２０１が再生モードであると判定する。そして、システム制御部１１８は後述する再生モード処理を行う（ステップＳ３０３）。
【００５３】
ステップＳ３０２又はＳ３０３の処理の後、システム制御部１１８はカメラ動作をシャットダウンさせるか否かを判定する（ステップＳ３０４）。カメラ動作をシャットダウンさせると判定すると（ステップＳ３０４において、ＹＥＳ）、システム制御部１１８はカメラ動作を終了する。カメラ動作をシャットダウンしないと判定すると（ステップＳ３０４において、ＮＯ）、システム制御部１１８はステップＳ３０１の処理に戻る。なお、例えば、電源スイッチ２０６が操作されると、システム制御部１１８はカメラ動作をシャットダウンさせると判定する。
【００５４】
図４は、図１に示すメインカメラ部２０８の撮影によって得られた画像とインカメラ部２０７の撮影によって得られた画像とを表示部２０２に表示した状態を説明するための図である。そして、図４（ａ）は表示状態の一例を示す図であり、図４（ｂ）は表示状態の他の例を示す図である。
【００５５】
図４において、いま、表示部２０２（図２においては、表示部１１５）には、画面（メインウィンドウともいう）４０１が表示されているものとする。この画面４０１には、メイン画像が表示されるとともにイン画像が表示されている。メイン画像には主被写体である人物の顔４０２および４０３が存在する。画面４０１にはサブウィンドウ４０４が表示され、イン画像は当該サブウィンドウ４０４に表示される。そして、イン画像には撮影者４０５が存在する。
【００５６】
このように、表示部２０２にはメイン画像とイン画像とが合成された合成画像が表示されることになる。
【００５７】
後述するように、システム制御部１１８はメイン画像に人物の顔が存在すると、例えば、顔４０２および４０３の位置および大きさに応じて、画面４０１におけるサブウィンドウ４０４の位置を変更する。
【００５８】
図４（ａ）に示す例では、顔４０２および４０３を避ける位置である画面４０１の左隅にサブウィンドウ４０４が表示される。一方、図４（ｂ）に示す例では、顔４０２および４０３を避ける位置である画面４０１の右隅にサブウィンドウ４０４が表示される。このように、システム制御部１１８はメイン画像における顔４０２および４０３の位置およびサイズに応じて、サブウィンドウ４０４を顔４０２および４０３に影響しない位置に表示する。
【００５９】
図５は、図３に示す撮影モード処理を説明するためのフローチャートである。
【００６０】
撮影モード処理を開始すると、システム制御部１１８の制御下で、画像処理部１１２はイン画像について顔検出処理を行う（ステップＳ５０１）。そして、システム制御部１１８は、顔検出処理の結果得られた顔検出結果に応じてイン画像において顔が検出されたか否かを判定する（ステップＳ５０２）。
【００６１】
イン画像において顔が検出されると（ステップＳ５０２において、ＹＥＳ）、システム制御部１１８はメインカメラ部１０１についてズーム動作を行うか否かを判定する（ステップＳ５０３）。メインカメラ部１０１についてズーム動作を行わないと（ステップＳ５０３において、ＮＯ）、システム制御部１１８は、後述するようにして、サブウィンドウのサイズを算出するためのサイズ算出処理を行う（ステップＳ５０４）。
【００６２】
続いて、システム制御部１１８は、画像処理部１０６を制御してメイン画像について顔検出処理を行う（ステップＳ５０５）。そして、システム制御部１１８は顔検出処理の結果得られた顔検出結果に応じて、メイン画像において顔が検出されたか否かを判定する。その後、システム制御部１１８は、後述するようにして、メイン画像の領域について領域の重み付け処理を行う（ステップＳ５０６）。
【００６３】
続いて、システム制御部１１８は、後述するようにして、表示部１１５に表示するサブウィンドウの表示位置を画面上（つまり、メイン画像上）のいずれの領域に表示するかを決定するためのサブウィンドウの表示位置決定処理を行う（ステップＳ５０７）。そして、システム制御部１１８は、表示位置決定処理で得られたサブウィンドウの表示位置を、メイン画像とイン画像とに関連付けてメモリ１１４に記憶する（ステップＳ５０８）。
【００６４】
なお、メイン画像とイン画像とを記憶媒体１２０に記憶する際には、サブウィンドウの表示位置を示す情報（状態情報という）を記憶媒体１２０に記憶することになる。
【００６５】
続いて、システム制御部１１８はサブウィンドウの表示位置に応じて、メイン画像にサブウィンドウを合成して表示部１１５に表示する（ステップＳ５０９）。そして、システム制御部１１８は撮影モード処理を終了するか否かを判定する（ステップＳ５１０）。
【００６６】
撮影モード処理を終了すると判定すると（ステップＳ５１０において、ＹＥＳ）、システム制御部１１８は撮影モード処理を終了する。一方、撮影モード処理を続行すると判定すると（ステップＳ５１０において、ＮＯ）、システム制御部１１８は現在のサブウィンドウの表示位置を所定の時間維持して（ステップＳ５１１）、Ｓ５０１の処理に戻る。
【００６７】
イン画像において顔が検出されないと（ステップＳ５０２において、ＮＯ）、システム制御部１１８はサブウィンドウを非表示とする（ステップＳ５１２）。そして、システム制御部１１８は、サブウィンドウの非表示を示す非表示情報をメイン画像とイン画像とに関連付けてメモリ１１４に記憶する（ステップＳ５１３）。その後、システム制御部１１８はステップＳ１０の処理に進む。
【００６８】
なお、メイン画像とイン画像とを記憶媒体１２０に記憶する際には、サブウィンドウの非表示を示す非表示情報が記憶媒体１２０に記憶される。
【００６９】
メインカメラ部１０１についてズーム動作を行う場合には（ステップＳ５０３において、ＹＥＳ）、システム制御部１１８はサブウィンドウのサイズおよび表示位置を予め設定されたサイズおよび位置に決定する（ステップＳ５１４）。そして、システム制御部１１８はステップＳ５０８の処理に進む。
【００７０】
図６は、図５に示すサブウィンドウのサイズ算出処理を説明するためのフローチャートである。
【００７１】
サブウィンドウサイズ算出処理を開始すると、システム制御部１１８は、イン画像において顔領域の数が２つ以上であるか否かを判定する（ステップＳ６０１）。イン画像において顔領域の数が２つ以上であると（ステップＳ６０１において、ＹＥＳ）、システム制御部１１８は顔領域のうちそのサイズが最も大きい顔領域を抽出顔領域として抽出する（ステップＳ６０２）。
【００７２】
続いて、システム制御部１１８はイン画像において抽出顔領域が占める割合を占有割合として算出する（ステップＳ６０３）。そして、システム制御部１１８は占有割合に応じて予め設定されたサイズにサブウィンドウのサイズを決定する（ステップＳ６０４）。その後、システム制御部１１８はサブウィンドウサイズ算出処理を終了する。
【００７３】
一方、イン画像において顔領域の数が１つであると（ステップＳ６０１において、ＮＯ）、システム制御部１１８はステップＳ６０３の処理に進んで、イン画像に存在する一つの顔領域のイン画像に対する占有割合を算出する。
【００７４】
図７は、図５に示す領域重み付け処理を説明するためのフローチャートである。
【００７５】
領域重み付け処理を開始すると、システム制御部１１８は、メイン画像において検出された顔領域の各々についてそのサイズを算出する（ステップＳ７０１）。そして、システム制御部１１８は顔領域についてそのサイズが大きい順に重み付け係数を決定する（ステップＳ７０２）。つまり、システム制御部１１８は顔領域毎にそのサイズに応じて予め設定された重み付け係数を選択することになる。
【００７６】
続いて、システム制御部１１８は、メイン画像において顔領域が互いに少なくとも一部が重なり合う重複領域が存在するか否かを判定する（ステップＳ７０３）。重複領域が存在すると（ステップＳ７０３において、ＹＥＳ）、システム制御部１１８は、重なり合う顔領域においてそのサイズが最も大きい顔領域に重複領域が属すると決定する（ステップＳ７０４）。
【００７７】
次に、システム制御部１１８は、顔領域の各々について、ステップＳ７０２で決定した重み付け係数を乗算して重み付け処理を行う（ステップＳ７０５）。そして、システム制御部１１８は領域重み付け処理を終了する。なお、重複領域が存在しないと（ステップＳ７０３において、ＮＯ）、システム制御部１１８はステップＳ７０５の処理に進む。
【００７８】
図８は、図５に示すサブウィンドウ表示位置決定処理を説明するためのフローチャートである。
【００７９】
サブウィンドウ表示位置決定処理を開始すると、システム制御部１１８は、領域重み付け処理が行われたメイン画像において、重み付けされていない領域についてサブウィンドウが表示可能な領域があるか否かを判定する（ステップＳ８０１）。重み付けされていない領域においてサブウィンドウが表示可能な領域がないと（ステップＳ８０１において、ＮＯ）、システム制御部１１８はサブウィンドウのサイズに応じて予め設定された重み付け係数を決定する（ステップＳ８０２）。そして、システム制御部１１８は当該重み付け係数によってサブウィンドウのサイズを重み付け処理する。
【００８０】
続いて、システム制御部１１８は、ステップＳ８０２において重み付け処理したサブウィンドウよりも重み付けが低く、かつサブウィンドウが表示可能な領域があるか否かを判定する（ステップＳ８０３）。重み付け処理したサブウィンドウよりも重み付けが低いか又はサブウィンドウが表示可能な領域がないと（ステップＳ８０３において、ＮＯ）、システム制御部１１８は重み付け係数を所定の率で増加させる。つまり、システム制御部１１８は重み付け係数を大きくして、当該重み付け係数によってサブウィンドウのサイズを重み付け処理する。そして、システム制御部１１８はステップＳ８０３の処理に戻る。
【００８１】
重み付け処理したサブウィンドウよりも重み付けが低く、かつサブウィンドウが表示可能な領域があると（ステップＳ８０３において、ＹＥＳ）、システム制御部１１８は、当該領域をサブウィンドウの表示位置として決定する（ステップＳ８０５）。そして、システム制御部１１８はサブウィンドウ表示位置決定処理を終了する。
【００８２】
なお、重み付けされていない領域においてサブウィンドウが表示可能な領域があると（ステップＳ８０１において、ＹＥＳ）、システム制御部１１８はステップＳ８０５の処理に進んで、当該領域をサブウィンドウの表示位置として決定する。この際、複数の領域が存在する場合には、システム制御部１１８は最も面積の大きい領域をサブウィンドウの表示位置として決定することになる。
【００８３】
図９は、図３に示す再生モード処理を説明するためのフローチャートである。
【００８４】
再生モード処理を開始すると、システム制御部１１８は記憶媒体１２０に記録された画像に関連付けてサブウィンドウの状態情報が記録されているか否かを判定する（ステップＳ９０１）。サブウィンドウの状態情報が記録されていると（ステップＳ９０１において、有）、システム制御部１１８はメモリ制御部１１３によって記憶媒体１２０からメイン画像およびイン画像を読み出す。そして、システム制御部１１８はメイン画像を表示部１１５に表示するとともに、サブウィンドウの状態情報に応じてメイン画像上にサブウィンドウを表示しイン画像をサブウィンドウに表示する（ステップＳ９０２）。その後、システム制御部１１８は再生モード処理を終了する。
【００８５】
サブウィンドウの状態情報が記録されていないと（ステップＳ９０１において、無）、システム制御部１１８は記憶媒体１２０からメイン画像およびイン画像を読み出す。そして、システム制御部１１８は、図５で説明した撮影モード処理と同様の処理を行って、メイン画像にサブウィンドウを表示する（ステップＳ９０３）。その後、システム制御部１１８は再生モード処理を終了する。
【００８６】
このように、本発明の第１の実施形態では、メイン画像に複数の顔が存在した際においては、第１の画像における顔とサブウィンドウとに重み付けを行う。つまり、第１の画像における顔とサブウィンドウとに優先度をつけて、メイン画像の領域にサブウィンドウを表示する。これによって、メイン画像において最も影響の少ない領域にサブウィンドウを表示することができる。
【００８７】
［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態によるカメラの構成は図１および図２に示すカメラと同様である。また、第２の実施形態によるカメラは、第１の実施形態において図３で説明したようにしてカメラ動作を行うが、第２の実施形態では領域重み付け処理のみが第１の実施形態と異なる。
【００８８】
図１０は、本発明の第２の実施形態で行われる領域重み付け処理を説明するためのフローチャートである。なお、図示のフローチャートにおいて、図７に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。
【００８９】
領域重み付け処理を開始すると、システム制御部１１８は、図７で説明したステップＳ７０１〜Ｓ７０５の処理を行う。ステップＳ７０５の処理の後、システム制御部１１８の制御下で、画像処理部１０６はメイン画像において笑顔検出を行って、笑顔検出結果を得る。システム制御部１１８は笑顔検出結果に応じて笑顔が検出されたか否かを判定する（ステップＳ１００１）。
【００９０】
笑顔が検出されないと（ステップＳ１００１において、ＮＯ）、システム制御部１１８は領域重み付け処理を終了する。一方、笑顔が検出されると（ステップＳ１００１において、ＹＥＳ）、システム制御部１１８は笑顔を検出した顔領域を含む領域について、さらに予め定められた重み付け処理を行う（ステップＳ１００２）。そして、システム制御部１１８は領域重み付け処理を終了する。
【００９１】
このように、本発明の第２の実施形態では、笑顔が検出されると。当該笑顔の優先度を高くする。これによって、たとえ笑顔のサイズが小さくても、当該笑顔がサブウィンドウの表示に影響されることを回避することができる。
【００９２】
上述の説明から明らかなように、図２に示す例では、画像処理部１０６および１１２が検出手段として機能し、システム制御部１１８が制御手段として機能する。また、画像処理部１０６およびシステム制御部１１８が判定手段として機能し、システム制御部１１８はズーム手段として機能する。
【００９３】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００９４】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００９５】
上記の制御方法および制御プログラムの各々は、少なくとも検出ステップおよび制御ステップを有している。
【００９６】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９７】
１０１  メインカメラ部
１０４，１１０  撮像素子
１０５，１１１  Ａ／Ｄ変換器
１０６，１１２  画像処理部
１０７  インカメラ部
１１３  メモリ制御部
１１４  メモリ
１１５  表示部
１１８  システム制御部
１２０  記憶媒体
【図１】
2016012845.tif 000003
【図２】
2016012845.tif 000004
【図３】
2016012845.tif 000005
【図４】
2016012845.tif 000006
【図５】
2016012845.tif 000007
【図６】
2016012845.tif 000008
【図７】
2016012845.tif 000009
【図８】
2016012845.tif 000010
【図９】
2016012845.tif 000011
【図１０】
2016012845.tif 000012