(57)【要約】【課題】ユーザの混乱を招かないようにして複数のサブウィンドウの表示位置を変更できるようにする。【解決手段】デジタルカメラ１００は、表示部１０９に主画像を表示するとともに、主画像上に、サブ画像を表示するためのサブウィンドウを表示することができる。主画像の左側において、サブウィンドウ４０６が上に、サブウィンドウ４０４が下に配置されており、人物４０２の顔にサブウィンドウ４０６が重なっているとする。この場合、サブウィンドウ４０４、４０６を、その位置関係を保ったまま、右方向にスライドさせる。その結果、主画像の右側において、サブウィンドウ４０６が上に、サブウィンドウ４０４が下に配置される状態になり、人物４０２の顔にサブウィンドウ４０４、４０６が重ならないようにすることができる。【選択図】図４
2020129053.tif 000002
【特許請求の範囲】
【請求項１】
主画像上にサブウィンドウを表示する表示制御装置であって、
前記サブウィンドウが複数ある場合に、複数の前記サブウィンドウを、その位置関係を保ったまま同じ方向にスライドさせるスライド移動、及び、複数の前記サブウィンドウを、その位置関係を保ったまま前記主画像の中心回りに移動させる回転移動のうち少なくともいずれか一方を行うように制御する制御手段を備えたことを特徴とする表示制御装置。
【請求項２】
前記主画像の所定の領域を検出する検出手段を備え、
前記制御手段は、前記検出手段による前記所定の領域の検出の結果に基づいて、前記スライド移動及び前記回転移動のうちの少なくともいずれか一方を行うように制御することを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記制御手段は、前記スライド移動及び前記回転移動のうちの少なくともいずれか一方を行った状態を、少なくとも所定時間維持することを特徴とする請求項１又は２に記載の表示制御装置。
【請求項４】
前記制御手段は、複数の前記サブウィンドウに優先順位を決定し、その優先順位に応じて、前記サブウィンドウを非表示にすることができることを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
【請求項５】
前記制御手段は、前記サブウィンドウのサイズを変更することができることを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
【請求項６】
前記主画像は、主撮像手段で撮影された画像であることを特徴とする請求項１乃至５のいずれか１項に記載の表示制御装置。
【請求項７】
前記サブウィンドウに表示するサブ画像は、前記主撮像手段とは別の撮像手段で撮影された画像であることを特徴とする請求項６に記載の表示制御装置。
【請求項８】
主画像上にサブウィンドウを表示する表示制御方法であって、
前記サブウィンドウが複数ある場合に、複数の前記サブウィンドウを、その位置関係を保ったまま同じ方向にスライドさせるスライド移動、及び、複数の前記サブウィンドウを、その位置関係を保ったまま前記主画像の中心回りに移動させる回転移動のうち少なくともいずれか一方を行うように制御するステップを有することを特徴とする表示制御方法。
【請求項９】
請求項１乃至７のいずれか１項に記載の制御手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主画像上にサブウィンドウを表示する表示制御装置、方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において、表示部に主画像を表示するとともに、主画像上に、サブ画像を表示するためのサブウィンドウを表示するようにしたものがある。
この場合に、主画像に写っている人物の顔にサブウィンドウが重なると、顔が見えなくなってしまう。
このような事態に対処するため、サブウィンドウの表示位置を変更することにより、主画像に存在する顔に影響を与えることなくサブウィンドウを表示するようにした技術がある（例えば特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１２８４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、主画像上に複数のサブウィンドウを表示可能にする場合もある。主画像上に複数のサブウィンドウを表示する場合、主画像に存在する顔に影響を与えないようにすることに加えて、複数のサブウィンドウの位置関係を崩さないようにすることが求められる。例えば各サブウィンドウにそれぞれ別のカメラで撮影した画像を表示する場合、複数のサブウィンドウの位置関係が崩れると、ユーザはどのサブウィンドウがどのカメラで撮影した画像を表示するものかわからなくなり、ユーザの混乱を招いてしまう。
特許文献１は、主画像上に１つのサブウィンドウを表示することを想定したものであり、主画像上に複数のサブウィンドウを表示するときの不都合を回避するものではない。
【０００５】
本発明は上記のような点に鑑みてなされたものであり、ユーザの混乱を招かないようにして複数のサブウィンドウの表示位置を変更できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の表示制御装置は、主画像上にサブウィンドウを表示する表示制御装置であって、前記サブウィンドウが複数ある場合に、複数の前記サブウィンドウを、その位置関係を保ったまま同じ方向にスライドさせるスライド移動、及び、複数の前記サブウィンドウを、その位置関係を保ったまま前記主画像の中心回りに移動させる回転移動のうち少なくともいずれか一方を行うように制御する制御手段を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザの混乱を招かないようにして複数のサブウィンドウの表示位置を変更することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係るデジタルカメラの外観図である。
【図２】実施形態に係るデジタルカメラの構成例を示すブロック図である。
【図３】実施形態に係るデジタルカメラの動作の一例を説明するためのフローチャートである。
【図４】主画像上に複数のサブウィンドウを表示した状態を示す図である。
【図５】図３の撮影モード処理の詳細を説明するためのフローチャートである。
【図６】図５の単独サブウィンドウ表示処理の詳細を説明するためのフローチャートである。
【図７】図６のサブウィンドウのサイズ算出処理の詳細を説明するためのフローチャートである。
【図８】図６の領域の重み付け処理の詳細を説明するためのフローチャートである。
【図９】図６のサブウィンドウの表示位置決定処理の詳細を説明するためのフローチャートである。
【図１０】図３の再生モード処理の詳細を説明するためのフローチャートである。
【図１１】図５の複数サブウィンドウ表示処理の詳細を説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１は、実施形態に係るデジタルカメラ１００（以下、単にカメラと呼ぶ）の外観図であり、（ａ）は背面図、（ｂ）は正面図である。本実施形態では、撮像装置であるカメラ１００が、本発明を適用した表示制御装置として機能する。
図１（ａ）に示すように、カメラ１００の背面に、表示部１０９が配置される。表示部１０９は、例えば液晶ディスプレイであり、画像及び各種情報を表示する。
【００１０】
カメラ１００の上部には、シャッターボタン１１８、電源スイッチ１１９が配置される。電源スイッチ１１９は、カメラ１００の電源をオン又はオフする際に用いられる。シャッターボタン１１８は、撮影指示を行う際に用いられる。また、カメラ１００の背面には、モード切替スイッチ１２０、操作部１２１が配置される。モード切替スイッチ１２０は、各種モードを切り替える際に用いられる。操作部１２１は、ユーザの各種操作を受け付ける各種スイッチ及びボタン等を有する。
【００１１】
また、図１（ｂ）に示すように、カメラ１００は、主カメラ部１０１を備え、主カメラ部１０１によって主被写体を撮影することができる。主カメラ部１０１は、ズームイン又はズームアウトするためのズーム機構を備える。
【００１２】
図２は、実施形態に係るカメラ１００の構成例を示すブロック図である。
主カメラ部１０１は、撮影レンズ１０２と、メカ機構部１０３と、撮像素子１０４とを備える。撮影レンズ１０２は、ズームレンズ及びフォーカスレンズを含む。メカ機構部１０３は、撮影レンズ１０２を介して入射する被写体像を拡大又は縮小して撮像素子１０４に結像させる。メカ機構部１０３は、撮影レンズ１０２を駆動するズーム機構、光量を制御するための絞り機構、そして、撮影の際に光を遮るシャッター機構等を有する。撮像素子１０４は、ＣＭＯＳイメージセンサ等により構成され、結像した被写体像に応じた電気信号（アナログ信号）を出力する。
【００１３】
また、カメラ１００は、無線インタフェース１１７を介して複数台の外部カメラ１５０と無線通信可能である。
【００１４】
主カメラ部１０１の撮像素子１０４の出力であるアナログ信号は、Ａ／Ｄ変換器１０５に送られる。Ａ／Ｄ変換器１０５は、アナログ信号をデジタル信号に変換して、画像処理部１０６に送る。
画像処理部１０６は、Ａ／Ｄ変換器１０５から送られたデジタル信号、又はメモリ制御部１０７から送られる画像データについて所定の画素補間、縮小等のリサイズ処理、及び色変換処理を行う。また、画像処理部１０６は、撮像の結果得られた画像データにおいて、人物の顔領域を検出する顔検出処理を行う。
【００１５】
Ａ／Ｄ変換器１０５の出力であるデジタル信号は、画像処理部１０６及びメモリ制御部１０７を介して、或いはメモリ制御部１０７を介して画像データとしてメモリ１０８に直接書き込まれる。また、外部カメラ１５０は、無線インタフェース１１７を介してカメラ１００に画像データを送り、この画像データは、メモリ制御部１０７を介してメモリ１０８に書き込まれる。以下の説明では、主カメラ部１０１で撮影された画像を主画像と呼び、外部カメラ１５０で撮影された画像をサブ画像と呼ぶ。
【００１６】
メモリ１０８には、主画像データ及びサブ画像データが格納されるとともに、表示部１０９に表示するための表示用画像データが格納される。メモリ１０８は、所定枚数の静止画像又は所定時間の動画像、及び音声を格納するための十分な記憶容量を備える。また、メモリ１０８は、画像表示用のメモリ（ビデオメモリ）を兼ねる。
メモリ制御部１０７は、システム制御部１１２の制御下で、Ｄ／Ａ変換器１１０によってメモリ１０８に格納された表示用画像データをアナログ信号に変換して表示部１０９に送る。これにより、メモリ１０８に格納された表示用画像データは、Ｄ／Ａ変換器１１０を介して表示部１０９に表示される。
【００１７】
表示部１０９は、Ｄ／Ａ変換器１１０の出力であるアナログ信号に応じた画像を表示する。メモリ１０８に蓄積された主画像データ又はサブ画像データをＤ／Ａ変換器１１０によってアナログ信号に変換して、当該アナログ信号を表示部１０９に逐次転送して表示することによってスルー画像表示（以下、ライブビュー表示ともいう）が行われる。つまり、撮影の際に所謂電子ビューファインダとして機能することになる。
【００１８】
不揮発性メモリ１１１は、電気的に消去及び記録が可能なメモリであって、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ１１１には、システム制御部１１２の動作用の定数及びプログラム等が記憶される。このプログラムには、後述する各種フローチャートを実行するためのプログラムが含まれる。
システム制御部１１２は、カメラ１００全体を制御する。システム制御部１１２が、不揮発性メモリ１１１に記録されたプログラムを実行することによって、後述する各種フローチャートの処理が実現される。
メモリ１０８は、例えばＲＡＭが用いられる。メモリ１０８には、システム制御部１１２の動作用の定数、変数、そして、不揮発性メモリ１１１から読み出したプログラム等が展開される。システム制御部１１２は、メモリ１０８、Ｄ／Ａ変換器１１０、及び表示部１０９等を制御して表示制御を行う。
【００１９】
操作部１１３は、図１に示すシャッターボタン１１８、電源スイッチ１１９、モード切替スイッチ１２０、及び操作部１２１を含む。
モード切替スイッチ１２０は、システム制御部１１２の動作モードを、例えば撮影モード及び再生モードのいずれかに切り替える際に用いられる。撮影モードには、例えば静止画撮影モード及び動画撮影モードがあり、撮影モードの際には、表示部１０９によるライブビュー表示が行われる。再生モードにおいては、撮影済みの画像（主画像及び／又はサブ画像）が閲覧のため表示部１０９に表示される。静止画撮影モードには、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、及びプログラムＡＥモード、及びカスタムモード等が含まれている。静止画撮影モードに含まれるこれらのモードの切り替えは、例えばモード切替スイッチ１２０によって行われる。なお、モード切替スイッチ１２０を用いて静止画撮影モードに一旦切り替えた後、静止画撮影モードに含まれるこれらのモードのいずれかに操作部１１３に備えられた他の操作部材を用いて切り替えるようにしてもよい。また、動画撮影モードにおいても複数のモードを含むようにしてもよい。
【００２０】
シャッターボタン１１８が操作途中、所謂半押し状態となると（撮影準備指示）、第１のシャッタースイッチがオンとなって、第１のシャッタースイッチ信号ＳＷ１がシステム制御部１１２に送られる。システム制御部１１２は、第１のシャッタースイッチ信号ＳＷ１に応答して、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、及びＥＦ（フラッシュプリ発光）処理等を開始する。シャッターボタン１１８が操作完了、所謂全押し状態となると（撮影指示）、第２のシャッタースイッチがオンとなって、第２のシャッタースイッチ信号ＳＷ２がシステム制御部１１２に送られる。システム制御部１１２は、第２のシャッタースイッチ信号ＳＷ２に応答して、撮像素子１０４における信号読み出しから記憶媒体１３０に画像データを書き込むまでの一連の撮影処理（本撮影）を開始する。
【００２１】
なお、表示部１０９に表示される種々の機能アイコンを選択操作することによって、場面（撮影シーン）毎に、操作部１１３には適宜機能が割り当てられて、各種機能ボタンとして作用する。機能ボタンとして、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、及び属性変更ボタンがある。例えばメニューボタンが操作されると、各種設定が可能なメニュー画面が表示部１０９に表示される。ユーザは、表示部１０９に表示されたメニュー画面と、操作部１２１に備えられた上下左右の４方向ボタン及びＳＥＴボタンを用いて直感的に各種設定を行うことができる。
【００２２】
電源部１１４は、アルカリ電池又はリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池等の二次電池を有するとともに、ＡＣアダプター等を備える。電源制御部１１５は、電源部１１４を制御する。
記憶媒体インタフェース１１６は、メモリカード又はハードディスク等の記憶媒体１３０とのインタフェースである。記憶媒体１３０は、例えば半導体メモリから構成され、撮影の結果得られた画像データが記録される。
【００２３】
実施形態に係るカメラ１００においては、所謂中央１点ＡＦ又は顔ＡＦを用いた撮影を行うことができる。中央１点ＡＦでは、撮影画面の中央位置１点に対してＡＦが行われる。顔ＡＦでは、顔検出処理によって検出された撮影画面における顔領域に対してＡＦが行われる。
【００２４】
ここで、顔検出処理について説明する。主画像の顔検出処理を行う際には、システム制御部１１２の制御下で、画像処理部１０６に顔検出対象の画像データが送られる。同様に、サブ画像の顔検出処理を行う際には、システム制御部１１２の制御下で、画像処理部１０６に顔検出対象の画像データが送られる。
システム制御部１１２の制御下で、画像処理部１０６は、顔検出対象の画像データに対して水平方向バンドパスフィルタ処理を行い、続いて水平方向バンドパスフィルタ処理された画像データに対して垂直方向バンドパスフィルタ処理を行う。これら水平及び垂直方向バンドパスフィルタ処理によって、画像データのエッジ成分が検出される。
次に、システム制御部１１２は、検出されたエッジ成分についてパターンマッチング処理を行い、目及び鼻、口、耳の候補群を抽出する。
次に、システム制御部１１２は、抽出された目の候補群から、予め設定された条件（例えば２つの目の距離及び傾き等）を満たすものを、目の対と判定して、目の対があるもののみ目の候補群として絞り込む。
次に、システム制御部１１２は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付けるとともに、予め設定した非顔条件フィルタ処理を行って、顔領域を検出する。
なお、顔検出処理は、１つの顔のみではなく複数の顔について行われる。システム制御部１１２は、顔検出の結果に応じて顔領域を示す顔情報を生成する。
このようにして、ライブビュー表示又は再生表示される画像データを画像解析して、画像データの特徴量を示す被写体情報の一つである顔情報を得て、この顔情報に応じて被写体を検出することができる。なお、被写体情報として顔情報を例に挙げて説明したが、被写体情報には、顔情報の他にも赤目判定、目の検出、目つむり検出、又は笑顔検出等で得られた様々な情報がある。
【００２５】
図３は、実施形態に係るカメラ１００の動作の一例を説明するためのフローチャートである。このフローチャートの処理は、システム制御部１１２が、不揮発性メモリ１１１に記録されたプログラムを実行することによって実現される。
カメラ１００は、撮影モード及び再生モードのいずれかのモードで動作するものとする。前述のように、撮影モードにおいては、表示部１０９にライブビュー表示が行われ、シャッターボタン１１８の操作により撮影が行われる。一方、再生モードにおいては、記憶媒体１３０に格納された撮影済みの画像データが、閲覧のため画像として表示部１０９に再生表示される。
【００２６】
カメラ動作が開始されると、ステップＳ３０１で、システム制御部１１２は、モード切替スイッチ１２０の位置に応じて、撮影モードであるか否かを判定する。システム制御部１１２が撮影モードであると判定した場合（ステップＳ３０１においてＹＥＳ）、処理はステップＳ３０２に進む。ステップＳ３０２で、システム制御部１１２は、後述する撮影モード処理を行う。一方、システム制御部１１２が撮影モードでないと判定した場合（ステップＳ３０１においてＮＯ）、システム制御部１１２は再生モードであると判定し、処理はステップＳ３０３に進む。ステップＳ３０３で、システム制御部１１２は、後述する再生モード処理を行う。
【００２７】
ステップＳ３０２又はステップＳ３０３の処理の後、ステップＳ３０４で、システム制御部１１２は、カメラ動作をシャットダウンさせるか否かを判定する。システム制御部１１２がカメラ動作をシャットダウンさせると判定した場合（ステップＳ３０４においてＹＥＳ）、システム制御部１１２はカメラ動作を終了する。システム制御部１１２がカメラ動作をシャットダウンさせないと判定した場合（ステップＳ３０４においてＮＯ）、処理はステップＳ３０１に戻る。例えば電源スイッチ１１９が操作されると、システム制御部１１２はカメラ動作をシャットダウンさせると判定する。
【００２８】
図４（ａ）〜（ｄ）は、主画像上に複数のサブウィンドウを表示した状態を示す図である。なお、図４の説明における左右とは、表示部１０９に向かって左右をいうものとする。
図４（ａ）に示すように、表示部１０９には、メインウィンドウとなる画面４０１が表示されている。画面４０１には、主画像が表示される。主画像には、主カメラ部１０１で撮影された主被写体である人物４０２が写っている。
【００２９】
本例では、画面４０１の四隅にサブウィンドウを表示することができる。図４（ａ）に示すように、主画像上に２つのサブウィンドウ４０４、４０６が表示されている。サブウィンドウ４０４、４０６には、それぞれサブ画像が表示される。サブウィンドウ４０４のサブ画像には、外部カメラ１５０で撮影された人物４０５が写っている。また、サブウィンドウ４０６のサブ画像には、別の外部カメラ１５０で撮影された人物４０７が写っている。図４（ａ）に示す状態では、主画像の左側において、サブウィンドウ４０６が上に、サブウィンドウ４０４が下に配置されており、人物４０２の顔にサブウィンドウ４０６が重なっている。
【００３０】
このように主画像上に複数のサブウィンドウを表示する場合に、複数のサブウィンドウの表示位置を変更することができる。
図４（ａ）に示す状態では、主画像の右側に、サブウィンドウが表示可能な領域であり、かつ顔領域でない領域（以下、空のスペースと呼ぶ）がある。そこで、図４（ｂ）に示すように、サブウィンドウ４０４、４０６を、その位置関係を保ったまま、右方向にスライドさせる（以下、スライド移動と呼ぶ）。その結果、主画像の右側において、サブウィンドウ４０６が上に、サブウィンドウ４０４が下に配置される状態になり、人物４０２の顔にサブウィンドウ４０４、４０６が重ならないようにすることができる。
【００３１】
また、図４（ａ）、（ｂ）では、主画像の右側に空のスペースがある例を述べたが、例えば図４（ｃ）に示すように、主画像に人物４０３、４０８が写っており、主画像の左右に空のスペースがない状況もある。
図４（ｃ）に示す状態では、主画像の下部に空のスペースがある。そこで、図４（ｄ）に示すように、サブウィンドウ４０４、４０６を、その位置関係を保ったまま、主画像の中心まわりに反時計回り方向に移動させる（以下、回転移動と呼ぶ）。その結果、主画像の下部において、サブウィンドウ４０６が左側に、サブウィンドウ４０４が右側に配置される状態になり、人物４０３、４０８の顔にサブウィンドウ４０４、４０６が重ならないようにすることができる。
【００３２】
なお、画面４０１の四隅にサブウィンドウを表示できる例としたが、これに限られるものではない。例えば画面４０１の縁部に沿って縦横それぞれ３つ以上のサブウィンドウを表示できるようにしてもよい。
また、右方向にスライド移動させる例を述べたが、左方向にスライド移動させることも可能である。また、反時計回り方向に回転移動させる例を述べたが、時計回り方向に回転移動させることも可能である。
【００３３】
図５は、図３のステップＳ３０２の撮影モード処理の詳細を説明するためのフローチャートである。
ステップＳ５０１で、システム制御部１１２は、画像処理部１０６を使って、主画像の顔検出処理を行う。
ステップＳ５０２で、システム制御部１１２は、サブウィンドウが複数存在するか否かを判定する。システム制御部１１２がサブウィンドウが１つであると判定した場合（ステップＳ５０２においてＮＯ）、処理はステップＳ５０３の単独サブウィンドウ表示処理に進む。一方、システム制御部１１２がサブウィンドウが複数であると判定した場合（ステップＳ５０２においてＹＥＳ）、処理はステップＳ５０４の複数サブウィンドウ表示処理に進む。
【００３４】
図６は、図５のステップＳ５０３の単独サブウィンドウ表示処理の詳細を説明するためのフローチャートである。
ステップＳ６０１で、システム制御部１１２は、ステップＳ５０１の顔検出処理の結果得られた主画像の顔領域にサブウィンドウがあるか否かを判定する。システム制御部１１２が顔領域にサブウィンドウがあると判定した場合（ステップＳ６０１においてＹＥＳ）、処理はステップＳ６０２に進む。一方、システム制御部１１２が顔領域にサブウィンドウがないと判定した場合（ステップＳ６０１においてＮＯ）、処理はステップＳ６１０に進む。
【００３５】
ステップＳ６０２で、システム制御部１１２は、空のスペースがあるか否かを判定する。システム制御部１１２が空のスペースがないと判定した場合（ステップＳ６０２においてＮＯ）、処理はステップＳ６０３に進む。一方、システム制御部１１２が空のスペースがあると判定した場合（ステップＳ６０２においてＹＥＳ）、処理はステップＳ６１２に進む。
【００３６】
ステップＳ６０３で、システム制御部１１２は、サブウィンドウのサイズを算出するサイズ算出処理を行う。サイズ算出処理の詳細は後述する。
ステップＳ６０４で、システム制御部１１２は、主画像の領域について領域の重み付け処理を行う。領域の重み付け処理の詳細は後述する。
ステップＳ６０５で、システム制御部１１２は、サブウィンドウの表示位置を画面上（つまり、主画像上）のいずれの領域に表示するかを決定するサブウィンドウの表示位置決定処理を行う。サブウィンドウの表示位置決定処理の詳細は後述する。
【００３７】
ステップＳ６０６で、システム制御部１１２は、ステップＳ６０５又は後述するステップＳ６１２において決定したサブウィンドウの表示位置を、主画像とサブ画像とに関連付けてメモリ１０８に記憶する。なお、主画像とサブ画像とを記憶媒体１３０に記憶する際には、サブウィンドウの表示位置を示す情報（状態情報という）を記憶媒体１３０に記憶することになる。
ステップＳ６０７で、システム制御部１１２は、ステップＳ６０５又は後述するステップＳ６１２において決定したサブウィンドウの表示位置に応じて、主画像にサブウィンドウを合成して表示部１０９に表示する。
【００３８】
ステップＳ６０８で、システム制御部１１２は、撮影モード処理を終了するか否かを判定する。システム制御部１１２が撮影モード処理を終了すると判定した場合（ステップＳ６０８においてＹＥＳ）、システム制御部１１２は撮影モード処理を終了する。一方、システム制御部１１２が撮影モード処理を続行すると判定すると（ステップＳ６０８においてＮＯ）、処理はステップＳ６０９に進む。
ステップＳ６０９で、システム制御部１１２は、現在のサブウィンドウの表示状態を所定時間維持し、その後、処理はステップＳ６０１に戻る。このようにサブウィンドウの表示状態を少なくとも所定時間維持することにより、サブウィンドウの表示状態が頻繁に変わり過ぎないようにして、ユーザの混乱を避ける。
【００３９】
ステップＳ６１０で、システム制御部１１２は、サブウィンドウをそのまま表示する。
ステップＳ６１１で、システム制御部１１２は、サブウィンドウの状態情報を主画像とサブ画像とに関連付けてメモリ１０８に記憶する。その後、処理はステップＳ６０８に進む。
【００４０】
ステップＳ６１２で、システム制御部１１２は、空のスペースに移動するようにサブウィンドウの表示位置を決定する。その後、処理はステップＳ６０６に進む。
【００４１】
図７は、図６のステップＳ６０３のサブウィンドウのサイズ算出処理の詳細を説明するためのフローチャートである。
ステップＳ７０１で、システム制御部１１２は、画像処理部１０６を使って、サブ画像の顔検出処理を行う。
ステップＳ７０２で、システム制御部１１２は、サブ画像において顔領域の数が２つ以上であるか否かを判定する。システム制御部１１２が顔領域の数が２つ以上であると判定した場合（ステップＳ７０２においてＹＥＳ）、処理はステップＳ７０３に進む。一方、システム制御部１１２が顔領域の数が１つであると判定した場合（ステップＳ７０２においてＮＯ）、処理はステップＳ７０４に進む。
【００４２】
ステップＳ７０３で、システム制御部１１２は、顔領域のうちそのサイズが最も大きい顔領域を抽出顔領域として抽出する。
ステップＳ７０４で、システム制御部１１２は、サブ画像において抽出顔領域が占める割合を占有割合として算出する。なお、システム制御部１１２が顔領域の数が１つであると判定した場合（ステップＳ７０２においてＮＯ）、システム制御部１１２は、サブ画像に存在する１つの顔領域が占める割合を占有割合として算出する。
ステップＳ７０５で、システム制御部１１２は、占有割合に応じて予め設定されたサイズにサブウィンドウのサイズを決定する。その後、システム制御部１１２はサブウィンドウサイズ算出処理を終了する。
【００４３】
図８は、図６のステップＳ６０４の領域の重み付け処理の詳細を説明するためのフローチャートである。
ステップＳ８０１で、システム制御部１１２は、主画像において検出された顔領域の各々についてそのサイズを算出する。
ステップＳ８０２で、システム制御部１１２は、顔領域についてそのサイズが大きい順に重み付け係数を決定する。具体的には、システム制御部１１２は、顔領域毎にそのサイズに応じて予め設定された重み付け係数を選択することになる。
【００４４】
ステップＳ８０３で、システム制御部１１２は、主画像において顔領域が互いに少なくとも一部が重なり合う重複領域が存在するか否かを判定する。システム制御部１１２が重複領域が存在すると判定した場合（ステップＳ８０３においてＹＥＳ）、処理はステップＳ８０４に進む。一方、システム制御部１１２が重複領域が存在しないと判定した場合（ステップＳ８０３においてＮＯ）、処理はステップＳ８０５に進む。
ステップＳ８０４で、システム制御部１１２は、重なり合う顔領域においてそのサイズが最も大きい顔領域に重複領域が属すると決定する。
ステップＳ８０５で、システム制御部１１２は、顔領域の各々について、ステップＳ８０２において決定した重み付け係数を乗算して重み付け処理を行う。その後、システム制御部１１２は領域の重み付け処理を終了する。
【００４５】
図９は、図６のステップＳ６０５のサブウィンドウの表示位置決定処理の詳細を説明するためのフローチャートである。
ステップＳ９０１で、システム制御部１１２は、領域の重み付け処理が行われた主画像において、重み付けされていない領域についてサブウィンドウが表示可能な領域があるか否かを判定する。システム制御部がサブウィンドウが表示可能な領域がないと判定した場合（ステップＳ９０１においてＮＯ）、処理はステップＳ９０２に進む。一方、システム制御部がサブウィンドウが表示可能な領域があると判定した場合（ステップＳ９０１においてＹＥＳ）、処理はステップＳ９０５に進む。
ステップＳ９０２で、システム制御部１１２は、サブウィンドウのサイズに応じて予め設定された重み付け係数を決定する。そして、システム制御部１１２は、当該重み付け係数によってサブウィンドウのサイズを重み付け処理する。
【００４６】
ステップＳ９０３で、システム制御部１１２は、ステップＳ９０２において重み付け処理したサブウィンドウよりも重み付けが低く、かつサブウィンドウが表示可能な領域があるか否かを判定する。システム制御部１１２が重み付け処理したサブウィンドウよりも重み付けが低いか又はサブウィンドウが表示可能な領域がないと判定した場合（ステップＳ９０３においてＮＯ）、処理はステップＳ９０４に進む。一方、システム制御部１１２が重み付け処理したサブウィンドウよりも重み付けが低く、かつサブウィンドウが表示可能な領域があると判定した場合（ステップＳ９０３においてＹＥＳ）、処理はステップＳ９０５に進む。
ステップＳ９０４で、システム制御部１１２は、重み付け係数を所定の率で増加させる。つまり、システム制御部１１２は、重み付け係数を大きくして、当該重み付け係数によってサブウィンドウのサイズを重み付け処理する。その後、処理はステップＳ９０３に戻る。
ステップＳ９０５で、システム制御部１１２は、当該領域をサブウィンドウの表示位置として決定する。その後、システム制御部１１２はサブウィンドウの表示位置決定処理を終了する。なお、システム制御部がサブウィンドウが表示可能な領域があると判定した場合（ステップＳ９０１においてＹＥＳ）、当該領域をサブウィンドウの表示位置として決定する。この際、複数の領域が存在する場合には、システム制御部１１２は、最も面積の大きい領域をサブウィンドウの表示位置として決定する。
【００４７】
図１０は、図３のステップＳ３０３の再生モード処理の詳細を説明するためのフローチャートである。
ステップＳ１００１で、システム制御部１１２は、記憶媒体１３０に記録された画像に関連付けてサブウィンドウの状態情報が記録されているか否かを判定する。システム制御部１１２がサブウィンドウの状態情報が記録されていると判定した場合（ステップＳ１００１において有）、処理はステップＳ１００２に進む。一方、システム制御部１１２がサブウィンドウの状態情報が記録されていないと判定した場合（ステップＳ１００１において無）、処理はステップＳ１００３に進む。
ステップＳ１００２で、システム制御部１１２は、メモリ制御部１０７を介して記憶媒体１３０から主画像及びサブ画像を読み出す。そして、システム制御部１１２は、主画像を表示部１０９に表示するとともに、サブウィンドウの状態情報に応じて主画像上にサブウィンドウを表示し、サブ画像をサブウィンドウに表示する。その後、システム制御部１１２は再生モード処理を終了する。
ステップＳ１００３で、システム制御部１１２は、メモリ制御部１０７を介して記憶媒体１３０から主画像及びサブ画像を読み出し、図５の撮影モード処理と同様の処理を行って、主画像上にサブウィンドウを表示し、サブ画像をサブウィンドウに表示する。その後、システム制御部１１２は再生モード処理を終了する。
【００４８】
以上のように、単独サブウィンドウ表示処理において、主画像の領域とサブウィンドウとに重み付けを行い、つまり主画像の領域とサブウィンドウとに優先度をつけて、主画像上にサブウィンドウを表示する。これにより、主画像に存在する顔の位置及びサイズに応じて、顔に影響を与えないようにサブウィンドウを表示することができる。
【００４９】
図１１は、図５のステップＳ５０４の複数サブウィンドウ表示処理の詳細を説明するためのフローチャートである。
ステップＳ１１０１で、システム制御部１１２は、ステップＳ５０１の顔検出処理の結果得られた主画像の顔領域にサブウィンドウがあるか否かを判定する。システム制御部１１２が顔領域にサブウィンドウがあると判定した場合（ステップＳ１１０１においてＹＥＳ）、処理はステップＳ１１０２に進む。一方、システム制御部１１２が顔領域にサブウィンドウがないと判定した場合（ステップＳ１１０１においてＮＯ）、処理はステップＳ１１１１に進む。
【００５０】
ステップＳ１１０２で、システム制御部１１２は、空のスペースがあるか否かを判定する。システム制御部１１２が空のスペースがないと判定した場合（ステップＳ１１０２においてＮＯ）、処理はステップＳ１１０３に進む。一方、システム制御部１１２が空のスペースがあると判定した場合（ステップＳ１１０２においてＹＥＳ）、処理はステップＳ１１１３に進む。
【００５１】
ステップＳ１１０３で、システム制御部１１２は、サブウィンドウのサイズを算出するサイズ算出処理を行う。サイズ算出処理の詳細は、単独サブウィンドウ表示処理で説明したものと同様であり、その説明を省略する。
ステップＳ１１０４で、システム制御部１１２は、全てのサブウィンドウが表示可能であるか否かを判定する。システム制御部１１２が全てのサブウィンドウが表示可能であると判定した場合（ステップＳ１１０４においてＹＥＳ）、処理はステップＳ１１０５に進む。一方、システム制御部１１２が全てのサブウィンドウが表示可能でないと判定した場合（ステップＳ１１０４においてＮＯ）、処理はステップＳ１１１７に進む。
ステップＳ１１０５で、システム制御部１１２は、主画像の領域について領域の重み付け処理を行う。領域の重み付け処理の詳細は、単独サブィンドウ表示処理で説明したものと同様であり、その説明を省略する。
ステップＳ１１０６で、システム制御部１１２は、サブウィンドウの表示位置を画面上（つまり、主画像上）のいずれの領域に表示するかを決定するサブウィンドウの表示位置決定処理を行う。サブウィンドウの表示位置決定処理の詳細は、単独サブウィンドウ表示処理で説明したものと同様であり、その説明を省略する。
【００５２】
ステップＳ１１０７で、システム制御部１１２は、ステップＳ１１０６、後述するステップＳ１１１４又はＳ１１１６において決定したサブウィンドウの表示位置を、主画像とサブ画像とに関連付けてメモリ１０８に記憶する。なお、主画像とサブ画像とを記憶媒体１３０に記憶する際には、サブウィンドウの状態情報を記憶媒体１３０に記憶することになる。
ステップＳ１１０８で、システム制御部１１２は、ステップＳ１１０６、後述するステップＳ１１１４又はＳ１１１６において決定したサブウィンドウの表示位置に応じて、主画像にサブウィンドウを合成して表示部１０９に表示する。
【００５３】
ステップＳ１１０９で、システム制御部１１２は、撮影モード処理を終了するか否かを判定する。システム制御部１１２が撮影モード処理を終了すると判定した場合（ステップＳ１１０９においてＹＥＳ）、システム制御部１１２は撮影モード処理を終了する。一方、システム制御部１１２が撮影モード処理を続行すると判定すると（ステップＳ１１０９においてＮＯ）、処理はステップＳ１１１０に進む。
ステップＳ１１１０で、システム制御部１１２は、現在のサブウィンドウの表示を所定時間維持し、その後、処理はステップＳ１１０１に戻る。このようにサブウィンドウの表示状態を少なくとも所定時間維持することにより、サブウィンドウの表示状態が頻繁に変わり過ぎないようにして、ユーザの混乱を避ける。
【００５４】
ステップＳ１１１１で、システム制御部１１２は、全てのサブウィンドウをそのまま表示する。
ステップＳ１１１２で、システム制御部１１２は、全てのサブウィンドウの状態情報を主画像とサブ画像とに関連付けてメモリ１０８に記憶する。その後、処理はステップＳ１１０９に進む。
【００５５】
ステップＳ１１１３で、システム制御部１１２は、全てのサブウィンドウを空のスペースにスライド移動させられるか否かを判定する。システム制御部１１２がスライド移動させられると判定した場合（ステップＳ１１１３においてＹＥＳ）、処理はステップＳ１１１４に進む。一方、システム制御部１１２がスライド移動させられないと判定した場合（ステップＳ１１１３においてＮＯ）、処理はステップＳ１１１５に進む。
ステップＳ１１１４で、システム制御部１１２には、図４（ｂ）で説明したように、全てのサブウィンドウを、その位置関係を保ったままスライド移動させるようにサブウィンドウの表示位置を決定する。その後、処理はステップＳ１１０７に進む。
【００５６】
ステップＳ１１１５で、システム制御部１１２は、全てのサブウィンドウを空のスペースに回転移動させられるか否かを判定する。システム制御部１１２が回転移動させられると判定した場合（ステップＳ１１１５においてＹＥＳ）、処理はステップＳ１１１６に進む。一方、システム制御部１１２が回転移動させられないと判定した場合（ステップＳ１１１５においてＮＯ）、全てのサブウィンドウを移動させるだけの空のスペースがないとして、処理はステップＳ１１０１に戻る。
ステップＳ１１１６で、システム制御部１１２には、図４（ｄ）で説明したように、全てのサブウィンドウを、その位置関係を保ったまま回転移動させるようにサブウィンドウの表示位置を決定する。その後、処理はステップＳ１１０７に進む。
【００５７】
ステップＳ１１１７で、システム制御部１１２は、サブウィンドウの優先順位を決定する。優先順位は、例えばサブウィンドウが表示された順番で決めてもよいし、サブウィンドウのサイズによって決めてもよい。また、外部カメラ１５０に優先順位を与えておき、優先順位の高い外部カメラ１５０に対応するサブウィンドウの優先順位を高くするように決めてもよい。
ステップＳ１１１８で、システム制御部１１２は、優先順位の最も低いサブウィンドウを非表示とし、その後、処理はステップＳ１１０２に戻る。
【００５８】
以上のように、複数サブウィンドウ表示処理において、主画像の顔領域とサブウィンドウとの重なり判定を行う。重なりがある場合、空のスペースがあれば、複数のサブウィンドウを、その位置関係を保ったままスライドさせる、又は、その位置関係を保ったまま主画像の中心回りに移動させる。これにより、ユーザの混乱を招かないようにして複数のサブウィンドウの表示位置を変更することができる。
【００５９】
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
上記実施形態では、撮像装置が、本発明を適用した表示制御装置として機能する形態を説明したが、これに限られるものではない。本発明は、主画像上にサブウィンドウを表示する表示制御装置として機能するものであれば、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ等にも適用可能である。
また、上記実施形態では、主撮像手段である主カメラ部１０１で撮影した画像を主画像とし、主撮像手段とは別の撮像手段である外部カメラ１５０で撮影した画像をサブ画像としたが、主画像及びサブ画像の取得元や画像の種類等はこれに限られるものではない。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６０】
１００：デジタルカメラ
１０１：主カメラ部
１０６：画像処理部
１０８：メモリ
１１１：不揮発性メモリ
１１２：システム制御部
１５０：外部カメラ
【図１】
2020129053.tif 000003
【図２】
2020129053.tif 000004
【図３】
2020129053.tif 000005
【図４】
2020129053.tif 000006
【図５】
2020129053.tif 000007
【図６】
2020129053.tif 000008
【図７】
2020129053.tif 000009
【図８】
2020129053.tif 000010
【図９】
2020129053.tif 000011
【図１０】
2020129053.tif 000012
【図１１】
2020129053.tif 000013