(57)【要約】【課題】自撮りの際に、簡易な操作でユーザー所望の自撮り画像を生成する。【解決手段】コントローラ１４は、撮像者を被写体として連続撮像を行うように制御し、連続撮像によって得られた複数の画像のうち第１の画像における部分領域をユーザーの操作に応じて選択する。そして、コントローラは選択した部分領域を、複数の画像のうち第１の画像と異なる第２の画像の対応する部分領域によって置き換える処理を行って、置き換える処理を施した画像を液晶ディスプレイ１０２Ａに表示する。【選択図】図６
2019054447.tif 000002
【特許請求の範囲】
【請求項１】
撮像者を被写体として連続撮像を行うように制御する撮像制御手段と、
前記連続撮像によって得られた複数の画像のうち、第１の画像における部分領域をユーザーからの操作に応じて選択する選択手段と、
前記選択手段で選択された部分領域を、前記複数の画像のうち前記第１の画像と異なる第２の画像の対応する部分領域によって置き換える処理を行う画像処理手段と、
前記画像処理手段による置き換える処理が施された画像を表示するように制御する表示制御手段と、
を有することを特徴とする撮像制御装置。
【請求項２】
前記選択手段は、顔の器官検出によって画像から検出された顔の器官毎の部分領域を選択することを特徴とする請求項１に記載の撮像制御装置。
【請求項３】
前記第２の画像は、前記第１の画像を除く前記複数の画像のうちユーザーによって選択された画像であることを特徴とする請求項１又は２に記載の撮像制御装置。
【請求項４】
前記複数の画像の各々において前記選択手段で選択された部分領域に対応する部分領域を抽出する抽出手段をさらに有し、
前記表示制御手段は、前記第２の画像の選択を受け付ける際に、前記抽出手段で抽出された部分領域を表示するように制御することを特徴とする請求項３に記載の撮像制御装置。
【請求項５】
前記画像処理手段による置き換える処理が施された画像を記録するように制御する記録制御手段をさらに有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像制御装置。
【請求項６】
前記表示制御手段は、前記撮像者が様々な表情をすることを促すガイドを、前記連続撮像の前又は際中に表示するように制御することを特徴とする請求項１乃至５のいずれか１項に記載の撮像制御装置。
【請求項７】
ライブビュー画像における変化量が所定量以下の状態が所定の時間継続し、かつ前記画像の揺れが所定値以上の場合に、前記撮像制御手段は前記連続撮像を開始することを特徴とする請求項１乃至６のいずれか１項に記載の撮像制御装置。
【請求項８】
前記連続撮像によって得られた画像を繋ぎ合わせて、光学的な画角よりも広角の画像を生成する画像生成手段をさらに有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像制御装置。
【請求項９】
撮像を行う撮像制御装置の制御方法であって、
撮像者を被写体として連続撮像を行うように制御する撮像制御ステップと、
前記連続撮像によって得られた複数の画像のうち、第１の画像における部分領域をユーザーからの操作に応じて選択する選択ステップと、
前記選択ステップで選択された部分領域を、前記複数の画像のうち前記第１の画像と異なる第２の画像の対応する部分領域によって置き換える処理を行う画像処理ステップと、
前記画像処理ステップによる置き換える処理が施された画像を表示するように制御する表示制御ステップと、
を有することを特徴とする制御方法。
【請求項１０】
コンピュータを、請求項１乃至８のいずれか１項に記載された撮像制御装置の各手段として機能させるためのプログラム。
【請求項１１】
コンピュータを、請求項１乃至８のいずれか１項に記載された撮像制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像制御装置、その制御方法、およびプログラム、並びに記憶媒体に関し、特に、所謂自撮り撮像の際の制御に関する。
【背景技術】
【０００２】
近年、スマートフォンに備えられた撮像制御装置およびデジタルカメラなどの撮像制御装置において、所謂自分撮り撮像（以下単に自撮りと呼ぶ）が行われている。このため、所謂バリアングル表示部を備え、自撮りの際に表示部が見やすいようにした撮像制御装置がある。さらには、表示部側に撮像部（インカメラ）を備えた撮像制御装置がある。
【０００３】
自撮りの際にユーザーが好適な写真を得るため、従来、連続撮像して得られた複数の写真から表情又は背景が最も良く撮れている１枚をユーザーが選ぶことが多い。このため、ユーザーは何度も撮り直しを行うことがある。一方、所謂写真シール機においては画像処理によって目を大きく、さらには、顔の輪郭を細くしたりするなどユーザーの好みに合わせて修正することができる。
【０００４】
さらに、自撮りによって得られた画像に予め設定された目／鼻／口のパーツを合成して、所謂面白画像を生成する撮像制御装置がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１４００４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、自撮りの際には、構図およびポーズを決定した撮像するなどの特有のテクニックが必要となる。また、何回も撮像を行って最もよく撮れた１枚を選ぶことがあるが、顔のパーツ全てが最良の状態で撮像された画像を得るためには膨大な枚数を撮像しなければならないこともある。
【０００７】
さらに、顔パーツを別々に撮像して、これら顔パーツを組み合わせて自撮り画像を生成した際には、各顔パーツにおける撮像条件が異なるので、色調、露出、焦点距離、および位置合わせ等の高度な画像処理を行う必要がある。
【０００８】
よって、本発明の目的は、自撮りの際に、簡易な操作でユーザー所望の自撮り画像を生成することができる撮像制御装置、その制御方法、およびプログラム、並びに記憶媒体を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明による撮像制御装置は、撮像者を被写体として連続撮像を行うように制御する撮像制御手段と、前記連続撮像によって得られた複数の画像のうち、第１の画像における部分領域をユーザーからの操作に応じて選択する選択手段と、前記選択手段で選択された部分領域を、前記複数の画像のうち前記第１の画像と異なる第２の画像の対応する部分領域によって置き換える処理を行う画像処理手段と、前記画像処理手段による置き換える処理が施された画像を表示するように制御する表示制御手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、自撮りの際に簡易な操作でユーザー所望の自撮り画像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態による撮像制御装置についてその一例の外観を示す図である。
【図２】図１に示す撮像制御装置の構成についてその一例を示すブロック図である。
【図３】図１に示す撮像制御装置において液晶ディスプレイに表示されるメニュー画面の一例を示す図である。
【図４】図１に示す撮像制御装置で行われる自撮りを説明するための図である。
【図５】図１に示す撮像制御装置において自撮り連写又はオート自撮りで撮像した際の画像の一例を示す図である。
【図６】図１に示す撮像制御装置において表示される顔パーツ置換機能画面を説明するための図である。
【図７】図１に示す撮像制御装置で行われる自撮り撮像の際の処理を説明するためのフローチャートである。
【図８】図７に示す顔パーツ置換モードによる処理を説明するためのフローチャート図である。
【図９】本発明の第２の実施形態による撮像制御装置で行われるオート自撮り撮像の際の処理を説明するためのフローチャートである。
【図１０】本発明の第３の実施形態による撮像制御装置において行われる複数人の自撮り撮像を説明するための図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の実施の形態による撮像制御装置の一例について図面を参照して説明する。
【００１３】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像制御装置についてその一例の外観を示す図である。そして、図１（ａ）は正面図であり、図１（ｂ）は背面図である。また、図１（ｃ）は正面側から見た斜視図である。
【００１４】
図示の撮像制御装置は、例えば、カメラ付きのスマートフォン（携帯電話端末）である。撮像制御装置は縦長の本体部１０１を有しており、本体部１０１はフロントフェイス１０１Ａ、バックフェイス１０１Ｂ、およびサイドフェイス１０１Ｃを備えている。フロントフェイス１０１Ａは本体部１０１の正面であり、バックフェイス１０１Ｂは本体部１０１の背面である。また、サイドフェイス１０１Ｃは本体部１０１の側面である。
【００１５】
フロントフェイス１０１Ａには、タッチスクリーンディスプレイ１０２、ボタン１０３Ｄ、インカメラ１０４、照度センサ１０５、およびスピーカー１０６が配置されている。バックフェイス１０１Ｂには、アウトカメラ１０８およびライト１０９が配置されている。さらに、サイドフェイス１０１Ｃには、ボタン１０３Ａ〜１０３Ｃ、およびコネクタ１０７が配置されている。
【００１６】
ボタン１０３Ａは短く押すによって撮像制御装置１のスリープ／スリープ解除ボタンとして機能する。また、ボタン１０３Ａを長押しすると電源をオン／オフすることができる。ボタン１０３Ｂはシャッターボタンであり、撮像制御装置を横支持した際の撮像の場合に用いられる。なお、シャッターボタンは後述するタッチスクリーンディスプレイ１０２にも表示され、このシャッターボタンは、例えば、自撮りを含む撮像制御装置を縦支持した際の撮像に用いられる。
【００１７】
ボタン１０３Ｃはスピーカー１０６から出力されるシャッター音および警告音などの音の出力のオン（鳴音）／オフ（消音）を切り替える際に用いられる。ボタン１０３Ｄはホームボタンであり、タッチスクリーンディスプレイ１０２にホーム画面を表示する際に用いられる。ボタン１０３Ｄをボタン１０３Ａの代わり用いて撮像制御装置のスリープ解除をするができる。ボタン１０３Ｄには、ユーザー設定によって所定の機能を割り当てることができる。なお、以下の説明では、ボタン１０３Ａ〜１０３Ｄを特に、いずれのボタンであるか特定することなくボタン１０３と総称することがある。
【００１８】
タッチスクリーンディスプレイ１０２は、液晶ディスプレイ１０２Ａおよびタッチスクリーン１０２２Ｂを備える。タッチスクリーン１０２Ｂは、タッチスクリーン１０２Ｂに対する指又はスタイラスペンなどによる接触を検出する。さらに、タッチスクリーン１０２Ｂは複数の指による接触を検出可能である。なお、タッチスクリーン２Ｂにおける検出方式として、例えば、静電容量式又は抵抗被膜方式が用いられる。
【００１９】
撮像制御装置においては、後述するように、タッチスクリーン１０２２Ｂによって検出された接触、接触した位置、および接触した時間に基づいてジェスチャー操作の種別が判別される。ジェスチャー操作は指又はスタイラスペンによってタッチスクリーン２に対して行われる操作である。
【００２０】
撮像制御装置で判別されるジェスチャー操作には、例えば、タッチ、リリース、タップ、ドラッグ、スワイプ、フリック、ピンチイン、およびピンチアウトなどスマートフォンなどで行われる一般的な操作が含まれる。
【００２１】
タッチは、タッチスクリーン１０２Ｂに指が触れるジェスチャー操作である。リリースは、タッチスクリーン１０２Ｂから指が離れるジェスチャー操作である。タップは、タッチスクリーン１０２Ｂを素早くタッチしてリリースするジェスチャー操作である。
【００２２】
ドラッグは、液晶ディスプレイ１０２Ａに表示されたオブジェクトを長押し、タッチした状態で指を引きずるジェスチャー操作である。スワイプは、指をタッチスクリーン１０２Ｂ上に接触した状態でなぞるように移動させるジェスチャー操作である。フリックは、タッチスクリーン１０２Ｂに対するタッチに続いて、指ではじくようにリリースするジェスチャー操作である。ピンチインは、タッチスクリーン１０２Ｂ上で複数の指でつまむ（狭める）ジェスチャー操作である。ピンチアウトは、タッチスクリーン１０２Ｂ上で複数の指で広げるジェスチャー操作である。
【００２３】
なお、撮像制御装置では、タッチスクリーン１０２２Ｂ上で行われる上記のジェスチャー操作に応じた動作が行われる。
【００２４】
図２は、図１に示す撮像制御装置の構成についてその一例を示すブロック図である。なお、図２において、図１に示す構成要素と同一の構成要素については同一の参照番号を付す。
【００２５】
前述のように、撮像制御装置は、タッチスクリーンディスプレイ１０２を備えており、液晶ディスプレイ２Ａには文字、画像、およびアイコンなどが表示される。タッチスクリーン１０２Ｂはジェスチャー操作を検知する。インカメラ１０４は、レンズと光学像を電気信号に変換するＣＣＤ又はＣＭＯＳなどの撮像素子とを備えている。このインカメラ１０４はＡＦ（オートフォーカス）、絞り、およびシャッタースピード調整機能などを備える小型のカメラモジュールである。そして、インカメラ１０４はフロントフェイス１１０１Ａに対面する物体を撮像する。
【００２６】
照度センサ１０５は撮像制御装置における照度を検出する。そして、コントローラ１４は、検出された照度に基づいてインカメラ４の撮像条件を設定する。さらには、コントローラ１４は照度センサ５で検出された照度に応じて液晶ディスプレイ１０２Ａの輝度を調整する。
【００２７】
スピーカー１０６からは、スイッチ１０３Ｃにおいて音出力オンの場合に、撮像の際のシャッター音および警告音を出力する。コネクタ１０７コネクタは撮像制御装置と外部装置と接続とに用いられる。例えば、コネクタ１０７には、後述する電源モジュール１１に備えられたバッテリーを充電するためのＡＣアダプタが接続される。また、コネクタ１０７は、後述する不揮発性メモリ（以下ストレージと呼ぶ）１５に対する画像データおよび音声データなどの入出力の際に用いられる。
【００２８】
なお、コネクタ７はＤｏｃｋコネクタのような専用に設計された端子であってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）のような汎用的な端子であってもよい。
【００２９】
アウトカメラ１０８は、インカメラ１０４と同様の小型のカメラモジュールである。アウトカメラ１０８はバックフェイス１０１Ｂに対面する物体を撮像像する。ライト１０９は発光モジュールであり、アウトカメラ１０８による撮像の際にはフラッシュとして機能する。
【００３０】
通信モジュール１０は所定の無線通信規格に応じて通信を行う。例えば、無線通信規格として、ＩＥＥＥ８０２．１１規格の所謂Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＮＦＣなどがあり、通信モジュール１０は少なくとも１つをサポートしていればよい。通信モジュール１０は撮像によって得られた画像データの入出力および撮像制御装置に対する機能追加プログラムモジュールのダウンロードなどの際に用いられる。
【００３１】
電源モジュール１１は充電可能なバッテリーを備えており、撮像制御装置全体に電源を供給する。電源モジュール１１に備えられたバッテリーとして、例えば、リチウムイオン電池又はニッケル水素電池が用いられる。そして、当該バッテリーはコネクタ７を介してＡＣアダプタ又はＵＳＢによって充電される。
【００３２】
加速度センサ１２は、撮像制御装置に作用する加速度の方向と大きさを検知する。加速度センサ１２はＸＹＺ方向の３軸における検知が可能である。ジャイロセンサ１３は撮像制御装置の角度および角速度を検知する。加速度センサ１２およびジャイロセンサ１３による検知結果は後述するオート自撮り機能で用いられる。
【００３３】
コントローラ１４は汎用のＣＰＵ又はスマートフォン向けに設計されたワンチップシステムＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）などのプロセッサーである。コントローラ１４は撮像制御装置全体を制御する。コントローラ１４はストレージ１５に記憶された制御プログラムをシステムメモリ１６に展開して実行し、後述する処理を行う。なお、システムメモリ１６はコントローラ１４のワーク領域としても用いられる。
【００３４】
ストレージ１５には、制御プログラム１５Ａおよび各種データなどが記憶される。ストレージ１５は半導体メモリであって、例えば、電気的に消去可能な不揮発性メモリ（例えばフラッシュＲＯＭ）である。また、システムメモリ１６は、例えば、ＲＡＭである。
【００３５】
図示のように、ストレージ１５には、制御プログラム１５Ａ、写真編集モジュール１５Ｂ、設定データ１５Ｃ、画像データ１５Ｄ、および追加機能モジュール１５Ｅなどが記憶される。ストレージ１５に記憶される制御プログラム１５Ａなどは通信モジュール１０による無線通信又はコネクタ７を介して入力されるようにしてもよい。
【００３６】
制御プログラム１５Ａは、撮像制御装置全体を制御するための機能を提供する。つまり、制御プログラム１５Ａの実行によって、コントローラ１４は、図２に示す各ブロックを制御する。例えば、制御プログラム１５Ａの実行によって、コントローラ１４はタッチスクリーン１０２、ボタン１０３、インカメラ１０４、照度センサ１０５、インカメラ１０８、およびライト１０９などを制御してカメラ機能を提供する。
【００３７】
また、制御プログラム１５Ａの実行によって、コントローラ１４はタッチスクリーン１０２Ｂによって検知されたジェスチャー操作に基づいた処理を実行し、当該実行結果に応じた情報をディスプレイ１０２Ａに表示する。制御プログラム１５Ａは、なお、ストレージ１５に記憶された他のプログラムが提供する機能と組み合わせて利用するようにしてもよい。
【００３８】
写真編集モジュール１５Ｂの実行によって、コントローラ１４は撮像によって得られた画像データを編集および管理する。さらには、写真編集モジュール１５Ｂの実行によって、コントローラ１４は、後述する顔パーツ変更を行う。
【００３９】
設定データ１５Ｃには、撮像制御装置における各種動作に係る設定および追加機能モジュールの設定に関するデータが含まれている。画像データ１５Ｄには、インカメラ４およびインカメラ５によって撮像データが含まれている。追加機能モジュール１５Ｅは、撮像制御装置に機能を追加するためのモジュールである。例えば、追加機能モジュール１５ＥにはＷＥＢページを表示するためのブラウザ機能などが含まれている。
【００４０】
図３は、図１に示す撮像制御装置において液晶ディスプレイに表示されるメニュー画面の一例を示す図である。
【００４１】
液晶ディスプレイ１０２Ａに表示されたメニュー画面はメニュー領域３０１および状態表示領域３０２を有している。メニュー領域３０１は撮像制御装置のいずれの機能を実行するかをユーザーが選択するための領域である。メニュー領域３０１には、複数のアイコン３０６が表示されており、アイコン３０６の各々は、撮像制御装置の機能と関連付けられている。そして、コントローラ１４はアイコン３０６に対するタップ操作を検知すると、当該アイコンに関連付けられた機能を実行する。図示の例では、アイコン３０６として、カレンダー、時計、ブラウザ、撮像モード、設定、動画撮像、写真、カメラがメニュー領域３０１に表示されている。
【００４２】
状態表示領域３０２はメニュー画面の上側に位置し、図示の例では、状態表示領域３０２には、ＷｉＦｉの強度を示すレベルマーク３０３、現在時刻を示す時計表示３０４、および電池の残量を示す電池マーク３０５が表示される。なお、状態表示領域３０２は各種通知メッセージを表示する際にも用いられる。
【００４３】
図４は、図１に示す撮像制御装置で行われる自撮りを説明するための図である。そして、図４（ａ）はカメラ機能画面を示す図であり、図４（ｂ）は自撮り連写の際に表示されるダイアログを示す図である。また、図４（ｃ）はオート自撮りの際に表示される自撮りマークおよび連写マークを示す図である。
【００４４】
図３に示すメニュー画面において、カメラアイコンがタップ操作されると、コントローラ１４はカメラ機能を起動する。そして、コントローラ１４は液晶ディスプレイ１０２Ａにカメラ機能画面を表示する（図４（ａ）参照）。カメラ機能画面は、メニュー画面と同様に状態表示領域３０２を有しており、カメラ機能画面においては、状態表示領域３０２には撮像に際の各種ステータスおよび通知が表示される。
【００４５】
図示の例では、状態表示領域３０２にはフラッシュマーク４０１および切替マーク４０２が表示される。ユーザーはフラッシュマーク４０１をタップ操作することによってフラッシュのオンおよびオフを切り替えることができる。フラッシュがオンされると、アウトカメラ１０８による撮像の際にライト１０９がフラッシュとして機能する。
【００４６】
また、ユーザーは切替マーク４０２をタップ操作することによって、撮像に用いるカメラをインカメラ１０４およびアウトカメラ１０８に交互に切り替える。
【００４７】
カメラ機能画面は、ライブビュー表示領域４０３を有し、コントローラ１４は現在撮像に用いられているカメラで得られたライブビューをライブビュー表示領域４０３に表示する。さらに、カメラ機能画面は操作領域４０４を有している。
【００４８】
図示の例では、操作領域４０４には、写真ボタン４０５、シャッターボタン４０６、および設定ボタン４０７が表示される。写真ボタン４０５は、メニュー画面に表示される写真アイコン３０６と同等の機能を有している。写真アイコン４０５をタッチ操作すると、コントローラ１４は写真編集モジュール１５Ｂを起動する。
【００４９】
シャッターボタン４０６をタップ操作すると、コントローラ１４は、インカメラ４又はアウトカメラ１０８で得られた静止画を撮像処理してストレージ１５に画像データ１５Ｄとして書き込む。なお、設定ボタン４０７を用いて、ユーザーはカメラ機能の各種設定を行うことができる。
【００５０】
後述する「自撮り連写」が設定されると、コントローラ１４は、図４（ｂ）に示すように、ライブビュー表示領域４０３にダイアログ４０８を表示する。当該ダイアログ４０８は「自撮り連写」が終了した際に写真編集モジュール１５Ｂの機能の１つである顔パーツ変更機能を起動するか否かをユーザーに確認するためのダイアログである。
【００５１】
後述する「オート自撮り機能」が設定されると、コントローラ１４は、「オート自撮り機能」による撮像の前に、図４（ｃ）に示すダイアログ４０９をライブビュー表示領域４０３に表示する。さらに、コントローラ１４は状態表示領域３０２に自撮りマーク４１０および連写マーク４１１を表示して、「オート自撮り機能」が起動している旨を報知する。なお、図４（ｃ）に示すダイアログ４０９は連写の際中に表示するようにしてもよい。
【００５２】
ダイアログ４０９は、「オート自撮り機能」において自動で連写撮像を開始するまでの残り秒数と連写撮像の際に所謂「決め顔」をするようにユーザーに促すガイドである。なお、「決め顔」とは映りがよくなるように整えられた表情をいう。さらに、ダイアログ４０９においては、バリエーション（多様性）のある自撮り写真を得るため（多様性のあるパーツを得るために）、連写の際に様々の表情をとることを促す。図示の例では「いろいろな」の文言でこのことを促している。
【００５３】
なお、このような意味に有するガイドであれば他の文章であってもよい。ここで「自撮り連写」とは、インカメラ４による自撮りの連写撮像をユーザー操作（撮像ボタンの長押し）で行うことをいう。また「オート自撮り」とは、インカメラ４による自撮り連写撮像について、「自撮り」であるか否かの判定をコントローラ１４が行って自撮りを行うことをいう。
【００５４】
図５は、図１に示す撮像制御装置において自撮り連写又はオート自撮りで撮像した際の画像の一例を示す図である。
【００５５】
図示の例では、自撮りにおいて５枚の自撮り画像が連写されており、撮像された画像が左から右に順に並んでいるものとする。
【００５６】
図６は、図１に示す撮像制御装置において表示される顔パーツ置換機能画面を説明するための図である。そして、図６（ａ）は自撮り画像の表示を示す図であり、図６（ｂ）は１つの画像（ベース画像）が選択された状態を示す図である。また、図６（ｃ）は顔パーツの置換が指示された状態を示す図であり、図６（ｄ）は顔パーツ置換によって得られた画像を示す図である。
【００５７】
顔パーツ置換機能は写真編集モジュール１５Ｂにおける編集機能の１つであり、連続した自撮り画像において顔パーツ（部分領域）を置換して所望の自撮り画像を得るための機能である。
【００５８】
顔パーツ置換機能が起動すると、コントローラ１４は、図６（ａ）に示す顔パーツ置換機能画面を液晶ディスプレイ１０２Ａに表示するように表示制御を行う。ここでは、図５に示す自撮り画像がサムネイル画像として顔パーツ置換機能画面に表示される。
【００５９】
図６（ａ）を参照すると、ここでは、サムネイル表示領域６０２に、図５に示す自撮り画像がサムネイル画像として表示される。そして、自撮り画像について左右方向のフリック操作を行うと、最前列で表示される自撮り画像が変更される。図示の例では、表示領域６０８に３枚目の自撮り画像６０１が最前列で生じされた状態が示されている。さらには、他の自撮り画像についてはその一部が表示され、これによって、当該自撮り画像６０１の前後に自撮り画像が存在することを示す。
【００６０】
「Ｕｎｄｏ」ボタン６０３を操作すると、コントローラ１４は、直前の操作を取り消して画面を元に戻す。「終了」ボタン６０７を操作すると、コントローラ１４は写真編集モジュール１５Ｂの編集機能を終了する。
【００６１】
「戻る」ボタン６０５を操作すると、コントローラ１４は当該編集機能が起動する前の画面に戻す。また、コントローラ１４はインカメラ１０４又はアウトカメラ１０８によって撮像されてストレージ１５に保存された画像データ１５Ｄのフォルダ名がアルバム６０６である旨を表示する。
【００６２】
図６（ｂ）を参照して、ユーザーが３枚目の自撮り画像６０１をベース画像として選択すると、コントローラ１４は当該自撮り画像６０１を表示領域６０８に表示する。なお、「ベース画像」とは、右目、左目、鼻、および口などの顔パーツが入れ替えられる顔の画像をいう。ここでは、図６（ａ）に示す自撮り画像６０１をダブルタップすると、コントローラ１４は当該自撮り画像を「ベース画像」として選択して、図６（ｂ）に示すように表示領域６０８に自撮り画像６０１を拡大して表示する。
【００６３】
なお、自撮り画像６０１を拡大表示した際には、コントローラ１４は、選択した自撮り画像６０１を撮像した撮像時刻６１０（「１２月３日４時５６分」）を表示する。
【００６４】
図６（ｃ）を参照して、ユーザーが指によって「ベース画像」において変更したい顔パーツ（右目／左目／鼻／口）の領域をダブルタップする（図６（ｃ）に示す例では右目）。これによって、コントローラ１４はサムネイル表示領域６０２に連写で得られた自撮り画像において変更対象として選択された顔パーツ（右目）のみを表示する。
【００６５】
ユーザーがサムネイル表示領域６０２に表示された顔パーツ（右目）のうちの１つを選んでタップ操作すると、コントローラ１４はベース画像の顔パーツを選択された顔パーツに置き換える。そして、ユーザーは所望の自撮り画像が得られるまで顔パーツ（目／鼻／口）の置換を行う。確定ボタン６０４をタッチ操作すると、コントローラ１４は顔パーツ置換を確定する。
【００６６】
なお、図６（ｃ）においては、コントローラ１４は、顔パーツの置換を示す表示（顔パーツ置換６１１）を表示する。
【００６７】
図６（ｄ）には、顔パーツ置換機能による置換の結果得られた自撮り画像が示されている。顔パーツ置換が確定すると、コントローラ１４は編集済を示す編集済マーク６０９がステータスとして表示する。そして、コントローラ１４は、自撮り画像６０１の顔パーツを選択された顔パーツで置換した結果得られた画像を表示する。
【００６８】
図７は、図１に示す撮像制御装置で行われる自撮り撮像の際の処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、コントローラ１４がストレージ１５に格納された制御プログラムをシステムメモリ１６に展開して実行することによって行われる。
【００６９】
Ｓ７０２では、ユーザーがメニュー画面３０１において、カメラアイコン３０６をタップ操作すると、コントローラ１４はカメラ機能を起動して撮像モードを開始する。
【００７０】
Ｓ７０３では、コントローラ１４はアウトカメラ１０８又はインカメラ１０４で得られた画像（映像）をディスプレイ１０２Ａに表示する（図４（ａ）参照）。
【００７１】
Ｓ７０４では、コントローラ１４は撮像中のカメラがインカメラ１０４であるか否かを判定する。
【００７２】
液晶ディスプレイ１０２Ａがバリアングル表示部である場合には、コントローラ１４液晶ディスプレイ１０２Ａが撮像方向と略同方向に向けられているか否かを判定する。つまり、コントローラ１４は液晶ディスプレイ１０２Ａの表示面が被写体から視認可能な対面位置となっているか又はその他の位置（例えば、表示面が被写体と反対側のカメラ背面側を向く位置）かを判定する。言い替えると、コントローラ１４は被写体側とライブビュー画像を表示する液晶ディスプレイ１０２Ａの表示方向とが同一の側であるか否かを判定である。そして、当該判定結果に基づいて、コントローラ１４はインカメラ１０４あるかを判定する。なお、バリアングル表示部とは、カメラに対して表示部の位置を相対的に変更可能な表示部をいう。
【００７３】
インカメラ１０４の場合はＳ７０５に進み、そうでない場合はＳ７０６に進む。
【００７４】
Ｓ７０６では、コントローラ１４はアウトカメラ１０８を用いて撮像を行う。そして、コントローラ１４は自撮り処理を終了する。
【００７５】
Ｓ７０５では、コントローラ１４は、図４（ａ）に示すカメラ機能画面においてシャッターボタン４０６がタッチ操作されたか否かを判定する。シャッターボタン４０６がタッチ操作された場合はＳ７１０に進み、そうでない場合はＳ７０８に進む。
【００７６】
Ｓ７０８では、コントローラ１４は撮像モードが終了したか否かを判定する。ここでは、コントローラ１４はボタン１０３３Ｄがタッチ操作されると撮像モードの終了と判定する。撮像モードが終了した場合には、コントローラ１４は自撮り処理を終了する。そうでない場合はＳ７０５に戻る。
【００７７】
Ｓ７１０では、コントローラ１４は撮像が連写であるか否かを判定する。ここでは、カメラ機能画面においてシャッターボタン４０６がロングタッチ操作（所定時間以上タッチを離さずに継続する操作）されると、コントローラ１４は連写であると判定する。一方、ショートタップ（所定時間未満でタッチを離す操作）であると、コントローラ１４は連写ではなく単写であると判定する。
【００７８】
なお、予め自撮り連写を行うか又は単写を行うかについて設定し、自撮り連写が設定されていれば、コントローラ１４は撮像が連写である判定するようにしてもよい。予め自撮り連写の設定に変更をした直後又は自撮り連写の設定の場合にカメラ機能を起動した際には、コントローラ１４は図４（ｂ）に示すガイドを表示する。また、シャッターボタン４０６をロングタッチ操作した際の時間当たりの撮像枚数は図４（ａ）に示す設定ボタン４０７を用いて変更することができる。
【００７９】
連写である場合はＳ７１３に進み、そうでない場合はＳ７１１に進む。
【００８０】
Ｓ７１１では、コントローラ１４は撮像によって得られた１枚の撮像画像をストレージ１９に記録制御する。そして、コントローラ１４は自撮り処理を終了する。
【００８１】
Ｓ７１３では、コントローラ１４はインカメラ１０４によって撮像者の連写を行って得られた撮像画像をストレージ１９に記憶する。Ｓ７１４では、コントローラ１４は連写を終了する。なお、連写終了は操作者の指示があった場合に行われる。さらには、撮像制御装置の向きが変わるなど撮像条件が大きく変化したことが検知された場合に、連写を終了するようにしてもよい。
【００８２】
Ｓ７１５では、コントローラ１４は図４（ｂ）に示す顔パーツ置換機能の起動を促すメッセージダイアログ（顔パーツ置換モードの紹介メッセージ）４０８を表示する。Ｓ７１６では、コントローラ１４は操作者が顔パーツ置換機能を選択したか否かを判定する。顔パーツ置換機能を選択した場合はＳ７１７に進み、そうでない場合には、コントローラ１４は自撮り処理を終了する。
【００８３】
Ｓ７１７では、コントローラ１４は顔パーツ置換機能による顔パーツ置換モードを実行する。そして、コントローラ１４は自撮り処理を終了する。
【００８４】
図８は、図７に示す顔パーツ置換モードによる処理を説明するためのフローチャート図である。なお、図示のフローチャートに係る処理は、コントローラ１４がストレージ１５に格納された制御プログラムをシステムメモリ１６に展開して実行することによって行われる。
【００８５】
Ｓ８０２では、コントローラ１４は顔パーツ置換機能を用いて顔パーツ置換モードを開始する。前述のように、顔パーツ置換機能は写真編集モジュール１５Ｂの編集機能の一部である。
【００８６】
Ｓ８０３では、コントローラ１４はストレージ１５に記憶した連続自撮り画像（映像）を液晶ディスプレイ１０２Ａに表示する。ここでは、コントローラ１４はＳ７１３においてストレージ１５に記憶した連続自撮り画像を、図６（ａ）に示すように表示する。
【００８７】
Ｓ８０４では、コントローラ１４はベース画像が選択されたか否かを判定する。ここでは、コントローラ１４は図６（ａ）に示す画面においてユーザーがベース画像を選択したか否かを判定する。ベース画像が選択された場合Ｓ８０５に進み、そうでない場合はＳ８０４に戻る。
【００８８】
Ｓ８０５では、コントローラ１４はストレージ１９からベース画像を読み出してシステムメモリ１６に一時記憶する。Ｓ８０６では、コントローラ１４は顔パーツ置換のための顔パーツ選択操作が行われたか否かを判定する。ここでは、コントローラ１４は変更したい顔パーツ（目／鼻／口）をダブルタップする選択操作が行われたか否かを判定する。顔パーツ選択操作が行われた場合はＳ８０９に進み、そうでない場合はＳ８０７に進む。
【００８９】
Ｓ８０７では、コントローラ１４は顔パーツ置換モードが終了したか否かを判定する。ここでは、コントローラ１４は終了ボタン６０７がタッチ操作されたか否かを判定する。顔パーツ置換モードが終了した場合には、コントローラ１４は自撮り処理を終了する。そうでない場合はＳ８０６に戻る。
【００９０】
Ｓ８０９では、コントローラ１４は連続自撮り画像から選択された顔パーツを抽出する。ここでは、コントローラ１４は連続自撮り画像からＳ８０６で選択された顔パーツを抽出する。Ｓ８１０では、コントローラ１４は連続自撮り画像の全てから顔パーツを抽出したか否かを判定する。なお、連続自撮り画像の全てとは、図７に示すＳ７０５およびＳ７１０で行われた１回の撮像指示で連写撮像された画像をいい、これよりも前の撮像指示で撮像された画像は含まれない。連続自撮り画像の全てから顔パーツを抽出した場合はＳ８１１に進み、そうでない場合はＳ８０９に戻る。
【００９１】
Ｓ８１１では、コントローラ１４は連続自撮り画像の全てから抽出した顔パーツをサムネイル表示領域６０２に一覧表示する。なお、ここでは、コントローラ１４は顔の器官検出によって画像から検出された顔の器官毎の部分領域（顔パーツ）を表示する。この際、図６（ｃ）に示すように、コントローラ１４はサムネイル表示領域６０２を参照すれば分かるように、選択された顔パーツである右目部分を拡大して表示する。
【００９２】
Ｓ８１２では、コントローラ１４は、Ｓ８１１で一覧表示した顔パーツの一覧から１つがタップ操作で選択されたか否かを判定する。顔パーツの一覧から１つが選択された場合はＳ８１３に進み、そうでない場合はＳ８１１に戻る。
【００９３】
Ｓ８１３では、コントローラ１４は、一時記憶したベース画像の顔パーツを、選択された顔パーツで置換する。つまり、コントローラ１４は選択された顔パーツをベース画像の対応する顔パーツの上に重畳して合成する画像処理を行う。
【００９４】
Ｓ８１４では、コントローラ１４は、Ｓ８１３で顔パーツが置換された画像を液晶ディスプレイ２Ａにプレビューする。Ｓ８１５では、コントローラ１４は確定ボタン６０４がタッチ操作されたか否かを判定する。確定ボタン７０４がタッチ操作された場合はＳ８１６に進み、そうでない場合はＳ８１１に戻る。
【００９５】
Ｓ８１６では、コントローラ１４は抽出した顔パーツの一覧をクリアして、液晶ディスプレイ１０２Ａに、図６（ｄ）に示すように顔パーツ置換の結果得られた画像を表示する。
【００９６】
Ｓ８１７では、コントローラ１４は終了ボタン６０７がタッチ操作されたか否かを判定する。終了ボタン６０７がタッチ操作された場合には、コントローラ１４は写真編集モジュール１５Ｂを終了してＳ８１８に進み、そうでない場合はＳ８０６に戻る。これによって、ユーザーの更なる操作に応じて他の顔パーツを置換することができる。
【００９７】
Ｓ８１８では、コントローラ１４はシステムメモリ１６に一時記録した置換済み画像をストレージ１５に書き込む。そして、コントローラ１４は顔パーツ置換モードを終了する。なお、コントローラ１４は置換済み画像を、例えば、サーバに転送してサーバに保存するようにしてもよい。さらには、コントローラ１４は、印刷装置（図示せず）を用いて置換済み画像を印刷するようにしてもよい。つまり、撮像制御装置を写真シール機にも適用した場合には、撮像制御装置が印刷装置を有し、置換済み画像は印刷装置によって印刷されることになる。
【００９８】
このように、本発明の第１の実施形態では、連続的に撮像した自撮り画像群から所望の顔パーツを選択して組み合わせる簡易な操作によって、プレビューを見つつ所望の自撮り画像を作成することができる。
【００９９】
これらの自撮り画像群はごく短い間に、その位置を変えることなく連続的に撮像された画像であるので、撮像条件が一定となる。よって、色調、露出、および焦点距離の調整や位置合わせなどの特別な画像処理を必要とせず、一般の撮像手法による画像と変わりのない自然な自撮り画像を生成することができる。
【０１００】
［第２の実施形態］
続いて、本発明の第２の実施形態による撮像制御装置の一例について説明する。なお、第２の実施形態による撮像制御装置の構成は、図１および図２に示す撮像制御装置と同様である。
【０１０１】
図９は、本発明の第２の実施形態による撮像制御装置で行われるオート自撮り撮像の際の処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、コントローラ１４がストレージ１５に格納された制御プログラムをシステムメモリ１６に展開して実行することによって行われる。
【０１０２】
前述の第１の実施形態においては、シャッターボタン５０６の操作によって連写による自撮り撮像の例について説明した。一方、第２の実施形態においては、コントローラ１４による判定に応じてオートで自撮り撮像が行われる。なお、図９において、Ｓ９０２〜Ｓ９０４の処理は図７に示すＳ７０２〜Ｓ７０４の処理と同様であり、Ｓ９０６およびＳ９０８の処理は図７に示すＳ７０６およびＳ７０８の処理と同様である。よって、ここでは説明は省略する。
【０１０３】
Ｓ９０５では、コントローラ１４はインカメラ１０４による撮像で得られた画像において顔を検知したか否かを判定する。顔を検知した場合はＳ９１０に進み、そうでない場合はＳ９０８に進む。なお、顔検知の際には、コントローラ１４は既知の顔検出アルゴリズムを用いる。
【０１０４】
Ｓ９０５で顔が検知された場合には、コントローラ１４は撮影者（ユーザ）が自撮り撮像を行おうとしていると推定する。Ｓ９１０では、コントローラ１４は撮像によって得られた画像（ライブビュー映像）における変化量が所定量以下の状態が所定の時間継続しているか否かを判定する。ここでは、インカメラ１０４で撮像中の画像における変化量が所定量以下の状態が一定時間継続していれば、コントローラ１４は撮像ポーズを決めようとしていると推定する。変化量が所定量以下の状態が所定の時間継続している場合はＳ９１１に進み、そうでない場合はＳ９１２に進む。
【０１０５】
Ｓ９１１では、コントローラ１４は撮像中の映像の振れが所定値以上であるか否かを判定する。揺れが所定値以上である場合はＳ９１４に進み、そうでない場合はＳ９１２に進む。
【０１０６】
Ｓ９１１においては、コントローラ１４はインカメラ４で撮像中の映像における所定時間内の映像の変化の差分に基づいて振れが所定値以上あるか否かを判定する。なお、加速度センサ１２のセンシング結果に基づいて振れを判定するようにしてもよい。さらには、映像の変化と加速度センサ１２およびジャイロセンサ１３のセンシング結果とを組み合わせて判定を行うようにしてもよい。
【０１０７】
コントローラ１４は振れがあるか否かに応じて、撮像制御装置が手持ちされているか否かを判定する。つまり、振れがある場合には、コントローラ１４はユーザーが撮像制御装置を手持ち状態で撮像中であると推定する。一方、振れがない場合には、コントローラ１４は手持ちではなく、撮像制御装置を三脚などに固定していると推定する。言い替えると、インカメラによる撮像であって、映像に顔が検知されていると、コントローラ１４は自撮り撮像であると推定する。続いて、撮像中の映像の変化量が所定量以下の状態が一定時間継続していると、コントローラ１４はユーザーが撮像ポーズ決めをしている最中であると推定し、振れが所定値以上あると手持ち撮像であると推定する。そして、コントローラ１４はＳ９１４以降のオート連写撮像を実行する。
【０１０８】
Ｓ９１２では、コントローラ１４はオート自撮りを解除して通常のインカメラ撮像を行う。ここでは、コントローラ１４は撮像制御装置が固定されて撮像が行われていると判定し、オート自撮りではなく通常のインカメラ撮像を行う。そして、コントローラ１４はオート自撮り処理を終了する。
【０１０９】
Ｓ９１４では、コントローラ１４は液晶ディスプレイ１０２Ａに連写開始のメッセージを表示する。ここでは、コントローラ１４は連写撮像を開始するまでの残り秒数を通知して、連写撮像の際に所謂決め顔をするように促す表示を行う。
【０１１０】
Ｓ９１５では、コントローラ１４はインカメラ４によるオート連写撮像を実行する。つまり、インカメラ撮像でかつ顔を検知し、さららに、ユーザーが撮像ポーズを決めかつ手持ち撮像であると判定すると、コントローラ１４はオート連写撮像開始のメッセージを操作者に通知して連写撮像を実行する。
【０１１１】
以下、Ｓ９１６〜Ｓ９２０の処理は図７に示すＳ７１３〜Ｓ７１７の処理と同様であるので説明を省略する。
【０１１２】
このように、本発明の第２の実施形態では、ユーザーが「自撮り」をしようとしている可能性が高い場合には、ユーザーに対してメッセージを通知しつつ、自動的に連写を行う。これによって、ユーザーによる連写開始の指示操作が不要となるので、一旦定まった構図が崩れる恐れがなくなって、ユーザーはポーズおよび表情を決めることに専念することができる。その結果、ユーザー所望の自撮り画像を一層簡便に得ることができる。
【０１１３】
［第３の実施形態］
次に、本発明の第３の実施形態による撮像制御装置の一例について説明する。なお、第３の実施形態による撮像制御装置の構成は、図１および図２に示す撮像制御装置と同様である。
【０１１４】
ところで、複数人で自撮り撮像を行おうとした場合、光学的な画角に複数人が収まらないことがある。この場合には、例えば、所謂自撮り棒を用いるなどして、撮像制御装置と被写体である複数人との距離を長くするようにしている。
【０１１５】
一方、第３の実施形態では、連続的に撮像された画像群を繋ぎあわせて、カメラの光学的な画角よりも広角の画像を生成する画像生成を行い、恰も複数人を撮像した状態とする。例えば、連像撮像された自撮り画像を繋ぎ合わせることが可能な画角が存在すれば、コントローラ１４は後述する拡張表示画像として液晶ディスプレイ１０２Ａに表示する。そして、ユーザーは拡張表示画像から所望のエリアをトリミングして、複数人の被写体を含む広角な自撮り画像を得る。
【０１１６】
図１０は、本発明の第３の実施形態による撮像制御装置において行われる複数人の自撮り撮像を説明するための図である。
【０１１７】
図１０に示す例では、トリミングの結果得られた複数人の被写体を含む広角な自撮り画像が表示領域６０に８表示されている。コントローラ１４は、各被写体の顔の位置にエリア枠１００１を表示する。ユーザーによってエリア枠１００１の一つが選択されると、コントローラ１４は当該選択されたエリア枠１００に表示された顔画像を表示領域６０８全体に拡大して表示する。そして、第１の実施形態で説明したようにして、当該顔画像の顔パーツについて置換が行われる。
【０１１８】
顔パーツの置換が終了すると、コントローラ１４はその被写体の元の顔画像を置換済み画像に入れ替えて、再び複数の被写体について広角な自撮り画像を表示する。他の被写体の顔パーツの置換を行う際には、当該他の被写体の顔の位置に表示されたエリア枠１００１を選択すれば、同様にして処理が行われる。
【０１１９】
このように、本発明の第３の実施形態では、カメラの光学的な画角に複数人の被写体が収まらないような自撮り撮像の場合であっても、これらの複数人についてユーザー所望の自撮り画像を作成することができる。
【０１２０】
なお、上述の実施の形態では、アウトカメラ１０８とインカメラ１０４を備える撮像制御装置を例に挙げて説明したが、インカメラを備えない場合であっても、ディスプレイが所謂バリアングルタイプであれば、本発明を実施することが可能である。この場合、撮像レンズと同一面にバリアングルの角度を調整して自撮り撮像を行うこととなる。
【０１２１】
なお、コントローラ１４が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
【０１２２】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものに過ぎず、各実施形態を適宜組み合わせることも可能である。
【０１２３】
また、上述した実施形態においては、本発明をスマートフォンなどの携帯端末に適用した場合を例にして説明したが、これはこの例に限定されず撮像部を有し、連写撮像可能な機器であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、タブレット端末、スマートフォン、投影装置、車載装置などに適用可能である。
【０１２４】
また、有線又は無線通信を介して撮像制御装置（ネットワークカメラを含む）と通信し、撮像制御装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像制御装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像制御装置に各種動作や設定を行わせるコマンドを通知することにより、撮像制御装置を遠隔から制御可能である。また、撮像制御装置で撮像したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。
【０１２５】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１２６】
１４  コントローラ
１５  ストレージ（不揮発性メモリ）
１０２  タッチスクリーンディスプレイ
１０３Ａ〜１０３Ｄ  ボタン
１０４  インカメラ
１０５  照度センサ
１０６  スピーカー
１０７  コネクタ
１０８  アウトカメラ
１０９  ライト
【図１】
2019054447.tif 000003
【図２】
2019054447.tif 000004
【図３】
2019054447.tif 000005
【図４】
2019054447.tif 000006
【図５】
2019054447.tif 000007
【図６】
2019054447.tif 000008
【図７】
2019054447.tif 000009
【図８】
2019054447.tif 000010
【図９】
2019054447.tif 000011
【図１０】
2019054447.tif 000012