(57)【要約】【課題】ユーザによる特別な操作なしに、フレーミング条件に応じて撮像画像を配置した組写真画像を生成すること。【解決手段】画像処理装置であって、複数の撮像画像に含まれる各撮像画像のフレーミング条件を判定する判定手段と、フレーミング条件に基づいて複数の撮像画像の配置方法を決定する決定手段と、決定手段が決定した配置方法で複数の撮像画像を配置した組写真画像を生成する画像生成手段と、を備えたことを特徴とする。【選択図】  図１
2016116131.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像画像に含まれる各撮像画像のフレーミング条件を判定する判定手段と、
前記フレーミング条件に基づいて前記複数の撮像画像の配置方法を決定する決定手段と、
前記複数の撮像画像を前記配置方法で配置した組写真画像を生成する画像生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記判定手段で判定した前記各撮像画像のフレーミング条件を比較する比較手段をさらに備え、
前記決定手段は、前記フレーミング条件の比較結果に基づいて、前記組写真画像における前記各撮像画像の大きさおよび位置を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記フレーミング条件として、前記各撮像画像における被写体までの距離を判定し、
前記決定手段は、前記各撮像画像中に含まれる被写体までの距離に応じて、前記組写真画像における前記複数の撮像画像の重なり具合を決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記判定手段は、前記フレーミング条件として、前記各撮像画像における被写体の顔または目の向きを判定し、
前記決定手段は、右向きの顔または目が含まれる撮像画像を左側に、左向きの顔または目が含まれる撮像画像を右側に配置するよう決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記判定手段は、前記フレーミング条件として、前記各撮像画像の撮像時の撮像手段の仰俯角を判定し、
前記決定手段は、前記仰俯角が正の撮像画像を下側に、前記仰俯角が負の撮像画像を上側に配置するよう決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像生成手段は、前記複数の撮像画像に含まれる少なくとも１つの撮像画像をトリミング処理してから、前記組写真画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
被写体の画像を撮像する撮像手段と、
前記撮像手段によって撮像された複数の撮像画像のフレーミング条件を判定する判定手段と、
前記フレーミング条件に基づいて前記複数の撮像画像の配置方法を決定する決定手段と、
前記複数の撮像画像を前記配置方法で配置した組写真画像を生成する画像生成手段と、
前記組写真画像を表示する表示手段と、
を備えたことを特徴とする撮像装置。
【請求項８】
前記画像生成手段は、前記撮像手段で撮像され記録された記録画像と、前記撮像手段で撮像されたスルー画とを組み合わせた組写真画像を生成し、
前記表示手段は、前記組写真画像でライブビューとして表示することを特徴とする請求項７に記載の撮像装置。
【請求項９】
複数の撮像画像に含まれる各撮像画像のフレーミング条件を判定する判定ステップと、
前記フレーミング条件に基づいて前記複数の撮像画像の配置方法を決定する決定ステップと、
前記複数の撮像画像を前記配置方法で配置した組写真画像を生成する画像生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項１０】
複数の撮像画像に含まれる各撮像画像のフレーミング条件を判定する判定ステップと、
前記フレーミング条件に基づいて前記複数の撮像画像の配置方法を決定する決定ステップと、
前記複数の撮像画像を前記配置方法で配置した組写真画像を生成する画像生成ステップと、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラや内視鏡等で撮像された画像の処理技術に関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、既に撮像した被写体の残像を参照画像としてモニタの一部に表示し、その参照画像と新たに撮像する被写体とが表示されたモニタを見ながら、ユーザが組写真において被写体の位置調整をする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２９５１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、ユーザの操作なしには、組写真における各撮像画像の配置調整をすることができなかった。
【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る装置は、
複数の撮像画像に含まれる各撮像画像のフレーミング条件を判定する判定手段と、
前記フレーミング条件に基づいて前記複数の撮像画像の配置方法を決定する決定手段と、
前記複数の撮像画像を前記配置方法で配置した組写真画像を生成する画像生成手段と、
を備えたことを特徴とする画像処理装置である。
【０００７】
上記目的を達成するため、本発明に係る他の装置は、
被写体の画像を撮像する撮像手段と、
前記撮像手段によって撮像された複数の撮像画像のフレーミング条件を判定する判定手段と、
前記フレーミング条件に基づいて前記複数の撮像画像の配置方法を決定する決定手段と、
前記複数の撮像画像を前記配置方法で配置した組写真画像を生成する画像生成手段と、
前記組写真画像を表示する表示手段と、
を備えたことを特徴とする撮像装置である。
【０００８】
上記目的を達成するため、本発明に係る方法は、
複数の撮像画像に含まれる各撮像画像のフレーミング条件を判定する判定ステップと、
前記フレーミング条件に基づいて前記複数の撮像画像の配置方法を決定する決定ステップと、
前記複数の撮像画像を前記配置方法で配置した組写真画像を生成する画像生成ステップと、
を含むことを特徴とする画像処理方法である。
【０００９】
上記目的を達成するため、本発明に係るプログラムは、
複数の撮像画像に含まれる各撮像画像のフレーミング条件を判定する判定ステップと、
前記フレーミング条件に基づいて前記複数の撮像画像の配置方法を決定する決定ステップと、
前記複数の撮像画像を前記配置方法で配置した組写真画像を生成する画像生成ステップと、
をコンピュータに実行させる画像処理プログラムである。
【発明の効果】
【００１０】
本発明によれば、ユーザによる特別な操作なしに、フレーミング条件に応じて撮像画像を配置した組写真画像を簡易に生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る撮像装置の機能構成を示すブロック図である。
【図２】本発明の第１実施形態に係る撮像装置を適用した組写真生成動作の概要を示す図である。
【図３】本発明の第１実施形態に係る撮像画像データの構成を示す図である。
【図４】本発明の第１実施形態に係る撮像装置で用いられる画像配置基準テーブルの構成を示す図である。
【図５】本発明の第１実施形態に係る撮像装置で用いられる画像配置基準テーブルの構成を示す図である。
【図６】本発明の第１実施形態に係る撮像装置に記録された組写真画像情報を示す図である。
【図７】本発明の第１実施形態に係る組画像表示処理の手順を示すフローチャートである。
【図８】本発明の第１実施形態に係る組画像表示処理の手順を示すフローチャートである。
【図９】本発明の第２実施形態に係る撮像画像の構成を示す図である。
【図１０】本発明の第３実施形態に係る画像処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。なお、本明細書中、「ライブビュー」とは、撮影時に表示部をファインダー代わりに使う表示状態をいう。一方、「スルー画」とは、レンズを通った光を直接、撮像素子に当てることにより、取得したライブビュー用の画像である。
【００１３】
［第１実施形態］
本発明に係る画像処理装置の第１実施形態として、撮像装置１００について図１を用いて説明する。
【００１４】
《画像処理装置の機能構成》
図１は、本実施形態に係る撮像装置１００の機能構成を示すブロック図である。本実施形態に係る撮像装置１００は、撮像部１０１、各種センサ１０２、制御部１０３、表示部１０４、操作部１０５および記録部１０６を備える。
【００１５】
撮像部１０１は、画像を撮像するためのユニットであり、撮像レンズと撮像素子を含む。撮像素子としては、例えば、ＣＭＯＳ（Complementary metal-oxide-semiconductor）センサやＣＣＤ（charge-coupled device）などの光電変換素子を含む。
【００１６】
各種センサ１０２は、撮影時の撮像装置１００の状態を検知するためのセンサであり、例えば、加速度センサやジャイロセンサや地磁気センサを含む。気圧センサや温度センサや湿度センサやＧＰＳセンサなどを含んでもよい。
【００１７】
制御部１０３は、フレーミング条件判定部１３０と、画像配置決定部１３６と、画像生成部１３７とを少なくとも含む。
【００１８】
フレーミング条件判定部１３０は、複数の撮像画像に含まれる各撮像画像のフレーミング条件を判定する。画像配置決定部１３６は、フレーミング条件判定部１３０が判定したフレーミング条件に基づいて複数の撮像画像の配置方法を決定する。画像生成部１３７は、画像配置決定部１３６が決定した配置方法で複数の撮像画像を配置した組写真画像を生成する。これにより、フレーミング条件、つまり撮像時の状況に応じて複数の撮像画像を配置した組写真画像を簡易かつ自動的に生成、取得することができる。
【００１９】
また、制御部１０３は、フレーミング条件判定部１３０で判定した各撮像画像のフレーミング条件を比較する条件比較部１３５をさらに備えており、画像配置決定部１３６は、条件比較部１３５によるフレーミング条件の比較結果に基づいて、組写真画像における各撮像画像の大きさおよび位置を決定する。これにより、複数の撮像画像の相対的な特徴や相違に応じた配置の組写真画像を得ることができる。
【００２０】
フレーミング条件判定部１３０は、各撮像画像における被写体までの距離をフレーミング条件として判定する距離判定部１３１を備えている。距離判定部１３１は、各種センサ１０２に含まれる距離センサから取得したデータに基づいて被写体までの距離を判定してもよいし、撮像部１０１に含まれるフォーカシング機構が取得したデータに基づいて被写体までの距離を判定してもよい。
【００２１】
画像配置決定部１３６は、各撮像画像中に含まれる被写体までの距離に応じて、組写真画像における複数の撮像画像の重なり具合を決定する。例えば、被写体までの距離が遠い撮像画像を、背面側に配置し、被写体までの距離が近い撮像画像を、前面側に配置する。これにより、より自然な配置の組写真画像を得ることができる。
【００２２】
フレーミング条件判定部１３０は、各撮像画像における被写体の顔を検出し、さらに画像中の顔の向きを判定する顔判定部１３２をさらに含む。顔の向きやサイズは、フレーミング条件として利用できる。画像配置決定部１３６は、各撮像画像中に含まれる被写体の顔の向きに応じて、組写真画像における複数の撮像画像の位置を決定する。例えば、右向きの顔が含まれる撮像画像を左側に、左向きの顔が含まれる撮像画像を右側に配置するよう決定する。顔判定部１３２は、他の顔情報として、顔画像の有無、大きさ、位置、などを判定してもよく、画像配置決定部１３６は、それら顔画像の有無、大きさ、位置、などに応じて画像の配置を決定してもよい。これにより、撮像時のストーリー展開や複数画像間の物語などを表現した組写真画像を得ることができる。もちろん、瞳の配置など見ている方向を加味する応用も可能である。その場合、フレーミング条件判定部は、被写体の瞳の位置をフレーミング条件として判定する瞳判定部をさらに備えてもよい。フレーミング条件判定部１３０は、その他にも、各撮像画像における被写体の明るさをフレーミング条件として判定する明るさ判定部をさらに備えてもよい。その場合、被写体の明るさに応じて、撮像画像の位置、大きさ、順序を決定してもよい。
【００２３】
フレーミング条件判定部１３０は、各撮像画像の撮像時の仰俯角（Pitching Angle）をフレーミング条件として判定する仰俯角判定部１３３をさらに含む。画像配置決定部１３６は、仰俯角が正の撮像画像を下側に、仰俯角が負の撮像画像を上側に配置するよう決定する。つまり、下から見上げるように被写体を撮像した撮像画像を上側に、上から見下ろすように被写体を撮像した撮像画像を下側に配置するよう決定する。これにより、撮像時のストーリー展開や複数画像間の物語などを表現した組写真画像を得ることができる。
【００２４】
フレーミング条件判定部１３０は、各撮像画像の撮像時の被写体の方角をフレーミング条件として判定する撮像方向判定部１３４をさらに含む。画像配置決定部１３６は、撮像装置１００から見た被写体の方角に応じて、撮像画像を配置するよう決定する。例えば、東向きに撮像された撮像画像を、西向きに撮像された撮像画像より右側に配置するなどといった決定を行なう。これにより、より自然な配置の組写真画像を得ることができる。
【００２５】
フレーミング条件判定部１３０は、他に、ロール角（Roll Angle）やパン角（Yaw Angle）などを、各種センサ１０２に含まれるジャイロセンサや加速度センサの出力データから判定する判定部を備えてもよい。画像配置決定部１３６は、２つの撮像が行なわれた際の、撮像装置１００の様々な姿勢の違いに基づいて、２つの撮像画像の配置を決定してもよい。画像配置決定部１３６は、撮像装置の姿勢を変える時の動きによって画像が変化することや加速度を利用して、２つの撮像画像の配置を決定してもよい。
【００２６】
画像生成部１３７は、組写真を構成する複数の撮像画像について、画像配置決定部１３６で決定された画像配置に従って、サイズ調整および位置調整を施した後、組写真画像を生成する。例えば、複数の撮像画像に含まれる少なくとも１つの撮像画像に対し、フレーミング条件に応じて余白部分等のトリミング処理を施してから、組写真画像を生成してもよい。また、近距離撮像画像中の人物より遠距離撮像画像中の人物が大きくならないようにサイズ調整を行なってもよい。
【００２７】
例えば、遠距離撮像の撮像画像が、近距離撮像の撮像画像よりも背面側でかつ大きくなるように、撮像画像のサイズおよび位置調整を行なってもよい。画像生成部１３７は、撮像装置１００のシャッターを切った場合のみならず、スルー画（through-the-lens image）表示モードでも随時組写真画像を生成する。この場合、画像生成部１３７は、撮像部１０１で撮像され、記録部１０６に記録された記録画像と、撮像部１０１で撮像された追加画像（レリーズスイッチ操作時のスルー画と同じフレーミング条件で撮像された画像）とを組み合わせた組写真画像を生成する。
【００２８】
表示部１０４は、画像生成部１３７で生成された画像を表示する。つまり、組写真画像を表示する。例えば撮影モード中、記録画像と追加画像とを組み合わせた組写真画像をライブビューとして表示することもできる。これにより、記録画像に追加画像を組み合わせた組写真としての出来映えを確認しながら、追加画像の撮像を行なうことができる。
【００２９】
操作部１０５は、レリーズスイッチや、その他のスイッチを含み、撮像指示や組写真の生成の指示などをユーザから受け付ける。操作部１０５は、ハードキーに限られるものではなくタッチパネルを含んでもよい。記録部１０６は、撮像部１０１で撮像した画像を各種センサ１０２で取得した情報と共に記録する。また、画像生成部１３７で生成した画像データを記録する。
【００３０】
《動作概要》
図２は、本実施形態に係る撮像装置１００を用いた組写真生成動作の概要を示す図である。
【００３１】
撮像装置１００のユーザ２０１は、図中左側に子ども２０２を連れて、客席からサーカスを見ている。ステージ上方では、空中ブランコ２０３が繰り広げられ、下方では、象の曲芸ショー２０４が繰り広げられている。
【００３２】
空中ブランコ２０３を撮影した後、隣にいる子ども２０２を撮像装置１００のファインダーに捉えると、撮像装置１００は、空中ブランコ２０３の撮像画像２１０と、子ども２０２の撮像画像２２０とを組写真にするか否かをユーザ２０１に確認するためのメッセージ２２１を表示する。例えば、空中ブランコ２０３の撮影時刻と、隣にいる子どもにフォーカシングした時刻とが所定の時間内であれば、メッセージ２２１を表示し、所定の時間を経過すればメッセージ２２１を表示しないなどの判定を行なってもよい。
【００３３】
そこで、不図示のＹＥＳを選択すると、画像配置決定部１３６は、各画像の配置を決定する。画像の配置や合成は撮影中に行なってもよいし、撮影直後に行なってもよい。または再生モード時や通信時に配置および合成してもよい。具体的には以下のように組写真画像中の各画像の配置を決定する。
【００３４】
すなわち、空中ブランコ２０３の撮像画像２１０の撮影時の撮像装置１００の仰角と子ども２０２を撮影中の撮像装置１００の俯角とを比較して、空中ブランコ２０３の撮像画像２３２と子ども２０２の撮像画像２３１とを組写真画像２３０中に配置する。
【００３５】
空中ブランコ２０３の撮像画像２１０を撮影した際の撮像装置１００の仰俯角が、子ども２０２を撮影した際の撮像装置１００の仰俯角よりも大きい場合、組写真画像２３０において、空中ブランコ２０３の撮像画像２３２を子ども２０２の撮像画像２３１よりも上側に配置する。
【００３６】
また、撮像画像２１０中の被写体としての空中ブランコ２０３までの距離が、撮像画像２２０中の被写体としての子ども２０２までの距離よりも大きいと判断すると、組写真画像２３０において、撮像画像２３２を撮像画像２３１よりも背面側に配置する。
【００３７】
撮像画像２２０中の被写体としての子ども２０２の顔の向きが図中左向きであると判断すると、撮像画像２３１を撮像画像２３２の右側に配置して、組写真画像２３０の中で、子どもが空中ブランコを見上げているようなシーンを作り出す。
【００３８】
また、撮像方向判定部１３４において、子ども２０２の方角が、空中ブランコ２０３の方角よりもやや右にパンした方角であると判断すると、撮像画像２３１を撮像画像２３２の右側に配置するよう決定する。例えば、東向きに撮像された撮像画像を、北向きに撮像された撮像画像より右側に配置するなどといった決定を行なう。
【００３９】
象の曲芸ショー２０４を撮影した際の撮像装置１００の仰俯角が、子ども２０２を撮影した際の撮像装置１００の仰俯角よりも小さい場合、組写真画像２６０において、象の曲芸ショー２０４の撮像画像２６２を子ども２０２の撮像画像２６１よりも下側に配置する。
【００４０】
また、撮像画像２４０中の被写体としての象の曲芸ショー２０４までの距離が、撮像画像２５０中の被写体としての子ども２０２までの距離よりも大きいと判断すると、組写真画像２６０において、撮像画像２６２を撮像画像２６１よりも背面側に配置する。
【００４１】
撮像画像２５０中の被写体としての子ども２０２の顔の向きが図中左向きであると判断すると、撮像画像２６１を撮像画像２６２の右側に配置して、組写真画像２６０の中で、子どもが象の曲芸ショー２０４を見下ろしているような非常にストーリー感のある画像を作り出す。
【００４２】
また、撮像方向判定部１３４において、子ども２０２の方角が、象の曲芸ショー２０４の方角よりもやや右にパンした方角であると判断すると、撮像画像２６１を撮像画像２６２の右側に配置するよう決定する。例えば、東向きに撮像された撮像画像を、北向きに撮像された撮像画像より右側に配置するなどといった決定を行なう。
【００４３】
組写真中の撮像画像の左右配置については、顔の向き、撮像の方角、連続撮像時の撮像装置の姿勢変化など、様々な情報に基づいて、決定することができる。それらの情報に、優先順位をつけて判断してもよい。例えば、顔の向きが明確に判定できれば、顔の向きのみで左右配置を決定し、顔の向きが明確でない場合や顔が正面に向いている場合にのみ、撮像の方角を用いて判断してもよい。さらに、撮像の方角に違いがない場合にのみ、撮像装置の姿勢変化の情報を用いてもよい。あるいは、顔の向き、撮像の方角、連続撮像時の撮像装置の姿勢変化のそれぞれに重み付けを行ない、それらの値を統合して、左右配置を判定してもよい。
【００４４】
なお、この図２では、基準画像として遠距離にあるサーカスの舞台を撮像し、さらに追加画像として近距離の子どもの顔を大きく撮像しているが、本願発明はこれに限定されるものではなく、撮像の順序は逆でもよい。その場合、基準画像と追加画像の関係が逆になる。つまり、基準画像のフレーミング条件、つまり基準画像中の顔の向きなどに応じて、基準画像のサイズ、位置および順序を変更してもよい。直前に撮像された画像を基準画像とし、スルー画として撮像している画像を追加画像とする方法について説明するが本発明はこれに限定されるものではなく、スルー画として撮像した画像を基準画像としてもよい。
【００４５】
（撮像画像）
図３は、記録部１０６における撮像画像情報３００の構成を示す図である。記録部１０６では、撮像画像を識別する識別番号（図中、撮像画像ＩＤ）３０１および撮像画像を撮影した撮影日時３０２に紐付けて、各種のフレーミング条件３０３を記録する。各種のフレーミング条件としては、被写体までの距離、顔情報（顔の向きや大きさや位置など）、仰俯角、被写体の方角等々を記録する。これらの撮像画像情報は、撮像装置１００のレリーズスイッチを切った場合のみならず、スルー画（through-the-lens image）表示モードでも随時記録する。例えば、レリーズスイッチを半押ししてフォーカシングしたタイミングで、撮像画像情報を更新する。
【００４６】
（配置決定基準テーブル）
図４〜図６は、画像配置決定部１３６が用いる画像配置基準テーブル４００〜６００の構成を示す図である。
【００４７】
≪左右配置決定方法≫
図４は、顔の向きおよび撮像姿勢の変化に応じて左右配置を決定するための基準テーブル４００を示している。顔の向き４０１については、例えば図２に示したように、被写体の顔が画像２２０、２５０の左側（画像の枠の左側の辺）に向いている場合、左側にその被写体の視線の先にある被写体の画像２３２、２６２を配置し、顔の画像２３１、２６１を、組写真画像の右側に配置すると決定する。逆に、被写体の顔が画面の右側を向いている場合には、組写真画像の左側に配置する。これにより、組写真中に含まれる一方の画像内の顔が、他方の画像内の対象物を見て表情を変えているかのようになり、組写真全体にストーリー性を持たせることができる。なお、近距離で撮像した画像のフレーミング条件を判断して、組写真の配置を決定してもよい。具体的には近距離で撮像した画像中の被写体の顔の向きを、遠距離で撮像した画像中の被写体の顔の向きより重視してもよい。
【００４８】
顔の向きが、正面向きの場合には、撮像姿勢変化４０２に基づいて左右配置を決定する。具体的には、ジャイロセンサや、デジタルコンパスの出力あるいは撮像結果の変化を用いて、基準画像の撮影時の撮像装置の向きに対して追加画像の撮影時の撮像装置の向きが時計回りに変化したと判断すると、追加画像を基準画像の右側に配置する。逆に、ジャイロセンサや、デジタルコンパスの出力を用いて、基準画像の撮影時の撮像装置の向きに対して追加画像の撮影時の撮像装置の向きが上から反時計回りに変化したと判断すると、追加画像を基準画像の左側に配置する。つまり、撮影者の視線が左から右に移動したと判断し、その視線移動を組写真に表現する。
【００４９】
≪上下配置決定方法≫
図５は、撮像時に仰俯角判定部１３３が判定した仰俯角の変化に応じて上下配置を決定するための基準テーブル５００を示している。仰俯角の変化５０１については、基準画像の仰俯角が追加画像の仰俯角よりも所定値以上大きければ、追加画像を基準画像の下側に配置する。一方、基準画像の仰俯角が追加画像の仰俯角よりも所定値以上大きければ、追加画像を基準画像の上側に配置する。つまり、撮影者の視線が下から上に移動したと判断し、その視線移動を組写真に表現する。図２の上の例では、空中ブランコは、子どもよりも上方で行なわれているため、撮像画像２１０の仰俯角が撮像画像２２０の仰俯角よりも大きい。そこで、画像２３１を画像２３２よりも下側に配置した組写真２３０を生成する。一方、図２の下の例では、象の曲芸は、子どもよりも下方で行なわれているため、撮像画像２４０の仰俯角が撮像画像２５０の仰俯角よりも小さい。そこで、画像２６１を画像２６２よりも上側に配置した組写真２６０を生成する。
【００５０】
基準画像の仰俯角と追加画像の仰俯角との間に所定値以上の違いが無ければ、顔判定部１３２が追加画像中の顔の向きまたは視線方向を判定する。追加画像中の被写体の顔が上向きであれば、追加画像を基準画像の下側に配置する。一方、追加画像中の被写体の顔が下向きであれば、追加画像を基準画像の上側に配置する。これにより、組写真中に含まれる一方の画像内の顔が、他方の画像内の対象物を見て表情を変えているかのようになり、組写真全体にストーリー性を持たせることができる。
【００５１】
基準画像の仰俯角と追加画像の仰俯角との間に所定値以上の違いがなく、かつ、追加画像中に被写体の顔が含まれていない場合、または、被写体の顔が正面向きの場合には、追加画像と基準画像とを水平に並べて配置する。
【００５２】
≪順序決定方法≫
基準画像と追加画像を配置するに当たり、互いに重ねずに、それぞれ分けて配置してもよいが、重ねて配置することにより、複数の画像に含まれる被写体間の距離感などを表現することができる。また、単純に余白を減らせるという効果もある。そこで、フレーミング条件に応じて、画像の順序を決定し、決定した順序で複数の画像を重ねて配置する。
【００５３】
例えば、図２に示したように、画像に含まれる被写体までの距離を検知し、遠距離で撮像された画像２１０、２４０を背景側に大きく配置し、近距離で撮像された画像２２０、２５０を手前側に小さく配置することが考えられる。あるいは、時間の経過を順序で表現してもよい。例えば、先に撮影した画像を背景側に、後に撮影した画像を手前側に配置してもよい。またあるいは、撮影時の焦点距離が所定値より小さい画像を背景側に、焦点距離が所定値より大きい画像を手前側に配置してもよい。さらには、画像中に含まれる顔の割合が所定値より大きい場合には、前面側に配置し、顔の割合が小さい場合には、背景側に配置してもよい。これらの様々なパラメータにそれぞれスコアを定義し、そのスコアの合計値で、背景側か前面側かを決定してもよい。基準画像のスコアの総計と追加画像のスコアの総計を比較し、スコアの総計が小さい画像を背景側に配置してもよい。さらに、顔の数や表情によって、スコアに重み付けをしてもよい。
【００５４】
≪サイズ決定方法≫
広角で撮っている画像を望遠で撮っている画像よりも背景側かつ大きく表示してもよい。あるいは、背景のものがよく見えるように、近距離の画像を縮小してもよい。また、画像中に含まれる顔の割合が所定値より大きい場合には、小さく配置し、顔の割合が小さい場合には、大きく配置してもよい。例えば、顔の数が多ければ、顔画像を大きめにしてもよい。また、よい表情（笑顔判定などによって判断できる）なら大きめの画像で表示してもよい。これらの様々なパラメータにそれぞれスコアを定義し、そのスコアの合計値を比較し、組写真画像中の基準画像と追加画像とのサイズ比を、スコアの総計同士の比に応じたサイズ比としてもよい。さらに、顔の数や表情によって、スコアに重み付けをしてもよい。
【００５５】
（組写真画像データ）
図６は、記録部１０６に記録される組写真画像データ６００の内容を示す図である。組写真画像識別子６０１に紐付けられて、複数の撮像画像の識別子（画像ファイル名）６０２、６０６と、それぞれの画像サイズ６０３、６０７と、画像位置６０４、６０８と、表示順序（前面、背面）６０５、６０９とを示す情報が記録されている。このように組写真画像データ６００を構成することにより、原画像のデータを維持しつつ、組写真画像を生成することができる。また、このように組写真画像データ６００を構成することにより、画像の配置方法（サイズ、位置、順序）を変えずに撮像画像を変更することができる。
【００５６】
《画像処理装置の処理手順》
図７は、撮像装置１００の処理手順を示すフローチャートである。まずは、ステップＳ７０１、ステップＳ７０２において、撮影モードか、あるいは再生モードかを判定する。これらのモード変更は、撮像装置１００の操作部１０５に対する操作によって行なわれる。撮影モードでも再生モードでもない場合には、ステップＳ７０３に進み、その他の処理（無線通信や設定変更などの処理）が行なわれる。なお、以下の処理では、連続して撮影する場合に、前の画像と組み合わせて組写真を撮影した方がよい状況で、メッセージ表示をする場合について説明をしているが、比較対象は前の画像に限る必要はない。
【００５７】
撮影モードの場合には、ステップＳ７０４に進み、スルー画用の撮像が行なわれ、さらに、ステップＳ７０６に進み、組写真生成指示を過去に受け付けて組写真フラグがオンになっているか否か判定する。つまり、組写真生成モードか否かを不図示のフラグで確認し、組写真生成モードであれば、ステップＳ７０７に進む。組写真生成モードでなければ、ステップＳ７０８に進み、通常スルー画表示（ライブビュー表示）を行なう。つまり、レンズを透過した画像に基づいたスルー画を、全画面表示する。この時点で、ステップＳ７１０においてスルー画のフレーミング条件を判定する。ステップＳ７１２では各種フレーミング条件から判断して、表示されているスルー画が、直前に撮像された撮像画像と組み合わせて組写真とするにふさわしいか否か判定する。具体的には、直前に撮像された画像との撮像時間差、距離差などを判定し、例えばそれらが所定時間以内および所定距離以内であれば、ステップＳ７１４に進み、組写真を行なうか否かの問合せメッセージを表示する。もちろんそれ以外の条件であってもよい。ここで、「組写真にするにふさわしいか」否かの判定は、フレーミングや撮影条件に限らず、画像に基づいて行ってもよい。
【００５８】
図２で説明したように、カメラ目線でない被写体がいて、それが何を見ているか気になるシーンや、余白があって、画面が単調な場合や、背景が暗くて、状況説明がしにくいシーンなどを判定して、「組写真にふさわしいシーン」としてもよい。
【００５９】
また、フレーミングでも、図２のような状況であるかを判定可能である。つまり、「組写真にふさわしいシーン」は、撮影者が、隣に座っている子供を撮影したり、その子が見ている方向にカメラを向けたりする時の方位や方向の変化や、近距離の子供に対し、遠距離の光景を対応させるなど、距離の変化や顔の大きさの変化によって判定を行ってもよい。
【００６０】
つまり、被写体の見ている方向の判定を、カメラを向けている向きから判定するような工夫をしてもよい。例えば、南側に向けてカメラを構え、子供を写すと子供が右を向いていたら、子供は西を向いていることが分かる。つまり、カメラを西に向けた場合は、子供が見ていたものを写すことが可能となり、これらはワンセットで物語性を持ち、組写真にふさわしい。
【００６１】
もちろん、これはコンパスでなくてもよく、絶対的な方位でなく、相対的な方向に置き換えてもよい。つまり、複数の画像撮影時の方向（方位）の差異や、被写体の目や顔など見ている向きなどで、組写真にふさわしいかが分かる。
【００６２】
もちろん、これに限定されるものではなく、また、時間差や余白などを参考にしてもよい。
【００６３】
組写真とするにはふさわしくない場合および組写真画像の生成指示がない場合には、そのままステップＳ７２０に進み、一定時間、レリーズスイッチが操作されたか判定する。レリーズスイッチが操作された場合には、ステップＳ７２２に進み、撮影および画像記録が行なわれる。
【００６４】
なお、ステップＳ７１２の判定処理を行なわずに、組写真画像を生成するか否かを、ユーザの指示のみに依存して決定してもよい。それにより、より自由度の高い組写真画像を生成することが可能となる。この場合は、組写真用スイッチなどを設けてもよい。
【００６５】
ステップＳ７１６において、ユーザから組写真画像の生成指示があった場合には、ステップＳ７１８で組写真フラグをオンとしさらにステップＳ７３８に進む。
【００６６】
ステップＳ７３８では、画像配置決定部１３６が、フレーミング条件に応じて、基準画像および追加画像の配置方法（サイズ、位置、および順序）を決定し、ステップＳ７４０に進む。
【００６７】
ステップＳ７４０では、決定した配置方法で基準画像および追加画像が配置された組写真画像を生成して表示する。この状態で、タッチパネルに対し、タッチ、ドラッグ、ピンチイン、ピンチアウト、ローテイト等の操作を行なうことにより、組写真画像のレイアウトをマニュアル調整してもよい。この場合、画像生成部１３７は、操作部１０５から入力した操作に応じて、組写真画像に含まれる複数の撮像画像の位置、大きさ、順序、向きなどを変更すればよい。
【００６８】
次に、ステップＳ７４２では、一定時間、レリーズスイッチが操作されたか判定する。レリーズスイッチが操作された場合には、ステップＳ７４４に進み、撮影処理、組写真画像生成処理および組写真画像記録処理が行なわれる。このとき、組写真に含まれる追加画像の原画像データについても、別途、記録部１０６に記録する。これにより、組写真に含まれる追加画像を別途組写真から抜き出して使用することが可能となる。画像の記録が終了すると、ステップＳ７４６に進み、組写真フラグをオフにする。
【００６９】
次に、再生モードから選んだ画像を利用して更なる撮影を行ない、撮影済み画像をリッチ化する（組写真画像生成を行なう）場合の処理の流れについて説明する。ステップＳ７０２で操作部１０５の操作に応じて撮像装置１００が再生モードであると判断した場合、ステップＳ７２４に進み、記録部１０６に記録された画像のサムネイル一覧表示を行なう。次にＳ７２６で一つのサムネイル画像の選択が行なわれると、ステップＳ７２８に進み、選択画像を拡大表示した上で、ステップＳ７３０に進み、組写真ガイドを表示する。ここで、組写真ガイドとは、表示された記録画像に対して新たな画像を合成して組写真画像を生成する指示をユーザから受け付けるための表示であり、例えば、「組写真を生成しますか」といったメッセージでもよいし、組写真を示すアイコンでもよい。
【００７０】
組写真ガイドを表示する前に、組写真にふさわしい画像か否かの判断を行なってもよい。その場合、拡大画像の構図や余白、明るさ分布、コントラスト変化など、写っている被写体（判定された「子供」、「ポートレート」、「遠距離」などテーマなど）だけで判定してもよい。図２で説明したように、カメラ目線でない被写体がいて、それが何を見ているか気になるシーン、余白があって、画面が単調な場合や、背景が暗くて、状況説明がしにくいシーンなどを判定して、「組写真にふさわしいシーン」としてもよい。写真鑑賞時のカメラの向きの変化を検出して、判定を行ってもよい。つまり、撮影者が、隣に座っている子供や、その子が見ている方向にカメラを向けたりする時の方位や方向の変化や、近距離の子供に対し、遠距離の光景を対応させるなど、距離の変化や顔の大きさの変化によって判定を行ってもよい。
【００７１】
つまり、被写体の見ている方向の判定を、カメラを向けている向きから判定するような工夫をしてもよい。例えば、南側に向けてカメラを構え、子供を写すと子供が右を向いていたら、子供は西を向いていることが分かる。つまり、カメラを西に向けた場合は、子供が見ていたものを写すことが可能となり、これらはワンセットで物語性を持ち、組写真にふさわしい。
【００７２】
もちろん、これはコンパスでなくてもよく、絶対的な方位でなく、相対的な方向に置き換えてもよい。つまり、複数の画像撮影時の方向（方位）の差異や、被写体の目や顔など見ている向きなどで、組写真にふさわしいかが分かる。もちろん、これに限定されるものではなく、また、時間差や余白などを参考にしてもよい。
【００７３】
その状態で組写真アイコンをタッチするなどの組写真生成指示があると、ステップＳ７３２からステップＳ７３４に進んで、表示中の記録画像と組み合わせる画像を撮像するため撮影モードに移行しスルー画用撮像を開始する。その後、ステップＳ７３６において組写真フラグをオンにしてステップＳ７３８に進み、上述の処理を行なう。組写真生成指示がない場合には、ステップＳ７３３に進んで組写真解除指示があるか判定し、組写真を解除する指示があった場合には、ステップＳ７４６に進んで組写真フラグをオフにした後、ステップＳ７０１に戻る。
【００７４】
図８は、図７のＳ７３８における組写真レイアウト決定処理の詳細を示すフローチャートである。
【００７５】
まず、このフローではステップＳ８０１において、組写真を構成する撮像画像のうち、被写体距離が近い画像Ｎについて、顔画像を残してトリミングする（被写体距離が遠い画像Ｆについてはトリミングしない）。トリミングを行なうことにより組写真における被写体の存在感を際立たせることができる。特に背景が黒かったり、暗かったり、単調であったりする場合には、その部分を表示しないようにトリミングすることが有効である。
【００７６】
次にステップＳ８０３では、画像Ｆの大きさが組写真画像の所定割合（例えば２／３）を占めるように、画像Ｆのサイズを変更する。同様にステップＳ８０５では、画像Ｎの大きさが組写真画像の所定割合（例えば１／６）となるように、画像Ｆのサイズを変更する。
【００７７】
次に、ステップＳ８０７では、画像Ｎ中の人物の顔の向きや、画像Ｎを撮る際の撮像装置の姿勢変化から画像Ｎの画像Ｆに対する左右方向の配置を決定する。
【００７８】
同様に、ステップＳ８０９では、画像Ｎ中の人物の顔の向きや、画像Ｎを撮る際の撮像装置の姿勢変化から画像Ｎの画像Ｆに対する上下方向の配置を決定する。
【００７９】
さらに、ステップＳ８１１では、画像Ｎが画像Ｆよりも前面側に表示されるように、前面背面の順序配置を決定する。
【００８０】
以上のように構成することで、フレーミング条件に応じて複数の画像を自動的に配置して、組写真画像を生成するので、簡易により自然な組写真画像を得ることが可能となる。
【００８１】
なお、上述では追加画像中の顔の向きに応じて追加画像の配置を決定したが、本願発明はこれに限定されるものではない。例えば、基準画像に含まれる顔画像の向きに応じて追加画像の配置を決定してもよい。さらには、基準画像に含まれる顔画像の向きと、追加画像に含まれる顔画像の向きとの比較によって、それらの画像の配置を決定してもよい。このように合成した画像は、新しい画像ファイルとして記録してもよいし、合成の仕方を個々の画像ファイルに書き込むようにしてもよい。ここでは主に２つの画像で説明したが３つ４つの画像でも同様の考え方が適用できる。
【００８２】
第１実施形態に記載した撮像装置１００は、デジタルカメラとしてのみならず、デジタル顕微鏡やデジタル内視鏡として実現することも可能であり、これらは全て本発明の範疇に含まれる。例えば、デジタル顕微鏡であれば、拡大前の画像と拡大後の画像とを組写真画像として配置してもよい。その場合、拡大後を前面かつ大きく表示するように配置を決定すればよい。試料を載せたステージの動かし方を検出すれば、ふさわしい合成位置が決まる。ステージで右に動かせば試料の左が見えるので、左側に配置合成するなどである。また、例えばデジタル内視鏡の場合、患者顔画像や患部外観画像やＣＴスキャン画像やＭＲＩ画像や超音波画像などと、内視鏡の画像とから組写真画像を生成してもよい。その場合、内視鏡の画像を前面かつ大きく表示するようには位置を決定してもよい。
【００８３】
もちろん、内視鏡画像同士を組み合わせて組写真画像としてもよい。このとき、内視鏡の挿入向きに応じて、内視鏡画像の位置を決定してもよい。例えば、臓器に対して、上向き挿入の場合には下側に配置し、下向き挿入の場合には上側に配置し、右向き挿入の場合には左側に、左向き挿入の場合には右側に配置すれば、より全体として自然な組写真となる。さらに、挿入方向に応じて内視鏡画像を回転させてもよい。内臓は動くので、特定の部位を基準にした相対的な観察位置変化の検出によってレイアウトを変更してもよい。
【００８４】
［第２実施形態］
次に、本発明の第２実施形態に係る撮像装置９００について説明する。図９に示すように撮像装置９００は、上記第１実施形態と比べると、複数の撮像部９０１、９０３と、それらの撮像部９０１、９０３の撮像時の姿勢等を判定するための各種センサ９０２、９０４とを備えている点で異なる。複数の撮像部９０１、９０３で同時に撮像した撮像画像から組写真画像を生成する。その他の構成および動作は、第１実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。例えば、各種センサ９０２、９０４は、撮像部９０１、９０３それぞれの撮像で得た被写体距離等を取得する。そして、画像生成部は、各撮像画像のフレーミング条件に合わせて組写真画像を生成する。
【００８５】
本実施形態によれば、一度に複数の画像を撮像して、組写真画像を一気に生成することができる。
【００８６】
［第３実施形態］
第１実施形態においては、撮像部１０１を含む撮像装置１００について説明したが、本発明はこれに限定されるものではなく、撮像部を含まない画像処理装置にも適用可能である。つまり、フレーミング条件判定部１３０、画像配置決定部１３６および画像生成部１３７のみを構成として含むパーソナルコンピュータやスマートフォンも本発明の範疇に含まれる。この場合、ＳＮＳ（Social Networking Service）などでウェブサイトにアップロードされた複数の画像から組写真画像を生成するアプリケーションも本発明の範疇に含まれる。
【００８７】
次に、本発明の第３実施形態としての画像処理装置について図１０を用いて説明する。図１０は、本実施形態に係る画像処理装置１０００の機能構成を示すブロック図である。本実施形態に係る画像処理装置１０００は、上記第１実施形態、第２実施形態と比べると、撮像部１０１や各種センサ１０２を有さず、記録部１０４０に記憶されたフレーミング条件データ付きの撮像画像データから組写真画像を生成する点で異なる。なお、その他の構成および動作は、第１実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００８８】
本実施形態によれば、パーソナルコンピュータなどの画像処理装置１０００において、マウスやキーボードやタッチパネルなどの操作部１０３０を操作してハードディスクなどの記録部１０４０から読出した撮像画像から組写真画像を生成できる。そして生成した組写真画像を表示部１０２０に表示することができる。これを利用して再生モード時に、必要に応じて組写真をレイアウトして合成表示することもできる。つまりサムネイルで選んだ２つ以上の画像を組写真表示する時に利用できる。撮影後に色々と楽しむことができる。
【００８９】
［他の実施形態］
また、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範疇で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００９０】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【図１】
2016116131.tif 000003
【図２】
2016116131.tif 000004
【図３】
2016116131.tif 000005
【図４】
2016116131.tif 000006
【図５】
2016116131.tif 000007
【図６】
2016116131.tif 000008
【図７】
2016116131.tif 000009
【図８】
2016116131.tif 000010
【図９】
2016116131.tif 000011
【図１０】
2016116131.tif 000012