(57)【要約】【課題】複数画像をレイアウトする際に、単調なレイアウトを回避することが可能な画像編集方法を提供する。【解決手段】第１の静止画像、及び第１の静止画像を撮像する前または後に撮像された動画像を選択する選択手段と、第１の静止画像の情報、及び動画像から抽出した複数の第２の静止画像の情報に基づいて、第１の静止画像と複数の第２の静止画像とのレイアウトを決定する決定手段と、を備える。【選択図】図１
2017011481.tif 000002
【特許請求の範囲】
【請求項１】
第１の静止画像、及び前記第１の静止画像を撮像する前または後に撮像された動画像を選択する選択手段と、
前記第１の静止画像の情報、及び前記動画像から抽出した複数の第２の静止画像の情報に基づいて、前記第１の静止画像と前記複数の第２の静止画像とのレイアウトを決定する決定手段と、
を備えることを特徴とする画像編集装置。
【請求項２】
前記情報は、前記第１の静止画像と前記複数の第２の静止画像のそれぞれとの相違量と、前記第１の静止画像及び前記複数の第２の静止画像から識別されるオブジェクトとを含み、
前記決定手段は、前記相違量または前記オブジェクトに基づいて前記レイアウトを決定することを特徴とする請求項１に記載の画像編集装置。
【請求項３】
前記オブジェクトは、人物または特定の物体であることを特徴とする請求項２に記載の画像編集装置。
【請求項４】
前記相違量が閾値以上であり、特定のオブジェクトが識別された場合、前記決定手段は、前記第１の静止画像及び前記複数の第２の静止画像を配置するレイアウトを決定することを特徴とする請求項２または３に記載の画像編集装置。
【請求項５】
前記相違量が閾値未満であり、または特定のオブジェクトが識別されない場合、前記決定手段は、前記複数の第２の静止画像を前記第１の静止画像よりも小さなサイズで配置するレイアウト、または前記複数の第２の静止画像の少なくとも１つを配置しないレイアウトを決定することを特徴とする請求項２または３に記載の画像編集装置。
【請求項６】
前記決定手段は、配置する前記第２の静止画像の数に基づいて前記レイアウトを決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像編集装置。
【請求項７】
第１の静止画像と、前記第１の静止画像を撮像する前または後に撮像された動画像を選択するステップと、
前記第１の静止画像と、前記動画像から抽出した複数の第２の静止画像とが有する情報に基づいて、前記第１の静止画像と前記複数の第２の静止画像とのレイアウトを決定するステップと、
を有することを特徴とする画像編集方法。
【請求項８】
コンピュータに、
第１の静止画像と、前記第１の静止画像を撮像する前または後に撮像された動画像を選択するステップ、
前記第１の静止画像と、前記動画像から抽出した複数の第２の静止画像とが有する情報に基づいて、前記第１の静止画像と前記複数の第２の静止画像とのレイアウトを決定するステップ、
を実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムをコンピュータが読み出し可能に記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォトブックなどで画像のレイアウトを行う画像編集装置、画像編集方法及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の画像について、画像の特性や画像情報を利用してフォトブックなどのアルバムに自動的に複数の画像のレイアウト方法を決定するアルバム作成方法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６-２６１８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、静止画像を撮像して記録するだけでなく、静止画像の記録前後に撮像された動画像も自動で記録する撮像装置が知られている。このような動画像から切り出される静止画像を、撮像した静止画像と同様にアルバムのページにレイアウトし、このアルバムを印刷したり、大画面ディスプレイに表示したいという要望がある。ところで、このような動画像から切り出した複数の静止画は撮影時間や撮影場所が近いために同じような被写体や構図であることが多い。よって、これらの動画像から切り出された複数の静止画像をアルバムのページにレイアウトする際には、ページに配置された画像が単調になってしまう。
【０００５】
本発明は、複数画像をレイアウトする際に、配置される複数の画像が単調になることを回避することを目的とする。 
【課題を解決するための手段】
【０００６】
本発明に係る画像編集装置では、第１の静止画像、及び前記第１の静止画像を撮像する前または後に撮像された動画像を選択する選択手段と、前記第１の静止画像の情報、及び前記動画像から抽出した複数の第２の静止画像の情報に基づいて、前記第１の静止画像と前記複数の第２の静止画像とのレイアウトを決定する決定手段と、を備える。
【発明の効果】
【０００７】
静止画像およびその前後に記録された動画像から切り出された複数の静止画像を自動的にレイアウトする際に、配置される画像が単調になるのを回避することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係る画像編集装置を含むブロック図である。
【図２】本発明の第１実施形態に係る画像配置処理を示すフローチャートである。
【図３】本発明の第１実施形態に係るレイアウト決定処理を示すフローチャートである。
【図４】本発明の第１実施形態に係る画像データの分布を説明する図である。
【図５】本発明の第１実施形態に係る画像編集装置のレイアウトの種類の例を説明する図である。
【図６】本発明の第１実施形態に係るレイアウト決定処理を説明する図である。
【図７】本発明の第２実施形態に係る画像配置処理を示すフローチャートである。
【図８】本発明の第２実施形態に係るレイアウト決定処理を示すフローチャートである。
【図９】本発明の第２実施形態に係る画像編集装置のレイアウトの種類の例を説明する図である。
【図１０】本発明の第２実施形態に係るレイアウト決定処理を説明する図である。
【図１１】本発明の第３実施形態に係る画像配置処理を示すフローチャートである。
【図１２】本発明の第３実施形態に係るレイアウト決定処理を示すフローチャートである。
【図１３】本発明の第３実施形態に係るレイアウト決定処理を説明する図である。
【発明を実施するための形態】
【０００９】
［第１実施形態］
図１は、本発明の一実施形態に係る画像編集装置１００を含むブロック図である。画像編集装置１００は、一般的なＰＣ（Personal Computer）、撮像装置、携帯端末等であり、画像を含むアルバムのページを編集することが可能な装置を含むものとする。画像編集装置１００は、表示部１０１、入力部１０２、ハードディスクドライブ（以下、ＨＤＤという）１０３、通信部１０４、ＣＰＵ１０５、電源スイッチ１０６、ＤＲＡＭ１０７、及び内部バス１０８を備えている。表示部１０１、入力部１０２、ＨＤＤ１０３、通信部１０４、ＣＰＵ１０５、電源スイッチ１０６、及びＤＲＡＭ１０７は、内部バス１０８に電気的に接続されている。
【００１０】
表示部１０１は、一般的な液晶ディスプレイなどから構成される。表示部１０１は、電子ビューファインダーとしても機能し、ライブビュー表示を行うことができる。また表示部１０１は、撮像された静止画像および動画像を表示し、作成されたアルバムを表示する。入力部１０２は、一般的なキーボードおよびマウスから構成される。
【００１１】
ＨＤＤ１０３は、不揮発性メモリとして機能し、電気的に記録及び消去可能なメモリであり、ＣＰＵ１０５で実行されるプログラム及びオペレーティングシステムプログラム等を格納する。ＨＤＤ１０３は、撮像された静止画像及び動画像、並びに動画像から抽出した静止画像等を格納する。静止画像及び動画像は、通信部１０４を介して図示しない外部機器から受信してＨＤＤ１０３に格納するようにしてもよいし、図示しない記録媒体から取得した画像データをＨＤＤ１０３に格納するようにしてもよい。
【００１２】
通信部１０４は、通信可能な外部機器との通信を行うためのインターフェースである。通信部１０４は、ＣＰＵ１０５の制御に基づき、ＬＡＮやインターネット等のネットワーク通信を行い、例えばＷｉ−Ｆｉ等の無線通信などを実行する。ＣＰＵ（Central Processing Unit）１０５は、入力部１０２から入力された信号を処理し、ＨＤＤ１０３に格納されたプログラムを実行することによってアルバムの作成を行う。ＣＰＵ１０５は、表示部１０１及びＤＲＡＭ１０７を制御して表示制御を行い、作成したアルバムを表示部１０１に出力する。ＣＰＵ１０５は、通信部１０４を制御して通信制御を行う。電源スイッチ１０６は、画像編集装置１００の起動及びシャットダウンを行う。
【００１３】
ＤＲＡＭ（Dynamic Random Access Memory）１０７は、ＣＰＵ１０５の動作用の定数、変数、ＨＤＤ１０３から読み出したプログラム等を展開する。ＤＲＡＭ１０７は、展開されたプログラムを実行する際のワーキングメモリとしても用いられる。
内部バス１０８は、画像編集装置１００を構成する各部間でデータおよび指令信号の送受信を行う。内部バス１０８に接続される各部は、内部バス１０８を介して互いにデータの書き込みや読み込みを行うことができるように構成されている。なお、画像編集装置１００は、他の機能も備えているものとするが、本実施形態では説明を省略する。
【００１４】
上記のように構成した画像編集装置１００によって、複数の画像を組み合わせて画像をレイアウトしてアルバムのページを作成する場合について図２〜図６に基づき説明する。図２は画像配置処理を示すフローチャート、図３はレイアウト決定処理を示すフローチャートである。図４は画像データの分布を説明する図、図５は画像編集装置のレイアウトの種類を説明する図、図６はレイアウト決定処理を示す図である。図２、図３に示すフローチャートは、ＣＰＵ１０５によってＨＤＤ１０３に格納されているプログラムを実行することによって行われる。以下、図２〜図６に基づいて説明する。
【００１５】
ステップＳ２０１では、ＣＰＵ１０５は、ＨＤＤ１０３に格納されている動画像及び静止画像に基づいて、アルバムのページにレイアウトする画像の組み合わせを取得する。詳しくは、図４に基づいて説明する。図４は、ページを作成する画像の組み合わせの一例であり、撮像された静止画像と、その静止画像を撮像する前に自動で撮像された動画像から抽出される静止画像を示している。静止画像４０３が撮像される前に自動的に動画像４０１が所定時間、例えば４秒間撮像される。ＣＰＵ１０５は、動画像４０１から、例えば均等な時間間隔で静止画像４０２ａ〜４０２ｃを抽出する。ＣＰＵ１０５は、抽出した静止画像４０２ａ〜４０２ｃ及び撮像した静止画像４０３を組み合わせたグループ４０４をＨＤＤ１０３に格納する。なお、グループ４０４の画像の組み合わせはこれ以外でもよい。例えば連写で撮像された静止画像から選択した静止画像の組み合わせや、画像情報から所定の条件で選択または抽出された静止画像の組み合わせとすることも可能である。また、以下に説明する静止画像４０２とは、動画像４０１から抽出した静止画像４０２ａ〜４０２ｃのいずれか１つまたは複数を示している。
【００１６】
ステップＳ２０２では、ＣＰＵ１０５は、グループ４０４における画像の相違量を取得する。詳しくは、ＣＰＵ１０５は、動画像４０１から抽出された各静止画像４０２ａ〜４０２ｃと、撮像された静止画像４０３との相違量をそれぞれ算出し、その平均値をグループ４０４の相違量とする。ＣＰＵ１０５は、例えば、静止画像４０２ａ〜４０２ｃ、４０３についてそれぞれ同じ大きさのサムネイル画像を作成し、サムネイル画像の相違量を算出する。相違量としては、例えば各サムネイルの画像データの変化量、各サムネイルの所定の領域における画像データの変化量、各サムネイルの画像データのサイズ、サムネイル画像の特徴量の差分、サムネイル画像の色調（色温度、色合い、彩度）の差分等が挙げられる。
【００１７】
ステップＳ２０３では、ＣＰＵ１０５は、静止画像４０２ａ〜４０２ｃ、４０３のオブジェクト内容を取得する。詳しくは、ＣＰＵ１０５は、静止画像４０２ａ〜４０２ｃ、４０３の画像データに対してオブジェクト認識処理を実行し、オブジェクトの内容、つまり被写体の種類を取得する。ＣＰＵ１０５は、被写体の種類として、一般的に知られている画像処理の人物検出技術を用いて静止画像４０２ａ〜４０２ｃ、４０３の画像データに含まれているオブジェクトに人物が含まれているか否かを識別する。人物検出技術として、例えば、静止画像４０２ａ〜４０２ｃ、４０３の画像データに含まれる各オブジェクトの各領域での輝度勾配方向をヒストグラム化した輝度勾配方向ヒストグラム特徴量を用いる方法が挙げられる。ステップＳ２０４では、ＣＰＵ１０５は、グループ４０４のレイアウトを決定する。ステップＳ２０５では、ＣＰＵ１０５は、ステップＳ２０４で決定したレイアウトに従って静止画像４０２ａ〜４０２ｃ、４０３をレイアウトしてページを作成し、本フローチャートを終了する。
【００１８】
次に、ステップＳ２０４で行われるレイアウト決定処理について図３に基づき説明する。
【００１９】
ステップＳ３０１では、ＣＰＵ１０５は、ステップＳ２０２で取得したグループ４０４の相違量が閾値以上か否かを判定する。閾値として、例えば静止画像４０２ａ〜４０２ｃ、４０３が同じような画像にならない相違量を設定してもよい。相違量が閾値以上の場合（ステップＳ３０１：Ｙｅｓ）、ＣＰＵ１０５は、動画像４０１から抽出した静止画像４０２ａ〜４０２ｃと、撮像された静止画像４０３とは同じような画像ではないと判定してステップＳ３０２へ進む。相違量が閾値未満の場合（ステップＳ３０１：Ｎｏ）、ＣＰＵ１０５は、動画像４０１から抽出した静止画像４０２ａ〜４０２ｃと、撮像された静止画像４０３とは同じような画像であると判定してステップＳ３０５へ進む。
【００２０】
ステップＳ３０２では、ＣＰＵ１０５は、ステップＳ２０３で取得したオブジェクト内容が条件を満たすか否かを判定する。本実施形態では、ＣＰＵ１０５は、オブジェクト内容の判定条件としてグループ４０４の画像に人物が存在するか否かを判定する。オブジェクト内容の判定条件を満たす場合（ステップＳ３０２：Ｙｅｓ）、ＣＰＵ１０５は、グループ４０４の画像に人物が存在すると判定してステップＳ３０３へ進む。オブジェクト内容の判定条件を満たさない場合（ステップＳ３０２：Ｎｏ）、ＣＰＵ１０５は、グループ４０４の画像に人物が存在しないと判定してステップＳ３０４へ進む。ＣＰＵ１０５が選択するレイアウトの種類を表１に示す。
【００２１】
【表１】
2017011481.tif 000003
【００２２】
グループ４０４における相違量が閾値以上であり、静止画像４０２ａ〜４０２ｃ、４０３に人物が存在する場合、例えば図５（ａ）に示すレイアウトＡのように、ＣＰＵ１０５は動画像４０１から抽出した静止画像４０２ａ〜４０２ｃを縦に並べてレイアウトする。そしてＣＰＵ１０５は、静止画像４０２ａ〜４０２ｃよりも大きく静止画像４０３をレイアウトする。グループ４０４の相違量が閾値以上であり、静止画像４０２ａ〜４０２ｃ、４０３に人物が存在しない場合、例えば図５（ｂ）に示すレイアウトＢのように、ＣＰＵ１０５は動画像４０１から抽出した静止画像４０２ａ〜４０２ｃを縦に並べてレイアウトする。ＣＰＵ１０５は、人物が存在しない静止画像４０３をレイアウトＢにレイアウトしない。
【００２３】
グループ４０４の相違量が閾値未満であり、静止画像４０２ａ〜４０２ｃ、４０３に人物が存在する場合、動画像４０１から抽出した静止画像４０２ａ〜４０２ｃは同じような画像になる。そこで、例えば図５（ｃ）に示すレイアウトＣのように、ＣＰＵ１０５は動画像４０１から抽出した静止画像４０２ａ〜４０２ｃをレイアウトＡ、Ｂに比べて小さくして時系列に横に並べてレイアウトし、静止画像４０３を大きくレイアウトする。グループ４０４の相違量が閾値未満であり、静止画像４０２ａ〜４０２ｃ、４０３に人物が存在しない場合、動画像４０１から抽出した静止画像４０２ａ〜４０２ｃ及び撮像した静止画像４０３は同じような画像になる。相違量の小さい静止画像４０２ａ〜４０２ｃ、４０３を並べても同じような画像のレイアウトになってしまうので、例えば図５（ｄ）に示すレイアウトＤのように、ＣＰＵ１０５は撮像した静止画像４０３のみをレイアウトする。
【００２４】
ステップＳ３０３では、ＣＰＵ１０５は、相違量が閾値以上であり人物が存在する条件に合うレイアウトとして図５（ａ）に示すレイアウトＡを選択し、静止画像４０２ａ〜４０２ｃ、４０３をレイアウトしたページを作成する。ステップＳ３０４では、ＣＰＵ１０５は、相違量が閾値以上であり人物が存在しない条件に合うレイアウトとして図５（ｂ）に示すレイアウトＢを選択し、静止画像４０２ａ〜４０２ｃをレイアウトしたページを作成する。
【００２５】
ステップＳ３０５では、ＣＰＵ１０５は、ステップＳ２０３で取得したオブジェクト内容の条件を満たすか否かを判定する。オブジェクト内容の判定条件を満たす場合（ステップＳ３０５：Ｙｅｓ）、ＣＰＵ１０５はグループ４０４の画像に人物が存在すると判定してステップＳ３０６に進む。オブジェクト内容の判定条件を満たさない場合（ステップＳ３０５：Ｎｏ）、ＣＰＵ１０５はグループ４０４の画像に人物が存在しないと判定してステップＳ３０７へ進む。
【００２６】
ステップＳ３０６では、ＣＰＵ１０５は、相違量が閾値未満であり人物が存在する条件に合うレイアウトとして図５（ｃ）に示すレイアウトＣを選択し、静止画像４０２ａ〜４０２ｃ、４０３をレイアウトしたページを作成する。ステップＳ３０７では、ＣＰＵ１０５は、相違量が閾値未満であり人物が存在しない条件に合うレイアウトとして図５（ｄ）に示すレイアウトＤを選択し、静止画像４０３をレイアウトしたページを作成する。
【００２７】
図６に示す各グループ６０１、６０３、６０５を用いて作成されるページのレイアウトの例について説明する。グループ６０１は、相違量が閾値以上であり、オブジェクト内容の判定条件である人物が存在する静止画像６０１ａ〜６０１ｄの組み合わせを示す。グループ６０１は相違量が閾値以上であり人物が存在するので、レイアウトＡを用いて動画像から抽出した静止画像６０１ａ〜６０１ｃと、撮像した静止画像６０１ｄとが大きくレイアウトされたページ６０２が作成される。なお、グループ６０１には全ての静止画像６０１ａ〜６０１ｄに人物が存在しているが、例えば静止画像６０１ａ〜６０１ｄのいずれかに人物が存在しない静止画像がある場合、人物が存在する静止画像をページ６０２の静止画像６０１ｄの位置にレイアウトしてもよい。そして、残りの静止画像を６０１ａ〜６０１ｃの位置にそれぞれレイアウトするようにしてもよい。
【００２８】
グループ６０３は、相違量が閾値以上であり、オブジェクト内容の判定条件である人物が存在する条件に合わない静止画像、つまり人物が存在しない静止画像６０３ａ〜６０３ｄの組み合わせを示す。グループ６０３は相違量が閾値以上であり人物が存在しないので、レイアウトＢを用いて動画像から抽出した静止画像６０３ａ〜６０３ｃのみが配置され、人物の存在しない静止画像６０３ｄが配置されないレイアウトでページ６０４が作成される。グループ６０５は、相違量が閾値よりも小さく、オブジェクト内容の判定条件である人物が存在する静止画像６０５ａ〜６０５ｄの組み合わせを示す。グループ６０５は相違量が閾値未満であり人物が存在するので、レイアウトＣを用いて動画像から抽出した静止画像６０５ａ〜６０５ｃが小さくレイアウトされて動画風の並びとなり、人物が存在するので静止画像６０５ｄが大きく配置されたレイアウトでページ６０６が作成される。
【００２９】
このように、本実施形態によれば、複数画像を組み合わせ、各画像の画像データが有する情報に基づきレイアウトを決定するので、静止画像の組み合わせに適したレイアウトにすることが可能となる。また、同じような静止画像の組み合わせにおいてはレイアウトから省くことで同じような画像が並ぶのを回避することが可能となる。
【００３０】
［第２実施形態］
本実施形態では、静止画像における相違量の判定のみでレイアウトを決定する。上記第１実施形態との共通箇所の説明は省略する。
【００３１】
図７は本実施形態に係る画像配置処理を示すフローチャート、図８は本実施形態に係るレイアウト選択処理を示すフローチャートである。図７、図８に示すフローチャートは、ＣＰＵ１０５がＨＤＤ１０３に格納されているプログラムを実行することによって行われる。まず、画像配置処理について図７に基づき説明する。ステップＳ７０１では、ＣＰＵ１０５は、取得した動画像４０１及び静止画像４０３に基づいて、アルバムのページにレイアウトする画像の組み合わせを取得する。本実施形態では、第１実施形態と同様に、ＣＰＵ１０５は、動画像４０１から抽出した静止画像４０２ａ〜４０２ｃ、及び撮像された静止画像４０３の組み合わせで構成されるグループ４０４を取得する。ステップＳ７０２では、ＣＰＵ１０５は、グループ４０４における画像の相違量を取得する。ステップＳ７０３では、ＣＰＵ１０５は、グループ４０４に含まれている静止画像のレイアウトを決定する。ステップＳ７０４では、ＣＰＵ１０５は、決定したレイアウトに従い静止画像４０２ａ〜４０２ｃ、４０３をレイアウトしてページを作成する。
【００３２】
次に、ステップＳ７０３で行われるレイアウト決定処理について図８に基づき説明する。ステップＳ８０１では、ＣＰＵ１０５は、ステップＳ７０２で取得した静止画像４０２ａ〜４０２ｃのうちの１つの相違量が閾値以上か否かを判定する。相違量が閾値以上である場合（ステップＳ８０１：Ｙｅｓ）、ＣＰＵ１０５は同じような画像ではないと判定してステップＳ８０２へ進む。相違量が閾値未満である場合（ステップＳ８０１：Ｎｏ）、ＣＰＵ１０５は同じような画像であると判定してステップＳ８０３へ進む。ステップＳ８０２では、ＣＰＵ１０５は、相違量が閾値以上の静止画像の数をカウントする。ステップＳ８０２において、カウントする画像数の初期値は０である。
【００３３】
ステップＳ８０３では、ＣＰＵ１０５は、ステップＳ７０１で動画像４０１から抽出した静止画像４０２ａ〜４０２ｃの全てについて閾値の比較を実施したか否かを判定する。抽出した静止画像４０２ａ〜４０２ｃの全てについて比較を実施した場合（ステップＳ８０３：Ｙｅｓ）、ＣＰＵ１０５は相違量が閾値以上となる静止画像の数を取得したと判定してステップＳ８０４へ進む。抽出した全ての静止画像４０２ａ〜４０２ｃの全てについて比較を実施していない場合（ステップＳ８０３：Ｎｏ）、ＣＰＵ１０５は、相違量が閾値以上となる静止画像の数を取得できていないと判定して、ステップＳ８０１へ戻る。
【００３４】
ステップＳ８０４では、ＣＰＵ１０５は、ステップＳ８０２でカウントした画像の数が２以上か否かを判定する。画像の数が２つ以上である場合（ステップＳ８０４：Ｙｅｓ）、ＣＰＵ１０５は閾値以上の静止画像における相違量を算出できると判定してステップＳ８０５へ進む。画像の数が２つ未満である場合（ステップＳ８０４：Ｎｏ）、ＣＰＵ１０５は閾値以上の静止画像における相違量の算出はできないと判定してステップＳ８０９へ進む。ステップＳ８０５では、ＣＰＵ１０５は、ステップＳ８０１で相違量が閾値以上と判定された静止画像について相違量を算出する。
【００３５】
ステップＳ８０６では、ＣＰＵ１０５は、ステップＳ８０５で算出した相違量は閾値以上か否かを判定する。相違量が閾値以上である場合（ステップＳ８０６：Ｙｅｓ）、ＣＰＵ１０５はステップＳ８０１で閾値以上と判定された静止画像は同じような画像ではないと判定してステップＳ８０７へ進む。相違量が閾値未満である場合（ステップＳ８０６：Ｎｏ）、ＣＰＵ１０５はステップＳ８０１で閾値以上と判定された静止画像は同じような画像であると判定してステップＳ８０８へ進む。ステップＳ８０７では、ＣＰＵ１０５は、相違量が閾値を超えた画像の数をカウントする。ステップＳ８０７において、カウントする画像数の初期値は１である。
【００３６】
ステップＳ８０８では、ＣＰＵ１０５は、ステップＳ８０１で閾値以上と判定された静止画像の全てに対して閾値の比較を行ったか否かを判定する。相違量が閾値以上の全ての静止画像について閾値の比較を実施した場合（ステップＳ８０８：Ｙｅｓ）、ＣＰＵ１０５は相違量が閾値以上の画像数のカウントは終了したと判定してステップＳ８０９へ進む。相違量が閾値以上の全ての静止画像について閾値の比較が実施されていない場合（ステップＳ８０８：Ｎｏ）、ＣＰＵ１０５は相違量が閾値以上となる静止画像の数を取得できていないと判定してステップＳ８０５へ戻る。ステップＳ８０９では、ステップＳ８０２、Ｓ８０７で取得した画像の数に適したレイアウトを選択する。ＣＰＵ１０５が選択するレイアウトを表２に示す。
【００３７】
【表２】
2017011481.tif 000004
【００３８】
図９は画像編集装置１００で選択されるレイアウトの種類の例を説明する図である。動画像４０１から抽出された３つの静止画像４０２ａ〜４０２ｃと、撮像された１つの静止画像４０３で構成されるグループ４０４の場合を例に説明する。動画像４０１から抽出された３つの静止画像４０２ａ〜４０２ｃのそれぞれと静止画像４０３との相違量が閾値以上となる画像数が０の場合、１つの静止画像４０３がレイアウトされるのでレイアウトＥが選択される。相違量が閾値未満の静止画像４０２ａ〜４０２ｃ、４０３をレイアウトしても同じような画像が配置されるレイアウトになってしまう可能性がある場合には、静止画像４０３だけをレイアウトするレイアウトＥが用いられる。抽出された静止画像４０２ａ〜４０２ｃのそれぞれと静止画像４０３との相違量が閾値以上の画像数が１つの場合、１つの静止画像４０３と、相違量が閾値以上の１つの静止画像４０２とがレイアウトされるのでレイアウトＦが選択される。
【００３９】
静止画像４０３との相違量が閾値以上の画像数が２つの場合、この２つの静止画像４０２の相違量を取得する。２つの静止画像４０２の相違量が閾値未満の場合、１つの静止画像４０３と、静止画像４０３との相違量が閾値以上の１つの静止画像４０２をレイアウトするのでレイアウトＦを選択する。静止画像４０３との相違量が閾値以上となる２つの静止画像４０２のうち１つの静止画像４０２が選択されるのは、この２つの静止画像４０２の相違量が閾値未満なので、その２つの静止画像４０２に大きな変化は見られないからである。また、静止画像４０３との相違量が閾値以上の画像であれば、いずれを用いてもよいからである。静止画像４０３との相違量が閾値以上となる２つの静止画像４０２の相違量が閾値以上である場合、１つの静止画像４０３と、静止画像４０３との相違量が閾値以上の２つの静止画像４０２とを配置してレイアウトするのでレイアウトＧが選択される。
【００４０】
静止画像４０３との相違量が閾値以上の画像数が３つの場合、その３つの静止画像４０２ａ〜４０２ｃのそれぞれの相違量を取得し、その３つの静止画像４０２ａ〜４０２ｃで相違量が閾値以上異なる画像の画像数が取得される。相違量が閾値以上異なる画像数が１つの場合、動画像４０１から抽出された静止画像４０２ａ〜４０２ｃのうちの１つと、静止画像４０３とがレイアウトされるのでレイアウトＦが選択される。相違量が閾値以上異なる画像数が２つの場合、相違量が閾値以上異なる２つの静止画像と、静止画像４０３とがレイアウトされるのでレイアウトＧが選択される。相違量が閾値以上異なる画像数が３つの場合、相違量が閾値以上異なる静止画像４０２ａ〜４０２ｃと静止画像４０３とがレイアウトされるのでレイアウトＨが選択される。
【００４１】
図１０は本実施形態に係るレイアウト決定処理を説明する図である。図１０（ａ）に示すグループ１００１は、撮像された静止画像１００１ｄと、静止画像１００１ｄが撮像される前に撮像された動画像から抽出された静止画像１００１ａ〜１００１ｃとを組み合わせている。静止画像１００１ａ〜１００１ｃのそれぞれと静止画像１００１ｄとの相違量は、いずれも閾値未満である。つまり、グループ１００１に含まれる静止画像１００１ａ〜１００１ｄは、同じような画像の組み合わせである。静止画像１００１ａ〜１００１ｄの相違量が閾値未満なので、レイアウトＥのように静止画像１００１ｄのみを配置するレイアウトでページ１００２が作成される。図１０（ｂ）に示すグループ１００３は、撮像された静止画像１００３ｄと、静止画像１００３ｄが撮像される前に撮像された動画像から抽出された静止画像１００３ａ〜１００３ｃとを組み合わせている。グループ１００３に含まれる画像は、各静止画像１００３ａ〜１００３ｃと静止画像１００３ｄとの相違上が閾値以上であり、静止画像１００３ａ〜１００３ｃにおける相違量が閾値以上異なっている。つまり、グループ１００３に含まれる各静止画像１００３ａ〜１００３ｄは互いの相違量が閾値以上なので、レイアウトＨのように静止画像１００３ｄを大きく配置し、動画像から抽出した静止画像１００３ａ〜１００３ｃを配置したレイアウトでページ１００４が作成される。
【００４２】
このように、本実施形態によれば、静止画像の相違量に基づいて、画像の組み合わせに適したレイアウトを決定することができる。
【００４３】
［第３実施形態］
本実施形態では、オブジェクト内容に基づいてレイアウトを選択する。上記第１実施形態との共通箇所の説明は省略する。
【００４４】
図１１は本実施形態に係る画像配置処理を示すフローチャート、図１２は本実施形態に係るレイアウト決定処理を示すフローチャートである。本実施形態では、上記第１実施形態と同じように、撮像された静止画像４０３と、静止画像４０３が撮像される前に撮像された動画像４０１から抽出した静止画像４０２ａ〜４０２ｃとを組み合わせたグループ４０４を例として説明する。なお、図１１に示すステップＳ１１０１、Ｓ１１０３、Ｓ１１０４は、上記第２実施形態のステップＳ７０１、Ｓ７０３、Ｓ７０４と同じなので、説明は省略する。ステップＳ１１０２では、ＣＰＵ１０５は、ステップＳ１１０１で取得した画像の組み合わせのグループ４０４のオブジェクト内容を取得する。
【００４５】
次に、ステップＳ１１０３で行われるレイアウト決定処理について、図１２に基づき説明する。ステップＳ１２０１では、ＣＰＵ１０５は、撮像された静止画像４０３のオブジェクト内容と、抽出された静止画像４０２のオブジェクト内容とを比較し、オブジェクト内容が異なるか否かを判定する。本実施形態では、静止画像４０２、４０３に存在する人物の数をオブジェクト内容の判定条件とする。静止画像４０３に存在する人物の数が、抽出された静止画像４０２に存在する人物の数と異なる場合（ステップＳ１２０１：Ｙｅｓ）、ＣＰＵ１０５は、撮像された静止画像４０３と抽出された静止画像４０２とは同じような画像ではないと判定してステップＳ１２０２に進む。静止画像４０３に存在する人物の数が、抽出された静止画像４０２に存在する人物の数と同じ場合（ステップＳ１２０１：Ｎｏ）、ＣＰＵ１０５は、撮像された静止画像４０３と抽出された静止画像４０２とは同じような画像であると判定してステップＳ１２０３へ進む。ステップＳ１２０２では、ＣＰＵ１０５は、静止画像４０３と人物の数が異なる画像数をカウントする。ステップＳ１２０２での画像数の初期値は０である。
【００４６】
ステップＳ１２０３では、ＣＰＵ１０５は、動画像４０１から抽出した静止画像４０２ａ〜４０２ｃの全てについて静止画像４０３との比較を実施したか否かを判定する。抽出した全ての静止画像４０２ａ〜４０２ｃについて比較を実施した場合（ステップＳ１２０３：Ｙｅｓ）、ＣＰＵ１０５は静止画像４０３に存在する人物の数が異なる画像数のカウントを終了したと判定してステップＳ１２０４へ進む。抽出した静止画像４０２ａ〜４０２ｃの全てについて比較を実施していない場合（ステップＳ１２０３：Ｎｏ）、ＣＰＵ１０５は、静止画像４０３に存在する人物の数が異なる画像数のカウントが終了していないと判定してステップＳ１２０１へ戻る。
【００４７】
ステップＳ１２０４では、ＣＰＵ１０５は、ステップＳ１２０２でカウントした画像数が２つ以上か否かを判定する。カウントした画像数が２つ以上の場合（ステップＳ１２０４：Ｙｅｓ）、ＣＰＵ１０５はオブジェクト内容の異なる静止画像４０２においてオブジェクト内容の比較を行うことができると判定してステップＳ１２０５へ進む。カウントした画像数が２つ未満の場合（ステップＳ１２０４：Ｎｏ）、ＣＰＵ１０５は、オブジェクト内容の異なる静止画像４０２においてオブジェクト内容の比較を行うことができないと判定してステップＳ１２０８へ進む。
【００４８】
ステップＳ１２０５では、ＣＰＵ１０５は、ステップＳ１２０１でオブジェクト内容が異なると判定された静止画像４０２内のオブジェクト内容が異なるか否かを判定する。オブジェクト内容が異なる場合（ステップＳ１２０５：Ｙｅｓ）、ＣＰＵ１０５は静止画像４０２内の人物の数が異なると判定してステップＳ１２０６へ進む。オブジェクト内容が同じである場合（ステップＳ１２０５：Ｎｏ）、ＣＰＵ１０５は静止画像４０２内の人物の数が同じであると判定してステップＳ１２０７へ進む。ステップＳ１２０６では、ＣＰＵ１０５は、オブジェクト内容が異なる画像数をカウントする。ステップＳ１２０６での画像数の初期値は１である。
【００４９】
ステップＳ１２０７では、ＣＰＵ１０５は、ステップＳ１２０１でオブジェクト内容が異なると判定された静止画像４０２の全てについてオブジェクト内容の比較を実施したか否かを判定する。静止画像４０２の全てについてオブジェクト内容の比較を実施した場合（Ｓ１２０７：Ｙｅｓ）、ＣＰＵ１０５は画像数のカウントが終了したと判定してステップＳ１２０８へ進む。静止画像４０２の全てについてオブジェクト内容の比較実施されていない場合（ステップＳ１２０７：Ｎｏ）、ＣＰＵ１０５は画像数のカウントが終了していないと判定してステップＳ１２０５へ戻る。ステップＳ１２０８では、ＣＰＵ１０５は、ステップＳ１２０２、Ｓ１２０６で取得した画像数に適したレイアウトを選択する。ＣＰＵ１０５が選択するレイアウトを表３に示す。
【００５０】
【表３】
2017011481.tif 000005
【００５１】
本実施形態で選択されるレイアウトＥ〜Ｈは、第２実施形態で説明したレイアウトと同じである。動画像４０１から抽出された３つの静止画像４０２ａ〜４０２ｃと、撮像された１つの静止画像４０３で構成されるグループ４０４の場合を例にレイアウトの選択について説明する。動画像４０１から抽出した３つの静止画像４０２ａ〜４０２ｃのそれぞれと静止画像４０３とを比較して、識別された人物の数が静止画像４０３で識別された人物の数と異なる画像数が０の場合、静止画像４０３がレイアウトされるのでレイアウトＥが選択される。識別された人物の数が静止画像４０３で識別された人物の数と異なる画像数が１つの場合、静止画像４０３、及び静止画像４０３の人物の数とは異なる静止画像がレイアウトされるのでレイアウトＦが選択される。
【００５２】
識別された人物の数が静止画像４０３で識別された人物の数と異なる画像数が２つの場合、その２つの静止画像において識別された人物の数を比較する。２つの静止画像において識別された人物の数が同じ場合、２つの静止画像のうちの１つの静止画像と静止画像４０３とがレイアウトされるのでレイアウトＦが選択される。２つの静止画像において識別された人物の数が異なる場合、この２つの静止画像と静止画像４０３とがレイアウトされるのでレイアウトＧが選択される。識別された人物の数が静止画像４０３で識別された人物の数と異なる画像数が３つの場合、その３つの静止画像４０２ａ〜４０２ｃのそれぞれで識別された人物の数を比較する。３つの静止画像４０２ａ〜４０２ｃ内で識別された人物の数が異なる画像数が１つの場合、動画像から抽出された静止画像４０２ａ〜４０２ｃのうちの１つと静止画像４０３とがレイアウトされるのでレイアウトＦが選択される。識別された人物の数が異なる画像数が１つであるとは、各静止画像４０２ａ〜４０２ｃにおいて識別された人物の数が全て同じである場合である。静止画像４０２ａ〜４０２ｃ内で識別された人物の数が異なる画像数が２つの場合、この２つの静止画像と静止画像４０３とがレイアウトされるのでレイアウトＧが選択される。静止画像４０２ａ〜４０２ｃ内で識別された人物の数が異なる画像数が３つの場合、動画像４０１から抽出された静止画像４０２ａ〜４０２ｃと静止画像４０３とがレイアウトされるのでレイアウトＨが選択される。
【００５３】
図１３は、画像の組み合わせでレイアウトを選択して配置する処理を説明する図である。画像の組み合わせは上記第１実施形態で説明した、撮像された１つの静止画像と、静止画像撮像前に撮像された動画像から抽出された３つの静止画像で構成される合計４つの画像を例に説明する。グループ１３０１は、各静止画像１３０１ａ〜１３０１ｄで識別された人物の数が同じ画像の組み合わせを示す。グループ１３０１の全ての静止画像１３０１ａ〜１３０１ｄで識別された人物の数が同じなので、レイアウトＥのように静止画像１３０１ｄのみが配置するレイアウトでページ１３０２が作成される。グループ１３０３は、動画像から抽出された３つの静止画像１３０３ａ〜１３０３ｃのうち２つの静止画像が識別された人物の画像が異なる画像の組み合わせを示す。レイアウトＧのように静止画像１３０３ｄが大きく配置され、動画像から抽出した静止画像１３０３ａ〜１３０３ｃのうち、識別された人物の数が異なる静止画像１３０３ａ、１３０３ｃが配置されたレイアウトでページ１３０４が作成される。なお、動画像から抽出された静止画像１３０３ａ〜１３０３ｃのうち、１３０３ｂ、１３０３ｃで識別された人物の数は同じなので、ページ１３０４にレイアウトする画像として静止画像１３０３ｃに換えて静止画像１３０３ｂとしてもよい。
【００５４】
このように、本実施形態によれば、複数の静止画像から識別されるオブジェクト内容に基づいて、画像の組み合わせに適したレイアウトを選択して画像をレイアウトすることができる。
【００５５】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００５６】
上記実施形態では、オブジェクト内容の判定において、静止画像に人物が存在するかどうかで判定しているが、オブジェクト内容はこれに限られない。例えば、認証された人物が存在するかどうか、フォーカスされた人物がいるかどうか、静止画像がお気に入りかどうか、または人物以外の特定の物体か否かをオブジェクト内容の判定条件とすることも可能である。この場合において、認証された人物が存在するかどうかは、一般的に知られている顔認証技術を利用して画像検索により認証された人物が存在するかどうかで判定する。フォーカスされた人がいるかどうかは、撮像時の画像情報に顔認証してその人をフォーカスして撮像した時の情報があるかどうかで判定する。静止画像がお気に入りかどうかは、一般的な画像情報のお気に入り度数を利用して判定する。なお、一般的に知られている顔認証技術とは、例えば、画像から顔の位置を検出し、顔の特徴的な各器官を検出して各器官の位置を基準に角度などの調整を行う正規化処理を行い、既に登録されている顔テンプレートと照合することによって行われる。また、一般的な画像情報のお気に入り度数とは、例えば画像処理のアプリケーションが備えている機能を用いて画像に設定される数値である。
【００５７】
また、上記実施形態では、静止画像を撮像する前に自動的に撮像された動画像から静止画像を抽出しているが、静止画像を撮像した後に撮像された動画像から静止画像を抽出するようにしてもよい。
【００５８】
さらに、上記実施形態では画像編集装置１００が保持しているレイアウトを選択しているが、ＣＰＵ１０５は、判定した条件に合うレイアウトをプログラムされた処理にしたがって作成するようにしてもよい。
【００５９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６０】
１００  画像編集装置
１０５  ＣＰＵ
【図１】
2017011481.tif 000006
【図２】
2017011481.tif 000007
【図３】
2017011481.tif 000008
【図４】
2017011481.tif 000009
【図５】
2017011481.tif 000010
【図６】
2017011481.tif 000011
【図７】
2017011481.tif 000012
【図８】
2017011481.tif 000013
【図９】
2017011481.tif 000014
【図１０】
2017011481.tif 000015
【図１１】
2017011481.tif 000016
【図１２】
2017011481.tif 000017
【図１３】
2017011481.tif 000018