(57)【特許請求の範囲】
【請求項１】
コンピュータに、
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において前記複数の画像が分割された複数の画像群の数が、ユーザによる指示に応じた複数のテンプレートの数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させ、前記分割工程において前記複数の画像が分割された複数の画像群の数が前記複数のテンプレートの数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させる制御工程と、
前記制御工程による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、
を実行させるためのプログラム。
【請求項２】
コンピュータに、
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において前記複数の画像が分割された複数の画像群の数が、所定の複数のテンプレートの数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させ、前記分割工程において前記複数の画像が分割された複数の画像群の数が前記複数のテンプレートの数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させる制御工程と、
前記制御工程による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、
を実行させ、
前記レイアウト工程では、前記分割工程において前記複数の画像が分割された前記複数の画像群の数と前記複数のテンプレートの数とが一致する場合、前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトすることを特徴とするプログラム。
【請求項３】
コンピュータに、
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において前記複数の画像が分割された複数の画像群のそれぞれを、複数種類のシーンのいずれかに分類する分類工程と、
前記分割工程において前記複数の画像が分割された複数の画像群の数が所定の数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記所定の数と一致させ、前記分割工程において前記複数の画像が分割された複数の画像群の数が前記所定の数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記所定の数と一致させる制御工程と、
前記分類工程において分類されたシーンの種類に対応する判断基準に基づいて、前記複数の画像群のそれぞれに含まれている複数の画像から、レイアウトされる画像を選択する選択工程と、
前記選択工程において選択された画像を、テンプレートにレイアウトするレイアウト工程と、
を実行させるためのプログラム。
【請求項４】
コンピュータに、
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において前記複数の画像が分割された複数の画像群の数が所定の数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記所定の数と一致させ、前記分割工程において前記複数の画像が分割された複数の画像群の数が前記所定の数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記所定の数と一致させる制御工程と、
前記制御工程による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、テンプレートにレイアウトするレイアウト工程と、
を実行させ、
前記制御工程では、前記複数の画像群のそれぞれに含まれている画像の時間情報に基づいて、前記複数の画像群の少なくとも１つにおける撮影期間を特定し、当該特定された撮影期間に基づいて、前記複数の画像群のうちの前記第１の処理を行う画像群を選択することを特徴とするプログラム。
【請求項５】
コンピュータに、
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において前記複数の画像が分割された複数の画像群の数が所定の数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記所定の数と一致させ、前記分割工程において前記複数の画像が分割された複数の画像群の数が前記所定の数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記所定の数と一致させる制御工程と、
前記制御工程による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、テンプレートにレイアウトするレイアウト工程と、
前記分割工程において前記複数の画像が分割されることで得られた前記複数の画像群のいずれかに含まれている少なくとも１つの画像に基づいて、当該画像群のレイアウトを行うか否かを判定する判定工程と、
を実行させ、
前記レイアウト工程では、前記複数の画像群のうち、前記判定工程においてレイアウトを行わないと判定された画像群に含まれている画像のレイアウトを行わないことを特徴とするプログラム。
【請求項６】
前記制御工程では、前記第１の処理として、前記複数の画像群の少なくとも１つに含まれている１または複数の画像を、新たな画像群として決定することを特徴とする請求項１乃至５のいずれか１項に記載のプログラム。
【請求項７】
前記制御工程では、前記複数の画像群のそれぞれに含まれている画像の時間情報に基づいて、前記複数の画像群の少なくとも１つにおける撮影期間を特定し、当該特定された撮影期間に基づいて、前記複数の画像群のうちの前記第１の処理を行う画像群を選択することを特徴とする請求項１、２、３、又は５に記載のプログラム。
【請求項８】
前記制御工程では、前記第２の処理として、前記複数の画像群の少なくとも１つに含まれている１または複数の画像を、前記複数の画像群のうちの他の画像群に含まれる画像として決定することを特徴とする請求項１乃至７のいずれか１項に記載のプログラム。
【請求項９】
前記制御工程では、前記複数の画像群のうちの２つの画像群において、時間情報が示す時間の差分を特定し、特定された差分に基づいて、前記他の画像群を選択することを特徴とする請求項８に記載のプログラム。
【請求項１０】
前記所定の数は複数のテンプレートの数であり、
前記レイアウト工程では、前記制御工程による前記処理により得られた複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトすることを特徴とする請求項３乃至５のいずれか１項に記載のプログラム。
【請求項１１】
前記レイアウト工程では、前記分割工程において前記複数の画像が分割された前記複数の画像群の数と前記複数のテンプレートの数とが一致する場合、前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトすることを特徴とする請求項１に記載のプログラム。
【請求項１２】
前記複数の画像群のいずれかに含まれている少なくとも１つの画像における撮影対象物に関する情報に基づいて、当該画像が含まれている画像群の重要度を決定する決定工程、
をコンピュータにさらに実行させ、
前記判定工程では、前記決定工程において決定された前記画像群の前記重要度に基づいて、当該画像群に含まれている画像のレイアウトを行うか否かを判定する、ことを特徴とする請求項５に記載のプログラム。
【請求項１３】
主人公としての撮影対象物を設定する設定工程、をコンピュータにさらに実行させ、
前記決定工程では、前記設定工程により設定された前記主人公を含む画像が多い画像群ほど前記重要度を高くする、ことを特徴とする請求項１２に記載のプログラム。
【請求項１４】
前記第１の処理は、前記分割工程において前記複数の画像が再び分割されることにより得られた複数の画像群のうちの前記判定工程においてレイアウトを行わないと判定された画像群を、前記レイアウト工程におけるレイアウトの候補の画像群から削除する処理を含むことを特徴とする請求項５、１２、又は１３に記載のプログラム。
【請求項１５】
前記第１の処理は、前記削除が行われた前記レイアウトの候補の画像群において、画像群の統合を行う処理を含むことを特徴とする請求項１４に記載のプログラム。
【請求項１６】
前記画像群の削除および画像群の統合により、前記所定の数となった複数の画像群が所定の条件を満たす場合、前記レイアウト工程において当該複数の画像群に基づくレイアウトが行われ、
前記所定の条件が満たされない場合、前記複数の画像の分割、前記画像群の削除、および前記画像群の統合が再び行われることを特徴とする請求項１５に記載のプログラム。
【請求項１７】
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において前記複数の画像が分割された複数の画像群の数が、ユーザによる指示に応じた複数のテンプレートの数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させ、前記分割工程において前記複数の画像が分割された複数の画像群の数が前記複数のテンプレートの数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させる制御工程と、
前記制御工程による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、
を有することを特徴とする画像処理方法。
【請求項１８】
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において前記複数の画像が分割された複数の画像群の数が、所定の複数のテンプレートの数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させ、前記分割工程において前記複数の画像が分割された複数の画像群の数が前記複数のテンプレートの数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させる制御工程と、
前記制御工程による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、
を有し、
前記レイアウト工程では、前記分割工程において前記複数の画像が分割された前記複数の画像群の数と前記複数のテンプレートの数とが一致する場合、前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトすることを特徴とする画像処理方法。
【請求項１９】
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において前記複数の画像が分割された複数の画像群のそれぞれを、複数種類のシーンのいずれかに分類する分類工程と、
前記分割工程において前記複数の画像が分割された複数の画像群の数が所定の数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記所定の数と一致させ、前記分割工程において前記複数の画像が分割された複数の画像群の数が前記所定の数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記所定の数と一致させる制御工程と、
前記分類工程において分類されたシーンの種類に対応する判断基準に基づいて、前記複数の画像群のそれぞれに含まれている複数の画像から、レイアウトされる画像を選択する選択工程と、
前記選択工程において選択された画像を、テンプレートにレイアウトするレイアウト工程と、
を有することを特徴とする画像処理方法。
【請求項２０】
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において前記複数の画像が分割された複数の画像群の数が所定の数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記所定の数と一致させ、前記分割工程において前記複数の画像が分割された複数の画像群の数が前記所定の数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記所定の数と一致させる制御工程と、
前記制御工程による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、テンプレートにレイアウトするレイアウト工程と、
を有し、
前記制御工程では、前記複数の画像群のそれぞれに含まれている画像の時間情報に基づいて、前記複数の画像群の少なくとも１つにおける撮影期間を特定し、当該特定された撮影期間に基づいて、前記複数の画像群のうちの前記第１の処理を行う画像群を選択することを特徴とする画像処理方法。
【請求項２１】
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において前記複数の画像が分割された複数の画像群の数が所定の数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記所定の数と一致させ、前記分割工程において前記複数の画像が分割された複数の画像群の数が前記所定の数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記所定の数と一致させる制御工程と、
前記制御工程による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、テンプレートにレイアウトするレイアウト工程と、
前記分割工程において前記複数の画像が分割されることで得られた前記複数の画像群のいずれかに含まれている少なくとも１つの画像に基づいて、当該画像群のレイアウトを行うか否かを判定する判定工程と、
を有し、
前記レイアウト工程では、前記複数の画像群のうち、前記判定工程においてレイアウトを行わないと判定された画像群に含まれている画像のレイアウトを行わないことを特徴とする画像処理方法。
【請求項２２】
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割手段と、
前記分割手段により前記複数の画像が分割された複数の画像群の数が、ユーザによる指示に応じた複数のテンプレートの数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させ、前記分割手段により前記複数の画像が分割された複数の画像群の数が前記複数のテンプレートの数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させる制御手段と、
前記制御手段による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト手段と、
を有することを特徴とする画像処理装置。
【請求項２３】
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割手段と、
前記分割手段により前記複数の画像が分割された複数の画像群の数が、所定の複数のテンプレートの数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させ、前記分割手段により前記複数の画像が分割された複数の画像群の数が前記複数のテンプレートの数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させる制御手段と、
前記制御手段による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト手段と、
を有し、
前記レイアウト手段は、前記分割手段により前記複数の画像が分割された前記複数の画像群の数と前記複数のテンプレートの数とが一致する場合、前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトすることを特徴とする画像処理装置。
【請求項２４】
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割手段と、
前記分割手段により前記複数の画像が分割された複数の画像群のそれぞれを、複数種類のシーンのいずれかに分類する分類手段と、
前記分割手段により前記複数の画像が分割された複数の画像群の数が所定の数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記所定の数と一致させ、前記分割手段により前記複数の画像が分割された複数の画像群の数が前記所定の数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記所定の数と一致させる制御手段と、
前記分類手段により分類されたシーンの種類に対応する判断基準に基づいて、前記複数の画像群のそれぞれに含まれている複数の画像から、レイアウトされる画像を選択する選択手段と、
前記選択手段により選択された画像を、テンプレートにレイアウトするレイアウト手段と、
を有することを特徴とする画像処理装置。
【請求項２５】
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割手段と、
前記分割手段により前記複数の画像が分割された複数の画像群の数が所定の数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記所定の数と一致させ、前記分割手段により前記複数の画像が分割された複数の画像群の数が前記所定の数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記所定の数と一致させる制御手段と、
前記制御手段による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、テンプレートにレイアウトするレイアウト手段と、
を有し、
前記制御手段は、前記複数の画像群のそれぞれに含まれている画像の時間情報に基づいて、前記複数の画像群の少なくとも１つにおける撮影期間を特定し、当該特定された撮影期間に基づいて、前記複数の画像群のうちの前記第１の処理を行う画像群を選択することを特徴とする画像処理装置。
【請求項２６】
複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割手段と、
前記分割手段により前記複数の画像が分割された複数の画像群の数が所定の数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記所定の数と一致させ、前記分割手段により前記複数の画像が分割された複数の画像群の数が前記所定の数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記所定の数と一致させる制御手段と、
前記制御手段による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、テンプレートにレイアウトするレイアウト手段と、
前記分割手段において前記複数の画像が分割されることで得られた前記複数の画像群のいずれかに含まれている少なくとも１つの画像に基づいて、当該画像群のレイアウトを行うか否かを判定する判定手段と、
を有し、
前記レイアウト手段は、前記複数の画像群のうち、前記判定手段によりレイアウトを行わないと判定された画像群に含まれている画像のレイアウトを行わないことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを処理する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ、スキャナなどの画像生成装置で撮影した画像は、モニタやプリンタなどの種々の画像出力装置で出力（表示や印刷）される。複数の画像を出力する場合には、写真を収めたアルバムと同様に、１つの見開きに複数の画像を割り当て、見開き単位で出力を行う方法が用いられる。例えば、画像を複数の見開きに亘って割り当てるアルバムでは、単に各見開きに撮影順に画像を並べただけでは各見開き毎の画像のまとまりがなくなってしまうおそれがある。特許文献１では、日、あるいは月等の期間単位に区切って各画像をレイアウトする方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１８４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
全画像を期間等の所定の単位に複数の画像群に区切って各画像群を見開きに割り当て、割り当てられた画像群から好ましい画像を選択し見開きにレイアウトする場合、区切られた期間の数と、見開きの数が一致しない場合がある。
【０００５】
本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、レイアウト対象の複数の画像を複数のテンプレートに適切にレイアウトする画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係るプログラムは、コンピュータに、複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、前記分割工程において前記複数の画像が分割された複数の画像群の数が、ユーザによる指示に応じた複数のテンプレートの数より少ない場合、前記複数の画像群の数を増やすための第１の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させ、前記分割工程において前記複数の画像が分割された複数の画像群の数が前記複数のテンプレートの数より多い場合、前記複数の画像群の数を減らすための第２の処理を行うことにより、複数の画像群の数を前記複数のテンプレートの数と一致させる制御工程と、前記制御工程による処理により得られた前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、を実行させる。
【発明の効果】
【０００７】
本発明によれば、レイアウト対象の複数の画像を複数のテンプレートに適切にレイアウトすることができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置のハードウェアの構成を示すブロック図である。
【図２】アルバム作成アプリケーションのソフトウェアブロック図である。
【図３】アルバム作成アプリケーションが提供する表示画面を示す図である。
【図４】自動レイアウト処理を示すフローチャートである。
【図５】画像解析情報を示す図である。
【図６】画像データ群のシーン分割の結果を示す図である。
【図７】シーン毎の平均値と標準偏差を示す図である。
【図８】得点化軸の概念を示す図である。
【図９】画像データの選択を説明するための図である。
【図１０】画像データのレイアウトに使うテンプレート群を示す図である。
【図１１】サブシーン分割の処理を示すフローチャートである。
【図１２】各シーンのシーン情報を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
【００１０】
［第１の実施形態］
本実施形態では、画像処理装置上で、アルバム作成アプリケーションを動作させ、自動レイアウト機能によりレイアウトを生成するまでの処理について説明する。
【００１１】
図１は、画像処理装置のハードウェアの構成を示すブロック図である。なお、画像処理装置としては、例えば、ＰＣ、スマートフォン等が挙げられ、本実施形態ではＰＣとする。ＣＰＵ（中央演算装置／プロセッサ）１０１は、画像処理装置１００を統括的に制御し、例えば、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより、本実施形態の動作を実現する。図１では、ＣＰＵは１つであるが、複数のＣＰＵで構成されても良い。ＲＯＭ１０２は、汎用的なＲＯＭであり、例えば、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、汎用的なＲＡＭであり、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのワーキングメモリとして用いられる。ＨＤＤ（ハードディスク）１０４は、画像ファイルや画像解析などの処理結果を保持するデータベースや、アルバム作成アプリケーションにより用いられるテンプレートなどを記憶するための記憶媒体（記憶部）である。
【００１２】
ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）や画像のレイアウト結果をユーザに表示する。キーボード１０６及びポインティングデバイス１０７は、ユーザからの指示操作を受け付ける。ディスプレイ１０５は、タッチセンサ機能を備えても良い。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上に作成したいアルバムの見開き数を入力する際に用いられる。ポインティングデバイス１０７は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックする際に用いられる。
【００１３】
データ通信部１０８は、有線や無線等のネットワークを介した外部の装置との通信を行う。データ通信部１０８は、例えば、自動レイアウト機能によりレイアウトされたデータを画像処理装置１００と通信可能なプリンタやサーバに送信する。データバス１０９は、図１の各ブロック間を相互に通信可能に接続する。
【００１４】
本実施形態におけるアルバム作成アプリケーションは、ＨＤＤ１０４に保存され、後述するようにユーザがディスプレイ１０５に表示されているアプリケーションのアイコンをポインティングデバイス１０７によりダブルクリックして起動する。
【００１５】
図２は、アルバム作成アプリケーションのソフトウェアブロック図である。図２は、特に、自動レイアウト機能を実行する自動レイアウト処理部２１６に関するソフトウェアブロック図を示している。アルバム作成条件指定部２０１は、ポインティングデバイス１０７による後述のユーザのＵＩ操作に応じたアルバム作成条件を自動レイアウト処理部２１６に出力する。なお、ＣＰＵ１０１がＨＤＤ１０４に保存されているアルバム作成アプリケーションを実行することにより、ＣＰＵ１０１が図２に示す各ブロックとして機能する。
【００１６】
画像取得部２０２は、アルバム作成条件指定部２０１から指定された画像データ群をＨＤＤ１０４から取得する。画像変換部２０３は、以降の処理に用いる画像データを所望の画素数や色情報に変換する。本実施形態では、短辺４２０画素の画素数とｓＲＧＢの色情報の解析画像データに変換する。画像解析部２０４は、解析画像データから後述の、特徴量の取得、顔検出、表情認識、個人認識の各処理を実行する。また、画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータの取得、例えばＥｘｉｆ情報から撮影日時の取得も実行する。画像分類部２０５は、画像データ群に対して撮影日時情報や撮影枚数、検出した顔情報等を用いて、後述のシーン分割やシーン分類を実行する。シーンとは、旅行や日常、結婚式等の撮影シーンのことである。画像得点部２０７は、各画像データに対してレイアウトに適した画像が高得点になるような得点付けを行う。後述するが、画像得点部２０７は、画像解析部２０４からの情報と、画像分類部からの情報を用いて得点付けを行う。
【００１７】
主人公情報入力部２０６は、アルバム作成条件指定部２０１から指示された主人公のＩＤ（識別情報）を画像得点部２０７に入力する。画像得点部２０７は、主人公情報入力部２０６から入力された主人公ＩＤが含まれる画像データについてより高い得点を付加するように構成されている。
【００１８】
見開き割当部２０９は、画像データ群を分割してアルバムの各見開きに割り当てる。見開き入力部２０８は、アルバム作成条件指定部２０１から指定されたアルバムの見開き数を見開き割当部２０９に入力する。アルバムの見開き数は、複数の画像が配置される複数のテンプレートの数に相当する。見開き割当部２０９は、入力された見開き数に応じて画像データ群を分割し、各見開きに画像データ群の一部（分割分）を割り当てる。画像選択部２１０は、見開き割当部２０９で各見開きに割り当てられた画像データ群の一部から、アルバム作成条件指定部２０１から指定されたスロット数分の画像データを、画像得点部２０７で付された得点に基づいて選択する。
【００１９】
画像レイアウト部２１２は、画像データのレイアウトを決定する。テンプレート入力部２１１は、アルバム作成条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１２に入力する。画像レイアウト部２１２は、画像選択部２１０で選択された画像データに適したテンプレートを、テンプレート入力部２１１から入力された複数のテンプレートから選択し、画像データのレイアウトを決定する。レイアウト情報出力部２１５は、画像レイアウト部２１２が決定した画像データのレイアウトに従って、ディスプレイ１０５に表示する為のレイアウト情報を出力する。レイアウト情報は、例えば、選択されたテンプレートに画像選択部２１０により選択された画像データをレイアウトしたビットマップデータである。
【００２０】
画像補正部２１４は、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正を実行する。画像補正条件入力部２１３は、アルバム作成条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部２１４に入力する。画像補正部２１４は、画像補正条件がＯＮの場合、画像データに対して補正を実行し、画像補正条件がＯＦＦの場合、補正を実行しない。尚、画像補正部２１４は、画像変換部２０３から入力された画像データに対して補正のＯＮ／ＯＦＦに従って、補正を実行する。画像変換部２０３から画像補正部２１４に入力される画像データの画素数は、画像レイアウト部２１２で決定したレイアウトのサイズに合わせて変更可能である。
【００２１】
アルバム作成アプリケーションは、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ１０５上の起動アイコンをポインティングデバイス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＯＭ１０２にロードされる。ＲＯＭ１０２のプログラムがＣＰＵ１０１によりＲＡＭ１０３に読み出されて実行されると、アルバム作成アプリケーションが起動する。
【００２２】
図３は、アルバム作成アプリケーションが提供する表示画面３０１の一例を示す図である。表示画面３０１は、ディスプレイ１０５に表示される。ユーザは表示画面３０１を介して後述するアルバムの作成条件を設定し、アルバム作成条件指定部２０１は、ユーザからの設定内容を取得する。
【００２３】
表示画面３０１上のパスボックス３０２は、アルバム作成の対象となる画像データ群のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン３０３は、ユーザからのポインティングデバイス１０７でのクリック操作により、アルバム作成の対象とする画像データ群を含むフォルダをツリー構成でユーザ選択可能に表示する。ユーザにより選択された画像データ群を含むフォルダパスが、パスボックス３０２に表示される。
【００２４】
主人公指定アイコン３０４は、ユーザが主人公を指定するためのアイコンであり、人物の顔画像がアイコンとして表示される。主人公指定アイコン３０４には、複数の異なる顔画像のアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。見開き数ボックス３０５は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０５に直接数字を入力するか、ポインティングデバイス１０７を用いてリストから見開き数ボックス３０５に数字を入力する。
【００２５】
テンプレート指定アイコン３０６は、テンプレートのテイスト（ポップ調やシック調等）別にイラスト画像を表示する。テンプレート指定アイコン３０６には、複数のテンプレートアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。チェックボックス３０７は、ユーザからの画像補正のＯＮ／ＯＦＦの指定を受け付ける。チェックが入った状態は画像補正ＯＮが指定された状態であり、チェックが入っていない状態は画像補正ＯＦＦが指定された状態である。
【００２６】
ユーザによりＯＫボタン３０８が押下されると、アルバム作成条件指定部２０１は、表示画面３０１上で設定されている内容を取得する。アルバム作成条件指定部２０１は、取得した設定内容を、アルバム作成アプリケーションの自動レイアウト処理部２１６に出力する。その際、パスボックス３０２に入力されているパスは、画像取得部２０２に伝えられる。主人公指定アイコン３０４で選択されている主人公の個人ＩＤは、主人公情報入力部２０６に伝えられる。見開き数ボックス３０５に入力されている見開き数は、見開き数入力部２０８に伝えられる。テンプレート指定アイコン３０６で選択されているテンプレート情報は、テンプレート入力部２１１に伝えられる。画像補正チェックボックス３０７の画像補正のＯＮ／ＯＦＦ指定は、画像補正条件入力部２１３に伝えられる。表示画面３０１上のリセットボタン３０９は、表示画面３０１上の各設定情報をリセットするためのボタンである。
【００２７】
図４は、アルバム作成アプリケーションの自動レイアウト処理部２１６の処理を示すフローチャートである。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。図４を参照しながら、自動レイアウト処理を説明する。
【００２８】
Ｓ４０１では、画像変換部２０３は、解析画像データを生成する。画像形成変換部２０３は、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像データ群の各画像データを所望の画素数と色情報の解析画像データに変換する。本実施形態では、短辺４２０画素とｓＲＧＢの色情報の解析画像データに変換する。
【００２９】
Ｓ４０２では、画像解析部２０４は、画像特徴量を取得する。画像解析部２０４は、ＨＤＤ１０４から取得した各画像データに付随する、例えばＥｘｉｆ情報から撮影日時を取得する。また、画像解析部２０４は、Ｓ４０１で生成された解析画像データから特徴量を取得する。特徴量としては、例えば、ピントである。エッジの検出方法として一般的にソーベルフィルタが知られている。ソーベルフィルタでエッジ検出を行い、エッジの始点と終点の輝度差を、始点と終点の距離で割れば、エッジの傾きが算出される。画像中のエッジの平均傾きを算出した結果から、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているとみなすことができる。そして、傾きに対して異なる値の複数の閾値を設定すれば、どの閾値以上かを判定することにより、ピント量の評価値を出力可能である。本実施形態では、異なる２つの閾値を予め設定しておき、○△×の３段階により、ピント量を判定する。例えば、アルバムに採用したいピントの傾きを○と判定し、許容可能なピントの傾きを△と判定し、許容不可能な傾きを×と判定し、各閾値を予め設定しておく。閾値の設定は、例えば、アルバム作成アプリケーションの作成元等により提供されても良いし、ユーザインタフェース上で設定可能としても良い。
【００３０】
Ｓ４０３では、画像解析部２０４は、Ｓ４０１で生成された解析画像データに対して、顔検出を実行する。ここで、顔検出の処理には、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが用いられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔画像が検出される。画像解析部２０４は、顔画像を抽出するとともに、検出した顔画像の位置の左上座標値と右下座標値を取得する。この２種の座標を持つことにより、画像解析部２０４は、顔画像の位置と顔画像のサイズを取得可能である。ここで、顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてＡｄａｂｏｏｓｔにより強識別器を作成しても良い。これにより、画像解析部２０４は、顔画像以外のオブジェクトを検出することができる。
【００３１】
Ｓ４０４では、画像解析部２０４は、Ｓ４０３で検出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似性を比較することにより、個人認識を行う。画像解析部２０４は、類似性が閾値以上で類似性が最も高いＩＤを、検出した顔画像のＩＤとする。尚、類似性が閾値未満の場合、画像解析部２０４は、抽出した顔画像を新規の顔として新規の個人ＩＤとして顔辞書データベースに登録する。
【００３２】
画像解析部２０４は、Ｓ４０２〜Ｓ４０４で取得した画像解析情報を、図５に示すように各画像を識別するＩＤ毎に区別して、ＲＯＭ１０３等の記憶領域に記憶する。例えば、図５に示すように、Ｓ４０２で取得された撮影日時情報とピント判別結果、Ｓ４０３で検出された顔画像の数と位置情報とがテーブル形式で記憶される。尚、顔画像の位置情報は、Ｓ４０４で取得された個人ＩＤ毎に区別して記憶される。
【００３３】
Ｓ４０５では、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像データ群の全画像データに対してＳ４０１〜Ｓ４０４の処理が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ４０１からの処理を繰り返す。終了していると判定された場合、処理はＳ４０６に進む。
【００３４】
Ｓ４０６では、画像分類部２０５は、シーン分割を実行する。画像分類部２０５は、Ｓ４０２で取得済みの撮影日時情報から算出した画像と画像の時間差に基づいて、画像データ群を複数のシーンに分割する。本実施形態では、例えば、画像データ間に撮影していない日が存在する場合、その部分を基準として分割が行われる。分割は、他の基準により行われても良い。例えば、撮影日が連続する場合にも分割が行われる場合、時間差が１６時間以上空いていれば、その部分を基準として分割が行われる。また、１６時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満であれば、分割が行われる。４時間以上の場合は、連続する各日の撮影枚数が５０枚未満なら分割が行われ、５０枚以上なら分割は行われない。図６（Ａ）は、上記のシーン分割方法で画像データ群がシーン分割された結果の一例を示す図である。
【００３５】
Ｓ４０７では、画像分類部２０６は、シーン分類を実行する。本実施形態では、画像分類部２０６は、例えば、シーン分割された分割分の画像データを、旅行、日常、セレモニーのいずれかのシーンに分類する。ここで、図４の自動レイアウト処理部が開始される前に、予め、ユーザは、旅行、日常、セレモニーのシーンであると判断した複数の画像データをそれぞれ集めて指定している。
【００３６】
ここで、予め行われるユーザによる指定について説明する。
【００３７】
例えば、アルバム作成条件指定部２０１は、不図示のユーザインタフェース画面上で、ユーザが旅行シーンであると判断した複数の画像データの指定を受け付ける。そして、画像解析部２０４は、それらの画像データについて、特徴量を取得する。ここで、取得される特徴量は、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、複数の画像データの最初の撮影から最後の撮影までの時間差である。撮影枚数は、複数の画像データの撮影枚数である。撮影人数は、撮影された顔の数である。その結果、ユーザが旅行シーンであると判断した複数の画像データから成る１画像データ群について、撮影期間、撮影枚数、撮影人数の特徴量が取得される。
【００３８】
そして、画像解析部２０４は、上記のような撮影期間、撮影枚数、撮影人数の特徴量の取得を、ユーザがさらに指定した他の画像データ群についても行う。そして、画像解析部２０４は、複数の画像データ群から取得された特徴量に基づいて、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、撮影人数の平均値と標準偏差を求める。図７は、上記の求められた各平均値と標準偏差を示しており、画像解析部２０４は、これらの値をＲＯＭ１０２等の記憶領域に予め記憶しておく。または、アルバム作成アプリケーションのプログラムに予め組み込まれるようにしても良い。
【００３９】
再び、図４の処理を説明する。アルバム作成アプリケーションが起動された後、ユーザがパスボックス３０２で指定した画像データ群がＳ４０６でシーン分割された各分割分に対して、画像分類部２０６は、撮影期間、撮影枚数、撮影人数の各特徴量の得点を算出する。画像分類部２０６は、各分割分の撮影期間、撮影枚数、撮影人数の得点、及びそれらの平均得点を、図７に示すシーン毎の平均値と標準偏差を用いて式（１）及び（２）より算出する。
【００４０】
得点  ＝  ５０−｜１０×（平均値−特徴量）／標準偏差｜  ・・・（１）
平均得点  ＝  （撮影期間の得点＋撮影枚数の得点＋撮影人数の得点）／特徴量項目数・・・（２）
算出の結果、各分割分の画像データに対して、旅行、日常、セレモニーのシーン毎の平均得点が算出される。そして、画像分類部２０６は、各分割分の画像データを、上記のうち最高得点に対応するシーンに分類する。ここで、同点のシーンとなった場合には、予め定められたシーンの優先順位に従って分類する。例えば、本実施形態では、日常＞セレモニー＞旅行の優先順位が定められており、日常シーンの優先度が最も高い。例えば、図６（Ａ）のシーン分割された後の画像データ群５は、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であった。上記の式（１）及び（２）により算出された旅行シーンの平均得点は４５．３２、日常シーンの平均得点は１８．３８、セレモニーシーンの平均得点は−２９．９２となる。従って、画像データ群５は、旅行シーンに分類される。画像分類部２０６は、分類されたシーンに対して、識別可能なようにシーンＩＤを付与して管理する。
【００４１】
Ｓ４０８では、Ｓ４０６で分割された全分割分に対してＳ４０７のシーン分類が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ４０７からの処理を繰り返す。終了していると判定された場合、処理はＳ４０９に進む。
【００４２】
Ｓ４０９では、画像得点化部２０７は、主人公設定を実行する。主人公設定は、ユーザが指定した画像データ群に対して実行され、自動と手動の２種類の設定方法のいずれかにより行われる。画像得点化部２０７は、Ｓ４０４で実行された個人認識結果と、Ｓ４０６で実行されたシーン分割の結果から、画像データ群に登場する各個人ＩＤの回数、各シーンに登場する各個人ＩＤ回数、各個人ＩＤが登場するシーン回数等を取得可能である。画像得点化部２０７は、それらの情報から、ユーザ指定によらず自動で主人公を設定する。本実施形態では、画像得点化部２０７は、シーンが複数ある場合、複数のシーンでの登場回数が多い個人ＩＤを主人公ＩＤと設定し、単一のシーンのみである場合、単一シーンにおいて登場回数が多い個人ＩＤを主人公ＩＤと設定する。
【００４３】
また、ユーザが主人公設定アイコン３０４を指定している場合、主人公情報入力部２０６は、その指定されている個人ＩＤを画像得点部２０７に伝える。ユーザにより個人ＩＤが指定されている場合、画像得点化部２０７は、上記の自動で設定された主人公ＩＤによらず、ユーザにより指定された個人ＩＤを主人公ＩＤとして設定する。この設定を手動設定と呼ぶ。
【００４４】
Ｓ４１０では、画像得点化部２０７は、得点化を実行する。得点化とは、画像データ毎に後述の観点で評価した得点を付与する（スコアリング）ことであり、後述の、レイアウトに用いられる画像データの選択時に参照される。図１０は、画像データのレイアウトに使うテンプレート群を示す図である。テンプレート群に含まれている複数のテンプレートのそれぞれが、各見開きに対応している。テンプレート１００１は１枚のテンプレートであり、スロット１００２はメインスロットを示し、スロット１００３と１００４はサブスロットを示す。メインスロット１００２は、テンプレート１００１内でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１００３と１００４よりもサイズが大きい。画像得点化部２０７は、各画像データに対して、メインスロット用の得点とサブスロット用の得点の両方を付与する。
【００４５】
図８（Ａ）は、旅行、日常、セレモニーの各シーンによってアルバムに採用する画像の特徴をメインスロットとサブスロットについて示した図である。
【００４６】
図４の自動レイアウト処理部が開始される前に、予め、ユーザは、図８（Ａ）に示す各シーンのメインスロット向きとサブスロット向きの特徴に適合すると判断した複数の画像データを集めて指定している。
【００４７】
ここで、予め行われるユーザによる指定について説明する。
【００４８】
例えば、アルバム作成条件指定部２０１は、不図示のユーザインタフェース画面上でユーザが旅行シーンのメインスロット向き（又は、サブスロット向き）であると判断した複数の画像データの指定を受け付ける。画像解析部２０４は、指定された各画像データの顔の数、顔の位置、顔のサイズの特徴量を取得する。その結果、ユーザが例えば旅行シーンのメインスロット向き（又は、サブスロット向き）であると判断した複数の画像データそれぞれについて、顔数、顔の位置、顔サイズの特徴量が取得される。そして、画像解析部２０４は、顔数の平均値と標準偏差、顔の位置の平均値と標準偏差、顔サイズの平均値と標準偏差を求める。画像解析部２０４は、各シーン各スロット種類（メインスロットとサブスロット）について、上記のように、各特徴量の統計値として平均値と標準偏差を求める。画像解析部２０４は、これらの値をＲＯＭ１０２等の記憶領域に予め記憶しておく。または、アルバム作成アプリケーションのプログラムに予め組み込まれるようにしても良い。
【００４９】
画像得点化部２０７は、各画像データがどのシーンに属すかについて、Ｓ４０７のシーン分類の結果から取得可能である。画像得点化部２０７は、注目画像データのシーンに対応する予め求めておいた上記の平均値と標準偏差、および注目画像データの主人公ＩＤの顔数、顔位置、顔サイズの各特徴量を用いて、式（３）及び（４）により、平均得点を算出する。
【００５０】
得点  ＝  ５０−｜１０×（平均値−特徴量）／標準偏差｜  ・・・（３）
平均得点  ＝  （顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数  ・・・（４）
画像得点化部２０７は、上記の得点化を、メインスロット用とサブスロット用の両方について実行する。ここで、アルバムに用いる画像はピントが合っている方が好ましいので、図５に示すピントの特徴量が○である画像ＩＤの画像データに対しては所定の得点を加算するようにしても良い。図８（Ｂ）は、上記の得点化による得点結果の一例を示しており、各画像ＩＤに対して、メインスロットとサブスロットについて得点化されている。
【００５１】
つまり、本実施形態では、各シーンについてメインスロットとサブスロットに適する条件が図８（Ａ）に示すように定められており、予め、ユーザは、それらに適するであろうと判断した画像データを指定している。画像解析部２０４は、そのユーザから指定された画像データについて、顔数、顔位置、顔サイズの特徴量を取得し、特徴量ごとに平均値と標準偏差を求めておく。そして、アルバム作成アプリケーションの起動後、図４の自動レイアウト処理が開始されると、自動レイアウト処理対象の各画像データ（シーン分類済）が、どの程度、メインスロット向きである等のユーザ判断基準に近いかを示す得点化（類似度）が行われる。例えば、図８（Ｂ）では、画像ＩＤ１は、メインスロット用として２０点が付与され、画像ＩＤ２は、メインスロット用として４５点が付与されている。これは、つまり、メインスロット用としては、画像ＩＤ２の方がユーザの判断基準により近いということを表している。
【００５２】
再び、図４を参照する。
【００５３】
Ｓ４１１では、画像得点部２０７は、ユーザ指定の画像データ群の全て画像データに対してＳ４１０の画像得点化が終了したか否かを判定する。終了していないと判定された場合、Ｓ４１０からの処理を繰り返す。終了していると判定された場合、Ｓ４１２に進む。
【００５４】
本実施形態では、画像レイアウト部２１２は、複数のシーンのそれぞれに含まれる画像を、当該複数のシーンのそれぞれに対応する複数のテンプレート（複数の見開き）のそれぞれにレイアウトする。そのため、複数のシーンの数と、複数のテンプレートの数（所定数の見開き数）が一致する必要がある。
【００５５】
そこでＳ４１２では、見開き割当部２０９は、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力されるアルバムの見開き数と同じであるか否かを判定する。同じでないと判定された場合、Ｓ４１３に進む。同じであると判定された場合、Ｓ４１６に進む。例えば、図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が８である場合、Ｓ４１６に進む。
【００５６】
Ｓ４１３では、見開き割当部２０９は、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力される見開き数（アルバムに使用されるテンプレート数）より少ないか否かを判定する。少なくない（多い）と判定された場合、Ｓ４１５に進む。少ないと判定された場合、Ｓ４１４に進む。図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が１０である場合、Ｓ４１４に進む。
【００５７】
Ｓ４１４では、見開き割当部２０９は、サブシーン分割を実行する。サブシーン分割とは、シーン分割数＜アルバムの見開き数の場合に、分割されたシーンを更に細分割することを表す。図６（Ａ）のシーン分割数８に対して指定されたアルバムの見開き数が１０の場合で説明する。図６（Ｂ）は、図６（Ａ）をサブシーン分割した結果を示す。破線矢印の箇所で分割したことで、分割数を１０にしている。
【００５８】
分割の基準について説明する。図６（Ａ）の分割の中で、画像枚数が多い分割箇所が検索される。ここでは、分割数を８から１０に２箇所増やすために、画像枚数が多い２箇所を決定する。図６（Ａ）では、多い方から画像群５、次に、画像群１と画像群２である。画像群１と画像群２は同じ枚数だが、画像群２の方が最初の画像から最後の画像の時間差が大きいので、画像群２を分割対象とし、画像群５と画像群２をそれぞれ分割する。
【００５９】
まず、画像群２の分割を説明する。画像群２には画像枚数の山が２つあり、この２つは撮影日が違うので、その部分に対応する図６（Ｂ）の破線矢印の箇所で分割する。次に、画像群５の分割を説明する。画像群５には画像枚数の山が３つあり、３日連続である。撮影日が変わる箇所が２箇所あるが、分割後の枚数差が小さくなるように、図６（Ｂ）の破線矢印の箇所で分割する。以上のように、分割数を８から１０にする。ここでは、撮影日の異なる箇所で分割したが、画像枚数が多い箇所が単一日である場合、単一日の中で時間差が最大の箇所で分割するようにしても良い。
【００６０】
Ｓ４１５では、見開き割当部２０９は、シーン統合を実行する。シーン統合とは、シーン分割数＞アルバムの見開き数の場合、分割されたシーンを統合することを表す。図６（Ｃ）は、図６（Ａ）をシーン統合した結果を示す。破線の箇所を統合したことで、分割数を６にしている。
【００６１】
統合の基準について説明する。図６（Ａ）の分割の中で、画像枚数が少ない分割箇所が検索される。ここでは、分割数を８から６に２箇所減らすために、画像枚数が少ない２箇所を決定する。図６（Ａ）では、少ない方から画像群８、画像群３、画像群７である。画像群３と画像群７は同じ枚数である。但し、画像群７に隣接する画像群８が統合対象であるので、画像群３を統合対象とする。結果、画像群８と画像群３それぞれの統合が行われる。
【００６２】
まず、画像群３の統合を説明する。画像群３の前後の画像群２と画像群４との時間差を比較すると、画像群４との時間差の方が小さい。従って、図６（Ｃ）の破線箇所に示すように、画像群３を画像群４に統合する。次に、画像群８の統合を説明する。画像群８は、後続の画像群がないので、図６（Ｃ）の破線箇所に示すように、前の画像群７と統合される。
【００６３】
Ｓ４１６では、見開き割当部２０９は、見開き割当を実行する。Ｓ４１２〜Ｓ４１５によって、シーン分割数と指定見開き数は同じとなっている。見開き割当部２０９は、撮影日時順に先頭の分割から見開きの先頭に順に割り当てる。
【００６４】
Ｓ４１７では、画像選択部２１０は、画像選択を実行する。以下、ある見開きに割り当てられた画像データ群の分割分から画像データを４枚選択する例を、図９を参照しながら説明する。
【００６５】
図９（Ａ）に示すスタート〜エンドの区間は、見開きに割り当てられた分割分の、最初の画像データの撮影日時から最後の画像データの撮影日時までの時間差（分割撮影期間）を示している。図９（Ｂ）を参照しながら、１枚目を選択する方法を説明する。テンプレートには、１枚のメインスロット１００２がある。従って、１枚目として、メインスロット用の画像データが選択される。図９（Ｂ）に示す分割分の撮影期間に対応する複数の画像データのうち、Ｓ４１０で付与されたメインスロット用の得点が最高点の画像データが選択される。２枚目以降としては、サブスロット用の画像データが選択される。
【００６６】
本実施形態では、分割分の撮影期間の一部に集中しないように、画像選択が行われる。以下、本実施形態における、分割分の撮影期間を細分化する方法について説明する。図９（Ｃ）に示すように、分割分の撮影期間を２分割する。次に、図９（Ｄ）に示すように、１枚目が選ばれていない実線の撮影期間から２枚目が選択される。図９（Ｄ）の実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最高点の画像データが選択される。
【００６７】
次に、図９（Ｅ）に示すように、図９（Ｄ）の各分割分の撮影期間を２分割する。そして、図９（Ｆ）に示すように、１枚目と２枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最高点の画像データが３枚目として選択される。
【００６８】
画像データの選択対象の撮影期間に画像データが存在せず、そのため選択できない場合について、４枚目の選択を例として説明する。図９（Ｇ）は、まだ画像データが選択されていない斜線の撮影期間から４枚目を選択しようとする場合、この斜線の撮影期間には画像データが存在しない例を示す。この場合、図９（Ｈ）に示すように、各分割分の撮影期間を２分割する。次に、図９（Ｉ）に示すように、１〜３枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、サブスロット用の最高点の画像データが４枚目として選択される。
【００６９】
再び、図４を参照する。Ｓ４１８では、画像レイアウト部２１２は、画像レイアウトの決定を行う。以下、テンプレート入力部２１１が、指定されたテンプレート情報に従って、ある見開きに対して図１０の（ａ）〜（ｐ）を入力する例を説明する。
【００７０】
ここでは、入力されたテンプレートのスロット数は一例として３と指定されている。選択されている画像データ３枚の画像の向きが縦方向か横方向かを撮影日時について並べると、図１０（Ａ）のようであるとする。ここでは、画像データ１００５がメインスロット用であり、画像データ１００６と１００７がサブスロット用である。本実施形態では、テンプレートの左上に撮影日時のより古い画像データがレイアウトされ、右下に撮影日時のより新しい画像をレイアウトされる。図１０（Ａ）では、メインスロット用画像データ１００５は撮影日時が一番新しいので、図１０（ｍ）〜（ｐ）のテンプレートが候補となる。また、サブスロット用の古い方の画像データ１００６が縦画像であり、新しい方の画像データ１００７が横画像であるので、結果、図１０（ｎ）のテンプレートが、選択された３つの画像データに最も適したテンプレートとして決定され、レイアウトが決まる。Ｓ４１８では、どの画像をどのテンプレートのどのスロットにレイアウトするかが決定される。
【００７１】
Ｓ４１９では、画像補正部２１４は、画像補正を実行する。画像補正部２１４は、画像補正条件入力部２１３から画像補正ＯＮが入力された場合、画像補正を実行する。画像補正として、例えば、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正が実行される。画像補正部２１４は、画像補正条件入力部２１３から画像補正ＯＦＦが入力された場合、画像補正を実行しない。画像補正は、例えば、短辺１２００画素で、ｓＲＧＢの色空間にサイズが変換された画像データに対しても実行可能である。
【００７２】
Ｓ４２０では、レイアウト情報出力部２１５は、レイアウト情報を作成する。画像レイアウト部２１２は、Ｓ４１８で決定されたテンプレートの各スロットに対して、Ｓ４１９の画像補正が実行された画像データをレイアウトする。このとき、画像レイアウト部２１２は、スロットのサイズ情報に合わせてレイアウトする画像データを変倍してレイアウトする。そして、レイアウト情報出力部２１５は、テンプレートに画像データをレイアウトしたビットマップデータを生成する。
【００７３】
Ｓ４２１では、Ｓ４１７〜Ｓ４２０の処理が全ての見開きに対して終了したか否かが判定される。終了していないと判定された場合、Ｓ４１７からの処理を繰り返す。終了していると判定された場合、図４の自動レイアウト処理は終了する。
【００７４】
以下、図４のＳ４１４のサブシーン分割の詳細について説明する。図１１は、本実施形態における、アルバム作成アプリケーションの見開き割当部２０９に関するサブシーン分割の処理を示すフローチャートである。図１１を参照しながら、サブシーン分割の処理を説明する。
【００７５】
Ｓ１１０１では、見開き割当部２０９は、サブシーンの分割を実行する。サブシーンの分割方法については、図４のＳ４１４で説明したサブシーン分割と同様の手順であるので、その説明については省略する。図１２（Ａ）は、サブシーン分割数をＮとしたとき、Ｎ＝１４の例を示す図である。シーンＩＤは、各サブシーンに分割された固有のＩＤ（本例では１から１４までの数字に対応）を表す。
【００７６】
図１２（Ａ）のシーン情報は、各サブシーンにおける画像数、人物数、重要度、期間、時間差を含んで構成される。画像数は、サブシーンに分割された各シーンに含まれる画像の枚数を表す。人物数は、各シーンに含まれる画像中の人数の合計を表す。ここで、人数は、例えば、画像解析部２０４で検出された顔の数に対応する。重要度は、指定人物に対応する重み付けに基づいて、シーンに含まれる各画像データの重要度を合算した合計値を表す。本実施形態では、図４のＳ４０９での主人公設定において、自動設定および手動設定によらず、主人公とした人物が写った画像データの場合には「５」、主人公でない人物が写った画像の場合には「１」として、各画像データの重要度を合算した合計値を算出する。つまり、主人公が多く写った画像データが多いほど、それらの画像データが含まれるシーンは重要なシーンであると判定可能になる。なお、重要度はシーンの重要性を判定できる度合いを定義できればよく主人公に限定されない。例えば、顔数から導き出される人物数によって重要度を算出してもよい。人物数が少なくとも１以上の画像データの場合には「５」、人物数が０の画像データの場合には「１」として、各画像データの重要度を合算した合計値を算出する。つまり、顔が多く写った画像データが多いほど、それらの画像データが含まれるシーンは重要なシーンであると判定可能になる。また、画像データが動画データから切り出した画像を含む場合、画像データが多くなり、その当該シーンの重要度が増してしまうおそれがある。そのため、動画データか否かの識別子を取得し、動画から切り出した画像の画像数分を当該シーンの重要度から間引いてもよい。例えば、動画から切り出した画像データの場合には「０．１」、動画から切り出した画像データでない場合には「１」として、各画像データの重要度を合算した合計値を算出する。つまり、動画から切り出した画像データを多く含むシーンを重要なシーンと誤判定することを防ぐことができる。期間は、サブシーンに分割された各シーンに含まれる画像の撮影期間であり、画像データを撮影時間順に並べた時の先頭と最後尾との時間差を表す。時間差は、サブシーンに分割された各シーン間の時間差であり、画像データを撮影時間順に並べた時の対象シーンの最後尾と次シーンの先頭との撮影間隔を表す。図１２（Ａ）の「削除対象」、「シーン統合ＩＤ」については後述する。
【００７７】
Ｓ１１０２では、見開き割当部２０９は、サブシーンを削除する。本実施形態では、シーン情報の「重要度」が０であることを、見開きへの割り当てから除外する条件としている。例えば、図１２（Ａ）のシーンＩＤ「１１」は、重要度が０である。従って、シーンＩＤ「１１」は、上記の条件を満たすため、削除対象のシーンとなる。
【００７８】
Ｓ１１０３では、見開き割当部２０９は、サブシーンを統合（結合）する。見開き割当部２０９は、シーン数が見開き数に等しくなるまで、サブシーンの統合を繰り返す。本実施形態では、指定見開き数は、例えば１０である。図１２（Ａ）に示すように削除対象のシーンＩＤ「１１」を除く、残りの１３個のサブシーンについてシーンを統合する。サブシーンの統合方法については、図４のＳ４１５で説明したシーン統合と同様の手順であるので、その説明については省略する。なお、統合先のシーンの選択は、画像数が少ないシーンや、時間差が少ないシーンの何れを選んでもよくそれに限らない。例えば、シーン分類の結果が同一のシーンである場合は画像数の少ないシーンに統合し、シーン分類の結果が異なるシーンである場合は時間差の少ないシーンに統合することとしてもよい。図１２（Ａ）のシーン統合ＩＤの欄は、サブシーンのシーン統合の結果を示す。図１２（Ａ）では、シーンＩＤ「２」および「３」は、シーン統合ＩＤ「２」として統合されるサブシーンを表す。図１２（Ｂ）は、Ｓ１１０２およびＳ１１０３の処理結果を示す図である。図１２（Ｂ）に示すように、シーンが統合されて、図１２（Ａ）のシーン統合ＩＤが図１２（Ｂ）のシーンＩＤとなっている。なお、シーン情報は、シーン統合に伴って更新される。
【００７９】
Ｓ１１０４では、見開き割当部２０９は、各サブシーンについて、シーン情報が、重要なシーンであるための条件を満たすか否かを判定する。本実施形態では、見開き割当部２０９は、シーン情報を用いて、対応するシーンが重要なシーンであるか否かを判定する。例えば、撮影対象物としての主人公が多く写った画像が多い日常のシーンや、撮影期間が長く撮影頻度も高い旅行のシーンほど重要なシーンと判定され、その結果、見開きを構成するに値するシーンとして見開き内に残りやすくすることができる。反対に、主人公や人物が少ないシーンや、撮影期間が短く撮影頻度も低い突発的なシーンほど重要でないシーンと判定され、シーンの削除対象となりやすくすることができる。本実施形態では、各サブシーンについて、シーン情報として、画像数が１０以上、人物数が１０以上、重要度が２０以上、期間が１．５時間以上、時間差が１２時間以上を、重要なシーンであるための条件として予め定められている。図１２（Ｂ）に示した例では、１０個のサブシーンの何れのシーンについてもこの条件を満たしている。従って、Ｓ１１０４で見開き割当部２０９は、各サブシーンについて、シーン情報が、重要なシーンであるための条件を満たしていると判定し、図１１の処理を終了する。
【００８０】
Ｓ１１０４で各サブシーンについて、シーン情報が、重要なシーンであるための条件を満たしていないと判定された場合、Ｓ１１０５に進む。Ｓ１１０５では、見開き割当部２０９は、サブシーン分割数がＮであるとき、Ｎ＝Ｎ＋１の分割数を設定する。つまり、Ｓ１１０５では、見開き割当部２０９は、分割数を変更して、再度、Ｓ１１０１〜Ｓ１１０３の処理を行い、Ｓ１１０４で再び判定を行う。ただし、分割数の変更は分割と統合を際限なく繰り返し、終了できない場合があるため、分割数に上限を設定する。分割数の上限に達したか否かを判定し、上限に達したと判定された場合、分割数の再設定は行わずに図１１の処理を終了する。
【００８１】
以上のように、サブシーン分割処理を終了した段階で、全てのサブシーンについてシーン情報が、重要なシーンであるための条件を満たしていることになる。つまり、サブシーン分割処理を終了した段階で、全てのサブシーンを重要なシーンとすることができる。また、前述したようにシーン分割数と指定見開き数は同じになるので、図４のＳ４１６において各見開きが各サブシーンに対応付けられる。よって、重要であると判定されたシーンが、見開きを構成するのに値するシーンとして見開き内に残りやすくすることができ、重要なシーンの欠落を防止することができる。
【００８２】
［第２の実施形態］
第１の実施形態では、シーン情報は、各サブシーンにおける画像数、人物数、重要度、期間、時間差を含んで構成されるものとして説明し、Ｓ１１０４の判定では、それらのシーン情報を用いていた。しかしながら、Ｓ１１０４においては、画像データのコンテンツを条件として用いて判定するようにしても良い。例えば、撮影されたシーンの画像データからＧＰＳなどの位置情報が取得可能な場合、その位置情報をシーン情報として保持しておく。そして、Ｓ１１０４において、撮影されたシーンの位置情報が、観光スポット等の所定の場所を表す位置情報の周辺であるか否かや、ユーザのお気に入りの場所を表す位置情報と一致するか否かを判定する。そして、所定の場所を表す位置情報の周辺であると判定された場合や、ユーザのお気に入りの場所を表す位置情報と一致すると判定された場合、見開き割当部２０９は、そのシーンを重要なシーンであると判定する。
【００８３】
また、画像データから撮影情報が取得可能な場合、その撮影情報をシーン情報として保持しておく。ここで、撮影情報とは、例えば、スクリーンショットやメモのための撮影画像といった情報である。スクリーンショットやメモのための撮影画像などの種類は見開きにレイアウトされる画像データに適さないと考えられる場合、各シーンの画像データ数に対するそのような種類の画像データの割合が所定の閾値以上であれば、重要でないシーンと判定する。例えば、Ｓ１１０４で、見開き割当部２０９は、見開きレイアウト対象外の画像データが１００％であるシーンの「重要度」を０とし、Ｓ１１０２での削除対象となるようにしても良い。
【００８４】
上記では、画像データから取得される位置情報、撮影情報をＳ１１０４の判定の条件として用いているが、画像データから取得可能な情報であれば、上記の例に限られず、Ｓ１１０４の判定の条件として用いるようにしても良い。
【００８５】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８６】
１０１  ＣＰＵ：  １０２  ＲＡＭ：  １０３  ＲＡＭ：  １０４  ＨＤＤ
【図１】
0006532398.tif 000002
【図２】
0006532398.tif 000003
【図３】
0006532398.tif 000004
【図４】
0006532398.tif 000005
【図５】
0006532398.tif 000006
【図６】
0006532398.tif 000007
【図７】
0006532398.tif 000008
【図８】
0006532398.tif 000009
【図９】
0006532398.tif 000010
【図１０】
0006532398.tif 000011
【図１１】
0006532398.tif 000012
【図１２】
0006532398.tif 000013