(57)【特許請求の範囲】
【請求項１】
１の画像を基準画像として選択する画像選択手段と、
前記基準画像を含む画像の時間に関する情報を取得する取得手段と、
前記取得手段により取得される時間に関する情報に基づき、前記画像選択手段により選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する抽出手段と、
を備え、
前記抽出手段は、前記基準画像の時間に関する情報と他の画像の有する時間に関する情報との差分を、第１の差分として算出する第１の算出手段を備え、
時間的に隣接する時間に関する情報を有する他の複数の画像ごとの、前記第１の差分の合計に基づき、他の複数の画像を抽出する
ことを特徴とする画像抽出装置。
【請求項２】
前記抽出手段は、時間的に隣接する２の画像の有する時間に関する情報の差分を第２の差分として算出する第２の算出手段を、更に備え、
時間的に隣接する２の画像の有する時間に関する情報を有する他の複数の画像ごとの、前記第２の差分の合計を、更に加味して、前記画像選択手段により選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出することを特徴とする請求項１に記載の画像抽出装置。
【請求項３】
１の画像を基準画像として選択する画像選択手段と、
前記基準画像を含む画像の時間に関する情報を取得する取得手段と、
前記取得手段により取得される時間に関する情報に基づき、前記画像選択手段により選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する抽出手段と、
を備え、
前記抽出手段は、時間的に隣接する２の画像の有する時間に関する情報の差分を第２の差分として算出する第２の算出手段を備え、
時間的に隣接する２の画像の有する時間に関する情報を有する他の複数の画像ごとの、前記第２の差分の合計に基づき、他の複数の画像を抽出する
ことを特徴とする画像抽出装置。
【請求項４】
画像抽出装置で実行される画像抽出方法であって、
１の画像を基準画像として選択する画像選択処理と、
前記基準画像を含む画像の時間に関する情報を取得する取得処理と、
前記取得処理において取得される時間に関する情報に基づき、前記画像選択処理において選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する抽出処理と、
を含み、
前記抽出処理は、前記基準画像の時間に関する情報と他の画像の有する時間に関する情報との差分を、第１の差分として算出する第１の算出処理を含み、
時間的に隣接する時間に関する情報を有する他の複数の画像ごとの、前記第１の差分の合計に基づき、他の複数の画像を抽出する
ことを特徴とする画像抽出方法。
【請求項５】
画像抽出装置で実行される画像抽出方法であって、
１の画像を基準画像として選択する画像選択処理と、
前記基準画像を含む画像の時間に関する情報を取得する取得処理と、
前記取得処理において取得される時間に関する情報に基づき、前記画像選択処理において選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する抽出処理と、
を含み、
前記抽出処理は、時間的に隣接する２の画像の有する時間に関する情報の差分を第２の差分として算出する第２の算出処理を含み、
時間的に隣接する２の画像の有する時間に関する情報を有する他の複数の画像ごとの、前記第２の差分の合計に基づき、他の複数の画像を抽出する
ことを特徴とする画像抽出方法。
【請求項６】
画像抽出装置を制御するコンピュータに、
１の画像を基準画像として選択する画像選択機能と、
前記基準画像を含む画像の時間に関する情報を取得する取得機能と、
前記取得機能により取得される時間に関する情報に基づき、前記画像選択機能により選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する抽出機能と、
を実現させ、
前記抽出機能は、前記基準画像の時間に関する情報と他の画像の有する時間に関する情報との差分を、第１の差分として算出する第１の算出機能を含み、
時間的に隣接する時間に関する情報を有する他の複数の画像ごとの、前記第１の差分の合計に基づき、他の複数の画像を抽出する
ことを特徴とするプログラム。
【請求項７】
画像抽出装置を制御するコンピュータに、
１の画像を基準画像として選択する画像選択機能と、
前記基準画像を含む画像の時間に関する情報を取得する取得機能と、
前記取得機能により取得される時間に関する情報に基づき、前記画像選択機能により選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する抽出機能と、
を実現させ、
前記抽出機能は、時間的に隣接する２の画像の有する時間に関する情報の差分を第２の差分として算出する第２の算出機能を含み、
時間的に隣接する２の画像の有する時間に関する情報を有する他の複数の画像ごとの、前記第２の差分の合計に基づき、他の複数の画像を抽出する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像抽出装置、画像抽出方法及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラで撮影された画像の活用方法として、コラージュと呼ばれる手法が知られている。
コラージュとは、背景となる画像に複数の撮影画像を大きさや位置関係あるいは角度等をデザインして貼り付けて１枚の新たな画像を生成するもので、視覚的効果の高いものである。そのため、自分一人で楽しむだけではなく、Ｗｅｂ等で公開して皆で楽しむといったことが広く行われている。
コラージュに関連する技術として、例えば、特許文献１には、ユーザが選択した複数の画像から比較的容易にレイアウトされた合成画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−８０６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、コラージュ等のようにユーザが所望する複数の画像を用いて何らかの画像処理を行う従来の技術においては、ユーザが複数の画像を選択する必要がある等、効果的な画像処理を行うまでには大きな手間がかかるという問題がある。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、複数の画像から所望の画像をより容易に抽出できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像抽出装置は、
１の画像を基準画像として選択する画像選択手段と、
前記基準画像を含む画像の時間に関する情報を取得する取得手段と、
前記取得手段により取得される時間に関する情報に基づき、前記画像選択手段により選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する抽出手段と、
を備え、
前記抽出手段は、前記基準画像の時間に関する情報と他の画像の有する時間に関する情報との差分を、第１の差分として算出する第１の算出手段を備え、
時間的に隣接する時間に関する情報を有する他の複数の画像ごとの、前記第１の差分の合計に基づき、他の複数の画像を抽出する
ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の画像から所望の画像をより容易に抽出することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像抽出装置の外観構成を示す模式図であり、図１（Ａ）は、背面ユニット１Ｂを標準の位置に配置した状態、図１（Ｂ）は、背面ユニット１Ｂをヒンジの周りに転回した状態を示す図である。
【図２】本発明の一実施形態に係る画像抽出装置のハードウェアの構成を示すブロック図である。
【図３】画像抽出装置の機能的構成のうち、画像生成処理を実行するための機能的構成を示す機能ブロック図である。
【図４】レイアウトの例を示す模式図である。
【図５】画像抽出部５２における画像群の抽出処理の例を示す模式図である。
【図６】画像抽出部５２における画像群の抽出処理の例を示す模式図である。
【図７】図３の機能的構成を有する図１の画像抽出装置が実行する画像生成処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る画像抽出装置１の外観構成を示す模式図であり、図１（Ａ）は、背面ユニット１Ｂを標準の位置に配置した状態、図１（Ｂ）は、背面ユニット１Ｂをヒンジの周りに転回した状態を示す図である。
また、図２は、本発明の一実施形態に係る画像抽出装置１のハードウェアの構成を示すブロック図である。
画像抽出装置１は、例えばデジタルカメラとして構成される。本実施形態において、画像抽出装置１は、本体１Ａと、本体背面を構成する背面ユニット１Ｂとを備え、本体１Ａと背面ユニット１Ｂとがヒンジによって回転可能に連結された構成となっている。
【００１１】
画像抽出装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１５】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等のパラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像」と呼ぶ。撮像画像は、ＣＰＵ１１等に適宜供給される。
【００１８】
入力部１７は、出力部１８のディスプレイ１８ａに積層されるタッチパネルを備えており、ユーザの指示操作に応じて各種情報を入力する。なお、タッチパネルは接触式、非接触式を問わない。また、入力部１７は、タッチパネルに加えて、メインシャッタボタン１７ａ、フロントシャッタボタン１７ｂを含む各種ボタン等を含んで構成され、ユーザの指示操作に応じて各種情報を入力する。本実施形態において、メインシャッタボタン１７ａは、画像抽出装置１の天面に設置され、フロントシャッタボタン１７ｂは、画像抽出装置１の前面（光学レンズ部が突出する側の面）に設置されている。画像抽出装置１が、画像を撮影する撮影モードである場合には、メインシャッタボタン１７ａ及びフロントシャッタボタン１７ｂ共に、画像の撮影を指示するシャッタボタンとして機能する。一方、画像抽出装置１が、撮影された画像を再生する再生モードである場合、メインシャッタボタン１７ａは、画像の撮影を行う撮影モードに移行する指示を行うためのダイレクトボタンとして機能し、フロントシャッタボタン１７ｂは、コラージュ画像を簡単に生成させる処理（後述するダイレクトコラージュモード）の指示を行うためのダイレクトボタンとして機能する。
【００１９】
出力部１８は、ディスプレイ１８ａやスピーカ等で構成され、画像や音声を出力する。本実施形態において、画像抽出装置１の本体背面は、本体１Ａとは別の背面ユニット１Ｂとして構成されている。背面ユニット１Ｂは、ディスプレイ１８ａを備えており、本体背面の上辺部を回転軸とするヒンジによって本体１Ａと連結されている。そのため、スナップ写真や風景写真等を撮影する標準の使用状態では、ディスプレイ１８ａを本体背面に向けることができ（図１（Ａ）参照）、自分撮り等の特殊な使用状態では、背面ユニット１Ｂをヒンジの周りに転回し、ディスプレイ１８ａを本体前面に向けることができる（図１（Ｂ）参照）。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２０】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２１】
図３は、画像抽出装置１の機能的構成のうち、画像生成処理を実行するための機能的構成を示す機能ブロック図である。
画像生成処理とは、複数の画像の中から、自動または手動によって基準画像及び他の画像を選択し、これらの画像をレイアウトした１つの画像（コラージュ画像）を生成する一連の処理をいう。
【００２２】
画像生成処理が実行される場合、図３に示すように、ＣＰＵ１１において、基準画像選択部５１と、画像抽出部５２と、レイアウト選択部５３と、画像生成部５４と、基本制御部５５と、表示制御部５６とが機能する。
また、記憶部１９の一領域には、画像記憶部７１と、レイアウト記憶部７２とが設定される。
【００２３】
画像記憶部７１には、画像生成処理においてコラージュ画像の生成に用いる画像のデータが記憶される。画像記憶部７１に記憶される画像のデータは、例えば、画像抽出装置１において撮影された画像や、他の装置から入力された画像のデータである。
レイアウト記憶部７２には、画像生成処理においてコラージュ画像の生成に用いるレイアウトのデータが記憶される。
【００２４】
図４は、レイアウトの例を示す模式図である。なお、図４においては、レイアウト記憶部７２に記憶された４つのレイアウト（レイアウトＡ〜Ｄ）を一例として示している。
図４に示すように、レイアウトは、基準画像を含む所定枚数の画像をそれぞれ挿入するレイアウト枠と背景の画像とによって構成されたテンプレートである。レイアウトには、レイアウト枠の数（即ち、コラージュ画像を生成する画像の数）が設定され、各レイアウト枠には、位置関係（中心位置）、優先順位、挿入する画像の大きさ及び回転角度が設定されている。本実施形態においては、サイズが最大のレイアウト枠が優先順位の最も高い「主レイアウト枠」とされ、他のレイアウト枠は、左に位置するほど、かつ、上に位置するほど優先順位が高くなっている。コラージュ画像が生成される場合、基準画像が主レイアウト枠に配置され、他の画像は、基準画像と時間の関連性（後述）が高い順に、優先順位が高いレイアウト枠に配置される。なお、レイアウト記憶部７２に記憶されるレイアウトのデータは、予め用意されているものとする。
【００２５】
基準画像選択部５１は、コラージュ画像を生成する際の基準となる画像（基準画像）を選択する。本実施形態においては、コラージュ画像を生成するモードとして、コラージュ画像に用いる基準画像を自動的に選択する第１クイックコラージュモードと、コラージュ画像に用いる基準画像を手動で選択する第２クイックコラージュモードとが用意されている。第１クイックコラージュモードが指定された場合、基準画像選択部５１は、ディスプレイ１８ａに表示されている画像を基準画像として自動的に選択する。一方、第２クイックコラージュモードが指定された場合、基準画像選択部５１は、ユーザの手動によって選択された画像を基準画像とする。なお、本実施形態においては、第１クイックコラージュモードにおけるユーザの操作をさらに簡略化したダイレクトコラージュモードが用意されている。再生モードにおいてフロントシャッタボタン１７ｂが操作されると、ダイレクトコラージュモードに移行する。ダイレクトコラージュモードでは、基準画像選択部５１による基準画像の選択に加え、レイアウト選択部５３によるレイアウトの選択が自動的に行われる。本実施形態では、ダイレクトコラージュモードにおいて、基準画像選択部５１は、ディスプレイ１８ａに表示されている画像を基準画像として自動的に選択し、レイアウト選択部５３は、前回のコラージュ画像の生成で用いられたレイアウトを自動的に選択する。
【００２６】
画像抽出部５２は、各画像の時間に関する情報を取得する。具体的には、画像抽出部５２は、基準画像の撮影日時（年月日）を秒単位で取得する。
また、画像抽出部５２は、基準画像との時間の関連性に基づいて、基準画像と共にコラージュ画像を生成する画像群を抽出する。具体的には、画像抽出部５２は、基準画像を中心として、選択されたレイアウトのレイアウト枠の数に応じて、時間的に隣接する一群の画像（例えばレイアウト枠が４の場合は、基準画像及び時間的に古い方向及び新しい方向に３枚ずつの合計７枚の画像）を画像記憶部７１から取得する。即ち、画像抽出部５２は、基準画像を最も新しい画像として、撮影時間が近い設定枚数（例えば４枚）の画像群、基準画像を２番目に新しい画像として、撮影時間が近い設定枚数の画像群、基準画像を３番目に新しい画像として、撮影時間が近い設定枚数の画像群、というように時間的に隣接する設定枚数の画像を、基準画像を最も古い画像とする画像群まで抽出可能なように、一連の画像を取得する。
【００２７】
さらに、画像抽出部５２は、取得した一連の画像の撮影日時から、間隔時間及び離値時間を算出する。間隔時間とは、隣接する画像同士の撮影時間の差であり、離値時間とは、基準画像の撮影時間と各画像の撮影時間との差である。また、画像抽出部５２は、各画像群において、間隔時間の合計及び離値時間の合計を算出する。
そして、画像抽出部５２は、一連の画像に含まれる各画像群について間隔時間の合計及び離値時間の合計を算出し、これら間隔時間の合計及び離値時間の合計に基づいて、各画像群の中で、基準画像と時間の関連性が最も高い画像群を抽出する。本実施形態において、画像抽出部５２は、離値時間の合計が最も小さい画像群を、基準画像と時間の関連性が最も高い画像群として抽出する。ここで、離値時間の合計が最も小さい画像群が複数存在する場合、画像抽出部５２は、全ての画像群において、間隔時間の合計が最も小さい画像群を、基準画像と時間の関連性が最も高い画像群として抽出する。なお、間隔時間の合計が最も小さい画像群が複数存在する場合、画像抽出部５２は、全ての画像群において、最も古い画像を含む画像群を、基準画像と時間の関連性が最も高い画像群として抽出する。このように選択された画像群が、コラージュ画像を生成するために用いられる。
【００２８】
図５及び図６は、画像抽出部５２における画像群の抽出処理の例を示す模式図である。なお、図５及び図６におけるＮ，Ｍは、画像の番号を示す自然数である。
図５及び図６に示すように、基準画像を含む４枚の画像によってコラージュ画像を生成する場合、各画像の撮影日時を参照して、基準画像に隣接する古い画像及び新しい画像が各３枚ずつ、基準画像を含む合計７枚の画像が、画像記憶部７１からＲＡＭ１３に読み込まれる（手順１）。これら７枚の画像に対しては、隣接する４枚の画像群として、第１〜第４の選択パターンを想定することができる。
【００２９】
次に、手順１で読み込んだ７枚の画像において、間隔時間が算出される（手順２）。
次に、手順２で算出された間隔時間から、基準画像の撮影日時に対する離値時間が算出される（手順３）。
次に、手順２で算出された間隔時間及び手順３で算出された離値時間から、各選択パターンについて間隔時間の合計及び離値時間の合計が算出される（手順４）。
【００３０】
次に、手順４で算出された離値時間の合計を値が小さい順にソートし、離値時間の合計が最も小さい選択パターンが、基準画像と時間の関連性が最も高い画像群として抽出される（手順５）。
撮影日時の異なる基準画像を基に異なる７枚の画像を読み込み、手順５において、離値時間の合計が最も小さい選択パターンが複数存在する場合、手順４で算出された間隔時間の合計を値が小さい順にソートし、間隔時間の合計が最も小さい選択パターンが、基準画像と時間の関連性が最も高い画像群として抽出される（手順６）。
このような処理により、複数の画像からユーザが所望する画像をより容易に抽出することができる。
【００３１】
図３に戻り、レイアウト選択部５３は、第１クイックコラージュモード及び第２クイックコラージュモードにおいては、ユーザの手動によって選択されたレイアウトをコラージュ画像に用いるレイアウトとして選択する。また、レイアウト選択部５３は、ダイレクトコラージュモードにおいては、前回のコラージュ画像の生成で選択されたレイアウトを自動的に選択する。例えば、レイアウト選択部５３は、前回のコラージュ画像の生成で選択されたレイアウトを自動的に選択する。なお、ダイレクトコラージュモードにおいて、自動的に選択するデフォルトのレイアウトをユーザが指定できるようにしてもよい。
【００３２】
画像生成部５４は、基準画像選択部５１によって選択された基準画像と、画像抽出部５２によって抽出された画像群の画像とを、レイアウト選択部５３によった選択されたレイアウトのレイアウト枠に配置することにより、コラージュ画像を生成する。このとき、画像生成部５４は、レイアウトにおいて、基準画像を主レイアウト枠、他の画像を、基準画像と時間の関連性が高い順（即ち、撮影時間が近い順）に、優先順位が高いレイアウト枠に配置する。また、画像生成部５４は、各画像の大きさ、中心位置及び回転角度をそれぞれのレイアウト枠に合わせて変更した後、各画像をそれぞれのレイアウト枠に配置する。これにより、基準画像、画像群の画像及びレイアウトから、１つのコラージュ画像が生成される。
【００３３】
基本制御部５５は、画像抽出装置１の基本制御処理を実行し、メニュー画面の生成処理、メニュー画面において選択された各種操作に対応する処理、入力部１７に含まれる各種ボタンの操作に対応する処理を実行する。
【００３４】
表示制御部５６は、画像生成処理における各種画像やメニュー画面をディスプレイ１８ａに表示させる制御を実行する。例えば、表示制御部５６は、基準画像の候補を順次ディスプレイ１８ａに表示させたり、レイアウトの候補をディスプレイ１８ａに一覧表示させたりする。また、表示制御部５６は、画像生成部５４によって生成されたコラージュ画像をディスプレイ１８ａに表示させる。
【００３５】
図７は、図３の機能的構成を有する図１の画像抽出装置１が実行する画像生成処理の流れを説明するフローチャートである。
画像生成処理は、入力部１７を介して再生モードに移行され、画像記憶部７１に記憶されている画像が表示されることに対応して開始される。
【００３６】
ステップＳ１において、基本制御部５５は、ユーザによって表示画面に表示させる画像の選択操作が行われたか否かの判定を行う。
ユーザによって表示画面に表示させる画像の選択操作が行われた場合、ステップＳ１においてＹＥＳと判定されて、処理はステップＳ２に移行する。
一方、ユーザによって表示画面に表示させる画像の選択操作が行われていない場合、ステップＳ１においてＮＯと判定されて、処理はステップＳ３に移行する。
【００３７】
ステップＳ２において、基本制御部５５は、選択操作が行われた画像を表示画面に表示させる。
ステップＳ３において、基本制御部５５は、フロントシャッタボタン１７ｂが操作されたか否かの判定を行う。
フロントシャッタボタン１７ｂが操作されていない場合、ステップＳ３においてＮＯと判定されて、処理はステップＳ４に移行する。
一方、フロントシャッタボタン１７ｂが操作された場合、ステップＳ３においてＹＥＳと判定されて、処理はステップＳ１２に移行する。
【００３８】
ステップＳ４において、基本制御部５５は、メニュー操作が行われたか否かの判定を行う。
メニュー操作が行われていない場合、ステップＳ４においてＮＯと判定されて、処理はステップＳ５に移行する。
一方、メニュー操作が行われた場合、ステップＳ４においてＹＥＳと判定されて、処理はステップＳ６に移行する。
【００３９】
ステップＳ５において、基本制御部５５は、メニュー操作以外の処理（撮影モードへの移行等）を実行する。
ステップＳ５の後、画像生成処理は終了となる。
【００４０】
ステップＳ６において、基本制御部５５は、ユーザによって第１クイックコラージュモードが指定されたか否かの判定を行う。
ユーザによって第１クイックコラージュモードが指定されていない場合、処理はステップＳ７に移行する。
ユーザによって第１クイックコラージュモードが指定された場合、処理はステップＳ１０に移行する。
【００４１】
ステップＳ７において、基本制御部５５は、ユーザによって第２クイックコラージュモードが指定されたか否かの判定を行う。
ユーザによって第２クイックコラージュモードが指定されていない場合、処理はステップＳ８に移行する。
ユーザによって第２クイックコラージュモードが指定された場合、処理はステップＳ９に移行する。
【００４２】
ステップＳ８において、基本制御部５５は、メニュー操作で選択された機能に応じた処理（画像のコピーやスライドショー等）を実行する。
ステップＳ８の後、画像生成処理は終了となる。
【００４３】
ステップＳ９において、基準画像選択部５１は、ユーザによる基準画像の選択を受け付ける。このときユーザによって選択された画像が、基準画像選択部５１によって基準画像とされる。
ステップＳ９の後、処理はステップＳ１１に移行する。
ステップＳ１０において、基準画像選択部５１は、ディスプレイ１８ａに表示されている画像を基準画像として選択する。
【００４４】
ステップＳ１１において、レイアウト選択部５３は、ユーザによるレイアウトの選択を、レイアウトを示すサムネイルが一覧表示されている選択画面で行われる選択操作から受け付ける。このときユーザによって選択されたレイアウトが、レイアウト選択部５３によってコラージュ画像に用いるレイアウトとされる。なお、選択画面の表示形態はサムネイルの一覧表示に限らず、レイアウトを示す名称の一覧表示等であってもよい。
ステップＳ１２において、基準画像選択部５１は、ディスプレイ１８ａに表示されている画像を基準画像として選択する。
ステップＳ１３において、レイアウト選択部５３は、前回のコラージュ画像の生成で選択されたレイアウトをコラージュ画像に用いるレイアウトとして選択する。
【００４５】
ステップＳ１４において、画像抽出部５２は、コラージュ画像の生成に用いる画像の抽出処理を実行する。具体的には、画像抽出部５２は、各画像の時間に関する情報を取得する。また、画像抽出部５２は、各画像の時間に関する情報を基に、基準画像を中心として、時間的に隣接する一群の画像を画像記憶部７１から取得する。さらに、画像抽出部５２は、取得した一連の画像の撮影日時から、間隔時間及び離値時間を算出する。そして、画像抽出部５２は、一連の画像に含まれる各画像群について間隔時間の合計及び離値時間の合計を算出し、これら間隔時間の合計及び離値時間の合計に基づいて、各画像群の中で、基準画像と時間の関連性が最も高い画像群を抽出する。
【００４６】
ステップＳ１５において、画像生成部５４は、基準画像選択部５１によって選択された基準画像と、画像抽出部５２によって抽出された画像群の画像とを、レイアウト選択部５３によった選択されたレイアウトのレイアウト枠に配置することにより、コラージュ画像を生成する。
【００４７】
ステップＳ１６において、画像生成部５４は、生成したコラージュ画像を画像記憶部７１に記憶（保存）する。
ステップＳ１６の後、画像生成処理は終了となる。
以上のような処理により、第１クイックコラージュモードでは、ユーザが第１クイックコラージュモードに設定すると、ディスプレイ１８ａに表示されている画像が基準画像として選択され、基準画像と時間の関連性が高い画像群が自動的に抽出される。そして、ユーザが選択したレイアウトに基準画像及び画像群の画像が配置されることにより、コラージュ画像が生成される。
これにより、複数の画像から効果的な画像を容易に生成することができる。
また、ダイレクトコラージュモードでは、ディスプレイ１８ａに画像が表示されている際に、ユーザがフロントシャッタボタン１７ｂを操作すると、ユーザがメニュー操作を行うことなく、ディスプレイ１８ａに表示されている画像が基準画像として選択され、基準画像と時間の関連性が高い画像群が自動的に抽出される。そして、前回のコラージュ画像の生成で用いられたレイアウトが自動的に選択され、そのレイアウトに基準画像及び画像群の画像が配置されることにより、コラージュ画像が生成される。
これにより、ユーザが画像群の画像やレイアウトを選択する手間を省くことができ、複数の画像から効果的な画像をさらに容易に生成することができる。
【００４８】
（応用例１）
上記実施形態において、基準画像との時間の関連性に基づいて、基準画像と共にコラージュ画像を生成する画像群を抽出することとした。これに対し、各画像における時間以外の要素に基づいて、基準画像との関連性を判定することができる。
具体的には、基準画像の被写体との関連性に基づいて、基準画像との関連性を判定することができる。
例えば、基準画像に含まれる被写体の顔と一致する被写体を含む画像を対象として、コラージュ画像の生成に用いる画像群を抽出することができる。
この場合、画像抽出部５２が、基準画像に含まれる被写体の顔を検出し、画像記憶部７１に記憶されている各画像において、基準画像に含まれる被写体の顔と同一の顔が含まれる画像を取得する。そして、画像抽出部５２は、取得された画像を対象として、基準画像と時間の関連性が高い画像群を抽出する。
これにより、基準画像と同一の人物の画像からなるコラージュ画像を簡単に生成することが可能となる。
また、各画像における時間以外の要素として、例えば、各画像の撮影位置に基づいて、基準画像との関連性を判定することができる。
例えば、基準画像と撮影位置がより近い画像を対象として、コラージュ画像の生成に用いる画像群を抽出することができる。
この場合、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等の測位技術を利用して画像に撮影位置の情報を付加しておき、画像抽出部５２は、各画像の撮影位置を取得して、基準画像と撮影位置がより近い画像を、基準画像との関連性がより高いものと判定する。
これにより、基準画像と近い位置で撮影された画像からなるコラージュ画像を簡単に生成することが可能となる。
【００４９】
（応用例２）
上記実施形態において、基準画像に対して所定時間内（例えば１時間以内等）の画像を抽出し、抽出された画像の数に応じて、レイアウトを自動的に選択することとしてもよい。そして、レイアウトを選択する際に、前回のコラージュ画像の生成で用いられたレイアウトと近似するレイアウトを自動的に選択することとしてもよい。即ち、レイアウトを背景の種類やレイアウト枠の位置関係に応じて、近似するもの同士のグループに分類しておき、前回のコラージュ画像の生成で用いられたレイアウトと同一のグループ内のレイアウトを自動的に選択することができる。
これにより、ユーザが画像群の画像やレイアウトを選択する手間を省くことができ、コラージュ画像をより簡単に生成することが可能となる。
【００５０】
（応用例３）
上記実施形態において、基準画像との時間の関連性に基づいて、基準画像と共にコラージュ画像を生成する画像群を抽出する際に、暦の年毎あるいは月毎に時間の関連性を判定することとしてもよい。即ち、時間の関連性を判定する際に、年あるいは月の情報をマスクし、月以下あるいは日以下の単位で時間の関連性を判定することにより、各年の同時期あるいは各月の同時期を時間の関連性が高いものと判定することができる。
これにより、毎年あるいは毎月の同時期のイベント（誕生日や月例の発表会等）で撮影された画像からなるコラージュ画像を簡単に生成することができる。
【００５１】
（応用例４）
上記実施形態において、レイアウトを選択する際に、コラージュ画像に用いられる画像の枚数に応じて、レイアウトを自動的に選択することとしてもよい。即ち、画像抽出部５２によって抽出された画像群に含まれる画像の枚数に合わせたレイアウト枠の数を有するレイアウトを、レイアウト選択部５３が、自動的に１つまたは複数選択することとしてもよい。
これにより、ユーザがレイアウトを選択する手間を省くことができ、コラージュ画像をより簡単に生成することが可能となる。
【００５２】
以上のように構成される画像抽出装置１は、基準画像選択部５１と、画像抽出部５２とを備える。
基準画像選択部５１は、１の画像を基準画像として選択する。
画像抽出部５２は、画像の時間に関する情報を取得する。
また、画像抽出部５２は、その取得される時間に関する情報に基づき、基準画像選択部５１により選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する。
これにより、基準画像と時間の関連性が高い他の複数の画像を自動的に選択することができる。
したがって、複数の画像から所望の画像をより容易に抽出できる。
【００５３】
画像抽出部５２は、基準画像を含む画像の時間に関する情報を取得する。
これにより、基準画像を含む画像の時間に関する情報を基に、他の複数の画像について時間の関連性を判断することができる。
【００５４】
また、画像抽出部５２は、時間に関する情報に基づき、時間で配列された複数の画像から、基準画像の時間に関する情報と、時間的に連続する時間に関する情報を有する他の複数の画像の組み合わせを抽出する。
これにより、基準画像と時間的に連続する適切な画像の組み合わせを容易に抽出することができる。
【００５５】
また、画像抽出部５２は、抽出に先だって、時間に関する情報および所定の画像数に基づき、時間的に連続する組み合わせとして候補となりうる、時間的に連続する時間に関する情報を有する他の複数の画像を絞り込み、絞り込んだ中から抽出を行う。
これにより、基準画像と時間的に連続する適切な画像の組み合わせを効率的に抽出することができる。
【００５６】
また、画像抽出部５２は、基準画像を含む所定の画像数分時間的に前後に連続する時間に関する情報を有する他の複数の画像を絞り込み、絞り込んだ中から所定の画像数分の画像の抽出を行う。
これにより、基準画像と時間的に連続する適切な画像の組み合わせを効率的に抽出することができる。
【００５７】
また、画像抽出部５２は、基準画像と他の複数の画像の時間の関連性を所定の基準で評価し、その評価結果に基づき、他の複数の画像を所定の画像数分抽出する。
これにより、基準画像と時間的に連続する適切な画像を抽出することができる。
【００５８】
また、画像抽出部５２は、基準画像の時間に関する情報と他の画像の有する時間に関する情報との差分を、第１の差分として算出し、算出した第１の差分に基づき、他の複数の画像を抽出する。
これにより、基準画像との時間に関する情報の差分を考慮して、他の複数の画像を抽出することができる。
【００５９】
また、画像抽出部５２は、時間的に隣接する時間に関する情報を有する他の複数の画像ごとの、第１の差分の合計に基づき、他の複数の画像を抽出する。
これにより、基準画像との時間に関する情報の差分の合計を考慮して、他の複数の画像を抽出することができる。
【００６０】
また、画像抽出部５２は、時間的に隣接する２の画像の有する時間に関する情報の差分を第２の差分として算出し、算出した第２の差分に基づき、他の複数の画像を抽出する。
これにより、時間的に隣接する画像との時間に関する情報の差分を考慮して、他の複数の画像を抽出することができる。
【００６１】
また、画像抽出部５２は、時間的に隣接する２の画像の有する時間に関する情報を有する他の複数の画像ごとの、第２の差分の合計に基づき、他の複数の画像を抽出する。
これにより、時間的に隣接する画像との時間に関する情報の差分の合計を考慮して、他の複数の画像を抽出することができる。
【００６２】
また、画像抽出部５２は、時間に関する情報に基づき、時間で配列された複数の画像から、基準画像の時間に関する情報と、所定の時間の周期で時間的に近似する時間に関する情報を有する他の複数の画像の組み合わせを抽出する。
これにより、所定の周期毎に取得された画像を適切かつ容易に抽出することができる。
【００６３】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００６４】
上述の実施形態では、レイアウトを空間的な配置としていたが、これに限られない。即ち、時間的な配置としてもよい。
例えば、上述の実施形態と同様にして基準となる画像を選択し、基準となる画像と関連性を有する画像を自動的に抽出した後に、基準となる画像及び抽出された画像から１つの動画を生成する場合に、本発明を適用することができる。
この場合、上記実施形態におけるレイアウトのレイアウト枠は、各画像の時間軸上の配置順序に対応させることができ、レイアウトの背景は、各画像を繋ぐ演出のパターン等に対応させることができる。
また、基準画像を含む複数の画像によってコラージュ画像を生成する場合に本発明を適用するものとしたが、これに限られない。即ち、画像以外を対象として、本発明を適用することができる。例えば、ドキュメント、音楽等の各種コンテンツに本発明を適用することができる。
【００６５】
また、上記実施形態では、基準画像と画像群との時間の関連性を判定する際に、離値時間の合計を間隔時間の合計よりも優先して判定することとしたが、これに限られない。即ち、間隔時間の合計を離値時間の合計よりも優先して判定したり、離値時間の合計あるいは間隔時間の合計のいずれかのみを判定したりすることとしてもよい。また、離値時間あるいは間隔時間の合計を算出する際に、離値時間あるいは間隔時間を単純加算する場合の他、離値時間あるいは間隔時間それぞれを自乗して加算することが可能である。また、離値時間あるいは間隔時間の合計の他、離値時間あるいは間隔時間同士を乗算して得た値がより小さいものを基準画像との時間の関連性が大きいものと判定してもよい。
【００６６】
また、上述の実施形態では、本発明が適用される画像抽出装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【００６７】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像抽出装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００６８】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００６９】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部１９に含まれるハードディスク等で構成される。
【００７０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７１】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７２】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
１の画像を基準画像として選択する画像選択手段と、
画像の時間に関する情報を取得する取得手段と、
前記取得手段により取得される時間に関する情報に基づき、前記画像選択手段により選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する抽出手段と、
を備えることを特徴とする画像抽出装置。
［付記２］
前記取得手段は、前記基準画像を含む画像の時間に関する情報を取得することを特徴とする付記１に記載の画像抽出装置。
［付記３］
前記抽出手段は、前記時間に関する情報に基づき、時間で配列された複数の画像から、前記基準画像の時間に関する情報と、時間的に連続する時間に関する情報を有する他の複数の画像の組み合わせを抽出することを特徴とする付記２に記載の画像抽出装置。
［付記４］
前記抽出手段は、抽出に先だって、前記時間に関する情報および前記所定の画像数に基づき、時間的に連続する組み合わせとして候補となりうる、時間的に連続する時間に関する情報を有する他の複数の画像を絞り込み、絞り込んだ中から抽出を行うことを特徴とする付記３に記載の画像抽出装置。
［付記５］
前記抽出手段は、前記基準画像を含む前記所定の画像数分時間的に前後に連続する時間に関する情報を有する他の複数の画像を絞り込み、絞り込んだ中から前記所定の画像数分の画像の抽出を行うことを特徴とする付記４に記載の画像抽出装置。
［付記６］
前記抽出手段は、前記基準画像と他の複数の画像の時間の関連性を所定の基準で評価し、その評価結果に基づき、他の複数の画像を前記所定の画像数分抽出することを特徴とする付記２に記載の画像抽出装置。
［付記７］
前記抽出手段は、前記基準画像の時間に関する情報と他の画像の有する時間に関する情報との差分を、第１の差分として算出する第１の算出手段を備え、
前記第１の算出手段によって算出された第１の差分に基づき、他の複数の画像を抽出することを特徴とする付記６に記載の画像抽出装置。
［付記８］
前記抽出手段は、時間的に隣接する時間に関する情報を有する他の複数の画像ごとの、前記第１の差分の合計に基づき、他の複数の画像を抽出することを特徴とする付記７に記載の画像抽出装置。
［付記９］
前記抽出手段は、時間的に隣接する２の画像の有する時間に関する情報の差分を第２の差分として算出する第２の算出手段を備え、
前記第２の算出手段によって算出された第２の差分に基づき、他の複数の画像を抽出することを特徴とする付記６に記載の画像抽出装置。
［付記１０］
前記抽出手段は、時間的に隣接する２の画像の有する時間に関する情報を有する他の複数の画像ごとの、前記第２の差分の合計に基づき、他の複数の画像を抽出することを特徴とする付記９に記載の画像抽出装置。
［付記１１］
前記抽出手段は、時間に関する情報に基づき、時間で配列された複数の画像から、前記基準画像の時間に関する情報と、所定の時間の周期で時間的に近似する時間に関する情報を有する他の複数の画像の組み合わせを抽出することを特徴とする付記６に記載の画像抽出装置。
［付記１２］
画像抽出装置で実行される画像抽出方法であって、
１の画像を基準画像として選択する画像選択処理と、
画像の時間に関する情報を取得する取得処理と、
前記取得処理において取得される時間に関する情報に基づき、前記画像選択処理において選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する抽出処理と、
を含むことを特徴とする画像抽出方法。
［付記１３］
画像抽出装置を制御するコンピュータに、
１の画像を基準画像として選択する画像選択機能と、
画像の時間に関する情報を取得する取得機能と、
前記取得機能により取得される時間に関する情報に基づき、前記画像選択機能により選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する抽出機能と、
を実現させることを特徴とするプログラム。
【符号の説明】
【００７３】
１・・・画像抽出装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１７ａ・・・メインシャッタボタン，１７ｂ・・・フロントシャッタボタン，１８・・・出力部，１８ａ・・・ディスプレイ，１９・・・記録部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・基準画像選択部，５２・・・画像抽出部、５３・・・レイアウト選択部，５４・・・画像生成部，５５・・・基本制御部，５６・・・表示制御部，７１・・・画像記憶部，７２・・・レイアウト記憶部
【要約】
【課題】複数の画像から所望の画像をより容易に抽出できるようにすること。
【解決手段】画像抽出装置１は、基準画像選択部５１と、画像抽出部５２とを備える。基準画像選択部５１は、１の画像を基準画像として選択する。画像抽出部５２は、基準画像選択部５１により取得される時間に関する情報に基づき、前記選択手段により選択された基準画像に、時間の関連性がより高い他の複数の画像を所定の画像数分抽出する。
【選択図】図３【図１】
0005884873.tif 000002
【図２】
0005884873.tif 000003
【図３】
0005884873.tif 000004
【図４】
0005884873.tif 000005
【図５】
0005884873.tif 000006
【図６】
0005884873.tif 000007
【図７】
0005884873.tif 000008