(57)【要約】【課題】複数の画像を組み合わせてなる１の組画像を生成する際に、複数の類似画像に対して、被写体に応じた編集およびソートを行い、組画像を生成する画像生成方法、画像生成装置、および記録媒体を提供する。【解決手段】複数の画像を取得して、取得した複数の画像のうち、特徴量の類似する少なくとも２以上の画像同士を１の類似画像群として選択し、類似画像群の各画像において共通する被写体を抽出して定点オブジェクトおよび動作オブジェクトに分類し、定点オブジェクトを基準とした場合の動作オブジェクトの前記各画像上での位置に基づいて、類似画像群の各画像をソートし、ソートされた順に各画像を配置して、１の組画像を生成することにより、上記課題を解決する。【選択図】図４
2009237990.tif 000002
【特許請求の範囲】
【請求項１】
複数の類似画像を組み合わせた組画像の画像生成方法であって、
複数の画像を取得するステップと、
前記取得した複数の画像のうち、特徴量の類似する少なくとも２以上の画像同士を、１の類似画像群として選択するステップと、
前記類似画像群の各画像において共通する被写体を抽出するステップと、
前記被写体の前記各画像上での位置に基づいて、前記類似画像群の各画像をソートするステップと、
前記類似画像群の各画像のうち、前記組画像に配置するための複数の画像を抽出して、ソートされた順に配置して、１の組画像を生成するステップとを有することを特徴とする画像生成方法。
【請求項２】
前記共通する被写体のうち、前記組画像における定点となる定点被写体、および、前記組画像における動作の対象となる動作被写体を決定し、前記各画像における前記定点被写体と前記動作被写体との位置の差分値に基づいて前記ソートを行う請求項１に記載の画像生成方法。
【請求項３】
さらに、前記動作被写体が人物である場合に、前記動作被写体の顔の向きが徐々に変化するように前記ソートを行う請求項２に記載の画像生成方法。
【請求項４】
さらに、前記ソートされた類似画像群に、前記定点被写体のサイズおよび画像上の位置が同じになるようにトリミングを行うステップを有する請求項２または３に記載の画像生成方法。
【請求項５】
画像の色、明るさ、周波数情報、エッジ情報のうち１以上を用いて、前記類似画像群を選択する請求項１〜４のいずれかに記載の画像生成方法。
【請求項６】
複数の類似画像を組み合わせた組画像の画像生成装置であって、
複数の画像を取得する画像取得部と、
前記複数の画像のうち、特徴量の類似する少なくとも２以上の画像同士を、１の類似画像群として選択するグルーピング部と、
前記類似画像群の各画像において共通する被写体を抽出する抽出部と、
前記被写体の前記各画像上での位置に基づいて、前記類似画像群の各画像をソートするソート部と、
前記類似画像群の各画像のうち、前記組画像に配置するための複数の画像を抽出して、ソートされた順に配置して、１の組画像を生成する組画像生成部とを有することを特徴とする画像生成装置。
【請求項７】
複数の類似画像を組み合わせた組画像の画像生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって、
複数の画像を取得するステップと、
前記取得した複数の画像のうち、特徴量の類似する少なくとも２以上の画像同士を、１の類似画像群として選択するステップと、
前記類似画像群の各画像において共通する被写体を抽出するステップと、
前記被写体の前記各画像上での位置に基づいて、前記類似画像群の各画像をソートするステップと、
前記類似画像群の各画像のうち、前記組画像に配置するための複数の画像を抽出して、ソートされた順に配置して、１の組画像を生成するステップとをコンピュータに実行させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を組み合わせて１の組画像を生成する画像生成方法、画像生成装置、および記録媒体に関し、詳しくは、複数の類似画像に対して、被写体に応じた編集およびソートを行い、組画像を生成する画像生成方法、画像生成装置、およびこのような画像生成方法をコンピュータに実行させるためのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
近年、ユーザが撮影した複数の画像の中から、類似する画像を類似画像群として抽出して、これを利用する各種の方法やシステムが考案されている。
例えば、特許文献１には、同じような構図や被写体で連続して撮影した複数の撮影画像の中から、最良の画像を選択する方法が開示されている。特許文献１では、複数の撮影画像の中からある１枚の画像を選択して、選択された画像とその前後に撮影された画像との類似度を計算することにより類似画像を抽出し、選択された画像および類似画像について、画像特徴量に基づいてピント判定や手ブレ判定などを行い、各画像の写りを比較することにより、最良の画像を選択することができると記載されている。
【０００３】
また、特許文献２には、互いに類似する複数の画像からなる画像群の中から、より効率的に削除または保存対象の画像を選択する画像表示装置および方法などが開示されている。特許文献２では、複数の画像を、各画像の画像特徴量を比較することで類似画像群に分類し、その中の各画像について、人物の表情の豊かさや綺麗さ、被写体ぶれが起きている確率、顔の大きさ、画像の水平度、被写体の明るさなどの評価値を算出して、評価値順に画像をソートすることで、ユーザが削除または保存を行う画像を容易に選択することができると記載されている。
【０００４】
【特許文献１】特開２００７−８８５９４号公報
【特許文献２】特開２００７−９７０９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述のように、従来の方法によれば、似たような構図や特徴を持つ画像の分類を行うことが可能である。また、これにより、類似画像の中からプリントに適した画像やユーザの好みの画像を効率よく選別して表示させることができる。
ところで、このような従来の方法により類似画像を判別し、これらを用いて処理を行う際には、上述したように、最良の画像を選択したり画像の削除や保存の決定を容易にするなどの、画像の取捨選択を行うだけでなく、複数の類似画像同士を組み合わせて新たに１つの組画像を生成することにより、類似画像を利用することも考えられる。
【０００６】
本発明の目的は、特定の被写体を撮影した複数の類似画像を組み合わせて、見た者に被写体が動いているような雰囲気を感じさせる組画像を生成することのできる画像生成方法、これを実現する画像生成装置、およびこのような画像生成方法をコンピュータに実行させるためのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、複数の類似画像を組み合わせた組画像の画像生成方法であって、複数の画像を取得するステップと、前記取得した複数の画像のうち、特徴量の類似する少なくとも２以上の画像同士を、１の類似画像群として選択するステップと、前記類似画像群の各画像において共通する被写体を抽出するステップと、前記被写体の前記各画像上での位置に基づいて、前記類似画像群の各画像をソートするステップと、前記類似画像群の各画像のうち、前記組画像に配置するための複数の画像を抽出して、ソートされた順に配置して、１の組画像を生成するステップとを有することを特徴とする画像生成方法を提供する。
【０００８】
また、前記共通する被写体のうち、前記組画像における定点となる定点被写体、および、前記組画像における動作の対象となる動作被写体を決定し、前記各画像における前記定点被写体と前記動作被写体との位置の差分値に基づいて前記ソートを行うことが好ましい。
さらに、前記動作被写体が人物である場合に、前記動作被写体の顔の向きが徐々に変化するように前記ソートを行うことが好ましい。
【０００９】
また、前記ソートされた類似画像群に、前記定点被写体のサイズおよび画像上の位置が同じになるようにトリミングを行うステップを有することが好ましい。
さらに、画像の色、明るさ、周波数情報、エッジ情報のうち１以上を用いて、前記類似画像群を選択することが好ましい。
【００１０】
また、上記課題を解決するために、本発明は、複数の類似画像を組み合わせた組画像の画像生成装置であって、複数の画像を取得する画像取得部と、前記複数の画像のうち、特徴量の類似する少なくとも２以上の画像同士を、１の類似画像群として選択するグルーピング部と、前記類似画像群の各画像において共通する被写体を抽出する抽出部と、前記被写体の前記各画像上での位置に基づいて、前記類似画像群の各画像をソートするソート部と、前記類似画像群の各画像のうち、前記組画像に配置するための複数の画像を抽出して、ソートされた順に配置して、１の組画像を生成する組画像生成部とを有することを特徴とする画像生成装置を提供する。
【００１１】
さらに、上記課題を解決するために、本発明は、複数の類似画像を組み合わせた組画像の画像生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって、複数の画像を取得するステップと、前記取得した複数の画像のうち、特徴量の類似する少なくとも２以上の画像同士を、１の類似画像群として選択するステップと、前記類似画像群の各画像において共通する被写体を抽出するステップと、前記被写体の前記各画像上での位置に基づいて、前記類似画像群の各画像をソートするステップと、前記類似画像群の各画像のうち、前記組画像に配置するための複数の画像を抽出して、ソートされた順に配置して、１の組画像を生成するステップとをコンピュータに実行させるためのプログラムを記録した記録媒体を提供する。
【発明の効果】
【００１２】
本発明の画像生成方法、画像生成装置、および記録媒体によれば、特定の被写体を撮影した複数の類似画像を類似画像群として抽出して、これらの画像に共通する被写体の動きに応じて各画像を組み合わせることで、被写体が動いているような雰囲気のある組画像を生成することができる。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明に係る画像生成方法を実現する本発明の画像生成装置について、添付の図面に示す好適実施形態に基づいて詳細に説明する。
【００１４】
本発明において生成する組画像の一例を図２に示す。
本発明は、同一の被写体が写っている複数の画像を、被写体の動きに合わせて並べて１つの画像として表示することで、被写体が動いているような雰囲気のある組画像を生成するものである。
例えば、図２（ａ）に示すように、ある特定の人物が複数の画像に被写体として写っている場合は、それらの画像を並べて表示することで、この人物が動いているような雰囲気のある組画像を作製することができる。また、図２（ｂ）に示すように、特定の人物が複数の画像に被写体として写っており、かつ、各画像上において、この人物の位置が異なっている場合は、被写体の位置の変化に合わせて画像を並べることで、この人物が移動している雰囲気のある組画像を作製することができる。
【００１５】
図１は、本発明における画像生成装置の装置構成の一実施例を示すブロック図である。
図１に示す画像生成装置１０は、画像取得部１２、グルーピング部１４、オブジェクト抽出部１６、トリミング部１８、ソート部２０、レイアウト部２２、および出力部２４を有する。
【００１６】
画像取得部１２は、ネットワークなどを介して複数の画像を取得し、一時的に記憶するものである。本発明の画像生成装置においては、画像の取得方法には特に限定はなく、ネットワーク上のサーバなどからダウンロードしてもよいし、画像生成装置１０に直接、画像を記憶しているデジタルカメラなどの撮像装置を接続して、データの送受信を行うことにより、画像を取得してもよい。
【００１７】
グルーピング部１４は、画像取得部１２により取得した複数の画像の中から、互いに類似する画像を複数抽出して、これらを、組み合わせて１つの組画像とするための類似画像群としてグルーピングするものである。
類似画像の抽出方法については特に限定はなく、公知の方法に基づいて行えばよい。
例えば、前述の特許文献１に記載のように、相互相関を用いて画像の類似度を算出し、算出された値が所定の閾値よりも高いか低いかにより、類似画像を判定することができる。また、特許文献２に記載のように、エッジ検出処理によるエッジ特徴量や、色信号のヒストグラム処理による色特徴量、形状やテクスチャを示す特徴量、サイズを示す特徴量などの複数の特徴量を求め、これらの特徴量を画像群の間で比較し、特徴量の差によって類似しているかどうかの判定を行ってもよい。さらに、画像中の明るさ、周波数情報などの画像特徴量を用いて類似画像群のグルーピングを行ってもよい。
【００１８】
オブジェクト抽出部１６は、グルーピング１４で設定された類似画像群の中の各画像において、共通して写っている被写体を抽出するものである。なお、被写体の抽出は、類似画像の抽出と同様に、画像特徴量などに基づいて公知の方法により行えばよい。
オブジェクト抽出部１６において抽出される被写体は、定点オブジェクトおよび動作オブジェクトの２種類に分類される。
定点オブジェクトは、全ての類似画像群において、位置および状態の変化しない被写体であり、例えば、木、山、建物などの静物や背景である。
動作オブジェクトは、類似画像群の各画像において、位置や状態が異なる被写体であり、例えば、人間や動物などである。
なお、静物であっても、走っている自動車などのように、類似画像群において位置や状態が変化しているものであれば、動作オブジェクトになり得る。反対に、静止している人物や動物など、類似画像群の各画像において、全く位置や状態の変化がないものであれば、定点オブジェクトとすることができる。
【００１９】
定点オブジェクトは、どの画像においても同じ形状であり、各画像に完全に一致して共通する被写体として抽出される。他方、動作オブジェクトは、各画像において少しずつ状態が異なるため、各画像において完全には一致せず、ある程度類似した被写体となる。このため、類似画像群の各画像に共通する各被写体の類似度に基づいて、これらの被写体が定点オブジェクトであるか動作オブジェクトであるかを判断することができる。
図２（ａ）に示す組画像の例では、各画像の中心部に写っている人物が動作オブジェクトであり、背景として写っている木が定点オブジェクトとなる。
【００２０】
トリミング部１８は、類似画像群の各画像において、定点オブジェクトを基準として、拡縮処理やトリミングを行い、各画像における定点オブジェクトのサイズおよび画像上の位置を統一するものである。
【００２１】
ソート部２０は、トリミング部１８において編集された類似画像群の各画像について、動作オブジェクトの画像上での位置の変化に基づいて、類似画像群のソートを行うものである。
【００２２】
レイアウト部２２は、トリミング部１８において編集された類似画像群を、ソート部２０においてソートされた順に、並べて画像のレイアウトを作製し、これを１つの組画像とするものである。
出力部２４は、レイアウト部２２においてレイアウトされた組画像を、プリントや電子アルバムなどの所定の形式で出力するものである。なお、本発明においては、組画像はプリントとして出力を行ってもよいし、電子アルバムなどの電子データとして作製される製品の１部分として生成してもよい。
【００２３】
次に、本発明の画像生成装置における第１の実施形態の具体的な作用について、図３〜図５に基づいて詳述する。
【００２４】
図３は、本発明の画像生成方法の処理の流れを示すフロー図である。
まず、ステップＳ１０において、画像取得部１２が、複数の画像を取得し、これをグルーピング部１４に送信する。次に、ステップＳ１２において、グルーピング部１４が、取得した画像群の中から互いに類似する複数の画像を判定し、これらを類似画像群としてグルーピングする。
グルーピングされた類似画像群は、オブジェクト抽出部１６に送信される。オブジェクト抽出部１６は、類似画像群の各画像に共通する被写体を抽出し、さらに、それらを定点オブジェクトまたは動作オブジェクトに分類する。
【００２５】
被写体の抽出が終了すると、トリミング部１８が、抽出された定点オブジェクトおよび動作オブジェクトに基づいて、類似画像群の拡縮処理およびトリミングを行う。
【００２６】
図４にトリミングの一例を示す。図４に示す３つの画像からなる類似画像群では、人物Ａ、人物Ｂ、および植物Ｃが類似画像群に共通する被写体として抽出されている。また、人物Ａおよび人物Ｂが動作オブジェクトであり、植物Ｃが定点オブジェクトである。
トリミング部１８では、３つの画像について、定点オブジェクトである植物Ｃを基準として、植物Ｃが画像の左下の同位置に、同サイズで写るように、拡縮処理およびトリミングを行う。
このように、定点オブジェクトを基準としてトリミングを行うことにより、各画像における動作オブジェクトの変化が認識し易くなる。
トリミング部１８は、トリミングを行った画像から、動作オブジェクトの画像上の位置情報を得る（ステップＳ１４）。さらに、この位置情報に基づき、ソート部２０において、類似画像群のソートが行われる（ステップＳ１６）。
【００２７】
本実施形態においては、一例として、各画像における定点オブジェクトと動作オブジェクトとの距離の変化に基づいてソートを行うものとする。
ソート部２０では、類似画像群の各画像において、定点オブジェクトと動作オブジェクトとの位置差分を求める。
図４に示す例においては、植物Ｃと人物Ｂとの距離を算出する。すると、両者の距離は、左端の画像が最も近く、右端の画像が最も遠い。したがって、トリミング部１８では、この距離に基づいて、動作オブジェクトの動きの方向に合わせて画像のソートを行うことができる。また、ソートは、植物Ｃと人物Ｂとの距離とが近い順であってもよいし、遠い順であってもよい。
【００２８】
ソートが完了すると、レイアウト部２２において、ソートされた順に各画像を配置して、組画像を作製する。
なお、この時、ソートされた全ての類似画像群を配置してもよいが、類似画像群が大量に存在する場合には、類似画像群の中から、ソート順に従って、一定の画像数おきに画像を抽出し、抽出された画像を用いて組画像を作製してもよい。例えば、類似画像群が１０枚ある場合に、２枚おきに画像を抽出するのであれば、ソートされた順に、１、４、７、１０枚目の画像を用いるようにすればよい。あるいは、抽出する画像の間隔は、一定でなくてもよく、例えば、隣り合う画像同士の類似度などに応じて、１、２、５、７、１０枚目の画像を用いるなど、異なる間隔によって画像を抽出してもよい。
【００２９】
レイアウトは、動作オブジェクトの動きに合わせた形で行うことが好ましい。例えば、類似画像群の各画像において動作オブジェクトの位置が横方向に異なっている場合は、各画像を横に並べてレイアウトしたり、動作オブジェクトの位置が各画像の縦方向において異なっている場合には、各画像を縦方向に並べてレイアウトを行うと、動作オブジェクトの動きをより効果的に表現することができる。
そして、出力部２４において、組画像が所定の形式で出力される。
【００３０】
このような本実施形態によれば、類似画像群の中で共通する定点オブジェクトを決定し、これを基準に画像のトリミングを行い、さらに、動作オブジェクトの位置の変化に応じて画像群のソートを行うことにより、複数の類似画像群からなる組画像において、動作オブジェクトが動いているように感じられる組画像を生成することができる。
【００３１】
また、上述した第１の実施形態では、定点オブジェクトと動作オブジェクトとの位置関係に基づいて類似画像群のソートを行っているが、本発明では、被写体の向きに基づいてソートを行うこともできる。
第２の実施形態では、動作オブジェクトが人物である場合に、この人物の顔の向きに基づいてソートを行い、組画像を生成する。
【００３２】
第２の実施形態では、ソート部２０におけるソートの方法（図３のステップＳ１４およびＳ１６）以外の構成については、第１の実施形態と同様であるので、第１の実施形態と同様の部分については、詳細な説明を省略する。
【００３３】
第２の実施形態では、まず、図３のステップＳ１０およびステップＳ１２において、画像取得部１２によって複数の画像を取得し、グルーピング部１４によって類似画像群のグルーピングを行う。さらに、オブジェクト抽出部１６において、類似画像群内の画像に共通する被写体を抽出して、それらを定点オブジェクトおよび動作オブジェクトに分類し、必要に応じて、トリミング部１８において、定点オブジェクトを基準とした拡縮処理およびトリミングを行う。
【００３４】
次に、ソート部２０において、類似画像群のソートを行う。ここで、第２の実施形態では、動作オブジェクトは人物である。ソート部２０では、人物の顔を抽出して、さらに、その顔の向きを判別する。そして、顔の向きが徐々に変化していくような順番で、類似画像群のソートを行う。
【００３５】
図５に、第２の実施形態におけるソートの一例を示す。図５（ａ）および（ｂ）に示す類似画像群においては、動作オブジェクトである人物は、それぞれ左向き、右向き、正面、および後ろを向いている。ソート部２０は、これらの画像を、徐々に人物の顔の向きが変わっていくように、左向き、正面向き、右向き、後ろ向きの順にソートする。また、このような組画像は、図５（ａ）のように、顔の向きだけが変わっているものであっても、図５（ｂ）のように、顔と体の向きが共に変わっているものであってもよい。
【００３６】
レイアウト部２２では、このソート順に従って、類似画像群を並べてレイアウトし、組画像とする。さらに、出力部２４において、レイアウトされた組画像を出力する。
このようにソートを行い、類似画像群を並べることにより、動作オブジェクトである人物が徐々に回転しているように感じられる組画像を生成することができる。
【００３７】
また、上述した第１および第２の実施形態においては、画像中の定点オブジェクトのサイズが同一になるように、トリミング部１８において拡縮処理およびトリミングが行われるが、本発明はこれに限定されず、動作オブジェクトのサイズが徐々に変化するように、拡縮処理およびトリミングを行ってもよい。
例えば、動作オブジェクトのサイズが徐々に大きくなるように拡縮処理およびトリミングを行うことで、画像の一部を徐々に拡大していくような組画像を生成することができる。この場合も、定点オブジェクトを基準に拡縮処理およびトリミングを行った後、さらに、トリミングの領域を、動作オブジェクトを中心として画像ごとに徐々に小さくしていき、さらに、トリミングされた画像を同サイズに拡縮処理して組画像を生成すればよい。このような組画像においては、動作オブジェクトがだんだん近づいてくるような印象を与えるという効果を得ることができる。
【００３８】
以上のような本発明の画像生成装置、画像生成方法、および、このような画像生成方法をコンピュータに実行させるためのプログラムを記録した記録媒体によれば、複数の類似画像を組み合わせて、被写体が動いているような雰囲気のある組画像を作り出すことができる。
また、上述した第１〜第２の実施形態は、それぞれ単独で用いてもよいし、２以上の実施形態を組み合わせることにより、さらに効果的な組画像を生成してもよい。
【００３９】
以上、本発明の画像生成方法、画像生成装置、および記録媒体について詳細に説明したが、本発明は上記種々の実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【図面の簡単な説明】
【００４０】
【図１】本発明の画像生成装置のシステム構成の一例を示すブロック図である。
【図２】本発明の組画像の一例を示す模式図である。
【図３】本発明の画像生成装置における処理の流れの一例を示すフロー図である。
【図４】組画像のトリミングの手順の一例を示す模式図である。
【図５】（ａ）は、組画像のソートの手順の一例を示す模式図であり、（ｂ）は、組画像のソートの手順の他の一例を示す模式図である。
【符号の説明】
【００４１】
１０  画像生成装置
１２  画像取得部
１４  グルーピング部
１６  オブジェクト抽出部
１８  トリミング部
２０  ソート部
２２  レイアウト部
２４  出力部
【図１】
2009237990.tif 000003
【図２】
2009237990.tif 000004
【図３】
2009237990.tif 000005
【図４】
2009237990.tif 000006
【図５】
2009237990.tif 000007