(57)【要約】【課題】同一ページ内の画像群などひとまとまりの画像群において強い印象を与える画像の部分の画質をそろえ、ひとまとまりの画像群全体でそろった印象を与えるフォトブックの作成に適用可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】人物の顔を含むグループＧ１の画像Ｉ１およびＩ２については、顔領域Ｆ１の画像の特徴量が、良好な顔領域Ｆ２の画像の特徴量に合わせられる画像補正が行われる。また、建物を含むグループＧ２の画像Ｉ３およびＩ４については、建物の領域Ｆ３の画像の特徴量が、良好な建物の領域Ｆ４の画像の特徴量に合わせられる画像補正が行われる。これにより、顔領域または誘目度が一定以上の領域など人の注目を集める画像の領域の画質が、良い画像の画質にそろえられた合成画像を作成することができ、ページ内など画像の配置単位内で画質がそろった印象を見る者に与えることができる。【選択図】図４
2019208088.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を受け付ける画像受付部と、
前記複数の画像を複数のグループにグルーピングするグルーピング部と、
前記グループごとに、前記グループに属する画像の中から基準画像を特定する基準画像特定部と、
前記グループに属する画像について、画質を調整する画質調整対象領域を特定する画質調整対象領域特定部と、
前記グループに属する前記基準画像以外の画像について、前記画質調整対象領域の画質を、前記基準画像の画質調整対象領域の画質とそろえる画像処理を行う画像処理部と、
を備える画像処理装置。
【請求項２】
前記基準画像特定部は、前記グループに属する画像の一部の領域または全部の領域について画像特徴量分布を生成し、前記画像特徴量分布と前記画像の一部の領域または全部の領域の基準の画像特徴量分布とに基づいて前記画像に評価値を付与し、前記画像の評価値に基づいて基準画像を前記グループにおいて特定する請求項１に記載の画像処理装置。
【請求項３】
前記画像特徴量分布は濃度ヒストグラムである請求項２に記載の画像処理装置。
【請求項４】
前記基準画像特定部は、前記グループに属する画像について１または複数の顔領域を検出し、前記１または複数の顔領域について濃度ヒストグラムを生成し、前記濃度ヒストグラムと前記グループに属する画像の各々の前記１または複数の顔領域の基準の濃度ヒストグラムとに基づいて前記画像に評価値を付与し、前記画像の評価値に基づいて前記基準画像を前記グループにおいて特定する請求項３に記載の画像処理装置。
【請求項５】
前記基準画像特定部は、前記顔領域の基準の濃度ヒストグラムに近い度数分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与する請求項４に記載の画像処理装置。
【請求項６】
前記基準画像特定部は、前記グループに属する画像についてシーンを特定し、前記濃度ヒストグラムと前記特定されたシーンの基準の濃度ヒストグラムとに基づいて前記画像に評価値を付与し、前記画像の評価値に基づいて前記基準画像を前記グループにおいて特定する請求項３に記載の画像処理装置。
【請求項７】
前記基準画像特定部は、前記特定されたシーンの基準の濃度ヒストグラムに近い分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与する請求項６に記載の画像処理装置。
【請求項８】
前記画質調整対象領域特定部は、前記グループに属する画像について誘目度を算出し、前記誘目度に基づいて前記画質調整対象領域を特定する請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記画質調整対象領域特定部は、前記グループに属する画像についてオブジェクトを検出し、前記オブジェクトの最大領域を前記画質調整対象領域に特定する請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像処理部は前記画質調整対象領域の画像特徴量を抽出し、前記基準画像以外の画像の画質調整対象領域の画像特徴量を変化させ、前記基準画像以外の画像の画質調整対象領域の画像特徴量を前記基準画像の画質調整対象領域の画像特徴量に近づかせる請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記画像特徴量は、ヒストグラム、明度、彩度、色相、およびシャープネスのうち少なくとも１つを含む請求項１０に記載の画像処理装置。
【請求項１２】
前記グルーピング部は、色ヒストグラムまたは画像アノテーションにより類似度を判断し、前記類似度に基づいて前記複数の画像を前記複数のグループにグルーピングする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
複数の画像を受け付けるステップと、
前記複数の画像を複数のグループにグルーピングするステップと、
前記グループごとに、前記グループに属する画像の中から基準画像を特定するステップと、
前記グループに属する画像の各々について、画質を調整する画質調整対象領域を特定するステップと、
前記グループに属する前記基準画像以外の画像について、前記画質調整対象領域の画質を、前記基準画像の画質調整対象領域の画質とそろえる画像処理を行うステップと、
を含む画像処理方法。
【請求項１４】
請求項１３に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法および画像処理プログラムに関し、特に、フォトブックの画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
フォトブックは、デジタルカメラやスマートフォンなどで撮影された複数の画像が、各ページにおける各画像のレイアウトを規定したテンプレート等に配置されることで完成する写真集である。フォトブックを作成する場合、ユーザは、例えば、あらかじめ画像の配置可能な位置が決定されたレイアウトの複数のテンプレートの中から所望のテンプレートを選択し、フォトブックのページ数、各々のページに含める画像、各々のページにおける画像の配置等を自由に決定することができる。
【０００３】
従来のフォトブックの作成方法の１つとして、各ページのページ内の画像群の印象をそろえてレイアウトするため、プロのデザイナーが手動で同一ページ内の画像群の画質を調整する。
【０００４】
また、特許文献１は、複数の画像の類似性を判定し、類似性の判定結果に基づいて複数の画像をグルーピングすること、および各グループ内で最も撮影日時が早い基準画像に同一グループ内の他の画像の画質を近づけるよう補正することで、同一グループに含まれる複数の画像の画質のばらつきを低減することを記載している。
【０００５】
なお、画像の各部に対する人の注意の向けられやすさの度合いを示す誘目度を求める技術の一例として、特許文献２および非特許文献１が挙げられる。特許文献２では、非特許文献１の技術を用いて、画像データに対して色度、輝度、方位、コントラスト等の視覚属性を解析して視覚属性ごとに特徴マップを生成し、次いで、視覚属性ごとに生成した特徴マップを線形和し、誘目度マップを算出することが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2007-174015号公報
【特許文献２】特開2015-060315号公報
【非特許文献】
【０００７】
【非特許文献１】Laurent Itti, Christof Koch, Ernst Niebur, “A model of saliency-based visual attention for rapid scene analysis,” IEEE Transactions on pattern analysis and machine intelligence Vol. 20, No. 11, pp. 1254-1259
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１では、補正の基準となる画像が時系列の先頭のものであり、本当にその画像が補正の基準として適切であるかが担保されていない。また、画質を合わせる対象は画像全体から得られる特徴量であり、人が着目しやすい領域の画質がそろうかどうか分からない。
【０００９】
本発明は、同一ページ内の画像群などひとまとまりの画像群において強い印象を与える画像の部分の画質をそろえ、ひとまとまりの画像群全体でそろった印象を与えるフォトブックの作成に適用可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様は、複数の画像を受け付ける画像受付部と、複数の画像を複数のグループにグルーピングするグルーピング部と、グループごとに、グループに属する画像の中から基準画像を特定する基準画像特定部と、グループに属する画像について、画質を調整する画質調整対象領域を特定する画質調整対象領域特定部と、グループに属する基準画像以外の画像について、画質調整対象領域の画質を、基準画像の画質調整対象領域の画質とそろえる画像処理を行う画像処理部と、を備える画像処理装置を提供する。
【００１１】
この態様によると、基準画像以外の画像の画質調整対象領域の画質を、基準画像の画質調整対象領域の画質とそろえる画像処理が行われるため、グループ内で画質調整対象領域の画質がそろった印象を見る者に与えることができる。
【００１２】
本発明の第２の態様において、基準画像特定部は、グループに属する画像の一部の領域または全部の領域について画像特徴量分布を生成し、画像特徴量分布と画像の一部の領域または全部の領域の基準の画像特徴量分布とに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定する。
【００１３】
基準の画像特徴量分布とは、多数の画像から求められた、適正と考えられる画像特徴量分布である。
【００１４】
本発明の第３の態様において、画像特徴量分布は濃度ヒストグラムである。また、基準の濃度ヒストグラムとは、多数の画像から求められた、適正と考えられる濃度ヒストグラムである。
【００１５】
本発明の第４の態様において、基準画像特定部は、グループに属する画像について１または複数の顔領域を検出し、１または複数の顔領域について濃度ヒストグラムを生成し、濃度ヒストグラムとグループに属する画像の各々の１または複数の顔領域の基準の濃度ヒストグラムとに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定する。
【００１６】
本発明の第５の態様において、基準画像特定部は、顔領域の基準の濃度ヒストグラムに近い度数分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与する。
【００１７】
こうすることで、顔領域の基準の濃度ヒストグラムにより近い度数分布の濃度ヒストグラムに対応する画像が基準画像に特定される。
【００１８】
本発明の第６の態様において、基準画像特定部は、グループに属する画像についてシーンを特定し、濃度ヒストグラムと特定されたシーンの基準の濃度ヒストグラムとに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定する。
【００１９】
本発明の第７の態様において、基準画像特定部は、特定されたシーンの基準の濃度ヒストグラムに近い分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与する。
【００２０】
こうすることで、シーンの基準の濃度ヒストグラムにより近い度数分布の濃度ヒストグラムに対応する画像が基準画像に特定される。
【００２１】
本発明の第８の態様において、画質調整対象領域特定部は、グループに属する画像について誘目度を算出し、誘目度に基づいて画質調整対象領域を特定する。
【００２２】
こうすることで、人の注意の向けられやすい部分が画質調整対象領域に特定される。
【００２３】
本発明の第９の態様において、画質調整対象領域特定部は、グループに属する画像についてオブジェクトを検出し、オブジェクトの最大領域を画質調整対象領域に特定する。
【００２４】
本発明の第１０の態様において、画像処理部は画質調整対象領域の画像特徴量を抽出し、基準画像以外の画像の画質調整対象領域の画像特徴量を変化させ、基準画像以外の画像の画質調整対象領域の画像特徴量を基準画像の画質調整対象領域の画像特徴量に近づかせる。
【００２５】
本発明の第１１の態様において、画像特徴量は、ヒストグラム、明度、彩度、色相、およびシャープネスのうち少なくとも１つを含む。
【００２６】
本発明の第１２の態様において、グルーピング部は、色ヒストグラムまたは画像アノテーションにより類似度を判断し、類似度に基づいて複数の画像を複数のグループにグルーピングする。
【００２７】
本発明の第１３の態様は、複数の画像を受け付けるステップと、複数の画像を複数のグループにグルーピングするステップと、グループごとに、グループに属する画像の中から基準画像を特定するステップと、グループに属する画像の各々について、画質を調整する画質調整対象領域を特定するステップと、グループに属する基準画像以外の画像について、画質調整対象領域の画質を、基準画像の画質調整対象領域の画質とそろえる画像処理を行うステップと、を含む画像処理方法を提供する。
【００２８】
この画像処理方法をコンピュータに実行させるための画像処理プログラムも本発明の態様に含まれる。
【発明の効果】
【００２９】
この発明によると、基準画像以外の画像の画質調整対象領域の画質を、基準画像の画質調整対象領域の画質とそろえる画像処理が行われるため、グループ内で画質調整対象領域の画質がそろった印象を見る者に与えることができる。
【図面の簡単な説明】
【００３０】
【図１】濃度ヒストグラムの一例を示す図
【図２】画像処理装置のブロック図
【図３】フォトブック作成処理のフローチャート
【図４】テンプレートに配置された画像のグルーピングの一例を示す図
【発明を実施するための形態】
【００３１】
本明細書で使用する用語の意味は、次の通りである。
【００３２】
フォトブックとは、デジタルカメラやスマートフォンなどで撮影された複数の画像から任意に選択された１以上の画像が、１以上のページの各ページに任意のレイアウトで配置され、配置されたこれらの画像が合成されることで得られる画像の集合である。なおページとは、左右のページの一方のみ、および左右のページの双方を含む見開きページのいずれも含む。また配置された画像に各種の装飾や加工を加えて合成されたものもフォトブックに含まれる。またフォトブックは、印刷物として固定されたものでなくてもよく、コンピュータ読み取り可能な記憶媒体に記憶されたデータであってもよい。
【００３３】
テンプレートとは、フォトブックにおいて、１以上のページの各々に配置する１または複数の画像の各々の位置およびサイズを含むレイアウトを規定するデータである。個々の画像の配置位置およびサイズは１以上のフレームによって規定される。またテンプレートには、結婚式、旅行、子供といった、フォトブックのテーマに応じた画像のレイアウトや画像の装飾が含まれてもよい。さらに、フォトブックのテーマはユーザが自由に設定できてもよい。
【００３４】
合成画像とは、テンプレートのレイアウトに従って、ページ内の画像群が一体の画像に合成された画像である。また合成画像は、印刷物として固定されたものでなくてもよく、コンピュータ読み取り可能な記憶媒体に記憶されたデータであってもよい。
【００３５】
誘目度とは、画像の各部に対する人の注意の向けられやすさの度合いのことをいう。例えば、誘目度は、０〜１の実数、０〜２５５の整数などによって表され、値が大きいほど誘目度が高いことを表す。また誘目度マップとは、画像の各画素の値を誘目度に置き換えたものである。誘目度の算出は、例えば特許文献２に記載のような公知のものが使用されうる。
【００３６】
濃度ヒストグラムとは、縦に明度、中心から外に向かって彩度、外周に色相を配したマンセル表色系において、画像の一部領域または全部領域内の各画素の特定の彩度および色相における縦の明度の度数分布を示すヒストグラムである。なお図１は濃度ヒストグラムの一例を示す。
【００３７】
色ヒストグラムとは、濃度ヒストグラム、色相ヒストグラム、および彩度ヒストグラムのうちの少なくとも１つである。
【００３８】
２つのヒストグラムが「近い」とは、２つのヒストグラムの分布が相似形状であることをいう。また２つのヒストグラムを「近づける」とは、２つのヒストグラムの一方を他方の分布の形状に相似させることをいう。
【００３９】
オブジェクトとは、カメラによる撮像が可能な対象の全てである。オブジェクトは、人物、人物の顔、衣服、動物および建物のような有形物を含みうる。また、オブジェクトは、地面、山、海、空、および雲のような背景を含み得る。また、オブジェクトは、発光および人の影のような無形物を含みうる。
【００４０】
オブジェクト検出とは、画像の特徴量に基づいて当該画像内のオブジェクトを検出することである。オブジェクト検出は公知の方法でコンピュータにより実行でき、人物検出、顔検出および物体検出はオブジェクト検出の一態様に含まれる。
【００４１】
シーンとは、画像に含まれるオブジェクトの種類または画像の撮影環境に応じて画像の撮影状況を類型化したものである。例えば、人物、植物、風景、料理、夜景、夕焼け、および逆光がシーンに含まれうる。また、画像そのものからシーンが判断されてもよいし、撮影時刻、撮影場所、および撮影アングルなどの画像の撮影環境を画像の付帯情報から取得し、この撮影環境からシーンが判断されてもよい。これらのシーンの判断は公知の手法でコンピュータにより実行できる。
【００４２】
画質を合わせる画像補正とは、画質に関係する画像の特徴量を合わせる画像補正であり、例えば下記の(a)〜(d)のいずれか１つを含む。ただし、画質を合わせる画像補正は、下記の(a)〜(d)のうちの任意の２以上の画像補正を組み合わせてもよいし、下記の(a)〜(d)以外の画像補正であってもよいし、あるいは下記の(a)〜(d)のうちの１つ以上と下記以外のものを組み合わせてもよい。
【００４３】
(a)画像調整対象画像の画質調整対象領域の色ヒストグラムを、基準画像の基準領域の色ヒストグラムに近づけること。
【００４４】
(b)画像調整対象画像の画質調整対象領域の明度を、基準画像の基準領域の明度に近づけること。
【００４５】
(c) 画像調整対象画像の画質調整対象領域の彩度を、基準画像の基準領域の彩度に近づけること。
【００４６】
(d) 画像調整対象画像の画質調整対象領域のシャープネスを、基準画像の基準領域のシャープネスに近づけること。
【００４７】
図２は本発明の画像処理装置の一実施形態である画像処理装置１のブロック図である。画像処理装置１は、画像受付部１１、グルーピング部１２、基準画像特定部１３、画質調整対象領域特定部１４、画像処理部１５、テンプレート設定部１６、合成部１７、表示部１８、画像選択部１９、画像配置部２０、シーン検出部２１、およびオブジェクト検出部２２を備える。
【００４８】
画像処理装置１は、既知のパソコンで構成可能であり、また、画像処理装置１の各部は、既知のコンピュータ（デスクトップ型およびタブレット型の両方を含む。また、通話機能を有するスマートフォンも含む）を構成するデバイスまたは既知のコンピュータで使用される各種周辺機器（キーボード、ボタン、タッチパネル、マウス、プリンタ、およびディスプレイなど）、あるいはこれらの周辺機器の一部または全部をコンピュータに組み込んだ装置で構成可能である。
【００４９】
例えば、グルーピング部１２、基準画像特定部１３、画質調整対象領域特定部１４、画像処理部１５、合成部１７、画像配置部２０、シーン検出部２１、およびオブジェクト検出部２２は、プロセッサで構成される。例えば、これらの各部は、コンピュータに内蔵されたＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、およびこれらを接続するバスで構成されうる。あるいは、これらの各部は、ＣＰＵ、ＲＡＭ、およびＲＯＭなどを一体化したワンチップマイクロコンピュータなどで構成されうる。
【００５０】
また、画像受付部１１は、ＵＳＢ(Universal Serial Bus)ポート、有線ＬＡＮ(Local Area Network)アダプタ、無線ＬＡＮ(Local Area Network)アダプタ、あるいはメモリカードリーダなどで構成されうる。
【００５１】
また、表示部１８は、ディスプレイおよびドライバなどで構成され、各種の情報を表示する。
【００５２】
また、テンプレート設定部１６および画像選択部１９は、キーボード、マウス、あるいはタッチパネルなどの各種ユーザインターフェースで構成されうる。
【００５３】
画像受付部１１は、有線通信、無線通信、あるいは記録媒体の読み取りなどによって、デジタルカメラやスマートフォンなどで撮影された複数の画像を受け付ける装置である。画像受付部１１が受け付ける画像はＥｘｉｆ（Exchangeable image file format）ファイルまたはＪＰＥＧ(Joint Photographic Experts Group)ファイルなどの各種画像ファイルの形式に従って記録されており、画像本体の他、撮影日時などの付帯情報も画像本体と合わせて受け付ける。画像受付部１１が受け付けた画像および付帯情報は、図示しないハードディスクユニットなどの各種記憶媒体に記憶される。
【００５４】
グルーピング部１２は、画像受付部１１の受け付けた複数の画像を複数のグループにグルーピング（分類）する装置である。
【００５５】
グルーピング部１２は、色ヒストグラムまたは画像アノテーションにより類似度を判断し、類似度に基づいて複数の画像を複数のグループにグルーピングすることが好ましい。
【００５６】
基準画像特定部１３は、グルーピング部１２のグルーピングしたグループごとに、グループに属する画像の中から基準画像を特定する装置である。
【００５７】
基準画像特定部１３は、グループに属する画像の一部の領域または全部の領域について画像特徴量分布（例えば濃度ヒストグラム）を生成し、当該画像特徴量分布と画像の一部の領域または全部の領域の基準の画像特徴量分布（例えば画像の一部の領域または全部の領域の適正露出の濃度ヒストグラム）とに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定してもよい。
【００５８】
また、基準画像特定部１３は、グループに属する画像について１または複数の顔領域を検出し、１または複数の顔領域について画像特徴量分布（例えば濃度ヒストグラム）を生成し、当該画像特徴量分布とグループに属する画像の各々の１または複数の顔領域の基準の画像特徴量分布（例えば画像の１または複数の顔領域の適正露出の濃度ヒストグラム）とに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定してもよい。
【００５９】
また、基準画像特定部１３は、顔領域の基準の濃度ヒストグラムに近い度数分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与することが好ましい。
【００６０】
基準画像特定部１３は、グループに属する画像についてシーンを特定し、上記濃度ヒストグラムと特定されたシーンの基準の濃度ヒストグラム（例えばシーンの適正露出の濃度ヒストグラム）とに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定することが好ましい。
【００６１】
基準画像特定部１３は、特定されたシーンの基準の濃度ヒストグラムに近い分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与することが好ましい。
【００６２】
画質調整対象領域特定部１４は、グループに属する画像について、画質を調整する画質調整対象領域を特定する装置である。
【００６３】
画質調整対象領域特定部１４は、グループに属する画像について誘目度を算出し、誘目度に基づいて画質調整対象領域を特定してもよい。
【００６４】
あるいは、画質調整対象領域特定部１４は、グループに属する画像についてオブジェクトを検出し、オブジェクトの最大領域を画質調整対象領域に特定してもよい。
【００６５】
画像処理部１５は、グループに属する基準画像以外の画像について、画質調整対象領域の画質を、基準画像の画質調整対象領域の画質とそろえる画像処理を行う装置である。
【００６６】
画像処理部１５は、画質調整対象領域の画像特徴量を抽出し、基準画像以外の画像の画質調整対象領域の画像特徴量を変化させ、基準画像以外の画像の画質調整対象領域の画像特徴量を基準画像の画質調整対象領域の画像特徴量に近づかせることが好ましい。
【００６７】
ここで、画像特徴量は、ヒストグラム、明度、彩度、色相、およびシャープネスのうち少なくとも１つを含む。
【００６８】
シーン検出部２１は、公知の方法により画像からシーンを検出する装置である。
【００６９】
オブジェクト検出部２２は、画像から顔領域その他のオブジェクト検出を行う装置である。
【００７０】
図３は本発明の画像処理方法の一実施形態であるフォトブック作成処理のフローチャートを示す。フォトブック作成処理を画像処理装置１のプロセッサに実行させるためのフォトブック作成プログラム（本発明の画像処理プログラムに対応）は、フラッシュメモリなどのコンピュータ読み取り可能な非一時的有形媒体に記憶されている。
【００７１】
Ｓ１では、画像受付部１１は、複数の画像を受け付ける。
【００７２】
Ｓ２では、テンプレート設定部１６は、ユーザ入力に応じてまたは上記複数の画像に対する画像解析の結果に応じて、フォトブックのテンプレートを設定する。例えば、テンプレート設定部１６は、「結婚」、「旅行」、または「子供」のテンプレート種類の中から、タッチパネルなどのユーザインターフェースを介したユーザのテンプレート種類選択操作に応じた種類のテンプレートを設定する。画像解析は、オブジェクト検出部２２による被写体（顔その他の物体）検出、シーン検出部２１によるシーン検出、または画像アノテーションなどによって行うことができる。画像解析の結果、被写体から新郎新婦が検出された場合は「結婚」のテンプレート、風景が検出された場合は「旅行」のテンプレート、または子供が検出された場合は「子供」のテンプレートが設定される。
【００７３】
Ｓ３では、画像選択部１９は、画像受付部１１の受け付けた複数の画像の中から、ユーザ入力に応じて、設定されたテンプレートのフレームごとに、配置すべき画像の選択を受け付ける。
【００７４】
Ｓ４では、画像配置部２０は、設定されたテンプレートのフレームごとに、選択された画像を配置する。
【００７５】
Ｓ５では、グルーピング部１２は、テンプレートのページごとに、当該ページに配置された画像をグルーピングする。グルーピングは、色ヒストグラム、被写体解析、または画像アノテーションなどにより、色分布、被写体種類、または画像特徴（点、線、輪郭、および領域など）などの類似する画像同士を同一グループに分類することで行われる。
【００７６】
図４は画像の配置およびグルーピングの一例である。この図では、画像選択部１９で選択された画像Ｉ１〜Ｉ４が２×２の格子状のフレームからなるテンプレートＴに配置されており、人物の映った画像Ｉ１およびＩ２がグループＧ１、および建造物の映った画像Ｉ３およびＩ４がグループＧ２にグルーピングされている。
【００７７】
Ｓ６では、基準画像特定部１３は、グループごとに基準画像および基準領域を特定する。例えば、基準画像特定部１３は、各グループに属する画像から１または複数の顔領域を検出し、検出された１または複数の顔領域の濃度ヒストグラムを、顔領域の適正露出の濃度ヒストグラムの度数によって得点化し、１または複数の顔領域の得点（評価値）の平均が最も大きい画像を基準画像とする。
【００７８】
例えば、図４のグループＧ１内の画像Ｉ１およびＩ２において、適正露出の顔領域の濃度ヒストグラムの各階級における度数との差が小さい顔領域の濃度ヒストグラムの階級に大きな得点を与え、階級ごとの得点を総和したものを当該顔領域の得点とする。すなわち、基準画像特定部１３は、適正露出の顔領域の濃度ヒストグラムに近い度数分布の濃度ヒストグラムに対応する画像ほど高い得点を付与する。
【００７９】
そして、グループＧ１内の顔領域Ｆ１およびＦ２のうち点数の高い方、例えばＦ２を含む画像Ｉ２を、グループＧ１の基準画像に特定する。また、この場合、基準画像特定部１３は、基準画像Ｉ２に含まれる顔領域Ｆ２を基準領域に特定する。
【００８０】
あるいは、基準画像特定部１３は、各グループに属する画像の全体領域の濃度ヒストグラムを、上記画像からの検出シーンでの適正露出の濃度ヒストグラムによって得点化し、最も得点の高い画像を基準画像に特定する。すなわち、基準画像特定部１３は、検出シーンでの適正露出の濃度ヒストグラムに近い度数分布の濃度ヒストグラムに対応する画像ほど高い得点を付与する。
【００８１】
例えば、基準画像特定部１３は、グループＧ２に属する画像Ｉ３およびＩ４の濃度ヒストグラムを、上記画像からの検出シーン「建物」での適正露出の濃度ヒストグラムによって点数化し、点数の高い方の画像、例えばＩ４を基準画像に特定する。また、この場合、基準画像特定部１３は、基準画像に含まれる誘目度マップを算出し、基準画像の誘目度マップにおいて誘目度が一定の閾値以上の領域、例えば建物の領域Ｆ４を基準領域に特定する。
【００８２】
あるいは、基準画像特定部１３は、基準画像に含まれるオブジェクトの中で最大の面積を有するオブジェクトの領域を基準領域に特定してもよい。図４では、Ｉ２の顔領域、Ｉ４の建物の領域が最大の面積を有しているため、これらが基準領域に特定される。
【００８３】
なお、基準画像特定部１３は、ユーザによる任意の基準画像の選択操作およびユーザ操作またはコンピュータプログラムによる関心領域(Region of Interest:ROI)の指定に応じて基準画像および基準領域を特定するなどしてもよく、基準画像および基準領域の特定の仕方は上記に限定されない。
【００８４】
Ｓ７では、画質調整対象領域特定部１４は、同一グループに属する画像のうち基準以外の他の画像を、画質調整対象画像に特定する。さらに画質調整対象領域特定部１４は、画質調整対象画像ごとに、基準領域に対応する画質調整対象領域を特定する。
【００８５】
例えば、グループＧ１での基準画像Ｉ２の特定時に顔領域の濃度ヒストグラムを使用した場合、画質調整対象領域特定部１４は、調整対象画像Ｉ１に含まれる顔領域Ｆ１を、画質調整対象領域に特定する。
【００８６】
あるいは、グループＧ２での基準画像の特定時に基準画像の全体領域の濃度ヒストグラムを使用した場合、画質調整対象領域特定部１４は、画質調整対象画像Ｉ３に含まれる誘目度マップを算出し、誘目度マップにおいて誘目度が一定の閾値以上の領域、例えば建物の領域Ｆ３を画質調整対象領域に特定する。
【００８７】
なお、必ずしも基準画像以外の全てを画質調整対象画像に特定する必要はない。例えば、手ぶれ、逆光、ピンボケなどの検出された失敗画像については、画質調整対象画像としなくてもよい。また、グループに属する画像が１つだけ、あるいは、ユーザが特定のグループについて画質調整を希望しないなどの場合は、当該グループについて基準画像も画質調整対象画像も特定しなくてもよく、必ずしも全てのグループについて基準画像および画質調整対象画像を特定しなくてもよい。
【００８８】
Ｓ８では、画像処理部１５は、グループごとに、画像調整対象画像の画質調整対象領域内の画質を、基準画像の基準領域に合わせる画像補正を行う。例えば図４では、顔領域Ｆ１の画質を顔領域Ｆ２の画質に合わせる画像補正と、建物の領域Ｆ３の画質を建物の領域Ｆ４の画質に合わせる画像補正とが行われる。
【００８９】
Ｓ９では、合成部１７は、テンプレートに配置された画像補正後の画像調整対象画像と基準画像とを１枚の画像に合成した合成画像を作成する。
【００９０】
Ｓ１０では、表示部１８は、合成画像を表示する。
【００９１】
以上のようにすれば、人物の顔を含むグループＧ１の画像Ｉ１およびＩ２については、顔領域Ｆ１の画像の特徴量が、良好な顔領域Ｆ２の画像の特徴量に合わせられる画像補正が行われる。また、建物を含むグループＧ２の画像Ｉ３およびＩ４については、建物の領域Ｆ３の画像の特徴量が、良好な建物の領域Ｆ４の画像の特徴量に合わせられる画像補正が行われる。これにより、顔領域または誘目度が一定以上の領域など人の注目を集める画像の領域の画質が、良い画像の画質にそろえられた合成画像を作成することができ、ページ内など画像の配置単位内で画質がそろった印象を見る者に与えることができる。
【符号の説明】
【００９２】
１  画像処理装置
１１  画像受付部
１２  グルーピング部
１３  基準画像特定部
１４  画質調整対象領域特定部
１５  画像処理部
１６  テンプレート設定部
１７  合成部
１８  表示部
１９  画像選択部
２０  画像配置部
２１  シーン検出部
２２  オブジェクト検出部
【図１】
2019208088.tif 000003
【図２】
2019208088.tif 000004
【図３】
2019208088.tif 000005
【図４】
2019208088.tif 000006