(57)【特許請求の範囲】
【請求項１】
１以上の撮影者により撮影機種の異なる２以上の撮影デバイスで撮影された複数の撮影画像を取得する画像取得部と、
前記撮影画像毎に、前記撮影者、前記撮影機種および撮影時刻の情報を撮影情報として取得する撮影情報取得部と、
前記撮影時刻の情報に基づいて、前記撮影画像の中から、同一時間帯に撮影されたとみなせる撮影画像を抽出画像として抽出する画像抽出部と、
前記撮影者および前記撮影機種の情報に基づいて、前記抽出画像を、前記撮影者毎に、かつ、前記撮影機種毎に区分けし、前記区分けの結果に基づいて、前記抽出画像を最も多く撮影した撮影者で、かつ、前記抽出画像を最も多く撮影した撮影機種の撮影デバイスにより撮影された抽出画像の中から１枚の抽出画像を、色変換処理の目標画像に決定する目標画像決定部と、
前記抽出画像の画像解析を行う画像解析部と、
前記画像解析の結果に基づいて、前記目標画像以外の前記抽出画像の中から、前記目標画像に存在する被写体に類似した被写体が存在する抽出画像である類似画像を前記色変換処理の対象画像に決定する対象画像決定部と、
前記画像解析の結果に基づいて、前記対象画像の色を前記目標画像の色に合わせる前記色変換処理を行うカラーテーブルを生成するカラーテーブル生成部と、
前記カラーテーブルを前記対象画像に適用して前記色変換処理を行う色変換処理部とを備える画像処理装置。
【請求項２】
前記画像抽出部は、前記撮影画像を時系列に並べた場合に、あらかじめ設定された一定時間内に撮影された時系列の一群の撮影画像を前記抽出画像として抽出する請求項１に記載の画像処理装置。
【請求項３】
前記画像抽出部は、前記撮影画像を時系列に並べた場合に、時系列に隣り合う撮影画像同士の撮影間隔が閾値未満である時系列の一群の撮影画像を、前記抽出画像として抽出する請求項１に記載の画像処理装置。
【請求項４】
前記画像抽出部は、前記画像解析の結果に基づいて、同じイベントで撮影された一群の撮影画像を前記抽出画像として抽出する請求項１に記載の画像処理装置。
【請求項５】
前記目標画像決定部は、前記１枚の抽出画像として、さらに、前記画像解析の結果に基づいて、評価値が閾値以上である抽出画像を前記目標画像に決定する請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記対象画像決定部は、前記類似画像のうち、前記目標画像とは前記撮影機種が異なる類似画像を前記対象画像に決定する請求項１〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記対象画像決定部は、前記類似画像のうち、評価値が閾値未満である類似画像を前記対象画像に決定する請求項１〜５のいずれか一項に記載の画像処理装置。
【請求項８】
前記対象画像決定部は、前記類似画像のうち、前記目標画像とは前記撮影機種が異なり、かつ、評価値が閾値未満である類似画像を前記対象画像に決定する請求項１〜５のいずれか一項に記載の画像処理装置。
【請求項９】
前記対象画像決定部は、前記撮影者が前記撮影画像に過去に施した色補正処理を利用して、前記類似画像のうち、前記色補正処理を施す必要のある類似画像を、前記対象画像に決定する請求項１〜５のいずれか一項に記載の画像処理装置。
【請求項１０】
前記画像解析部は、明るさ、ボケ、ブレ、色および解像度のうちの少なくとも１つに基づいて前記評価値を算出する請求項５，７および８のいずれか一項に記載の画像処理装置。
【請求項１１】
前記カラーテーブル生成部は、前記目標画像および前記対象画像のうちの１または２以上の領域から前記カラーテーブルを生成する請求項１〜１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記カラーテーブル生成部は、顔検出処理の結果に基づいて、前記目標画像および前記対象画像に存在する人物の顔領域から前記カラーテーブルを生成する請求項１１に記載の画像処理装置。
【請求項１３】
前記カラーテーブル生成部は、オブジェクト認識処理の結果に基づいて、前記目標画像および前記対象画像に存在する人物以外のオブジェクトの領域から前記カラーテーブルを生成する請求項１１に記載の画像処理装置。
【請求項１４】
前記カラーテーブル生成部は、シーン認識処理の結果に基づいて、前記目標画像および前記対象画像に存在する背景の領域から前記カラーテーブルを生成する請求項１１に記載の画像処理装置。
【請求項１５】
前記カラーテーブル生成部は、前記目標画像および前記対象画像の全領域から前記カラーテーブルを生成する請求項１〜１０のいずれか一項に記載の画像処理装置。
【請求項１６】
前記カラーテーブル生成部は、前記カラーテーブルとして、前記撮影者が前記撮影画像に過去に施した色補正処理を利用して、前記色補正処理を含む色変換処理を行うカラーテーブルを生成する請求項１〜１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記カラーテーブル生成部は、前記カラーテーブルとして、前記対象画像の明度を変えず、色相および彩度だけを前記目標画像の色相および彩度に合わせる色変換処理を行うカラーテーブルを生成する請求項１〜１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記カラーテーブル生成部は、各々の前記対象画像に対して１つのカラーテーブルを生成する請求項１〜１７のいずれか一項に記載の画像処理装置。
【請求項１９】
前記カラーテーブル生成部は、同一の前記撮影機種毎に１つのカラーテーブルを生成する請求項１〜１７のいずれか一項に記載の画像処理装置。
【請求項２０】
さらに、前記対象画像の解像度を前記目標画像の解像度に合わせる解像度変換処理を行う解像度変換部を備える請求項１〜１９のいずれか一項に記載の画像処理装置。
【請求項２１】
画像取得部が、１以上の撮影者により撮影機種の異なる２以上の撮影デバイスで撮影された複数の撮影画像を取得するステップと、
撮影情報取得部が、前記撮影画像毎に、前記撮影者、前記撮影機種および撮影時刻の情報を撮影情報として取得するステップと、
画像抽出部が、前記撮影時刻の情報に基づいて、前記撮影画像の中から、同一時間帯に撮影されたとみなせる撮影画像を抽出画像として抽出するステップと、
目標画像決定部が、前記撮影者および前記撮影機種の情報に基づいて、前記抽出画像を、前記撮影者毎に、かつ、前記撮影機種毎に区分けし、前記区分けの結果に基づいて、前記抽出画像を最も多く撮影した撮影者で、かつ、前記抽出画像を最も多く撮影した撮影機種の撮影デバイスにより撮影された抽出画像の中から１枚の抽出画像を、色変換処理の目標画像に決定するステップと、
画像解析部が、前記抽出画像の画像解析を行うステップと、
対象画像決定部が、前記画像解析の結果に基づいて、前記目標画像以外の前記抽出画像の中から、前記目標画像に存在する被写体に類似した被写体が存在する抽出画像である類似画像を前記色変換処理の対象画像に決定するステップと、
カラーテーブル生成部が、前記画像解析の結果に基づいて、前記対象画像の色を前記目標画像の色に合わせる前記色変換処理を行うカラーテーブルを生成するステップと、
色変換処理部が、前記カラーテーブルを前記対象画像に適用して前記色変換処理を行うステップとを含む画像処理方法。
【請求項２２】
請求項２１に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項２３】
請求項２１に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機種の異なる撮影デバイスで撮影された複数の画像の色の違いを低減する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
現在では、フォトブックやシャッフルプリント等のような、複数の画像を使用して作成された合成画像を自宅や店頭から手軽に注文することができる。また、複数のユーザが所有する画像を持ち寄って合成画像を作成することも行われている。
【０００３】
しかし、デジタルカメラやスマートフォン等のように、各々のユーザが所有する撮影デバイスの機種は異なる可能性が高いため、各々のユーザが所有する撮影デバイスで撮影した画像は、色味や解像度がバラバラになりがちである。そのため、複数のユーザが所有する画像を持ち寄って合成画像を作成した場合、全体的に、色味や解像度に統一感のない合成画像になる場合があるという問題がある。
【０００４】
特許文献１は、異なる機種によって取得されたデジタル画像データ毎の色の違いを軽減可能な画像処理システムに関するものである。同文献には、目標機種および対象機種を設定し、対象機種にて取得される画像データの色を、目標機種にて取得される画像データの色に近づけるためのカラーテーブルを選択し、選択されたカラーテーブルに基づいて、対象機種から入力された画像データを色変換することが記載されている。
【０００５】
特許文献２は、異なる機種によって取得された画像データ中の被写体人物の顔部分の色の違いを軽減可能な画像処理システムに関するものである。同文献には、複数の画像データから目標画像および対象画像を設定し、目標画像および対象画像に含まれる被写体の顔領域を検出し、対象画像の顔領域の色を、目標画像の顔領域の色に近づけるように色補正を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４４９９５号公報
【特許文献２】特開２００８−２４４９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の画像処理システムでは、画像を撮影した撮影デバイスの機種に注目して色変換が行われている。しかし、同じ機種で撮影した画像であっても、撮影した時間帯が異なれば、撮影場所や撮影環境（自然条件）の違いに応じて、画像の色味が異なっていても不思議はない。また、同じ機種で撮影した画像であっても、画像の撮影内容が異なれば、画像の撮影内容に応じて、画像の色味が異なっていても不思議はない。
【０００８】
特許文献２の画像処理システムでは、画像に含まれる被写体人物の顔領域に注目して色変換が行われている。しかし、同じ被写体人物が存在する画像であっても、撮影した時間帯が異なれば、撮影場所や撮影環境の違いに応じて、画像の色味が異なっていても不思議はない。また、同じ被写体人物が存在する画像であっても、画像の撮影内容が異なれば、画像の撮影内容に応じて、画像の色味が異なっていても不思議はない。
【０００９】
特許文献１および２の画像処理システムでは、むしろ、色合わせをしなくてもよい画像に対しても色合わせを行うことにより、多くの計算量を費やすにも関わらず統一感のない色変換処理が行われる可能性がある、という問題点がある。
【００１０】
本発明の目的は、従来技術の問題点を解消し、撮影場所、撮影環境、撮影内容に応じて、機種の異なる撮影デバイスで撮影された複数の画像の色の違いを低減することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は、１以上の撮影者により撮影機種の異なる２以上の撮影デバイスで撮影された複数の撮影画像を取得する画像取得部と、
撮影画像毎に、撮影者、撮影機種および撮影時刻の情報を撮影情報として取得する撮影情報取得部と、
撮影時刻の情報に基づいて、撮影画像の中から、同一時間帯に撮影されたとみなせる撮影画像を抽出画像として抽出する画像抽出部と、
撮影者および撮影機種の情報に基づいて、抽出画像を、撮影者毎に、かつ、撮影機種毎に区分けし、区分けの結果に基づいて、抽出画像を最も多く撮影した撮影者で、かつ、抽出画像を最も多く撮影した撮影機種の撮影デバイスにより撮影された抽出画像の中から１枚の抽出画像を、色変換処理の目標画像に決定する目標画像決定部と、
抽出画像の画像解析を行う画像解析部と、
画像解析の結果に基づいて、目標画像以外の抽出画像の中から、目標画像に存在する被写体に類似した被写体が存在する抽出画像である類似画像を色変換処理の対象画像に決定する対象画像決定部と、
画像解析の結果に基づいて、対象画像の色を目標画像の色に合わせる色変換処理を行うカラーテーブルを生成するカラーテーブル生成部と、
カラーテーブルを対象画像に適用して色変換処理を行う色変換処理部とを備える画像処理装置を提供するものである。
【００１２】
ここで、画像抽出部は、撮影画像を時系列に並べた場合に、あらかじめ設定された一定時間内に撮影された時系列の一群の撮影画像を抽出画像として抽出することが好ましい。
【００１３】
また、画像抽出部は、撮影画像を時系列に並べた場合に、時系列に隣り合う撮影画像同士の撮影間隔が閾値未満である時系列の一群の撮影画像を、抽出画像として抽出することが好ましい。
【００１４】
また、画像抽出部は、画像解析の結果に基づいて、同じイベントで撮影された一群の撮影画像を抽出画像として抽出することが好ましい。
【００１５】
また、目標画像決定部は、１枚の抽出画像として、さらに、画像解析の結果に基づいて、評価値が閾値以上である抽出画像を目標画像に決定することが好ましい。
【００１６】
また、対象画像決定部は、類似画像のうち、目標画像とは撮影機種が異なる類似画像を対象画像に決定することが好ましい。
【００１７】
また、対象画像決定部は、類似画像のうち、評価値が閾値未満である類似画像を対象画像に決定することが好ましい。
【００１８】
また、対象画像決定部は、類似画像のうち、目標画像とは撮影機種が異なり、かつ、評価値が閾値未満である類似画像を対象画像に決定することが好ましい。
【００１９】
また、対象画像決定部は、撮影者が撮影画像に過去に施した色補正処理を利用して、類似画像のうち、色補正処理を施す必要のある類似画像を、対象画像に決定することが好ましい。
【００２０】
また、画像解析部は、明るさ、ボケ、ブレ、色および解像度のうちの少なくとも１つに基づいて評価値を算出することが好ましい。
【００２１】
また、カラーテーブル生成部は、目標画像および対象画像のうちの１または２以上の領域からカラーテーブルを生成することが好ましい。
【００２２】
また、カラーテーブル生成部は、顔検出処理の結果に基づいて、目標画像および対象画像に存在する人物の顔領域からカラーテーブルを生成することが好ましい。
【００２３】
また、カラーテーブル生成部は、オブジェクト認識処理の結果に基づいて、目標画像および対象画像に存在する人物以外のオブジェクトの領域からカラーテーブルを生成することが好ましい。
【００２４】
また、カラーテーブル生成部は、シーン認識処理の結果に基づいて、目標画像および対象画像に存在する背景の領域からカラーテーブルを生成することが好ましい。
【００２５】
また、カラーテーブル生成部は、目標画像および対象画像の全領域からカラーテーブルを生成することが好ましい。
【００２６】
また、カラーテーブル生成部は、カラーテーブルとして、撮影者が撮影画像に過去に施した色補正処理を利用して、色補正処理を含む色変換処理を行うカラーテーブルを生成することが好ましい。
【００２７】
また、カラーテーブル生成部は、カラーテーブルとして、対象画像の明度を変えず、色相および彩度だけを目標画像の色相および彩度に合わせる色変換処理を行うカラーテーブルを生成することが好ましい。
【００２８】
また、カラーテーブル生成部は、各々の対象画像に対して１つのカラーテーブルを生成することが好ましい。
【００２９】
また、カラーテーブル生成部は、同一の撮影機種毎に１つのカラーテーブルを生成することが好ましい。
【００３０】
さらに、対象画像の解像度を目標画像の解像度に合わせる解像度変換処理を行う解像度変換部を備えることが好ましい。
【００３１】
また、本発明は、画像取得部が、１以上の撮影者により撮影機種の異なる２以上の撮影デバイスで撮影された複数の撮影画像を取得するステップと、
撮影情報取得部が、撮影画像毎に、撮影者、撮影機種および撮影時刻の情報を撮影情報として取得するステップと、
画像抽出部が、撮影時刻の情報に基づいて、撮影画像の中から、同一時間帯に撮影されたとみなせる撮影画像を抽出画像として抽出するステップと、
目標画像決定部が、撮影者および撮影機種の情報に基づいて、抽出画像を、撮影者毎に、かつ、撮影機種毎に区分けし、区分けの結果に基づいて、抽出画像を最も多く撮影した撮影者で、かつ、抽出画像を最も多く撮影した撮影機種の撮影デバイスにより撮影された抽出画像の中から１枚の抽出画像を、色変換処理の目標画像に決定するステップと、
画像解析部が、抽出画像の画像解析を行うステップと、
対象画像決定部が、画像解析の結果に基づいて、目標画像以外の抽出画像の中から、目標画像に存在する被写体に類似した被写体が存在する抽出画像である類似画像を色変換処理の対象画像に決定するステップと、
カラーテーブル生成部が、画像解析の結果に基づいて、対象画像の色を目標画像の色に合わせる色変換処理を行うカラーテーブルを生成するステップと、
色変換処理部が、カラーテーブルを対象画像に適用して色変換処理を行うステップとを含む画像処理方法を提供する。
【００３２】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
【００３３】
また、本発明は、に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００３４】
本発明によれば、同一時間帯に撮影されたとみなせる撮影画像を抽出画像として抽出することにより、色の違いを低減させるべき撮影場所および撮影環境の範囲を適切に絞ることができる。また、類似被写体が存在する抽出画像を色変換処理の対象画像に決定することにより、色の違いを低減させるべき撮影内容の範囲を適切に絞ることができる。したがって、機種の異なる撮影デバイスで撮影された複数の画像に対して、より統一感のある色変換処理をより素早く行うことができる。
【図面の簡単な説明】
【００３５】
【図１】本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。
【図２】図１に示すサーバの構成を表す一実施形態のブロック図である。
【図３】図１および図２に示す画像処理システムの動作を表す一実施形態のフローチャートである。
【図４】図３に続く画像処理システムの動作を表すフローチャートである。
【発明を実施するための形態】
【００３６】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
【００３７】
図１は、本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。同図に示す画像処理システム１０は、撮影機種の異なる２以上の撮影デバイスで撮影された複数の画像における色さらには解像度の違いを低減するものである。画像処理システム１０は、サーバ１２と、インターネット等のネットワーク１６を介してサーバ１２に接続された２以上のクライアント１４とを備えている。
【００３８】
図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。サーバ１２は、本発明の画像処理装置の一例であり、同図に示すように、画像取得部１８と、撮影情報取得部２０と、画像抽出部２２と、目標画像決定部２４と、画像解析部２６と、対象画像決定部２８と、カラーテーブル生成部３０と、色変換処理部３２と、解像度変換部３４とを備えている。
【００３９】
サーバ１２において、画像取得部１８は、１以上の撮影者により撮影機種の異なる２以上の撮影デバイスで撮影された複数の撮影画像を取得するものである。
【００４０】
撮影画像は、一人の撮影者が、デジタルカメラおよびスマートフォンのように、撮影機種の異なる２以上の撮影デバイスで撮影した画像でもよいし、あるいは、２以上の撮影者が、各々撮影機種の異なる撮影デバイスで撮影した画像でもよい。
【００４１】
続いて、撮影情報取得部２０は、画像取得部１８が取得した撮影画像毎に、撮影者、撮影機種および撮影時刻の情報を撮影情報として取得するものである。
【００４２】
撮影者の情報は、例えば、画像処理システム１０にログインする場合に、ユーザが入力するユーザID（Identification）の情報等から取得することができる。このように、撮影者の情報は、撮影画像を撮影した人物を特定することを必ずしも要するものではなく、各々の撮影者を区別することができる情報であればよい。また、撮影機種および撮影時刻の情報は、例えば、撮影画像の付帯情報であるExif（Exchangeable Image File Format）情報等から取得することができる。
【００４３】
続いて、画像抽出部２２は、撮影情報取得部２０が取得した撮影時刻の情報に基づいて、撮影画像の中から、同一時間帯に撮影されたとみなせる撮影画像を抽出画像として抽出するものである。
【００４４】
同一時間帯に撮影されたとみなせる撮影画像とは、例えば、撮影機種の異なる２以上の撮影デバイスにより、同一時間帯に、同じ被写体（人物および人物以外のオブジェクト）および同じ場所の少なくとも一方が撮影された一群の画像である。また、同一時間帯は、撮影画像が撮影機種の異なる２以上の撮影デバイスにより撮影された共通の時間帯であり、あらかじめ設定された一定時間でもよいし、あるいは、任意の長さの時間でもよい。
【００４５】
同一時間帯に撮影されたとみなせる撮影画像としては、例えば、撮影画像を時系列に並べた場合に、あらかじめ設定された一定時間内、例えば、５分ないし１０分の内に撮影された時系列の一群の撮影画像や、時系列に隣り合う撮影画像同士の撮影間隔が閾値未満、例えば、１分未満である時系列の一群の撮影画像、あるいは、後述する画像解析部２６による画像解析の結果に基づいて、同じイベント、例えば、結婚式、誕生日、運動会等のイベントで撮影された一群の撮影画像等を例示することができる。またあるいは、フォトブックあるいは電子アルバムにおいて同一の見開きページに含まれる一群の撮影画像も例示することができる。
【００４６】
続いて、目標画像決定部２４は、撮影情報取得部２０が取得した撮影者および撮影機種の情報に基づいて、抽出画像を、撮影者毎に、かつ、撮影機種毎に区分けし、区分けの結果に基づいて、抽出画像を最も多く撮影した撮影者で、かつ、抽出画像を最も多く撮影した撮影機種の撮影デバイスにより撮影された抽出画像の中から１枚の抽出画像を、後述する色変換処理部３２による色変換処理の目標画像に決定するものである。
【００４７】
目標画像は、後述する対象画像の色変換処理を行う際の目標（基準）となる色を有する画像である。
目標画像決定部２４は、前述の１枚の抽出画像として、抽出画像を最も多く撮影した撮影者で、かつ、抽出画像を最も多く撮影した撮影機種により撮影された抽出画像の中から任意の１枚の抽出画像を目標画像に決定することができるが、例えば、画像解析の結果に基づいて、明るさ、ボケ、ブレ、色および解像度等の評価値が閾値以上である抽出画像を目標画像に決定してもよい。
【００４８】
続いて、画像解析部２６は、各々の抽出画像の画像解析を行うものである。
【００４９】
画像解析部２６は、例えば、抽出画像に存在する人物の顔領域を検出する顔検出処理、抽出画像に存在する人物以外のオブジェクト（ペット、料理、花、電車、車等）を認識するオブジェクト認識処理、抽出画像のシーン（夜景、夕景、海、自然（緑）等）を認識するシーン認識処理、類似した被写体が存在する抽出画像である類似画像を判定する類似画像判定処理、画像の付帯情報、例えば、撮影日時、撮影場所等に基づいて、複数の画像を誕生会や運動会等のイベント毎に分類（グルーピング）するイベント分類処理等を行う。
【００５０】
また、画像解析部２６は、明るさ、ボケ、ブレ、色および解像度のうちの少なくとも１つに基づいて前述の評価値を算出することができる。評価値が閾値以上である抽出画像は、明るさ、ボケ、ブレ、色および解像度の程度が一定の基準を満足する画像である。
【００５１】
続いて、対象画像決定部２８は、画像解析の結果に基づいて、目標画像決定部２４が決定した目標画像以外の抽出画像の中から、目標画像に存在する被写体に類似した被写体が存在する抽出画像である類似画像を色変換処理の対象画像に決定するものである。
【００５２】
対象画像は、目標画像の色に合わせる色変換処理が行われる対象となる画像である。
対象画像決定部２８は、全ての類似画像を対象画像に決定することができるが、対象画像の数が多すぎて処理時間が増大する場合には、全ての類似画像のうち、例えば、目標画像とは撮影機種が異なる類似画像のみ、評価値が閾値未満である類似画像のみ、あるいは、目標画像とは撮影機種が異なり、かつ、評価値が閾値未満である類似画像のみを対象画像に決定してもよい。
【００５３】
また、対象画像決定部２８は、撮影者が撮影画像に過去に施した色補正処理を利用して、全ての類似画像のうち、この色補正処理を施す必要のある類似画像を対象画像に決定してもよい。例えば、撮影者が、赤成分を強くする色補正処理を撮影画像に過去に施している場合、赤が強く出る傾向にある撮影機種の撮影デバイスで撮影された類似画像は対象画像としない、つまり、赤が強く出ない傾向にある機種で撮影された類似画像を対象画像とする。
【００５４】
続いて、カラーテーブル生成部３０は、画像解析の結果に基づいて、対象画像決定部２８が決定した対象画像の色を、目標画像決定部２４が決定した目標画像の色に合わせる色変換処理を行うカラーテーブルを生成するものである。
【００５５】
カラーテーブル生成部３０は、公知の方法を利用してカラーテーブルを生成することができるが、例えば、画像の各画素が８ビットのRGB（赤緑青）の画像データ０〜２５５で表される場合、RGB毎に、目標画像および対象画像について、画像データのヒストグラムを作成し、対象画像の画像データのヒストグラムが、目標画像の画像データのヒストグラムに合うように変換するカラーテーブルを生成することができる。
【００５６】
カラーテーブル生成部３０は、目標画像および対象画像の全領域からカラーテーブルを生成してもよいが、領域が大きすぎて処理時間が増大する場合には、目標画像および対象画像のうちの１または２以上の領域からカラーテーブルを生成してもよい。
【００５７】
例えば、カラーテーブル生成部３０は、顔検出処理の結果に基づいて、目標画像および対象画像に存在する人物の顔領域からカラーテーブルを生成してもよい。また、オブジェクト認識処理の結果に基づいて、目標画像および対象画像に存在するオブジェクトの領域、例えば、目標画像および対象画像にいちごが撮影されている場合には、いちごの領域からカラーテーブルを生成してもよい。
【００５８】
また、２以上の撮影者がフォトブック等の合成画像を共同で作成しようとしている場合、２以上の撮影者により同一時間帯に撮影されたとみなせる撮影画像は基本的に同じ場所で撮影された画像であるという仮説のもとで、カラーテーブル生成部３０は、シーン認識処理の結果に基づいて、目標画像および対象画像に存在する背景の領域、例えば、目標画像および対象画像に空が撮影されている場合には、空の領域からカラーテーブルを生成してもよい。
【００５９】
また、カラーテーブル生成部３０は、カラーテーブルとして、撮影者が撮影画像に過去に施した色補正処理を利用して、この色補正処理を含むカラーテーブルを生成してもよい。例えば、撮影者が、赤成分を強くする色補正処理を撮影画像に過去に施している場合、この色補正処理をカラーテーブルに含めて、対象画像の色を目標画像の色に合わせるとともに、赤成分が強くなるカラーテーブルを生成する。
【００６０】
また、カラーテーブル生成部３０は、カラーテーブルとして、対象画像の明度を変えず、色相および彩度（色度）だけを目標画像の色相および彩度に合わせる色変換処理を行うカラーテーブルを生成してもよい。
【００６１】
例えば、海辺でビーチバレーをしている人物を２以上の人物が違う方向から撮影した場合、太陽のもとでの撮影であり、海の明るさも空の明るさも余り変わらないため、明るさを含めて色を合わせたほうがよい。一方、例えば、室内でいちごを２以上の人物が違う方向から撮影した場合、いちごの色味は合わせたいが、明るさは撮影する方向によって違ってくるため、明るさを合わせる必要はない。
【００６２】
この場合、カラーテーブル生成部３０は、例えば、RGBの色空間の画像データをL*a*b*のような、色相、彩度、輝度（色度および輝度）からなる色空間の画像データに変換し、対象画像の色相および彩度が目標画像の色相および彩度に合うように変換した後、色相、彩度、輝度からなる色空間の画像データをRGBの画像データに変換するカラーテーブルを生成することができる。
【００６３】
また、カラーテーブル生成部３０は、各々の対象画像に対して１つのカラーテーブルを生成してもよいが、対象画像の数が多すぎて処理時間が増大する場合には、例えば、同一の撮影機種毎に１つのカラーテーブルを生成してもよい。
【００６４】
続いて、色変換処理部３２は、カラーテーブル生成部３０が生成したカラーテーブルを対象画像に適用して前述の色変換処理を行うものである。
【００６５】
続いて、解像度変換部３４は、対象画像の解像度を目標画像の解像度に合わせる解像度変換処理を行うものである。
【００６６】
解像度変換部３４は、対象画像の解像度が目標画像の解像度よりも高い場合、対象画像の少なくとも一部の画素を間引くことによって、対象画像の解像度を目標画像の解像度に合わせることができる。一方、対象画像の解像度が目標画像の解像度よりも低い場合、対象画像の少なくとも一部の画素間を補間することによって、対象画像の解像度を目標画像の解像度に合わせることができる。
【００６７】
解像度変換部３４が、色変換処理後の対象画像に対して解像度変換処理を行ってもよいし、あるいは、色変換処理部３２が、解像度変換処理後の対象画像に対して色変換処理を行ってもよい。
【００６８】
一方、クライアント１４は、例えば、PC(パーソナルコンピュータ)、タブレットPC、スマートフォンのように、各々のユーザが所有する端末装置の一例である。クライアント１４は、例えば、キーボード、マウス、タッチパネル等の入力部、液晶ディスプレイ、タッチパネル等の表示部、入力部がユーザから入力された指示を取得する処理および表示部が各種情報を表示する処理等を制御する制御部等を備えている。
【００６９】
なお、サーバ１２およびクライアント１４は、それぞれ、両者の間でネットワーク１６を介して各種データの送受信を行う送受信部を備えているが、本実施形態では、煩雑さを防ぐために送受信部の記載を省略している。
【００７０】
次に、図３および図４に示すフローチャートを参照しながら、画像処理システム１０の動作を説明する。
【００７１】
例えば、２以上のユーザのクライアント１４において、各々のユーザから入力された指示に応じて、各々のクライアント１４から、各々のユーザが所有する１以上の撮影画像がサーバ１２へ送信（アップロード）される。
【００７２】
クライアント１４からサーバ１２へ撮影画像が送信されてくると、サーバ１２において、画像取得部１８により、各々のクライアント１４から送信されてくる撮影画像が取得される（ステップS1）。
【００７３】
続いて、撮影情報取得部２０により、撮影画像の撮影情報として、撮影者、撮影機種および撮影時刻の情報が取得される（ステップS2）。
【００７４】
続いて、クライアント１４からサーバ１２への撮影画像の送信が終了したか否かの確認が行われる（ステップS3）。
【００７５】
その結果、撮影画像の送信が終了していない場合（ステップS3でNo）には、ステップS1へ戻り、前述の動作が繰り返し行われる。つまり、撮影画像が順次取得され、撮影画像毎に、撮影情報が取得される。
【００７６】
一方、撮影画像の送信が終了した場合（ステップS3でYes）には、画像取得部１８が取得した複数の撮影画像が、撮影機種の異なる２以上の撮影デバイスで撮影された画像であるか否かの確認が行われる（ステップS4）。
【００７７】
その結果、複数の撮影画像が、撮影機種の異なる２以上の撮影デバイスで撮影された画像ではない場合、つまり、同一機種の撮影デバイスで撮影された画像である場合（ステップS4でNo）には、処理を終了する。
【００７８】
一方、複数の撮影画像が、撮影機種の異なる２以上の撮影デバイスで撮影された画像である場合（ステップS4でYes）には、画像抽出部２２により、撮影時刻の情報に基づいて、撮影画像の中から、同一時間帯に撮影されたとみなせる撮影画像が抽出画像として抽出される（ステップS5）。このように、同一時間帯に撮影されたとみなせる撮影画像を抽出画像として抽出することにより、色を合わせる必要のない画像同士の色合わせを行う無駄を省くことができる。
【００７９】
続いて、画像抽出部２２が抽出した抽出画像が、撮影機種の異なる２以上の撮影デバイスで撮影された画像であるか否かの確認が行われる（ステップS6）。
【００８０】
その結果、抽出画像が、撮影機種の異なる２以上の撮影デバイスで撮影された画像ではない場合（ステップS6でNo）には、処理を終了する。
【００８１】
一方、抽出画像が、撮影機種の異なる２以上の撮影デバイスで撮影された画像である場合（ステップS6でYes）には、目標画像決定部２４により、撮影者および撮影機種の情報に基づいて、抽出画像が、撮影者毎に、かつ、撮影機種毎に区分けされる。そして、区分けの結果に基づいて、抽出画像を最も多く撮影した撮影者で、かつ、抽出画像を最も多く撮影した撮影機種により撮影された抽出画像の中から１枚の抽出画像が、色変換処理の目標画像に決定される（ステップS7）。
【００８２】
以下の抽出画像の画像解析、対象画像の決定、カラーテーブルの生成、対象画像の色変換処理は、抽出画像が撮影された撮影デバイスの撮影機種毎に行われる。
【００８３】
続いて、画像解析部２６により、各々の抽出画像の画像解析が行われる（ステップS8）。
【００８４】
続いて、対象画像決定部２８により、画像解析の結果に基づいて、目標画像以外の抽出画像の中から、目標画像に存在する被写体に類似した被写体が存在する抽出画像である類似画像が色変換処理の対象画像に決定される（ステップS9）。このように、類似被写体が存在する抽出画像を色変換処理の対象画像に決定することにより、色を合わせる必要のない画像同士の色合わせを行う無駄を省くことができる。
【００８５】
続いて、カラーテーブル生成部３０により、画像解析の結果に基づいて、対象画像の色変換処理を行うカラーテーブルが生成される（ステップS10）。
【００８６】
続いて、色変換処理部３２により、カラーテーブルが対象画像に適用されて色変換処理が行われる（ステップS11）。
【００８７】
続いて、解像度変換部３４により、対象画像に解像度変換処理が行われる（ステップS12）。
【００８８】
続いて、抽出画像が撮影された全ての撮影デバイスの撮影機種について色変換処理および解像度変換処理が終了したか否かの確認が行われる（ステップS13）。
【００８９】
その結果、全ての撮影機種について色変換処理および解像度変換処理が終了した場合（ステップS13でYes）には、処理を終了する。
【００９０】
一方、全ての撮影機種について色変換処理および解像度変換処理が終了していない場合（ステップS13でNo）には、ステップS8へ戻り、次の撮影機種の撮影デバイスで撮影された抽出画像について、前述の動作が繰り返し行われる。
【００９１】
画像処理システム１０では、同一時間帯に撮影されたとみなせる撮影画像を抽出画像として抽出することにより、色の違いを低減させるべき撮影場所および撮影環境の範囲を適切に絞ることができる。また、類似被写体が存在する抽出画像を色変換処理の対象画像に決定することにより、色の違いを低減させるべき撮影内容の範囲を適切に絞ることができる。したがって、機種の異なる撮影デバイスで撮影された複数の画像に対して、より統一感のある色変換処理をより素早く行うことができる。
【００９２】
そのため、例えば、複数のユーザが所有する画像を持ち寄って、複数の画像を、ユーザの所望のレイアウトで複数のページに配置したフォトブックや、複数の画像をシャッフルして、１枚のプリントに配置したシャッフルプリント等のような合成画像を作成する場合に、画像処理システム１０で画像の色変換処理および解像度変換処理を行うことにより、色味や解像度に統一感のある合成画像を作成することができる。
【００９３】
また、サーバ１２と、ネットワーク１６を介してサーバ１２に接続された２以上のクライアント１４とを備える画像処理システムを例に挙げて説明したが、本発明は、これに限定されない。本発明の画像処理装置は、本実施形態のように、サーバ１２が備える機能として構成することができるが、例えば、サーバ１２およびネットワーク１６を必要とすることなく、クライアント１４が備える機能としても構成することができる。また、２以上のクライアント１４をネットワーク１６を介して直接接続してもよい。
【００９４】
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【００９５】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【００９６】
１０  画像処理システム
１２  サーバ
１４  クライアント
１６  ネットワーク
１８  画像取得部
２０  撮影情報取得部
２２  画像抽出部
２４  目標画像決定部
２６  画像解析部
２８  対象画像決定部
３０  カラーテーブル生成部
３２  色変換処理部
３４  解像度変換部
【図１】
0006340347.tif 000002
【図２】
0006340347.tif 000003
【図３】
0006340347.tif 000004
【図４】
0006340347.tif 000005