(57)【要約】      （修正有）【課題】他の画像を参照して、補正対象の画像に対して画像の特徴に関わる複数の評価項目について補正処理を実行する。【解決手段】画像処理装置は、補正処理の対象とする対象画像と、目標画像とを選択する画像指定部と、目標画像と対象画像それぞれについて、コントラスト、ヒストグラム、明るさ、色み、光沢、ノイズのうち少なくとも２つ以上の異なる評価項目ごとの評価値を取得する評価値取得部と、評価項目ごとの目標画像と対象画像それぞれの評価値に基づいて、対象画像の評価値が目標画像の評価値に近づくように評価項目ごとの補正パラメータを算出する補正パラメータ算出部と、評価項目ごとの補正パラメータそれぞれを用いて対象画像を補正することにより、複数の補正画像を生成する画像補正部と、を有する。【選択図】図３
2020087118.tif 000002
【特許請求の範囲】
【請求項１】
補正処理の対象とする対象画像と、前記対象画像とは異なる目標画像とを選択する選択手段と、
前記目標画像と前記対象画像それぞれについて、コントラスト、ヒストグラム、明るさ、色み、光沢、ノイズのうち少なくとも２つ以上の異なる評価項目ごとの評価値を取得する評価値取得手段と、
前記評価項目ごとの前記目標画像と前記対象画像それぞれの評価値に基づいて、前記対象画像の評価値が前記目標画像の評価値に近づくように前記評価項目ごとの補正パラメータを算出する補正パラメータ算出手段と、
前記評価項目ごとの補正パラメータそれぞれを用いて前記対象画像を補正することにより、複数の補正画像を生成する補正手段と、を特徴とする画像処理装置。
【請求項２】
さらに、画像の表示を制御する表示制御手段を有し、
前記表示手段は、複数の補正画像を一覧表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段は、同じ評価項目について前記対象画像と前記目標画像との評価値の差分値を算出し、差分値が大きい評価項目の順に補正画像を表示させることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段はさらに、前記評価項目ごとの補正パラメータの全てを用いて前記対象画像を補正することにより得られる補正画像を生成することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
コンピュータを請求項１乃至請求項４のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項６】
補正処理の対象とする対象画像と、前記対象画像とは異なる目標画像とを選択する選択し、
前記目標画像と前記対象画像それぞれについて、コントラスト、ヒストグラム、明るさ、色み、光沢、ノイズのうち少なくとも２つ以上の異なる評価項目ごとの評価値を取得し、
前記評価項目ごとの前記目標画像と前記対象画像それぞれの評価値に基づいて、前記対象画像の評価値が前記目標画像の評価値に近づくように前記評価項目ごとの補正パラメータを算出し、
前記評価項目ごとの補正パラメータそれぞれを用いて前記対象画像を補正することにより、複数の補正画像を生成すことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した後に画像を加工する画像処理技術に関する。
【背景技術】
【０００２】
近年、スマートフォンなど画像処理が可能な装置の普及により、画像の撮像後に、撮像画像を加工するユーザが増えている。画像編集を行う際には、装置にインストールされた画像加工アプリを用いて、予め設定された風合いに加工することができるフィルタや、明度や彩度、コントラストに関してスライドバーを介した調整など行うことが多い。一方、特許文献１には、補正対象の画像に対して、他の目標画像の色空間の特徴を反映する方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２２６１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像の特徴には、色合いのみではなく、コントラストやノイズ感など様々な項目がある。そのためユーザは必ずしも補正対象の画像を、他の目標画像の色空間に近づけたいと所望しているとは限らない。しかしながら従来の方法では、ユーザは補正対象の画像に対して、他の目標画像におけるさまざまな特徴に近づけるように補正することはできなかった。
【０００５】
そこで本発明は、他の画像を参照して、補正対象の画像に対して画像の特徴に関わる複数の評価項目について補正処理を実行することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため本発明に係る画像処理装置は、補正処理の対象とする対象画像と、前記対象画像とは異なる目標画像とを選択する選択手段と、
前記目標画像と前記対象画像それぞれについて、コントラスト、ヒストグラム、明るさ、色み、光沢、ノイズのうち少なくとも２つ以上の異なる評価項目ごとの評価値を取得する評価値取得手段と、
前記評価項目ごとの前記目標画像と前記対象画像それぞれの評価値に基づいて、前記対象画像の評価値が前記目標画像の評価値に近づくように前記評価項目ごとの補正パラメータを算出する補正パラメータ算出手段と、
前記評価項目ごとの補正パラメータそれぞれを用いて前記対象画像を補正することにより、複数の補正画像を生成する補正手段と、を特徴とする。
【発明の効果】
【０００７】
本発明によれば、他の画像を参照して、補正対象の画像に対して画像の特徴に関わる複数の評価項目について補正処理を実行することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置１のハードウェア構成の一例を示す図。
【図２】画像処理装置１の外観の一例を示す図。
【図３】画像処理装置１の論理構成を示すブロック図。
【図４】画像処理装置１の処理の流れを示すフローチャート。
【図５】グラフィカルユーザインタフェースの一例を示す図。
【図６】評価値取得部３０２が実行する処理のフローチャート。
【図７】コントラストの評価値を算出する処理のフローチャート。
【図８】ヒストグラムの評価値を算出する処理のフローチャート。
【図９】顔領域の色みの評価値を算出する処理のフローチャート。
【図１０】光沢の評価値を算出する処理のフローチャート。
【図１１】ノイズの評価値を算出する処理のフローチャート。
【図１２】補正パラメータ算出部３０３が実行する処理のフローチャート。
【図１３】画像補正部３０４が実行する処理のフローチャート。
【図１４】補正パラメータ算出部３０３が実行する処理のフローチャート。
【図１５】表示制御部３０６が実行する処理のフローチャート。
【図１６】グラフィカルユーザインタフェースの一例を示す図。
【図１７】画像処理装置１が実行する処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１０】
［第１実施形態］
本実施形態では、編集対象とする画像に対して、補正対象とは異なるシーンにおいて撮像された他の画像に基づいて、所望の画像処理を実行する方法について説明する。
【００１１】
＜画像処理装置１のハードウェア構成＞
図１（ａ）は、第１実施形態に適用可能な画像処理装置１のハードウェア構成の一例を示す図である。画像処理装置１は、スマートフォンやタブレットＰＣ（パーソナルコンピュータ）等により実現される。画像処理装置１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、入出力インタフェース（Ｉ／Ｆ）１０４と、タッチパネルディスプレイ１０５と、撮像部１０６と、通信Ｉ／Ｆ１０７と、を有する。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、外部記憶装置１１０などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２や外部記憶装置１１０などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。入出力Ｉ／Ｆ１０４には、シリアルバス１０９を介して、外部記憶装置１１０が接続される。外部記憶装置１１０は、ＨＤＤ（ハードディスクドライブ）である。タッチパネルディスプレイ１０５は、画像の表示を行うディスプレイと、指などの指示体によるタッチの位置を検出するタッチパネルと、が一体となった入出力部である。撮像部１０６は、撮像対象の画像を取得する撮像部である。
【００１２】
図２に本実施形態における画像処理装置１の外観の一例を示す。図２（ａ）は、画像処理装置１のタッチパネルディスプレイ１０５を有する面（以下、ディスプレイ面呼ぶ）を示す図である。図２（ｂ）は、画像処理装置１のディスプレイ面と反対の面（以下、背面と呼ぶ）を示す図である。本実施形態における撮像部１０６は、画像処理装置１の背面に備えられるメインカメラ２０２及び画像処理装置１のディスプレイ面に備えられるインカメラ２０１を有する。インカメラ２０１は、ディスプレイ（表示画面）を閲覧するユーザの顔を撮像可能な位置及び方向に設置されている。通信Ｉ／Ｆ１０７は、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。本実施形態における通信Ｉ／Ｆ１０７は、無線ＬＡＮ（ローカルエリアネットワーク）を介して通信相手とのデータの送受信が可能である。また、通信Ｉ／Ｆ１０７は、他の通信機器との間では、直接の通信以外に、中継装置を介した間接的な通信も可能である。
【００１３】
＜画像処理装置１の論理構成＞
本実施形態における画像処理装置１の論理構成を説明する。図３は、本実施形態における画像処理装置１の論理構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１がＲＡＭ１０３をワークメモリとして用い、ＲＯＭ１０２に格納されたプログラムを実行することによって、図３に示す論理構成として機能する。尚、以下に示す処理の全てが必ずしもＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。
【００１４】
画像処理装置１は、画像指定部３０１と、評価値取得部３０２と、補正パラメータ算出部３０３と、画像補正部３０４と、表示制御部３０６と、表示制御部３０６を有する。画像指定部３０１は、目標画像と、前記目標画像とは異なるシーンで撮影された補正対象画像とを指定する。評価値取得部３０２は、画像指定部３０１で指定された目標画像を解析し、画像を評価する複数の異なる評価項目ごとに画像の評価値を取得する。尚、本実施例では画像の特徴を表す評価値として、コントラスト、ヒストグラム、明るさ、色み、光沢、ノイズの評価値を扱うが、評価値はこれに限定せず、他の評価値を取得してもよい。補正パラメータ算出部３０３は、評価値取得部３０２で取得した評価値に基づいて補正パラメータを算出する。画像補正部３０４は、画像指定部３０１で指定した補正対象画像を補正パラメータ算出部３０３で算出した補正パラメータに基づいて補正する。表示制御部３０６は、処理に必要な情報をユーザに入力してもらうためのユーザインタフェースや処理した画像の表示を制御する。
【００１５】
＜画像処理装置１が実行する処理＞
図４は、画像処理装置１が実行する処理の流れを示すフローチャートである。ＣＰＵ１０１が、図４に示すフローチャートを実現可能なプログラムを読み出し実行することで、各構成（機能）が実現される。以下、各ステップ（工程）は符号の前にＳをつけて表す。
【００１６】
Ｓ１１において表示制御部３０６は、処理に必要な情報をユーザに入力してもらうためのグラフィカルユーザインタフェース（以下、ＧＵＩ）を、タッチパネルディスプレイ１０５に表示させる。また表示制御部３０６は、ＧＵＩを介したユーザからの指示を受けつける。ここで図５にＧＵＩの例を示す。表示制御部３０６はまず、図５（ａ）に示す補正画像の選択を受けつけるためのＧＵＩをタッチパネルディスプレイ１０５に表示する。補正対象とする画像選択領域１００２には、補正対象の候補である複数の画像が表示される。ここでは画像選択領域１００２には、９枚の画像を一覧として表示可能である。画像選択領域１００２に表示された画像のうち何れかの画像をユーザがタッチすると、タッチパネルディスプレイ１０５は、指定された画像を検知し、表示制御部３０６に指定された画像を示す情報を送信する。また、フォルダ指定ボタン１００３は、画像が保存されたフォルダの選択を受けつけるためのボタンである。フォルダ指定ボタン１００３が押下すると、表示制御部３０６は画像が保存されているフォルダ候補を選択可能なように表示させる。さらに表示制御部３０６は、ユーザによるフォルダの指定を受けつけると、指定されたフォルダに格納された画像を画像選択領域１００２に表示させる。移動ボタン１００１は、次のメニューに進む指示をユーザから受け付けるためのボタンである。表示制御部３０６は、ユーザの指示に応じて補正対象選択領域１００２に画像を表示しながら、ユーザによる補正対象画像の指定を受けつける。
【００１７】
次にユーザが移動ボタン１００１を押下すると、表示制御部３０６は図５（ｂ）に示すように、参照画像の選択を受けつけるためのＧＵＩを表示させる。フォルダ指定ボタン１００６は、図５（ａ）に示すフォルダ指定ボタン１００４と同様、フォルダの選択を受けつけるためのボタンである。目標画像選択領域１００５には、目標画像の候補となる複数の画像が一覧表示されている。補正対象画像と同様に、ユーザは、補正対象画像を補正する際に目標として参照する参照画像を指定する。表示制御部３０６は、ユーザによる参照画像の指定を受けつける。移動ボタン１００４は、補正対象画像に対する画像処理を実行するメニューに移動するためのボタンである。参照画像の指定が完了すると、ユーザは移動ボタン１００４を押下可能となる。表示制御部３０６が、タッチパネルディスプレイ１０５を介してユーザが移動ボタン１００４を押下したことを検知すると、表示制御部３０６は図５（ｃ）のユーザインタフェースを表示させる。
【００１８】
図５（ｃ）に示すＧＵＩにおいて、補正対象画像領域１００８が表示されている。補正適用ボタン１００７は、補正対象の画像に対する補正の適用を指示するためのボタンである。図５（ｃ）に示すＧＵＩの詳細については後述するが、補正適用１００７をユーザによりタッチされると、以降の処理を開始する。
【００１９】
Ｓ１２において画像指定部３０１は、補正対象の画像を示す画像データを入力画像データとして取得する。画像指定部３０１は、表示制御部３０６からユーザの指示により補正対象として指定された画像を特定する情報を受けつけると、補正対象として指定された画像を示す画像データが格納された場所を特定し、ＲＯＭ１０２から読み出す。ここでは入力画像データは、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）各色の画像データからなるものとする。各色の画像データは、画素毎に８ビットの画素値からなる画像を表すデータであるとする。
【００２０】
Ｓ１３において画像指定部３０１は、補正対象の画像を補正する際に目標とする目標画像を示す画像データを、目標画像データとして取得する。ここでは目標画像データは、入力画像データと同様、Ｒ、Ｇ、Ｂ各色の画像データからなるものとし、画素毎に８ビットの画素値からなる画像を表すデータであるとする。画像指定部３０１は、表示制御部３０６からユーザの指示により目標画像として指定された画像に特定する情報を受けつけると、目標画像として指定された画像を示す画像データが格納された場所を特定し、ＲＯＭ１９２から読み出す。
【００２１】
Ｓ１４において評価値取得部３０２は、Ｓ１２において読み出した入力画像データ及びＳ１３において読み出した目標画像データそれぞれを用いて、入力画像および目標画像それぞれの評価値を算出する。ここで評価値取得部３０２は、複数の共通する項目に関する評価値を算出する。評価値取得部３０２が実行する評価値の算出方法の詳細については、後述する。
【００２２】
Ｓ１５において補正パラメータ算出部３０３は、入力画像の評価値と目標画像の評価値とに基づいて、入力画像に対する画像処理で用いる補正パラメータを算出する。尚、補正パラメータ算出部３０３が実行する補正パラメータの算出方法の詳細については後述する。
【００２３】
Ｓ１６において表示制御部３０６は、画像を評価する複数の評価項目ごとに補正された画像をディスプレイへ表示する。尚、表示制御部３０６におけるディスプレイへの表示方法の詳細は後述する。Ｓ１７において、画像処理装置１は、Ｓ１６において表示された画像の中からユーザが選択した所望の画像を保存し、処理を終了する。
【００２４】
＜Ｓ１４における評価値取得部３０２の動作＞
図６は、Ｓ１４において評価値取得部３０２が実行する処理の流れを示すフローチャートである。Ｓ１４１において評価値取得部３０２は、補正対象の画像および目標画像それぞれについて、画像のコントラストに関する評価値を算出する。尚、コントラストの評価値の算出方法については後述する。
【００２５】
Ｓ１４２において評価値取得部３０２は、補正対象の画像および目標画像それぞれについて、画像のヒストグラムに関する評価値を算出する。尚、ヒストグラムの評価値の算出方法については後述する。
【００２６】
Ｓ１４３において補正対象の画像および目標画像それぞれについて、画像の明るさに関する評価値を算出する。本実施形態において評価値取得部３０２は、入力画像データと目標画像データに基づいて、補正対象の画像および目標画像それぞれにおける平均明度を、明るさに関連する評価値として算出する。具体的には、各画像における全画素の画素値を色毎に平均し、各色の平均値をｓＲＧＢ変換式によりＸＹＺ値に変換する。次に様々なシーンでの色の見えを予測する色知覚モデルＣＩＥＣＡＭ０２を用いて、ＸＹＺ値を明度値Ｊに変換する。尚、ＲＧＢ各色の値からＸＹＺ値への変換はＡｄｏｂｅＲＧＢ変換式などの他の変換式を用いてもよい。またＸＹＺ値から明度への変換には、別の色知覚モデルであるＣＩＥ−Ｌａｂ変換式の明度値Ｌ＊を用いてもよい。
【００２７】
Ｓ１４４において評価値取得部３０２は、補正対象の画像および目標画像それぞれについて、画像の色みに関する評価値を算出する。本実施形態において評価値取得部３０２は、補正対象の画像および目標画像それぞれにおける色度値を、色みに関する評価値として算出する。具体的には、評価値取得部３０２はまず、各画像データにおける全画素の画素値を色毎に平均する。次に評価値取得部３０２は、ｓＲＧＢやＡｄｏｂｅＲＧＢなどの所定の変換式を用いて、各色の平均値をＸＹＺ値に変換し、さらにＣＩＥＣＡＭ０２の色度値ａ（赤−緑），ｂ（黄−青）を用いてＸＹＺ値を色度値に変換する。尚、色みに関する評価値は、画像全体の色みではなく、光源の色みに関する評価値を算出するようにしてもよい。例えば、入力画像データから輝度成分についてヒストグラムを作成し、ヒストグラム上側５％以上の画素値の平均値から算出してもよい。あるいは、ＸＹＺ値から色度値への変換として、ＣＩＥ−ｘｙ色度値やＣＩＥ−Ｌａｂの色度値ａ，ｂを用いてもよい。
【００２８】
Ｓ１４５において評価値取得部３０２は、補正対象の画像における顔領域（肌）の色み、および目標画像における顔領域（肌）の色みに関する評価値を算出する。尚、顔領域の色みに関する評価値の算出方法については後述する。Ｓ１４６において評価値取得部３０２は、補正対象の画像および目標画像それぞれについて、光沢に関する評価値を算出する。尚、光沢の評価値の算出方法については後述する。Ｓ１４７において評価値取得部３０２は、補正対象の画像および目標画像それぞれのノイズに関する評価値を算出する。尚、ノイズの評価値の算出方法については後述する。
【００２９】
＜Ｓ１４１におけるコントラストの評価値の算出方法＞
図７は、Ｓ１４１において評価値取得部３０２が実行する処理の流れを示すフローチャートである。Ｓ１４１１において評価値取得部３０２は、補正対象の画像および目標画像それぞれにおけるハイライト領域を検出する。まず評価値算出部３０２は、画像の輝度成分についてヒストグラムを作成し、ヒストグラムの上側５％以上の画素値に対応する画素群からなる領域をハイライト領域と判定する。尚、本実施形態では評価値取得部３０２は、画像における各画素の輝度成分として以下の式（１）を用いるがｓＲＧＢ変換式やＡｄｏｂｅＲＧＢ変換式などの色変換式から輝度値Ｙを算出してもよい。
【００３０】
輝度成分Ｙ＝０．２９９×Ｒ値＋０．５８７×Ｇ値＋０．１１４×Ｂ値・・・（式１）
Ｓ１４１２において評価値取得部３０２は、Ｓ１４１１において検出されたハイライト領域の画素値から明度値を算出する。明度値は、ハイライト領域における画素群の画素値の平均値からｓＲＧＢ変換式とＣＩＥＣＡＭ０２の変換式を用いて明度値Ｊを算出される。尚、本実施形態ではハイライト領域における画素群の画素値の平均値を用いるが、最頻値や中央値など他の統計値を用いてもよい。明度値はＣＩＥＬａｂ均等色空間など他の標準の色空間を用いて算出してもよい。
【００３１】
Ｓ１４１３において評価値取得部３０２は、補正対象の画像および目標画像それぞれにおけるシャドウ領域を検出する。評価値算出部３０２は、Ｓ１４１１において作成した輝度成分についてヒストグラムの下側５％以下の画素値に対応する画素群からなる領域をシャドウ領域と判定する。
【００３２】
Ｓ１４１４において評価値取得部３０２は、Ｓ１４１３において検出されたシャドウ領域における画素群の画素値から明度値を算出する。明度値はシャドウ領域の画素値の平均値からｓＲＧＢ変換式とＣＩＥＣＡＭ０２の変換式を用いて明度値Ｊを算出される。尚、本実施例ではシャドウ領域の画素値の平均値を用いるが、最頻値や中央値など他の統計値を用いてもよい。
【００３３】
Ｓ１４１５において評価値取得部３０２は、ハイライト領域に対応する明度値及びシャドウ領域に対応する明度値との差分を、コントラストの評価値として保存し、処理を終了する。
【００３４】
＜Ｓ１４２におけるヒストグラムの評価値の算出方法＞
図８は、Ｓ１４２において評価値取得部３０２が実行する処理の流れを示すフローチャートである。Ｓ１４２１において評価値取得部３０２は、補正対象の画像および目標画像それぞれにおける各画素の画素値を明度値に変換する。
【００３５】
Ｓ１４２２において評価値取得部３０２は、補正対象の画像および目標画像それぞれについて、Ｓ１４２１において算出した各画素の明度値から、明度値のヒストグラムの特徴量として歪度、尖度を算出する。評価値取得部３０２は、式（２）を用いて歪度、式（３）を用いて尖度を算出する。
【００３６】
【数１】
2020087118.tif 000003
【００３７】
Ｓ１４２３において評価値取得部３０２は、Ｓ１４２２において算出した歪度と尖度をヒストグラムの評価値として保存し、処理を終了する。
【００３８】
＜Ｓ１４５における顔領域（肌）の評価値の算出方法＞
図９は、Ｓ１４５において評価値取得部３０２が実行する処理の流れを示すフローチャートである。尚、本実施形態においては人物の肌を対象とするが、他のオブジェクトを対象としてもよい。
【００３９】
Ｓ１４５１において評価値取得部３０２は、補正対象の画像および目標画像それぞれに対して、公知の顔検出処理を適用することにより、各画像が顔領域を含むか否かを判定する。顔検出処理としては、ニューラルネットワークに代表される学習を用いる方法、テンプレートマッチングを用いて目や鼻など形状に特徴がある部位を検出する方法、統計的解析を用いて肌の色などの画像特徴量を検出する手法などがある。
【００４０】
Ｓ１４５２において評価値取得部３０２は、Ｓ１４５１において顔領域として判定された領域の色度値を算出する。本実施例では色度値としてＣＩＥＣＡＭ０２のａｂ値を用いるが、ＣＩＥ−ｘｙ色度値やＣＩＥＬａｂ均等色空間の色度値を使用してもよい。また、色度値は該当領域の画素値の平均値を用いるが、最頻値や中央値など他の統計値を用いても良い。Ｓ１４５３において、評価値取得部３０２は、Ｓ１４５２で算出した色度値を評価値として保存し、処理を終了する。
【００４１】
＜Ｓ１４６における光沢の評価値の算出方法＞
図１０は、Ｓ１４６において評価値取得部３０２が実行する処理の流れを示すフローチャートである。
【００４２】
Ｓ１４６１において評価値取得部３０２は、補正対象の画像および目標画像それぞれに対して、オブジェクトを抽出する。オブジェクトを抽出する処理は、公知の領域分割アルゴリズムを用いられる。例えば、グラフカットアルゴリズムによって、処理対象の画像における画素毎にグループを形成、グループの統合を繰り返すことで１枚の画像から、例えば自動車などの意味をもった領域がオブジェクトとして抽出される。本実施形態において評価値取得部３０２は、画像の中心に最も近いオブジェクトを第１のオブジェクトと判定する。なお、複数のオブジェクトを抽出してよく、その場合は以降の処理を順次各オブジェクトに対して実施する。
【００４３】
Ｓ１４６２において評価値取得部３０２は、Ｓ１４６１において第１のオブジェクトと判定された領域における画素群の画素値の平均値から明度値を算出する。評価値取得部３０２は、ｓＲＧＢ変換式とＣＩＥＣＡＭ０２の変換式を用いて明度値Ｊを算出する。
【００４４】
Ｓ１４６３において評価値取得部３０２は、Ｓ１４６１において第１のオブジェクトと判定された領域が光沢領域を含むか否かを判定する。光沢領域を含むか否かの判定は、オブジェクトの画素値の明度値が所定の閾値以上であるかどうかを比較することにより行われる。本実施例では評価値取得部３０２は、Ｌ＊＝８０以上の画素値を含む場合は第１のオブジェクトが光沢領域を含むと判定する。第１のオブジェクトが光沢領域を含むと判定された場合、評価値取得部３０２はＳ１４６４の処理へ進み、光沢領域を含まないと判定された場合は、評価値取得部３０２は処理を終了する。
【００４５】
Ｓ１４６４において評価値取得部３０２は、第１のオブジェクトにおいてＬ＊＝８０以上である画素群の画素値を用いて明度ヒストグラムを作成する。Ｓ１４６５において評価値取得部３０２は、Ｓ１４６４において作成した明度ヒストグラムからヒストグラムの歪度を算出する。
【００４６】
Ｓ１４６６において評価値取得部３０２は、補正対象の画像および目標画像それぞれについて、光沢感があるか否かを判定する。評価値取得部３０２は、Ｓ１４６５にて算出した歪度が正である場合は光沢があると判定しＳ１４６７の処理へ進む。一方、歪度が負である場合は、評価値取得部３０２は光沢がないと判定して処理を終了する。Ｓ１４６７において評価値取得部３０２は、第１のオブジェクトにおいてＬ＊＝８０以上である画素群の画素値の明度値を、光沢の評価値として保存し、処理を終了する。
【００４７】
＜Ｓ１４７におけるノイズの評価値の算出方法＞
図１１は、Ｓ１４７において評価値取得部３０２が実行する処理の流れを示すフローチャートである。
【００４８】
Ｓ１４７１において評価値取得部３０２はまず、補正対象の画像および目標画像それぞれに対して、各画素の画素値をｓＲＧＢ変換式とＣＩＥ−Ｌａｂ変換式を用いて明度値Ｌ＊（ｘ，ｙ）に変換する。次に評価値取得部３０２はＬ＊（ｘ，ｙ）を式（４）によりフーリエ変換し、空間周波数特性Ｆ（ｕ，ｖ）を算出する。下式（４）においてＭ，Ｎは、それぞれ評価値算出対象の画像の縦、横の画素数を表す。
【００４９】
【数２】
2020087118.tif 000004
【００５０】
Ｓ１４７２において評価値取得部３０２は、Ｓ１４７１において生成された空間周波数特性Ｆ（ｕ，ｖ）に所望の帯域フィルタをかけ、式（５）にてウィーナースペクトルＷＳ（ｕ，ｖ）を算出する。式（５）においてＢＰＦ（ｕ，ｖ）は、２次元の画像ノイズを評価ために用いられる帯域フィルタである。本実施形態において評価値取得部３０２は、高周波帯域用フィルタと低周波帯域用フィルタの２つの帯域についてノイズの評価値を算出するが、帯域フィルタは３つ以上用いても良い。
【００５１】
【数３】
2020087118.tif 000005
【００５２】
Ｓ１４７３において評価値取得部３０２は、Ｓ１４７２で算出したウィーナースペクトルＷＳ（ｕ，ｖ）の積分値を算出し、積分値をノイズの評価値とする。ノイズの評価値は、評価値が大きいほど、画像に２次元の画像ノイズが多く含まれることを表す。Ｓ１４７４において評価値取得部３０２は、Ｓ１４７３で算出した評価値をバッファメモリ３０７へ保存し、処理を終了する。
【００５３】
＜Ｓ１５における補正パラメータ算出部３０３の動作＞
図１２は、Ｓ１５において補正パラメータ算出部３０３が実行する処理の流れを示すフローチャートである。
【００５４】
Ｓ１５１において補正パラメータ算出部３０３は、評価値取得部３０２が評価値を取得した複数の評価項目のうち、処理対象とする評価項目について、補正対象の画像に対応する評価値を取得する。また、Ｓ１５２において補正パラメータ算出部３０３は、Ｓ１５１において取得した評価値と同じ評価項目について、目標画像に対応する評価値を取得する。
【００５５】
Ｓ１５３において補正パラメータ算出部３０３は、補正対象の画像を補正するための補正パラメータを設定する。本実施形態では、コントラスト、ヒストグラム、明るさ、色味、顔領域の色味、光沢、ノイズそれぞれの評価項目について評価値を算出した。そこで補正パラメータ算出部３０３は、７つ評価項目のうちコントラスト、ヒストグラム、明るさ、光沢については、明度の階調特性を補正する１ＤＬＵＴを補正パラメータとして設定する。また、評価項目のうち色み、色み（肌）については、補正パラメータ算出部３０３は色変換係数が記述された３×３の変換行列を補正パラメータとして設定する。評価項目のうちノイズについては、補正方法として各画素に現在の輝度を中心に標準偏差σで正規分布乱数を変えて輝度を変更する方法を用いるため、補正パラメータ算出部３０３は標準偏差の大きさを補正パラメータとして設定する。尚、補正パラメータは上記に限定されず、３ＤＬＵＴや多項式で近似しても良い。本実施形態において補正パラメータは予め複数保持し、補正対象画像に順次適用するが、評価値が最小となるようにパラメータを最適化して作成してもよい。
【００５６】
Ｓ１５４において補正パラメータ算出部３０３は、補正対象の画像に対して、Ｓ１５３において設定した補正パラメータを用いて補正する。Ｓ１５５において補正パラメータ算出部３０３は、Ｓ１５４において補正した画像についてＳ１４と同様の方法により再度、処理対象としている評価項目の評価値を取得する。Ｓ１５６において補正パラメータ算出部３０３は、Ｓ１５２において取得した目標画像の評価値とＳ１５５において算出した評価値との差分を算出する。
【００５７】
Ｓ１５７において補正パラメータ算出部３０３は、Ｓ１５６において算出した差分を所定の閾値と比較し、差分が閾値よりも大きければＳ１５３の処理へ戻り、閾値以下であればＳ１５８の処理へ進む。Ｓ１５８において、補正パラメータ算出部３０３は、補正パラメータをバッファメモリ３０７に保存する。Ｓ１５９において補正パラメータ算出部３０３は、全ての評価項目に対して補正パラメータを算出したか否かを判定し、全評価項目の補正パラメータを算出していれば処理を終了する。未処理の評価項目がある場合は、Ｓ１５１に戻って処理を繰り返す。
【００５８】
＜Ｓ１６における表示制御部３０６の動作＞
図１３は、Ｓ１６において表示制御部３０６が実行する処理の流れを示すフローチャートである。本実施形態において表示制御部３０６は、７つの評価項目のうち、コントラスト、色み、顔領域の色み、明るさ、光沢それぞれに対応する補正パラメータを単独で用いて補正した場合の７つの補正画像を生成する。さらに表示制御部３０６は、７つの評価項目すべに対応する補正パラメータを用いて補正した場合の１つの補正画像を生成する。
【００５９】
Ｓ１６１において表示制御部３０６は、補正対象の画像を表す入力画像データを取得する。Ｓ１６２において、表示制御部３０６は、Ｓ１４で評価した複数の異なる評価項目についてＳ１２で取得した補正対象画像とＳ１３で取得した目標画像との評価値を取得し、評価値の差分値を算出する。
【００６０】
Ｓ１６３において表示制御部３０６は、Ｓ１５において算出した各評価項目の補正パラメータを用いて、補正対象の画像に対して補正処理を実行する。Ｓ１６４において表示制御部３０６は、全ての補正処理が実施したか否かを判定し、全ての補正処理について実施していればＳ１６５の処理へ進み、未処理の補正処理がある場合はＳ１６３の処理へ戻る。
【００６１】
Ｓ１６５において表示制御部３０６は、評価項目ごとに補正された画像をタッチパネルディスプレイ１０５に表示させる。図５（ｃ）に、Ｓ１６５において表示されるＧＵＩの例を示す。補正候補表示領域１００９には、評価項目ごとに補正された画像が表示されている。上述した通り補正候補表示領域１００９には、５つの評価項目を個別に補正した画像と、７つの評価項目全てについてまとめて補正した画像とが表示されている。ユーザは補正候補表示領域１００９に表示された画像に対してタッチ入力により画像を選択することができる。表示制御部３０６は、ユーザからの画像の選択を受け付けると、選択された画像を選択画像領域１００８に表示する。画像復元ボタン１０１０を押下すると、補正対象の画像に対する補正処理の適用が解除され、元の補正対象の画像が選択画像領域１００８に表示される。レシピ選択ボタン１０１１は、既に保存された画像の特性が記述されたファイルの選択を受けつけるためのボタンである。レシピ選択ボタン１０１１を介してレシピを格納したファイルを選択されると、選択画像領域１００８に表示された画像に対してさらに補正処理が実行される。またレシピ保存ボタン１０１２は、選択画像領域１００８に表示された画像に適用されている画像処理情報をレシピファイルとして保存するためのボタンである。
【００６２】
＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、目標画像を解析して複数の異なる評価項目に関する評価値を取得し、目標画像の評価値に応じた補正処理を補正対象画像に適用し、ユーザに提示する。ユーザは、目標画像と同じ色みや明るさ、ノイズ感の画像となるように補正対象画像を補正した画像を閲覧しながら、補正対象画像を補正することができる。特にユーザは、所望の風合いの画像になるようにどのような補正パラメーラを設定すべきか知らなくても、複数の異なる補正結果を参照しながら簡易に補正対象画像に対する補正処理を決定することができる。
【００６３】
［第２実施形態］
第１実施形態においては、１枚の目標画像を参照し、画像の評価項目ごとに補正パラメータを算出し、ユーザに提示する方法について説明した。本実施形態においては、複数枚の目標画像から画像の評価項目ごとに補正パラメータを算出し、ユーザに提示する方法について説明する。尚、本実施形態における画像処理装置１のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる補正パラメータ算出部の動作をＳ１８の処理として新たに説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
【００６４】
＜Ｓ１８における補正パラメータ算出部３０３の動作＞
図１４は、Ｓ１８において補正パラメータ算出部３０３が実行する処理の流れを示すフローチャートである。Ｓ１８１において補正パラメータ算出部３０３は、Ｓ１２において取得した補正対象画像についてＳ１４と同様の方法により評価値を取得する。
【００６５】
Ｓ１８２において補正パラメータ算出部３０３は、目標画像を複数枚取得する。なお目標画像は、図５（ｂ）に示すＧＵＩの目標画像選択領域１００５に表示された画像に対して複数枚の画像を選択するユーザ入力を受けつけることによって取得される。
【００６６】
Ｓ１８３において補正パラメータ算出部３０３は、Ｓ１８２において取得した複数枚の目標画像にうち、目標画像間の類似度を算出する。類似度の算出方法としては、色情報を比較する方法や、特徴点を比較する方法、テンプレートマッチングにより形状を比較する方法など複数の方法があるが、本実施形態では、色情報を比較する方法を用いる。補正パラメータ算出部３０３は、複数の目標画像から２つの目標画像を選択し、選択した画像それぞれのヒストグラムを作成して、ヒストグラムの類似度を算出する。なおここでは補正パラメータ算出部３０３は、複数の目標画像について、２つの目標画像を選択するすべての組み合わせについて類似度を算出する。例えば、４つの目標画像が指定されている場合、６回類似度を算出する。
【００６７】
Ｓ１８４において補正パラメータ算出部３０３は、Ｓ１８３において算出した類似度と、各目標画像との評価値とに基づいて、目標とする評価値（以降、目標評価値とする）を取得する。本実施形態では補正パラメータ算出部３０３は、少なくとも１つの他の目標画像と高い類似度を算出された目標画像の評価値に対して、重み係数を高く設定して各目標画像の評価値を重み平均する。
【００６８】
Ｓ１８５において補正パラメータ算出部３０３は、Ｓ１８１において取得した補正対象画像の評価値と、Ｓ１８４において取得した目標評価値とに基づいて、Ｓ１５と同様の方法を用いて補正パラメータを算出する。
【００６９】
Ｓ１８６において補正パラメータ算出部３０３は、Ｓ１８５において算出した補正パラメータをバッファメモリ３０７に保存し、処理を終了する。
【００７０】
＜第２実施形態の効果＞
以上説明したように、第２実施形態における画像処理装置は、複数の目標画像から画像の評価項目ごとに補正パラメータを算出し、目標画像に合わせて補正した画像を複数の異なる評価項目毎にユーザに提示する。これにより、複数の目標画像から、ユーザが補正対象画像をどのような画像に補正したいと所望している傾向を類推し、ユーザの好みに応じた加工画像を提示できる。
【００７１】
［第３実施形態］
第１及び第２実施形態においては、目標画像から画像の評価項目ごとに補正パラメータを算出し、ユーザに提示する方法について説明した。本実施形態においては、目標画像を参照しながらユーザが補正対象の画像を調整したい場合に、評価項目別に補正量を調整できるようにする方法について説明する。尚、本実施形態における画像処理装置１のハードウェア構成は第１実施形態と同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる処理をＳ２として説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。また、以下に示すＳ２は、Ｓ１６とＳ１７との間に追加される処理として説明する。
【００７２】
＜Ｓ２における画像の調整方法＞
図１５は、Ｓ２において画像処理装置１が実行する処理の流れを示すフローチャートである。Ｓ２１において表示制御部３０６は、処理に必要な情報をユーザに入力してもらうためのＧＵＩを表示する。図１６に、本実施形態におけるＧＵＩの例を示す。図１６（ａ）に示すＧＵＩでは、図５（ｃ）に示すＧＵＩにさらに調整ボタン１０１３が追加されている。
【００７３】
Ｓ２２において表示制御部３０６は、ユーザからの調整ボタン１０１３の押下げ検知する。表示制御部３０６は、ユーザからの調整ボタン１０１３の押下げ検知すると、図１６（ｂ）に示すＧＵＩを表示する。図１６（ｂ）に示すＧＵＩは、評価項目別に、補正処理の度合いを調整可能なメニュー画像である。調整用画像領域１０１４には、各評価項目について補正処理の度合いを変えた複数の補正画像が一覧表示されている。本実施形において表示制御部３０６は、複数評価項目の中で目標画像の評価値と補正対象画像の評価値の差が大きい評価項目の順番に３つの評価項目に関連する補正画像を表示する。なお、全ての評価項目について補正の度合いを調整できるように、全ての評価項目について補正の度合いを異ならせた複数の補正画像を一覧表示するようにしてもよい。また、本実施形態では、目標画像に応じて算出した補正パラメータを用いて補正処理を実行した画像を中央に、各評価項目の補正パラメータの値を変化させた画像を左右に３つずつ配置している。すなわち調整用画像領域１０１４には、１つの評価項目について合計７つの補正画像が配置されているが、配置数はこれに限定しない。例えば、ディスプレイの表示面積に合わせて画像を拡大・縮小させて任意の数を配置させてもよいし、ユーザに配置数を指定させ、ユーザ指示に応じた数の補正画像を表示させてもよい。
【００７４】
Ｓ２３において表示制御部３０６は、ユーザからの調整用画像領域１０１４に表示された画像の選択を指示が入力されると、選択された画像に使用されている補正パラメータを用いて補正対象画像に補正処理を適用した画像を、補正対象画像領域１００８に表示する。
【００７５】
Ｓ２４において表示制御部３０６は、ユーザからのレシピ保存ボタン１０１２の押下げが検知されるまでは、Ｓ２３を繰り返し行う。表示制御部３０６は、ユーザからのレシピ保存ボタン１０１２の押下げが検知されると、補正対象画像への補正処理の調整が完了したとみなしてＳ２５の処理へ進む。Ｓ２５において表示制御部３０６は、調整用画像領域１０１４に表示している補正済の画像を保存し、補正処理の調整を終了する。
【００７６】
＜第３実施形態の効果＞
以上説明したように第３実施形態においては、複数の評価項目別に補正処理の度合いを変化させた補正画像をユーザに提示し選択させることで、ユーザは簡易に画像の補正を調整できる。
【００７７】
［第４実施形態］
第１及び第２実施形態においては、目標画像に基づいて画像の評価項目ごとに補正パラメータを算出し、複数の評価項目ごとに補正対象の画像を補正した画像をユーザに提示する方法について説明した。本実施形態においては、目標画像の補正パラメータが記述されたレシピファイルと、画像の解析結果を参照し、評価項目を決定して画像を補正する方法について説明する。尚、本実施形態における画像処理装置１のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる処理をＳ３として説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。また以下に説明するＳ３は、Ｓ１６とＳ１７との間に追加される処理として説明する。
【００７８】
＜Ｓ３における画像の調整方法＞
図１７は、Ｓ３において画像処理装置１が実行する処理の流れを示すフローチャートである。
【００７９】
Ｓ３１において表示制御部３０６は、処理に必要な情報をユーザに入力してもらうためのＧＵＩを表示する。ここでは図５（ｃ）に示すＧＵＩが表示されるものとする。
【００８０】
Ｓ３２において補正パラメータ算出部３０３は、ユーザによるレシピ選択ボタン１０１１への入力を介して受け付けたレシピファイルを取得する。レシピファイルには、補正処理に用いる補正パラメータが記述されている。レシピファイルを参照することで過去に補正処理を実行した際に使用した補正パラメータを取得することができる。
【００８１】
Ｓ３３において補正パラメータ算出部３０３は、第１実施形態と同様の方法により補正対象画像の評価値と目標画像の評価値とに基づいて補正パラメータを算出する。
【００８２】
Ｓ３４において補正パラメータ算出部３０３は、Ｓ３２において取得したレシピファイルに記述された補正パラメータと、Ｓ３３において取得した補正パラメータとを参照し、複数の評価項目ごとにそれぞれの補正パラメータの一致度を算出する。
【００８３】
Ｓ３５において補正パラメータ算出部３０３は、Ｓ３４におちえ算出した一致度を複数の評価項目ごとに所定の閾値と比較し、一致度が所定の閾値よりも大きい場合はＳ３６の処理へ進み、閾値以下の場合はＳ３７の処理へ進む。
【００８４】
Ｓ３６において補正パラメータ算出部３０３は、Ｓ３５において一致度が高いと判定された評価項目の補正パラメータを、画像補正部３０４に出力する。一方Ｓ３７において補正パラメータ算出部３０３は、Ｓ３５において一致度が低いと判定された評価項目の補正パラメータを削除する。
【００８５】
Ｓ３８において画像補正部３０４は、Ｓ３６において補正パラメータ算出部３０３から出力された補正パラメータを用いて、補正対象画像を補正する。つまりここでは、前述の７つの評価項目のうち一部の評価項目に関する補正処理のみが実行される。表示制御部３０６は、補正候補表示領域１００９に補正画像を表示する。
【００８６】
Ｓ３９において画像補正部３０４は、ユーザが選択した画像を保存し、処理を終了する。
【００８７】
＜第４実施形態の効果＞
以上説明したように、第４実施形態における画像処理装置は、目標画像に加えて過去に実行した補正処理の補正パラメータを保存したレシピファイルを参照することで、補正対象となる評価項目の信頼度を上げることができる。これによりユーザは目標画像に近い画像を簡易に取得できる。
【００８８】
［変形例］
上述した実施形態において、画像処理装置１のハードウェア構成は、図１（ａ）に示した構成であったが、画像処理装置１のハードウェア構成は上記の例に限られない。例えば、画像処理装置１のハードウェア構成は、図１（ｂ）に示す構成であってもよい。画像処理装置１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＶＣ（ビデオカード）１１１と、汎用Ｉ／Ｆ１１４と、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１１８と、を有する。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、外部記憶装置１１０などに格納されたＯＳや各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。汎用Ｉ／Ｆ１１４には、シリアルバス１１５を介して、マウスやキーボードなどの入力デバイス１１６や撮像装置１１７が接続される。ＳＡＴＡＩ／Ｆ１１８には、シリアルバス１１９を介して、外部記憶装置１１０が接続される。ＶＣ１１１には、シリアルバス１１２を介して、ディスプレイ１１３が接続される。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインタフェース）をディスプレイ１１３に表示し、入力デバイス１１６を介して得られたユーザの指示を表す入力情報を受信する。図１（ｂ）に示す画像処理装置１は、例えば、デスクトップ型のＰＣによって実現される。尚、画像処理装置１は、撮像装置１１７と一体となったデジタルカメラや、ディスプレイ１１３と一体となったＰＣなどによっても実現される。
【００８９】
また、上述した実施形態においては、画像処理装置１は撮像部１０６としてメインカメラ２０２とインカメラ２０１との２つのカメラを有していたが、撮像部１０６は上記の例に限られない。例えば、画像処理装置１は、メインカメラ２０２のみであってもよい。
【００９０】
また、上述した実施形態における外部記憶装置１１０はＨＤＤであったが、外部記憶装置１１０は上記の例に限られない。例えば、ＳＳＤ（ソリッドステートドライブ）であってもよい。また、外部記憶装置１１０は、メディア（記録媒体）と、当該メディアへのアクセスを行うための外部記憶ドライブとによっても実現される。メディアには、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリなどを用いることができる。
【００９１】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2020087118.tif 000006
【図２】
2020087118.tif 000007
【図３】
2020087118.tif 000008
【図４】
2020087118.tif 000009
【図５】
2020087118.tif 000010
【図６】
2020087118.tif 000011
【図７】
2020087118.tif 000012
【図８】
2020087118.tif 000013
【図９】
2020087118.tif 000014
【図１０】
2020087118.tif 000015
【図１１】
2020087118.tif 000016
【図１２】
2020087118.tif 000017
【図１３】
2020087118.tif 000018
【図１４】
2020087118.tif 000019
【図１５】
2020087118.tif 000020
【図１６】
2020087118.tif 000021
【図１７】
2020087118.tif 000022