(57)【要約】【課題】画像の絵柄の影響を受けにくく、人の直観による類似度と整合する類似度を算出する。【解決手段】画像類似度算出装置１０は、複数の画像の各画像データを取得する画像取得部２と、画像取得部により取得した入力画像Ｉｉと参照画像Ｉｊの各画像データに基づいて２つの画像間の類似度を算出する類似度算出部３と、を備え、類似度算出部３は、２つの画像について色彩に関する特徴量である平均と分散をそれぞれ算出し、入力画像Ｉｉと参照画像Ｉｊの平均と分散とを用いて入力画像Ｉｉの画素値を変換することにより、レタッチ画像Ｉｉ｜ｊの画像データを生成する色彩転写部３１と、レタッチ画像Ｉｉ｜ｊの画像データと入力画像Ｉｉの画像データとの間で画素値を用いて色彩比較して２つの画像間の類似度を算出する色彩比較部３２と、を有するよう構成した。【選択図】図３
2018036960.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも第１の画像と第２の画像に基づいて、画像間の類似度を算出する類似度算出手段を含む画像類似度算出装置であって、
前記類似度算出手段は、前記第１の画像と前記第２の画像の色彩に関する特徴量に基づいて、レタッチ画像を生成するレタッチ画像生成部と、少なくとも前記レタッチ画像に基づいて、前記画像間の類似度を算出する色彩比較部と、を有することを特徴とする画像類似度算出装置。
【請求項２】
前記色彩比較部は、少なくとも前記レタッチ画像の色彩情報に基づいて算出した類似度を重み付けして合成した合成類似度を算出することを特徴とする請求項１に記載の画像類似度算出装置。
【請求項３】
前記レタッチ画像生成部が、前記第１の画像に第２の画像を色彩転写して第１のレタッチ画像を生成し、前記第２の画像に第１の画像を色彩転写して第２のレタッチ画像を生成し、
前記色彩比較部が、前記第１のレタッチ画像と前記第１の画像に基づいて色彩情報を比較した画像間の類似度と、前記第２のレタッチ画像と前記第２の画像に基づいて色彩情報を比較した画像間の類似度と、を合成し、画像間の合成類似度を算出することを特徴とする請求項１または請求項２に記載の画像類似度算出装置。
【請求項４】
前記レタッチ画像生成部が、第３の画像に前記第２の画像を色彩転写して第３のレタッチ画像を生成し、前記第３の画像に前記第１の画像を色彩転写して第４のレタッチ画像を生成し、
前記色彩比較部が、第３のレタッチ画像と第４のレタッチ画像に基づいて、前記画像間の類似度を算出することを特徴とする請求項１または請求項２に記載の画像類似度算出装置。
【請求項５】
前記画像類似度算出装置は、複数の画像を取得する画像取得手段をさらに備え、前記取得した画像のデータ量を削減し、
前記類似度算出手段は、前記データ量が削減された画像に基づいて、類似度を算出することを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像類似度算出装置。
【請求項６】
前記レタッチ画像生成部は、前記第１の画像と前記第２の画像のうち、一方を参照画像とし、他方を入力画像として、または、他方の入力画像に対して、色彩転写してレタッチ画像を生成することを特徴とする請求項１に記載の画像類似度算出装置。
【請求項７】
請求項６に記載の画像類似度算出装置と、
前記参照画像を蓄積する参照画像蓄積手段と、
前記参照画像蓄積手段から、最も高い前記類似度を算出するのに用いられた参照画像を選択する制御部と、
前記制御部により選択された参照画像を前記入力画像に色彩転写することで得られたレタッチ画像を出力する画像出力手段と、を有することを特徴とする画像処理装置。
【請求項８】
少なくとも第１の画像と第２の画像に基づいて、画像間の類似度を算出する類似度算出ステップを含む画像類似度算出方法であって、
前記類似度算出ステップは、前記第１の画像と前記第２の画像の色彩に関する特徴量に基づいて、レタッチ画像を生成するレタッチ画像生成ステップと、少なくとも前記レタッチ画像に基づいて、前記画像間の類似度を算出する色彩比較ステップと、を有することを特徴とする画像類似度算出方法。
【請求項９】
前記色彩比較ステップは、少なくとも前記レタッチ画像の色彩情報に基づいて算出した類似度を重み付けして合成した合成類似度を算出することを特徴とする請求項８に記載の画像類似度算出方法。
【請求項１０】
前記レタッチ画像生成ステップが、前記第１の画像に第２の画像を色彩転写して第１のレタッチ画像を生成し、前記第２の画像に第１の画像を色彩転写して第２のレタッチ画像を生成し、
前記色彩比較ステップが、前記第１のレタッチ画像と前記第１の画像に基づいて色彩情報を比較した画像間の類似度と、前記第２のレタッチ画像と前記第２の画像に基づいて色彩情報を比較した画像間の類似度と、を合成し、画像間の合成類似度を算出することを特徴とする請求項８または請求項９に記載の画像類似度算出方法。
【請求項１１】
前記レタッチ画像生成ステップが、第３の画像に前記第２の画像を色彩転写して第３のレタッチ画像を生成し、前記第３の画像に前記第１の画像を色彩転写して第４のレタッチ画像を生成し、
前記色彩比較ステップが、第３のレタッチ画像と第４のレタッチ画像に基づいて、前記画像間の類似度を算出することを特徴とする請求項８または請求項９に記載の画像類似度算出方法。
【請求項１２】
前記画像類似度算出方法は、複数の画像を取得する画像取得ステップをさらに備え、前記取得した画像のデータ量を削減し、
前記類似度算出ステップは、前記データ量が削減された画像に基づいて、類似度を算出することを特徴とする請求項８ないし請求項１１のいずれか１項に記載の画像類似度算出方法。
【請求項１３】
前記レタッチ画像生成ステップは、前記第１の画像と前記第２の画像のうち、一方を参照画像とし、他方を入力画像として、または、他方の入力画像に対して、色彩転写してレタッチ画像を生成することを特徴とする請求項８に記載の画像類似度算出方法。
【請求項１４】
請求項１３に記載の画像類似度算出方法と、
前記参照画像を蓄積する参照画像蓄積ステップと、
前記参照画像蓄積ステップから、最も高い前記類似度を算出するのに用いられた参照画像を選択する制御ステップと、
前記制御ステップにより選択された参照画像を前記入力画像に色彩転写することで得られたレタッチ画像を出力する画像出力ステップと、を有することを特徴とする画像処理方法。
【請求項１５】
少なくとも第１の画像と第２の画像に基づいて、画像間の類似度を算出する類似度算出ステップを含む画像類似度算出方法であって、
前記類似度算出ステップは、前記第１の画像と前記第２の画像の色彩に関する特徴量に基づいて、レタッチ画像を生成するレタッチ画像生成ステップと、少なくとも前記レタッチ画像に基づいて、前記画像間の類似度を算出する色彩比較ステップと、を有する画像類似度算出方法を実行させるためのプログラムを格納する記憶媒体。
【請求項１６】
前記色彩比較ステップは、少なくとも前記レタッチ画像の色彩情報に基づいて算出した類似度を重み付けして合成した合成類似度を算出することを特徴とする請求項１５に記載の記憶媒体。
【請求項１７】
前記レタッチ画像生成ステップが、前記第１の画像に第２の画像を色彩転写して第１のレタッチ画像を生成し、前記第２の画像に第１の画像を色彩転写して第２のレタッチ画像を生成し、
前記色彩比較ステップが、前記第１のレタッチ画像と前記第１の画像に基づいて色彩情報を比較した画像間の類似度と、前記第２のレタッチ画像と前記第２の画像に基づいて色彩情報を比較した画像間の類似度と、を合成し、画像間の合成類似度を算出することを特徴とする請求項１５または請求項１６に記載の記憶媒体。
【請求項１８】
前記レタッチ画像生成ステップが、第３の画像に前記第２の画像を色彩転写して第３のレタッチ画像を生成し、前記第３の画像に前記第１の画像を色彩転写して第４のレタッチ画像を生成し、
前記色彩比較ステップが、第３のレタッチ画像と第４のレタッチ画像に基づいて、前記画像間の類似度を算出することを特徴とする請求項１５または請求項１６に記載の記憶媒体。
【請求項１９】
前記画像類似度算出方法は、複数の画像を取得する画像取得ステップをさらに備え、前記取得した画像のデータ量を削減し、
前記類似度算出ステップは、前記データ量が削減された画像に基づいて、類似度を算出することを特徴とする請求項１５ないし請求項１８のいずれか１項に記載の記憶媒体。
【請求項２０】
前記レタッチ画像生成ステップは、前記第１の画像と前記第２の画像のうち、一方を参照画像とし、他方を入力画像として、または、他方の入力画像に対して、色彩転写してレタッチ画像を生成することを特徴とする請求項１５に記載の記憶媒体。
【請求項２１】
請求項２０に記載の画像類似度算出方法と、
前記参照画像を蓄積する参照画像蓄積ステップと、
前記参照画像蓄積ステップから、最も高い前記類似度を算出するのに用いられた参照画像を選択する制御ステップと、
前記制御ステップにより選択された参照画像を前記入力画像に色彩転写することで得られたレタッチ画像を出力する画像出力ステップと、を実行させるためのプログラムを格納する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体に関する。
【背景技術】
【０００２】
従来より、画像間の類似度の算出方法として、平均２乗誤差やＳ／Ｎなどの基礎的な方法が知られている。さらに、他の算出方法として、画像の正規化相互相関、同じ位置の画素値の２乗の合計であるＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）および同じ位置の画素値の差の絶対値の合計であるＳＳＡ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）等も知られている（例えば、特許文献１）。これらの方法は、各画像間の対応する位置の画素値を比較することで画像間の類似度を算出している。
【０００３】
また、画像の色情報をヒストグラム化して、ヒストグラム化された画像データ同士を比較し、類似度を算出する方法がある（例えば、非特許文献１）。この方法では、各色が画像中に何ピクセルあるかを数え、画像の色の割合が似ているほど類似度が高く算出される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の算出方法による類似度と、人の直観による類似度との整合性が十分でないという問題があった。すなわち、平均２乗誤差やＳ／Ｎは、２枚の画像における対応する位置の画素値の比較に基づいて、同じ絵柄についての表現の違いを測る尺度である。このため絵柄が異なる画像の比較には適さず、特許文献１の算出方法による類似度と、人の直観による類似度との整合性が十分でないという問題があった。
【０００５】
画像の情報を便宜的に絵柄と表現に分けた場合において、絵柄とは、何がどこにどれくらいの大きさで写っているかを意味するものとする。そして、表現とは、絵柄を普通にレタッチして得られるバリエーションを意味するものとする。
【０００６】
さらに、非特許文献１の類似度の算出方法も、絵柄の影響を完全に回避することはできない。ヒストグラムが画素値の分布を一律に簡略化しているためである。例えば、一方の画像の絵柄の割合が大きい場合は、絵柄の画素値が密となるので、算出される類似度に対して絵柄の影響は大きくなる。すなわち、従来の色ヒストグラムによる類似度の算出方法は、絵柄の影響があるので、算出される類似度と、人の直観による類似度との整合性が十分でないという問題があった。
【０００７】
本発明は、このような問題を解決するためになされたもので、画像の絵柄の影響を受けにくく、人の直観による類似度と整合する類似度の算出方式を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像類似度算出装置は、上記目的を達成するため、少なくとも第１の画像と第２の画像に基づいて、画像間の類似度を算出する類似度算出手段を含む画像類似度算出装置であって、前記類似度算出手段は、前記第１の画像と前記第２の画像の色彩に関する特徴量に基づいて、レタッチ画像を生成するレタッチ画像生成部と、少なくとも前記レタッチ画像に基づいて、前記画像間の類似度を算出する色彩比較部と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像の絵柄の影響を受けにくく、人の直観による類似度と整合する類似度の算出方式を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態に係る画像類似度算出装置の構成を示す機能ブロック図である。
【図２】第１の実施の形態に係る画像類似度算出装置による色彩転写を説明する図である。
【図３】第１の実施の形態に係る画像類似度算出装置の動作を説明するフローチャートである。
【図４】第１の実施の形態に係る記録媒体を適用した計算機の構成例を示す機能ブロック図である。
【図５】第１の実施の形態に係る画像類似度算出装置の動作を説明するフローチャートである。
【図６】第１の実施の形態に係る画像類似度算出装置による類似度算出を説明する図である。
【図７】第２の実施の形態に係る画像類似度算出装置による類似度算出を説明する図である。
【図８】第２の実施の形態に係る画像類似度算出装置による類似度算出を説明する図である。
【図９】第２の実施の形態に係る画像類似度算出装置の動作を説明するフローチャートである。
【図１０】第３の実施の形態に係る画像修整装置の構成を示す機能ブロック図である。
【図１１】第３の実施の形態に係る画像修整装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
（第１の実施の形態）
まず、図１〜図５を参照して、本発明の第１の実施の形態に係る画像類似度算出装置、画像処理装置、画像類似度算出方法、およびプログラムについて説明する。
【００１２】
図１は、本実施の形態に係る画像類似度算出装置１０の構成例を示す図である。画像類似度算出装置１０は、制御部１と画像取得部２と類似度算出部３と類似度出力部４とを備えている。
【００１３】
制御部１は、ＣＰＵ、ＲＡＭ、ＲＯＭを備え各種の演算、制御を行う。画像取得部２は、少なくとも第１の画像と第２の画像を含む複数の画像の各画像データを取得する。そして、処理対象となる画像を類似度算出部３に入力する。画像取得部２による画像データの取得は、画像撮影装置から直接取得する形態にしてもよいし、撮影済みのデータを通信機能によって取得する形態にしてもよい。
【００１４】
以下、画像取得部２が取得した画像のうち入力側の画像を画像Ｉｉとし、参照側の画像を画像Ｉｊとする。画像Ｉｉと画像Ｉｊとの絵柄は互いに異なっていても同一であってもよい。画像Ｉｉと画像Ｉｊの大きさが異なる場合には大きさを揃えるようにしてもよい。
【００１５】
類似度算出部３は、画像取得部２が取得した複数の画像のうち少なくとも第１の画像として画像Ｉｉと、第２の画像として画像Ｉｊに基づいて２つの画像間の類似度を算出する。類似度算出部３は、色彩転写部３１と色彩比較部３２とを有している。
【００１６】
本実施の形態における類似度の算出は、後述する色彩転写で得られるレタッチ画像Ｉｉ｜ｊを画像Ｉｉと色彩比較することで行われる。色彩転写部３１は、本発明に係るレタッチ画像生成部を構成する。
【００１７】
色彩転写部３１は、画像Ｉｉと画像Ｉｊの画像データの色彩に関する特徴量をそれぞれ算出する。ここでいう特徴量とは、画素値に関する平均値や分散等の統計量を指す。また、画素値は、各ピクセルにおける輝度や色空間におけるＲＧＢ値等を指す。色彩転写部３１は、算出した画像Ｉｉと画像Ｉｊの特徴量に基づいて画像の画素値を変換する色彩転写を行うことでレタッチ画像Ｉｉ｜ｊを生成する。
【００１８】
以下では、本実施の形態で用いる色彩転写の処理について図２を用いてより詳しく説明する。色彩転写は、入力側の画像Ｉｉに参照側の画像Ｉｊの色彩情報を転写する処理であり、図２に示すように色彩転写部３１が画像Ｉｉに画像Ｉｊの色彩情報を転写し、レタッチ画像Ｉｉ｜ｊを得る。
【００１９】
ここでいう画像Ｉｉは色彩転写によって加工される元画像であり転写先に相当する。画像Ｉｊは、色彩転写で参照される側の画像であり転写元に相当する。レタッチ画像Ｉｉ｜ｊは、画像Ｉｊを用いて画像Ｉｉを色彩転写することで得られる画像である。色彩情報は、色相、彩度だけでなく明暗も含み、表現形態としては、ＲＧＢ、ＣＭＹＫ、ＹＣｒＣｂ、ＨＳＶ、Ｌａｂ、Ｌαβをはじめ多様性がある。
【００２０】
画像間の類似度を算出するにあたり、色彩転写を用いる理由について説明する。
【００２１】
いま、絵柄の異なる二つの画像である画像Ｉｉと画像Ｉｊがあるとして、両者の類似度を算出することを考える。両者に同位置の画素値を比較する通常の色彩比較をしても絵柄が異なるので人間の直観による類似の度合いとは合わない指標になることが問題となる。
【００２２】
図２に示すように、画像Ｉｉと画像Ｉｊとでは絵柄が異なっている。しかし、画像Ｉｊを画像Ｉｉに色彩転写を行なえば、レタッチ画像Ｉｉ｜ｊと画像Ｉｉとは絵柄が揃う。
【００２３】
このようにして得られたレタッチ画像Ｉｉ｜ｊと画像Ｉｉの両者に同位置の画素値を比較する色彩比較をすることで、絵柄の影響を受けず、より人の直観に合う画像間の類似度算出が可能となる。
【００２４】
色彩転写の具体的な処理について、以下では、Ｌａｂ色空間での色彩転写の処理を例に説明する。
【００２５】
色彩転写部３１は、画像Ｉｉ全体のＬａｂ値の平均であるＥ（Ｌｉ）、Ｅ（ａｉ）、Ｅ（ｂｉ）と分散であるＶ（Ｌｉ）、Ｖ（ａｉ）、Ｖ（ｂｉ）を算出する。同様に、色彩転写部３１は、画像Ｉｊ全体のＬａｂ値の平均であるＥ（Ｌｊ）、Ｅ（ａｊ）、Ｅ（ｂｊ）と分散であるＶ（Ｌｊ）、Ｖ（ａｊ）、Ｖ（ｂｊ）を算出する。
【００２６】
色彩転写部３１は、レタッチ画像Ｉｉ｜ｊと画像Ｉｊの色分布の統計量である特徴量を近づける処理を行う。
【００２７】
具体的には、色彩転写部３１は、上記算出された画像Ｉｉと画像ＩｊのＬａｂ値の平均と分散を用いて、以下の式（１）〜（３）に従いレタッチ画像Ｉｉ｜ｊのＬａｂ値であるＬｉ'、ａｉ'、ｂｉ'を各画素毎に算出し、色彩転写されたレタッチ画像Ｉｉ｜ｊの画素値を得る。
【００２８】
Ｌｉ'＝（Ｌｉ−Ｅ（Ｌｉ））×Ｖ（Ｌｊ）／Ｖ（Ｌｉ）＋Ｅ（Ｌｊ）  （１）
ａｉ'＝（ａｉ−Ｅ（ａｉ））×Ｖ（ａｊ）／Ｖ（ａｉ）＋Ｅ（ａｊ）  （２）
ｂｉ'＝（ｂｉ−Ｅ（ｂｉ））×Ｖ（ｂｊ）／Ｖ（ｂｉ）＋Ｅ（ｂｊ）  （３）
【００２９】
上記例では、各画像の色分布を近づけるため色分布の統計量として平均と分散を用いた処理を行ったが、平均と標準偏差を用いて同様の処理を行ってもよい。また、各画像の累積ヒストグラムを近づける処理を行ってもよい。また、色空間としてＬａｂ色空間を例に説明を行ったが、ＲＧＢ、ＬＭＳ、ＩＰＴ等の他の色空間を用いて同様の処理を行うようにしてもよい。
【００３０】
色彩比較部３２は、色彩転写部３１で生成されたレタッチ画像Ｉｉ｜ｊの画像データと画像Ｉｉの画像データとの間で画素値を用いて色彩比較して画像間の類似度を算出する。より、具体的には、画像Ｉｉとレタッチ画像Ｉｉ｜ｊの対応する同じ位置の画素値の組を取り出し、それらに演算を施し、画像全体で累積するような処理を行なう。
【００３１】
各画像の画素数を（Ｍ，Ｎ）とし、座標（ｌ，ｍ）における画像Ｉｉの画素値をＩｉ（ｌ，ｍ）とし、レタッチ画像Ｉｉ｜ｊの画素値をＩｉ｜ｊ（ｌ，ｍ）とする。画素値に関しては、モノクロ濃淡画像の場合は一つのスカラー量であり、カラー画像の場合はベクトル量である。記号の中黒"・"はベクトルの内積（スカラー量の場合は通常の積）を表わす。
【００３２】
画像の正規化相互相関（相互相関係数）Ｒは次の式（４）で与えられ、得られた正規化相互相関Ｒが画像間の類似度を表す。正規化相互相関Ｒが１に近い値を取る程、画像間の類似度は高くなる。
【００３３】
【数１】
2018036960.tif 000003
【００３４】
色彩比較部３２における画像間の類似度算出は、上記の正規化相互相関Ｒ以外の指標の算出を行ってもよい。また、画像Ｉｉと画像Ｉｊの対応する位置座標における輝度値等の画素値の差の２乗の合計である式（５）で表されるＳＳＤや、輝度値等の画素値の差の絶対値の合計である式（６）で表されるＳＡＤを用いてもよい。あるいはそれらを画素数等で正規化した指標を類似度としてもよい。但し、これらの場合は算出された値が小さいほど類似性が高くなる。
【００３５】
【数２】
2018036960.tif 000004
【００３６】
色彩比較部３２は、画像Ｉｉと画像Ｉｊの対応する画素位置の画素値を比較することに基づくものであれば、他の定義式を用いて画像間の類似度を算出するようにしてもよい。たとえば、色信号ごとにモノクロとみなし正規化相互相関｛Ｒｒ，Ｒｇ，Ｒｂ｝を個別に求めておいて、最後に合成するといった方法も可能である。
【００３７】
色彩比較部３２は、全ての色彩情報を均等に扱うのではなく用途に応じて重み付けをするようにしてもよい。例えば、ＲＧＢで与えられた画像信号をＬａｂの形式に変換し、これらの明度方向の差異を基に算出したΔＬと色度平面での差異を基に算出したΔａｂとを重み付けをかえて合成することを考える。ΔＬ、Δａｂの算出には、前述した方法（Ｒ，ＳＳＤ，ＳＡＤ）等を用いる。
【００３８】
ΔＬは明度成分の違いに相当し、たとえば撮影時の露出の違いが大きいとΔＬは大きくなる。また、Δａｂは色味（色相と彩度）の違いに相当し、たとえば色カブリが大きいとΔａｂは大きくなる。これらを用いて合成した類似度指標をＲｗは、たとえば次式（７）で定義できる。ここで、ｗは［０．０〜１．０］の値をとるスカラー量であって線形結合の重みパラメータある。
【００３９】
【数３】
2018036960.tif 000005
式（７）において、重みｗを調整することによって、露出の違いを重視するのか、色味の違いを重視するのかを用途に応じて適切に定めることが可能となる。すなわち、重みｗを１に近づける程、色味の違いが重視され、重みｗを０に近づける程、露出の違いが重視される。
【００４０】
本実施の形態における画像類似度算出装置１０の処理の変形例として、画像取得部２で取得した画像の画像データ量を削減するサムネール化を行い、サムネール化された画像を用いて色彩転写、色彩比較の処理を行うようにしてもよい。本処理は、サムネール化の処理以外は、上述の処理と同じである。
【００４１】
このような、画像のデータ量を削減するサムネール化を類似度算出の前に予め行う理由は以下の通りである。画像取得部２に非常に大きなサイズの画像データが入力された場合に、計算量が膨大になるという問題が生じうる。この問題を回避するために、画像取得部２における工夫として、画像データ量を縮小し、サムネール化することで類似度算出における計算処理負荷を減らす。
【００４２】
具体的には、画像の一辺が１２８画素程度であれば、画素数としては十分であり元の画像の色彩の情報を大きく失うことはない。したがって、短辺を１２８画素くらいまで小さくすれば、全体として画素数を抑えることができ、色彩転写と色彩比較の処理量を抑制することができる。なお、１２８画素とは説明のために特定した数であり、全体の計算負荷を考慮したうえで他の値としてもよい。
【００４３】
類似度出力部４は、色彩比較部３２が算出した画像間の類似度を値として保持し、必要な時に出力して他のシステム等に提供する。
【００４４】
本実施の形態における画像類似度算出装置は計算機上のソフトウェアとして実現することもできる。
【００４５】
図４は本実施の形態の画像類似度を算出可能なプログラムを適用した計算機４９の構成例を示す図である。ＣＤ−ＲＯＭなどの記録媒体４７に記録されたプログラムは、ドライブ４６を通じて補助記憶装置４４に読み込まれる。計算機４９には入力Ｉ／Ｆを介し画像等のデータが入力され、出力Ｉ／Ｆを介してデータが出力される。
【００４６】
計算機４９の動作を制御するＣＰＵ４２が、補助記憶装置４４や記憶装置４３との間で情報をやり取りしながら、あるいはコントローラ４８によりネットワークを介して他の計算機と連携しながら、プログラムの各ステップを実行する。このような構成のもとに、本発明をソフトウェアとして実現することが可能である。
【００４７】
次に図３を用いて画像類似度算出装置１０による類似度算出の流れについて説明する。
【００４８】
図３は、本実施の形態に係る画像類似度算出装置１０による画像間の類似度算出の流れを示すフローチャートである。
【００４９】
画像取得部２は外部より複数の画像の各画像データを取得する（ステップＳ１０１）。色彩転写部３１は、画像取得部２で取得した画像から第１の画像として画像Ｉｉと第２の画像として画像Ｉｊとを選択し、２つの画像について色彩に関する特徴量を算出する。次いで、色彩転写部３１は、入力側の画像Ｉｉと参照側の画像Ｉｊの特徴量を用いて画像Ｉｉの画素値を変換する色彩転写を行うことでレタッチ画像Ｉｉ｜ｊを生成する（ステップＳ１０２）。
【００５０】
色彩比較部３２は、色彩転写部３１が生成したレタッチ画像Ｉｉ｜ｊと画像Ｉｉの画像データとの間で画素値を用いて色彩比較して画像間の類似度を算出する（ステップＳ１０３）。類似度出力部４は、色彩比較部３２が算出した画像間の類似度を保持し、必要な時に出力して他のシステム等に提供する（ステップＳ１０４）。
【００５１】
色彩転写および色彩比較を行う前に画像取得部２で取得した画像データのサムネール化を行う場合のフロー図は図５に示す通りである。
【００５２】
画像取得部２は、外部より複数の画像の各画像データを取得し（ステップＳ１１１）取得した画像の画像データ量を削減するサムネール化の処理を行う（ステップＳ１１２）。ステップＳ１１３以降の処理は図３に示すステップＳ１０２以降の処理と同じである。
【００５３】
以上のように本実施の形態に係る画像類似度算出装置１０は、複数の画像を取得する画像取得部２と、複数の画像のうちの画像Ｉｉと画像Ｉｊに基づいて２つの画像間の類似度を算出する類似度算出部３と、制御部１と、類似度を出力する類似度出力部４と、を備えている。
【００５４】
類似度算出部３は、色彩転写部３１と色彩比較部３２とを有する。色彩転写部３１は、２つの画像のうち一方を画像Ｉｊ、他方を画像Ｉｉとして選択する。そして、２つの画像について色彩に関する特徴量である平均と分散をそれぞれ算出する。この平均と分散とを用いて画像Ｉｉの画素値を変換することにより、レタッチ画像Ｉｉ｜ｊを生成する。色彩比較部３２は、レタッチ画像Ｉｉ｜ｊと画像Ｉｉとの間で画素値を用いて色彩比較して２つの画像間の類似度を算出する。
【００５５】
この構成により、画像間の絵柄を揃えたうえで類似度を算出することができる。
【００５６】
したがって、画像間の類似度の算出における絵柄依存性を減らし、算出される類似度と人間の直観による類似の度合いとを近づけ、整合性を高めることができる。
【００５７】
また、類似度算出部３は、類似度を算出するにあたり、色彩比較部３２が、レタッチ画像Ｉｉ｜ｊの画像の色彩情報を基に算出した類似度を重み付けして合成して合成類似度を算出するようにしてもよい。さらに、レタッチ画像Ｉｉ｜ｊの画像と画像Ｉｉ等との彩情報の差異を基に類似度を算出してもよい。色彩情報の差異とは、例えば、Ｌａｂ空間における明度方向のΔＬ、色度方向の差異Δａｂ等である。
【００５８】
この構成により、類似度を明度、色相、彩度等で定まる画像の性質に応じて調整することができる。
【００５９】
また、画像取得部２は、取得した画像のデータ量を削減し、類似度算出部３は、データ量が削減された画像の画像データを用いて類似度を算出するようにしてもよい。
【００６０】
この構成により、画像間の類似度算出の処理負荷を減らすことができる。
【００６１】
（第２の実施の形態）
次に、図６〜図９を参照して、本発明の第２の実施の形態について説明する。
【００６２】
本実施の形態では、第１の実施の形態とは、画像間の類似度の算出にあたり色彩転写を行う対象とする画像、色彩転写及び色彩比較を行う回数等が異なるが、他の構成は基本的に同様である。したがって、同一の構成要素については、図１〜図５に示した第１の実施形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
【００６３】
本実施の形態に係る画像類似度算出装置１０の構成は第１の実施の形態におけるものと同等であり、図１に示すように画像取得部２と類似度算出部３と類似度出力部４と制御部１とを備えている。
【００６４】
図６、図７、図８を用いて本実施の形態と第１の実施の形態における類似度算出の方式の相違を説明する。
【００６５】
図６は第１の実施の形態における類似度算出の方式を示している。この方式では、色彩転写部３１が入力側の画像Ｉｉに参照側の画像Ｉｊを色彩転写して絵柄をあわせたレタッチ画像Ｉｉ｜ｊを生成した後に、色彩比較部３２が画像Ｉｉとレタッチ画像Ｉｉ｜ｊとを色彩比較し類似度を算出している。
【００６６】
図７は本実施の形態における類似度算出の方式を示している。この方式では、まず、第１の実施の形態と同様に、色彩転写部３１が入力側の画像Ｉｉに参照側の画像Ｉｊを色彩転写して絵柄をあわせた第1のレタッチ画像Ｉｉ｜ｊを生成する。次いで、色彩比較部３２が画像Ｉｉと第1のレタッチ画像Ｉｉ｜ｊとを色彩比較し類似度を算出する。このようにして得られた類似度を類似度Ｒ１とする。
【００６７】
次いで、色彩転写部３１は、入力する画像と参照する画像とを逆にして入力画像としての画像Ｉｊに参照画像としての画像Ｉｉを色彩転写して絵柄をあわせた第２のレタッチ画像Ｉｊ｜ｉを得る。次いで、色彩比較部３２が第２のレタッチ画像Ｉｊ｜ｉと入力画像としての画像Ｉｊとを色彩比較し類似度を算出する。このようにして得られた類似度を類似度Ｒ２とする。ここで行う色彩転写の方法は第１の実施の形態と同様であり、先述した式（１）〜（３）に従って行う。また、ここで行う色彩比較の方法は第１の実施の形態と同様であり、先述した式（４）または、式（５）、式（６）に従って行う。
【００６８】
色彩比較部３２は得られた類似度Ｒ１と類似度Ｒ２とを合成して画像Ｉｉと画像Ｉｊとの最終的な類似度である合成類似度を算出する。ここでいう合成とは、例えば、類似度Ｒ１と類似度Ｒ２との平均をとるようにしてもよいし、他の方法によるものであってもよい。
【００６９】
ここで、図７に示すような逆方向の色彩転写を行い、類似度を合成するようにした理由について説明を行う。
【００７０】
一般に、「画像Ｉｉと第１のレタッチ画像Ｉｉ｜ｊの比較」により算出される画像間の類似度と、その逆「画像Ｉｊと第２のレタッチ画像Ｉｊ｜ｉの比較」により算出される画像間の類似度では結果が同一とならない。
【００７１】
したがって、比較する２つの画像のうちいずれを入力側、参照側とし、色彩転写するかにより、２つの画像間の類似度が異なってしまい、色彩転写の順序依存性が残るという問題がある。
【００７２】
図７を例にとると、第１のレタッチ画像Ｉｉ｜ｊに比べて、第２のレタッチ画像Ｉｊ｜ｉは空の面積が圧倒的に大きいため、最終的な算出結果に空の色の違いの影響が大きく寄与する。
【００７３】
このような問題を解消するため、本実施の形態では、他方の画像から一方の画像への色彩転写もあわせて行い、色彩比較し、類似度を合成して合成類似度を得ている。これにより色彩転写の順序の相違による色彩比較の際の絵柄依存性は緩和されるので、色彩転写の順序依存性の色彩比較に対する影響を排除することができる。
【００７４】
次いで、図７に示した色彩転写を相互に画像と画像とで相互に行う例のバリエーションとして、さらに第３の画像Ｉｘを用いる例について図８を用いて説明する。
【００７５】
この類似度算出の方式では、まず、色彩転写部３１が入力側の第３の画像Ｉｘに参照側の画像Ｉｊを色彩転写にて絵柄をあわせた第３のレタッチ画像Ｉｘ｜ｊを得る。
【００７６】
次いで、色彩転写部３１は、色彩転写部３１が第３の画像Ｉｘに画像Ｉｉを色彩転写にて絵柄をあわせた第４のレタッチ画像Ｉｘ｜ｉを得る。ここで行う色彩転写の方法は第１の実施の形態と同様であり、先述した式（１）〜（３）に従って行う。また、ここで行う色彩比較の方法は第１の実施の形態と同様であり、先述した式（４）または、式（５）、式（６）に従って行う。
【００７７】
色彩比較部３２は色彩比較部３２が第３のレタッチ画像Ｉｘ｜ｊと第４のレタッチ画像Ｉｘ｜ｉを色彩比較し類似度を算出する。
【００７８】
ここで、図８に示すような第３の画像Ｉｘを導入して色彩転写を行い、類似度を合成するようにした理由について説明を行う。
【００７９】
例えば、図８では、第３の画像Ｉｘとして背景（地面）の面積が大きいものを用いている。このケースでは、色彩転写が施された第３のレタッチ画像Ｉｘ｜ｊと第４のレタッチ画像Ｉｘ｜ｉは第３の画像Ｉｘと絵柄が揃えられている。第３のレタッチ画像Ｉｘ｜ｊと第４のレタッチ画像Ｉｘ｜ｉの背景（地面）の面積は、大きいので背景（地面）の違いがより強く反映された類似度を求めることができる。このように第３の画像Ｉｘを導入することで、類似度の内容を用途に応じて調整することができる。
【００８０】
さらに、第３の画像Ｉｘは必ずしも意味のある絵柄に限定される必要はなく、適切に定めたグラデーション・パターンなどを用いることもできる。そうすることで、特に重視したい色味の画素値の数を多めにすることで、独自の類似度指標を定義することが可能となる。
【００８１】
次に図９を用いて画像類似度算出装置１０による類似度算出の流れについて説明する。
【００８２】
図９は、本実施の形態に係る画像類似度算出装置１０による画像間の類似度算出の流れを示すフローチャートである。
【００８３】
まず、図７の類似度算出のパターンの処理の流れを説明する。画像取得部２は外部より複数の画像の各画像データを取得する（ステップＳ２０１）。色彩転写部３１は、画像取得部２で取得した画像から画像Ｉｉと画像Ｉｊとを選択し、２つの画像について色彩に関する特徴量（平均、分散等）を算出する。次いで、色彩転写部３１は、入力側の画像Ｉｉと参照側の画像Ｉｊの特徴量を用いて画像Ｉｉの画素値を変換する色彩転写を行うことで第１のレタッチ画像Ｉｉ｜ｊを生成する（ステップＳ２０２）。
【００８４】
色彩比較部３２は、色彩転写部３１が生成した第１のレタッチ画像Ｉｉ｜ｊと画像Ｉｉの画像との間で画素値を用いて色彩比較して画像間の類似度Ｒ１を算出する（ステップＳ２０４）。
【００８５】
次いで、上述の色彩転写と逆方向の色彩転写を行うため、色彩転写部３１は、ステップＳ２０２で既に計算した画像Ｉｉと画像Ｉｊの特徴量を用いて画像Ｉｊの画素値を変換する色彩転写を行うことで第２のレタッチ画像Ｉｊ｜ｉを生成する（ステップＳ２０３）。
【００８６】
色彩比較部３２は、色彩転写部３１が生成した第２のレタッチ画像Ｉｊ｜ｉと画像Ｉｉの画像データとの間で画素値を用いて色彩比較して画像間の類似度Ｒ２を算出する（ステップＳ２０４）。色彩比較部３２は、算出した２つの類似度Ｒ１と類似度Ｒ２とを合成し（例えば、平均値をとる）、画像Ｉｉと画像Ｉｊの間の最終的な類似度である合成類似度を算出する（ステップＳ２０４）。
【００８７】
類似度出力部４は、色彩比較部３２が算出した画像間の合成類似度を保持し、必要な時に出力して他のシステム等に提供する（ステップＳ２０５）。
【００８８】
以上、図７に示す類似度算出のパターンについて図９のフロー図を用いて説明したが、同様に図８に示す類似度算出のパターンについても以下のように説明できる。
【００８９】
画像取得部２は外部より複数の画像の各画像データを取得する（ステップＳ２０１）。色彩転写部３１は、画像取得部２で取得した画像から第３の画像Ｉｘと画像Ｉｊとを選択し、２つの画像について色彩に関する特徴量（平均、分散等）を算出する。次いで、色彩転写部３１は、入力側の第３の画像Ｉｘと参照側の画像Ｉｊの特徴量を用いて第３の画像Ｉｘの画素値を変換する色彩転写を行うことで第３のレタッチ画像Ｉｘ｜ｊを生成する（ステップＳ２０２）。
【００９０】
次いで、上述の色彩転写部３１は、入力側の第３の画像Ｉｘに参照側の画像Ｉｉの色彩情報の色彩転写を行うため、２つの画像について色彩に関する特徴量（平均、分散等）を算出する。色彩転写部３１は、算出した第３の画像Ｉｘと画像Ｉｉの特徴量を用いて第３の画像Ｉｘの画素値を変換する色彩転写を行うことで第４のレタッチ画像Ｉｘ｜ｉを生成する（ステップＳ２０３）。
【００９１】
色彩比較部３２は、第３のレタッチ画像Ｉｘ｜ｊと第４のレタッチ画像Ｉｘ｜ｉに基づいて、前記画像間の類似度を算出する（ステップＳ２０４）。
【００９２】
類似度出力部４は、色彩比較部３２が算出した画像間の合成類似度を保持し、必要な時に出力して他のシステム等に提供する（ステップＳ２０５）。
【００９３】
以上のように、本実施の形態に係る画像類似度算出装置１０の類似度算出部３は、類似度の算出を以下のように行う。まず、色彩転写部３１が、画像Ｉｉに画像Ｉｊを色彩転写して絵柄をあわせた第1のレタッチ画像Ｉｉ｜ｊを生成する。さらに、画像Ｉｊの画像データに画像Ｉｉの画像データを色彩転写して第２のレタッチ画像Ｉｊ｜ｉの画像データを生成する。次いで、色彩比較部３２が、第1のレタッチ画像Ｉｉ｜ｊの画像データとこれに対応する画像Ｉｉの画像データとを色彩比較して画像間の類似度Ｒ１を算出する。また、第２のレタッチ画像Ｉｊ｜ｉの画像データとこれに対応する画像Ｉｊの画像データとを色彩比較して画像間の類似度Ｒ２を算出する。類似度算出部３は、色彩比較部３２により得られた２つの類似度Ｒ１、Ｒ２を合成して画像Ｉｉと画像Ｉｊの間の合成類似度を算出するようになっている。
【００９４】
この構成により、画像間の類似度算出における絵柄依存性を減らし、直観との整合性を高め、類似度算出の順序依存性を少なくできる。
【００９５】
また、本実施の形態に係る画像類似度算出装置１０の類似度算出部３は、類似度の算出を以下のように行う。まず、色彩転写部３１が、画像取得部２により取得した第３の画像Ｉｘに対して画像Ｉｉの画像データを色彩転写した第４のレタッチ画像Ｉｘ｜ｉの画像データを生成する。さらに、第３の画像Ｉｘに対して画像Ｉｊの画像データを色彩転写した第３のレタッチ画像Ｉｘ｜ｊの画像データを生成する。次いで、色彩比較部３２が、第３のレタッチ画像Ｉｘ｜ｊと第４のレタッチ画像Ｉｘ｜ｉに基づいて、画像間の類似度を算出するようになっている。
【００９６】
この構成により、画像間の類似度算出における絵柄依存性を減らし、直観との整合性を高め、類似度算出の順序依存性を少なくできる。
【００９７】
なお、本実施の形態に係る画像類似度算出装置１０による類似度を算出するプログラムを計算機（図４参照）と組み合わせ、類似度を算出するようにしてもよい。
【００９８】
（第３の実施の形態）
次に、図１０〜図１１を参照して、本発明の第３の実施の形態について説明する。
【００９９】
本実施の形態に係る画像処理装置２０は、第１の実施の形態または第２の実施の形態に係る画像類似度算出装置１０を用いて、入力された画像に色彩転写を施し、自動的に補正することを目的とするものである。したがって、同一の構成要素については、図１〜図９に示した第１および第２の実施形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
【０１００】
図１０は、本実施の形態に係る画像処理装置２０の構成例を示す図である。画像処理装置２０は、制御部１と画像取得部２と類似度算出部３と類似度出力部４を含んで構成される画像類似度算出装置１０と参照画像蓄積部５と画像出力部６を備えている。
【０１０１】
画像取得部２は、複数の画像の各画像データを取得して、処理対象となる入力画像Ｉｉを入力するようになっている。画像データの取得は、画像撮影装置から直接に取得する形態でもよいし、撮影済みのデータを通信機能によって取得する形態でもよい。あるいは、記憶装置にあらかじめ記憶されている画像をロードしてもよい。
【０１０２】
参照画像蓄積部５は、入力画像に対し色彩転写をしてレタッチ画像の画像データを生成する際に参照する参照画像をあらかじめ１枚以上蓄積している。蓄積する枚数が１枚に限定されないのは、入力画像に対する望ましい補正結果が一通りに限定できないことがあるからである。
【０１０３】
例えば、ポートレート画像であれば、人種のバリエーションに応じて複数の参照画像をもたせることができる。あるいは、不動産売買のための室内画像であれば、マンションのカラーバリエーション等に応じて複数の参照画像をもたせることができる。
【０１０４】
制御部１は、参照画像蓄積部５で蓄積された参照画像を順に取り出す。制御部１は取り出した参照画像を用いて類似度算出部３が算出した入力画像との間の類似度を蓄積する。制御部１は蓄積された類似度の情報を適切にソートし、最も高い類似度を算出するのに用いられた参照画像を選択する。この選択された参照画像を以下では、選択参照画像ＩＲｅｆという。
【０１０５】
類似度算出部３による類似度の算出は第１の実施の形態または、第２の実施の形態で述べた方法により行う。また、ここでいう類似度は第２の実施の形態で述べた合成類似度も含む。算出された類似度は類似度出力部４に保持される。
【０１０６】
制御部１は、参照画像の数だけ上記の処理、すなわち参照画像を取り出し、類似度を蓄積し、類似度の高い参照画像を選択する処理を反復し、取り出す参照画像がなくなるまで上記の処理の反復を行う。
【０１０７】
色彩転写部３１は、制御部１により選択参照画像ＩＲｅｆが選択されると入力画像Ｉｉに色彩転写を行うことでレタッチ画像Ｉｉ｜Ｒｅｆを得る。画像出力部６は、得られたレタッチ画像Ｉｉ｜Ｒｅｆを画像処理装置２０の画面に表示する、またはプリンタ等により出力する。なお、ユーザが出力されたレタッチ画像Ｉｉ｜Ｒｅｆの結果を好まない場合には、ユーザが自ら選択参照画像ＩＲｅｆとして他の参照画像を選択できるようにしてもよい。
【０１０８】
次に図１１を用いて画像処理装置２０による画像レタッチの流れについて説明する。図１１は、本実施の形態に係る画像処理装置２０による画像レタッチの流れを示すフローチャートである。
【０１０９】
画像取得部２は処理対象となる入力画像Ｉｉを取得する（ステップＳ３０１）。制御部１は、参照画像蓄積部５に蓄積された画像を１枚ずつ順に取り出す（ステップＳ３０２）。制御部１は参照画像を取り出すことができた場合は（ステップＳ３０３）、類似度算出部３による類似度算出を行わせ、得られた類似度を蓄積し（ステップＳ３０４）、再度ステップＳ３０２の参照画像の取り出しを行う。
【０１１０】
制御部１はステップＳ３０２において参照すべき画像がなくなり参照画像を取り出すことができなくなった場合は（ステップＳ３０３）、参照画像の取り出し〜類似度算出の反復処理を抜けて、蓄積された類似度をソートし、類似度算出部３により最も高い類似度が算出するのに用いられた選択参照画像ＩＲｅｆを選択する（ステップ３０５）。
【０１１１】
色彩転写部３１は、選択された選択参照画像ＩＲｅｆを入力画像Ｉｉに色彩転写し（ステップＳ３０６）、レタッチ画像Ｉｉ｜Ｒｅｆを得る。次いで、画像出力部６は、得られたレタッチ画像Ｉｉ｜Ｒｅｆを画面等を介して出力し（ステップＳ３０７）、ユーザに提示する。
【０１１２】
以上のように、本実施の形態に係る画像処理装置２０は、画像類似度算出装置１０と、レタッチ画像を生成する際に参照する参照画像を蓄積する参照画像蓄積部５と、画像出力部６と、を有する。画像出力部６は、参照画像蓄積部５で蓄積された参照画像を用いて類似度算出部３が算出した画像取得部２により取得した入力画像Ｉｉとの間の類似度を蓄積し、最も高い類似度を算出するのに用いられた選択参照画像ＩＲｅｆを選択する制御部１と、制御部１により選択された選択参照画像ＩＲｅｆを用いて入力画像Ｉｉに色彩転写することで得られたれたレタッチ画像Ｉｉ｜Ｒｅｆを類似度出力部４に出力するようになっている。
【０１１３】
この構成により、画像の自動補正が可能となり、ユーザの負荷を減らすことができる。
【０１１４】
なお、本実施の形態に係る画像処理装置２０による画像レタッチのプログラムを計算機（図４参照）と組み合わせ、自動画像レタッチを行うようにしてもよい。
【０１１５】
以上、本発明の実施の形態について説明したが、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。
【０１１６】
本発明によれば、絵柄の異なり、明暗や色味等の色情報がもたらす２つの画像間の類似度に着目し、絵柄の影響を受けにくく、人の直観と整合する類似度を算出できるという効果を有する。画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体全般に有用である。
【符号の説明】
【０１１７】
１  制御部
２  画像取得部
３  類似度算出部
４  類似度出力部
５  参照画像蓄積部
６  画像出力部
１０  画像類似度算出装置
２０  画像処理装置
３１  色彩転写部（レタッチ画像生成部）
３２  色彩比較部
４７  記録媒体
【先行技術文献】
【特許文献】
【０１１８】
【特許文献１】特開２０１４−２２２４２９号公報
【非特許文献】
【０１１９】
【非特許文献１】Ｍ．Ｊ．  Ｓｗａｉｎ  ａｎｄ  Ｄ．Ｈ．  Ｂａｌｌａｒｄ．"Ｃｏｌｏｒ  ｉｎｄｅｘｉｎｇ，"  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｖｏｌ．７，  Ｎｏ．１，  ｐｐ．  １１−３２，  １９９１．
【図１】
2018036960.tif 000006
【図２】
2018036960.tif 000007
【図３】
2018036960.tif 000008
【図４】
2018036960.tif 000009
【図５】
2018036960.tif 000010
【図６】
2018036960.tif 000011
【図７】
2018036960.tif 000012
【図８】
2018036960.tif 000013
【図９】
2018036960.tif 000014
【図１０】
2018036960.tif 000015
【図１１】
2018036960.tif 000016
【手続補正書】
【提出日】平成28年9月23日(2016.9.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも第１の画像と第２の画像に基づいて、画像間の類似度を算出する類似度算出手段を含む画像類似度算出装置であって、
前記類似度算出手段は、前記第１の画像と前記第２の画像の色彩に関する特徴量に基づいて、レタッチ画像を生成するレタッチ画像生成部と、少なくとも前記レタッチ画像に基づいて、前記画像間の類似度を算出する色彩比較部と、を有することを特徴とする画像類似度算出装置。
【請求項２】
前記色彩比較部は、少なくとも前記レタッチ画像の色彩情報に基づいて算出した類似度を重み付けして合成した合成類似度を算出することを特徴とする請求項１に記載の画像類似度算出装置。
【請求項３】
前記レタッチ画像生成部が、前記第１の画像に第２の画像を色彩転写して第１のレタッチ画像を生成し、前記第２の画像に第１の画像を色彩転写して第２のレタッチ画像を生成し、
前記色彩比較部が、前記第１のレタッチ画像と前記第１の画像に基づいて色彩情報を比較した画像間の類似度と、前記第２のレタッチ画像と前記第２の画像に基づいて色彩情報を比較した画像間の類似度と、を合成し、画像間の合成類似度を算出することを特徴とする請求項１または請求項２に記載の画像類似度算出装置。
【請求項４】
前記レタッチ画像生成部が、第３の画像に前記第２の画像を色彩転写して第３のレタッチ画像を生成し、前記第３の画像に前記第１の画像を色彩転写して第４のレタッチ画像を生成し、
前記色彩比較部が、第３のレタッチ画像と第４のレタッチ画像に基づいて、前記画像間の類似度を算出することを特徴とする請求項１または請求項２に記載の画像類似度算出装置。
【請求項５】
前記画像類似度算出装置は、複数の画像を取得する画像取得手段をさらに備え、前記取得した画像のデータ量を削減し、
前記類似度算出手段は、前記データ量が削減された画像に基づいて、類似度を算出することを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像類似度算出装置。
【請求項６】
前記レタッチ画像生成部は、前記第１の画像と前記第２の画像のうち、一方を参照画像とし、他方を入力画像として、または、他方の入力画像に対して、色彩転写してレタッチ画像を生成することを特徴とする請求項１に記載の画像類似度算出装置。
【請求項７】
請求項６に記載の画像類似度算出装置と、
前記参照画像を蓄積する参照画像蓄積手段と、
前記参照画像蓄積手段から、最も高い前記類似度を算出するのに用いられた参照画像を選択する制御部と、
前記制御部により選択された参照画像を前記入力画像に色彩転写することで得られたレタッチ画像を出力する画像出力手段と、を有することを特徴とする画像処理装置。
【請求項８】
画像類似度算出装置が、少なくとも第１の画像と第２の画像に基づいて、画像間の類似度を算出する類似度算出ステップを含む画像類似度算出方法であって、
前記類似度算出ステップは、前記画像類似度算出装置が、前記第１の画像と前記第２の画像の色彩に関する特徴量に基づいて、レタッチ画像を生成するレタッチ画像生成ステップと、前記画像類似度算出装置が、少なくとも前記レタッチ画像に基づいて、前記画像間の類似度を算出する色彩比較ステップと、を有することを特徴とする画像類似度算出方法。
【請求項９】
前記色彩比較ステップは、前記画像類似度算出装置が、少なくとも前記レタッチ画像の色彩情報に基づいて算出した類似度を重み付けして合成した合成類似度を算出することを特徴とする請求項８に記載の画像類似度算出方法。
【請求項１０】
前記レタッチ画像生成ステップは、前記画像類似度算出装置が、前記第１の画像に第２の画像を色彩転写して第１のレタッチ画像を生成し、前記第２の画像に第１の画像を色彩転写して第２のレタッチ画像を生成し、
前記色彩比較ステップは、前記画像類似度算出装置が、前記第１のレタッチ画像と前記第１の画像に基づいて色彩情報を比較した画像間の類似度と、前記第２のレタッチ画像と前記第２の画像に基づいて色彩情報を比較した画像間の類似度と、を合成し、画像間の合成類似度を算出することを特徴とする請求項８または請求項９に記載の画像類似度算出方法。
【請求項１１】
前記レタッチ画像生成ステップは、前記画像類似度算出装置が、第３の画像に前記第２の画像を色彩転写して第３のレタッチ画像を生成し、前記第３の画像に前記第１の画像を色彩転写して第４のレタッチ画像を生成し、
前記色彩比較ステップは、前記画像類似度算出装置が、第３のレタッチ画像と第４のレタッチ画像に基づいて、前記画像間の類似度を算出することを特徴とする請求項８または請求項９に記載の画像類似度算出方法。
【請求項１２】
前記画像類似度算出方法は、前記画像類似度算出装置が、複数の画像を取得する画像取得ステップをさらに備え、前記取得した画像のデータ量を削減し、
前記類似度算出ステップは、前記画像類似度算出装置が、前記データ量が削減された画像に基づいて、類似度を算出することを特徴とする請求項８ないし請求項１１のいずれか１項に記載の画像類似度算出方法。
【請求項１３】
前記レタッチ画像生成ステップは、前記画像類似度算出装置が、前記第１の画像と前記第２の画像のうち、一方を参照画像とし、他方を入力画像として、または、他方の入力画像に対して、色彩転写してレタッチ画像を生成することを特徴とする請求項８に記載の画像類似度算出方法。
【請求項１４】
請求項１３に記載の画像類似度算出方法と、
前記画像類似度算出装置が、前記参照画像を蓄積する参照画像蓄積ステップと、
前記画像類似度算出装置が、前記参照画像蓄積ステップから、最も高い前記類似度を算出するのに用いられた参照画像を選択する制御ステップと、
前記画像類似度算出装置が、前記制御ステップにより選択された参照画像を前記入力画像に色彩転写することで得られたレタッチ画像を出力する画像出力ステップと、を有することを特徴とする画像処理方法。
【請求項１５】
画像類似度算出装置が、少なくとも第１の画像と第２の画像に基づいて、画像間の類似度を算出する類似度算出ステップを含む画像類似度算出方法をコンピュータに実行させるためのプログラムを格納したコンピュータで読取可能な記憶媒体であって、
前記類似度算出ステップは、前記画像類似度算出装置が、前記第１の画像と前記第２の画像の色彩に関する特徴量に基づいて、レタッチ画像を生成するレタッチ画像生成ステップと、前記画像類似度算出装置が、少なくとも前記レタッチ画像に基づいて、前記画像間の類似度を算出する色彩比較ステップと、を有する画像類似度算出方法をコンピュータに実行させるためのプログラムを格納したコンピュータで読取可能な記憶媒体。
【請求項１６】
前記色彩比較ステップは、少なくとも前記レタッチ画像の色彩情報に基づいて算出した類似度を重み付けして合成した合成類似度を算出することを特徴とする請求項１５に記載の記憶媒体。
【請求項１７】
前記レタッチ画像生成ステップが、前記第１の画像に第２の画像を色彩転写して第１のレタッチ画像を生成し、前記第２の画像に第１の画像を色彩転写して第２のレタッチ画像を生成し、
前記色彩比較ステップが、前記第１のレタッチ画像と前記第１の画像に基づいて色彩情報を比較した画像間の類似度と、前記第２のレタッチ画像と前記第２の画像に基づいて色彩情報を比較した画像間の類似度と、を合成し、画像間の合成類似度を算出することを特徴とする請求項１５または請求項１６に記載の記憶媒体。
【請求項１８】
前記レタッチ画像生成ステップが、第３の画像に前記第２の画像を色彩転写して第３のレタッチ画像を生成し、前記第３の画像に前記第１の画像を色彩転写して第４のレタッチ画像を生成し、
前記色彩比較ステップが、第３のレタッチ画像と第４のレタッチ画像に基づいて、前記画像間の類似度を算出することを特徴とする請求項１５または請求項１６に記載の記憶媒体。
【請求項１９】
前記画像類似度算出ステップをコンピュータに実行させるためのプログラムを格納したコンピュータで読取可能な記憶媒体は、前記画像類似度算出装置が、複数の画像を取得する画像取得ステップをコンピュータに実行させるためのプログラムさらに備え、前記取得した画像のデータ量を削減し、
前記類似度算出ステップは、前記画像類似度算出装置が、前記データ量が削減された画像に基づいて、類似度を算出することを特徴とする請求項１５ないし請求項１８のいずれか１項に記載の記憶媒体。
【請求項２０】
前記レタッチ画像生成ステップは、前記第１の画像と前記第２の画像のうち、一方を参照画像とし、他方を入力画像として、または、他方の入力画像に対して、色彩転写してレタッチ画像を生成することを特徴とする請求項１５に記載の記憶媒体。
【請求項２１】
請求項２０に記載の記憶媒体に格納されたプログラムを実行するステップと、
前記参照画像を蓄積する参照画像蓄積ステップと、
前記参照画像蓄積ステップから、最も高い前記類似度を算出するのに用いられた参照画像を選択する制御ステップと、
前記制御ステップにより選択された参照画像を前記入力画像に色彩転写することで得られたレタッチ画像を出力する画像出力ステップと、をコンピュータに実行させるためのプログラムを格納したコンピュータで読取可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
従来より、画像間の類似度の算出方法として、平均２乗誤差やＳ／Ｎなどの基礎的な方法が知られている。さらに、他の算出方法として、画像の正規化相互相関、同じ位置の画素値の２乗の合計であるＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）および同じ位置の画素値の差の絶対値の合計であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）等も知られている（例えば、特許文献１）。これらの方法は、各画像間の対応する位置の画素値を比較することで画像間の類似度を算出している。