(57)【要約】【課題】画像中の特徴的なテクスチャを反映した画像を生成することができる。【解決手段】周波数成分画像生成部３２で、各カラーチャンネルに対応した周波数成分画像を生成し、重み係数算出部４０で、画素値、又はエネルギー値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、周波数成分画像合成部３６で、算出した重み係数を用いて周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成する。【選択図】図１
2016039485.tif 000002
【特許請求の範囲】
【請求項１】
カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解し、分解して得られた各グレースケール画像を、周波数成分画像に変換することにより生成された、各カラーチャンネルに対応した周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルについて、前記周波数インデックス毎に、前記周波数インデックスに対する重み係数を算出する重み係数算出部と、
前記重み係数算出部により各カラーチャンネルについて算出された前記周波数インデックス毎の重み係数を用いて、前記周波数成分画像の周波数インデックス毎に加重平均を行うことにより、前記周波数成分画像を合成する周波数成分画像合成部と、
を含む画像処理装置。
【請求項２】
前記周波数成分画像合成部は、以下の式に従って、前記重み係数算出部により各カラーチャンネルｉについて算出された前記周波数インデックス（ｋ１，ｋ２）毎の重み係数ｗｉ（ｋ１，ｋ２）を用いて、前記周波数成分画像の周波数インデックス（ｋ１，ｋ２）毎に加重平均を行うことにより、前記周波数成分画像を合成する請求項１記載の画像処理装置。
【数１】
2016039485.tif 000021
ただし、Ｆ（ｋ１，ｋ２）は、合成された周波数成分画像の周波数インデックス（ｋ１，ｋ２）における画素値であり、Ｆｉ（ｋ１，ｋ２）はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）における周波数成分画像の画素値であり、また、ｗｉ（ｋ１，ｋ２）はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）における周波数成分画像の画素値の重み係数である。
【請求項３】
前記重み係数算出部は、各カラーチャンネルｉについて、以下の式に従って、前記周波数成分画像の周波数インデックス（ｋ１，ｋ２）毎に、前記周波数成分画像の周波数インデックス（ｋ１，ｋ２）のエネルギー値に比例するように前記周波数インデックス（ｋ１，ｋ２）に対する重み係数ｗｉ（ｋ１，ｋ２）を算出する請求項１又は請求項２に記載の画像処理装置。
【数２】
2016039485.tif 000022
ただし、
【数３】
2016039485.tif 000023
はＦｉ（ｋ１，ｋ２）の複素共役であり、
【数４】
2016039485.tif 000024
はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）におけるエネルギー値である。
【請求項４】
カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解し、分解して得られた各グレースケール画像を、周波数成分画像に変換することにより生成された、各カラーチャンネルに対応した周波数成分画像の画素値、又は周波数成分画像のエネルギー値に基づいて、各カラーチャンネルの周波数成分画像について、前記カラーチャンネルの周波数成分画像に対する重み係数を算出する重み係数算出部と、
前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記各カラーチャンネルの周波数成分画像の重み係数を用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像を合成する周波数成分画像合成部と、
を含む画像処理装置。
【請求項５】
前記重み係数算出部は、各カラーチャンネルｉの周波数成分画像について、以下の（１）式に従って、前記周波数成分画像のエネルギー値に比例するように前記カラーチャンネルｉの周波数成分画像に対する重み係数ｗｉを算出し、
前記周波数成分画像合成部は、以下の（２）式に従って、前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記カラーチャンネルｉの周波数成分画像の重み係数ｗｉを用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像を合成する請求項４記載の画像処理装置。
【数５】
2016039485.tif 000025
ただし、Ｆ（ｋ１，ｋ２）は、合成された周波数成分画像の周波数インデックス（ｋ１，ｋ２）における画素値であり、Ｆｉ（ｋ１，ｋ２）はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）における周波数成分画像の画素値であり、
【数６】
2016039485.tif 000026
はＦｉ（ｋ１，ｋ２）の複素共役であり、
【数７】
2016039485.tif 000027
はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）におけるエネルギー値である。
【請求項６】
重み係数算出部が、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解し、分解して得られた各グレースケール画像を、周波数成分画像に変換することにより生成された、各カラーチャンネルに対応した周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルについて、前記周波数インデックス毎に、前記周波数インデックスに対する重み係数を算出するステップと、
周波数成分画像合成部が、前記重み係数算出部により各カラーチャンネルについて算出された前記周波数インデックス毎の重み係数を用いて、前記周波数成分画像の周波数インデックス毎に加重平均を行うことにより、前記周波数成分画像を合成するステップと、
を含む画像処理方法。
【請求項７】
重み係数算出部が、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解し、分解して得られた各グレースケール画像を、周波数成分画像に変換することにより生成された、各カラーチャンネルに対応した周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルの周波数成分画像について、前記カラーチャンネルの周波数成分画像に対する重み係数を算出するステップと、
周波数成分画像合成部が、前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記各カラーチャンネルの周波数成分画像の重み係数を用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像を合成するステップと、
を含む画像処理方法。
【請求項８】
コンピュータを、請求項１〜請求項５の何れか１項に記載の画像処理装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラムに係り、特に、画像中の各カラーチャンネルの画像を合成する画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、２つ以上のカラーチャンネルを有するカラー画像を用いて画像認識処理（物体の追跡、対応点探索、物体識別など）を行う際、撮像装置の分光感度特性のばらつきや、照明環境の違い及び変化に対する頑健性を持たせるため、色情報を破棄する手法が知られている。
【０００３】
第１の手法として、各カラーチャンネルを加重平均し、カラー画像をグレースケール画像に変換する手法が広く用いられている。
【０００４】
第１の手法では、ＣＩＥ−ＲＧＢに基づく輝度画像への変換が行われている。例えば、カラーチャンネル数＝３の場合には、以下の（１）式によってグレースケール画像に変換される（非特許文献１参照）。
【０００５】
Grayscale = 0.30・Red + 0.59・Green + 0.11・Blue    ・・・（１）
【０００６】
また、第２の手法として、各カラーチャンネルの重みを等しくし、各カラーチャンネル画像の画素値の平均をとってグレースケール画像に変換する手法が知られている。例えば、カラーチャンネル数＝Ｎの場合（ｉ番目のカラーチャンネルの画素値をＣｉとする）、以下の（２）式によってグレースケール画像に変換される。
【０００７】
Grayscale = (C１+C２+…+CＮ)/ N    ・・・（２）
【０００８】
入力画像がマルチスペクトル画像（マルチバンド画像、又はマルチチャンネル画像ともいう）の場合、第２の手法に示した、各カラーチャンネルの平均化によるグレースケール画像が用いられる事が多い。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】日下秀夫 監修，「カラー画像工学」，映像情報メディア学会，オーム社，ｐｐ. 121，式（6・5）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
第１の手法の場合、ＲＧＢ画像（厳密にはＣＩＥで定義されたＲｅｄ、Ｇｒｅｅｎ、及びＢｌｕｅの分光感度特性を有するカメラで撮影された画像）に対してのみ適用可能であり、ＲＧＢ画像以外の入力には対応していない、という問題がある。
【００１１】
また、第２の手法の場合、ある特定のカラーチャンネル画像にのみ特徴的なテクスチャが存在する場合でも、他のカラーチャンネルの画像と平均化されてしまうため、得られるグレースケール画像においては、特定のカラーチャンネル画像にのみ特徴的なテクスチャが弱まってしまう。その結果、画像認識処理の精度が低下してしまう場合がある、という問題がある。例えば、カラーチャンネル数＝１０、座標（ｘ，ｙ）の画素において、ｉ番目のカラーチャンネルの画像が画素値＝１００、それ以外の画像が画素値＝０の場合、平均化処理により、グレースケール画像上での画素値は１０（元画像の１／１０）となってしまう。
【００１２】
これらの課題を解決するためには、各カラーチャンネルの重み係数を、画像単位若しくは画素単位に対して、何らかの手段により決定する必要がある。
【００１３】
本発明は、上記問題点を解決するために成されたものであり、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、第１の発明に係る画像処理装置は、入力された、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解するカラーチャンネル分解部と、前記カラーチャンネル分解部により分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、各カラーチャンネルに対応した周波数成分画像を生成する周波数成分画像生成部と、前記周波数成分画像生成部により生成された周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルについて、前記周波数インデックス毎に、前記周波数インデックスに対する重み係数を算出する重み係数算出部と、前記重み係数算出部により各カラーチャンネルについて算出された前記周波数インデックス毎の重み係数を用いて、前記周波数成分画像の周波数インデックス毎に加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成する周波数成分画像合成部と、を含んで構成されている。
【００１５】
また、第１の発明に係る画像処理装置において、前記周波数成分画像合成部は、以下の（３）式に従って、前記重み係数算出部により各カラーチャンネルｉについて算出された前記周波数インデックス（ｋ１，ｋ２）毎の重み係数ｗｉ（ｋ１，ｋ２）を用いて、前記周波数成分画像の周波数インデックス（ｋ１，ｋ２）毎に加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成してもよい。
【００１６】
【数１】
2016039485.tif 000003
【００１７】
ただし、Ｆ（ｋ１，ｋ２）は、合成された周波数成分画像の周波数インデックス（ｋ１，ｋ２）における画素値であり、Ｆｉ（ｋ１，ｋ２）はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）における周波数成分画像の画素値であり、また、ｗｉ（ｋ１，ｋ２）はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）における周波数成分画像の画素値の重み係数である。
【００１８】
ここで、各カラーチャンネルの重み係数ｗｉ（ｋ１，ｋ２）は、
ｗｉ（ｋ１，ｋ２）＝１／Ｎ
とする。
【００１９】
また、各カラーチャンネルの周波数インデックス（ｋ１，ｋ２）における画素値が、カラーチャンネルｊにおいて最大となるときの重み係数ｗｉ（ｋ１，ｋ２）は、
ｗｉ（ｋ１，ｋ２）＝１  ｗｈｅｎ  ｉ＝ｊ
ｗｉ（ｋ１，ｋ２）＝０  ｗｈｅｎ  ｉ≠ｊ
としても良い。
【００２０】
また、第２の発明に係る画像処理装置において、前記重み係数算出部は、各カラーチャンネルｉについて、以下の（４）式に従って、前記周波数成分画像の周波数インデックス（ｋ１，ｋ２）毎に、前記周波数成分画像の周波数インデックス（ｋ１，ｋ２）のエネルギー値に比例するように前記周波数インデックス（ｋ１，ｋ２）に対する重み係数ｗｉ（ｋ１，ｋ２）を算出し、前記周波数成分画像合成部は、上記の（３）式に従って、前記重み係数算出部により各カラーチャンネルｉについて算出された前記周波数インデックス（ｋ１，ｋ２）毎の重み係数ｗｉ（ｋ１，ｋ２）を用いて、前記周波数成分画像の周波数インデックス（ｋ１，ｋ２）毎に加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成してもよい。
【００２１】
【数２】
2016039485.tif 000004
【００２２】
ただし、Ｆｉ（ｋ１，ｋ２）はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）における周波数成分画像の画素値であり、
【００２３】
【数３】
2016039485.tif 000005
【００２４】
はＦｉ（ｋ１，ｋ２）の複素共役であり、
【００２５】
【数４】
2016039485.tif 000006
【００２６】
はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）におけるエネルギー値である。
【００２７】
第３の発明に係る画像処理装置は、入力された、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解するカラーチャンネル分解部と、前記カラーチャンネル分解部により分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、各カラーチャンネルに対応した周波数成分画像を生成する周波数成分画像生成部と、前記周波数成分画像生成部により生成された周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルの周波数成分画像について、前記カラーチャンネルの周波数成分画像に対する重み係数を算出する重み係数算出部と、前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記各カラーチャンネルの周波数成分画像の重み係数を用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成する周波数成分画像合成部と、を含んで構成されている。
【００２８】
また、第３の発明に係る画像処理装置において、前記重み係数算出部は、各カラーチャンネルｉの周波数成分画像について、以下の（５）式に従って、前記周波数成分画像のエネルギー値に比例するように前記カラーチャンネルｉの周波数成分画像に対する重み係数ｗｉを算出し、前記周波数成分画像合成部は、以下の（６）式に従って、前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記カラーチャンネルｉの周波数成分画像の重み係数ｗｉを用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成してもよい。
【００２９】
【数５】
2016039485.tif 000007
【００３０】
ここで、Ｆ（ｋ１，ｋ２）は、合成された周波数成分画像の周波数インデックス（ｋ１，ｋ２）における画素値であり、Ｆｉ（ｋ１，ｋ２）はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）における周波数成分画像の画素値であり、
【００３１】
【数６】
2016039485.tif 000008
【００３２】
はＦｉ（ｋ１，ｋ２）の複素共役であり、
【００３３】
【数７】
2016039485.tif 000009
【００３４】
はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）におけるエネルギー値である。
【００３５】
第１の発明に係る画像処理方法は、カラーチャンネル分解部が、入力された、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解するステップと、周波数成分画像生成部が、前記カラーチャンネル分解部により分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、各カラーチャンネルに対応した周波数成分画像を生成するステップと、重み係数算出部が、前記周波数成分画像生成部により生成された周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルについて、前記周波数インデックス毎に、前記周波数インデックスに対する重み係数を算出するステップと、周波数成分画像合成部が、前記重み係数算出部により各カラーチャンネルについて算出された前記周波数インデックス毎の重み係数を用いて、前記周波数成分画像の周波数インデックス毎に加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成するステップと、を含んで実行することを特徴とする。
【００３６】
第３の発明に係る画像処理方法は、カラーチャンネル分解部が、入力された、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解するステップと、周波数成分画像生成部が、前記カラーチャンネル分解部により分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、各カラーチャンネルに対応した周波数成分画像を生成するステップと、重み係数算出部が、前記周波数成分画像生成部により生成された周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルの周波数成分画像について、前記カラーチャンネルの周波数成分画像に対する重み係数を算出するステップと、周波数成分画像合成部が、前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記各カラーチャンネルの周波数成分画像の重み係数を用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成するステップと、を含んで実行することを特徴とする。
【００３７】
第１から第３の発明に係るプログラムは、コンピュータを、上記の第１から第３の発明に係る画像処理装置の各部として機能させるための画像処理プログラムである。
【発明の効果】
【００３８】
本発明の画像処理装置、方法、及びプログラムによれば、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる、という効果が得られる。
【図面の簡単な説明】
【００３９】
【図１】第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】第１の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図３】第１の実施の形態に係る画像処理装置の構成の変形例を示すブロック図である。
【図４】第２及び第３の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図５】第２の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図６】第２の実施の形態に係る画像処理装置の構成の変形例を示すブロック図である。
【図７】第３の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図８】第４の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図９】第４の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図１０】第４の実施の形態に係る画像処理装置の構成の変形例を示すブロック図である。
【図１１】第５の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図１２】第５の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図１３】第６の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図１４】第６の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図１５】第７の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図１６】第７の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図１７】第７の実施の形態に係る画像処理装置の構成の変形例を示すブロック図である。
【発明を実施するための形態】
【００４０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００４１】
＜本発明の第１の実施の形態に係る画像処理装置の構成＞
【００４２】
まず、本発明の第１の実施の形態に係る画像処理装置の構成について説明する。図１に示すように、第１の実施の形態に係る画像処理装置１００は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理装置１００は、機能的には図１に示すように画像処理部１０と、画像入力部１１と、出力部５０とを含んだ構成で表すことができる。
【００４３】
画像処理部１０には、画像入力部１１で得られたカラーチャンネル数Ｎの画像が入力される。本実施の形態では、画像入力部１１は、マルチスペクトルカメラ（マルチバンドカメラ及びハイパースペクトルカメラ）を備えており、マルチスペクトルカメラによりカラーチャンネル数Ｎの画像を撮像する。なお、画像入力部１１が備えるカメラは、マルチスペクトルカメラに限定されるものではなく、白黒カメラとマルチバンド光源の組み合わせにより、カラーチャンネル数Ｎの画像を撮像するようにしても良い。また、画像入力部１１は、カメラを備えずに、予め外部記録装置に記憶されている画像（例えば、ＣＧや、ＣＧと実写とを合成した画像等）を出力するようにしても良い。また、画像入力部１１は、カラーチャンネル数Ｎの画像ではなく、Ｎ枚の単色画像（以下、グレースケール画像と呼ぶ）を撮像して、出力するようにしても良い。
【００４４】
画像処理部１０は、カラーチャンネル分解部３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、周波数成分画像合成部３６と、周波数成分画像変換部３８とを含んで構成されている。
【００４５】
カラーチャンネル分解部３０は、画像入力部１１からカラーチャンネル数Ｎの画像の入力を受け付け、入力された、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解して出力する。なお、画像入力部１１から入力された画像が、Ｎ枚のグレースケール画像である場合には、カラーチャンネル分解部３０における処理は省略が可能である。
【００４６】
周波数成分画像生成部３２は、カラーチャンネル分解部により分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、Ｎ個のカラーチャンネルに対応したＮ枚の周波数成分画像を生成し周波数成分画像記憶部３４に記憶する。本実施の形態では、周波数成分画像への変換は、離散フーリエ変換を用いる。なお、フーリエ変換のほかに、コサイン変換、又はウェーブレット変換など任意の変換手法を用いることができる。
【００４７】
周波数成分画像記憶部３４には、周波数成分画像生成部３２で生成された周波数成分画像が記憶される。
【００４８】
重み係数算出部４０は、周波数成分画像生成部３２により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数空間における周波数インデックス毎に、当該周波数インデックスに対する重み係数を算出して出力する。
【００４９】
周波数成分画像合成部３６は、重み係数算出部４０により各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、周波数成分画像生成部により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成する。そして、合成して得られた一枚の新たな周波数成分画像を出力する。
【００５０】
具体的には、以下の（７）式に従って、重み係数算出部４０により各カラーチャンネルｉについて算出された周波数インデックス（ｋ１，ｋ２）毎の重み係数ｗｉ（ｋ１，ｋ２）を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス（ｋ１，ｋ２）毎に加重平均を行うことにより、周波数成分画像生成部により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成する。
【００５１】
【数８】
2016039485.tif 000010
【００５２】
ただし、Ｆ（ｋ１，ｋ２）は、合成された周波数成分画像の周波数インデックス（ｋ１，ｋ２）における画素値であり、Ｆｉ（ｋ１，ｋ２）はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）における周波数成分画像の画素値であり、また、ｗｉ（ｋ１，ｋ２）はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）における周波数成分画像の画素値の重み係数である。
【００５３】
ここで、各カラーチャンネルの重み係数ｗｉ（ｋ１，ｋ２）は、
ｗｉ（ｋ１，ｋ２）＝１／Ｎ
とする。
【００５４】
また、各カラーチャンネルの周波数インデックス（ｋ１，ｋ２）における画素値が、カラーチャンネルｊにおいて最大となるときの重み係数ｗｉ（ｋ１，ｋ２）は、
ｗｉ（ｋ１，ｋ２）＝１  ｗｈｅｎ  ｉ＝ｊ
ｗｉ（ｋ１，ｋ２）＝０  ｗｈｅｎ  ｉ≠ｊ
としても良い。
【００５５】
周波数成分画像変換部３８は、周波数成分画像合成部３６で合成して得られた一枚の周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換して、出力部５０に出力する。なお、周波数成分画像生成部３２において、コサイン変換又はウェーブレット変換を行って周波数成分画像に変換した場合には、それぞれ、逆コサイン変換又は逆ウェーブレット変換を行って一枚のグレースケール画像に変換するようにすれば良い。
【００５６】
＜本発明の第１の実施の形態に係る画像処理装置の作用＞
【００５７】
次に、本発明の第１の実施の形態に係る画像処理装置１００の作用について説明する。画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、画像処理装置１００は、図２に示す画像処理ルーチンを実行する。
【００５８】
まず、ステップＳ１００では、画像入力部１１から入力された、カラーチャンネル数Ｎの画像を取得する。
【００５９】
次に、ステップＳ１０２では、ステップＳ１００で取得したカラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解する。
【００６０】
ステップＳ１０４では、ステップＳ１０２で分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、Ｎ個のカラーチャンネルに対応したＮ枚の周波数成分画像を生成し、周波数成分画像記憶部３４に記憶する。
【００６１】
ステップＳ１０５では、ステップＳ１０４で生成され、周波数成分画像記憶部３４に記憶された周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックス毎に、当該周波数インデックスに対する重み係数を算出する。
【００６２】
ステップＳ１０６では、ステップＳ１０５で各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、周波数成分画像生成部により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成して、一枚の新たな周波数成分画像を得る。
【００６３】
ステップＳ１０８では、ステップＳ１０６で周波数成分画像を合成して得られた一枚の新たな周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換し、変換したグレースケール画像を出力部５０に出力して処理を終了する。
【００６４】
以上説明したように、第１の実施の形態に係る画像処理装置によれば、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
【００６５】
なお、本実施の形態では、周波数成分画像生成部３２にＮ枚のグレースケール画像の各々が入力されて、周波数成分画像生成部３２によりＮ枚の周波数成分画像の各々が生成され、周波数成分画像記憶部３４に記憶される場合を例に説明したが、図３に示すように、周波数成分画像記憶部３４を備えずに、周波数成分画像生成部３２がＮ個のカラーチャンネルと同じ数だけあるように構成しても良い。
【００６６】
＜本発明の第２の実施の形態に係る画像処理装置の構成＞
【００６７】
次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１００と同様の構成については、同一符号を付して詳細な説明を省略する。
【００６８】
第２の実施の形態では、周波数インデックスのエネルギー値に比例するように周波数インデックスに対する重み係数を算出している点が、第１の実施の形態と異なっている。
【００６９】
第２の実施の形態に係る画像処理装置２００は、第１の実施の形態と同様に、機能的には図４に示すように画像処理部２１０と、画像入力部１１と、出力部５０とを含んだ構成で表すことができる。
【００７０】
第２の実施の形態に係る画像処理部２１０は、機能的には図４に示すようにカラーチャンネル分解部３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、重み係数算出部２４０と、周波数成分画像合成部２３６と、周波数成分画像変換部３８とを含んだ構成で表すことができる。
【００７１】
重み係数算出部２４０は、各カラーチャンネルｉについて、以下の（８）式に従って、当該カラーチャンネルｉの周波数成分画像の周波数インデックス（ｋ１，ｋ２）毎に、当該周波数成分画像の周波数インデックス（ｋ１，ｋ２）のエネルギー値に比例するように当該周波数インデックス（ｋ１，ｋ２）に対する重み係数ｗｉ（ｋ１，ｋ２）を算出して出力する。
【００７２】
【数９】
2016039485.tif 000011
【００７３】
ただし、
【００７４】
【数１０】
2016039485.tif 000012
【００７５】
はＦｉ（ｋ１，ｋ２）の複素共役であり、
【００７６】
【数１１】
2016039485.tif 000013
【００７７】
はカラーチャンネルｉの周波数インデックス（ｋ１，ｋ２）におけるエネルギー値である。
【００７８】
周波数成分画像合成部２３６は、上記（７）式に従って、重み係数算出部２４０により各カラーチャンネルｉについて算出された周波数インデックス（ｋ１，ｋ２）毎の重み係数ｗｉ（ｋ１，ｋ２）を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス（ｋ１，ｋ２）毎に加重平均を行うことにより、周波数成分画像生成部３２により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成する。そして、合成して得られた一枚の新たな周波数成分画像を出力する。
【００７９】
周波数成分画像変換部３８は、第１の実施の形態と同様に、周波数成分画像合成部２３６で合成して得られた一枚の周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換して、出力部５０に出力する。
【００８０】
＜本発明の第２の実施の形態に係る画像処理装置の作用＞
【００８１】
次に、本発明の第２の実施の形態に係る画像処理装置２００の作用について説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
【００８２】
画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、画像処理装置２００は、図５に示す画像処理ルーチンを実行する。
【００８３】
ステップＳ２００では、各カラーチャンネルｉについて、上記（８）式に従って、当該カラーチャンネルｉの周波数成分画像の周波数インデックス（ｋ１，ｋ２）毎に、当該周波数成分画像の周波数インデックス（ｋ１，ｋ２）のエネルギー値に比例するように当該周波数インデックス（ｋ１，ｋ２）に対する重み係数ｗｉ（ｋ１，ｋ２）を算出する。
【００８４】
ステップＳ２０２では、上記（７）式に従って、ステップＳ２００で各カラーチャンネルｉについて算出された周波数インデックス（ｋ１，ｋ２）毎の重み係数ｗｉ（ｋ１，ｋ２）を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス（ｋ１，ｋ２）毎に加重平均を行うことにより、ステップＳ１０４で生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成して、一枚の新たな周波数成分画像を得る。
【００８５】
なお、第２の実施の形態に係る画像処理装置２００の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００８６】
以上説明したように、第２の実施の形態に係る画像処理装置によれば、各カラーチャンネルｉについて、周波数インデックス（ｋ１，ｋ２）毎のエネルギー値に比例するように周波数インデックス（ｋ１，ｋ２）に対する重み係数ｗｉ（ｋ１，ｋ２）を算出し、各カラーチャンネルｉについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス（ｋ１，ｋ２）毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
【００８７】
なお、本実施の形態では、周波数成分画像生成部３２にＮ枚の各グレースケール画像が入力されて、周波数成分画像生成部３２によりＮ枚の周波数成分画像が生成され、周波数成分画像記憶部３４に記憶される場合を例に説明したが、図６に示すように、周波数成分画像記憶部３４を備えずに、周波数成分画像生成部３２がＮ個のカラーチャンネルと同じ数だけあるように構成しても良い。
【００８８】
＜本発明の第３の実施の形態に係る画像処理装置の構成＞
【００８９】
次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理装置について、第１及び第２の実施の形態と同様の構成については、同一符号を付して説明を省略する。
【００９０】
第３の実施の形態では、各カラーチャンネルの周波数成分画像に対する重み係数を算出し、算出された重み係数を用いて周波数成分画像の加重平均を行っている点が、第２の実施の形態と異なっている。
【００９１】
第３の実施の形態に係る画像処理装置２００は、第１の実施の形態と同様に、機能的には上記図４に示すように画像処理部２１０と、画像入力部１１と、出力部５０とを含んだ構成で表すことができる。
【００９２】
第３の実施の形態に係る画像処理部２１０は、第２の実施の形態と同様に、機能的には上記図４に示すようにカラーチャンネル分解部３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、重み係数算出部２４０と、周波数成分画像合成部２３６と、周波数成分画像変換部３８とを含んだ構成で表すことができる。
【００９３】
第３の実施の形態に係る重み係数算出部２４０は、周波数成分画像生成部３２により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像の周波数インデックスのエネルギー値に基づいて、各カラーチャンネルの周波数成分画像について、当該カラーチャンネルの周波数成分画像に対する重み係数を算出して出力する。
【００９４】
具体的には、各カラーチャンネルｉの周波数成分画像について、以下の（９）式に従って、当該カラーチャンネルｉの周波数成分画像のエネルギー値に比例するように当該カラーチャンネルｉの周波数成分画像に対する重み係数ｗｉを算出する。
【００９５】
【数１２】
2016039485.tif 000014
【００９６】
ただし、
【００９７】
【数１３】
2016039485.tif 000015
【００９８】
はｉ番目のカラーチャンネルの周波数成分画像のエネルギー値を表す。
【００９９】
なお、第３の実施の形態に係る重み係数算出部２４０は、周波数成分画像の画素値に基づいて、各カラーチャンネルの周波数成分画像に対する重み係数を算出しても良い。
【０１００】
第３の実施の形態に係る周波数成分画像合成部２３６は、重み係数算出部２４０により各カラーチャンネルの周波数成分画像について算出された各カラーチャンネルの周波数成分画像の重み係数を用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、周波数成分画像生成部３２により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成する。そして、合成して得られた一枚の新たな周波数成分画像を出力する。
【０１０１】
具体的には、下記（１０）式に従って、重み係数算出部２４０により各カラーチャンネルの周波数成分画像について算出されたカラーチャンネルｉの周波数成分画像の重み係数ｗｉを用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、周波数成分画像生成部３２により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成する。
【０１０２】
【数１４】
2016039485.tif 000016
【０１０３】
周波数成分画像変換部３８は、第１の実施の形態と同様に、周波数成分画像合成部３６で生成された一枚の周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換して、出力部５０に出力する。
【０１０４】
＜本発明の第３の実施の形態に係る画像処理装置の作用＞
【０１０５】
次に、本発明の第３の実施の形態に係る画像処理装置２００の作用について説明する。なお、第１及び第２の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
【０１０６】
画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、第３の実施の形態に係る画像処理装置２００は、図７に示す画像処理ルーチンを実行する。
【０１０７】
ステップＳ３００では、各カラーチャンネルｉの周波数成分画像について、上記（９）式に従って、当該カラーチャンネルｉの周波数成分画像のエネルギー値に比例するように当該カラーチャンネルｉの周波数成分画像に対する重み係数ｗｉを算出する。
【０１０８】
ステップＳ３０２では、上記（１０）式に従って、ステップＳ３００で各カラーチャンネルの周波数成分画像について算出されたカラーチャンネルｉの周波数成分画像の重み係数ｗｉを用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、ステップＳ１０４で生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成して、一枚の新たな周波数成分画像を得る。
【０１０９】
なお、第３の実施の形態に係る画像処理装置２００の他の構成及び作用については、第１及び第２の実施の形態と同様であるため、説明を省略する。
【０１１０】
以上説明したように、第３の実施の形態に係る画像処理装置によれば、各カラーチャンネルｉの周波数成分画像について、周波数成分画像のエネルギー値に比例するように重み係数ｗｉを算出し、各カラーチャンネルの周波数成分画像毎に算出された重み係数ｗｉを用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
【０１１１】
＜本発明の第４の実施の形態に係る画像処理装置の構成＞
【０１１２】
次に、第４の実施の形態について説明する。なお、第４の実施の形態の画像処理装置について、第１の実施の形態と同様の構成については、同一符号を付して説明を省略する。
【０１１３】
第４の実施の形態では、Ｎ枚のグレースケール画像に対して正規化を施す点が、第１の実施の形態と異なっている。
【０１１４】
第４の実施の形態に係る画像処理装置４００は、第１の実施の形態と同様に、機能的には図８に示すように画像処理部２１０と、画像入力部１１と、出力部５０とを含んだ構成で表すことができる。
【０１１５】
第４の実施の形態に係る画像処理部４１０は、機能的には図８に示すようにカラーチャンネル分解部３０と、正規化処理部４３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、重み係数算出部４０と、周波数成分画像合成部３６と、周波数成分画像変換部３８とを含んだ構成で表すことができる。
【０１１６】
正規化処理部４３０は、カラーチャンネル分解部３０により分解して得られた各グレースケール画像について、下記の（１１）式に従って、当該グレースケール画像の各画素を画像全体のエネルギーで割り、得られた値を新しい画素値とすることで、当該グレースケール画像を正規化する。
【０１１７】
【数１５】
2016039485.tif 000017
【０１１８】
ただし、ｆｉ（ｘ，ｙ）はｉ番目のカラーチャンネルに対応したグレースケール画像の座標（ｘ，ｙ）における画素値を表す。また、
【０１１９】
【数１６】
2016039485.tif 000018
【０１２０】
はｉ番目のカラーチャンネルに対応したグレースケール画像のエネルギーを表す。
【０１２１】
なお、正規化処理部４３０は、上記の正規化で得られた結果に対して係数を掛けても良い（例えば８ｂｉｔ画像を対象とする場合は、係数＝２５５を、１６ｂｉｔ画像を対象とする場合は、係数＝６５５３５を掛ける）。また、正規化処理部４３０は、グレースケール画像の各画素値を、画像中の最大画素値で割り、得られた値を新しい画素値とすることで、グレースケール画像を正規化しても良い。また、下記の（１２）式に従って、グレースケール画像の各画素を、画像全体の画素の和で割り、得られた値を新しい画素値とすることで、グレースケール画像を正規化しても良い。
【０１２２】
【数１７】
2016039485.tif 000019
【０１２３】
周波数成分画像生成部３２は、正規化処理部４３０により出力された各グレースケール画像を、第１の実施の形態と同様に、周波数成分画像に変換することにより、Ｎ個の各カラーチャンネルに対応したＮ枚の周波数成分画像を生成して出力する。
【０１２４】
＜本発明の第４の実施の形態に係る画像処理装置の作用＞
【０１２５】
次に、本発明の第４の実施の形態に係る画像処理装置４００の作用について説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
【０１２６】
画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、第４の実施の形態に係る画像処理装置４００は、図９に示す画像処理ルーチンを実行する。
【０１２７】
ステップＳ４００では、ステップＳ１０２で分解して得られた各グレースケール画像について、上記（１１）式に従って、当該グレースケール画像の各画素を画像全体のエネルギーで割り、得られた値を新しい画素値とすることで、当該グレースケール画像を正規化する。
【０１２８】
なお、第４の実施の形態に係る画像処理装置４００の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１２９】
以上説明したように、第４の実施の形態に係る画像処理装置によれば、各グレースケール画像について正規化を施し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
【０１３０】
なお、本実施の形態では、正規化処理部４３０により、Ｎ枚のグレースケール画像に対して正規化を施す処理を繰り返す場合を例に説明したが、図１０に示すように、正規化処理部をＮ個備え、Ｎ個の正規化処理部毎にグレースケール画像に対して正規化を施すように構成しても良い。
【０１３１】
また、本実施の形態では、第１の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第２又は第３の実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。
【０１３２】
＜本発明の第５の実施の形態に係る画像処理装置の構成＞
【０１３３】
次に、第５の実施の形態について説明する。なお、第５の実施の形態の画像処理装置について、第４の実施の形態と同様の構成については、同一符号を付して説明を省略する。
【０１３４】
第５の実施の形態では、カラーチャンネル数Ｎの基準白色画像を用いてホワイトバランスの調整を行っている点が、第１から第４の実施の形態と異なっている。
【０１３５】
第５の実施の形態に係る画像処理装置６００は、機能的には図１１に示すように画像処理部６１０と、画像入力部１１と、撮影条件記憶部６１１と、ホワイトバランス調整用係数算出部６３０と、出力部５０とを含んだ構成で表すことができる。
【０１３６】
撮影条件記憶部６１１には、画像撮影時に使用したカメラの分光感度特性、画像撮影時の照明光スペクトル、被写体表面の分光反射率の主成分、主成分の相関関数及び共分散行列、並びに分光反射率推定行列など、カラーチャンネル数Ｎの画像から分光反射率を推定するために必要な情報が記憶されている。
【０１３７】
第５の実施の形態に係る画像処理部６１０は、機能的には図１１に示すようにホワイトバランス調整部６３２と、カラーチャンネル分解部３０と、正規化処理部４３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、重み係数算出部４０と、周波数成分画像合成部３６と、周波数成分画像変換部３８とを含んだ構成で表すことができる。
【０１３８】
ホワイトバランス調整用係数算出部６３０は、画像入力部１１で撮像されたカラーチャンネル数Ｎの画像と同じ条件（照明環境や露光時間、絞り値、感度などのカメラ設定）で撮像されたカラーチャンネル数Ｎの基準白色画像の入力を受け付ける。ホワイトバランス調整用係数算出部６３０は、受け付けたカラーチャンネル数Ｎの基準白色画像に基づいて、特許文献１（特開２０１１−２５９２０９号）に記載の手法と同様の手法を用いて、撮影条件記憶部６１１に記憶されている、カラーチャンネル数Ｎの画像から分光反射率を推定するために必要な情報を用いて、基準白色の分光反射率が全ての波長で等しくなるように各カラーチャンネルの画像にかけるホワイトバランス調整用係数を算出する。
【０１３９】
なお、撮影条件記憶部６１１を備えずに、ホワイトバランス調整用係数算出部６３０は、受け付けたカラーチャンネル数Ｎの基準白色画像における各カラーチャンネルについて、基準白色に該当する箇所の画素値、又は該当する領域の画素値の平均値が等しくなるように、下記の（１３）式又は（１４）式に従って、ホワイトバランス調整用係数を算出するようにしても良い。
【０１４０】
【数１８】
2016039485.tif 000020
【０１４１】
ホワイトバランス調整部６３２は、画像入力部１１からカラーチャンネル数Ｎの画像、及びホワイトバランス調整用係数算出部６３０から各カラーチャンネルについてのホワイトバランス調整用係数の入力を受け付け、受け付けたカラーチャンネル数Ｎの画像の各カラーチャンネルの画素値に対して、ホワイトバランス調整用係数算出部６３０により算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Ｎの画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Ｎの画像を出力する。
【０１４２】
カラーチャンネル分解部３０は、ホワイトバランス調整部６３２からカラーチャンネル数Ｎの画像の入力を受け付け、第１の実施の形態と同様に、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解して出力する。
【０１４３】
＜本発明の第５の実施の形態に係る画像処理装置の作用＞
【０１４４】
次に、本発明の第５の実施の形態に係る画像処理装置６００の作用について説明する。なお、第４の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
【０１４５】
画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、第５の実施の形態に係る画像処理装置６００は、図１２に示す画像処理ルーチンを実行する。
【０１４６】
まず、ステップＳ５００では、画像入力部１１から入力された、カラーチャンネル数Ｎの画像及びカラーチャンネル数Ｎの基準白色画像を取得する。
【０１４７】
次に、ステップＳ５０２では、ステップＳ５００で取得したカラーチャンネル数Ｎの基準白色画像に基づいて、基準白色の分光反射率が全ての波長で等しくなるように各カラーチャンネル画像にかけるホワイトバランス調整用係数を算出する。
【０１４８】
ステップＳ５０４では、ステップＳ５００で取得したカラーチャンネル数Ｎの画像の画素値に対して、ステップＳ５０２で算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Ｎの画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Ｎの画像を出力する。
【０１４９】
なお、第５の実施の形態に係る画像処理装置６００の他の構成及び作用については、第４の実施の形態と同様であるため、説明を省略する。
【０１５０】
以上説明したように、第５の実施の形態に係る画像処理装置によれば、カラーチャンネル数Ｎの画像のホワイトバランスを調整し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
【０１５１】
なお、本実施の形態では、カラーチャンネル分解部の前段にホワイトバランス調整部を置いているが、これに限定されるものではなく、カラーチャンネル分解部の直後にホワイトバランス調整部を置くように構成し、Ｎ枚のグレースケール画像について、ホワイトバランスを調整するようにしても良い。
【０１５２】
また、本実施の形態では、第４の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第１から第３のいずれかの実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。
【０１５３】
＜本発明の第６の実施の形態に係る画像処理装置の構成＞
【０１５４】
次に、第６の実施の形態について説明する。なお、第６の実施の形態の画像処理装置について、第５の実施の形態と同様の構成については、同一符号を付して説明を省略する。
【０１５５】
第６の実施の形態では、カラーチャンネル数Ｎの画像について、異なる色空間若しくは多次元信号空間へ変換を行っている点が、第１から第５の実施の形態と異なっている。
【０１５６】
第６の実施の形態に係る画像処理装置８００は、第５の実施の形態と同様に、機能的には図１３に示すように画像処理部８１０と、画像入力部１１と、撮影条件記憶部６１１、ホワイトバランス調整用係数算出部６３０と、出力部５０とを含んだ構成で表すことができる。
【０１５７】
第６の実施の形態に係る画像処理部８１０は、機能的には図１３に示すようにホワイトバランス調整部６３２と、信号空間変換処理部８３０と、カラーチャンネル分解部３０と、正規化処理部４３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、重み係数算出部４０と、周波数成分画像合成部３６と、周波数成分画像変換部３８とを含んだ構成で表すことができる。
【０１５８】
信号空間変換処理部８３０は、ホワイトバランス調整部６３２でホワイトバランスが調整されたカラーチャンネル数Ｎの画像について、異なる色空間若しくは多次元信号空間へ変換し、カラーチャンネル数Ｍの画像を生成する。本実施の形態では、カラーチャンネル数Ｎの画像について、カラーチャンネル方向の主成分画像への変換を行うことで、カラーチャンネル数Ｍの画像を生成する。また、本実施の形態では全ての主成分画像を使用するが、全ての主成分画像を使用せず、一部の主成分画像を使用しても良い。
【０１５９】
なお、主成分画像への変換は、本実施の形態における信号空間変換の一例であり、信号空間変換処理部８３０は、撮影条件記憶部６１１から取得した情報を用いて、カラーチャンネル数Ｎの画像について、分光反射率画像への変換を行うようにしても良い。また、変換した分光反射率画像について、更に、波長軸方向への主成分画像に変換するようにしても良い（全ての主成分画像を使用せず、一部の主成分画像を使用しても良い）。また、カラーチャンネル数Ｎの画像について、ＣＩＥ−ＸＹＺ画像、ＣＩＥ−Ｌａｂ画像、又はｘｖＹＣＣ画像などへの変換を行うようにしても良い。
【０１６０】
カラーチャンネル分解部３０は、信号空間変換処理部８３０からカラーチャンネル数Ｍの画像の入力を受け付け、第１の実施の形態と同様に、カラーチャンネル数Ｍの画像を、各カラーチャンネルに対応した各グレースケール画像に分解して出力する。
【０１６１】
＜本発明の第６の実施の形態に係る画像処理装置の作用＞
【０１６２】
次に、本発明の第６の実施の形態に係る画像処理装置８００の作用について説明する。なお、第５の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
【０１６３】
画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、第６の実施の形態に係る画像処理装置８００は、図１４に示す画像処理ルーチンを実行する。
【０１６４】
ステップＳ６００では、ステップＳ５０４でホワイトバランスが調整されたカラーチャンネル数Ｎの画像について、カラーチャンネル方向の信号空間への変換を行い、カラーチャンネル数Ｍの画像を生成する。
【０１６５】
なお、第６の実施の形態に係る画像処理装置８００の他の構成及び作用については、第５の実施の形態と同様であるため、説明を省略する。
【０１６６】
以上説明したように、第６の実施の形態に係る画像処理装置によれば、カラーチャンネル数Ｎの画像について、カラーチャンネル方向の主成分画像への変換を行うことでカラーチャンネル数Ｍの画像を生成し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
【０１６７】
なお、本実施の形態では、カラーチャンネル分解部の前段に信号空間変換処理部を置いているが、これに限定されるものではなく、カラーチャンネル分解部の直後に信号空間変換処理部を置くように構成し、Ｎ枚のグレースケール画像について、信号空間変換処理を行うようにしても良い。
【０１６８】
また、本実施の形態では、第５の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第１から第４のいずれかの実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。
【０１６９】
＜本発明の第７の実施の形態に係る画像処理装置の構成＞
【０１７０】
次に、第７の実施の形態について説明する。なお、第７の実施の形態の画像処理装置について、第６の実施の形態と同様の構成については、同一符号を付して説明を省略する。
【０１７１】
第７の実施の形態では、カラーチャンネル数Ｎの画像を、複数の領域に分割し、分割した各画像について、周波数成分画像の合成を行っている点が、第１から第６の実施の形態と異なっている。
【０１７２】
第７の実施の形態に係る画像処理装置１０００は、機能的には図１５に示すように画像処理部１０１０と、画像入力部１１と、撮影条件記憶部６１１と、ホワイトバランス調整用係数算出部６３０と、画像領域分割処理部１０１１と、分割領域画像記憶部１０１３と、分割領域グレースケール画像記憶部１０４１と、分割領域画像統合部１０４３と、出力部５０とを含んだ構成で表すことができる。
【０１７３】
画像領域分割処理部１０１１は、画像入力部１１からカラーチャンネル数Ｎの画像の入力を受け付け、受け付けたカラーチャンネル数Ｎの画像を、既存の手法を用いてＬ枚の領域画像に分割する。分割して得られたカラーチャンネル数ＮのＬ枚の分割領域画像は分割領域画像記憶部１０１３に記憶される。
【０１７４】
分割領域画像記憶部１０１３は、画像領域分割処理部１０１１により分割されたカラーチャンネル数ＮのＬ枚の分割領域画像が記憶されており、画像処理部１０１０に入力される。
【０１７５】
画像処理部１０１０のホワイトバランス調整部６３２は、第６の実施の形態と同様に、画像入力部１１からカラーチャンネル数ＮのＬ枚の分割領域画像、及びホワイトバランス調整用係数算出部６３０から各カラーチャンネルについてのホワイトバランス調整用係数の入力を受け付け、受け付けたカラーチャンネル数ＮのＬ枚の分割領域画像の各カラーチャンネルの画素値に対して、ホワイトバランス調整用係数算出部６３０により算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Ｎの分割領域画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Ｎの分割領域画像を出力する。そして、画像処理部１０１０では、ホワイトバランス調整部６３２以降の処理において、ホワイトバランス調整部６３２により得られたカラーチャンネル数ＮのＬ枚の分割領域画像の各カラーチャンネルについて、第６の実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、Ｌ枚の新たな周波数成分画像を合成する。
【０１７６】
周波数成分画像変換部３８は、第１の実施の形態と同様に、周波数成分画像合成部３６で合成して得られた、Ｌ枚の周波数成分画像を、離散逆フーリエ変換により、Ｌ枚のグレースケール画像に変換して、分割領域グレースケール画像記憶部１０４１に記憶する。
【０１７７】
分割領域グレースケール画像記憶部１０４１は、画像処理部１０１０によって変換して得られたＬ枚の分割領域画像の各グレースケール画像が記憶されている。
【０１７８】
分割領域画像統合部１０４３は、分割領域グレースケール画像記憶部１０４１に記憶されたＬ枚のグレースケール画像を統合して、一枚のグレースケール画像を生成して出力する。
【０１７９】
＜本発明の第７の実施の形態に係る画像処理装置の作用＞
【０１８０】
次に、本発明の第７の実施の形態に係る画像処理装置１０００の作用について説明する。なお、第６の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
【０１８１】
画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、第６の実施の形態に係る画像処理装置１０００は、図１６に示す画像処理ルーチンを実行する。
【０１８２】
ステップＳ７００では、ステップＳ５００で取得したカラーチャンネル数Ｎの画像を、Ｌ枚の領域画像に分割し、分割して得られたＬ枚の分割領域画像を分割領域画像記憶部１０１３に記憶する。
【０１８３】
ステップＳ５０４では、ステップＳ７００で分割領域画像記憶部１０１３に記憶されたＬ枚の分割領域画像のうちの処理対象の分割領域画像に対して、ステップＳ５０２で算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Ｎの画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Ｎの画像を出力する。
【０１８４】
ステップＳ７０１では、上記ステップＳ７００で分割領域画像記憶部１０１３に記憶されたＬ枚の分割領域画像の全てについて、上記ステップＳ５０４〜Ｓ１０８の処理を実行したか否かを判定し、上記ステップＳ５０４〜Ｓ１０８の処理を実行していない分割領域画像が存在する場合には、当該分割領域画像を処理対象として、上記ステップＳ５０４〜Ｓ１０８の処理を繰り返す。一方、Ｌ枚の分割領域画像の全てについて、上記ステップＳ５０４〜Ｓ１０８の処理を実行した場合には、ステップＳ７０２へ移行する。
【０１８５】
ステップＳ７０２では、ステップＳ１０８で変換され、分割領域グレースケール画像記憶部１０４１に記憶されたＬ枚のグレースケール画像を統合し、一枚のグレースケール画像を生成して処理を終了する。
【０１８６】
以上説明したように、第７の実施の形態に係る画像処理装置によれば、カラーチャンネル数Ｎの画像について、Ｌ枚の分割領域画像に分割し、分割領域画像のグレースケール画像を周波数成分画像に変換し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、Ｌ枚の新たな周波数成分画像を合成し、合成したＬ枚の周波数成分画像を変換して得たＬ枚のグレースケール画像を統合することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
【０１８７】
なお、本実施の形態では、第６の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第１から第５のいずれかの実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。
【０１８８】
また、図１７に示すように、分割領域画像記憶部１０１３及び分割領域グレースケール画像記憶部１０４１を備えずに、Ｌ個の画像処理部を備えるようにしてＬ枚の分割領域画像の各々につい６、周波数成分画像を合成する処理を並列処理する構成としても良い。
【０１８９】
また、本発明は、上述した第１から第７の実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【０１９０】
１０、２１０、４１０、６１０、８１０、１０１０   画像処理部
１１   画像入力部
３０   カラーチャンネル分解部
３２   周波数成分画像生成部
３４   周波数成分画像記憶部
３６、２３６  周波数成分画像合成部
３８   周波数成分画像変換部
４０、２４０  重み係数算出部
５０   出力部
１００、２００、４００、６００、８００、１０００ 画像処理装置
４３０ 正規化処理部
６１１ 撮影条件記憶部
６３０ ホワイトバランス調整用係数算出部
６３２ ホワイトバランス調整部
８３０ 信号空間変換処理部
１０１１      画像領域分割処理部
１０１３      分割領域画像記憶部
１０４１      分割領域グレースケール画像記憶部
１０４３      分割領域画像統合部
【図１】
2016039485.tif 000028
【図２】
2016039485.tif 000029
【図３】
2016039485.tif 000030
【図４】
2016039485.tif 000031
【図５】
2016039485.tif 000032
【図６】
2016039485.tif 000033
【図７】
2016039485.tif 000034
【図８】
2016039485.tif 000035
【図９】
2016039485.tif 000036
【図１０】
2016039485.tif 000037
【図１１】
2016039485.tif 000038
【図１２】
2016039485.tif 000039
【図１３】
2016039485.tif 000040
【図１４】
2016039485.tif 000041
【図１５】
2016039485.tif 000042
【図１６】
2016039485.tif 000043
【図１７】
2016039485.tif 000044