(57)【要約】  画像処理装置は、観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成するパンシャープン画像生成部（１２２）と、入力された複数の画像を線形変換する画像変換装置（１２１）と、を備える画像処理装置（１２０）である。画像変換装置（１２１）は、入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、表示装置が有する色の階調の画素値域に合わせて線形変換する。
2019026408.tif 000002
【特許請求の範囲】
【請求項１】
観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報をそれぞれ有するパンシャープン画像を生成するパンシャープン画像生成部に付随し、
入力された画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像変換装置。
【請求項２】
前記画像変換装置により変換された画像においてそれぞれ対応する画素位置の画素値の比率と、
前記マルチスペクトル画像を前記表示装置に表示させた場合のそれぞれ対応する画素位置の画素値の比率と、が同じである、
請求項１に記載の画像変換装置。
【請求項３】
前記表示装置が有する前記色の階調の画素値域は、前記表示装置が有する前記色の階調のダイナミックレンジと等しい、
請求項１に記載の画像変換装置。
【請求項４】
前記画像変換装置は、前記マルチスペクトル画像を線形変換し、線形変換した後の画像を、前記パンシャープン画像生成部に出力する、
請求項１又は２に記載の画像変換装置。
【請求項５】
前記画像変換装置は、前記パンシャープン画像生成部から受け取った前記パンシャープン画像を線形変換する、
請求項１又は２に記載の画像変換装置。
【請求項６】
画像処理装置により行われる方法をコンピュータに行わせるためのプログラムを格納した非一時的なコンピュータ可読媒体であって、
前記方法は、観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報をそれぞれ有するパンシャープン画像を生成するパンシャープン画像生成方法に付随して使用される、画像変換方法であって、
入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像処理プログラムを格納した非一時的なコンピュータ可読媒体。
【請求項７】
観察者が目視観察をするための表示装置に画像を提供するために、
複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報をそれぞれ有するパンシャープン画像を生成するパンシャープン画像生成部と、
入力された複数の画像を線形変換する画像変換装置と、
を備える画像処理装置であって、
前記画像変換装置は、入力された画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像処理装置。
【請求項８】
前記画像変換装置により変換された画像においてそれぞれ対応する画素位置の画素値の比率と、
前記マルチスペクトル画像を前記表示装置に表示させた場合のそれぞれ対応する画素位置の画素値の比率と、が同じである、
請求項７に記載の画像処理装置。
【請求項９】
前記パンシャープン画像を前記表示装置に表示させた場合の任意の画素の画素値の比率と、
前記マルチスペクトル画像を前記表示装置に表示させた場合の任意の画素の画素値の比率と、が同じである、
請求項７に記載の画像処理装置。
【請求項１０】
前記表示装置が有する前記色の階調の画素値域は、前記表示装置が有する前記色の階調のダイナミックレンジと等しい、
請求項７に記載の画像処理装置。
【請求項１１】
前記画像変換装置は、前記マルチスペクトル画像を線形変換し、線形変換した後の画像を、前記パンシャープン画像生成部に出力し、
前記パンシャープン画像生成部は、前記画像変換装置から受け取った前記線形変換した後の画像に、前記パンクロマチック画像を合成する、
請求項７〜９のいずれか一項に記載の画像処理装置。
【請求項１２】
前記画像変換装置は、前記パンシャープン画像生成部から受け取った前記パンシャープン画像を線形変換する、
請求項７〜９のいずれか一項に記載の画像処理装置。
【請求項１３】
観察者が目視観察をするための表示装置に画像を提供するために、
複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成し、
入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像処理方法。
【請求項１４】
画像処理装置により行われる方法をコンピュータに行わせるためのプログラムを格納した非一時的なコンピュータ可読媒体であって、
前記方法は、
観察者が目視観察をするための表示装置に画像を提供するために、
複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成し、
入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換すること、を備える
画像処理プログラムを格納した非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は解像度が異なる複数の画像データを合成処理して高解像度のカラー画像を生成する技術に関し、特に入力された画像を表示した際の色味と合成処理後の高解像度カラー画像を表示した際の色味とを揃えるための技術に関する。
【背景技術】
【０００２】
高解像度の衛星画像を表示装置に表示させ、これを目視することにより、画像データに撮像されている対象の認識ないし識別を行う目視判読という技術が知られている。目視判読に用いられる衛星画像は、一般に、パンシャープン処理が施されている。パンシャープン処理とは、高い解像度を有するパンクロマチック画像と、低い解像度を有するマルチスペクトル画像とから、高い解像度を有するマルチスペクトル画像を生成する処理である。【０００３】
例えば、特許文献１に記載された画像処理装置は、マルチスペクトル画像と、マルチスペクトル画像よりも高解像度のパンクロマチック画像を合成することにより、高解像度のカラー画像であるパンシャープン画像を生成する。より具体的には、画像処理装置は、パンクロマチック画像の画素値から画素ごとの係数を算出する。そして、画像処理装置は、高解像度化したマルチスペクトル画像の各画素値に対して、算出した係数を乗算する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１７／０３８０９０号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マルチスペクトル画像は、異なる波長帯毎に観測データである画像信号を有する。つまり、マルチスペクトル画像は、複数の異なる波長帯にそれぞれ画素値のヒストグラムを有する。パンシャープン処理では、複数の異なる波長帯を有するマルチスペクトル画像の同一位置に対応する各画素の輝度値に対して、それぞれ共通の係数を乗算する。そのため、パンシャープン処理後の画像は、画素値のヒストグラムの最大値と最小値との差が波長帯の画像信号毎に変化する。その結果、パンシャープン処理後の画像を表示装置に表示させた場合の色調と、パンシャープン処理前のマルチスペクトル画像を表示装置に表示させた場合の色調とは、異なる場合がある。パンシャープン処理後の画像の色調が、マルチスペクトル画像の色調と異なると、目視判読等において、適切な観察結果が得られない虞がある。【０００６】
本開示は、このような課題を解決するためになされたものであり、画像処理による色調の変化を抑制した画像変換装置、画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の第１の態様にかかる画像変換装置は、観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成するパンシャープン画像生成部に付随して使用される、画像変換装置であって、入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換するものである。【０００８】
本開示の第２の態様にかかる画像処理プログラムを格納した非一時的なコンピュータ可読媒体は、画像処理装置により行われる方法をコンピュータに行わせるためのプログラムを格納した非一時的なコンピュータ可読媒体であって、前記方法は、観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成するパンシャープン画像生成方法に付随して使用される、画像変換方法であって、入力された複数の画像が有する画素値分布の画素値域を、前記表示装置がそれぞれの色情報において有する色の階調の画素値域に合わせて線形変換するものである。【０００９】
本開示の第３の態様にかかる画像処理装置は、観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成するパンシャープン画像生成部と、入力された複数の画像を線形変換する画像変換装置と、を備える画像処理装置であって、前記画像変換装置は、入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換するものである。【００１０】
本開示の第４の態様にかかる画像処理方法は、観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成し、入力された複数の画像が有する画素値分布の画素値域を、前記表示装置がそれぞれの色情報において有する色の階調の画素値域に合わせて線形変換するものである。【００１１】
本開示の第５の態様にかかる画像処理プログラムを格納した非一時的なコンピュータ可読媒体は、画像処理装置により行われる方法をコンピュータに行わせるためのプログラムを格納した非一時的なコンピュータ可読媒体であって、前記方法は、観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成し、入力された複数の画像が有する画素値分布の画素値域を、前記表示装置がそれぞれの色情報において有する色の階調の画素値域に合わせて線形変換すること、を備えるものである。
【発明の効果】
【００１２】
本開示により、画像処理による色調の変化を抑制した画像変換装置、画像処理装置、画像処理方法、及び、画像処理プログラムを格納した非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態１にかかる画像処理システムのブロック図である。
【図２】実施の形態１にかかる画像処理システムのフローチャートである。
【図３】マルチスペクトル画像の具体例を説明するための模式図である。
【図４】マルチスペクトル画像をパンクロマチック画像の解像度に合わせてアップサンプリングした画像を説明するための模式図である。
【図５】実施の形態２にかかる画像処理システムのブロック図である。
【図６】実施の形態２にかかる画像処理システムのフローチャートである。
【発明を実施するための形態】
【００１４】
＜実施の形態１＞
以下、図面を参照して本開示の実施の形態１について説明する。図１は、実施の形態１にかかる画像処理システム１００の機能ブロック図である。なお、以下の説明及び図面において、複数の図面に共通する構成についてはそれぞれ共通の符号を付している。そのため、共通の符号を付した構成については適宜説明を省略する。
【００１５】
画像処理システム１００は、観察者が目視観察をするための表示装置に画像を提供する。画像処理システム１００は、低解像度のマルチスペクトル画像の入力と、高解像度のパンクロマチック画像の入力をそれぞれ受け付け、これらを合成して高解像度のマルチスペクトル画像であるパンシャープン画像を生成する。また、画像処理システム１００は、生成したパンシャープン画像を、表示装置８００に出力する。
【００１６】
画像処理システム１００は、入力部１１０、画像処理装置１２０及び出力部１３０を備えている。
【００１７】
入力部１１０は、外部からの画像信号を受け取ることができる。入力部１１０は、マルチスペクトル画像入力部１１１とパンクロマチック画像入力部１１２とを有している。マルチスペクトル画像入力部１１１は、２以上の色情報を有するマルチスペクトル画像を受け取ることができる。マルチスペクトル画像入力部１１１は、画像変換装置１２１に画像信号を出力する。また、パンクロマチック画像入力部１１２は、マルチスペクトル画像より解像度が高いパンクロマチック画像を受け取ることができる。パンクロマチック画像入力部１１２は、パンシャープン画像生成部１２２に画像信号を出力する。
【００１８】
尚、画像信号とは、例えば、人工衛星が撮影した画像を所定の画角に加工したものである。これらの画像は、実質的に同じ風景を含んだものである。マルチスペクトル画像は、複数の異なる色情報を有している。つまり、マルチスペクトル画像は、複数の異なる波長帯の輝度値を有している。この場合の色情報又は光の波長帯とは、可視光に限らず、赤外線等の可視光ではない光も含む。尚、画像信号は、これに限らず、２以上の色情報を有するマルチスペクトル画像及びマルチスペクトル画像より解像度が高いパンクロマチック画像であればよい。
【００１９】
画像処理装置１２０は、観察者が目視観察をするための表示装置８００に表示する画像を生成する。画像処理装置１２０は、入力部１１０から受け取った画像信号を処理して出力部１３０に出力する。画像処理装置１２０は、画像変換装置１２１及びパンシャープン画像生成部１２２を有している。
【００２０】
画像変換装置１２１は、マルチスペクトル画像入力部１１１が出力した画像信号を受け取る。画像変換装置１２１は、受け取ったマルチスペクトル画像にかかる画像信号に対して、色調の線形変換を行う。画像信号に対する色調の線形変換とは、マルチスペクトル画像のそれぞれについて、各画素の画素値分布を線形変換する処理である。各画素の画素値分布を線形変換するに際し、画像変換装置１２１は、表示装置８００が有する各波長帯の階調の最大値と最小値に対応させた係数を予め決定しておく。そして、画像変換装置１２１は、マルチスペクトル画像入力部１１１から受け取った画像信号に対して、予め決定しておいた係数を乗算又は加算する。画像変換装置１２１は、処理を施した画像信号をパンシャープン画像生成部１２２に出力する。
【００２１】
尚、各画素の画素値分布は、画素値のヒストグラムとも称され得る。その場合、画像変換装置１２１は、マルチスペクトル画像にかかる画素値のヒストグラムを伸張又は圧縮するということもできる。
【００２２】
また、画素値とは、画像信号のうち、色情報と、当該色の輝度値を含んだ値をいう。本実施の形態１に示す例において、マルチスペクトル画像は、複数の異なる波長帯毎に構成されている。つまり、マルチスペクトル画像は、複数の異なる色情報をそれぞれ有する画像信号により構成されている。そのため、任意のマルチスペクトル画像における画素値とは、任意の波長帯を有する画像における輝度値ということもできる。
【００２３】
上述した係数は、画像変換装置１２１により変換された複数の画像においてそれぞれ対応する画素位置の画素値の比率と、マルチスペクトル画像を表示装置８００に表示させた場合のそれぞれ対応する画素位置の画素値の比率と、が同じになるように設定されている。換言すると、画像変換装置１２１により変換された複数の画像の同一位置に対応する画素値の比率と、マルチスペクトル画像を表示装置８００に表示させた場合の同一位置に対応する画素値の比率とは同じになるように設定されている。
【００２４】
パンシャープン画像生成部１２２は、画像変換装置１２１から色調の線形変換が行われたマルチスペクトル画像の画像信号を受け取る。また、パンシャープン画像生成部１２２は、パンクロマチック画像入力部１１２からパンクロマチック画像の画像信号を受け取る。パンシャープン画像生成部１２２は、これらの画像信号を用いてパンシャープン処理を行い、パンシャープン画像を生成する。パンシャープン画像生成部１２２は、生成したパンシャープン画像を出力部１３０に出力する。
【００２５】
パンシャープン画像生成部１２２が行うパンシャープン処理は従来技術であり、ここで詳細を述べることは省略するが、概要は以下の通りである。まず、パンシャープン画像生成部１２２は、マルチスペクトル画像をそれぞれパンクロマチック画像の解像度に合わせてアップサンプリングする。そして、パンシャープン画像生成部１２２は、アップサンプリングしたマルチスペクトル画像に対して、パンクロマチック画像の輝度値から決定した係数を、それぞれ対応する位置の画素に乗算する。こうすることにより、マルチスペクトル画像に、解像度が高いパンクロマチック画像を合成したパンシャープン画像が複数の異なる波長帯毎に生成される。尚、ここで行われるパンシャープン処理を、モジュレーション型のパンシャープン処理と称することもある。
【００２６】
尚、表示装置８００は、例えば、液晶表示パネルや有機エレクトロルミネッセンス又はＯＬＥＤ（organic light emitting diode）を備える表示装置である。例えば、表示装置８００は、波長帯毎の入力部を備える。波長帯毎の入力部は、例えば赤、緑、青の３つの色に対応した波長帯毎の入力部である。また、各波長帯の表示信号の階調は予め設定されたビット数で設定され得る。色の階調の一例は、８ビットである。色の階調が８ビットで設定されていた場合、表示装置８００は、各波長帯に対して最大で２５６階調の表示を行い得る。尚、ここで挙げた例はあくまで一例である。
【００２７】
以上に説明した画像変換装置１２１は、パンシャープン画像生成部１２２に付随して使用されるものである。しかし、画像変換装置１２１は、パンシャープン画像生成部１２２と一体となっている必要はなく、別個の独立した装置であってもよい。また、画像処理装置１２０は、上述した機能を有する単体の装置であってもよく、複数の装置を組み合わせることにより実現されても良い。また、画像処理装置１２０の各構成要素は、有線又は無線通信など任意の通信手段によって通信可能に接続され得る。
【００２８】
画像処理装置１２０は、メモリに格納されたプログラムをプロセッサが実行することによって動作するコンピュータ装置など、様々な形態の装置として実現されてもよい。プロセッサは、例えば、マイクロプロセッサ、ＭＰＵ（Micro Processing Unit）、もしくはＣＰＵ（Central Processing Unit）である。メモリは、揮発性メモリ又は不揮発性メモリであって、揮発性メモリ及び不揮発性メモリの組み合わせによって構成されてもよい。プロセッサは、以降の図面を用いて説明される処理をコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
【００２９】
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュメモリ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００３０】
次に、図２を参照しながら画像処理システム１００の処理について説明する。図２は、実施の形態１にかかる画像処理システム１００のフローチャートである。
【００３１】
まず、入力部１１０は、外部からマルチスペクトル画像の画像信号と、マルチスペクトル画像よりも高解像度のパンクロマチック画像の画像信号を受け取る（ステップＳ１０）。入力部１１０は、受け取った画像信号を画像処理装置１２０に出力する。
【００３２】
次に、画像変換装置１２１は、マルチスペクトル画像入力部１１１が出力した画像信号を受け取り、色調の線形変換を行う（ステップＳ１１）。マルチスペクトル画像の画素値は、式（１）により線形変換される。
【数１】
2019026408.tif 000003
【００３３】
式（１）において、ｈは、画像変換装置１２１が有する変換関数である。ｘ（Ｉ）は、画像Ｉ上の任意の画素の画素値である。また、ｋ１は、線形変換後の最小画素値であり、ｋ２は、線形変換後の最大画素値である。δ１は、線形変換前の最小画素値であり、δ２は、線形変換前の最大画素値である。画像変換装置１２１は、関数ｈを用いて、画像Ｉ上の任意の画素値ｘ（Ｉ）を変換する。
【００３４】
尚、画像Ｉの画素値の集合は、最小画素値δ１と、最大画素値δ２とを用いて、画素値域［δ１，δ２］と表すことができる。同様に、線形変換後の画素値域は［ｋ１，ｋ２］と表すことができる。
【００３５】
式（１）において、線形変換後の画素値域［ｋ１，ｋ２］は、表示装置８００が有する色の階調の最小値及び最大値であってもよい。その場合、線形変換後の画素値域［ｋ１，ｋ２］は［０，２５５］となる。また、線形変換後の画素値域［ｋ１，ｋ２］は、任意の値であってもよいが、表示装置８００が有する色の階調の最小値及び最大値に近い値であるほうが好ましい。さらに、線形変換後の画素値域［ｋ１，ｋ２］は、パンシャープン処理の後の処理によって生じる変化を加味して、設定され得る。例えば、パンシャープン処理の後の処理によって、線形変換後の画素値域が大きくなることがある。そこで、処理を行った画素値域が表示装置８００の有する色のダイナミックレンジを超えないように、画素値域［ｋ１，ｋ２］を設定することもできる。
【００３６】
以下に、画像変換装置１２１が行う線形変換について具体例を参照しながら説明する。図３は、マルチスペクトル画像の具体例を説明するための模式図である。図３に示すように、マルチスペクトル画像Ｍｂの、ｉ行ｊ列に位置する画素の画素値は、ｘｉｊ（Ｍｂ）と表される。
【００３７】
尚、マルチスペクトル画像Ｍｂは、マルチスペクトル画像のうち、ｂ番目の画像信号であることを示している。つまり、例えばマルチスペクトル画像が３つの波長帯に基づく画像信号を有する場合、マルチスペクトル画像はＭ１、Ｍ２、Ｍ３を有する。また、画素値ｘｉｊ（Ｍｂ）の最小値は、ｘｍｉｎ（Ｍｂ）であり、最大値は、ｘｍａｘ（Ｍｂ）と表される。マルチスペクトル画像Ｍｂの画素値の集合である画素値域は、［ｘｍｉｎ（Ｍｂ），ｘｍａｘ（Ｍｂ）］と表される。
【００３８】
図３の例において、画像変換装置１２１は、画素値ｘｉｊ（Ｍｂ）を以下のように線形変換する。
【数２】
2019026408.tif 000004
【００３９】
式（２）において、Ｒｂは、線形変換後のマルチスペクトル画像を表す。つまり、式（２）において、ｘｉｊ（Ｒｂ）は、線形変換後のマルチスペクトル画像Ｒｂの、ｉ行ｊ列に位置する画素の画素値である。
【００４０】
式（２）に示すように、関数ｈは、表示装置８００の色の階調の最小値ｋ１及び表示装置８００の色の階調の最大値ｋ２を含んでいる。また、関数ｈは、マルチスペクトル画像Ｍｂの最小画素値ｘｍｉｎ（Ｍｂ）及びマルチスペクトル画像Ｍｂの最大画素値ｘｍａｘ（Ｍｂ）を含んでいる。画像変換装置１２１は、線形変換を行うことにより、マルチスペクトル画像Ｍｂの画素値域［ｘｍｉｎ（Ｍｂ），ｘｍａｘ（Ｍｂ）］を画素値域［ｋ１，ｋ２］に揃えている。つまり、マルチスペクトル画像がＭ１、Ｍ２、Ｍ３を有する場合、画像変換装置１２１により変換された複数の画像（Ｒ１、Ｒ２、Ｒ３）のそれぞれ対応する線形変換後の画素値の比率は、ｘｉｊ（Ｒ１）：ｘｉｊ（Ｒ２）：ｘｉｊ（Ｒ３）である。また、マルチスペクトル画像を表示装置８００に表示させた場合のそれぞれ対応する画素位置の画素値の比率は、ｘｉｊ（Ｍ１）：ｘｉｊ（Ｍ２）：ｘｉｊ（Ｍ３）である。式（２）は、ｘｉｊ（Ｒ１）：ｘｉｊ（Ｒ２）：ｘｉｊ（Ｒ３）と、ｘｉｊ（Ｍ１）：ｘｉｊ（Ｍ２）：ｘｉｊ（Ｍ３）とが同じになるように設定されている。尚、ここでいう、同じになるように設定されている、とは、本実施の形態において開示する目的の範囲において、実施的に同じという意味である。
【００４１】
以上に説明したマルチスペクトル画像の線形変換が完了すると、画像変換装置１２１は、画像信号をパンシャープン画像生成部１２２に出力する。
【００４２】
図２に戻り説明を続ける。画像変換装置１２１による線形変換（ステップＳ１１）が完了すると、パンシャープン画像生成部１２２は、パンシャープン画像を生成する（ステップＳ１２）。
【００４３】
以下に、パンシャープン画像を生成する処理について詳細を説明する。まず、パンシャープン画像を生成するに際し、パンシャープン画像生成部１２２は、画像変換装置１２１から受け取った線形変換後のマルチスペクトル画像Ｒｂをアップサンプリングする。
【００４４】
図４は、マルチスペクトル画像をパンクロマチック画像の解像度に合わせてアップサンプリングした画像を説明するための模式図である。アップサンプリングされたマルチスペクトル画像Ｒｂは、Ｕ（Ｒｂ）と表される。図４に示すアップサンプリング画像Ｕ（Ｒｂ）において、マルチスペクトル画像Ｒｂのｉ行ｊ列の画素に相当する領域は、パンクロマチック画像の解像度に合わせて分割されている。マルチスペクトル画像Ｒｂのｉ行ｊ列の画素に相当する領域内におけるｍ行ｎ列の画素値は、ｙｍｎｉｊ（Ｕ（Ｒｂ））と表わされる。画素値ｙｍｎｉｊ（Ｕ（Ｒｂ））は式（３）により算出される。
【数３】
2019026408.tif 000005
【００４５】
式（３）において、ＣＰ（Ｒｂ）は、ピクセル方向のアップサンプリング前後の画素数の比である。ＣＰ（Ｒｂ）は、例えば、（（アップサンプリング画像Ｕ（Ｒｂ）のピクセル方向総画素数）／（アップサンプリング前のマルチスペクトル画像Ｒｂのピクセル方向総画素数））により算出される。同様に、ＣＬ（Ｒｂ）は、ライン方向のアップサンプリング前後の画素数の比である。ＣＬ（Ｒｂ）は、例えば、（（アップサンプリング画像Ｕ（Ｒｂ）のライン方向総画素数）／（アップサンプリング前のマルチスペクトル画像Ｒｂのライン方向総画素数））により算出される。
【００４６】
次に、パンシャープン画像生成部１２２は、アップサンプリング画像Ｕ（Ｒｂ）の画素ごとにパンクロマチック画像の輝度値から係数μｍｎｉｊを決定する。そして、パンシャープン画像生成部１２２は、パンクロマチック画像の各画素位置に対応するアップサンプリング画像Ｕ（Ｒｂ）の各画素に対して係数μｍｎｉｊを乗算する。このようにして、パンシャープン画像生成部１２２は、パンシャープン画像Ｓｂを生成する。パンシャープン画像Ｓｂの画素値ｙｍｎｉｊ（Ｓｂ）は式（４）によって与えられる。
【数４】
2019026408.tif 000006
【００４７】
以上に説明したパンシャープン画像生成部１２２が行うパンシャープン処理は、モジュレーション型のパンシャープン処理と称される。モジュレーション型のパンシャープン処理は、マルチスペクトル画像のうち、同じ位置に対応する画素の画素値に対して、共通の係数を乗算する。例えば、マルチスペクトル画像が３つの波長帯に基づく画像信号を有している場合、複数のアップサンプリング画像の対応する画素の画素値ｙｍｎｉｊ（Ｕ（Ｒ１））、ｙｍｎｉｊ（Ｕ（Ｒ２））、ｙｍｎｉｊ（Ｕ（Ｒ３））に対してそれぞれ係数μｍｎｉｊが乗算される。以上のように、パンシャープン画像生成部は、式４に示す画素値を有するパンシャープン画像を生成する処理を行う。
【００４８】
図２に戻り説明を続ける。パンシャープン画像生成部１２２によるパンシャープン画像Ｓｂの生成（ステップＳ１２）が完了すると、パンシャープン画像生成部１２２は、パンシャープン画像を出力部１３０に出力する。
【００４９】
次に、出力部１３０は、画像処理システム１００に接続されている表示装置８００にパンシャープン画像Ｓｂを出力する（ステップＳ１３）。出力部１３０が、パンシャープン画像Ｓｂを出力すると、画像処理システム１００の処理は終了する。
【００５０】
続いて、マルチスペクトル画像Ｍｂの画素値と、画像処理システム１００が表示装置８００に出力したパンシャープン画像Ｓｂの画素値との関係について詳細を説明する。
【００５１】
線形変換後のマルチスペクトル画像Ｒｂの画素値のダイナミックレンジと、アップサンプリング画像Ｒｂの画素値のダイナミックレンジとは、実質的に変化しない。したがって、画像変換装置１２１が行う線形変換と、パンシャープン画像生成部１２２が行うアップサンプリング処理とは、処理順序を入れ替えても処理結果に対して有意な影響を及ぼさない。そのため、式（５）が成立し得る。
【数５】
2019026408.tif 000007
【００５２】
式（５）において、ｈ´はアップサンプリング画像に対する線形変換関数である。式（４）に式（５）を当てはめることにより、式（６）が成立する。
【数６】
2019026408.tif 000008
【００５３】
パンシャープン画像Ｓｂの画素値域は、表示装置８００の有する色のダイナミックレンジに実質的に等しくなるように設定され得る。例えば、表示装置８００の有する色の階調が８ビットの場合、パンシャープン画像Ｓｂの画素値域［ｘｍｉｎ（Ｓｂ），ｘｍａｘ（Ｓｂ）］は、式（７）のように近似することができる。
【数７】
2019026408.tif 000009
【００５４】
式（７）の近似を用いると、表示装置８００において行われる処理は、式（８）となる。式（８）によれば、パンシャープン画像Ｓｂの画素値と、パンシャープン画像Ｓｂを表示装置８００に表示させた時の画素値は変化しない。
【数８】
2019026408.tif 000010
【００５５】
式（６）及び式（８）を加味したうえで、パンシャープン画像の任意の画素における同一位置に対応する画素の画素値の比は、式（９）によって表される。
【数９】
2019026408.tif 000011
【００５６】
式（９）において、ｂｔは、複数の異なる波長帯の内のｂｔ番目であることを示している。同様に、ｂｓは、複数の異なる波長帯の内のｂｓ番目であることを示している。式（９）において、第１項は、パンシャープン処理後の画像を表示装置８００に表示させた場合の任意の画素の画素値の比率を示している。第２項は、パンシャープン処理後の画像の画素値の比率を示している。第３項は、アップサンプリングされたマルチスペクトル画像を表示装置８００に表示させた場合の画像の画素値の比率を示している。そして、第４項は、マルチスペクトル画像を表示装置８００に表示させた場合の画像の画素値の比率を示している。したがって、式（９）は、２つの異なる波長帯の画像信号間においてパンシャープン処理後の任意の画素の画素値の比率と、マルチスペクトル画像を表示装置８００に表示させた場合の任意の画素の画素値の比率とが、同じになるように設定されている。また、式（９）は、パンシャープン処理後画像を表示装置８００に表示させた場合の任意の画素の画素値の比率と、マルチスペクトル画像を表示装置８００に表示させた場合の任意の画素の画素値の比率とが、同じになるように設定されている。
【００５７】
以上の構成により、実施の形態１にかかる画像処理システム１００は、入力されたマルチスペクトル画像をそのまま表示装置８００に表示させた場合の色調と、パンシャープン画像を表示装置８００に表示させた場合の色調の差を低減することができる。そのため、実施の形態１は、画像処理による色調の変化を抑制した画像処理装置、画像処理方法、及び、画像処理プログラムを提供することができる。
【００５８】
＜実施の形態２＞
次に、図５及び図６を参照しながら実施の形態２について説明する。実施の形態２にかかる画像処理システム２００は、画像処理装置２２０の有する機能が、実施の形態１にかかる画像処理システム１００とは異なる。
【００５９】
図５は、実施の形態２にかかる画像処理システム２００のブロック図である。画像処理システム２００は、画像処理システム１００が有している画像処理装置１２０に代えて、画像処理装置２２０を有している。
【００６０】
画像処理装置２２０は、入力部１１０から受け取った画像信号を処理して出力部１３０に出力する。画像処理装置２２０は、画像変換装置２２１及びパンシャープン画像生成部２２２を有している。
【００６１】
パンシャープン画像生成部２２２は、マルチスペクトル画像入力部１１１が出力したマルチスペクトル画像と、パンクロマチック画像入力部１１２が出力したパンクロマチック画像をそれぞれ受け取る。パンシャープン画像生成部２２２は、受け取ったマルチスペクトル画像と、パンクロマチック画像とから、パンシャープン画像を生成する。パンシャープン画像生成部２２２は、生成したパンシャープン画像を、画像変換装置２２１に出力する。
【００６２】
画像変換装置２２１は、パンシャープン画像生成部２２２から受け取ったパンシャープン画像に対してヒストグラム調整を行う。画像変換装置２２１は、色調の変換処理を施した画像信号を出力部１３０に出力する。
【００６３】
次に、図６を参照しながら、画像処理システム２００の処理について説明する。図６は、実施の形態２にかかる画像処理システム２００のフローチャートである。実施の形態２にかかる画像処理システム２００の処理は、ステップＳ１０とステップＳ１３との間の処理が実施の形態１にかかる画像処理システム１００の処理と異なる。
【００６４】
ステップＳ１０に続き、パンシャープン画像生成部２２２は、マルチスペクトル画像入力部１１１が出力したマルチスペクトル画像と、パンクロマチック画像入力部１１２が出力したパンクロマチック画像とから、パンシャープン画像を生成する（ステップＳ２１）。
【００６５】
パンシャープン画像生成部２２２の処理について具体的に詳細を説明する。パンシャープン画像生成部２２２は、まず、マルチスペクトル画像Ｍｂのアップサンプリング画像Ｕ（Ｍｂ）を生成する。続いて、パンシャープン画像生成部２２２は、アップサンプリング画像Ｕ（Ｍｂ）とパンクロマチック画像とから、パンシャープン画像Ｑｂを生成する。パンシャープン画像生成部２２２が生成するパンシャープン画像Ｑｂの画素値ｙｍｎｉｊ（Ｑｂ）は式（１０）によって与えられる。
【数１０】
2019026408.tif 000012
【００６６】
パンシャープン画像生成部２２２は、生成したパンシャープン画像Ｑｂを、画像変換装置２２１に出力する。
【００６７】
次に、画像変換装置２２１は、パンシャープン画像Ｑｂを受け取り、パンシャープン画像Ｑｂに対して色調の変換を行う（ステップＳ２２）。画像変換装置２２１が行う処理には、実施の形態１において示した式（６）を利用する。以下に、式（６）を再び示す。
【数６】
2019026408.tif 000013
【００６８】
パンクロマチック画像の輝度値から決定される係数μｍｎｉｊが、式（４）の係数μｍｎｉｊと同じ値である場合、式（６）に式（１０）を当てはめることができる。その結果、式（１１）が成立する。
【数１１】
2019026408.tif 000014
【００６９】
式（１１）において、ｈ”は、画像変換装置２２１が有する変換関数である。変換関数ｈ”の構成要素は、表示装置８００の色の階調の最小値ｋ１及び表示装置８００の色の階調の最大値ｋ２を含んでいる。また、変換関数ｈ”の構成要素は、マルチスペクトル画像Ｍｂの最小画素値ｘｍｉｎ（Ｍｂ）及びマルチスペクトル画像Ｍｂの最大画素値ｘｍａｘ（Ｍｂ）も含んでいる。式（１１）は、画像変換装置２２１により変換された複数の画像の同一位置に対応するカラーバンド間の画素値の比率と、マルチスペクトル画像を表示装置８００に表示させた場合のカラーバンド間の同一位置に対応する画素値の比率とが同じになるように設定されている。
【００７０】
画像変換装置２２１は、上述の変換処理を施した画像信号を出力部１３０に出力する。出力部１３０は、受け取った画像信号を、表示装置８００に出力する（ステップＳ１３）。
【００７１】
以上の構成により、実施の形態２にかかる画像処理システム２００は、パンシャープン処理の後に、画像変換装置２２１を設けることができる。これにより、画像処理システム２００は、入力されたマルチスペクトル画像をそのまま表示装置８００に表示させた場合の色調と、パンシャープン画像を表示装置８００に表示させた場合の色調の差を低減することができる。そのため、実施の形態２は、画像処理による色調の変化を抑制した画像処理装置、画像処理方法、及び、画像処理プログラムを提供することができる。
【００７２】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００７３】
この出願は、２０１７年８月２日に出願された日本出願特願２０１７−１４９７１６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【００７４】
例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報をそれぞれ有するパンシャープン画像を生成するパンシャープン画像生成部に付随し、
入力された画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像変換装置。
（付記２）
前記画像変換装置により変換された画像においてそれぞれ対応する画素位置の画素値の比率と、
前記マルチスペクトル画像を前記表示装置に表示させた場合のそれぞれ対応する画素位置の画素値の比率と、が同じである、
付記１に記載の画像変換装置。
（付記３）
前記表示装置が有する前記色の階調の画素値域は、前記表示装置が有する前記色の階調のダイナミックレンジと等しい、
付記１に記載の画像変換装置。
（付記４）
前記画像変換装置は、前記マルチスペクトル画像を線形変換し、線形変換した後の画像を、前記パンシャープン画像生成部に出力する、
付記１又は２に記載の画像変換装置。
（付記５）
前記画像変換装置は、前記パンシャープン画像生成部から受け取った前記パンシャープン画像を線形変換する、
付記１又は２に記載の画像変換装置。
（付記６）
画像処理装置により行われる方法をコンピュータに行わせるためのプログラムであって、
前記方法は、観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報をそれぞれ有するパンシャープン画像を生成するパンシャープン画像生成方法に付随して使用される、画像変換方法であって、
入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像処理プログラム。
（付記７）
観察者が目視観察をするための表示装置に画像を提供するために、
複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報をそれぞれ有するパンシャープン画像を生成するパンシャープン画像生成部と、
入力された複数の画像を線形変換する画像変換装置と、
を備える画像処理装置であって、
前記画像変換装置は、入力された画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像処理装置。
（付記８）
前記画像変換装置により変換された画像においてそれぞれ対応する画素位置の画素値の比率と、
前記マルチスペクトル画像を前記表示装置に表示させた場合のそれぞれ対応する画素位置の画素値の比率と、が同じである、
付記７に記載の画像処理装置。
（付記９）
前記パンシャープン画像を前記表示装置に表示させた場合の任意の画素の画素値の比率と、
前記マルチスペクトル画像を前記表示装置に表示させた場合の任意の画素の画素値の比率と、が同じである、
付記７に記載の画像処理装置。
（付記１０）
前記表示装置が有する前記色の階調の画素値域は、前記表示装置が有する前記色の階調のダイナミックレンジと等しい、
付記７に記載の画像処理装置。
（付記１１）
前記画像変換装置は、前記マルチスペクトル画像を線形変換し、線形変換した後の画像を、前記パンシャープン画像生成部に出力し、
前記パンシャープン画像生成部は、前記画像変換装置から受け取った前記線形変換した後の画像に、前記パンクロマチック画像を合成する、
付記７〜９のいずれか一項に記載の画像処理装置。
（付記１２）
前記画像変換装置は、前記パンシャープン画像生成部から受け取った前記パンシャープン画像を線形変換する、
付記７〜９のいずれか一項に記載の画像処理装置。
（付記１３）
観察者が目視観察をするための表示装置に画像を提供するために、
複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成し、
入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像処理方法。
（付記１４）
画像処理装置により行われる方法をコンピュータに行わせるためのプログラムを格納した非一時的なコンピュータ可読媒体であって、
前記方法は、
観察者が目視観察をするための表示装置に画像を提供するために、
複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成し、
入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換すること、を備える
画像処理プログラムを格納した非一時的なコンピュータ可読媒体。
【符号の説明】
【００７５】
１００、２００  画像処理システム
１１０  入力部
１１１  マルチスペクトル画像入力部
１１２  パンクロマチック画像入力部
１２０、２２０  画像処理装置
１２１、２２１  画像変換装置
１２２、２２２  パンシャープン画像生成部
１３０  出力部
８００  表示装置
【図１】
2019026408.tif 000015
【図２】
2019026408.tif 000016
【図３】
2019026408.tif 000017
【図４】
2019026408.tif 000018
【図５】
2019026408.tif 000019
【図６】
2019026408.tif 000020
【手続補正書】
【提出日】令和2年1月23日(2020.1.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報をそれぞれ有するパンシャープン画像を生成するパンシャープン画像生成部に付随し、
入力された画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像変換装置。
【請求項２】
前記画像変換装置により変換された画像においてそれぞれ対応する画素位置の画素値の比率と、
前記マルチスペクトル画像を前記表示装置に表示させた場合のそれぞれ対応する画素位置の画素値の比率と、が同じである、
請求項１に記載の画像変換装置。
【請求項３】
前記表示装置が有する前記色の階調の画素値域は、前記表示装置が有する前記色の階調のダイナミックレンジと等しい、
請求項１に記載の画像変換装置。
【請求項４】
前記画像変換装置は、前記マルチスペクトル画像を線形変換し、線形変換した後の画像を、前記パンシャープン画像生成部に出力する、
請求項１又は２に記載の画像変換装置。
【請求項５】
前記画像変換装置は、前記パンシャープン画像生成部から受け取った前記パンシャープン画像を線形変換する、
請求項１又は２に記載の画像変換装置。
【請求項６】
画像処理装置により行われる方法をコンピュータに行わせるためのプログラムであって、
前記方法は、観察者が目視観察をするための表示装置に画像を提供するために、複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報をそれぞれ有するパンシャープン画像を生成するパンシャープン画像生成方法に付随して使用される、画像変換方法であって、
入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像処理プログラム。
【請求項７】
観察者が目視観察をするための表示装置に画像を提供するために、
複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報をそれぞれ有するパンシャープン画像を生成するパンシャープン画像生成部と、
入力された複数の画像を線形変換する画像変換装置と、
を備える画像処理装置であって、
前記画像変換装置は、入力された画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像処理装置。
【請求項８】
前記画像変換装置により変換された画像においてそれぞれ対応する画素位置の画素値の比率と、
前記マルチスペクトル画像を前記表示装置に表示させた場合のそれぞれ対応する画素位置の画素値の比率と、が同じである、
請求項７に記載の画像処理装置。
【請求項９】
前記パンシャープン画像を前記表示装置に表示させた場合の任意の画素の画素値の比率と、
前記マルチスペクトル画像を前記表示装置に表示させた場合の任意の画素の画素値の比率と、が同じである、
請求項７に記載の画像処理装置。
【請求項１０】
前記表示装置が有する前記色の階調の画素値域は、前記表示装置が有する前記色の階調のダイナミックレンジと等しい、
請求項７に記載の画像処理装置。
【請求項１１】
前記画像変換装置は、前記マルチスペクトル画像を線形変換し、線形変換した後の画像を、前記パンシャープン画像生成部に出力し、
前記パンシャープン画像生成部は、前記画像変換装置から受け取った前記線形変換した後の画像に、前記パンクロマチック画像を合成する、
請求項７〜９のいずれか一項に記載の画像処理装置。
【請求項１２】
前記画像変換装置は、前記パンシャープン画像生成部から受け取った前記パンシャープン画像を線形変換する、
請求項７〜９のいずれか一項に記載の画像処理装置。
【請求項１３】
観察者が目視観察をするための表示装置に画像を提供するために、
複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成し、
入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換する、
画像処理方法。
【請求項１４】
画像処理装置により行われる方法をコンピュータに行わせるためのプログラムであって、
前記方法は、
観察者が目視観察をするための表示装置に画像を提供するために、
複数の異なる色情報を有するマルチスペクトル画像に、前記マルチスペクトル画像より解像度が高いパンクロマチック画像を合成して、複数の異なる色情報を有するパンシャープン画像を生成し、
入力された複数の画像がそれぞれの色情報において有する画素値分布の画素値域を、前記表示装置が有する色の階調の画素値域に合わせて線形変換すること、を備える
画像処理プログラム。
【国際調査報告】
2019026408.tif 000021
2019026408.tif 000022