(57)【要約】  トーンマッピング処理が施された適切な階調を有するパンシャープン画像を効率的に生成する。画像処理装置は、１以上の色情報を有する第１の画像の階調を変換することにより第１の階調変換画像を生成する階調調整画像生成部を備える。また、画像処理装置は、上記第１の画像と、上記第１の画像より解像度が高い第２の画像と、に基づいて生成された、上記第２の画像の階調に関する特徴情報と、上記第１の階調変換画像の階調とを用いて、上記第１の画像を調整することにより、１以上の色情報を有し、少なくとも上記第１の画像よりも解像度が高い画像である合成画像を生成する合成画像生成手段を備える。
2017038090.tif 000002
【特許請求の範囲】
【請求項１】
１以上の色情報を有する第１の画像の階調を変換することにより第１の階調変換画像を生成する階調調整画像生成手段と、  前記第１の画像と、前記第１の画像より解像度が高い第２の画像と、に基づいて生成された、前記第２の画像の階調に関する特徴情報と、前記第１の階調変換画像の階調とを用いて、前記第１の画像を調整することにより、１以上の色情報を有し、少なくとも前記第１の画像よりも解像度が高い画像である合成画像を生成する合成画像生成手段と、を備える画像処理装置。
【請求項２】
前記合成画像生成手段は、前記第２の画像の階調を前記第１の画像の階調の範囲に合せて変換した第２の階調変換画像に基づいて生成された前記特徴情報と、前記第１の階調変換画像の階調と、を用いて、前記第１の画像を調整することにより、前記合成画像を生成する請求項１に記載の画像処理装置。
【請求項３】
階調調整画像生成手段は、前記第１の画像をトーンマッピング処理することにより、前記第１の画像の階調を特定の階調の範囲に圧縮し、階調が圧縮された前記第１の画像を前記第２の画像の解像度に変換することにより、前記第１の階調変換画像を生成する請求項２に記載の画像処理装置。
【請求項４】
前記合成画像生成手段は、前記トーンマッピング処理が実行されていない前記第１の画像の解像度を前記第２の画像の解像度に変換し、  前記第２の画像の階調に関する前記特徴情報と、前記第１の階調変換画像の階調とを用いて、当該解像度が変換された前記第１の画像の階調を調整することにより、前記合成画像を生成する請求項３に記載の画像処理装置。
【請求項５】
前記第１及び第２の画像の階調を抽出し、前記第２の画像の階調を前記第１の画像の階調の範囲に合せて変換することにより、前記第２の階調変換画像を生成し、生成した前記第２の階調変換画像における局所的な階調の変化の程度を前記特徴情報として抽出する特徴情報生成手段を更に備え、  前記合成画像生成手段は、前記特徴情報生成手段が生成した前記特徴情報を用いて、前記合成画像を生成する請求項４に記載の画像処理装置。
【請求項６】
前記特徴情報生成手段は、前記第２の階調変換画像に含まれる画素毎に、当該画素を含む複数の画素の階調に基づいて算出した大域的な特徴量と、当該画素の階調と、に基づいて、当該画素に関する局所的な特徴量である前記特徴情報を生成する請求項５に記載の画像処理装置。
【請求項７】
前記特徴情報生成手段は、前記第２の階調変換画像に含まれる画素毎に、前記第２の階調変換画像を平滑化することにより算出した大域的な特徴量と、当該画素の階調とに基づいて、当該画素に関する局所的な特徴量である前記特徴情報を生成する請求項５に記載の画像処理装置。
【請求項８】
前記特徴情報生成手段は、前記第２の階調変換画像に含まれる画素の階調を、前記第２の階調変換画像における輝度の大域的な特徴を表す大域的特徴量と、前記第２の階調変換画像における輝度の局所的な特徴量を表す局所的特徴量とに分解し、当該画素の輝度と、前記大域的特徴量とに基づいて、前記局所的特徴量を前記特徴情報として算出する請求項５に記載の画像処理装置。
【請求項９】
前記合成画像生成手段は、前記第２の階調変換画像に含まれる画素毎に算出された前記特徴情報と、前記第１の階調変換画像に含まれる画素毎の階調と、に基づいて算出した値を用いて、前記第１の画像を前記第２の画像の解像度に変換した画像に含まれる画素毎の階調を調整する請求項５乃至請求項８のいずれかに記載の画像処理装置。
【請求項１０】
前記合成画像生成手段は、前記第２の階調変換画像に含まれる画素毎に算出された前記特徴情報と、前記第１の階調変換画像に含まれる画素毎の階調とを乗算した値を用いて、前記第１の画像を前記第２の画像の解像度に変換した画像に含まれる画素毎の階調を置き換えることにより、前記合成画像を生成する請求項５乃至請求項８のいずれかに記載の画像処理装置。
【請求項１１】
１以上の色情報を有する第１の画像に含まれる画素の階調を変換することにより第１の階調変換画像を生成し、  前記第１の画像と、前記第１の画像より解像度が高い第２の画像と、に基づいて生成された、前記第２の画像の階調に関する特徴情報と、前記第１の階調変換画像及び前記第１の画像と、を用いて、１以上の色情報を有し、少なくとも前記第１の画像よりも解像度が高い画像である合成画像を生成する画像処理方法。
【請求項１２】
１以上の色情報を有する第１の画像に含まれる画素の階調を変換することにより第１の階調変換画像を生成する処理と、  前記第１の画像と、前記第１の画像より解像度が高い第２の画像と、に基づいて生成された、前記第２の画像の階調に関する特徴情報と、前記第１の階調変換画像及び前記第１の画像と、を用いて、１以上の色情報を有し、少なくとも前記第１の画像よりも解像度が高い画像である合成画像を生成する処理と、をコンピュータに実行させる画像処理プログラムが記憶された記録媒体。
【請求項１３】
請求項１乃至請求項１２のいずれかに記載の画像処理装置と、  マルチスペクトル画像と、前記マルチスペクトル画像よりも解像度が高いパンクロマチック画像を入力として受け付け、前記マルチスペクトル画像と前記第１の画像として前記画像処理装置に提供し、前記パンクロマチック画像を前記第２の画像として前記画像処理装置に提供する入力装置と、  前記画像処理装置により生成された前記合成画像を出力する出力装置と、を含む画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、解像度が異なる複数の画像データを用いて、高解像度の画像データを生成する技術に関する。
【背景技術】
【０００２】  高い解像度を有する画像と、低い解像度を有する画像とから、高解像度のマルチスペクトル画像を求める技術が知られている。例えば、高解像度画像（衛星画像等）に対する視認性を向上可能な技術として、高解像度の画像であるパンクロマチック画像と低解像度の画像であるマルチスペクトル画像とを用いて高解像度マルチスペクトル画像を作成する処理（パンシャープン処理）が知られている。【０００３】  また、一般に、高階調な画像データ（例えば、衛星画像等）を、低階調な表示系（例えば、グラフィックボード、ディスプレイ、プリンタ等）に出力する際、表示レンジが圧縮される。これに伴い、表示結果において階調情報が失われる場合がある。これに対して、予め、高階調の画像データにトーンマッピング処理を施してレンジ変換（例えばレンジ圧縮等）を行うことにより、表示結果の情報損失を軽減する技術が知られている。【０００４】  上記したパンシャープン処理、あるいは、トーンマッピング処理に関連する技術が、以下の特許文献に開示されている。【０００５】  特許文献１（国際公開第２０１５／０３７１８９号）は、パンシャープン処理により生成される画像におけるノイズ除去に関する技術を開示する。特許文献１に開示された技術は、高解像度画像を、低解像度画像に相当する解像度まで多重解像分解する。係る技術は、分解した画像を、低解像度画像を用いて補正することにより、ノイズを低減する。【０００６】  特許文献２（特開２０１４−１７４８１７号公報）は、互いに部分的に重複する複数の高階調画像をトーンマッピング処理する際に、各画像の輝度値の分布に基づいて、それぞれの画像の輝度補正に用いられる係数を決定する技術を開示する。【０００７】  特許文献３（特開２０１３−１０９７５９号公報）は、辞書学習を用いたパンシャープン処理に関する技術を開示する。特許文献３に開示された技術は、パンクロマチック画像とマルチスペクトル画像とから特徴量ベクトルを抽出し、当該特徴量ベクトルを、欠落値を有さないベクトルと、欠落値を有するベクトルとに分解する。特許文献３に開示された技術は、欠落値を有さないベクトルを用いて学習した辞書に基づいて、欠落値（高解像度画像における色情報）を予測する。【０００８】  特許文献４（特開２０１１−１００４２６号公報）は、衛星から撮像したパンクロマチック画像と、当該パンクロマチック画像に対して重ね合わせ可能に幾何変換したカラー（マルチスペクトル）画像とを用いて、パンシャープン処理を実行する技術を開示する。【０００９】  特許文献５（特開２０１５−０３３５８２号公報）は、Ｘ線コンピュータ断層撮像装置において、光子計数検出が検出した疎スペクトルデータと、エネルギー積分器が検出した密パンクロマティックデータとを用いてパンシャープン処理を実行する技術を開示する。【００１０】  特許文献６（米国特許第８７３７７３３号明細書）は、パンシャープン画像の色味を改善するため、パンクロマチック画像の輝度値と、マルチスペクトル画像の輝度値とが近い分布になるように、統計モデルを用いて変換する技術を開示する。【００１１】  また、非特許文献１は、高階調画像をベースレイヤとディテールレイヤに分解し、描写されたシ���ンに合わせてレンジ圧縮を行うことで、情報の損失を軽減する技術を開示する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】国際公開第２０１５／０３７１８９号
【特許文献２】特開２０１４−１７４８１７号公報
【特許文献３】特開２０１３−１０９７５９号公報
【特許文献４】特開２０１１−１００４２６号公報
【特許文献５】特開２０１５−０３３５８２号公報
【特許文献６】米国特許第８７３７７３３号明細書
【非特許文献】
【００１３】
【非特許文献１】Ｆ．  Ｄｕｒａｎｄ  ａｎｄ  Ｊ．  Ｄｏｒｓｅｙ，  ”Ｆａｓｔ  ｂｉｌａｔｅｒａｌ  ｆｉｌｔｅｒｉｎｇ  ｆｏｒ  ｔｈｅ  ｄｉｓｐｌａｙ  ｏｆ  ｈｉｇｈ−ｄｙｎａｍｉｃ−ｒａｎｇｅ  ｉｍａｇｅｓ”  ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ  （ＴＯＧ）．  Ｖｏｌ．  ２１，  Ｎｏ．  ３，  ｐｐ．  ２５７−２６６，  ２００２．
【発明の概要】
【発明が解決しようとする課題】
【００１４】  画像データにおける局所的な情報損失を低減するように、レンジ圧縮率を局所的に制御するトーンマッピング処理は、計算コストが高い。即ち、このような処理を高解像度であるパンクロマチック画像やパンシャープン画像に適用すると、処理負荷が高いという問題がある。また、トーンマッピング処理とパンシャープン処理とを実行する場合、元のマルチスペクトル画像あるいはパンクロマチック画像の階調（例えば輝度の階調）に基づいた、適切な階調を有する高解像度画像を生成することが求められる。上記各特許文献は、いずれもこのような課題を直接的に解決可能な技術ではない。【００１５】  本発明は、上記のような事情を鑑みてなされたものである。即ち、本発明は、解像度が異なる複数の画像を用いて、適切な階調を有する高解像度の画像を効率的に生成可能な技術を提供することを、主たる目的の一つとする。
【課題を解決するための手段】
【００１６】  上記の目的を達成すべく、本発明の一態様に係る画像処理装置は、以下の構成を備える。即ち、本発明の一態様に係る画像処理装置は、１以上の色情報を有する第１の画像の階調を変換することにより第１の階調変換画像を生成する階調調整画像生成部と、上記第１の画像と、上記第１の画像より解像度が高い第２の画像と、に基づいて生成された、上記第２の画像の階調に関する特徴情報と、上記第１の階調変換画像の階調とを用いて、上記第１の画像を調整することにより、１以上の色情報を有し、少なくとも上記第１の画像よりも解像度が高い画像である合成画像を生成する合成画像生成部と、を備える。【００１７】  また、本発明の一態様に係る画像処理方法は、１以上の色情報を有する第１の画像に含まれる画素の階調を変換することにより第１の階調変換画像を生成し、上記第１の画像と、上記第１の画像より解像度が高い第２の画像と、に基づいて生成された、上記第２の画像の階調に関する特徴情報と、上記第１の階調変換画像及び上記第１の画像と、を用いて、１以上の色情報を有し、少なくとも上記第１の画像よりも解像度が高い画像である合成画像を生成する。【００１８】  また、同目的は、上記構成を有する画像処理装置、あるいは、画像処理方法を、コンピュータによって実現するコンピュータ・プログラム、及び、そのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記録媒体等によっても達成される。
【発明の効果】
【００１９】  本発明によれば、解像度が異なる複数の画像を用いて、適切な階調を有する高解像度の画像を効率的に生成することが可能である。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の第１の実施形態における画像処理装置の機能的な構成を例示するブロック図である。
【図２】図２は、パンクロマチック画像と同じ解像度を有する画像を模式的に表す説明図である。
【図３】図３は、本発明の第１の実施形態における画像処理装置の動作の具体例を示すフローチャートである。
【図４】図４は、本発明の第２の実施形態に係る画像処理装置の機能的な構成を例示するブロック図である。
【図５】図５は、本発明の第２の実施形態の変形例に係る画像処理装置の機能的な構成を例示するブロック図である。
【図６】図６は、本発明の各実施形態における画像処理装置を実現可能なハードウェア装置の構成を例示する図面である。
【図７】図７は、トーンマッピング前後のマルチスペクトル画像の輝度、及び、パンクロマチック画像の輝度を正規化した場合の累積ヒストグラムの一例を、模式的に表す図である。
【発明を実施するための形態】
【００２１】  本発明の実施形態に関する説明に先立って、本発明に関する技術的な背景等についてより詳細に説明する。以下においては、画像データの例として、衛星から撮像した衛星画像データを用いて説明するが、本発明はこれには限定されない。
【００２２】  人間が画像（画像データ）を視認した結果に基づいて、画像に描写された対象の認識や分類を行う技術分野（例えば画像判読等）がある。係る技術分野においては、描写内容が物理的に正しい画像よりも、表示された際の視認性が高い画像を生成することが求められる場合がある。
【００２３】  例えば、画像における空間方向及び波長方向の視認性の向上（改善）を目的とした技術として、高解像度であるパンクロマチック画像と低解像度であるマルチスペクトル画像から高解像度マルチスペクトル画像を作成するパンシャープン処理がある。係るパンシャープン処理は、例えば、人工衛星において撮像された衛星画像の視認性を改善する処理として用いられる。
【００２４】  ここで、パンクロマチック画像は、例えば、空間解像度が高いものの、単色（モノクロ）で構成された画像データである。また、マルチスペクトル画像は、空間解像度がパンクロマチック画像に比べて低いものの、複数のスペクトル情報（例えば、可視光領域における色情報）を含む画像データである。パンクロマチック画像に撮像された内容と、マルチスペクトル画像に撮像された内容とは、同一か略同一であってもよい。また、一方の画像に撮像された内容と、他方の画像に撮像された内容との対応関係を判定可能であれば、それぞれの画像に撮像される内容は同一でなくてもよい。なお、これらの画像を撮像（あるいは生成）する方法（例えば、マルチスペクトルセンサ、及び、パンクロマチックセンサを用いた撮像等）としては、周知技術を採用可能である。
【００２５】  一方、画像における階調について考慮すると、画像データは、表示系（例えば、グラフィックボード、ディスプレイ、プリンタ等）が出力可能な階調よりも高い階調を有する場合がある。例えば、一般的に、人工衛星において撮像された衛星画像は、表示系が出力可能な階調よりも高い階調を有することが多い。係る高階調データを低階調の表示系に出力する際、表示レンジが圧縮される（階調が潰される）ことから、情報の損失が発生する。係る高階調データの表示に関連して、階調方向のレンジを変換（圧縮）することで、情報の損失を軽減するトーンマッピング処理が知られている。
【００２６】  しかしながら、一般的に局所的トーンマッピング（Ｌｏｃａｌ  Ｔｏｎｅ  Ｍａｐｐｉｎｇ）処理と称されるような、画像における局所毎に異なる処理を行うトーンマッピング処理は、計算コストが高い。係るトーンマッピング処理を、高解像度であるパンクロマチック画像やパンシャープン画像に適用すると、処理負荷が高い。
【００２７】  これに対して、例えば、低解像度であるマルチスペクトル画像にトーンマッピング処理を行ってから、パンシャープン処理を行うことにより、計算コストを低減することが考えられる。
【００２８】  しかしながら、このような方法を採用した場合、低解像度のマルチスペクトル画像に対するトーンマッピング処理によって、画像中の輝度分布が変化してしまうことから、パンシャープン処理の結果が不適切になる場合がある。
【００２９】  一般的に、パンクロマチック画像の輝度（輝度分布）と、マルチスペクトル画像の輝度（輝度分布）との間には、相関関係がある。即ち、パンクロマチック画像において高輝度である部分は、マルチスペクトル画像においても高輝度であり、その逆も成り立つことが想定されている。これに対して、マルチスペクトル画像にトーンマッピング処理を実行した場合、マルチスペクトル画像の輝度分布は、例えば、ある特定の輝度平均を中心とした一定範囲に圧縮される。即ち、元のマルチスペクトル画像と、トーンマッピング済みのマルチスペクトル画像とは、輝度分布の形状が異なる。結果として、マルチスペクトル画像にトーンマッピング処理を実行した場合、マルチスペクトル画像の輝度と、パンクロマチック画像の輝度との間の相関関係が失われる。
【００３０】  ある種のパンシャープン処理においては、パンクロマチック画像とマルチスペクトル画像の輝度とを対応付ける（輝度マッチング）処理が実行される場合がある。上記より、トーンマッピング済みのマルチスペクトル画像の輝度と、パンクロマチック画像の輝度と間では相関関係が失われていることから、適切な輝度マッチングを行うことができない。この結果、予めトーンマッピングを実行した低解像度のマルチスペクトル画像と、パンクロマチック画像とを用いた場合、適切な階調のパンシャープン画像が生成されない可能性がある。
【００３１】  これに対して、以下の各実施形態を用いて例示する本発明に係る技術は、例えば、トーンマッピング処理をパンシャープン処理に組み込むことにより、トーンマッピング処理において扱われるデータ量を削減可能である。更に、本発明に係る技術は、例えば、パンシャープン処理において高精度な輝度マッチング処理を実現可能である。本発明に係る技術は、トーンマッピング処理を施したパンシャープン画像を効率よく作成可能である。以下、本発明について各実施形態の記載を用いて詳細に説明する。
【００３２】  ＜第１の実施形態＞  以下、本発明を実施可能な形態について図面を参照して詳細に説明する。以下の各実施形態に記載されている構成は例示であり、本発明の技術範囲はそれらには限定されない。
【００３３】  なお、以下において説明する画像処理装置は、単体の装置（物理的あるいは仮想的な装置）を用いて構成されてもよい。また、係る画像処理装置は、複数の装置（物理的あるいは仮想的な装置）を用いて実現されてもよい。即ち、この場合、係る画像処理装置は、複数の装置により構成されるシステムとして実現される。係る画像処理装置を構成する複数の装置の間は、有線、無線、又はそれらを任意に組み合わせた通信ネットワーク（通信回線）により通信可能に接続されてもよい。なお、係る通信ネットワークは、物理的な通信ネットワークであってもよく、仮想的な通信ネットワークであってもよい。
【００３４】    ［構成］  次に、図１を参照して本実施形態における画像処理装置１００の構成について説明する。図１は、画像処理装置１００の機能的な構成を例示するブロック図である。図１中の矢印の方向は、画像データの転送方向の一例を示す表示であり、本実施形態を限定するものではない。
【００３５】  本実施形態における画像処理装置１００は、低解像度のマルチスペクトル画像、及び、高解像度のパンクロマチック画像を受け付ける入力装置２００と通信可能に接続される。また、画像処理装置１００は、当該画像処理装置１００により生成されたパンシャープン画像を出力する出力装置３００と通信可能に接続される。画像処理装置１００、入力装置２００、及び、出力装置３００の間を接続する通信方法は適宜選択されてよい。
【００３６】  次に、画像処理装置１００、入力装置２００、及び、出力装置３００を構成する要素について説明する。
【００３７】  まず、画像処理装置１００は、拡大処理部１０１、輝度抽出部１０２、トーンマッピング処理部１０３、拡大処理部１０４、局所的特徴抽出部１０５、出力輝度算出部１０６、及び、画像合成部１０７を含む。画像処理装置１００を構成するこれらの構成要素の間は、任意の通信方法を用いて通信可能に接続されていてよい。
【００３８】  拡大処理部１０１は、後述する入力装置２００からマルチスペクトル画像（「第１の画像」と称する場合がある）を受け付ける。係るマルチスペクトル画像は、例えば、上記したような複数のスペクトル情報（色情報）を含むカラー画像である。マルチスペクトル画像は、画像処理装置１００が別途入力装置２００から受け付けるパンクロマチック画像（「第２の画像」と称する場合がある）よりも空間解像度が低い画像である。
【００３９】  拡大処理部１０１は、入力装置２００から受け付けたマルチスペクトル画像の解像度を変換する。具体的には、拡大処理部１０１は、例えば、マルチスペクトル画像の解像度を、入力装置２００から受け付けるパンクロマチック画像と同じ解像度になるようアップサンプリングする。画像の解像度を変換する方法（アップサンプリングする方法）としては、周知の方法が採用されてもよい。
【００４０】  輝度抽出部１０２は、入力されたマルチスペクトル画像から、当該画像に関する階調情報を抽出する。輝度抽出部１０２は、例えば、入力されたマルチスペクトル画像の輝度に関する階調情報を抽出してよい。以下、画像の輝度に関する階調情報を、単に「輝度情報」と称する場合がある。輝度抽出部１０２は、例えば、マルチスペクトル画像を構成する画素毎に輝度（輝度値）を抽出し、それらの集合を輝度情報としてもよい。この場合、係る輝度情報は、例えば、入力されたマルチスペクトル画像に含まれる画素毎に、当該画素の輝度のみを抽出して生成した輝度画像であってもよい。マルチスペクトル画像の輝度のレンジ（例えば量子化ビット数）と、パンクロマチック画像の輝度のレンジとは同じであってもよく、異なっていてもよい。輝度抽出部１０２は、画像に関する階調情報として、「輝度」以外に、当該画像を構成する画素毎の濃淡を表現可能な他の情報を抽出してもよい。
【００４１】  トーンマッピング処理部１０３は、輝度抽出部１０２においてマルチスペクトル画像から抽出された、低解像度な（空間解像度が低い）輝度情報に対してトーンマッピングを実行することにより、輝度のレンジを圧縮する（レンジ圧縮処理）。トーンマッピング処理部１０３は、例えば、輝度抽出部１０２において抽出された輝度情報に含まれる輝度値を、ある輝度レンジに収まるように変換（圧縮）することにより、レンジ圧縮処理を実行してもよい。トーンマッピング処理部１０３は、例えば、輝度抽出部１０２がマルチスペクトル画像から抽出した輝度画像に対して係るレンジ圧縮処理を実行してもよい。以下、レンジ圧縮処理が実行された輝度情報（輝度画像）を「第１の階調変換画像」と称する場合がある。
【００４２】  拡大処理部１０４は、トーンマッピング処理部１０３においてレンジ圧縮された輝度情報（上記第１の階調変換画像）の解像度を変換する。拡大処理部１０４は、上記拡大処理部１０１と同様、入力装置２００から受け付けるパンクロマチック画像と同じ解像度になるように、輝度情報をアップサンプリングしてもよい。
【００４３】  局所的特徴抽出部１０５は、入力装置２００から入力されたパンクロマチック画像における局所的な輝度の変化を表す情報（輝度変化情報）に基づいて、局所的特徴情報を生成する。係る輝度変化情報は、例えば、輝度の変化の程度を表す値であってもよい。具体的には、局所的特徴抽出部１０５は、例えば、入力装置２００から入力されたパンクロマチック画像の輝度と、マルチスペクトル画像の輝度とのマッチング（輝度マッチング）を行う。そして、局所的特徴抽出部１０５は、係る輝度マッチングの結果に基づいて、パンクロマチック画像における局所的な輝度変化情報をマルチスペクトル画像の輝度レンジに変換する。係る変換後のパンクロマチック画像を、「第２の階調変換画像」と称する場合がある。局所的特徴抽出部１０５は、第２の階調変換画像に基づいて、局所的特徴情報を生成する。
【００４４】  出力輝度算出部１０６は、局所的特徴抽出部１０５において生成された局所的特徴と、拡大処理部１０４においてアップサンプリングされた輝度情報（レンジ圧縮済み）と用いて、高解像度の輝度情報を生成する。出力輝度算出部１０６は、例えば、局所的特徴抽出部１０５において生成された局所的特徴と、拡大処理部１０４においてアップサンプリングされた輝度情報とを乗算することにより、係る高解像度の輝度情報を算出してもよい。出力輝度算出部１０６により生成される高解像度の輝度情報は、パンクロマチック画像の局所的特徴と、輝度レンジが圧縮された大域的特徴とを含む。
【００４５】  画像合成部１０７は、拡大処理部１０１においてアップサンプリングされたマルチスペクトル画像と、出力輝度算出部１０６において生成された高解像度の輝度情報とに基づいてパンシャープン画像を生成する。画像合成部１０７は、例えば、拡大処理部１０１においてアップサンプリングされたマルチスペクトル画像の輝度情報を、出力輝度算出部１０６において生成された高解像度の輝度情報に置き換えることにより、パンシャープン画像を合成してもよい。この場合、画像合成部１０７は、拡大処理部１０１においてアップサンプリングされたマルチスペクトル画像の色情報を用いて、係るパンシャープン画像の色味の成分（色情報）を設定してもよい。以下、パンシャープン画像を「合成画像」と称する場合がある。なお、パンシャープン処理を実行する具体的な方法は、上記に限定されない。
【００４６】  入力装置２００は、マルチスペクトル画像入力部２０１と、パンクロマチック画像入力部２０２と、を含む。係る入力装置２００は、マルチスペクトル画像及びパンクロマチック画像を撮像する画像生成装置（不図示）と接続されてもよい。また、入力装置２００は、係る画像生成装置を含んでもよい。入力装置２００は、入力として受け付けたマルチスペクトル画像及びパンクロマチック画像を、画像処理装置１００に供給（提供）する。
【００４７】  マルチスペクトル画像入力部２０１は、例えば、マルチスペクトルセンサ等を用いて撮像されたマルチスペクトル画像を入力として受け付け、係るマルチスペクトル画像を画像処理装置１００に供給する。係るマルチスペクトル画像は、例えば、画像処理装置１００における拡大処理部１０１、及び、輝度抽出部１０２に送られてもよい。
【００４８】  パンクロマチック画像入力部２０２は、例えば、パンクロマチックセンサ等を用いて撮像されたパンクロマチック画像を入力として受け付け、係るパンクロマチック画像を画像処理装置１００に供給する。係るパンクロマチック画像は、例えば、画像処理装置１００における局所的特徴抽出部１０５に送られてもよい。
【００４９】  出力装置３００は、画像処理装置１００において生成されたパンシャープン画像を受け付け、図示しない表示系（表示装置等）に出力する。出力装置３００は、例えば、受け付けたパンシャープン画像を、コンピュータ等の情報処理装置におけるグラフィック処理デバイス、各種ディスプレイ装置、プリンタ等の表示系に出力してもよい。出力装置３００は、係る表示系を含んでもよい。
【００５０】    ［動作］  次に、図１及び図３を参照して、本実施形態における画像処理装置１００の動作について詳細に説明する。図３は、本実施形態における画像処理装置１００の動作を例示するフローチャートである。図３に例示するフローチャートは、一つの具体例であり、各処理の順序は、処理結果に影響を与えない範囲で適宜入れ替え可能である。また、図３に例示するフローチャートの各処理は、処理結果に影響を与えない範囲で、並行して実行されてもよい。
【００５１】  まず、入力装置２００が入力をして受け付けた低解像度マルチスペクトル画像と高解像度パンクロマチック画像とが、画像処理装置１００に提供される（ステップＳ３００１）。以下、係るマルチスペクトル画像を”Ｍ”、パンクロマチック画像を”Ｐ”と表す場合がある。
【００５２】  次に、画像処理装置１００（特には拡大処理部１０１）が、提供されたマルチスペクトル画像の解像度を変換する（ステップＳ３００２）。拡大処理部１０１は、例えば、バイリニア法等を用いることにより、マルチスペクトル画像を、パンクロマチック画像と同じ解像度までアップサンプリングしてもよい。なお、拡大処理部１０１はバイリニア法以外の方法（たとえば、バイキュービック補完法等）を適宜用いてよく、アップサンプリングの方法は特定の手法には限定されない。以下、アップサンプリングされたマルチスペクトル画像を”Ｕ（Ｍ）”と表す場合がある。なお、ステップＳ３００２の処理と、以下において説明するステップＳ３００３乃至ステップＳ３００７の処理とは、並行して実行されてもよい。
【００５３】  次に、画像処理装置１００（特には輝度抽出部１０２）が、マルチスペクトル画像Ｍから、輝度情報を抽出する（ステップＳ３００３）。輝度抽出部１０２は、例えば、マルチスペクトル画像Ｍに対して色空間の変換処理を行うことにより輝度情報”ＩＭ”を抽出してもよい。係る色空間の変換は、例えば、マルチスペクトル画像”Ｍ”の色空間を、ＨＬＳ（Ｈｕｅ、Ｌｉｇｈｔｎｅｓｓ、Ｓａｔｕｒａｔｉｏｎ）、ＹＣｂＣｒ、ＨＣＳ（Ｈｙｐｅｒｓｐｈｅｒｉｃａｌ  Ｃｏｌｏｒ  Ｓｐａｃｅ）等の色空間に変換する処理であってもよい。色空間を変換する方法は、特定の手法には限定さない。また、輝度抽出部１０２は、上記した色空間の変換以外の周知の方法を用いて、輝度情報を抽出してもよい。係る輝度情報”ＩＭ”は、マルチスペクトル画像Ｍに含まれる各画素の輝度値を含み、マルチスペクトル画像”Ｍ”と同等の解像度を有する。
【００５４】  次に、画像処理装置１００（特にはトーンマッピング処理部１０３）は、トーンマッピング処理を実行する（ステップＳ３００４）。以下、係るトーンマッピング処理について具体的に説明する。トーンマッピング処理部１０３は、輝度抽出部１０２において抽出されたマルチスペクトル画像”Ｍ”の輝度情報”ＩＭ”を、大域的特徴成分と、局所的特徴成分とに分離（分解）する。大域的特徴成分は、例えば、画像における空間的に滑らかな輝度変化を表し、局所的特徴は、例えば、ある注目画素の周辺における局所的な輝度変化を表す。係る大域的特徴成分の具体例の一つとして、画像に含まれる空間的な照明光を表す情報が用いられてもよい。また、係る局所的特徴成分の具体例の一つとして、画像に含まれる物体の反射率を表す情報が用いられてもよい。一般的に、人間の視覚系に入射される光は、照明光と物体の反射率との積により表され、人間の知覚（視覚）は物体の反射率の影響を受けやすいことが知られている。これより、例えば、照明光の成分を圧縮（レンジ圧縮）することで、目の知覚に影響を与える反射率成分を維持しながら、画像全体の輝度レンジを効果的に圧縮することができる。
【００５５】  具体的には、トーンマッピング処理部１０３は、下式（１）における”Ｉ”として、マルチスペクトル画像の輝度情報”ＩＭ”を入力し、係る”ＩＭ”を大域的特徴成分”Ｂ（Ｉ）”と、局所的特徴成分”Ｔ（Ｉ）”とに分解する。
【００５６】
【数１】
2017038090.tif 000003
【００５７】  ただし、上記式（１）において、”ｘｉｊ（Ｉ）”は、画像（あるいは輝度情報）”Ｉ”の、”ｉ”行”ｊ”列目の画素における画素値（実数）である。係る画素値は、当該画素における輝度値であってもよい。式（１）において、画像”Ｉ”は任意の画像（あるいは輝度情報等）であってよく、”Ｂ（Ｉ）”は当該画像”Ｉ”の大域的特徴成分を表し、”Ｔ（Ｉ）”は当該画像”Ｉ”の局所的特徴成分を表す。
【００５８】  具体的には、トーンマッピング処理部１０３は、例えば、輝度情報”ＩＭ”にエッジ保存型平滑化フィルタを適用することにより、”ＩＭ”に関する大域的特徴成分”Ｂ（ＩＭ）”を求めてもよい。画像に含まれる照明光の成分は、物体からの反射率の成分に比べて変化が緩やかであると想定すると、係るエッジ保存型平滑化フィルタを用いることで、係る照明光の成分を抽出可能である。係るエッジ保存型平滑化フィルタは、画像に含まれるエッジ情報を保存するとともに、画像を平均化（平滑化）可能な任意のフィルタであってよい。係るエッジ保存型平滑化フィルタとして、例えば、ｋ最近傍平均化フィルタ、バイラテラルフィルタ、メディアンフィルタ、あるいは、ＷＬＳフィルタ（Ｗｅｉｇｈｔｅｄ  Ｌｅａｓｔ  Ｓｑｕａｒｅｓ  Ｆｉｌｔｅｒ）等が採用されてもよい。エッジ保存型平滑化フィルタを用いることにより、画像の大域的特徴成分を抽出する際にエッジが保存される（エッジが鈍らない）ことから、トーンマッピング処理におけるハロー（Ｈａｌｏ）の発生を抑制可能である。
【００５９】  また、トーンマッピング処理部１０３は、局所的特徴成分”Ｔ（ＩＭ）”を、例えば、下式（２）を用いて求めてもよい。式（２）において”Ｉ”は任意の画像（あるいは輝度情報）を表す（即ち、式（２）の”Ｉ”を”ＩＭ”に置き換えれば、式（２）から局所的特徴成分”Ｔ（ＩＭ）”が得られる）。式（２）より、輝度情報”ＩＭ”に含まれるある画素の輝度と、大域的特徴との比（輝度比）から、局所的特徴成分”Ｔ（ＩＭ）”が求められる。式（２）より、局所的特徴成分”Ｔ（ＩＭ）”は、各画素における、大域的特徴成分”Ｂ（ＩＭ）”に対する輝度値の変化の程度を表すと考えることが可能である。例えば、大域的特徴成分”Ｂ（ＩＭ）”がマルチスペクトル画像における照明光成分を表す場合、局所的特徴成分”Ｔ（ＩＭ）”は、物体からの反射率を表すと考えられる。
【００６０】
【数２】
2017038090.tif 000004
【００６１】  次に、トーンマッピング処理部１０３は、下式（３）に示すように、大域的特徴成分”Ｂ（ＩＭ）”の各要素（画素）”ｘｉｊ（Ｂ（ＩＭ））”に対して、なめらかなレンジ圧縮関数”ｆ”を適用することにより、そのレンジ（画素値のレンジ）を圧縮する。そして、トーンマッピング処理部１０３は、レンジ圧縮された各要素の画素値と、式（１）により予め分離された局所的特徴成分の各要素”ｘｉｊ（Ｔ（ＩＭ））”の画素値とを掛け合わせる。
【００６２】
【数３】
2017038090.tif 000005
【００６３】  トーンマッピング処理部１０３は、上記のようにして、トーンマッピングを施したマルチスペクトル画像の輝度情報”Ｒ（ＩＭ）”（第１の階調変換画像）を得る。なお、本実施形態においては、圧縮関数”ｆ”として、例えば、下式（４）のような関数が用いられる。式（４）に例示する圧縮関数は、人間の視覚特性を考慮した圧縮関数であり、各画素の輝度値の大小に関わらず視覚的に等価な圧縮を行うことが可能である。トーンマッピング処理部１０３は、マルチスペクトル画像の各画素の輝度値を式（４）に代入することで、圧縮された輝度値算出する。
【００６４】
【数４】
2017038090.tif 000006
【００６５】  なお、トーンマッピング処理部１０３は、圧縮関数”ｆ”として、式（４）以外の関数を採用してもよい。即ち、トーンマッピングの目的等に応じて、適切な圧縮関数”ｆ”が適宜選択されてよい。
【００６６】  画像処理装置１００（特には拡大処理部１０４）は、トーンマッピング処理部１０３においてレンジ圧縮されたマルチスペクトル画像の輝度情報”Ｒ（ＩＭ）”の解像度を変換する（ステップＳ３００５）。具体的には、拡大処理部１０４は、輝度情報”Ｒ（ＩＭ）”を、パンクロマチック画像”Ｐ”と同じ解像度までアップサンプリングする。具体的なアップサンプリング方法は、拡大処理部１０１と同様としてよい。以下、アップサンプリング後の輝度情報を”Ｕ○Ｒ（ＩＭ）”と表す。
【００６７】  また、画像処理装置１００（特には局所的特徴抽出部１０５）は、輝度抽出部１０２において抽出された輝度情報”ＩＭ”と、パンクロマチック画像”Ｐ”とから、高解像度な画像に含まる局所的特徴情報（特徴量）を生成する（ステップＳ３００６）。なお、以下に説明するステップＳ３００６の処理は、上記説明したステップＳ３００４、ステップＳ３００５の処理と並行して実行されてもよい。
【００６８】  局所的特徴抽出部１０５は、例えば、以下のような処理を実行することにより、局所的特徴情報を生成する。局所的特徴抽出部１０５は、まず、パンクロマチック画像”Ｐ”とマルチスペクトル画像の輝度情報”ＩＭ”との輝度のヒストグラムを用いて、輝度マッチング（ヒストグラム・マッチング）を行う。これにより、局所的特徴抽出部１０５は、”ＩＭ”の輝度レンジに合わせて各画素の画素値（輝度値）が変換されたパンクロマチック画像”Ｐ＾”（「第２の階調変換画像」）を求める。この際、局所的特徴抽出部１０５に入力されるマルチスペクトル画像”Ｍ”はトーンマッピングされていないことから、マルチスペクトル画像の輝度情報”ＩＭ”の輝度分布と、パンクロマチック画像”Ｐ”の輝度分布とは大きく乖離していない。即ち、マルチスペクトル画像の輝度情報”ＩＭ”の輝度分布と、パンクロマチック画像”Ｐ”の輝度分布との間の相関関係が保たれている。よって、局所的特徴抽出部１０５は、上記輝度マッチングを精度よく実行可能である。
【００６９】  ここで、上記トーンマッピング済みのマルチスペクトル画像の輝度情報と、パンクロマチック画像”Ｐ”とを精度よく輝度マッチングするは困難である。なぜならば、トーンマッピング済みのマルチスペクトル画像の輝度分布は、元のマルチスペクトル画像の輝度分布と形状が異なることから、パンクロマチック画像”Ｐ”の輝度情報と、マルチスペクトル画像”Ｍ”の輝度情報との間の相関関係が失われるからである。なお、輝度マッチングの具体的な処理方法としては、周知の方法（例えば、特許文献６に開示された方法や、累積分布関数を用いる方法等）を採用可能である。
【００７０】  次に、局所的特徴抽出部１０５は、このパンクロマチック画像”Ｐ＾”に含まれる局所的特徴情報（局所的特徴量）”μ”を算出する。係る局所的特徴情報”μ”は、例えば、このパンクロマチック画像”Ｐ＾”における局所的な輝度の変化の程度（例えば、注目画素における輝度の変化の程度）を表してもよい。具体的には、係る局所的特徴情報μは、例えば、パンクロマチック画像”Ｐ＾”に対して平滑化処理を行った結果を”Ｓ（Ｐ＾）”と表した場合に、”Ｐ＾”におけるある画素の輝度と、”Ｓ（Ｐ＾）”における対応する画素の輝度との輝度比であってもよい。
【００７１】  図２及び、下式（５）を参照して、具体的に説明する。図２は、パンクロマチック画像”Ｐ”と等しい解像度である画像”Ｉ”を模式的に表す図である。係る画像”Ｉ”は、例えば、マルチスペクトル画像の輝度情報”ＩＭ”をパンクロマチック画像の解像度にアップサンプリングした画像であってもよい。この場合、パンクロマチック画像”Ｐ”と等しい解像度を有する画像”Ｉ”は、低解像度のマルチスペクトル画像の輝度情報”ＩＭ”の各画素を、”ＣＬ（Ｉ）×ＣＰ（Ｉ）”に細分化した画像と考えられる。
【００７２】  ”ＣＰ（Ｉ）”は、ピクセル方向（水平方向）における、画像”Ｉ”と、パンクロマチック画像”Ｐ”とのピクセルスペーシング比である。”ＣＰ（Ｉ）”は、例えば、”（（パンクロマチック画像”Ｐ”のピクセル方向総ピクセル数）／（細分化される前の画像”Ｉ”のピクセル方向総ピクセル数））”により算出される。
【００７３】  ”ＣＬ（Ｉ）”は、ライン方向（垂直方向）における、画像”Ｉ”と、パンクロマチック画像”Ｐ”とのピクセルスペーシング比である。”ＣＬ（Ｉ）”は、例えば、”（（パンクロマチック画像”Ｐ”のライン方向総ピクセル数）／（細分化される前の画像”Ｉ”のライン方向総ピクセル数））”により算出される。
【００７４】  以下、図２において、画像”Ｉ”について、マルチスペクトル画像の輝度情報”ＩＭ”の”ｉ”行”ｊ”列目の画素に相当する領域内における”ｍ”行”ｎ”列目の画素値を”ｙｍｎｉｊ（Ｉ）”と表す。
【００７５】
【数５】
2017038090.tif 000007
【００７６】  パンクロマチック画像”Ｐ＾”のある画素における輝度”ｙｍｎｉｊ（Ｐ＾）”と、平滑化されたパンクロマチック画像”Ｓ（Ｐ＾）”のある画素における輝度”ｙｍｎｉｊ（Ｓ（Ｐ＾））”とを用いて、局所的特徴量”μｍｎｉｊ”は、下式（６）のように表される。即ち、局所的特徴抽出部１０５は、式（６）を用いて局所的特徴量”μｍｎｉｊ”（輝度比）を算出してよい。
【００７７】
【数６】
2017038090.tif 000008
【００７８】  次に、画像処理装置１００（特には出力輝度算出部１０６）は、上記ステップＳ３００５の結果と、上記ステップＳ３００６の結果とに基づいて、局所的特徴情報が反映された、高解像度の輝度情報（出力輝度調整情報）を生成する（ステップＳ３００７）。具体的には、出力輝度算出部１０６は、局所的特徴抽出部１０５において得られた局所的特徴量”μｍｎｉｊ”を、拡大処理部１０４で得られた高解像度な輝度情報”ｙｍｎｉｊ（Ｕ○Ｒ（ＩＭ））”に乗算した結果を、出力輝度調整情報としてよい。この場合、係る出力輝度調整情報は、”μｍｎｉｊ＊ｙｍｎｉｊ（Ｕ○Ｒ（ＩＭ））”という形式にて表される。”Ｕ○Ｒ（ＩＭ）”は、上記したように、マルチスペクトル画像”Ｍ”の輝度”ＩＭ”に対してトーンマッピング処理部１０３により大域的特徴がレンジ圧縮され、更に拡大処理部１０４によりアップサンプリングされた輝度情報である。これより、パンクロマチック画像”Ｐ”に由来する局所的特徴を含むとともに、マルチスペクトル画像”Ｍ”に由来する、輝度のレンジが圧縮された大域的特徴を含む、輝度情報（出力輝度調整情報）が得られる。
【００７９】  画像処理装置１００（特には画像合成部１０７）は、上記出力輝度調整情報と、拡大処理部１０１において生成されたアップサンプリングされたマルチスペクトル画像（”Ｕ（Ｍ）”）とに基づいて、パンシャープン画像を生成する（ステップＳ３００８）。
【００８０】  具体的には、画像合成部１０７は、拡大処理部１０１においてアップサンプリングされたマルチスペクトル画像”Ｕ（Ｍ）”に対して色空間の変換を行い、輝度情報と色情報とを分離する。係る色空間の変換は、例えば、ステップＳ３００３における処理と同様としてよい。画像合成部１０７は、次に、画像”Ｕ（Ｍ）”において分離された輝度情報を、出力輝度算出部１０６において生成された出力輝度調整情報”μｍｎｉｊ＊ｙｍｎｉｊ（Ｕ○Ｒ（ＩＭ））”に置き換える。画像合成部１０７は、置換した輝度情報と、Ｕ（Ｍ）から分離した色情報とを合成し、当該合成した画像を再び元の色空間に戻す（変換する）。これにより、画像合成部１０７は、トーンマッピング処理が施されたパンシャープン画像を得る。画像合成部１０７は、生成されたパンシャープン画像を、出力装置３００に提供する。
【００８１】  出力装置３００は画像処理装置１００から供給されたパンシャープン画像を出力する（ステップＳ３００９）。
【００８２】  以下、出力輝度算出部１０６が生成した輝度情報（出力輝度調整情報）”μｍｎｉｊ＊ｙｍｎｉｊ（Ｕ○Ｒ（ＩＭ））”が、周知の方法を用いて生成したパンシャープン画像をトーンマッピングした結果を、精度よく近似可能であることを説明する。なお、周知の方法を用いて生成したパンシャープン画像の輝度情報が、”ＩＱ”と表記され、当該”ＩＱ”をトーンマッピングした結果の各画素の画素値（輝度値）が、” ｙｍｎｉｊ（Ｒ（ＩＱ））”と表記される。
【００８３】  式（７）は、周知の方法を用いて生成したパンシャープン画像の輝度情報”ＩＱ”と、マルチスペクトル画像の輝度情報”ＩＭ”との関係を表す。
【００８４】
【数７】
2017038090.tif 000009
【００８５】  式（７）において、”Ｕ（ＩＭ）”は、マルチスペクトル画像の輝度情報”ＩＭ”をアップサンプリングした結果を表す。また、”ｙｍｎｉｊ（Ｕ（ＩＭ））”は、マルチスペクトル画像の輝度情報”ＩＭ”をアップサンプリングした結果における、ある特定の画素の画素値（輝度値）を表す。また、”μｍｎｉｊ”は、局所的特徴量を表す。
【００８６】  式（７）と、式（１）乃至式（３）とから、パンシャープン画像を作成した後に、当該パンシャープン画像に対してトーンマッピング処理を実行した場合の画像” Ｒ（ＩＱ）”の輝度値は、下式（８）のように表される。
【００８７】
【数８】
2017038090.tif 000010
【００８８】  本実施形態における画像処理装置１００は、パンシャープン画像の輝度情報”ＩＱ”の大域的特徴成分”Ｂ（ＩＱ）”を、マルチスペクトル画像の輝度情報”ＩＭ”をアップサンプリングした”Ｕ（ＩＭ）”の大域的特徴成分”Ｂ○Ｕ（ＩＭ）”を用いて近似可能である（式（９））。以下、その理由を説明する。
【００８９】
【数９】
2017038090.tif 000011
【００９０】  式（７）で示されたとおり、輝度情報”ＩＱ”は、”Ｕ（ＩＭ）”の輝度値に対し、元のマルチスペクトル画像Ｍの１画素より小さいスケール（範囲）の局所輝度変化情報”μ”（”μｍｎｉｊ”）を乗算することにより算出される。係る局所輝度変化情報”μ”は、高解像度のパンクロマチック画像Ｐから求められた局所的特徴量である。局所輝度変化情報”μ”は、例えば、アップサンプリングする前の（元の）マルチスペクトル画像Ｍを構成する一画素が表す範囲よりも小さい範囲における輝度値の変化を表す。狭い範囲の輝度変化を表す”μ”がパンシャープン画像の大域的特徴に対して与える効果（影響）は、十分に（例えば、無視されてもよい程度に）小さくなると考えられる。具体的な一例として、平滑化フィルタをかけた輝度成分を大域的特徴として用いる場合を想定する。パンシャープン画像の輝度情報”ＩＱ”の大域的特徴を算出する際、局所輝度変化情報”μ”の効果は平滑化によって均されることから、大域的特徴に与える効果が小さくなる。これより、パンシャープン画像の輝度情報から求めた大域的特徴成分”Ｂ（ＩＱ）”は、マルチスペクトル画像をアップサンプリングした画像”Ｕ（ＩＭ）”に対する大域的特徴成分”Ｂ○Ｕ（ＩＭ）”により近似可能である。
【００９１】  以下、マルチスペクトル画像”Ｍ”の輝度情報”ＩＭ”をアップサンプリング後にトーンマッピングした結果を”Ｒ○Ｕ（ＩＭ）”と表記する。まず、式（８）に、式（９）の近似を適用した場合、式（１）乃至式（３）を考慮すると、下式（１０）が得られる。
【００９２】
【数１０】
2017038090.tif 000012
【００９３】  ある画像をアップサンプリングした前後で、当該画像の輝度レンジは大きく変わらない場合が多い。即ち、マルチスペクトル画像”Ｍ”をアップサンプリングする前後のどちらのタイミングでトーンマッピングによるレンジ圧縮を施しても、その結果に大きな差が表れないことが多い。以上より、マルチスペクトル画像”Ｍ”の輝度情報”ＩＭ”をトーンマッピングした後にアップサンプリングした結果を”Ｕ○Ｒ（ＩＭ）”と表記すると、本実施形態においては、式（１１）に示す近似が成立すると考えられる。
【００９４】
【数１１】
2017038090.tif 000013
【００９５】  以上より式（１０）に対して、式（１１）を反映すると、以下の式（１２）が得られる。
【００９６】
【数１２】
2017038090.tif 000014
【００９７】  式（１２）に示すように、本実施形態における画像処理装置１００は、低解像度のマルチスペクトル画像”Ｍ”の輝度情報”ＩＭ”にトーンマッピングを実行した結果（”Ｒ（ＩＭ）”）を用いて、高解像度のパンシャープン画像にトーンマッピングを実行した輝度情報”ｙｍｎｉｊ（Ｒ（ＩＱ））”を近似する。これより、本実施形態における画像処理装置１００によれば、高解像度の画像（あるいは輝度情報）に対するトーンマッピング処理の実行を回避可能であることから、計算コストが低減される。
【００９８】  また、上記したように、本実施形態における画像処理装置１００は、トーンマッピングされていないマルチスペクトル画像”Ｍ”と、パンクロマチック画像”Ｐ”とを用いて、局所的特徴情報（局所的特徴量）を抽出する（上記ステップＳ３００６）。マルチスペクトル画像”Ｍ”はトーンマッピングされていないことから、マルチスペクトル画像”Ｍ”と、パンクロマチック画像”Ｐ”との輝度分布は大きく乖離していない。即ち、画像処理装置１００は、パンクロマチック画像”Ｐ”の輝度情報と、マルチスペクトル画像”Ｍ”の輝度情報”ＩＭ”とを用いて適切な輝度マッチングを実行可能である。これにより、画像処理装置１００は、例えば、高階調なパンクロマチック画像Ｐに由来する画素毎の階調変化（コントラスト）が適切に反映された、適切な階調を有するパンシャープン画像を生成する。
【００９９】  図７に示す具体例を用いて説明する。図７は、マルチスペクトル画像及びパンクロマチック画像の輝度を正規化した場合の累積ヒストグラムの一例を、模式的に表す図である。図７のＡに示す実線は、マルチスペクトル画像に関する正規化された輝度の累積度数を表す。図７のＢに示す点線は、トーンマッピング済みのマルチスペクトル画像に関する正規化された輝度の累積度数を表す。図７のＣに示す一点鎖線は、パンクロマチック画像に関する正規化された輝度の累積度数を表す。図７におけるＧ１は、マルチスペクトル画像に対してパンクロマチック画像を輝度マッピングした場合の、ある特定の輝度の間の輝度比を模式的に表す。また、図７におけるＧ２は、トーンマッピング済みのマルチスペクトル画像に対してパンクロマチック画像を輝度マッピングした場合の、ある特定の輝度の間の輝度比を模式的に表す。
【０１００】  一般的に、トーンマッピングにより、マルチスペクトル画像の輝度は、ある特定の輝度平均を中心とした所定の輝度の範囲に圧縮される。これより、トーンマッピング済みのマルチスペクトル画像の輝度（正規化済）の累積度数は、元のマルチスペクトル画像の輝度（正規化済）の累積度数よりも急峻に変化する。このため、Ｇ１とＧ２とを比較すると、Ｇ２により表される輝度比は、Ｇ１により表される輝度比よりも小さくなる。これは、画像における局所的なコントラスト（例えば、ある画素における輝度の変化度合い）が小さいことを表すと考えられる。即ち、トーンマッピング済みのマルチスペクトル画像の輝度に対して、パンクロマチック画像の輝度をマッチングすると、パンクロマチック画像に由来する局所的な輝度のコントラストが適切に反映されない可能性がある。具体的には、例えば、人間が当該画像を視認した際に感知する局所的な輝度のコントラストが低下する可能性がある。これに対して、本実施形態における画像処理装置１００は、トーンマッピングされていないマルチスペクトル画像と、パンクロマチック画像とを用いて輝度マッチングを行う。これより、画像処理装置１００は、パンクロマチック画像に由来する局所的な輝度のコントラストが適切に反映されたパンシャープン画像を生成可能である。
【０１０１】  また、上記したように、本実施形態における画像処理装置１００は、低解像度のマルチスペクトル画像”Ｍ”に対してトーンマッピング処理を実行することにより、トーンマッピング処理において扱うデータ量を削減する。これにより、画像処理装置１００は、トーンマッピング処理が実行された適切な階調を有するパンシャープン画像を高速に作成する。
【０１０２】  以上をまとめると、本実施形態における画像処理装置１００は、パンクロマチック画像とマルチスペクトル画像とを輝度マッチングした結果に基づいて抽出された、パンクロマチック画像に由来する局所的特徴と、マルチスペクトル画像から抽出された大域的特徴とを用いて、パンシャープン処理を実行する。画像処理装置１００は、局所的特徴を求める輝度マッチングの際には、元の（トーンマッピングを施していない）マルチスペクトル画像を使用する。また、画像処理装置１００は、トーンマッピングにより大域的特徴（大域的な輝度変化）の輝度レンジを圧縮する際には、低解像度なマルチスペクトル画像の輝度情報を用いる。これにより、画像処理装置１００は、高解像度のパンシャープン画像を作成した後にトーンマッピング処理を実行する場合に比べて、計算コスト（演算量）を低減可能である。以上より、本実施形態における画像処理装置１００によれば、解像度が異なる複数の画像（例えば、パンクロマチック画像とマルチスペクトル画像）を用いて、適切な階調を有する高解像度の画像（例えば、パンシャープン画像）を効率的に生成することが可能である。
【０１０３】  ＜第１の実施形態の変形例＞  上記説明した本発明の第１の実施形態における画像処理装置１００に対して、以下のような変形例を実現可能である。
【０１０４】  画像処理装置１００は、必ずしも、上記式（６）に例示するような、ある特定の画素の画素値と、平滑化画像の画素値との輝度比を局所的特徴量として用いる必要はない。画像処理装置１００は、パンシャープン画像の輝度値を、高解像度のパンクロマチック画像に由来する局所的特徴と、低解像度のマルチスペクトル画像に由来する大域的特徴との積の形で表すことが可能な任意の処理を選択してよい。
【０１０５】  例えば、パンシャープン処理の一つとして、マルチスペクトル画像を適宜色分解（色相成分と輝度成分とに分解）し、その輝度成分をパンクロマチック画像の輝度成分に置き換えてから再度色合成（色相成分と輝度成分とを合成）する方法が知られている。画像処理装置１００は、係るパンシャープン処理を採用してもよい。この場合、画像処理装置１００は、例えば、式（６）の分母として、平滑化画像の輝度ではなく、アップサンプリングされたマルチスペクトル画像の輝度を用いてもよい。式（７）において、アップサンプリングされたマルチスペクトル画像の輝度が、局所的特徴量”μ”に乗算されることから、パンシャープン画像の輝度情報として、パンクロマチック画像の輝度情報がそのまま用いられる。
【０１０６】  また、画像処理装置１００は、マルチスペクトル画像における各バンド（スペクトルバンド）の値が輝度に比例する色空間（例えばＨＣＳ法）を用いてもよい。具体的には、画像処理装置１００は、入力装置２００から提供されたマルチスペクトル画像の色空間を、上記したような色空間に変換してもよい。この場合、画像合成部１０7における、色分解及び合成処理を簡略化することが可能である。拡大処理部１０１においてアップサンプリングされたマルチスペクトル画像の輝度と、出力輝度算出部２７で得られた出力輝度調整情報とを乗算することで、高速にパンシャープン画像を生成することが可能である。
【０１０７】  ＜第２の実施形態＞  次に、本発明の第２の実施形態について、図４を参照して説明する。図４は、本発明の第２の実施形態に係る画像処理装置４００の機能的な構成を例示するブロック図である。
【０１０８】  図４に例示するように、本実施形態における画像処理装置４００は、階調調整画像生成部（階調調整画像生成手段）４０１と、合成画像生成部（合成画像生成手段）４０２とを備える。階調調整画像生成部４０１と、合成画像生成部４０２との間は、任意の通信方法を用いて通信可能に接続されていてよい。以下、画像処理装置４００を構成する構成要素について説明する。
【０１０９】  階調調整画像生成部４０１は、１以上の色情報を有する第１の画像の階調を変換することにより第１の階調変換画像を生成する。第１の画像は、例えば、マルチスペクトル画像であってもよい。階調調整画像生成部４０１は、例えば、第１の画像（例えば、マルチスペクトル画像）に含まれる各画素の輝度の階調を変換してもよい。この場合、階調調整画像生成部４０１は、例えば、第１の画像に対してトーンマッピング処理を実行することにより、第１の画像の階調をレンジ圧縮してもよい。また、階調調整画像生成部４０１は、第１の画像の階調を変換するとともに、当該階調が変換された第１の画像の解像度を変換してもよい。上記したような階調調整画像生成部４０１は、例えば、上記第１の実施形態における輝度抽出部１０２、トーンマッピング処理部１０３、及び拡大処理部１０４等に相当してもよいが、これには限定されない。
【０１１０】  合成画像生成部４０２は、上記第１の画像よりも解像度が高い第２の画像の階調に関する特徴情報と、上記第１の階調変換画像の階調とを用いて、上記第１の画像を調整する。その結果に基づいて、合成画像生成部４０２は、１以上の色情報を有し、少なくとも上記第１の画像よりも解像度が高い合成画像を生成する。係る第２の画像は、例えば、マルチスペクトル画像よりも解像度が高いパンクロマチック画像であってもよい。係る特徴情報は、例えば、上記第１の画像と、上記第２の画像と、に基づいて生成された、上記第２の画像における局所的な特徴を表す情報であってもよい。上記特徴情報は、例えば、上記第１の実施形態における局所的特徴情報（局所的特徴量）に相当してもよい。また、上記合成画像は、第１の実施形態におけるパンシャープン画像であってもよい。
【０１１１】  具体的には、合成画像生成部４０２は、例えば、上記第２の画像の階調（例えば、輝度の階調）を、上記第１の画像の階調に合せて変換した第２の階調変換画像における局所的な特徴を表す情報を、上記特徴情報として抽出してもよい。上記特徴情報は、例えば、上記第２の画像と同じ解像度を有する情報であってもよい。また、合成画像生成部４０２は、例えば、上記第１の画像の解像度を変換してもよい。そして、合成画像生成部４０２は、例えば、上記特徴情報と、上記第１の階調変換情報と、を用いて、当該解像度が変換された上記第１の画像の階調を調整することにより、上記合成画像を生成してもよい。係る合成画像生成部４０２は、例えば、上記第１の実施形態における局所的特徴抽出部１０５、出力輝度算出部１０６、及び、画像合成部１０７等に相当してもよいが、これには限定されない。
【０１１２】  上記のように構成された画像処理装置４００は、例えば、第１の画像に対してトーンマッピング処理等の階調変換処理を実行することにより、第１の階調変換画像を生成する。この場合、係る第１の画像は低解像度のマルチスペクトル画像であってもよいので、階調変換処理に要する計算コストは比較的低い。
【０１１３】  また、画像処理装置４００は、第２の画像の階調に関する特徴情報と、上記第１の階調変換画像の階調と用いて、上記第１の画像を調整することにより、上記合成画像を生成する。上記第２の画像は、例えば、パンクロマチック画像であってもよい。
【０１１４】  画像処理装置４００は、第１の画像（例えばマルチスペクトル画像）あるいは第２の画像（例えばパンクロマチック画像）の階調（例えば輝度の階調）に基づいた適切な階調を有する合成画像を生成することが可能である。なぜならば、画像処理装置４００は、例えば、高解像度の第２の画像に含まれる特徴情報と、トーンマッピング等の階調変換が行われる前の元の第１画像とに基づいて、上記特徴情報を生成するからである。そして、画像処理装置４００は、係る特徴情報と、上記第１の階調変換画像の階調とに基づいて、上記第１の画像を調整するからである。また、画像処理装置４００は、解像度が高い画像を直接的な対象とした階調変換処理を実行する必要がないことから、合成画像の生成に要する計算コストを削減可能である。即ち、画像処理装置４００は、合成画像を効率的に生成可能である。
【０１１５】  以上より、本実施形態における画像処理装置４００は、解像度が異なる複数の画像（例えば、上記第１の画像と第２の画像）を用いて、適切な階調を有する高解像度の画像（例えば、上記合成画像）を効率的に生成することが可能である。
【０１１６】  ＜第２の実施形態の変形例＞  上記第２の実施形態の変形例について説明する。なお、以下の説明において、上記第２の実施形態と同様の構成については、同様の参照番号を付すことにより、詳細な説明を省略する。
【０１１７】  本変形例における画像処理装置４００は、図５に例示するように、特徴情報生成部（特徴情報生成手段）４０３を更に備えてもよい。なお、階調調整画像生成部４０１及び合成画像生成部４０２は、上記第２の実施形態と同様としてもよい。
【０１１８】  特徴情報生成部４０３は、上記第１及び第２の画像の階調を抽出し、上記第２の画像の階調を上記第１の画像の階調の範囲に合せて変換することにより、第２の階調変換画像を生成する。特徴情報生成部４０３は、生成した上記第２の階調変換画像における局所的な階調の変化の程度を上記特徴情報として抽出する。係る特徴情報生成部４０３は、例えば、上記第１の実施形態における局所的特徴抽出部１０５に相当してもよい。なお、本変形例において、合成画像生成部４０２は、特徴情報生成部４０３が生成した上記特徴情報を用いて、上記合成画像を生成してもよい。
【０１１９】  本変形例における特徴情報生成部４０３は、例えば、輝度マッチング処理等を実行することにより、第２の画像の階調を、第１の画像の階調の範囲に合せて適切に変換し、第２の階調変換画像を生成可能である。なぜならば、係る第１の画像は、トーンマッピング等の階調変換処理が実行されていないことから、例えば、第１の画像の階調と、第２の画像の階調との間の相関関係が保たれているからである。また、本変形例における特徴情報生成部４０３は、第２の階調変換画像における局所的な階調の変化の程度を、上記特徴情報として抽出する。
【０１２０】  合成画像生成部４０２は、高解像度な第２の階調変換画像の局所的な特徴を表す特徴情報と、トーンマッピング等により階調が変換（圧縮）された第１の階調変換画像とを用いて、高解像度な輝度情報（例えば、上記出力輝度調整情報）を生成可能である。そして、合成画像生成部４０２は、係る高解像度な輝度情報と、上記第１の画像とに基づいて、上記合成画像を生成する。以上より本変形例における画像処理装置４００は、マルチスペクトル画像及びパンクロマチック画像の階調（例えば輝度の階調）に基づいた適切な階調を有する合成画像を生成可能である。また、本変形例における画像処理装置４００は、上記第２の実施形態と同様の構成を有することから、上記第２の実施形態における画像処理装置４００と同様の効果を奏する。
【０１２１】    ＜ハードウェア及びソフトウェア・プログラム（コンピュータ・プログラム）の構成＞  以下、上記説明した各実施形態を実現可能なハードウェア構成について説明する。
【０１２２】  以下の説明においては、上記各実施形態において説明した画像処理装置（１００、４００）をまとめて、単に「画像処理装置」と称する。またこれら画像処理装置の各構成要素を、単に「画像処理装置の構成要素」と称する。
【０１２３】  上記各実施形態において説明した画像処理装置は、１つ又は複数の専用のハードウェア装置により構成されてもよい。その場合、上記各図（図１、図４、及び図５）に示した各構成要素は、その一部又は全部を統合したハードウェア（処理ロジックを実装した集積回路あるいは記憶デバイス等）を用いて実現されてもよい。
【０１２４】  画像処理装置が専用のハードウェアにより実現される場合、係る画像処理装置の構成要素は、例えば、それぞれの機能を提供可能な回路機構（例えば、ＳｏＣ（Ｓｙｓｔｅｍ  ｏｎ  ａ  Ｃｈｉｐ）等の集積回路）を用いて実装されてもよい。この場合、画像処理装置の構成要素が保持するデータは、例えば、ＳｏＣとして統合されたＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）領域やフラッシュメモリ領域、あるいは、当該ＳｏＣに接続された記憶デバイス（半導体記憶装置等）に記憶されてもよい。また、この場合、画像処理装置の各構成要素を接続する通信回線としては、周知の通信バスを採用してもよい。また、各構成要素を接続する通信回線はバス接続に限らず、それぞれの構成要素間をピアツーピアで接続してもよい。画像処理装置を複数のハードウェア装置により構成する場合、それぞれのハードウェア装置の間は、任意の通信手段（有線、無線、またはそれらの組み合わせ）により通信可能に接続されていてもよい。
【０１２５】  また、上述した画像処理装置又はその構成要素は、図６に例示するような汎用のハードウェアと、係るハードウェアによって実行される各種ソフトウェア・プログラム（コンピュータ・プログラム）とによって構成されてもよい。この場合、画像処理装置は、任意の数の、汎用のハードウェア装置及びソフトウェア・プログラムにより構成されてもよい。即ち、画像処理装置を構成する構成要素毎に、個別のハードウェア装置が割り当てられてもよく、複数の構成要素が、一つのハードウェア装置を用いて実現されてもよい。
【０１２６】  図６における演算装置６０１は、汎用のＣＰＵ（中央処理装置：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やマイクロプロセッサ等の演算処理装置である。演算装置６０１は、例えば後述する不揮発性記憶装置６０３に記憶された各種ソフトウェア・プログラムを記憶装置６０２に読み出し、係るソフトウェア・プログラムに従って処理を実行してもよい。例えば、上記各実施形態における画像処理装置の構成要素は、演算装置６０１により実行されるソフトウェア・プログラムとして実現されてもよい。
【０１２７】  記憶装置６０２は、演算装置６０１から参照可能な、ＲＡＭ等のメモリ装置であり、ソフトウェア・プログラムや各種データ等を記憶する。なお、記憶装置６０２は、揮発性のメモリ装置であってもよい。
【０１２８】  不揮発性記憶装置６０３は、例えば磁気ディスクドライブや、フラッシュメモリによる半導体記憶装置のような、不揮発性の記憶装置である。不揮発性記憶装置６０３は、各種ソフトウェア・プログラムやデータ等を記憶可能である。
【０１２９】  ネットワークインタフェース６０６は、通信ネットワークに接続するインタフェース装置であり、例えば有線及び無線のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）接続用インタフェース装置や、ＳＡＮ接続用インタフェース装置等を採用してもよい。
【０１３０】  ドライブ装置６０４は、例えば、後述する記録媒体６０５に対するデータの読み込みや書き込みを処理する装置である。
【０１３１】  記録媒体６０５は、例えば光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な任意の記録媒体である。
【０１３２】  入出力インタフェース６０７は、外部装置との間の入出力を制御する装置である。
【０１３３】  上述した各実施形態を例に説明した本発明における画像処理装置（あるいはその構成要素）は、例えば、図６に例示するハードウェア装置に対して、上記各実施形態において説明した機能を実現可能なソフトウェア・プログラムを供給することにより、実現されてもよい。より具体的には、例えば、係る装置に対して供給したソフトウェア・プログラムを、演算装置６０１が実行することによって、本発明が実現されてもよい。この場合、係るハードウェア装置で稼働しているオペレーティングシステムや、データベース管理ソフト、ネットワークソフト、仮想環境基盤等のミドルウェアなどが各処理の一部を実行してもよい。
【０１３４】  更に、上記ソフトウェア・プログラムは記録媒体６０５に記録されてもよい。この場合、上記ソフトウェア・プログラムは、上記画像処理装置等の出荷段階、あるいは運用段階等において、適宜ドライブ装置６０４を通じて不揮発性記憶装置６０３に格納されるよう構成されてもよい。
【０１３５】  なお、上記の場合において、上記ハードウェアへの各種ソフトウェア・プログラムの供給方法は、出荷前の製造段階、あるいは出荷後のメンテナンス段階等において、適当な治具を利用して当該装置内にインストールする方法を採用してもよい。また、各種ソフトウェア・プログラムの供給方法は、インターネット等の通信回線を介して外部からダウンロードする方法等のように、現在では一般的な手順を採用してもよい。
【０１３６】  そして、このような場合において、本発明は、係るソフトウェア・プログラムを構成するコード、あるいは係るコードが記録されたところの、コンピュータ読み取り可能な記録媒体によって構成されると捉えることができる。この場合、係る記録媒体は、ハードウェア装置と独立した媒体に限らず、ＬＡＮやインターネットなどにより伝送されたソフトウェア・プログラムをダウンロードして記憶又は一時記憶した記録媒体を含む。
【０１３７】  また、上述した画像処理装置は、図６に例示するハードウェア装置を仮想化した仮想化環境と、当該仮想化環境において実行される各種ソフトウェア・プログラム（コンピュータ・プログラム）とによって構成されてもよい。この場合、図６に例示するハードウェア装置の構成要素は、当該仮想化環境における仮想デバイスとして提供される。なお、この場合も、図６に例示するハードウェア装置を物理的な装置として構成した場合と同様の構成にて、本発明を実現可能である。
【０１３８】  以上、本発明を、上述した模範的な実施形態に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施形態に記載した範囲には限定されない。当業者には、係る実施形態に対して多様な変更又は改良を加えることが可能であることは明らかである。そのような場合、係る変更又は改良を加えた新たな実施形態も、本発明の技術的範囲に含まれ得る。更に、上述した各実施形態、あるいは、係る変更又は改良を加えた新たな実施形態を組み合わせた実施形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、請求の範囲に記載した事項から明らかである。  この出願は、２０１５年９月１日に出願された日本出願特願２０１５−１７１８７５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１３９】  １００  画像処理装置  １０１  拡大処理部  １０２  輝度抽出部  １０３  トーンマッピング処理部  １０４  拡大処理部  １０５  局所的特徴抽出部  １０６  出力輝度算出部  １０７  画像合成部  ２００  入力装置  ２０１  マルチスペクトル画像入力部  ２０２  パンクロマチック画像入力部  ４００  画像処理装置  ４０１  階調調整画像生成部  ４０２  合成画像生成部  ４０３  特徴情報生成部
【図１】
2017038090.tif 000015
【図２】
2017038090.tif 000016
【図３】
2017038090.tif 000017
【図４】
2017038090.tif 000018
【図５】
2017038090.tif 000019
【図６】
2017038090.tif 000020
【図７】
2017038090.tif 000021
【手続補正書】
【提出日】平成30年2月6日(2018.2.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１以上の色情報を有する第１の画像の階調を変換することにより第１の階調変換画像を生成する階調調整画像生成手段と、
前記第１の画像と、前記第１の画像より解像度が高い第２の画像と、に基づいて生成された、前記第２の画像の階調に関する特徴情報と、前記第１の階調変換画像の階調とを用いて、前記第１の画像を調整することにより、１以上の色情報を有し、少なくとも前記第１の画像よりも解像度が高い画像である合成画像を生成する合成画像生成手段と、
を備える画像処理装置。
【請求項２】
前記合成画像生成手段は、前記第２の画像の階調を前記第１の画像の階調の範囲に合せて変換した第２の階調変換画像に基づいて生成された前記特徴情報と、前記第１の階調変換画像の階調と、を用いて、前記第１の画像を調整することにより、前記合成画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
階調調整画像生成手段は、前記第１の画像をトーンマッピング処理することにより、前記第１の画像の階調を特定の階調の範囲に圧縮し、階調が圧縮された前記第１の画像を前記第２の画像の解像度に変換することにより、前記第１の階調変換画像を生成する
請求項２に記載の画像処理装置。
【請求項４】
前記合成画像生成手段は、前記トーンマッピング処理が実行されていない前記第１の画像の解像度を前記第２の画像の解像度に変換し、
前記第２の画像の階調に関する前記特徴情報と、前記第１の階調変換画像の階調とを用いて、当該解像度が変換された前記第１の画像の階調を調整することにより、前記合成画像を生成する
請求項３に記載の画像処理装置。
【請求項５】
前記第１及び第２の画像の階調を抽出し、前記第２の画像の階調を前記第１の画像の階調の範囲に合せて変換することにより、前記第２の階調変換画像を生成し、生成した前記第２の階調変換画像における局所的な階調の変化の程度を前記特徴情報として抽出する特徴情報生成手段を更に備え、
前記合成画像生成手段は、前記特徴情報生成手段が生成した前記特徴情報を用いて、前記合成画像を生成する
請求項４に記載の画像処理装置。
【請求項６】
前記特徴情報生成手段は、前記第２の階調変換画像に含まれる画素毎に、当該画素を含む複数の画素の階調に基づいて算出した大域的な特徴量と、当該画素の階調と、に基づいて、当該画素に関する局所的な特徴量である前記特徴情報を生成する
請求項５に記載の画像処理装置。
【請求項７】
前記特徴情報生成手段は、前記第２の階調変換画像に含まれる画素毎に、前記第２の階調変換画像を平滑化することにより算出した大域的な特徴量と、当該画素の階調とに基づいて、当該画素に関する局所的な特徴量である前記特徴情報を生成する
請求項５に記載の画像処理装置。
【請求項８】
前記特徴情報生成手段は、前記第２の階調変換画像に含まれる画素の階調を、前記第２の階調変換画像における輝度の大域的な特徴を表す大域的特徴量と、前記第２の階調変換画像における輝度の局所的な特徴量を表す局所的特徴量とに分解し、当該画素の輝度と、前記大域的特徴量とに基づいて、前記局所的特徴量を前記特徴情報として算出する
請求項５に記載の画像処理装置。
【請求項９】
１以上の色情報を有する第１の画像に含まれる画素の階調を変換することにより第１の階調変換画像を生成し、
前記第１の画像と、前記第１の画像より解像度が高い第２の画像と、に基づいて生成された、前記第２の画像の階調に関する特徴情報と、前記第１の階調変換画像及び前記第１の画像と、を用いて、１以上の色情報を有し、少なくとも前記第１の画像よりも解像度が高い画像である合成画像を生成する
画像処理方法。
【請求項１０】
１以上の色情報を有する第１の画像に含まれる画素の階調を変換することにより第１の階調変換画像を生成する処理と、
前記第１の画像と、前記第１の画像より解像度が高い第２の画像と、に基づいて生成された、前記第２の画像の階調に関する特徴情報と、前記第１の階調変換画像及び前記第１の画像と、を用いて、１以上の色情報を有し、少なくとも前記第１の画像よりも解像度が高い画像である合成画像を生成する処理と、をコンピュータに実行させる
画像処理プログラム。
【国際調査報告】
2017038090.tif 000022
2017038090.tif 000023
2017038090.tif 000024
2017038090.tif 000025