(57)【要約】  様々のセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画質に改善することができる画像処理システムを提供する。画像処理システムは、入力画像から所望の勾配を算出する勾配算出部と；入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出部と；所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新部と；出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新して出力画像を得る画素値制約部と；を備える。
2017077680.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から所望の勾配を算出する勾配算出部と、
前記入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出部と、
前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新部と、
前記出力画像が取りうる範囲内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約部と、
を備える画像処理システム。
【請求項２】
前記指示関数算出部は、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出し、
前記画素値制約部は、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得る、
請求項１に記載の画像処理システム。
【請求項３】
前記指示関数算出部は、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出し、
前記画素値制約部は、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得る、
請求項１に記載の画像処理システム。
【請求項４】
前記指示関数算出部は、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出し、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出し、
前記画素値制約部は、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得る、
請求項１に記載の画像処理システム。
【請求項５】
種々のセンサより取得された入力画像を解析して、出力画像を得る画像処理システムの画像処理方法であって、
勾配算出部が、前記入力画像から所望の勾配を算出する勾配算出工程と、
指示関数算出部が、前記入力画像に対して、前記出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出工程と、
画素値更新部が、前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新工程と、
画素値制約部が、前記出力画像が取りうる範囲内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約工程と、
を含む画像処理方法。
【請求項６】
前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出し、
前記画素値制約工程では、前記画素値制約部が、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得る、
請求項５に記載の画像処理方法。
【請求項７】
前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出し、
前記画素値制約工程では、前記画素値制約部が、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得る、
請求項５に記載の画像処理方法。
【請求項８】
前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出し、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出し、
前記画素値制約工程では、前記画素値制約部が、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得る、
請求項５に記載の画像処理方法。
【請求項９】
コンピュータに、種々のセンサより取得された入力画像を解析して、出力画像を得させる画像処理システムの画像処理プログラムを記録した記録媒体であって、前記画像処理プログラムは前記コンピュータに、
前記入力画像から所望の勾配を算出する勾配算出手順と、
前記入力画像に対して、前記出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出手順と、
前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新手順と、
前記出力画像が取りうる範囲内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約手順と、
を実行させる画像処理プログラム記録媒体。
【請求項１０】
前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出させ、
前記画素値制約手順は、前記コンピュータに、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得させる、
請求項９に記載の画像処理プログラム記録媒体。
【請求項１１】
前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出させ、
前記画素値制約手順は、前記コンピュータに、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得させる、
請求項９に記載の画像処理プログラム記録媒体。
【請求項１２】
前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出させ、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出させ、
前記画素値制約手順は、前記コンピュータに、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得させる、
請求項９に記載の画像処理プログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、画像処理システム、画像処理方法、および画像処理プログラム記録媒体に関する。
【背景技術】
【０００２】
昨今、様々な画像合成手法が開発されている。また、様々な設定（例えば露光量や露出時間）で動作する様々なカメラがあり、それらカメラは波長帯域に対する様々な感度特性で画像を取得する。また、同一の設定のカメラでも、撮影時にフラッシュを焚くか焚かないかで、実質的に異なる画像を取得する。【０００３】
また、様々な目的対象を撮像するために、各々適したセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視光センサを用いた監視カメラが広く普及している。一方、夜間における監視に対して、近赤外線カメラや遠赤外線カメラなどの非可視光センサを用いたカメラも広く普及している。また、他のカメラとして、近紫外線カメラも市販されている。或いは、他のカメラとして、テラヘルツ波や電波など可視光の波長領域よりも長い波長をイメージングするデバイスも市販されている。【０００４】
このような背景の中、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画像に改善することが必要になる。非特許文献１は、このような用途に有用な画像処理として、画像の勾配情報（隣接間の差分値）に基づいた処理を行う方法を開示している。【０００５】
この非特許文献１に開示された方法では、後で図１を参照して詳細に説明するように、参照する画像群から目的となる勾配を算出し、目的となる勾配と出力画像の勾配とが一致するように、入力画像の画素値を更新して出力画像を得ている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Perez, Patrick, Michel Gangnet, and Andrew Blake. "Poisson image editing." ACM Transactions on Graphics (TOG). Vol. 22. No. 3. ACM, 2003.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の方法では、出力画像の絶対値（画素値）そのものに対する制約がない。このため、特許文献１の方法では、細部の構造の潰れ、白潰れ、黒とび或いはハロー効果やリンギングなどのアーチファクトが生じるという課題がある。【０００８】
本発明の目的は、上述した課題を解決する、画像処理システム、画像処理方法、画像処理プログラム記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理システムは、入力画像から所望の勾配を算出する勾配算出部と、入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出部と、所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新部と、出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値をして前記出力画像を得る画素値制約部と、を備える。【００１０】
本発明の画像処理方法は、種々のセンサより取得された入力画像を解析して、出力画像を得る画像処理システムの画像処理方法であって、勾配算出部が、入力画像から所望の勾配を算出する勾配算出工程と、指示関数算出部が、入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出工程と、画素値更新部が、所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新工程と、画素値制約部が、出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新して出力画像を得る画素値制約工程と、を含む。【００１１】
本発明の画像処理プログラム記録媒体は、コンピュータに、種々のセンサより取得された入力画像を解析して、出力画像を得させる画像処理システムの画像処理プログラムを記録した記録媒体であって、コンピュータに、入力画像から所望の勾配を算出する勾配算出手順と、入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出手順と、所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新手順と、出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新して出力画像を得る画素値制約手順と、を実行させる画像処理プログラムを記録する。
【発明の効果】
【００１２】
本発明によれば、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画質に改善することができる。
【図面の簡単な説明】
【００１３】
【図１】非特許文献１に開示された関連技術の画像処理システムの概略構成を示すブロック図である。
【図２】本発明によって解決すべき課題を示す図である。
【図３】本発明の第１の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【図４】図２に示した画像処理システムの動作を説明するためのフローチャートである。
【図５】図２に示した画像処理システムによる効果を示す図である。
【図６】本発明の第２の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
［関連技術］
まず、本発明の理解を容易にするために、上記非特許文献１に開示された関連技術の画像処理システムについて説明する。
【００１５】
図１は、非特許文献１に記載された、関連技術の画像処理システムを示すブロック図である。非特許文献１に記載された画像処理システムは、画像入力部１００、勾配算出部２０１、画素値更新部２０２、および画像出力部３００から成る。
【００１６】
画像入力部１００には、１枚以上の画像群が入力される。そして、画像入力部１００は、入力された画像をメモリ（図示せず）等に記録する。
【００１７】
勾配算出部２０１は、参照する画像群から目的となる勾配を算出する。
【００１８】
画素値更新部２０２は、目的となる勾配と出力画像の勾配とが一致するように、入力画像の画素値を更新して出力画像を得る。
【００１９】
具体的には、画素値更新部２０２は、例えば、以下の数１を最小化させるように、画素値を下記の数２のように更新する。
【００２０】
【数１】
2017077680.tif 000003
【００２１】
【数２】
2017077680.tif 000004
【００２２】
なお、ここで、
【数３】
2017077680.tif 000005
は出力画像のi番目の画素値を表し、
【数４】
2017077680.tif 000006
は出力画像のi番目の画素の勾配を表し、
【数５】
2017077680.tif 000007
は目的となる画像の画素iにおける勾配を表し、
【数６】
2017077680.tif 000008
は、利用者があらかじめ定めた、更新に関するパラメータを表す。
【００２３】
画像出力部３００では、ディスプレイなどへ出力画像を出力する。
【００２４】
しかしながら、図１に示した非特許文献１の画像処理システムでは、出力画像の絶対値（画素値）そのものに対する制約がない。このため、図１に示した特許文献１の画像処理システムでは、細部の構造の潰れ、白潰れ、黒とび或いはハロー効果やリンギングなどのアーチファクトを生じるという欠点がある。
【００２５】
次に、本発明が解決しようとする課題を、図２を用いてより詳細に説明する。
【００２６】
図２に図示された入力画像は、ダイナミックレンジ（暗部と明部の差）が大きい。このため、非特許文献１に開示された関連手法を用いて図２の入力画像を処理した場合、処理して得られた出力画像に白とびや黒潰れが発生する。
【００２７】
［実施の形態] 
次に、発明を実施するための形態について図面を参照して詳細に説明する。
【００２８】
[第１の実施の形態の構成の説明]
図３は、本発明の第１の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【００２９】
図３を参照すると、本発明の第１の実施の形態に係る画像処理システムは、画像入力部１００と、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）２００と、画像出力部３００とから成る。
【００３０】
図示の画像処理システムは、種々のセンサより取得された入力画像を解析して、出力画像を得るシステムである。
【００３１】
コンピュータ（中央処理装置；プロセッサ；データ処理装置）２００は、勾配算出部２０１と、画素値更新部２０２と、指示関数算出部２０３と、画素値制約部２０４とから成る。
【００３２】
すなわち、図示の画像処理システムは、図１に示した関連技術の画像処理システムに、指示関数算出部２０３と画素値制約部２０４とを更に付加した構成をしている。
【００３３】
これらの手段は、それぞれ概略、次のように動作する。
【００３４】
画像入力部１００には、カメラなどによって得られた画像が入力される。入力する画像としては、カラー画像とその他のセンサから取得された画像とを別々に入力してもよい。そして、画像入力部１００は、入力された画像をメモリ（図示せず）等に記録する。
【００３５】
ここで、以下では、入力カラー画像としてＲＧＢ画像を考えた場合、i番目の画素の赤，緑，青の画素値をRi，Gi，Biと表すこととする。また、これらの成分をまとめて、
【数７】
2017077680.tif 000009
と表すこととする。さらに、入力カラー画像以外の他のセンサから取得された画像が存在する場合には、その画像についても、i番目の画素の画素値を下付き添え字を用いて表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明すると、i番目の近赤外画像の画素値をNiと表せばよい。
【００３６】
また、出力画像についても入力画像と同様に、各画素の画素値をラスタスキャン順に並べた行列により表すこととする。より具体的には、出力カラー画像としてＲＧＢ画像を考えた場合、i番目の画素の赤，緑，青の画素値をRi，Gi，Biと表すこととする。
【００３７】
画像出力部３００は、再構成画像（出力画像）を出力する出力装置である。画像出力部３００は、例えば、ディスプレイ装置などによって実現される。
【００３８】
勾配算出部２０１は、画像入力部１００にて入力した入力画像から、所望とする勾配を決定する。勾配を決定する方法としては、例えば、単純にある入力画像の勾配を定数倍してもよいし、何らかの方法で勾配を正規化してもよいし、あるいは２つ以上の画像から勾配を重み付の和として表してもよい。例えば、画像強調の場合には、勾配算出部２０１は、入力画像の勾配を定数倍し、これを所望の勾配とすればよい。
【００３９】
画素値更新部２０２は、目的となる勾配と出力画像の勾配とが近くなるように、入力画像の画素値を更新して、更新画像を出力する。具体的には、前述したように、画素値更新部２０２は、例えば、上記数１を最小化させるように、入力画像の画素値を上記数２のように更新する。すなわち、本発明の実施形態における画素値更新部２０２は、前述した関連技術と同様でよい。
【００４０】
なお、本第１の実施の形態では、画素値更新部２０２は、目的となる勾配と出力画像の勾配が近くなるように、出力画像の画素値の値を更新する方法について述べたが、本第１の実施の形態はこれに限定されない。例えば、超解像、ノイズ除去、インペインティングなどで使用する再構成制約（或いはデータ項、或いは忠実項とも呼ばれる）に相当する項を採用し、これに対応する画素値の更新方法を、画素値更新部２０２が行ってもよい。
【００４１】
指示関数算出部２０３は、白潰れや黒とび、あるいはリンギングやハロー効果などを抑制するために、出力画像の画素値が取りうる範囲を制約する定義域を規定するための、指示関数を算出する。指示関数を算出する方法としては、例えば、下記の数３に示すように、入力画像に対して画像全体で一様な指示関数を用いてもよい。
【００４２】
【数８】
2017077680.tif 000010
【００４３】
その代わりに、指示関数を算出する方法としては、下記の数４に示すように、入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を用いてもよい。
【００４４】
【数９】
2017077680.tif 000011
【００４５】
また、指示関数算出部２０３は、入力画像に対して画像全体において同じ関数を用いる必要はない。例えば、指示関数算出部２０３は、指示関数として、入力画像の一部分に対して、画像全体で一様な指示関数を用い、入力画像の残りの部分に対して、画素毎に適応的な指示関数を用いてもよい。いずれにせよ、指示関数算出部２０３で算出された指示関数は、何らかの意味において、出力画像の画素値が取りうる範囲を規定する関数であればなんでもよい。
【００４６】
なお、本第１の実施形態では、画像全体で同一の指示関数、或いは画素毎に適応的な指示関数を用いる場合について述べたが、本第１の実施の形態はこれに限定されない。例えば、指示関数の替わりに、以下の数５のような関数を用いて、画素値が取りうる範囲を規定してもよい。
【００４７】
【数１０】
2017077680.tif 000012
【００４８】
ただし、λは利用者があらかじめ定義するパラメータである。また、Ziは、ガイドとなる画像であり、例えばエッジ保存型の空間フィルタを用いて、このZiを算出してもよい。このような指示関数を用いることで、画像中のノイズを抑制しつつ、画素値を定義域内に収まるように、再構成画像を合成することができる。
【００４９】
画素値制約部２０４は、定義した指示関数に応じて、出力画像の画素値が定義域内に収まるように、更新画像の画素値を更新して、出力画像を得る。更新する方法としては、例えば、下記の数６に示すように、画像全体で一様な指示関数を用いて、更新画像を更新してもよい。
【００５０】
【数１１】
2017077680.tif 000013
【００５１】
その代わりに、更新する方法として、下記の数７のように、注目画素の極小値と極大値とから定まる画素毎に適応的な指示関数に対応して、更新画像の画素値の更新量を決定してもよい。
【００５２】
【数１２】
2017077680.tif 000014
【００５３】
また、画素値制約部２０４は、画像全体において同じ指示関数を用いる必要はない。例えば、画素値制約部２０４は、入力画像の一部分に対しては、画像全体で一様な指示関数に対応して更新画像の画素値の更新を行い、入力画像の残りの部分に対しては、画素毎に適応的な指示関数に対応して更新画像の画素値の更新を行ってもよい。いずれにせよ、画素値制約部２０４で用いる指示関数は、何らかの意味において、出力画像の画素値が取りうる範囲を規定する関数であればなんでもよい。
【００５４】
[第１の実施の形態の動作の説明]
次に、図４のフローチャートを参照して、本第１の実施の形態に係る画像処理システムの全体の動作について詳細に説明する。
【００５５】
まず、画像入力部１００にて、一つ以上のセンサから取得された入力画像を入力する（ステップＳ２００）。
【００５６】
次に、勾配算出部２０１にて、入力画像から所望の勾配を算出する（ステップＳ２０１）。
【００５７】
次に、指示関数算出部２０３にて、入力画像に対して、出力画像の画素値が取りうる範囲及び基準となる画素値を規定する、指示関数を算出する（ステップＳ２０２）。
【００５８】
さらに、画素値更新部２０２にて、更新画像の勾配を所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する（ステップＳ２０３）。
【００５９】
画素値制約部２０４にて、指示関数算出部２０３にて算出した画素値が取りうる値を満足するように、更新画像の画素値を更新して、出力画像を得る（ステップＳ２０４）。
【００６０】
次に、コンピュータ２００は、出力画像の画素値
【数１３】
2017077680.tif 000015
の値が十分に収束しているかを判定する（ステップＳ２０５）。もしも、十分に出力画像の画素値
【数１４】
2017077680.tif 000016
の値が収束していない場合（ステップＳ２０５のＮｏ）、コンピュータ２００は、再度ステップＳ２０３からＳ２０４までの処理を繰り返し行う（ステップＳ２０５）。
【００６１】
もしも、出力画像の画素値
【数１５】
2017077680.tif 000017
の値が十分に収束していれば（ステップＳ２０５のｙｅｓ）、その画素値からなる出力画像を画像出力部３００にて出力する（ステップＳ２０６）。
【００６２】
[第１の実施の形態の効果の説明] 
次に、本第１の実施の形態の効果について説明する。
【００６３】
本発明の第１の実施の形態によれば、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画質に改善することができる。その理由は、指示関数算出部２０３が、出力画像が取りうる範囲及び基準となる画像の画素値を算出し、画素値制約部２０４が、出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新しているからである。
【００６４】
例えば、本発明の第１の実施の形態の効果の具体的な一例としては、図２に図示された入力画像に対し、図５に図示された出力画像のように、画像全体を１枚の画像で表示可能にすることができる。
【００６５】
尚、画像処理システムの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
【００６６】
上記第１の実施の形態を別の表現で説明すれば、画像処理システムとして動作させるコンピュータを、ＲＡＭに展開された画像処理プログラムに基づき、勾配算出部２０１、画素値更新部２０２、指示関数算出部２０３、および画像値制約部２０４として動作させることで実現することが可能である。
【００６７】
以上説明したように、本発明の第１の実施の形態によれば、出力画像を利用者にとって適した画質に改善することができる。
【００６８】
[第２の実施の形態の構成の説明]
図６は、本発明の第２の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【００６９】
図６を参照すると、本発明の第２の実施の形態に係る画像処理システムは、画像入力部１００と、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）２００Ａと、画像出力部３００とから成る。
【００７０】
図示の画像処理システムは、種々のセンサより取得された入力画像を解析して、出力画像を得るシステムである。
【００７１】
コンピュータ（中央処理装置；プロセッサ；データ処理装置）２００Ａは、勾配算出部２０１と、画素値更新部２０２と、指示関数算出部２０３ａと、画素値制約部２０４と、色情報分離部２０５と、色情報付加部２０６とから成る。
【００７２】
すなわち、図示の画像処理システムは、図３に示した第１の実施の形態に係る画像処理システムに、色情報分離部２０５と、色情報付加部２０６とを更に付加した構成をしていると共に、指示関数算出部の動作が後述のように変更されている。
【００７３】
以下では、各構成の動作について説明する。なお、勾配算出部２０１、画素値更新部２０２、画素値制約部２０４、および画像出力部３００については、第１の実施の形態と同様の動作であるため、それらの説明を省略する。
【００７４】
また、以下では、説明を簡単にするために、画像入力部１００ではカラー画像が入力され、勾配算出部２０１、画素値更新部２０２、及び画素値制約部２０４では、画像の明度成分や輝度成分のみを処理する場合について述べるが、本第２の実施の形態はそれに限定されない。例えば、画像入力部１００では，マルチスペクトル画像が入力されてもよいし、勾配算出部２０１、画素値更新部２０２、及び画素値制約部２０４では、画像の明度成分或いは輝度成分のかわりに、他の成分（例えば彩度成分や色相成分、或いはマルチスペクトル画像のうちの一部のバンド）を処理するのでもよい。
【００７５】
色情報分離部２０５は、画像入力部１００で入力されたカラー画像から、色成分と明度とを分離する。より具体的には、例えば、画像入力部１００にて、カラー画像として、ＲＧＢ色空間で定義された画素値が入力された場合、色情報分離部２０５は、ＲＧＢ色空間にて定義された各画素の画素値を、ＹＵＶ色空間、Ｌａｂ色空間における画素値へ変換する。そして色情報分離部２０５は、ＹＵＶ色空間やＬａｂ色空間で定義された画素値のうちの明度成分、すなわちＹ成分あるいはＬ成分を抽出する。そして、色情報分離部２０５は、色成分として、ＵＶ成分あるいはａｂ成分を抽出することで、明度成分と色成分とを分離すればよい。そして、色情報分離部２０５は、明度成分を勾配算出部２０１へ、色成分を指示関数算出部２０３a及び色情報付加部２０６へ受け渡す。
【００７６】
指示関数算出部２０３aは、色情報分離部２０５にて算出した色成分から、画素毎に、入力画像の色を保存する制約下で明度が取りうる範囲を、指示関数として算出する。例えば、色成分をＬａｂ空間におけるａｂ成分として表した場合、指示関数算出部２０３aは、入力画像の色を保存する制約下でＬが取りうる範囲を算出する。
【００７７】
より具体的には、例えば、ある画素のａｂ成分がａ０及びｂ０であった場合、指示関数算出部２０３aは、まず、明度であるＬの値を、取りうるすべての範囲（すなわち0から100までの間）内にて、離散的にＮだけサンプリングすることで、複数の画素値を得る。以下では、これらサンプリングしたＬａｂ空間における画素値を｛（Ｌ1,ａ０,ｂ０）…（ＬN,ａ０,ｂ０）｝と表す。次に、指示関数算出部２０３aは、これらＬａｂ空間で表された画素値を、ＲＧＢ空間の画素値へ変換する。以下ではこれを、｛（ｒ1,ｇ1,ｂ1）…（ｒＮ,ｇＮ,ｂＮ）｝と表す。次に、指示関数算出部２０３aは、これら変換されたＲＧＢ空間上での画素値のうち、どれか一つの成分が、あらかじめ規定された範囲（すなわち８ビット画像において０から２５５までの範囲）に収まっていない場合、すなわち、どれか一つの成分においても、画素値が飽和している（すなわち８ビット画像において、０以下或いは２５５以上である）場合は、そのサンプルを棄却する。最後に、指示関数算出部２０３aは、棄却されなかった全てのサンプルの中で、明度成分の最小値と最大値をＲｍｉｎ及びＲｍａｘと表し、この範囲を、入力画像の色を保存する制約下で明度が取りうる範囲であるとし、この範囲に基づき指示関数を定義する。なお、この時、画素値更新部２０２において、この指示関数に対応した画素値の更新は、下記の数１６により表される。
【００７８】
【数１６】
2017077680.tif 000018
【００７９】
なお、上記では、指示関数算出部２０３aは、サンプリングされた値から、入力画像の色を保存する制約下で明度が取りうる範囲を算出した場合について述べたが、指示関数算出部２０３aの動作はこれに限定されない。
【００８０】
色情報付加部２０６は、画素値制約部２０４にて得られた明度と、色情報分離部２０５にて得られた色成分とから、カラー画像を合成する。
【００８１】
[第２の実施の形態の効果の説明] 
次に、本第２の実施の形態の効果について説明する。
【００８２】
本第２の実施の形態では、色情報分離部２０５にて分離された色成分をもとに、指示関数算出部２０３aにて、入力画像の色を保存する制約下で明度がとりうる範囲を、指示関数として算出する。そして、その指示関数をもとに、画素値制約部２０４にて明度成分を算出する。そして、算出された明度成分と、入力画像の色成分とから、色情報付加部２０６にて、出力画像を合成する。以上のような構成を有することで、本第２の実施の形態は、入力画像の色成分を保存しながら、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画質に改善することができる。
【００８３】
また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
【００８４】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００８５】
この出願は、２０１５年１１月５日に出願された日本出願特願２０１５−２１７３２８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８６】
１００    画像入力部
２００、２００Ａ    コンピュータ（中央処理装置；プロセッサ；データ処理装置）
２０１    勾配算出部
２０２    画素値更新部
２０３、２０３ａ    指示関数算出部
２０４    画素値制約部
２０５    色情報分離部
２０６    色情報付加部
３００    画像出力部
【図１】
2017077680.tif 000019
【図２】
2017077680.tif 000020
【図３】
2017077680.tif 000021
【図４】
2017077680.tif 000022
【図５】
2017077680.tif 000023
【図６】
2017077680.tif 000024
【手続補正書】
【提出日】平成30年4月20日(2018.4.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像から所望の勾配を算出する勾配算出部と、
前記入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出部と、
前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新部と、
前記出力画像が取りうる範囲内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約部と、
を備える画像処理システム。
【請求項２】
前記指示関数算出部は、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出し、
前記画素値制約部は、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得る、
請求項１に記載の画像処理システム。
【請求項３】
前記指示関数算出部は、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出し、
前記画素値制約部は、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得る、
請求項１に記載の画像処理システム。
【請求項４】
前記指示関数算出部は、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出し、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出し、
前記画素値制約部は、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得る、
請求項１に記載の画像処理システム。
【請求項５】
種々のセンサより取得された入力画像を解析して、出力画像を得る画像処理システムの画像処理方法であって、
勾配算出部が、前記入力画像から所望の勾配を算出する勾配算出工程と、
指示関数算出部が、前記入力画像に対して、前記出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出工程と、
画素値更新部が、前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新工程と、
画素値制約部が、前記出力画像が取りうる範囲内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約工程と、
を含む画像処理方法。
【請求項６】
前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出し、
前記画素値制約工程では、前記画素値制約部が、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得る、
請求項５に記載の画像処理方法。
【請求項７】
前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出し、
前記画素値制約工程では、前記画素値制約部が、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得る、
請求項５に記載の画像処理方法。
【請求項８】
前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出し、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出し、
前記画素値制約工程では、前記画素値制約部が、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得る、
請求項５に記載の画像処理方法。
【請求項９】
コンピュータに、種々のセンサより取得された入力画像を解析して、出力画像を得させる画像処理システムの画像処理プログラムであって、前記コンピュータに、
前記入力画像から所望の勾配を算出する勾配算出手順と、
前記入力画像に対して、前記出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出手順と、
前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新手順と、
前記出力画像が取りうる範囲内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約手順と、
を実行させる画像処理プログラム。
【請求項１０】
前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出させ、
前記画素値制約手順は、前記コンピュータに、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得させる、
請求項９に記載の画像処理プログラム。
【請求項１１】
前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出させ、
前記画素値制約手順は、前記コンピュータに、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得させる、
請求項９に記載の画像処理プログラム。
【請求項１２】
前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出させ、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出させ、
前記画素値制約手順は、前記コンピュータに、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得させる、
請求項９に記載の画像処理プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理技術に関し、画像処理システム、画像処理方法、および画像処理プログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
しかしながら、非特許文献１の方法では、出力画像の絶対値（画素値）そのものに対する制約がない。このため、非特許文献１の方法では、細部の構造の潰れ、白潰れ、黒とび或いはハロー効果やリンギングなどのアーチファクトが生じるという課題がある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の目的は、上述した課題を解決する、画像処理システム、画像処理方法、画像処理プログラムを提供することにある。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の画像処理プログラムは、コンピュータに、種々のセンサより取得された入力画像を解析して、出力画像を得させる画像処理システムの画像処理プログラムを記録した記録媒体であって、コンピュータに、入力画像から所望の勾配を算出する勾配算出手順と、入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出手順と、所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新手順と、出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新して出力画像を得る画素値制約手順と、を実行させる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
【図１】非特許文献１に開示された関連技術の画像処理システムの概略構成を示すブロック図である。
【図２】本発明によって解決すべき課題を示す図である。
【図３】本発明の第１の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【図４】図３に示した画像処理システムの動作を説明するためのフローチャートである。
【図５】図３に示した画像処理システムによる効果を示す図である。
【図６】本発明の第２の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
しかしながら、図１に示した非特許文献１の画像処理システムでは、出力画像の絶対値（画素値）そのものに対する制約がない。このため、図１に示した非特許文献１の画像処理システムでは、細部の構造の潰れ、白潰れ、黒とび或いはハロー効果やリンギングなどのアーチファクトを生じるという欠点がある。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
指示関数算出部２０３は、白潰れや黒とび、あるいはリンギングやハロー効果などを抑制するために、出力画像の画素値が取りうる範囲を制約する定義域を規定するための、指示関数を算出する。指示関数を算出する方法としては、例えば、下記の数８に示すように、入力画像に対して画像全体で一様な指示関数を用いてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
その代わりに、指示関数を算出する方法としては、下記の数９に示すように、入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を用いてもよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
なお、本第１の実施形態では、画像全体で同一の指示関数、或いは画素毎に適応的な指示関数を用いる場合について述べたが、本第１の実施の形態はこれに限定されない。例えば、指示関数の替わりに、以下の数１０のような関数を用いて、画素値が取りうる範囲を規定してもよい。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
画素値制約部２０４は、定義した指示関数に応じて、出力画像の画素値が定義域内に収まるように、更新画像の画素値を更新して、出力画像を得る。更新する方法としては、例えば、下記の数１１に示すように、画像全体で一様な指示関数を用いて、更新画像を更新してもよい。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
その代わりに、更新する方法として、下記の数１２のように、注目画素の極小値と極大値とから定まる画素毎に適応的な指示関数に対応して、更新画像の画素値の更新量を決定してもよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
上記第１の実施の形態を別の表現で説明すれば、画像処理システムとして動作させるコンピュータを、ＲＡＭに展開された画像処理プログラムに基づき、勾配算出部２０１、画素値更新部２０２、指示関数算出部２０３、および画素値制約部２０４として動作させることで実現することが可能である。
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2017077680.tif 000025
【国際調査報告】
2017077680.tif 000026
2017077680.tif 000027
2017077680.tif 000028
2017077680.tif 000029