(57)【要約】【課題】チャート画像が歪んで撮影されたチャート撮影画像からでも、パッチ情報を適切に抽出可能とする。【解決手段】チャート撮影画像に対し、変換行列算出部104がチャート画像を射影変換するための変換行列を算出する。そしてパッチ位置情報算出部105が、該変換行列を用いた射影変換により、チャート画像におけるパッチの位置に対応する、チャート撮影画像におけるパッチの位置を取得する。そしてパッチ抽出範囲設定部106が、チャート撮影画像におけるパッチの位置に基づき、チャート撮影画像における各パッチからパッチ情報を抽出する抽出範囲を設定する。そしてさらに、チャート撮影画像における抽出範囲がパッチの内部に収まる場合に、抽出範囲からパッチ情報を抽出する。【選択図】  図1
2016021148.tif 000002
【特許請求の範囲】
【請求項１】
チャートを撮影したチャート撮影画像を入力する入力手段と、
前記チャートを出力するためのチャート画像を保持する保持手段と、
前記チャート画像を前記チャート撮影画像に射影変換して、前記チャート画像におけるパッチの位置に対応する、前記チャート撮影画像におけるパッチの位置を取得する取得手段と、
前記チャート撮影画像におけるパッチの位置に基づき、前記チャート撮影画像における各パッチからパッチ情報を抽出する抽出範囲を設定する設定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
さらに、前記チャート撮影画像における抽出範囲がパッチの内部に収まる場合に、前記抽出範囲からパッチ情報を抽出する抽出手段、を有することを特徴とする請求項1に記載の画像処理装置。
【請求項３】
前記設定手段は、前記チャート撮影画像における全てのパッチに対して単一サイズの抽出範囲を設定し、
前記抽出手段は、前記抽出範囲が前記チャート撮影画像における全てのパッチの内部に収まる場合に、各パッチの前記抽出範囲からパッチ情報を抽出する、
ことを特徴とする請求項2に記載の画像処理装置。
【請求項４】
さらに、前記抽出範囲が少なくとも1つのパッチの内部に収まらない場合に、前記チャート撮影画像の再撮影をユーザに促すメッセージを出力する出力手段を有することを特徴とする請求項2または3に記載の画像処理装置。
【請求項５】
前記設定手段は、前記抽出範囲が少なくとも1つのパッチの内部に収まらない場合に、前記抽出範囲を縮小することを特徴とする請求項2に記載の画像処理装置。
【請求項６】
さらに、前記抽出範囲が少なくとも1つのパッチの内部に収まらない場合に、前記抽出範囲を縮小する許可をユーザに求めるメッセージを出力する出力手段を有することを特徴とする請求項5に記載の画像処理装置。
【請求項７】
前記設定手段は、前記抽出範囲が少なくとも1つのパッチの内部に収まらない場合に、前記チャート撮影画像のパッチ毎に前記抽出範囲を再設定することを特徴とする請求項2に記載の画像処理装置。
【請求項８】
さらに、前記抽出範囲が少なくとも1つのパッチの内部に収まらない場合に、前記チャート撮影画像のパッチ毎に前記抽出範囲を再設定する許可をユーザに求めるメッセージを出力する出力手段を有することを特徴とする請求項7に記載の画像処理装置。
【請求項９】
チャートを撮影したチャート撮影画像を入力する入力手段と、
前記チャートを出力するためのチャート画像を保持する保持手段と、
前記チャート撮影画像を前記チャート画像に射影変換して、前記チャート撮影画像における各パッチからパッチ情報を抽出する抽出範囲を、前記チャート画像におけるパッチの位置に基づいて設定する設定手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
さらに、前記設定手段で設定された、前記チャート撮影画像における前記抽出範囲からパッチ情報を抽出する抽出手段、を有することを特徴とする請求項9に記載の画像処理装置。
【請求項１１】
さらに、前記チャート撮影画像における各パッチ領域に含まれるノイズ量を算出する算出手段と、
所定量以上のノイズを含むパッチ領域に対してノイズ除去処理を行うノイズ除去手段と、を有し、
前記設定手段は、前記ノイズ除去処理が施された前記チャート撮影画像に対し、前記射影変換を行うことを特徴とする請求項10に記載の画像処理装置。
【請求項１２】
前記算出手段は、パッチ領域内の画素値の分散を前記ノイズ量として算出することを特徴とする請求項11に記載の画像処理装置。
【請求項１３】
前記ノイズ除去手段は、パッチ領域内の画素値の平均値との差分が所定値以上である前記パッチ領域内の画素の値を、該平均値に置き換えることを特徴とする請求項12に記載の画像処理装置。
【請求項１４】
さらに、前記チャート撮影画像における前記チャート画像の対応領域を、ユーザインタフェースを介したユーザ指示に基づいて特定する特定手段を有し、
前記取得手段は、前記対応領域に基づいて、前記射影変換に用いる変換行列を算出することを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
【請求項１５】
前記特定手段は、前記チャート撮影画像における前記対応領域の頂点の位置情報を、前記ユーザ指示に基づいて特定することを特徴とする請求項14に記載の画像処理装置。
【請求項１６】
さらに、前記抽出手段が抽出した、前記チャート撮影画像における全てのパッチ領域のパッチ情報を、前記チャートを出力したデバイスの出力特性として保持するデバイス特性保持手段、を有することを特徴とする請求項2または10に記載の画像処理装置。
【請求項１７】
チャートを出力するためのチャート画像を保持手段に保持し、前記チャートを撮影したチャート撮影画像からパッチ情報を抽出する画像処理装置における画像処理方法であって、
前記チャート撮影画像を入力する入力ステップと、
前記チャート画像を前記チャート撮影画像に射影変換して、前記チャート画像におけるパッチの位置に対応する、前記チャート撮影画像におけるパッチの位置を取得する取得ステップと、
前記チャート撮影画像におけるパッチの位置に基づき、前記チャート撮影画像における各パッチからパッチ情報を抽出する抽出範囲を設定する設定ステップと、
を有することを特徴とする画像処理方法。
【請求項１８】
チャートを出力するためのチャート画像を保持手段に保持し、前記チャートを撮影したチャート撮影画像からパッチ情報を抽出する画像処理装置における画像処理方法であって、
前記チャート撮影画像を入力する入力ステップと、
前記チャート撮影画像を前記チャート画像に射影変換して、前記チャート撮影画像における各パッチ領域からパッチ情報を抽出する抽出範囲を、前記チャート画像におけるパッチの位置に基づいて設定する設定ステップと、
を有することを特徴とする画像処理方法。
【請求項１９】
コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至16のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項２０】
請求項19に記載のプログラムを記憶したことを特徴とするコンピュータ可読な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、チャート撮影画像に含まれるパッチ情報を抽出する技術に関する。
【背景技術】
【０００２】
デバイスの色再現特性を測定する際、デバイスにてパッチを1色ずつ表示または出力して、これを測定する手法がある。例えば、0≦R,G,B≦255の範囲で9スライスしたRGBデータ(729色)をパッチとして順次測定する手法である。しかしながらこの手法では、1色ずつの測定を行うため測定工数を要し、結果的に、1つのデバイスについての色再現特性を測定するために長時間を要していた。
【０００３】
また、デバイスの全ての色再現範囲を含むチャートを表示または出力して、2次元測定器を用いて該チャートを一度に測定する方法があり、チャート測定の自動化に関する方法が提案されている。特許文献1は、既知の背景色を含むチャートを2次元測定器にて取得したチャート撮影画像において、互いに直交する複数の方向に沿って色情報を解析して、チャート領域を抽出する手法を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2008-278054号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献1では、2次元測定器にて取得したチャート撮影画像に含まれるパッチが、直交する方向に配置されていることが前提とされている。そのため、チャート領域を正確に検出できるのは、チャート撮影画像が、チャートに対してほぼ正対する位置で2次元測定器により取得できた場合に限られる。
【０００６】
2次元測定器がチャートに対して完全に正対していない場合には、測定された画像中のチャートに歪みが発生する。歪みのあるチャートにおいて、パッチの抽出範囲を一意に設定すると、抽出範囲がパッチ内部に収まらない場合がある。そのような場合、パッチの特性を精度よく抽出できず、結果的に、デバイスの色特性を高精度に取得できないという問題が発生する。
【０００７】
本発明は上記の問題を鑑み、チャート画像が歪んで撮影されたチャート撮影画像からでも、パッチ情報を適切に抽出できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための一手段として、本発明に係る画像処理装置は以下の構成を備える。
【０００９】
すなわち、チャートを撮影したチャート撮影画像を入力する入力手段と、前記チャートを出力するためのチャート画像を保持する保持手段と、前記チャート画像を前記チャート撮影画像に射影変換して、前記チャート画像におけるパッチの位置に対応する、前記チャート撮影画像におけるパッチの位置を取得する取得手段と、前記チャート撮影画像におけるパッチの位置に基づき、前記チャート撮影画像における各パッチからパッチ情報を抽出する抽出範囲を設定する設定手段と、を有する。
【発明の効果】
【００１０】
本発明によれば、チャート画像が歪んで撮影されたチャート撮影画像からでも、パッチ情報を適切に抽出することができる。
【図面の簡単な説明】
【００１１】
【図１】第1実施形態における画像処理装置の構成を示すブロック図、
【図２】チャート画像とチャート撮影画像の一例を示す図、
【図３】第1実施形態におけるパッチ情報取得処理を示すフローチャート、
【図４】チャート撮影画像におけるチャートの4頂点の抽出例を示す図、
【図５】第1実施形態におけるチャート画像及びチャート撮影画像の4頂点を示す図、
【図６】パッチ抽出範囲の設定例を示す図、
【図７】パッチ抽出範囲の判定処理を説明する図、
【図８】パッチ抽出範囲が隣接パッチに及ぶ例を示す図、
【図９】第1実施形態におけるエラーメッセージの一例を示す図、
【図１０】取得されたデバイス特性の一例を示す図、
【図１１】第2実施形態におけるエラーメッセージ及びパッチ抽出範囲の一例を示す図、
【図１２】第2実施形態におけるエラーメッセージ及びパッチ抽出範囲の一例を示す図、
【図１３】第2実施形態におけるパッチ情報取得処理を示すフローチャート、
【図１４】第3実施形態における画像処理装置の構成を示すブロック図、
【図１５】第3実施形態におけるパッチ情報取得処理を示すフローチャート、
【図１６】第3実施形態におけるチャート画像及びチャート撮影画像の4頂点を示す図、
【図１７】第3実施形態におけるチャート撮影画像の射影変換前後におけるパッチの輝度ヒストグラムの一例を示す図、である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１３】
＜第1実施形態＞
●装置構成
図1は、本実施形態における画像処理装置の構成を示すブロック図である。同図において、撮影画像データ保持部101は、チャート撮影画像を保持するデータベースである。チャート位置抽出部102は、チャート撮影画像中でのチャートの位置する部位を抽出する。チャート画像データ保持部103は、チャート画像を保持するデータベースである。変換行列算出部104は、チャート画像からチャート撮影画像への座標変換を行うための変換行列を算出する。パッチ位置情報算出部105は、チャート撮影画像中の各パッチの位置情報を算出する。パッチ抽出範囲設定部106は、チャート撮影画像中の各パッチに対してパッチ抽出範囲を設定する。パッチ抽出判定部107は、チャート撮影画像中の各パッチに設定したパッチ抽出範囲の領域が適切であるか否かを判定する。エラー出力部108は、エラーメッセージを表示する。パッチ情報抽出部109は、チャート撮影画像からパッチ情報(RGB値)を抽出する。デバイス特性保持部110は、チャート撮影画像から抽出したパッチ情報を、チャートを出力したデバイスの出力特性として格納するデータベースである。
【００１４】
ここで、本実施形態におけるチャート画像とは、図2(a)に示すように、長方形のパッチ201を格子状に整列して配置した、チャート202のオリジナル画像データ(電子データ)を意味する。また、チャート撮影画像とは、評価対象となるデバイスにて出力または表示したチャート画像を、スキャナやデジタルカメラ等の2次元測定器を用いた撮影により取得した画像である。デジタルカメラを用いた撮影により取得したチャート撮影画像の例を、図2(b)に示す。図2(b)に示すように、撮影対象となる出力チャート画像とデジタルカメラとが完全に正対していない場合には、チャート撮影画像中のチャートの形状及びパッチの形状は長方形とはならず、歪みが発生して台形に近い形状となる。
【００１５】
本実施形態では、デジタルカメラを用いた撮影により取得したチャート撮影画像を予め用意し、チャートに含まれる各パッチの情報(以下、パッチ情報)を抽出する。また、パッチ情報として、パッチのRGB値を抽出する。
【００１６】
本実施形態では、まず、チャート撮影画像中からチャート位置を抽出し、さらに、チャートに含まれる各パッチの位置情報を算出する。次に、パッチに対してパッチ抽出範囲を設定する。パッチ抽出範囲が各パッチの内部にある場合には、パッチ抽出範囲に含まれる領域の画素のRGB値を、パッチ情報として抽出する。最後に、全パッチについて抽出したパッチ情報を、チャートを出力もしくは表示したデバイスのデバイス出力特性として保存する。なお、パッチ抽出範囲がパッチの内部にない場合には、エラーメッセージを出力する。
【００１７】
●パッチ情報取得処理
以下、図1に示した本実施形態の画像処理装置において実行されるパッチ情報の取得処理について、図3のフローチャートを用いて説明する。
【００１８】
まずS301でチャート位置抽出部102が、撮影画像データ保持部101からチャート撮影画像を読み込み、チャート撮影画像におけるチャートの位置(チャート対応領域)を抽出する。
【００１９】
本実施形態では、チャート対応領域として、チャート撮影画像中におけるチャートの4頂点の位置を抽出する。例えば、チャート撮影画像が図4(a)に示す画像である場合、図4(b)に示すようにチャート撮影画像の左上を原点としてx方向とy方向を定めたときの、チャートの4頂点のx座標とy座標を、チャートの4頂点の位置として抽出する。
【００２０】
ここでは、チャートの4頂点を左上、右上、右下、左下の順にA、B、C、Dとしたとき、図4(b)に示すように、4頂点の各々の座標が以下であるとする。
【００２１】
A(X1,Y1)
B(X2,Y2)
C(X3,Y3)
D(X4,Y4)
なお、チャートの4頂点の抽出方法としては、例えば、モニタなどの表示機器にチャート撮影画像を表示し、ユーザインタフェース(UI)によるユーザ指示を介して4頂点を特定すればよい。あるいは周知のエッヂ検出技術によりエッヂを検出し、エッジが交差する点のうちチャートの背景との境界にある点を頂点として特定してもよい。
【００２２】
S302では変換行列算出部104が、チャート画像中のある座標位置をチャート撮影画像中にて対応する座標位置に射影変換するための変換行列Ｈを算出する。変換行列Ｈは、チャート画像における4頂点の位置とチャート撮影画像における4頂点の位置とに基づき、以下のように算出する。
【００２３】
まず、チャート画像の頂点の位置を、チャート基準位置として抽出する。具体的には、S301にてチャート撮影画像に対して設定した4頂点の座標と同様に、図5(a)に示すようにチャート画像についても画像左上を原点とする座標を設定し、チャートの4頂点の位置を抽出する。ここでは、チャート画像における4頂点(左上、右上、右下、左下の順にAo、Bo、Co、Doとする)の座標が以下であるとする。
【００２４】
Ao(Xo1,Yo1)
Bo(Xo2,Yo2)
Co(Xo3,Yo3)
Do(Xo4,Yo4)
変換行列Ｈは、チャート画像中の4点(Ao〜Do)、およびS301にて設定した、図5(b)に示すチャート撮影画像中の4点(A〜D)の座標位置より算出する。具体的には、以下の方程式を解くことにより、変換行列Ｈを算出することができる。
【００２５】
┌              ┐    ┌                  ┐
│X1  X2  X3  X4│    │Xo1  Xo2  Xo3  Xo4│
│Y1  Y2  Y3  Y4│＝Ｈ│Yo1  Yo2  Yo3  Yo4│
│1   1   1   1 │    │ 1    1    1    1 │
└              ┘    └                  ┘
上記手法によって算出した変換行列Ｈにより、チャート画像中のAo〜Doの4点を、チャート撮影画像中のA〜Dの4点に座標変換することができる。さらに、この変換行列Ｈを用いることで、チャート撮影画像中のある任意の座標位置を、チャート画像中にて対応する座標位置から座標変換にて算出することができる。
【００２６】
S303ではパッチ位置情報算出部105が、チャート撮影画像中の各々のパッチ位置を算出する。ここで、チャート画像におけるパッチi(i＝1,2,・・・,N)の中心位置をPoi(xoi,yoi)、また、チャート撮影画像中におけるパッチiの中心位置をPi(xi,yi)とする。このとき、チャート撮影画像中におけるパッチiの中心位置Pi(xi,yi)は、S302にて算出した変換行列Ｈを用いて下式(1)により算出することができる。
【００２７】
Pi＝Ｈ・Poi  (i＝1,2,…,N)      …(1)
S304ではパッチ抽出範囲設定部106が、各パッチに対してパッチ抽出範囲を設定する。具体的には、S301にて設定した4頂点の座標で囲まれた範囲内において、図6に示すように、パッチi601の中心位置Pi(xi,yi)を中心とする、一辺の長さがdの正方形をパッチ抽出範囲602として設定する。なお、パッチ抽出範囲を示す正方形の一辺の長さdの値としては、例えばチャート画像に対して予め定められた値であってもよいし、2次元測定器に応じて予め定められた値であってもよい。
【００２８】
S305では、パッチ抽出判定部107が、S304で設定したパッチ抽出範囲が、パッチの内部にあるか否かを判定する。ここで図7(a)に示すように、パッチ抽出範囲602がパッチi601の内部に収まる場合には、抽出対象であるパッチi601のパッチ情報のみを抽出することができる。しかしながら図7(b)に示すように、パッチi601のパッチ抽出範囲602が隣接パッチ701に及ぶ場合、抽出対象であるパッチi601と隣接パッチ701のパッチ情報が同時に抽出されてしまう。したがってこの場合、パッチi601のパッチ情報を正確に抽出することができない。そこでパッチ抽出判定部107において、パッチ抽出範囲がパッチの内部にあるか否かを判定する。
【００２９】
この判定方法について、図7(c)を用いて具体的に説明する。まず、パッチi601の中心位置をPi(xi,yi)とするとき、パッチi601のx方向およびy方向に隣接するパッチとの距離R1とR2を、下式(2)で算出する。
【００３０】
R1＝xi+1-xi
R2＝yi+1-yi      …(2)
そして、R1とR2に関して下式(3)に示す判定を行う。式(3)において、dはS304にて設定したパッチ抽出範囲の一辺の長さであり、s1,s2はS302にて設定したチャート基準位置を示す座標から算出される、チャート画像におけるパッチ間の距離である。
【００３１】
R1＞d+s1
R2＞d+s2      …(3)
式(3)の両方が真である場合には、パッチ抽出範囲がパッチi601の内部に収まると判定し、S306に移行する。一方、式(3)の少なくともいずれかが偽である場合には、パッチi601のパッチ抽出範囲602が隣接パッチに及ぶと考えられる。例えば図8に示すように、チャート撮影画像中のチャート形状の歪みが大きい場合には、あるパッチのパッチ抽出範囲801が隣接パッチにも及び、チャート撮影画像中の各パッチの内部にパッチ抽出範囲を設定できず、パッチ情報を正しく抽出できない。このように、式(3)の少なくともいずれかが偽であると判定されると、S308に移行してエラーメッセージを表示する。S308ではエラー出力部108が、本システムのユーザに対してチャート撮影画像の再撮影を促すために、図9に示すようなメッセージを出力する。本メッセージは、例えば、本実施形態におけるシステムを操作するPCに接続されている表示デバイスに表示すればよい。
【００３２】
S306ではパッチ情報抽出部109が、S303で算出したパッチ位置とS306で設定したパッチ抽出範囲とに基づき、チャート撮影画像から各パッチのRGB値を抽出する。ここで各パッチのRGB値とは、各パッチのパッチ抽出範囲に含まれる画素のR値、G値、B値を各々平均した値であるとする。
【００３３】
S307ではパッチ情報抽出部109が、全パッチについて抽出されたパッチ情報を、チャート撮影画像として撮影されたチャートを出力もしくは表示したデバイスの出力特性として、デバイス特性保持部110に保存し、処理を終了する。ここで全パッチについてのパッチ情報とは、例えば図10に示すような、パッチ番号とRGB値を対応させたデータである。
【００３４】
以上説明したように本実施形態によれば、チャート撮影画像において、チャートの4頂点の座標に基づく変換行列を用いて、パッチの位置を算出してパッチ抽出範囲を設定し、該パッチ抽出範囲がパッチ内部にあれば、パッチ情報を抽出する。これにより、チャート撮影画像中のチャートの形状に歪みがある場合でも、パッチ情報を自動で正確に抽出することができる。一方、パッチ抽出範囲が隣接パッチに及ぶ場合には、パッチ情報を正しく取得できないと判定し、チャートの再撮影をユーザに促すことができる。
【００３５】
なお、本実施形態ではパッチ抽出範囲を正方形としたが、パッチ抽出範囲の形状は正方形に限らない。チャート画像中のパッチ形状や、チャート撮影画像中のパッチ形状に合わせて、パッチ抽出範囲を長方形や平行四辺形などに設定してもよい。また、丸などでもよい。パッチ抽出範囲の形状が変化しても、パッチ抽出判定部が、パッチ抽出領域がパッチ内部に収まるか否かを判定する。
【００３６】
＜第2実施形態＞
以下、本発明にかかる第2実施形態について説明する。第1実施形態では、チャート撮影画像中のパッチに対してパッチ抽出範囲を設定し、パッチ抽出範囲が隣接パッチに及ぶ場合にはパッチ情報を正しく取得できないと判定し、チャートの再撮影をユーザに促すエラーメッセージを出力する例を示した。このようにエラーメッセージが出力された場合、パッチ抽出範囲がパッチ内部に収まるような歪みのないチャート撮影画像を取得するために、チャートの再撮影を行う必要がある。
【００３７】
そこで第2実施形態では、パッチ抽出範囲が隣接パッチに及ぶためパッチ情報を正しく取得できないと判定された場合に、チャートの再撮影を促すのでなく、チャート撮影画像におけるパッチ抽出範囲を再設定するようなメッセージを出力する。
【００３８】
以下、第2実施形態におけるパッチ情報取得処理について、図13のフローチャートを用いて説明する。なお、上述した第1実施形態と同様の処理については同一符号を付して説明を省略する。
【００３９】
まずS1301で、例えば図11(a)に示すような、パッチ抽出範囲の縮小の可否を判定するメッセージを表示する。ユーザが縮小許可を示す「はい」を選択した場合はS304に戻り、パッチ抽出範囲設定部106がパッチ抽出範囲がより小さくなるよう再設定する。具体的には、図11(b)に示す左上パッチのように、チャート撮影画像中で最も領域の小さなパッチに合わせて、各パッチに単一サイズのパッチ抽出範囲を設定すればよい。また、第1実施形態で設定したパッチ抽出範囲の正方形の一辺dを1/2にする等、抽出範囲を小さくする所定の縮小率を適用してもよい。一方、S1301でユーザが縮小不許可を示す「いいえ」を選択した場合には、図9に示すようなメッセージを再度表示してユーザにチャートの再撮影を促し、処理を終了する。
【００４０】
以上説明したように第2実施形態では、パッチ抽出範囲がパッチ内部に収まらない場合には、パッチ抽出範囲を再設定することを可能とする。このように、パッチの再撮影をせずにパッチ抽出範囲を再設定することで、本システムに入力されたチャート撮影画像をそのまま使用して、パッチ特性を抽出することができる。
【００４１】
なお、第2実施形態で表示するエラーメッセージは図11(a)の例に限らず、例えば図12(a)に示すように、パッチ毎に抽出範囲を設定することの可否を判定するメッセージを表示してもよい。この場合、ユーザが「はい」を選択するとS304に戻り、パッチ抽出範囲設定部106が各パッチに対してパッチ抽出範囲を設定する。具体的には図12(b)に示すように、チャート撮影画像中の各パッチに、それぞれのサイズに応じたパッチ抽出範囲を設定する。例えば、図12(b)のパッチ1201に対しては、第1実施形態で設定したパッチ抽出範囲の正方形の一辺dを1/2に、パッチ1202に対してはdを2/3にして設定する等、パッチ位置に応じた所定の縮小率を適用してもよい。
【００４２】
＜第3実施形態＞
以下、本発明にかかる第3実施形態について説明する。第2実施形態では、歪みがあるチャート撮影画像中のパッチに対してパッチ抽出範囲を再設定することにより、パッチ情報を取得する例を示した。第3実施形態では、パッチの抽出範囲は変化させずに、歪みのあるチャート撮影画像を変換することによって、適切なパッチ情報を取得する例を示す。
【００４３】
第3実施形態におけるシステム構成について、図14を用いて説明する。図14は、第3実施形態における画像処理装置の構成を示すブロック図である。図14において、第1実施形態で図1に示した構成と同様の構成については同一符号を付し、説明を省略する。
【００４４】
図14において、変換行列算出部1404は、チャート撮影画像をチャート画像へと変換するための変換行列を算出する。ノイズ量算出部1405は、チャート撮影画像におけるチャートを構成する各パッチ内のノイズ量を算出する。ノイズ除去処理部1406は、ノイズ量算出部1405で算出されたノイズ量が所定量以上であるパッチに対して、ノイズを除去する処理を施す。画像変換部1407は、変換行列算出部1404で算出した変換行列を用いて、ノイズ除去されたチャート撮影画像を変換することで、ノイズ除去されたチャート画像を得る。パッチ情報抽出部1408は、画像変換部1407で得られたノイズ除去されたチャート画像から、パッチ情報(RGB値)を抽出する。この抽出は、チャート画像に歪みが無く、チャートを構成する各パッチが所定位置にあるものとして実行することができる。
【００４５】
以下、第3実施形態におけるパッチ情報取得処理について、図15のフローチャートを用いて説明する。図15において、第1実施形態で示した図3と同様の処理については同一符号を付し、説明を省略する。
【００４６】
フローチャートの説明に先立ち、第3実施形態におけるパッチ情報取得処理の概要を説明する。本処理では、チャート撮影画像に含まれる歪みを除去するために、チャート撮影画像の全体を射影変換することで、歪みのない画像(チャート画像)へと変換する。しかしながら、チャート撮影画像の歪みが大きいほど、面積が小さくなるパッチが存在する。一般に、面積が小さいパッチほどノイズの影響が大きいため、面積の小さいパッチを射影変換した後にパッチ情報を取得したとしても、ノイズの影響により正確なパッチ情報が期待できない。そこで、第3実施形態では、事前にパッチに含まれるノイズ量を算出し、ノイズ量が大きいパッチについては予めノイズ除去を施した後に、射影変換を行う。
【００４７】
まずS1500で変換行列算出部1404が、図16(a)に示したチャート撮影画像中のチャートにおける4頂点(A〜D)を、図16(b)に示すチャート画像中の4頂点(Ao〜Do)に座標変換する変換行列Ｈ'を算出する。具体的には、以下の方程式(4)を解くことにより変換行列Ｈ'を算出する。
【００４８】
┌                  ┐     ┌              ┐
│Xo1  Xo2  Xo3  Xo4│     │X1  X2  X3  X4│
│Yo1  Yo2  Yo3  Yo4│＝Ｈ'│Y1  Y2  Y3  Y4│      …(4)
│ 1    1    1    1 │     │ 1   1   1   1│
└                  ┘     └              ┘
次にS1501でノイズ量算出部1405が、各パッチのノイズ量を算出する。詳細にはまず、チャート撮影画像を構成する各パッチ領域を抽出する。例えば、チャート撮影画像に対しラプラシアンフィルタを用いてエッジの抽出を行い、エッジが水平方向と垂直方向で交わる画素の座標を検出することで、各パッチ領域を抽出する。そして、i番目のパッチ領域内の画素値の分散v、または標準偏差σiを算出する。ここでは下式(5)により標準偏差σiを算出するとする。
【００４９】
2016021148.tif 000003
【００５０】
式(5)において、Iiはi番目のパッチ領域に含まれる画素位置を示し、上にバーを付したIiはi番目のパッチに含まれる画素値の平均値を示す。また、I(x,y)は座標(x,y)における画素値、Nはi番目のパッチ領域に含まれる全画素数、を示す。
【００５１】
S1502でノイズ除去処理部1406は、パッチ毎に、S1501で算出された標準偏差σが、予め設定された閾値ε以上であるか否かを判定する。標準偏差σが閾値ε以上であるパッチ領域についてはS1503の処理へ進むが、そうでないパッチ領域についてはS1504の処理へ進む。
【００５２】
S1503ではノイズ除去処理部1406が、パッチ領域内において平均画素値との差分が所定値以上である画素を、ノイズ画素と判断する。ここでは、下式(6)または(7)を満たす画素値をノイズ画素と判断するとする。そしてノイズ画素をパッチ領域内の平均画素値に置き換えることで、チャート撮影画像からノイズを除去したノイズ除去画像I'を生成する。
【００５３】
2016021148.tif 000004
【００５４】
2016021148.tif 000005
【００５５】
ここで図17(a)に、ノイズ除去処理を実施する前のあるパッチ領域内の輝度ヒストグラム例を示し、図17(b)に、ノイズ除去処理を実施した後の同パッチ領域内の輝度ヒストグラム例を示す。同図によれば、ノイズ除去処理の前後で、標準偏差σ以上の値を有する画素が平均画素値に置き換えられることで、輝度ヒストグラムの分散が小さくなっており、ノイズが除去されていることが確認できる。
【００５６】
そしてS1504で画像変換部1407が、S1500で算出された変換行列Ｈ'を用いてノイズ除去画像I'を射影変換する。この射影変換により、ノイズ除去が施された状態のチャート画像、すなわち、第3実施形態におけるパッチ情報の抽出対象となる、歪みのないチャート画像が得られる。
【００５７】
そしてS1505でパッチ情報抽出部1408が、射影変換されたノイズ除去画像I'から、各パッチのRGB値を抽出する。この抽出は、ノイズ除去画像I'における各パッチの位置がチャート画像と同様であるとして実行する。すなわち、ノイズ除去画像I'における各パッチの抽出範囲は、チャート画像におけるパッチの位置に基づいて設定することができる。ここで各パッチのRGB値とは、各パッチのパッチ抽出範囲に含まれる画素のR値、G値、B値を各々平均した値であるとする。
【００５８】
以上説明したように第3実施形態では、チャート撮影画像に射影変換を行うことで歪みを除去する際に、ノイズが含まれるパッチ領域については事前にノイズ除去を施しておく。これにより、パッチの抽出範囲は変化させずに、適切なパッチ情報を取得することが可能になる。
【００５９】
なお第3実施形態では、チャート撮影画像に対して予めノイズ除去を行い、ノイズ除去された画像に対して射影変換を行ったが、ノイズ除去を行うタイミングはこの例に限らない。例えば、チャート撮影画像を射影変換した画像に対し、ノイズ除去を行ってもよい。
【００６０】
また、第3実施形態では、ノイズの除去方法として、平均値から2σ以上離れた画素値をパッチの平均画素値に置き換えたが、ノイズ除去方法はこの例に限らない。例えば、予め複数のチャート撮影画像を用意しておき、同一位置にあるパッチの画素値を平均化することでノイズ除去を行ってもよい。また、ノイズ除去の対象となる画素値も、平均値から2σ以上離れた値に限定されるものではない。
【００６１】
＜他の実施形態＞
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
【符号の説明】
【００６２】
102:チャート位置抽出部、103:チャート画像データ保持部、104:変換行列算出部、105:パッチ位置情報算出部、106:パッチ抽出範囲設定部、107:パッチ抽出判定部、108:エラー出力部、109:パッチ情報抽出部
【図１】
2016021148.tif 000006
【図２】
2016021148.tif 000007
【図３】
2016021148.tif 000008
【図４】
2016021148.tif 000009
【図５】
2016021148.tif 000010
【図６】
2016021148.tif 000011
【図７】
2016021148.tif 000012
【図８】
2016021148.tif 000013
【図９】
2016021148.tif 000014
【図１０】
2016021148.tif 000015
【図１１】
2016021148.tif 000016
【図１２】
2016021148.tif 000017
【図１３】
2016021148.tif 000018
【図１４】
2016021148.tif 000019
【図１５】
2016021148.tif 000020
【図１６】
2016021148.tif 000021
【図１７】
2016021148.tif 000022