(57)【要約】【課題】フラットディスプレイパネルに生ずるモアレを客観的に評価する装置を実現する。【解決手段】ディスプレイパネル６の画面には多数の表示画素が形成されている。デジタルカメラ１に内蔵されているイメージセンサには多数の撮像用画素が形成されている。イメージセンサの撮像用画素はディスプレイパネル６の表示画素よりも小さい。イメージセンサの撮像用画素によってディスプレイパネルの表示用画素の複数点を撮像してその平均を表示画素の明るさとする。ディスプレイパネル６の全ての表示画素についてパソコン５によって輝度評価を行い、モアレパターンを合成する。これによって、ディスプレイパネルとイメージセンサの間のモアレの影響を受けることなく、ディスプレイ画像のモアレのみ評価することが出来る。【選択図】図１
2011047808.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有するフラットディスプレイパネルにクロスハッチチャートを映し出し、前記クロスハッチチャートを、前記フラットディスプレイパネルの画素よりも小さい複数の画素を有するイメージセンサを有するデジタルカメラによって撮像し、
前記デジタルカメラで撮像した撮像画像を用いて、前記フラットディスプレイパネルの画素に対する前記イメージセンサの画素の位置を検出し、
前記フラットディスプレイパネルに他の画像を映し出したときに、前記フラットディスプレイパネルの各画素における複数点の輝度を検出し、前記複数点の輝度の平均を検出することによって、前記フラットディスプレイパネルと前記イメージセンサの干渉によるモアレを抑制し、前記画像におけるモアレを検出することを特徴とする画像測定方法。
【請求項２】
複数の画素を有するフラットディスプレイパネルに生ずるモアレを測定する画像測定装置であって、
前記フラットディスプレイパネルにクロスハッチチャートを映し出し、前記クロスハッチチャートを、前記フラットディスプレイパネルの画素よりも小さい複数の画素を有するイメージセンサを有するデジタルカメラによって撮像し、
前記デジタルカメラで撮像した撮像画像を用いて、前記フラットディスプレイパネルの画素に対する前記イメージセンサの画素の位置を検出し、
前記フラットディスプレイパネルに他の画像を映し出したときに、前記フラットディスプレイパネルの各画素における複数点の輝度を検出し、前記複数点の輝度の平均を検出することによって、前記フラットディスプレイパネルと前記イメージセンサの干渉によるモアレを抑制し、前記画像におけるモアレを検出することを特徴とする画像測定装置。
【請求項３】
前記他の画像は、全面が白のチャートであることを特徴とする請求項２に記載の画像測定装置。
【請求項４】
前記他の画像は、縦縞、または、横縞、または、全面白の別々の複数の画像であり、前記フラットディスプレイパネルの画像に生ずるモアレと解像度を同時に測定することを特徴とする請求項２に記載の画像測定装置。
【請求項５】
全面が白のチャートまたは全面が黒のチャートを撮像し、該撮像画像の情報を用いて白レベルまたは黒レベルの補正を行うことを特徴とする請求項２に記載の画像測定装置。
【請求項６】
前記フラットディスプレイパネルに矩形領域を定義し、前記矩形領域において、輝度を１方向に積分して線広がり関数（ＬＳＦ）を求め、前記矩形領域を回転しながら前記線広がり関数の平均値からの標準偏差を最大にする角度をモアレ方向と定め、
さらに、振動する前記線広がり関数波形からモアレのピッチとコントラストを求めることを特徴とする請求項２に記載の画像測定装置。
【請求項７】
前記矩形領域において、輝度を１方向に積分して線広がり関数を求め、前記矩形領域を回転しながら、前記線広がり関数の平均値からの標準偏差を最大にする角度をモアレ方向と定め、
さらに、振動する線広がり関数の波形からモアレのピッチとコントラストを求めて前記矩形領域に対応する局所的なモアレパターンを描画し、
前記矩形領域をスキャンしながら全体的なモアレパターンを求めることを特徴とする請求項２に記載の画像測定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像測定方法に係り、特に、モアレを客観的に評価することが出来る画像測定方法および画像測定装置に関する。
【背景技術】
【０００２】
メガネなしの３Dディスプレイではモアレが発生するのでそれを抑制するため対策が必要である。そのため、メガネなしの３Dディスプレイの開発には、モアレのコントラスだけでなく、モアレの全体的な形状、細かなテキスチャーの計測が重要である。また、３Dディスプレイの実用化には、モアレと解像度との妥協設計を行なうことが多く、モアレだけでなく解像度も同時に計測する方法の開発が望まれていた。
【０００３】
さらに、通常の液晶表示装置（Liquid Crystal Displays 以後LCD）においてもバックライトのプリズムアレイと液晶セルの周期構造との干渉によって発生するモアレを抑制することが必要で、そのためモアレ一般について計測する手法の確立が重要であった。しかし、モアレの縞の方向、コントラスト、ピッチ、全体的な形状、細かなテキスチャーまで含めて計測して定量化する適切な手段はなかった。
【０００４】
２層式LCDによる３Ｄディスプレイでは、背面、前面に２枚の液晶パネルをある距離だけ隔てて２重に配置し、前面に液晶パネルと背面の液晶パネルとの画像の明るさの比を変えることによって、前面と背面の液晶パネルの間に立体画像が存在するような錯視を与えることができ、３次元の立体画像が表示できる。
【０００５】
この装置では、液晶パネルを２枚重ねており、視差の違いによって２枚のパネルの網膜に写る倍率が少しだけ異なるため、網膜に結像された２枚のパネル像の周期構造の干渉によってモアレが発生する。それを低減するため、クロスレンチキュラーレンズ、ハエの目レンズアレイ、ないしは拡散層等を用いている。これによってモアレが低減するものの解像度は劣化する。２層式のディスプレイに対するモアレ対策については、例えば「非特許文献１」あるいは「非特許文献２」に述べられている。また、２層式の表示装置において、モアレを対策する構成を記載したものとして「特許文献１」が挙げられる。
【０００６】
また、単層式でレンチキュラーレンズを用いたメガネなし(Autostereoscopic)の３Ｄディスプレイの開発も広く進められている。この３Ｄディスプレイでは、液晶パネル、ＰＤＰ（プラズマディスプレイパネル）、ないしは有機ＥＬパネルにレンチキュラーレンズを張り付けて、メガネなしで３次元画像を視認することができる。最近では、このレンチキュラーレンズをパネルの画素に対して斜めに張り付ける多眼式３Ｄディスプレイも発表されるようになっている。
【０００７】
以上のように２層式であれ、単層式であれ、メガネなしの３Dディスプレイにおいてはモアレの対策が必要な場合が多く、それには光拡散層を付加する等のFPDの解像度を犠牲にした対策に頼ることが多い。したがって、メガネなしの３Dディスプレイの設計開発にはモアレと解像度の評価を同時に行なう必要がある。また、異なる方式の３Dディスプレイの優劣を比較するには、モアレと解像度を同時に計測して定量化することが重要である。
【０００８】
従来、モアレ、または解像度の計測はスポット輝度測定装置を平行移動させて一次元輝度分布を計測し、その分布からモアレのコントラスト、または振幅変調度から解像度を求めることがなされている。ただし、測定装置も大掛かりで高価なものであるにも拘らず、このスポット輝度計測によるモアレ計測法では画像のノイズに埋もれている微弱なモアレの計測は困難である。このため、強いモアレのコントラストは計測できるが、人間の目で視認できるモアレでも弱いものは評価できないという問題があった。また、この方法ではモアレの全体的な形状、細かなテキスチャーを表現することはできないという問題もあった。
【０００９】
なお、２層式の３Dディスプレイではスポット輝度測定装置を平行移動での計測では無限遠点から２層式の３Dディスプレイを観察することになり、有限距離から見た際の人の視認するモアレは計測できない。光学的に表示画像を結像させ、結像画像からスポット輝度測定装置を平行移動させて計測は可能であるが、さらに大掛かりで高価な装置となる。しかも、この場合にもモアレの全体的な形状、細かなテキスチャーを表現することはできないし、コントラストのかなり強いモアレしか評価できないのも自明であり、新しいモアレ計測法の確立が望まれていた。
【００１０】
さらには、フラットパネルディスプレイ（以後FPD）における種種の原因によって発生するモアレを計測できる汎用性の高い手法の開発が望まれていた。特に、液晶表示装置（以後LCD）のバックライトと液晶セル構造との干渉によって発生するモアレをその縞の方向、コントラスト、ピッチ、モアレの全体的な形状、細かなテキスチャーまで含めて計測して定量化する適切な手段はなく、これらをも計測できる新しいモアレ計測法の実現が望まれていた。
【００１１】
ところで、デジタルカメラ（以後デジカメ）でLCD、プラズマディスプレイパネル（以後PDP）、有機EL表示装置等のFPD画像を撮像してモアレを計測することも考えられるが、イメージセンサの画素構造とFPD画素構造との干渉があり、撮像された画像には不要なモアレが現れるという問題がある。いくらズームレンズの倍率を変化させたり、撮像距離を変えたりしても、イメージセンサの画素構造とFPD画素構造との干渉が残ってしまい、大きなピッチでコントラストの強いモアレの撮像ぐらいにしか使用できなかった。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特許第３，３３５，９９８号
【非特許文献】
【００１３】
【非特許文献１】K.Oku, et al., “Analysis and Reduction of Moire in Two-Layered 3D Display”, SID2007 Digest, pp.437-440, 2007.
【非特許文献２】K.Oku, et al., “Ergo 3D Display”, ED electronic display 2008 conference, Feb.27-28 2008, Proceedings & Conference materials.
【非特許文献３】宮川洋  監修  “テレビジョン画像の評価技術”  社団法人テレビジョン学会編、９１−９３頁．
【発明の概要】
【発明が解決しようとする課題】
【００１４】
以上説明したように、微弱なモアレを正確に定量評価する手法がなかったため、モアレの評価は人間の目に頼るしかなく、被験者のサンプル数を増やして、評価尺度法や系列範疇法等の統計的な扱いによってしかモアレの定量化はできなかった。なお、評価尺度法や系列範疇法は「非特許文献３」に記載があり、被験者を多くして、客観性を担保する必要があり、厄介な方法を実施するのは困難であった。
【００１５】
そのため方式の異なるメガネなしの３Dディスプレイのモアレ・解像度の比較評価が為されたという報告は未だにない。また、従来様々な方式のメガネなしの３Dディスプレイが提案されているが、それらのモアレと解像度特性を同じ土俵で統一的に比較することができなく、このため３Dディスプレイの統一規格ができず、３Dディスプレイの開発・普及が妨げられている。モアレの計測は厄介なものであり、微弱なモアレの評価法の確立が３Dディスプレイの開発・普及には重要であり、その評価法の開発が必要である。
【００１６】
以上のように、３Dディスプレイの開発等には、モアレのコントラストだけでなく、モアレの全体的な形状、細かなテキスチャーを表現する新しい計測手段の開発が望まれていた。また、モアレと解像度との妥協設計を行なうことが多く、モアレだけでなく解像度も同時に計測する方法の開発が望まれていた。さらには、バックライトのプリズムアレイとLCDの画素の周期構造によって発生するモアレの定量評価と対策にも、使い勝手の良い簡易なモアレの測定装置の実用化が望まれていた。
【００１７】
本発明の課題は、以上の様々な問題を同時に解決するために、FPD画素構造とイメージセンサ画素構造とのモアレの発生を抑えたFPD表示画像の撮像方法を実現することである。また、このモアレの発生を抑えたFPD表示画像の撮像方法を利用することによって、デジカメの画像データを用いたモアレと解像度の同時計測法を実現することである。これによって、モアレを、人間の感覚のみにたよらず、客観的に評価する評価方法を実現することである。
【課題を解決するための手段】
【００１８】
以上のような課題は、イメージセンサのｘ、ｙ画素番号に対して、各FPD画素の位置を正確に求めて、各FPD画素の内部の輝度の平均値を求めて、FPD画素構造とイメージセンサ画素構造とのモアレの発生を抑えた画像を得ることで実現できる。また、本発明の他の側面では、本発明の実現に使用する新規に開発したテストチャート群もこの発明の一部を構成する。
【発明の効果】
【００１９】
FPDのモアレ、解像度を同時にデジカメのショットで測定する測定装置を実現することが出来る。また、FPDを３Ｄディスプレイに適用する際の設計・開発の効率を向上させる安価な測定装置を提供でき、メガネなし３Ｄディスプレイの統一規格を可能とする。
【００２０】
すなわち、従来のモアレ、または解像度の計測はスポット輝度測定装置を平行移動させて一次元輝度分布を計測し、その分布からモアレのコントラスト、または振幅変調度から解像度を求めることがなされていた。ただし、この方法ではモアレの全体的な形状、細かなテキスチャーを表現することはできないという問題があり、装置も高価なものとなる。また、スポット輝度計測ではノイズが多く、コントラストの弱いモアレ信号はノイズレベルに埋没して、計測が困難という問題もあった。
【００２１】
本発明を用いれば、デジカメ、デジカメ固定用の三脚、今回開発した画像処理プログラムを内蔵したPCさえあれば、デジカメのショットでモアレのコントラスト、または振幅変調度（解像度）を求めることができる。また、２次元分布の画像データをある方向に積分し、線広がり関数（Line Spread Function）を用いるためモアレ信号がノイズレベルに埋もれることもなく、弱いレベルのモアレでも計測できるようになった。
【００２２】
従って、本発明を利用すれば、安価で使い勝手の良いモアレと解像度の同時計測装置を実用化できる。また、この装置の実用化によって、様々な方式のメガネなしの３Dディスプレイのモアレと解像度特性を同じ土俵で統一的に比較することができ、３Dディスプレイの開発・普及の促進にも寄与できる。
【図面の簡単な説明】
【００２３】
【図１】本発明のモアレ評価装置の模式図である。
【図２】本発明におけるモアレと解像度計測のフローチャートである。
【図３】本発明におけるストライプ＆グレイスケールチャートである。
【図４】クロスハッチチャートである。
【図５】白チャートである。
【図６】黒チャートである。
【図７】ｘ方向の線広がり関数（ＬＳＦ）の例である。
【図８】ｘ方向輝度分布の累積増減数である。
【図９】ｘ方向輝度分布の累積増減量である。
【図１０】重心で求めたクロス点を折れ線で結んだ図である。
【図１１】クロス点の計測誤差を推定する標準偏差である。
【図１２】ＦＰＤの画素位置の導出に用いるクロスハッチの格子点である。
【図１３】ＦＰＤセル内での輝度の積分を和で近似する内点である。
【図１４】画像処理した後のクロスハッチチャートである。
【図１５】画像処理後の白チャートである。
【図１６】画像処理したストライプ＆グレイスケールチャートである。
【図１７】グレイスケールレベルとスケール内平均輝度の関係である。
【図１８】滑らかな曲線で結んだグレイスケールレベルとスケール内平均輝度の関係である。
【図１９】γ補正を行った画像処理したストライプ＆グレイスケールチャートである。
【図２０】白チャート撮像のγ補正した処理画像である。
【図２１】垂直ストライプパターンでの水平方向の輝度の変化である。
【図２２】水平ストライプパターンでの垂直方向の輝度の変化である。
【図２３】振幅変調度の計算結果である。
【図２４】一方向モアレを含んだ検証用白チャートである。
【図２５】一方向モアレを含んだ検証用白チャートを撮像した処理画像である。
【図２６】モアレ評価関数の定義を説明する図である。
【図２７】角度に対する標準偏差の計算結果である。
【図２８】角度と線広がり関数の関係を示す図である。
【図２９】角度３０度のときの線広がり関数の座標依存性を示す図である。
【図３０】画面の各場所におけるモアレの向き、コントラスト、ピッチの計測結果である。
【図３１】モアレパターンの抽出結果である。
【図３２】２方向モアレを含んだ検証用チャートである。
【図３３】２方向モアレを含んだ検証用チャートを撮像した処理画像である。
【図３４】２方向モアレにおける角度に対する標準偏差の計算結果である。
【図３５】２方向モアレにおける角度と線広がり関数の関係を示す図である。
【図３６】２方向モアレにおいて標準偏差が最大値をとるときの角度における線広がり関数の座標依存性を示す図である。
【図３７】２方向モアレにおいて標準偏差が第２の大きさをとるときの角度における線広がり関数の座標依存性を示す図である。
【図３８】画面の各場所における第１主方向でのモアレの向き、コントラスト、ピッチの計測結果である。
【図３９】画面の各場所における第２主方向でのモアレの向き、コントラスト、ピッチの計測結果である。
【図４０】モアレパターンの抽出結果である。
【発明を実施するための形態】
【００２４】
以下、実施例によって本発明の内容を詳細に説明する。
【実施例１】
【００２５】
以下には、図３から図６に示す４つのテストチャートの撮像によるFPD画素構造とイメージセンサ画素構造とのモアレの発生を抑えたFPD表示画像の撮像を行い、３D表示等のわずかなモアレのある画像において、モアレコントラスト、モアレパターン、解像度（振幅変調度）を求め、それらを表示する手順の概要について説明する。
【００２６】
図１には本発明の解像度、モアレ評価装置の実施例を示す。デジカメ１、三脚２、リモートシャッター３、画像データ転送用ケーブル４、画像処理、評価、処理画像表示、評価結果表示のためのＰＣ５から本発明の装置は構成される。また、図１において、６はモアレを評価する対象となるフラットディスプレイパネルである。図２には図１の装置を用いた解像度とモアレ計測のフローチャートを示す。また、図３から図６には、解像度、モアレ計測に用いるテストチャートの例を示す。
【００２７】
このチャートは解像度、モアレ計測用に発明者が設計・開発したものである。評価する領域の大きさに応じて、テストチャート出力用のプログラムを用いてテストチャートを出力できるようにした。なお、テストチャート出力のためのデータはモアレ・解像度評価システムでも入力するようにし、計測に用いたテストチャートに応じた画像処理を行なっている。モアレ・解像度評価システムでもテストチャートを出力でき、どのような画像フォーマットでも対応できるようにしている。ただし、図３から図６の画像をＦＰＤの画面の一部に表示して、その部分でのモアレ、解像度を評価することにすれば、画像フォーマットが異なる場合でも同じテストチャートで対処することができる。
【００２８】
以下にフローチャートの（I）テストチャートの撮像（PC外部処理）の（１）（２）の手順を示す。撮像の際には、画像記録モードはJPEG またはRAW（好ましくはRAW）にして、手動のモード、フラッシュはオフにし、シャッターはカメラと遠隔操作のものを利用する。
【００２９】
（Ａ）ストライプ＆グレイスケールチャートをFPD画面の評価したい場所に表示し、三脚に固定したカメラをFPDの画面から約４０〜５０ｃｍ程度の距離に置き、デジカメのモニタに写った画像内に周辺の四角い枠がちょうど入るように、ズーム比とデジカメの位置を設定する。フォーカス調整は随時行なう。おおよそのピントを合わせ、その位置の近傍を自動的にスキャンして、正確なフォーカス位置を検出する機能を利用して行なう。なお、デジカメのズーム比は不連続な値しか取ることができない場合が多いので画像内に周辺の四角い枠がちょうど入るようにするには、三脚の位置を前後に微調整させる必要がある。
【００３０】
（Ｂ）この状態から、FPDの表示を白色チャートに変えて、オートフォーカスはオフにして、F値は光学レンズの解像度が高ところに設定して白色表示時に輝度レベルがデジカメのインジケーターが中央になるようにシャッタースピードを設定する。
【００３１】
（Ｃ）また、ストライプ＆グレイスケールチャートにFPDの表示を変えて、フォーカス調整を再度行なう。自動的にスキャンして、正確なフォーカス位置を検出する機能を利用して行なう。
【００３２】
（Ｄ）以上によって決められた、カメラ位置、ズーム比、F値、シャッタースピード、フォーカスを固定し、図３から図６のストライプ＆グレイスケールチャート、クロスハッチチャート、白チャート、黒チャートの４つのパターンを順次撮像する。撮像の際には、周りの人の移動がなく、シャッターを押す際の人の体の部分の位置は細部に渡って固定する。周りの光の映り込みを極力同じにするためである。周りの光の写り込みは黒チャート撮像による画像データを差し引くことで補正するが、写り込みが４つのパターンの撮像時に変化しないようにしなければならないからである。なお、暗室を利用する場合には、表示画像からの光の反射がFPD画面に入射して、その入射光が再度反射するのを抑えることができるので、黒チャートの撮像は省略してよい。
【００３３】
次に、以上のチャートの画像データ（JPEGまたはRAWデータ）をパソコンに転送する。（図２のフローチャート（II）の（３））、さらに、今回考案・開発した画像処理法によって、図２のフローチャート(III)に示すように、FPD画素構造とイメージセンサ画素構造とのモアレの発生を抑えたFPD表示画像の撮像を行い、解像度（振幅変調度）、３D表示等のわずかなモアレのある画像でモアレコントラスト、モアレパターンを求め、それらを表示する。
【００３４】
以下に、今回考案・開発した画像処理法について説明する。実際の画像処理では、先ずクロスハッチパターンのJPEG又はRAWデータを用いて、クロスハッチパターンのクロス位置を求め、FPDの各画素の位置を計算し、その各画素内での輝度の平均値を求めてモアレを極力抑えた画像を得ている。FPDの各画素の位置の計算について、その手順について説明する。以下の括弧付きの数字は図２のフローチャートにおける番号に対応している。
【００３５】
（４）撮像データの２進数データから実数輝度分布データへの変換
RAW画像データはx,yが離散的な値をとる２次元分布の６５５３６諧調で表される（又はJPEGデータの時は２５６諧調で表される）。このイメージセンサ画像データは座標(x,y)は等間隔な格子上の離散的な値(xi,yi)しかとらないことからI(xi,yi)＝Iyと表すi,jはそれぞれ１から始まって、x,y方向の画素数の上限値(imax,jmax)までの値をとるとする。また、連続的な座標(x,y)はラスタ左下の画素の左下隅を(0,0)、ラスタ右上の画素の右上隅を(imax,jmax)となるような座標を与える。
【００３６】
この(x,y)はプログラム内部での計算に用いているものであるが、計算結果のグラフでの表示では、画像の中心部を(X,Y)＝(0,0)とし、左右端をX＝±1、上下端をY＝±1とするような、規格化座標(X,Y)を用いる。大文字の規格化座標(X,Y)と小文字の座標(x,y)とを区別する。同様に格子点座標(xi,yi)に対しても、規格化した格子点座標(Xi,Yi)が定まる。
【００３７】
離散的な座標(xi,yi)を連続的な座標(x,y)に拡張した際に、I(xi,yi)＝Iyは画素内では画像データは一定とみなしてI(x,y)と表示する。ただし、I(xi,yi)＝Iyは65536(＝216)諧調（０から６５５３５まで）であるため、I(x,y)はI(xi,yi)＝Iyを６５５３５で割って規格化した値で定義する（又はJPEGデータの時は２５５で割って規格化した値で定義する）。
【００３８】
（５）撮像データのノイズ低減（ガウス分布のコンボリューション）
画像データI(x,y)は諧調が有限であること、イメージセンサの画素感度のばらつきがあることから、量子化ノイズ、ランダムノイズ（白色ノイズ）が重畳されており、このデータをそのまま使うと、連続関数とは言い難いことから計算処理が上手く行かないことが多い。この困難を回避するため、ガウス分布のコンボリューションによるローパスフィルタ（LPF）を用いたノイズ除去法を採用する。つまり、下記の式で定義されるLPF処理した画像分布Id(x,y)を用いてノイズ除去を行なう。
【００３９】
【数１】
2011047808.tif 000003
【００４０】
ここで、Rx,Ryはx,y方向のガウス分布の１／ｅ半径である。これらの半径を調節して、連続関数を想定して作ったプログラムが誤動作しないようにする。この半径はFPD画素位置の探索にはイメージセンサの画素ピッチの３〜６倍程度とすればよい。x,yの座標もまたイメージセンサのセルの中心として、離散的な値(xi,yi)とした。数値積分はイメージセンサのセル毎に行った。セル毎の積分は１６次のガウス積分を用い、x,y方向の積分はRx,Ryの３倍の半径の楕円にかかるイメージセンサのセルまで行なった。それ以外はガウス分布は小さくなるため積分にほとんど寄与しないので省略した。
【００４１】
（６）クロスハッチチャートの各クロス点に対応するイメージセンサ位置の概略計算
まずは、規格化座標(X,Y)での座標軸上近傍でのLPFを通した輝度分布Idから、ｘまたはｙ方向にある範囲で積分して（実際は和である：画像全体の±１０％の範囲での積分）平均化した線広がり関数（LSF：Line Spread Function）を求め、クロスハッチの格子間隔、クロスハッチの上下、左右の中心線の概略の位置、撮像された画像に納まったＸ，Ｙ軸上の黒線の数を求める。図７にｘ方向の線広がり関数LSF(X)を示す。この図で縦軸の値の大きい部分はクロスハッチの白部分であり、値の小さい部分はクロスハッチの黒部分である。また、×は局所的な最小値に対応する離散的な規格化座標Xiに対応している。なお、この図７から、輝度の高い白部分はまだノイズが大きく、黒部分はノイズの影響を受けにくくなっていることが分る。クロスハッチパターンを黒地に白にせずに、白地に黒にしたのは、ノイズの影響を極力避けるためである。
【００４２】
局所的最小点を決めるには、図８の累積増減数、図９の累積増減量という指標を用いて決める。図８の累積増減数N(X)は図７のLＳFを通した輝度分布Idから、Xiが小さなものから大きなものへと点を順次移動させて、その点での輝度の値をその前の点での値と較べることによって求める。N(X)の初期値は０とし、輝度の差分が０又は負の値であり、前の点でのN(X)が負または０ならばこの点でのN(X)は前の点のN(X)に−１を加算し、前の点でのN(X)が正ならば、N(X)は０とリセットする。同様に、輝度の差分が０又は正の値であり、前の点でのN(X)が正または０ならばこの点でのN(X)は前の点のN(X)に１を加算し、前の点でのN(X)が負ならば、N(X)は０とリセットする。この手順を繰り返して、指標N(X)を求めた。この撮像画像中心の±２５％の範囲内でN(X)の値が最も小さい点をY軸に最も近い格子点に対応していると判断した。
【００４３】
なお、このN(X)の値は縦軸が０の近傍で概して±５の範囲で細かいピッチで振動しているのが分るが、これはテストチャートとイメージセンサの画素数の関係から決まっている。概して±５の範囲で細かいピッチで振動しているのはFPD画素一個にイメージセンサが大体１０×１０個入るように、テストチャートの大きさを設定したことによる。つまり、白色部分の撮像では、FPDセルでBM近くが最も暗く、セル中央部が最も明るいため、概してFPDセルの半分に対応したイメージセンサ５個で輝度が増加し、残りの半分のイメージセンサ５個で輝度が減少するからである（例外も随所にあるが）。
【００４４】
図９はXが値が小さいものから大きいものに変化させた際に、N(X)が連続して同じ符号（０は除く）のときに、輝度の差分を加算し、N(X)の符号が変われば０にリセットした累積増減量H(X)を示す。図７に示した×は、H(X)がある値（−HCUT）より小さくなった場合にその近傍の局所的最小値を探した結果である。なお、このHCUTの数値は通常０．１から０．１５程度で問題ないが、縦軸の０近傍で大きく振動していたり、信号レベルが暗すぎたりした場合には、その値を調整する必要がある。このHCUTの値はプログラムで入力するようになっている。以上はX方向についてであるが、Y方向についても同様にして、クロスハッチテストチャートの中心に最も近いイメージセンサのY方向の番号を求める。
【００４５】
次に、各クロス点のイメージセンサの画素番号i(k,l),j(k,l)を求める。ここで、(k,l)はクロスハッチのクロス点の番号を表し、(k,l)＝(0,0)が中央部のクロス点とする。上記の手順で求まったクロスハッチパターンの画面中心での大まかなクロス位置の情報i'(0,0),j'(0,0)、画面中心近傍でのクロスハッチの大体の間隔Δn（単位はイメージセンサの画素ピッチ：画面中央から±X，±Y方向の４つの間隔の平均値）を初期値として用い、各クロス点のイメージセンサの画素番号i(k,l),j(k,l)を求める。
【００４６】
プログラムでは、まずは(k,l)＝(0,0)の中央部のクロス点のイメージセンサの大まかな画素番号i'(0,0),j'(0,0)から、より正確な画素番号i'(0,0),j'(0,0)を求めることになる。画面中心近傍でのクロスハッチの大体の間隔Δnの±２／３（この値２／３はフログラムの入力データとして選べる）の範囲でｙ、またはｘ方向に積分して、ｘ、ｙ方向の線広がり関数LSFX(ｘ)、LSFY(ｙ)を求め、上に述べたのと同じアルゴリズムでi'(0,0),j'(0,0)を求める。
【００４７】
次に、(k,l)＝(0,1)のクロス点の大まかな画素番号をi'(1,0)＝i'(0,0)＋Δn、j'(1,0)＝j(0,0)とし、上記とアルゴリズムで正確な画素番号i(0,1),j(0,1)を求める。それ以後はi'(k＋1,0)＝i(k,0)＋[i(k,0)−i(K−1,0),j'(k＋1,0)＝j(k,0)：k＝2,3,4…として、上記と同じアルゴリズムで正確なi(k＋1,0),j(k＋1,0)を求める。
【００４８】
また、一段上がってi'(0,1)＝i(0,0)、j'(0,1)＝j(0,0)＋Δnとして、同じ方法でi(k,l),j(k,l)：k＝0,1,2,3,…を順次求める。それ以後はi'(0,l＋1)＝i(0,l)、j'(0,l＋1)＝j(0,l)＋[j(0,l)−j(0,l−1)]として、同様にi(k,l＋1),j(k,l＋1)：k＝0,1,2,3,…,l＝2,3,4,…を順次求める。以上の手順で第１象限のi(k,l),j(k,l)：k＝0,1,2,3,…,l＝0,1,2,3,…が求まる。第２象限で同様な手順、第３と第４の象限を連ねて同様な手順を繰り返し、全象限でのi(k,l),j(k,l)：k＝…−3,−2,−1,0,1,2,3,…、l＝…−3,−2,−1,0,1,2,3,…を求めることを行なう。
【００４９】
以上がクロスハッチチャートの各クロス点に対応するイメージセンサ位置の概略計算についてである。
なお、各クロス点ではＸが増加する際の累積増減量H(X)が負で最小になるが、その値をh(＋)(k,l)とし、同様にＸが減少する際の累積増減量の負の最小値をh(−)(k,l)とする。またh(＋)(k,l),h(−)(k,l)のうちの絶対値の小さな方をh(k,l)とする。このh(k,l)をｘ方向、ｙ方向について求め、それぞれをhX(k,l)、hy(k,l)として格納する。各クロス点の輝度のｘ、ｙ方向の谷の深さの指標hX(k,l)、hy(k,l)は次の重心による精度を高めたクロス点の座標xc(k,l),yc(k,l)の計算に用いる。
【００５０】
（７）クロスハッチチャートの各クロス点に対応するイメージセンサ位置の正確な計算
（６）の処方で、クロスハッチパターンのクロス位置に対応するイメージセンサ画素番号i(k,l),j(k,l)：k＝…−3,−2,−1,0,1,2,3,…、l＝…−3,−2,−1,0,1,2,3,…が求めたが、クロス位置の精度上げるため、クロス位置の座標xc(k,l),yc(k,l)を求める。
具体的には、各クロス点のイメージセンサ番号i(k,l),j(k,l)の周りでローパスフィルタLPFを通した輝度分布Idをｙまたはｘ方向で±(2/3)Δn（小数点以下は切り捨て）の範囲で積分して平均化し、各クロス点近傍でのｘ、ｙ方向の線広がり関数LPFX(x),LPFY(y)を求める。
次に、各クロス点のｘ座標xc(k,l)については、ｘ方向線広がり関数LPFX(x)の最小値LSFX minから、ｘ方向の谷の深さの指標hX(k,l)の1/e以上の部分であるhX(k,l)(1−1/e)を引いた値、つまりLSFX min−hX(k,l)(1‐1/e)を基準値として、LPFX(x)がその基準値以下の部分を正負反転させて谷を山として、山の重心を求めてクロス位置の座標xc(k,l)を求める（ここでeは自然対数の底（＝2.71828）としたが、必ずしもその値に限定しなくてよい）。つまり、各クロス点のｘ座標xc(k,l)は（式２）で表すことが出来る。
【００５１】
【数２】
2011047808.tif 000004
【００５２】
ここで、x1,x2は−LSFX(x)＋LSFX min−hX(k,l)・(1-1/e)＝0になるｘの座標である。ここでLPFX(x)またはLPFY(y)の値はイメージセンサのセル位置に対応したx,yの格子点上で与えられているが、その他のx,y点ではリニア、あるいは３次関数的に連続して変化するとして、（ａ）区分的一次関数、（ｂ）区分的３次関数で、両端は一次関数としてxc(k,l)を求めるようにした。各クロス点のｙ座標yc(k,l)については、ｙ方向線広がり関数LPFY(y)、各クロス点でのｙ方向の谷の深さの指標hy(k,l)を用いて式（２）と同様な定式で求める。ただし、（ａ），（ｂ）のどちらの場合でも計算結果に大差なかった。
【００５３】
これから、位置検出の精度は（２）の積分の厳密性ではなく、むしろ輝度分布に重畳されたノイズ（画素毎の感度の違い＝固定パターンノイズ、アンプの１／ｆノイズ、熱ノイズ、フォトダイオードの暗電流、ショットノイズ等）に支配されていると理解できる。従って、少しでも計算時間が短くなる（ａ）の条件を採用した（プログラム中では（ａ）（ｂ）どちらでも選択できる）。図１０にはこのようにして求めたクロス点xc(k,l),yc(k,l)を結んだ格子図形を表示する。
【００５４】
格子点の計算精度を検証するため、近接した３×３の格子点を対象にして、その４隅の格子点でのxc(k,l),yc(k,l)から、ｘ、ｙ位置をパラメータｓ、ｔの関数とし、ｓ、ｔのそれぞれの１次の多項式で表すことにした。ｓ＝０、ｔ＝０が左下の格子点、ｓ＝１、ｔ＝０が右下の格子点、ｓ＝０、ｔ＝１が左上の格子点、ｓ＝１、ｔ＝１が右上の格子点とし、この４つの格子点位置から他の５つの格子点のｘ、ｙ位置を１次の多項式の内挿関数から求め、重心で求めたｘ、ｙ位置と比較した。
【００５５】
この操作を、図１０の格子点の全ての近接した３×３の格子点の組み合わせで行い、ｘ、ｙ座標の誤差の標準偏差を求めた結果を図１１に示す。標準偏差で言えば、イメージセンサ画素ピッチの５％以内の誤差（FPD画素ピッチに換算すれば、その１／１０の０．５％以内の誤差）でクロス点が求まったことになる。厳しい評価で誤差を判定したにも関わらず、かなり高い精度が得られたものと判断できる。
【００５６】
（８）  各FPD画素内部での輝度平均の計算
FPD画素位置の導出には、クロスハッチのｘ，ｙ座標を（a）１次、（b）２次、（c）３次、（d）４次の多項式での内挿を考えた。図１２にはそれぞれの場合の内挿に用いるクロスハッチの格子点を示している。
【００５７】
斜線で示した部分が内挿する範囲であり、その左下の隅をs＝0,t＝0、右上の隅をs＝1,t＝1として、このs,tの多項式でイメージセンサの番号(i,j)を実数に拡張したイメージセンサの位置座標(x,y)を内挿して求める。
【００５８】
【数３】
2011047808.tif 000005
【００５９】
【数４】
2011047808.tif 000006
【００６０】
この式での多項式の係数anm,bnmは(N−1)×(N−1)個のクロスハッチの格子点に対応するイメージセンサの位置座標xc(k,l),yc(k,l)から一意的に求めることができる。クロスハッチの黒線はFPD画素の２つ、ないしは４つ分の太さであるため、重心の座標xc(k,l),yc(k,l)はFPD画素の端面に対応している。クロスハッチパターンは任意の間隔で生成出来るが、図４の例ではFPD画素１０個間隔となっている。
【００６１】
このクロスハッチのクロス点がFPD画素１０個間隔の場合は式（３）（４）のｓ、ｔに0,1/10,2/10,3/10,…,9/10,1を代入して、クロスハッチの格子間にあるFPD画素の位置を求める。さらに、FPD画素内の任意の位置も式（３）（４）で求めることができる。１／１０単位でｓ、ｔに値を代入すればFPD画素の外枠が求まるが、１／１０単位以外の値を代入すれば、FPD画素内の任意の点に対応したイメージセンサ位置の座標ｘ、ｙを求めることができる。
【００６２】
次に、式（３）（４）のマッピングとイメージセンサの輝度分布の（ｘ、ｙ）座標の多項式での内挿を用いて、画素内の平均輝度＝画素から射出される光の総和（ただし、デジカメの射出瞳内に入る光に限る）を求めて、FPD画素の一個一個に対応した輝度分布を求める。FPDの一画素を例えば２０×２０の小さな矩形のサブセルに分割して、そのサブセルの中心（図１３のドット）の輝度の値の総和をサブセル数で割った値で画素内の平均輝度とした。サブセルの数は任意に選べるが、２０×２０程度で大体精度は飽和する。
【００６３】
なお、多項式の上限次数Ｎを１から４まで変えて計算を行なったが、Ｎ＝１より上限次数を上げても結果にはほとんど影響は無かった。イメージセンサからの信号に重畳されたノイズが計算誤差を支配しているものと推定される。イメージセンサからのノイズが大幅に減少されたならば、高次の内挿関数も意味があろうが、現状のデジカメを用いるならばＮ＝１で十分である。以上がFPDの各画素の外枠位置とその画素内の任意の点とイメージセンサの画素番号（ｉ，ｊ）を実数化させた座標（ｘ、ｙ）を一対一に対応させるマッピングの手法についてである。
【００６４】
また、イメージセンサの座標（ｘ、ｙ）に対する輝度は図１２に示したようなイメージセンサの画素に対応した格子点上の値を用いて式（３）（４）に類似した形式で表す。
【００６５】
【数５】
2011047808.tif 000007
【００６６】
係数cnmはイメージセンサの画素に対応した格子点上でのLPF処理を行なわない原画の輝度I(xi,yj)＝Iijを用いて表現できる。ここでも多項式の上限次数Ｍを変えて計算を行なったが、これもＭ＝１より上限次数を上げても結果には影響はほとんど無かった。イメージセンサからの信号に重畳されたノイズが計算誤差を支配しているものと推定している。
【００６７】
図１４にクロスハッチの画像について、以上の処理を行なった画像を示す。図１５、図１６には図３と図５のストライプ＆グレイスケールチャート、白チャートを撮像したデータの処理画像を示す。モアレの発生が極力抑えられた処理画像が得られていることが分る。
【００６８】
なお、図１５、図１６の画像は黒チャートの画像の輝度分布IB(x,y)を差し引き、さらにクロス点の周りの局所平均値（平均はクロス点の周りで、ｘ、ｙ方向に±Δn/2の範囲で行なった）でイメージセンサの場所ごとの感度の違いを補正している。つまり、黒レベルの補正とシェーディング補正を同時に行なっている（ただし、暗室で撮像した場合は黒チャートの撮像を省略するので黒レベルの補正は行なわない）。格子状のクロス点の周りの局所平均から、白チャートと黒チャートの格子点以外を含む局所平均輝度を
【００６９】
【数６】
2011047808.tif 000008
【００７０】
【数７】
2011047808.tif 000009
【００７１】
で表し、画面中心での局所平均値をIMW0、IMB0とすると、式（５）の任意の画像I(x,y)に対する黒レベルの補正とシェーディング補正を行なった補正値I'(x,y)は次のように表される。
【００７２】
【数８】
2011047808.tif 000010
【００７３】
なお、図３，５のチャートには＋の印があるが、この＋の印はクロスハッチのクロスの一部と同じ位置にある。この＋の印のクロス点をクロスハッチのクロス点を求めるのと同じ手法で求め、クロスハッチのクロス点の差から図３、図５の画像を撮像した時と図４の画像を撮像した時とのデジカメとモニタの微小な位置ずれを補正している。クロス点の組で矩形の四隅に位置するものを用いて、矩形内のクロスハッチのクロス点での位置ずれを水平座標、垂直座標のそれぞれの一次の多項式で内挿して求めて補正している。ただし、クロス点の外部の点は外挿して補正している。
【００７４】
（９）RGB画像の重み付け重ね合わせ係数の最適化（RAWデータを用いる際に必須）
２５６階調のJPEG画像のデータを用いた場合にはRGBの画像を１：１：１に重ね合わせた場合に問題はなかったが、RAW画像を用いて６５５３６諧調のRAWデータを１：１：１に重ね合わせた場合に淡いながらもピッチの大きなモアレが発生していた。このモアレはRGBの画像の混合比を適切に選べば、視認できないレベルになると判断し、重ね合わせの係数を自動的に調整してモアレを低減することを行なっている。
【００７５】
RGBの画像をIR(x,y),IG(x,y),IB(x,y)としたときに、規格化定数を除いて基本的には２つのパラメータで３つの画像は重ね合わせることができる。Rの係数をWR、Gの係数をWG、Bの係数をWBとすると、
【００７６】
【数９】
2011047808.tif 000011
【００７７】
ただし、重ね合わせの係数の最適化にはWR,WG,WBではなく、
【００７８】
【数１０】
2011047808.tif 000012
【００７９】
【数１１】
2011047808.tif 000013
【００８０】
Gの画像は必ず含まれるものとして、その重ね合わせの係数WGを１とし、
【００８１】
【数１２】
2011047808.tif 000014
【００８２】
を用いて、輝度の平均値からの標準偏差を最小にするようにWR/B,WRB/Gの値を最適化して、FPD画素構造とイメージセンサ画素構造とのモアレの発生を極力抑えるような操作もプログラムの中で自動的に行なっている。混合比を最適化する際には、白チャートの処理画像をＦＰＤセルピッチを単位として、コンボリューションするガウス分布の１／ｅ半径をRx＝Ry＝3と選んで、ノイズを低減して最適化している。この最適化には準ニュートン法の一種であるDavidson-Flecher-Powell法を用いた。この場合には、最適化したWR/B,WRB/Gの値は（０．１６３，０．４４８）となっている。
【００８３】
最適化では図２のフローチャートの（５）から（８）の計算を画像データの出力を行なわずに、何度も繰り返すことになるのでかなりの計算時間（CPU時間）がかかる。ただし、撮像するデジカメとその絞り・シャッタースピード、FPDのフィルター、ないしは蛍光体、輝度が固定であれば、最適化したWR/B,WRB/Gの値は再現性があるので毎回最適化する必要はない。
【００８４】
（10）グレイスケール内平均輝度の計算とγ補正した画像の計算・表示
図１６と原画像の図３を比較すると、グレイスケールで黒に近いレベルが潰れていることが分る。これを補正するためにガンマ特性を求めることにした。なお、図３のパターンでストライプの上下にあるグレイスケールは２５６階調で表示し、黒レベルを０として、白レベルを２５５と表すと、レベルは、０，１６，３２，４８，６４，８０，９６，１２８，１７６，２２４，２４０，２５５の１２個とした。この値を２５５で割った値を横軸に、縦軸にグレイスケールセル内の平均輝度を求めて、折れ線で図１７に示した。図１７に折れ線が２本あるのは、チャートにグレイスケールが上下二組あるからである。
【００８５】
このグラフは折れ線であるが、２つの折れ線を平均化し、各点を３次のスプライン関数で補間し、また、黒レベルの近傍は指数関数で近似し、γ特性を滑らかな関数で表した。図１８にその結果を示す。滑らかな関数で表す際には、縦軸の平均輝度を独立変数とし、横軸を従属変数となるようにした。逆関数として近似し、縦軸の値を逆関数のサブルーチンに入力すれば、横軸の値が求まるようにした。このサブルーチンを用いれば、γ補正ができることになる。その結果を図１９、図２０に示す。γ補正した画像処理の結果、グレイスケール部分の黒潰れはなくなり、この図１９、図２０をLCDに表示した際には原画像に近い画像表示が得られることが確認されている。
【００８６】
ただし、原画像に近い画像表示の確認時のみγ補正を行い、解像度やモアレコントラストを評価する際にはγ補正なしの画像データを用いる。また、解像度やモアレコントラストを正確に求める場合には、デジカメからのJPEG画像ではなく、画像処理していない生の画像（RAW画像）を用いる必要がある。
【００８７】
(11) 解像度（振幅変調度）の計算と表示
図２１、２２に白黒のストライプの部分のパターンに対応した輝度の変化を示す。ストライプ（縞）部分はFPD画素毎の平均輝度をストライプに添って平均し、それをストライプに垂直方向に表示したものである。図２１は垂直ストライプ（縦縞）での水平方向の輝度の変化、図２２は水平ストライプ（横縞）での垂直方向の輝度の変化を示す。振幅、ピッチが異なる６つのグラフが一つの図の中に示されている。左から右に、FPDが１，２，３，４，５，６個ごとに交互に白黒となっているパターンである。本来、この種のグラフは５０％を中心にして、プラス（白）方向とマイナス（黒）方向に対称に振動して、白レベル（１００％）と黒レベル（０％）の差に対する振幅の割合を振幅変調度AR(Amplitude  Response)と呼び、これで解像度を評価することが多い。
【００８８】
【数１３】
2011047808.tif 000015
【００８９】
図２２を見ればグラフは５０％を中心にして、プラス（白）方向とマイナス（黒）方向に対称に振動しているが、図２１ではプラス（白）方向の振動が潰れていることが分る。このような白潰れもあるので、ここでは５０％のレベルの下側の振幅を用いて、
【００９０】
【数１４】
2011047808.tif 000016
【００９１】
で振幅変調度（AR）を評価することが優れていると判断した。
【００９２】
図２３には式（１４）で評価した振幅変調度（AR）を示した。横軸はFPD画素が一個ごとの白黒を空間振動数を１として、その他の空間振動数を表示し、縦軸は振幅変調度（AR）である。２つの折れ線があるが、これらは縦縞、横縞に対する振幅変調度（解像度）である（横軸１で僅かに大きな値をとるのが縦縞に対する振幅変調度）。図２３から、縦縞、横縞に対する振幅変調（AR）はほぼ等しいことが分る
なお、ここで与えた振幅変調度（AR）はFPD（今回の場合はLCD）の基板ガラス内での光の散乱、デジカメの光学系内での光の散乱、デジカメのレンズの幾何学収差、波面収差、レンズ系公差による寄生収差等を含んでの結果であり、絶対的な振幅変調度を表すものではないことを注意しておく。従って、ここでの振幅変調度（AR）の値は３Ｄ表示装置等のレンチキュラーレンズ、光拡散層等が異なる場合の相対比較に用いることを推奨する。つまり、基準となる解像度劣化のほとんどないFPDでのARの値を基準とし、それとの相対比のARで拡散層やレンチキュラーレンズ等の付加の解像度に及ぼす影響を評価すればよい。
【００９３】
以上が、FPDの画素の周期構造とイメージセンサの周期構造との干渉による新たなモアレ発生を極力低減した画像処理法についてと、振幅変調度（AR）の計測法についてである。次に、この新たなモアレ発生を極力低減した画像処理法を用いて、FPDで現れるモアレ画像の評価法について詳しく述べる。フローチャートの（１２）（１３）について、モアレが一方向の場合、モアレが２方向の場合について述べる。
【００９４】
（12）モアレの方向、ピッチ、コントラストの計算、モアレパターンの抽出
その１（一方向モアレの場合）
図２４に僅かな一方向モアレを含んだ検証用の白チャートを示す。ただし、この図は実際に用いた検証用の白チャートより、モアレのコントラストを３倍に誇張して表示している。なぜなら、実際に用いたチャートを印刷表示してもモアレが視認できないからである。このような模擬的なモアレを含むチャートを撮像して本発明の有効性を検証した。他にも図３、図４に対応したチャートにもモアレを重畳した模擬モアレチャートを用意して撮像し、図６の黒チャートはそのまま用い、フローチャートの（１）から（１１）と同じ手順に従って画像処理した後、モアレを評価した。図２５が図２４の模擬的なモアレを含んだテストチャートをLCDに表示して撮像した画像を、今回考案・開発したFPD画素とイメージセンサ画素とのモアレを極力低減した画像処理を施した結果である（γ補正なし）。ただし、図２４と比較することができるように図２５も同じ倍率でコントラストを誇張して表示している。
【００９５】
γ補正を行なわない処理画像では、モアレは強調されて現れ、直接観察するよりも視認性が高まっていることが分る。画面の左下でのピッチは粗く、右上ではピッチが細かくなっていること、モアレは不等間隔であり、縞の角度が変化していることは明確に分る。次に、このモアレ撮像の画像処理データから、モアレの方向、コントラスト、ピッチを求める。
2011047808.tif 000017
【００９６】
【数１５】
2011047808.tif 000018
【００９７】
図２７に図２５の画像データの中心部分で８０×４０（単位はFPDセルピッチ）の(u,v)座標での矩形領域を回転させ、分散σ2(θ)の平方根の標準偏差σ(θ)を求めた結果を示す。横軸が角θ（度）で縦軸は標準偏差である。この図から、標準偏差は角θがモアレ縞に垂直方向θ＝30°で最大値をとっていることがわかる（チャートのモアレ縞垂直方向はθ＝30°に設定）。
【００９８】
図２８には、角θが２０°から４０°の間で、１°毎に関数f(θ,u)の座標uに対する依存性を示す。図２７と図２８から、標準偏差が最大値をとっている場合に、関数f(θ,u)の振幅が最も大きいことがわかる。
【００９９】
また、図２９には標準偏差が最大値をとる場合（正確には計算値θ＝30.0°）の関数f(θ,u)の座標uに対する依存性を示す。このグラフから、モアレのピッチとコントラストを求める方法が示唆される。このグラフを正弦波と近似すれば、分散の平方根（標準偏差σ）を平均値fｍ(θ)で割って2√2倍したものが振幅（peak to peak:  pp値）となる。従って、
【０１００】
【数１６】
2011047808.tif 000019
【０１０１】
で表される。
【０１０２】
また、モアレの波形の谷は図２９の波形が下がって平均値を切る点のu座標u(−)と上がって平均値を超える点のu座標u(＋)との平均値(u(−)＋u(＋))/2で表して、谷と谷との間隔でモアレピッチを表すことを行なった。また、波形の平均値以下の部分で平均値を差し引いたものを符号反転させ、山形を形成させて、その山形の重心位置でモアレ波形の谷を表してモアレピッチを求めることも行なった。平均値(u(−)＋u(＋))/2でモアレ波形の谷を表してピッチを評価した場合と重心でモアレの谷を表した場合はほぼ同等の結果が得られた。
【０１０３】
図３０にはモアレ角度（θ）、モアレコントラスト(CR)、重心で表したモアレピッチを画面の５点で示す。角度、ピッチが場所によって変化したモアレ画像を与えて撮像した画像からの測定結果とモアレチャートの条件とはよく対応している。
【０１０４】
さらに、モアレ波形の谷の位置とモアレの方向を求める手法を局所的に行なって、その操作を画面上でスキャンすれば、モアレパターンを抽出することができる。その結果を図３１に示す。なお、ここではFPD画素４０×４０の正方形の(u,v)領域を［40/√2の整数部分（28コ）−4コ］＝24コのFPD画素間隔で重複させて縦横に並べ、その各々の正方形の(u,v)領域を回転させて標準偏差が最大になる角度とその方向のピッチを求め、２４×２４のFPD画素分の正方形の中で、モアレの谷の線を線分で表示してモアレパターンを表現した。ただし、正方形の大きさは同じだが、ｘ、ｙ方向の左右上下の端部では正方形の移動量のピッチを小さくして、正方形をオーバーラップさせている。
【０１０５】
この例からも分るように、矩形領域で輝度を一方向に積分して線広がり関数（LSF）を求め、矩形領域を回転しながらLSFの平均値からの標準偏差を最大にする角度θをモアレ方向と定め、さらに振動するLSFの波形からモアレのピッチとコントラストを求めて局所的なモアレパターンを描画し、その矩形領域をスキャンしながら全体的なモアレパターンを求める手法は汎用性が極めて高く、不等間隔のピッチを持ったモアレのパターンでも容易に抽出できた。この局所的なモアレの抽出法とそれに基づいた全体的モアレの抽出法も本発明の重要なポイントの一つである。
【０１０６】
その２（二方向モアレの場合）
図３２の模擬的なモアレを含んだテストチャートをLCDに表示して撮像した画像を、今回開発したFPD画素とイメージセンサ画素とのモアレを極力低減した画像処理を施して図３３に示す。図３２も実際に用いた検証用の白チャートよりモアレのコントラストを３倍に誇張し、図３３も同じ倍率でコントラストを誇張している。図３３は図３２に示したモアレを含んだ画像をよく再現していることが分る。ただし、このモアレのピッチは非常に長いため、局所平均の範囲を通常の５倍×５倍として、モアレのある白色チャートでの撮像情報からシェーディング補正した。γ補正を行なわない処理画像では、モアレは強調されて現れ、直接観察するよりも視認性が高まっていることが分る。  
次に、このモアレ撮像の画像処理データから、モアレの方向、コントラスト、ピッチを求める。この画像データにさらにFPD画素を単位として、ガウス分布の１／ｅ半径Rx,Ryを１として、ガウス分布のコンボリューションによるローパスフィルタLPFを通したノイズを低減した結果を用いた。なぜなら、このような大きなピッチのモアレではFPD画素一ピッチ分程度の１／ｅ半径を持つガウス分布によるLPFを通しても、モアレの信号情報は失われず、計算の精度が向上するからである。
【０１０７】
図３４には図３３にLPFを通した画像データで中心部分で８０×４０の(u,v)座標での矩形を回転させて、標準偏差を求めた結果を示す。図３４から、標準偏差は基本的に２つのピークを持っていることが理解できる。θ＝30.0°のピーク、その角度にほぼ直交する方向のピーク(θ＝−60.1°)である。図３５にLPF処理した図３３の画像データについて標準偏差が最大値をとるθ＝30°近傍での関数f(θ,u)の座標uに対する依存性を示す。図２８（ピッチが細かい）の場合と図３５（ピッチが粗い）を比較すれば、図３５の場合は角度θに対して振動波形の振幅の依存性は緩和されていることが分る。
【０１０８】
図３６、３７には、標準偏差が最大のθ＝30.0°（第1主方向）の場合とそれにほぼ直交する方向で、標準偏差が２番目に大きな極大値をとるθ＝−60.1°（第2主方向）での、線広がり関数f(θ,u)のu依存性を示す。
【０１０９】
図３８，３９には４０×４０の(u,v)矩形領域を回転して求めたモアレ角度（θ）、モアレコントラスト(CR)、重心で表したモアレピッチを画面の５点で示す。ただし、図３６，３７の角度（θ＝30.0°、θ＝−60.1°）と図３８，３９の画面中心での角度が０．１°程度の誤差があるのは(u,v)矩形領域の大きさが異なるためである。モアレ画像をFPDに表示して撮像した画像からの測定結果とモアレチャートの条件とはよく対応している。ほんの少しだけLPFをかけるだけで、ノイズは低減させることができ、モアレのコントラストとピッチをより正確に求めることができた。
【０１１０】
図３２では中心部でθ＝30°の方向とそれに直交するθ＝−60°の方向のモアレコントラストの比は２：１になるように設定されているが、デジカメの撮像に基づく図３８，３９の出力でも0.0394：0.0224であり、ほぼ２：１となっている。また、図３２では２方向のモアレピッチは画面中心では等しくFPD画素１０個分であり、デジカメの撮像に基づく図３８，３９の出力でもほぼ同じ結果が得られている。
【０１１１】
図３３にLPFを通した画像データからモアレパターンを抽出した結果を図４０に示す。モアレパターンは正確に抽出されていることが分る。ここでモアレパターンは第1主方向のモアレと第2主方向のモアレを別々に抽出して描画して全体的なモアレを抽出している。
【０１１２】
なお、本発明は基本的なものであり、モアレや解像度の計測に使わなくとも、ただ単にFPDに移された画像をFPDとイメージセンサとのモアレなしに撮像することにも利用できる。この際には、図３から図６のテストチャートをFPDに表示して順次撮像して後に、FPDに任意の画像を表示して撮像し、FPD画素毎の輝度の総和を求めれば任意の画像についてモアレの発生を抑制した画像を得ることができる。
【符号の説明】
【０１１３】
１…デジタルカメラ、２…カメラ固定用三脚、３…リモートシャッター、４…画像データ転送用ケーブル、  ５…パソコン、６…フラットディスプレイパネル。
【図１】
2011047808.tif 000020
【図２】
2011047808.tif 000021
【図３】
2011047808.tif 000022
【図４】
2011047808.tif 000023
【図５】
2011047808.tif 000024
【図６】
2011047808.tif 000025
【図７】
2011047808.tif 000026
【図８】
2011047808.tif 000027
【図９】
2011047808.tif 000028
【図１０】
2011047808.tif 000029
【図１１】
2011047808.tif 000030
【図１２】
2011047808.tif 000031
【図１３】
2011047808.tif 000032
【図１４】
2011047808.tif 000033
【図１５】
2011047808.tif 000034
【図１６】
2011047808.tif 000035
【図１７】
2011047808.tif 000036
【図１８】
2011047808.tif 000037
【図１９】
2011047808.tif 000038
【図２０】
2011047808.tif 000039
【図２１】
2011047808.tif 000040
【図２２】
2011047808.tif 000041
【図２３】
2011047808.tif 000042
【図２４】
2011047808.tif 000043
【図２５】
2011047808.tif 000044
【図２６】
2011047808.tif 000045
【図２７】
2011047808.tif 000046
【図２８】
2011047808.tif 000047
【図２９】
2011047808.tif 000048
【図３０】
2011047808.tif 000049
【図３１】
2011047808.tif 000050
【図３２】
2011047808.tif 000051
【図３３】
2011047808.tif 000052
【図３４】
2011047808.tif 000053
【図３５】
2011047808.tif 000054
【図３６】
2011047808.tif 000055
【図３７】
2011047808.tif 000056
【図３８】
2011047808.tif 000057
【図３９】
2011047808.tif 000058
【図４０】
2011047808.tif 000059