(57)【要約】      （修正有）【課題】表示装置により表示される表示画像を観察するとき、観察者の眼の網膜像には収差が生じており、表示画像の鮮明さが低下している。網膜上に発生する収差の程度は、観察者の眼の瞳孔径に応じて異なるため、収差の程度に応じた補正を行なう。【解決手段】画像処理方法は、瞳孔径情報を用いて観察者の眼に生じる収差を推定する収差推定工程２０６と、収差推定工程により得られた収差推定量を、入力画像の補正量に変換する補正量取得工程２０８と、補正量取得工程により得られた補正量に従い補正を行う補正工程２１７から構成される。【選択図】図２
2012103753.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像情報に対して補正処理を行なう画像処理方法において、
画像表示装置において表示される表示画像の観察者の眼に生じる収差を推定する収差推定工程と、
前記収差推定工程により得られた収差推定量を、入力画像の補正量に変換する補正量取得工程と、
前記補正量取得工程により得られた補正量に従って前記画像情報に対する補正処理を実行する補正工程と、
を有することを特徴とする画像処理方法。
【請求項２】
前記収差推定工程では、前記観察者の瞳孔径情報を取得することを特徴とする、請求項１に記載の画像処理方法。
【請求項３】
前記収差推定工程では、前記観察者の瞳孔径情報を推定することを特徴とする、請求項１に記載の画像処理方法。
【請求項４】
前記瞳孔径情報の推定は、前記観察者の周辺光の照度情報、前記観察者の心拍情報、前記画像表示装置から前記観察者までの距離情報、前記表示画像を表示する表示画面の平均輝度情報、および前記表示画像を表示する時刻情報の内、いずれか一つ以上を用いて行われることを特徴とする、請求項３に記載の画像処理方法。
【請求項５】
前記補正量取得工程により得られる補正量は、空間周波数成分処理、エッジ強調処理および階調処理のいずれか一つ以上に関することを特徴とする、請求項１から請求項４のいずれか一項に記載の画像処理方法。
【請求項６】
入力された画像情報に対して補正処理を行なう画像処理装置において、
画像表示装置において表示される表示画像の観察者の眼に生じる収差を推定する収差推定手段と、
前記収差推定手段により得られた収差推定量を、入力画像の補正量に変換する補正量取得手段と、
前記補正量取得手段により得られた補正量に従って前記画像情報に対する補正処理を実行する補正手段と、
を有することを特徴とする画像処理装置。
【請求項７】
前記収差推定手段では、前記観察者の瞳孔径情報を取得することを特徴とする、請求項６に記載の画像処理装置。
【請求項８】
前記収差推定手段では、前記観察者の瞳孔径情報を推定することを特徴とする、請求項６に記載の画像処理装置。
【請求項９】
前記瞳孔径情報の推定は、前記観察者の周辺光の照度情報、前記観察者の心拍情報、前記画像表示装置から前記観察者までの距離情報、前記表示画像を表示する表示画面の平均輝度情報、および前記表示画像を表示する時刻情報の内、いずれか一つ以上を用いて行われることを特徴とする、請求項８に記載の画像処理装置。
【請求項１０】
前記補正量取得手段により得られる補正量は、空間周波数成分処理、エッジ強調処理および階調処理のいずれか一つ以上に関することを特徴とする、請求項６から請求項９のいずれか一項に記載の画像処理装置。
【請求項１１】
請求項１から請求項５のいずれか一項に記載した画像処理方法をコンピューターに実行させることを特徴とする、画像情報の補正処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者の眼の収差を考慮した画像の補正処理を行なうことにより、観察者が知覚する画像の画質を向上させる画像処理方法に関する。
【背景技術】
【０００２】
人間は、眼の水晶体により物体の光学像を網膜上に結像させ、網膜上の視覚神経細胞により得られた信号を脳内で像として認識することで、物体を知覚する。水晶体は、写真撮影に用いられるレンズのように収差が抑制されてはいないので、網膜像には少なからず収差が含まれる。収差の中でも色収差については、水晶体のような分散を有する材質からなる単レンズでは抑制できないことが知られている。そのため、網膜上に焦点が合い易い緑色光に比べて、赤色光や青色光は焦点が正確にはあっておらず、いわゆる「ボケた」像となっている。
【０００３】
知覚された像に収差の影響が感じられにくいのは、網膜上の視覚神経細胞により得られた信号を脳内で像として認識する際に補正を行なっているためである。
【０００４】
観察者の眼の特性を考慮して画質を向上させた表示装置及び画像処理方法が、特許文献１に開示されている。
【０００５】
特許文献１に開示されている車両用表示装置は、視線検出機能、及び、運転者の眼の網膜像と車両外部の撮影結果と比較する機能、を備えている。網膜像は、車両外部の撮影結果に対し、事前に記録した運転者の眼の光学的伝達関数を作用させることで生成する。これらの機能を用いて視認が難しい箇所を特定した後、強調表示することで、運転者に注意を促すことを目的としている。また、運転者の眼の光学的伝達関数として、運転者に固有の収差についても例示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−２３３３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一般に単レンズの収差は、レンズの周辺部を通過した光線で最も大きくなる。
【０００８】
このことは眼の水晶体についても同様である。眼の瞳孔が小さく開いた状態に比べて、大きく開いた状態では収差の影響が大きくなる。
【０００９】
その結果として、脳内で補正しきれずに知覚される像の見え（画質）に影響が現れることになる。
【００１０】
液晶テレビなどの表示装置に関して言えば、表示装置が据えられている部屋が暗い場合には、表示装置を見ている観察者の瞳孔が開くことで収差が強く発生し、表示画面上でピントが合いにくい光に対して知覚される像の画質が低下することになる。
【００１１】
特許文献１に記載の方法のように、視線検出を用いて得られた視線方向や注視点情報を基にして、表示画像を補正する方法は知られている。だが、画像のボケに影響する収差は視線方向の変化が原因ではないため、これらの情報を補正に用いることはできない。
【００１２】
さらに特許文献１には、運転者（表示装置の観察者）の眼の収差の記録手段に関する記載もある。しかし、運転者の瞳孔径の変化についての考慮は無く、従って、瞳孔径に伴って変化する収差の補正については対応できていなかった。
【課題を解決するための手段】
【００１３】
本発明の画像処理方法は、
画像表示装置において表示される表示画像の観察者の眼に生じる収差を推定する収差推定工程と、
前記収差推定工程により得られた収差推定量を、入力画像の補正量に変換する補正量取得工程と、
前記補正量取得工程により得られた補正量に従って前記画像情報に対する補正処理を実行する補正工程と、
を有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、観察者の眼に生じる収差を推定し、収差の影響を抑制する補正を画像情報に対して施すことで、表示装置において表示される表示画像に対して観察者が知覚する像の見え（画質）の向上が可能になる。
【図面の簡単な説明】
【００１５】
【図１】実施例１に関する表示装置の構成図である。
【図２】実施例１に関する表示装置の映像制御部で行われる画像処理の流れについて示した図である。
【図３】数式１の変数と物理量の関係について述べた図である。
【図４】数式２における網膜像輝度と瞳孔径の関係を示した図である。
【図５】青色及び緑色に関するＭＴＦと補正量の関係を説明する図である。
【図６】実施例２に関する表示装置の構成図である。
【図７】実施例２に関する表示装置の映像制御部で行われる画像処理の流れについて示した図である。
【図８】実施例２で想定している瞳孔径と脈拍の関係を説明する図である。
【図９】実施例３に関する表示装置の構成図である。
【図１０】瞳孔径測定用小型カメラの構成図である。
【図１１】実施例３に関する表示装置の計算・メモリモジュールで行われる画像処理の流れについて示した図である。
【図１２】実施例４に関する表示装置の映像制御部で行われる画像処理の流れについて示した図である。
【発明を実施するための形態】
【００１６】
まず始めに、本発明の実施の形態に共通する事柄について説明する。本発明を構成する収差推定工程では、観察者の眼に発生する収差を瞳孔径を得ることにより推定する。ここでは瞳孔径の変化により影響を受ける収差を取り扱う。そのような収差には、瞳孔の通過位置の異なる光の焦点距離の差により発生する「球面収差」や、波長の異なる光の焦点距離の差を原因とする「縦色収差」がある。
【００１７】
球面収差が発生した場合、光学像が全体的にボケて、鮮明さが低下する。球面収差に関する補正では、ボケた像をピントがあった像に近付けるように補正を行う。
【００１８】
一方、縦色収差の場合には、焦点距離が短くなる青色光の像が、他の色よりもボケやすい。遠視の観察者の場合には、焦点距離が短い青色の方がピントが合いやすいため、赤色光にボケが発生する。水晶体の形状によっては、複数の色光が大きくボケてしまう場合もある。縦色収差に関する補正では、ピントが合いやすい色と比べてボケやすい色に関して補正を行う。ボケやすい色が複数ある場合には、複数の色に対して補正を行う。
【００１９】
瞳孔径の取得は、直接測定、あるいは、瞳孔径以外の情報からの推定により行われる。直接測定としては、例えば、観察者が画面を見ているときの瞳孔を含む領域を撮影し、瞳孔の大きさを画像から求める。瞳孔径以外の情報からの推定は、表示画面の明るさ、周辺光、心拍数や発汗などの生体反応、部屋の雰囲気等の、瞳孔径に影響するパラメータと瞳孔径の関係を実験等により関数またはテーブルを作成することで行われる。時刻や気温等のパラメータは、瞳孔径には直接影響しないが、周辺光や発汗などの瞳孔径に影響するパラメータに影響するので、同様な方法で推定に用いることができる。
【００２０】
本発明を構成する補正量取得工程と補正工程で扱う補正処理では、収差による画質の劣化（高周波成分の抑制や階調の変化）が生じないように、劣化を相殺できる画像処理を表示画像に施す。具体的には、高周波成分の抑制を相殺するために、高周波成分強調フィルタを使って高周波強調を行う、あるいは、階調の変化と逆の効果を持つ階調変換を施す。
【００２１】
ただし、階調や高周波成分の変化が知覚される際には、色恒常性のような心理的な補正が行われるので、収差の値のみに基づいて補正処理を実行するわけではない。また、心理的な補正により、異なる処理を行っていても似たような知覚効果が得られる場合がある。高周波成分の強調に関して言うと、高周波成分強調フィルタと、エッジ強調フィルタは厳密には異なる処理でも、心理的には同じような効果が期待できる。心理的な補正による効果は主観評価実験により見積もることができるので、収差から求めた補正量から効果を割り引く、あるいは、主観評価実験値から直接補正量を求めることで、正確な補正が可能になる。
【実施例１】
【００２２】
本発明の第一の実施の形態について、図１を用いて説明する。本発明の表示装置は、表示画面１０１、リモートコントローラー１０２、制御信号受信部１０３、周辺光量測定部１０４、観察者位置測距部１０５、映像制御部１０６、映像入出力端子１０７より構成される。
【００２３】
本発明の表示装置における処理の流れについて説明する。リモートコントローラー１０２から発せられた表示番組制御信号は、制御信号受信部１０３で受信される。表示番組制御信号に従って、表示対象となる動画像信号が映像入出力端子１０７に入力される。
【００２４】
入力された動画像信号は、フレーム毎に分割されて、順番に映像制御部１０６に送信される。映像制御部１０６に動画像中の１フレームが入力されるのと同期して、周辺光量測定部１０４に備えられている簡易的な測光計により、表示装置周辺の照度（周辺光量測定値）が測定され、映像制御部１０６に送信される。
【００２５】
同様に、観察者位置測距部１０５により観察者への距離が測定され、映像制御部１０６に送信される。観察者位置測距部１０５は、一眼レフカメラのオートフォーカス機能で一般的に知られている、多点測距を応用した測定器を搭載する。具体的には、設定画面において事前に選択された測距点に対して距離を測定し、距離の平均値を観察者への距離とする。
【００２６】
映像制御部１０６では、１フレームに含まれる画像情報と、周辺光量測定値、観察者距離を用いて、本発明で提案する画像処理方法に基づいた補正処理が実行され、補正が行われた後に、通常の表示装置で行われる色変換処理、階調変換処理が施される。
【００２７】
映像制御部１０６で実行される画像処理の流れについて図２を用いて説明する。映像制御部１０６に入力された画像データ２０１は、ＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥの３色の色信号からなるカラー画像であり、１フレームはＲＥＤ信号からなるＲ面、ＧＲＥＥＮ信号からなるＧ面、ＢＬＵＥ信号からなるＢ面、の３枚のカラー画像平面（ＲＧＢ面）から構成される。このようなＲＧＢ面からなる画像データ２０１は、画像データにすでに施されているガンマ補正の影響を除くために、線形化処理工程２１６により画像データの画素値が表示輝度に比例するように階調変換する。次に、表示画面上平均輝度推定工程２０２により表示画面上の平均輝度推定値２０３（以下では、表示画面輝度と略す）を算出する。表示画面輝度２０３の算出では、画像データ２０１のＧ面における平均画素値を求め、平均画素値に対応する輝度値を表示画面の輝度特性から求める。Ｇ面の平均画素値を推定に用いたのは、明るさに対する人間の眼の分光感度特性が、表示装置で用いられる緑色画素の分光輝度特性とほぼ同じなためである。
【００２８】
［収差推定工程］
次に収差推定工程２０６で、観察者の網膜像平均輝度を用いて瞳孔径を推定し、眼の色収差を推定する。
表示画面輝度２０３と、周辺光量測定値２０４、観察者距離２０５から収差推定値２０７を算出する。収差推定工程２０６では、まず観察者の瞳孔が開いた状態での網膜像の平均輝度（以下では、網膜像輝度と略す）を数式１により推定する。
【００２９】
【数１】
2012103753.tif 000003
【００３０】
ここで、Αは視野角、Φは表示画面の面積、Ｄは観察者から表示画面への距離、ＰとＱは輝度に関する変数、ＳとＴは比率に関する変数である。
【００３１】
数式１と物理量の関係を図３により説明する。数式１により得られる輝度は、表示画面３０１の周囲に仮想的な拡散反射面３０８が存在したときに、視野内に収まる領域の輝度の平均値を求めたものである。表示画面３０１と網膜３０４は結像関係であるので、得られる輝度の平均値が、網膜上の輝度の平均値とほぼ同じ値になる、ことに基づいている。
【００３２】
数式１のパラメータについて、より詳細な説明を行う。図３には、表示画面３０１と観察者の眼３０２の関係が示されている。観察者の眼３０２は、大まかには水晶体３０３と網膜３０４から構成され、表示画面３０１と網膜３０４は結像関係にある。数式１の変数Αは視野角３０５であり、変数Φは表示画面の面積３０６、変数Ｄは観察者から表示画面への距離３０７である。
【００３３】
変数Ｐは表示画面３０１の周囲に仮に存在するとした仮想拡散反射面３０８の平均輝度で、照明３０９により周辺光量測定値２０４で照らされたとして求めることができる。変数Ｑは表示画面３０１に対して推定された表示画面輝度２０３である。
【００３４】
変数Ｓは結像による輝度補正比率である。非特許文献１にも記載されているように、十分に収差が抑制された光学系であれば、物体の輝度と像の輝度は一致することが知られているが、水晶体の収差は抑制されておらず透過率も低いため、輝度補正が必要である。ここでは、水晶体に対する照明シミュレーションにより事前に求めた値を輝度補正比率として用いる。
【００３５】
変数Ｔは表示装置の設置環境に応じた定数である。表示装置が白色の壁に壁掛けで設置されている場合は、表示装置の周囲に実際に拡散反射面が存在する状況になるため、Ｔ＝１とし、壁から離れて設置される場合や壁の色が黒に近い場合はＴを０に近づける。この数値は観測者が表示装置設置時に設定する。
【００３６】
次に、数式１により得られた網膜像輝度から、数式２で与えられる関数Ｒにより瞳孔径を算出する。
【００３７】
【数２】
2012103753.tif 000004
【００３８】
ここで、Ｂは数式１に従って推定された網膜像輝度、ＲＭＩＮ、ＲＭＡＸは瞳孔径の最小・最大値、ＢＭＩＮは瞳孔径がＲＭＡＸのときに推定される網膜像輝度の最大値、ＢＭＡＸは瞳孔径がＲＭＩＮのときに推定される網膜像輝度の最小値、である。ＲＭＩＮ、ＲＭＡＸ、ＢＭＩＮ、ＢＭＡＸは実験により容易に求めることができる。
【００３９】
数式２の理解を深めるために、網膜像輝度を０から上昇させた場合の瞳孔径推定値の変化を図４により説明する。網膜像輝度がＢＭＩＮ以下である場合、像が暗く見にくい状態であるため、網膜に届く光が最大になるように瞳孔径は最大値ＲＭＡＸに調整される。網膜像輝度がＢＭＩＮ〜ＢＭＡＸにある場合、網膜像の光量が一定になるように瞳孔径が調整される。網膜像の光量は近似的に（網膜像輝度）×（瞳孔の面積）×（網膜の面積）／（水晶体の焦点距離）として与えられるが、（網膜の面積）と（水晶体の焦点距離）は変化しないため、（網膜像輝度）×（瞳孔の面積）が一定の定数になるように瞳孔径を調節する。数式２においては、瞳孔径が最大の場合の光量が基準になるように、上記定数をＢＭＩＮ×ΠＲＭＡＸ２／４とした。言うまでもないが、瞳孔が最小の場合を基準として定数を決めたり、定数ではなく、瞳孔が最小と最大の場合の間を滑らかにつなぐような関数を（網膜像輝度）×（瞳孔の面積）の基準としても良い。網膜像輝度がＢＭＡＸ以上である場合は、像が明るすぎる状態であるので、網膜に届く光が最小になるように瞳孔径は最小値ＲＭＩＮに調整される。
【００４０】
瞳孔径を推定できれば、統計的に得られる水晶体の形状・屈折率分布情報を用いることで、表示画面上に形成された縞の再現性を表す指標であるＭＴＦ（ＭＯＤＵＬＡＴＩＯＮ  ＴＲＡＮＳＦＥＲ  ＦＵＮＣＴＩＯＮ）を光学シミュレーションにより計算することが可能になる。収差推定工程２０６で推定する収差推定値２０７は、一般に光学設計で用いられる軸上色収差と物理的に同じものであるが、次工程以降で行われる画像補正に適するように、異なる色に関するＭＴＦの比を表す関数Ｆ（Ν）（数式３）とする。
【００４１】
【数３】
2012103753.tif 000005
【００４２】
ここで、ＭＴＦΛ，Ｒ（Ν）は、入射光の波長がΛ、瞳孔径がＲの場合に生じる眼のＭＴＦであり、上記シミュレーションにより得られた結果とする。ＭＴＦの入射光の波長は、分子分母各々に対し、５５０、４７０ＮＭとしている。これらの数値は、表示画面の緑色及び青色画素の分光輝度が最大になる波長を想定したものである。続く工程において、緑色・青色画素を用いた色補正を行うために、このような波長を選択したのであるが、他の色の画素を扱う場合や、分光輝度分布が特殊な場合には、波長の変更や、近くの波長に対するＭＴＦとの平均を用いれば良い。
【００４３】
数式１−３は計算途中で光学シミュレーションを必要とすることから、収差推定工程２０６では計算を行わず、事前に３つの数式を連結したＬＵＴ  （ＬＯＯＫ−ＵＰ  ＴＡＢＬＥ）を作成し、瞬時に収差推定値２０７を算出できるようにする。
【００４４】
［補正量取得工程］
次の補正量取得工程２０８では、収差推定値２０７を用いて補正量２０９を算出する。ここで得られる補正量２０９は、画像データ２０１のＢ面の空間周波数増幅に関する数値であり、数式４で与えられる。
【００４５】
【数４】
2012103753.tif 000006
【００４６】
変数ΝＭＩＮ，ΝＭＡＸは、補正対象となる空間周波数帯の最小及び最大値、Ｎは空間周波数帯のサンプル点数である。数式４の内容を理解するには補正処理の知識が必要となるので、次工程と合わせて説明する。
【００４７】
［補正工程］
次の補正工程２１０では、補正量２０９を用いて画像データ２０１の補正処理を行う。補正工程２１０は、Ｂ面抽出２１１、空間周波数成分分離２１２、高周波成分増幅２１３、画像合成２１４の各工程から成る。Ｂ面抽出工程２１１では、画像データ２０１のＲＧＢ面の中から補正対象であるＢ面を抽出する。空間周波数成分分離工程２１２では、フィルタ処理によりＢ面を低周波成分と高周波成分に分離する。フィルタ処理は任意に決められるが、本実施例では、ガウシアンフィルタを用いて低周波成分を抽出し、元データから低周波成分を減算することで、高周波成分を抽出する。カットオフ周波数については後述する。
【００４８】
高周波成分増幅工程２１３では、Ｂ面の高周波成分に対し、補正量２０９を積算する。画像合成２１４においては、高周波成分増幅工程２１３により処理された高周波成分と、空間周波数成分分離工程２１２により分離されていた低周波成分を合成して、補正後のＢ面を作成する。Ｒ，Ｇ面と合わせることにより、補正後画像データ２１５を生成する。
【００４９】
ここで、数式４の内容、および空間周波数成分分離工程２１２におけるカットオフ周波数の選び方について図５を用いて説明する。図５（Ａ）には入射光の波長が５５０ＮＭ（緑色光）で瞳孔径が最大の場合に相当する緑色ＭＴＦ５０１、及び入射光の波長が４７０ＮＭ（青色光）で瞳孔径が最大の場合に相当する青色ＭＴＦ５０２を模式的に示している。色収差の影響で、緑色光と比較して青色光がボケるため、高周波成分において差が生じていることが確認できる。補正工程２１０では、高周波成分が緑色光と青色光で同じ程度になるように、青色光が形成する光強度分布（つまりＢ面の画素値）の高周波数成分を増幅する。
【００５０】
理想的には、Ｂ面の空間周波数成分を細かく分離し、数式３で与えられる関数Ｆを各周波数成分毎に積算すれば良いが、空間周波数成分の抽出に計算時間がかかるために現実的ではない。そこで、空間周波数成分分離工程２１２において行っているように、空間周波数の分離は二つとし、高周波成分を一律に増幅する。増幅後青色ＭＴＦ５０３を図５  （Ｂ）に模式的に示す。このように、青色ＭＴＦ５０２よりも高周波成分の傾きが緩くなり、緑色ＭＴＦ５０１との差が小さくなる。
【００５１】
数式４により与えられる関数Ｇは、高周波成分に一律に積算される増幅率であり、数式３で与えられるＭＴＦ比率の平均（相乗平均）値を用いている。平均を求める空間周波数帯域は、Ｇの変数であるΝＭＩＮ，ΝＭＡＸにより指定され、空間周波数帯のサンプル点数はＮで指定される。ΝＭＩＮ，ΝＭＡＸは、両者ともカットオフ周波数５０４付近の数値を選択する必要があるが、増幅後の画像にノイズが目立つようであれば低周波の数値を選択する。
【００５２】
増幅後青色ＭＴＦ５０３の形状からわかるように、カットオフ周波数５０４付近で不連続の段差が生じて画質劣化の要因となりうる。そのため、カットオフ周波数５０４として、眼に捉えられやすい低周波成分は避けて、表示時のナイキスト周波数の数分の１程度の高周波や、ＭＴＦが十分に抑制されている周波数を選ぶ。また、自明ではあるが、空間周波数成分分離工程２１２において、低周波・高周波の二つではなく三つ以上に分割すれば、分割した境界の周波数に発生する段差は抑制できる。
【００５３】
補正後画像データ２１５は、表示前処理工程２１７において色温度調整やガンマ調整等の、通常の表示装置での画像処理を施される。得られた表示用画像データ２１８が映像制御部１０６の出力となる。
【００５４】
表示用画像データ２１８は、表示画面１０１上に表示され、観察者に提示されることになる。
【００５５】
このように、本発明の第一の実施の形態は、周辺光の照度等の情報から瞳孔径を推定することにより、観察者の眼に生じる色収差情報を取得し、観察者の色収差を補正するように、Ｂ面の高周波成分を強調する色補正機能を備えた表示装置、である。
【実施例２】
【００５６】
本発明の第二の実施の形態について説明する。
第一の実施形態では、表示機器周辺光量を測定して網膜像平均輝度を得、瞳孔径を推定するが、瞳孔径が拡大する状況は、必ずしも周辺光量のみでは決まらず、観察者の心理状態等にも影響される。第二の実施形態は、観察者の心拍や、観察時の時刻情報を用いて、瞳孔径を推定することを第一の特徴とする。さらに、視力補正を行っていない遠視の観察者を想定し、Ｒ面に色補正を行うことを第二の特徴とする。
【００５７】
図６に示される表示装置の構成は、第一の実施形態の構成とほぼ同じであるが、高性能マイク６０８、インターネット接続端子６０９、内蔵コンピューター６１０を備える点が異なる。
【００５８】
通常の処理の流れは、第一の実施形態と同じであるので、以下では、異なる点のみを説明する。
【００５９】
第二の実施形態に関する瞳孔径推定は、リモートコントローラー６０２により明示的に指示された場合、あるいは、障害物の存在により、周辺光量測定部６０４や観察者位置測距部６０５の出力値が異常と判定される場合に有効になる。
【００６０】
映像入出力端子６０７に入力された動画像信号は、フレーム毎に分割されて、順番に映像制御部６０６に送信される。映像制御部６０６に動画像中の１フレームが入力されるのと同期して、内蔵コンピューター６１０から脈拍情報と現在時刻を取得する。
【００６１】
脈拍情報の取得は、内蔵コンピューター６１０のハードディスクに記録されている心音分析プログラムにより実行される。心音分析プログラムは、高感度マイク６０８から常時送られてくる表示装置設置場所近辺の音声信号の中から、あらかじめ心音波形を登録した観察者の脈拍に関する成分（以後、脈拍信号と呼ぶ）を、音声認識処理により抽出する。観察者の心音波形の登録は、表示装置の調整画面で行うことができ、表示装置の前に１分程座っている間に計測され、内蔵コンピューター６１０のハードディスクに記録される。抽出された脈拍信号は、過去１分間の値が内蔵コンピューター６１０のハードディスクにバッファリングされる。１フレームに同期して映像制御部６０６に送信される脈拍情報は、同期信号の１秒前及び１０秒前の心拍の周期の差を、バッファリングされた脈拍信号から調べた値である。
【００６２】
現在時刻は、内蔵コンピューター６１０の時計機能から取得する。インターネット接続端子６０９により、インターネット上の時刻サーバーと同期できるため、時計機能は常に正確な時刻を返す。
【００６３】
映像制御部６０６では、通常の表示装置で行われる色変換処理、階調変換処理が施された後に、１フレームに含まれる画像情報と脈拍情報および現在時刻を用いて、本発明で提案する画像処理方法に基づいた色補正処理が実行される。処理後の画像信号は、表示画面６０１上に表示される。
【００６４】
映像制御部６０６で実行される画像処理の流れについて図７を用いて説明する。まず、映像制御部６０６に入力された画像データ７０１は、表示前処理工程７０２において色温度調整やガンマ調整等の、通常の表示装置での画像処理を施される。
【００６５】
次に、脈拍情報７０４あるいは時刻情報７０５を用いて収差推定工程７０６を実行し、収差推定値７０７を推定する。脈拍と時刻のうち、どちらの情報を用いるかについては、リモートコントローラー６０２を使って事前に指示されている。同様に、観察者の視力と眼鏡・コンタクトレンズの有無に関する情報もリモートコントローラー６０２を使って指示されている。これらの情報は、補正を施す色の種類に影響する。観察者の視力が正常、あるいは、遠視だが眼鏡をかけている場合は、第一の実施形態と同じくＢ面への処理となるので省略し、観察者が遠視で、眼鏡をかけていない場合についてのみ述べる。
【００６６】
収差推定工程７０６は、瞳孔径の推定方法と補正を施す色の種類以外は、第一の実施形態と同じである。
【００６７】
脈拍情報７０４を用いて瞳孔径を推定する場合について説明する。興奮を誘発するような画像を観察者が見た場合、一時的に瞳孔が開き、映像に慣れるに従って元に戻ることが一般的に知られている。このような興奮状態に関しては、一時的な脈拍の上昇を伴うので脈拍情報７０４を用いた検知が可能である。
【００６８】
本発明で想定している瞳孔径と脈拍の関係について、図８を用いて説明する。上述したように、脈拍情報７０４は１秒前及び１０秒前の心拍の周期の差であるが、横軸を測定開始時からの経過時間、縦軸を脈拍情報７０４としたグラフを作成すると、図８（Ａ）のようになる。驚きが発生した時間には、脈拍の周期が急激に短くなるため、値がマイナス方向に振れる。その後、少しプラス方向に振れてから、ゆるやかに０に近づいていく。よって、閾値８０１を下回ったときの時間を、興奮状態検出時間８０２とすることができる。一方瞳孔径の変化については、図８（Ｂ）に示すように、興奮状態検出時間８０２に解放時瞳孔径８０３になったのち、緩和時間８０４経過して平常時瞳孔径８０５に戻る、と考える。
【００６９】
閾値８０１は主観評価実験により決定可能であり、他のパラメータは実際に測定することが可能である。プログラム上では、図８（Ｂ）に示すような経過時間と瞳孔径の関係をＬＵＴで保持して、興奮状態の検出後にＬＵＴに従って瞳孔径を返す。
【００７０】
時刻情報７０５を用いて瞳孔径を推定する場合について説明する。周囲の明るさが時刻に応じて定期的に変化するような状況を想定した機能である。この状況では、第一の実施形態のように、周辺光照度を測定する必要はなく、周辺光照度の常時測定が困難であっても瞳孔径を推定できる。事前に、時刻に対応した明るさの変化を一日かけて記録し、ＬＵＴを作成しているとする。推定時には、まず、現在時刻からＬＵＴにより周辺光量測定値を求める。次に、周辺光量測定値と、観察者から表示画面への距離、表示画面輝度、を数式１、２に与えることで、瞳孔径を算出する。ただし、観察者から表示画面への距離と表示画面輝度は、測定値ではなく、平均的な値を与えるものとする。
【００７１】
瞳孔径から収差推定値７０７を得る際には、一つめの実施形態と同じく数式３により収差推定値を算出するが、分母のＭＴＦの波長を赤色画素の分光輝度が最大になる６３０ＮＭとする。上述したように、本実施形態では、観察者が遠視で眼鏡をかけずに表示画面を見ていることを想定している。焦点距離が短い青色光側にピントが合いやすく、赤色光がボケやすい状態であるので、補正対象色を赤色とした。より補正効果を高めたいならば、視力に応じて青色と赤色の割合を変え、両方の色を同時に補正しても良い。
【００７２】
次の補正量取得工程７０８では、収差推定値７０７を用いて補正量７０９を算出する。補正量７０９は、数式４で与えられる第一の実施形態における補正量を、補正工程７１０にて実行されるエッジ強調処理のパラメータに変換した値である。エッジ強調処理パラメータへの変換関数は、事前に主観評価実験により作成する。具体的には、実施形態１の補正を行った画像と、Ｒ面にエッジ強調処理を施した画像をいくつか生成し、その中から類似性が高い組を複数抽出する。実施形態１の補正量とエッジ強調処理パラメータの組がいくつかできるので、関数フィッティングにより両者の関係を関数化できる。
【００７３】
補正工程７１０では、補正量７０９を用いて表示前処理後画像データ７０１の補正処理を行う。補正工程７１０は、Ｒ面抽出７１１、エッジ強調処理７１２、画像合成７１３の各工程から成る。実施形態１と異なるのは、空間周波数に関する処理がエッジ強調処理７１２になった点であるので、エッジ強調処理についての説明のみ行う。
【００７４】
エッジ強調処理７１２は、数式５で与えられるフィルタを使用する線形フィルタ処理である。
【００７５】
【数５】
2012103753.tif 000007
【００７６】
パラメータΑは強調の程度を表すパラメータであり、補正量７０９はパラメータΑを用いている。実施形態１で行う高周波成分強調処理と同様に、画像の高周波成分を強調できる。計算負荷が実施形態１の高周波成分強調処理より小さいため、高速に処理可能である。数式５で与えられるフィルタは３×３の大きさのものを使用しているが、強調性能を高めたければ、より大きいサイズのものを使用しても良い。
【００７７】
補正工程７１０の結果である表示用画像データ７１４は、表示画面７０１上に表示され、観察者に提示されることになる。
【００７８】
このように、本発明の第二の実施の形態である表示装置は、観察者の心拍や現在時刻等の情報から瞳孔径を推定することにより、遠視の観察者の眼に生じる色収差情報を取得し、観察者の色収差を補正するように、赤色成分にエッジ強調処理を行う補正機能、を備えている。
【実施例３】
【００７９】
本発明の第三の実施の形態について説明する。これまで説明した実施形態は、観察者の瞳孔径を周辺情報から推定するものであったが、本実施形態は瞳孔径を直接測定することを特徴とする。また、携帯電話画面等の小型の表示画面を想定しており、周波数強調のような計算負荷の大きい処理ではなく、階調変換のみで補正を行う。
【００８０】
図９に示される表示装置は、タッチパネル９０１、瞳孔径測定用小型カメラ９０２、操作キー９０３、計算・メモリモジュール９０４、無線ＬＡＮモジュール９０５、外部記憶モジュール９０６を備える。
【００８１】
第三の実施形態における処理の流れについて説明する。タッチパネル９０１上には、通常、待ち受け画面が表示されている。映像を表示したい場合は、表示画面９０１の該当項目を指でクリックする、あるいは、タッチパネル９０１に表示されているマウスカーソルを操作キー９０３により該当項目上に動かし、クリックする。この際、画像データの在り処（外部サーバー、または、外部記憶モジュール９０６）も指定する。指示が完了したのちに、画像データを取得し、計算・メモリモジュール９０４に送られる。計算・メモリモジュール９０４は、メインメモリ、キャッシュメモリ、小型のＭＰＵ、ＧＰＵを備えたモジュールであり、画像データはメインメモリに読み込まれる。
【００８２】
画像データがメインメモリに読み込まれるのと同期して、観察者の眼付近の画像（以下、眼測定画像と呼ぶ）を瞳孔径測定用小型カメラ９０２により取得し、計算・メモリモジュール９０４に眼測定画像が送信される。瞳孔径測定用小型カメラ９０２は図１０に示すように、二つのレンズ１００１、１００２を備える。これらのレンズにより、観察者の片方の眼が同時に異なる画角から撮影される。
【００８３】
次に、計算・メモリモジュール９０４において、眼測定画像から瞳孔径を算出し、補正を実行する。図１１を用いて、計算・メモリモジュール９０４において実行される画像処理について説明する。まず、計算・メモリモジュール９０４のメインメモリに保持されている眼測定画像１１０１から瞳孔径測定工程１１０２により瞳孔径情報１１０３を取得する。
【００８４】
瞳孔径測定工程１１０２は、瞳孔位置検出１１０４、観察者距離取得１１０５、瞳孔径検出１１０６の３段階の処理で構成される。瞳孔位置検出１１０４では、図１０に示すレンズ１００１、１００２により得られた二つの像から円形パターンを探索し、円形パターン中心の画像上での位置を瞳孔位置とする。瞳孔位置と同時に、画像上での瞳孔径も求める。観察者距離取得１１０５では、二つの画像における瞳孔位置から数式６に従ってレンズ面から瞳孔までの距離Ｙを算出する。
【００８５】
【数６】
2012103753.tif 000008
【００８６】
数式６におけるパラメータと物理量の関係を図１０を用いて示す。Ｄはレンズとセンサ面１００３の距離１００４、Ｘはレンズ間の距離１００５、ＰとＱは各々レンズ１００１、１００２の光軸とセンサ面の交点１００６，１００７を原点としたときの、瞳孔位置のＸ座標１００８，１００９である。ただし、Ｘ座標は光軸とセンサ面の交点１００６，１００７を結ぶ直線に平行であるとする。
【００８７】
瞳孔径検出１１０６では、瞳孔位置検出１１０４で得られた画像上の瞳孔径Ｈ’と、観察者距離取得１１０５で得られたレンズ面から瞳孔までの距離Ｙから、数式７に従って瞳孔径Ｈを算出する。
【００８８】
【数７】
2012103753.tif 000009
【００８９】
ここで、Ｄはレンズとセンサ面１００３の距離１００４、Ｕはセンサ面１００３上の画素間距離である。
【００９０】
説明の都合上、観察者距離取得１１０５と瞳孔径検出１１０６を分割して算出しているが、これらを合わせて一度に算出することは可能である。さらに、観察者が画面を見る状態はほぼ決まっているので、プログラム化する際には、関数で算出せずにテーブル化するのが望ましい。
【００９１】
収差推定工程１１０７では、瞳孔径情報１１０３に対する色収差推定値１１０８をＬＵＴから求める。他の実施形態における色収差推定値はＭＴＦの比としていたが、本実施形態においては、計算負荷の大きい処理を避けるため異なる方式を採用する。色収差の副次的効果として、色の異なる点像のピーク値の明るさが低下することが知られている。本実施形態における収差推定値は、数式８で与えられる明るさ感覚量の比であり、ＬＵＴは瞳孔径と明るさ感覚量の比の対応をテーブル化したものを用いる。
【００９２】
【数８】
2012103753.tif 000010
【００９３】
ＳＥＮＴ，Ｒは、瞳孔径Ｒのときに色の種類Ｔの明るさに関する感覚量である。感覚量は主観評価により求める。具体的には、部屋の照明の明るさを変化させて観察者の瞳孔径を操作し、瞳孔径が安定している状態で、色と明るさが異なる矩形パターンを比較を繰り返すような、主観評価実験で求めることができる。
【００９４】
補正量取得工程１１０９以降の処理は、空間周波数関連の処理を階調変換１１１４に置き換えれば、第一の実施形態と同じである。階調変換１１１４は、Ｂ面の全画素に対し、補正量１１１０を一律に積算する処理である。
【００９５】
表示用画像データ１１１８は、タッチパネル９０１上に表示され、観察者に提示される。
【００９６】
このように、本発明の第三の実施の形態は、瞳孔径をカメラにより測定することにより、観察者の眼に生じる色収差情報を取得し、観察者の色収差を補正するように、青色の階調を調整する色補正機能を備えた表示装置、である。
【実施例４】
【００９７】
本発明の第四の実施の形態について説明する。本実施形態は、各色光間の差である色収差ではなく、瞳孔径に影響される一般的な収差を扱うことを特徴とする。このような収差には、球面収差、高次収差等が知られていて、いずれも光学像のボケの原因となる。
【００９８】
本実施形態における表示装置の構成、処理の流れは、ほぼ第一の実施形態と同じであり、説明は省略する。映像制御部における処理の流れの一部が異なるので、図１２を用いて説明する。
【００９９】
収差推定行程１２０６において、瞳孔径を得るまでは、第一の実施形態と同じである。瞳孔径を得てから、収差推定値１２０７を得る際には、数式３ではなく、数式９を用いる。
【０１００】
【数９】
2012103753.tif 000011
【０１０１】
ここで、ＭＴＦΛ，Ｒ（Ν）は、入射光の波長がΛ、瞳孔径がＲの場合に生じる眼のＭＴＦである。Ｐはボケが生じていないときの瞳孔径で事前に選択した値である。Ｑは瞳孔径推定値である。波長は、両方のＭＴＦ共に５５０ＮＭとしている。この波長の光強度は、明るさの感覚量に近いことが知られている。数式９で与えられる関数により、５５０ＮＭの波長の光に発生した収差を補正するための比率が得られる。
【０１０２】
補正量１２０９は、数式４に数式９で与えられる関数を代入することで得られる。
【０１０３】
補正工程１２１０においては、ＲＧＢ面全てに対して空間周波数分離１２１１、高周波成分増幅１２１２、画像合成１２１３を実施する。これらの処理は、第一の実施形態と同じである。
【０１０４】
本実施形態では、数式９に基づいて補正するために、５５０ＮＭ以外の波長の光に対しては正確に収差が補正されない。数式９と同様の式に基づいて、例えば、青色光の代表的波長である４７０ＮＭと赤色光の６３０ＮＭの補正量を算出し、各々をＢ面、Ｒ面に適用することで、より正確に収差を補正できる。
【０１０５】
このように、本発明の第四の実施の形態は、周辺光の照度等の情報から瞳孔径を推定することにより、観察者の眼に生じる収差情報を取得し、観察者の収差を補正するように、高周波成分を強調する補正機能を備えた表示装置、である。
【符号の説明】
【０１０６】
１０１  表示画面
１０２  リモートコントローラー
１０３  制御信号受光部
１０４  周辺光量測定部
１０５  観察者位置測距部
１０６  映像制御部
１０７  映像入出力端子
２０１  画像データ
２０２  表示画面上平均輝度推定工程
２０３  表示画面輝度
２０４  周辺光量測定値
２０５  観察者距離
２０６  収差推定工程
２０７  収差推定値
２０８  補正量取得工程
２０９  補正量
２１０  補正工程
２１１  Ｂ面抽出
２１２  空間周波数分離
２１３  高周波成分増幅
２１４  画像合成
２１５  補正後画像データ
２１６  線形化工程
２１７  表示前処理工程
２１８  表示用画像データ
３０１  表示画面
３０２  観察者の眼
３０３  水晶体
３０４  網膜
３０５  視野角
３０６  表示画面の面積
３０７  観察者から表示画面への距離
３０８  仮想拡散反射面
３０９  照明
５０１  緑色ＭＴＦ
５０２  青色ＭＴＦ
５０３  増幅後青色ＭＴＦ
５０４  カットオフ周波数
６０１  表示画面
６０２  リモートコントローラー
６０３  制御信号受光部
６０４  周辺光量測定部
６０５  観察者位置測距部
６０６  映像制御部
６０７  映像入出力端子
６０８  心音測定部
６０９  インターネット接続端子
６１０  内蔵コンピューター
７０１  画像データ
７０２  表示前処理工程
７０３  表示前処理後画像データ
７０４  脈拍情報
７０５  時刻情報
７０６  収差推定工程
７０７  収差推定値
７０８  補正量取得工程
７０９  補正量
７１０  補正工程
７１１  Ｒ面抽出
７１２  エッジ強調
７１３  画像合成
７１４  表示用画像データ
８０１  閾値
８０２  興奮状態検出時刻
８０３  解放時瞳孔径
８０４  緩和時間
８０５  平常時瞳孔径
９０１  表示画面
９０２  瞳孔径測定用小型カメラ
９０３  操作キー
９０４  計算・メモリモジュール
９０５  無線ＬＡＮモジュール
９０６  外部記憶モジュール
９０７  ボタン電池
９０８  装置の外見
９０９  内部モジュール配置
１００１，１００２  レンズ
１００３  センサ面
１００４  レンズとセンサ面の距離
１００５  レンズ間距離
１００６，１００７  光軸とセンサ面の交点
１００８，１００９  瞳孔位置のＸ座標
１０１０  観察者の眼
１０１１  レンズ面から瞳孔までの距離
１１０１  眼測定画像
１１０２  瞳孔径測定工程
１１０３  瞳孔径情報
１１０４  瞳孔位置検出
１１０５  観察者距離取得
１１０６  瞳孔径検出
１１０７  収差推定工程
１１０８  収差推定値
１１０９  補正量取得工程
１１１０  補正量
１１１１  画像データ
１１１２  色補正工程
１１１３  Ｂ面抽出
１１１４  階調変換
１１１５  画像合成
１１１６  補正後画像データ
１１１７  表示前処理工程
１１１８  表示用画像データ
１２０１  画像データ
１２０２  表示画面上平均輝度推定工程
１２０３  表示画面輝度
１２０４  周辺光量測定値
１２０５  観察者距離
１２０６  収差推定工程
１２０７  収差推定値
１２０８  補正量取得工程
１２０９  補正量
１２１０  補正工程
１２１１  空間周波数分離
１２１２  高周波成分増幅
１２１３  画像合成
１２１４  補正後画像データ
１２１５  線形化工程
１２１６  表示前処理工程
１２１７  表示用画像データ
【図１】
2012103753.tif 000012
【図２】
2012103753.tif 000013
【図３】
2012103753.tif 000014
【図４】
2012103753.tif 000015
【図５】
2012103753.tif 000016
【図６】
2012103753.tif 000017
【図７】
2012103753.tif 000018
【図８】
2012103753.tif 000019
【図９】
2012103753.tif 000020
【図１０】
2012103753.tif 000021
【図１１】
2012103753.tif 000022
【図１２】
2012103753.tif 000023