(57)【要約】      （修正有）【課題】良好な画像を表示できる画像処理装置および画像表示装置を提供する。【解決手段】画像処理装置は、画像を投影する投影部に用いられる画像処理装置であって、背景輝度に関する背景輝度情報を入力する背景輝度入力部２１０と、入力される入力画像データに対して前記背景輝度情報に応じたボケ補正を行って画素値を含むボケ補正画像データを生成し、前記画素値が取りえる範囲内に収まるように前記ボケ補正画像データのコントラストを変調して表示画像データとコントラスト変調情報を生成し出力する処理部２２０と、前記コントラスト変調情報に基づき、投影部の輝度を設定するための輝度設定情報を出力する輝度設定部と、を有する。【選択図】図２
2016197145.tif 000002
【特許請求の範囲】
【請求項１】
画像を投影する投影部に用いられる画像処理装置であって、
背景輝度に関する背景輝度情報を入力する背景輝度入力部と、
入力される入力画像データに対して前記背景輝度情報に応じたボケ補正を行って画素値を含むボケ補正画像データを生成し、前記画素値が取りえる範囲内に収まるように前記ボケ補正画像データのコントラストを変調して表示画像データとコントラスト変調情報を生成し出力する処理部と、
前記コントラスト変調情報に基づき、投影部の輝度を設定するための輝度設定情報を出力する輝度設定部と、
を有する画像処理装置。
【請求項２】
前記ボケ補正部は、少なくとも２つ以上のフィルタから構成されるフィルタセットを有し、該フィルタセットから１つのフィルタを選択するためのフィルタ情報を出力するフィルタ選択部と、前記フィルタ情報に基づいて入力画像データに適用するフィルタを切り替えるフィルタ切り替え部と、前記入力画像データに対して前記フィルタ選択部で選択されたフィルタを適用してボケ補正画像データを出力するフィルタ処理部とを備える請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ選択部は、前記背景輝度が高いほど、ボケ補正効果の強いフィルタを選択する請求項２に記載の画像処理装置。
【請求項４】
前記フィルタは、観測画像にボケを発生させる劣化過程を表す空間フィルタを補正画像データに畳み込むことで生成される画像データと、所定の画像データとの差分を表すエネルギー関数を小さくする、請求項２または３に記載の画像処理装置。
【請求項５】
前記フィルタは、投影部の輝度に対して線形な色空間で適用される請求項２乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記処理部は、前記ボケ補正画像データを構成する画素の最大値と最小値に基づいてコントラストを変調する請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項７】
前記輝度設定量は、前記ボケ補正画像データのコントラスト変調により低下する輝度の変化量に基づいて定められる、請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記処理部は、前記ボケ補正画像データに対して歪み補正を行ったあとにコントラストを変調する請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
請求項１乃至８のいずれか一項に記載の画像処理装置と、
前記輝度設定情報に基づいて光を出射する光源と、前記光が入射し前記表示画像データに基づく画像光を出射する表示部と、を備える投影部と、
画像光の少なくとも一部を反射させる反射部と、
を備える画像表示装置。
【請求項１０】
背景輝度を検出するセンサをさらに備え、
前記センサは検出した背景輝度を前記背景輝度入力部に入力する、請求項６に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置および画像表示装置に関する。
【背景技術】
【０００２】
使用者の前方に画像を表示するための画像表示装置が知られている。この画像表示装置は、光源から出射された光が入射され表示画像データを画像光として出射する表示部と、光学系部品を通じて画像光を構成する少なくとも一部の光線の方向を補正した補正光を出射する投影部と、補正光を構成する少なくとも一部の光線を使用者の眼球へ向けて反射させる反射部を備える。例えば、このような画像表示装置は頭部に装着するヘッドマウントディスプレイである。
【０００３】
光学系部品や反射部を構成するレンズやハーフミラーなどの光学素子ごとに収差が発生するために、使用者が視る画像、すなわち観測画像にボケ、色ずれや歪みが生じる場合がある。このような場合、収差による劣化の逆特性を与える処理を画像表示装置の入力である入力画像データに対して予め適用しておくことで、収差による劣化を補正する画像処理技術がある。特にボケを補正するために、観測画像にボケを発生させる劣化過程を空間フィルタあるいは周波数フィルタとして表現し、これらのフィルタの逆特性を持つ逆フィルタを表示画像データに適用する。これにより、使用者はボケが補正された観測画像を視ることができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】小山田他、“投影面上に生じる焦点ボケ補正のための投影画像の事前補正法”、 画像の認識・理解シンポジウム(MIRU2007) 、 2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
良好な画像を表示できる画像処理装置および画像表示装置を提供する。
【課題を解決するための手段】
【０００６】
本実施形態に係る画像処理装置は、画像を投影する投影部に用いられる画像処理装置であって、背景輝度に関する背景輝度情報を入力する背景輝度入力部と、入力される入力画像データに対して前記背景輝度情報に応じたボケ補正を行って画素値を含むボケ補正画像データを生成し、前記画素値が取りえる範囲内に収まるように前記ボケ補正画像データのコントラストを変調して表示画像データとコントラスト変調情報を生成し出力する処理部と、前記コントラスト変調情報に基づき、投影部の輝度を設定するための輝度設定情報を出力する輝度設定部と、を有する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る画像表示装置の模式図。
【図２】第１の実施形態に係る画像表示装置のブロック図。
【図３】第１の実施形態に係るボケ補正部のブロック図。
【図４】図２のブロック図に対応するフローチャート。
【図５】図３のブロック図に対応するフローチャート。
【図６】第２の実施形態に係る画像表示装置のブロック図。
【図７】図６のブロック図に対応するフローチャート。
【図８】実施形態に係る画像表示装置のハードウェア構成の模式図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面を参照しつつ説明する。図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００９】
（第１の実施の形態）
図１は、第１の実施形態に係る画像表示装置を例示する模式図である。
【００１０】
図１に表したように、画像表示装置１００は、回路部（画像処理装置）１１０、投影部１２０、反射部１３０を備える。
【００１１】
回路部１１０は、外部の記憶媒体やネットワークなどに有線あるいは無線で接続され、入力画像データを受け取る。回路部１１０は、屈曲可能なケーブル１１５によって投影部１２０と電気的に接続され、投影部１２０に含まれる表示部１２１に表示画像データを出力する。
【００１２】
投影部１２０は、光源１２１、表示部１２２と光学系１２３とを備える。光源１２１には、例えば、白色LED（Light Emitting Diode）またはRGB3色のLEDなどが用いられる。表示部１２２は、平面上に並べられた複数の画素から構成され、前記表示画像データを表示することができるディスプレイである。また、表示部１２２は、光原１２１から出射される光Ｌ１を透過させる。表示部１２２は、これにより、前記表示画像データを画像光Ｌ２として光学系１２３へ向けて出射する。ただし、表示部１２２を構成する画素が自発光するディスプレイの場合、光源１２１は必ずしも必要ではない。表示部１２２には、例えば、液晶、有機ＥＬ（Electro Luminescence）またはLCOS（Liquid Crystal On Silicon）などが用いられる。ただし、実施形態は、これらに限定されない。光学系１２３は、前記画像光Ｌ２の光路上において、表示部１２２と反射部１３０との間に設けられ、入射した画像光Ｌ２を構成する少なくとも一部の光線の進行方向を補正した補正光Ｌ３を反射部１３０へ向けて出射する。光学系１２３は、少なくとも１つ以上の光学素子を含む。前記光学素子には、レンズ、プリズムまたはミラーなどを用いる。ただし、複数の光学素子を用いる場合、それらは直線上に配置されていなくてもよい。
【００１３】
反射部１３０は、補正光Ｌ３の少なくとも一部の光線を眼球１６１の方向に反射する。反射部１３０によって反射される補正光Ｌ３の少なくとも一部の光線が瞳孔１６２に入り、角膜および水晶体によるレンズ機能により網膜１６３上に集光する。反射部１３０から瞳孔１６２に入る補正光Ｌ３の少なくとも一部の光線を進行方向とは逆の方向に延長することにより、使用者１６０の視界前方（眼球１６１の前方）に虚像が形成される。このようにして、使用者１６０は、観測画像１７０を視ることができる。
【００１４】
この例では、投影部１２０内において、表示部１２２と光学系１２３との相対的配置は固定されている。ただし、表示部１２２と光学系１２３との相対的配置は、前記表示画像を投影する機能を損なわない程度に可変であってもよい。例えば、投影部１２０内において表示部１２２と光学系１２３とがネジで取り付けられている。ネジの締め具合を調整することで、表示部１２２と光学系１２３との相対的な距離や姿勢を調整することができる構成であってもよい。例えば、表示部１２２と光学系１２３との間の距離を調整することで、瞳孔１６２から観測画像１７０までの距離や、観測画像１７０の大きさを変化させることができる。
【００１５】
反射部１３０は、外界から反射部１３０へ入射する光の一部を透過させる。これにより、使用者１６０は、反射部１３０を通して外界を視ることができる。反射部１３０は、第１面１３１に沿って設けられている。反射部１３０は、例えば、第１面１３１に沿って複数の微細な反射面が並列に配置される。第１面１３１は、平面であっても曲面であってもよい。反射面のそれぞれは、例えばハーフミラーであり、入射した光の少なくとも一部を反射させる。反射面のそれぞれは、第１面１３１に対して傾斜しており、反射面同士の間には、段差が形成される。反射面と第１面１３１とのなす角は、投影部１２０の光軸、眼球１６１と観測画像１７０との位置関係によって定まる。これにより、例えば、光の反射角度を調整することができる。反射部１３０は、複数の反射面及び複数の段差によって形成されたフレネル形状を有する。ただし、実施形態においては、反射部１３０は、このようなハーフミラーに限られない。反射部１３０として、通常のハーフミラーを用いてもよいし、同様に反射角度を調整できる他の部材を用いてもよい。反射面に用いられる材料は、一部の光を透過し、一部の光を反射する材料であれば、どのようなものでも構わない。
【００１６】
この例では、使用者１６０の前方に観測画像１７０を表示している。ただし、観測画像１７１のように、使用者１６０の視界の端に表示してもよい。これにより、使用者１６０の視界が遮られない。
【００１７】
画像表示装置１００は、例えば、眼鏡型画像表示装置である。
【００１８】
保持部１４０は、例えば、眼鏡フレームである。画像表示装置１００は、保持部１４０によって、使用者１６０の頭部に装着できる。
【００１９】
画像表示装置１００は、眼鏡レンズ１５０をさらに含む。この例では、保持部１４０は、ノーズパッド１４１、ブリッジ１４２とテンプル１４３とをさらに含む。ブリッジ１４２は、一方の眼鏡レンズ１５０と他方の眼鏡レンズ１５０とを接続する。必要に応じて眼鏡レンズ１５０のリム（眼鏡レンズ１５０を保持する枠）等が設けられてもよい。なお、本願では通常の矯正用眼鏡と同様の構成について述べるが、左右のレンズが一体化したような構成であってもよい。例えば、ノーズパッド１４１と眼鏡レンズ１５０との相対的配置は、固定されている。反射部１３０は、眼鏡レンズ１５０に内包されている（眼鏡レンズ１５０と一体に設けられている）。このような場合、反射部１３０と眼鏡レンズ１５０との相対的位置関係は、固定されている。
【００２０】
眼鏡レンズ１５０は、第１表面１５１と第２表面１５２とを有する。第２表面１５２は、第１表面１５１と離間する。反射部１３０は、第１表面１５１と第２表面１５２との間に設けられる。なお、反射部１３０の位置は、上記に限定されず、例えば、第２表面１５２上に反射部１３０を配す構成であっても良い。
【００２１】
眼鏡レンズ１５０は、保持部１４０に保持される。例えば、通常の眼鏡フレームと同様に、保持部１４０と眼鏡レンズ１５０との間の角度は、可変であってもよい。投影部１２０は、保持部１４０に保持される。投影部１２０の位置と姿勢を可変にできる機構があっても良い。
【００２２】
使用者１６０は、画像表示装置１００の使用時において、ノーズパッド１４１を鼻１６５に載せ、テンプル１４３を耳１６４に載せる。このようにして、観視者１６０の鼻１６５及び耳１６４の位置に応じて、保持部１４０の位置と眼鏡レンズ１５０及び反射部１３０の相対的位置が規定される。画像表示装置１００の使用時において、保持部１４０に対する反射部１３０の相対的配置は、実質的に固定されている。
【００２３】
なお、図１において示した画像表示装置は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。例えば、各ブロックの一部が表示装置とは別に設けられてもよい。
【００２４】
なお、本発明は、図１のような画像表示装置に限定されない。回路部１１０と投影部１２０と反射部１３０を含み、使用者１６０の視界前方に虚像を形成させる画像表示装置であれば実現可能である。例えば、ヘッドアップディスプレイへの応用も可能である。
【００２５】
画像表示装置１００で発生するボケの原理について説明する。
【００２６】
光学系１２３と反射部１３０を構成するレンズやハーフミラーなどの光学素子に光線を通過あるいは反射させるごとに収差が発生するために、観測画像１７０にボケ、色ずれや歪みなどの劣化が生じる。
【００２７】
表示部１２２から出射される画像光は、表示部１２２を構成する画素から出射される光線の集合である。表示部１２２を構成する任意の１画素から出射される光線の集合である光線束は広がりを持つ。例えば、円錐状に光線が出射される。前記光線束に含まれる少なくとも一部の光線が、光学系１２３を通過し反射部１３０で反射した後に使用者の眼に入射し、網膜上の一点で集光することが理想である。このような場合、使用者１６０はボケのない観測画像１７０を視ることができる。しかしながら、前記光線束に含まれる少なくとも一部の光線が、光学系１２３と反射部１３０で発生する収差のために理想とは異なる方向に曲がってしまい、網膜１６３上で拡がりを持った範囲に集光する場合がある。このような場合、表示部１２２を構成する隣の画素の情報が網膜１６３上で混ざり合ってしまい、使用者は想定される観測画像１７０よりもボケのある観測画像１７０を視ることになる。
【００２８】
観測画像のボケを補正するために、観測画像にボケに発生させる劣化過程を空間フィルタあるいは周波数フィルタとして表現し、これらのフィルタの逆特性を持つ逆フィルタを予め画像に適用しておく画像処理技術がある。
【００２９】
しかしながら、逆フィルタ適用後の画素値が画像の取りえる範囲外となる場合がある。画素値の取りえる範囲は、画像あるいは画像データ毎に定められている。また、回路部110によって、入力画像データ、ボケ補正画像データ、表示画像データの画素値の取りえる範囲は定められている。特に画素値が取りえる範囲端付近であるエッジ周辺でボケが発生する。プロジェクタにおけるスクリーン上の焦点ボケを補正するために、ウィーナ・フィルタをプロジェクタの入力画像データに予め適用する画像処理技術が知られている。ウィーナ・フィルタ適用後の画素値が取りえる範囲外となった場合に、(a)取りえる範囲外をクリッピング処理する方法と、(b)取りえる範囲内に収まるように画像のコントラストを変調する方法が記載されている。(a)を使った場合、ボケ補正効果が低減するだけでなく、周辺に歪みが発生するという問題が発生する。また、(b)を使った場合、ボケは補正されるが、観測画像のコントラストが低下し、さらに、背景輝度コントラストが低下する場合があるため、観測画像の視認性が低下するという問題が発生する。なお、背景輝度コントラストは、観測画像１７０が重畳される背景の輝度に対する観測画像１６０の最大輝度である。背景輝度コントラストが高いほど、観測画像１７０の視認性が向上する。
【００３０】
そのため、これらの問題を発生させずに、使用者にボケのない観測画像を表示することが望まれる。
【００３１】
図２は、第１の実施形態に係る回路部を例示するブロック図である。図３は、ボケ補正部２１１を例示するブロック図である。
【００３２】
図２に表したように、回路部（画像処理装置）１１０は、背景輝度入力部２１０、処理部２２０、輝度補正部（輝度設定部）２３０を備える。例えば、背景輝度入力部２１０、処理部２２０と輝度補正部２３０は、回路部１１０に含まれる。
【００３３】
背景輝度入力部２１０は、例えば、観測画像１７０が重畳される背景の輝度（使用者の視界の先の背景輝度）に関する情報を取得し、背景輝度情報として処理部２２０へ出力する。
【００３４】
処理部２２０は、ボケ補正部２２１とコントラスト変調部２２２とを備える。ボケ補正部２２１は、回路部（画像処理装置）１１０へ入力される入力画像データに対してボケ補正を行い、ボケ補正画像データをコントラスト変調部へ出力する。入力画像データとボケ補正画像データは画素値を含む。コントラスト変調部２２２は、画素値が取りえる範囲内に収まるように前記ボケ補正画像データに含まれる画素値のコントラストを変調して得た表示画像データを投影部１２０の表示部１２２へ出力し、またコントラスト変調情報を輝度補正部２３０へ出力する。
【００３５】
輝度補正部２３０は、コントラスト変調情報に基づき、投影部１２０の輝度を設定するための輝度設定情報を出力する。具体的には、輝度補正部230は、前記ボケ補正画像データに含まれる画素値のコントラストを変調したことにより低下する前記観測画像の輝度を計算し、計算結果を輝度補正情報として投影部１２０の光源１２１へ出力する。
【００３６】
表示部１２２は、処理部２２０から入力される表示画像データに基づいて表示画像を表示し、前記輝度補正情報に基づき設定された光源１２１からの光を透過させることで、画像光を光学系１２３に向けて出射する。光学系１２３は、入射される画像光を構成する少なくとも一部の光線の進行方向を補正した補正光を反射部１３０へ向けて出射する。
【００３７】
図３に表したように、ボケ補正部２２１は、前記背景輝度情報に基づいて、２つのフィルタから構成されるフィルタセットから１つのフィルタを選択するためのフィルタ情報を出力するフィルタ選択部３１０と、前記フィルタ情報に基づいて、前記入力画像データに適用するフィルタを切り替えるフィルタ切替え部３２０と、前記入力画像データに対して前記フィルタ選択部で選択されたフィルタを適用し、前記ボケ補正画像データを出力するフィルタ処理部（３３０と３４０）とを備える。
【００３８】
なお、当該実施形態では、２つのフィルタから構成されるフィルタセットから１つのフィルタを選択する場合に限定して説明を進めるが、３つ以上のフィルタから構成されるフィルタセットから１つを選択しても良い。
【００３９】
なお、図２と図３において示したブロック図は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。例えば、各ブロックの一部が表示装置とは別に設けられてもよい。
【００４０】
図４は、第１の実施形態に係る画像表示装置１００を例示するフローチャートである。図５は図３に対応するボケ補正を例示するフローチャートである。以下、図２、図３、図４、図５を用いて、画像表示装置１００を構成する各ブロックにおける処理を順に説明する。
【００４１】
Ｓ４１０では、背景輝度入力部２１０において、観測画像が重畳される背景の輝度（使用者１６０の視界前方の背景輝度）を入力し、背景輝度情報として処理部２２０に出力する。背景輝度は、例えば、分光放射輝度計、カメラなどのセンサを用いることで測定することができる。画像表示装置の使用環境が時々刻々変化する場合、例えば、背景輝度が変化する度に背景輝度を測定し、測定結果を背景輝度入力部２１０に入力する。また、使用環境が限定されており、背景輝度の変化が小さい場合、例えば、背景輝度を予め測定しておき、測定結果を背景輝度入力部２１０に入力しておいてもよい。また、使用環境が数パターンに限定されている場合、パターン毎に背景輝度を予め測定しておき、パターン毎に切替えて、背景輝度入力部２１０へ入力してもよい。背景輝度は、手動で入力されても良いし、自動で入力されてもよい。例えば、使用者１６０は、外部から背景輝度の入力を可能とするソフトウェアやハードウェアなどを介して、背景輝度を背景輝度入力部２１０に入力することができる。
【００４２】
Ｓ４２０では、ボケ補正部２２１において、画像表示装置１００への入力である入力画像データに対して背景輝度に応じたボケ補正を行い、ボケ補正画像データをコントラスト変調部２２２へ出力する。前述したとおり、光学系１２３と反射部１３０において収差が発生するために、使用者１６０が視る観測画像にボケ、色ずれや歪みなどの劣化が生じる。観測画像のボケを補正するために、例えば、観測画像にボケを発生させる劣化過程を空間フィルタあるいは周波数フィルタとして表現し、これらのフィルタの逆特性を持つ逆フィルタを入力画像データに適用する。このような逆フィルタは、使用者１６０に観測させたいボケのない画像と観測画像１７０との差分を表すエネルギー関数を小さくすることができるため、使用者はボケが補正された観測画像を視ることができる。
【００４３】
上述した通り、ボケ補正画像データの画素値が取りえる範囲外となる場合がある。特に、ボケ補正の効果がより強い逆フィルタを適用すればするほど、エッジ周辺でより大きなオーバーシュートやアンダーシュートが発生するため、ボケ補正画像データの画素値がより取りえる範囲外となる。このような場合、取りえる範囲内に収まるようにボケ補正画像データのコントラストを変調すると、観測画像のコントラストが低下するという問題がある。しかしながら、外界に観測画像を重畳させる画像表示装置１００の場合、背景輝度が高いほど、観測画像のコントラストがボケ補正画像データのコントラスト変調の影響を受けにくいという特性がある。例えば、背景輝度が高い場合、ボケ補正画像データのコントラストを狭くなるように変調したとしても、観測画像のコントラストの低下は小さくて済む。この特性を考慮して、例えば、背景輝度が高い場合、ボケ補正効果の強い逆フィルタを適用する。
【００４４】
以下に、逆フィルタの計算方法の一例について説明する。
【００４５】
観測画像１７０にボケを発生させる劣化過程を空間フィルタとして表現する。例えば、表示部１２２を構成する１画素から出射される光線のうち瞳孔１６２に入射する光線だけを追跡し、反射部１３０から瞳孔１６２に向かう光線を進行方向とは逆の方向に延長した線と観測画像１７０とが交わる点をプロットしていくことにより、スポットダイアグラムが得られる。このスポットダイアグラムは、前記劣化過程を空間フィルタとして表現したものである。また、カメラで観測画像１７０を撮影することにより、前記劣化過程を空間フィルタとして推定してもよい。
【００４６】
前記劣化過程は下記のように表現される。
【数１】
2016197145.tif 000003
【００４７】
ただし、yは観測画像170をベクトル表現したもの、xは使用者に観測させたいボケのない観測画像をベクトル表現したもの、Bは前記劣化過程を空間フィルタとして表現したものを適切に並べた行列をそれぞれ表す。
【００４８】
逆フィルタは、例えば、下記のエネルギー関数Ｊを小さくするようなボケ補正画像データを求めることにより、計算される。
【数２】
2016197145.tif 000004
【００４９】
Ｃは、例えば、ラプラシアンオペレータや微分オペレータである。式（２）の第一項は、使用者１６０に観測させたいボケのない画像と観測画像１７０との差分を表すエネルギーである。式（２）の第一項を最小化するボケ補正画像データを求める問題は劣決定であるため、適切な正則化を行う必要がある。そのために式（２）の第二項がある。式（２）の第二項は、ボケ補正画像データを安定的に求めるための正則化項である。εが小さいほど観測画像１７０のボケが強く補正されるが、ボケ補正画像データのエッジ周辺でより大きなオーバーシュートやアンダーシュートが発生する。そのため、ボケ補正画像データの画素値が取りえる範囲を大きく超える場合がある。εは、例えば、逆フィルタを適用する画像のエッジ強度に応じて決定される。この場合、エッジ強度が弱いほどεの値を小さくする。
【００５０】
前記フィルタは、例えば、観測画像にボケを発生させる劣化過程を表す空間フィルタを補正画像データに畳み込むことで生成される画像データと、所定の画像データとの差分を表すエネルギー関数を小さくする。
【００５１】
式（２）のエネルギー関数Ｊを小さくするようなボケ補正画像データを求めることにより、逆フィルタは次のように計算される。
【数３】
2016197145.tif 000005
【００５２】
ただし、Ｉは逆フィルタを表す行列である。
【００５３】
なお、前記劣化過程が、使用者１６０に観測させたいボケのない画像の高域を減衰させるものである場合、逆フィルタは、例えば、高域強調フィルタや鮮鋭化フィルタでもよい。高域強調フィルタや鮮鋭化フィルタは、例えば、アンシャープマスクである。
【００５４】
Ｓ４２０におけるボケ補正に関して、図３と図５を用いてより詳しく説明する。
【００５５】
Ｓ５１０では、フィルタ選択部３１０において、前記背景輝度情報に基づいて２つのフィルタから構成されるフィルタセットから１つのフィルタを選択し、選択したフィルタをフィルタ情報としてフィルタ切替え部３２０へ出力する。前記フィルタセットは、例えば、式（１）に基づいて小さいεを使って算出されたボケ補正効果の強い逆フィルタＡと大きなεを使って算出されたボケ補正効果の弱い逆フィルタＢから構成される。例えば、背景輝度が高い場合、ボケ補正効果の強い逆フィルタＡを選択し、背景輝度が低い場合、ボケ補正効果の弱い逆フィルタＢを選択する。ただし、前記フィルタセットは、例えば、程度の異なる高域強調フィルタや鮮鋭化フィルタから構成されてもよい。
【００５６】
Ｓ５２０では、フィルタ切替え部３２０において、前記フィルタ情報に基づいて、入力画像データに適用するフィルタを切り替える。
【００５７】
Ｓ５３０では、フィルタ切替え部３２０において、入力画像データに対して前記フィルタ選択部で選択されたフィルタを適用する。ただし、入力画像データに対する逆フィルタの適用方法は、逆フィルタが空間フィルタか周波数フィルタかによって異なる。例えば、空間フィルタの場合、入力画像データを構成する画素に直接適用しても良いし、周波数フィルタの場合、入力画像データをフーリエ変換等により周波数領域に変換してから適用してもよい。例えば、空間フィルタの場合、入力画像データを構成する少なくとも１つの画素の値と、逆フィルタを表す重み係数との加重和が計算されることで、ボケ補正画像データが生成される。例えば、周波数フィルタの場合、入力画像データをフーリエ変換したものと逆フィルタとの積を計算し、計算結果を逆フーリエ変換することで、ボケ補正画像データが生成される。
【００５８】
また、逆フィルタは、観測画像１７０の輝度に対して線形な色空間において適用される。例えば、前記色空間は、CIE-RGB表色系、CIE-XYZ表色系である。入力画像データの画素値と観測画像１７０の輝度値との間に線形な関係がない場合、入力画像データの画素値を観測画像１７０の輝度に対して線形な色空間に変換してから逆フィルタを適用し、逆フィルタ適用後にもとの色空間に変換する。ただし、ボケ補正の効果が損なわれない限りは、線形でない色空間において、逆フィルタを適用してもかまわない。
【００５９】
Ｓ４３０では、コントラスト変調部２２２において、前記ボケ補正画像データの画素値が取りえる範囲内に収まるように前記ボケ補正画像データのコントラストが変調された表示画像データを投影部１２０へ出力し、コントラスト変調情報を輝度補正部１３０へそれぞれ出力する。処理部は、ボケ補正画像データを構成する画素の最大値と最小値に基づいてコントラストを変調する。例えば、前記ボケ補正画像データを構成する画素の最大値と最小値が取りえる範囲外であった場合、前記ボケ補正画像データに対して、下記のようなコントラスト変調を行う。
【数４】
2016197145.tif 000006
【００６０】
ただし、f(x、 y)は前記ボケ補正画像データにおける座標(x、 y)の画素値、g(x、 y)は前記表示画像データにおける座標(x、 y)の画素値、fmaxはf(x、 y)の最大値、fminはf(x、 y)の最小値、MAXは取り得る画素値の最大値をそれぞれ表す。例えば、N-ビット画像の場合、画素値の取りえる範囲は0から2N-1であるから、MAXは2N-1である。
【００６１】
例えば、前記ボケ補正画像データの画素値の最大値が取りえる範囲外であり、前記ボケ補正画像データの画素値の最小値が取りえる範囲内であった場合、前記ボケ補正画像データに対して、下記のようなコントラスト変調を行ってもよい。
【数５】
2016197145.tif 000007
【００６２】
例えば、前記ボケ補正画像データの画素値の最大値が取りえる範囲内であり、前記ボケ補正画像データの画素値の最小値が取りえる範囲外であった場合、前記ボケ補正画像データに対して、下記のようなコントラスト変調を行ってもよい。
【数６】
2016197145.tif 000008
【００６３】
ただし、前記ボケ補正画像データの画素値が取りえる範囲内に収まるのであれば、コントラスト変調は、上述した方法以外の方法で実現してもかまわない。例えば、コントラスト変調前後の画素値を対応付けたＬＵＴ（Lock Up Table）に基づき、コントラスト変調してもかまわない。
【００６４】
なお、観測画像の視認性が低下しない限りは、必ずしも前記ボケ補正画像データの画素値を取りえる範囲内に収める必要はなく、取りえる範囲外をクリッピングしてもよい。例えば、前記ボケ補正画像データの画素値の最小値が-100、最大値が500であった場合、最小値が-５、最大値が260となるようにコントラスト変調し、取りえる範囲外をクリッピングする。クリッピングされる画素の数が少ない場合や、クリッピングによる画素値の変化が小さい場合、クリッピングによるボケ補正効果の低下や発生する歪みは視覚上、問題とならない。
【００６５】
なお、前記ボケ補正画像データの画素値が取りえる範囲内であった場合にも、式（４）のようなコントラスト変調を行ってもかまわない。この場合、観測画像のコントラストが向上するため、視認性の向上が期待される。
【００６６】
前記コントラスト変調情報は、どのようなコントラスト変調を行ったかを示す情報である。例えば、式（４）や式（５）のようなコントラスト変調を行った場合、ボケ補正画像データの最大画素値を含む。例えば、前記コントラスト変調情報は、ボケ補正画像データの最大画素がどの程度変化したかを示す情報を含む。
【００６７】
Ｓ４４０では、Ｓ４３０において前記ボケ補正画像データのコントラストを変調したことにより前記観測画像の輝度が低下しないように、輝度補正部２３０において、前記投影部の光源の輝度を補正するための輝度補正量を計算し、計算結果を輝度補正情報として投影部１２０へ出力する。例えば、式（４）や式（５）のようなコントラスト変調を行った場合、輝度補正量は下記のように計算される。
【００６８】
ただし、Ｌは光源の基準輝度値、ΔLは輝度補正量をそれぞれ表す。
【数７】
2016197145.tif 000009
【００６９】
ボケ補正画像データの画素値と表示部１２２から出射される画像光の輝度値との関係が非線形である場合がある。例えば、ボケ補正画像データの画素値と表示部から出射される画像光の輝度値との間に下記のようなガンマ特性があるとする。 
【数８】
2016197145.tif 000010
【００７０】
ただし、lは画像光の輝度値、fはボケ補正画像データの画素値、γはガンマ特性を表すパラメータをそれぞれ表す。このような場合、輝度補正量は下記のように計算されてもよい。
【数９】
2016197145.tif 000011
【００７１】
Ｓ４５０では、光源１２１において、前記輝度補正情報に基づき輝度を補正した光を表示部１２２に向けて出射する。例えば、前記輝度補正情報が、式（７）や式（９）で表されるような輝度補正量である場合、光源１２１から出射される光の輝度は次のように補正される。
【数１０】
2016197145.tif 000012
【００７２】
ただし、Lcは、補正後の光源１２１から出射される光の輝度値を表す。これにより、前記観測画像の輝度は低下しない。これにより、背景輝度コントラストが低下することなく、また観測画像のコントラストは、補正前と比較して高くなることにより観測画像１７０の視認性が向上する。
【００７３】
Ｓ４６０では、表示部１２２に処理部２２０から入力される表示画像データを表示し、前記輝度補正情報に基づき光源１２１の輝度を補正した光を透過させることで、画像光を光学系１２３に向けて出射する。
【００７４】
Ｓ４７０では、光学系１２３において、入射される画像光を構成する少なくとも一部の光線の進行方向を補正した補正光を反射部１３０へ向けて出射する。
【００７５】
Ｓ４８０では、反射部１３０において、入射される補正光の少なくとも一部の光線を眼球１６１の方向に反射する。反射部１３０によって反射された補正光Ｌ３の少なくとも一部の光線が瞳孔１６２に入り、角膜および水晶体によるレンズ機能により網膜１６３上で集光することにより使用者１６０の前方に虚像を形成させる。また、反射部１３０は、外界から反射部１３０へ入射した光の一部を透過させる。これにより、使用者１６０は、反射部１３０を通して、視界前方に観測画像と外界とを視ることができる。
【００７６】
以上の第１の実施形態によれば、光学系１２３と反射部１３０などで発生する収差によるボケが補正された観測画像１７０を使用者１６０に表示することができる。さらに、前記逆フィルタ適用後の画素値が取りえる範囲外となった場合でも、背景輝度コントラストを低下させることなく、また観測画像のコントラストの低下を抑えつつボケが補正された観測画像を使用者１６０に表示することができる。
【００７７】
（第２の実施形態）
画像表示装置１００で発生する歪みと色ずれの原理について説明する。
【００７８】
前述したとおり、光学系１２３と反射部１３０を構成するレンズやハーフミラーなどの光学素子に光線を通過あるいは反射させるごとに収差が発生するために、前記観測画像にボケ、色ずれや歪みなどの劣化が生じる。このような場合、使用者１６０は想定される観測画像よりもボケ、色ずれや歪みがある観測画像を視ることになる。
【００７９】
収差による色ずれや歪みとは逆の方向に画像を予め歪ませておくことで、観測画像の色ずれや歪みを補正することができる。
【００８０】
図６は、第２の実施形態に係る画像表示装置を例示するブロック図である。
【００８１】
図６に表したように、画像表示装置１００は、処理部２２０において、歪み補正部７１０をさらに備える。
【００８２】
処理部２２０は、画像表示装置１００への入力である入力画像データに対してボケ補正を行い、ボケ補正画像データをコントラスト変調部へ出力するボケ補正部２２１と、前記ボケ補正画像データに対して歪み補正を行い、歪み補正画像をコントラスト変調部へ出力する歪み補正部７１０と、前記歪み補正画像に対してコントラストを変調した表示画像データを投影部１２０へ出力し、またコントラスト変調情報を輝度補正部２３０へ出力するコントラスト変調部２２２をさらに備える。
【００８３】
なお、図７において示したブロック図は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。例えば、各ブロックの一部が表示装置とは別に設けられてもよい。また、ボケ補正部２２１と歪み補正部７１０の配置を交換してもよい。この場合、歪み補正部２２１は入力画像データに対して歪み補正を行い、歪み補正画像データをボケ補正部へ出力する。ボケ補正部２２１は、前記歪み補正画像データに対してボケ補正を行い、ボケ補正画像データをコントラスト変調部２２２へ出力する。コントラスト変調部２２２は、前記ボケ補正画像データに対してコントラスト変調を行った表示画像データを投影部１２０へ出力する。また、ボケ補正部２２１と歪み補正部７１０は、ボケ補正と歪み補正の両方の処理を同時に行うブロックで置き換えてもよい。この場合、前記ブロックは、入力画像データに対してボケ補正と歪み補正を行い、コントラスト変調部２２２へ補正画像データを出力する。コントラスト変調部２２２は、前記補正画像に対してコントラスト変調を行った表示画像データを投影部２１０へ出力する。
【００８４】
図７は、第２の実施形態に係る画像表示装置１００を例示するフローチャートである。以下、図６と図７を用いて、処理部２２０における処理を説明する。
【００８５】
Ｓ８１０では、ボケ補正部２２１において、画像表示装置１００への入力である入力画像データに対して背景輝度に応じたボケ補正を行い、ボケ補正画像データを歪み補正部７１０へ出力する。ボケ補正は、例えば、第１の実施形態と同様である。
【００８６】
Ｓ８２０では、歪み補正部７１０において、入力されるボケ補正画像データに対して歪み補正を行い、歪み補正画像データをコントラスト変調部２２２へ出力する。例えば、収差による色ずれや歪みは、表示部１２２を構成する任意の画素が、観測画像のどこに対応しているかという対応関係をＬＵＴで表現することができる。前記ＬＵＴに基づき、収差による色ずれや歪みとは逆の方向に前記ボケ補正画像データを予め歪ませる。これにより、使用者１６０は、色ずれや歪みのない観測画像を視ることができる。
【００８７】
Ｓ８３０では、コントラスト変調部２２２において、前記歪み補正画像の画素値が取りえる範囲内に収まるように前記ボケ補正画像データのコントラストが変調された表示画像データを投影部１２０へ出力し、コントラスト変調情報を輝度補正部１３０へそれぞれ出力する。前記ボケ補正画像データのコントラスト変調の方法は、例えば、第１の実施形態と同様である。
【００８８】
以上の第２の実施形態によれば、光学系１２３と反射部１３０で発生するボケに関する劣化過程、歪みと色ずれが補正された観測画像１７０を使用者１６０に表示することができる。さらに、前記逆フィルタ適用後の画素値が取りえる範囲外となった場合でも、背景輝度コントラストを低下させることなく、また観測画像のコントラストの低下を抑えつつボケ、歪みと色ずれが補正された観測画像を使用者に表示することができる。
【００８９】
図８は、実施形態に係る画像表示装置のシステム構成の一例を例示している。
【００９０】
図８に表したように、回路部１１０は、例えば、インターフェース６１０、処理回路６２０、及びメモリ６３０を含む。
【００９１】
回路部１１０は、例えば、インターフェース６１０を介して、外部の記憶媒体、ネットワークや画像再生装置などと接続され、入力画像データを取得する。外部との接続には、有線及び無線のいずれの方法を用いてもよい。
【００９２】
処理回路６２０は、例えば、入力画像データやセンサ６５０から得られる情報や画像情報などをプログラム６４０に基づいて処理する。例えば、処理部２２０や輝度補正部２３０における処理は、プログラム６４０に基づいて、処理回路６２０において行われる。
【００９３】
メモリ６３０には、例えば、取得した入力画像データを処理するプログラム６４０が記憶されている。メモリ６３０は、例えば、磁気的または光学的に記録可能な記憶媒体を有し、取得された入力画像データや、センサ６５０から得られる情報や画像情報などを記録することができる。例えば、メモリ６３０に、画像表示装置１００の制御に係るプログラム６４０や各種設定情報等を記憶する。プログラム６４０に基づいて入力画像データを適宜変換し、表示画像データを生成する。メモリ６３０において、入力画像データや表示画像データなどの画像情報が保持されてもよい。プログラム６４０は、予めメモリ６３０に記憶された状態で提供されてもよいし、ＣＤ−ＲＯＭ等の記憶媒体やネットワークを介して提供され、適宜インストールされてもよい。
【００９４】
回路部１１０は、センサ６５０を含んでもよい。センサ６５０には、例えば、分光放射輝度計、分光放射照度計、カメラ、マイク、位置センサや加速度センサなどの任意のセンサを用いることができる。例えば、使用者の視界前方の背景輝度は、カメラによって測定される。例えば、センサ６５０から得られる情報に基づいて、表示部１１０に表示される画像を適宜変換する。これにより、画像表示装置の利便性や見易さを向上させることができる。
【００９５】
回路部１１０の各ブロックの一部、または全部には、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部または全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
【００９６】
なお、図６に表した例は、実施形態に係る表示装置の一例であり、必ずしも実際のモジュールとは一致しない場合がある。
【００９７】
上述の実施形態の画像表示装置において、回路部１１０や処理部２２０や輝度補正部２３０は、汎用のコンピュータ装置に搭載されたCPUなどのプロセッサにプログラムを実行させることにより実現することができる。このとき、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを提供して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
【００９８】
記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
【００９９】
記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【０１００】
コンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。また、コンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。
【０１０１】
以上、実施例を参照しつつ、本発明の実施の形態について説明した。しかしながら、本発明の実施形態は、これらの実施例に限定されるものではない。例えば、背景輝度入力部、ボケ補正部、コントラスト変調部、輝度補正部、光源、表示部、光学系、反射部などの各ブロックの具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。また、各実施例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
【０１０２】
その他、本発明の実施の形態として上述した画像表示装置を基にして、当業者が適宜設計変更して実施し得る全ての表示装置も、本発明の要旨を包含する限り、本発明の範囲に属する。
【０１０３】
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
【０１０４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１０５】
１００  画像表示装置
１１０  回路部
１２０  投影部
１２１  光源
１２２  表示部
１２３  光学系
１３０  反射部
１３１  第１面
１４０  保持部
１４１  ノーズパッド
１４２  ブリッジ
１４３  テンプル
１５０  眼鏡レンズ
１５１  第１表面
１５２  第2表面
１６０  使用者
１６１  眼球
１６２  瞳孔
１６３  網膜
１６４  耳
１６５  鼻
１７０  観測画像Ａ
１７１  観測画像Ｂ
Ｌ１  光
Ｌ２  画像光
Ｌ３  補正光
２１０  背景輝度入力部
２２０  処理部
２２１  ボケ補正部
２２２  コントラスト変調部
２３０  輝度補正部
３１０  フィルタ選択部
３２０  フィルタ切替え部
３３０  フィルタ処理部Ａ
３４０  フィルタ処理部Ｂ
Ｓ４１０  背景輝度の入力
Ｓ４２０  ボケ補正
Ｓ４３０  コントラスト変調
Ｓ４４０  輝度補正
Ｓ４５０  光出射
Ｓ４６０  画像表示
Ｓ４７０  光学補正
Ｓ４８０  反射
Ｓ５１０  フィルタ選択
Ｓ５２０  フィルタ切替え
Ｓ５３０  フィルタ処理
６１０  インターフェース
６２０  処理回路
６３０  メモリ
６４０  プログラム
６５０  センサ
７１０  歪み補正部
Ｓ８１０  ボケ補正
Ｓ８２０  歪み補正
Ｓ８３０  コントラスト変調
【図１】
2016197145.tif 000013
【図２】
2016197145.tif 000014
【図３】
2016197145.tif 000015
【図４】
2016197145.tif 000016
【図５】
2016197145.tif 000017
【図６】
2016197145.tif 000018
【図７】
2016197145.tif 000019
【図８】
2016197145.tif 000020