(57)【要約】【課題】色成分毎の独立した信号処理による副作用を抑制して、レンズの持つ歪みに起因する画像の歪みを信号処理によって好適に補正する。【解決手段】ＲＧＢ毎の歪み補正ブロックでは、入力画像信号をデガンマー処理して一旦リニア―画像に変換してから歪み補正を行ない、その後再びガンマー処理して出力する。表示パネルとレンズを組み合わせて表示する際に、補正による画質劣化を軽減することができる。特に、色むらの発生や、精細感の劣化を防ぐことができ、より高画質な画像を表示することが可能となる。【選択図】  図１５
2013192193.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を色成分毎に独立して補正処理する画像補正部と、
前記画像補正部の出力画像を表示する表示部と、
前記表示部の表示画像を所定の画角となるように投影する接眼光学部と、
を具備し、
前記画像補正部は、各色成分について、ガンマ処理されている入力画像をデガンマ処理してから、前記接眼光学部により発生する歪みの補正処理を行ない、再ガンマ処理して出力する、
表示装置。
【請求項２】
前記画像補正部は、出力画像の画素を、ガンマ処理されたリニア入力画像上の対応する複数の画素で補間する、
請求項１に記載の表示装置。
【請求項３】
ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部と、
デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部と、
補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部と、
を色成分毎に具備する画像処理装置。
【請求項４】
ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理ステップと、
デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正ステップと、
補正した後のリニア画像を再ガンマ処理して出力するガンマ処理ステップと、
を色成分毎に有する画像処理方法。
【請求項５】
入力画像の色成分毎に、ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部、デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部、及び補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部としてコンピューターが機能するようにコンピューター可読形式で記述されたコンピューター・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、例えばヘッド・マウント・ディスプレイのように、表示パネルとレンズを組み合わせた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムに係り、特に、レンズの持つ歪みに起因する画像の歪みを信号処理によって補正する表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
頭部に装着して画像を視聴する表示装置、すなわちヘッド・マウント・ディスプレイ（ＨＭＤ）が広く知られている。ヘッド・マウント・ディスプレイは、左右の眼毎に光学ユニットを持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う画像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば３Ｄ画像を提示することができる。
【０００３】
ヘッド・マウント・ディスプレイの左右の眼の表示部には、例えば液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子などからなる高解像度の表示パネルを用いることができる。また、接眼光学系で画像表示素子を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができるであろう。
【０００４】
光学レンズには歪みがあることが知られている。例えば、ヘッド・マウント・ディスプレイで画角を大きくとると、接眼光学系で用いられるレンズの歪みに起因して、表示画像を観察するときに複雑や歪曲や色ずれが発生して、品質を劣化することが懸念される。
【０００５】
また、広画角を確保するために接眼光学系を構成するレンズの枚数を増やすと、ヘッド・マウント・ディスプレイの重量が増すため、これを装着するユーザーの負担が大きくなる。ここで、重量削減のためにレンズの枚数を少なくすると、各レンズで発生する歪みが大きくなるとともに、歪みを補正するレンズ系がなくなってしまう。その結果として、画角を大きくとることが困難になる。
【０００６】
接眼光学系で発生する歪みを信号処理によって補正する方法が知られている。すなわち、接眼光学系が図２１に示すような歪みを持つ場合には、表示パネルに表示する画像を、図２２に示すように接眼光学系の歪み特性と逆方向となるように、あらかじめ補正しておく。表示画像を接眼光学系越しに見たときには、歪みを含まない正常な画像として観察される。図２１に示すように、接眼光学系が表示画像を糸巻き型に歪ませる特性を持つ場合には、図２２に示すように、元画像に対して樽型に歪ませる画像補正を行なってから表示パネルに表示する。すると、接眼光学系越しの表示画像は、元画像と同じ画像として観察される。
【０００７】
また、レンズの持つ歪みは、光の波長に依存して若干変化するという特性を持つ。すなわち、接眼光学系が持つ歪みは、厳密には図２３に示すようにものとなる。このため、ＲＧＢすべての色成分について図２２に示したような歪み補正を一様に適用すると、図２４に示すように色成分毎の像面での位置がずれてしまい、画像の鮮明度が劣化する。歪みの補正をより精度良く行なうには、図２５に示すように、ＲＧＢの色成分毎に独立して補正処理を行なう必要がある。
【０００８】
例えば、ＲＧＢ各色の画像信号に対して個別に歪み補正を行なうことで、光学系の色収差による画像の劣化も補正する方法について提案がなされている（例えば、特許文献１〜６を参照のこと）。
【０００９】
しかしながら、ＲＧＢの色成分毎に独立して補正処理を行なう際の副作用として、ＲＧＢのバランスが崩れることが懸念される。ＲＧＢのバランスの崩れは、例えば画像中の細い白線や白輝点などにおいて、色味が付いた偽色として観察される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平９−６１７５０号公報
【特許文献２】特開平９−１１３８２３号公報
【特許文献３】特開２００１−１８６４４２号公報
【特許文献４】特開２００４−２３３８６９号公報
【特許文献５】特開２００８−２５８８０２号公報
【特許文献６】特開２００４−２３３８６９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本明細書で開示する技術の目的は、表示パネルとレンズの組合せで画像を表示する際に、レンズの持つ歪みに起因する画像の歪みを信号処理によって好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。
【００１２】
本明細書で開示する技術のさらなる目的は、レンズの持つ歪みに起因する画像の歪みを、色成分毎の信号処理によって好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。
【００１３】
本明細書で開示する技術のさらなる目的は、色成分毎の独立した信号処理による副作用を抑制して、レンズの持つ歪みに起因する画像の歪みを信号処理によって好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【００１４】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
入力画像を色成分毎に独立して補正処理する画像補正部と、
前記画像補正部の出力画像を表示する表示部と、
前記表示部の表示画像を所定の画角となるように投影する接眼光学部と、
を具備し、
前記画像補正部は、各色成分について、ガンマ処理されている入力画像をデガンマ処理してから、前記接眼光学部により発生する歪みの補正処理を行ない、再ガンマ処理して出力する、
表示装置である。
【００１５】
本願の請求項２に記載の技術によれば、請求項１に記載の表示装置の画像補正部は、出力画像の画素を、ガンマ処理されたリニア入力画像上の対応する複数の画素で補間するように構成されている。
【００１６】
また、本願の請求項３に記載の技術は、
ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部と、
デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部と、
補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部と、
を色成分毎に具備する画像処理装置である。
【００１７】
また、本願の請求項４に記載の技術は、
ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理ステップと、
デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正ステップと、
補正した後のリニア画像を再ガンマ処理して出力するガンマ処理ステップと、
を色成分毎に有する画像処理方法である。
【００１８】
また、本願の請求項５に記載の技術は、
入力画像の色成分毎に、ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部、デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部、及び補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部としてコンピューターが機能するようにコンピューター可読形式で記述されたコンピューター・プログラムである。
【００１９】
本願の請求項５に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項５に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項３に係る画像処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２０】
本明細書で開示する技術によれば、色成分毎の独立した信号処理による副作用を抑制して、レンズの持つ歪みに起因する画像の歪みを信号処理によって好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。
【００２１】
本明細書で開示する技術によれば、表示パネルとレンズを組み合わせた表示装置において、特に、色成分毎の独立した信号処理による副作用として色むらの発生や精細感の劣化を防止することかでき、より高画質な画像を表示することが可能になる。
【００２２】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２３】
【図１】図１は、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示した図である。
【図２】図２は、ヘッド・マウント・ディスプレイにおいて、接眼光学系の投影像に発生する歪みを信号処理によって補正する機能ブロック図である。
【図３】図３は、入力画像をＲＧＢの色成分毎に独立して補正処理を行なう画像補正部２０２の構成例を示した図である。
【図４】図４は、歪み補正ブロック３０１の内部構成例を示した図である。
【図５】図５は、入力画像信号の値ｄｉｎ（ｍk）、ｄｉｎ（ｍk＋１）を参照信号ｒｅｆ（ｋ）の小数部ｓkでリニア補間して、出力画像信号ｄｏｕｔ（ｋ）を得る様子を示した図である。
【図６】図６は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像信号ｄｏｕｔ（ｋ）の値を示した図である（但し、ｓk＝０．２）。
【図７】図７は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像信号ｄｏｕｔ（ｋ）の値を示した図である（但し、ｓk＝０．５）。
【図８】図８は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像信号ｄｏｕｔ（ｋ）の値を示した図である（但し、ｓk＝０．８）。
【図９】図９は、ガンマ曲線を例示した図である。
【図１０】図１０は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像の輝度を示した図である（但し、ｓk＝０．２）。
【図１１】図１１は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像の輝度を示した図である（但し、ｓk＝０．５）。
【図１２】図１２は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像の輝度を示した図である（但し、ｓk＝０．８）。
【図１３】図１３は、１画素の１００％白輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像の色成分毎の輝度を示した図である。
【図１４】図１４は、画像補正によりＲＧＢの色成分毎の輝度の総計が１００％に揃わない１画素の白輝点を接眼光学系２０４越しに観察する様子を示した図である。
【図１５】図１５は、歪み補正ブロック３０１の内部構成例を示した図である。
【図１６】図１６は、１画素の１００％輝点を含む入力画像信号ｄｉｎをデガンマ処理してからリニア補間し、再ガンマ処理した場合の出力画像の輝度を示した図である（但し、ｓk＝０．２）。
【図１７】図１７は、１画素の１００％輝点を含む入力画像信号ｄｉｎをデガンマ処理してからリニア補間し、再ガンマ処理した場合の出力画像の輝度を示した図である（但し、ｓk＝０．５）。
【図１８】図１８は、１画素の１００％輝点を含む入力画像信号ｄｉｎをデガンマ処理してからリニア補間し、再ガンマ処理した場合の出力画像の輝度を示した図である（但し、ｓk＝０．８）。
【図１９】図１９は、１画素の１００％白輝点を含む入力画像信号ｄｉｎをデガンマ処理してからリニア補間し、再ガンマ処理した場合の出力画像の色成分毎の輝度を示した図である。
【図２０】図２０は、画像補正によりＲＧＢの色成分毎の輝度の総計が１００％に揃った１画素の白輝点を接眼光学系２０４越しに観察する様子を示した図である。
【図２１】図２１は、レンズによって生じる画像歪みの一例を示した図である。
【図２２】図２２は、レンズによって生じる画像歪みを画像処理により補正する一例を示した図である。
【図２３】図２３は、レンズによって生じる画像歪みの色成分による相違を示した図である。
【図２４】図２４は、各色成分について同一の歪み補正を行なった結果を示した図である。
【図２５】図２５は、色成分毎に独立して画像補正を行なった結果を示した図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００２５】
図１には、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示している。図示のシステムは、視聴コンテンツのソースとなるブルーレイ・ディスク再生装置２０と、ブルーレイ・ディスク再生装置２０から出力されるＡＶ信号の処理を行なうフロント・エンド・ボックス４０と、ブルーレイ・ディスク再生装置２０の再生コンテンツの出力先となる頭部装着型の表示装置（ヘッド・マウント・ユニット）１０と、ブルーレイ・ディスク再生装置２０の再生コンテンツの他の出力先となるハイビジョン・ディスプレイ（例えば、ＨＤＭＩ対応テレビ）３０で構成される。ヘッド・マウント・ユニット１０とフロント・エンド・ボックス４０で、１つのヘッド・マウント・ディスプレイが構成される。
【００２６】
フロント・エンド・ボックス４０は、ブルーレイ・ディスク再生装置２０から出力されるＡＶ信号をＨＤＭＩ入力すると、例えば信号処理して、ＨＤＭＩ出力するＨＤＭＩリピーターに相当する。また、フロント・エンド・ボックス４０は、ブルーレイ・ディスク再生装置２０の出力先をヘッド・マウント・ユニット１０又はハイビジョン・ディスプレイ３０のいずれかに切り替える２出力スイッチャーでもある。図示の例では、フロント・エンド・ボックス４０は２出力であるが、３以上の出力を有していてもよい。但し、フロント・エンド・ボックス４０は、ＡＶ信号の出力先を排他的とし、且つ、ヘッド・マウント・ユニット１０への出力を最優先とする。
【００２７】
なお、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｔｌｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）は、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）を基にし、物理層にＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ  Ｍｉｎｉｍｉｚｅｄ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌｉｎｇ）を用いた、主に音声と映像の伝送を用途としたディジタル家電向けのインターフェース規格である。本システムは、例えばＨＤＭＩ１．４に準拠する。
【００２８】
ブルーレイ・ディスク再生装置２０とフロント・エンド・ボックス４０間、並びに、フロント・エンド・ボックス４０とハイビジョン・ディスプレイ３０間は、それぞれＨＤＭＩケーブルで接続されている。フロント・エンド・ボックス４０とヘッド・マウント・ユニット１０間も、ＨＤＭＩケーブルで接続するように構成することも可能であるが、その他の仕様のケーブルを用いてＡＶ信号をシリアル転送するようにしてもよい。但し、フロント・エンド・ボックス４０とヘッド・マウント・ユニット１０間を接続するケーブル１本で、ＡＶ信号と電力を供給するものとし、ヘッド・マウント・ユニット１０はこのケーブルを介して駆動電力も得ることができる。
【００２９】
ヘッド・マウント・ユニット１０は、左眼用及び右眼用の独立した表示部を備えている。各表示部は、例えば有機ＥＬ素子からなる表示パネルを用いている。また、左右の各表示部は、低歪みで且つ高解像度の広視野角の接眼光学系を装備している。接眼光学系で画像表示素子を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる。
【００３０】
接眼光学系で用いられるレンズの歪みに起因して、表示パネルの観察画像に歪みが生じることが懸念される。観察画像の歪みを光学系で補正することが可能である。但し、この方法によると、歪み補正用のレンズが追加されるため、ヘッド・マウント・ユニット１０の重量が増し、装着するユーザーへの負担が懸念される。そこで、本実施形態では、接眼光学系で発生する歪みを信号処理によって補正する方法を採用する。
【００３１】
ここで言う信号処理とは、接眼光学系の投影像に発生する歪みとは逆方向の歪みを提示画像に与える処理に相当する。図２には、ヘッド・マウント・ディスプレイにおいて、接眼光学系の投影像に発生する歪みを信号処理によって補正する機能ブロック図を示している。
【００３２】
ＨＤＭＩ受信部２０１は、ブルーレイ・ディスク再生装置２０のような画像ソースから画像を入力する。この入力画像の各画素に、接眼光学系２０４を通過することによって歪みが生じる。画像補正部２０２は、逆方向の歪みを提示画像の各画素に与えることによって、Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ（ＭＣ）、すなわち、歪みによって生じる各画素の変位を補償して、事前逆歪みをかけた表示画像を生成する。画素に与える逆方向の歪みのことを、以下では、変位ベクトル（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ：ＭＶ）と呼ぶ。変位ベクトルは、入力画像上の画素位置を始点とし、この始点に対応する表示画像上の画素位置を終点とする。
【００３３】
表示部２０３は、画像補正部２０２で逆方向の歪みで補正された後の入力画像を表示パネル上に表示する。この表示画像は、接眼光学系２０４を介して観察者の目の網膜に投影される。表示画像が接眼光学系２０４を通過する際に歪みが生じるが、表示画像にはこの歪みとは逆方向の歪みが与えられているので、網膜上には、歪みを含まない正常な虚像が結像される。
【００３４】
なお、画像補正部２０２は、ヘッド・マウント・ユニット１０又はフロント・エンド・ボックス４０のいずれに配設してもよい。ヘッド・マウント・ユニット１０内の接眼光学系２０４を構成するレンズが持つ歪みパラメーターに基づく画像歪みを補正することを考慮すると、画像補正部２０２をヘッド・マウント・ユニット１０内に配設すれば、フロント・エンド・ボックス４０側では、どのヘッド・マウント・ユニット１０に出力するかを意識せずに画像信号を出力することができる。
【００３５】
接眼光学系２０４を構成するレンズが持つ歪みは、光の波長に依存して若干変化するという特性を持つ。このため、画像補正部２０２では、ＲＧＢの色成分毎に独立して入力画像について補正処理を行なう必要がある。ところが、ＲＧＢの色成分毎に独立して補正処理を行なう際の副作用として、ＲＧＢのバランスが崩れることが懸念される。
【００３６】
以下では、入力画像をＲＧＢの色成分毎に独立して補正処理を行なう際の副作用について考察してみる。
【００３７】
図３には、入力画像をＲＧＢの色成分毎に独立して補正処理を行なう画像補正部２０２の構成例を示している。画像補正部２０２には、ＲＧＢの色成分毎に独立して、入力画像信号ｄｉｎR、ｄｉｎG、ｄｉｎBと参照信号ｒｅｆR、ｒｅｆき、ｒｅｆこが入力される。色成分毎に設けられた各歪み補正ブロック３０１、３０２、３０３は、それぞれ参照信号ｒｅｆR、ｒｅｆき、ｒｅｆこに基づいて、入力画像信号ｄｉｎR、ｄｉｎG、ｄｉｎBから出力画像信号ｄｏｕｔR、ｄｏｕｔG、ｄｏｕｔBを補間生成する。
【００３８】
以下では、説明の簡素化のため、各歪み補正ブロック３０１、３０２、３０３は水平方向のみの補正を行なうとする。また、その補正時の補間方法をリニア補間として説明する。勿論、各歪み補正ブロック３０１、３０２、３０３が水平と垂直の２次元補間処理や、キュービック補間などのマルチタップ補間処理を行なうとしても、以下の説明は同様に成り立つ。
【００３９】
図４には、歪み補正ブロック３０１の内部構成例を示している。以下では、１つの色成分に限定して説明するが、すべての色成分についての歪み補正ブロック３０２、３０３の構成並びに処理内容は同様である。
【００４０】
歪み補正ブロック３０１には、入力画像信号ｄｉｎと参照信号ｒｅｆ（ｋ）が入力される。入力画像信号ｄｉｎは、画像メモリー４０１内に書き込まれる。参照信号ｒｅｆ（ｋ）は、ｋ番目の画素位置の出力画像信号ｄｏｕｔ（ｋ）が参照する入力画像信号ｄｉｎの画素位置ｍkを表すものである。但し、出力画像信号ｄｏｕｔ（ｋ）が参照する入力画像信号ｄｉｎの画素位置ｍkは整数とは限らないので、参照信号（ｋ）の整数部をｍk、小数部をｓkと表す。出力画像信号ｄｏｕｔ（ｋ）は変位ベクトルＭＶの終点に相当し、ｒｅｆ（ｋ）は変位ベクトルの始点に相当する。すなわち、画素位置ｍkは、出力画像のｋ番目の画素において、接眼光学系２０４で発生する歪みに対して逆方向に歪んだ位置である。
【００４１】
画像メモリー４０１からは、参照信号ｒｅｆ（ｋ）の整数部ｍkの値に応じて、隣接するｍk番目及びｍk＋１番目の画素位置の入力画像信号の値ｄｉｎ（ｍk）、ｄｉｎ（ｍk＋１）が出力される。
【００４２】
補間部４０２は、画像メモリー４０１から読み出された隣接する２画素の入力画像信号の値ｄｉｎ（ｍk）、ｄｉｎ（ｍk＋１）を、参照信号ｒｅｆ（ｋ）の小数部ｓkの値に基づいて下式（１）のようにリニア補間して、ｋ番目の画素位置の出力画像信号ｄｏｕｔ（ｋ）を得る。図５には、入力画像信号の値ｄｉｎ（ｍk）、ｄｉｎ（ｍk＋１）を参照信号ｒｅｆ（ｋ）の小数部ｓkでリニア補間して、出力画像信号ｄｏｕｔ（ｋ）を得る様子を図解している。
【００４３】
【数１】
2013192193.tif 000003
【００４４】
この歪み補正ブロック３０１において、入力画像ｄｉｎに１画素の輝点が存在したときの振る舞いについて、さらに詳細に考察する。
【００４５】
一般に、レンズで画像に発生する歪みは画面内で緩やかに変化する。したがって、ｋ番目の出力画像ｄｏｕｔ（ｋ）の近辺では、参照番号ｒｅｆ（ｋ）は、下式（２）のように近似することができる。
【００４６】
【数２】
2013192193.tif 000004
【００４７】
図６〜図８には、１画素の１００％輝点を含む入力画像信号ｄｉｎを上式（１）に従ってリニア補間する場合において、参照信号ｒｅｆ（ｋ）の小数部ｓkをそれぞれ０．２、０．５、０．８と変化させたときの補正後の出力画像信号ｄｏｕｔ（ｋ）の値を示している。各図を比較すると、出力画像の信号値ｄｏｕｔ（ｋ）は、参照信号ｒｅｆ（ｋ）の小数部ｓkの値に応じて変化するものの、信号値の総計はいずれも２０＋８０＝５０＋５０＝８０＋２０＝１００％になっており、１００％輝点が複数の画素に分散されていることが分かる。
【００４８】
ここで留意すべきことは、入力画像信号ｄｉｎがガンマ処理されているという点である。一般的に画像信号は、図９に示すようなガンマ曲線を用いたガンマ処理によりビット縮退されており、リニアすなわち信号値と画素の輝度値との関係が比例関係にはなっていない。図１に示したシステム構成では、最終出力段のヘッド・マウント・ユニット１０でデガンマ処理した後に、表示パネルに表示される。
【００４９】
図６〜図８に示した例は、縦軸が信号値であるが、これを図９に示したガンマ曲線に従って輝度に換算すると、図１０〜図１２に示す通りとなる。各図を比較すると、出力画像の輝度が参照信号ｒｅｆ（ｋ）の小数部ｓkの値に応じて変化するとともに、輝度の総計も変化し、ｓk＝０．２、０．４、０．８でそれぞれ３＋６１＝６４％、２２＋２２＝４４％、６１＋３＝６４％と変化していることが分かる。つまり、画像補正部２０２で補正を行なうことにより、輝度が変化していることになる。
【００５０】
以上を踏まえて、入力画像に１画素の１００％の白輝点があった場合を考える。接眼光学系２０４が持つ色収差のため、ＲＧＢの参照信号はそれぞれ異なる。例えば、ある出力画素位置ｋにおける参照信号ｒｅｆ（ｋ）の小数点が、Ｒ：ｓk＝０．２、Ｇ：ｓk＝０．５、Ｂ：ｓk＝０．８とまちまちの値であったとすると、図１３に示すように、ＲＧＢの色成分毎の輝度の総計はｓk＝０．２、０．４、０．８それぞれの場合で、３＋６１＝６４％、２２＋２２＝４４％、６１＋３＝６４％となる。上記は、表示部２０３の表示パネル上で表示された結果であるが、接眼光学系２０４越しには、図１４に示すように、位置が一致して画像として観察されることになる。しかしながら、ＲＧＢの輝度の総計が違うため、本来白色であるはずのものが、赤又は青に偏り、紫がかった色として観測されることになる。
【００５１】
１画素の輝点のような急峻な変化を持った画像信号が画像補正部２０２に入力されないように、低域通過フィルターを用いて入力画像信号を鈍らせることが考えられる。しかしながら、本来の映像が持つ精細感が失われてしまう、という問題がある。
【００５２】
そこで、本実施形態では、入力画像信号をデガンマ処理して一旦リニア―画像に変換してから歪み補正を行ない、その後再びガンマ処理して出力するようにしている。図１５には、この場合の歪み補正ブロック３０１の内部構成例を示している。以下では、１つの色成分に限定して説明するが、すべての色成分についての歪み補正ブロック３０２、３０３の構成並びに処理内容は同様である。
【００５３】
歪み補正ブロック３０１には、入力画像信号ｄｉｎと参照信号ｒｅｆ（ｋ）が入力される。
【００５４】
入力画像信号ｄｉｎは、入力段に配設されたデガンマ処理部１５０１でデガンマ処理され、その出力であるリニア入力画像信号ｄｉｎ´が画像メモリー１５０２内に書き込まれる。
【００５５】
また、参照信号ｒｅｆ（ｋ）は、ｋ番目の画素位置の出力画像信号ｄｏｕｔ（ｋ）が参照する入力画像信号ｄｉｎの画素位置を表すが、ｒｅｆ（ｋ）の整数部ｍkは画像メモリー１５０２に入力され、小数部をｓkは補間部１５０３に入力される。
【００５６】
画像メモリー４０１からは、参照信号ｒｅｆ（ｋ）の整数部ｍkの値に応じて、隣接するｍk番目及びｍk＋１番目の画素位置のリニア入力画像信号の値ｄｉｎ´（ｍk）、ｄｉｎ´（ｍk＋１）が出力される。
【００５７】
補間部１５０３は、画像メモリー４０１から読み出された隣接する２画素のリニア入力画像信号の値ｄｉｎ´（ｍk）、ｄｉｎ´（ｍk＋１）を、参照信号ｒｅｆ（ｋ）の小数部ｓkの値に基づいて下式（３）のようにリニア補間して、ｋ番目の画素位置の補正画像信号ｄｏｕｔ´（ｋ）を得る。
【００５８】
【数３】
2013192193.tif 000005
【００５９】
出力段に配設されたガンマ処理部１５０４は、リニアな補正画像信号ｄｏｕｔ´（ｋ）を再ガンマ処理して、出力画像信号ｄｏｕｔ（ｋ）を出力する。
【００６０】
図１５に示した歪み補正ブロック３０１において、入力画像ｄｉｎに１画素の輝点が存在したときの振る舞いについて、さらに詳細に考察する。図１６〜図１８には、デガンマ処理後のリニア入力画像信号ｄｉｎ´を上式（４）に従ってリニア本化する場合において、前述と同様に参照信号ｒｅｆ（ｋ）の小数部ｓkを０．２、０．５、０．８と変化させたときの、補正画像信号ｄｏｕｔ´（ｋ）、再ガンマ処理した後の出力画像信号ｄｏｕｔ（ｋ）の各値、さらに出力画像信号ｄｏｕｔ（ｋ）を輝度に換算した値を示している。
【００６１】
図１６〜図１８の各図を比較すると、リニアな補正画像の信号値ｄｏｕｔ´（ｋ）は、参照信号ｒｅｆ（ｋ）の小数部ｓkの値に応じて変化するものの、信号値の総計はいずれも２０＋８０＝５０＋５０＝８０＋２０＝１００％になっており、１００％輝点が複数の画素に分散されていることが分かる。
【００６２】
また、補正画像信号ｄｏｕｔ´（ｋ）を再ガンマ処理した後の出力画像信号ｄｏｕｔ（ｋ）の信号値も、参照信号ｒｅｆ（ｋ）の小数部ｓkの値に応じて変化する。ｓk＝０．２、０．４、０．８それぞれの場合で、信号値の総計をみると、４９＋９０＝１３９％、７０＋７０＝１５０％、９０＋４９＝１３９％となる。さらに各々の出力画像信号ｄｏｕｔ（ｋ）を輝度に換算すると、輝度の総計はいずれも２０＋８０＝５０＋５０＝８０＋２０＝１００％になっており、１００％輝点が複数の画素に分散されていることが分かる。
【００６３】
以上を踏まえて、入力画像に１画素の１００％の白輝点があった場合を考える。接眼光学系２０４の色収差のため、ＲＧＢの参照信号はそれぞれ異なる。例えば、ある出力画素位置ｋにおける参照信号ｒｅｆ（ｋ）の小数点が、Ｒ：ｓk＝０．２、Ｇ：ｓk＝０．５、Ｂ：ｓk＝０．８とまちまちの値であったとすると、図１９に示すように、ＲＧＢの色成分毎の輝度の総計はｓk＝０．２、０．４、０．８それぞれの場合で、２０＋８０＝５０＋５０＝８０＋２０＝１００％になっており、１００％輝点が複数の画素に分散されていることが分かる。上記は、表示部２０３の表示パネル上で表示された結果であるが、接眼光学系２０４越しには、図２０に示すように、位置が一致して画像として観察されることになる。そして、ＲＧＢの輝度の総計が１００％で一致するので、本来白色であるものが、正しく白色として観測されるようになる。
【００６４】
このように、図１５に示した歪み補正ブロックを用いて画像補正を行なうことで、表示パネルとレンズを組み合わせて表示する際に、補正による画質劣化を軽減することができる。特に、色むらの発生や、精細感の劣化を防ぐことができ、より高画質な画像を表示することが可能となる。
【００６５】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）入力画像を色成分毎に独立して補正処理する画像補正部と、前記画像補正部の出力画像を表示する表示部と、前記表示部の表示画像を所定の画角となるように投影する接眼光学部を具備し、前記画像補正部は、各色成分について、ガンマ処理されている入力画像をデガンマ処理してから、前記接眼光学部により発生する歪みの補正処理を行ない、再ガンマ処理して出力する、表示装置。
（２）前記画像補正部は、出力画像の画素を、ガンマ処理されたリニア入力画像上の対応する複数の画素で補間する、上記（１）に記載の表示装置。
（３）ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部と、デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部と、補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部を色成分毎に具備する画像処理装置。
（４）ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理ステップと、デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正ステップと、補正した後のリニア画像を再ガンマ処理して出力するガンマ処理ステップを色成分毎に有する画像処理方法。
（５）入力画像の色成分毎に、ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部、デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部、及び補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部としてコンピューターが機能するようにコンピューター可読形式で記述されたコンピューター・プログラム。
【産業上の利用可能性】
【００６６】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００６７】
本明細書では、本明細書で開示する技術をヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨は特定のヘッド・マウント・ディスプレイの構成に限定されるものではない。表示パネルとレンズの組合せで画像をユーザーに提示するさまざまなタイプの表示システムにも、同様に本明細書で開示する技術を適用することができる。
【００６８】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００６９】
１０…ヘッド・マウント・ユニット
２０…ブルーレイ・ディスク再生装置
３０…ハイビジョン・ディスプレイ
４０…フロント・エンド・ボックス
２０１…ＨＤＭＩ受信部
２０２…画像補正部
２０３…表示部
２０４…接眼光学系
３０１…歪み補正ブロック（Ｒｅｄ用）
３０２…歪み補正ブロック（Ｇｒｅｅｎ用）
３０３…歪み補正ブロック（Ｂｌｕｅ用）
４０１…画像メモリー
４０２…補間部
１５０１…デガンマ処理部
１５０２…画像メモリー
１５０３…補間部
１５０４…ガンマ処理部
【図２】
2013192193.tif 000006
【図３】
2013192193.tif 000007
【図４】
2013192193.tif 000008
【図５】
2013192193.tif 000009
【図６】
2013192193.tif 000010
【図７】
2013192193.tif 000011
【図８】
2013192193.tif 000012
【図９】
2013192193.tif 000013
【図１０】
2013192193.tif 000014
【図１１】
2013192193.tif 000015
【図１２】
2013192193.tif 000016
【図１３】
2013192193.tif 000017
【図１５】
2013192193.tif 000018
【図１６】
2013192193.tif 000019
【図１７】
2013192193.tif 000020
【図１８】
2013192193.tif 000021
【図１９】
2013192193.tif 000022
【図２１】
2013192193.tif 000023
【図２２】
2013192193.tif 000024
【図２３】
2013192193.tif 000025
【図２４】
2013192193.tif 000026
【図２５】
2013192193.tif 000027
【図１】
2013192193.tif 000028
【図１４】
2013192193.tif 000029
【図２０】
2013192193.tif 000030