(57)【要約】ユーザが好適に仮想画像を視認することのできる画像処理装置及び画像処理方法を提供することを課題とする。画像処理装置１００は、画像入力部１１０と、演算部１３０と、α値更新部１４０とを備える。画像入力部１１０は、第１の入力画像と、第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像との入力を受ける。演算部１３０は、第１の入力画像及び第２の入力画像に、第２の透過度、及び１から第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、第１の入力画像とに対する演算結果の比較により、第２の透過度における視認性を示す値を算出する。α値更新部１４０は、第２の透過度における視認性を示す値と、目標値との比較結果に応じて、第２の透過度を更新する。演算部１３０は、更新された第２の透過度を用いて視認性を示す値を再度算出する。
2016039301.tif 000002
【特許請求の範囲】
【請求項１】
第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像との入力を受ける入力手段と、
前記第１の入力画像及び前記第２の入力画像に、前記第１の透過度よりも低い第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を算出する演算手段と、
前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新する更新手段と
を備え、
前記演算手段は、更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する、
画像処理装置。
【請求項２】
前記演算手段による演算及び前記更新手段による更新は、画素毎に行われる、
請求項１記載の画像処理装置。
【請求項３】
前記更新手段は、２分探索法による探索により前記第２の透過度を更新する、
請求項１又は請求項２記載の画像処理装置。
【請求項４】
前記視認性を示す値は、コントラスト感度特性及びコントラスト応答に関する、
請求項１乃至請求項３のいずれか１項記載の画像処理装置。
【請求項５】
前記演算手段は、
前記第１の入力画像及び前記第２の入力画像をウェーブレット変換し、
当該変換の結果得られる前記第１の入力画像に関するウェーブレット係数及びＤＣ成分と、前記第２の入力画像に関するウェーブレット係数及びＤＣ成分とを、前記第２の透過度と、１から前記第２の透過度を減算した値とでそれぞれ乗算した値を加算する、
請求項１乃至請求項４のいずれか１項記載の画像処理装置。
【請求項６】
前記演算手段は、
前記加算の結果得られる値にゲインを乗算し、
前記ゲインを乗算した値にＤｉｖｉｓｉｖｅ  Ｎｏｒｍａｌｉｚａｔｉｏｎ処理することによりコントラスト応答値を算出する、
請求項５記載の画像処理装置。
【請求項７】
前記演算手段は、前記第１の入力画像及び前記第２の入力画像の輝度成分に基づき、前記視認性を示す値を算出する、
請求項１乃至請求項６のいずれか１項記載の画像処理装置。
【請求項８】
前記演算手段は、前記第１の入力画像と前記仮想画像に応じて、輝度成分のみに基づき前記視認性を示す値を算出するか、輝度成分及び色成分の両者に基づき前記視認性を示す値を算出するかを切り替える、
請求項１乃至請求項６のいずれか１稿記載の画像処理装置。
【請求項９】
第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像と、前記第１の入力画像の上に仮想画像が最大の明るさで重畳された第３の入力画像との入力を受ける入力手段と、
前記第２の入力画像及び前記第３の入力画像に、第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を算出する演算手段と、
前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新する更新手段と
を備え、
前記演算手段は、更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する、
画像処理装置。
【請求項１０】
前記演算手段による演算及び前記更新手段による更新は、画素毎に行われる、
請求項９記載の画像処理装置。
【請求項１１】
前記更新手段は、２分探索法による探索により前記第２の透過度を更新する、
請求項７又は請求項８記載の画像処理装置。
【請求項１２】
前記視認性を示す値は、コントラスト感度特性及びコントラスト応答に関する、
請求項９乃至請求項１１のいずれか１項記載の画像処理装置。
【請求項１３】
前記演算手段は、
前記第１の入力画像、前記第２の入力画像、及び前記第３の入力画像をウェーブレット変換し、
当該変換の結果得られる前記第２の入力画像に関するウェーブレット係数及びＤＣ成分と、前記第３の入力画像に関するウェーブレット係数及びＤＣ成分とを、前記第２の透過度と、１から前記第２の透過度を減算した値とでそれぞれ乗算した値を加算する、
請求項９乃至請求項１２のいずれか１項記載の画像処理装置。
【請求項１４】
前記演算手段は、
前記加算の結果得られる値にゲインを乗算し、
前記ゲインを乗算した値にＤｉｖｉｓｉｖｅ  Ｎｏｒｍａｌｉｚａｔｉｏｎ処理することによりコントラスト応答値を算出する、
請求項１３記載の画像処理装置。
【請求項１５】
第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像の入力を受けるステップと、
前記第１の入力画像及び前記第２の入力画像に、前記第１の透過度よりも低い第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を演算するステップと、
前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新するステップと
を備え、
更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する、
画像処理装置の画像処理方法。
【請求項１６】
第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像と、前記第１の入力画像の上に仮想画像が最大の明るさで重畳された第３の入力画像との入力を受けるステップと、
前記第２の入力画像及び前記第３の入力画像に、第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を算出するステップと、
前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新するステップと
を備え、
更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する、
画像処理装置の画像処理方法。
【請求項１７】
第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像の入力を受ける処理と、
前記第１の入力画像及び前記第２の入力画像に、前記第１の透過度よりも低い第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を演算する処理と、
前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新する処理と
をコンピュータに実行させるプログラムであって、
更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する、
プログラム。
【請求項１８】
第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像と、前記第１の入力画像の上に仮想画像が最大の明るさで重畳された第３の入力画像との入力を受ける処理と、
前記第２の入力画像及び前記第３の入力画像に、第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を算出する処理と、
前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新する処理と
をコンピュータに実行させるプログラムであって、
更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明に係るいくつかの態様は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレイ（ＨＭＤ）やメガネ型等のウェアラブル・ディスプレイなどのウェアラブル端末上に仮想物体や情報を表示することにより、現実風景と仮想情報とを同時に見られるようにする技術の研究開発が進んでいる。このような技術においては、ディスプレイを介して直接視認される現実風景（背景）、またはディスプレイ上に表示される背景画像の上に、仮想物体や情報を示す仮想画像を重畳させることが多い。このような場合に、仮想画像が背景または背景画像中の障害物等を完全に遮断してしまうと、歩行時等に危険が生じる場合がある。よって、仮想画像は半透明にして背景または背景画像に重畳されることが多い。【０００３】
しかしながら、仮想画像を半透明に重畳させる場合、描画結果の仮想物体の視認性を適切に設定することが難しい。例えば、アルファブレンディングにより背景画像と仮想画像とを一定の比率で混合して表示した場合、仮想画像の視認性は、背景画像と仮想画像の明るさが似ていたり、背景画像のテクスチャが高コントラストであったりする場合に、著しく低下する。【０００４】
特許文献１には、外界をシースルー可能な画像表示装置であって、画像を表示する手段と、被写体の光像を受光する撮像動作により得られた画像に応じて画像の表示態様を変更する手段とを備える装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１２１６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１記載の手法においても、被写体の画像に応じて表示態様を変えているだけである。すなわち、背景または背景画像に仮想画像が重畳された、合成後の画像がユーザにどのように視認されるかについてまでは考慮されていない。【０００７】
本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、ユーザが好適に仮想画像を視認することのできる画像処理装置及び画像処理方法を提供することを目的の１つとする。
【課題を解決するための手段】
【０００８】
本発明の１の態様に係る情報処理装置は、第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像との入力を受ける入力手段と、前記第１の入力画像及び前記第２の入力画像に、前記第１の透過度よりも低い第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を算出する演算手段と、前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新する更新手段とを備え、前記演算手段は、更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する。【０００９】
本発明の１の態様に係る情報処理装置は、第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像と、前記第１の入力画像の上に仮想画像が最大の明るさで重畳された第３の入力画像との入力を受ける入力手段と、前記第２の入力画像及び前記第３の入力画像に、第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を算出する演算手段と、前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新する更新手段とを備え、前記演算手段は、更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する。【００１０】
本発明の１の態様に係る情報処理方法は、第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像の入力を受けるステップと、前記第１の入力画像及び前記第２の入力画像に、前記第１の透過度よりも低い第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を演算するステップと、前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新するステップとを備え、更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する。【００１１】
本発明の１の態様に係る情報処理方法は、第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像と、前記第１の入力画像の上に仮想画像が最大の明るさで重畳された第３の入力画像との入力を受けるステップと、前記第２の入力画像及び前記第３の入力画像に、第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を算出するステップと、前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新するステップとを備え、更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する。【００１２】
本発明の１の態様に係るプログラムは、第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像の入力を受ける処理と、前記第１の入力画像及び前記第２の入力画像に、前記第１の透過度よりも低い第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を演算する処理と、前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新する処理とをコンピュータに実行させるプログラムであって、更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する。【００１３】
本発明の１の態様に係るプログラムは、第１の入力画像と、前記第１の入力画像の上に仮想画像が第１の透過度により重畳された第２の入力画像と、前記第１の入力画像の上に仮想画像が最大の明るさで重畳された第３の入力画像との入力を受ける処理と、前記第２の入力画像及び前記第３の入力画像に、第２の透過度、及び１から前記第２の透過度を減算した値をそれぞれ乗算した値を加算して得られる合成画像と、前記第１の入力画像とに対する演算結果の比較により、前記第２の透過度における視認性を示す値を算出する処理と、前記第２の透過度における前記視認性を示す値と、目標値との比較結果に応じて、前記第２の透過度を更新する処理とをコンピュータに実行させるプログラムであって、更新された前記第２の透過度を用いて前記視認性を示す値を再度算出する。【００１４】
なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。
【図面の簡単な説明】
【００１５】
【図１】１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】図１に示す画像処理装置を実装可能なハードウェア構成の具体例を示すブロック図である。
【図３】１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
【００１７】
以下では、背景画像に仮想画像を重畳する画像処理装置について説明する。なお、背景画像は実画像、仮想画像は例えばＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）等により生成された画像である場合を中心に説明するが、必ずしもそれに限られるものではない。例えば、背景画像がＣＧにより生成されても良いし、実風景を撮影した画像を仮想画像に用いても良い。
【００１８】
第１の実施形態では、撮影された背景画像に仮想画像を重畳するビデオ・シースルーの場合の処理を説明する。また第２の実施形態では、ユーザが、画像表示機能を有する例えばメガネやヘッドマウントディスプレイ等の光学透過型の装置を装着した上で、仮想画像は当該装置の上に表示され、背景はユーザが光学透過により直接視認するオプティカル・シースルーの場合の処理を説明する。
なお、以下の説明では、ビデオ・シースルー及びオプティカル・シースルーに対する画像処理の場合を中心に説明するが、必ずしもこれに限られるものではなく、画像処理全般に同様の処理を適用することも考えられる。
【００１９】
（１  第１の実施形態）
上述したように、第１の実施形態では、撮影された背景画像に仮想画像を重畳するビデオ・シースルーを行う画像処理装置について説明する。本画像処理装置による手法（以下、Ｖｉｓｉｂｉｌｉｔｙ−ｂａｓｅｄ  ｂｌｅｎｄｉｎｇともいう。）は、背景画像と背景画像の明るさやテクスチャに依存せずに、常に任意の視認性を得ることを可能とする。
【００２０】
背景画像に仮想画像を半透明に表示する場合には、仮想画像を一定の視認性で表示できることが望ましい。しかしながら、２つの画像を、主観的な視認性を基準として合成するための手法は未だに確立されていない。２つの異なる画像を合成する手法として、アルファブレンディングが広く知られている。アルファブレンディングでは、一方の画像のもう一方の画像に対する重み（α値）を調整することにより、仮想物体の透過度を変化させることができる。換言すれば，α値は透過度を示すパラメータである。しかしながら、α値の大きさは、必ずしもブレンドした仮想画像の視認性と対応しているわけではない。例えば、仮想画像を現実の背景画像上に半透明に合成する場合には、仮想画像の視認性は背景画像や仮想画像の明るさやテクスチャに大きく依存する。つまり、一定のα値で画像を合成しても、仮想画像の視認性は、背景画像及び仮想画像の種類により大きく変動する。
【００２１】
合成する画像によらずに、常に一定の視認性で合成するためには、視認性が予測できるモデルを用いて、合成時に用いるα値を最適化すれば良い。本実施形態ではこのために、画像圧縮等の際に生じる画像圧縮ノイズなどの視認性を評価するために開発されてきた視認性予測モデルを一部修正して使う。神経性予測モデルでは、元画像と歪み画像それぞれに対する脳の神経応答をシミュレートし、その応答の差を歪みの視認性の大きさとして用いる。神経応答のシミュレーションは、脳の初期視覚野（Ｖ１）の計算に基づいて行われる。しかしながら、本実施形態においては、入力画像は仮想画像を合成する前の背景画像と、合成後の画像とに置き換えられ、仮想画像の視認性はこれらの画像に対する神経応答の差分として与えられる。なお、従来画像圧縮ノイズ等の評価のために使用されてきた視認性予測モデルを一部修正して用いている理由は、リアルタイムでの演算を可能とするために計算コストを抑えるためや、良好な結果を得るためである。
【００２２】
本実施形態に係るＶｉｓｉｂｉｌｉｔｙ−ｂａｓｅｄ  ｂｌｅｎｄｉｎｇでは、仮想画像の視認性が予め定められた任意のレベルに近づくように、仮想画像の合成時の重み（α値）をピクセル毎に最適化する。これにより、背景画像及び仮想画像の種類によらずに、一定かつ一様な視認性で画像を合成することが可能となる。
【００２３】
以下、図１を参照しながら、本実施形態に係る画像処理装置１００の機能構成を説明する。画像処理装置１００は、画像入力部１１０と、色空間変換部１２０と、演算部１３０と、α値更新部１４０と、画像出力部１５０とを含む。以下、これらの処理について説明する。
【００２４】
画像入力部１１０は、背景画像、及び背景画像に仮想画像が重畳された合成画像が入力される。入力される合成画像では、背景画像に対し、仮想画像がα値＝１で、すなわち非透過状態で重畳される。ここで、背景画像及び合成画像は、ＲＧＢ色空間で表現されているものとする。なお、合成画像を生成する際のα値は、十分に大きければ、必ずしも１である必要はない。
【００２５】
色空間変換部１２０は、入力された背景画像及び合成画像の両者に対して、ＲＧＢ色空間からＣＩＥ  Ｌ＊ａ＊ｂ＊色空間へ変換する。これは、Ｌ＊ａ＊ｂ＊色空間が、知覚的な均等性が保たれるように設計されているため、例えばＹＵＶ等の色空間での表現方法よりも好ましいからである。
【００２６】
色空間変換部１２０は、この色空間変換の結果得られる、背景画像及び合成画像のＬ＊チャネル画像のみを演算部１３０へと出力する。つまり、等輝度色コントラスト成分であるａ＊チャネルやｂ＊チャネルは無視している。これは、色コントラストに対する感度は輝度に対する感度と比べると小さく、少なくとも輝度コントラストが存在する条件下では、色コントラストの影響はさほど大きくないと考えられるからである。このようにａ＊チャネルやｂ＊チャネルを無視することにより、全体的な演算量を減らすことができるため、実時間（リアルタイム）でのα値の算出を可能としている。
【００２７】
しかしながら、状況によっては色コントラストを考慮した方が、好適な視認性推定結果を得られる場合もあるため、色空間変換部１２０は、ａ＊チャネルやｂ＊チャネルを演算部１３０へ出力するようにしても良い。色コントラストを考慮した方が良い場合としては、例えば、背景画像および仮想画像の輝度成分（Ｌ＊チャネル）が殆ど同じ（輝度コントラストが小さい）であるが、色成分（ａ＊、ｂ＊チャネル）が大きく異なる（色コントラストが大きい）場合が挙げられる。このような場合には、輝度チャネルで計算した視認性がゼロに近くなるため、色コントラストを考慮することで、初めて正しい視認性推定結果を得ることができる。
【００２８】
よって色空間変換部１２０は、色空間変換部１２０は、背景画像の輝度コントラストや色コントラストの大きさ等に応じて、色成分を演算部１３０へ出力するか否かを切り替えることも考えられる。
【００２９】
演算部１３０は、初期視覚野（Ｖ１）における視覚処理を再現した視認性予測モデルの処理に相当する。演算部１３０では、各画像のサブバンド成分に対応する神経細胞の応答がシミュレートされ、２つの入力画像に対する同一の神経細胞の応答の差分をピクセル毎に計算し、この差をサブバンド間でプールしたものを、視認性を示す値として出力する。以下、演算部１３０の具体的な処理を説明する。
【００３０】
まず、演算部１３０では、入力された背景画像及び合成画像のＬ＊チャネル画像に対して、まずＱＭＦ（Ｑｕａｄｒａｔｕｒｅ  Ｍｉｒｒｏｒ  Ｆｉｌｔｅｒ）ウェーブレット変換処理を行う。ＱＭＦウェーブレット変換により、入力画像が複数のサブバンドに線形分解され、その結果、それぞれの入力画像の各ピクセルについて、１２個のウェーブレット係数（４つの空間周波数レベル×３つの方位成分）からなるベクトルｗと１つのＤＣ成分とが得られる。
【００３１】
なお、色変換部１２０がＬ＊チャネルのみならずａ＊、ｂ＊チャネルも出力する場合には、演算部１３０は、これらのチャネルも含めてＱＭＦフェーブレット変換を行う。ａ＊、ｂ＊チャネルの考慮の有無につき、続くコントラスト感度特性に関する処理なども同様である。以下の説明では、Ｌ＊チャネルのみを考慮する場合を中心に説明する。
【００３２】
次に、演算部１３０は、α値の初期値を用いて、以下の式により当該α値で合成した合成画像のウェーブレット係数及びＤＣ成分を算出する。
【００３３】
【数１】
2016039301.tif 000003
【００３４】
ここで、Ｉ1及びＩ2は、入力された背景画像及び合成画像（α値＝１で背景画像と仮想画像を合成した画像）のウェーブレット係数又はＤＣ成分を示す。ＱＭＦウェーブレット変換は線形変換であるため、ここで得られたウェーブレット係数及びＤＣ成分の線形和は、現在のα値で２つの入力画像をブレンドした後にウェーブレット変換した場合のウェーブレット係数及びＤＣ成分に等しい。
【００３５】
次に、演算部１３０は、ウェーブレット係数のベクトルｗに含まれる１２個の係数に対して、以下の式に従って線形なゲインＳを乗算することにより、コントラスト感度特性（ＣＳＦ：Ｃｏｎｔｒａｓｔ  Ｓｅｎｓｉｔｉｖｉｔｙ  Ｆｕｎｃｔｉｏｎ）を再現する。
【００３６】
【数２】
2016039301.tif 000004
【００３７】
ここで、ｃiとｗiは、それぞれ、ゲインを乗算した後と乗算する前の、ｉ番目のフィルタのウェーブレット係数を示す。Ｓiはｉ番目のフィルタに対するゲインであり、以下の関数により求められる。
【００３８】
【数３】
2016039301.tif 000005
【００３９】
この式において、ｅとｏはそれぞれ空間周波数帯及び方位成分の番号を表し、空間周波数帯は高い方から低い方へｅ＝１，２，３，４とし、方位成分は水平、斜め、垂直をそれぞれｏ＝１，２，３とする。Ａoは方位ｏにおける最大のゲインを表す。ｓは関数の幅を、θは減衰の鋭さを決定する定数とする。
【００４０】
このような処理が施されたウェーブレット係数に対し、演算部１３０はｄｉｖｉｓｉｖｅ  ｎｏｒｍａｌｉｚａｔｉｏｎ処理を行い、コントラスト応答ｒを得る。
【００４１】
【数４】
2016039301.tif 000006
【００４２】
この式において、βiはｉ番目のフィルタに対する飽和定数であり、ゼロ除算を防ぐほか、応答の飽和が始まる点を決める。Ｈikはｋ番目のフィルタがｉ番目のフィルタに与える抑制の強さを決める重み付け関数である。γは定数である。
【００４３】
重み付け関数Ｈikは、基本的にｋ番目のフィルタがｉ番目のフィルタと近い特徴を持つほど重みが大きくなる（抑制が大きく働く）ことが想定されており、以下の式により定義される。
【００４４】
【数５】
2016039301.tif 000007
【００４５】
（ｅ，ｏ）及び（ｅ’，ｏ’）は、それぞれｉ番目とｋ番目のフィルタが選択制を持つ空間周波数レベルと方位を表す。Ｋは全てのｋに対するＨikの総和が１となるように定められる定数である。σeとσoとはそれぞれ空間周波数次元と方位次元における重みの広がりを決める定数である。
【００４６】
ここで、重み付け関数Ｈikでは、処理対象のピクセルの近傍のピクセルからの作用は想定していない。これは、各ピクセルの視認性を求めるために、周囲のピクセルにも毎回アクセスするのは計算上のコストが高く、またその割にはコントラスト応答を再現する上では、近傍のピクセルの影響は必ずしも大きくないと考えられるからである。本実施形態のように、ｄｉｖｉｓｉｖｅ  ｎｏｒｍａｌｉｚａｔｉｏｎ処理において近傍のピクセルの作用を考慮しないことにより、実時間（リアルタイム）でのα値算出を可能とすることができる。
【００４７】
ただし、演算速度が十分に速い計算機を使用する場合や、必ずしも実時間での演算に拘る必要がない場合には、近傍のピクセルの影響をも考慮した重み付け関数Ｈikとすることも考えられる。
【００４８】
また、演算部１３０は、ウェーブレット変換の結果得られるＤＣ成分についても、局所的な明るさに基づく応答ｒLを以下の式により算出する。
【００４９】
【数６】
2016039301.tif 000008
【００５０】
ここで、ｗLは低域通過フィルタの係数を表し、ωはその係数に対する線形なゲインである。このような明るさに基づく応答ｒLを視認性において考慮する理由は、背景画像と、合成する仮想画像とが重なる領域が共になめらかな面を持っていた場合に、視認性が過小評価され、ブレンディング結果にエラーが生じることになるからである。このようなテクスチャの少ない滑らかな領域は、空やコンクリートの壁、影で暗くなっている箇所など、自然画像中に多く存在している。
【００５１】
演算部１３０は、入力された背景画像のウェーブレット係数及びＤＣ成分についても、同様に（２）式、（４）式、及び（６）式を用いてコントラスト応答及び局所的な明るさに対する応答をピクセル毎に計算する。
【００５２】
最後に、演算部１３０は、以下の式に従って、現在のα値による合成画像に対する応答と、背景画像に対する応答との差分をピクセル毎にプーリングし、これを現在の視認性の値とする。
【００５３】
【数７】
2016039301.tif 000009
【００５４】
ここでｄxyはピクセル（ｘ，ｙ）においてプールされた応答の差分を表す。ｒi及びｒi’は背景画像及び現在のα値による合成画像それぞれに対するｉ番目のフィルタへの応答を表す。ｎはフィルタの数を表すため、ここではｎ＝１２となる。ｒLとｒL’は、２つの画像それぞれに対する局所的な明るさへの応答を表す。
【００５５】
α値更新部１４０は、ターゲット（目標値）となる視認性を実現するのに最適なα値の探索を、ピクセル毎に行う。探索は２分探索法により行われる。視認性の目標値は、ユーザが個別に設定することができる。
【００５６】
より具体的には、α値更新部１４０は、演算部１３０が算出した、現在のα値でブレンドした時の視認性を示す値と、ターゲットである視認性を示す値（目標値）とを比較し、現在の視認性がターゲットよりも高ければα値をステップサイズ分引き下げ、低ければα値をステップサイズ分引き上げる。このようにしてα値を更新した上で、このα値を演算部１３０へ出力して再度合成画像の視認性を示す値を演算させる処理を、所定のステップ数（例えば８ステップ）繰り返す。このとき、ステップサイズの初期値は、例えば０．２５とすることができる。このステップサイズの値は、ステップが進む毎に半分に減じられる。所定のステップ数繰り返した後に得られるα値を、探索の結果得られる最適値とすることができる。
【００５７】
しかしながら、前述のとおり、本実施形態においてα値はピクセル毎に最適化されるため、これをそのまま用いるとピクセル間に不連続性を生じ、不自然な結果となる場合がある。そこでα値更新部１４０は、一定サイズの正方形窓の範囲内でそれぞれのピクセルのα値を平均化することで、α値のピクセル毎の変化を滑らかにしても良い。
【００５８】
画像出力部１５０は、算出された最適なα値を用いて、背景画像及び合成画像のブレンディングを行う。ブレンディングはＬ＊ａ＊ｂ＊色空間上で上記（１）式に従って行われ、合成後にＲＧＢ色空間に戻したものが出力される。
【００５９】
（１．２  ハードウェア構成の具体例）
以下、図２を参照しながら、上述してきた画像処理装置１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。図２に示すように、画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１、メモリ２０３、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０５、表示装置２０７、入力インタフェース（Ｉ／Ｆ）部２０９、記憶装置２１１、通信Ｉ／Ｆ部２１３、及びデータＩ／Ｆ部２１５を含む。
【００６０】
ＣＰＵ２０１は、画像処理装置１００内の各種処理を制御する。例えばＣＰＵ２０１は、図１で説明した処理の入力画像の元となるメモリ２０３に記憶されるカメラ画像（背景画像）をＧＰＵ２０５へ渡した上で、当該画像に関する合成画像の生成やα値の最適化等に関する処理を行うべくＧＰＵ２０５へ指示することができる。ＣＰＵ２０１で行われる処理は、メモリ２０３に一時記憶された上で主にＣＰＵ２０１上で動作するプログラムとして実現可能である。
【００６１】
メモリ２０３は、例えばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ２０３は、ＣＰＵ２０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となる背景画像等を含むデータを一時的に記憶する。
【００６２】
ＧＰＵ２０５は、例えば画像処理を行うためにＣＰＵとは別に設けられたプロセッサである。図１に示した画像入力部１１０、色空間変換部１２０、演算部１３０、α値更新部１４０及び画像出力部１５０が行う処理は、全てＧＰＵ２０５上で実現することができる。特に、演算部１３０及びα値更新部１４０に係るプログラムが、ピクセル単位でプログラミングができるピクセルシェーダにより実現されていれば、これらの処理をピクセル単位で並列に実行することが可能となる。これにより、画像処理装置１００が行うα値推定を実時間で実現できる。
【００６３】
この他、図１、図３における処理で入力画像の１つとなる背景画像の上に所定の透過度（透過度１の場合も含む）で仮想画像が重畳される合成画像の生成も、ＧＰＵ２０５上で行うことが可能である。
【００６４】
表示装置２０７は、ＧＰＵ２０５が処理した合成画像等を表示するためのデバイスである。表示装置２０７の具体例としては、ＨＭＤの他、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置２０７は、画像処理装置１００の外部に設けられても良い。その場合、表示装置２０７は、例えばディスプレイケーブル等を介して画像処理装置１００に接続される。
【００６５】
入力Ｉ／Ｆ部２０９は、ユーザからの入力を受け付けるためのデバイスである。例えば、α値更新部１４０が必要とする視認性の目標値の値は、入力Ｉ／Ｆ部２０９からユーザが入力することが可能である。入力Ｉ／Ｆ部２０９の具体例としては、例えばキーボードやマウス、タッチパネル等が挙げられる。入力Ｉ／Ｆ部２０９は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等の通信インタフェースを介して画像処理装置１００に接続されても良い。
【００６６】
記憶装置２１１は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置２１１は、オペレーティングシステムや、ＧＰＵ２０５を用いた画像処理機能を実現するための各種プログラム、合成対象の仮想画像等を記憶することができる。記憶装置２１１に記憶されているプログラムやデータは、必要に応じてメモリ２０３にロードされることにより、ＣＰＵ２０１から参照される。
【００６７】
通信Ｉ／Ｆ部２１３は、画像処理装置１００の外部の装置、例えば画像処理装置１００に取り付けられた図示しない撮影装置（カメラデバイス）等との間で有線又は無線によりデータ通信するためのデバイスである。この場合、通信Ｉ／Ｆ部２１３は背景画像となる映像を構成する画像フレームの入力を受ける。
【００６８】
データＩ／Ｆ部２１５は、画像処理装置１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部２１５の具体例としては、各種記憶装置に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部２１５は、画像処理装置１００の外部に設けられても良い。その場合、データＩ／Ｆ部２１５は、例えばＵＳＢ等のインタフェースを介して画像処理装置１００に接続される。
【００６９】
（１．３  本実施形態に係る効果）
本実施形態に係るＶｉｓｉｂｉｌｉｔｙ−ｂａｓｅｄ  ｂｌｅｎｄｉｎｇを用いれば、背景画像の明るさやテクスチャ等に依存せずに、設定された視認性に応じた均一な視認性で仮想画像を提示することが可能となる。
【００７０】
（１．４  変形例）
上述の実施形態では、主に輝度コントラスト（Ｌ＊チャネル）のみを考慮して視認性を推定することにより、好適なα値を算出していたが、これに限られるものではない。上述の通り、例えば合成画像と背景画像との間に輝度（Ｌ＊チャネル）の差が殆ど無い、即ち輝度コントラストが小さい場合には、色コントラスト（ａ＊、ｂ＊チャネル）を考慮した方が、視認性を好適に推定することができる。このような場合には、Ｌ＊、ａ＊、ｂ＊の３チャネル全てを考慮して視認性を推定し、好適なα値を算出することが考えられる。より具体的には、例えば、輝度チャネルの差が一定の閾値を下回っているか否かに応じて、Ｌ＊チャネルのみで演算を行うか、或いはａ＊及びｂ＊チャネルを含めて演算部１３０が演算を行うかを切り替えるようにしても良い。
【００７１】
また、背景画像と合成画像との間で、輝度成分も色成分も両方異なる場合には、コントラストマスキングの有無で色成分の必要性の大きさが変わる。具体的には、背景画像からのコントラストマスキング効果が高い状況では、輝度チャネルのみで視認性を計算すると、視認性が低く評価されやすい。このような状況では、仮想画像の色が背景画像と大きく異なるのであれば、色チャネルから得られる視認性が大きくなるため、Ｌ＊、ａ＊、ｂ＊の全てのチャネルを考慮することで、視認性を好適に評価することができる。
【００７２】
（２  第２の実施形態）
続いて、第２の実施形態について説明する。上述の通り、第１の実施形態では、撮影された背景画像に仮想画像を重畳するビデオ・シースルーを行う画像処理装置について説明した。第２の実施形態では、現実世界の光とデバイスから出力された光とを、ハーフミラーを通して合算したものをユーザが見るオプティカル・シースルーを行う画像処理装置について説明する。オプティカル・シースルーでは、仮想画像は必然的に半透明表示となる。こうした状況下では、現実風景から入射する光の強さやデバイスが発する光の強さに加えて、現実風景中において仮想情報が重なる部分のテクスチャや構造も、仮想画像の視認性に影響すると考えられる。
【００７３】
本実施形態に係る画像処理装置による手法（以下、Ｖｉｓｉｂｉｌｉｔｙ−ｅｎｈａｎｃｅｄ  ｂｌｅｎｄｉｎｇ）は、表示される仮想画像の視認性が予め定められた任意のレベル以上となるように、仮想画像の明るさをピクセル毎に最適化する。
【００７４】
以下、図３を参照しながら、本実施形態に係る画像処理装置３００の機能構成を説明する。画像処理装置３００は、画像入力部３１０と、色空間変換部３２０と、演算部３３０と、α値更新部３４０と、画像出力部３５０とを含む。以下、これらの処理について説明する。
【００７５】
画像入力部３１０は、（Ａ）ユーザが視認する背景を撮影した背景画像、（Ｂ）視認性向上処理がなされていない状態で、ユーザが視認する映像を予測したシミュレーション結果画像、（Ｃ）仮想画像が最大の明るさで表示された場合に、ユーザが視認する映像を予測したシミュレーション結果画像、の３つの入力を受ける。（Ｂ）の入力画像は、背景画像全体に（１−α）を乗算したものに、αを乗算した仮想物体を加算する処理により生成される。（Ｃ）の入力画像は、ＣＩＥ  Ｌ＊ａ＊ｂ＊色空間上で、Ｌ＊チャネルの値を最大にすることで生成される。
色空間変換部３２０及びα値更新部３４０が行う処理は、第１の実施形態における色空間変換部１２０と同様であるため、説明を省略する。
【００７６】
演算部３３０が行う処理も、基本的には第１の実施形態における演算部１３０と同様である。しかしながら、演算部３３０がＣＳＦシミュレーションを行う対象となるウェーブレット係数及びＤＣ成分が異なる。第１の実施形態では、式（１）においてＩ1及びＩ2は背景画像及び合成画像のウェーブレット係数及びＤＣ成分であったが、第２の実施形態では、Ｉ1及びＩ2はそれぞれ入力画像（Ｃ）及び（Ｂ）のＬ＊ａ＊ｂ＊色空間上でウェーブレット変換を行ったウェーブレット係数及びＤＣ成分である。
【００７７】
画像出力部３５０は、α値更新部３４０が例えば８ステップ分等の所定のステップ数探索が行われることにより最適化されたα値を用いて、Ｌ＊ａ＊ｂ＊色空間において、入力画像（Ｂ）に含まれる仮想画像と、最大輝度の仮想画像（入力画像（Ｃ）に含まれる仮想画像）とをブレンディングし、これをＲＧＢ色空間に戻した結果を最終的な出力とする。
【００７８】
オプティカル・シースルー型デバイス（表示装置）に提示する場合には、背景と仮想画像との合成はハーフミラーにより物理的に行われる。従って、画像出力部３５０は、画像出力部３５０から出力された、最適化されたα値の仮想画像を表示装置に表示する。
【００７９】
上述してきた画像処理装置３００をコンピュータにより実現する場合のハードウェア構成の一例は、表示装置２０７にオプティカル・シースルー型デバイスを用いることができる点を除いて第１実施形態と同様である。
【００８０】
本実施形態に係るＶｉｓｉｂｉｌｉｔｙ−ｅｎｈａｎｃｅｄ  ｂｌｅｎｄｉｎｇを用いれば、背景の明るさやテクスチャ等に依存せずに、仮想画像の視認性を任意の水準まで引き上げることが可能となる。
【符号の説明】
【００８１】
１００  ：画像処理装置
１１０  ：画像入力部
１２０  ：色空間変換部
１３０  ：演算部
１４０  ：α値更新部
１５０  ：画像出力部
２０１  ：ＣＰＵ
２０３  ：メモリ
２０７  ：表示装置
２０９  ：入力インタフェース部
２１１  ：記憶装置
２１３  ：通信インタフェース部
２１５  ：データインタフェース部
３００  ：画像処理装置
３１０  ：画像入力部
３２０  ：色空間変換部
３３０  ：演算部
３４０  ：α値更新部
３５０  ：画像出力部
【図１】
2016039301.tif 000010
【図２】
2016039301.tif 000011
【図３】
2016039301.tif 000012
【国際調査報告】
2016039301.tif 000013
2016039301.tif 000014
2016039301.tif 000015
2016039301.tif 000016