(57)【要約】【課題】  イメージ処理方法及びイメージ処理装置を提供する。【解決手段】  一実施形態に係るイメージ処理方法は、ユーザの視点情報に基づいてイメージを生成するステップと、前記ユーザの前方に関する情報に基づいて前記イメージをレンダリングするステップと、光学素子を用いてレンダリングされたイメージを出力するステップとを含む。【選択図】      図１
2019030004.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視点情報に基づいてイメージを生成するステップと、
周辺及び前記ユーザの前方に存在するオブジェクトのうち少なくとも１つに関する情報に基づいて前記イメージをレンダリングするステップと、
光学素子を用いてレンダリングされたイメージを出力するステップと、
を含むイメージ処理方法。
【請求項２】
前記レンダリングするステップは、センサを用いて前記ユーザの前方のオブジェクトの形状、位置、及び深度のうち少なくとも１つを取得するステップを含む、請求項１に記載のイメージ処理方法。
【請求項３】
前記レンダリングするステップは、前記イメージの表現深度が虚像距離よりも深くレンダリングするステップを含む、請求項１に記載のイメージ処理方法。
【請求項４】
前記イメージを生成するステップは、イメージカメラ及び赤外線カメラのうち１つを用いて前記ユーザの目を直接検出する、又は、車両のウィンドシールドに反射した前記ユーザの目を検出して前記視点情報を取得するステップを含む、請求項１ないし３のうち何れか一項に記載のイメージ処理方法。
【請求項５】
前記イメージを生成するステップは、
前記視点情報に基づいて前記ユーザの目の位置を決定するステップと、
前記目の位置に対応する複数のサブピクセルにイメージを割り当てるステップと、
を含む、請求項１ないし３のうち何れか一項に記載のイメージ処理方法。
【請求項６】
前記イメージを割り当てるステップは、
前記ユーザの左側の目の位置に対応する複数のサブピクセルに前記左側の目から入力されるイメージを割り当てるステップと、
前記ユーザの右側の目の位置に対応する複数のサブピクセルに前記右側の目から入力されるイメージを割り当てるステップと、
を含む、請求項５に記載のイメージ処理方法。
【請求項７】
前記イメージを生成するステップは、前記視点情報及び光学的変換に基づいて前記イメージを生成するステップを含む、請求項１ないし３のうち何れか一項に記載のイメージ処理方法。
【請求項８】
前記光学素子は、レンチキュラレンズ及びパララックスバリアのうち少なくとも１つで具現される、請求項１ないし７のうち何れか一項に記載のイメージ処理方法。
【請求項９】
前記出力するステップは、拡大光学系を用いて前記レンダリングされたイメージを拡大するステップを含む、請求項１ないし８のうち何れか一項に記載のイメージ処理方法。
【請求項１０】
前記拡大光学系は、非球面鏡及び平面鏡のうち少なくとも１つを含む、請求項９に記載のイメージ処理方法。
【請求項１１】
ユーザの視点情報に基づいてイメージを生成し、周辺及び前記ユーザの前方に存在するオブジェクトのうち少なくとも１つに関する情報に基づいて前記イメージをレンダリングするコントローラと、
レンダリングされたイメージを出力する光学素子と、
を含むイメージ処理装置。
【請求項１２】
前記ユーザの前方に存在するオブジェクトの形状、位置、及び深度のうち少なくとも１つを取得するセンサをさらに含む、請求項１１に記載のイメージ処理装置。
【請求項１３】
前記コントローラは、前記イメージの表現深度が虚像距離よりも深くレンダリングする、請求項１１に記載のイメージ処理装置。
【請求項１４】
前記視点情報を取得するイメージカメラ及び赤外線カメラのうち少なくとも１つをさらに含み、
前記イメージカメラ及び前記赤外線カメラのうち少なくとも１つは、直接検出された前記ユーザの目の直接的な検出、又は車両のウィンドシールドに反射した前記ユーザの目の検出に基づいて前記視点情報を取得する、請求項１１ないし１３のうち何れか一項に記載のイメージ処理装置。
【請求項１５】
前記コントローラは、前記視点情報に基づいて前記ユーザの目の位置を決定し、前記目の位置に対応するディスプレイの複数のサブピクセルにイメージを割り当てる、請求項１１ないし１３のうち何れか一項に記載のイメージ処理装置。
【請求項１６】
前記コントローラは、前記ユーザの左側の目の位置に対応する前記ディスプレイの複数のサブピクセルに前記左側の目から入力されるイメージを割り当て、前記ユーザの右側の目の位置に対応する前記ディスプレイの複数のサブピクセルに前記右側の目から入力されるイメージを割り当てる、請求項１５に記載のイメージ処理装置。
【請求項１７】
前記コントローラは、前記視点情報及び光学的変換に基づいて前記イメージを生成する、請求項１１ないし１３のうち何れか一項に記載のイメージ処理装置。
【請求項１８】
前記光学素子は、レンチキュラレンズ及びパララックスバリアのうち少なくとも１つで具現される、請求項１１ないし１７のうち何れか一項に記載のイメージ処理装置。
【請求項１９】
前記光学素子から出力された前記イメージを拡大する拡大光学系をさらに含む、請求項１１ないし１８のうち何れか一項に記載のイメージ処理装置。
【請求項２０】
前記拡大光学系は、非球面鏡及び平面鏡のうち少なくとも１つを含む、請求項１９に記載のイメージ処理装置。
【請求項２１】
請求項１ないし１０のうち何れか一項に記載のイメージ処理方法を、イメージ処理装置のコンピュータに実行させるコンピュータ・プログラム。
【請求項２２】
請求項２１に記載のコンピュータ・プログラムを保存する記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージ処理方法及びイメージ処理装置等に関する。
【背景技術】
【０００２】
移動手段（例えば、車両、バイク、スマートモビリティ、船舶、飛行機など）を運転する運転者は、ナビゲーションを用いて移動手段の運行に関する情報を取得する。ここで、ナビゲーション装置は、車両のコントロールパネル部分にあるダッシュボードやフェイシア（Ｃｅｎｔｅｒ  Ｆａｓｃｉａ）に埋め込まれてもよいし、又は、前面ガラス窓であるウィンドシールド（Ｗｉｎｄｓｈｉｅｌｄ）に取り付けられてもよい。
【０００３】
運転者は、運転中に車両の前方、後方、側方などの障害物に気を付けなければならない。しかし、ナビゲーション装置が一般的な視野角の外角にあったり、離れていたりしていると、運転者はナビゲーション装置に注意することが容易ではなくなり、これは安全運転の観点からは好ましくない。特に、初心者の運転者の場合は事故の危険性がさらに増加する。
【０００４】
ここで、運転者は、運転を補助するヘッドアップディスプレイ（Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ（ＨＵＤ））装置を使用してもよい。ＨＵＤ装置は、移動手段の運行に関する情報（例えば、計器盤情報、ナビゲーション情報など）をウィンドシールドに投影する。すなわち、運転者は、運転中に視線や凝視点を逸らすことなく運行に関する情報を把握、これは安全運転の観点から好ましい。
【０００５】
一方、計器盤情報（例えば、速度、注油の残量、エンジンＲＰＭ（ｒｅｖｏｌｕｔｉｏｎ  ｐｅｒ  ｍｉｎｕｔｅ）など）表示、ナビゲーション情報表示の他にも、視界が良くない場合に役に立つ車線情報表示、前方危険状況情報表示（例えば、工事に関する表示、交通事故の表示、道歩する人に対する対象警告表示など）などを拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＡＲ））の形態でＨＵＤ装置を用いて表現しようとする試みが行われている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実施形態の目的は、ユーザの視点情報に基づいてイメージを生成する技術を提供することにある。
【０００７】
また、実施形態の他の目的は、周辺及びユーザの前方に存在するオブジェクトのうち少なくとも１つを含むユーザの前方に関する情報に基づいてイメージをレンダリングする技術を提供するにある。
【０００８】
また、実施形態の更なる目的は、ライトフィールドレンダリングを用いてユーザに３Ｄイメージを出力するＨＵＤ技術を提供することにある。
【課題を解決するための手段】
【０００９】
一実施形態に係るイメージ処理方法は、ユーザの視点情報に基づいてイメージを生成するステップと、周辺及び前記ユーザの前方に存在するオブジェクトのうち少なくとも１つに関する情報に基づいて前記イメージをレンダリングするステップと、光学素子を用いてレンダリングされたイメージを出力するステップとを含む。
【００１０】
前記レンダリングするステップは、センサを用いて前記ユーザの前方のオブジェクトの形状、位置、及び深度のうち少なくとも１つを取得するステップを含み得る。
【００１１】
前記イメージを生成するステップは、イメージカメラ及び赤外線カメラのうち１つを用いて前記ユーザの目を直接検出する、又は、車両のウィンドシールドに反射した前記ユーザの目を検出して前記視点情報を取得するステップを含み得る。
【００１２】
前記イメージを生成するステップは、前記視点情報に基づいて前記ユーザの目の位置を決定するステップと、前記目の位置に対応する複数のサブピクセルにイメージを割り当てるステップとを含み得る。
【００１３】
前記イメージを割り当てるステップは、前記ユーザの左側の目の位置に対応する複数のサブピクセルに前記左側の目から入力されるイメージを割り当てるステップと、前記ユーザの右側の目の位置に対応する複数のサブピクセルに前記右側の目から入力されるイメージを割り当てるステップとを含み得る。
【００１４】
前記イメージを生成するステップは、前記視点情報及び光学的変換に基づいて前記イメージを生成するステップを含み得る。
【００１５】
前記光学素子は、レンチキュラレンズ及びパララックスバリアのうち少なくとも１つで具現され得る。
【００１６】
前記出力するステップは、拡大光学系を用いて前記レンダリングされたイメージを拡大するステップを含み得る。
【００１７】
前記拡大光学系は、非球面鏡及び平面鏡のうち少なくとも１つを含み得る。
【００１８】
前記レンダリングするステップは、前記イメージの表現深度が虚像距離よりも深くレンダリングするステップを含み得る。
【００１９】
他の位置実施形態に係るイメージ処理装置は、ユーザの視点情報に基づいてイメージを生成し、周辺及び前記ユーザの前方に存在するオブジェクトのうち少なくとも１つに関する情報に基づいて前記イメージをレンダリングするコントローラと、レンダリングされたイメージを出力する光学素子とを含む。
【００２０】
前記イメージ処理装置は、前記ユーザの前方に存在するオブジェクトの形状、位置、及び深度のうち少なくとも１つを取得するセンサをさらに含み得る。
【００２１】
前記イメージ処理装置は、前記視点情報を取得するイメージカメラ及び赤外線カメラのうち少なくとも１つをさらに含み、前記イメージカメラ及び前記赤外線カメラのうち少なくとも１つは、直接検出された前記ユーザの目の直接的な検出、又は車両のウィンドシールドに反射した前記ユーザの目の検出に基づいて前記視点情報を取得し得る。
【００２２】
前記コントローラは、前記視点情報に基づいて前記ユーザの目の位置を決定し、前記目の位置に対応するディスプレイの複数のサブピクセルにイメージを割り当て得る。
【００２３】
前記コントローラは、前記ユーザの左側の目の位置に対応する前記ディスプレイの複数のサブピクセルに前記左側の目から入力されるイメージを割り当て、前記ユーザの右側の目の位置に対応する前記ディスプレイの複数のサブピクセルに前記右側の目から入力されるイメージを割り当て得る。
【００２４】
前記コントローラは、前記視点情報及び光学的変換に基づいて前記イメージを生成し得る。
【００２５】
前記光学素子は、レンチキュラレンズ及びパララックスバリアのうち少なくとも１つで具現され得る。
【００２６】
前記光学素子から出力された前記イメージを拡大する拡大光学系をさらに含み得る。
【００２７】
前記拡大光学系は、非球面鏡及び平面鏡のうち少なくとも１つを含み得る。
【００２８】
前記コントローラは、前記イメージの表現深度が虚像距離よりも深くレンダリングし得る。
【発明の効果】
【００２９】
本発明によれば、運転者に実際に似た環境下で様々な情報を効率よく提供でき、危険信号を効率よく表現して運転の安全性を高めることができる。
【００３０】
本発明によれば、運転者の目の位置に合わせて映像情報を表示することで視聴の疲れを減らすことができ、実際の事物と映像の表現深度との差による異質感を解消することができる。
【図面の簡単な説明】
【００３１】
【図１】一実施形態に係るイメージ処理システムのブロック図を示す。
【図２】図１に示すイメージ処理装置のブロック図の一例を示す。
【図３】図２に示すディスプレイのブロック図の一例を示す。
【図４】図３に示す光学素子の動作を説明するための図である。
【図５】図２に示すコントローラの動作を説明するための図である。
【図６】図２に示すディスプレイのブロック図の他の例を示す。
【図７Ａ】図２に示すディスプレイのモアレ現象を説明するための図面の一例である。
【図７Ｂ】図２に示すディスプレイのモアレ現象を説明するための図面の異なる例である。
【図８】運転者の視聴の疲れを測定したグラフの一例である。
【図９】イメージ処理装置が図８に示す視聴の疲れを考慮して動作する一例を示す。
【図１０】図１に示すイメージ処理システムが車両によって具現された一例を示す。
【図１１】一実施形態に係るイメージ処理方法がフローチャートを示す。
【発明を実施するための形態】
【００３２】
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更され得る。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【００３３】
第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
【００３４】
いずれかの構成要素が他の構成要素に「連結されて」いると言及された場合、その次の構成要素に直接的に連結されてもよく、又は中間に他の構成要素が存在することもあり得ると理解されなければならない。
【００３５】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００３６】
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００３７】
図１は、一実施形態に係るイメージ処理システムのブロック図を示す。
【００３８】
図１を参照すれば、イメージ処理システム１０は、カメラ１００、センサ２００、及びイメージ処理装置３００を含む。
【００３９】
イメージ処理システム１０は、ユーザに運行と関する情報を提供する。ユーザは、移動手段を運転する運転者であり得る。例えば、イメージ処理システム１０は、運転者に計器盤情報、ナビゲーション情報、車線情報、又は、前方危険状況情報などを提供する。計器盤情報は、移動手段の速度、注油の残量、又はエンジンＲＰＭなどを含む。前方危険状況情報は、工事に関する情報、交通事故の表示、又は、オブジェクト（例えば、動物、ヒト、自転車又は車両など）に対する警告表示などを含む。
【００４０】
イメージ処理システム１０は、運行に関する情報を拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：ＡＲ）形態に出力する。イメージ処理システム１０は、ウィンドシールド（ｗｉｎｄｓｈｉｅｌｄ）を介して運転者の前方にイメージを出力する。例えば、イメージ処理システム１０は、光学的像（ｏｐｔｉｃａｌ  ｉｍａｇｅ）又は虚像（ｖｉｒｔｕａｌ  ｉｍａｇｅ）を出力する。
【００４１】
イメージ処理システム１０は、光学的像又は虚像の位置と深度を調整して出力する。すなわち、イメージ処理システム１０は、イメージが表現される距離と深度を調整する。イメージ処理システム１０が距離及び深度を調整する動作については、図７Ａ〜図９を参考して後述する。運転者は、ウィンドシールドを介して反射した光学的像又は虚像を参考し運転する。
【００４２】
イメージ処理システム１０は、移動手段に具現され得る。例えば、イメージ処理システム１０は、車両、バイク（ｍｏｔｏｒｃｙｃｌｅ又はａｕｔｏ  ｂｉｃｙｃｌｅ）、スマートモビリティ、船舶（ボート又は船など）、飛行機などに具現される。以下、説明の便宜のためにイメージ処理システム１０が車両に具現されるものとして説明するが、必ずこれに限定されることはない。
【００４３】
カメラ１００は、運転者の視点情報を追跡する。視点情報は、運転者の目の位置及び／又は視点を含む。例えば、カメラ１００は、運転者の左側の目及び右側の目の位置に関する情報を取得する。また、カメラ１００は、運転者がどの方向を凝視しているかに関する情報などを取得する。カメラ１００は、左側の目及び右側の目にそれぞれ対応する光線情報を取得する。
【００４４】
カメラ１００は、運転者の前方に具現され得る。カメラ１００は、ウィンドシールドの上端部又は下端部に具現され、運転者の前方で目の位置及び／又は視点を追跡する。また、カメラ１００は、イメージ処理装置３００に具現され得る。
【００４５】
例えば、カメラ１００がウィンドシールドの上端部に具現される場合、カメラ１００は、バックミラー（ｒｅａｒ  ｖｉｅｗ  ｍｉｒｒｏｒ）に具現され得る。カメラ１００がウィンドシールドの下端部に具現される場合、カメラ１００は、ダッシュボード（ｄａｓｈｂｏａｒｄ）に具現され得る。
【００４６】
カメラ１００は、運転者に向かって設けられたり、又はウィンドシールドに向かって設けられたりしてもよい。カメラ１００がウィンドシールドに向かって設けられる場合、カメラ１００は、ウィンドシールドから反射した運転者を介して目の位置及び／又は視点を追跡する。
【００４７】
カメラ１００が運転者の目の位置及び／又は視点を追跡する動作は、リアルタイムに行われる。例えば、運転者が運転席の位置で前方を凝視してから助手席の位置で体を斜めにして前方を凝視する場合、カメラ１００は、運転者の目の位置が運転席の位置から助手席の位置に移動したという情報を取得する。また、運転者が前方を凝視してから右折をするために右側を凝視する場合、カメラ１００は、運転者の視点が前方から右側に移動したという情報を取得する。
【００４８】
カメラ１００は、イメージカメラ及び／又は赤外線カメラのように具現され得る。例えば、光（光量）が十分な場合（又は、昼間）はイメージカメラが運転者の視点を追跡し、光（光量）が足りない場合（又は、夜間）は赤外線カメラが運転者の視点を追跡する。
【００４９】
カメラ１００は、時間を測定する時計を含む。例えば、予め設定した時間までは光（光量）が十分な場合（又は、昼間）としてイメージカメラが動作し、予め設定した時間が経過すれば、光（光量）が足りない場合（又は、夜間）として赤外線カメラが動作する。
【００５０】
また、カメラ１００は、光量を検出（測定）する光センサを含む。光センサが測定した光量が基準値以上であればイメージカメラが動作し、光センサが測定した光量が基準値未満であれば赤外線カメラが動作する。光センサは、必ずカメラ１００に含まれるものとして限定されることなく、センサ２００として具現されてもよい。
【００５１】
カメラ１００は、追跡された目の位置及び／又は視点に関する情報をイメージ処理装置３００に出力する。
【００５２】
センサ２００は、車両の前方に関する情報を取得する。例えば、センサ２００は、車両周辺及び／又は車両の前方に存在するオブジェクトに関する情報、オブジェクトに関する情報などを取得する。センサ２００は、レーダー（ｒａｄａｒ）、ライダー（ＬＩＤＡＲ）、超音波センサ、赤外線センサ、熱センサ、光センサ、又はＧＰＳモジュールなどに具現される。
【００５３】
車両周辺に関する情報は、道路情報、車線情報、ハンプ（ｈｕｍｐ）情報、信号機情報、又は、スピードカメラ情報などを含む。
【００５４】
オブジェクトに関する情報は、オブジェクトの形状情報、位置情報、又は、深度情報などを含む。
【００５５】
センサ２００は、車両の前方に関する情報をイメージ処理装置３００に出力する。
【００５６】
イメージ処理装置３００は、カメラ１００から追跡された運転者の目の位置及び／又は視点に関する情報を取得し、センサ２００から車両の前方に関する情報を取得する。
【００５７】
イメージ処理装置３００は、追跡された運転者の目の位置及び／又は視点に関する情報に基づいてイメージを生成する。イメージ処理装置３００は、追跡された運転者の目の位置及び／又は視点に関する情報に基づいて運転者の目の位置を決定し、目の位置に対応する画素にイメージを割り当てる。すなわち、イメージ処理装置３００はディスプレイを含み得る。
【００５８】
画素は複数のサブピクセルを含む。イメージ処理装置３００は、出力しようとするイメージに対応するサブピクセル値をサブピクセルに割り当てることで、イメージを出力する。
【００５９】
例えば、イメージ処理装置３００は、運転者の左側の目の位置に対応する複数のサブピクセルに運転者の左側の目から入力されるイメージを割り当て、運転者の右側の目の位置に対応する複数のサブピクセルに運転者の右側の目から入力されるイメージを割り当てる。
【００６０】
イメージ処理装置３００は、センサ２００から車両の前方に関する情報を取得する。イメージ処理装置３００は、車両の前方に関する情報に基づいて生成されたイメージをレンダリングする。イメージ処理装置３００は、レンダリングされたイメージを運転者に出力する。
【００６１】
イメージ処理装置３００は、車両のダッシュボードの下端部に具現され、ウィンドシールドに複数の光線を出力する。運転者は、ウィンドシールドを介して反射した複数の光線を視聴する。イメージ処理装置３００は、ヘッドアップディスプレイ（ＨＵＤ）装置を意味する。
【００６２】
イメージ処理装置３００は、裸眼方式３Ｄディスプレイ（Ｇｌａｓｓｅｓ−ｆｒｅｅ（Ｇｌａｓｓｌｅｓｓ）３Ｄ  ｄｉｓｐｌａｙｓ、又はＡｕｔｏ−ｓｔｅｒｅｏｓｃｏｐｉｃ  ３Ｄ  ｓｃｒｅｅｎｓ）を含む。例えば、イメージ処理装置３００は、レンダリングされたイメージに関する複数の光線を均一に出力（出光）する。すなわち、イメージ処理装置３００は、レンダリングされたイメージをＡＲの形に出力する。ここで、運転者は、３Ｄメガネ（３Ｄ  ｇｌａｓｓｅｓ）、立体メガネ（Ｓｔｅｒｅｏｓｃｏｐｉｃ  ｇｌａｓｓｅｓ）、又は、スマートメガネ（Ｓｍａｒｔ  ｇｌａｓｓｅｓ）を着用しなくても３Ｄイメージを視聴できる。運転者は、運行に関する情報が整合された３Ｄイメージを参照することで、より安全に運転することができる。
【００６３】
図２は、図１に示すイメージ処理装置のブロック図の一例を示し、図３は、図２に示すディスプレイのブロック図の一例を示し、図４は、図３に示す光学素子の動作を説明するための図である。
【００６４】
図２〜図４を参照すれば、イメージ処理装置３００は、コントローラ３１０、ディスプレイ３２０、及び拡大光学系３３０を含む。
【００６５】
コントローラ３１０は、カメラ１００から追跡された運転者の目の位置及び／又は視点に関する情報を取得し、センサ２００から車両の前方に関する情報を取得する。
【００６６】
コントローラ３１０は、カメラ１００から取得した運転者の目の位置及び／又は視点に関する情報に基づいて３Ｄイメージレンダリング動作を行う。３Ｄイメージレンダリング動作は、運転者が３Ｄイメージを視聴するようイメージにレンダリング動作を行うことを意味する。コントローラ３１０は、運転者の右側の目及び左側の目に対してライトフィールド（ｌｉｇｈｔ  ｆｉｅｌｄ）のレンダリング動作を行う。
【００６７】
コントローラ３１０は、運転者の目の位置及び／又は視点に関する情報に基づいて出力するイメージに対応する画素値をディスプレイ３２０の複数の画素に割り当てる。画素は、複数のサブピクセルを含む。例えば、コントローラ３１０は、出力するイメージに対応するサブピクセル値を複数のサブピクセルに割り当ててもよい。
【００６８】
具体的に、コントローラ３１０は、第１画素（第１サブピクセル）には第１視点に対応する画素値（サブピクセル値）を割り当て、第２画素（第２サブピクセル）には第２視点に対応する画素値（サブピクセル値）を割り当てる。ここで、画素値の割当の対象となる第１視点及び第２視点は候補視点と称する。候補視点は、単一ユーザのための左側視点及び右側視点を含んでもよいし、あるいは、マルチビューのための予め決定した数の視点を含んでもよい。例えば、第１視点は、運転者の右側の目に対する視点であり、第２視点は運転者の左側の目に対する視点である。
【００６９】
コントローラ３１０は、リアルタイムに３Ｄイメージレンダリング動作を行う。例えば、運転者の位置が変わったり、又は運転者の視点が変わったりした場合、コントローラ３１０は、カメラ１００から変化した運転者の目の位置及び／又は視点に関する情報を取得し、変化した情報に基づいてリアルタイムに３Ｄイメージレンダリング動作を行う。ここで、運転者は、実際に似た環境のリアリティのあるイメージを視聴することにより、運転者に視聴の疲れは減少される。また、コントローラ３１０がリアルタイムに３Ｄイメージレンダリング動作を行うことで、大きい画面、高い深度、及び連続的な視差（ｃｏｎｔｉｎｕｏｕｓ  ｐａｒａｌｌａｘ）表現に有利である。
【００７０】
コントローラ３１０は、追跡された運転者の目の位置及び／又は視点に光学的変換又は光学的逆変換を行う。巧な３Ｄイメージを具現するためには、イメージ処理装置３００が出力する複数の光線が正確かつ均一に運転者の右側の目及び左側の目に入射されなければならないため、コントローラ３１０は、光学的変換又は光学的逆変換によって３Ｄイメージレンダリング動作を行う。コントローラ３１０の光学的変換又は光学的逆変換動作については、図５を参照して後述するようにする。
【００７１】
また、コントローラ３１０は、センサ２００から取得した車両の前方に関する情報に基づいてＡＲオブジェクトレンダリング動作を行う。ＡＲオブジェクトレンダリング動作は、出力するイメージに含まれたオブジェクトを対象にし、実際のような環境を具現するためのレンダリング動作を意味する。
【００７２】
例えば、コントローラ３１０は、車両の周辺に関する情報、車両の前方に存在するオブジェクトに関する情報などに基づいて出力するイメージのＡＲオブジェクトを生成し、ＡＲオブジェクトにレンダリング動作を行う。ＡＲオブジェクトは、ＡＲコンテンツを意味する。
【００７３】
コントローラ３１０は、出力するイメージに深度情報を適用する。例えば、コントローラ３１０は、出力するイメージに含まれたＡＲオブジェクトの表現深度をそれぞれ調整し得る。コントローラ３１０は、０〜１００ｍでＡＲオブジェクトの表現深度を調整する。
【００７４】
コントローラ３１０は、ナビゲーション、地図情報、又はＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｙｓｔｅｍ）などを用いてＡＲオブジェクトレンダリング動作を行う。例えば、コントローラ３１０は、ナビゲーション、地図情報、又はＧＩＳなどを用いて地図上で運転者の正確な位置、運行情報などを出力し得る。
【００７５】
コントローラ３１０は、運転者の目の位置及び／又は視点に関する情報に基づいてＡＲオブジェクトレンダリング動作を行う。例えば、運転者の位置が変わったり又は運転者の視点が変わったりした場合、コントローラ３１０は、適応的にこれに対応するイメージを出力するよう、ディスプレイ３２０が出力している複数の光線を制御する。ここで、実際のオブジェクトとイメージのＡＲオブジェクトの表現深度の差による異質感が解消され、運転者は、実際に似た環境のリアリティのあるイメージを視聴することで視聴の疲れを減少されることができる。
【００７６】
ディスプレイ３２０は、ライトフィールド方式を用いる３Ｄディスプレイで具現される。例えば、ディスプレイ３２０は、ライトフィールドディスプレイであってもよい。
【００７７】
ディスプレイ３２０は、光源３２１、パネル３２３、及び光学素子３２５を含む。ディスプレイ３２０は複数の光線３２７を出力する。
【００７８】
光源３２１は、ディスプレイの最後の面に位置するバックライトユニットで具現されたり、又は、光学レイヤの一例である方向性バックライトユニット（ｄｉｒｅｃｔｉｏｎａｌ  ｂａｃｋ  ｌｉｇｈｔ  ｕｎｉｔ）で具現されたりしてもよい。方向性バックライトユニットは、パネル３２３に制限された方向の複数の光線を提供する。
【００７９】
光源３２１は、白色ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ）、赤緑青（ＲＧＢ）色ＬＥＤ、又は、赤緑青色レーザー（ｌａｓｅｒ）を含む。光源３２１は、イメージを生成するための複数の光線を出力（出光）する。
【００８０】
光源３２１で出力された複数の光線は、パネル３２３及び光学素子３２５のうち少なくとも１つを通過する。
【００８１】
パネル３２３は、複数の画素を含むＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）パネルに具現される。パネル３２３は、コントローラ３１０によって割り当てられた画素値（サブピクセル値）に基づいてイメージを出力する。すなわち、光源３２１から出力された複数の光線がパネル３２３の複数の画素（複数のサブピクセル）を通過することで、複数の画素（複数のサブピクセル）それぞれの画素値（サブピクセル値）に対応するイメージを運転者が見ることができる。
【００８２】
例えば、パネル３２３において、第１視点による画素値が割り当てられた画素には第１視点方向の光線が提供され、第２視点による画素値が割り当てられた画素には第２視点方向の光線が提供される。ここで、運転者は、第１視点を介して第１視点に対応するイメージを視聴し、第２視点を介して第２視点に対応するイメージを視聴する。第１視点が右側の目に対応し、第２視点は左側の目に対応する。運転者は、右側の目及び左側の目を介して互いに異なるイメージを視聴することで立体感を感じることができる。すなわち、運転者は、３Ｄイメージを視聴して運行に関する情報を取得し得る。
【００８３】
光学素子３２５は、レンチキュラレンズ又はパララックスバリアで具現され得る。具体的に、パララックスバリアは、一定の間隔のスリット（ｓｌｉｔ）又は開口部を介して複数の光線３２７を制限された方向に出力する。レンチキュラレンズは、レンズの屈曲に応じて複数の光線３２７を制限された方向に出力する。光学素子３２５は、複数の光線３２７を運転者の目の位置に均一に出力できる。
【００８４】
光学素子３２５が複数の光線３２７を制限された方向に出力する動作は図４に示す通りである。図４を参照すれば、コントローラ３１０は、パネル３２３の第１画素３２３−１には第１視点に対応する画素値を割り当て、第２画素３２３−２には第２視点に対応する画素値を割り当てる。パネル３２３を通過した複数の光線は、光学素子３２５を通過しながら制限された方向に進行する。ここで、運転者の左側の目３４１及び右側の目３４３には互いに異なる複数の光線３２７が入射される。左側の目３４１及び右側の目３４３に入射する互いに異なる複数の光線３２７は、視差が存在する２つのイメージを形成する。運転者は、視差が存在する２つのイメージに基づいて３Ｄイメージを視聴することができる。
【００８５】
拡大光学系３３０は、複数の光線３２７を拡大することによりウィンドシールドの前面に３Ｄイメージを形成する。例えば、拡大光学系３３０は、運転者に出力される３Ｄイメージの倍率を調整する。すなわち、拡大光学系３３０は３Ｄイメージを拡大したり縮小したりすることが可能である。
【００８６】
拡大光学系３３０は、反射屈折光学系を意味する。拡大光学系３３０は、反射光学系に該当する鏡、又は屈折光学系に該当するレンズを含む。例えば、反射光学系に該当する鏡は凹面鏡（ｃｏｎｃａｖｅ  ｍｉｒｒｏｒ）、非球面鏡（ａｓｐｈｅｒｉｃａｌ  ｍｉｒｒｏｒ）、又は平面鏡（ｐｌａｎｅ  ｍｉｒｒｏｒ）であり得る。屈折光学系に該当するレンズは、凹レンズ又は凸レンズであってもよい。
【００８７】
拡大光学系３３０は、折り畳みミラー（ｆｏｌｄｉｎｇ  ｍｉｒｒｏｒ）を含む。折り畳みミラーは、拡大光学系３００の光経路を短縮させ得る。ここで、拡大光学系３３０が占めている空間は減少し、これにより拡大光学系３３０は小型化される。
【００８８】
図５は、図２に示すコントローラの動作を説明するための図である。
【００８９】
図２及び図５を参照すれば、コントローラ３１０は、ディスプレイ３２０の複数の画素に画素値を割り当てる。コントローラ３１０は、複数の画素それぞれを通過する光線の経路を把握する。例えば、第１画素を通過する光線が第１視点に提供される場合、コントローラ３１０は、第１視点に対応する画素値を第１画素に割り当てる。
【００９０】
コントローラ３１０は、複数の光線に対する拡大光学系３３０の影響を考慮して画素値を割り当てる。ディスプレイ３２０から出力された複数の光線の経路は、拡大光学系３３０によって変更されるためである。例えば、拡大光学系３３０は、イメージを拡大又は縮小する方向に複数の光線の経路を変更させ得る。
【００９１】
ここで、コントローラ３１０が複数の画素それぞれを通過する光線の経路を把握する動作は精密な演算が求められる。
【００９２】
コントローラ３１０は、追跡された運転者の目の位置及び／又は視点に光学的変換又は光学的な逆変換を行ってもよい。コントローラ３１０は、焦点ｆ及び屈曲などを含む鏡３３０−１の光学的特性に基づいて光学的変換又は光学的逆変換を行う。図５では、説明の便宜のために１つの鏡が図示されているが、必ずこれに限定されることなく、１つの鏡の代わりに、該当の鏡と類似の光学的な効果を発生する様々な光学系を用いてもよい。
【００９３】
コントローラ３１０は、運転者の目の実際の位置ｘ１、ｚ１と拡大光学系３３０を構成する鏡３３０−１反対面の虚像Ｄ１を決定し、実際の位置ｘ１、ｚ１と虚像Ｄ１に光学的変換又は光学的逆変換を行う。ここで、コントローラ３１０は、逆変換された運転者の目の位置ｘ２、ｚ２と鏡３３０−１の内側面の虚像対応映像Ｄ２を取得する。
【００９４】
コントローラ３１０は、運転者がｘ２、ｚ２の位置で虚像対応映像Ｄ２を視聴するものとして、変換又は逆変換することで演算の精密性を向上させることができる。
【００９５】
コントローラ３１０は、逆変換された運転者の目の位置ｘ２、ｚ２と虚像対応映像Ｄ２の間の位置関係を用いて複数の画素に画素値を割り当てることができる。例えば、コントローラ３１０は、運転者の右側の目及び左側の目の視点に対する光学的像を決定し、それぞれの光学的像とディスプレイ３２０の間の位置関係を用いて複数の画素に画素値を割り当てる。コントローラ３１０は、光学的変換又は光学的逆変換に基づいて運転者の視点に対応する光学的像を決定できる。
【００９６】
コントローラ３１０は、第１視点に対する光学的像とディスプレイ３２０の間の位置関係を用いて第１画素に画素値を割り当て、同様に、コントローラ３１０は、第２視点に対する光学的像とディスプレイ３２０の間の位置関係を用いて第２画素に画素値を割り当てる。そのため、比較的に少ない演算量で複数の光線に対する拡大光学系３３０の影響が反映されることができる。
【００９７】
図６は、図２に示すディスプレイのブロック図の他の例を示す。
【００９８】
図６を参照すれば、ディスプレイ３２０は、プロジェクターエンジン４００、散乱フィルム５００、及び光学素子６００を含む。ディスプレイ３２０は複数の光線７００を出力する。
【００９９】
図６に示す光学素子６００、複数の光線７００は、図３に示す光学素子３２５、複数の光線３２５と構成及び動作が実質的に同一である。
【０１００】
プロジェクターエンジン４００は、空間光変調器（Ｓｐａｔｉａｌ  Ｌｉｇｈｔ  Ｍｏｄｕｌａｔｏｒ：ＳＬＭ）４１０を含む。プロジェクターエンジン４００は、出力するイメージに対応する複数の光線を出力（出光）する。プロジェクターエンジン４００を通過した複数の光線は、散乱フィルム５００及び光学素子６００のうち少なくとも１つを通過する。
【０１０１】
ここで、散乱フィルム５００は、プロジェクターエンジン４００が出力するイメージの結像面の位置に配置される。すなわち、プロジェクターエンジン４００は散乱フィルム５００にイメージを出力する。
【０１０２】
光学素子６００は、レンチキュラレンズ又はパララックスバリアで具現される。光源素子６００は、複数の光線７００を運転者の目の位置で均一に出力する。
【０１０３】
図７Ａは、図２に示すディスプレイのモアレ現象を説明するための図面の一例であり、図７Ｂは、図２に示すディスプレイのモアレ現象を説明するための図面の異なる例であり、図８は、運転者の視聴の疲れを測定したグラフの一例であり、図９は、イメージ処理装置が図８に示す視聴の疲れを考慮して動作する一例を示す。
【０１０４】
図１〜図９を参照すれば、ディスプレイ３２０が出力した複数の光線３２７又は７００は、拡大光学系３３０に入射される。拡大光学系３３０は、複数の光線３２７又は７００を拡大することで、ウィンドシールドの前面に３Ｄイメージを形成する。拡大光学系３３０が３Ｄイメージを形成する場合、拡大光学系３３０は、光学系の倍率を調整し、或いは拡大光学系３３０を構成している鏡の間の間隔を調整し、３Ｄイメージの虚像距離を調整する。
【０１０５】
拡大光学系３３０は、モアレ（Ｍｏｉｒｅ）現象を考慮して３Ｄイメージの虚像距離を調整する。モアレ現象は、周期的なパターンを有する層間の干渉によって発生する可能性がある。ディスプレイ３２０に含まれた構成の周期的なパターンの間の干渉によりモアレ現象が発生する可能性がある。例えば、パネル３２３の周期的なピクセルパターンと光学素子３２５の周期的なパターンによってモアレ現象が発生する可能性がある。
【０１０６】
拡大光学系３３０が光学系の倍率を大きく調整して３Ｄイメージを出力する場合は、図７Ａに示す通りである。
【０１０７】
パネル３２３の周期的なピクセルパターンによる線パターン７１０と光学素子３２５の周期的なパターンによる線パターン７２０によってモアレパターン７３０が生成される。
【０１０８】
パネル３２３の周期的なピクセルパターンによる線パターン７１０を周波数領域に変換すれば、周波数７１１のように表現される。光学素子３２５の周期的なパターンによる線パターン７２０を周波数領域に変換すれば、周波数７２１のように表現される。
【０１０９】
ここで、周波数７１１と周波数７２１の間の干渉（又は、畳み込み）によって発生した周波数７３１は、モアレパターン７３０に対応する。
【０１１０】
また、拡大光学系３３０が光学系の倍率を小さく調整して３Ｄイメージを出力する場合は、図７Ｂに示す通りである。
【０１１１】
パネル３２３の周期的なピクセルパターンによる線パターン７４０と光学素子３２５の周期的なパターンによる線パターン７５０によってモアレパターン７６０が生成される。
【０１１２】
パネル３２３の周期的なピクセルパターンによる線パターン７４０を周波数領域に変換すれば、周波数７４１のように表現される。光学素子３２５の周期的なパターンによる線パターン７５０を周波数領域に変換すれば、周波数７５１のように表現される。
【０１１３】
ここで、周波数７４１と周波数７５１の間の干渉（又は、畳み込み）によって発生した周波数７６１は、モアレパターン７６０に対応する。
【０１１４】
拡大光学系３３０は、モアレ現象の最小化のために３Ｄイメージの虚像距離を調整する。すなわち、拡大光学系３３０は、モアレパターン７３０又は７６０を最小化するために３Ｄイメージの虚像距離を調整し得る。
【０１１５】
認知周波数領域７３３又は７６３に含まれる周波数の個数が少ないほど、モアレパターン７３０又は７６０はよく見えない。ここで、拡大光学系３３０は、認知周波数領域７３３又は７６３に含まれる周波数の個数が減少するように光学系の倍率を小さく調整し、又は拡大光学系３３０を構成している鏡の間の間隔を調整して３Ｄイメージの虚像距離を短く調整し得る。
【０１１６】
イメージ処理装置３００が出力した３Ｄイメージの虚像距離及び表現深度による運転者の視聴の疲れは、図８に示す通りである。ここで、ｘ軸は３Ｄイメージの表現深度を示し、ｙ軸は運転者の視聴の疲れを示し、それぞれ異なるパターンの線は３Ｄイメージの虚像距離を示す。図８では、それぞれの虚像距離で３Ｄイメージの表現深度を３〜７０ｍ以下に変化させながら、運転者の視聴の疲れを１点〜５点に測定した。それぞれの虚像距離は、２〜７ｍ以下、１ｍ単位に変化しながら運転者の視聴の疲れを測定した。運転者の視聴の疲れは相対的な値を意味する。
【０１１７】
イメージ処理装置３００が出力する３Ｄイメージの虚像距離が２〜３ｍであり、近距離（表現深度が深くない）を表現した場合、運転者の疲れ程度が増加しないことが確認された。イメージ処理装置３００が出力する３Ｄイメージの虚像距離が４〜７ｍであり、近距離（表現深度が深くない）を表現した場合、運転者の疲れ程度が増加する可能性があることを確認した。すなわち、イメージ処理装置３００が３Ｄイメージを虚像距離よりも近距離（表現深度が深くない）に表現する場合、運転者の疲れ程度が増加する。
【０１１８】
イメージ処理装置３００が出力する３Ｄイメージの虚像距離が２〜３ｍであり、遠距離（表現深度が深い）を表現した場合、運転者の疲れ程度が大きく変化しないことが確認された。イメージ処理装置３００が出力する３Ｄイメージの虚像距離が４〜７ｍであり、遠距離（表現深度が深い）を表現した場合、また、運転者の疲れ程度が大きく変化しないことが確認された。すなわち、イメージ処理装置３００が３Ｄイメージを遠距離（表現深度が深い）に表現する場合、３Ｄイメージの虚像距離は大きく影響を及ぼさない。
【０１１９】
ここで、イメージ処理装置３００は、運転者の疲れ程度を増加させないように３Ｄイメージを出力する。例えば、イメージ処理装置３００は、３Ｄイメージの表現深度を虚像距離よりも深く出力する。
【０１２０】
３Ｄイメージの虚像距離を２〜３ｍに配置する場合、イメージ処理装置３００は表現深度を近距離又は遠距離に表現する。すなわち、イメージ処理装置３００は、３Ｄイメージの表現深度を２〜１００ｍに調整して近距離又は遠距離を表現する。イメージ処理装置３００が３Ｄイメージを２〜３ｍの虚像距離に配置する場合、３Ｄイメージは、車両のボンネット（ｂｏｎｎｅｔ）の前方に形成されてもよい。
【０１２１】
３Ｄイメージの虚像距離を４〜７ｍに配置する場合、イメージ処理装置３００は表現深度を遠距離に表現する。ここで、イメージ処理装置３００は、虚像距離よりも深く３Ｄイメージの表現深度を調整し得る。
【０１２２】
イメージ処理装置３００が運転者に虚像距離及び／又は表現深度を調整して３Ｄイメージを出力する動作については図９に示す通りである。
【０１２３】
図１０は、図１に示すイメージ処理システムが車両によって具現された一例を示す。
【０１２４】
図１０を参照すれば、イメージ処理システム１０は、車両８００に具現され得る。
【０１２５】
イメージ処理装置３００は、カメラ１００から追跡された運転者９００の目の位置及び／又は視点に関する情報を取得し、センサ２００から車両８００の前方に関する情報を取得する。イメージ処理装置３００は、カメラ１００及び／又はセンサ２００からリアルタイムに情報を取得する。ここで、運転者９００の位置が変わったり、運転者９００の視点が変わったりした場合にも、運転者９００は実際に似た環境のリアリティのあるイメージを視聴することができる。
【０１２６】
イメージ処理装置３００は、運転者９００の目の位置に関する情報、視点に関する情報、及び車両８００の前方に関する情報のうち少なくとも１つに基づいてイメージを生成する。例えば、イメージ処理装置３００は、ウィンドシールド８１０を介して運転者９００の前方に光学的像又は虚像を出力する。
【０１２７】
イメージ処理装置３００は、３Ｄイメージ１０００を出力する。例えば、イメージ処理装置３００は、ライトフィールドレンダリング動作を行って３Ｄイメージ１０００を出力し得る。イメージ処理装置３００は、３Ｄイメージの虚像距離及び表現深度のうち少なくとも１つを調整することで、運転者９００の視聴の疲れを最小化できる。
【０１２８】
上述したように、イメージ処理システム１０は、車両８００に具現されるものとして必ず限定されることなく、バイク、スマートモビリティ、船舶（ボート又は船）又は飛行機などで具現され得る。
【０１２９】
図１１は、一実施形態に係るイメージ処理方法がフローチャートを示す。
【０１３０】
図１及び図１１を参照すれば、イメージ処理装置３００は、ユーザの視点情報に基づいてイメージを生成する（Ｓ１１１０）。イメージ処理装置３００は、カメラ１００からユーザの視点情報を取得する。ユーザは、移動手段を運転する運転者であり得る。視点情報は、運転者の目の位置及び／又は視点を含む。
【０１３１】
イメージ処理装置３００は、リアルタイムに運転者の視点情報を取得する。ここで、運転者の位置が変わったり、運転者の視点が変わったりした場合にも、運転者は実際に似た環境のリアリティのあるイメージを視聴できる。
【０１３２】
イメージ処理装置３００は、車両の前方に関する情報に基づいてイメージをレンダリングする（Ｓ１１２０）。イメージ処理装置３００は、センサ２００から車両の前方に関する情報を取得する。前方に関する情報は、車両前方の周辺に関する情報、車両前方のオブジェクトに関する情報などを含む。周辺に関する情報は、道路情報、車線情報、ハンプ（ｈｕｍｐ）情報、信号機情報、又は、スピードカメラ情報などを含む。オブジェクトに関する情報は、オブジェクトの形状情報、位置情報、又は深度情報などを含む。
【０１３３】
イメージ処理装置３００は、前方に関する情報に基づいて出力するイメージのＡＲオブジェクトを生成する。ＡＲオブジェクトは、ＡＲコンテンツを意味する。イメージ処理装置３００は、出力するイメージに含まれたＡＲオブジェクトの表現深度をそれぞれ調整する。イメージ処理装置３００は、ナビゲーション、地図情報、又はＧＩＳなどを用いてＡＲオブジェクトをレンダリングする。
【０１３４】
イメージ処理装置３００は、光学素子を用いてイメージを出力する（Ｓ１１３０）。光学素子は、レンチキュラレンズ又はパララックスバリアで具現される。すなわち、イメージ処理装置３００は、制限された方向を有する複数の光線を運転者に均一に出力できる。ここで、運転者は３Ｄイメージを視聴できる。
【０１３５】
実施形態に係る方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【０１３６】
上述したように実施形態をたとえ限定された図面によって説明したが、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。
【０１３７】
したがって、他の具現、他の実施形態及び特許請求の範囲と均等なものなども後述する請求の範囲に属する。
【符号の説明】
【０１３８】
１００：カメラ
２００：センサ
３００：イメージ処理装置
３１０：コントローラ
３２０：ディスプレイ
３２１：光源
３２３：パネル
３２３−１、３２３−２：画素
３２５：光学素子
３２７：複数の光線
３３０：拡大光学系
３３０−１：鏡
３４１：左側の目
３４３：右側の目
４００：プロジェクターエンジン
５００：散乱フィルム
６００：光ヒウッ学素子
７００：複数の光線
７１０：パネルの周期的なピクセルパターンによる線パターン
７１１：周波数
７２０：光学素子の周期的なパターンによる線パターン
７２１：周波数
７３０：モアレパターン
７３１：周波数
７３３：認知周波数領域
７４０：パネルの周期的なピクセルパターンによる線パターン
７４１：周波数
７５０：光学素子の周期的なパターンによる線パターン
７５１：周波数
７６０：モアレパターン
７６１：周波数
７６３：認知周波数領域
【図１】
2019030004.tif 000003
【図２】
2019030004.tif 000004
【図３】
2019030004.tif 000005
【図４】
2019030004.tif 000006
【図５】
2019030004.tif 000007
【図６】
2019030004.tif 000008
【図７Ａ】
2019030004.tif 000009
【図７Ｂ】
2019030004.tif 000010
【図８】
2019030004.tif 000011
【図９】
2019030004.tif 000012
【図１０】
2019030004.tif 000013
【図１１】
2019030004.tif 000014