(57)【要約】【課題】高階調で高速に映像を表示できる映像表示装置を提供する。【解決手段】映像表示装置（１）は、入力部（２１）と、映像生成部（２３）と、表示部（１３）とを備える。入力部は、第１のフレームレートにおける入力映像の階調値を規定するビット列を含んだ映像情報を入力する。映像生成部は、入力された映像情報に基づいて、１フレームの入力映像に対して複数のフレームを含んだ１組の出力映像を生成する。表示部は、第１のフレームレートよりも高い第２のフレームレートにおいて、生成された出力映像をフレーム毎に表示する。入力映像のビット列は、上位から順番に並ぶ上位ビット、中位ビット及び下位ビットを含む。上位ビットは、出力映像の１フレーム当たりの階調数に対応する。映像生成部は、入力映像の中位ビットに応じて１組の出力映像における複数のフレーム間で階調値を変動させながら、当該入力映像の下位ビットに応じて空間ディザを施すように、出力映像を補正する。【選択図】図２
2020012912.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームレートにおける入力映像の階調値を規定するビット列を含んだ映像情報を入力する入力部と、
入力された映像情報に基づいて、１フレームの入力映像に対して複数のフレームを含んだ１組の出力映像を生成する映像生成部と、
前記第１のフレームレートよりも高い第２のフレームレートにおいて、生成された出力映像をフレーム毎に表示する表示部とを備え、
前記入力映像のビット列は、上位から順番に並ぶ上位ビット、中位ビット及び下位ビットを含み、
前記上位ビットは、前記出力映像の１フレーム当たりの階調数に対応し、
前記映像生成部は、前記入力映像の中位ビットに応じて前記１組の出力映像における複数のフレーム間で階調値を変動させながら、当該入力映像の下位ビットに応じて空間ディザを施すように、前記出力映像を補正する
映像表示装置。
【請求項２】
前記映像生成部は、前記中位ビットに対応する範囲内で変動する変動値と、前記入力映像の前記上位ビットから前記中位ビットまでで規定される階調値とに基づいて、前記１組の出力映像における各フレームの階調値を示す変動階調値を算出する
請求項１に記載の映像表示装置。
【請求項３】
前記映像生成部は、前記入力映像において前記下位ビットが所定値である領域に関して空間ディザを施すように、前記変動階調値を補正する
請求項２に記載の映像表示装置。
【請求項４】
前記１組の出力映像における各フレームは、互いに異なる変動値を有し、
前記映像生成部は、前記１組の出力映像のうちの所定の変動値を有するフレームに空間ディザを施すように、当該フレームの変動階調値を補正する
請求項３に記載の映像表示装置。
【請求項５】
前記映像生成部は、前記入力映像のフレーム毎に、対応する１組の出力映像において前記所定の変動値を有するフレームの順番を変化させる
請求項４に記載の映像表示装置。
【請求項６】
前記映像生成部は、所定の空間分布を示すディザパターンに基づいて、前記下位ビットに応じた空間ディザを施すように、前記出力映像を補正する
請求項１〜５のいずれか１項に記載の映像表示装置。
【請求項７】
前記ディザパターンを記憶する記憶部をさらに備え、
前記映像生成部は、前記記憶部におけるディザパターンを参照して、前記下位ビットに応じた空間ディザを施すように、前記出力映像を補正する
請求項６に記載の映像表示装置。
【請求項８】
前記ディザパターンが複数、設定され、
前記映像生成部は、前記入力映像のフレーム毎に順次、複数のディザパターンの中で使用するディザパターンを切り替える
請求項６又は７に記載の映像表示装置。
【請求項９】
対象物までの距離を示す距離情報を生成する距離情報生成部をさらに備え、
前記表示部は、前記出力映像を前記対象物に投影する投影装置であり、
前記映像生成部は、取得される距離情報に応じて、各フレームの出力映像を生成する
請求項１〜８のいずれか１項に記載の映像表示装置。
【請求項１０】
入力部が、第１のフレームレートにおける入力映像の階調値を規定するビット列を含んだ映像情報を入力するステップと、
映像生成部が、入力された映像情報に基づいて、１フレームの入力映像に対して複数のフレームを含んだ１組の出力映像を生成するステップと、
表示部が、前記第１のフレームレートよりも高い第２のフレームレートにおいて、生成された出力映像をフレーム毎に表示するステップとを含み、
前記入力映像のビット列は、上位から順番に並ぶ上位ビット、中位ビット及び下位ビットを含み、
前記上位ビットは、前記出力映像の１フレーム当たりの階調数に対応し、
前記映像生成部は、前記入力映像の中位ビットに応じて前記１組の出力映像における複数のフレーム間で階調値を変動させながら、当該入力映像の下位ビットに応じて空間ディザを施すように、前記出力映像を補正する
映像表示方法。
【請求項１１】
請求項１０に記載の映像表示方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、動画等の映像を表示する映像表示装置、および映像表示方法に関する。
【背景技術】
【０００２】
近年、移動する物体に対するプロジェクション・マッピングの分野の技術開発が行われている。移動する物体に動画等の映像を投影すると、映像を観る視認者の視線が動くことから、映像の表示が間欠的と感じられる違和感を生じ易いことが知られている。このような違和感を回避するべく、本技術分野では、ＤＭＤ（デジタル・マイクロミラー・デバイス）等の高速投影素子を用いて表示パターンを高速で制御する技術が開発されている（例えば特許文献１）。
【０００３】
特許文献１は、動画の再生を高速かつ高階調で行うための高速表示装置を開示している。例えば、ＤＭＤのミラーを時分割でＯＮ／ＯＦＦして映像の階調を作成することにより、１０００ｆｐｓ等の速度（フレームレート）で動画を投影することが考えられる。しかし、このような高フレームレートの動画の再生が、移動する物体に行われる場合には、フレームの境界で全画面を更新する必要があり、１０００分の１秒間等の１フレーム中に作成できる階調数に限界がある。そこで、特許文献１の高速表示装置は、入力される映像の階調値を、変動階調値として複数のフレームに分配し、各フレームでは低階調数の階調値を時間的に変化させることによって高階調の映像を表現している。これにより、伝送及び処理装置の限界などの実装上の各種制約の下で、或る程度まで高階調に、高速の映像表示が達成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１７／１１００８６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、映像表示装置において高速に表示される映像を高階調にすることができる映像表示装置および映像表示方法を提供する。
【課題を解決するための手段】
【０００６】
本開示に係る映像表示装置は、入力部と、映像生成部と、表示部とを備える。入力部は、第１のフレームレートにおける入力映像の階調値を規定するビット列を含んだ映像情報を入力する。映像生成部は、入力された映像情報に基づいて、１フレームの入力映像に対して複数のフレームを含んだ１組の出力映像を生成する。表示部は、第１のフレームレートよりも高い第２のフレームレートにおいて、生成された出力映像をフレーム毎に表示する。入力映像のビット列は、上位から順番に並ぶ上位ビット、中位ビット及び下位ビットを含む。上位ビットは、出力映像の１フレーム当たりの階調数に対応する。映像生成部は、入力映像の中位ビットに応じて１組の出力映像における複数のフレーム間で階調値を変動させながら、当該入力映像の下位ビットに応じて空間ディザを施すように、出力映像を補正する。
【０００７】
本開示に係る映像表示方法は、入力部が、第１のフレームレートにおける入力映像の階調値を規定するビット列を含んだ映像情報を入力するステップを含む。本方法は、映像生成部が、入力された映像情報に基づいて、１フレームの入力映像に対して複数のフレームを含んだ１組の出力映像を生成するステップを含む。本方法は、表示部が、第１のフレームレートよりも高い第２のフレームレートにおいて、生成された出力映像をフレーム毎に表示するステップを含む。入力映像のビット列は、上位から順番に並ぶ上位ビット、中位ビット及び下位ビットを含む。上位ビットは、出力映像の１フレーム当たりの階調数に対応する。映像生成部は、入力映像の中位ビットに応じて１組の出力映像における複数のフレーム間で階調値を変動させながら、当該入力映像の下位ビットに応じて空間ディザを施すように、出力映像を補正する。
【発明の効果】
【０００８】
本開示に係る映像表示装置及び映像表示方法によると、映像表示装置において高速に表示される映像を高階調にすることができる。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施形態１に係る映像投影システムの概要を示す図
【図２】実施形態１に係る映像投影システムの構成を示すブロック図
【図３】実施形態１の映像投影システムにおける入力映像及び出力映像を説明するための図
【図４】映像投影システムにおける入力映像及び出力映像のビット列を説明するための図
【図５】映像投影システムのフレーム動作を例示するタイミングチャート
【図６】映像システムにおける１組の出力映像および空間ディザ補正を説明するための図
【図７】入力映像の階調値と１組の出力映像の変動階調値との対応関係を例示する表
【図８】実施形態１の映像投影システムにおける空間ディザ補正の処理を例示するフローチャート
【図９】実施形態１における空間ディザ補正のディザパターンの一例を示す図
【図１０】空間ディザ補正による変動階調値の補正結果の一例を示す表
【図１１】空間ディザ補正による変動階調値の補正結果の別例を示す表
【図１２】空間ディザ補正結果の図１０と図１１との平均階調を示す表
【図１３】実施形態１における空間ディザ補正のディザパターンの別例を示す図
【図１４】実施形態２に係る映像投影システムの構成を示すブロック図
【図１５】実施形態２における空間ディザ補正のディザパターンの一例を示す図
【図１６】実施形態２の映像投影システムの動作を説明するためのタイミングチャート
【図１７】実施形態２における空間ディザ補正のディザパターンの別例を示す図
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１２】
（実施形態１）
以下、図面を用いて、本開示の実施形態１を説明する。
【００１３】
１．構成
実施形態１に係る映像表示装置の一例である映像投影システムの構成について、図１を用いて説明する。図１は、本実施形態に係る映像投影システム１の概要を示す図である。
【００１４】
本実施形態に係る映像投影システム１は、図１に示すように、投影装置１１と、制御装置１２と、撮影装置１３とを備える。映像投影システム１は、投影装置１１から各種コンテンツ等を示す映像を対象物１０に投影表示する映像表示装置の一例である。対象物１０は、例えば映像コンテンツの投影中に動く各種の物体を含む。
【００１５】
本実施形態の映像投影システム１は、投影装置１１の投影中にリアルタイムに、撮影装置１３を用いて対象物１０の移動及び変形等についての三次元計測を行う。映像投影システム１の制御装置１２は、リアルタイムの計測結果に基づいて、対象物１０の変化に拘わらず映像コンテンツが視認者に歪みなく視認されるように、投影装置１１に供給する映像データを制御する。
【００１６】
投影装置１１は、例えばＤＬＰ方式のプロジェクタである。本実施形態の投影装置１１は、図１に示すように、可視光源１４ａと、赤外光源１４ｂと、ダイクロイックミラー１５と、ＤＭＤ（デジタル・マイクロミラー・デバイス）１６と、レンズ光学系１７とを備える。本実施形態において、投影装置１１は、可視光源１４ａを用いて視認者に視認させる可視光の映像を投影すると共に、赤外光源１４ｂを用いて対象物１０の三次元計測を行うための計測パターンを投影する。投影装置１１は、本実施形態における表示部の一例である。
【００１７】
可視光源１４ａは、例えばＬＥＤであり、白色光などのＲＧＢを含む可視光を発光する。赤外光源１４ｂは、例えばＬＥＤであり、赤外領域の波長帯を有する非可視光（以下「Ｉｒ光」という）を発光する。可視光源１４ａ及び赤外光源１４ｂは、それぞれＬＥＤに限らず、例えば半導体レーザなど各種の光源素子であってもよい。
【００１８】
ダイクロイックミラー１５は、可視光源１４ａから入射する可視光と、赤外光源１４ｂから入射するＩｒ光とを合流させ、ＤＭＤ１６に出射するように配置される。ＤＭＤ１６は、複数のミラーによる反射光のＯＮ／ＯＦＦ制御によって空間光変調を行う表示デバイスの一例である。レンズ光学系１７は、ＤＭＤ１６からの反射光を投影装置１１の外部に出射する光軸を有する。
【００１９】
制御装置１２は、映像投影システム１の全体動作を制御する。例えば、制御装置１２は、投影装置１１における可視光源１４ａ及び赤外光源１４ｂのうちの一方を選択して励起し、かつＤＭＤ６に対する制御信号を供給する。これにより、投影装置１１が選択された光源からの光を、必要に応じて変調し、対象物１０上の種々の点に向けて照射することができる。この結果、対象物１０に対して画素単位の２次元画像を投影でき、所望に応じて多数の２次元画像を時系列的に投影して、動画を表示することができる。また、制御装置１２は、撮影装置１３による撮影動作を制御可能である。
【００２０】
制御装置１２は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵ、及びフラッシュメモリ等の内部メモリを含んだ各種の演算装置（コンピュータ）で構成される。制御装置１２は、内部メモリに格納されたデータやプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。制御装置１２の構成の詳細は後述する。
【００２１】
撮影装置１３は、例えば９６０ｆｐｓ等のフレームレートを有する高速度カメラである。撮影装置１３は、例えば、投影装置１１から予め設定された視差において、対象物１０に投影される計測パターンの投影画像が撮影されるように配置される。撮影装置１３には、例えば図１に示すように、入射する光に対して可視光カットフィルタ１３ａが設けられる。これにより、映像コンテンツの投影のための可視光が、計測パターンの投影画像の撮影を阻害しないようにすることができる。
【００２２】
１−１．映像投影システムの制御装置について
本実施形態の映像投影システム１における制御装置１２の構成の詳細について、図２を用いて説明する。図２は、本実施形態に係る映像投影システム１の構成を示すブロック図である。
【００２３】
本実施形態の制御装置１２は、図２に示すように、第１入力部２１と、第２入力部２２と、映像生成部２３と、計測パターン生成部２４と、映像出力部２５とを備え、映像制御装置として機能する。映像生成部２３は、例えば、機能的構成として、画像合成部３０と、変動値出力部３１と、変動値加算部３２と、画像減色部３３と、ディザパターン出力部３４と、補正値決定部３５と、補正値加算部３６とを備える。
【００２４】
第１入力部２１は、例えば映像投影システム１の外部の映像再生装置２において再生される入力映像を示す映像情報を入力する。映像再生装置２からの映像情報が示す入力映像は、所望の映像コンテンツを含み、例えば６０ｆｐｓ（第１のフレームレートの一例）で２７ビットカラーを有する。第１入力部２１は、例えばＨＤＭＩ（登録商標）等の伝送方式に従うインタフェース回路である。第１入力部２１は、フレームバッファ等を含んでもよい。
【００２５】
本実施形態の映像投影システム１は、撮影装置１３の撮影結果に基づいて、対象物１０の各部の三次元位置を計算する位置計算装置１８をさらに備える。位置計算装置１８は、例えば三次元位置の算出結果を距離画像などの距離情報として出力する。位置計算装置１８は、撮影装置１３又は制御装置１２に組み込まれてもよいし、撮影装置１３及び制御装置１２とは別体で構成されてもよい。撮影装置１３及び位置計算装置１８は、本実施形態における距離情報生成部の一例である。
【００２６】
第２入力部２２は、位置計算装置１８から距離情報を入力する。距離情報は、例えば撮影装置１３から対象物１０上の種々の点までの距離を示す。位置計算装置１８は、例えば撮影装置１３と同様のフレームレート（例えば９６０ｆｐｓ）で距離情報を第２入力部２２に供給する。第２入力部２２は、例えばフレームバッファ等を含む。
【００２７】
映像生成部２３は、第１入力部２１及び第２入力部２２からの入力に応じて、可視光の映像を生成する動作を、入力映像よりも高いフレームレートで実行する。映像生成部２３のフレームレートは、距離情報のフレームレート以上であってもよく、例えば１９２０ｆｐｓである。
【００２８】
映像生成部２３において、画像合成部３０は、第２入力部２２からの距離情報に基づいて、第１入力部２１からの入力映像を座標変換して対象物１０に応じた補正を行うように、距離画像等の距離情報を入力映像に合成する。例えば、画像合成部３０は、合成結果として２７ビットカラーの画像を出力する。
【００２９】
変動値出力部３１は、例えば画像合成部３０と同じ動作周期で、ＲＧＢの三色分の変動値を出力する。変動値は、後述する変動階調値を算出するための値であり、所定の範囲内で順次、設定される。変動値出力部３１は、例えば所定のビット数のカウンタを含む。
【００３０】
変動値加算部３２は、画像合成部３０の合成結果の画像における各画素の階調値に、変動値出力部３１が出力した変動値を加算して、加算結果の画像（２７ビットカラー）を出力する。
【００３１】
画像減色部３３は、変動値加算部３２の加算結果の画像に、階調数を減らす減色処理を行って、例えば１２ビットカラーの画像を生成する。変動値出力部３１及び変動値加算部３２によると、画像減色部３３で生成される画像の階調値が、変動値に応じて変動する変動階調値となる。
【００３２】
ディザパターン出力部３４は、変動階調値の補正用のパターンであるディザパターンを出力する。例えば、本実施形態のディザパターン出力部３４は、ディザパターンを示す所定の演算式を画素毎に演算する。ディザパターン出力部３４は、予め格納されたディザパターンを逐次、出力してもよい。
【００３３】
補正値決定部３５は、画像減色部３３による減色処理後の画像の画素毎の変動階調値に対する補正値を決定して、決定した補正値を補正値加算部３６に出力する。補正値決定部３５の処理は、画像合成部３０による合成結果の階調値、変動値出力部３１からの変動値、及びディザパターン出力部３４からのディザパターンに基づいて行われる。
【００３４】
補正値加算部３６は、画像減色部３３からの画像における画素毎の変動階調値に、出力された補正値を加算して、補正後の変動階調値を有する画像の映像データを映像出力部２５に出力する。ディザパターン出力部３４、補正値決定部３５及び補正値加算部３６によると、可視光の出力映像に対して空間ディザが施され、階調分布を空間的にばらつかせて微細な階調変化を表現することができる。
【００３５】
計測パターン生成部２４は、Ｉｒ光で投影される計測パターンを生成して、生成した計測パターンの映像データを映像出力部２５に出力する。計測パターンは、対象物１０の三次元的な位置及び形状等を計測するためのパターンであり、空間コード化法、或いは位相差コントラスト法など、各種の公知技術を適用可能である。適用される計測パターンに応じた三次元計測の演算が、位置計算装置１８において実行されることにより、適切な距離情報を得ることができる。
【００３６】
映像出力部２５は、例えば投影装置１１に映像データ及び制御信号等を出力するインタフェース回路である。本実施形態において、映像出力部２５は、映像生成部２３からの映像データと計測パターンの映像データとを交互に出力する。
【００３７】
以上のような映像投影システム１の制御装置１２は、所定の機能を実現するように設計された専用の電子回路や再構成可能な電子回路などのハードウェア回路であってもよい。制御装置１２は、ＣＰＵ，ＭＰＵ，ＧＰＵ，マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。また、制御装置１２の各種機能は、映像投影システム１の他の各部に組み込まれてもよい。
【００３８】
２．動作
以上のように構成される映像投影システム１の動作を以下に説明する。
【００３９】
２−１．全体動作
本実施形態に係る映像投影システム１が動く対象物１０にプロジェクション・マッピングを行う全体動作について、図２，３，４を参照して説明する。
【００４０】
図３は、本実施形態の映像投影システム１における入力映像４ｉ及び出力映像４ｏを説明するための図である。図４は、入力映像４ｉ及び出力映像４ｏのビット列Ｂｉ，Ｂｏを説明するための図である。
【００４１】
図３では、映像再生装置２からの入力映像４ｉにおいて、１フレーム目では星形のコンテンツが、２フレーム目ではハート形に変化する例を示す。また、図中の左上方から右下方に対象物１０（図２）が動く例を示している。
【００４２】
本実施形態の映像投影システム１では、例えば上述したように動く対象物１０に対して、図２に示すように、計測パターン生成部２４による計測パターンが、映像出力部２５を介して投影装置１３から投影される。このとき、撮影装置１３は、９６０ｆｐｓ等の高フレームレートで、計測パターンの投影画像を撮影する。位置計算装置１８は、投影画像の各点における３次元的な位置を算出して、距離情報を生成する。距離情報は、上記のような高フレームレートにおいて、制御装置１２の第２入力部２２に供給される。
【００４３】
一方、映像再生装置２からの入力映像４ｉは、６０ｆｐｓ等の低フレームレートにおいて、第１入力部２１に入力される。制御装置１２における映像生成部２３は、画像合成部３０において第２入力部２２からの距離情報を逐次、第１入力部２１からの映像に組み合わせて、出力映像４ｏを生成する。映像生成部２３により、例えば図３に示すように、入力映像４ｉが、対象物１０の動きに適するように、高フレームレートの出力映像４ｏに変換される。
【００４４】
ここで、上記のような高フレームレートの出力映像４ｏの階調数が多過ぎると、映像データの伝送および投影処理が困難になることが考えられる。そこで、本実施形態の映像生成部２３は、画像減色部３３において１フレーム当たりの階調数を減らす減色処理を実行する。図４を用いて、入力映像４ｉの階調と出力映像４ｏの階調との関係について説明する。
【００４５】
図４（ａ）は、入力映像４ｉのビット列Ｂｉを示す。図４（ｂ）は、図４（ａ）の入力映像４ｉに対応する１組（複数フレーム）の出力映像４ｏのビット列Ｂｏを示す。ビット列は、各種映像における画素毎に設定され、各画素の階調値を規定する。
【００４６】
入力映像４ｉのビット列Ｂｉは、図４（ａ）に示すように、上位から下位へ順番に上位ビットＢ１、中位ビットＢ２及び下位ビットＢ３に分けられる。ビット列Ｂｉにおける下位ほど、微細な階調の変化を表す。出力映像４ｏのビット列Ｂｏの１フレーム当たりの階調数は、図４（ｂ）に示すように、入力映像４ｉのビット列Ｂｉにおける上位ビットＢ１分に対応する。
【００４７】
出力映像４ｏは、１フレーム当たりで例えば１２ビットカラー等の低階調を有する。入力映像４ｉは、例えば２７ビットカラー等の高階調を有する。以下では、ＲＧＢのうちの１色あたりで、上位ビットＢ１が４ビット、中位ビットＢ２が４ビット、下位ビットＢ３が１ビットの例について説明する。
【００４８】
本実施形態の映像生成部２３（図２）において、減色処理後の映像は、１フレーム当たりで上位ビットＢ１分の階調数を有する。映像生成部２３は、変動値出力部３１及び変動値加算部３２により、入力映像４ｉが同じ組の出力映像４ｏの複数フレーム間で、入力映像４ｉの中位ビットＢ２までの階調値を分配するように、出力映像４ｏのビット列Ｂｏのフレーム毎の値、即ち変動階調値を変動させる。さらに、映像生成部２３は、ディザパターン出力部３４、補正値決定部３５及び補正値加算部３６により、入力映像４ｉの下位ビットＢ３の値に応じて出力映像４ｏにおいて空間ディザを施すように、出力映像４ｏの変動階調値を補正する（空間ディザ補正）。
【００４９】
以上の動作によると、映像投影システム１から出力される出力映像４ｏが１フレーム当たりでは低階調であっても、視認者には複数のフレームの時間的かつ空間的な重ね合わせにより、入力映像４ｉと同等の高階調として出力映像４ｏを視認させることができる。また、出力映像４ｏの各フレームは、対象物１０をリアルタイムに計測した距離情報に基づき合成される。これにより、投影する対象物１０の動きが不規則および高速であったとしても、対象物１０を注視する視認者にとって自然な高階調の映像として視認され易い出力映像４ｏを投影することができる。以下、本実施形態に係る映像投影システム１の動作の詳細を説明する。
【００５０】
２−２．フレーム動作について
本実施形態の映像投影システム１における出力映像４ｏのフレーム毎の動作について、図５を用いて説明する。
【００５１】
図５は、映像投影システム１のフレーム動作を例示するタイミングチャートである。図５では、出力映像４ｏの１フレーム当たりの投影装置１１と撮影装置１３（カメラ）の動作タイミングを示している。
【００５２】
図５に例示する動作の処理は、約１ｍｓの処理サイクル（９６０ｆｐｓ）において実施される。処理サイクル中の最初の３７２μｓの間に、投影装置１１は、ＤＬＰから対象物に対して計測用のＩｒ光を投影する。これに続く１ｍｓの間に、撮影装置１３は、計測用のＩｒ光の、対象物からの反射光に関する読み出し転送を行う。得られたデータに基づき対象物の３次元形状についての距離情報が算出され、制御装置１２は、次に投影されるべき映像コンテンツの元画像に対して必要な座標変換を演算して、投影されるべき最終的な画像を生成する（図２参照）。
【００５３】
各処理サイクルにおいて、Ｉｒ光の投影が終了すると同時に、投影装置１１は、最新の映像コンテンツの最終的な画像を、６２８μｓの間に対象物に対して投影する。通常のカメラのフレームレートは読み出し転送時間で律速するが、本例では、露光時間を読み出し転送時間よりも短くしている。これにより、フレームレートを低下させることなく、ＲＧＢの表示時間を確保することが可能となる。ＲＧＢの表示時間を確保した分、撮影装置１３の露光の調整範囲が制約され得る一方、撮影装置１３のコストを決定する読み出し転送時間を変えることなく、表示フレームレートを増加させることを実現している。よって、伝送及び処理装置の能力の限界を最大限に活用して、投影対象をタイムリーに計測しつつ、最大限のフレームレートを実現することができる。
【００５４】
本実施形態において、投影装置１１は、例えばサブフィールド駆動により、フレーム毎に各色４ビット等の（上位ビットＢ１分の）階調数を有する出力映像４ｏを投影する。図５に示すように、ＲＧＢ３色のそれぞれについて順次、投影が実行される。各色の画像の階調は、それぞれ４サブフィールドからなる４つのセグメントにより表示される。
【００５５】
以上のフレーム動作によると、ＲＧＢ３色を用いることから、出力映像４ｏの各フレームは、１２ビットカラーとなる。この場合、画像の質が、一般的なフルカラー（２４ビットカラー）或いはディープカラー（３０ビットカラー）よりも劣ることとなる。そこで、本実施形態の映像投影システム１では、以下のようにして、出力映像４ｏの変動階調値による時間的な分割処理と空間的なディザの補正処理とにより、より高い階調を表現可能にしている。
【００５６】
２−３．変動階調値について
出力映像４ｏの変動階調値による時間的な分割処理について、図６，７を用いて説明する。図６は、映像投影システム１における１組の出力映像４ｏおよび空間ディザ補正を説明するための図である。
【００５７】
図６（ａ）は、１フレームの入力映像４ｉの一例を示す。図６（ａ）の例は、図中の左側から右側へ連続的に階調値が増大するグラデーション・パターンの入力映像４ｉを示している。図６（ａ）の入力映像４ｉにおける各画素のビット列Ｂｉ（図４（ａ））は、図中の左右方向において（下位ビットＢ３の）１ビットずつ変化することとなる。
【００５８】
図６（ｂ）は、図６（ａ）の入力映像４ｉに対応する１組の出力映像４ｏを例示する。なお、図６（ｂ）では、空間ディザ補正が出力映像４ｏに為されていない状態を例示している。
【００５９】
本実施形態において、１フレームの入力映像４ｉに対する１組の出力映像４ｏのフレーム数は、中位ビットＢ２の状態数に応じて設定され、例えば中位ビットＢ２が４ビットの場合に１６フレームに設定される。この際、映像生成部２３では、例えば６０ｆｐｓの入力映像４ｉに対して９６０ｆｐｓの動画に相当するように、出力映像４ｏのデータが生成されてもよい。投影装置１１には１９２０ｆｐｓのデータ伝送により、映像生成部２３と計測パターン生成部２４とから交互に映像データが供給されてもよい。
【００６０】
図６（ｂ）の出力映像４ｏにおいて、各フレームにおける左右方向の階調の変化は、入力映像４ｉ（図６（ａ））よりも粗くなっている。出力映像４ｏの１フレーム当たりでは、表現可能な階調数が、上述したサブフィールド駆動等により、入力映像４ｉの上位ビットＢ１相当に制限される。
【００６１】
そこで、本実施形態では、１組の出力映像４ｏにおけるフレーム間で、同じ入力映像４ｉの階調値に対するフレーム毎の階調値（即ち変動階調値）が変動するように、入力映像４ｉの階調値を変動階調値に変換する変換ルールを採用する。これにより、図６（ｂ）の例では複数のフレーム間で、階調が変化する位置（画素）が異なっている。このような出力映像４ｏの複数フレームの時間的な重ね合わせによって、入力映像４ｉにおける中位ビットＢ２までの階調を再現することができる。変動階調値の変換ルールについて、図７を用いて説明する。
【００６２】
図７は、入力映像４ｉの階調値と、１組の出力映像４ｏの変動階調値との対応関係を例示する表である。以下では、４ビットの中位ビットＢ２に対応して、１６種類の変換ルールを規定する１６個の変動値Ｐ＝０〜１５が、１組１６フレームの出力映像４ｏの各々に設定される例を説明する。図７では、入力映像４ｉの中位ビットＢ２までの８ビット（Ｂ１，Ｂ２）における「０」〜「２４０」を変換元の階調値として、変動値Ｐ＝０〜１５の各々の変換ルールによる変動階調値を例示している。
【００６３】
例えば、変動値Ｐ＝０の変換ルールは、入力映像４ｉによる元の階調値「２４０（＝１５×２４）」に対して、変動階調値「１５」を割り当てる。また、元の階調値「２３９」に対して変動階調値「１４」を割り当て、それ以降、元の階調値が１６減る毎に変動階調値を１ずつ減じる。例えば、元の階調値「０」〜「１５」に対して変動階調値「０」が割り当てられる。
【００６４】
また、変動値Ｐ＝１の変換ルールは、元の階調値「２３９」以上に対して変動階調値「１５」を割り当て、元の階調値「２３８」以降、上記と同様に変動階調値を１ずつ減じる。この場合、元の階調値「１５」に対して割り当てられる変動階調値は「１」になる。他の変動値Ｐの変換ルールも同様である。
【００６５】
以上のような変動値Ｐ＝０〜１５の変換ルールによると、図７に示すように、元の階調値「０」〜「２４０」にわたり、対応する１組（１６個）の変動階調値の総和と元の階調値とが等しくなるという相関関係を得ることができる。
【００６６】
例えば、元の階調値「１０１」に対応する変動階調値の組において、図７に示すように、変動値Ｐ＝０〜１０による１１個の変動階調値は「６」であり、残りの変動値Ｐ＝１１〜１６による５個の変動階調値は「７」であり、変動階調値の総和は「１０１（＝６×１１＋７×５）」となる。なお、元の階調値が「２４０」よりも大きい範囲については、変動階調値の総和が僅かに元の階調値よりも小さい相関関係になるが、充分に明るい階調の範囲であることから視認性への影響は無視できる。
【００６７】
なお、図７に示す例では、入力映像４ｉで上位８ビット分の階調値と、対応する１６個の変動階調値の総和とが等しい相関関係を例示したが、両者の相関関係は特にこれに限定されない。例えば、上位８ビット分の階調値と、対応する１６個の変動階調値の総和とのいずれか一方が一定の差又は割合で大きい等といった相関関係であってもよい。
【００６８】
以上の変動値Ｐ＝０〜１５の変換ルールの実装例として、本実施形態の映像生成部２３（図２）は、変動値出力部３１において変動値Ｐを順次、切替えながら、変動値加算部３２において元の階調値（Ｂ１，Ｂ２）に、変動値出力部３１からの変動値Ｐを加算する。さらに、映像生成部２３は、画像減色部３３において、変動値Ｐが加算された階調値に対する除算を演算することにより、加算した変動値Ｐに対応する変動階調値を算出する。画像減色部３３の除算は、例えば、変動値Ｐの個数（或いは中位ビットＢ２の状態数）である「１６」を除数に設定して、設定した除数による商の小数点以下を切り捨てることによって実行される。
【００６９】
本実施形態の変動値出力部３１は、出力映像４ｏのフレームレートで順次、出力する変動値Ｐを切り替える（例えば昇順）。これにより、１組の出力映像４ｏにおける各フレームに別々の変換ルールが適用される。各変動値Ｐ＝０〜１５の変換ルールによる１６個の変動階調値が、１組の出力映像４ｏの１６フレームに分配されることにより、入力映像４ｉの中位ビットＢ２までの階調値（Ｂ１，Ｂ２）を再現できる。
【００７０】
例えば、入力映像４ｉが（上位ビットＢ１から中位ビットＢ２までで）階調値「１０１」を有する場合に、対応する出力映像４ｏの１６フレームは、変動階調値「６」の１１フレームと、変動階調値「７」の５フレームとを含む。このようにして、出力映像４ｏの１フレーム当たりでは４ビットの階調でありながら、１６フレーム１組であたかも８ビットの階調が表示されたように視認させることができる。
【００７１】
以上のような変動階調値の時間的な分割処理においては、変動階調値を時間的に変化させるフレーム数に限界があり得ると想定される。例えば、変動階調値が分配される１組のフレーム数を増やすと理論上、高階調表示は可能である一方、所用する周期が６０Ｈｚを超えると、フリッカの発生が懸念される。このため、時間的な分割処理のみでは表現可能な階調数が制限されてしまう。そこで、本実施形態では、変動階調値を補正して出力映像４ｏに空間的なディザリングを施す空間ディザ補正を行う（図６参照）。以下、本実施形態の空間ディザ補正について説明する。
【００７２】
２−４．空間ディザ補正について
本実施形態では、図６（ｂ）のような出力映像４ｏに空間ディザを施す空間ディザ補正によって、入力映像４ｉにおける下位ビットＢ３までの階調を再現する。図６（ｃ）に、図６（ｂ）に対する空間ディザ補正後の出力映像４ｏを例示する。
【００７３】
図６（ｃ）の出力映像４ｏは、図６（ａ）の入力映像４ｉにおいて下位ビットＢ３が「０」でない（「１」である）画素の領域に対応したディザ領域Ｒ１を含んでいる。ディザ領域Ｒ１は、所定のディザパターンに基づく階調の分布を有する。本実施形態では、１組の出力映像４ｏにおける所定の１フレームにおいて、ディザ領域Ｒ１の分のディザパターンを付加するように、空間ディザ補正の処理が実行される。以下、空間ディザ補正の処理について、図８〜１２を用いて説明する。
【００７４】
図８は、本実施形態における空間ディザ補正の処理を例示するフローチャートである。図８のフローチャートに示す各処理は、例えば補正値決定部３５として機能する映像生成部２３によって実行される。本フローチャートは、出力映像４ｏの１フレームの画素毎に実行される。
【００７５】
まず、補正値決定部３５は、処理対象とする画素の階調値における下位ビットＢ３が、「１」であるか否かを判定する（Ｓ１）。ステップＳ１の判定は、補正値決定部３５に、画像合成部３０による合成結果における下位ビットＢ３の値を入力することによって行われる。
【００７６】
補正値決定部３５は、下位ビットＢ３が「１」であると判定した場合（Ｓ１でＹＥＳ）、ディザパターン出力部３４からの出力に基づいて、処理対象の画素に対する補正用のディザパターン５の画素値が「１」であるか否かを判定する（Ｓ２）。ディザパターン５の一例を図９に示す。
【００７７】
図９に例示するディザパターン５は、下位ビットＢ３が１ビットの場合の一例を示している。この場合、ディザパターン５における画素値の「１」と「０」との割合は、１対１である。以下、ディザパターンの画素値「１」を有する画素５０を明画素５０といい、画素値「０」を有する画素５１を暗画素５１という場合がある。
【００７８】
ディザパターン５は、例えば空間的に均一に画素値を分散させた画像パターンに設定される。例えば、図９の例のディザパターン５は、市松パターンで構成され、明画素５０と暗画素５１とが交互に入れ替わる周期性を有する。ディザパターン出力部３４において、ディザパターン５の画素値は、上記のような簡単な周期性に基づいて算出されてもよいし、予め記憶されていてもよい。
【００７９】
図８に戻り、補正値決定部３５は、ディザパターン５の画素値が「１」であると判定した場合（Ｓ２でＹＥＳ）、変動値出力部３１からの変動値Ｐに基づいて、現在の出力映像４ｏのフレームの変動値Ｐが「０」であるか否かを判定する（Ｓ３）。補正値決定部３５は、現在の出力映像４ｏのフレームの変動値Ｐが「０」であると判定した場合（Ｓ３でＹＥＳ）、当該フレームにおける処理対象の画素についての変動階調値の補正値を「１」に決定する（Ｓ４）。
【００８０】
一方、補正値決定部３５は、現在の出力映像４ｏのフレームの変動値Ｐが「０」でないと判定した場合（Ｓ３でＮＯ）、対応する変動階調値の補正値Ｑを「０」に決定する（Ｓ５）。また、補正値決定部３５は、下位ビットＢ３が「１」でないと判定した場合（Ｓ１でＮＯ）、およびディザパターンの画素値が「１」でないと判定した場合（Ｓ２でＮＯ）も、変動階調値の補正値Ｑを「０」に決定する（Ｓ５）。
【００８１】
補正値決定部３５は、変動階調値の補正値を決定すると（Ｓ４，Ｓ５）、決定した補正値を補正値加算部３６に出力して、図８の処理を終了する。
【００８２】
以上の処理により、出力映像４ｏのフレーム毎に決定された補正値Ｑが、補正値加算部３６において変動階調値に加算されることで、対応する入力映像４ｉにおける下位ビットＢ３に応じて、変動階調値が補正される。図１０，１１，１２に、空間ディザ補正による変動階調値の補正結果を例示する。
【００８３】
図１０，１１，１２は、図７の変動階調値に対する補正結果を例示している。図１０は、図８の処理の対象が明画素５０の場合における補正後の変動階調値を示し、図１１は、暗画素５１の場合における補正後の変動階調値を示す。図１２は、空間ディザ補正結果の図１０と図１１との平均階調を示す。
【００８４】
図１２の平均階調は、図１０におけるフレーム間の和と１１におけるフレーム間の和との平均値を示す。図１０，１１，１２では、図７の中位ビットＢ２までの階調値０〜２４０に対応させて、下位ビットＢ３まで含めた入力映像４ｉのビット列Ｂｉ全体の階調値（Ｂ１，Ｂ２，Ｂ３）が「０」〜「４８０」である場合を示している。
【００８５】
図１０に示すように、明画素５０において下位ビットＢ３が「１」の場合に（Ｓ１，Ｓ２）、変動値Ｐが「０」のフレームにおいて補正値Ｑが「１」となり（Ｓ３，Ｓ４）、補正後の変動階調値が補正前よりも増大する。一方、上記以外の場合には、図１０，１１に示すように、補正値Ｑが「０」となり（Ｓ５）、補正前後で変動階調値は変化しない。これにより、図９に示すようなディザパターン５中の明画素５０及び暗画素５１の配置に応じて、変動階調値の補正値Ｑによる空間ディザを出力映像４ｏの変動値Ｐ＝０のフレームに加えることができる（図６参照）。
【００８６】
このとき、図１２に示すような、補正後の変動階調値の１６フレーム分の和についての明画素５０及び暗画素５１間の平均値が、出力映像４ｏにおける空間平均として、視認者に視認される出力映像４ｏの階調になると考えられる。よって、以上のような空間ディザ補正により、図１２に示すように、入力映像４ｉ全体の階調値（Ｂ１，Ｂ２，Ｂ３）と同等の階調数を、出力映像４ｏにおいて再現することができる。
【００８７】
また、以上の処理において、補正値Ｑによる空間ディザを変動値Ｐ＝０のフレームに加えることにより、変動階調値の補正を精度良く行える（図８のＳ３）。すなわち、図１０に示すように、変動値Ｐ＝０のフレームでは、変動階調値が最も小さくなり、例えば元の階調値が４７９以下あれば１４以下となる。また、元の階調値が４８０である場合は、下位ビットＢ１の１ビット分の階調値は０なので、補正値Ｑは「０」である。そのため、上記の範囲において、補正値Ｑを加算しても、変動階調値が「１５」を超えないようにできる。
【００８８】
なお、補正値加算部３６は、変動階調値に補正値Ｑを加算すると１５を超える場合、補正結果を１５に設定する。この場合、元の階調値が上記の範囲よりも大きい際に、空間ディザ補正による１／２階調の差が表現されなくなるが、充分に明るい階調のため、視認者には認識されないと考えられる。
【００８９】
また、以上の処理において、ステップＳ１，Ｓ２，Ｓ３の処理順は、図８に図示した順序に限定されない。例えば、ステップＳ３がステップＳ２よりも前に行われてもよい。補正値決定部３５は、変動値Ｐが「０」となるフレームを検出して（Ｓ３）、検出結果に従って、ディザパターン出力部３４から補正用パターンの画素値を入力してもよい（Ｓ２）。
【００９０】
以上の説明では、下位ビットＢ３が１ビットの例を説明したが、下位ビットＢ３は２ビット以上であってもよい。下位ビットＢ３が２ビットの場合のディザパターンを図１３に例示する。
【００９１】
図１３（ａ）は、下位ビットＢ３による２ビットの階調値「１」に対応するディザパターン５２の一例を示す。同様に、図１３（ｂ）は、下位ビットＢ３「２」に対応するディザパターン５３の一例を示し、図１３（ｃ）は、下位ビットＢ３「３」に対応するディザパターン５４の一例を示す。図１３（ａ），（ｂ），（ｃ）のディザパターン５２〜５４において、明画素５０（画素値「１」）と暗画素５１（画素値「０」）との割合は、それぞれ１対３、１対１および３対１である。
【００９２】
上記の場合において、補正値決定部３５は、例えば図８のステップＳ１の代わりに、下位ビットＢ３が「１」、「２」又は「３」であるときにステップＳ２に進み、それぞれ図１３（ａ），（ｂ），（ｃ）のディザパターン５２〜５４を用いて上述した判定を行う。これにより、それぞれ１／４階調、１／２階調又は３／４階調分の空間ディザを実現することができる。
【００９３】
３．効果等
以上のように、本実施形態に係る映像投影システム１は、入力部の一例の第１入力部２１と、映像生成部２３と、表示部の一例の投影装置１１とを備えた映像表示装置の一例である。第１入力部２１は、第１のフレームレート（例えば６０ｆｐｓ）における入力映像４ｉの階調値を規定するビット列Ｂｉを含んだ映像情報を入力する。映像生成部２３は、入力された映像情報に基づいて、１フレームの入力映像に対して複数のフレームを含んだ１組の出力映像４ｏを生成する。投影装置１１は、第１のフレームレートよりも高い第２のフレームレートにおいて、生成された出力映像４ｏをフレーム毎に表示する。入力映像４ｉのビット列Ｂｉは、上位から順番に並ぶ上位ビットＢ１、中位ビットＢ２及び下位ビットＢ３を含む。上位ビットＢ１は、出力映像４ｏの１フレーム当たりの階調数に対応する。映像生成部２３は、入力映像４ｉの中位ビットＢ２に応じて１組の出力映像４ｏにおける複数のフレーム間で階調値を変動させながら、当該入力映像４ｉの下位ビットＢ３に応じて空間ディザを施すように、出力映像４ｏを補正する（Ｓ１〜Ｓ５）。
【００９４】
以上の映像投影システム１によると、入力映像４ｉのフレームレートよりも高いフレームレート及び上位ビットＢ１分の階調数を有する出力映像４ｏにおいて、フレーム間の時間変動によって中位ビットＢ２までの階調を得ながら、空間ディザによって下位ビットまでの高階調を再現できる。このように、高階調で高速の映像表示を行うことができる。
【００９５】
本実施形態において、映像生成部２３は、中位ビットＢ２に対応する範囲内で変動する変動値Ｐと、入力映像４ｉの上位ビットＢ１から中位ビットＢ２までで規定される階調値とに基づいて、１組の出力映像４ｏにおける各フレームの階調値を示す変動階調値を算出する（３１，３２）。出力映像４ｏの階調のばらつきが低減されるように、変動階調値を算出できる。
【００９６】
また、本実施形態において、映像生成部２３は、入力映像４ｉにおいて下位ビットＢ３が所定値である領域に関して空間ディザを施すように、変動階調値を補正する（Ｓ１，Ｓ２）。中位ビットＢ２までが表現される変動階調値に空間的な補正を行って、高速の出力映像４ｏにおいて下位ビットＢ３までの高階調を得ることができる。
【００９７】
また、本実施形態において、１組の出力映像４ｏにおける各フレームは、互いに異なる変動値Ｐを有する。映像生成部２３は、１組の出力映像４ｏのうちの所定の変動値Ｐを有するフレームに空間ディザを施すように、当該フレームの変動階調値を補正する（Ｓ２，Ｓ３）。これにより、簡単に出力映像４ｏの空間ディザを実現することができる。なお、空間ディザは特定のフレームに限らず、例えば複数のフレームにおいて領域別に施されてもよい。例えば、変動値出力部３１が、変動値Ｐを各フレームの領域別に出力するように設定されてもよい。
【００９８】
また、本実施形態において、映像生成部２３は、所定の空間分布を示すディザパターン５，５２〜５４に基づいて、下位ビットＢ３に応じた空間ディザを施すように、出力映像４ｏを補正する（Ｓ２）。ディザパターン５，５２〜５４において画素値が空間的に均一に分散されることにより、出力映像４ｏの視認性を良くすることができる。
【００９９】
本実施形態の映像投影システム１は、対象物１０までの距離を示す距離情報を生成する距離情報生成部の一例として、撮影装置１３及び位置計算装置１８をさらに備える。本実施形態の表示部は、出力映像４ｏを対象物１０に投影する投影装置１１である。映像生成部２３は、取得される距離情報に応じて、各フレームの出力映像４ｏを生成する。本実施形態の映像投影システム１によると、表示デバイス或いは伝送の限界といった各種制約の下で、出力映像４ｏとして高速かつ高階調で動画の再生を行い、移動する対象物１０に追従するようなプロジェクション・マッピングを精度良く行うことができる。
【０１００】
本実施形態に係る映像表示方法は、第１入力部２１が、第１のフレームレートにおける入力映像の階調値を規定するビット列を含んだ映像情報を入力するステップを含む。本方法は、映像生成部２３が、入力された映像情報に基づいて、１フレームの入力映像４ｉに対して複数のフレームを含んだ１組の出力映像４ｏを生成するステップを含む。本方法は、表示部の一例である投影装置１１が、第１のフレームレートよりも高い第２のフレームレートにおいて、生成された出力映像４ｏをフレーム毎に表示するステップを含む。映像生成部２３は、入力映像４ｉの中位ビットＢ２に応じて１組の出力映像４ｏにおける複数のフレーム間で階調値を変動させながら（３１〜３２）、当該入力映像４ｉの下位ビットＢ３に応じて空間ディザを施すように、出力映像４ｏを補正する（３４〜３６）。本実施形態に係るプログラムは、以上のような映像表示方法をコンピュータに実行させるためのプログラムである。
【０１０１】
以上の映像表示方法およびプログラムによると、映像投影システム１において高速に表示される映像を高階調にすることができる。第２のフレームレートは、例えば第１のフレームレートよりも、１組の出力映像４ｏのフレーム数倍以上、高い。１組の出力映像４ｏのフレーム数は、例えば中位ビットＢ２の状態数に対応する。また、出力映像４ｏの１フレーム当たりの階調数は、上位ビットＢ１の状態数に一致しなくてもよく、一定の対応関係があればよい。
【０１０２】
（実施形態２）
以下、図面を用いて、実施形態２を説明する。実施形態２では、空間ディザを施すためのディザパターンを時間的に切り替えて、出力映像の視認性を向上する映像投影システムについて説明する。
【０１０３】
以下、実施形態２と同様の構成および動作の説明は適宜、省略して、本実施形態に係る映像投影システムを説明する。
【０１０４】
図１４は、実施形態２に係る映像投影システム１Ａの構成を示すブロック図である。本実施形態に係る映像投影システム１Ａは、実施形態１の映像投影システム１（図２）と同様の構成に加えて、複数のディザパターンを格納するディザパターン蓄積部３７をさらに備える。ディザパターン蓄積部３７は、補正値決定部３５に接続された記憶部の一例である。本実施形態における複数のディザパターンの一例を図１５（ａ），（ｂ）に示す。
【０１０５】
図１５（ａ）は、図９と同様の一例のディザパターン５Ａを示す。図１５（ｂ）は、図１５（ａ）とは相補的なディザパターン５Ｂを例示する。
【０１０６】
本実施形態では、例えば下位ビットＢ３が１ビットの場合、図１５（ａ），（ｂ）に示すように、２つのディザパターン５Ａ，５Ｂが用いられる。各ディザパターン５Ａ，５Ｂは、明画素５０と暗画素５１の位置を互いに異ならせて、ディザパターン５Ａ，５Ｂ間の画素値の和が、全ての画素で「１」となるように設定されている。このように相補的な複数のディザパターン５Ａ，５Ｂを用いて、本実施形態の空間ディザ補正が行われる。
【０１０７】
図１６は、本実施形態の映像投影システム１Ａの動作を説明するためのタイミングチャートである。図１６では、図１５（ａ），（ｂ）のディザパターン５Ａ，５Ｂを用いる場合を例示している。
【０１０８】
本実施形態の映像投影システム１Ａは、図１６に示すように、例えば入力映像４ｉのフレームレートで１組の出力映像４ｏを投影する毎に、空間ディザ補正に適用するディザパターン５Ａ，５Ｂを順次、切り替える。例えば、各ディザパターン５Ａ，５Ｂは、予めディザパターン蓄積部３７（図１４）に格納されている。本実施形態の補正値決定部３５は、画像合成部３０からの同期信号に基づいて、１組の出力映像４ｏ分の周期で、ディザパターン蓄積部３７から補正値決定部３５を介して別々のディザパターン５Ａ，５Ｂの情報を順番に取得して、各組の特定のフレームに対する補正値の決定に用いる。
【０１０９】
以上の動作によると、図１６の例では図１５（ａ），（ｂ）のディザパターン５Ａ，５Ｂが交互に各組の出力映像４ｏの空間ディザ補正に適用される。これにより、１組の出力映像４ｏの２倍の周期において重ね合わせたフレーム間で、ディザ領域における階調値のばらつきを時間平均で均一化することができる。よって、例えばディザ領域における階調値のばらつきが視認者にノイズとして視認されるような事態の発生を抑制して、出力映像４ｏの視認性を向上することができる。
【０１１０】
以上の説明では、２つのディザパターン５Ａ，５Ｂを用いる場合を例示したが、本実施形態は特にこれに限定されない。３つ以上のディザパターンを用いる例について、図１７（ａ）〜（ｃ）を用いて説明する。
【０１１１】
図１７（ａ）は、図１３（ａ）と同様の一例のディザパターン５２Ａを示す。図１５（ｂ），（ｃ），（ｄ）は、それぞれ図１７（ａ）とは相補的なディザパターン５２Ｂ，５２Ｃ，５２Ｄを例示する。
【０１１２】
例えば下位ビットＢ３が２ビットで１／４階調分の空間ディザを施す場合、図１３（ａ）〜（ｄ）に例示するような４つのディザパターン５２Ａ〜５２Ｄを順次、空間ディザ補正に適用する。図１３（ａ）〜（ｄ）のディザパターン５２Ａ〜５２Ｄは、図９（ａ），（ｂ）と同様に、ディザパターン５２Ａ〜５２Ｄ間の画素値の和が一定となるように設定されている。よって、本例では１組の出力映像４ｏの４倍の周期において重ね合わせたフレーム間で、ディザ領域における階調値のばらつきを時間平均して、出力映像４ｏのノイズを抑制できる。３／４階調の場合等も同様に、相補的な複数のディザパターンを用いることができる。
【０１１３】
以上のように、本実施形態に係る映像投影システム１Ａは、複数のディザパターン５Ａ〜５Ｂ，５２Ａ〜５２Ｄを記憶する記憶部のディザパターン蓄積部３７をさらに備える。映像生成部２３は、ディザパターン蓄積部３７におけるディザパターン５Ａ〜５Ｂ，５２Ａ〜５２Ｄを参照して、下位ビットＢ３に応じた空間ディザを施すように、出力映像４ｏを補正する。ディザパターン蓄積部３７を用いることにより、複数のディザパターン５Ａ〜５Ｂ，５２Ａ〜５２Ｄを用いた空間ディザ補正の処理負荷を低減することができる。
【０１１４】
本実施形態の映像投影システム１Ａには、例えばディザパターン蓄積部３７への格納により、複数のディザパターン５Ａ〜５Ｂ，５２Ａ〜５２Ｄが設定される。映像生成部２３は、入力映像４ｉのフレーム毎に順次、複数のディザパターン５Ａ〜５Ｂ，５２Ａ〜５２Ｄの中で使用するディザパターンを切り替える。これにより、空間ディザ補正においてノイズの発生を抑制して、出力映像４ｏの視認性を向上できる。
【０１１５】
なお、以上の実施形態２では、ディザパターン蓄積部３７を用いて空間ディザ補正を行う映像投影システム１Ａを説明した。実施形態２と同様の空間ディザ補正は、ディザパターン蓄積部３７を用いずに行われてもよく、例えば、映像生成部２３において各ディザパターンが算出されてもよい。
【０１１６】
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
【０１１７】
上記の実施形態では、１組の出力映像４ｏの各フレームに対して、変動値Ｐが昇順などの所定の順番に設定される例を説明したが、変動値Ｐは所定の順番に設定されなくてもよい。本実施形態において、映像生成部２３は、入力映像４ｉのフレーム毎に、対応する１組の出力映像４ｏにおいて所定の変動値Ｐを有するフレームの順番を変化させてもよい。
【０１１８】
例えば、映像生成部２３の変動値出力部３１に出力させる変動値Ｐが、不規則な順序で出現していてもよい。出現順序は、毎回変動するようなランダムな順序であってもよいし、一定の不規則な順序で出現するようにしてもよい。表示される階調値の変化が突然に発生すると違和感を生じる可能性があることから、変動階調値が、少なくとも単調に増加する順序或いは単調に減少する順序以外の順序が用いられてもよい。例えば、少なくとも増減が１回ずつ出現するような出現順序とすると良い。
【０１１９】
或いは、映像生成部２３は、変動階調値の各組における各変動階調値の間の増減回数が最大となる順序を用いて、１組の変動階調値に含まれる各変動階調値を出力映像４ｏの各フレームに分配してもよい。そのようにして、階調値が時間的に平均化されることにより、違和感が生じ難くすることができる。
【０１２０】
また、上記のような変動値Ｐの出現順序が、毎回変動するようなランダムな順序や、不規則な順序で出現する際には、補正値Ｑを加算するフレームのタイミングが一定周期にならずに偏って表示されることで、低階調でフリッカが発生する場合が考えられる。このフリッカを防ぐために、補正値Ｑを加算するフレームのタイミングを一定周期になるように、所定のフレームに固定することで、加算するフレームのタイミングに偏りがなくなり、低階調でのフリッカを解消できる。
【０１２１】
また、本実施形態の映像投影システムにおいて、映像生成部は、空間ディザ補正の補正結果の値を、周辺画素の映像データの平均値によって決定し、高速に変動階調値を算出してもよい。これにより、低遅延での画像処理が可能となる。
【０１２２】
また、上記の各実施形態において、投影装置１１は、映像コンテンツと計測パターンの双方を投影したが、本実施形態の投影装置は、計測パターンを投影せずに映像コンテンツを投影してもよい。例えば、当該投影装置とは別体で、計測パターンを投影する手段が映像投影システムに設けられてもよいし、適宜、計測パターンの投影機能が省略されてもよい。
【０１２３】
また、上記の各実施形態においては、動く対象物１０に動画を投影するプロジェクション・マッピングに適用される映像投影システム１，１Ａを説明したが、本実施形態はこれに限定されない。例えば、本実施形態の映像投影システムは、静止する物体を投影対象の対象物としてもよいし、静止画を投影表示してもよい。例えば、３６０度視野のアトラクション等の視認者が視線を動かすことが想定される状況下では、表示される映像が視認者に間欠的に感じられ易い課題が生じる。このような状況にも、本実施形態の映像表示方法は適用可能である。
【０１２４】
また、上記の各実施形態では、表示部として投影装置を備える映像投影システムを映像表示装置の一例として説明した。本実施形態の映像表示装置において、表示部は、投影装置に限らず、液晶パネルまたは有機ＥＬパネル等であってもよい。この場合においても、本実施形態の映像表示装置により、各種表示デバイスの伝送および処理速度などの各種制約下で、高階調で高速に映像表示を行うことができる。
【０１２５】
また、上記の各実施形態では、入力映像４ｉの１６（２の４乗）倍のフレームレートで最終的な表示がなされ、階調値は１６（２の４乗）分の１に減色される例を説明した。本実施形態の映像表示装置は、２のＸ（１以上の整数）乗倍のフレームレートで最終的な表示を行い、階調値を２のＸ乗分の１に減色させることができる。
【０１２６】
また、上記の各実施形態では、図７等で変動階調値のセットを構成する数Ｍが１６個である例を説明したが、Ｍ＝１６に限らず、他の値であってもよい。本実施形態の映像表示装置は、元の階調値のそれぞれに対応するＭ個の変動階調値のセットを生成する際に、０〜Ｍ−１までのいずれかの値を有する変動値Ｐを変動階調値に対応して出力してもよい。映像表示装置は、出力した変動値Ｐに対応して、元の階調値と変動値Ｐとの和を、変動値のセットを構成する変動値の数Ｍにより除して、その結果得られる商の小数点以下を切り捨てることにより、変動階調値を生成することができる。なお、変動値Ｐは整数を用いる例を説明したが、変動値Ｐは整数に限らず、例えば小数点形式であってもよい。
【０１２７】
以上のように、本開示における技術の例示として実施形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１２８】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１２９】
また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１３０】
本開示は、各種の映像表示を行う技術に適用可能であり、例えば動く対象物に対するプロジェクション・マッピングに適用可能である。
【符号の説明】
【０１３１】
１，１Ａ    映像投影システム
１０    対象物
１１    投影装置
１２    制御装置
１３    撮影装置
１８    位置計算装置
２１    第１入力部
２２    第２入力部
２３    映像生成部
２４    計測パターン生成部
２５    映像出力部
３０    画像合成部
３１    変動値出力部
３２    変動値加算部
３３    画像減色部
３４    ディザパターン出力部
３５    補正値決定部
３６    補正値加算部
３７    ディザパターン蓄積部
【図１】
2020012912.tif 000003
【図２】
2020012912.tif 000004
【図３】
2020012912.tif 000005
【図４】
2020012912.tif 000006
【図５】
2020012912.tif 000007
【図６】
2020012912.tif 000008
【図７】
2020012912.tif 000009
【図８】
2020012912.tif 000010
【図９】
2020012912.tif 000011
【図１０】
2020012912.tif 000012
【図１１】
2020012912.tif 000013
【図１２】
2020012912.tif 000014
【図１３】
2020012912.tif 000015
【図１４】
2020012912.tif 000016
【図１５】
2020012912.tif 000017
【図１６】
2020012912.tif 000018
【図１７】
2020012912.tif 000019