(57)【要約】      （修正有）【解決手段】プラズマ発生装置は、レーザパルスビームを生成するフェムト秒レーザ光源を備え、コンピュータ生成ホログラムを生成するプロセッサを備え、コンピュータ生成ホログラムに従ってレーザパルスビームを変調する空間光変調器を備え、空間光変調器に光学的に接続された３次元スキャナを備え、３次元スキャナは、空中の１つ以上の焦点に変調レーザパルスビームを指向させ、変調レーザパルスビームを集束させるレンズを備える。変調レーザパルスビームは、１つ以上の焦点で、可視性、可聴性、及び、触知可能な発光効果を有する。【効果】同時にアドレス指定可能であり、コンピュータ生成ホログラムと組み合わせ可能であり、近接場のレーザプラズマディスプレイを提供可能であり、触覚ベースのプラズマインタラクションを提供可能であり、且つ、没入型のオーディオを提供可能である。【選択図】なし【特許請求の範囲】
【請求項１】
レーザパルスビームを生成するフェムト秒光源を備え、
コンピュータ生成ホログラムを生成するプロセッサを備え、
前記コンピュータ生成ホログラムに従って前記レーザパルスビームを変調する空間光変調器を備え、
前記空間光変調器に光学的に接続された３次元スキャナを備え、
前記３次元スキャナは、空中の１つ以上の焦点に前記変調レーザパルスビームを指向させ、
前記変調レーザパルスビームを集束させるレンズを備える、
プラズマ生成装置。
【請求項２】
前記変調レーザパルスビームは、単一焦点で発光効果を誘起する、
請求項１に記載のプラズマ生成装置。
【請求項３】
前記変調レーザパルスビームは、複数の焦点で発光効果を誘起する、
請求項１に記載のプラズマ生成装置。
【請求項４】
前記３次元スキャナは、ガルバノスキャナと、バリフォーカルレンズと、を備える、
請求項１に記載のプラズマ生成装置。
【請求項５】
前記発光効果の輝度の変化を検出するセンサを備える、
請求項２に記載のプラズマ生成装置。
【請求項６】
前記変調レーザパルスビームは、１つ以上の焦点で触知可能なライトフィールドを生成する、
請求項１に記載のプラズマ生成装置。
【請求項７】
前記変調レーザパルスビームは、１つ以上の焦点で触知可能なアコースティックフィールドを生成する、
請求項６に記載のプラズマ生成装置。
【請求項８】
１つ以上の焦点の周辺に触知可能なアコースティックフィールドを生成する超音波フェーズドアレイを備える、
請求項６に記載のプラズマ生成装置。
【請求項９】
前記触知可能なライトフィールドは、触覚画像パターンを含む、
請求項６に記載のプラズマ生成装置。
【請求項１０】
前記レンズは、マイクロレンズアレイである、
請求項１に記載のプラズマ生成装置。
【請求項１１】
オブジェクトの位置を検出するセンサを備える、
請求項１に記載のプラズマ生成装置。
【請求項１２】
オーディオ信号に従って前記レーザパルスビームの強度を変更する振幅変調器を備える、
請求項１に記載のプラズマ生成装置。
【請求項１３】
フェムト秒レーザパルスビームを生成するステップを備え、
コンピュータ生成ホログラムを生成するステップを備え、
前記コンピュータ生成ホログラムに従って前記フェムト秒レーザパルスビームを変調することにより、１つ以上の変調レーザパルスビームを生成するステップを備え、
空中の１つ以上の焦点に前記１つ以上のレーザパルスビームを指向させるステップを備える、
プラズマ生成方法。
【請求項１４】
１つ以上の変調レーザパルスビームを１つ以上の焦点で集束させることにより、１つ以上の焦点で発光効果を誘起するステップを備える、
請求項１３に記載のプラズマ生成方法。
【請求項１５】
前記発光効果の輝度の変化を検出するステップを備える、
請求項１３に記載のプラズマ生成方法。
【請求項１６】
１つ以上の焦点で触知可能なライトフィールドを生成するステップを備える、
請求項１３に記載のプラズマ生成装方法。
【請求項１７】
１つ以上の焦点で超音波放射圧を生成する、
請求項１６に記載のプラズマ生成方法。
【請求項１８】
１つ以上の焦点の周辺で超音波放射圧を生成する、
請求項１６に記載のプラズマ生成方法。
【請求項１９】
残像の生成に十分なレートで前記発光効果を誘起するステップを備える、
請求項１４に記載のプラズマ生成方法。
【請求項２０】
１つ以上の焦点の近傍に新しい１つ以上の焦点の組み合わせを判定するステップを備える、
請求項１４に記載のプラズマ生成方法。
【請求項２１】
前記検出された変化を入力選択として用いるステップを備える、
請求項１５に記載のプラズマ生成方法。
【請求項２２】
１つ以上の焦点で１つ以上の変調レーザパルスビームを指向させることにより、音波を発生させる発光効果を導出するステップを備える、
請求項１３に記載のプラズマ生成方法。
【請求項２３】
前記音波は、可聴周波数帯である、
請求項２２に記載のプラズマ生成方法。
【請求項２４】
前記音波は、超音波周波数帯である、
請求項２２に記載のプラズマ生成方法。
【請求項２５】
オーディオ信号に従って前記フェムト秒レーザパルスビームの強度を調整するステップを備える、
請求項１３に記載のプラズマ生成方法。
【請求項２６】
前記フェムト秒レーザパルスビームを弱めるステップを備える、
請求項１３に記載のプラズマ生成方法。
【請求項２７】
前記１つ以上の焦点は、前記コンピュータ生成ホログラムに応じた位置に配置されることにより、指向性音波を生成する、
請求項１３に記載のプラズマ生成方法。
【請求項２８】
複数のフェームと秒レーザパルスビームを生成するステップを備え、
前記複数のレーザパルスビームを２以上の焦点に指向させるステップを備える、
プラズマ生成方法。
【請求項２９】
前記２以上の焦点は、触覚画像パターンを含む、
請求項２８に記載のプラズマ生成方法。
【請求項３０】
前記２以上の焦点の近傍に超音波放射圧を生成するステップを含む、
請求項２９に記載のプラズマ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にインタラクティブなボルメトリックオーディオビジュアルディスプレイに関する。より詳細には、本発明は、高輝度超短パルスレーザ光源を用いて、高分解能であり、安全であり、且つ、インタラクティブである、３次元画像と空中オーディオを生成する方法及びシステムに関する。
【背景技術】
【０００２】
３次元（３Ｄ）ディスプレイは、過去５年間にわたって大きな注目を集めている。３Ｄ仮想オブジェクトは元々、ヘッドマウントディスプレイで表示されている。それ以来、平面を持つ３Ｄディスプレイを探索するための継続的な努力がなされており、且つ、両眼立体視を提供するために幾つかの手法が開発されている。３Ｄディスプレイは、例えば以下の技術（アナグリフ、時分割、及び、偏光）に基づいて両眼立体視を実現するメガネを採用している。一方、３Ｄディスプレイ眼鏡に頼らないものは、例えば以下の技術（視差障壁及びレンチキュラレンズアレイ）に基づいている。これらの手法は効果的な３次元画像を提供することが可能であるが、複数の視点に対して正確な画像の計算と生成が必要であり、且つ、ユーザの視野角は限定される。
【０００３】
高度な３Ｄディスプレイを実現するための別のアプローチは、物理的な３次元空間を使用して、平面の代わりに画像をレンダリングすることである。このアプローチは、様々な視覚効果を使用して奥行きをシミュレートする従来の画面の平面イメージではなく、３つの物理的な次元でオブジェクトの視覚的表現を形成する。これらの３Ｄディスプレイは、ボルメトリックディスプレイと呼ばれ、且つ、ユーザに任意の角度からの表示画像を見せることができる。ボルメトリックディスプレイは、３次元空間に配置された「ボクセル」を表示する。
【０００４】
レーザは、３次元空間の任意の点に様々なメディアのライトスポット（「ボクセル」）を配置するのに使用することができる。レーザによって配置されるライトスポットの幾つかの利点は、（１）特別な材料を配置する必要がなく、且つ、媒体の光の放出を抑制する必要がない点、（２）視線の妨げになり得る構造を回避することができるような無線通信、及び、（３）光学技術の進歩に伴うレーザの正確な制御である。空中レーザベースのボルメトリックディスプレイでは、空中のボクセル、つまりプラズマは、高輝度レーザによって生成され、その高輝度レーザは、トータルパワーの制限下においてパルス持続時間の短縮により実現される。
【０００５】
レンダリング速度がわずか１００ｄｏｔ／ｓｅｃのときには、ナノ秒レーザを用いて、ボルメトリックディスプレイの最初のデモンストレーションが実施された（Kimura et al. 2006）。後に、フェムト秒レーザによって１０００ｄｏｔ／ｓｅｃが達成された（Saito et al. 2008）。しかし、これらのシステムの分解能は低い。
【０００６】
空気以外のメディアへのレーザベースのボルメトリックディスプレイのデモンストレーションも実施された。５００００ｄｏｔ／ｓｅｃのレンダリング速度が実現しているときには、水中でナノ秒レーザベースのボルメトリックディスプレイが開発された（Kimura et al. 2011）。その後、コンピュータ生成ホログラムを用いた並列光アクセスを有する蛍光媒質中のフェムト秒レーザによるボルメトリックディスプレイが開発され、高分解能化が実現された（Hasegawa et al. 2013）これらのシステムでは、導出されたライトスポットにはアクセスできない。
【０００７】
空中ボルメトリックディスプレイは、通常、ユーザの手によるインタラクションを伴う。仮想のオブジェクトとユーザをインタラクションさせるためのタッチ感を提供するために、空中触覚を空中ボルメトリックディスプレイに組み込むことには利点がある。空中触覚は、物理的コンタクト、又は、ウェアラブルデバイスなしの距離から力を加えることができる点に利点があり、且つ、高いプログラマビリティを有する。つまり、物理的なアクチュエータが不要であるので、３次元空間の任意の位置に再配置可能である。例えば、最近の研究では、超音波振動子アレイ（Hoshi et al. 2010, Carter et al. 2013; Inoue et al. 2014）、又は、非接触触覚刺激とフィードバックのための空気渦（Sodhi et al. 2013; Gupta et al. 2013）の使用を検討している。これらのアプローチは、空間精度を欠き、且つ、動作距離に制限がある。最近の研究はまた、触覚を呼び起こすために低消費電力ナノ秒レーザの使用を検討している（Jun et al. 2015、Lee et al. 2015）。しかし、低パワーのナノ秒レーザでさえ、人間の皮膚の温度を瞬時に上昇させることが示されている。
【０００８】
通常、空中ボルメトリックディスプレイには、サウンドシステムが付属している。自由空間における空間音響分布の制御に関する従来の研究は、３Ｄ音響を生成する手段としてのマルチチャンネルオーディオ合成と超音波ベースの超指向性スピーカ（パラメトリックスピーカ）を含む。従来のサラウンドサウンドスピーカは、没入型の音環境をシミュレートし、且つ、可聴音波の干渉を介して空間パターンを生成する（Shinagawa et al. 2007）。しかし、聴覚体験の質は、サラウンドサウンドスピーカの環境に対する聞き手の位置に依存し、且つ、聴覚体験は、ターゲット領域の中心にいる聞き手に最適化される。パラメトリックスピーカは、超音波振動子アレイを用いた可聴音の狭いビームを生成することができるので、デバイスのターゲットになった特定の人に音を聴かせることができる（Yoneyama et al. 1983）。これらのサウンドシステムでは、何れも、可聴音は、ターゲット領域の外側から生成され、且つ、ターゲット領域に向かって放出される。
【０００９】
したがって、高分解能、且つ、スケーラブルな空中ボルメトリックディスプレイを持つことが望ましい。また、改善された非接触触覚フィードバックを有する空中ボルメトリックディスプレイを持つことが望ましい。また、特定の視点から見た３Ｄビジュアル体験を伴うようにパーソナライズ化された没入型空間オーディオ体験を有することが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、空中ボルメトリックグラフィックスを生成するためのシステム及び方法であって、フェムト秒レーザが任意の３次元位置で光を発する物理的現象を起こさせるものである。
【００１１】
本発明の目的は、空間光変調器と、計算による位相変調と、を利用して、レーザベースの空中ボルメトリックディスプレイのスケーラビリティ及び分解能を向上させることである。本発明の別の目的は、フェムト秒レーザを利用して、ユーザとボルメトリックディスプレイとの間の安全なインタラクションを提供することである。本発明の別の目的は、フェムト秒レーザを利用して、機能性空中オーディオスピーカを実現することである。超短パルスレーザの焦点に誘起されたプラズマは、インパルスのような衝撃波を生成し、且つ、焦点は、３次元空間内の任意の位置に操作及び配置することができる。計算によるグラフィカルデザイン方法は、空間オーディオスピーアの実装に使用される。
【課題を解決するための手段】
【００１２】
一態様によれば、システムは、超高速フェムト秒レーザ光源と、空間光変調器と、３次元位置スキャナとを備える。このシステムは、同時にアドレス指定可能であり、コンピュータ生成ホログラムと組み合わせ可能であり、近接場のレーザプラズマディスプレイを提供可能であり、触覚ベースのプラズマインタラクションを提供可能であり、且つ、没入型のオーディオを提供可能である。
【００１３】
本発明によれば、フェムト秒光源から得られるレーザ誘起プラズマが、触覚インタラクションを含むインタラクティブコントロールに利用可能になる。低エネルギープラズマは、プラズマと接触する人にもたらされる危険を最小限に抑える。
【００１４】
本発明の一態様は、
レーザパルスビームを生成するフェムト秒光源を備え、
コンピュータ生成ホログラムを生成するプロセッサを備え、
前記コンピュータ生成ホログラムに従って前記レーザパルスビームを変調する空間光変調器を備え、
前記空間光変調器に光学的に接続された３次元スキャナを備え、
前記３次元スキャナは、空中の１つ以上の焦点に前記変調レーザパルスビームを指向させ、
前記変調レーザパルスビームを集束させるレンズを備える、
プラズマ生成装置である。
【００１５】
本発明の別の態様では、前記変調レーザパルスビームは、単一焦点で発光効果を誘起する。
【００１６】
本発明の別の態様では、前記変調レーザパルスビームは、複数の焦点で同時に発光効果を誘起する。
【００１７】
本発明の別の態様では、前記３次元スキャナは、ガルバノスキャナと、バリフォーカルレンズと、を備える。
【００１８】
本発明の別の態様では、前記プラズマ生成装置は、前記発光効果の輝度の変化を検出するセンサを備える。
【００１９】
本発明の別の態様では、前記変調レーザパルスビームは、１つ以上の焦点で触知可能なライトフィールドを生成する。
【００２０】
本発明の別の態様では、前記プラズマ生成装置は、１つ以上の焦点で触知可能なアコースティックフィールドを生成する超音波フェーズドアレイを備える。
【００２１】
本発明の別の態様では、前記プラズマ生成装置は、１つ以上の焦点の周辺で触知可能なアコースティックフィールドを生成する超音波フェーズドアレイを備える。
【００２２】
本発明の別の態様では、前記触知可能なライトフィールドは、触覚画像パターンを含む。
【００２３】
本発明の別の態様では、前記レンズは、マイクロレンズアレイである。
【００２４】
本発明の別の態様では、前記プラズマ生成装置は、オブジェクトの位置を検出するセンサを備える。
【００２５】
本発明の別の態様では、前記プラズマ生成装置は、オーディオ信号に従って前記レーザパルスビームの強度を変更する振幅変調器を備える。
【００２６】
本発明の一態様は、
フェムト秒レーザパルスビームを生成するステップを備え、
コンピュータ生成ホログラムを生成するステップを備え、
前記コンピュータ生成ホログラムに従って前記フェムト秒レーザパルスビームを変調することにより、１つ以上の変調レーザパルスビームを生成するステップを備え、
空中の１つ以上の焦点に前記１つ以上のレーザパルスビームを指向させるステップを備える、
プラズマ生成方法である。
【００２７】
本発明の別の態様では、前記プラズマ生成方法は、１つ以上の変調レーザパルスビームを１つ以上の焦点で集束させることにより、１つ以上の焦点で発光効果を誘起するステップを備える。
【００２８】
本発明の別の態様では、前記プラズマ生成方法は、前記発光効果の輝度の変化を検出するステップを備える。
【００２９】
本発明の別の態様では、前記プラズマ生成方法は、１つ以上の焦点で触知可能なライトフィールドを生成するステップを備える。
【００３０】
本発明の別の態様では、前記プラズマ生成方法は、１つ以上の変調レーザパルスビームを１つ以上の焦点で集束させることにより、１つ以上の焦点で超音波放射圧を生成する。
【００３１】
本発明の別の態様では、前記プラズマ生成方法は、１つ以上の変調レーザパルスビームを１つ以上の焦点で集束させることにより、１つ以上の焦点の周辺で発光効果を誘起するステップを備える。
【００３２】
本発明の別の態様では、前記プラズマ生成方法は、残像の生成に十分なレートで前記発光効果を誘起するステップを備える。
【００３３】
本発明の別の態様では、前記プラズマ生成方法は、１つ以上の焦点の近傍に新しい１つ以上の焦点の組み合わせを判定するステップを備える。
【００３４】
本発明の別の態様では、前記プラズマ生成方法は、前記検出された変化を入力選択として用いるステップを備える。
【００３５】
本発明の別の態様では、前記プラズマ生成方法は、１つ以上の焦点で１つ以上の変調レーザパルスビームを指向させることにより、音波を発生させる発光効果を導出するステップを備える。
【００３６】
本発明の別の態様では、前記音波は、可聴周波数帯である。
【００３７】
本発明の別の態様では、前記音波は、超音波周波数帯である。
【００３８】
本発明の別の態様では、前記プラズマ生成方法は、オーディオ信号に従って前記フェムト秒レーザパルスビームの強度を調整するステップを備える。
【００３９】
本発明の別の態様では、前記プラズマ生成方法は、前記フェムト秒レーザパルスビームを弱めるステップを備える。
【００４０】
本発明の別の態様では、前記プラズマ生成方法は、前記１つ以上の焦点は、前記コンピュータ生成ホログラムに応じた位置に配置されることにより、指向性音波を生成する。
【００４１】
本発明の別の態様では、前記プラズマ生成方法は、
複数のフェームと秒レーザパルスビームを生成するステップを備え、
前記複数のレーザパルスビームを２以上の焦点に指向させるステップを備える。
【００４２】
本発明の別の態様では、前記２以上の焦点は、触覚画像パターンを含む。
【００４３】
本発明の別の態様では、前記プラズマ生成方法は、前記２以上の焦点の近傍に超音波放射圧を生成するステップを含む。
【００４４】
本発明の実施形態の他の特徴および利点は、以下の詳細な説明、添付の図面、及び、添付の特許請求の範囲から容易に明らかになるであろう。
【図面の簡単な説明】
【００４５】
【図１】媒体毎のレーザ誘起効果を示す。図１（ａ）は、空気の電離によって生じるプラズマ発光を示す。図１（ｂ）は、蛍光溶液に誘起される蛍光を示す。図１（ｃ）は、蛍光プレートに誘起されえる蛍光を示す。図１（ｄ）は、水のキャビテーションから生じるマイクロバブルによって散乱される光を示す。
【図２】本実施形態のボルメトリックグラフィックスを生成するシステムを示す。
【図３】本実施形態の別の態様のボルメトリックグラフィックスを生成するシステムを示す。
【図４】図４（ａ）〜（ｃ）は、それぞれ、１００ｆｓレーザ、３０ｆｓレーザ、及び、２６９ｆｓレーザのスペクトラムを示す。図４（ｄ）は、１００ｆｓレーザ、３０ｆｓレーザ、及び、２６９ｆｓレーザのそれぞれのピーク強度及びパルス幅を示す。
【図５】図５（ａ）は、オリジナル画像の例を示す。図５（ｂ）は、オリジナル画像の変換スポットアレイ画像を示す。図５（ｃ）は、空間光変調器に表示されるべきオリジナル画像のホログラムを示す。
【図６】３０ｆｓレーザ及び１００ｆｓレーザによって空中で誘起される発光の輝度の実験結果を示す。
【図７】３０ｆｓレーザによって誘起される蛍光溶液、水、及び、空気における発光の輝度の実験結果を示す。
【図８】プラズマドットに同時にアドレスされる輝度の評価結果を示す。図８（ａ）は、同時に生成されたボクセルのパルスエネルギーに対するプラズマドットの規格化された強度を示す。図８（ｂ）は、プラズマドットに同時にアドレスされる拡大写真及びプラズマドットパターンの生成に使用されるコンピュータ生成ホログラムを示す。図８（ｃ）は、一連の写真において同時に生成されるボクセルのパルスエネルギーに対するプラズマドットの強度の比較結果を示す。
【図９】皮膚へのダメージに関する実験結果を示す。図９（ａ）は、レザーシート上に５０ｍｓ間３０ｆｓのレーザパルスを照射したときの効果を示す。図９（ｂ）は、レザーシート上に２０００ｍｓ間３０ｆｓのレーザパルスを照射したときの効果を示す。図９（ｃ）は、レザーシート上に２０００ｍｓ間３０ｆｓのレーザパルスを照射したときのダメージ領域を示す。図９（ｄ）は、レザーシート上に３０ｆｓと１００ｆｓのレーザパルスを照射したときの５０ｍｓ〜６０００ｍｓの照射時間毎の効果を示す。
【図１０】本実施形態の様々なアプリケーションを示す。図１０（ａ）は、空間仮想現実の例を示す。図１０（ｂ）は、触覚フィードバックの例を示す。図１０（ｃ）は、空中ボルメトリックグラフィックスの例を示す。図１０（ｄ）は、透明壁（例えば、ガラス壁）に囲まれた空中ボルメトリックグラフィックスの例を示している。
【図１１】蛍光液に同時にアドレス指定したときの実験結果を示す。
【図１２】蛍光プレートに同時にアドレス指定したときの実験結果を示す。
【図１３】水に同時にアドレス指定したときの実験結果を示す。
【図１４】空中レンダリングに関する実験結果を示す。図１４（ａ）は、空中にレンダリングされたロゴを示す。図１４（ｂ）は、空中にレンダリングされたシリンダを示す。図１４（ｃ）は、空中にレンダリングされたハート及びインタラクション効果を示す。図１４（ｄ）は、空中にレンダリングされた妖精を示す。図１４（ｅ）は、仮想現実の例として、種から発芽する「もやし」を示す。図１４（ｆ）は、リングに接触した後に「宝石」に変化する光点を示す。図１４（ｇ）は、光点と指との間の直接インタラクションを示す。
【図１５】レーザ及び超音波クロスフィールドセットアップによって生成された触覚フィードバックを示す。
【図１６】本実施形態のボルメトリックグラフィックス及びクロスフィールド触覚フィードバックを生成するシステムを示す。
【図１７】本実施形態の空中ボルメトリックディスプレイ及びクロスフィールド触覚フィードバックを生成するシステムを示す。
【図１８】知覚閾値に関する実験結果を示す。図１８（ａ）は、衝撃波の知覚閾値を示す。図１８（ｂ）は、超音波放射圧の知覚閾値を示す。図１８（ｃ）は、知覚閾値より弱い超音波振動刺激の負荷を加えられたレーザプラズマの衝撃波を含むクロスフィールドの知覚閾値を示す。
【図１９】ドット、ライン、及び、ボックスを含むレーザプラズマによって生成された空間パターンの一連の写真を示す。
【図２０】レーザプラズマによって生成された空間パターンの識別に関する実験結果を示す。
【図２１】本実施形態の触知可能な超音波フィールドを生成するシステムを示す。
【図２２】本実施形態の制御システムの図を示す。
【図２３】レーザ及び超音波によって生成された多重分解能の３Ｄ画像を示す。図２３（ａ）は、視覚触覚仮想現実のユーザビューを示す。図２３（ｂ）は、レーザプラズマを示す。図２３（ｃ）は、ドライアイスによって可視化された超音波フィールドを示す。図２３（ｄ）は、仮想現実マーカのカメラビューを示す。図２３（ｅ）は、システムセットアップにおけるカメラの一を示す。
【図２４】点字アルファベットセットの文字及びそれに対応するコンピュータ生成ホログラムの生成プラズマ画像を示す。
【図２５】図２５（ａ）は、単一の焦点から放射される規格化音圧のレーザパワー毎の比較を示す。図２５（ｂ）は、レーザビームの伝搬方向に対するプラズマスポットの周辺のマイク位置を示す。
【図２６】焦点距離毎の焦点位置の指向性のチャート比較を示す。
【図２７】レーザパワー及びパルス幅毎の単一焦点から放射される規格化音圧のチャート比較を示す。
【図２８】レーザプラズマから放射される音波を示す。
【図２９】ライトフィールド超音波フィールドの重畳波形を示す。
【図３０】サウンドポイントの干渉パターンをシミュレートしたグラフィカルシミュレータの入出力スクリーンを示す。図３０（ａ）は、グリッドのポイントを選択することによって音源の位置をユーザに入力できるようにしたグラフィカルユーザインタフェースを示す。図３０（ｂ）は、入力ポイントの組み合わせに対する指向性の結果を示す。図３０（ｃ）は、入力ポイントの他の組み合わせに対する指向性の結果を示す。図３０（ｄ）は、入力ポイントの特定の組み合わせに対するヒートマップを示す。図３０（ｅ）は、入力ポイントの他の組み合わせに対するヒートマップを示す。
【図３１】本実施形態の空中音源を生成するシステムを示す。
【図３２】本実施形態の空中音源を生成する別のシステムを示す。
【図３３】本実施形態の空中音源を生成する別のシステムを示す。
【図３４】本実施形態の空中音源を生成する別のシステムを示す。
【図３５】単一焦点の音波特性及び周波数特性を示す。図３５（ａ）は、時間ドメインを示す。図３５（ｂ）は、周波数ドメインを示す。
【図３６】図３６（ａ）は、本実施形態の特定の照射パターンを有するマイクロレンズアレイを示す。図３６（ｂ）は、本実施形態の別の照射パターンを有するマイクロレンズアレイを示す。図３６（ｃ）は、図３６（ａ）のマイクロレンズアレイを用いて誘起されるプラズマ分布に対応する理論上の音圧分布を示す。図３６（ｄ）は、図３６（ｂ）のマイクロレンズアレイを用いて誘起されるプラズマ分布に対応する理論上の音圧分布を示す。図３６（ｅ）は、マイクロレンズアレイによって生成される音圧分布を測定するための実験セットアップを示す。
【図３７】図３７（ａ）は、本実施形態の音を生成するためのシステムを示す。図３７（ｂ）は、本実施形態の生成音の周波数を変更するためのシステムを示す。図３７（ｃ）は、本実施形態の生成音の周波数を変更するための別のシステムを示す。図３７（ｄ）は、本実施形態の生成音の周波数を変更するためのシステムを示す。
【図３８】ＬＣＯＳ−ＳＬＭを用いることにより生成された２つの音源から放射される音の周波数成分毎の極性特性を示す。
【図３９】ＬＣＯＳ−ＳＬＭを用いることにより生成された４つの音源から放射される音の周波数成分毎の極性特性を示す。
【図４０】本実施形態の振幅変調のためのシステムを示す。
【図４１】本実施形態の実装可能な様々なスピーカ構成を示す。
【図４２】本実施形態の空間音の様々なアプリケーションを示す。図４２（ａ）は、３Ｄグラフィックスを伴う空間音の利用を示す。図４２（ｂ）は、空中グラフィックスを伴う空間音の利用を示す。図４２（ｃ）は、インタラクティブ空中グラフィックスを伴う空間音の利用を示す。
【図４３】本実施形態の３Ｄグラフィックスを伴う空間音の他のアプリケーションを示す。
【図４４】図４４は、１０ｋＨｚ、２０ｋＨｚ、３０ｋＨｚ、４０ｋＨｚ、５０ｋＨｚ、６０ｋＨｚ、７０ｋＨｚ、８０ｋＨｚ、及び、９０ｋＨｚの指向性特性を示す。
【発明を実施するための形態】
【００４６】
本発明は、フェムト秒レーザを用いて、触ることができる空中ボルメトリックグラフィックスを生成し、且つ、没入型オーディオを生成するシステムを提供する。本明細書に開示および記載されている本実施形態に従って、空気中に生成されるレーザ誘誘起スポットを用いて、インタラクティブなオーディオビジュアル体験を提供する。本実施形態の目的は、汎用的、且つ、広範囲なアプリケーションのために安全且つスケーラブルな高輝度レーザを実現することである。
【００４７】
光スポットを生成するレーザ誘起効果には、蛍光、キャビテーション、及び、イオン化を含む３つのタイプがある。関連する特定の効果は、ディスプレイ媒体に依存する。図１（ａ）〜（ｄ）は、様々なディスプレイ毎のレーザ誘起効果媒体を示している。
【００４８】
レーザを使用して蛍光溶液または蛍光体を励起すると、レーザ誘起蛍光が発生する。はじめに、原子が１つ以上の光子を吸収すると、分子又は原子中の軌道電子が励起される。次に、電子が緩和すると、新しい光子が放出される。２つの光子が同時に吸収されると、放出された光子の波長は元の光子の半分になる。電子の励起に必要な波長は、蛍光物質の種類によって異なる。Ｎ個の光子が同時に吸収されると、放射光はＮ倍の短波長を持つ。この効果は、比較的低強度のレーザで発生する（ｎJ〜ｍJのエネルギーで十分である)。
【００４９】
レーザを使用して液体媒体を励起すると、レーザ誘起キャビテーションが発生する。マイクロバブルが、液体媒質中のレーザの焦点で生成される。このローカライズされたマイクロバブルのクラスタは、入射レーザを拡散するので、レーザは点光として観察される。この点光の色は、入射レーザの波長に直接依存する。この事実は、複数のレーザを使用してＲＧＢ画像を表現できることを示している。この効果は、材料にかかわらず、且つ、マイクロバブルの生成に強烈なレーザが必要である。
【００５０】
最後に、レーザを使用してガス媒体を励起すると、レーザ誘起イオン化が発生する。特に、トンネルイオン化は、十分な可視光を生成することができ、レーザ強度が１０１４Ｗ／ｃｍ２より大きい場合に特に優位に発生する。分子または原子の井戸型ポテンシャルは、ポテンシャル障壁を有する高輝度レーザの電界によって変形し、次いで、電子は、トンネル効果に基づいて原子から離脱する（すなわち、イオン化する）機会を有する。レーザの強度が高くなるほど、トンネルイオン化の確率が高くなる、すなわち、より多くの電子がイオン化されることが知られている。イオン化された電子は、半周期後の原子と組み換えられ、且つ、フォトンが放出される（この効果は、レーザ破壊と呼ばれる）。放出された光は、青白色を有する。
【００５１】
本実施形態は、空中でより容易に実現され、且つ、より広範囲なアプリケーションを有することから、イオン化効果に着目するが、他の効果は、ディスプレイ媒体毎に議論されることを考慮されたい。さらに、本実施形態で誘起されるプラズマは、触れることができる。さらに、誘起されるプラズマは、音波を生成するために変調することができるインパルス状の衝撃波を生成する。
【００５２】
図２は、本実施形態お同時マルチポイントボルメトリックグラフィックスを生成するシステム１００を示す。システム１００は、システムコントローラ１０１と、フェムト秒レーザ光源１１０と、空間光変調器１２０と、３次元位置スキャナ（ガルバノミラースキャナユニット１３０およびバリフォーカルレンズ１３５を含む）と、対物レンズ１６０と、光学レンズ及びミラー１４０、１４２、１４４、１４６、及び、１４８と、を備える。システム１００は、様々なディスプレイ媒体（例えば、空気及び水を含む）に画像を表示するのに使用可能である。
【００５３】
システムコントローラ１０１は、空間光変調器１２０と、ガルバノスキャナ部１３０と、バリフォーカルレンズレンズ１３５と、に作動的に結合される。光回路を介して、レーザパルスビームを指向させることにより、ワークスペース１９０で画像１９５を形成する。システムコントローラ１０１は、これらのコンポーネントをオブジェクトイメージに対応させ、且つ、フェムト秒光源１１０を同期させることにより、システムコントローラ１０１によって生成されたグラフィックスを形成する。
【００５４】
図２に示すように、フェムト秒光源１１０は、空間光変調器１２０によって変調されるレーザパルスビーム１１２を生成する。変調レーザパルスビームは、ビームレデューサとして作用する２つのレンズ１４０及び１４２を通過する。次に、レーザパルスビームは、ガルバノスキャナユニット１３０によって方向が変わり、ワークスペース１９０におけるレーザ光のＸＹ軸上の焦点が決まる。方向が変わったレーザパルスビームは、ビームエキスパンダとして作用する２つのレンズ１４４及び１４６を通過する。次に、レーザパルスビームは、ミラー１４８によって方向が変えられ、バリフォーカルレンズユニット１３５を通過することにより、ワークスペース１９０におけるレーザ光のＺ軸上の焦点が決まる。最後に、レーザパルスビームは、対物レンズ１６０に入射し、ワークスペース１９０におけるディスプレイ媒体（例えば、空気、水、蛍光板、又は、蛍光液）の特定の位置を励起させる焦点に集束する。
【００５５】
システムコントローラ１０１は、例えば、従来のビデオ出力ポート（例えば、ＤＶＩポート）及びＵＳＢ（Universal Serial Bus）ポートを有するパーソナルコンピュータ (以下「ＰＣ」という)とすることができる。
【００５６】
フェムト秒光源１２０は、市販のレーザを使用することができる。超短パルスは、低強度且つ長時間のパルスを高輝度且つ短時間のパルスに変換するおとによって生成可能である。時間平均レーザ出力が一定である場合、ピーク強度はパルス幅によって異なる。例えば、３０ｆｓパルス幅は、同一の時間平均出力の点で、１００ｆｓパルス幅より大きなピーク強度を有する。空中プラズマ生成に関しては、パルス幅よりレーザピーク強度の方が重要である。
【００５７】
ボルメトリックディスプレイ用のフェムト秒光源の選択においては、ディスプレイ媒体が主なファクタである。光スポットの誘起方法に応じて利用可能な波長が異なる。イオン化の場合、プラズマ色は、波長非依存であるので、不可視波長（例えば、赤外線又は紫外線）の使用が妥当である。蛍光の場合、複数の光子が分子によって吸収され、且つ、より短波長の単一光子となるので、多電子蛍光が妥当である。このように、発光が可視である場合にのみ、不可視の紫外光が利用可能である。一方、キャビテーションを適用する場合、入射波長はマイクロバブルによって拡散され、観測され、且つ、普遍であるので、発光体として可視波長を使用する必要がある。
【００５８】
空間光変調器１２０は、ホログラムの形成に利用可能な光学デバイスであるＳＬＭ（Spatial Light Modulator）の市販品を使用可能である。ＳＬＭは、位相及び強度の少なくとも１つを変調し、且つ、干渉に基づく様々な光の空間分布を発生させる。これは、任意のレーザパターンの生成に使用可能である。これは、コンピュータ生成ホログラム（ＣＧＨ）、すなわち、レーザビームの２次元断面に基づく計算位相変調を適用することによって実現される。所望の出力画像及びそれに対応するＣＧＨの例を図５（ａ）及び図５（ｃ）に示す。図５（ａ）は、ターゲット画像を示す。図５（ｃ）は、ターゲット画像から得られるＣＧＨを示す。ＳＬＭは、ＣＧＨ画像を使用してレーザパルスビームを変調する。したがって、ＳＬＭは、１つのレーザパルスビーム（同時にアドレスされたボクセルを含む）から、３次元空間で１つ以上の焦点を生成する。
【００５９】
本実施形態では、任意の所望の３Ｄグラフィックスは、以下のようなＳＬＭを用いた計算ホログラフィによって生成することができる。
【００６０】
光の空間的位相制御によって、横（ＸＹ）方向と軸（Ｚ）方向の両方に沿って焦点位置を制御することができる。コンピュータ生成ホログラム（ＣＧＨ）Ｕｒからの再構成の複素振幅（ＣＡ）は、設計されたＣＧＨパターンＵｈのフーリエ変換によって与えられる。
【数１】
2019117684.tif 000002
ここで、ＳＬＭに表示されるホログラム面の振幅及び位相は、それぞれ、再構成される面の振幅及び位相である。単純化すると、ＣＧＨに対する放射光が均一な強度分布を有する平面波として近似することができる場合、一定であるとみなせる。これは、ＯＲＡ（Optimal Rotation Angle）法により導出される。再構成の空間強度分布が、｜Ｕｒ｜２＝ａｒ２として、実際に観察された。
【００６１】
横（ＸＹ）方向に沿った集束位置の制御に対して、ＣＧＨは、多様な方位角を持つブレーズグレーティングのＣＡｓの重ね合わせに基づいて設計される。再構成がＮ個のマルチ集束スポットを有する場合、ＣＧＨは、Ｎブレーズグレーティングを含む。軸（Ｚ）方向に沿った集束位置の制御において、位相フレネルレンズパターンは、φｈに単純加算される。
【数２】
2019117684.tif 000003
ここで、誘起スポットの大きさがレーザの焦点の大きさに等しい場合、ＳＬＭの空間分解能が最小焦点距離を決める。
【００６２】
ＯＲＡ法は、一様な強度を持つスポットアレイから構成されるＣＧＨの再構成を得るための最適化アルゴリズムである。図４（ａ）及び図４（ｃ）は、元画像、及び、元画像に対応するＣＧＨの一例を示す。これは、ｉ番目の反復プロセスにおいて、ピクセルｈの振幅をａｈ、ピクセルｈの位相をφｈ、再構成平面上の集束位置に対応するピクセルｒの複素振幅を（ＣＡ）Ｕｒ（ｉ）とすると、コンピュータでは以下のように記述される。
【数３】
2019117684.tif 000004
ここで、Ｕｈｒは、ＣＧＨ平面上のピクセルｈから再構成平面上のピクセルｒまで影響を受けるＣＡであり、φｈｒは、ピクセルｈからピクセルｒまでの光伝搬によって影響を受ける位相であり、ωｒ（ｉ）は、ピクセルｒの光強度を制御する重み係数である。ピクセルｒ毎の光強度の合計Σｒ｜Ｕｒ（ｉ）｜２を最大化するために、ピクセルｈでφｈ（ｉ）に加算される位相変化Δφｈ（ｉ）は、以下の数式を用いて計算される。
【数４】
2019117684.tif 000005
【数５】
2019117684.tif 000006
【数６】
2019117684.tif 000007
ここで、ωｒは、再構成平面上のピクセルｒでの位相である。ＣＧＨφｈ（ｉ）は、Δφｈ（ｉ）によって以下のように更新される。
【数７】
2019117684.tif 000008
さらに、ωｒ（ｉ）は、また、再構成平面上のピクセルｒでの光強度を制御するために、式（７）のフーリエ変換によって得られる再構成の光強度に応じて更新される。
【数８】
2019117684.tif 000009
ここで、Ｉｒ（ｉ）＝｜Ｕｒ（ｉ）｜２は、ｉ番目の反復プロセスにおいて、最高性平面上のピクセルｒでの光強度であり、ｉｒ（ｄ）は、所望の光強度であり、αは一定である。Ｉｒ（ｉ）がＩｒ（ｄ）に略等しくなるまで、位相変化Δφｈ（ｉ）は、上記繰り返しプロセス（式（４）〜（８））によって最適化される。したがって、ＯＲＡ法は、高品質なＣＧＨの生成を容易にする。
【００６３】
一般に、ＳＬＭは、レーザビームの強度及び位相の少なくとも１つを変調するピクセルのアレイを有する。ＳＬＭｓは、動的に再構成可能なピクセルを有する。例えば、ＳＬＭｓは、位相を変調するＬＣＯＳ  ＳＬＭｓと、強度を変調するＤＭＤ  ＳＬＭｓと、を含む。デュアルマスクＳＬＭｓは、位相及び強度の両方を変調することができる。
【００６４】
液晶ＳＬＭｓは、液晶分子の層を含む。この層における液晶分子の配向は、電極（すなわち、ピクセル）によって制御され、且つ、この層内で反射又は通過する光線の位相は、液晶分子の配向に応じて空間的に変調される。つまり、２種類の液晶ベースＳＬＭｓ（液晶（ＬＣ）−ＳＬＭｓ及びシリコン上の液晶（ＬＣＯＳ）−ＳＬＭｓ）がある。
【００６５】
ＬＣ−ＳＬＭは、液晶ディスプレイ（ＬＣＤ）及びレーザダイオード（ＬＤ）と結合された、平行配向したネマチック液晶空間光変調器（ＰＡＬ−ＳＬＭ）である。このデバイスは、リアルタイムＣＧＨｓの表示によく使用される。ＰＡＬ−ＳＬＭは、液晶層と、指定された波長範囲の誘電体ミラー層と、アモルファスシリコンを含む光学的にアドレスされた光導電層と、を有する。これらの層は、２つの透明なインジウムスズ酸化物電極間に挟持される。液晶層の液晶分子は、平行に配置される。入射光が光導電層に入射すると、光導電層のインピーダンスが小さくなり、且つ、それに応じて液晶層の電界が増加する。この電解の増加に伴い、液晶分子は、読み出し光の伝搬方向に傾き、且つ、液晶層の実効屈折率が減少する。フェムト秒レーザの偏光方向が液晶分子の方向と平行である場合にのみ、純粋な位相変調が発生する。ＬＤによって照射されたＬＣＤ上のＣＧＨパターンは、イメージング光学を介して、光導電層に適用される。
【００６６】
ＬＣＯＳ−ＳＬＭは、液晶層がシリコン基板上に配置された構造を有する空間光変調器である。電気アドレス指定回路は、半導体技術によりシリコン基板上に形成される。トップ層は、それぞれが独立して、その電気的電位を制御するアルミニウム電極によって作られたピクセルを含む。シリコン基板上に一定の間隙を保ったままガラス基板を配置し、その間隙に液晶材料を充填する。液晶分子は、シリコン基板とガラス基板に適用された配向制御技術によって、両基板間にねじれがない状態で平行に配向される。液晶層を挟んだ電界は、ピクセル単位で制御することができる。これは、光の位相を変調することができるように、電界に応じて液晶分子を傾かせる。また、誘電体ミラー層は、反射率を向上させることにより、内部吸収を低減し、高出力レーザでの動作を可能にする。
【００６７】
デジタルマイクロミラーデバイス（ＤＭＤ）は、顕微鏡の層、すなわちピクセルと、ミラーの位置を制御する各ミラーで２対の電極と、を含む。各顕微鏡は、オン又はオフを個別に切り替え可能である。この層で反射した光線の振幅は、ミラーの方向に応じて空間的に調整される。
【００６８】
換言すると、ＳＬＭｓは、光学フェーズドアレイとして機能する。このように、光の波を正確に制御することにより、ＳＬＭは、ホログラムを生成する光ビームパターン形成に利用可能である。式（３）〜（８）を参照すると、ＬＣＯＳ  ＳＬＭに関しては、ａｈは１に固定され、φｈが算出される。代わりに、ＤＭＤ  ＳＬＭに関しては、φｈは０に固定され、ａｈは０≦ａｈ≦１で計算される。その後、ａｈは０又は１に丸められる。ａｈが０の場合、０≦ａｈ≦０．５であり、且つ、ａｈが０．５の場合、０．５＜ａｈ≦１である。
【００６９】
ボルメトリックディスプレイ用のＳＬＭの選択においては、ＳＬＭの分解能及びスピードが主に考慮すべき要因である。ＬＣＯＳ  ＳＬＭは、ＤＭＤ  ＳＬＭと比べて、より高い回折効率を有するにもかかわらず、より低い動作周波数を有する。これは、ＬＣＳＯ  ＳＬＭｓは、遅いが高分解能であることを意味する。ＤＭＤ  ＳＬＭは、ＬＣＯＳ−ＳＬＭに比べて、より高い熱抵抗を有し、且つ、より高い動作周波数を有する。考慮すべき要因の概要を表１に示す。
【表１】
2019117684.tif 000010
図２は、反射型ＳＬＭｓに基づく光学回路を示すが、反射型ＳＬＭｓに代えて、透過型ＳＬＭｓも利用可能である。好ましくは、ＳＬＭ１２０は、ネマチック液晶素子を使用する反射型線形アレイＳＬＭであり、例えば、液晶ＳＬＭｓ（ＬＣ−ＳＬＭｓ）及びシリコンｅｋしようＳＬＭｓ（ＬＣＯＳ−ＳＬＭｓ）を含む。ＳＬＭ１２０のエネルギー変換効率は、約６５％〜約９５％になるべきである。
【００７０】
現在市販されているＳＬＭｓは、強力なレーザ光源に対する耐性がないため、レーザ光源のレーザパワーを最大限に活用することはできない。さらに、光回路は、高強度レーザを使用する場合、光回路にイオン化が発生することがあるため、慎重な開発及び処理が必要である。これは、出力エネルギーを低減させ、且つ、光学部品を破壊することがある。
【００７１】
ＳＬＭの代替は、受動型小型レンズアレイ、すなわちマイクロレンズアレイである変調器である。マイクロレンズアレイの開口部には、孔を有するカバー（例えば、ペーパシート）がセットされる。各レンズは独自の焦点を有するので、変調器は、マルチアクセスを提供する。変調器は静的であるが、高分解能という利点を有する。
【００７２】
３次元位置スキャナは、市販されている光学素子の組み合わせで実現可能である。図２に示された３次元位置スキャナは、ガルバノスキャナユニット１３０と、バリフォーカルレンズ１３５と、を備える。ガルバノスキャナユニット１３０は、横方向に沿った光点をスキャンし（Ｘスキャン及びＹスキャン）、バリフォーカルレンズ１３５は、軸方向の焦点を変えることができる（Ｚスキャン）。ガルバノスキャナユニット１３０及びバリフォーカルレンズ１３５は、システムコントローラ１０１によって制御される。さらに、システムコントローラは、追加の制御回路と組み合わせても良い。
【００７３】
別の例示的な実施形態では、光の空間位相制御が横（ＸＹ）方向及び軸（Ｚ）方向の両方に沿って集束位置の制御を可能にするので、ＳＬＭを３次元スキャナとして用いても良い。
【００７４】
したがって、３次元位置スキャナに関しては、当業者は、任意の位置にポイントを配置するための３つのオプションがあることを理解されたい。１つ目のオプションは、ガルバノスキャナ及びバリフォーカルレンズを調整することによりレーザを誘導するものである。２つ目のオプションは、ＳＬＭによってレーザの断面分布を変調することによって焦点を変化させるものである。ＳＬＭ、並びに、ガルバノスキャナユニット及びバリフォーカルレンズの組み合わせは、略同一の領域にグラフィックスを形成することができる。これらのデバイスの条件及び応答時間が、適当な３次元位置スキャナを決める。３つ目のオプションは、ＳＬＭ、ガルバノスキャナユニット、及び、バリフォーカルレンズの組み合わせである。
【００７５】
ＳＬＭは、単一フレームの追加ドットの形成に使用され、ガルバノスキャナは、主に形成されたホログラムの位置決めに使用される。１ｋＨｚの周波数でパルス化されるフェムト秒レーザに関しては、理論的なレンダリング限界は、毎秒３０フレームについて毎秒３３ドットである。
【００７６】
システムコントローラ１０１は、一般的なパーソナルコンピュータ（以下「ＰＣ」という）である。ＰＣは、カスタムソフトウェアアプリケーションを実行し、且つ、３次元位置スキャナと直接的又は間接的に（例えば、ＵＳＢケーブル、又は、光学的インタフェース回路ボード、すなわちＰＣＩドライバボードを介して）、接続される。好ましくは、システムコントローラ１０１は、ＵＳＢを介してガルバノスキャナユニット１３０及びボイバリフォーカルレンズ１３５と接続される。
【００７７】
ＳＬＭｓは、標準的なコンピュータシステムのビデオ出力ポート（例えば、ＤＶＩポート）と接続可能なコントロールインタフェースポートがある。液晶分子又はマイクロミラーの配向は、ピクセル単位で制御可能である。好ましくは、ＳＬＭ１２０は、ＤＶＩポートを介して外部ディスプレイとしての制御コントローラ１０１に接続される。
【００７８】
システムコントローラ１０１は、所望の出力画像に基づいてＣＧＨを駆動し、且つ、フェムト秒レーザ光源１１０と同期して、ＳＬＭ１２０、ガルバノスキャナユニット１３０、及び、バリフォーカルレンズ１３５を制御することにより、ワークスペース１９０に出力画像を表示する。ワークスペース１９０をモニタするために、カメラが、システムコントローラ１０１に接続可能である。
【００７９】
対物レンズには、市販の光学レンズを使用可能である。対物レンズは、特殊なレンズではなく、光回路の端に配置された通常の光学レンズである。対物レンズは、空中プラズマの生成に必要である。レーザプラズマの生成は、レーザパワー（ＰＷ／ｃｍ２）を必要とする。したがって、対物レンズは、光を集束させて、焦点を形成することにより、空中プラズマを生成するために必要である。ガルバノスキャナユニット１３０の角度レンジ、すなわちＸＹスキャニングは、対物レンズの絞りサイズによって制限されるので、対物レンズの絞りサイズは、最大ワークスペースを規定する。絞りサイズが大きくなるほど、ガルバノスキャナの角度レンジが広がるが、絞りサイズが小さくなるほど、レーザパワーが大きくなる。
【００８０】
他の例示的な実施形態では、対物レンズは任意である。水の励起に必要なレーザパワーは、空気の励起に必要なレーザパワーより小さい。したがって、表示媒体として水を用いるボルメトリックディスプレイでは、対物レンズは必要ない。これらのディスプレイのワークスペースのサイズは、ガルバノスキャナの角度範囲と、及び、バリフォーカルレンズレンズの深度範囲と、によって制限される。
【００８１】
図２に示す実施形態では、光回路は、一対のビームエキスパンダレンズと、一対のレデューサレンズと、を含む。これらのビームエキスパンダ及びレデューサレンズは、市販の光学レンズである。これらは、レーザビームのビームスポットサイズの調整に使用され、且つ、商業目的、すなわち、ビームスポットサイズ毎に光学回路の素子が動作する場合に追加される。
【００８２】
ディスプレイ媒体は、潜在的なインタラクションを決める上でのキーファクタであるが、これは、ボクセルの輝度が選択された媒体の吸収レートに依存するためである。必要なエネルギーのオーダが空気から水に向かって減少する。したがって、トンネルイオン化に関する空気のブレイクダウンは、ＰＷ／ｃｍ２オーダのエネルギーを必要とする一方、水は、ＭＷ／ｃｍ２オーダのエネルギーを必要とする。さらに、媒体の柔らかさもインタラクションを決める。
【００８３】
空中プラズマを使用すると、ユーザは手を挿入することができ、またプラズマに触れることができる。フルカラーレーザ光源が採用された場合、キャビテーションによって起こる液体ボクセルは、フルカラー表現をもたらす。しかし、空気ブレイクダウン法は、モノクロ表現のみを提供することができる。
【００８４】
ボクセルのサイズ(すなわち、発光効果)は、レーザの焦点の大きさに関する。焦点は、通常、２つの直径を有する卵形である。１つは、レーザビームのパスに垂直な直径ｗｆである。これは回折限界であり、且つ、オリジナルビーム幅ａ、焦点距離ｒ、及び、波長λによって決まり、以下のように表される。
【数９】
2019117684.tif 000011
もう１つは、レーザビームのパスに平行な直径ｗｄである。これは、ａ：ｗｆ＝ｒ：ｗｄ／２の関係から、幾何学的に以下のように導かれる。
【数１０】
2019117684.tif 000012
高輝度レーザによって生成された発光ドットは、伝搬方向（フィラ）に沿った尾を有する。尾は、光学的カー効果に起因して振る舞う自己集束として生成される。それは、レーザビームの自然回折と競合し、且つ、空中に３次元グラフィックスを形成する場合には望ましくないものである。特に、この効果は、人間の目には見えないものである。これは、焦点での光がより明るいためである。
【００８５】
ボルメトリックディスプレイの時空間分解能は、フレーム毎のドット数（ｄｐｆ）によって規定される。ドットが暗闇に表示される場合、ドット毎の最小必要エネルギーは、レーザのブレイクダウン閾値Ｅｌｂｄと等しい。合計出力エネルギーＥｔｏｔは、ＳＬＭによって、ドット間で分割される。レーザパルス毎のドット数をＮｄｏｔとすると、以下の式が成立する。
【数１１】
2019117684.tif 000013
フレーム毎のドット数は、Ｎｄｏｔ、レーザパルスの繰り返し周波数Ｆｒｅｐ、及び、フレーム時間Ｔｆによって、ヒューマンビジョンの持続性に基づいて以下のように決定される。
【００８６】
【数１２】
2019117684.tif 000014
例えば、Ｎｄｏｔ＝１００、Ｆｒｅｐ＝１ｋＨｚ、及び、Ｔｆ＝１００ｍｓである場合、１００００ｄｐｆのアニメーションは１０ｆｐｓで再生される。実際には、毎フレームのドット数は、Ｆｒｅｐに代えて、ガルバノスキャナ及び／又はＳＬＭの応答時間のボトルネックによって決まる。
【００８７】
時空間分解能は、ＳＬＭを使用して同時にアドレスされるボクセルを生成し、且つ、レーザ光源の繰り返し周波数を増加させることにより、改善することができる。フーリエＣＧＨは、同時にアドレスされるボクセルの生成に使用される。フーリエＣＧＨは、ＯＲＡ（Optimal Rotation Angle）法を使用することにより最適化することができる。同時にアドレスされるボクセルの使用により得られる分解能の改善量は、（１）レーザ光源のエネルギー、（２）ＳＬＭの耐久性、（３）ＳＬＭのリフレッシュレート、及び、（４）ＳＬＭの分解能に依存する。しかし、ＳＬＭの液晶分子の性質に起因して、ＳＬＭのリフレッシュレート及び耐久性の改善には限界がある。したがって、空中プラズマイメージングの高分解能化を実現するためには、繰り返し周波数が、分解能の増加に対して重要な役割を果たす。より高いエネルギー及びより高い繰り返し周波数が分解能問題を解決する。
【００８８】
これに対して、水中発光の誘起に必要なエネルギーはより小さいので、ＳＬＭは、水媒体における高分解能画像の実現に重要な役割を果たす。したがって、３次元位置に対する平行なアクセスにより、ボルメトリックディスプレイの高分解能化を達成することができる。
【００８９】
（実験）
以下の実験が、本発明の可能性を証明し、且つ、様々な利点を示すために実施された。
【００９０】
下記の実験は、通常の雰囲気中（海抜で８０％のＮ２及び２０％のＯ２の混合を有する通常の空気）の下で、２０．５℃で実施された。水は、水道水であった。
【００９１】
ビジュアル実験１〜６のそれぞれについて、以下の１つ以上の好ましい実施形態を使用した。
【００９２】
好ましい実施形態（ここでは「システムＡ」という）は、図２に示された光学システムセットアップに基づいて、以下に説明される。
【００９３】
システムＡは、Coherent社製のフェムト秒レーザ光源を含む。このフェームと秒レーザ光源は、中心波長が８００ｎｍであり、繰り返し周波数が１ｋＨｚであり、パルスエネルギーが最大２ｍＪであり、パルス持続時間が３０ｆｓ〜１００ｆｓで調整可能である。図４（ａ）〜（ｄ）は、この光源で、３０ｆｓパルスセッティング及び１００ｆｓパルスセッティングのスペクトラル及びパルスエネルギーを示す。平均レーザパルスエネルギーが不変である場合、ピークエネルギーは、レーザのパルス持続時間毎に異なる。実際には、３０ｆｓパルス持続時間は、同一の平均エネルギーセッティングで１００ｆｓパルス持続時間より３倍大きなピークエネルギーを有する。ビジュアル実験１〜６では、実験は、パルス幅は３０に設定し、パルス持続時間は１００ｆｓに設定して実施された。実験及び結果は、それぞれ、システムＡ（３０ｆｓ）及びシステムＡ（１００ｆｓ）として示されている。レーザの平均パワーよりもピーク輝度は、たとえ短パルスであったとしても、空中プラズマの生成に重要である。システムＡは、空気を励起し、且つ、イオン化プラズマを生成するのに十分なピーク輝度を有する。
【００９４】
システムＡは、さらに、浜松ホトニクス社製ＬＣ−ＳＬＭを備える。このＬＣ−ＳＬＭは、ＬＣＤ及び６８０ｎｍのレーザダイオードと接続されるＰＡＬ−ＳＬＭを備える。このデバイスは、２ラジアン以上の位相のみの変調を実施することができ、且つ、７６８ピクセルｘ７６８ピクセルの分解能と、２０ｘ２０μｍ２のピクセルサイズと、１００ｍｓの応答時間と、を有する。
【００９５】
システムＡは、さらに、２つのレンズを備える。２つのレンズは、それぞれ、４５０ｍｍ及び１５０ｍｍの焦点距離を有する。２つのレンズユニットは、ビームスポットサイズを１／３に低減する。
【００９６】
システムＡは、さらに、ガルバノスキャナユニットを備える。ガルバノスキャナユニットは、スキャナコントローラボード（キヤノンＧＢ−５０１）によって駆動されるスキャンヘッドユニット（キヤノンＧＨ−３１５）を備える。スキャンヘッドユニット（キヤノンＧＨ−３１５）は、ビームの直径が１０〜１４ｍｍであり、スキャン角度が±０．１７ｒａｄであり、誤差が５μｒａｄ以下であり、分解能が２０ビットである。スキャンヘッドは、約１０ｘ１０ｍｍ２以上の面積を覆う。スキャナコントローラボード（キヤノンＧＢ−５０１）は、スキャンヘッドユニットと、ＸＹ平面の任意の座標にレーザビームを指向するレーザユニットと、を制御する。標準化されたＰＣＩバスは、ＰＣとインタフェースし、且つ、ＰＣコマンドから指示を取得する。
【００９７】
システムＡは、さらに、２つのレンズを備える。２つのレンズは、それぞれ、焦点距離５４０ｍｍ及び１５０ｍｍを有し、ガルバノスキャナユニットの後段に位置する。この２つのレンズユニットは、ビームスポットサイズを１．５倍にする。
【００９８】
システムＡは、さらに、バリフォーカルレンズレンズユニットOptotune 社製EL-10-30）を備える。バリフォーカルレンズ（EL-10-30）の開口は１０ｍｍであり、応答時間は２．５ｍｓ未満であり、焦点距離は＋４５〜＋１２０ｍｍである。バリフォーカルレンズ（EL-10-30）は、ボルメトリックスクリーン上のレーザビームのＺ軸の焦点位置を調整する。
【００９９】
システムＡは、さらに、対物レンズを備える。対物レンズの焦点距離は４０ｍｍである。
【０１００】
システムＡは、さらに、システムコントローラを備える。システムコントローラは、オペレーティングシステム（Ｗｉｎｄｏｗｓ（登録商標））で動作するＰＣを備える。ＳＬＭの動作と、ガルバノスキャナユニットと、バリフォーカルレンズと、を制御する全てのプログラムは、Ｃ＋＋でコーディングされる。ガルバノスキャナユニット及びバリフォーカルレンズユニットは、固有のスレッドで動作し、且つ、新しい描画パターンを受領すると同期する。ユーザ入力は、２０Ｈｚで取り込まれても良い。制御システムは、さらに、ＵＳＢマイクロスコープを備える。ＵＳＢマイクロスコープは、光学セットアップとディスプレイ媒体との間のインタラクションのモニタリングに使用される。
【０１０１】
システムＡのエネルギー変換レートは５３％である。
【０１０２】
図３の光学システムセットアップに基づく別の好ましい実施形態（以下「システムＢ」という）を以下に説明する。
【０１０３】
システムＢは、フェムト秒レーザ（IMRA America社製FCPA μJewel DE1050）を備える。フェムト秒レーザの中心波長は１０４５ｍｍであり、繰り返し周波数は２００ｋＨｚであり、パルスエネルギーは最大５０μＪであり、パルス持続時間は２６９ｆｓである。システムＢは、空気の励起及びイオン化プラズマの生成に十分なピーク輝度を有する。
【０１０４】
システムＢは、さらに、ガルバノスキャナ（Intelliscan 20i）を備える。ガルバノスキャナのスキャン角度は±０．３５ｒａｄであり、誤差は５μｒａｄ未満であり、分解能は２０ビットである。
【０１０５】
システムＢは、さらに、バリフォーカルレンズユニット（Optotune 製EL-10-30）を備える。バリフォーカルレンズユニット（EL-10-30）の開口は１０ｍｍであり、応答時間は２．５ｍｓ未満であり、焦点距離範囲は＋４５〜＋１２０ｍｍである。バリフォーカルレンズユニット（EL-10-30）は、ボルメトリックスクリーン上のレーザビームのＺ軸の焦点を調整する。
【０１０６】
システムＢは、さらに、２つのレンズを備える。２つのレンズの焦点距離は、５０ｍｍ及び８０ｍｍである。
【０１０７】
システムＢは、さらに、対物レンズを備える。対物レンズの焦点距離は、２０ｍｍである。
【０１０８】
システムＢは、さらに、制御システムを備える。制御システムは、オペレーティングシステム（Ｗｉｎｄｏｗｓ（登録商標））で動作するＰＣを備える。ガルバノスキャナユニット及びバリフォーカルレンズの動作を制御する全てのプログラムは、Ｃ＋＋でコーディングされる。制御システムは、さらに、カメラを備える。カメラは、光学セットアップとディスプレイ媒体との間のインタラクションのモニタリングに使用される。
【０１０９】
システムＢのエネルギー変換効率は８０％である。
【０１１０】
空気中のレーザ誘起プラズマ発光効果は、平方センチメートルあたりペタワットオーダ（ＰＷ／ｃｍ２）のレーザパワーを必要とする。
【０１１１】
（視覚実験１：エネルギーｖｓ．明るさ）
本発明者らは、プラズマ生成エネルギーと結果画像の明るさとの間の関係を評価する実験を実施した。入力エネルギーに対するボクセルの明るさは、時空間分解能の向上に対して重要である。この実験の目的は、システムＡの可能性の検証、及び、ボクセル表示への適用方法の調査である。したがって、最小ピークエネルギー値を決めた。
【０１１２】
実験は、パルス幅を３０ｆｓにセットしたシステムＡを用いて実施した。フェムト秒レーザ光源（Coherent社製）は、最大７Ｗの出力を提供したが、対物レンズより前段の光学回路の幾つかの素子は、高出力によって空気破壊を発生させた。このように、レーザ光源のフルパワーを用いることはできない。また、ＳＬＭ（浜松ホトニクス社製）のエネルギー容量は、２Ｗが保証されていない。したがって、実験は、０．０５〜１．００Ｗの出力レンジで実施した。マイクロスコープカメラは、結果画像の取込に使用した。
【０１１３】
（視覚実験２：パルス幅ｖｓ．明るさ）
本発明者は、パルス持続時間とボクセルの明るさとの間の関係を評価する実験を実施した。これは、スケーラビリティ、特に、より高速なレーザ光源の開発において重要である。ピークエネルギーがプラズマの生成に重要な役割を果たすので、ピークパルスと結果画像の明るさとの間の関係も実験した。
【０１１４】
実験は、パルス幅３０ｆｓ及び１００ｆｓであり、且つ、０．０５〜１．００Ｗの出力レンジでシステムＡを用いて実施した。顕微鏡カメラは、結果画像の取込に使用した。
【０１１５】
図６に結果を示す。パルス３０ｆｓ及び１００ｆｓは、同一の平均出力で異なるスペクトラム及びピークエネルギーを生み出す。３０ｆｓレーザは、３倍以上のピークパルスを生み出した。実験は、１００ｆｓレーザが、１パルスあたり０．４５ｍＪで始まるプラズマを生成できること、及び、ピーク輝度が２４ＰＷ／ｃｍ２であることを示した。
【０１１６】
（視覚実験３：ディスプレイ媒体毎の実験）
本発明者らは、ガスイオン化プラズマ、フォトン吸収、及び、キャビテーションを含む各種レーザ誘起効果間におけるエネルギー消費性能と、様々なディスプレイ技術にフェムト秒レーザシステムを適用するための探索手段と、を比較するために、ディスプレイ媒体毎の実験を実施した。
【０１１７】
実験は、パルス幅３０ｆｓのシステムＡを用いて行った。顕微鏡カメラは、結果画像の取込に使用した。図７に示すように、実験結果は、必要なパルスエネルギーの値は、ディスプレイ媒体に応じて桁違いに異なる。蛍光は、約０．０１μＪで発生し、キャビテーションは、約２μＪで発生し、且つ、イオン化は、１００μＪより大きいエネルギーで発生する。
【０１１８】
（視覚実験４：空中での同時アドレス指定）
本発明者らは、空中で高解像度グラフィックスを生成するレーザパルスビームの位相を変調するために、ＣＧＨｓのスケーラビリティを判断する実験を行った。従来のシステムでは、複数のボクセルを同時に生成することはできなかった。この実験は、特に、ＳＬＭを使用して、単一の光源から同時にアドレスされたボクセルを生成することによる分解能のスケーラビリティを探索するために実施された。同時アドレス指定は、時空間分解能を向上させるので重要であるが、エネルギーがボクセル間で分散するので、同時にアドレスされるボクセルは、単一ボクセルより暗くなる。本発明者は、ＣＧＨｓの使用が同時に複数のプラズマスポットの生成に使用可能であると仮定した。同時アドレス指定は、単一のSLM↑に適切な\ホログラムを表示することにより、側面（Ｘ，Ｙ）及びビーム（Ｚ）軸の両方に利用可能である。しかし、この実験では、容易化のために、横方向の軸の同時アドレス指定のみを調査した。
【０１１９】
この実験は、パルス幅が３０ｆｓであり、且つ、レーザパワーレンジが０．０５〜１．８４Ｗに設定されたシステムＡを用いて実施した。
【０１２０】
図８（ａ）〜（ｃ）は、結果と、ＳＬＭに使用されるＣＧＨｓと、を示す。図８（ｃ）に示されるように、同時にアドレスされるボクセルは可視である。その結果、システムＡの電源の制約の下で、４つの並行アクセスまでが観察可能であった。ＳＬＭの回折効果は、約５０％とした。
【０１２１】
（ビデオ実験５：水中での同時アドレス指定）
本発明者らは、水中で高解像度グラフィックスを生成するためのレーザパルスビームの位相を変調するＣＧＨｓを使用することの実現可能性を決定する実験を実施した。この実験は、パルス幅が３０ｆｓであり、且つ、レーザパワーレンジが０．０５〜１．８４Ｗに設定されたシステムＡを用いて実施した。顕微鏡カメラは、結果画像の取込に使用した。
【０１２２】
（ビジュアルアプリケーション１：空中ディスプレイ）
レーザ励起プラズマは、空中に浮遊する。別の実施形態では、高解像度駆虫ボルメトリックディスプレイを提供する。図１０（ｃ）〜（ｄ）は、空中で生成されたボルメトリック画像を示す。トンネルイオン化を利用した空中ボルメトリックディスプレイは、システムＡ及びＢによって実現可能である。図１４（ａ）〜（ｄ）は、システムＡ及びＢを利用して空中に生成された様々なグラフィックスを示す。システムＡ及びＢに関しては、ワークプレイスは、それぞれ、１０ｘ１０ｘ１０ｍｍ３及び８ｘ８ｘ８ｍｍ３である。先行研究と比べると、ワークスペースは小さいが、解像度は１０〜２００倍である。最大時空間分解能は、システムＡが毎秒４０００ドットであり、且つ、システムＢが毎秒２０００００ドットである。画像フレームレートは、モデルに使用された頂点の数によって決まる。
【０１２３】
（ビジュアルアプリケーション２：現実世界のオブジェクトに対する空間仮想現実）
本発明の別の実施形態によれば、拡張現実ディスプレイが提供される。レンダリングされたプラズマ画像が現実世界のオブジェクトと共に利用可能である。例えば、図１０（ａ）は、現実オブジェクト１０の拡張又はアクセサリとして生成されたプラズマ画像１１を示す。別の仮想現実の例として、図１４（ｅ）は、種から芽生えたもやしの写真である。現実世界のオブジェクトに対して空間ＡＲを適用する技術のメリットは、ＡＲコンテンツは、仮想のオブジェクトと同じスケールになる点である。また、空中ディスプレイは、顕微鏡カメラと組み合わせて使用することができる。顕微鏡カメラは、ワークスペースのオブジェクトを検出可能であり、プラズマがオブジェクトに触れたタイミングを検出可能であり、且つ、ＡＲコンテンツをオブジェクトに重畳させてオブジェクトの拡張を表現することが可能である。
【０１２４】
これは、３次元空間位置への対応という点で従来のアプローチよりも有利である。従来のＡＲ技術では、任意の３次元位置でＡＲコンテンツを示すことは困難である。しかし、本発明は、ワークスペース内の現実空間の任意の位置でのプラズマスポットの生成を可能にする。
【０１２５】
ビジュアルアプリケーション３：水中カラーボルメトリックディスプレイ
本発明の別の実施形態によれば、水を使用したカラーレーザベースのボルメトリックディスプレイのディスプレイ媒体が提供される。システムＡ及びＢは、水を表示媒体として使用する。この構成では、ワークスペースは、それぞれ、１及び１０ｃｍ３である。これらのワークスペースは、対物レンズの焦点領域に依存する。このアプリケーションでは、ボクセルの取得に使用される原理は、他のアプリケーションとは異なる。このアプリケーションでは、ボクセルは、マイクロバブルを使って光を反射し、且つ、ユーザは、水で満たされた３次元空間内の点でレーザ光の色を視認可能である。水を励起するために必要な最小エネルギーはジュールレンジにある。システムＢを使用すると、このシステムの波長が１０６４ｍｍであるので、ユーザは、泡のみを見ることができる。
【０１２６】
（スケーラビリティ）
ワークスペースのサイズのスケーラビリティは主な関心事である。ディスプレイ媒体は、レーザ励起効果の生成に必要なエネルギー量を決めるので、サイズのスケーラビリティは、ディスプレイ媒体のタイプに依存する。
【０１２７】
空中ディスプレイに関しては、トンネルイオン化を誘発するためには、焦点領域で大量のパワーが必要であるので、ＰＷ／ｃｍ２オーダのエネルギーが必要である。したがって、空中プラズマの生成は、焦点にレーザビームを集束させる対物レンズの属性に主に制限される。対物レンズの絞りが大きくなるほど、ワークスペースが大きくなる。
【０１２８】
平均パワーと高強度のピークパルスに関する実験は、毎日のアプリケーションの場合、安全、安定、適切なワークスペースサイズの達成において次の３つの要因が鍵となることを示している。３つの要因は、レーザ光源のパワーの増加、（２）パルスの短縮及びピークエネルギーの増加、及び、（３）スキャニングスピードの増加である。これらの要因を達成することにより、ワークスペースは、アプリケーションにおいて触感及び視認性を維持したまま拡大することができる。
【０１２９】
表示媒体として水を含むボルメトリックディスプレイに関しては、キャビテーションの誘発に必要なエネルギーは十分に小さいので、ワークスペースは、対物レンズによる制約を受けない。これらのタイプのディスプレイのワークスペースは、３次元スキャナ（つまり、ガルバノスキャナユニット及びバリフォーカルレンズユニット）のワークスペースによって制約される。一般に、ガルバノスキャナユニット及びバリフォーカルレンズユニットは、大きな空間のスキャンに対して十分に高速である。これらのディスプレイに関してワークスペースの拡大を実現するためには、複数のレーザ集束システムが使用可能である。
【０１３０】
（触感相互作用）
一般に、プラズマは、高エネルギーを有するので、人に対して危険である。しかし、フェムト秒レーザは、長短パルスを発するので、産業目的で非熱ブレーキングによく使用される。したがって、本発明者は、フェムト秒レーザによって誘起されるプラズマへの接触は、光源がピーク強度に制限される場合、人に対してそれほど危険ではない。
【０１３１】
（触感実験１：皮膚露光）
本発明者は、フェムト秒レーザによって誘起されるプラズマの人の皮膚への露光がダメージを引き起こすかどうかの探索実験を実施した。
【０１３２】
実験は、１Ｗで３０ｆｓで構成されたシステムＡと、１Ｗで１００ｆｓで構成されたシステムＡと、を用いて実施した。プラズマ露光期間は、５０〜６０００ｍｓで変化した。図９（ｄ）は、実験結果を示しており、３０ｆｓパルス及び１００ｆｓパルスは、皮膚に対してほぼ同一の効果を示す。前述のとおり、３０ｆｓパルスは、３倍以上のピークエネルギーを有し、且つ、より明るいボクセルを生成することができる。しかし、５０ｍｓの期間（５０ショット）では、３０ｆｓの結果と１００ｆｓの結果との間にはほとんど差はない。この実験では、平均パワーは、結果を決める要因である。２０００ｍｓ（２０００ショット）未満の露光では、直径１００μｍの孔が現れ、且つ、革に対する熱損傷は起きなかった。２０００ｍｓより長い期間では、孔の周辺に熱効果が観察された。
【０１３３】
継続的な（非パルス化）ナノ秒レーザでのテストを、この結果との比較のために実施した。ナノ秒レーザを用いた場合、１００ｍｓ以内に革が萌えた。これは、パルス期間、繰り返し回数、及び、エネルギーが、レーザによって引き起こされる損傷のレベルに影響を与える重要な要因であることを意味する。
【０１３４】
本発明者は、超短パルスレーザが、ナノ秒レーザの熱弾性効果とは異なる非熱効果を有することを検証した（Jun et al. 2015; Lee et al. 2015を参照）。したがって、フェムト秒レーザから発した超短レーザパルスがより安全である。システムＡ及びＢは、明るく、且つ、それほど集中していない平均出力を有するプラズマスポットを誘発する。
【０１３５】
（触感実験２：接触効果）
本発明者は、プラズマが人の皮膚に接触したときに起こる事象を探索するためのテストを実施した。このテストは、システムＡを用いて実施した。
【０１３６】
本発明者が空中画像のプラズマボクセルに指で触れたときに、接触と同時にプラズマが衝撃波を生成し、本発明者は、空中画像がプラズマは幾つかの物理物質を有するように、指にインパルスを感じることができた。タッチ感覚は、フェムト秒レーザパルスの蒸発効果に基づく。これは、皮膚の表面を切除し、且つ、衝撃波を生成する。感覚は、鮮明、且つ、シャープで、電気刺激、例えば、静電気放電又は粗い砂の紙に似ている。
【０１３７】
本発明者は、また、プラズマと指との間の接触によりプラズマが明るくなることに着目した。空気と人の皮膚との間の密度の差は、光の明るさを変化させる。この効果は、図１４（ｃ）及び（ｇ）に示されており、インタラクティブアプリケーションの接触の表示に使用可能である。
【０１３８】
（接触実験３：知覚閾値）
本発明者は、皮膚に対するレーザプラズマの衝撃波の知覚閾値を評価するための検討を実施した。図１６（ａ）は、この検討に用いた光回路セットアップを示す。図１６（ａ）に示すように、調整可能なパワーセッティングを有するフェムト秒レーザ光源１６１０は、レーザパルス１６１２を、プラズマを誘発するための焦点でのレーザパルスを集束させる対物レンズ１６６０に向かって発せられる。蒸発効果を力（Ｎ）として測定することは困難であるので、閾値は、レーザ出力パワー（Ｗ）に対して測定した。レーザ出力パワーは、０．０５、０．１０、０．１３、又は、０．１６Ｗに設定した。最も低いパワーは、使用したフェムト秒レーザ光源によって制限され、且つ、最も高いパワーは、予備的な安全テストによって決定した。
【０１３９】
この研究には、７人の被験者が参加した（平均年齢２２．５歳、男性５人、助成２人）。被験者には、右の人差し指でプラズマを誘発するフェムト秒レーザに触れることを依頼した。１人の被験者あたり８回の試行を実施した。各試行では、被験者は１０個のプラズマドットに触れ、且つ、人差し指に何かを感じたか否かを質問した。プラズマドットの生成に用いられた出力パワーの設定のオーダは、ランダムに決定し、且つ、各出力パワーの設定は、少なくとも１回は繰り返した。被験者は、視覚情報を除外するために目隠しを着用し、聴覚情報を除外するために、ヘッドホンを着用してホワイトノイズを再生した。
【０１４０】
結果を図１８（ａ）に示す。試行回数に応じた知覚率は、各レーザパワーの試行回数に対して被験者が刺激を感じた試行の数の割合である。５０％閾値は、０．０３〜０．０４Ｗと思われる。被験者は、０．１６Ｗで、自信を持って刺激を感じた（つまり、９０％より大きい）。
【０１４１】
触覚フィードバックは、たとえ、空中プラズマが生成されなかったとしても可能である。衝撃波は、空中でプラズマの生成に十分な出力を有していない集束レーザで皮膚の表面に発生する。この衝撃波は、皮膚のアブレーションから起こる。
【０１４２】
（触覚実験４：パターン検出）
本発明者は、被験者がレーザプラズマで形成された空間パターンを区別できたか否かをテストするための実験を実施した。図１６（ｂ）は、この検証に用いられた光回路セットアップを示す。図１６（ｂ）に示すように、フェムト秒レーザ光源１６１０は、プログラムされたパターンをスキャンすることができるガルバノスキャナユニット１６３０に対してレーザパルス１６１２を発する。対物レンズ１６６０は、プログラムされたパターンを形成するプラズマドットを誘発するためのパルスを集束させる。
【０１４３】
図１９は、レーザプラズマの繰り返しガルバノスキャンによって形成されたパターンの例を示す。この実験では、２つの空間パターン（ドット及びライン）を用いた。被験者には、右の人差し指でプラズマパターンに触れることを依頼した。被験者は、触覚実験３の被験者と同一である。被験者毎に８回の試行を実施した。各試行は、１０個のプラズマパターンへの接触と、人差し指に感じたパターンの質問と、を含んでいた。プラズマパターンは、ランダムで生成され、且つ、各プラズマパターンは、少なくとも１回は繰り返した。被験者は、視覚情報を除外するために目隠しを着用し、聴覚情報を除外するために、ヘッドホンを着用してホワイトノイズを再生した。
【０１４４】
図２０には、結果が示されている。統合された結果は、被験者が２つのパターンは区別できたが、逆の回答をする蛍光を示している。正解率は、一度でもパターンを認識すると改善するであろう。しかし、全てのパターンを区別できなかった被験者もいた。さらに、２種類の傾向が現れた。１つは、曖昧なグループであり、もう一方は、「バイアス対ライン」グループである。
【０１４５】
（触覚実験５：クロスフィールド効果）
超音波触覚フィードバックは、長年にわたって、密接に研究されてきた。超音波触覚フィードバック（Hoshi et al. 2010; Carter et al. 2013; Inoue et al. 2014）は、超音波フェーズドアレイの利用のために、大いにプログラマブルである。超音波触フィードバックは、相対的に、他の空間ハプティックフィードバックの手法と比較して、高い空間分解能を有し、且つ、波長（４０ｋＨｚの超音波で、８．５ｍｍ）によって制限される。空気中での吸収損失のために、より高い周波数の超音波（すなわちより短い波長）は、触覚フィードバックには適していない。その他の制約は、刺激の弱さであり、これは接触の瞬間のようなインパルスを再現するのには不十分である。１８×１８アレイによって生成される最大力は、１６ｍＮ程度に低くなり得る［Hoshi et al. 2010］。そして、より大きな力を得るためには、より大きなアレイが必要である。［Hasegawa and Shinoda 2013］。超音波ハプティックスは、振動ではなく、皮膚表面を圧迫する音響放射圧に基づいています。これは皮膚に長時間適用することができるが、これは比較的弱い（１０〜２０ｍＮ）。感覚は狭い領域内の層流空気流に似ています。
【０１４６】
本発明者らは、触覚を改善し、且つ、フェムト秒レーザ誘起プラズマに触れたときに被験者が感じる、刺すような感覚を軽減するために、音場の鈍い触覚を使用してフェムト秒レーザ光場の鋭い触覚を増強できるかどうかを検討した。レーザ誘起プラズマの２つの場は互いに物理的に独立しており、したがって同じ場所および時間に印加することができ、弾性波としておよび／または神経系内で神経信号として皮膚に混合することができる。例えば、レーザ場は皮膚と仮想物体との間の最初の接触をシミュレートし、その後、超音波場はそれらの間に連続的な接触を生じさせる。
【０１４７】
本発明者らは、フェムト秒レーザ光フィールドが超音波音場と組み合わされたときの触感を調査するために一連の実験を行った。本発明者らは、異なる物理量の２つの場を組み合わせることが上記で提案した重ね合わせ効果だけでなく、感覚の修正などの相乗効果ももたらすであろうと仮定した。
【０１４８】
図２１は、本発明の超音波振動子アレイシステム５００の例示的な実施形態を示す。システム５００は、システムコントローラ５１０と、１つ以上の超音波フェーズドアレイ５２０と、を含む。各フェーズドアレイ５２０は、２つの回路基板５２１、５２５を含む。第１回路基板は、超音波振動子５２６のアレイ５２５である。第２回路基板は、超音波振動子５２６を駆動する駆動回路５２１を含む。２つの回路基板（したがって、振動子アレイ５２５と駆動回路５２１）は相互に接続されている。
【０１４９】
図２１に示すように、超音波振動子アレイ５２５は、グリッドパターンで配置された数１００の超音波振動子５２６を含む。各超音波振動子５２６は、十分な時間遅延又は十分な位相遅延で個別に制御される。これらの時間遅延又は位相遅延は、システムコントローラ５１０によって特定され、且つ、駆動回路５２１によって適用される。このようにして、超音波振動子５２６の各アレイ５２５は様々な分布の超音波を発生させることができる。
【０１５０】
（ｉ，ｊ）−ｔｈに対応する振動子アレイ５２５の振動子５２６の時間遅延Δｔｉｊは、式１３によって与えられる。
【数１３】
2019117684.tif 000015
矩形振動子アレイから生成される超音波の空間分布は、ｓｉｎｃ関数のような形状であることが理論的および実験的に示されている［Hoshi et al. 2010]。長方形配列の辺に平行なメインローブの幅ｗは式（１４）で表される。
【数１４】
2019117684.tif 000016
ここで、λは波長であり、Ｒは焦点距離であり、Ｄは長方形アレイの一辺の長さである。この数式は、空間分解能とアレイサイズとの間にトレードオフがあることを意味する。
【０１５１】
超音波振動子アレイシステム５００は、ハプティック画像を形成する超音波の分布を生成するように制御可能である。ハプティック画像Ｈｉは、焦点の時間総和である（式（１５））。
【数１５】
2019117684.tif 000017
ここで、ｆｐは、式１３に基づいて生成された超音波焦点ｋであり、ｐは、音圧であり、ｔは時間である。
【０１５２】
図２１を参照すると、駆動回路５２１は、ＵＳＢインタフェース回路５２２と、フィールドプログラマブルゲートアレイＦＰＧＡ５２３と、ドライバ５２４（不図示）と、を含む。
【０１５３】
図２１に示すように、システムコントローラ５１０は、制御アプリケーション５１２の指示の下で、超音波振動子アレイ５２５を制御して、１つまたは複数の超音波振動子アレイ５２５によって生成される音場に所望の変化をもたらす。システムコントローラ５１０はＰＣとすることができる。システムコントローラ５１０は、ＵＳＢケーブル５３０を介して各超音波フェーズドアレイ５２０を制御する。
【０１５４】
本発明による一実施形態では、制御アプリケーション５１２は、ウィンドウズ（登録商標）オペレーティングシステム上で、Ｃ＋＋で開発される。システムコントローラ５１０は、焦点のＸ座標、Ｙ座標、及び、Ｚ座標と、超音波ビームの要求出力強度と、を含む必要なデータを駆動ボード５２１に送信する。駆動回路５２１は、ＵＳＢインタフェース５２２を使用してこのデータを受信する。次に、ＦＰＧＡ５２３の位相計算機５２７は、式（１３）又は式（１５）に基づいて超音波振動子アレイ５２５の各超音波振動子５２６の適切な時間遅延（又は位相遅延）を計算する。信号生成器５２８は、次に、システムコントローラ５１０によって提供されたビーム強度データと、位相計算器５２７によって計算された時間遅延（又は位相遅延）とに基づいて、振動子アレイ５２５内の各振動子に対する駆動信号を生成する。駆動信号は、ドライバのプッシュプル増幅器を介して、振動子アレイ５２５の振動子５２６に送信される。
【０１５５】
各振動子５２６に印加される駆動信号５２９に対する相対的な時間遅延（又は位相遅延）の修正は、１つ以上の超音波フェーズドアレイ５２５によって生成される音場の分布を変化させるために実行される。各振動子５２６の出力強度は、振動子に印加される駆動信号５２９のパルス幅変調（ＰＷＭ）制御を用いて変化させる。
【０１５６】
（触覚実験５ａ：超音波の触感閾値）
本発明者らは、集束超音波によって励起される音響放射圧の触感閾値を評価するための検証を実施した。図１６（ｃ）は、この検証に使用される基本的なセットアップを示す。図１６（ｃ）に示すように、超音波フェーズドアレイ１６８０は、コンタクトポイント１６０２で触知可能な音場１６８２の生成に使用される。
【０１５７】
超音波の直流電流出力は、知覚できないほど弱いが、人間の皮膚には振動に反応する感覚受容体がある。具体的には、表皮層に存在するパシニア小球（ＰＣ）およびマイスナー小球（ＲＡ）は、それぞれ、１０〜２００Ｈｚ（１０〜５０Ｈｚのピーク）及び４０〜８００Ｈｚ（２００〜３００Ｈｚのピーク）の周波数レンジの振動に反応する（Bolanowski et al. 1968）。そのため、この研究では、人差し指に２００及び５０Ｈｚの矩形波で変調された振動触覚刺激の適用を検討した。
【０１５８】
超音波焦点の直径は約２０ｍｍである。これは人差し指の幅より大きいので、人差し指に作用する力は超音波フェーズドアレイの出力設定よりわずかに小さい。出力は、参加者が知覚できる出力力値を決定する予備実験によって推定された閾値を中心にして１４の値のうちの１つに設定した。
【０１５９】
被験者は、触覚実験３及び４の参加者と同一であった。被験者は、５０〜２００Ｈｚで同時に振動するように構成された超音波場に触れるために右手の人差し指を使うように依頼した。被験者あたり１４の試験を実施した。各試験は、被験者が超音波場に触れることを含み、且つ、各被験者に対して自分の人差し指に何かを感じたか否かを尋ねた。超音波場の生成に使用される出力設定の順序はランダム化し、且つ、各出力設定を一度使用した。被験者は、視覚情報を除外するために目隠しを着用し、聴覚情報を除外するために、ヘッドホンを着用してホワイトノイズを再生した。
【０１６０】
実験は、図２１に示す超音波トランスデューサアレイシステムの設定に基づく好ましい実施形態（本明細書では「システムＣ」という）を使用して実施した。システムＣについて後述する。
【０１６１】
図２１を参照すると、システムＣは、４０ｋＨｚの共振周波数を有する超音波フェーズドアレイ５２５を含む。焦点の位置は、波長の１／１６の分解能（４０ｋＨｚの超音波で約０．５ｍｍ）によってデジタル的に制御され、且つ、１ｋＨｚでリフレッシュ可能である。４０ｋＨｚのフェーズドアレイは、日本セラミック社製の２８５個のＴ４０１０Ａ１トランスデューサ５２６からなる。これらのトランスデューサは、直径１０ｍｍであり、且つ、１７０×１７０ｍｍ２の面積に配置される。焦点距離Ｒ＝２００ｍｍの場合、焦点のピークでの音圧は２５８５ＰａＲＭＳ（測定値）である。単一のフェーズドアレイのサイズと重量は、それぞれ、１９ｘ１９ｘ５ｃｍ３及び０，６ｋｇである。ワークスペースは３０ｘ３０ｘ３０ｃｍ３であるが、フェーズドアレイのサイズに応じて拡張可能である。
【０１６２】
図２１を参照すると、システムＣは、ＵＳＢインタフェース５２２と、ＦＰＧＡ５２３と、信号ドライバ５２４（不図示）と、を有する駆動回路５２１をさらに含む。駆動回路のＵＳＢインタフェース５２２は、英国グラスゴーのFuture Technology Devices International社製のFT2232H Hi-Speed Dual USB UART/FIFO集積回路を採用するＵＳＢボードによって実施することができる。ＦＰＧＡ５２３は、カリフォルニア州サンノゼのAltera社製のCyclone III FPGAを含むＦＰＧＡボードによって実施することができる。信号の信号ドライバ５２４（不図示）は、プッシュプル増幅器ＩＣを使用して実施することができる。
【０１６３】
実験では、５０Ｈｚ及び２００Ｈｚでの振動の触覚知覚を試験した。その結果を図１８（ｂ）に示す。知覚率は、被験者が刺激を感じた試行回数と、各超音波出力の試行回数との比である。２００Ｈｚと５０Ｈｚの刺激に対する５０％の閾値は、それぞれ、約１．１ｍＮ及び１．６ｍＮである。被験者は、それぞれ、約１．６ｍＮ及び２．４ｍＮで２００Ｈｚおよび５０Ｈｚの刺激を確実に（つまり、９０％）感じた。触覚の研究分野では、約２００Ｈｚの刺激に対して触感感度が高いことがよく知られており、且つ、我々の結果はこの知識と一致している。
【０１６４】
（触感実験５ｂ：クロスフィールド効果）
本発明者らは、知覚的閾値より弱い超音波振動触覚刺激の予荷重の下で、レーザプラズマの衝撃波に対する知覚的閾値を評価するための検証を実施した。レーザハプティクスに対する超音波の２つの影響が考えられる。１つはレーザプラズマの知覚閾値を向上させるマスキング効果であり、もう1つは、それを減らす確率的効果である。
【０１６５】
９人の被験者がこの検証に参加した（平均２１．６歳、女性４人、男性５人）。被験者には、右手の人差し指を使ってフェムト秒レーザ誘起プラズマに触れるように依頼した。レーザ出力パワーは、０．０５、０．１０、又は、０．１５Ｗに設定した。超音波の変調周波数は、ＰＣチャネル及びＲＡチャネルをそれぞれ刺激するために、２００Ｈｚ又は５０Ｈｚであった。被験者あたり２４の試行がある。各試行では、被験者が最大１０個のプラズマドットに触れ、且つ、自分の人差し指に何か感じたか否かを被験者に尋ねた。レーザ出力と超音波周波数の組み合わせを無作為化し、且つ、各レーザ出力と各超音波周波数を各試行で少なくとも４回繰り返した。超音波刺激は、各周波数及び対象について知覚できる力のすぐ下になるように調整された。被験者は、視覚情報を除外するために目隠しを着用し、聴覚情報を除外するために、ヘッドホンを着用してホワイトノイズを再生した。
【０１６６】
実験は、図１に示すシステム構成に基づく好ましい実施形態（本明細書では「システムＤ」という）を使用して実施した。システムＤはシステムＣの超音波振動子アレイシステムをシステムＡのそれと同様の光回路システムと組み合わせる。
【０１６７】
図１７に示すように、システムＤの光回路システム構成は、コヒーレント社製のフェムト秒レーザ光源３１０を備える。このフェムト秒レーザ光源３１０は、中心波長が８００ｎｍであり、繰り返し周波数が１ｋＨｚであり、且つ、パルスエネルギーが１〜２ＭＪである。フェムト秒レーザ光源３１０は、４０ｆｓのレーザパルスを放射するように構成されている。システムＤは、更に、浜松ホトニクス社製のＳＬＭ（XB267 LC-SLM）を更に備える。このＳＬＭは、解像度が７６８×７６８ピクセルであり、ピクセルサイズが２０×２０μｍ２であり、且つ、応答時間が１００ｍｓである。このＳＬＭは、並列光アクセスに使用されるフーリエＣＧＨを生成するように構成されている。ＣＧＨは、最適回転角度（ORA）メソッドから派生したものである。システムＤは、ガルバノスキャナユニット３３０としてキヤノン社製GM-1010と、可変焦点レンズユニットとしてOptotune EL-10-30を使用する３Ｄ位置スキャナと、を含むセットアップを備える。これらのデバイスは、Ｃ＋＋を使用して作成されたアプリケーションによって操作される。ワークスペースは２ｘ２ｘ２ｃｍ３であるが、ガルバノスキャナの角度範囲を拡張可能なより大きなレンズを使用することによって、拡大することができる。
【０１６８】
システムＤの超音波フェーズドアレイは、触覚画像をおおまかに生成することができる（空間解像度は、わずか１６ｍｍ、波長の２倍である）。しかし、生成された触覚画像は、広い領域（約３０ｃｍ）をカバーすることができ、且つ、放射圧は十分に強い（１６ｍＮ）。システムＤのフェムト秒レーザシステムは、触覚画像を正確に（空間分解能１μｍ）生成することができる。しかし、生成された触覚画像は、小さな領域（２ｃｍまで）しかカバーすることができない。これらのレーザと超音波ハプティックスのワークスペースの重なり面積は２ｘ２ｘ２ｃｍ３である。
【０１６９】
システムＤは、ＰＣを使用して制御され、すべてのプログラムは、Ｃ＋＋でコーディングされる。ＰＣは、超音波フェーズドアレイと、ＳＬＭと、ガルバノスキャナユニットと、可変焦点レンズユニットと、に接続されている。インタラクションをモニタするために、顕微鏡カメラをＰＣへのＵＳＢリンクを介してシステムに接続する。超音波フェーズドアレイ、ガルバノスキャナユニット、及び、バリフォーカルレンズユニットは、それぞれ、異なるスレッドに沿って動き、且つ、新しい描画パターンが入力されると同期する。ユーザ入力は６０Ｈｚでキャプチャされ、且つ、ＳＬＭは、外部ディスプレイとしてのコンピュータに接続される。
【０１７０】
光学システムでは、ＰＣが直接座標を設定し、且つ、駆動ミラーと、レンズと、ＳＬＭと、を制御する。音響システムでは、ＰＣは、ＦＰＧＡに対して、焦点位置の座標と、出力と、を含むデータを送信する。ＦＰＧＡは、データを受信すると、式（１３）及び（１５）に基づいて、振動子毎に適切な時間遅延を計算し、且つ、駆動信号を生成する。駆動信号は、増幅器を介して振動子に送られる。時間遅延計算アルゴリズムの修正は、音響ポテンシャル場の分布を変化させる。駆動力のパルス幅変調（ＰＷＭ）制御によって出力が変化する。
【０１７１】
結果を図１８（ｄ）に示す。ここで、「レーザのみ」は図１８（ａ）と同一である。結果は、知覚的閾値より弱い超音波場がレーザ衝撃波の知覚に影響を及ぼすことを示している。知覚できない超音波予圧を持つレーザハプティクスの５０％知覚閾値は約０．１５Ｗである。これは「レーザのみ」のアプローチの約５倍である。（２００Ｈｚ及び５０Ｈｚに対応する傾向線を「レーザのみ」に対応する傾向線と比較する図１８（ｄ）を参照）。
【０１７２】
結果は、２つの場が重ね合わされる場合があること、及び、場の組み合わせが触覚知覚に対して相乗効果を有することを実証している。さらに、結果は、マスキング効果、すなわち超音波がレーザプラズマに対する人間の感受性を抑制することをサポートしている。音場は、レーザハプティクスの触覚に影響する。これは、超音波予圧がレーザハプティクスをそれほど驚くべきものではなく、且つ、痛みを抑えることを意味する。この分野の重ね合わせは、また、多重解像度触覚画像のような利点を提供する。
【０１７３】
空中インタラクションのために、ボルメトリックディスプレイには２つの必要条件がある。ボルメトリックディスプレイは、安全で、且つ、アクセス可能であるべきである。実験は、システムＤように設定されたシステムが安全で、且つ、アクセス可能な触覚インタラクションを提供できることを示している。
【０１７４】
（触覚アプリケーション１）触覚インタフェース
本発明の他の実施形態によれば、対話型ユーザインタフェースが提供される。実験は、人間の接触がプラズマに与える効果について、検出可能であること、又は、コンテンツの変化を引き起こし得ることを示した。フェムト秒レーザ誘起プラズマは、接触しても安全な衝撃波を生成し、且つ、物体に接触すると明るくなる。図１４（ｃ）は、空中に生成された心臓と物体とのインタラクションの効果を示す。図１４（ｆ）は、指輪との接触後に「宝石」に変わる光点を示す。図１４（ｇ）は、輝点と指との間の直接的なインタラクションを示す。したがって、プラズマベースの空中ディスプレイは、カメラ又は他のセンサを追加することによって、対話型空中ディスプレイシステムに変えることができる。
【０１７５】
センサ、例えば、カメラ又は光検出器は、プラズマとユーザとの間のインタラクションの検出に使用可能である。また、触感は、例えば、空中チェックボックスの生成に使用可能である。図１０（ｂ）は、ユーザと空中像との間のインタラクションを示す。フェムト秒レーザ場は、空中ボタングラフィック１２の生成に使用される。ユーザ１０が空中ボタングラフィック１２に触れると、ユーザ１０は、触覚フィードバックとして働くプラズマとの接触によって引き起こされる衝撃波１４を感知することができる。また、接触は、プラズマの明るさの変化を引き起こす。これは、カメラ又はプロセッサに結合された他の光学センサによって検出可能である。この検出された変化は、空中ボタングラフィックが選択されたことの表示として登録可能である。制御システムは、空中ボタングラフィックが補助的視覚フィードバックとして選択されたことを視覚的に示す、異なる空中ボタングラフィック１６を生成するようにレーザフィールドを制御することができる。
【０１７６】
（触覚アプリケーション２：ＶＲ用マルチ分解能ハプティクス）
本発明に従って生成可能な音場の他の分布は、任意の３Ｄ形状を含む任意の形状を有する音場を含む。例えば、ワークスペースを囲む１つ以上の超音波フェーズドアレイを使用して、様々な形状の定在波を発生させて、任意の形状を有する音場を提供することができる。本実施形態によれば、式（２）を用いて複数のフェーズドアレイを用いた超音波計算ホログラフィで所望の３次元超音波分布を生成し、所望のＣＧＨを形成することができる。複数のアレイを使用して定在波を生成する場合、各フェーズドアレイによって生成されるべきＣＧＨ  Ｕｒは、他のフェーズドアレイに対するその空間位置に依存する。各フェーズドアレイについて、フェーズドアレイのＵｈを得るために、フェーズドアレイの相対位置に従ってＣＧＨ  Ｕｒを回転させるべきである。所望の３次元超音波分布は、各超音波フェーズドアレイによって提供される３次元超音波分布を重ね合わせることによって最終的に得られる。
【０１７７】
レーザ誘導触覚画像は、ＳＬＭ画像とガルバノスキャナユニットとの組み合わせによって与えられる。ハプティック画像Ｈｉは、焦点の時系列の合計であり、式（１６）によって与えられる。
【数１６】
2019117684.tif 000018
ここで、Ｕｒは、式（１）によって与えられるレーザ焦点位置を示し、ｔは期間を示し、ｐはレーザ強度を示す。
【０１７８】
本発明の他の実施形態によれば、仮想現実のための多重分解能ハプティクスが提供される。音場は、単純な３次元触覚画像及び一般的な触覚領域の提示に使用可能である。ライトフィールドは、詳細な触覚画像に使用可能である。ＡＲ／ＶＲでは、オブジェクトの周囲長（単一）を超音波によって表すことができ、且つ、内部構造及び／又は表示（詳細）をレーザによって表すことができる。
【０１７９】
図２３は、心臓の仮想３次元モデルにおける腫瘍の位置の提示に使用される拡張現実システムの一連の写真を示す。ＡＲマーカ５０４は、カメラビューと３Ｄオブジェクトとの間の座標を一致させるために使用される。音場による低解像度の触覚画像は、３次元モデルの一部を指すための一般的なガイドとして使用されます。プラズマによる高解像度触覚画像は、対象となる３次元モデルの内部構造を正確に表現するために用いられる。参加者がシステムＤによって生成された仮想３次元モデルに指を入れると、最初は仮想モデルの周囲に対応する外側の触覚画像を感じる。その後、参加者は仮想モデルの内側にレーザプラズマ触覚を感じる。このプラズマは、正確なポイント（例えば、臓器内の腫瘍、３次元触覚マップのポインタなど）への指標として機能する。このアプリケーションは、解像度と様々な触覚フィードバックパターンで従来の超音波ハプティクスを拡張する。
【０１８０】
（触覚アプリケーション３：空中点字アルファベット）
従来の点字アルファベットディスプレイは、ピンアクチュエータアレイ又は他の接触型ディスプレイで作られている。従来の超音波又はエアジェット触覚ディスプレイでは、正確で高解像度の触覚画像を作成することはできない。本発明の別の実施形態によれば、空中点字システムが提供される。システムＤは、空中の任意の位置に小さく且つ正確な触覚画像を表現するようにプログラム可能である。これらの触覚画像は、点字ディスプレイの生成に使用可能なドット及びダッシュの集合とすることができる。点字アルファベットからの英数字及びそれに対応するＣＧＨを表す一連の生成されたプラズマ画像を示す。盲目の被験者は、もはや点字文章を探す必要はない。システムＤと統合されたカメラシステムは、盲目の被験者の指の位置を識別可能である。音場は、詳細な触覚画像の一般的な領域の提示に使用される。さらに、音場は、視覚障害者の指を詳細な触覚画像のための一般的な領域に導くように形作ることができる。したがって、盲目の被験者は、詳細な触覚画像の一般的な領域を簡単に見つけることができる。それは「タッチ」から「来る」に点字アルファベットとのインタラクションを変えるであろう。
【０１８１】
（オーディオの生成）
プラズマは、光と触知可能な衝撃波だけでなく、空中の音波も放射します。プラズマは、一連の衝撃波として可聴音を生成する。本発明者らは、各プラズマスポットが、平坦な周波数特性を有する理想的な点音源となり得ると仮定した。したがって、各プラズマスポットはスピーカとなり得る。
【０１８２】
単一点音源の音圧ｐｂ（ｒ）は、次式で表すことができる。
【数１７】
2019117684.tif 000019
ここで、rは点音源の位置からの距離であり、tは時間であり、ｐ０は単位距離での音圧であり、ｋは波数であり、ωは音の角周波数である。空間分布に焦点を合わせるために、時間成分ｅ−ｊωｔは計算で省略可能である。相対圧力値が解析に十分であるので、ｐ０の値は１に等しいと仮定される。
【０１８３】
本発明者らは、また、同時に生成される複数のプラズマスポットがスピーカアレイを形成可能であると仮定した。プラズマスピーカアレイによって生成された音場をグラフィカルに設計するためのシミュレータは、式１７に基づいて開発された。シミュレータは、図３０（ａ）に示すようなグラフィカルユーザインタフェースを有する。これにより、ユーザはグリッド上の点を選択することにより音源の位置を入力することができる。そして、音源から放射された音波を計算し、その結果を指向性として表示する。すなわち、図３０（ｂ）〜（ｃ）に示すヒートマップ、又は、図３０（ｄ）〜（ｅ）に示すヒートマップである。
【０１８４】
上述したように、光学的カー効果による歪みは焦点形状を変化させてフィラメント化をもたらす。この効果は、スピーカアレイの指向性に影響を与える可能性があるので、自由空間で複数のプラズマ音源を生成するときに考慮する必要がある。フィラメント化効果は、細長い焦点に沿って分布したプラズマスポットの合計として計算した。このモデルは、次のように、定式化された。
【数１８】
2019117684.tif 000020
ここで、ｒｎは、目標位置（ｘ；ｙ；ｚ）とｎ番目のプラズマスポットとの間の距離である。総エネルギーは実際にはＮ個のプラズマドットの間で分割されたが、それら全てに対してｐ０＝１を使用し、且つ、計算において相対値を得た。
【０１８５】
本発明者らは、フェムト秒パルスレーザによって誘発された空中プラズマの音波特性を調査するために一連の実験を行った。実験では、放射された音は、１９２ｋＨｚ及び２４ビットで録音するマイクロホンシステムによって録音する。各マイクはモノラルマイクである。
【０１８６】
オーディオ実験１〜６のそれぞれについて、以下の好ましい実施形態のうちの１つ以上が使用された。
【０１８７】
図３１は、本発明によるマルチポイントプラズマスピーカを生成するためのシステム６００の例示的実施形態を示す。システム６００は、システムコントローラ６０１と、フェムト秒レーザ光源６１０と、２つの空間光変調器６２０、６２５と、光学レンズ６４２、６４４、及び６４６と、を備える。レンズ６４６は、対物レンズとして機能する。システム６００は、３次元空間内の任意の位置にプラズマ音源６９０を生成するために使用可能である。ビームサイズ、偏光、及び、パワーは調整可能である。例えば、偏光ビームスプリッタ（ＰＢＳ）をそのような調整に使用することができる。
【０１８８】
図３１に示す光学系設定に基づく好ましい実施形態（本明細書では「システムＥ」という）は、次の通りである。
【０１８９】
システムＥは、８００ｎｍの中心波長、１ｋＨｚの繰り返し周波数と、０．４〜７ｍＪのパルスエネルギーと、を有するコヒーレント社製のフェムト秒レーザ光源を含む。
【０１９０】
システムＥは、ウィンドウズ（登録商標）オペレーティングシステムを実行するＰＣを備えるシステムコントローラをさらに含む。すべてのプログラムは、ＤＭＤ  ＳＬＭｓの動作を制御するＣ＋＋でコード化されている。
【０１９１】
システムＥは、Texas Instruments社製の２つのＤＭＤ  ＳＬＭｓ、ＤＬＰ４５００を含む。これらは、１１９０ｘ７１２の解像度と、４ｋＨｚのフレームレートと、７．６ｘ７．６μｍ２のピクセルサイズと、を有する。ＤＭＤ  ＳＬＭは、ＵＳＢインタフェースを介して制御される。第１ＤＭＤ  ＳＬＭは、波長分散を補償するために使用される。第１ＤＭＤ  ＳＬＭの全てのミラーピクセルは、一様に制御される。第２ＤＭＤ  ＳＬＭは、周波数変調と、複数のプラズマスピーカを空中に配置するための並列アクセスと、に使用される。第２ＤＭＤ  ＳＬＭのミラーピクセルは、パルス幅変調を用いて個々に切り替えられる。
【０１９２】
システムＥに関しては、１ｋＨｚまでの周波数（レーザ光源の繰り返し周波数）を有する音を放射することができる。１ｋＨｚ未満の周波数は、余分なレーザパルスを差し引くことによって生成される。ＳＬＭのフレームレートは４ｋＨｚであるので、個々のレーザパルスを制御して目標点に送出するか否かを切替可能である。変動および周波数の範囲は、より高速なレーザ光源及びＤＭＤを使用することによって改善することができる。
【０１９３】
レンズ６４２及び６４４は、１００ｍｍの焦点距離を有し、且つ、レンズ６４６は、４０ｍｍの焦点距離を有する。
【０１９４】
図３２は、本発明によるマルチポイントプラズマスピーカを生成するためのシステム７００の例示的実施形態を示す。システム７００は、システムコントローラ７０１と、フェムト秒レーザ光源７１０と、空間光変調器７２０と、対物レンズとして機能する光学レンズ７４２と、を含む。システム７００を使用して、３次元空間内の任意の位置に複数のプラズマ音源７９０を生成することができる。ビームサイズ、偏光、及び、パワーは、ＰＢＳを使用することによって調整可能である。
【０１９５】
図３２に示す光学系セットアップに基づく好ましい実施形態（以下「システムＦ」という）について説明する。
【０１９６】
システムＦは、コヒーレント社製のフェムト秒レーザ光源を含む。コヒーレント社製のフェムト秒レーザ光源は、８００ｎｍの中心波長と、１ｋＨｚの繰り返し周波数と、０．４〜７ｍＪのパルスエネルギーと、を有する。
【０１９７】
システムＦは、ウィンドウズ（登録商標）オペレーティングシステムを実行するＰＣを含むシステムコントローラをさらに含む。すべてのプログラムはＳＬＭの動作を制御するＣ＋＋でコード化されている。
【０１９８】
システムＦは、浜松ホトニクス社製のＬＣＯＳ−ＳＬＭを含む。このＬＣＯＳ−ＳＬＭは、７６８×７６８の解像度と、１０Ｈｚのフレームレートと、２０×２０μｍ２の画素サイズと、を有する。ＬＣＯＳ−ＳＬＭは、ＵＳＢインタフェース及びビデオグラフィックアレイ（ＧＶＡ）ディスプレイインタフェースを介して制御される。
【０１９９】
システムＦに関しては、１ｋＨｚまでの周波数（レーザ源の繰り返し周波数）を有する音を放射することができる。より低い周波数は、過剰なレーザパルスを差し引くことによって生成可能である。ＳＬＭのフレームレートは１０Ｈｚであるので、最大５Ｈｚのバースト波（無音の場合は１０ｍｓ、１ｋＨｚのサウンド放射の場合は１０ｍｓ）を生成することができる。変動及び周波数の分解能は、より高速なレーザ光源及びＳＬＭを使用することによって改善することができる。
【０２００】
レンズ７４２は、焦点距離２００ｍｍを有する。
【０２０１】
図３３は、本発明によるマルチポイントプラズマスピーカを生成するためのシステム８００の例示的実施形態を示す。システム８００は、システムコントローラ８０１と、フェムト秒レーザ光源８１０と、ＳＬＭ８２０と、光学ミラー及びレンズ８４２、８４４、及び８４６と、ガルバノスキャナユニット８３０と、マイクロレンズアレイ８８０と、を含む。マイクロレンズアレイは、対物レンズとして機能する。
【０２０２】
図３３に示す光学系セットアップに基づく好ましい実施形態（以下「システムＧ」という）について説明する。
【０２０３】
システムＧは、コヒーレント社製のフェムト秒レーザ光源を含む。このフェムト秒レーザ光源は、８００ｎｍの中心波長と、１ｋＨｚの繰り返し周波数と、２ｍＪまでのパルスエネルギーと、３０ｆｓ〜１００ｆｓの間で調整可能なパルス幅とを有する。
【０２０４】
システムＧは、浜松ホトニクス社製のＬＣＯＳ−ＳＬＭをさらに含む。このデバイスは、２ラジアンを超える位相のみを変調することができ、且つ、７６８ピクセルｘ７６８ピクセルの解像度と、２０ｘ２０μｍ２のピクセルサイズと、１００ｍｓの応答時間と、を有する。
【０２０５】
システムＧは、さらに、ガルバノスキャナユニットを含む。これは、スキャナ制御ボード（キヤノンＧＢ−５０１）によって駆動される走査ヘッドユニット（キヤノンＧＨ−３１５）を含む。走査ヘッドユニット（キャノンＧＨ−３１５）は、１０〜１４ｍｍのビーム直径と、±０．１７ｒａｄの走査角度と、５μｒａｄ未満の誤差と、２０ビットの分解能と、を有する。走査ヘッドは、少なくとも約１０ｘ１０ｍｍ２の面積をカバーする。スキャナ制御ボード（キヤノンＧＢ−５０１）は、スキャンヘッドユニットとレーザユニットを制御して、レーザビームをＸＹ平面内の任意の座標に向ける。それは、ＰＣとインタフェースするための標準的なＰＣＩバスを有し、且つ、ＰＣコマンドから命令を受け取る。
【０２０６】
システムＧは、ウィンドウズ（登録商標）オペレーティングシステムを走らせているすべてのプログラムがＳＬＭ、ガルバノスキャナユニット、及び、バリフォーカルレンズユニットの動作を制御するＣ＋＋でコード化されたＰＣを含むシステムコントローラをさらに備える。ガルバノスキャナユニットとバリフォーカルレンズユニットは異なるスレッドに沿って走り、且つ、新しい描画パターンが受け取られたときに同期する。ユーザ入力は２０Ｈｚで取り込まれてもよい。制御システムは、さらに、光学系と表示媒体との間のインタラクションのモニタリングに使用されるＵＳＢ顕微鏡を含む。
【０２０７】
システムＧはマイクロレンズアレイをさらに含む。マイクロレンズアレイのレンズサイズは４ｘ４ｍｍ２であり、且つ、焦点距離は３８．２４ｍｍである。
【０２０８】
システムＧは、任意の位置に複数の音源を作り出すことができる。ＳＬＭ８２０は、単一のレーザビーム８１２をＣＧＨによって複数のビーム８１４に分割し、ガルバノミラー８３０はこれらのビームを複数の焦点に向ける。最後に、マイクロレンズアレイ８８０はこれらのビームを集束させてそれらを音源にする。
【０２０９】
図３４は、本発明によるマルチポイントプラズマスピーカを生成するためのシステム９００の例示的実施形態を示す。システム９００は、ＳＬＭの代わりに製造された変調器９８０を含む。変調器は、印刷マスクで覆われたマイクロレンズアレイである。
【０２１０】
製造された変調器は、インクジェットプリンタを使用して透明フィルム上にグレースケールパターンを印刷することによって製作可能な受動型変調器である。レーザパルスビームは、ガルバノミラーを使用して製造された変調器上で走査され、且つ、焦点は、グレースケールパターンのエネルギー吸収によって変調される。この方法は、インクジェットプリンタの高い空間解像度を利用する。
【０２１１】
図３４に示す光学系セットアップに基づく好ましい実施形態（以下「システムＨ」という）について説明する。
【０２１２】
システムＨは、ＳＬＭ８３０が光学ミラー９４０と置き換えられ、且つ、マイクロレンズアレイ８８０が製造された変調器９８０と置き換えられること以外は、システムＧと同様である。
【０２１３】
システムＨは、３００ｄｐｉの解像度を有する製造された変調器を含む。
【０２１４】
ガルバノミラー９３０は、製造された変調器９８０のグレースケールパターンを通してプログラムされた軌跡に沿ってレーザビーム９１２を向ける。レーザビーム９１２は、グレースケールパターンによって減衰され、次いでマイクロレンズアレイは、レーザビームを集束させる。グレースケールパターンは、レーザビームの振幅の変調に使用される。グレースケールパターンは、再生用のオーディオデータ（フォノレコードのような方法）に従って導出可能であり、又は、ガルバノミラーがコード化パターン内の特定の位置にレーザビームを向けて特定の音を生成するコード化パターン（ピアノのような方法）とすることができる。
【０２１５】
（オーディオ実験１：レーザパワーｖｓサウンドボリューム）
本発明者らは、プラズマ生成とスピーカの結果として生じる放射との間の関係を評価するために実験を行った。実験は、エネルギーレベルに対応する音量を決定した。実験は、０．０５〜１．６０Ｗの時間平均電力出力範囲に対して、３０ｆｓに構成されたシステムＡを使用して行われた。実験は、０．１６〜１．６ｍＪの範囲内のパルス当たりのエネルギーの下で行われた。実験結果を図２５（ａ）に示す。位相は、図２５（ｂ）に示すように、レーザビーム５の伝播方向とプラズマスポット２に対するマイクロホンの位置との間の相対角度である。縦軸は、音波の振幅をリニアスケール（デシベルではない）で示している。より明るいプラズマスポットは、より大きな音を伴う傾向がある。
【０２１６】
（オーディオ実験２：極性特性）
本発明者らは、音波アプリケーションに対するレーザフィラメント化の影響を考慮するために、単一音源の極性特性を評価するための実験を行った。音源の極性特性は、近距離での音源の指向特性の尺度であるのに対して、指向性は、一般に遠距離での指向特性の尺度である。この実験及び以下の実験では、オーディオデータは短い距離で測定されたものであり、音波はさらに長い距離で互いに干渉し合う可能性がある。それにもかかわらず、極性特性及び指向性という用語は、振幅に対する角度を示すプロットに関して同様であり、本明細書では互換的に使用される。
【０２１７】
指向性は音源の配置によって決まる。したがって、指向性に関するこれらのデバイスの違いは、それらが空中で音源をどの程度自由に生成できるかという点にある。
【０２１８】
本発明者らは、３つの異なる焦点距離レンズ（ｆ＝４０、１００及び３００ｍｍ）を用いて実験した。フェムト秒レーザ光源は、３０ｆｓのパルス幅と、６．６２Ｗの光源出力と、１ｋＨｚの繰り返しパルス（６．６２ｍＪ／パルス）と、を有するように構成される。
【０２１９】
図２６は、左から右へ伝播するレーザビームに対する様々な焦点距離における単一焦点の極性特性を示す。実験は、短焦点距離レンズのフィラメント化が長焦点距離レンズより短いことを示した。実験は、また、フィラメント化が音放射の指向性を有することを示した。平行方向よりも垂直方向により強い音を放射する。このグラフは、焦点距離が長くなると顕著になるフィラメント化の特性を示している。
【０２２０】
音源から放射される音波間の干渉は、それらの周りの複雑な音圧分布を作る。音圧の２次元空間マップは、これらの音源を記述するために使用される。しかし、遠くから見ると、これらの音源は指向性を持つ単一音源のように見える。そのため、角度、つまり極性特性は、単一音源の特性を十分に表す。
【０２２１】
（オーディオ実験３：パルス幅ｖｓ．サウンドボリューム）
本発明者らは、パルス幅設定毎に、レーザ出力と結果として生じるスピーカの音量との間の関係を調べるために実験を行った。実験は、システムＡを使用して、パルス幅を３０ｆｓ及び１００ｆｓに設定し、レーザ出力パワー範囲を０．０５〜１．６０Ｗにして行った。オーディオ実験１で使用したものと同じマイクロホンを使用して、発生音を取り込んだ。
【０２２２】
実験結果を図２７に示す。１００ｆｓのパルス幅から生成されたプラズマは、３０ｆｓのパルス幅から生成されたプラズマよりもわずかに弱い音を放射するが、その差は同じレーザ光源の電力の下では最小である。
【０２２３】
（オーディオ実験４：周波数領域の特性）
本発明者らは、高速フーリエ変換（ＦＦＴ）を用いて測定音の周波数特性を解析した。図２５（ａ）〜（ｂ）は、単一焦点の例示的な音波形及び周波数特性を示す。図２５（ａ）は、時間領域における記録波形を示し、図２５（ｂ）は、算出された周波数スペクトルを示す。１ｋＨｚ間隔で鋭いピークがあるが、これはフェムト秒レーザ光源の繰り返し周波数が１ｋＨｚであることから予想される。時間領域で１ｍｓの間隔で繰り返される鋭いパルスは、周波数領域で１ｋＨｚの間隔でくし型関数によってサンプリングされた広域スペクトルに変換される。
【０２２４】
（オーディオ実験５：マイクロレンズアレイによって同時アドレスされるボクセルの極性特性）
発明者らは、複数のプラズマ音源を同時に自由空間に生成できるか否かを判断するために実験を行った。同時アドレス指定は、音場の空間分布、音源の極性特性、及び、指向性スピーカの機能の生成に重要である。同時にアドレス指定されるプラズマスピーカは、エネルギーがそれらの間で分配されるので、単一のプラズマスピーカよりもスピーカの最大量が小さい。この実験では、マイクロレンズアレイから複数の音源を同時に発生させた。
【０２２５】
マイクロレンズアレイは、個別の小型レンズを有する。マイクロレンズアレイは、一般に、格子状に配置された凹部を有する表面を有するガラス板である。各凹部は、レンズとして作用する。この実験では、４×４ｍｍ２のレンズを有するマイクロレンズアレイを使用した。
【０２２６】
マイクロレンズアレイが対物レンズとして使用される場合、単一のレーザビームは小さなレンズによって分割され、且つ、マルチアクセスはＳＬＭなしで達成される。例えば、レーザビームの直径が約８ｍｍの場合、レーザビームは４つの隣接するレンズのグループを通過することができ、その結果として、焦点が形成される。図３６（ａ）は、レンズ２２を有するマイクロレンズアレイ２０を示す。レーザビームは、レーザビームを４つのビームに分割する暗いレンズ２４によって示されるレンズ群を通過する。ＳＬＭがマイクロレンズアレイと共に使用される場合、マイクロレンズアレイ上の任意のレンズが焦点の形成に利用可能である（例えば、図３５（ｂ）を参照）。図３６（ｂ）に示すように、暗色レンズ２４は、レーザビームに対して異なる照射パターンを示す。
【０２２７】
この実験は、同時に生成された複数の音源の極性特性を調査し、且つ、その結果を比較するためにシミュレータとホログラムジェネレータを検証することを目的とした。空間分布プラズマの違いを考慮するために、レンズの焦点距離が３８．２４ｍｍのマイクロレンズアレイ（４×４ｍｍ２）を用いて実験を行った。サウンドは、−９０°から９０°までの様々な位置に配置されたモノラルマイクで録音された。図３６（ｅ）に示すように、レーザパルスビームは、４つのレンズ２４を通過し、且つ、４つの焦点２６でプラズマ放出効果を引き起こす４つのレーザパルスビーム２１に分割される。誘導プラズマは相互作用する音波を発生して、音圧分布を形成する。それはプラズマの分布に依存する。図１および図２を参照する。図３６（ｃ）および図３６（ｄ）は、図３５および図３６に示す照射パターンを有するマイクロレンズアレイによって誘起されるプラズマ分布に対応する理論上の音圧分布を、それぞれ図３６（ａ）および３６（ｂ）に示す。
【０２２８】
変調器としてマイクロレンズアレイを利用するシステムの結果を図４４に示す。図４４は、１０ｋＨｚ、２０ｋＨｚ、３０ｋＨｚ、４０ｋＨｚ、５０ｋＨｚ、６０ｋＨｚ、７０ｋＨｚ、８０ｋＨｚ、及び、９０ｋＨｚ成分の指向特性を示している。これらの測定は、周波数に応じたレーザ生成音源間の干渉の基本特性を示している。
【０２２９】
可能性のあるプラズマ分布はマイクロレンズの間隔によって制限される。マイクロレンズアレイの代わりに連続的な対物レンズは、任意の配置及び間隔で音源を生成することができる。
【０２３０】
（オーディオ実験６：ＳＬＭによる同時アドレスされたボクセルの極性特性）
本発明者らは、ＳＬＭ及びホログラムから同時に生成された複数の音源の極性特性を評価するために実験を行った。この実験は、オーディオ実験５に記載したマイクロレンズアレイによってプラズマの空間位置が固定された前述の実験で用いたホログラフィ技術を使用して生成された複数の音源の極座標特性の比較を目的とした。また、この実験は、音場の推定及び設計のために開発された指向性／分布シミュレータの検証も目的とした。この実験では、３０ｍｍの焦点距離が使用された。光路に向かって９０°の位置に配置されたモノラルマイクロホンを使用して音を記録した。ＳＬＭからのプラズマ分布は、１０°ステップでＣＧＨを変えることによって循環させた。図３２は、結果及びシミュレーションを示す。その結果、ＳＬＭとＣＧＨを用いたプラズマ分布を生成することができ、且つ、測定された分布がシミュレーション結果を検証することを確認した。
【０２３１】
この実験のために、システムＦを使用した。
【０２３２】
２つの音源及び４つの音源は、０．５ｍｍ間隔で生成されたが、効果的な干渉には短過ぎた。これは、より大きな直径の対物レンズを使用することによって改善可能である。音源間の間隔を長くするためのもう１つの方法として、マイクロレンズアレイをＬＣＯＳ−ＳＬＭと組み合わせて使用することができる。
【０２３３】
（オーディオアプリケーション）
【０２３４】
（オーディオアプリケーション１：３次元空中オーディオスピーカ（空間オーディオ））
レーザ誘起プラズマは、３次元空間内の任意の位置に操作し、且つ、分布させることができる。超短パルスレーザの焦点に誘導されたプラズマはインパルス状の衝撃波を発生させる。衝撃波は変調され、且つ、空間音響設計に適合させることができる。このようにして、プラズマは、現実の世界では３次元（３Ｄ）構成の任意の位置にオーディオスピーカとして配置することができる。 この空間制御機能は、サウンド分配制御の可能なアプリケーションを拡大します。３次元オーディオの生成は、ビジュアルディスプレイとともに、ユーザをコミュニケーションやエンターテイメントに没頭させる上で重要な役割を果たす。
【０２３５】
本発明の例示的実施形態によれば、プラズマベースの空中スピーカが提供される
本発明者らは、音量の制御方法を検討した。振幅制御は、レーザパルスの強度（すなわちパワー）を調整することによって行われる。一定強度のレーザパルスの場合、ＤＭＤ  ＳＬＭ、ＬＣ−ＳＬＭ、ＬＣＯＳ−ＳＬＭ、製造された変調器、又は、ビームシャッタを用いてレーザパルスの強度を減衰させることができる。ＤＭＤ  ＳＬＭはオンになっているピクセルの数を制御することができるので、入射レーザパルスのうち反射されるレーザパルスの量の制御に使用することができる。ＬＣ型ＳＬＭは、単一のレーザパルスビームから複数の焦点を生成することができるので、レーザパルスビームを分割することによってレーザ強度を減少させるために使用することができる。グレースケールガラスは、入射レーザパルスのうち透過するレーザパルスの量を制御することができるので、レーザ強度を減衰させるために使用することができる。グレースケールガラスは、様々なグレースケールの透かし画像が印刷されたピクセル領域を有する製造された変調器である。ビームシャッタは、レーザパルスの強度を減衰させることもできる。ビームシャッタは、レーザパルスビームの断面積を減少させることができるので、入射レーザのうち透過するレーザの量を制御するために使用することができる。
【０２３６】
本発明者らは、周波数の変調方法を検証した。周波数制御は、レーザパルスの繰り返し率を調整することによって行われる。固定周波数のレーザパルスの場合、幾つかのパルスを除去することができる。これは、意図した周波数でレーザパルスを音源位置に送ることによって実現できる。例えば、１ｋＨｚのパルスレーザ源が使用され、且つ、５００Ｈｚのトーンが望まれる場合、レーザ源によって生成されたパルスの半分だけが音源位置に向けられるべきである。  
このようにして、繰り返し周波数の半分、３分の１、４分の１などを生成することができる。ＤＭＤ  ＳＬＭ及び／又はガルバノスキャナを使用して、レーザ源から来る一連のパルスから過剰なレーザパルスを差し引くことができる。例えば、ＤＭＤ  ＳＬＭは、パルス列から特定のレーザパルスのみを反射するように制御することができる。ガルバノスキャナユニットは、パルス列から特定のレーザパルスのみを目標位置に向けるように制御することができる。図３７（ｃ）に示すように、ガルバノスキャナユニット８５は、レーザビームパルスを目標位置８２と終端位置８６とに交互に向けることによって生成された周波数を半分にするために使用される。ガルバノスキャナユニットは、ＤＭＤ  ＳＬＭより遅いので、ＤＭＤ  ＳＬＭが好ましい。ビームチョッパ又はシャッタは、パルス列から特定のパルスを遮断するのに使用することもできる。より高速なレーザ源とＳＬＭを用いると、生成可能な音の周波数の範囲を広げることができる。
【０２３７】
フーリエコンピュータ生成ホログラフィ（ＣＧＨ）もまた、分布パターンを変えることによって１秒当たりに音源位置に送られるレーザパルスの数を制御するために使用することもできる。しかし、これには、スキャン速度の速いＳＬＭが必要である。
【０２３８】
目標位置にレーザパルスビームの焦点を生成することにより位置制御が行われる。３次元スキャナ（例えば、ガルバノスキャナとバリフォーカルレンズとの組み合わせ）を使用することができる。ガルバノスキャナユニットは、横方向のＸ方向及びＹ方向にレーザパルスビームの方向を走査する。バリフォーカルレンズユニットは、焦点距離をＺ軸方向に変更する。また、フーリエコンピュータ生成ホログラフィ（ＣＧＨ）を使用して、音源を自由空間に配置することができる。
【０２３９】
指向性制御は、結果として生じる波面がターゲットに向けられるように放射された音が互いに干渉するように、１つ以上の音源を配置することによって実行される。フェムト秒レーザパルスによって生成されたプラズマは、電磁波（スーパーコンティニュームとして知られる無線周波数及び光）、並びに、音波（可聴音及び超音波）を含む非常に広い周波数範囲の広帯域波を放射する。広いスペクトルの波が共存しているが、周波数帯域は別々に制御することができる。複数のプラズマスポットが自由空間に空間的に配置されると、光、電磁波、音、及び／又は超音波の「フェーズドアレイ」を生成することができる。
【０２４０】
波源の位相は同じであるが、特定の干渉波パターンを作り出すために、波源（レーザ焦点）の配置によって特定の周波数波の指向性を制御することができる。プラズマスポット間の空間的位置及び距離は、時間（位相）差を決定する。したがって、それ自体が「フェーズドアレイ」ではなく、「空間アレイ」になる。
【０２４１】
計算位相変調は、空気中の焦点の複雑な配置を可能にする。干渉パターンを制御し、且つ、波面を成形して放射音の方向制御を得るために、特定の空間アレイ配置を設計することができる。
【０２４２】
ＬＣ型ＳＬＭは、導出されたＣＧＨを使用することによって複数の干渉焦点を生成する。さらに、ＤＭＤ  ＳＬＭは、結果として生じる衝撃波が互いに干渉することができるように、レーザパルスビームの振幅を制御することができる。ＣＧＨは、音波分布を設計するためのシミュレータを使用して導き出すことができる。所望の波面を生成する音源の配置を決定した後、音源の位置に基づいて、ＬＣＳＬＭ又はＤＭＤ  ＳＬＭに対してＣＧＨが計算される。
【０２４３】
マイクロレンズアレイも使用することができる。個別の小型レンズは、マイクロレンズアレイの間隔で単一のレーザビームを、例えば４つの音源に分割する。間隔が十分に離れている場合は、４つの音源が互いに干渉する音を生成して、特定の音分布パターンを形成することができる。
【０２４４】
より長いフィラメント化は、より強い音波をレーザの伝播方向に対して垂直に放射する。これにより、音波を目標点に効果的に届けるための好ましいレーザ方向を決定することができる。
【０２４５】
本発明者らは、目標位置での音声データの再生方法を検討した。音と音声を生成する１つの方法は、振幅変調を使用することである。図４０に示すように、ビームシャッタを使用して個々のパルスのパワーを制御することができる。４４．１ｋＨｚのサンプリングデータを再生するには、パルスレーザ光源とシャッタの両方に最低４４．１ｋＨｚが必要である。
【０２４６】
これは、また、インパルス音の高調波を使用することによって（例えば、図３８および図３９に示す構成、又は、超高速なＳＬＭを使用することによって）実現することができる。１００ｋＨｚまで測定可能なマイクロホンを用いて、少なくとも９６ｋＨｚまでの周波数を有する波が放射されたことを確認した。複数の周波数成分が同時に放射されるが、各周波数の指向性を制御することによって目標周波数を選択することができる。純粋なトーンは難しいかもしれないが、目標方向について少なくともほとんどの余分な周波数は取除くことができる。
【０２４７】
（オーディオアプリケーション２：空間オーディオ仮想現実）
空中プラズマスピーカは、普通の物体をオーディオメディアに変えることができる。空中プラズマ音源は、現実世界のオブジェクトに重ね合わせることも、隣接させることもできる。したがって、あらゆる現実世界のオブジェクトが音源になり得る。例えば、おもちゃの置物が音源であるように見せるために、空中プラズマ音源をおもちゃの置物の口の隣に配置することができる。空間プラズマは、プラズマスピーカのワークスペースの周囲の環境を走査し、且つ、マッピングすることができるカメラシステムを利用することによって、空中プラズマを手動で再配置することも、自動的に再配置することもできる。
【０２４８】
（オーディオアプリケーション３：空間スピーカ：実態のない空中スピーカ）
プラズマスポットの空間的位置及び強度は、ＣＧＨを変更することによって変えることができる。本発明の例示的実施形態によれば、レーザ誘起プラズマはどこでも発生させることができ、且つ、従来のスピーカのような点音源として可聴波を放射するように変調することができる。プラズマは、一組の従来のサラウンドサウンドスピーカとして機能するように複数の点に誘起させることができる。例えば、複数のレーザ誘起プラズマスポットが従来のサラウンドサウンド構成で室内に配置され、且つ、各プラズマスポットは異なるオーディオ信号で変調される。
【０２４９】
本発明の例示的実施形態によれば、レーザプラズマスピーカは、パラメトリック指向性スピーカのように動作するように構成される。指向性は、複数の音源を配置することによって達成される。指向性は可変である。
【０２５０】
（オーディオアプリケーション４：空間スピーカアレイ：指向性スピーカ）
超音波超指向性スピーカは、レーザ音源でシミュレーションすることができる。レーザ焦点は、超音波を放射する。これらの超音波は、音声データに基づいて変調される。空気の非線形性は、これらの変調された超音波を可聴音に復調する。
【０２５１】
あるいは、ＳＬＭ及び計算位相変調の使用は、空気中の焦点の複雑な配置を可能にする。干渉パターンを制御し、且つ、波面を整形して放射音の方向制御を得るために、特定の空間アレイ配置を設計することができる。
【０２５２】
図４１（ｄ）に示すように、特定の目標に対して音波を指向させるために焦点を配置することができる。図４３に示すように、焦点６２は、焦点６２で誘起されたプラズマによって生成された音６４が仮想オブジェクトの動き及び配向に対して放射されるように見えるように、仮想オブジェクトの動き及び配向を追跡するために連続的に再配置することができる。
【０２５３】
（安全なアプリケーションの改良）
空中プラズマ発生は、平方センチメートル当たりペタワットの瞬間レーザ出力を必要とする。光回路は慎重に開発し、取り扱う必要がある。高強度レーザが利用される場合、イオン化は光回路に沿って起こり得る。光学部品の損傷を避けなければならないので、これは利用可能なレーザ出力を制限する。また、プラズマ発生は非線形現象であるため、取り扱いには注意が必要である。アプリケーションの安全性を確保するために、これらの問題を慎重に検討する必要がある。より高い反射効率を有するＳＬＭを使用し、且つ、時間平均レーザパワーを増加させることで、より多くの数の同時にアドレス指定されたボクセルを生成することができる。
【０２５４】
望ましくないイオン化を回避するために、対物レンズを使用して低出力の高強度レーザパルスを空間内の特定の点に集束させてプラズマを発生させる。対物レンズを使用すると、ワークスペースの大きさに制限がある。ワークスペースは、ガルバノミラーの角度範囲と可変焦点レンズの深度範囲によって決まる。しかしながら、ガルバノミラーの角度範囲は、対物レンズの開口部に依存する。より大きい開口を有する対物レンズは、横方向におけるガルバノスキャナのより大きい角度範囲、すなわちＸ−Ｙ走査を可能にする。
【０２５５】
本発明の別の実施形態によれば、皮膚の損傷を防止するため又は不快感を最小限に抑えるための予防策として、走査速度を上げることによって安全性をさらに改善することができる。
【０２５６】
例示的な実施形態では、ボリュメトリックディスプレイは、３次元空間を非常に迅速に走査する。したがって、長期間にわたって空間内の特定の点に留まることはないので、重大な損傷は起こり得ない。
【０２５７】
本発明の別の実施形態によれば、対話式ハプティックスの安全性は、同じ点でのさらなる接触を防ぐことによって重大な損傷の可能性を回避するために、プラズマの目標位置を調整することによってさらに改善することができる。
【０２５８】
例示的な実施形態では、カメラ又はセンサシステムを使用して、プラズマスポットが誘起される可能性があるワークスペース内及び周囲のユーザの活動をモニタリングすることができる。予防策として、プラズマボクセルは、カメラ又はセンサシステムがプラズマボクセルに接触していることを検出してから１７ｍｓ（単一フレーム）以内に無効化又は再配置しても良い。この遮断時間は、有害な曝露時間である２０００ｍｓよりも十分に短い［Ochiai et al. 2015］。レーザ源の繰り返し回数及びエネルギーが増加すると、より高速なカメラ認識システム及びより高速な走査システムが必要になる。
【０２５９】
（没入型バーチャルリアリティアプリケーション−複合視聴覚触覚システム）
視覚、触覚、及び、音声のアプリケーションを組み合わせることが可能である。空中で生成された３次元画像は、ユーザに話しかけるように見える。ユーザは、タッチ操作を介して、これらの画像と対話することができる。視覚アプリケーションのコントロールレートは、３０ｆｐｓであり、これは、触覚アプリケーションにとっては十分な値である。このレートは、音声アプリケーションのレートよりも大幅に低いため、視覚アプリケーションは音声アプリケーションに干渉しない。
【０２６０】
本発明の例示的な実施形態によれば、フェムト秒レーザ誘起プラズマを利用して機能的な空中オーディオスピーカを実現する方法が提供される。超短パルスレーザの焦点に誘起されたプラズマは、インパルス状の衝撃波を発生するので、３次元空間内の任意の位置に焦点を分布させることができる。焦点の位置は動的に変化させることができる。７Ｗフェムト秒レーザ源を用いて空中に生成されたスピーカは、１ｋＨｚから９６ｋＨｚの範囲の広い周波数特性を有する。
【０２６１】
本明細書に記載の実験例、実験データ、表、グラフ、プロット、写真、図、並びに、処理及び／又は操作パラメータ（例えば、値及び／又は範囲）は、本発明のいくつかの可能な操作条件を例示することを意図している。開示されたシステム及び方法は開示されたものであり、本明細書に開示された方法及びシステムの他の実施形態の動作条件の範囲を限定することを意図するものではない。さらに、本明細書に開示される実験、実験データ、計算データ、表、グラフ、プロット、写真、図、及び、他のデータは、開示されるシステム及び方法の実施形態が効果的に機能して１つ以上の所望の結果を生み出すことができる様々な状況を示す。そのような運転計画および所望の結果は、例えば、表、グラフ、プロット、図、又は写真に示される運転パラメータ、条件、又は、結果の特定の値だけに限定されず、これらの特定の値を含む又はそれらに及ぶ適切な範囲も含む。したがって、本明細書に開示される値は、表、グラフ、プロット、図、写真などに列挙又は示される値のいずれかの間の値の範囲を含む。さらに、本明細書に開示される値は、表、グラフ、プロット、図、写真などに記載又は表示されている他の値によって実証されるように、表、グラフ、プロット、図、写真などに記載されている上若しくは下の何れかの値の範囲を含む。また、本明細書に開示されたデータは、特定の実施形態について１つ以上の有効動作範囲及び／又は１つ以上の所望の結果を確立するが、すべての実施形態がそのような各動作範囲で動作可能である必要はない。さらに、開示されたシステム及び方法の他の実施形態は、他の動作方式で動作し、及び／又は、例示の実験、実験データ、表、グラフ、プロット、写真、図、及び、他のデータを参照して示され説明された以外の結果を生み出す。
【０２６２】
他のシステム、設定、及び、パラメータが他の実装形態で使用されてもよく、それは、同一の又は異なる結果を提供してもよい。多くの変形が可能であり、そして本開示の範囲内で想定することができる。
【０２６３】
本発明の特定の実施形態を例示し説明してきたが、本発明の精神及び範囲から逸脱することなく他の様々な変更及び修正を加えることができることは当業者には明らかであろう。したがって、本発明の範囲内にあるそのようなすべての変更及び修正を添付の特許請求の範囲で網羅することを意図している。
【図１】
2019117684.tif 000021
【図２】
2019117684.tif 000022
【図３】
2019117684.tif 000023
【図４】
2019117684.tif 000024
【図５】
2019117684.tif 000025
【図６】
2019117684.tif 000026
【図７】
2019117684.tif 000027
【図８】
2019117684.tif 000028
【図９】
2019117684.tif 000029
【図１０】
2019117684.tif 000030
【図１１】
2019117684.tif 000031
【図１２】
2019117684.tif 000032
【図１３】
2019117684.tif 000033
【図１４】
2019117684.tif 000034
【図１５】
2019117684.tif 000035
【図１６】
2019117684.tif 000036
【図１７】
2019117684.tif 000037
【図１８】
2019117684.tif 000038
【図１９】
2019117684.tif 000039
【図２０】
2019117684.tif 000040
【図２１】
2019117684.tif 000041
【図２２】
2019117684.tif 000042
【図２３】
2019117684.tif 000043
【図２４】
2019117684.tif 000044
【図２５】
2019117684.tif 000045
【図２６】
2019117684.tif 000046
【図２７】
2019117684.tif 000047
【図２８】
2019117684.tif 000048
【図２９】
2019117684.tif 000049
【図３０】
2019117684.tif 000050
【図３１】
2019117684.tif 000051
【図３２】
2019117684.tif 000052
【図３３】
2019117684.tif 000053
【図３４】
2019117684.tif 000054
【図３５】
2019117684.tif 000055
【図３６】
2019117684.tif 000056
【図３７】
2019117684.tif 000057
【図３８】
2019117684.tif 000058
【図３９】
2019117684.tif 000059
【図４０】
2019117684.tif 000060
【図４１】
2019117684.tif 000061
【図４２】
2019117684.tif 000062
【図４３】
2019117684.tif 000063
【図４４】
2019117684.tif 000064
【外国語明細書】
2019117684000001.pdf