(57)【要約】      （修正有）【課題】プロセッサの負荷を抑制しながらＡＲやＭＲを実現できる映像生成方法および映像生成プログラムを提供する。【解決手段】３Ｄ（Three  Dimensions）擬似空間におけるオブジェクトを、３Ｄ擬似空間におけるカメラが透視投影することで、映像を生成し、映像表示装置に表示する映像生成方法であって、映像表示部１１から入力される視野情報に基づいてカメラの視野を設定する視野設定部１０１と、瞳孔間距離を設定する瞳孔間距離設定部１０２と、視野およびオブジェクトとカメラの位置関係に基づいて基準映像をレンダリングする映像レンダリング部１０３と、視野、瞳孔間距離、とオブジェクトとカメラの位置関係に基づいて、基準映像を横方向にシフトすることで、２つの映像を生成する映像シフト部１０４と、を備える。【選択図】図１
2020098945.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄ（Three Dimensions）擬似空間におけるオブジェクトを、前記３Ｄ擬似空間におけるカメラが透視投影することで、映像を生成し、映像表示装置に表示する映像生成方法であって、
前記映像表示装置から入力される視野情報に基づいて前記カメラの視野を設定する視野設定過程と、
瞳孔間距離を設定する瞳孔間距離設定過程と、
前記視野および前記オブジェクトと前記カメラの位置関係に基づいて基準映像をレンダリングする映像レンダリング過程と、
前記視野、前記瞳孔間距離、と前記オブジェクトと前記カメラの位置関係に基づいて、前記基準映像を横方向にシフトすることで、２つの前記映像を生成する映像シフト過程と、
を備える映像生成方法。
【請求項２】
前記映像レンダリング過程は、プロセッサの負荷を測定し、
前記負荷が閾値を下回る場合、前記３Ｄ疑似空間において、前記カメラから前記瞳孔間距離だけ離れた場所にカメラを追加し、
それぞれの前記カメラで透視投影を行うことで前記映像を生成し、
前記映像シフト過程の処理をスキップする、
請求項１に記載の映像生成方法。
【請求項３】
前記映像レンダリング過程は、前記３Ｄ擬似空間におけるオブジェクト数が２以上の場合、前記３Ｄ疑似空間において、前記カメラから前記瞳孔間距離だけ離れた場所にカメラを追加し、
それぞれの前記カメラで透視投影を行うことで前記映像を生成し、
前記映像シフト過程の処理をスキップする、
請求項１に記載の映像生成方法。
【請求項４】
前記映像レンダリング過程は、前記３Ｄ擬似空間におけるオブジェクトであって、奥行きオン情報が設定されているオブジェクトが２以上の場合、前記３Ｄ疑似空間において、前記カメラから前記瞳孔間距離だけ離れた場所にカメラを追加し、
それぞれの前記カメラで透視投影を行うことで前記映像を生成し、
前記映像シフト過程の処理をスキップする、
請求項１に記載の映像生成方法。
【請求項５】
請求項１に記載の映像生成方法をコンピュータに実行させるための映像生成プログラム。
【請求項６】
３Ｄ（Three Dimensions）擬似空間におけるオブジェクトを、前記３Ｄ擬似空間におけるカメラが透視投影することで、映像を生成し、映像表示装置に表示する映像生成装置であって、
前記映像表示装置から入力される視野情報に基づいて前記カメラの視野を設定する視野設定部と、
瞳孔間距離を設定する瞳孔間距離設定部と、
前記視野および前記オブジェクトと前記カメラの位置関係に基づいて基準映像をレンダリングする映像レンダリング部と、
前記視野、前記瞳孔間距離、と前記オブジェクトと前記カメラの位置関係に基づいて、前記基準映像を横方向にシフトすることで、２つの前記映像を生成する映像シフト部と、
を備える映像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像生成装置、映像生成方法および映像生成プログラムに関する。
【背景技術】
【０００２】
近年、拡張現実（AR; Augmented Reality）や複合現実（MR; Mixed Reality）を実現するため、メガネ型端末やスマートグラス等のウエアラブル機器が注目されている。特許文献１および２には、メガネ型端末を実現する表示装置が記載されている。メガネ型端末が備える左目用と右目用のディスプレイに、異なる映像を表示して輻輳や両眼視差の効果を得ることで、ＡＲやＭＲを実現する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１４９５８７
【特許文献２】ＷＯ２０１６／１１３９５１
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、左目用と右目用の２つの映像をリアルタイムに生成する場合、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ（Accelerated Processing Unit）、等のプロセッサの負荷が増加し、処理落ちが発生するという問題がある。
【０００５】
本発明はこのような事情を鑑みてなされたものであり、その目的は、プロセッサの負荷を抑制しながらＡＲやＭＲを実現できる映像生成方法および映像生成プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明に係る映像生成方法および映像生成プログラムの構成は、次の通りである。
【０００７】
本発明の一態様による映像生成方法は、３Ｄ（Three Dimensions）擬似空間におけるオブジェクトを、前記３Ｄ擬似空間におけるカメラが透視投影することで、映像を生成し、映像表示装置に表示する映像生成方法であって、前記映像表示装置から入力される視野情報に基づいて前記カメラの視野を設定する視野設定過程と、瞳孔間距離を設定する瞳孔間距離設定過程と、前記視野および前記オブジェクトと前記カメラの位置関係に基づいて基準映像をレンダリングする映像レンダリング過程と、前記視野、前記瞳孔間距離、と前記オブジェクトと前記カメラの位置関係に基づいて、前記基準映像を横方向にシフトすることで、２つの前記映像を生成する映像シフト過程と、を備える。
【０００８】
また、本発明の映像生成方法において、前記映像レンダリング過程は、プロセッサの負荷を測定し、前記負荷が閾値を下回る場合、前記３Ｄ疑似空間において、前記カメラから前記瞳孔間距離だけ離れた場所にカメラを追加し、それぞれの前記カメラで透視投影を行うことで前記映像を生成し、前記映像シフト過程の処理をスキップする。
【０００９】
また、本発明の映像生成方法において、前記映像レンダリング過程は、前記３Ｄ擬似空間におけるオブジェクト数が２以上の場合、前記３Ｄ疑似空間において、前記カメラから前記瞳孔間距離だけ離れた場所にカメラを追加し、それぞれの前記カメラで透視投影を行
うことで前記映像を生成し、前記映像シフト過程の処理をスキップする。
【００１０】
本発明の一態様による映像生成プログラムは、上述した映像生成方法をコンピュータに実行させる。
【００１１】
本発明の一態様による映像生成装置は、３Ｄ（Three Dimensions）擬似空間におけるオブジェクトを、前記３Ｄ擬似空間におけるカメラが透視投影することで、映像を生成し、映像表示装置に表示する映像生成装置であって、前記映像表示装置から入力される視野情報に基づいて前記カメラの視野を設定する視野設定部と、瞳孔間距離を設定する瞳孔間距離設定部と、前記視野および前記オブジェクトと前記カメラの位置関係に基づいて基準映像をレンダリングする映像レンダリング部と、前記視野、前記瞳孔間距離、と前記オブジェクトと前記カメラの位置関係に基づいて、前記基準映像を横方向にシフトすることで、２つの前記映像を生成する映像シフト部と、を備える。
【発明の効果】
【００１２】
本発明によれば、映像生成方法は、プロセッサの負荷を低減しながら、ＡＲ表示できる映像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る映像生成装置の構成を示す概略ブロック図である。
【図２】第１の実施形態における３Ｄ擬似空間の一例を示す図である。
【図３】第１の実施形態における映像生成方法が出力する映像と目の関係の一例を示す図である。
【図４】第２の実施形態における３Ｄ擬似空間の一例を示す図である。
【図５】第２の実施形態における３Ｄ擬似空間の一例を示す図である。
【発明を実施するための形態】
【００１４】
（第１の実施形態）
図１は、本実施形態に係る映像生成装置１０の一例を示す図である。図１には、映像表示部１１を併せて記す。映像表示部１１は、例えばメガネ型端末、スマートグラス、またはヘッドマウントディスプレイなどの映像表示装置に具備される。映像生成装置１０は、前記映像表示装置内に備えられてもよいし、スマホなどの前記映像表示装置と接続可能な端末装置に備えられてもよい。図１に示すように、本実施形態における映像生成装置１０（映像生成方法）は、視野設定部（視野設定過程）１０１、瞳孔間距離設定部（瞳孔間距離設定過程）１０２、映像レンダリング部（映像レンダリング過程）１０３、および映像シフト部（映像シフト過程）１０４を含んで構成される。
【００１５】
視野設定部１０１は、映像表示部１１から入力される視野情報に基づいて、映像レンダリング部１０３で用いられる視野（FoV; Field of View）の大きさを設定する。視野とは、例えば、３Ｄ擬似空間におけるカメラが透視投影を行う際の、縦方向の角度である。視野設定部１０１は、設定された視野の値を映像レンダリング部１０３に出力する。視野情報は、例えば、視野の値そのものである。視野の値は、縦方向の値でも良いし、斜め方向の値や横方向の値でも良い。また、視野の値は、縦方向の値、斜め方向の値及び横方向の値のうち、１つ以上の値でもよい。視野情報は、例えば、映像表示部１１が具備された映像表示装置のベンダーＩＤやプロダクトＩＤ等のＩＤである。映像生成装置１０は、前記ＩＤと、視野の値をと関連付けて格納することができる。映像生成装置１０は、ＩＤと視野の値を関連付けたテーブル（データベース）を有することができる。映像生成視野設定部１０１は、このＩＤに基づいて、視野の値を決定することができる。視野設定部１０１は、例えば、このＩＤと自身が持つデータベースを比較することで、視野の値を決定することができる。視野設定部１０１は、例えば、このＩＤをインターネット上のサーバに問
い合わせ、視野の値を受信することができる。例えば、視野角設定部１０１は、サーバ上にある前記テーブル（データベース）を用いることができる。
【００１６】
瞳孔間距離設定部１０２は、瞳孔間距離（PD; Pupillary Distance）を設定し、映像レンダリング部１０３と映像シフト部１０４に出力する。瞳孔間距離は、固定値としても良いし、ユーザが値を手入力しても良い。あるいは、瞳孔間距離設定部１０２は、映像表示部１１に備えられたセンサやウェアラブルセンサで測定された瞳孔間距離を設定しても良い。
【００１７】
映像レンダリング部１０３は、３Ｄ擬似空間においてカメラがオブジェクトを撮影することで、映像をレンダリングする。この際、カメラの視野は、視野設定部１０１から入力される視野の値に設定されることができる。
【００１８】
映像シフト部１０４は、映像表示部１１からディスプレイ情報を受信する。このディスプレイ情報はインターネットから取得しても良い。映像シフト部１０４は、映像レンダリング部１０３から入力される映像を、瞳孔間距離設定部１０２から入力される瞳孔間距離とディスプレイ情報に基づいてシフトし、２つの映像に変換する。映像シフト部１０４は、生成した２つの映像を映像表示部１１に出力する。なお、シフトを行う前の映像を基準映像と呼ぶことができる。
【００１９】
図２は、映像レンダリング部１０３が用いる３Ｄ擬似空間の一例を示す。２０は３Ｄ擬似空間を高さ方向から見た図である。２１は３Ｄ疑似空間を横から見た図である。例えば、３Ｄ擬似空間の北方向をｚ軸、高さ方向をｙ軸、東方向をｘ軸とすることができる。その場合、２０は３Ｄ疑似空間をｙ軸のプラス方向から見た図であり、２１は３Ｄ疑似空間をｘ軸のプラス方向から見た図である。カメラ２０１は、自身と３Ｄ擬似空間におけるオブジェクト２０２との位置関係と、視野設定部１０１に設定された視野に基づいて、透視投影で映像を生成することができる。なお、この例において、オブジェクト２０２は直方体である。この透視投影は、視野２１１に基づいて行われることができる。視野２１１は視野設定部１０１に設定された視野とすることができる。この例において、縦方向視野が設定されるが、横方向視野は映像表示部１１の表示サイズやアスペクト比から設定されることができる。また、２０３はカメラ２０１とオブジェクト２０２との距離である。
【００２０】
図３は、映像シフト部１０４が、映像レンダリング部１０３によって生成された画像をシフトする一例を示した図である。３０１と３１１は、映像表示部１１のディスプレイである。３０２はディスプレイ３０１の横方向の中心線であり、３１２はディスプレイ３１１の中心線である。３０３はユーザの左目を表し、３１３はユーザの右目を表す。３０４は左目３０３の中心線を表し、３１４は右目３１３の中心線を表す。３０５は、映像レンダリング部１０３がレンダリングした図２の２０２に対応するオブジェクトである。図２の２０の場合、オブジェクト３０５がディスプレイ３０１においては中心線３０２の上に表示される映像が生成されるが、映像シフト部１０４はこれに右方向シフトを与える。同様に、映像シフト部１０４は、ディスプレイ３１１に表示される映像には左方向シフトを加える。これにより、ユーザは、自身から距離２０３だけ離れた位置にオブジェクト３０６が存在するように輻輳の効果を得ることができる。シフト量は、視野設定部１０１が設定する視野、瞳孔間距離設定部１０２が設定する瞳孔間距離、映像レンダリング過程１０３がレンダリングする３Ｄ疑似空間のオブジェクトとカメラの距離に基づいて行うことができる。
【００２１】
図４は、図２の３Ｄ擬似空間の設定を変更したものである。オブジェクト４０２は、オブジェクト２０２を横方向に動かしたものである。４０３はカメラ２０１とオブジェクト４０２の距離である。４０４は、カメラ２０１の横方向と同じ方向の線であり、オブジェ
クト４０２を通る。４０５は、カメラ２０１から線４０４におろした垂線の長さである。長さ４０５の値をｘとすると、例えば、ｘに関する多項式を用いてシフト量を決定することができる。具体的に、シフト量ｙは、ｙ＝ａｎ（ｘ−ｘ０）ｎ＋・・・ａ１（ｘ−ｘ０）＋ａ０とすることができる。ｘ０と係数ａｉは映像表示装置１１によって決まる値であり、データベースに映像表示装置１１の情報を入力して得られる出力から知ることができる。データベースは映像生成装置１０内にあってもよい。データベースはサーバ上にあってもよい。
【００２２】
このように、本実施形態によれば、映像レンダリング部１０３がレンダリングを行う回数が１回であり、そのコピーに基づいて輻輳の効果を得られる２つの映像を生成するため、プロセッサの負荷を軽減することができる。
【００２３】
なお、映像シフト部１０４が行う映像シフトは、プロセッサの負荷が閾値を超えた場合に行うようにしてもよい。負荷が閾値を超えない場合、映像レンダリング過程１０３は３Ｄ疑似空間に左目用と右目用の２つのカメラを用意し、２つの映像をレンダリングすることができる。左目用のカメラによって生成された映像は図３のディスプレイ３０１で表示されることができ、右目用のカメラによって生成された映像は図３のディスプレイ３１１で表示されることができる。この場合、映像シフト部１０４の処理はスキップされる。映像レンダリング部１０３が、プロセッサの負荷を算出するようにしてもよい。
（第２の実施形態）
第１の実施形態では、映像生成装置１０は、３Ｄ擬似空間において１つのカメラを用いてレンダリングを行い、レンダリングされた映像を横方向にシフトすることで、輻輳のある映像を生成する。本実施形態では、３Ｄ擬似空間において対象となるオブジェクトが複数存在する場合について説明する。
【００２４】
図５は、図２の３Ｄ擬似空間に、さらにオブジェクト５０１が存在する場合の一例である。このような場合、カメラ２０１とオブジェクト２０２の位置関係だけに基づく横方向シフトで映像を生成すると、カメラ２０１とオブジェクト５０１との距離感が正しくなくなる。これを避けるため、例えば、図１の映像レンダリング部１０３は、３Ｄ擬似空間内のオブジェクト数が２以上であることを検知した場合、カメラ２０１ではなく、さらに左目用カメラと右目用カメラを設定し、それらに基づいて左目用の映像と右目用の映像を生成することができる。このようにすることで、オブジェクト５０１の距離感を正しく表現することができる。
【００２５】
または、オブジェクト２０２やオブジェクト５０１は、奥行きオン情報を備えることができる。具体的に、図１の映像レンダリング部１０３は、左目用カメラと右目用カメラを使うか否かを、奥行きオン情報が設定されているオブジェクト数が１かどうかに基づいて決めることができる。例えば、図５において、オブジェクト２０２には奥行きオン情報が設定されており、オブジェクト５０１には奥行きオン情報が設定されていない場合、映像レンダリング部１０３は、カメラ２０１に基づいて映像をレンダリングし、映像シフト部１０４がその映像をシフトすることで、左目用映像と右目用映像を生成することができる。このようにすることで、プロセッサの負荷を低減することができる。
【００２６】
なお、本発明に係る映像生成装置、映像生成方法および映像生成プログラムで動作するプログラムは、本発明に関わる上記実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的にＲＡＭに蓄積され、その後、各種ＲＯＭやＨＤＤに格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭ、不揮発性メモリカ
ード等）、光記録媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ、ＢＤ等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。
【００２７】
また市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれる。また、上述した実施形態における映像生成方法および映像生成プログラムの一部、または全部を典型的には集積回路であるＬＳＩとして実現してもよい。受信装置の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。各機能ブロックを集積回路化した場合に、それらを制御する集積回路制御部が付加される。
【００２８】
また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【００２９】
なお、本願発明は上述の実施形態に限定されるものではない。本願発明の映像生成方法は、メガネ型端末への適用に限定されるものではなく、携帯型の機器や、ウエアラブル機器などに適用出来ることは言うまでもない。
【００３０】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【産業上の利用可能性】
【００３１】
本発明は、映像生成方法および映像生成プログラムに用いて好適である。
【符号の説明】
【００３２】
１０  映像生成部
１１  映像表示部
１０１  視野設定部
１０２  瞳孔間距離設定部
１０３  映像レンダリング部
１０４  映像シフト部
２０  ３Ｄ疑似空間（高さ方向）
２１  ３Ｄ疑似空間（横方向）
２０１  カメラ
２０２  オブジェクト
２０３  距離
３０１、３１１  ディスプレイ
３０２、３１２  ディスプレイの中心線
３０３、３１３  目
３０４、３１４  目の中心線
３０５、３０６  オブジェクト
４０２  オブジェクト
４０３  距離
４０４  カメラの横方向と同じ方向でオブジェクトを通る線
４０５  距離
５０１  オブジェクト
【図１】
2020098945.tif 000003
【図２】
2020098945.tif 000004
【図３】
2020098945.tif 000005
【図４】
2020098945.tif 000006
【図５】
2020098945.tif 000007