(57)【要約】【課題】携帯などの端末の表示スクロールを加速度センサーなどで動きを検出して行うものがあったが、動く乗り物などには使えなかった。【解決手段】端末周辺の立体またはユーザーの体の一部を基準立体として三次元計測を行い、前記基準立体を「親」として、リアルタイムで端末に対する位置関係を計測し続ける。端末ユーザーが決めた任意の仮想基準平面を「子」として、その仮想基準平面にユーザーが決める任意の位置と大きさで表示データを仮想配置して、「子」は「親」にその三次元的位置関係を固定される。前記仮想基準平面の法線方向と平行に前記表示データは仮想投影される空間に前記端末の表示部分が交わると、その表示部分に仮想投影される筈の表示データが前記端末の表示部分にリアルタイムに表示される事で、端末ユーザーは拡大した表示画面のスクロールを直感的に行う事が出来る。【選択図】図１
2019185076.tif 000002
【特許請求の範囲】
【請求項１】
コンピューターと表示装置を持つ端末に於いて、
前記端末に内蔵された三次元センサー、または前記端末に接続された外部の三次元センサーにより、
端末ユーザーまたは前記コンピューターが「親」と決めた端末周辺の立体か、前記端末ユーザー自身の体の一部を基準立体として、
前記三次元センサーでリアルタイムに三次元計測をしながら、
前記三次元計測データを使って、前記「親」は、前記端末ユーザーが決めた「子」となる仮想基準平面と対応し、前記「親」と前記「子」の位置関係を固定させ、
前記仮想基準平面に前記端末ユーザーが決めた位置と大きさの表示画像を仮想配置し、
前記表示画像は前記仮想基準平面の法線方向と平行に仮想投影される領域と、
前記端末の表示画面が交わる部分に仮想投影される筈の前記表示画像を
前記端末の表示画面に表示させる端末の表示方式。
【請求項２】
コンピューターと表示装置を持つ端末に於いて、
前記端末に内蔵された三次元センサー、または前記端末に接続された外部の三次元センサーにより、
前記端末周辺の立体か、前記端末ユーザー自身の体の一部の三次元計測を行った後、
前記端末ユーザーまたは前記コンピューターが「親」と決めた基準立体の情報を基にリアルタイムで前記端末に内蔵されたイメージセンサーから得られたイメージと前記イメージセンサーに固定された三軸角速度センサーから得られたデータを使って三次元解析しながら、
前記三次元解析データを使って、前記「親」は、ユーザーが決めた「子」となる仮想基準平面と対応し、前記「親」に対して前記「子」の位置関係を固定させ、
前記仮想基準平面に前記端末ユーザーが決めた位置と大きさの表示画像を仮想配置し、
前記表示画像は前記仮想基準平面の法線方向と平行に仮想投影される領域と、
前記端末の表示画面が交わる部分に仮想投影される筈の前記表示画像を前記端末の表示画面に表示される端末の表示方式。
【請求項３】
立体上にある各点同士の距離が判っている、撮影可能な３点以上の三次元空間にある点と、
その点をリアルタイムで撮影するイメージセンサーと、
そのイメージセンサーの三軸の角速度をリアルタイムで計測するセンサーと、
を時間軸上で同期させ、
前記３点以上の点とイメージセンサーとの三次元空間内の位置関係を
前記３点以上の点が写ったイメージと、それを撮影した前記イメージセンサーの角速度から検出する方法。
【請求項４】
端末に内蔵固定された二つ以上のイメージセンサーと同じ端末に内蔵固定された三軸角速度センサーを使い、該基準立体上の３点以上の点を前記２つ以上のイメージセンサーが写したイメージデータ上の視差と、前記三軸角速度センサーから得られる角速度情報を使って前記基準立体と前記端末との三次元空間内の位置関係をリアルタイムで取得する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は端末の表示制御に関する
【背景技術】
【０００２】
携帯端末の普及で多くの人が日常的に携帯端末を利用する様になったが、携帯端末の高機能化によりその表示内容や表示情報の表示密度は上がっている。
さらに、その表示密度は判読し辛いと感ずるユーザーも、それを読み取るユーザーの高齢化により増えてきている。
この問題の通常の解決法は単に携帯端末画面をズーム拡大してスクロールするのがもっとも一般的であり、ユーザーの目をカメラで認識し、ユーザーの視点と携帯端末の距離に応じた画面の拡大率を変える出願もあった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２４８８１１
【特許文献２】特開２００５−２５１１００
【特許文献３】特開平１０−２５４６１４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
携帯端末の表示画面の小さな文字などの表示を見やすくするには、画面の大形化が最も手っ取り早いが、小型化や携帯性との二律背反になってしまう。
また、殆どの携帯端末の表示装置が持っている画面の表示拡大、スクロールのする方法があるが、小さな画面を拡大すれば、判読しやすくなる反面、一部しか見えないので全体を素早く見るにはスワイプ等によるスクロールを使う事になるので拡大率によっては頻繁にスクロールの必要が有り、操作に不慣れだとスクロールのつもりが他の操作をしてしまうなど、直感的で的確な操作は難しくなる。
【０００５】
また、参考文献１〜３にある様な手法によると、乗り物に乗った状態での携帯端末の利用において、ユーザーの持つ携帯端末の動きなのか、乗り物の動きによるものなのか、その両方によるものなのか区別できない為、移動中の乗り物の中では使用できない。
【課題を解決するための手段】
【０００６】
そこで、端末がその端末とユーザー周辺の相対的な位置関係を認識し、仮想基準平面をユーザー周辺の空間に任意の位置に固定して、任意の画像を前記仮想基準平面の任意の位置と大きさで仮想配置し、その画像の仮想平行投影表示領域内に端末をかざす事で見る仕組みを考案した。
【０００７】
前述の問題を解決するには、単に絶対的な移動量の検出、つまり加速度センサー等による携帯端末の移動量検出量に基づく表示の制御では無く、携帯端末周辺に限った携帯端末ユーザー空間と共に存在する立体親として、携帯端末の相対的な位置関係を検出して、その空間内に仮想表示領域を「子」として設定し、「子」を「親」に対して相対的に固定する事でユーザーにとって見やすい表示環境を提供する。
【０００８】
具体的には携帯端末に内蔵された１台以上のカメラと、角速度、加速度、赤外線、超音波、可視光線、レーザー、電波、磁気、GPS、等のセンサーの組み合わせ、または三次元深度センサーから得られる情報を基に、ユーザー周辺の空間に存在する、時間と供に変形しない特徴点を持つ立体か、携帯端末を使用するユーザーの顔または頭部または体の一部の立体データを取得し、記憶する。
【０００９】
終始三次元深度センサーを使って、前記立体データと前記携帯端末の位置関係をリアルタイムで取り出しても良いが、省電力と省データの観点から、前記立体データを三次元深度センサーなどの三次元センサーで最初に取得し、その立体の画像データを併用して画像的な特徴点を抽出し、携帯端末内蔵のイメージセンサー、角速度センサーから携帯端末と前記立体の相対的位置関係をリアルタイムで算出するのが良い。
この時、乗り物などによって携帯端末ユーザーを含むその周辺環境全体が移動しない場合は上記に加速度センサーを加えても良い。
【００１０】
携帯端末ユーザー自身の体の一部もしくはその周辺の三次元の立体情報の把握し、それらの画像を併せて取得した後、前記立体情報と、携帯端末の相対的な位置関係をリアルタイムで取得する事で、携帯端末周辺の任意の場所と大きさで仮想基準平面を固定する事が出来る。
【００１１】
ユーザーが前記携帯端末に表示したい表示可能な画像、映像、テキストなどの、表示すべきデータを前記仮想基準平面の法線方向と平行に仮想投影させ、その仮想投影領域と、前記携帯端末の表示面が交わる部分に前記仮想投影されるべきデータの一部または全部が表示される。
【００１２】
なお、本出願で言うユーザーとは端末または携帯端末を使用するユーザーを指す。
リアルタイム処理である必要性から、データ取得は必要最小限が望ましいが、マシンパワーに余裕があり、消費電力が無視できる状況であれば、それ以上の情報取得、解析をしても良い。
【００１３】
また、本出願で言うリアルタイムとはプロセスの結果の反映と実時間が厳密に同期していなくても実用上差し支えない程度の遅延（例えば１０msec程度）も含まれる。
【００１４】
また、図面中に使用しているテキストは本発明の発明者自身の著書「古賀信明著  アナログ基礎講座Ｉ（１１２ページ）」より引用している。
【００１５】
図３、４、５の携帯端末001にはイメージセンサー等が付いていない様に見えるが、表示画面の説明図として省略してある。
【００１６】
本明細書中は、主に携帯端末を中心に述べているが、本発明の適用は携帯端末に代えてデスクトップパソコンやノートパソコンに類する端末であっても良い。
【００１７】
なお、本明細書中の端末周辺の三次元データ、または端末ユーザーの体の一部の三次元データの取得の際、必ずしも端末を移動して計測する必要は無い。
【発明の効果】
【００１８】
本発明によれば、使用者の空間が乗り物などによって移動する空間であっても、適切な大きさの大きさの仮想表示領域をユーザーが決めた後、その領域内に端末をかざす事により、前記仮想表示内容に対応する部分がその端末の表示器（ディスプレイ）の中に表示され、端末を前記仮想表示領域内で端末を動かす事で結果的に自由にスクロール出来るが、ユーザーから見た場合、その表示はスクロールでは無く、携帯端末ユーザー周辺の立体物、またはユーザ−自身の体の一部に対して、固定された見えない表示情報が携帯端末の表示画面（フレーム）をかざす事によって、対応する位置にその情報が表示される様に感ずるので、非常に見やすくストレスが少ない。
【００１９】
また、携帯端末ユーザーの頭や顔に対して仮想基準平面を固定する事で、頭を動かさずに端末を注視しつつ端末を動かすか、逆に端末を動かさず、端末を注視しつつ頭の向きを変える事で直感的にスクロールが出来、手が不自由なユーザーであっても楽にスクロールが出来る。
【図面の簡単な説明】
【００２０】
【図１】基準立体（「親」）を携帯端末ユーザーの顔にした場合の説明図である。
【図２】仮想基準平面（「子」）に対して携帯端末が傾いた場合と平行の場合の一例である。
【図３】仮想基準平面（「子」）に対して携帯端末へ平行投影される表示の一例である。
【図４】同じく携帯端末がu軸で傾いた場合の表示の一例である。
【図５】同じくu,v,w軸方向で傾いた場合の表示の一例である。
【図６】イメージセンサーの角速度と特徴点間の距離が判っている時に、三次元解析が可能な撮影環境の説明図である。
【発明を実施するための形態】
【００２１】
例えば、携帯端末に内蔵された一つ以上のイメージセンサーと、角速度、赤外線、超音波、可視光線、レーザー、電波、磁気、GPS、などのセンサー等を組み合わせて得られる情報か、三次元深度センサーなどの三次元センサーを使って得られる情報を基に、携帯端末に内蔵されたコンピューターが、携帯端末周辺か携帯端末ユーザーの体の一部の三次元情報を解析（３Ｄモデリングデータ生成）出来るプログラムと、
【００２２】
前記情報取得方法を使って生成された前記３Ｄモデリングデータと端末の位置関係をリアルタイムで解析するプログラムか、前記３Ｄモデリングデータとイメージセンサーを併用して、抽出した３点以上の特徴点を使い、イメージセンサーと、角速度センサーを併用して、前記３Ｄモデリングデータとの位置関係をリアルタイムで解析するプログラムを持ち、
【００２３】
前記で得られた三次元情報を基に、携帯端末ユーザーが決めた仮想基準平面上に、携帯端末ユーザーが任意の場所に配置する、携帯端末ユーザーが携帯端末に表示可能な画像、映像、テキストなどの、表示すべきデータを前記仮想基準平面の法線方向と平行に仮想投影した領域と端末表示画面が交わる事で端末表示画面に投影される筈のデータが実際の端末表示画面に表示されるプログラムを持つ携帯端末表示装置。
【００２４】
尚、この明細書に記載してある形態は発明を実施する為の形態の一つで有り、請求項に合致していれば、この形態に限定される事は無い。
【実施例】
【００２５】
本発明の用途は、最も考えられるのが携帯端末であり、また、顔を動かす事でスクロール可能な事から、手が不自由な人向けの端末操作手段としても利用可能であるが、本出願の明細書では最も多くの人が利用するであろう携帯端末を中心に、その一例を挙げて説明をする。
【００２６】
まず、携帯端末には携帯端末に内蔵された1台以上のカメラ、または、超音波やレーザー、電波、磁気、赤外線、可視光線、加速度などを組み合わせた位置センサーから、または、三次元深度センサーなどの三次元センサーから携帯端末と携帯端末のユーザー周辺の３次元空間情報を取得し、このプロセスで得られる時間軸を持った三次元基準立体を「親」とする。
【００２７】
この時、携帯端末ユーザーの体の一部の様に携帯端末に近い場合は視差を利用した三次元深度計測、ユーザーより遠いものについては携帯端末から出た光が反射して戻ってくる時間差などによる三次元深度計測法などと、測定精度や消費電力などを基準に測定法を使い分けても良い。
【００２８】
また、検出する三次元空間での基準となる「親」はユーザー周辺の壁や窓などの動かないものにするか、ユーザー自身の顔（頭）等の体の一部にするかを決定するのはユーザー自身が行っても良く、携帯端末内部のコンピューターが環境条件や学習結果から自動で判断しても良い。
【００２９】
次に、ユーザーは携帯端末を見やすい位置にかざして仮想基準平面を決める。
この仮想基準平面は前記「親」に従属して固定される「子」の関係になっている。
【００３０】
ユーザーは、前記仮想基準平面の希望の位置に表示画面データを仮想配置し、見やすい大きさを設定して、使用を開始する。
「親」の三次元情報と、それに対する携帯端末の位置情報はリアルタイムで検出されており、設定を変更しない限り、前記情報を基に常に「子」は「親」に対して固定しているかの様にリアルタイムで従属して動く。
【００３１】
前記仮想基準平面にユーザーが配置した前記仮想表示画面は前記仮想基準平面の法線と平行に仮想投影されている様な状態であり、その平行投影領域に携帯端末の表示画面が交わると、交わった部分に仮想投影される筈の表示画面データと同じデータが端末の表示画面に表示され、たとえ携帯端末が仮想基準平面に対して傾いていても、携帯端末の表示画面に平行投影された仮想表示データが斜めに入射することになるので、表示画面をその画面に対して正面から見ると歪んで見えるが、携帯端末ユーザーから見ると図２のＶ２０や、図４，５の４Ｂ、５Ｂの様に殆ど歪まずに見える。
【００３２】
それは、恰もプロジェクターで平行投影されたイメージの中に端末の表示画面と同じ形状の白いカードを差し入れると、そのカードにその投影されたイメージの一部が映り、それをプロジェクターの光軸上から見ている状態に似ており、光軸上から観察する限り、カードが光軸に対して傾いてもカードに映るイメージは変形して見えない状態に近い。
【００３３】
図１の１Ａ、１Ｂの様に携帯端末のユーザーの顔（頭）を「親」にした場合、仮想空間内で「子」である仮想基準平面は前記ユーザーの顔（頭）に固定されているかの様に前記ユーザーの顔（頭）の動きに付いて動くので、携帯端末を固定してユーザーの顔（頭）の向きを変えるか、ユーザー自身が動かない場合は携帯端末を動かす事で表示内容がスクロールされる。
【００３４】
ユーザーの周辺の環境の変化が激しい場合や、殆ど光を反射しない環境などの場合、また非常に暗い環境の場合は、表示画面の発光がイメージセンサーの照明となったり近距離の視差を利用する事で精度が上がる等の理由で「親」を顔にするメリットは大きい。
また、携帯端末ユーザーの周辺の壁や窓などを「親」にすると、空間に仮想表示領域が固定されるので、携帯端末ユーザーの姿勢や動きとは関係なく、携帯端末を動かす事で、安定して表示内容をスクロールする事が出来る。
【００３５】
携帯端末に代えて通常のデスクトップやノートパソコンにおいても、前記携帯端末に準ずるセンサーを内蔵し、または外部の三次元センサーが有線もしくは無線による接続にて前記パソコンへの信号伝達手段を持ち、それらのデータから前記パソコンとその周辺の三次元情報と前記パソコンユーザーの体の一部、例えば顔や頭の三次元情報と位置関係を解析し、それに基づいて前記パソコンユーザーの顔（頭）の位置によって表示される場所を変える（スクロールする）としてもよい。
【００３６】
端末と端末ユーザーの位置関係のリアルタイムの検出は、センサーそのものの消費電力及びその取り扱うデータ量はバッテリー駆動時間や画像処理による遅延時間に大きく関わってくる為、できるだけ省電力、省データにする必要がある。
通常、三次元深度センサーなどの三次元センサーは一般的に他のセンサーより消費電力が大きく、特に電力に限りの有る携帯端末などでは極力長時間の使用は避けたい。
【００３７】
そこで、三次元センサーの使用を最小限にとどめ、二次元のイメージセンサーと角度センサーを使った三次元解析の方法を説明する。
まず、三次元の立体で「親」となる基準立体を三次元深度センサーなどでその立体情報をそのイメージデータと供に取得する。
この時、三次元計測中に結果が不安定な部分やイメージデータと立体データ判定等から動く可能性のあるものは除外される。
イメージデータと立体データ判定とは、ライブラリーや過去の学習結果等と照合して、しわのあるものや、まとめていない髪の毛、カーテン状のもの等と認識されると、動く可能性が有り、壁などの平面と認められるもの、直線の要素を持つもの、直角に近い角を持つものなどは動かない可能性がある等と判定される。
【００３８】
続いて、得られた「親」のイメージデータ上の特徴点を図６のｐ１〜ｐ３の様に三点以上抽出して、その点と合致する三次元データと照合する。
この時、前記イメージデータで判別しやすい前記特徴点と前記三次元データの一つと、必ずしも合致するとは限らない。
その場合は、前記三次元データと合致しない前記イメージデータ上の特徴点に最も近い前記三次元データの三点を使って平面を作り、前記合致しないイメージの特徴点はその平面上の中心点にあると仮定しても良い。
【００３９】
また、同じ基準立体に対して、ひとつのイメージセンサーと前記３点の特徴点と角速度を使った解析を２箇所以上で行ってその平均値を使っても良い。
さらに、前記３点の特徴点に対して、端末に内蔵され、間隔が固定された２つ以上のイメージセンサーの各イメージセンサーから得られる視差情報と、同じく前記端末に内蔵固定された三軸角速度センサーから得られる各軸の角速度を使って前期同様に三次元解析を行っても良い。
ユーザーが仮想基準平面と、その仮想基準平面に配置する表示データを決定すると、三次元深度センサーなどの三次元センサーによる計測から、イメージセンサーと角速度センサーを使った解析に切り替わる。その際、抽出された各特徴点ｐ１〜ｐ３とイメージセンサーとの距離は引き継がれ、２Ｄによる立体解析開始の際の足掛かりとする。
【００４０】
その後は、図６の６Ｂに示す様にイメージセンサーがとらえた画像上のiｐ１〜iｐ３が成す各点間の画像上の距離と、実際の点間の距離、そしてイメージセンサーのuvw軸の角速度から「親」と端末の位置関係を算出し、その結果を基に仮想基準平面00である「子」の、空間内の位置を固定する。
【００４１】
以下に、ユーザーが雑誌の様な携帯画面より大きな面積に多くのテキストが書かれたデータを読みたい場合を例に更に詳しく説明する。
最初に携帯端末を空間計測モードにして携帯端末を使用する空間で三次元深度を得るが、三次元解析を行う前に、動く可能性の無い、車内や室内の壁や窓、椅子や家具などの内装と、動く可能性のある人体やカーテン等の区別を画像からそれまでの学習結果を参照しつつ、実際の画像から推測するか、ユーザーの判断で手動で設定する。
次に時間軸を加味した三次元計測を行い、実際に動いているかを判定して、「動かない」と判定されたその立体を基準立体とし、「親」とする。
【００４２】
このまま三次元深度センサーを用いて親と端末の位置関係を検出し続けても良いが、このプロセスに消費される電力や扱うデータの軽さから、イメージセンサーからの画像より特徴点候補を抽出しつつイメージセンサーが内蔵された端末の３軸の角速度の変化を時間軸と供に対応させて、イメージセンサーの位置と特徴点の位置の推測をすると、現実的に望ましい。
計測初期に動かないものと判断されたものであっても、位置データ使用中に他のデータと矛盾する部分は随時排除する。
そのためにも、基準立体上で特徴点として使用可能な候補は最初の計測時に可能な限り挙げておく事が望ましい。
随時前記の計測ルーチンを繰り返してリアルタイムに更新して精度を上げてゆく。
【００４３】
ここで述べるまでも無く、携帯端末内蔵のイメージセンサーに付随するレンズに起因する、三次元解析で矛盾を生むレンズディストーションを持つイメージは解析前のプロセスで映像ワーピングなどを使ってディストーション解除して映像の三次元解析を行う。
【００４４】
仮想空間表示に必要な「親」となる三次元情報が得られたら、ユーザーは使用しやすい任意の場所に仮想基準平面00を設定する。
次に携帯端末のディスプレイにユーザーが読みたいテキストなどのデータを任意の位置と大きさに表示させる。
【００４５】
ユーザーの体の一部以外の立体に「親」を設定した場合、表示から外れた部分を読みたければ、その方向に携帯端末を動かす事で読む事が出来、更に拡大、縮小表示したければ、携帯端末のピンチアウト、ピンチインするかそのまま携帯を表示面に垂直に上げ下げする事で表示可能である。
この場合、端末の該仮想基準平面００に対して垂直に上げると拡大して下げると縮小するのが使いやすいと思われるが、ユーザーの意図によっては逆に端末の該仮想基準平面００に対して垂直に下げると拡大して上げると縮小するように設定しても良い。
【００４６】
端末とユーザー周辺の三次元情報に代えて、人体であっても、ほぼ位置関係が変わらないユーザーの目頭、目尻の位置、耳、眼鏡、または顔、頭に見出される特徴点の位置情報を加えても良い。
特にこれら顔などに見られる、表情などの変化による一時的な配置の変化は、一定時間経つと元の位置に戻る場合が多いので、その間を代用データで埋めて補間するか、殆ど表情による位置関係変化の無い目尻と目頭の位置関係変化が無い場合、他の特徴点の位置関係が崩れても「表情変化による一時的な位置関係の崩れ」と判断して、その部分を無視しても良い。
ユーザーの体の一部、例えば頭や顔を「親」０００とした場合は、ユーザーの頭を動かす事で端末表示画面のスクロールが出来、逆に端末を動かしても同様にスクロールが出来る。
【００４７】
三次元データの取得不備や安定さに欠ける測定環境などにより正しい三次元空間の生成が不安定な場合、携帯端末の表示が不安定にならない様にその表示を動かすパス（軌跡）を滑らかにしても良い。
【００４８】
端末のコンピューターが、学習した画像認識と立体認識の併用によって互いに位置関係を変えないものを自動判断させても良い。
例えば、「しわが入っている形状の立体」は動く可能性がある、「凹凸の無い平面」や「取得した三次元データ上で９０°のアングルを持つもの」や「直線の輪郭を持つもの」は動く可能性が低い・・等といった判断をしてもよい。
【００４９】
点群同士の互いの位置関係が固定した立体情報が得られない人体の部位や風で動くカーテン等は微妙で、これらの識別は素早い三次元情報取得に非常に重要である。
一般に広い面の立体データよりも小さな面を持つ立体データの方が時間の経過に従って形を変えにくい、例えば人間の顔は表情の変化により固定した立体データが崩れやすいが、耳のみの場合その立体形状は殆ど変わらない。また、同じ人体の一部であっても座った時の膝の形状などもその立体形状は殆ど変わらないという事実を「親」とするデータ取得の際に反映すると良い。
【００５０】
ユーザーが歩きながら携帯端末を見る時には、加速度センサー等から得られる歩行パターン、１台以上のカメラからの静物と判断される情報量の少なさなどから「歩きスマホ状態」等と判断して、危険防止の観点から、その旨のメッセージを表示すると供に携帯端末の表示を中断しても良い。
【産業上の利用可能性】
【００５１】
本発明の使途は、最も考えられるのが携帯端末であり、携帯端末で表示画面より大きなデータを細かく素早く見たい場合の他、
顔を動かす事でスクロール可能な事から、手が不自由な人向けの端末操作手段としても利用可能である。
【符号の説明】
【００５２】
０００  基本立体（「親」）
００１  携帯端末
１００  基準立体（「親」）と相対的に固定される仮想基準平面（「子」）と平行投影領域
101  端末の表示面と平行投影領域が交わり表示される部分
00  ユーザーの顔または頭（基準立体（「親」））と、相対的に固定される、ユーザーが最初に決める仮想基準平面（「子」）
１０、１０ａ、１０ｂ、１０ｃ、  携帯端末に表示される表示例
１１  携帯端末画面に高密度に表示された状態
２０  仮想基準平面（「子」）に対して平行でない携帯端末に表示される表示例
Ｖ１０  ユーザーから見た１０、１０ａ、１０ｂ、１０ｃの表示画面
Ｖ２０  ユーザーから見た２０の表示画面
Ｖ  視線
１  顔を動かさずにユーザーが動かせる視線
１Ａ  ユーザーが正面を見た時の仮想基準平面（「子」）と平行投影領域
１Ｂ  ユーザーが下を見た時の仮想基準平面（「子」）と平行投影領域
３Ａ  携帯端末の表示面に仮想基準平面（「子」）から投影される時の斜視図である
３Ｂ  携帯端末の表示面に仮想基準平面（「子」）から投影される時のユーザーからの見た目である
３Ｃ  携帯端末の表示面に表示されるべき全画面が表示された高密度表示画面である
４Ａ  傾いた携帯端末の表示面に仮想基準平面（「子」）から投影される時の斜視図である
４Ｂ  傾いた携帯端末の表示面に仮想基準平面（「子」）から投影される時のユーザーからの見た目である
５Ａ  三軸共に傾いた携帯端末の表示面に仮想基準平面（「子」）から投影される時の斜視図である
５Ｂ  三軸共に傾いた携帯端末の表示面に仮想基準平面（「子」）から投影される時のユーザーからの見た目である
6Ａ  三次元解析可能な点同士の距離が判っている点と角速度センサーとイメージセンサーの図である
6Ｂ  点同士の距離が判っている三次元空間中の点を撮影した３０の画像（イメージ）である
ｐ１、ｐ２，ｐ３  点同士の距離が判っている三次元空間中の点
ｉｐ１、ｉｐ２、ｉｐ３  撮影された点同士の距離が判っている三次元空間中の点のイメージデータ
ｕ、ｖ、ｗ  角度軸
３０  イメージセンサー
３０１  画角
【図１】
2019185076.tif 000003
【図２】
2019185076.tif 000004
【図３】
2019185076.tif 000005
【図４】
2019185076.tif 000006
【図５】
2019185076.tif 000007
【図６】
2019185076.tif 000008