(57)【要約】【課題】実物体にビジュアル情報を投影することができる投影装置において、そのビジュアル情報を見ている利用者の立ち位置に応じて、適した投影内容が見難いことが予想される。【解決手段】実物体に対して映像を重畳し表示することができる装置において、利用者の位置及び投影面を含む被写体までの奥行き情報に基づき、投影された映像が見づらくなると予測される場合、映像のレイアウトを変更して表示することを可能にする。また、描画位置を変更することができないビジュアル情報の場合、投影位置を変更せずに、そのままの位置に投影することを可能にする。【選択図】図１
2015100052.tif 000002
【特許請求の範囲】
【請求項１】
投影面を含む被写体に映像を投影する投影装置において、
前記投影装置から被写体までの距離を算出する距離算出部と、
前記投影装置を利用する利用者の３次元位置を検出する利用者位置検出部と、
前記距離算出部によって算出された被写体までの距離と、前記利用者位置検出部によって検出された利用者の位置とに基づいて、前記投影装置から投影面に向かって映像を正常に投影することが可能であるか否かを判断する正常投影可否判定部と、
前記投影装置に投影するオブジェクトの情報を入力するオブジェクト入力部と、
前記正常投影可否判定部の判定結果に従って投影する位置を変更して投影する描画部と
を有することを特徴とする投影装置。
【請求項２】
前記オブジェクト入力部に入力するオブジェクト情報に、移動可あるいは移動否の指定を行う項目を有することを特徴とする請求項１に記載の投影装置。
【請求項３】
前記正常投影可否判定部の判定結果に従って投影する位置を変更する際に、さらに前記オブジェクト情報に有する移動可あるいは移動否の指定を行う項目に従って、オブジェクトの表示位置を制御することを特徴とする請求項２に記載の投影装置。
【請求項４】
前記オブジェクト情報に有する移動可あるいは移動否の指定を行う項目において、指示位置を示すポインタを描画するオブジェクトに対して移動否を設定することを特徴とする請求項２又は３に記載の投影装置。
【請求項５】
前記正常投影可否判定部で行う判定は、
反射判定あるいは凹凸判定のいずれか、あるいは両方であることを特徴とする請求項１から４までのいずれか１項に記載の投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実物体に対して映像を重畳し表示する技術に関するものである。
【背景技術】
【０００２】
壁に掛けたスクリーンや白色系の壁面に、図形や文字、静止画、映像などのビジュアル的な情報（以下、「ビジュアル情報」と称する。）を投影する投影装置がある。また、この投影装置をインターネット等の公衆ネットワークあるいは社内のＬＡＮ等に接続し、遠隔からビジュアル情報を当該投影装置に送信し、コミュニケーションや遠隔会議、遠隔プレゼンテーションに活用することもできる。投影装置の特徴は、比較的容易に大画面表示ができることと、実物に視覚的な情報を直接投影して重畳できることである。
【０００３】
後者の特徴を生かした利用シーンの一つとして、現場の作業者に対して、遠隔からベテランが指導を行うシーンがある。このようなケースでは、現場の作業者は実物を見ながら作業をすることが重要である。そこで、実物体に情報を重畳して提示すれば、作業者は直感的で分かりやすく、作業がやりやすくなると考えられる。
【０００４】
ところで、作業の現場によっては、投影面と投影装置の間に障害物が存在することがある。下記特許文献１によると、投影面の状態を撮影するカメラを投影装置に備え、そのカメラで撮影した映像と投影しようした映像との間に相違が生じた場合、前方に障害物（遮蔽物）が存在していると判断することができる装置が提案されている。そのような障害物を検知した場合、投影する映像のレイアウトを変更し、障害物をよけた映像を再構成して提示することも可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１４８８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、実際の作業現場では、投影面が平面ではなく凸凹した立体面であったり、あるいは、投影面の素材が金属物で投影映像が反射することも考えられる。また、このような作業指示において提示するビジュアル情報は、指示ポインタ等の表示する位置そのものが重要な情報と、図面や図形など表示位置には直接関係しない一般情報が存在する。
【０００７】
しかしながら、上記特許文献１では、投影面前方の障害物の検知、および、それによるレイアウト変更を行うことができるが、投影映像を見ている利用者の立ち位置については考慮されておらず、投影面の状態によっては十分に機能しないことがある。このような状態とは、具体的には、投影面における反射による見難さや投影面の凹凸による映像の歪みなどが存在する状態である。
【０００８】
本発明は以上の課題に鑑みてなされたものであり、実物体にビジュアル情報を投影することができる投影装置において、そのビジュアル情報を見ている利用者の立ち位置に応じて、適した投影位置とすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、利用者の位置及び投影面を含む被写体までの奥行き情報に基づいて、投影位置が利用者の立ち位置に対して反射の位置関係になる場合や投影面の凹凸度に応じて、その投影位置の変更を行うものである。また、投影するビジュアル情報の内容が、投影位置を変更することについて許可できないビジュアル情報の場合、投影位置を変更せずに、そのままの位置に投影することを可能にするものである。
【００１０】
本発明の一観点によれば、投影面を含む被写体に映像を投影する投影装置において、前記投影装置から被写体までの距離を算出する距離算出部と、前記投影装置を利用する利用者の３次元位置を検出する利用者位置検出部と、前記距離算出部によって算出された被写体までの距離と、前記利用者位置検出部によって検出された利用者の位置とに基づいて、前記投影装置から投影面に向かって映像を正常に投影することが可能であるか否かを判断する正常投影可否判定部と、前記投影装置に投影するオブジェクトの情報を入力するオブジェクト入力部と、前記正常投影可否判定部の判定結果に従って投影する位置を変更して投影する描画部と、を有することを特徴とする投影装置が提供される。
【００１１】
本発明によれば、実物体にビジュアル情報を投影することができる投影装置において、そのビジュアル情報を見ている利用者の立ち位置に応じて、適した投影位置とすることができる。
【発明の効果】
【００１２】
本発明によれば、実物体にビジュアル情報を投影することができる投影装置において、そのビジュアル情報を見ている利用者の立ち位置に応じて、適した投影位置とすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施の形態による投影装置の外観図であり、投影装置の利用シーンを模式的に示した図である。
【図２】第１の実施の形態による投影装置の一構成例を示す機能ブロック図である。
【図３】視差から距離値を算出する方法の原理を示す図である。
【図４】視差画像、利用者領域マスクおよび３次元投影処理を示す図である。
【図５】投影映像が利用者に反射して見えるか否かを判断する反射判定の原理について説明する図である。
【図６】図１の利用シーンにおける視差画像と撮影画像とを示す図である。
【図７】投影面の法線ベクトルを算出するための３次元位置情報を示す図である。
【図８】オブジェクト情報とリンク情報を説明する図である。
【図９】本実施の形態による処理の流れを示すフローチャート図である。
【図１０】本発明の第２の実施の形態による投影装置の外観、及び該装置の利用シーンを模式的に示した図である。
【図１１】第２の実施の形態のオブジェクト情報を説明する図である。
【図１２】第２の実施の形態の処理の流れを示すフローチャート図である。
【図１３】本発明の第３の実施の形態による投影装置の外観、及び該装置の利用シーンを模式的に示した図である。
【図１４】第３の実施の形態に関する投影装置の一構成例を示す機能ブロック図である。
【図１５】第３の実施の形態に関する遠隔端末の一構成例を示す機能ブロック図である。
【図１６】第３の実施の形態の処理の流れを示すフローチャート図である。
【図１７】遠隔端末の処理の流れを示すフローチャート図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、各図面における表現は理解しやすいように許容できる範囲で誇張して記載しており、実際とは異なる場合がある。
また、以下の説明において、異なる図面においても同じ符号を付した構成は同様の構成であるとして、その説明を省略することとする。
【００１５】
（第１の実施の形態）
まず、本発明の第１の実施の形態について、図１〜図９までを参照して説明を行う。
＜装置の外観＞
図１は、実物体に対して映像を重畳し表示することができる本発明の第１の実施形態における投影装置の外観、及びこの投影装置を用いて実物体に表示を行い、利用者が作業を行っている様子を模式的に示した図である。
【００１６】
本実施の形態による投影装置１０７は、プロジェクタ１０２、マルチカメラ１０３、及び制御部１０４（例えば、汎用のパーソナルコンピュータ（ＰＣ））を有する。尚、図１では、プロジェクタ１０２、マルチカメラ１０３、及び制御部１０４がそれぞれ独立した構成になっているが、一つの筐体の中にこれらの機能を含んだ構成であっても良い。
【００１７】
プロジェクタ１０２より投影されたビジュアル情報は、実物体１０１に投影されている。利用者１０５は、実物体１０１に投影された投影情報１０６を見ながら作業を行っている。ここで、投影情報１０６は、図面やテキストなどの情報であり、表示位置がそれほど重要ではない情報を代表する例として模式的に示している。
【００１８】
＜ブロック構成＞
続いて、図２は、本実施形態における投影装置１０７の一構成例を示す機能ブロック図である。
図２に示すように、投影装置１０７は、マルチカメラ１０３、プロジェクタ１０２、制御部１０４、及び図１には示していない投影情報入力装置２０６を有している。ここでは、マルチカメラ１０３は、さらに、カメラ１（１０３−１）及びカメラ２（１０３−２）より構成される。制御部１０４は、さらに、距離算出部２０１、利用者立ち位置算出部２０２、正常投影可否判定部２０３、描画部２０４、及びオブジェクト入力部２０５を有している。
【００１９】
＜処理の内容＞
マルチカメラ１０３は、図１に示す実物体１０１を含む撮影範囲の映像を取得する装置であり、撮影範囲の被写体を、例えば２台のカメラを用いて異なる位置より撮影することができるようになっている。マルチカメラ１０３で取得した映像は、制御部１０４内の距離算出部２０１に入力される。ここで、マルチカメラ１０３は、図示したようなマルチカメラに限定されるわけではなく、後述する距離算出部２０１において算出する視差、あるいは被写体までの距離を直接算出することができる装置であればよく、汎用の測距デバイスに置き換えることが可能である。汎用の測距デバイスとは、具体的には赤外光の投影パターンを用いたアクティブな視差算出デバイスや、被写体までの赤外光の反射時間に基づいて距離を測定するTOF(Time of Flight)による測距デバイスなど、種々のデバイスを適用することができる。視差を算出することができる測距デバイスの場合はマルチカメラ１０３を単純に置き換えれば良く、直接距離を算出することができる測距デバイスの場合は距離算出部２０１も含めて置き換えれば良い。
【００２０】
制御部１０４においては、マルチカメラ１０３で取得した映像を距離算出部２０１に取り込む。距離算出部２０１は、カメラ（１）１０３−１とカメラ（２）１０３−２で取得した映像をそれぞれ入力とし、それらの映像の間の視差画像を算出する。同時に、カメラ（１）１０３−１とカメラ（２）１０３−２の位置関係に基づいて、画像間の視差画像から距離値に変換を行う。距離算出部２０１は、算出した視差画像と距離値を正常投影可否判定部２０３と利用者立ち位置算出部２０２とに出力する。なお、視差画像及び距離値の算出方法については後述する。
【００２１】
制御部１０４においては、カメラ（２）１０３−２で取得した映像を利用者立ち位置算出部２０２に取り込む。利用者立ち位置算出部２０２は、カメラ（２）１０３−２で取得した映像と距離算出部２０１で算出した視差画像と距離値とを入力とし、利用者の立ち位置を算出する。利用者立ち位置算出部２０２は、算出した利用者の立ち位置を正常投影可否判定部２０３に出力する。なお、利用者の立ち位置を算出する方法については後述する。
【００２２】
正常投影可否判定部２０３は、距離算出部２０１で算出された視差画像および距離値と利用者立ち位置算出部２０２で算出された利用者立ち位置を入力とし、オブジェクトを正常に投影することが可能であるか否かの判定を行い、その結果を描画部２０４に出力する。正常投影の可否判定方法については後述する。
【００２３】
オブジェクト入力部２０５は、制御部１０４の外部にある図１には示していない投影情報入力装置２０６より、投影するオブジェクトに関する情報であるオブジェクト情報とリンク情報を入力し、そのまま描画部２０４に出力する。ここで、投影情報入力装置２０６は、オブジェクト情報とリンク情報を入力することができる装置であれば良く、例えばキーボードやマウスによる直接入力や、予め作成しておいたオブジェクトの情報を保持できる外部記憶装置などから入力しても良い。オブジェクト情報とリンク情報については後述する。
【００２４】
描画部２０４は、正常投影可否判定部２０３で算出された判定結果とオブジェクト入力部２０５からオブジェクト情報とリンク情報を入力とし、必要があればオブジェクトを適切に配置し直して、描画データを外部のプロジェクタ１０２に出力する。
プロジェクタ１０２は、描画部２０４より描画データを受け取ると、それに従って投影を行う。
【００２５】
＜各処理内容の詳細＞
距離算出部２０１で行う、視差画像及び距離値の算出方法について図３を参照して詳細に説明する。
【００２６】
まず初めに、視差画像の算出方法について説明する。視差とは、異なる位置で撮影した２枚の画像において、被写体の対応する位置が異なり、そのずれのことを示す。視差を画像として表したものが視差画像であり、図４（ａ）にその例を示す。視差画像は、上述のずれを画素値で表したもので、０〜２５５になるように正規化されている。値が大きいほど近景（値２５５、白）を表し、値が小さいほど遠景（値０、黒）を示す。本明細書では、最も近景までの距離と最も遠景までの距離を限定し、視差が２５５を超えないものとして説明を行う。視差が２５５を超えて正規化を行う場合は、以下に示す距離値の算出の際に、近景と遠景の視差量を用いて正規化前の視差を再計算を行えば良い。
【００２７】
被写体の方向に向いて、カメラ（２）１０３−２が左側、カメラ（１）１０３−１が右側に位置しているものとする。図３がその様子を真上から捉えた図である。図３において、点３０１が被写体の位置する１点を示し、さらに、カメラ（１）１０３−１、カメラ（２）１０３−２が示されている。ここで、２台のカメラの内、左側のカメラ（２）１０３−２を基準（基準カメラ）とし、このカメラの座標系を基準の座標系（以下、「基準座標系」と称する。）とする。また、２台のカメラは特性が同じで、完全に水平に設置されているものとする。なお、２台のカメラの特性が異なる場合や、水平に設置されていない場合の補正方法については、カメラ幾何を用いて対応可能であるが、詳細な説明は省略する。また、カメラ（１）１０３−１，カメラ（２）１０３−２の左右の位置関係は逆であっても特に問題はない。視差は、基準カメラで撮影した画像の中から選択した所定サイズの局所ブロックに対応するブロックをもう一方のカメラ画像から抽出（局所ブロックマッチングにより抽出）して、そのずれ量を算出することで求めることができる。
【００２８】
ここで、カメラ（１）１０３−１の入力画像をIR(x,y)、カメラ（２）１０３−２の入力画像をIL(x,y)とし、局所ブロックサイズを１５×１５とした場合の、視差M(x,y)の算出式は以下の様になる。I(x,y)は、画素(x,y)における輝度値を示している。
【００２９】
2015100052.tif 000003
【００３０】
2015100052.tif 000004
【００３１】
以上、局所領域における輝度値の差の絶対値和（SAD:Sum of Absolute Difference）を最小とするずれ量を、画像内の各画素位置で求めることによって、視差画像を算出することができる。但し、視差画像の算出方法については、上記方法に限定するものではなく、異なる位置に設置したカメラの視差画像を算出できる方法であれば、どのような手法であっても良い。
【００３２】
次に、視差画像から距離値を算出する方法について説明する。視差画像から距離値を算出するためには、撮影したカメラの特性を示すカメラパラメータが必要である。カメラパラメータには、内部パラメータと外部パラメータとがあるが、これらは、例えば「コンピュータビジョン−視覚の幾何学−」（コロナ社）の第６章カメラ校正の章に記載された方法を用いて算出することが可能である。
算出したカメラパラメータのうち、焦点距離ｆ（単位ｍ）とカメラ間の距離ｄ（単位ｍ）を用いて以下の様に距離値を算出することができる。
【００３３】
図３において、被写体の一点３０１は、カメラ（２）１０３−２の撮影面上の像３０２、カメラ（１）１０３−１の撮影面上の像３０３としてそれぞれ写っている（結像されている）。位置３０４は、カメラ（２）１０３−２の像３０２をカメラ（１）１０３−１の投影面上に示した点である。従って、像３０３と位置３０４との間の画素のずれＭが視差となる。また、上記カメラパラメータに関係する焦点距離ｆを符号３０５で示し、カメラ間距離ｄを符号３０６で示す。
【００３４】
被写体までの距離z（単位ｍ）と視差Ｍとの関係は三角測量の原理に従い、一般的に以下のように求めることが可能である。
【００３５】
2015100052.tif 000005
【００３６】
ここで、qは画像１画素当たりの長さ（単位ｍ）であり、カメラに採用されている撮像素子によって決まる値である。Mとqの積により、画素のずれ量から実距離の視差に変換することができる。
以上により、異なる位置に配置した２台のカメラで取得した画像を用いて、視差画像及び被写体までの距離値を算出することができる。
【００３７】
続いて、利用者立ち位置算出部２０２で行われる利用者の立ち位置を算出する方法について、図４を参照しながら詳細に説明する。尚、利用者の立ち位置とは、基準座標における位置（３次元座標）のことである。利用者の立ち位置（以下、「利用者座標」と称する。）を求める方法として、利用者の頭などに超音波や磁気を発生させる機材を装着し、その情報を用いて算出する汎用の３次元位置計測装置を用いても良いが、ここでは距離算出部２０１で求めた視差画像および距離値を利用する方法について説明する。
【００３８】
図４（ａ）は、距離算出部２０１で算出された視差画像を模式的に示した図である。上述の式（２）によって、視差値は距離値に変換することが可能であることは記載した。このときの距離値は前述の基準座標系におけるｚ座標である。さらに、基準座標における横方向の位置（ｘ座標）と縦方向の位置（ｙ座標）とが分かれば、利用者の３次元位置を特定することができる。横方向と縦方向の位置については、視差画像において、利用者に対応する画像上の座標と、その視差値から変換した距離値を用いて３次元空間に逆投影することで求めることができる。以下、視差画像における利用者位置に対応する領域を抽出する方法と、その領域の視差値を用いて３次元空間に逆投影して、利用者の横方向の位置（ｘ座標）と縦方向の位置（ｙ座標）を取得する方法について説明する。
【００３９】
初めに、視差画像上の利用者位置に対応する領域及びその座標を求める方法について説明する。具体的には、基準カメラ（２）１０３−２の映像を使い、利用者の写っていない背景のみの画像と利用者が映っている画像との差分を取ることで、利用者の存在する領域を抽出する。その結果を利用者領域マスクとして取得する（以下、「利用者領域マスク画像」と称する。）。利用者の写っていない背景画像は、例えばシステム起動時に、利用者を除いた状態で撮影をすることで取得可能である。撮影した背景画像は、制御部１０４内の図示していない保存領域（メモリ）に保持しておけばよい。尚、このような手法は、画像処理の背景差分と呼ばれる一般的な手法である。
【００４０】
2015100052.tif 000006
【００４１】
ここで、nは利用者マスク画像において、マスク値が１となる画素の総数である。(Xi,Yi)は、i番目のマスク値が１となる画素の座標を示している。ここで、背景差分に使ったカメラと視差画像の基準となるカメラは同じであるため、利用者領域マスク画像と視差画像とは共通の座標軸を持つ。以上により、視差画像における利用者位置に対応する領域（座標）を特定することができる。
【００４２】
続いて、視差値を用いて３次元空間に逆投影し、利用者の３次元座標を取得する方法について、図４（ｃ）を参照しながら説明する。先ほど算出した重心位置（利用者位置）が図４（ｃ）の座標位置４０３である。２次元画像上の座標位置４０３とその視差値を知ることが出来るため、前述の式（２）より利用者までの距離Ｚを算出することができる。ΔＯＰＡとΔＯＰ’Ａ’は相似の関係になるため、利用者の３次元位置P'(X,Y,Z)を以下の様に算出することができる。
【００４３】
2015100052.tif 000007
【００４４】
以上により、基準座標系における利用者の立ち位置（利用者座標）を算出することができる。ここでは、視差画像内の利用者位置を背景差分によって算出したが、この方法に限定するものではない。例えば、汎用の顔検出処理を用いて画像内から顔領域を検出してやり、上記と同様の処理を行っても良い。
【００４５】
続いて、正常投影可否判定部２０３で行う判定処理について、図５〜図７を参照しながら詳細に説明する。
【００４６】
図５は、図１を真上から捉えた図であり、投影装置１０７の一部であるプロジェクタ１０２とマルチカメラ１０３と、利用者１０５、及び、投影面１０１が示されている。ここでは、制御部１０４の記載は省略している。位置５０２は、投影装置１０７によってビジュアル情報を投影する点（以下、「実物体上描画位置」と称する。）を示している。破線５０１は、その投影点における投影面１０１の法線を示している。正常投影可否判定部２０３は、実物体上描画位置５０２の面の状態によって正常投影が可能であるか否かの判定を行う。具体的には、利用者１０５がプロジェクタ１０２から実物体上描画位置５０２に向かい正反射の方向に位置しているか否かの判定（以下、「反射判定」と称する。）と、実物体上描画位置５０２周辺の投影面が所定の条件以上に凹凸しているかの判定（以下、「凹凸判定」と称する。）の２種類を行う。正常投影可否判定部２０３は、この２種類の判定結果に基づいて投影可否の判定を行う。
【００４７】
図６は、図５に記載したような位置関係のときの視差画像（図６（ａ））と基準カメラの撮影画像（図６（ｂ））を模式的に示した図である。視差画像（図６（ａ））内の点６０３（以下、「点Ｔ」と称する）と撮影画像（図６（ｂ））内の点６０２とは同一の位置を示しており、図５における実物体上描画位置５０２に対応している。また、同図（ｂ）内の６０１、６０５、６０６はそれぞれ図１における１０１、１０５、１０６に対応している。
【００４８】
2015100052.tif 000008
【００４９】
2015100052.tif 000009
【００５０】
2015100052.tif 000010
【００５１】
2015100052.tif 000011
【００５２】
ここで、Trefは反射判定のパラメータで、正の定数である。例えば、１５度に設定する。続いて、凹凸判定について説明する。凹凸判定は、実物体上描画位置５０２に対応する６０３を含む、所定範囲内の近傍の視差値（距離値でも良いが記載しない）を用いて行う。その凹凸判定の判定式は以下の通りである。
【００５３】
2015100052.tif 000012
【００５４】
ここで、Tbumpは凹凸判定のパラメータで、正の整数である。設定については、１画素の視差がどれくらいの距離に対応するかによって決めることができる。例えば、距離が１０ｃｍ程度の視差量を設定すればよい。
以上、反射判定結果JudgeFref(T)と凹凸判定結果JudgeFbump(T)が求められると、正常投影可否判定部２０３は、以下のように判定を行う。
【００５５】
2015100052.tif 000013
【００５６】
正常投影可否判定部２０３は、以上により判定結果を生成し結果を出力する。上記式（１０）では、反射判定と凹凸判定の両方を用いて最終判定を行ったが、いずれか一方のみを用いて最終判定を行っても良い。
【００５７】
次いで、描画部２０４で行う投影位置の制御方法について詳細に説明する。描画部２０４では、正常投影可否判定２０３において「正常投影不可」の判定がされた場合（JudgeF(T)が１あるいはＴＲＵＥの場合）に、投影位置の制御を行う。正常投影可否判定部２０３において「正常投影可」の判定がされた場合（JudgeF(T)が０あるいはＦＡＬＳＥの場合）は、通常の投影位置にそのまま投影を行う。以下は、「正常投影不可」の場合について説明を行う。
【００５８】
描画部２０４は、オブジェクト入力部２０５よりオブジェクト情報とリンク情報を受け取る。ここで、オブジェクト情報とリンク情報について図８を参照しながら説明する。オブジェクト情報８００は、オブジェクトＩＤ８０１、オブジェクト種類８０２ａ、オブジェクト引数長８０２ｂ、オブジェクト引数８０３ｃ、オブジェクト位置８０４、及びリンクＩＤ８０５より構成される情報であり、オブジェクトの描画内容を示す情報になっている。一方、リンク情報８１０は、リンクＩＤ８１１、リンク長８１２ａ、リンク−オブジェクトＩＤ（ｓ）８１３ｂ、及び移動シフト量８１４より構成される情報であり、オブジェクト間のリンク情報を示している。以下、個々の項目について説明をする。
【００５９】
初めに、オブジェクト情報８００の項目について説明する。オブジェクトＩＤ８０１は、描画オブジェクト毎に設定される固有のＩＤである。オブジェクト種類８０２ａは、オブジェクトの種類を示す情報で、例えば、直線、曲線、点、文字、矩形、画像、動画等のビジュアル情報の種類を示す項目である。オブジェクト引数長８０２ｂは、オブジェクトの種類によって変わる引数の長さを指定する項目であり、８０３ｃの格納サイズを決める。オブジェクト引数８０３ｃは、オブジェクト種類８０２ａに固有の引数を格納する項目である。例えば、オブジェクトの色や線の太さ、始点や終点、曲率、キャラクタコード、ストリングコード、画像サイズ、画像・動画データ保存先等、オブジェクトを描画する際に必要な引数である。オブジェクト位置８０４は、オブジェクトの描画位置を示す情報である。リンクＩＤ８０５は、関連するオブジェクトのリンク情報を格納する項目で、リンク情報８１０のリンクＩＤを格納している。お互いにリンクしたオブジェクトは、レイアウトを変更する際に共通の変更（描画位置の変更）を行うものとする。リンク情報は必須の情報ではないが、後述のレイアウト変更を行う際に、関連するオブジェクトのレイアウト崩れを抑制することができる。続いて、リンク情報８１０の項目について説明する。リンクＩＤ８１１は、リンク情報毎に与えられる固有のＩＤである。リンク長８１２ａは、関連するオブジェクトのＩＤを格納する８１３ｂの格納サイズを決める項目である。リンク−オブジェクトＩＤ（ｓ）８１３ｂは、関連するオブジェクト（レイアウト変更時に同じ移動をさせるオブジェクト群）のＩＤを格納する項目である（複数も可能である）。移動シフト量８１４は、リンクしているオブジェクト全体の移動量を格納する項目である。リンク情報８１０の移動シフト量８１４は、入力時には０が設定されている。後述のレイアウト変更時に移動量が設定され、リンクされたオブジェクト全てを同じ移動量分シフトして描画する。これにより、リンクされたオブジェクト間のレイアウトを崩すことなく描画することができる。オブジェクトのレイアウトの変更に関しては、所定の条件でオブジェクトを移動させ、その移動先で前述の投影可否判定を繰り返し行い問題がなければそこに移動させれば良い。所定の条件とは、元々の投影位置から移動量をできるだけ少なくなるように制御することである。具体的な方法としては、元々の描画位置から新規移動先までの距離が極力少なくなるように制御すればよい。また、従来特許文献１に記載のレイアウト変更部で行うレイアウトの変更方法を用いても良い。このときの評価値は、複数の移動先について、前述の正常投影可否判定部２０３の判定結果を用いれば良い。また、特許文献１に記載の移動先に関して、ユーザの指示を入力し、その結果によって移動先を決めるような仕組みを用いても良い。
【００６０】
＜フローチャート＞
次いで、制御部１０４の処理の流れについて、図９及び図２を用いて説明する。
（ステップＳ１０１）
制御部１０４は、外部に接続されたマルチカメラ１０３で撮影された映像を取り込み、距離算出部２０１に入力する。距離算出部２０１は、映像を入力し、前述の方法により視差画像を算出する。その後、ステップＳ１０２に進む。
【００６１】
（ステップＳ１０２）
距離算出部２０１は、算出した視差画像とカメラパラメータに基づいて距離値を算出し、結果を利用者立ち位置算出部２０２と正常投影可否判定部２０３に出力する。その後、ステップＳ１０３に進む。
【００６２】
（ステップＳ１０３）
利用者立ち位置算出部２０２は、距離算出部２０１より視差画像及び距離値を入力し、前述の方法により利用者の立ち位置を算出する。利用者立ち位置算出部２０２は、算出した結果を、正常投影可否判定部２０３に出力する。その後、ステップＳ１０４に進む。
【００６３】
（ステップＳ１０４）
正常投影可否判定部２０３は、利用者立ち位置算出部２０２より利用者の立ち位置を入力し、さらに、距離算出部２０１より視差画像及び距離値を入力し、前述の反射判定を行う（オブジェクト位置８０４に移動シフト量８１４を加えた位置で判定する）。正常投影可否判定部２０３は、反射判定によって正常投影が可能と判断した場合、処理をステップＳ１０５に進める。正常投影可否判定部２０３は、反射判定によって正常投影が不可と判断した場合、ステップＳ１０６に処理を進める。
【００６４】
（ステップＳ１０５）
正常投影可否判定部２０３は、続いて、前述の凹凸判定を行う。正常投影可否判定部２０３は、凹凸判定によって正常投影が可能と判断した場合、処理をステップＳ１０７に進める。正常投影可否判定部２０３は、凹凸判定によって正常投影が不可と判断した場合、ステップＳ１０６に処理を進める。
【００６５】
（ステップＳ１０６）
描画部２０４は、正常投影可否判定部２０３において正常投影が不可と判断された場合、前述の投影位置の変更を行い、ステップＳ１０４に戻り前述の処理を繰り返す。
【００６６】
（ステップＳ１０７）
描画部２０４は、正常投影可否判定部１０６において正常投影が可能と判断された場合、描画を行う。
【００６７】
以上の処理により、ビジュアル情報を見ている利用者の立ち位置に応じて、投影内容が見難いことが予想される場合に、その投影位置を変更して描画することが可能になる。
【００６８】
（第２の実施の形態）
次に、本発明の第２の実施の形態について、図１０から図１２までを参照しながら説明を行う。
【００６９】
＜装置の外観例＞
図１０は、実物体に対して映像を重畳して表示することができる本発明の第２の実施形態による投影装置の外観及び当該装置を用いて実物体に表示を行い、利用者が作業を行っている状態を模式的に示した図である。本実施の形態が第１の実施の形態と異なる点は、実物体１０１に投影しているビジュアル情報に、投影位置が重要なポインタ（１００１）情報があることである。利用者１０５は、実物体１０１に投影された情報（投影情報１０６とポインタ情報１００１）を見ながら作業を行っている。以上、図１０は本発明の投影装置を利用しているシーンの一例を示す図である。
【００７０】
＜ブロック構成例＞
本実施の形態における投影装置の機能ブロック図及び処理内容については第１の実施形態と同じである（図２参照）。第１の実施の形態と異なる点は、第１の実施の形態のオブジェクト情報８００（図８）に「オブジェクト移動可否」項目を追加した点である。本実施の形態で使用するオブジェクト情報について図１１を参照しながら説明する。
【００７１】
オブジェクト情報１１００は、オブジェクトＩＤ１１０１、オブジェクト種類１１０２ａ、オブジェクト引数長１１０２ｂ、オブジェクト引数１１０３ｃ、オブジェクト位置１１０４、オブジェクト移動可否１１０５、及びリンクＩＤ１１０６より構成される情報で、オブジェクトの描画内容を示す情報になっている。一方、リンク情報は、第１の実施の形態と同じである。
以下において、オブジェクト情報１１００の各項目について説明する。
【００７２】
オブジェクトＩＤ１１０１は、描画オブジェクト毎に設定される固有のＩＤである。
オブジェクト種類１１０２ａは、オブジェクトの種類を示す情報で、例えば、直線、曲線、点、文字、矩形、画像、動画等のビジュアル情報の種類を示す項目である。オブジェクト引数長１１０２ｂは、オブジェクトの種類によって変わる引数の長さを指定する項目で、１１０３ｃの格納サイズを決める。オブジェクト引数１１０３ｃは、オブジェクト種類１１０２ａに固有の引数を格納する項目である。例えば、オブジェクトの色や線の太さ、始点や終点、曲率、キャラクタコード、ストリングコード、画像サイズ、画像・動画データ保存先等、オブジェクトを描画する際に必要な引数である。オブジェクト位置１１０４は、オブジェクトの描画位置を示す情報である。
【００７３】
オブジェクト移動可否１１０５は、本実施の形態で追加した項目で、レイアウトの変更を許可するか否かを制御するフラグである。このフラグが設定（「移動不可」）されている場合は、正常投影可否判定部２０３において正常投影不可と判断されても投影位置の変更は行わない。詳細は後述する。リンクＩＤ１１０６は、関連するオブジェクトのリンク情報を格納する項目で、リンク情報のリンクＩＤを格納している。お互いにリンクしたオブジェクトは、レイアウトを変更する際に共通の変更（描画位置の変更）を行うものとする。リンク情報は必須の情報ではないが、後述のレイアウト変更を行う際に、関連するオブジェクトのレイアウト崩れを抑制することができる。
【００７４】
＜フローチャート＞
制御部１０４の処理の流れについて、図１２及び図２を参照しながら説明する。
（ステップＳ２０１）
制御部１０４は、外部に接続されたマルチカメラ１０３で撮影された映像を取り込み、距離算出部２０１に入力する。距離算出部２０１は、映像を入力し、前述の方法により視差画像を算出する。その後、ステップＳ２０２に進む。
【００７５】
（ステップＳ２０２）
距離算出部２０１は、算出した視差画像とカメラパラメータに基づいて距離値を算出し、結果を利用者立ち位置算出部２０２と正常投影可否判定部２０３に出力する。その後、ステップＳ２０３に進む。
【００７６】
（ステップＳ２０３）
利用者立ち位置算出部２０２は、距離算出部２０１より視差画像及び距離値を入力し、前述の方法により利用者の立ち位置を算出する。利用者立ち位置算出部２０２は、算出した結果を、正常投影可否判定部２０３に出力する。その後、ステップＳ２０４に進む。
【００７７】
（ステップＳ２０４）
正常投影可否判定部２０３は、オブジェクト入力部２０５より入力したオブジェクト情報とリンク情報のうち、オブジェクト情報に格納されたオブジェクト移動可否項目１１０５に従って、正常投影可否判定を行うか否かの判断を行う。正常投影可否判定部２０３は、オブジェクト移動可否項目１１０５の値が「移動不可」の場合、描画位置の変更が行えないため、処理をステップＳ２０８に進める。正常投影可否判定部２０３は、オブジェクト移動可否項目１１０５の値が「移動可能」な場合、処理をステップＳ２０５に進める。
【００７８】
（ステップＳ２０５）
正常投影可否判定部２０３は、利用者立ち位置算出部２０２より利用者の立ち位置を入力し、さらに、距離算出部２０１より視差画像及び距離値を入力し、前述の反射判定を行う（オブジェクト位置１１０４に移動シフト量８１４を加えた位置で判定する）。正常投影可否判定部２０３は、反射判定によって正常投影が可能と判断した場合、処理をステップＳ２０６に進める。正常投影可否判定部２０３は、反射判定によって正常投影が不可と判断した場合、ステップＳ２０７に処理を進める。
【００７９】
（ステップＳ２０６）
正常投影可否判定部２０３は、続いて、前述の凹凸判定を行う（オブジェクト位置１１０４に移動シフト量８１４を加えた位置で判定する）。正常投影可否判定部２０３は、凹凸判定によって正常投影が可能と判断した場合、処理をステップＳ２０８に進める。正常投影可否判定部２０３は、凹凸判定によって正常投影が不可と判断した場合、ステップＳ２０７に処理を進める。
【００８０】
（ステップＳ２０７）
描画部２０４は、正常投影可否判定部２０３において正常投影が不可と判断された場合、前述の投影位置の変更を行い（移動シフト量８１４に移動量を設定）、ステップＳ２０５に戻り処理を繰り返す。
【００８１】
（ステップＳ２０８）
描画部２０４は、正常投影可否判定部２０３において正常投影が可能と判断された場合、その描画を行う。  
【００８２】
以上により、ビジュアル情報を見ている利用者の立ち位置に応じて、投影内容が見難いことが予想される場合にその投影位置を変更することが可能になる。同時に、投影位置を変えることに問題のあるビジュアル情報の場合は、そのままの位置に表示を行うように制御することができる。
【００８３】
（第３の実施の形態）
次に、本発明の第３の実施の形態について、図１３から図１７までを参照しながら説明を行う。
【００８４】
＜装置の外観例＞
図１３は、実物体に対して映像を重畳し表示することができる本発明の第３の実施の形態による投影装置および遠隔地から投影内容をコントロールする端末の外観例、及び、当該投影装置を用いて実物体に表示を行い、利用者が作業を行っている様子を模式的に示した図である。
【００８５】
これまでの実施の形態と異なる点は、遠隔地から投影内容をコントロールすることができる端末１３０１（以下、「遠隔端末」と称する。）が存在するところである。
遠隔端末１３０１は、Ｗｉ−Ｆｉ(Wireless Fidelity)等の無線通信を行う機能及び装置を備えており、遠隔地から投影装置１０７にビジュアル情報を送信することができる。遠隔端末１３０１の表示面１３０２は、タッチパネル方式（静電容量方式、加圧方式等どのような方式でも良い）のディスプレイになっており、画面をタッチしてビジュアル情報を操作したり、指示位置を示すポインタを操作したりすることができる。表示面１３０２には、投影装置１０７のある作業現場の映像が映し出されている。実物体１０１が１３０５として、利用者１０５が１３０６として、ポインタ１００１が１３０３として、投影情報１０６が１３０４として表示されている。遠隔端末１３０１を用いてベテランが作業現場に遠隔から指示を出しているシーンを示している図である。
【００８６】
＜ブロック構成例＞
本実施の形態の機能ブロック図について、図１４と図１５とを参照しながら説明する。図１４が投影装置１０７に関するブロック図で、図１５が遠隔端末１３０１に関するブロック図になっている。
【００８７】
初めに、投影装置１０７について説明する。制御部１４０１に接続されたマルチカメラ１０３とプロジェクタ１０２は第１の実施の形態と同様である。制御部１４０１の内部の点線で示した部分１４０２は第１の実施の形態と同様であるためその説明を省く。制御部１４０１に追加されたブロックは、符号化部１４０３、送信部１４０４、復号部１４０５、及び受信部１４０６である。送信部１４０４と受信部１４０６は、外部のネットワーク（インターネットや社内ＬＡＮ等）に接続（接続方法は無線・有線どちらの方式でも良い）しており、後述する遠隔端末１３０１との間でデータの送受信を行うことができる。
【００８８】
続いて、遠隔端末１３０１について説明する。図１５に示すように、遠隔端末１３０１は、遠隔端末制御部１５０１と遠隔端末入出力部１５０２とを有している。遠隔端末制御部１５０１は、受信部１５０３、復号部１５０４、制御部１５０５、符号化部１５０６、及び送信部１５０７を有している。遠隔端末入出力部１５０２は、ディスプレイ１５０７と入力部１５０８とを有している。遠隔端末入出力部１５０２内のディスプレイ１５０７と入力部１５０８とは一体形成されていても良く、所謂タッチパネルディスプレイとなっていても良い。
【００８９】
＜処理の内容＞
続いて、各ブロックにおける処理の内容に関して、第１の実施の形態と異なる部分についてのみ説明する。初めに投影装置１０７について説明を行い、続いて遠隔端末１３０１について説明する。
【００９０】
投影装置１０７の制御部１４０１は、マルチカメラ（２）１０３−２で撮影した映像を符号化部１４０３に取り込む。符号化部１４０３は、入力した映像をよりデータ量の少ない符号に圧縮（例えば、国際標準動画圧縮規格Ｈ．２６４等）し、その符号化データを送信部１４０４に出力する。送信部１４０４は、符号化部１４０３から符号化されたデータを入力し、ネットワークを通じて外部（例えば、遠隔端末１３０１）に通信規格（ＴＣＰ／ＩＰ、ＵＤＰ、ＳＩＰ等）に合わせて符号化された符号化データを送信する。制御部１４０１は、外部（例えば、遠隔端末１３０１）より送られてきたデータを受信部１４０６に取り込む。このとき受信するデータは、オブジェクト情報とリンク情報とを符号化したデータである。受信部１４０６は、送られてきた符号化データを取り込むと、そのデータを復号部１４０５に出力する。復号部１４０５は、受信部１４０６より符号化データを入力し、オブジェクト情報とリンク情報に復号（後述の遠隔端末１３０１の符号化部１５０６で行った圧縮処理とは逆の処理）を行い、結果をオブジェクト入力部２０５に出力する。制御部１４０１は、１４０２において、マルチカメラ映像とオブジェクト情報とを入力し、前述の方法（第１の実施の形態あるいは第２の実施の形態）に従って投影映像を生成する。プロジェクタ１０２は、生成された投影映像を投影する。
【００９１】
続いて、遠隔端末１３０１について説明する。外部のネットワークより送られてきたデータは、遠隔端末制御部１５０１の内部にある受信部１５０３に取り込まれ、データの中から前述の符号化部１４０３で生成された符号化データにあたるデータを取り出し、取り出した符号化データを復号部１５０４に出力する。復号部１５０４は、受信部１５０３より符号化データを入力し、前述の符号化部１４０３で行った圧縮処理とは逆の処理を行い、映像データを復号する。復号部１５０４は、復号された映像データを遠隔端末入出力部１５０２の内部にあるディスプレイ１５０７に出力する。ディスプレイ１５０７は、復号部１５０４より入力した映像を表示する。入力部１５０８は、外部からのタッチ入力操作を受け付け、その座標情報を制御部１５０５に出力する。制御部１５０５は、入力部１５０８でタッチ入力した情報を受け取るとともに、図示していないオブジェクト情報を入力する装置（例えば、前述のキーボードやマウス、あるいは外部記憶装置）より、オブジェクト情報とリンク情報を受け取る。制御部１５０５は、入力部１５０８より入力した情報より、オブジェクト情報の内容（例えば、オブジェクトの種類、位置情報、オブジェクトの引数等）を変更し、結果を符号化部１５０６に出力する。符号化部１５０６は、オブジェクト情報とリンク情報とを受け取り、よりデータ量の少ない符号に圧縮（例えば、ZIP圧縮）を行う。符号化部１５０６は、圧縮した符号化データを送信部１５０７に出力する。送信部１５０７は、符号化部１５０６より符号化データを受け取り、ネットワークを介して外部（例えば、投影装置の制御部１４０１）に通信規格（ＴＣＰ／ＩＰ、ＳＩＰ等）に乗せて送信する。
【００９２】
＜フローチャート＞
第３の実施の形態について、投影装置１０７と遠隔端末１３０１の処理フローについて図１６と図１７とを参照しながら説明する。初めに投影装置１０７の処理フローについて図１６を用いて説明する。
【００９３】
（ステップＳ３０１）
投影装置１０７は、描画処理、受信処理、送信処理を平行して開始させ、ステップＳ３０２、ステップＳ３０４、ステップＳ３０６に進める。
【００９４】
（ステップＳ３０２）
投影装置１０７は、前述の第１の実施の形態におけるフローチャートのステップＳ１０１からステップＳ１０７の処理、あるいは、第２の実施の形態におけるフローチャートのステップＳ２０１からステップＳ２０８に該当する処理を実施する。その後、ステップＳ３０３に進む。
【００９５】
（ステップＳ３０３）
投影装置１０７は、図示していない装置全体をコントロールする全体制御部によって、描画処理を終了するか否かの判断をする。全体制御部は、描画処理を終了する場合、他の受信処理と送信処理も合わせて終了させる。全体制御部は、描画処理を終了させない場合、ステップＳ３０２戻り処理を繰り返す。
【００９６】
（ステップＳ３０４）
投影装置１０７は、投影装置１０７の内部にある受信部１４０６で、外部から送られてくるデータを受信する。受信部１４０６は、データを受信すると、オブジェクト情報とリンク情報を符号化したデータを取り出し、復号部１４０５に出力する。復号部１４０５は、受信部１４０６より符号化データを受け取ると、データの復号を行い、オブジェクト情報とリンク情報を分離する。復号部１４０５は、オブジェクト情報とリンク情報をオブジェクト入力部２０５に出力する。その後、ステップＳ３０５に進む。
【００９７】
（ステップＳ３０５）
投影装置１０７は、図示していない装置全体をコントロールする全体制御部によって、受信処理を終了するか否かの判断をする。全体制御部は、受信処理を終了する場合、他の描画処理と送信処理も合わせて終了させる。全体制御部は、受信処理を終了させない場合、ステップＳ３０４戻り処理を繰り返す。
【００９８】
（ステップＳ３０６）
投影装置１０７は、カメラ（２）１０３−２の映像を取り込み、符号化部１４０３に入力させる。符号化部１４０３は、入力したカメラ映像を圧縮し符号化する。符号化部１４０３は、符号化されたデータを送信部１４０４に出力する。送信部１４０４は、符号化部１４０３より符号化データを入力し、通信可能なデータに加工した後、投影装置１０７の外部に送信する。その後、ステップＳ３０７に進む。
【００９９】
（ステップＳ３０７）
投影装置１０７は、図示していない装置全体をコントロールする全体制御部によって、送信処理を終了するか否かの判断をする。全体制御部は、送信処理を終了する場合、他の描画処理と受信処理も合わせて終了させる。全体制御部は、送信処理を終了しない場合、ステップＳ３０６戻り処理を繰り返す。
【０１００】
続いて、遠隔端末１３０１の処理フローについて図１７を参照して説明する。
（ステップＳ４０１）
遠隔端末１３０１は、受信・描画処理、タッチ入力・送信処理を平行して開始させ、ステップＳ４０２、ステップＳ４０５に進める。
（ステップＳ４０２）
遠隔端末１３０１は、内部にある受信部１５０３で、外部から送られてくるデータを受信する。受信部１５０３は、データを受信すると、映像符号化データを取り出し、復号部１５０４に出力する。復号部１５０４は、受信部１５０３より映像符号化データを受け取ると、データの復号を行い、結果をディスプレイ１５０７に出力する。その後、ステップＳ４０３に進む。
【０１０１】
（ステップＳ４０３）
ディスプレイ１５０７は、復号部１５０４より映像データを受け取ると、その映像をディスプレイに表示する。その後、ステップＳ４０４に進む。
【０１０２】
（ステップＳ４０４）
遠隔端末１３０１は、図示していない端末全体をコントロールする全体制御部によって、受信・描画処理を終了するか否かの判断をする。全体制御部は、受信・描画処理を終了する場合、他のタッチ入力・送信処理も合わせて終了させる。全体制御部は、受信・描画処理を終了しない場合、ステップＳ４０２に戻り処理を繰り返す。
【０１０３】
（ステップＳ４０５）
遠隔端末１３０１の入力部１５０８は、外部からのタッチ入力を受け付け、その情報を制御部１５０５に出力する。制御部１５０５は、オブジェクト情報の内容（例えば、オブジェクトの種類、位置情報、オブジェクトの引数等）を変更し、結果を符号化部１５０６に出力する。その後、ステップＳ４０６に進む。
【０１０４】
（ステップＳ４０６）
符号化部１５０６は、制御部１５０５よりオブジェクト情報とリンク情報を受け取り、よりデータ量の少ない符号に圧縮を行う。符号化部１５０６は、圧縮した符号化データを送信部１５０７に出力する。送信部１５０７は、符号化部１５０６より符号化データを受け取り、ネットワークを介して外部（例えば、投影装置の制御部１４０１）に通信規格に乗せて送信する。その後、ステップＳ４０７に進む。
【０１０５】
（ステップＳ４０７）
遠隔端末１３０１は、図示していない端末全体をコントロールする全体制御部によって、タッチ入力・送信処理を終了するか否かの判断をする。全体制御部は、タッチ入力・送信処理を終了する場合、他の受信・描画処理も合わせて終了させる。全体制御部は、タッチ入力・送信処理を終了しない場合、ステップＳ４０５戻り処理を繰り返す。
【０１０６】
本実施の形態によれば、実物体にビジュアル情報を投影することができる投影装置において、そのビジュアル情報を見ている利用者の立ち位置に応じて、投影内容が見難いことが予想される場合にその投影位置を変更することが可能になる。
また、投影位置を変えることに問題のあるビジュアル情報の場合は、そのままの位置に表示を行うように制御をすることができる。
【０１０７】
＜第１から第３までの実施の形態について＞
上記各実施の形態において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。例えば、投影装置における投影処理や制御方法、これらの方法をコンピュータに実行させるためのプログラム、当該プログラムを記録するコンピュータ読み取り可能な記録媒体などであり、また、投影処理や制御方法をハードウェア処理する集積回路等であっても良い。
【０１０８】
上記の各実施例の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の各実施例の機能を実現する映像投影装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していれば良い。
【０１０９】
また、上記の各実施例で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１１０】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【産業上の利用可能性】
【０１１１】
本発明は、映像投影装置として利用可能である。
【０１１２】
（付記）本発明は、以下の開示を含む。
（１）
投影面を含む被写体に映像を投影する投影装置において、
前記投影装置から被写体までの距離を算出する距離算出部と、
前記投影装置を利用する利用者の３次元位置を検出する利用者位置検出部と、
前記距離算出部によって算出された被写体までの距離と、前記利用者位置検出部によって検出された利用者の位置とに基づいて、前記投影装置から投影面に向かって映像を正常に投影することが可能であるか否かを判断する正常投影可否判定部と、
前記投影装置に投影するオブジェクトの情報を入力するオブジェクト入力部と、
前記正常投影可否判定部の判定結果に従って投影する位置を変更して投影する描画部と
を有することを特徴とする投影装置。
本発明によれば、実物体にビジュアル情報を投影することができる投影装置において、そのビジュアル情報を見ている利用者の立ち位置に応じて、適した投影位置とすることができる。
（２）
前記オブジェクト入力部に入力するオブジェクト情報に、移動可あるいは移動否の指定を行う項目を有することを特徴とする（１）に記載の投影装置。
本発明によれば、ビジュアル情報を見ている利用者の立ち位置に応じて、投影内容が見難いことが予想される場合にその投影位置を変更することが可能になる。同時に、投影位置を変えることに問題のあるビジュアル情報の場合は、そのままの位置に表示を行うように制御することができる。
（３）
前記正常投影可否判定部の判定結果に従って投影する位置を変更する際に、さらに前記オブジェクト情報に有する移動可あるいは移動否の指定を行う項目に従って、オブジェクトの表示位置を制御することを特徴とする（２）に記載の投影装置。
オブジェクト移動可否はレイアウトの変更を許可するか否かを制御するフラグである。ビジュアル情報を見ている利用者の立ち位置に応じて、投影内容が見難いことが予想される場合にその投影位置を変更することが可能になる。
（４）
前記オブジェクト情報に有する移動可あるいは移動否の指定を行う項目において、指示位置を示すポインタを描画するオブジェクトに対して移動否を設定することを特徴とする（２）又は（３）に記載の投影装置。
このフラグが設定（「移動不可」）されている場合は、正常投影可否判定部において正常投影不可と判断されても投影位置の変更は行わないようにすることができる。
（５）
前記正常投影可否判定部で行う判定は、
反射判定あるいは凹凸判定のいずれか、あるいは両方であることを特徴とする（１）から（４）までのいずれか１に記載の投影装置。
投影位置を変えることに問題のあるビジュアル情報の場合は、そのままの位置に表示を行うように制御することができる。
（６）
投影面を含む被写体に映像を投影する投影装置を用いた投影処理方法において、
前記投影装置から被写体までの距離を算出する距離算出ステップと、
前記投影装置を利用する利用者の３次元位置を検出する利用者位置検出ステップと、
前記距離算出ステップによって算出された被写体までの距離と、前記利用者位置検出ステップによって検出された利用者の位置とに基づいて、前記投影装置から投影面に向かって映像を正常に投影することが可能であるか否かを判断する正常投影可否判定ステップと、
前記投影装置に投影するオブジェクトの情報を入力するオブジェクト入力ステップと、
前記正常投影可否判定ステップの判定結果に従って投影する位置を変更して投影する描画ステップと
を有することを特徴とする投影処理方法。
（７）
上記（６）に記載の投影処理方法をコンピュータに実行させるためのプログラム。
（８）
上記（７）に記載のプログラムの記録するコンピュータ読み取り可能な記録媒体。
【符号の説明】
【０１１３】
１０１…実物体、１０２…プロジェクタ、１０３…マルチカメラ、１０４…制御部、１０５…利用者、１０６…投影情報、１０７…投影装置、２０１…距離算出部、２０２…利用者立ち位置算出部、２０３…正常投影可否判定部、２０４…描画部、２０５…オブジェクト入力部、２０６…投影入力装置。
【図１】
2015100052.tif 000014
【図２】
2015100052.tif 000015
【図３】
2015100052.tif 000016
【図４】
2015100052.tif 000017
【図５】
2015100052.tif 000018
【図６】
2015100052.tif 000019
【図７】
2015100052.tif 000020
【図８】
2015100052.tif 000021
【図９】
2015100052.tif 000022
【図１０】
2015100052.tif 000023
【図１１】
2015100052.tif 000024
【図１２】
2015100052.tif 000025
【図１３】
2015100052.tif 000026
【図１４】
2015100052.tif 000027
【図１５】
2015100052.tif 000028
【図１６】
2015100052.tif 000029
【図１７】
2015100052.tif 000030