(57)【要約】【課題】プロジェクタによって照射され、さらにユーザに携帯又は設置される鏡によって反射された先の投影面に表示させる画像データを作成する。【解決手段】本発明の一態様の反射投影画像作成装置４は、投影対象の画像データである投影基礎画像データ６を記憶する記憶手段５と、撮影装置２によって鏡を撮影した撮影画像データ２０を取得する撮影画像取得手段１４と、撮影画像データ２０に基づいて鏡の位置及び姿勢を示す鏡姿勢データ２２を作成する鏡姿勢算出手段１８と、投影基礎画像データ６の内容が投影装置３によって鏡に対して投影されるように、鏡姿勢データ２２の示す鏡の位置及び姿勢に基づいて投影基礎画像データ６を変換し、変換結果を示す投影画像データ９を作成する投影画像作成手段２５と、投影画像データ９を投影装置３に提供する投影画像提供手段２７とを具備する。【選択図】      図１
2006253928.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置と投影装置とに接続される反射投影画像作成装置であって、
投影対象の画像データである投影基礎画像データを記憶する記憶手段と、
前記撮影装置によって鏡を撮影した撮影画像データを取得する撮影画像取得手段と、
前記撮影画像データに基づいて、前記鏡の位置及び姿勢を示す鏡姿勢データを作成する鏡姿勢算出手段と、
前記投影基礎画像データの内容が前記投影装置によって前記鏡を介して投影面に投影されるように、前記鏡姿勢データの示す前記鏡の位置及び姿勢に基づいて前記投影基礎画像データを変換し、変換結果を示す投影画像データを作成する投影画像作成手段と、
前記投影画像データを前記投影装置に提供する投影画像提供手段と
を具備することを特徴とする反射投影画像作成装置。
【請求項２】
請求項１記載の反射投影画像作成装置において、
前記撮影画像データに基づいて、前記鏡の頂点を検出し、検出結果を示す鏡頂点データを作成する鏡頂点検出手段をさらに具備し、
前記鏡姿勢算出手段は、前記鏡頂点データの示す頂点に基づいて、前記鏡の頂点の位置、前記鏡の中心、前記鏡の法線ベクトルのうちの少なくとも一つを算出して前記鏡姿勢データを作成する
ことを特徴とする反射投影画像作成装置。
【請求項３】
請求項１又は請求項２記載の反射投影画像作成装置において、
前記鏡姿勢データの示す前記鏡の位置及び姿勢に基づいて、前記投影基礎画像データのうち前記鏡の位置及び姿勢に対応する部分である部分画像データを抽出する投影画像推定手段をさらに具備し、
前記投影画像作成手段は、前記部分画像データの内容が前記投影装置によって前記鏡を介して前記投影面に投影されるように、前記鏡姿勢データの示す前記鏡の位置及び姿勢に基づいて前記部分画像データを変換し、前記投影画像データを作成する
ことを特徴とする反射投影画像作成装置。
【請求項４】
請求項３記載の反射投影画像作成装置において、
前記投影画像推定手段は、前記鏡の位置及び姿勢から、前記投影装置から投影された光が前記鏡によって反射され、前記投影面に投影される位置を判断し、この位置に対応する前記部分画像データを抽出することを特徴とする反射投影画像作成装置。
【請求項５】
請求項３又は請求項４記載の反射投影画像作成装置において、
前記投影画像作成手段は、前記鏡の頂点の位置と前記部分画像データの頂点の位置とが整合するように、前記部分画像データを変換し、前記投影画像データを作成することを特徴とする反射投影画像作成装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の反射投影画像作成装置において、
前記鏡姿勢データに基づいて、前記撮影装置で撮影された前記鏡の位置が前記撮影装置の撮影範囲内に収まるように、前記撮影装置及び前記投影装置の位置と姿勢とのうちの少なくとも一方を制御するための制御データを作成する駆動制御手段をさらに具備することを特徴とする反射投影画像作成装置。
【請求項７】
コンピュータを、
投影対象の画像データである投影基礎画像データを記憶する記憶手段、
撮影装置によって鏡を撮影した撮影画像データを取得し、撮影画像データ記憶手段に記憶する撮影画像取得手段、
前記撮影画像データ記憶手段に記憶されている前記撮影画像データに基づいて、前記鏡の位置及び姿勢を示す鏡姿勢データを作成し、鏡姿勢データ記憶手段に記憶する鏡姿勢算出手段、
前記記憶手段に記憶されている前記投影基礎画像データの内容が前記投影装置によって前記鏡を介して投影面に投影されるように、前記鏡姿勢データ記憶手段に記憶されている前記鏡姿勢データの示す前記鏡の位置及び姿勢に基づいて前記投影基礎画像データを変換し、変換結果を示す投影画像データを作成し、投影画像データ記憶手段に記憶する投影画像作成手段、
前記投影画像データ記憶手段に記憶されている前記投影画像データを前記投影装置に提供する投影画像提供手段
として機能させるためのプログラム。
【請求項８】
撮影装置と投影装置とに接続されている装置によって実施される反射投影画像作成方法であって、
投影対象の画像データである投影基礎画像データを記憶し、
前記撮影装置によって鏡を撮影した撮影画像データを取得し、
前記撮影画像データに基づいて、前記鏡の位置及び姿勢を示す鏡姿勢データを作成し、
前記投影基礎画像データの内容が前記投影装置によって前記鏡を介して投影面に投影されるように、前記鏡姿勢データの示す前記鏡の位置及び姿勢に基づいて前記投影基礎画像データを変換し、変換結果を示す投影画像データを作成し、
前記投影画像データを前記投影装置に提供する
ことを特徴とする反射投影画像作成方法。
【請求項９】
反射投影システムにおいて、
ユーザによって空間内に配置される鏡を撮影する撮影装置と、
前記鏡に反射させて投影面に投影させる画像を、前記鏡に向けて投影する投影装置と、
前記撮影装置と前記投影装置とに接続される反射投影画像作成装置と
を具備し、
前記反射投影画像作成装置は、
投影対象の画像データである投影基礎画像データを記憶する記憶手段と、
前記撮影装置によって鏡を撮影した撮影画像データを取得する撮影画像取得手段と、
前記撮影画像データに基づいて、前記鏡の位置及び姿勢を示す鏡姿勢データを作成する鏡姿勢算出手段と、
前記投影基礎画像データの内容が前記投影装置によって前記鏡を介して投影面に投影されるように、前記鏡姿勢データの示す前記鏡の位置及び姿勢に基づいて前記投影基礎画像データを変換し、変換結果を示す投影画像データを作成する投影画像作成手段と、
前記投影画像データを前記投影装置に提供する投影画像提供手段と
を具備することを特徴とする反射投影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置による投影に用いる画像データを作成する投影画像作成装置、プログラム、投影画像作成方法及び反射投影システムに関する。
【背景技術】
【０００２】
プロジェクタによって画像を投影する場合、投影面と対向する状態でプロジェクタを設置する必要がある。
非特許文献１（木島竜吾，羽座健二，多田嘉宏他，“赤外像と頭部搭載型プロジェクタとを用いたスクリーンとのインタラクション”，ヒューマンインタフェース学会第７回研究会資料，２０００）では、光源を分離することによりプロジェクタを頭部に搭載可能としている。
【０００３】
【非特許文献１】木島竜吾，羽座健二，多田嘉宏他，“赤外像と頭部搭載型プロジェクタとを用いたスクリーンとのインタラクション”，ヒューマンインタフェース学会第７回研究会資料，２０００
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来においては、プロジェクタの投影面を変える場合には、プロジェクタを移動させる必要があり、労力がかかる。
上記非特許文献１では、プロジェクタを頭部に搭載可能としているが、ユーザに特別の装置を装着させる必要があり、ユーザに負担がかかる場合がある。
【０００５】
本発明は、以上のような実情に鑑みてなされたもので、プロジェクタによって照射されさらにユーザに携帯される鏡によって反射された先の投影面に表示させる画像に関する画像データを作成することで、人手でプロジェクタの位置や姿勢を変えることなく投影面を切り換えることができる投影画像作成装置、プログラム、投影画像作成方法及び反射投影システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の態様に係る反射投影画像作成装置は、撮影装置と投影装置とに接続され、投影対象の画像データである投影基礎画像データを記憶する記憶手段と、撮影装置によって鏡を撮影した撮影画像データを取得する撮影画像取得手段と、撮影画像データに基づいて、鏡の位置及び姿勢を示す鏡姿勢データを作成する鏡姿勢算出手段と、投影基礎画像データの内容が投影装置によって鏡を介して投影面に投影されるように、鏡姿勢データの示す鏡の位置及び姿勢に基づいて投影基礎画像データを変換し、変換結果を示す投影画像データを作成する投影画像作成手段と、投影画像データを投影装置に提供する投影画像提供手段とを具備する。
【０００７】
これにより、ユーザは、鏡の位置や姿勢を変更することにより、投影装置の位置や姿勢を変更させることなく、画像の投影位置を切り換えることができる。
なお、上記反射投影画像作成装置において、撮影画像データに基づいて、鏡の頂点を検出し、検出結果を示す鏡頂点データを作成する鏡頂点検出手段をさらに具備し、鏡姿勢算出手段は、鏡頂点データの示す頂点に基づいて、鏡の頂点の位置、鏡の中心、鏡の法線ベクトルのうちの少なくとも一つを算出して鏡姿勢データを作成するとしてもよい。
【０００８】
上記、反射投影画像作成装置において、鏡姿勢データの示す鏡の位置及び姿勢に基づいて、投影基礎画像データのうち鏡の位置及び姿勢に対応する部分である部分画像データを抽出する投影画像推定手段をさらに具備し、投影画像作成手段は、部分画像データの内容が投影装置によって鏡を介して投影面に投影されるように、鏡姿勢データの示す鏡の位置及び姿勢に基づいて部分画像データを変換し、投影画像データを作成するとしてもよい。
【０００９】
これにより、鏡の位置及び姿勢の変更に応じて反射後投影面に表示される画像を切り換えることができる。
ここで、投影画像推定手段は、鏡の位置及び姿勢から、投影装置から投影された光が鏡によって反射され、投影面に投影される位置を判断し、この位置に対応する部分画像データを抽出するとしてもよい。
【００１０】
また、投影画像作成手段は、鏡の頂点の位置と部分画像データの頂点の位置とが整合するように、部分画像データを変換し、投影画像データを作成するとしてもよい。
上記反射投影画像作成装置において、鏡姿勢データに基づいて、撮影装置で撮影された鏡の位置が撮影装置の撮影範囲内に収まるように、撮影装置及び投影装置の位置と姿勢とのうちの少なくとも一方を制御するための制御データを作成する駆動制御手段をさらに具備するとしてもよい。
【００１１】
これにより、一層広い範囲で投影装置からの画像を反射させて投影面に表示させることができる。
なお、上記の態様は装置として表現されている。しかしながら、これに限らず、上記の態様は、方法、プログラム、コンピュータ読み取り可能な記憶媒体、撮影装置と投影装置と上記態様の装置とを具備するシステムなどで表現されるとしてもよい。
【発明の効果】
【００１２】
本発明により、プロジェクタによって照射されさらにユーザに携帯又は設置される鏡によって反射された先の投影面に表示させる画像データを作成することができ、人手でプロジェクタの位置や姿勢を変えることなく投影面を切り換えることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しながら本発明の実施の形態について説明する。なお、以下の各図において同一の部分については同一の符号を付して説明を省略する。
（第１の実施の形態）
図１は、本実施の形態に係る反射投影システムの構成の例を示すブロック図である。本実施の形態に係る反射投影システム１では、撮影装置をカメラ２、投影装置をプロジェクタ３として説明を行う。
【００１４】
また、図２は、本実施の形態に係る反射投影システム１の適用例を示す図である。なお、この図２では、反射投影システム１の構成要素のうち、カメラ２、プロジェクタ３、反射投影画像作成装置４における投影基礎データ（全体画像データ）６を記憶する投影基礎画像データ記憶部５のみを表し、他の構成要素を省略している。
【００１５】
本実施の形態に係る反射投影システム１は、まず、ユーザ７に携帯されている鏡８をカメラ２で撮影し、鏡８の位置及び姿勢（鏡面角度）を検出し、投影基礎画像データ６のうち、この鏡８の位置及び姿勢に対応する部分の画像データを抽出した部分画像データ９を作成し、鏡８に対して部分画像データ９の内容にしたがってプロジェクタ３により画像を投影する。ここで、鏡８に反射され、投影面１０に投影された画像の表示位置と鏡８の位置及び姿勢とは、一意に関係付けされているとする。
【００１６】
この結果、プロジェクタ３の投影方向に対向していない投影面１０においても、プロジェクタ３から投影された画像を表示させることができ、またユーザ７が鏡８の位置と姿勢とのうちの少なくとも一方を変更させることによって表示される画像を切り換えることができる。
【００１７】
反射投影システム１は、カメラ２、プロジェクタ３、反射投影画像作成装置４を具備する。
カメラ２とプロジェクタ３との光軸は整合されている。すなわち、本実施の形態では、カメラ２の撮影領域とプロジェクタ３の投影領域とをほぼ一致、整合させている。なお、投影面までの距離を一定と仮定し、カメラ２の撮影範囲とプロジェクタ３の投影範囲とが一致するように組み合わせてもよい。
【００１８】
カメラ２は、実空間において、ユーザ７によって設置された鏡８の状態を撮影し、撮影画像データを反射投影画像作成装置４に渡す。なお、本実施の形態では、鏡８の頂点を検出するために、この鏡８の頂点には画像認識可能なマーカを取り付けることとする。
【００１９】
プロジェクタ３は、反射投影画像作成装置４によって作成された投影画像データ１１を受け付け、この投影画像データ１１に基づいて実空間に対して画像を投影し、画像表示を行う。
鏡８は、プロジェクタ３によって投影された画像を反射し、プロジェクタ３の投影方向に対向しない投影面１０に対して画像を表示させる。
【００２０】
反射投影画像作成装置４は、画像認識部１２、画像作成部１３を具備する。
画像認識部１２は、撮影画像取得部１４、撮影画像データ記憶部１５、鏡頂点検出部１６、鏡頂点データ記憶部１７、鏡姿勢算出部１８、鏡姿勢データ記憶部１９を具備する。
撮影画像取得部１４は、鏡８の状態を表す撮影画像データ２０をカメラ２から取得し、撮影画像データ２０を撮影画像データ記憶部１５に記憶する。
【００２１】
鏡頂点検出部１６は、撮影画像データ記憶部１５から撮影画像データ２０を読み出し、この撮影画像データ２０に対する画像解析により撮影された鏡８の頂点位置を検出し、この検出結果を示す鏡頂点データ２１を作成し、鏡頂点データ記憶部１７に記憶する。
【００２２】
鏡姿勢算出部１８は、鏡頂点データ記憶部１７から鏡頂点データ２１を読み出し、この鏡頂点データ２１に基づいて、例えば鏡８の鏡面の法線ベクトル、鏡８の位置、鏡８の頂点の位置などのような鏡８の位置及び姿勢を表す鏡姿勢データ２２を作成し、この鏡８の位置及び姿勢を示す鏡姿勢データ２２を鏡姿勢データ記憶部１９に記憶する。
【００２３】
画像作成部１３は、投影基礎画像データ記憶部５、投影画像推定部２３、部分画像データ記憶部２４、投影画像作成部２５、投影画像データ記憶部２６、投影画像提供部２７を具備する。
投影基礎画像データ記憶部５は、投影面１０への投影対象の画像データとなる投影基礎画像データ６を記憶する。
【００２４】
投影画像推定部２３は、鏡姿勢データ記憶部１９から鏡姿勢データ２２を読み出すとともに、投影基礎画像データ記憶部５から投影基礎画像データ６を読み出す。
また、投影画像推定部２３は、投影基礎画像データ６のうち、鏡姿勢データ２２の示す鏡位置及び鏡姿勢に対応する部分のデータを部分画像データ９として抽出する。
【００２５】
なお、投影画像推定部２３は、鏡８の位置と姿勢とから、プロジェクタ３から投射された光が鏡８によって反射され、投影面１０に投影される位置を判断し、この位置に対応する部分画像データ９を抽出するとしてもよい。
そして、投影画像推定部２３は、部分画像データ９を部分画像データ記憶部２４に記憶する。
【００２６】
投影画像作成部２５は、部分画像データ記憶部２４から部分画像データ９を読み出すとともに、鏡姿勢データ記憶部１９から鏡姿勢データ２２を読み出す。
また、投影画像作成部２５は、鏡姿勢データ２２の示す例えば鏡８の鏡面の法線ベクトル、鏡８の位置、鏡８の頂点の位置などのような鏡８の位置及び姿勢に基づいて、プロジェクタ３によって投影された後鏡８に反射され投影面１０に表示された画像が、部分画像データ９の内容となるように、この部分画像データ９を変換し、投影画像データ１１を作成する。
【００２７】
そして、投影画像作成部２５は、投影画像データ１１を投影画像データ記憶部２６に記憶する。
投影画像提供部２７は、投影画像データ記憶部２６に記憶されている投影画像データ１１をプロジェクタ３に提供する。
上記のような反射投影システム１は、画像認識部１２により、ユーザ８が設置又は携帯する鏡８の位置及び姿勢を検出し、画像作成部１３により、鏡８の位置及び姿勢に基づいて反射先に対応する画像である部分画像データ９を抽出し、この部分画像データ９を反射先に投影するために変換した投影画像データ１１を作成し、画像を投影する。
【００２８】
これにより、ユーザ７は、プロジェクタから投影される画像を自分の好きな位置に反射させて表示できる。また、反射先の位置に応じてユーザ７に提示される画像を切り換えることができる。
図３は、鏡８の頂点の位置と投影面１０に投影された画像の位置との関係の例を示す図である。
【００２９】
鏡姿勢データ２２では、カメラ２で撮影された鏡８の頂点２２ａ〜２２ｄの検出結果が表されている。この頂点２２ａ〜２２ｄの状態の変化は、鏡８の位置と姿勢とのうちの少なくとも一方の変化であり、プロジェクタ３から投影された光の反射先の位置も変化する。したがって、投影面に投影された画像１０ａの表示位置が変化する。
【００３０】
以下に、鏡姿勢算出部１８の鏡姿勢の算出について詳細に説明する。
図４は、カメラ２の結像に基づく座標系（以下、「カメラ座標系」という）の例を示す図である。この図４では、鏡８の法線ベクトルの算出について説明する。
また、図５は、カメラ座標系で見た鏡８の形状の例を示す図である。
【００３１】
ｘ軸は水平方向、ｙ軸は垂直方向、ｚ軸はカメラ２の奥行き方向を向く。
焦点距離をｆ、鏡８の法線ベクトルをｎ（ｐm，ｑm，−１）、鏡８の頂点２２ａ〜２２ｄの画像平面上での座標を（ｘi，ｙi）とする。ここでｉ＝１，２，３，４である。
また、鏡８の４つの頂点２２ａ〜２２ｄの画像平面上での座標から求められる２つの消失点の座標を（Ｕj，Ｖj）とする。ここでｊ＝１，２である。
【００３２】
また、（ｘ1，ｙ1）と（ｘ2，ｙ2）とを通る直線をａ1ｘ＋ｂ1ｙ＝ｃ1とし、（ｘ3，ｙ3）と（ｘ4，ｙ4）とを通る直線をａ2ｘ＋ｂ2ｙ＝ｃ2とする。
この場合、消失点（Ｕ1，Ｖ1）は
Ｕ1＝（ｂ2ｃ1−ｂ1ｃ2）／（ａ1ｂ2−ａ2ｂ1）  …式（１）
Ｖ1＝−（ａ2ｃ1−ａ1ｃ2）／（ａ1ｂ2−ａ2ｂ1）  …式（２）
であり、同様に、もう一組の平行な対辺から消失点（Ｕ2，Ｖ2）は
Ｕ2＝（ｂ4ｃ3−ｂ3ｃ4）／（ａ3ｂ4−ａ4ｂ3）  …式（３）
Ｖ2＝−（ａ4ｃ3−ａ3ｃ4）／（ａ3ｂ4−ａ4ｂ3）  …式（４）
であり、
ｐm＝ｆ（−Ｖ1＋Ｖ2）／（Ｕ1Ｖ2−Ｕ2Ｖ1）  …式（５）
ｑm＝ｆ（Ｕ1＋Ｕ2）／（Ｕ1Ｖ2−Ｕ2Ｖ1）  …式（６）
である。
【００３３】
以下に、投影画像推定部２３の部分画像データ９の作成について詳細に説明する。
図６は、鏡８の法線ベクトルｎ（ｐm，ｑm，−１）とｘｚ平面との関係の例を示す図である。この図６において、αは、鏡８の法線ベクトルｎ（ｐm，ｑm，−１）のｘｚ平面への射影とｘ軸とのなす角度を表す。βは、鏡８のｎ（ｐm，ｑm，−１）のｘｚ平面への射影と鏡８の法線ベクトルｎ（ｐm，ｑm，−１）とのなす角度を表す。
【００３４】
図７は、投影基礎画像データ６と部分画像データ９との関係の例を示す図である。
投影画像推定部２３は、上記αとβと定数Ｌ及びＭとに基づいて、投影基礎画像データ６内から抽出される部分画像データ９の座標（ｘp，ｙp）＝（Ｌα，Ｍβ）を求める。そして、投影画像推定部２３は、この座標（ｘp，ｙp）＝（Ｌα，Ｍβ）の値に応じて、部分画像データ９を求める。
【００３５】
以下に、投影画像作成部２５の投影画像データ１１の作成について説明する。
投影画像作成部２５は、鏡姿勢データ２２の示す鏡８の頂点２２ａ〜２２ｄの位置と部分画像データ９の示す画像の４つの頂点とが整合するように、部分画像データ９を変換し、投影画像データ１１を作成する。
【００３６】
なお、本実施の形態では、鏡姿勢データ２２を用いて部分画像データ９を投影画像データ１１に変換しているが、鏡頂点データ２１を用いて部分画像データ９を投影画像データ１１に変換するとしてもよい。
図８は、本実施の形態に係る反射投影システム１の処理の例を示すフローチャートである。
【００３７】
ステップＳ１において、撮影画像取得部１４は、カメラ２によって鏡８を撮影した撮影画像データ２０を取得する。
ステップＳ２において、鏡頂点検出部１６は、撮影画像データ２０における鏡８の頂点の位置と鏡８の形状を検出し、検出結果を示す鏡頂点データ２１を作成する。
【００３８】
ステップＳ３において、鏡姿勢算出部１８は、鏡頂点データ２１の示す鏡８の頂点の位置と鏡８の形状とに基づいて、鏡８の位置及び姿勢を算出し、算出結果を示す鏡姿勢データ２２を作成する。
ステップＳ４において、投影画像推定部２３は、鏡姿勢データ２２の示す鏡の位置及び姿勢に基づいて、投影基礎画像データ６において、鏡８の位置及び姿勢に対応する部分のデータである部分画像データ９を抽出する。
【００３９】
ステップＳ５において、投影画像作成部２５は、抽出した部分画像データ９を、検出した鏡８の位置と形状に変形した投影画像データ１１を作成する。
ステップＳ６において、投影画像提供部２７は、投影画像データ１１をプロジェクタ３に提供し、鏡８に反射させた後、投影面１０に対して表示する。
【００４０】
ステップＳ７において、反射投影システム１は、動作終了まで上記ステップＳ１以下の処理を繰り返す。
本実施の形態に係る反射投影システム１の利用態様の例について説明する。
例えば、プラントなどの作業現場にカメラ２とプロジェクタ３を設置する。ユーザ７は、プロジェクタ３からの光を反射させ、任意の位置に照射させる。反射投影システム１は、照射位置に応じて画像を切り換えることができる。このため、反射投影システム１においては、光の照射された位置に設置されている設備の取り扱い方法、注意項目、操作マニュアルなどを表示させることができる。
【００４１】
また、サポートセンタで投影基礎画像データ６を更新し、このサポートセンタで作成された投影基礎画像データ６の内容を迅速に作業現場に反映できる。これにより、現場とサポートセンタとで協調した作業を実現できる。
以上説明した本実施の形態においては、プロジェクタ３の移動、投影方向の変更などを行うことなく、投影面１０を変更させることができる。
【００４２】
プロジェクタ３から投影され、鏡８で反射されて表示された画像は、その表示位置に応じて切り換えることができる。これにより、ユーザ７に有益な様々な情報を適切な位置に提示することができる。
本実施の形態においては、ユーザ７は鏡８を携帯すればよく、プロジェクタ３を携帯する必要はないため、利用に必要な労力が軽減され、プロジェクタ３の小形化、軽量化が必要なく、導入容易である。すなわち、ユーザ７は、小形で携帯容易な鏡８を利用すればよく、違和感なく使用できる。また、ユーザ７はヘッドマウントディスプレイなどを装着する必要がないため、ユーザ７の負担を小さくすることができる。
【００４３】
なお、本実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００４４】
例えば、本実施の形態において、投影基礎画像データ６は、静止画像データでも、動画像データでもよい。
また、例えば、各記憶部５，１５，１７，１９，２４，２６は、自由に組み合わせることができる。各記憶部５，１５，１７，１９，２４，２６に記憶されている各データも自由に組み合わせることができる。
【００４５】
また、投影基礎画像データ記憶部５は、複数の投影基礎画像データ６を記憶し、投影画像推定部２３は、鏡８の位置及び姿勢に応じていずれかの投影基礎画像データ６を抽出するとしてもよい。
また、投影画像作成部２５は、投影基礎画像データ６全体から投影画像データ１１を作成するとしてもよい。これにより、投影基礎画像データ６全体の内容を、鏡８によって反射させ、投影面１０に投影させることができる。
【００４６】
また、鏡８には、鏡８の位置及び姿勢の画像認識を容易とする画像マーカが貼られており、鏡姿勢算出部１８は、鏡８に貼られた画像マーカの位置及び姿勢を算出し、この鏡８と画像マーカとの位置及び姿勢の関係から、鏡８の位置及び姿勢を算出するとしてもよい。
【００４７】
（第２の実施の形態）
本実施の形態では、上記第１の実施の形態の変形例について説明する。
図９は、本実施の形態に係る反射投影システムの構成の例を示すブロック図である。なお、以下においては、上記第１の実施の形態に係る反射投影システム１と異なる部分を主に説明する。
【００４８】
本実施の形態に係る反射投影システム２８は、カメラ２、プロジェクタ３、駆動装置２９、反射投影画像作成装置３０を具備する。すなわち、反射投影システム２８は、上記第１の実施の形態に係る反射投影システム１に、さらに駆動装置２９、鏡追跡判断部３１、駆動制御部３２を具備する構成を持つ。
【００４９】
駆動装置２９は、カメラ２とプロジェクタ３との位置及び方向を変更する装置であり、カメラ２とプロジェクタ３との位置・姿勢を切り換える装置である。
鏡追跡判断部３１は、鏡姿勢データ２２に基づいて、鏡８の位置がカメラ２の撮影範囲のうちの所定の範囲内（例えば、カメラ２による撮影画像の中心からしきい値の範囲内）に収まるか否か判断する。
【００５０】
駆動制御装置３２は、鏡８の位置がカメラ２の撮影範囲のうちの所定の範囲内に収まらなくなった場合に、駆動装置２９に制御データを与え、鏡８の位置がカメラ２の撮影範囲のうち所定の範囲内に収まるようにカメラ２とプロジェクタ３との位置・姿勢を制御する。
【００５１】
本実施の形態において、鏡追跡判断部３１は、画像認識部１２に含まれるとする。また、画像作成部１３は、鏡姿勢データ２２に加えて、駆動制御部３２による駆動装置２９の制御結果に基づいて、カメラ２の撮影方向とプロジェクタ３の投影方向との変更を考慮して投影画像データ１１の作成を行う。
【００５２】
図１０は、鏡８の位置とカメラ２及びプロジェクタ３の制御との関係の例を示す図である。
鏡姿勢データ２２では、カメラ２で撮影された鏡８の位置の検出結果が表されている。駆動制御部３２は、鏡８の位置が所定の範囲内となるように、カメラ２及びプロジェクタ３の位置及び姿勢を制御する。
【００５３】
図１１は、本実施の形態に係る反射投影システム２８の処理の例を示すフローチャートである。
ステップＴ１〜Ｔ３までは、上記図８のステップＳ１〜Ｓ３と同様である。
ステップＴ４において、鏡追跡判断部３１は、カメラ２における撮影画像において、鏡８の位置がこの撮影画像の中心からしきい値の範囲内にあるか判断する。
【００５４】
鏡８の位置がこの撮影画像の中心からしきい値の範囲内にある場合は、処理がステップＴ６に移る。
鏡８の位置がこの撮影画像の中心からしきい値の範囲内にない場合、ステップＴ５において、駆動制御部３２は、鏡８の位置がカメラ２による撮影画像の中心にくるように、カメラ２とプロジェクタ３との位置・姿勢を制御し、その後処理はステップＴ６に移る。
【００５５】
ステップＴ６〜Ｔ９は、上記図８のステップＳ４〜Ｓ７と同様である。
以上説明した本実施の形態では、鏡８の移動に応じてカメラ２とプロジェクタ３が鏡８を追跡するため、一層ユーザ７は自由な投影面１０に反射後の画像を表示させることができる。
【００５６】
ここで、上記各実施の形態に係る反射投影システム１，２８の反射投影画像作成装置４，３０をコンピュータとソフトウェアとを用いて実現する場合について説明する。
図１２は、上記各実施の形態に係る反射投影システム１，２８の反射投影画像作成装置４，３０を、コンピュータとソフトウェアとを用いて実現するための構成の例を示すブロック図である。
【００５７】
コンピュータ３３は、プロセッサ３４、例えば内部メモリなどの記憶装置３５、内部バス３６を具備する。プロセッサ３４と記憶装置３５とは、内部バス３６経由で接続されている。
記憶媒体３７に記憶されているプログラム３８は、コンピュータ３３に読み込まれ、プロセッサ３４により実行される。これにより、コンピュータ３３は、上記反射投影画像作成装置４，３０の具備する各構成要素としての機能を実現する。記憶装置３５は、各記憶部５，１５，１７，１９，２４，２６として機能する。
【００５８】
本実施の形態において、プログラム３８は、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記憶媒体３７に書き込んで、反射投影画像作成装置４，３０として動作するコンピュータ３３に適用可能である。また、上記プログラム３８は、通信媒体により伝送してコンピュータ３３に適用することも可能である。コンピュータ３３は、上記プログラム３８を読み込み、このプログラム３８によって動作が制御されることにより、反射投影画像作成装置４，３０としての機能を実現する。プログラム３８は、複数のコンピュータに分散して配置され、複数のコンピュータ間で互いに連携しつつ処理が実行されるとしてもよい。
【産業上の利用可能性】
【００５９】
本発明は、プロジェクタを用いて情報を提示する分野に有効である。
【図面の簡単な説明】
【００６０】
【図１】本発明の第１の実施の形態に係る反射投影システムの構成の例を示すブロック図。
【図２】同実施の形態に係る反射投影システムの適用例を示す図。
【図３】鏡の頂点の位置と投影面に投影された画像の位置との関係の例を示す図。
【図４】カメラの結像に基づく座標系の例を示す図。
【図５】カメラ座標系で見た鏡の形状の例を示す図。
【図６】鏡の法線ベクトルｎ（ｐm，ｑm，−１）とｘｚ平面との関係の例を示す図。
【図７】投影基礎画像データと部分画像データとの関係の例を示す図。
【図８】同実施の形態に係る反射投影システムの処理の例を示すフローチャート。
【図９】本発明の第２の実施の形態に係る反射投影システムの構成の例を示すブロック図。
【図１０】鏡の位置とカメラ及びプロジェクタの制御との関係の例を示す図。
【図１１】同実施の形態に係る反射投影システムの処理の例を示すフローチャート。
【図１２】反射投影システムの反射投影画像作成装置を、コンピュータとソフトウェアとを用いて実現するための構成の例を示すブロック図。
【符号の説明】
【００６１】
１，２８…反射投影システム、２…カメラ、３…プロジェクタ、４，３０…反射投影画像作成装置、５…投影基礎画像データ記憶部、６…投影基礎画像データ、７…ユーザ、８…鏡、９…部分画像データ、１０…投影面、１１…投影画像データ、１２…画像認識部、１３…画像作成部、１４…撮影画像取得部、１５…撮影画像データ記憶部、１６…鏡頂点検出部、１７…鏡頂点データ記憶部、１８…鏡姿勢算出部、１９…鏡姿勢データ記憶部、２０…撮影画像データ、２１…鏡頂点データ、２２…鏡姿勢データ、２３…投影画像推定部、２４…部分画像データ記憶部、２５…投影画像作成部、２６…投影画像データ記憶部、２７…投影画像提供部、２９…駆動装置、３１…鏡追跡判断部、３２…駆動制御部、３３…コンピュータ、３４…プロセッサ、３５…記憶装置、３６…内部バス、３７…記憶媒体、３８…プログラム
【図１】
2006253928.tif 000003
【図２】
2006253928.tif 000004
【図３】
2006253928.tif 000005
【図４】
2006253928.tif 000006
【図５】
2006253928.tif 000007
【図６】
2006253928.tif 000008
【図７】
2006253928.tif 000009
【図８】
2006253928.tif 000010
【図９】
2006253928.tif 000011
【図１０】
2006253928.tif 000012
【図１１】
2006253928.tif 000013
【図１２】
2006253928.tif 000014