(57)【要約】【課題】一般的な装置を用いて、投影装置による画像の投影側の空間で作業者が物体を移動させた場合に、表示される画像を物体の移動に応じて調整する。【解決手段】本発明の一態様の投影画像作成装置８は、撮影装置５で撮影される空間内の物体２に関連する物体関連データ４とこの表示位置を示す表示位置データ６を記憶する物体記憶手段１２、撮影装置５で撮影された撮影画像データ１０から作業者の手６１の領域を検出した手領域データ２５を作成する手領域検出手段１７、手領域データ２５の手領域と表示位置データ６の表示位置とから、手６１で物体２が握られた状態を検出する物体ホールド検出手段１３、手６１で物体２が握られた状態であり手領域データ２５の手領域が移動した場合に、手領域移動にそって移動後の物体関連データの表示位置を示す移動後表示位置データ７を作成する位置管理手段２２ａ、移動後表示位置データ７の位置に物体関連データ４を表示する投影画像データ９を作成する画像データ作成手段２２ｂを具備する。【選択図】      図１
2006252036.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置によって撮影される空間に配置されている物体に関連する物体関連データとこの物体関連データの表示位置を示す表示位置データとを記憶する物体記憶手段と、
前記撮影装置によって撮影された撮影画像データに基づいて、作業者の手の領域を検出した手領域データを作成する手領域検出手段と、
前記手領域データの示す手領域と前記表示位置データの示す表示位置とに基づいて、前記作業者の手によって前記物体が握られた状態か否かを検出する物体ホールド検出手段と、
前記作業者の手によって前記物体が握られた状態であり、前記手領域データの示す前記手領域が移動した場合に、前記手領域の移動にそって移動後の物体関連データの表示位置を示す移動後表示位置データを作成する位置管理手段と、
前記移動後表示位置データの示す位置に前記物体関連データを表示する投影画像データを作成する画像データ作成手段と
を具備することを特徴とする投影画像作成装置。
【請求項２】
請求項１記載の投影画像作成装置において、
前記位置管理手段は、前記物体記憶手段に記憶されている前記表示位置データを、前記移動後表示位置データにより更新することを特徴とする投影画像作成装置。
【請求項３】
請求項１又は請求項２記載の投影画像作成装置において、
前記手領域データに基づいて、前記手領域の重心の位置を示す重心データを作成する重心算出手段をさらに具備し、
前記物体ホールド検出手段は、前記重心データの示す前記手領域の重心の位置と、前記表示位置データの示す前記物体関連データの表示位置との距離が所定の保持検出用のしきい値以下の場合に、前記作業者の手によって前記物体が握られた状態と判断する
ことを特徴とする投影画像作成装置。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載の投影画像作成装置において、
前記物体ホールド検出手段は、前記手領域データの示す前記手領域の移動加速度が負の値であり、かつ移動速度が所定の移動終了検出用のしきい値以下となった場合に、前記作業者の手によって前記物体が握られた状態が終了したと判断する
ことを特徴とする投影画像作成装置。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載の投影画像作成装置において、
前記位置管理手段は、移動開始時における前記手領域の位置から前記物体関連データの前記表示位置までのベクトルを求め、移動後の手領域の位置と前記ベクトルとに基づいて前記移動後表示位置データを作成する
ことを特徴とする投影画像作成装置。
【請求項６】
コンピュータを、
撮影装置によって撮影される空間に配置されている物体に関連する物体関連データとこの物体関連データの表示位置を示す表示位置データとを記憶する物体記憶手段、
前記撮影装置によって撮影された撮影画像データに基づいて、作業者の手の領域を検出した手領域データを作成し、手領域データ記憶手段に記憶する手領域検出手段、
前記手領域データ記憶手段の手領域データの示す手領域と前記物体記憶手段の表示位置データの示す表示位置とに基づいて、前記作業者の手によって前記物体が握られた状態か否かを検出する物体ホールド検出手段、
前記作業者の手によって前記物体が握られた状態であり、前記手領域データの示す前記手領域が移動した場合に、前記手領域の移動にそって移動後の物体関連データの表示位置を示す移動後表示位置データを作成する位置管理手段、
前記移動後表示位置データの示す位置に前記物体記憶手段の物体関連データを表示する投影画像データを作成し、投影画像データ記憶手段に記憶する画像データ作成手段
として機能させるためのプログラム。
【請求項７】
コンピュータにより実施される投影画像作成方法において、
撮影装置によって撮影される空間に配置されている物体に関連する物体関連データとこの物体関連データの表示位置を示す表示位置データとを物体記憶手段に記憶し、
前記撮影装置によって撮影された撮影画像データに基づいて、作業者の手の領域を検出した手領域データを作成し、手領域データ記憶手段に記憶し、
前記手領域データ記憶手段の手領域データの示す手領域と前記物体記憶手段の表示位置データの示す表示位置とに基づいて、前記作業者の手によって前記物体が握られた状態か否かを検出し、
前記作業者の手によって前記物体が握られた状態であり、前記手領域データの示す前記手領域が移動した場合に、前記手領域の移動にそって移動後の物体関連データの表示位置を示す移動後表示位置データを作成し、
前記移動後表示位置データの示す位置に前記物体記憶手段の物体関連データを表示する投影画像データを作成し、投影画像データ記憶手段に記憶する
ことを特徴とする投影画像作成方法。
【請求項８】
空間に配置されている物体を撮影する撮影装置と、
前記物体に関連する物体関連データとこの物体関連データの表示位置を示す表示位置データとを記憶する物体記憶手段と、
前記撮影装置によって撮影された撮影画像データに基づいて、作業者の手の領域を検出した手領域データを作成する手領域検出手段と、
前記手領域データの示す手領域と前記表示位置データの示す表示位置とに基づいて、前記作業者の手によって前記物体が握られた状態か否かを検出する物体ホールド検出手段と、
前記作業者の手によって前記物体が握られた状態であり、前記手領域データの示す前記手領域が移動した場合に、前記手領域の移動にそって移動後の物体関連データの表示位置を示す移動後表示位置データを作成する位置管理手段と、
前記移動後表示位置データの示す位置に前記物体関連データを表示する投影画像データを作成する画像データ作成手段と、
前記投影画像データに基づいて前記空間に画像を投影する投影装置と
を具備する画像投影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置によって投影される画像データを作成する投影画像作成装置、プログラム、投影画像作成方法、及び画像投影システムに関する。
【背景技術】
【０００２】
プロジェクタは、画像データに基づく画像を表示面に映す。
特許文献１（特開２００３−１４０８３０）には、プロジェクタシステムに無線にてマウスポインタの操作及びクリック操作を伝達し、スクリーンに投影されたポインタ画像の位置及び投影状態を認識し、マウス制御信号に従って処理を行う発明が開示されている。
【０００３】
非特許文献１（「プロジェクタを用いた３次元遠隔指示インタフェースの構築」（東城、日浦、井口；大阪大学）、日本バーチャルリアリティ学会論文誌、Vol.7,No.2、pp.169-176、Jun.2002）には、レーザレンジファインダなどの物体を計測する装置とプロジェクタを用いた３次元遠隔指示インタフェースの構築技術について記載されている。
【０００４】
【特許文献１】特開２００３−１４０８３０
【０００５】
【非特許文献１】「プロジェクタを用いた３次元遠隔指示インタフェースの構築」（東城、日浦、井口；大阪大学）、日本バーチャルリアリティ学会論文誌、Vol.7,No.2、pp.169-176、Jun.2002
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１では、マウスポインタの操作及びクリック操作によりプロジェクタシステムによる投影状態が変化する。
しかしながら、例えば画像の投射された空間側で何らかの変化又はイベントが発生したとしても、何ら投射される画像は変化しない。
【０００７】
上記非特許文献１においては、レーザレンジファインダなどの物体を計測する特別の装置を必要とする。
本発明は、以上のような実情に鑑みてなされたもので、投影装置及び撮影装置という一般的な装置を用いて、投影装置による画像の投影側の空間で作業者が物体を移動させた場合に、表示される画像を物体の移動に応じて容易に調整する投影画像作成装置、プログラム、投影画像作成方法、及び画像投影システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
発明の態様に係る投影画像作成装置は、撮影装置によって撮影される空間に配置されている物体に関連する物体関連データとこの物体関連データの表示位置を示す表示位置データとを記憶する物体記憶手段と、撮影装置によって撮影された撮影画像データに基づいて、作業者の手の領域を検出した手領域データを作成する手領域検出手段と、手領域データの示す手領域と表示位置データの示す表示位置とに基づいて、作業者の手によって物体が握られた状態か否かを検出する物体ホールド検出手段と、作業者の手によって物体が握られた状態であり、手領域データの示す手領域が移動した場合に、手領域の移動にそって移動後の物体関連データの表示位置を示す移動後表示位置データを作成する位置管理手段と、移動後表示位置データの示す位置に物体関連データを表示する投影画像データを作成する画像作成手段とを具備する。
【０００９】
これにより、投影装置及び撮影装置という一般的な装置を用いて、投影装置による画像の投影側の空間で作業者が物体を移動させた場合に、この物体の移動に対応した位置に物体関連データを迅速、効率的、容易に表示させることができる。
上記投影画像作成装置において、位置管理手段は、物体記憶手段に記憶されている表示位置データを、移動後表示位置データにより更新するとしてもよい。
【００１０】
また、投影画像作成装置において、手領域データに基づいて、手領域の重心の位置を示す重心データを作成する重心算出手段をさらに具備し、物体ホールド検出手段は、重心データの示す前記手領域の重心の位置と、表示位置データの示す物体関連データの表示位置との距離が所定の保持検出用のしきい値以下の場合に、作業者の手によって物体が握られた状態と判断するとしてもよい。
【００１１】
また、投影画像作成装置において、物体ホールド検出手段は、手領域データの示す手領域の移動加速度の値が負の値であり、かつ移動速度が所定の移動終了検出用のしきい値以下となった場合に、作業者の手によって物体が握られた状態が終了したと判断するとしてもよい。
【００１２】
さらに、投影画像作成装置において、位置管理手段は、移動開始時における手領域の位置から物体関連データの表示位置までのベクトルを求め、移動後の手領域の位置とベクトルとに基づいて移動後表示位置データを作成するとしてもよい。
なお、上記の態様は、装置として表現されている。しかしながら、これに限らず、上記の態様は、方法、プログラム、コンピュータ読み取り可能な記憶媒体などで表現されるとしてもよく、投影画像作成装置と撮影装置と投影装置とを具備するシステムで表現されるとしてもよい。
【発明の効果】
【００１３】
本発明により、投影装置及び撮影装置という一般的な装置を用いて、投影装置による画像の投影側の空間で作業者が物体を移動させた場合に、この空間に表示される画像をこの物体の移動に応じて容易に調整することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明の実施の形態について説明する。なお、以下の各図において同一の部分については同一の符号を付して説明を省略する。
（第１の実施の形態）
図１は、本実施の形態に係る画像投影システムの構成の例を示すブロック図である。本実施の形態では、投影装置をプロジェクタ、撮影装置をカメラとして説明を行う。また、本実施の形態において、物体関連データとしては、例えば、物体の取り扱い方法、物体についての注意喚起、物体の位置移動方向、各種マーク、物体の属性データなど、物体に関する様々な内容のデータが用いられる。
【００１５】
本実施の形態に係る画像投影システム１は、まず、物体２の配置されている実空間に対して、プロジェクタ３により物体関連データ４の内容４ａを物体２に関連付けた状態で表示する。次に、画像投影システム１は、この実空間をカメラ５により撮影し、作業者の手６１の位置に応じてこの物体関連データ４の表示位置を変更・更新する。そして、画像投影システム１は、実空間に対してプロジェクタ３により物体関連データ４の内容４ａを移動後の物体２に関連付ける位置に表示する。
【００１６】
より具体的に説明すると、本実施の形態に係る画像投影システム１は、実空間上の物体２の物体関連データ４と表示位置を示す表示位置データ（座標値）６とを関連付け、この表示位置データ６に応じて物体関連データ４をプロジェクタ３で実空間上に提示し、作業者の手６１を認識し、手６１の移動量に基づいて移動後表示位置データ７を作成し、空間における移動後表示位置データ７の示す位置に物体関連データ４を表示することで、移動する物体２に対応する物体関連データ４を表示する。
【００１７】
画像投影システム１は、プロジェクタ３、カメラ５、投影画像作成装置８を具備する。
プロジェクタ３は、投影画像作成装置８によって作成された投影画像データ９を受け、この投影画像データ９に基づいて実空間に対して画像を投影する。
カメラ５は、実空間において、物体２の配置状態及びプロジェクタ３によって投影された画像の状態など、実空間の状態を撮影し、この実空間の状態を示す撮影画像データ１０を投影画像作成装置８に渡す。
【００１８】
投影画像作成装置８は、画像認識部１１、物体データベース１２、物体ホールド検出部１３、画像作成部１４を具備する。
さらに、画像認識部１１は、撮影画像取得部１５、撮影画像データ記憶部１６、手領域検出部１７、手領域データ記憶部１８、重心算出部１９、重心データ記憶部２０を具備する。このうち、手領域検出部１７、手領域データ記憶部１８、重心算出部１９、重心データ記憶部２０により、手位置検出部２１が構成される。
【００１９】
また、画像作成部１４は、位置変更部２２、投影画像データ記憶部２３、投影画像提供部２４を具備する。
撮影画像取得部１５は、カメラ５から空間の撮影画像データ１０を取得し、撮影画像データ１０を撮影画像データ記憶部１６に記憶する。
手領域検出部１７は、撮影画像データ記憶部１６から撮影画像データ１０を読み出し、この撮影画像データ１０に対する画像解析により作業者の手６１を示す肌色領域を手領域として検出する。そして、手領域検出部１７は、手領域検出結果を示す手領域データ２５を作成し、手領域データ記憶部１８に記憶する。
【００２０】
なお、物体２を移動させるものが手６１ではない場合においても、物体２を移動させる場合にこの物体２と接触するものを検出すればよい。作業者が手袋等を装着する場合は、この手袋を検出する。
重心算出部１９は、手領域データ記憶部１８から手領域データ２５を読み出し、この手領域データ２５における手領域の重心の位置（座標値）を算出し、重心の位置を示す重心データ２６を作成する。そして、重心算出部１９は、重心データ２６を重心データ記憶部２０に記憶する。
【００２１】
物体データベース１２は、物体関連データ４と、物体関連データ４の表示位置（座標値）を示す表示位置データ６とを関連付けて記憶する。
図２は、物体データベース１２の記憶内容の例を示す図である。
この図２では、複数の物体２ごとに、物体関連データ４と表示位置データ６とがテーブル形式で管理されている。
【００２２】
物体関連データ４の内容としては、物体ＩＤ、物体名、物体と関連付けて表示するマークの形状、属性データ（例えば空間への配置時間、物体についての注意事項、特徴、操作方法など）が管理されている。
表示位置データ６としては、この物体関連データ４を表示する位置を示すＸ座標の値、Ｙ座標の値が管理されている。
【００２３】
物体ホールド検出部１３は、重心データ記憶部２０から重心データ２６を読み出すとともに、物体データベース１２から物体２の表示位置データ６を読み出す。
そして、物体ホールド検出部１３は、重心データ２６の示す手領域の重心の位置と物体関連データの示す物体関連データ４の表示位置とに基づいて、物体２と作業者の手６１とが接触した状態か（物体が作業者の手により握られた状態か）、すなわち物体２が作業者の手６１により移動する状態か判断し、判断結果を位置変更部２２に通知する。
【００２４】
例えば、物体ホールド検出部１３は、重心データ２６の示す座標値と表示位置データ６の示す座標値との間の距離が所定の保持検出用しきい値以下となった場合に、物体２が作業者の手６１により移動する状態として検出する。一方、物体ホールド検出部１３は、重心データ２６の示す座標値で表される手６１の重心の移動加速度の値が負の値であり、かつ移動速度が所定の移動終了検出用しきい値以下となった場合に、物体２が作業者の手６１により移動している状態の終了を検出する。
【００２５】
位置変更部２２は、位置管理機能２２ａと画像データ作成機能２２ｂとを具備する。
位置変更部２２の位置管理機能２２ａは、物体ホールド検出部１３によって物体２の移動が検出された場合に、重心データ２６の移動方向と距離に応じて移動後表示位置データ７を作成し、この移動後表示位置データ７により物体データベースにおける表示位置データ６を更新する。
【００２６】
位置変更部２２の画像データ作成機能２２ｂは、物体データベース１２における物体関連データ４の内容を、表示位置データ６（移動後の場合は移動後表示位置データ７）の示す表示位置に表示する投影画像データ９を作成し、投影画像データ記憶部２３に記憶する。
【００２７】
投影画像提供部２４は、投影画像データ記憶部２４に記憶されている投影画像データ９を読み出し、プロジェクタ３に提供する。
上記のような画像投影システム１を用いることで、一般的なカメラ５及びプロジェクタ３を用いて、空間に配置されている物体２を作業者が手６１で移動させた場合に、手６１の移動に応じて物体２に対する物体関連データ４の表示位置も移動させることができる。
【００２８】
図３は、手６１の重心の座標値と物体関連データ４の表示位置の座標値との関係の例を示す概念図である。なお、この図３においては記載を簡略化するため、画像投影システム１についてカメラ５、プロジェクタ３、画像認識部１１、画像作成部１４のみを記載し、他の部分については省略している。
【００２９】
表示位置データ６の示す物体関連データ４の内容４ａの表示位置をＯとし、内容４ａの表示位置Ｏの座標値をＯ（Ｘ0，Ｙ0）と表す。
また、手６１の重心をＨ、手の重心Ｈの座標値をＨ（Ｘh，Ｙh）と表す。
画像投影システム１は、座標値Ｏ（Ｘ0，Ｙ0）と座標値Ｈ（Ｘh，Ｙh）とに基づいて、物体関連データ４の表示位置Ｏと手６１の重心Ｈとの距離を求める。
【００３０】
画像投影システム１は、内容４ａの表示位置Ｏと手６１の重心Ｈとの距離が所定の保持検出用しきい値以下となる場合、位置Ｏと重心Ｈとの相対的な位置が一定となるように、移動後の物体関連データ４の表示位置を求め、この移動後の表示位置により表示位置Ｏの座標値Ｏ（Ｘ0，Ｙ0）を更新する。
【００３１】
画像投影システム１は、手の重心Ｈの移動加速度の値が負の値であり、かつ移動速度が所定の移動終了検出用しきい値以下となった場合に、物体関連データ４の表示位置Ｏの座標値Ｏ（Ｘ0，Ｙ0）の更新を終了する。
画像投影システム１は、物体関連データ４の表示位置Ｏと手６１の重心Ｈとの距離が保持検出用しきい値を越えた後、再度保持検出用しきい値以下となった場合、位置Ｏと重心Ｈとの相対的な位置が一定となるように、物体関連データ４の表示位置Ｏの座標値Ｏ（Ｘ0，Ｙ0）を更新する。
【００３２】
図４は、物体ホールド検出部１３の処理の例を示すフローチャートである。
ステップＳ１において、物体ホールド検出部１３は、物体２が手６１で握られた状態の検出に用いられる保持検出用しきい値Ｄｇを設定するとともに、物体２が手６１で握られた状態か否かを示す物体ホールドフラグＦｇに、物体２が手６１で握られていない状態を表すFalseを設定する。
【００３３】
ステップＳ２において、物体ホールド検出部１３は、手６１が物体２を放した状態の検出に用いられる移動終了検出用しきい値Ｄｆを設定する。
ステップＳ３において、物体ホールド検出部１３は、撮影画像の取得周期Ｔcapを設定する。
なお、上記ステップＳ１〜Ｓ３の処理順序は、任意に変更でき、並列に実行されるとしてもよい。
【００３４】
ステップＳ４において、物体ホールド検出部１３は、重心算出部１９によって算出された現在の手６１の重心Ｈの座標値Ｈ（Ｘh，Ｙh）を取得する。
ステップＳ５において、物体ホールド検出部１３は、物体データベース１２から表示位置データ６の示す表示位置Ｏの座標値Ｏ（Ｘ0，Ｙ0）を取得する。
【００３５】
なお、ステップＳ４，Ｓ５は、逆の順序で実行されてもよく、並列に実行されてもよい。
ステップＳ６において、物体ホールド検出部１３は、手６１の重心Ｈと表示位置データ６の示す表示位置Ｏとの間の距離が保持検出用しきい値Ｄｇ以下か判断する。
【００３６】
重心Ｈと位置Ｏとの間の距離がしきい値Ｄｇ以下でない場合、ステップＳ７において、物体ホールド検出部１３は、撮影画像の取得周期Ｔcap経過まで待機し、その後処理はステップＳ４に戻る。
重心Ｈと位置Ｏとの間の距離がしきい値Ｄｇ以下の場合、ステップＳ８において、物体ホールド検出部１３は、物体ホールドフラグＦｇに、物体２が手６１で握られている状態を表すTrueを設定し、物体ホールドフラグＦｇを位置変更部２２に提供する。
【００３７】
ステップＳ９において、物体ホールド検出部１３は、手６１の重心Ｈの座標値Ｈ（Ｘh，Ｙh）を、座標保存値Ｈtemp（Ｘh，Ｙh）に保持させる。
ステップＳ１０において、物体ホールド検出部１３は、撮影画像の取得周期Ｔcap経過まで、座標保存値変数Ｈtemp（Ｘh，Ｙh）の保持状態を維持する。
【００３８】
ステップＳ１１において、物体ホールド検出部１３は、重心算出部１９によって算出された現在の手６１の重心Ｈの座標値Ｈ（Ｘh，Ｙh）を取得する。
ステップＳ１２において、物体ホールド検出部１３は、手６１の重心Ｈの移動加速度が負の値であり、かつ座標値Ｈ（Ｘh，Ｙh）と座標保存値Ｈtemp（Ｘh，Ｙh）との間の距離が移動終了検出用しきい値Ｄｆ以下か判断する。
【００３９】
手６１の重心Ｈの移動加速度の値が負の値であり、かつ手６１の重心Ｈの座標値Ｈ（Ｘh，Ｙh）と座標保存値Ｈtemp（Ｘh，Ｙh）との間の距離がしきい値Ｄｆ以下という条件が満たされない場合、処理は、上記ステップＳ９に戻る。
手６１の重心Ｈの移動加速度の値が負の値であり、かつ手６１の重心Ｈの座標値Ｈ（Ｘh，Ｙh）と座標保存値Ｈtemp（Ｘh，Ｙh）との間の距離がしきい値Ｄｆ以下の場合、ステップＳ１３において、物体ホールド検出部１３は、物体ホールドフラグＦｇにFalseを設定し、物体ホールドフラグＦｇを位置変更部２２に提供する。
【００４０】
ステップＳ１４において、物体ホールド検出部１３は、撮影画像の取得周期Ｔcap経過まで待機し、その後処理はステップＳ４に戻る。
この図４に示す物体ホールド検出部１３の処理において、物体２が複数ありこの複数の物体２についてそれぞれの物体関連データ４を表示する場合には、ステップＳ４以下の処理を複数の物体２ごとに実行すればよい。また、複数の物体２についてそれぞれの物体関連データ４を表示する場合には、複数の物体２ごとにしきい値Ｄｇ，Ｄｆを設定してもよい。
【００４１】
また、本実施の形態では、座標値Ｈ（Ｘh，Ｙh）と座標値Ｏ（Ｘ0，Ｙ0）の距離及びしきい値Ｄｇ，Ｄｆ、手６１の重心Ｈの移動加速度を用いて手６１と物体２との接触状態（握られた状態）を検出している。しかしながら、物体データベース１２に物体２について表示位置の座標値Ｏ（Ｘ0，Ｙ0）とともに物体２の形やサイズ（物体が円の場合は半径）を登録しておき、座標値Ｏ（Ｘ0，Ｙ0）と物体２の形とサイズとから物体２の領域と手６１とが重なるか否かを判断し、手６１と物体２との接触状態を検出してもよい。
【００４２】
図５は、位置変更部２２の処理の例を示すフローチャートである。
ステップＴ１において、位置変更部２２の位置管理機能２２ａは、位置更新周期Ｔprjを設定する。
ステップＴ２において、位置変更部２２は、物体データベース１２から表示位置データ６の示す表示位置Ｏの座標値Ｏ（Ｘ0，Ｙ0）を取得するとともに、物体関連データ４を取得する。
【００４３】
ステップＴ３において、位置変更部２２の画像データ作成機能２２ｂは、表示位置データ６の示す座標値Ｏ（Ｘ0，Ｙ0）の表示位置に、物体関連データ４を表示する投影画像データ９を作成し、投影画像データ記憶部２３に記憶する。これにより、投影画像データ９に基づく画像がプロジェクタ３により表示される。
【００４４】
ステップＴ４において、位置変更部２２の位置管理機能２２ａは、物体ホールド検出部１３から受け付けた物体ホールドフラグＦｇがFalseか判断する。
物体ホールドフラグＦｇがFalseの場合、このステップＴ４を繰り返す。
物体ホールドフラグＦｇがFalseでない場合、ステップＴ５において、位置変更部２２の位置管理機能２２ａは、重心算出部１９によって算出された現在の手６１の重心Ｈの座標値Ｈ（Ｘh，Ｙh）を取得する。
【００４５】
ステップＴ６において、位置変更部２２の位置管理機能２２ａは、手６１の重心Ｈを始点とし、表示位置データ６の示す表示位置Ｏを終点とするベクトルＨＯを算出する。
ステップＴ７において、位置変更部２２の位置管理機能２２ａは、位置更新周期Ｔprj経過まで待機する。
【００４６】
ステップＴ８において、位置変更部２２の位置管理機能２２ａは、重心算出部１９によって算出された移動後の手６１の重心Ｈの座標値Ｈ（Ｘh，Ｙh）を取得する。
ステップＴ９において、位置変更部２２の位置管理機能２２ａは、移動後の手６１の重心Ｈの座標値Ｈ（Ｘh，Ｙh）を始点とするベクトルＨＯの終点の座標値を、移動後表示位置データ７の示す表示位置Ｏの座標値Ｏ（Ｘ0，Ｙ0）として求める。すなわち、座標管理機能は、移動後の手の重心Ｈの座標値Ｈ（Ｘh，Ｙh）＋ベクトルＨＯを演算し、移動後の表示位置Ｏの座標値Ｏ（Ｘ0，Ｙ0）を求める。
【００４７】
ステップＴ１０において、位置変更部２２の画像データ作成機能２２ｂは、移動後表示位置データ７の示す座標値Ｏ（Ｘ0，Ｙ0）の表示位置に、物体関連データ４を表示する移動後の投影画像データ９を作成し、投影画像データ記憶部２３に記憶する。これにより、物体２の移動後の投影画像データ９に基づく画像がプロジェクタ３により表示される。
【００４８】
ステップＴ１１において、位置変更部２２の画像データ作成機能２２ｂは、物体ホールド検出部１３から受け付けた物体ホールドフラグＦｇがFalseか判断する。
物体ホールドフラグＦｇがFalseでない場合、処理は上記ステップＴ７に戻る。
物体ホールドフラグＦｇがFalseの場合、ステップＴ１２において、位置変更部２２の位置管理機能２２ａは、上記ステップＴ９で求めた移動後表示位置データ７の示す表示位置Ｏの座標値Ｏ（Ｘ0，Ｙ0）を、物体データベース１２に登録する。その後、処理は、上記ステップＴ４に戻る。
【００４９】
本実施の形態に係る画像投影システム１の利用態様の例について説明する。
例えば、プラントなどの作業現場において、移動可能であり取り扱いを注意すべき設備などがある場合、画像投影システム１を用いてこの設備の取り扱い方法や操作マニュアルなどを表示することができ、この設備の移動にそって取り扱い方法や操作マニュアルなどの表示内容も移動させることができる。
【００５０】
また、サポートセンタで物体関連データ４を作成し、このサポートセンタで作成された物体関連データ４を迅速に作業現場に提示できる。これにより、現場とサポートセンタとで協調した作業を実現できる。
以上説明した本実施の形態においては、特殊な装置ではない一般的なカメラ５とプロジェクタ３を用いて、空間に配置されている物体２に対してこの物体２に関連する物体関連データ４を表示させることができる。
【００５１】
また、作業者によって物体２が移動された場合においても、移動後の物体２の位置に物体関連データ４を表示させることができる。
本実施の形態では、撮影画像データ１０から個々の物体２自体を認識するのではなく、作業者の手６１を認識することで、キャリブレーションが簡単でかつ様々な物体２の移動に対応でき、認識対象を手２に特定することで認識精度を向上させることができ、空間に新たな物体２が配置される場合であっても、物体データベース１２へ物体関連データ４と表示位置データ６を登録することで容易に対応できる。
【００５２】
なお、本実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００５３】
例えば、本実施の形態において、物体ホールド検出部１３は、手６１の重心Ｈと表示位置データ６の示す表示位置Ｏとの距離に基づいて作業者の手６１が物体２を握っているか否か判断している。しかしながら、これに代えて、例えば、物体ホールド検出部１３は、手６１の形状を認識し、この手６１の形状が予め定められた物体保持形状パターンに該当するか、物体解放形状パターンに該当するか判断するなど、他の手法を用いて作業者の手６１が物体２を握っているか否か判断するとしてもよい。
【００５４】
また、例えば、各記憶部１６，１８，２０，２３及び物体データベース１２は、自由に組み合わせることができる。各記憶部１６，１８，２０，２３及び物体データベース１２に記憶されている各データも自由に組み合わせることができる。
図７は、本実施の形態に係る画像投影システム１の投影画像作成装置８を、コンピュータとソフトウェアとを用いて実現するための構成の例を示すブロック図である。
【００５５】
コンピュータ２７は、プロセッサ２８、例えば内部メモリなどの記憶装置２９、内部バス３０を具備する。プロセッサ２８と記憶装置２９とは、内部バス３０経由で接続されている。
記憶媒体３１に記憶されているプログラム３２は、コンピュータ２７に読み込まれ、プロセッサ２８により実行される。これにより、コンピュータ２７は、上記投影画像作成装置８の具備する各構成要素としての機能を実現する。記憶装置２９は、各記憶部１６，１８，２０，２３及び物体データベース１２として機能する。
【００５６】
本実施の形態において、プログラム３２は、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記憶媒体３１に書き込んで、投影画像作成装置８として動作するコンピュータ２７に適用可能である。また、上記プログラム３２は、通信媒体により伝送してコンピュータ２７に適用することも可能である。コンピュータ２７は、上記プログラム３２を読み込み、このプログラム３２によって動作が制御されることにより、投影画像作成装置８としての機能を実現する。プログラム３２は、複数のコンピュータに分散して配置され、複数のコンピュータ間で互いに連携しつつ処理が実行されるとしてもよい。
【００５７】
（第２の実施の形態）
本実施の形態では、上記第１の実施の形態の変形例について説明する。上記第１の実施の形態の例では、物体１の移動状態が終了した後で、物体データベース１２の表示位置データ６が更新されるとしている。
しかしながら、物体データベース１２の更新タイミングは、これに限定されず、例えば、移動後表示位置データ７が作成されるたびに物体データベース１２の表示位置データ６をこの移動後表示位置データ７により更新するとしてもよい。
【００５８】
図７は、本実施の形態に係る画像投影システム１の処理の例を示すフローチャートである。
ステップＵ１において、撮影画像取得部１５は、カメラ５によって撮影された撮影画像データ１０を取得する。
ステップＵ２において、手領域検出部１７は、例えば肌色検出などの手法により撮影画像データ１０のうち手６１の領域を検出する。
【００５９】
ステップＵ３において、重心算出部１９は、作業者の手６１の領域の重心Ｈの座標値Ｈ（Ｘh，Ｙh）を算出する。
ステップＵ４において、物体ホールド検出部１３は、物体データベース１２内の表示位置データ６の示す表示位置Ｏの座標値Ｏ（Ｘ0，Ｙ0）と手領域の重心Ｈの座標値Ｈ（Ｘh，Ｙh）との距離が保持検出用しきい値以下か判断する。距離が保持検出用しきい値以下でない場合、処理は、ステップＵ９に移る。
【００６０】
距離が保持検出用しきい値以下の場合、ステップＵ５において、位置変更部２２の位置管理機能２２ａは、手領域の重心Ｈの座標値Ｈ（Ｘh，Ｙh）の変化に応じて移動後表示位置データ７を作成する。
ステップＵ６において、物体ホールド検出部１３は、手領域の重心Ｈの移動加速度の値が負の値であり、かつ移動速度が移動終了検出用しきい値以下か判断する。
【００６１】
手領域の重心Ｈの移動加速度の値が負の値であり、かつ移動速度が移動終了検出用しきい値以下という条件が満たされない場合、ステップＵ７において、位置変更部２２の位置管理機能２２ａは、物体データベース１２の表示位置データ６を、移動後表示位置データ７により更新し、その後処理はステップＵ９に移る。
【００６２】
手領域の重心Ｈの移動加速度の値が負の値であり、移動速度が移動終了検出用しきい値以下の場合、ステップＵ８において、位置変更部２２の位置管理機能２２ａは、表示位置データ６の更新を終了し、その後処理はステップＵ９に移る。
ステップＵ９において、位置変更部２２の画面データ作成機能２２ｂは、物体データベース１２における物体関連データ４を、表示位置データ６の示す表示位置に表示する投影画像データ９を作成する。
【００６３】
ステップＵ１０において、投影画像提供部２４は、投影画像データ９をプロジェクタ３に提供し、空間に対して表示する。
ステップＵ１１において、画像投影システム１は、動作終了まで上記ステップＵ１以下の処理を繰り返す。
本実施の形態では、物体２の移動中においても、物体データベース１２の記憶内容を更新でき、移動中の物体２についても物体関連データ４を表示させることができる。
【産業上の利用可能性】
【００６４】
本発明は、プロジェクタを用いて情報を提示する分野に有効である。
【図面の簡単な説明】
【００６５】
【図１】本発明の第１の実施の形態に係る画像投影システムの構成の例を示すブロック図。
【図２】物体データベースの記憶内容の例を示す図。
【図３】手の重心の座標値と物体関連データの表示位置の座標値との関係の例を示す概念図。
【図４】同実施の形態に係る物体ホールド検出部の処理の例を示すフローチャート。
【図５】同実施の形態に係る位置変更部の処理の例を示すフローチャート。
【図６】同実施の形態に係る画像投影システムの投影画像作成装置を、コンピュータとソフトウェアとを用いて実現するための構成の例を示すブロック図。
【図７】本発明の第２の実施の形態に係る画像投影システムの処理の例を示すフローチャート。
【符号の説明】
【００６６】
１…画像投影システム、２…物体、３…プロジェクタ、４…物体関連データ、４ａ…内容、５…カメラ、６…表示位置データ、６１…作業者の手、７…移動後表示位置データ、８…投影画像作成装置、９…投影画像データ、１０…撮影画像データ、１１…画像認識部、１２…物体データベース、１３…物体ホールド検出部、１４…画像作成部、１５…撮影画像取得部、１６…撮影画像データ記憶部、１７…手領域検出部、１８…手領域データ記憶部、１９…重心算出部、２０…重心データ記憶部、２１…手位置検出部、２２…位置変更部、２２ａ…位置管理機能、２２ｂ…画像データ作成機能、２３…投影画像データ記憶部２３…、２４…投影画像提供部、２５…手領域データ、２６…重心データ、２７…コンピュータ、２８…プロセッサ、２９…記憶装置、３０…内部バス、３１…記憶媒体、３２…プログラム
【図１】
2006252036.tif 000003
【図２】
2006252036.tif 000004
【図３】
2006252036.tif 000005
【図４】
2006252036.tif 000006
【図５】
2006252036.tif 000007
【図６】
2006252036.tif 000008
【図７】
2006252036.tif 000009