(57)【要約】【課題】被投影領域に載置された作業機器が出力し、前記被投影領域に投影された作業対象画像について、どのような操作を行うことができるか直感的に認識することができる作業機器操作装置を提供する。【解決手段】制御部１０は、撮像手段３０によって撮像された識別情報２１１から作業機器２１０の機能を認識し、当該機能に対応する仮想アイコン２１５及び当該仮想アイコン２１５と作業機器２１０とを仮想的に示す仮想リンク画像２１６を生成して投影手段３０に出力し、前記仮想アイコン２１５及び仮想リンク画像２１６は、投影手段２０によって被投影領域９９９に投影され、ユーザは、仮想アイコン２１５をドラッグ操作して作業対象画像５１１に重ね合わせると、検索コマンドが実行されて、作業対象画像５１１の情報の検索結果画像が被投影領域９９９に投影される。【選択図】図１
2011043875.tif 000002
【特許請求の範囲】
【請求項１】
作業機器に対応する識別情報である作業機器識別物が載置される被投影領域と対向して配置され、前記被投影領域に画像を投影する投影手段と、
前記被投影領域上の前記作業機器識別物を認識することで、前記作業機器の機能を認識する作業機器機能認識手段と、
前記被投影領域上の前記作業機器識別物の位置を検知する作業機器位置検知手段と、
前記被投影領域上のユーザ操作を検知するユーザ操作検知手段と、
前記作業機器を操作するための操作コマンドを前記作業機器に送信する通信手段と、
前記作業機器機能認識手段によって認識された前記作業機器の機能に対応する仮想アイコン画像を生成する仮想操作画像生成手段と、
作業対象画像と、前記仮想操作画像生成手段が生成した前記仮想アイコン画像とを、前記投影手段に画像信号として出力する画像信号生成出力手段と、
前記ユーザ操作検知手段が検知した、前記仮想アイコン上のユーザ操作により、前記仮想アイコンの前記被投影領域上での位置を変更する仮想アイコン位置変更手段と、
前記ユーザ操作検知手段が検知した、前記仮想アイコン上のユーザ操作により、前記操作コマンドを生成する操作コマンド生成手段と、
を有することを特徴とする作業機器操作装置。
【請求項２】
仮想操作画像生成手段はさらに、作業機器位置検知手段によって検知された前記作業機器識別物の位置情報に基づいて仮想アイコン画像と作業機器との関連性を仮想的に示す仮想リンク画像を生成し、
前記画像信号生成出力手段はさらに、前記仮想リンク画像を前記投影手段に画像信号として出力する
ことを特徴とする請求項１に記載の作業機器操作装置。
【請求項３】
仮想アイコン位置変更手段は、ユーザ操作検知手段がユーザ操作として検知した、ユーザの手の位置の移動に伴って仮想アイコンの前記被投影領域上での位置を変更し、
操作コマンド生成手段は、仮想アイコンと作業対象画像とが重なった場合に、操作コマンドを生成することを特徴とする請求項１又は請求項２に記載の作業機器操作装置。
【請求項４】
被投影領域上に同種類の機能を有する複数の作業機器識別物が載置されている場合において、
仮想操作画像生成手段は、被投影領域上に投影された作業対象画像に最も近い位置にある作業機器識別物を、仮想アイコンが接続する対象として選択し、仮想リンク画像を生成することを特徴とする請求項１〜請求項３のいずれかに記載の作業機器操作装置。
【請求項５】
被投影領域上に同種類の複数の作業機器識別物が載置されている場合において、
仮想操作画像生成手段は、ユーザ操作検知手段が検知した前記仮想アイコン上のユーザの手の動きにより、仮想アイコンが接続する対象を選択し、仮想リンク画像を生成することを特徴とする請求項１〜請求項３のいずれかに記載の作業機器操作装置。
【請求項６】
通信手段は、操作コマンドが実行された結果出力される実行結果データを受信し、
画像信号生成出力手段は、前記受信結果データを、投影手段に画像信号として出力し、
投影手段は、前記受信結果データを被投影領域に投影することを特徴とする請求項１〜請求項５のいずれかに記載の作業機器操作装置。
【請求項７】
作業対象識別物は、作業機器に設けられていることを特徴とする請求項１〜請求項６のいずれかに記載の作業機器操作装置。
【請求項８】
仮想操作画像生成手段は、仮想リンク画像として、仮想アイコンと被投影領域上に載置された作業機器との繋がりを示す画像を生成することを特徴とする請求項７に記載の作業機器操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業機器が出力する作業対象画像を机上等の被投影領域に投影し、前記作業対象画像を操作する技術に関する。
【背景技術】
【０００２】
従来特許文献１に示されるように、パーソナルコンピュータ等の機器が出力する画像を机上に投影することができる投影表示装置が提案されている。このような、投影表示装置は、ユーザの手元に画像が表示されるため、ユーザが当該画像を指し示しながら議論を行うことができるので便利である。
【０００３】
一方で、特許文献２に示されるように、デジタルカメラ等の機器を被投影領域に載置すると、前記機器に記憶されている画像データが前記被投影領域に投影される装置が提案されている。この装置は、被投影領域に投影された画像を、ユーザが指で直接操作することができる点で便利である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３―２８００９１号公報
【特許文献２】特開２００６−１７８２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の投影表示装置は、机上に投影された画像を操作することができず、例えば、机上に投影された画像について情報を検索する場合には、ユーザがパーソナルコンピュータ等を操作する必要があり、煩雑な作業を強いられていた。また、特許文献２に開示の投影表示装置は、作業対象の画像と、その作業を行う機器における機能との関連性が分かり難いため、ユーザが、どのような操作を行うことができるか直感的に認識することが困難であった。特に、異なる機能を持った機器が前記被投影領域に載置される場合、ユーザは直感的に機器の機能、即ち自身の行った操作内容を認識することは困難である。
【０００６】
本発明は、上記問題を解決し、被投影領域に載置された作業機器が出力し、前記被投影領域に投影された作業対象画像について、どのような操作を行うことができるか直感的に認識することができる作業機器操作装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するためになされた請求項１に記載の発明は、
作業機器に対応する識別情報である作業機器識別物が載置される被投影領域と対向して配置され、前記被投影領域に画像を投影する投影手段と、
前記被投影領域上の前記作業機器識別物を認識することで、前記作業機器の機能を認識する作業機器機能認識手段と、
前記被投影領域上の前記作業機器識別物の位置を検知する作業機器位置検知手段と、
前記被投影領域上のユーザ操作を検知するユーザ操作検知手段と、
前記作業機器を操作するための操作コマンドを前記作業機器に送信する通信手段と、
前記作業機器機能認識手段によって認識された前記作業機器の機能に対応する仮想アイコン画像を生成する仮想操作画像生成手段と、
作業対象画像と、前記仮想操作画像生成手段が生成した前記仮想アイコン画像とを、前記投影手段に画像信号として出力する画像信号生成出力手段と、
前記ユーザ操作検知手段が検知した、前記仮想アイコン上のユーザ操作により、前記仮想アイコンの前記被投影領域上での位置を変更する仮想アイコン位置変更手段と、
前記ユーザ操作検知手段が検知した、前記仮想アイコン上のユーザ操作により、前記操作コマンドを生成する操作コマンド生成手段と、
を有することを特徴とする。
なお、前記仮想アイコン上とは、厳密に仮想アイコンの上方のみでなく、仮想アイコンの周囲の領域も含まれる。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、仮想操作画像生成手段はさらに、作業機器位置検知手段によって検知された前記作業機器識別物の位置情報に基づいて前記仮想アイコン画像と前記作業機器との関連性を仮想的に示す仮想リンク画像を生成し、
前記画像信号生成出力手段はさらに、前記仮想リンク画像を前記投影手段に画像信号として出力することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１又請求項２に記載の発明において、
仮想アイコン位置変更手段は、ユーザ操作検知手段がユーザ操作として検知した、ユーザの手の位置の移動に伴って仮想アイコンの前記被投影領域上での位置を変更し、
操作コマンド生成手段は、仮想アイコンと作業対象画像とが重なった場合に、操作コマンドを生成することを特徴とする。
【００１０】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
被投影領域上に同種類の機能を有する複数の作業機器識別物が載置されている場合において、
仮想操作画像生成手段は、被投影領域上に投影された作業対象画像に最も近い位置にある作業機器識別物を、仮想アイコンが接続する対象として選択し、仮想リンク画像を生成することを特徴とする。
【００１１】
請求項５に記載の発明は、請求項１〜請求項３に記載の発明において、
被投影領域上に同種類の複数の作業機器識別物が載置されている場合において、
仮想操作画像生成手段は、ユーザ操作検知手段が検知した前記仮想アイコン上のユーザの手の動きにより、仮想アイコンが接続する対象を選択し、仮想リンク画像を生成することを特徴とする。
【００１２】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
通信手段は、操作コマンドが実行された結果出力される実行結果データを受信し、
画像信号生成出力手段は、前記受信結果データを、投影手段に画像信号として出力し、
投影手段は、前記受信結果データを被投影領域に投影することを特徴とする。
【００１３】
請求項７に記載の発明は、請求項１〜請求項６に記載の発明において、
作業対象識別物は、作業機器に設けられていることを特徴とする。
【００１４】
請求項８に記載の発明は、請求項７に記載の発明において、
仮想操作画像生成手段は、仮想リンク画像として、仮想アイコンと被投影領域上に載置された作業機器との繋がりを示す画像を生成することを特徴とする。
【発明の効果】
【００１５】
請求項１に記載の発明は、作業機器に対応する識別情報である作業機器識別物が載置される被投影領域と対向して配置され、前記被投影領域に画像を投影する投影手段と、前記被投影領域上の前記作業機器識別物を認識することで、前記作業機器の機能を認識する作業機器機能認識手段と、前記被投影領域上の前記作業機器識別物の位置を検知する作業機器位置検知手段と、前記被投影領域上のユーザ操作を検知するユーザ操作検知手段と、前記作業機器を操作するための操作コマンドを前記作業機器に送信する通信手段と、前記作業機器機能認識手段によって認識された前記作業機器の機能に対応する仮想アイコン画像を生成する仮想操作画像生成手段と、作業対象画像と、前記仮想操作画像生成手段が生成した前記仮想アイコン画像とを、前記投影手段に画像信号として出力する画像信号生成出力手段と、前記ユーザ操作検知手段が検知した、前記仮想アイコン上のユーザ操作により、前記仮想アイコンの前記被投影領域上での位置を変更する仮想アイコン位置変更手段と、前記ユーザ操作検知手段が検知した、前記仮想アイコン上のユーザ操作により、前記操作コマンドを生成する操作コマンド生成手段とを有することを特徴とする。
これにより、ユーザが被投影領域に投影された作業機器の機能に対応する仮想アイコン画像を視認することにより、ユーザが、どのような操作を行うことができるか直感的に認識することが可能となる。
【００１６】
請求項２に記載の発明は、請求項１に記載の発明において、仮想操作画像生成手段はさらに、作業機器位置検知手段によって検知された前記作業機器識別物の位置情報に基づいて前記仮想アイコン画像と前記作業機器との関連性を仮想的に示す仮想リンク画像を生成し、前記画像信号生成出力手段はさらに、前記仮想リンク画像を前記投影手段に画像信号として出力することを特徴とする。
これにより、仮想アイコンが仮想リンク画像によって仮想的に作業機器に接続されているので、ユーザが操作可能な作業機器を一見にして認識することが可能となる。
【００１７】
請求項３に記載の発明は、請求項１又請求項２に記載の発明において、仮想アイコン位置変更手段は、ユーザ操作検知手段がユーザ操作として検知した、ユーザの手の位置の移動に伴って仮想アイコンの前記被投影領域上での位置を変更し、操作コマンド生成手段は、仮想アイコンと作業対象画像とが重なった場合に、操作コマンドを生成することを特徴とする。
これにより、ユーザが仮想アイコンを所謂ドラッグ操作するという直感的な操作方法により、作業対象画像を操作することが可能となり、ユーザフレンドリーな操作性を提供することが可能となる。
【００１８】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、被投影領域上に同種類の機能を有する複数の作業機器識別物が載置されている場合において、仮想操作画像生成手段は、被投影領域上に投影された作業対象画像に最も近い位置にある作業機器識別物を、仮想アイコンが接続する対象として選択し、仮想リンク画像を生成することを特徴とする。
これにより、作業対象画像に最も近い位置にある作業機器に、仮想アイコンが接続するので、仮想アイコンを移動させて操作を行う作業対象画像を選択する際に、仮想アイコンの移動距離が短くなるので、操作性が向上する。
【００１９】
請求項５に記載の発明は、請求項１〜請求項３に記載の発明において、被投影領域上に同種類の複数の作業機器識別物が載置されている場合において、仮想操作画像生成手段は、ユーザ操作検知手段が検知した前記仮想アイコン上のユーザの手の動きにより、仮想アイコンが接続する対象を選択し、仮想リンク画像を生成することを特徴とする。
これにより、ユーザが直感的な操作方法により、任意に、作業対象画像が処理される作業機器を選択することが可能となり、ユーザフレンドリーな操作性を提供することが可能となる。
【００２０】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、通信手段は、操作コマンドが実行された結果出力される実行結果データを受信し、画像信号生成出力手段は、前記受信結果データを、投影手段に画像信号として出力し、投影手段は、前記受信結果データを被投影領域に投影することを特徴とする。
これにより、操作結果が被投影領域に投影されるので、ユーザが作業機器による作業対象画像の処理の実行を、確実に認識することが可能となる。
【００２１】
請求項７に記載の発明は、請求項１〜請求項６に記載の発明において、作業対象識別物は、作業機器に設けられていることを特徴とする。
これにより、実際に作業に用いられる作業機器自身が直接被投影領域に載置されるので、前記作業機器がどのような操作を行うことができるかを、より直感的に認識することが可能となる。
【００２２】
請求項８に記載の発明は、請求項７に記載の発明において、仮想操作画像生成手段は、仮想リンク画像として、仮想アイコンと被投影領域上に載置された作業機器との繋がりを示す画像を生成することを特徴とする。
これにより、仮想アイコンが接続する作業機器が明確にユーザに認識され、ユーザが操作可能な作業機器を一見にして認識することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の作業機器操作装置の概要図である。
【図２】被投影領域を表した説明図である。
【図３】被投影領域を表した説明図である。
【図４】被投影領域を表した説明図である。
【図５】本発明の作業機器操作装置のブロック図である。
【図６】メイン処理のフロー図である。
【図７】作業機器検出処理のフロー図である。
【図８】ユーザ操作検出処理のフロー図である。
【図９】ユーザ操作情報の説明図である。
【図１０】被投影領域上に複数の作業機器が載置されている実施形態の説明図である。
【図１１】仮想アイコンの付け替え作業を示した説明図である。
【図１２】仮想アイコンの付け替え作業を示した説明図である。
【図１３】被投影領域を表した説明図である。（作業機器がデジタルカメラの実施形態）
【図１４】被投影領域を表した説明図である。（作業機器がデジタルカメラの実施形態）
【図１５】被投影領域を表した説明図である。（作業機器がデジタルカメラの実施形態）
【図１６】被投影領域を表した説明図である。（作業機器がプリンターの実施形態）
【図１７】被投影領域を表した説明図である。（作業機器がプリンターの実施形態）
【図１８】別の実施形態の被投影領域を表した説明図である。（作業機器がプリンターの実施形態）
【発明を実施するための形態】
【００２４】
（本発明の画像表示装置の概要）
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。図１に示されるように、本発明の作業機器操作装置１００は、制御部１０、投影手段２０、撮像手段３０とから構成されている。投影手段２０及び撮像手段３０は、テーブルの板面等の被投影領域９９９と対向して配置されている。被投影領域９９９上に載置されている作業機器２１０に記憶されている「作業対象画像データ」は、制御部１０に出力される。制御部１０は、前記「作業対象画像データ」を「画像信号」に変換したうえで、投影手段２０に出力する。投影手段２０は、前記「画像信号」に従って、作業対象画像５１１、５１２を被投影領域９９９に投影する。
なお、前記「作業対象画像データ」は制御部１０に記憶されていても差し支えなく、後述する通信部１９が接続している他の機器や、ＬＡＮやインターネットから、前記「作業対象画像データ」を取得する構成であっても差し支えない。
【００２５】
作業機器２１０には、作業機器２１０の機能情報が記憶された、２次元コード等の識別情報２１１が記載されている。制御部１０は、撮像手段３０によって撮像された識別情報２１１から作業機器２１０の機能を認識する。制御部１０は、当該認識された機能に対応する仮想アイコン２１５及び当該仮想アイコン２１５と作業機器２１０との関連性を仮想的に示す仮想リンク画像２１６を生成し、仮想アイコン２１５及び仮想リンク画像２１６を投影手段３０に出力する。図２に示されるように、投影手段２０は、前記仮想アイコン２１５及び仮想リンク画像２１６を被投影領域９９９に投影する。なお、図２〜図４に示される実施形態では、作業機器２１０はノートパソコンであり、当該作業機器２１０の機能は、作業対象画像５１１、５１２の情報を検索する機能である。そして、仮想アイコン２１５は前記機能を視覚的に表した虫眼鏡状である。ユーザは、仮想アイコン２１５を所謂ドラッグ操作することができる。ドラッグ操作によって前記仮想アイコン２１５が作業対象画像５１１に重ね合わされると（図３の状態）、「検索コマンド」が実行されて、作業対象画像５１１の情報の検索結果画像５１５が被投影領域９９９に投影されるようになっている（図４の状態）。図１〜図４に示される実施形態では、仮想リンク画像２１６は、仮想アイコン２１５と被投影領域９９９上に載置された作業機器２１０との繋がりを示す線状の画像であり、ユーザが操作可能な作業機器２１０を一見にして認識することが可能となっている。以下に、本発明の作業機器操作装置１００の具体的な構成について説明する。
【００２６】
（画像表示装置のブロック図）
以下に図５を用いて、作業機器操作装置１００のブロック図を説明する。制御部１０は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、撮像コントローラ１５、投影画像コントローラ１７、ＶＲＡＭ１８、通信部１９を有していて、これらは相互にバス９で接続されている。なお、投影画像コントローラ１７とＶＲＡＭ１８は相互に接続している。
【００２７】
ＣＰＵ１１は、ＲＡＭ１２、ＲＯＭ１３と協動して、各種演算、処理を行う。
ＲＡＭ１２は、ＣＰＵ１１で処理されるプログラムや、ＣＰＵ１１が処理するデータを、そのアドレス空間に一時的に記憶する。ＲＡＭ１２は、撮像画像データ記憶領域１２ａ、作業機器機能情報記憶領域１２ｂ、作業機器位置情報記憶領域１２ｃ、ユーザ操作情報記憶領域１２ｄ、作業対象画像記憶領域１２ｅ、作業対象画像投影位置記憶領域１２ｆ、仮想操作画像情報記憶領域１２ｇ、受信データ記憶領域１２ｈを有している。
撮像画像データ記憶領域１２ａには、撮像手段３０で撮像され、撮像コントローラ１５で生成される「撮像画像データ」が記憶されるようになっている。
作業機器機能情報記憶領域１２ｂには、後述する作業機器機能認識プログラム１３ｂによって認識された「作業機器機能情報」が記憶されるようになっている。
作業機器位置情報記憶領域１２ｃには、後述する作業機器位置検知プログラム１３ｃによって検知された「作業機器位置情報」が記憶されるようになっている。
ユーザ操作情報記憶領域１２ｄには、後述するユーザ操作検知プログラム１３ｆによって検知された「ユーザ操作情報」が記憶されるようになっている。
作業対象画像記憶領域１２ｅには、通信部１９で受信した「作業対象画像」が記憶されるようになっている。
作業対象画像投影位置情報記憶領域１２ｆには、後述する作業対象画像投影位置決定プログラム１３ｄが生成した「作業対象画像投影位置情報」が記憶されるようになっている、
仮想操作画像情報記憶領域１２ｇには、後述する仮想操作画像生成プログラム１３ｅによって生成された、「仮想アイコン画像データ」、「仮想アイコン配置位置情報」、「仮想リンク画像データ」が記憶されるようになっている、
受信データ記憶領域１２ｈには、通信部１９で受信する「受信データ」が記憶されるようになっている。
【００２８】
ＲＯＭ１３には、作業機器操作装置１００を制御する各種プログラムが記憶されている。ＲＯＭ１３には、撮像制御プログラム１３ａ、作業機器機能認識プログラム１３ｂ、作業機器位置検知プログラム１３ｃ、作業対象画像投影位置決定プログラム１３ｄ、仮想操作画像生成プログラム１３ｅ、ユーザ操作検知プログラム１３ｆ、投影画像データ生成プログラム１３ｇ、仮想アイコン画像データ１３ｈ、及び、情報テーブル１３ｉが記憶されている。前記各種プログラムが、ＣＰＵ１１で処理されることにより、作業機器操作装置１００の各種機能を実現している。
なお、前記プログラムをＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として実現しても差し支えない。
【００２９】
撮像制御プログラム１３ａは、撮像コントローラ１５に「撮像制御信号」を出力して、撮像コントローラ１５や撮像手段３０を制御し、「撮像画像データ」を生成させるプログラムである。生成された「撮像画像データ」は、撮像画像データ記憶領域１２ａに記憶される。
【００３０】
作業機器機能認識プログラム１３ｂは、撮像画像データ記憶領域１２ａに記憶されている「撮像画像データ」を解析することにより、「識別情報」を取得し、この「識別情報」から、被投影領域９９９上に載置されている作業機器の機能を認識し、「作業機器機能情報」を生成するプログラムである。生成された「作業機器機能情報」は、作業機器機能情報記憶領域１２ｂに記憶される。
具体的には、作業機器機能認識プログラム１３ｂは、「撮像画像データ」を、パターンマッチングを行うことにより、２次元コードである「識別情報」を検出する。そして、作業機器機能認識プログラム１３ｂは、前記「識別情報」を、後述する情報テーブル１３ｉに照合することにより、被投影領域９９９に載置されている作業機器の機能を認識して、「作業機器機能情報」を生成する。
【００３１】
作業機器位置検知プログラム１３ｃは、撮像画像データ記憶領域１２ａに記憶されている「撮像画像データ」を解析することにより、被投影領域９９９上の作業機器の外縁位置を検出して、「作業機器位置情報」を生成する。前記生成された「作業機器位置情報」は、作業機器位置情報記憶領域１２ｃに記憶される。
【００３２】
作業対象画像投影位置決定プログラム１３ｄは、「作業対象画像」の被投影領域９９９上の投影位置を決定し、「作業対象画像投影位置情報」を生成するプログラムである。生成された、「作業対象画像投影位置情報」は、作業対象画像投影位置情報記憶領域１２ｆに記憶される。
【００３３】
仮想操作画像生成プログラム１３ｅは、被投影領域９９９上に載置された作業機器２１０の「仮想アイコン画像データ」及び、この「仮想アイコン画像データ」の被投影領域９９９上の位置情報である「仮想アイコン配置位置情報」を生成するプログラムである。また、仮想操作画像生成プログラム１３ｅは、前記仮想アイコン２１５と前記作業機器２１０とを仮想的に接続する仮想リンク画像２１６を生成する。生成された「仮想アイコン画像データ」、「仮想アイコン配置位置情報」、及び、「仮想リンク画像データ」は、画像操作画像情報記憶領域１２ｇに記憶される。
【００３４】
ユーザ操作検知プログラム１３ｆは、撮像画像データ記憶領域１２ａに記憶されている「撮像画像データ」を、パターンマッチング処理を行うことにより、ユーザ８００の指８０１を検出し、ユーザ８００の指８０１の動作から、ユーザ８００の操作を検出するプログラムである。
【００３５】
仮想アイコン画像データ１３ｈは、被投影領域９９９に載置される作業機器２１０、３０、４１０の機能に対応する仮想アイコン２１５、３１５、４１５の画像データである。仮想アイコン２１５、３１５、４１５は、一見して、ユーザが作業機器２１０、３０、４１０の機能を認識することができるようになっている。例えば、ノートパソコンである作業機器２１０の機能は作業対象画像５１１、５１２の情報の検索機能であり、仮想アイコン２１５は虫眼鏡状である。また、デジタルカメラである作業機器３１０の機能は、作業機器３１０に記憶されている作業対象画像６１３〜６１４の選択保存であり、仮想アイコン３１５はデジタルカメラ形状である。更に、プリンターである作業機器４１０の機能は、作業対象画像７１１〜７１４の印刷であり、仮想アイコン４１５は、プリンター形状である。
【００３６】
情報テーブル１３ｉは、作業機器２１０、３１０、４１０それぞれの識別情報２１１、３１１、４１１と、作業機器２１０、３１０、４１０それぞれの機能、及び、作業機器２１０、３１０、４１０それぞれの仮想アイコン画像データ１３ｈとの関係を表したテープルである。
【００３７】
投影画像生成プログラム１３ｇは、「描画命令」を投影画像コントローラ１７に出力し、投影画像コントローラ１７で「投影画像データ」を生成させるプログラムである。
【００３８】
撮像コントローラ１５は、Ａ／Ｄコンバータ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｓｅｓｓｏｒ）を有している。Ａ／Ｄコンバータは、後述する撮像手段３０のイメージセンサーが出力する「信号電圧」を、「デジタル信号」に変換する。
ＤＳＰは、Ａ／Ｄコンバータが生成したが生成した「デジタル信号」から、２次元のピクセルデータである「撮像画像データ」を生成する。生成された「撮像画像データ」は、撮像画像データ記憶領域１２ａに記憶される。
【００３９】
投影画像コントローラ１７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の画像処理回路を有している。投影画像コントローラ１７は、投影画像データ生成プログラム１３ｇから出力される「描画命令」に基づいて、「投影画像データ」を生成し、ＶＲＡＭ１８に記憶させる。投影画像コントローラ１７は、外部出力インターフェースを有していて、ＶＲＡＭ１８に記憶されている「投影画像データ」を「画像信号」として、投影手段２０に出力する。
【００４０】
通信部１９は、通信部１９には、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋの略）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ、登録商標）、有線ＬＡＮのインターフェースが含まれる。通信部１９には、作業機器２１０、３１０、４１０が接続する。
【００４１】
投影手段２０は、ランプ駆動回路、ランプ、照明光学系、画像生成素子、結像光学系を有している。ランプ駆動回路は、ランプに電流を供給する回路である。ランプ駆動回路から電流が供給されたランプは拡散光を発光する。照明光学系は、ランプから発光された拡散光を集光し、均一な照明光にする。この照明光は画像生成素子に照射される。画像生成素子は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｌｙｓｔａｌ  Ｄｉｓｐｌａｙ）やＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）であり、照射された照明光を各画素に階調表現して画像を生成する。結像光学系は多数のレンズから構成されていて、画像生成素子を透過した照明光を、被投影領域９９９に結像する。
【００４２】
撮像手段３０は、被投影領域９９９を撮像する装置である。撮像装置３０は、イメージセンサー及び結像光学系を有している。イメージセンサーは、２次元配列されたフォトダイオードを有している。各フォトダイオードは、光の強度を電荷に変換し、電荷を「信号電圧」として出力する。イメージセンサーには、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  ＳｅｎＳｏｒ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｗｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が含まれる。結像光学系は、単一又は複数のレンズで構成され、入光した像を、イメージセンサー上で結像させるものである。
【００４３】
（メインフローの説明）
図６に本発明の作業機器操作装置１００のメイン処理のフロー図を示して、以下当該処理について説明する。作業機器操作装置１００に電源が投入されると、Ｓ１１「初期化」の処理において、ＲＯＭ１３に記憶されている各種プログラムを起動させる「初期化処理」が実行される。Ｓ１１の処理が終了すると、Ｓ１２の処理に進む。
【００４４】
Ｓ１２「被投影領域撮像」の処理において、撮像制御プログラム１３ａは、撮像コントローラ１５に「撮像制御信号」を出力して、撮像手段３０で被投影領域９９９を撮像させる。撮像コントローラ１５は、「撮像画像データ」を生成する。生成された「撮像画像データ」は、撮像画像データ記憶領域１２ａに記憶される。なお、撮像制御プログラム１３ａは、所定期間（例えば数５０ミリ秒）毎に、撮像手段３０で被投影領域９９９を撮像する「撮像制御信号」を撮像コントローラ１５に出力する。Ｓ１２の処理が終了すると、Ｓ１３の判断処理に進む。
【００４５】
Ｓ１３「作業機器検出」の処理において、作業機器２１０の機能及び被投影領域９９９上の位置を検出し、仮想アイコン２１５を設定する「作業機器検出処理」が実行される。詳しくは、図７を用いて後述する。Ｓ１３の処理が終了すると、Ｓ１４の処理に進む。
【００４６】
Ｓ１４「ユーザ操作検出」の処理において、ユーザの操作を検出する「ユーザ操作検出処理」が実行される。詳しくは、図８を用いて後述する。Ｓ１４の処理が終了すると、Ｓ１５の判断処理に進む。
【００４７】
Ｓ１５「作業機器からの応答あり？」の判断処理において、ＣＰＵ１１は、通信部１９が作業機器２１０から応答を検出したか否かを判断する。
具体的には、ＣＰＵ１１が、通信部１９が作業機器２１０から「受信データ」を受信したと判断した場合には（Ｓ１５の判断処理がＹｅｓ）、当該「受信データ」を受信データ記憶領域１２ｈに記憶させて、Ｓ１７の処理に進む。図１〜図４に示される実施形態では、前記「受信データ」は、「検索結果情報」である。
一方で、Ｓ１５の判断処理において、ＣＰＵ１１が、通信部１９が作業機器２１０からの応答を検出しないと判断した場合には（Ｓ１５の判断処理がＮｏ）、Ｓ１６の処理に進む。
【００４８】
Ｓ１６「投影画像データを生成」の処理において、投影画像生成プログラム１３ｇは、作業対象画像記憶領域１２ｅに記憶されている「作業対象画像データ」、仮想操作画像記憶領域１２ｇに記憶されている「仮想アイコン画像データ」及び「仮想リンク画像データ」をＶＲＡＭ１８に記憶させる。次に、投影画像生成プログラム１３ｇは、作業対象画像投影位置情報記憶領域１２ｆに記憶されている「作業対象画像投影位置情報」に基づいて、ＶＲＡＭ１８に記憶されている「作業対象画像データ」を配置するとともに、仮想操作画像情報記憶領域１２ｇに記憶されている「仮想アイコン位置情報」に基づいて、ＶＲＡＭ１８に記憶されている「仮想アイコン画像データ」及び「仮想リンク画像データ」を配置して「投影画像データ」を生成する「描画命令」を投影画像コントローラ１７に出力する。生成された「投影画像データ」は、ＶＲＡＭ１８に記憶される。Ｓ１６の処理が終了すると、Ｓ１８の処理に進む。
【００４９】
Ｓ１７「作業機器からの応答を投影画像データに反映」の処理において、投影画像生成プログラム１３ｇは、作業対象画像記憶領域１２ｅに記憶されている「作業対象画像データ」、受信データ記憶領域１２ｈに記憶されている「検索結果情報」、仮想操作画像記憶領域１２ｇに記憶されている「仮想アイコン画像データ」及び、「仮想リンク画像データ」をＶＲＡＭ１８に記憶させる。次に、投影画像生成プログラム１３ｇは、作業対象画像投影位置情報記憶領域１２ｆに記憶されている「作業対象画像投影位置情報」に基づいて、ＶＲＡＭ１８に記憶されている「作業対象画像データ」を配置する「描画命令」を投影画像コントローラ１７に出力する。投影画像生成プログラム１３ｇは、仮想操作画像情報記憶領域１２ｇに記憶されている「仮想アイコン位置情報」に基づいて、ＶＲＡＭ１８に記憶されている「仮想アイコン画像データ」及び「仮想リンク画像データ」を配置する「描画命令」を投影画像コントローラ１７に出力する。投影画像生成プログラム１３ｇは、作業対象画像投影位置情報記憶領域１２ｆに記憶されている「作業対象画像投影位置情報」及び仮想操作画像情報記憶領域１２ｇに記憶されている「仮想アイコン位置情報」を参照することにより、被投影領域９９９上の空白領域を検知する。そして、投影画像生成プログラム１３ｇは、当該空白領域に「検索結果情報」を配置する「描画命令」を投影画像コントローラ１７に出力する。前記「描画命令」によって、投影画像コントローラ１７で生成された「投影画像データ」は、ＶＲＡＭ１８に記憶される。Ｓ１７の処理が終了すると、Ｓ１９の処理に進む。
【００５０】
Ｓ１８「投影」の処理において、投影画像コントローラ１７の外部出力インターフェースは、ＶＲＡＭ１８に記憶されている「投影画像データ」を「画像信号」として、投影手段２０に出力する。前記「画像信号」が入力された投影手段２０は、作業対象画像５１１、５１２、仮想アイコン２１５、仮想リンク画像２１６を投影する（図２や図３の状態）。Ｓ１８の処理が終了すると、Ｓ２０の判断処理に進む。
【００５１】
Ｓ１９「投影」の処理において、投影画像コントローラ１７の外部出力インターフェースは、ＶＲＡＭ１８に記憶されている「投影画像データ」を「画像信号」として、投影手段２０に出力する。前記「画像信号」が入力された投影手段２０は、作業対象画像５１１、５１２、仮想アイコン２１５、仮想リンク画像２１６、検索結果画像５１５を投影する（図４の状態）。Ｓ１９の処理が終了すると、Ｓ２０の判断処理に進む。
【００５２】
Ｓ２０「終了？」の判断処理において、ユーザが図示しない操作部を操作することにより、作業機器操作装置１００を終了させることを選択した場合には、図６に示されるメインフローが終了する。一方で、ユーザが作業機器操作装置１００を終了させることを選択しない場合には、Ｓ１２の処理に戻る。
【００５３】
（作業機器検出処理の説明）
図７に「作業機器検出処理」のフロー図を示して、以下当該フローについて説明する。図６に示されるＳ１３「作業機器検出」の処理が開始されると、Ｓ１３１「識別情報検出」の処理において、作業機器機能認識プログラム１３ｂは、撮像画像データ記憶領域１２ａに記憶されている「撮像画像データ」を解析することにより、当該「撮像画像データ」から識別情報２１１を検出する。Ｓ１３１の処理が終了すると、Ｓ１３２の判断処理に進む。
【００５４】
Ｓ１３２「識別情報あり？」の判断処理において、作業機器機能認識プログラム１３ｂは、Ｓ１３１の処理において「識別情報」を検出したか否かを判断する。作業機器機能認識プログラム１３ｂが、「識別情報」を検出したと判断した場合には（Ｓ１３２の処理がＹｅｓ）、Ｓ１３３の処理に進む。一方で、作業機器機能認識プログラム１３ｂが、「識別情報」を検出しなかった判断した場合には（Ｓ１３２の処理がＮｏ）、「作業機器検出処理」が終了し、図６のＳ１４「ユーザ操作検出」の処理に進む。
【００５５】
Ｓ１３３「作業機器機能識別」の処理において、作業機器機能認識プログラム１３ｂは、Ｓ１３１の処理で検出した「識別情報」をＲＯＭ１３に記憶されている情報テーブル１３ｉに照合することにより、被投影領域９９９上に載置された作業機器２１０の機能を認識し、「作業機器機能情報」を生成する。生成された「作業機器機能情報」は、作業機器機能情報記憶領域１２ｂに記憶される。図１〜図４に示される実施形態では、作業機器２１０の機能は、作業対象画像５１１、５１２の情報の検索であることが認識される。Ｓ１３３の処理が終了すると、Ｓ１３４の処理に進む。
【００５６】
Ｓ１３４「作業機器位置検出」の処理において、作業機器位置検知プログラム１３ｃは、撮像画像データ記憶領域１２ａに記憶されている「撮像画像データ」を解析することにより、被投影領域９９９上の作業機器２１０位置を検出し、「作業機器位置情報」を生成する。具体的には、作業機器位置検知プログラム１３ｃは、前記「撮像画像データ」を閾値処理やエッジ処理を行うことにより、作業機器２１０と外縁被投影領域９９９との境界（作業機器２１０の輪郭）を検出し、前記境界の被投影領域９９９上の位置座標を算出する。生成された「作業機器位置情報」は、作業機器位置情報記憶領域１２ｃに記憶される。Ｓ１３４の処理が終了すると、Ｓ１３５の判断処理に進む。
【００５７】
Ｓ１３５「作業対象画像受信？」の判断処理において、ＣＰＵ１１は、通信部１９が作業機器２１０から送信された「作業対象画像データ」を受信しているか否かを判断する。ＣＰＵ１１が、通信部１９が作業機器２１０から送信された「作業対象画像データ」を受信していたと判断した場合には（Ｓ１３５の処理がＹｅｓ）、Ｓ１３６の処理に進む。なお、通信部１９が受信した「作業対象画像データ」は、作業対象画像記憶領域１２ｅに記憶される。
一方で、ＣＰＵ１１が、通信部１９が作業機器２１０から送信された「作業対象画像データ」を受信していなかったと判断した場合には（Ｓ１３５の処理がＮｏ）、Ｓ１３７の処理に進む。なお、「作業対象画像データ」は、通信部１９が接続している他の機器や、ＬＡＮやインターネットから受信する構成であっても差し支えない。
【００５８】
Ｓ１３６「作業対象画像投影位置決定」の処理において、投影画像生成プログラム１３ｇは、作業機器位置情報記憶領域１２ｃに記憶されている「作業機器位置情報」を参照することにより、被投影領域９９９上の作業機器２１０の位置を認識する。投影画像生成プログラム１３ｇは、作業機器２１０の位置に基づいて、作業機器２１０が載置されていない被投影領域９９９（つまり露出した被投影領域９９９）を検出する。投影画像生成プログラム１３ｇは、当該検出した領域を作業対象画像５２１、５２２の投影位置として決定し、「作業対象画像投影位置情報」を生成する。生成された「作業対象画像投影位置情報」は、作業対象画像投影位置情報記憶領域１２ｆに記憶される。Ｓ１３６の処理が終了すると、Ｓ１３７の処理に進む。
【００５９】
Ｓ１３７「仮想アイコン設定」の処理において、仮想操作画像生成プログラム１３ｅは、被投影領域９９９に投影される仮想アイコン２１５及び仮想リンク画像２１６を設定する「仮想アイコン設定処理」を実行する。
具体的には、仮想操作画像生成プログラム１３ｅは、作業機器機能情報記憶領域１２ｂに記憶されている「作業機器機能情報」を参照することにより、被投影領域９９９上に載置されている作業機器２１０の機能を認識する。仮想操作画像生成プログラム１３ｅは、認識された作業機器２１０の機能に基づいて、当該機能に対応するアイコンを決定し、被投影領域９９９に投影する仮想アイコン画像データ１３ｈを設定する。設定された仮想アイコン画像データ１３ｈは、仮想操作画像情報記憶領域１２ｇに記憶される。図１〜図４に示される実施形態では、作業機器２１０（ノートパソコン）の機能は、検索機能であると認識され、図１〜図４に示されるような虫眼鏡型のアイコンが決定される。
そして、仮想操作画像生成プログラム１３ｅは、作業機器位置情報記憶領域１２ｃに記憶されている「作業機器位置情報」及び、作業対象画像投影位置情報記憶領域１２ｆに記憶されている「作業機器画像投影位置情報」を参照することにより、被投影領域９９９上の作業機器２１０の位置及び、作業対象画像５２１、５２２が投影される領域を認識し、作業機器画像５２１、５２２が投影される領域でなく、且つ、作業機器２１０の近傍位置を、仮想アイコン２１５を投影する位置と決定し、「仮想アイコン位置情報」を生成する。生成された「仮想アイコン位置情報」は、仮想操作画像情報記憶領域１２ｇに記憶される。
次に、仮想操作画像生成プログラム１３ｅは、仮想操作画像情報記憶領域１２ｇに記憶されている「仮想アイコン位置情報」及び作業機器位置情報記憶領域１２ｃに記憶されている「作業機器位置情報」を参照することにより、被投影領域９９９上の仮想アイコン２１５が投影される位置及び作業機器２１０の位置を認識する。仮想操作画像生成プログラム１３ｅは、仮想アイコン２１５と作業機機器２１０の接続状態を仮想的に示す「仮想リンク画像データ」を生成する。生成された「仮想リンク画像データ」は、仮想操作画像情報記憶領域１２ｇに記憶される。なお、図２〜図４に示される実施形態では、「仮想リンク画像データ」は、仮想アイコン２１５と被投影領域上９９９に載置された作業機器２１０とを繋ぐ線状の画像である。
なお、図１０に示されるように、被投影領域９９９上に同種類の機能を有する複数の作業機器２１０、２２０が載置されている場合には、仮想操作画像生成プログラム１３ｅは、作業対象画像５１１、５１２に最も近い位置にある作業機器２１０を、仮想アイコン２１６が接続する機器として選択し、仮想リンク画像２１６を生成する。
なお、Ｓ１３５の判断処理において、通信部１９が作業機器２１０から送信された「作業対象画像データ」を受信していなかったと判断されていた場合には、仮想操作画像生成プログラム１３ｅは、作業機器２１０の近傍位置を、仮想アイコン２１５を投影する位置と決定し、「仮想アイコン位置情報」を生成する。
Ｓ１３７の処理が終了すると、一連の「作業機器検出処理」が終了し、図６に示されるＳ１４「ユーザ操作検出」の処理に進む。
【００６０】
（ユーザ操作検出処理）
図８に「ユーザの操作検出処理」のフロー図を示して、以下当該フローについて説明する。図６に示されるＳ１４「ユーザ操作検出」の処理が開始されると、Ｓ１４１「ユーザの指検出」の処理において、ユーザ操作検知プログラム１３ｆは、撮像画像データ記憶領域１２ａに記憶されている「撮像画像データ」を解析することにより、「撮像画像データ」から、ユーザ８００の指８０１の画像を検出する。具体的には、ユーザ操作検知プログラム１３ｆは、「撮像画像データ」と、予めＲＯＭ１３に記憶されている「指画像」とパターンマッチングを行い、ユーザ８００の指８０１の画像を抽出する。Ｓ１４１の処理が終了すると、Ｓ１４２の判断処理に進む。
【００６１】
Ｓ１４２「ユーザの指あり？」の判断処理において、ユーザ操作検知プログラム１３ｆは、Ｓ１４１の処理において、ユーザ８００の指８０１の画像が抽出されたか否かを判断する。ユーザ操作検知プログラム１３ｆが、ユーザ８００の指８０１の画像が抽出されていたと判断した場合には（Ｓ１４２の処理がＹｅｓ）、Ｓ１４３の処理に進む。一方で、ユーザ操作検知プログラム１３ｆが、ユーザ８００の指８０１の画像が抽出されていなかったと判断した場合には（Ｓ１４２の処理がＮｏ）、「ユーザの操作検出処理」が終了し、図６に示されるＳ１５「作業機器からの応答あり？」の判断処理に進む。
【００６２】
Ｓ１４３「ユーザ操作情報記憶」の処理において、ユーザ操作検知プログラム１３ｆは、「撮像画像データ」の中のユーザ８００の指８０１の画像の位置を検知することにより、被投影領域９９９上のユーザ８００の指８０１の位置座標を算出し、「ユーザ操作情報」を生成する。生成された「ユーザ操作情報」は、ユーザ操作情報記憶領域１２ｄに記憶される。なお、「ユーザ操作情報報」は図９に示されるように、被投影領域９９９上の特定の点（０、０）（図１〜図４に示す）からの座標データである（Ｘ、Ｙの２次元の数値で表される）。Ｓ１４３の処理毎に、つまり、所定時間毎に「ユーザ操作情報」が生成されるので、図９に示されるように、ユーザ８００の指８０１の被投影領域９９９上の位置座標の履歴として記憶される。なお、被投影領域９９９上に複数のユーザの指がある場合には、図９に示されるように、複数のユーザの指の被投影領域９９９上の位置座標の履歴が、「ユーザ操作情報」として、ユーザ操作情報記憶領域１２ｄ記憶される。Ｓ１４３の処理が終了すると、Ｓ１４４の処理に進む。
【００６３】
Ｓ１４４「ユーザ操作情報差分算出」の処理において、ユーザ操作検知プログラム１３ｆは、ユーザ操作情報記憶領域１２ｄを参照して、今回記憶された「ユーザ操作情報」と前回記憶された「ユーザ操作情報」の差分値を算出する。Ｓ１４４の処理が終了すると、Ｓ１４５の判断処理に進む。
【００６４】
Ｓ１４５「指は仮想アイコンに重なっている？」の判断処理において、ユーザ操作検知プログラム１３ｆは、仮想操作画像情報記憶領域１２ｇに記憶されている「仮想アイコン位置情報」を参照することにより、被投影領域９９９上の仮想アイコン２１５の位置を認識するとともに、ユーザ操作情報記憶領域１２ｄに記憶されている最新の「ユーザ操作情報」を参照することにより、被投影領域９９９上のユーザ８００の指８０１の位置を認識し、ユーザ８００の指８０１が仮想アイコン２１５に重なっているか否かを判断する。ユーザ操作検知プログラム１３ｆが、ユーザ８００の指８０１が仮想アイコン２１５に重なっていると判断した場合には（Ｓ１４５の判断処理がＹｅｓ）、Ｓ１４６の判断処理に進む。一方で、ユーザ８００の指８０１が仮想アイコン２１５に重なっていないと判断した場合には（Ｓ１４５の判断処理がＮｏ）、「ユーザ操作検出」の処理が終了し、図６のＳ１５「作業機器から応答あり？」の処理に進む。なお、ユーザ操作検知プログラム１３ｆは、ユーザ８００の指８０１が、仮想アイコン２１５の近傍位置にある場合、つまり、仮想アイコン２１５の位置から所定の範囲内にある場合にも、ユーザ８００の指８０１が仮想アイコン２１５に重なっていると判断することとしても差し支えない。
【００６５】
Ｓ１４６「指は移動？」の判断処理において、ユーザ操作検知プログラム１３ｆは、ユーザ８００の指８０１が移動したか否かを判断する。
具体的には、ユーザ操作検知プログラム１３ｆが、Ｓ１４４の処理において算出した差分値が０でないと判断した場合には、（Ｓ１４６の判断処理がＹｅｓ）、Ｓ１４７の処理に進む。
一方で、ユーザ操作検知プログラム１３ｆが、Ｓ１４４の処理において算出した差分値が０であると判断した場合には、（Ｓ１４６の判断処理がＮｏ）、「ユーザ操作検出」の処理が終了し、図６のＳ１５「作業機器から応答あり？」の処理に進む。
【００６６】
Ｓ１４７「仮想アイコンは作業機器に重なっている？」の処理において、ユーザ操作検知プログラム１３ｆは、仮想アイコン２１５が、他の作業機器２２０に重なっているか否かを判断する。
詳述すると、図１１に示されるように、複数の作業機器２１０、２２０が被投影領域９９９上に載置されている場合において、ユーザが仮想アイコン２１５を、ドラッグ操作を行うことにより、仮想リンク画像２１６が接続している作業機器２１０以外の作業機器２２０と一致した場合には、ユーザ操作検知プログラム１３ｆは、仮想アイコン２１５が、他の作業機器２２０に重なっていると判断する。
具体的には、ユーザ操作検知プログラム１３ｆは、作業機器位置情報記憶領域１２ｂに記憶されている「作業機器位置情報」を参照することにより、被投影領域９９９上の作業機器２１０、２２０の位置を認識するとともに、仮想操作画像情報記憶領域１２ｇに記憶されている「仮想アイコン位置情報」を参照することにより、被投影領域９９９上の仮想アイコン２１５の位置を認識し、仮想アイコン２１５が、他の作業機器２２０に重なっているか否かを判断する。なお、仮想アイコン２１５が作業機器２２０に接触又は近接した場合にも、仮想アイコン２１５が、他の作業機器２２０に重なっていると判断される。
ユーザ操作検知プログラム１３ｆが、仮想アイコン２１５が、他の作業機器２２０に重なっていると判断した場合には（Ｓ１４７の判断処理がＹｅｓ）、Ｓ１５５の処理に進む。
一方で、ユーザ操作検知プログラム１３ｆが、仮想アイコン２１５が、他の作業機器２２０に重なっていないと判断した場合には（Ｓ１４７の判断処理がＮｏ）、Ｓ１４８の判断処理に進む。
【００６７】
Ｓ１５５「仮想アイコンを付け替え」の処理において、仮想操作画像生成プログラム１３ｅは、図１２に示されるように仮想アイコン２２５が重なっている作業機器２２０に、仮想リンク画像２２６を接続して、仮想アイコン２２６を付け替える処理を行う。具体的には、仮想操作画像生成プログラム１３は、ユーザ操作情報記憶領域１２ｄに記憶されている最新の「ユーザ操作情報」を参照することにより、「仮想アイコン位置情報」を前記最新の「ユーザ操作情報」（つまり、被投影領域９９９上のユーザ８００の指８０１の位置座標）に更新する。更に、仮想操作画像生成プログラム１３ｅは、ユーザ操作情報記憶領域１２ｄに記憶されている最新の「ユーザ操作情報」及び作業機器位置情報記憶領域１２ｃに記憶されている「作業機器位置情報」を参照することにより、被投影領域９９９上の仮想アイコン２２５が投影される位置及び作業機器２２０の位置を認識し、仮想アイコン２２５と作業機機器２２０とを接続する「仮想リンク画像データ」（仮想リンク画像２２６）」を生成する。生成された「仮想リンク画像データ」は、仮想操作画像記憶領域１２ｇに記憶される。Ｓ１５５の処理が終了すると、「ユーザ操作検出」の処理が終了し、図６のＳ１５「作業機器から応答あり？」の処理に進む。
【００６８】
Ｓ１４８「仮想アイコンは作業対象画像に重なっている？」の判断処理において、ユーザ操作検知プログラム１３ｆは、仮想アイコン２１５が作業対象画像５１１、５１２に重なっているか否かを判断する。
具体的には、ユーザ操作検知プログラム１３ｆは、作業対象画像投影位置情報記憶領域１２ｆに記憶されている「作業対象画像投影位置情報」を参照することにより、作業対象画像５１１、５１２の被投影領域９９９上の位置を認識するとともに、仮想操作画像情報記憶領域１２ｇに記憶されている「仮想アイコン位置情報」を参照することにより、被投影領域９９９上の仮想アイコン２１５の位置を認識して、仮想アイコン２１５が作業対象画像５１１、５１２に重なっているか否かを判断する。
図３に示される状態であり、ユーザ操作検知プログラム１３ｆが、仮想アイコン２１５が作業対象画像５１１に重なっていると判断した場合には（Ｓ１４８の判断処理がＹｅｓ）、Ｓ１４９の処理に進む。
一方で、ユーザ操作検知プログラム１３ｆが、仮想アイコン２１５が作業対象画像５１１、５１２に重なっていない判断した場合には（Ｓ１４８の判断処理がＮｏ）、Ｓ１５１の処理に進む。
【００６９】
Ｓ１４９「操作コマンド送信」の処理において、ユーザ操作検知プログラム１３ｆは、「操作コマンド」を、通信部１９を介して、作業機器２１０に出力する。図１〜４に示される実施形態では、「操作コマンド」は作業対象画像５１１の情報を検索する命令である。Ｓ１４９の処理が終了すると、Ｓ１５０の処理に進む。
【００７０】
Ｓ１５０「仮想アイコン及び仮想リンク画像更新」の処理において、仮想操作画像生成プログラム１３ｅは、ユーザ操作情報記憶領域１２ｄに記憶されている最新の「ユーザ操作情報」を参照することにより、「仮想アイコン位置情報」を前記最新の「ユーザ操作情報」（つまり、被投影領域９９９上のユーザ８００の指８０１の位置座標）に更新する。更に、仮想操作画像生成プログラム１３ｅは、ユーザ操作情報記憶領域１２ｄに記憶されている最新の「ユーザ操作情報」及び作業機器位置情報記憶領域１２ｃに記憶されている「作業機器位置情報」を参照することにより、被投影領域９９９上の仮想アイコン２２５が投影される位置及び作業機器２２０の位置を認識し、仮想アイコン２２５と作業機機器２１０とを接続する「仮想リンク画像データ」を更新し、仮想操作画像記憶領域１２ｇに記憶させる。図３に示される実施形態では、作業対象画像５１１の情報を検索していることを表示するために、仮想リンク画像２１６は、点線から実線に更新される。Ｓ１５０の処理が終了すると、図６のＳ１５「作業機器から応答あり？」の処理に進む。
【００７１】
Ｓ１５１「仮想アイコン及び仮想リンク画像更新」の処理において、仮想操作画像生成プログラム１３ｅは、ユーザ操作情報記憶領域１２ｄに記憶されている最新の「ユーザ操作情報」を参照することにより、「仮想アイコン位置情報」を前記最新の「ユーザ操作情報」（つまり、被投影領域９９９上のユーザ８００の指８０１の位置座標）に更新する。更に、仮想操作画像生成プログラム１３ｅは、ユーザ操作情報記憶領域１２ｄに記憶されている最新の「ユーザ操作情報」及び作業機器位置情報記憶領域１２ｃに記憶されている「作業機器位置情報」を参照することにより、被投影領域９９９上の仮想アイコン２２５が投影される位置及び作業機器２２０の位置を認識し、仮想アイコン２２５と作業機機器２１０とを接続する「仮想リンク画像データ」を更新し、仮想操作画像記憶領域１２ｇに記憶させる。Ｓ１５１の処理が終了すると、図６のＳ１５「作業機器から応答あり？」の処理に進む。
【００７２】
前記Ｓ１５０、Ｓ１５１、Ｓ１５５の処理により、あたかも仮想アイコン２１５（２１６）が被投影領域９９９上でユーザ８００の指８０１に引きずられていくような所謂ドラッグ操作が反映されるようになっている。
以上の詳細に説明したように、ユーザが被投影領域９９９に投影された作業機器２１０の機能に対応する仮想アイコン画像２１５を視認することにより、ユーザが、どのような操作を行うことができるか直感的に認識することが可能となり、また、仮想アイコン２１５が仮想リンク画像２１６によって作業機器２１０に接続されているので、ユーザが操作可能な作業機器２１０を一見にして認識することが可能となる。
【００７３】
（作業機器がデジタルカメラの実施形態）
図１３〜図１５に作業機器３１０がデジタルカメラである実施形態を示して、以下当該実形態について説明する。本実施形態では、作業機器３１０に記憶されている作業対象画像６１１〜６１４が、投影手段２０により被投影領域９９９に投影され、ユーザが被投影領域９９９に投影された仮想アイコン３１５を作業対象画像６１１〜６１４にドラッグすることにより、作業対象画像６１１〜６１４を選別して作業機器３１０に保存することができる実施形態である。
デジタルカメラである作業機器３１０を被投影領域９９９上に載置すると、図６のＳ１２の処理において、作業機器３１０に記載されている識別情報３１１が撮像される。そして、図７のＳ１３３の処理において、作業機器機能認識プログラム１３ｂは、前記識別情報３１１を、情報テーブル１３ｉに照合することにより、作業機器３１０の機能が、作業対象画像６１１〜６１４の選択保存であることを認識する。
また、図７のＳ１３５の判断処理において、通信部１９は「作業対象画像データ」として、作業機器３１０に記憶されている作業対象画像６１１〜６１４を受信する。
図７に示されるＳ１３７の処理において、仮想操作画像生成プログラム１３ｅは、作業機器機能情報記憶領域１２ｂに記憶されている「作業機器機能情報」を参照することにより、被投影領域９９９上に載置されている作業機器３１０の機能に対応するアイコンとしてカメラ型のアイコンを決定し、「仮想アイコン画像データ」を生成する。
Ｓ１８の処理において、図１３に示されるように、作業対象画像６１１〜６１４、仮想アイコン３１５、仮想リンク画像３１６が投影手段３０によって被投影領域９９９に投影される。
【００７４】
図１４に示されるように、ユーザ８００が、仮想アイコン３１５をドラッグして、作業対象画像６１１に重ね合わせると、Ｓ１４９の処理において、作業対象画像６１１を作業機器３１０に選択保存する「操作コマンド」が、通信部１９を介して作業機器３１０に出力され、作業対象画像６１１が作業機器３１０に保存される（図１５の状態）。図１４に示されるように、仮想アイコン３１５を作業対象画像６１１に重ね合わせると、仮想リンク画像３１６が実線になり、更に、作業対象画像６１１が作業機器３１０に保存されている状態では、図１５に示されるように、あたかも作業対象画像６１１から作業機器３１０にデータが移動しているかのように視認される画像に画像リンク画像３１６ａが変更され、一見して、作業対象画像６１１〜６１４が保存中の状態であることがユーザに知覚されるようになっている。
【００７５】
なお、ユーザは作業対象画像６１１〜６１４をドラッグすることができる。作業対象画像６１１〜６１４が被投影領域９９９の枠外まで移動されると、当該作業対象画像６１１〜６１４を削除する「操作コマンド」が、通信部１９を介して作業機器３１０に出力され、当該作業対象画像６１１〜６１４が作業機器３１０から削除される。作業対象画像６１１〜６１４をユーザ８００の指８０１でドラッグすることができる機能は、ユーザ操作検知プログラム１３ｆが、「撮像画像データ」を解析することにより、ユーザ８００の指８０１の画像を抽出し、当該抽出された指８０１画像が、作業対象画像６１１〜６１４上にあるか否かを判断し、前記抽出された指８０１画像の移動を検知することにより行われる。
【００７６】
このように、作業機器３１０がデジタルカメラの実施形態の場合には、作業機器３１０に記憶されている作業対象画像６１１〜６１４を被投影領域９９９に投影し、ユーザが被投影領域９９９に投影された仮想アイコン３１５を作業対象画像６１１〜６１４にドラッグするという直感的な作業により、作業対象画像６１１〜６１４を選別して作業機器３１０に保存することが可能となり、ユーザフレンドリーな操作性を提供することが可能となる。
【００７７】
（作業機器がプリンターの実施形態）
図１６、図１７に作業機器４１０がプリンターである実施形態を示して、以下当該実施形態について説明する。本実施形態は、作業対象画像７１１〜７１４が投影手段３０により被投影領域９９９に投影され、ユーザが被投影領域９９９に投影された仮想アイコン４１５を作業対象画像７１１〜７１４にドラッグすることにより、作業対象画像７１１〜７１４を作業機器４１０であるプリンターで印刷することができる実施形態である。
プリンターである作業機器４１０を被投影領域９９９上に載置すると、図６のＳ１２の処理において、作業機器４１０に記載されている識別情報４１１が撮像される。そして、図７のＳ１３３の処理において、作業機器機能認識プログラム１３ｂは、前記識別情報４１１を、情報テーブル１３ｉに照合することにより、作業機器４１０の機能が、作業対象画像７１１〜７１４の印刷であることを認識する。
また、図７のＳ１３５の判断処理において、通信部１９は「作業対象画像データ」として、作業対象画像７１１〜７１４を受信する。図１６、図１７に示される実施形態では、作業対象画像７１１〜７１４は、通信部１９が接続しているパーソナルコンピュータ等の機器や、ＬＡＮ、インターネット等の通信回線から出力される「作業対象画像データ」である。
図７に示されるＳ１３７の処理において、仮想操作画像生成プログラム１３ｅは、作業機器機能情報記憶領域１２ｂに記憶されている「作業機器機能情報」を参照することにより、被投影領域９９９上に載置されている作業機器４１０の機能に対応するアイコンとしてプリンター型のアイコンを決定し、「仮想アイコン画像データ」を生成する。
Ｓ１８の処理において、図１６に示されるように、作業対象画像７１１〜７１４、仮想アイコン４１５、仮想リンク画像４１６が投影手段３０によって被投影領域９９９に投影される。
【００７８】
図１７に示されるように、ユーザ８００が、仮想アイコン４１５をドラッグして、作業対象画像７１１に重ね合わせると、Ｓ１４９の処理において、作業対象画像７１１を印刷する「操作コマンド」が、通信部１９を介して作業機器４１０に出力され、作業対象画像７１１が作業機器４１０で印刷される。なお、図１７に示されるように、作業対象画像７１１を作業機器４１０で印刷中の状態では、仮想リンク画像４１６は点線表示から実線表示に変更されて、一見して、作業対象画像７１１〜７１４が印刷中の状態であることがユーザに知覚されるようになっている。
【００７９】
このように、作業機器４１０がプリンターの実施形態の場合には、作業対象画像７１１〜７１４を被投影領域９９９に投影し、ユーザが被投影領域９９９に投影された仮想アイコン４１５を作業対象画像７１１〜７１４にドラッグするという直感的な作業により、作業対象画像７１１〜７１４を作業機器４１０であるプリンターで印刷することが可能となり、ユーザフレンドリーな操作性を提供することが可能となる。
【００８０】
（総括）
以上説明した実施形態では、被投影領域９９９上のユーザ８００の指の動きを検出して、ユーザの操作を検知しているが、ユーザ８００の手の動きを検知しても差し支えない。
【００８１】
以上説明した実施形態では、「撮像画像データ」と「指画像」とパターンマッチングを行い、ユーザ８００の指８０１の画像を抽出することにより、ユーザの操作を検出している。或いは、ユーザの指に赤外線を被投影領域９９９に照射する赤外線発光装置を装着し、赤外線領域の波長の光を撮像することができる赤外線カメラで、被投影領域９９９で反射した赤外線を検知し、ユーザの操作を検出する構成にしても差し支えない。この場合には、可視光によるノイズを排除し、正確にユーザの指の動きを検出することが可能となる。
【００８２】
被投影領域９９９に、ユーザ８００の指８０１の接触を検知するタッチセンサーを設け、ユーザ８００の指８０１の動きによる操作を検出する構成であっても差し支えない。
【００８３】
以上説明した実施形態では、仮想アイコンをユーザが作業対象画像にドラッグ操作することにより、作業機器の機能に対応する「操作コマンド」が作業機器に出力されるようになっているが、ユーザが作業対象画像の方をドラッグ操作して仮想アイコンに重ね合わせることにより、前記「操作コマンド」を作業機器に出力する構成であっても差し支えない。この構成場合には、ユーザ操作検知プログラム１３ｆが、「撮像画像データ」を解析することにより、ユーザ８００の指８０１の画像を抽出し、当該抽出された指８０１画像が、作業対象画像上にあるか否かを判断し、前記抽出された指の画像の移動を検知することにより行われる。
【００８４】
以上説明した実施形態では、識別情報として２次元コード等を使用しているが、識別情報が記憶されたＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグを作業機器に取り付け、ＲＦＩＤリーダで前記ＲＦＩＤタグに記憶された識別情報を読み取り、被投影領域９９９上に載置された作業機器の機能を認識する構成にしても差し支えない。
【００８５】
なお、図１８に示されるように、作業機器４１０に対応する識別情報４１１が設けられた作業機器識別物４５０を被投影領域９９９上に載置し、作業機器機能認識プログラム１３ｂが、前記識別情報４１１から作業機器４１０の機能を認識する構成であっても差し支えない。この場合には、投影画像生成プログラム１３ｇは、当該認識された機能に対応する仮想アイコン４１５及び当該仮想アイコン４１５と作業機器識別物４５０との接続状態を仮想的に示す仮想リンク画像４１６を生成する「描画命令」を、投影画像コントローラ１７に出力する。
このように構成すれば、プリンターのように、重く、移動させることが困難な作業機器４１０であっても、作業機器４１０を被投影領域９９９上に載置することなく、作業機器４１０に対応する作業機器識別物４５０のみを被投影領域９９９上に載置するだけで、作業機器４１０の機能を使用することが可能となり、便利である。
【００８６】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う作業機器操作装置もまた技術的範囲に包含されるものとして理解されなければならない。    
【符号の説明】
【００８７】
９        バス
１０      制御部
１１      ＣＰＵ
１２      ＲＡＭ
１２ａ    撮像画像データ記憶領域
１２ｂ    作業機器機能情報記憶領域
１２ｃ    作業機器位置情報記憶領域
１２ｄ    ユーザ操作情報記憶領域
１２ｅ    作業対象画像記憶領域
１２ｆ    作業対象画像投影位置情報記憶領域
１２ｇ    仮想操作画像情報記憶領域
１２ｈ    受信データ記憶領域
１３      ＲＯＭ
１３ａ    撮像制御プログラム
１３ｂ    作業機器機能認識プログラム
１３ｃ    作業機器位置検知プログラム
１３ｄ    作業対象画像投影位置決定プログラム
１３ｅ    仮想操作画像生成プログラム
１３ｆ    ユーザ操作検知プログラム
１３ｇ    投影画像生成プログラム
１３ｈ    仮想アイコン画像データ
１３ｉ    情報テーブル
１５      撮像コントローラ
１７      投影画像コントローラ
１８      ＶＲＡＭ
１９      通信部
２０      投影手段
３０      撮像手段
１００    作業機器操作装置
２１１    識別情報
２１０    作業機器（ノートパソコン）
２１１    識別情報
２１５    仮想アイコン
２１６    仮想リンク画像
２２０    作業機器（ノートパソコン）
２２１    識別情報
２２５    仮想アイコン
２２６    仮想リンク画像
３１０    作業機器（デジタルカメラ）
３１１    識別情報
３１５    仮想アイコン
３１６    仮想リンク画像
４１０    作業機器（プリンター）
４１１    識別情報
４１５    仮想アイコン
４１６    仮想リンク画像
４５０    作業機器識別物
５１１〜５１２  作業対象画像
６１１〜６１４  作業対象画像
７１１〜７１４  作業対象画像
９９９    被投影領域
【図１】
2011043875.tif 000003
【図２】
2011043875.tif 000004
【図３】
2011043875.tif 000005
【図４】
2011043875.tif 000006
【図５】
2011043875.tif 000007
【図６】
2011043875.tif 000008
【図７】
2011043875.tif 000009
【図８】
2011043875.tif 000010
【図９】
2011043875.tif 000011
【図１０】
2011043875.tif 000012
【図１１】
2011043875.tif 000013
【図１２】
2011043875.tif 000014
【図１３】
2011043875.tif 000015
【図１４】
2011043875.tif 000016
【図１５】
2011043875.tif 000017
【図１６】
2011043875.tif 000018
【図１７】
2011043875.tif 000019
【図１８】
2011043875.tif 000020