(57)【要約】【課題】投影表示されるアプリケーションの操作部品に対する誤操作の発生を防止することができる表示操作システムを提供する。【解決手段】カメラスキャナ１０１では、短焦点プロジェクタ２０７の消灯後に短焦点プロジェクタ２０７を再点灯した場合において、書画台２０４の操作平面上から物体が除去されていないとき、操作平面へ投影表示されるＧＵＩ部品に対するユーザのジェスチャー操作が無視される。【選択図】図１０
2018147307.tif 000002
【特許請求の範囲】
【請求項１】
操作面へアプリケーションの操作部品を投影表示する表示部と、
前記操作面の上に存在する物体を検知する検知部と、
前記操作部品に対する操作に基づいて前記アプリケーションの動作を制御する制御部とを備える表示操作システムであって、
前記操作部品が表示されていない前記操作面へ前記表示部が前記操作部品を表示した場合において、前記検知部が前記物体を検知したとき、前記制御部は前記操作部品に対する操作を無視することを特徴とする表示操作システム。
【請求項２】
前記操作部品が表示されていない前記操作面へ前記表示部が前記操作部品を表示した場合に前記検知部が前記物体を検知したとき、前記表示部は、前記物体の前記操作面の上からの除去の要請、又は前記操作部品に対する操作が無視されている旨を表示することを特徴とする請求項１記載の表示操作システム。
【請求項３】
前記検知部が前記物体の前記操作面の上からの除去を検知したとき、前記表示部は、前記物体の前記操作面の上からの除去の要請、又は前記操作部品に対する操作が無視されている旨の表示を中止することを特徴とする請求項２記載の表示操作システム。
【請求項４】
前記検知部はカメラ及び３次元距離センサからなることを特徴とする請求項１乃至３のいずれか１項に記載の表示操作システム。
【請求項５】
前記表示部が前記操作部品の投影表示を中断した後に、再度、前記操作部品を投影表示する場合において、前記操作部品の再度の投影表示の後に検知された物体が前記操作部品の投影表示の中断の後に検知された物体の位置から移動していないときは、前記制御部は前記操作部品に対する操作を無視しないことを特徴とする請求項１乃至４のいずれか１項に記載の表示操作システム。
【請求項６】
前記検知部が検知した前記物体が前記操作部品の操作を意図する物であれば、前記制御部は前記操作部品に対する操作を無視しないことを特徴とする請求項１乃至５のいずれか１項に記載の表示操作システム。
【請求項７】
前記操作部品の操作を意図する物は、前記操作部品へ向けて移動する手又は指し棒であることを特徴とする請求項６記載の表示操作システム。
【請求項８】
操作面へアプリケーションの複数の操作部品を投影表示する表示部と、
前記操作面の上に存在する物体を検知する検知部と、
前記複数の操作部品の各々に対する操作に基づいて前記アプリケーションの動作を制御する制御部とを備える表示操作システムであって、
前記複数の操作部品が表示されていない前記操作面へ前記表示部が前記複数の操作部品を表示した場合において、前記複数の操作部品の各々に関し、前記検知部が当該操作部品の上に存在する前記物体を検知したとき、前記制御部は当該操作部品に対する操作を無視することを特徴とする表示操作システム。
【請求項９】
前記複数の操作部品が表示されていない前記操作面へ前記表示部が前記複数の操作部品を表示した場合において、前記複数の操作部品の各々に関し、前記検知部が当該操作部品の上に存在する前記物体を検知したとき、前記表示部は、前記物体の当該操作部品の上からの除去の要請、又は当該操作部品に対する操作が無視されている旨を表示することを特徴とする請求項８記載の表示操作システム。
【請求項１０】
操作面へアプリケーションの操作部品を投影表示する表示ステップと、
前記操作面の上に存在する物体を検知する検知ステップと、
前記操作部品が表示されていない前記操作面へ前記操作部品が表示された場合において、前記物体が検知されたとき、前記操作部品に対する操作を無視する制御ステップとを有することを特徴とする表示操作システムの制御方法。
【請求項１１】
操作面へアプリケーションの複数の操作部品を投影表示する表示ステップと、
前記操作面の上に存在する物体を検知する検知ステップと、
前記複数の操作部品が表示されていない前記操作面へ前記複数の操作部品が表示された場合において、前記複数の操作部品の各々に関し、前記検知ステップにおいて当該操作部品の上に存在する前記物体を検知したとき、当該操作部品に対する操作を無視する制御ステップとを有することを特徴とする表示操作システムの制御方法。
【請求項１２】
表示操作システムの制御方法をコンピュータに実行させるプログラムであって、
前記表示操作システムの制御方法は、
操作面へアプリケーションの操作部品を投影表示する表示ステップと、
前記操作面の上に存在する物体を検知する検知ステップと、
前記操作部品が表示されていない前記操作面へ前記操作部品が表示された場合において、前記物体が検知されたとき、前記操作部品に対する操作を無視する制御ステップとを有することを特徴とするプログラム。
【請求項１３】
表示操作システムの制御方法をコンピュータに実行させるプログラムであって、
操作面へアプリケーションの複数の操作部品を投影表示する表示ステップと、
前記操作面の上に存在する物体を検知する検知ステップと、
前記複数の操作部品が表示されていない前記操作面へ前記複数の操作部品が表示された場合において、前記複数の操作部品の各々に関し、前記検知ステップにおいて当該操作部品の上に存在する前記物体を検知したとき、当該操作部品に対する操作を無視する制御ステップとを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示されたアプリケーションの操作部品に対する操作をユーザのジェスチャー操作を検出することによって認識する表示操作システム、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
投影表示されたアプリケーションのグラフィカルユーザインターフェイスからなる操作部品に対する操作を、ユーザの手や指先の動き（ジェスチャー操作）を検知することによって認識する表示操作システムが知られている（例えば、特許文献１参照。）。また、ユーザの手や指先の動きに限らず、書画台上の物体、例えば、ペンの３次元座標を検出することによって投影表示されたアプリケーションの操作部品に対する操作を認識する表示操作システムも知られている。
【０００３】
このような表示操作システムでは、書面を用いた説明、書面への署名、投影表示されたアプリケーションを用いた説明や投影表示されたアプリケーションの操作部品に対する操作を同じ書画台を用いて行うことができる。これにより、例えば、ユーザとしての販売員の業務効率を向上させることができるとともに、ユーザとしての購買者や契約者の確認、署名の作業効率も向上させることができる。また、このような表示操作システムは、一時的にプロジェクタによる投影を中断するブランク機能を有し、ブランク機能に対応してプロジェクタの消灯キーを備える。例えば、書面を用いた説明や書面への署名を行う際、書面へアプリケーションの操作部品が重畳表示されるのを避けるため、ユーザは消灯キーを操作してプロジェクタによるアプリケーションの操作部品の投影表示を中断させる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２６７０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、書面を用いた説明や書面への署名が終了した後、ユーザが意図すること無くアプリケーションの操作部品に該当する位置へ手を置いたままの状態で消灯キーの操作によって再度、アプリケーションの操作部品が投影表示されることがある。また、署名に用いたペンをアプリケーションの操作部品に該当する位置へ置き忘れたままの状態で消灯キーの操作によって再度、アプリケーションの操作部品が投影表示されることがある。このような場合、ユーザの手やペンによってアプリケーションの操作部品に対する操作が行われたと認識されるおそれがある。すなわち、投影表示されるアプリケーションの操作部品に対する誤操作が発生するおそれがある。
【０００６】
本発明の目的は、投影表示されるアプリケーションの操作部品に対する誤操作の発生を防止することができる表示操作システム、その制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の表示操作システムは、操作面へアプリケーションの操作部品を投影表示する表示部と、前記操作面の上に存在する物体を検知する検知部と、前記操作部品に対する操作に基づいて前記アプリケーションの動作を制御する制御部とを備える表示操作システムであって、前記操作部品が表示されていない前記操作面へ前記表示部が前記操作部品を表示した場合において、前記検知部が前記物体を検知したとき、前記制御部は前記操作部品に対する操作を無視することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、投影表示されるアプリケーションの操作部品に対する誤操作の発生を防止することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施の形態に係る表示操作システムとしてのカメラスキャナが含まれるネットワーク構成を示す図である。
【図２】図１におけるカメラスキャナの構成を概略的に示す図である。
【図３】図２のカメラスキャナにおける座標系を説明するための図である。
【図４】図３における直交座標系、カメラ座標系及びカメラ撮像平面の関係を示す。
【図５】図１のカメラスキャナのコントローラ部のハードウェア構成を示すブロック図である。
【図６】図５におけるＣＰＵが実行するカメラスキャナの制御用プログラムの機能モジュールの構成を示すブロック図である。
【図７】図２における距離画像センサ部のハードウェア構成を示す図である。
【図８】図２のカメラスキャナにおいてＧＵＩ部品が投影表示されていない書画台の操作平面へＧＵＩ部品が投影表示されたときに生じうる課題を説明するための図である。
【図９】本発明の第１の実施の形態に係る表示操作システムの制御方法としてのプロジェクタ消灯・再点灯処理を示すフローチャートである。
【図１０】本発明の第１の実施の形態に係る表示操作システムの制御方法としてのプロジェクタ消灯・再点灯処理を示すフローチャートである。
【図１１】本発明の第２の実施の形態に係る表示操作システムの制御方法としての電源オン処理を示すフローチャートである。
【図１２】本発明の第３の実施の形態に係る表示操作システムの制御方法としてのプロジェクタ消灯・再点灯処理を示すフローチャートである。
【図１３】図１２のステップＳ１２０１において表示される物体除去画面の一例を示す図である。
【図１４】本発明の第４の実施の形態に係る表示操作システムの制御方法としての電源オン処理を示すフローチャートである。
【図１５】本発明の第５の実施の形態に係る表示操作システムの制御方法としての画面表示処理を示すフローチャートである。
【図１６】操作禁止モードを説明するための画面の一例を示す図である。
【図１７】本発明の第５の実施の形態に係る表示操作システムの制御方法としてのＧＵＩ部品操作許可処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施の形態に記載されている構成によって限定されることはない。まず、本発明の第１の実施の形態について説明する。
【００１１】
図１は、本発明の第１の実施の形態に係る表示操作システムとしてのカメラスキャナが含まれるネットワーク構成を示す図である。図１において、カメラスキャナ１０１はホストコンピュータ１０２及びプリンタ１０３とイーサネット（登録商標）等のネットワーク１０４を介して接続されている。本実施の形態では、ホストコンピュータ１０２からの指示に応じ、カメラスキャナ１０１によって画像を読み取るスキャン機能や、スキャン機能によって生成されたスキャンデータをプリンタ１０３によって出力するプリント機能が実行される。また、ホストコンピュータ１０２を介すること無くカメラスキャナ１０１へ直接に指示を行うことにより、スキャン機能やプリント機能を実行することもできる。
【００１２】
図２は、図１におけるカメラスキャナの構成を概略的に示す図である。図２において、カメラスキャナ１０１は、ハードウェアデバイスとしてのコントローラ部２０１、カメラ部２０２、腕部２０３、短焦点プロジェクタ２０７及び距離画像センサ部２０８を含む。カメラスキャナ１０１の本体を構成するコントローラ部２０１、撮像を行うためのカメラ部２０２、短焦点プロジェクタ２０７及び３次元距離センサからなる距離画像センサ部２０８は互いに腕部２０３によって連結されている。腕部２０３は複数の関節を有し、各関節において屈曲されることにより、伸長自在に構成される。コントローラ部２０１はカメラスキャナ１０１の電源のオン／オフを制御する電源キー２１０及び短焦点プロジェクタ２０７による投影の開始、中止を制御する消灯キー２１１を有する。
【００１３】
カメラスキャナ１０１は操作平面（操作面）を有する書画台２０４の脇に配置される。カメラ部２０２及び距離画像センサ部２０８は書画台２０４を指向し、カメラ部２０２は図中の破線で囲まれた操作平面上の読み取り領域２０５内の画像を読み取る。例えば、カメラ部２０２は読み取り領域２０５内に置かれた原稿２０６の画像を読み取る。また、書画台２０４内にはターンテーブル２０９が設けられている。ターンテーブル２０９はコントローラ部２０１からの指示によって回転し、ターンテーブル２０９上に置かれた物体とカメラ部２０２の相対角度を変えることができる。カメラスキャナ１０１では、カメラ部２０２及び距離画像センサ部２０８が、書画台２０４の操作平面上に存在する物体を検知する検知部を構成する。カメラスキャナ１０１において、カメラ部２０２は単一解像度で画像を撮像するカメラからなるが、高解像度画像撮像と低解像度画像撮像の切り換えが可能なカメラであってもよい。なお、カメラスキャナ１０１は、書画台２０４に配置されるＬＣＤタッチパネル（図示しない）及び後述のスピーカ５１４を備えてもよい。さらに、カメラスキャナ１０１は、距離画像センサ部２０８以外に、周囲の環境情報を収集するための人感センサ、照度センサ、加速度センサ等の各種センサデバイスを備えてもよい。
【００１４】
図３は、図２のカメラスキャナにおける座標系を説明するための図である。図３において、カメラスキャナ１０１では、カメラ座標系、距離画像座標系及びプロジェクタ座標系が定義される。カメラ座標系は、カメラ部２０２が撮像する画像平面をＸＹ平面とし、且つ該画像平面に直交した方向をＺ方向として定義した座標系である。距離画像座標系は、距離画像センサ部２０８が有する後述のＲＧＢカメラ７０１が撮像する画像平面をＸＹ平面とし、且つ該画像平面に直交した方向をＺ方向として定義した座標系である。プロジェクタ座標系は、短焦点プロジェクタ２０７が画像を投影する画像平面をＸＹ平面とし、且つ該画像平面に直交した方向をＺ方向として定義した座標系である。さらに、カメラスキャナ１０１では、これらの３つの独立した座標系の３次元データを統一的に扱えるようにするために、書画台２０４を含む平面をＸＹ平面とし、且つ該ＸＹ平面に直交した方向をＺ方向とする直交座標系が定義される。
【００１５】
図４は、図３における直交座標系、カメラ座標系及びカメラ撮像平面の関係を示す。カメラスキャナ１０１では、直交座標系における３次元点Ｐ［Ｘ，Ｙ，Ｚ］を下記式（１）によってカメラ座標系における３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］へ変換することができる。
[Xc, Yc, Zc]T = [Rc|tc][X, Y, Z, 1]T  … （１）
ここで、Ｒｃは３×３の回転行列であり、ｔｃは並進ベクトルである。Ｒｃ及びｔｃは、直交座標系に対するカメラの姿勢（回転）と位置（並進）に基づいて定まる外部パラメータによって構成される。また、カメラ座標系で定義された３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］を下記式（２）によって直交座標系における３次元点Ｐ［Ｘ，Ｙ，Ｚ］へ変換することができる。
[X, Y, Z]T = [Rc-1|-Rc-1tc][Xc, Yc, Zc, 1]T  …（２）
【００１６】
カメラ部２０２で撮影される２次元の画像平面（以下、「カメラ撮像平面」という。）は、カメラ部２０２によって３次元空間中の３次元点群の３次元情報を２次元情報に変換することによって構成される。すなわち、カメラ撮像平面は、カメラ座標系上での３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］を下記式（３）によって２次元座標ｐｃ［ｘｐ，ｙｐ］に透視投影変換することによって構成することができる。
λ[xp, yp, 1]T = A[Xc, Yc, Zc, 1]T  …（３）
ここで、Ａは、焦点距離と画像中心等で表現される３×３の行列であるカメラの内部パラメータである。
【００１７】
以上のように、カメラスキャナ１０１では、上記式（１），（３）を用いることによって直交座標系で表された３次元点群をカメラ座標系での３次元点群やカメラ撮像平面に変換することができる。なお、カメラスキャナ１０１では、各ハードウェアデバイスの内部パラメータ及び直交座標系に対する位置姿勢（外部パラメータ）は、公知のキャリブレーション手法によってあらかじめキャリブレーションされている。以後、本明細書において、「３次元点群」は直交座標系で表された３次元点群を示しているものとする。
【００１８】
図５は、図１のカメラスキャナのコントローラ部のハードウェア構成を示すブロック図である。図５において、コントローラ部２０１は、システムバス５０１に接続されたＣＰＵ５０２、ＲＡＭ５０３、ＲＯＭ５０４、ＨＤＤ５０５、ネットワークＩ／Ｆ５０６、画像処理プロセッサ５０７を備える。さらに、コントローラ部２０１は、カメラＩ／Ｆ５０８、ディスプレイコントローラ５０９、シリアルＩ／Ｆ５１０、オーディオコントローラ５１１及びＵＳＢコントローラ５１２を備える。ＣＰＵ５０２はコントローラ部２０１全体の動作を制御する中央演算装置である。ＲＡＭ５０３は揮発性メモリである。ＲＯＭ５０４は不揮発性メモリであり、ＣＰＵ５０２の起動用プログラムが格納される。ＨＤＤ５０５はＲＡＭ５０３よりも大容量のハードディスクドライブ（ＨＤＤ）である。ＨＤＤ５０５にはコントローラ部２０１が実行する、カメラスキャナ１０１の制御用プログラムが格納される。
【００１９】
ＣＰＵ５０２は、電源オン等のカメラスキャナ１０１の起動時、ＲＯＭ５０４に格納される起動用プログラムを実行する。この起動用プログラムは、ＨＤＤ５０５に格納される制御用プログラムを読み出してＲＡＭ５０３に展開する。ＣＰＵ５０２は、起動用プログラムを実行すると、続けてＲＡＭ５０３に展開された制御用プログラムを実行してコントローラ部２０１全体の動作を制御する。また、ＣＰＵ５０２は制御用プログラムの実行に用いるデータもＲＡＭ５０３に格納して読み書きを行う。ＨＤＤ５０５には制御用プログラムの実行に必要な各種設定やカメラ部２０２が撮像によって生成した画像データを格納することができ、格納されたデータ等はＣＰＵ５０２によって読み書きされる。また、ＣＰＵ５０２はネットワークＩ／Ｆ５０６を介してネットワーク１０４に接続された他の機器との通信を行う。
【００２０】
シリアルＩ／Ｆ５１０はシリアル信号の入出力を行う。コントローラ部２０１では、シリアルＩ／Ｆ５１０がハードキーＩ／Ｆ５１３に接続され、電源キー２１０や消灯キー２１１が押下されたとき、シリアルＩ／Ｆ５１０は押下されたキーに対応する信号をＣＰＵ５０２へ通知する。コントローラ部２０１の電源がオフのとき、ハードキーＩ／Ｆ５１３は電源キー２１０が押下されると、非図示のコントローラ電源をオンにする。これにより、前述したＣＰＵ５０２による起動用プログラムの実行が行われる。画像処理プロセッサ５０７はＲＡＭ５０３に格納された画像データを読み出して画像処理を施し、再度、ＲＡＭ５０３へ書き戻す。なお、画像処理プロセッサ５０７が実行する画像処理は、回転、変倍、色変換等である。カメラＩ／Ｆ５０８はカメラ部２０２及び距離画像センサ部２０８と接続され、ＣＰＵ５０２からの指示に応じてカメラ部２０２から画像データを取得するとともに距離画像センサ部２０８から距離画像データを取得してＲＡＭ５０３へ書き込む。また、カメラＩ／Ｆ５０８はＣＰＵ５０２からの制御コマンドをカメラ部２０２及び距離画像センサ部２０８へ送信し、カメラ部２０２及び距離画像センサ部２０８の設定を行う。なお、ディスプレイコントローラ５０９、シリアルＩ／Ｆ５１０、オーディオコントローラ５１１及びＵＳＢコントローラ５１２は、これらのうちの少なくとも１つがコントローラ部２０１に含まれていればよい。
【００２１】
ディスプレイコントローラ５０９はＣＰＵ５０２の指示に応じてディスプレイ（図示しない）における画像データの表示を制御する。また、ディスプレイコントローラ５０９は短焦点プロジェクタ２０７に接続される。オーディオコントローラ５１１はスピーカ５１４に接続され、ＣＰＵ５０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ５１４を通じて音声を出力する。ＵＳＢコントローラ５１２はＣＰＵ５０２の指示に応じて外付けのＵＳＢデバイスの制御を行う。ＵＳＢコントローラ５１２はＵＳＢメモリやＳＤカード等の外部メモリ５１５に接続され、外部メモリ５１５へのデータの読み書きを行う。
【００２２】
図６は、図５におけるＣＰＵが実行するカメラスキャナの制御用プログラムの機能モジュールの構成を示すブロック図である。カメラスキャナ１０１の制御用プログラムは前述のようにＨＤＤ５０５に格納され、ＣＰＵ５０２が起動時に制御用プログラムをＲＡＭ５０３に展開して実行する。制御用プログラムが実行される際には機能構成６０１が構成される。機能構成６０１は、モジュールとして、メイン制御部６０２、画像取得部６０３、カメラ画像取得部６０４、距離画像取得部６０５、認識処理部６０６、操作認識部６０７、ジェスチャー認識部６０８、物体検知部６０９及び画像処理部６１０を備える。さらに、機能構成６０１は、モジュールとして、キー処理部６１１、電源制御部６１２、表示制御部６１３、アプリケーション部６１４、ＧＵＩ制御部６１５、表示部６１６及びネットワーク通信部６１７を備える。
【００２３】
メイン制御部６０２は制御の中心モジュールであり、機能構成６０１が備える他の各モジュールを制御する。画像取得部６０３は画像入力処理を行うモジュールであり、カメラ画像取得部６０４及び距離画像取得部６０５によって構成される。カメラ画像取得部６０４はカメラＩ／Ｆ５０８を介してカメラ部２０２が出力する画像データを取得し、ＲＡＭ５０３へ格納する。距離画像取得部６０５はカメラＩ／Ｆ５０８を介して距離画像センサ部２０８が出力する距離画像データを取得し、ＲＡＭ５０３へ格納する。認識処理部６０６はカメラ画像取得部６０４が取得する画像データ及び距離画像取得部６０５が取得する距離画像データから書画台２０４の操作平面上の物体の動きを検知して認識するモジュールである。認識処理部６０６は操作認識部６０７、ジェスチャー認識部６０８及び物体検知部６０９によって構成される。ジェスチャー認識部６０８は画像取得部６０３から書画台２０４の操作平面上の画像を取得し続け、タッチ等のユーザのジェスチャー操作を検知する。具体的に、ジェスチャー認識部６０８は、距離画像取得部６０５が取得する距離画像データから書画台２０４の操作平面上に存在する物体の３次元点群を取得し、該物体の外形を検出する。さらに、ジェスチャー認識部６０８は、外形の各部分の曲率からユーザの手及び指先の位置を判断し、例えば、ユーザの一本指を用いたジェスチャー操作を検知する。なお、ジェスチャー認識部６０８は他の様々なジェスチャー操作を検知することができ、例えば、ユーザの複数の指又は複数の手、若しくは、ユーザの腕や体全体を用いたジェスチャー操作を検知することができる。操作認識部６０７は、ジェスチャー認識部６０８がユーザのジェスチャー操作を検知するとメイン制御部６０２へ通知する。物体検知部６０９は、画像取得部６０３から書画台２０４の操作平面を撮像した画像を取得して書画台２０４の操作平面上に存在する物体を検知する。また、物体検知部６０９は、書画台２０４の操作平面上に物体が置かれるタイミング、物体が置かれて静止するタイミング、又は物体が取り除かれるタイミング等も検知する。
【００２４】
画像処理部６１０は、カメラ部２０２及び距離画像センサ部２０８から取得した画像を画像処理プロセッサ５０７で解析するために用いられ、各種画像処理モジュールによって構成される。前述のジェスチャー認識部６０８や物体検知部６０９は画像処理部６１０の各種画像処理モジュールを利用して実現される。
【００２５】
キー処理部６１１はハードキーＩ／Ｆ５１３を介して通知される電源キー２１０や消灯キー２１１の押下に応じた処理を実行するモジュールであり、電源制御部６１２及び表示制御部６１３によって構成される。電源制御部６１２は、非図示のコントローラ電源がオンのときに電源キー２１０の押下が通知されると、ＣＰＵ５０２で実行されるプログラムの終了処理を実行し、コントローラ電源をオフにして電源オフ処理を行う。また、電源制御部６１２は、コントローラ電源がオフのときに電源キー２１０の押下が通知されると、ハードキーＩ／Ｆ５１３からコントローラ電源を直接オンにする。表示制御部６１３は、消灯キー２１１の押下が通知されると、短焦点プロジェクタ２０７が点灯しているか否かをシリアルＩ／Ｆ５１０を介して判定する。表示制御部６１３は、短焦点プロジェクタ２０７が点灯していれば、シリアルＩ／Ｆ５１０を介して短焦点プロジェクタ２０７を消灯し、投影表示を中断する。また、表示制御部６１３は、短焦点プロジェクタ２０７が点灯していなければ、シリアルＩ／Ｆ５１０を介して短焦点プロジェクタ２０７を点灯し、投影表示を実行する。さらに、表示制御部６１３は、短焦点プロジェクタ２０７を点灯したか消灯したかをメイン制御部６０２へ通知し、メイン制御部６０２は短焦点プロジェクタ２０７の点灯／消灯に応じてアプリケーション部６１４が表示している画面の表示制御を行う。
【００２６】
アプリケーション部６１４は、ユーザが操作するアプリケーションを構成する複数の画面のデータと、各画面を構成するグラフィカルユーザインターフェイス（ＧＵＩ）部品のデータを保持し、さらに、複数の画面間を遷移する画面遷移を実行する。また、アプリケーション部６１４はＧＵＩ部品が操作された場合に実行する処理を定義し、ＧＵＩ部品のデータと関連付けて保持する。アプリケーション部６１４は画面を構成するＧＵＩ部品のデータをＧＵＩ制御部６１５へ送信し、画面の表示をＧＵＩ制御部６１５へ要求する。ＧＵＩ制御部６１５は、メイン制御部６０２及びアプリケーション部６１４からの要求に応じてメッセージやボタン等の対応するＧＵＩ部品（操作部品）を生成する。また、生成されたＧＵＩ部品が操作された場合に実行する処理を当該ＧＵＩ部品に関連付ける。ここで、ＧＵＩ部品に関連付けられる処理は、例えば、ＧＵＩ部品の色や形を変える表示変更処理や、アプリケーションを構成する各画面の遷移を行う画面遷移処理、若しくは、プログラムされた処理や外部プログラムを起動する実行処理等が該当する。さらに、ＧＵＩ制御部６１５は、表示部６１６へ生成したＧＵＩ部品の表示を要求する。表示部６１６はディスプレイコントローラ５０９を介して、要求されたＧＵＩ部品の表示を短焦点プロジェクタ２０７に実行させる。短焦点プロジェクタ２０７は書画台２０４の操作平面に向けて設置されるため、書画台２０４の操作平面上にＧＵＩ部品が投影表示される。また、ＧＵＩ制御部６１５は、ジェスチャー認識部６０８が認識したユーザのタッチ等のジェスチャー操作、さらにジェスチャー操作が行われた座標をメイン制御部６０２経由で受信する。また、ＧＵＩ制御部６１５は、投影表示されているＧＵＩ部品の座標と操作座標を対応させて操作されたＧＵＩ部品と操作内容を判定し、ＧＵＩ部品に関連付けられた処理を実行する。ネットワーク通信部６１７は、ネットワークＩ／Ｆ５０６を介してネットワーク１０４に接続された他の機器とＴＣＰ／ＩＰによる通信を行う。
【００２７】
図７は、図２における距離画像センサ部のハードウェア構成を示す図である。図７において、距離画像センサ部２０８は赤外線パターン投射方式の３次元距離画像センサからなり、ＲＧＢカメラ７０１、赤外線パターン投射部７０２及び赤外線カメラ７０３を有する。ＲＧＢカメラ７０１は可視光をＲＧＢ信号で撮影し、赤外線パターン投射部７０２は対象物７０４へ不可視光である赤外線によって３次元測定パターン７０６を投射する。赤外線カメラ７０３は対象物に投射した３次元測定パターン７０６を読み取る。距離画像センサ部２０８は３次元測定パターン７０６と赤外線カメラ７０３の撮影画像７０７を対応させる。さらに、距離画像センサ部２０８は、赤外線パターン投射部７０２と赤外線カメラ７０３を結ぶ直線７０５を基線として三角測量の原理を用いることにより、撮影画像７０７の各画素の赤外線カメラ７０３からの距離を算出する。これにより、距離画像センサ部２０８は、各画素に距離値が入った距離画像データを生成する。なお、本実施の形態では、距離画像センサ部２０８として赤外線パターン投射方式の３次元距離画像センサを用いるが、他の方式の距離画像センサを用いてもよい。例えば、２つのＲＧＢカメラでステレオ立体視を行うステレオ方式や、レーザ光の飛行時間を検出することによって距離を測定するＴＯＦ（Time of Flight）方式等を利用する距離画像センサを用いてもよい。
【００２８】
図８は、図２のカメラスキャナにおいてＧＵＩ部品が投影表示されていない書画台の操作平面へＧＵＩ部品が投影表示されたときに生じうる課題を説明するための図である。例えば、図８（Ａ）に示すように、カメラスキャナ１０１において、書画台２０４の操作平面上に表示部６１６が投影する表示画面がメッセージ８０１の他にＧＵＩ部品としてのボタン８０２及びボタン８０３を有する場合について説明する。このとき、操作認識部６０７が、カメラ部２０２及び距離画像センサ部２０８による物体の検知を通じてボタン８０２やボタン８０３のユーザによるタッチを認識すると、ＧＵＩ制御部６１５はボタン８０２やボタン８０３に関連付けられた処理を実行する。図８（Ａ）の事例では、ボタン８０２やボタン８０３は表示画面の遷移に関連付けられている。
【００２９】
ここでユーザが消灯キー２１１を押下すると、表示制御部６１３は短焦点プロジェクタ２０７を消灯し、図８（Ｂ）に示すように、表示画面の投影表示が中断される。投影表示が中断されるとアプリケーションの実行が中断されるため、ボタン８０２やボタン８０３に関連付けられた処理の実行も禁止されなければならない。そこで、表示画面の投影表示が中断された後に、ボタン８０２やボタン８０３のユーザによるタッチ、すなわち、ユーザのジェスチャー操作を認識できないように、書画台２０４の操作平面上に存在する物体の検知を中止する。すなわち、カメラ部２０２及び距離画像センサ部２０８をオフにする。
【００３０】
次いで、ユーザが書画台２０４の操作平面上に置かれた書面に署名する等の作業を行った後、操作平面上にペン８０４や手８０５を置き（図８（Ｃ））、そのままの状態でユーザが消灯キー２１１を押下する。このとき、表示制御部６１３は短焦点プロジェクタ２０７を点灯し、図８（Ａ）と同様の表示画面を投影表示する。ここで、アプリケーションの実行が再開されるため、ボタン８０２やボタン８０３に関連付けられた処理の実行も許可されなければならない。そこで、表示画面が投影表示された後に、ボタン８０２やボタン８０３のユーザによるタッチを認識できるように、書画台２０４の操作平面上に存在する物体の検知を再開する。すなわち、カメラ部２０２及び距離画像センサ部２０８をオンにする。
【００３１】
しかしながら、図８（Ｄ）に示すように、ペン８０４や手８０５がボタン８０２上やボタン８０３上に置かれたままだと、操作認識部６０７はボタン８０２やボタン８０３がユーザによってタッチされたと認識する。ユーザは表示画面の遷移を意図すること無く操作平面上にペン８０４や手８０５を置いたままにすることがあるが、この場合では、ユーザの意図に関係なくボタン８０２やボタン８０３に関連付けられた表示画面の遷移が実行される。すなわち、ユーザの意図しないボタン８０２やボタン８０３の操作（誤操作）が発生する。本実施の形態では、これに対応して、表示画面が投影表示された後であっても、一定の条件の下、操作認識部６０７によるボタン８０２やボタン８０３のユーザによるタッチを無視する。
【００３２】
図９及び図１０は、本実施の形態に係る表示操作システムの制御方法としてのプロジェクタ消灯・再点灯処理を示すフローチャートである。図９及び図１０の処理は、ユーザが消灯キー２１１を押下して短焦点プロジェクタ２０７を消灯してからユーザが再度、消灯キー２１１を押下して短焦点プロジェクタ２０７から書画台２０４へ表示画面を投影表示する際にメイン制御部６０２が実行する。
【００３３】
まず、短焦点プロジェクタ２０７から書画台２０４へ表示画面が投影表示されている状態で、ユーザが消灯キー２１１を押下すると、表示制御部６１３はメイン制御部６０２へ消灯キー２１１の押下を通知する。消灯キー２１１の押下の通知に対応してメイン制御部６０２は、まず、表示制御部６１３を介して短焦点プロジェクタ２０７を消灯する（ステップＳ９０１）。さらに、メイン制御部６０２は、物体検知部６０９によって書画台２０４の操作平面上の物体検知処理を実行し、操作平面上に存在する物体を検知する（ステップＳ９０２）。次いで、メイン制御部６０２は、アプリケーションの実行を中断した上で距離画像センサ部２０８をオフにすることにより、ユーザによるタッチを認識できないようにする（ステップＳ９０３）。これにより、アプリケーションが実行されていない間はユーザのジェスチャー操作が受け付けられなくなる。メイン制御部６０２は、続くステップＳ９０４において、再度、消灯キー２１１がユーザによって押下されたか否かを判定し、消灯キー２１１が押下されていない間はステップＳ９０４の判定を繰り返す。消灯キー２１１が押下された場合、メイン制御部６０２は、アプリケーションの実行を再開した上で距離画像センサ部２０８を再びオンにする（ステップＳ９０５）。その後、メイン制御部６０２は、ステップＳ９０２と同様に、物体検知部６０９によって書画台２０４の操作平面上の物体検知処理を実行し、操作平面上に存在する物体を検知する（ステップＳ９０６）。次いで、メイン制御部６０２は、表示制御部６１３を介して短焦点プロジェクタ２０７を再点灯する（ステップＳ９０１）。なお、図９におけるステップＳ９０１からステップＳ９０７までの一連の処理を以下、「メイン処理Ｓ９０８」と定義する。
【００３４】
続く、ステップＳ９０９では、ステップＳ９０２において検知された物体とステップＳ９０６において検知された物体とを比較することにより、短焦点プロジェクタ２０７の消灯から再点灯までの間に操作平面上に存在する物体が変化したか否かを判定する。本実施の形態における「物体の変化」とは物体の位置の変化（移動）や物体の形状の変化、さらには物体の除去や追加を意味する。ステップＳ９０９の判定の結果、物体が変化していない場合、メイン制御部６０２は、アプリケーション部６１４からＧＵＩ制御部６１５へ送信されたＧＵＩ部品のデータを用いてＧＵＩ制御部６１５へＧＵＩ部品の表示を実行させる（ステップＳ９１０）。その後、ステップＳ９０５で再びオンにされた距離画像センサ部２０８を通じて操作認識部６０７がユーザのジェスチャー操作を認識すると、メイン制御部６０２は、認識されたジェスチャー操作のＧＵＩ制御部６１５への通知を許可する（ステップＳ９１１）。これにより、ＧＵＩ部品がユーザのジェスチャー操作を受付可能となる。すなわち、ユーザのジェスチャー操作は無視されない。その後、本処理を終了する。
【００３５】
ステップＳ９０９の判定の結果、物体が変化している場合、操作認識部６０７がユーザのジェスチャー操作を認識しても、メイン制御部６０２は、認識されたジェスチャー操作のＧＵＩ制御部６１５への通知を禁止する（ステップＳ９１２）。その結果、ＧＵＩ部品はユーザのジェスチャー操作を受け付けることができず、ユーザのジェスチャー操作は無視される。次いで、メイン制御部６０２は、ステップＳ９１０と同様に、ＧＵＩ制御部６１５へＧＵＩ部品の表示を実行させる（ステップＳ９１３）。このとき、ＧＵＩ部品が書画台２０４の操作平面上に投影表示されているにもかかわらず、ＧＵＩ部品に対するユーザのジェスチャー操作は無視される。その後、メイン制御部６０２は、ステップＳ９０２やステップＳ９０６と同様に、物体検知部６０９によって書画台２０４の操作平面上の物体検知処理を実行し、操作平面上に存在する物体を検知する（ステップＳ９１４）。次いで、ステップＳ９１５では、ステップＳ９１４において物体が検知されたか否かを判定する。さらに、ステップＳ９１５では、ステップＳ９０２において検知された物体とステップＳ９１４において検知された物体とを比較することにより、短焦点プロジェクタ２０７の消灯から再点灯までの間に操作平面上に存在する物体が変化したか否かを判定する。ところで、ステップＳ９１５を実行する場合は、ステップＳ９０９において操作平面上に存在する物体が変化したと判定されたことを前提とするため、ステップＳ９１５を実行する時点で物体が短焦点プロジェクタ２０７の消灯時の状態に戻ることは考えにくい。したがって、ステップＳ９１５では、実質的に、短焦点プロジェクタ２０７の再点灯後に操作平面上に存在する物体が検知され続けているか否か、すなわち、操作平面上から物体が除去されたか否かを判定している。
【００３６】
ステップＳ９１５の判定の結果、物体が検知された場合（すなわち、操作平面上から物体が除去されていない場合）、ステップＳ９１４を繰り返す。物体が検知されない場合（すなわち、操作平面上から物体が除去された場合）、ステップＳ９１１へ進む。これにより、ＧＵＩ部品がユーザのジェスチャー操作を受付可能となり、ユーザのジェスチャー操作は無視されない。その後、本処理を終了する。
【００３７】
図９及び図１０の処理によれば、短焦点プロジェクタ２０７の消灯後に短焦点プロジェクタ２０７を再点灯した場合において、操作平面上から物体が除去されていないとき、ＧＵＩ部品に対するユーザのジェスチャー操作が無視される。これにより、例えば、ユーザがＧＵＩ部品の操作を意図せずにＧＵＩ部品に該当する位置へ手やペンを置いたままの状態において、アプリケーションのＧＵＩ部品が再度投影表示されても、当該手やペンによるＧＵＩ部品に対する操作が無視される。これにより、ＧＵＩ部品の操作を意図せずに置かれた手やペンによるＧＵＩ部品に対する誤操作の発生を防止することができる。
【００３８】
また、図９及び図１０の処理では、物体検知部６０９が、短焦点プロジェクタ２０７が消灯された後から再度、短焦点プロジェクタ２０７が点灯されるまでの間において、書画台２０４の操作平面上の物体検知処理を実行する。より具体的には、距離画像センサ部２０８のオフの前及び距離画像センサ部２０８の再度のオンの後のそれぞれにおいて物体検知部６０９が物体検知処理を実行し、それぞれの検知の結果を比較する（ステップＳ９０９）。これにより、短焦点プロジェクタ２０７が消灯され、且つ距離画像センサ部２０８がオフされた後にユーザがＧＵＩ部品の操作を意図せずに書画台２０４の操作平面上に置いた手やペンを確実に検知することができる。
【００３９】
ところで、短焦点プロジェクタ２０７が消灯される前にユーザがＧＵＩ部品の操作を意図して書画台２０４の操作平面上に手やペンだけでなく、操作に使用する物体を置くことが考えられる。この場合、ユーザは置いた物体を移動（変化）させる可能性が少ない。これに対応して、図９及び図１０の処理では、短焦点プロジェクタ２０７の消灯から再点灯までの間に操作平面上に存在する物体が変化しない場合（ステップＳ９０９でＮＯ）、ＧＵＩ部品に対するジェスチャー操作が無視されない。これにより、ＧＵＩ部品に関連付けられた処理をユーザの意図通りに実行することができ、もって、ユーザに対する利便性を維持することができる。
【００４０】
なお、短焦点プロジェクタ２０７の点灯時に書画台２０４の操作平面上へ複数のＧＵＩ部品が投影表示される場合も考えられる。このような場合、図９及び図１０の処理では、短焦点プロジェクタ２０７の再点灯後も操作平面上から物体が除去されていなければ、全てのＧＵＩ部品に対するジェスチャー操作が無視されるものとする。以下に説明する第２の実施の形態乃至第４の実施の形態においても同様とする。
【００４１】
次に、本発明の第２の実施の形態について説明する。第２の実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。
【００４２】
ユーザがＧＵＩ部品の操作を意図せずにＧＵＩ部品に該当する位置へ手やペンを置く場合としては、短焦点プロジェクタ２０７を消灯して書画台２０４の操作平面上に置かれた書面へ署名する場合だけでなく、カメラスキャナ１０１を起動する場合も考えられる。本実施の形態では、これに対応して、カメラスキャナ１０１を起動する場合、一定の条件の下、ＧＵＩ部品に対するユーザのジェスチャー操作を無視する。
【００４３】
図１１は、本実施の形態に係る表示操作システムの制御方法としての電源オン処理を示すフローチャートである。図１１の処理は、ユーザがカメラスキャナ１０１のコントローラ部２０１における電源キー２１０を押下した際にメイン制御部６０２が実行する。
【００４４】
まず、コントローラ部２０１の電源がオフのとき、電源キー２１０が押下されると、メイン制御部６０２は距離画像センサ部２０８をオンにする（ステップＳ１１０１）。その後、メイン制御部６０２は、物体検知部６０９によって書画台２０４の操作平面上の物体検知処理を実行し、操作平面上に存在する物体を検知する（ステップＳ１１０２）。次いで、メイン制御部６０２は、表示制御部６１３を介して短焦点プロジェクタ２０７を点灯する（ステップＳ１１０３）。さらに、メイン制御部６０２はアプリケーション部６１４を起動する（ステップＳ１１０４）。なお、図１１におけるステップＳ１１０１からステップＳ１１０４までの一連の処理を以下、「起動処理Ｓ１１０５」と定義する。
【００４５】
続く、ステップＳ１１０６では、メイン制御部６０２がステップＳ１１０２において書画台２０４の操作平面上に存在する物体を検知したかどうかを判定する。物体を検知していない場合、メイン制御部６０２は、アプリケーション部６１４からＧＵＩ制御部６１５へ送信されたＧＵＩ部品のデータを用いてＧＵＩ制御部６１５へＧＵＩ部品の表示を実行させる（ステップＳ１１０７）。その後、ステップＳ１１０１でオンにされた距離画像センサ部２０８を通じて操作認識部６０７がユーザのジェスチャー操作を認識すると、メイン制御部６０２は、認識されたジェスチャー操作のＧＵＩ制御部６１５への通知を許可する（ステップＳ１１０８）。これにより、ＧＵＩ部品がユーザのジェスチャー操作を受付可能となる。すなわち、ユーザのジェスチャー操作は無視されない。その後、本処理を終了する。
【００４６】
ステップＳ１１０６の判定の結果、物体を検知している場合、操作認識部６０７がユーザのジェスチャー操作を認識しても、メイン制御部６０２は、認識されたジェスチャー操作のＧＵＩ制御部６１５への通知を禁止する（ステップＳ１１０９）。その結果、ＧＵＩ部品はユーザのジェスチャー操作を受け付けることができず、ユーザのジェスチャー操作は無視される。次いで、メイン制御部６０２は、ステップＳ１１０７と同様に、ＧＵＩ制御部６１５へＧＵＩ部品の表示を実行させる（ステップＳ１１１０）。このとき、ＧＵＩ部品が書画台２０４の操作平面上に投影表示されているにもかかわらず、ＧＵＩ部品に対するユーザのジェスチャー操作は無視される。その後、メイン制御部６０２は、ステップＳ１１０２と同様に、物体検知部６０９によって書画台２０４の操作平面上の物体検知処理を実行し、操作平面上に存在する物体を検知する（ステップＳ１１１１）。次いで、ステップＳ１１１２では、メイン制御部６０２がステップＳ１１１１において書画台２０４の操作平面上に存在する物体を検知したかどうかを判定する。
【００４７】
ステップＳ１１１２の判定の結果、物体を検知している場合（すなわち、操作平面上から物体が除去されていない場合）、ステップＳ１１１０を繰り返す。物体を検知していない場合（すなわち、操作平面上から物体が除去された場合）、ステップＳ１１０８へ進む。これにより、ＧＵＩ部品がユーザのジェスチャー操作を受付可能となり、ユーザのジェスチャー操作は無視されない。その後、本処理を終了する。
【００４８】
図１１の処理によれば、コントローラ部２０１の電源がオフのとき、電源キー２１０が押下された場合において、操作平面上に物体が存在しつづける限り、ＧＵＩ部品に対するユーザのジェスチャー操作が無視される。これにより、例えば、ユーザがＧＵＩ部品の操作を意図せずにＧＵＩ部品に該当する位置へ手やペンを置いたままの状態において、カメラスキャナ１０１を起動しても、当該手やペンによるＧＵＩ部品に対する操作が無視される。これにより、ＧＵＩ部品の操作を意図せずに置かれた手やペンによるＧＵＩ部品に対する誤操作の発生を防止することができる。なお、図１１の処理は、カメラスキャナ１０１を起動するときだけなく、カメラスキャナ１０１のスリープモードからの復帰時にも適用することができる。
【００４９】
次に、本発明の第３の実施の形態について説明する。第３の実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。
【００５０】
図１２は、本実施の形態に係る表示操作システムの制御方法としてのプロジェクタ消灯・再点灯処理を示すフローチャートである。図１２の処理も、図９及び図１０の処理と同様に、ユーザが消灯キー２１１を押下して短焦点プロジェクタ２０７を消灯してからユーザが再度、消灯キー２１１を押下して書画台２０４へ表示画面を投影表示する際にメイン制御部６０２が実行する。
【００５１】
まず、短焦点プロジェクタ２０７から書画台２０４へ表示画面が投影表示されている状態で、ユーザが消灯キー２１１を押下すると、表示制御部６１３はメイン制御部６０２へ消灯キー２１１の押下を通知する。消灯キー２１１の押下の通知に対応してメイン制御部６０２はメイン処理Ｓ９０８を実行する。
【００５２】
次いで、メイン制御部６０２は、短焦点プロジェクタ２０７の消灯から再点灯までの間に操作平面上に存在する物体が変化したか否かを判定する（ステップＳ９０９）。ステップＳ９０９の判定の結果、物体が変化していない場合、メイン制御部６０２は、ステップＳ９１０及びステップＳ９１１を実行する。これにより、ＧＵＩ部品がユーザのジェスチャー操作を受付可能となる。その後、本処理を終了する。
【００５３】
ステップＳ９０９の判定の結果、物体が変化している場合、メイン制御部６０２はステップＳ９１２を実行し、さらに、操作平面上に存在する物体の除去をユーザに要請する物体除去画面表示処理を行う（ステップＳ１２０１）。図１３は、図１２のステップＳ１２０１において表示される物体除去画面の一例を示す図である。図１３に示すように、ステップＳ１２０１では、書画台２０４の操作平面上へ物体であるペン８０４や手８０５の除去をユーザに要請するメッセージ１３０１を表示する。なお、メッセージ１３０１はＧＵＩ部品に対するユーザのジェスチャー操作が無視されている旨を示してもよい。
【００５４】
次いで、メイン制御部６０２はステップＳ９１４、ステップＳ９１５及びステップＳ９１３をこの順で実行する。すなわち、操作平面上に存在する物体の除去が除去されない限り、ＧＵＩ部品が書画台２０４の操作平面上に投影表示されているにもかかわらず、ＧＵＩ部品に対するユーザのジェスチャー操作は無視される。一方、操作平面上に存在する物体の除去が除去されると、ＧＵＩ部品がユーザのジェスチャー操作を受付可能となり、ユーザのジェスチャー操作は無視されない。その後、本処理を終了する。
【００５５】
図１２の処理によれば、短焦点プロジェクタ２０７の消灯後に短焦点プロジェクタ２０７を再点灯した場合において、操作平面上から物体が除去されていないとき、物体の除去をユーザに要請するメッセージ１３０１が表示される。これにより、ユーザはＧＵＩ部品に対するユーザのジェスチャー操作が無視される理由を知ることができ、もって、ユーザに対する利便性を維持することができる。
【００５６】
また、図１２の処理では、操作平面上に存在する物体の除去が除去されると、メッセージ１３０１の表示を中断してもよい。これにより、ＧＵＩ部品に対するユーザのジェスチャー操作が可能になったことを知ることができ、もって、ユーザに対する利便性を向上することができる。
【００５７】
次に、本発明の第４の実施の形態について説明する。第４の実施の形態は、その構成、作用が上述した第２の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。
【００５８】
図１４は、本実施の形態に係る表示操作システムの制御方法としての電源オン処理を示すフローチャートである。図１４の処理も、ユーザがカメラスキャナ１０１のコントローラ部２０１における電源キー２１０を押下した際にメイン制御部６０２が実行する。
【００５９】
まず、コントローラ部２０１の電源がオフのとき、電源キー２１０が押下されると、メイン制御部６０２は起動処理Ｓ１１０５を実行する。次いで、メイン制御部６０２は、ステップＳ１１０２において書画台２０４の操作平面上に存在する物体を検知したかどうかを判定する（ステップＳ１１０６）。ステップＳ１１０６の判定の結果、物体を検知していない場合、メイン制御部６０２は、ステップＳ１１０７及びステップＳ１１０８を実行する。これにより、ＧＵＩ部品がユーザのジェスチャー操作を受付可能となる。その後、本処理を終了する。
【００６０】
ステップＳ１１０６の判定の結果、物体を検知している場合、メイン制御部６０２はステップＳ１１０９を実行し、さらに、図１２の処理におけるステップＳ１２０１の物体除去画面表示処理を行う。次いで、メイン制御部６０２はステップＳ１１１１、ステップＳ１１１２及びステップＳ１１１０をこの順で実行する。すなわち、操作平面上に存在する物体の除去が除去されない限り、ＧＵＩ部品が書画台２０４の操作平面上に投影表示されているにもかかわらず、ＧＵＩ部品に対するユーザのジェスチャー操作は無視される。一方、操作平面上に存在する物体の除去が除去されると、ＧＵＩ部品がユーザのジェスチャー操作を受付可能となり、ユーザのジェスチャー操作は無視されない。その後、本処理を終了する。
【００６１】
図１４の処理によれば、コントローラ部２０１の電源がオフのとき、電源キー２１０が押下された場合において、操作平面上から物体が除去されていないとき、物体の除去をユーザに要請するメッセージ１３０１が表示される。これにより、ユーザはＧＵＩ部品に対するユーザのジェスチャー操作が無視される理由を知ることができ、もって、ユーザに対する利便性を維持することができる。
【００６２】
また、図１４の処理でも、図１３の処理と同様に、操作平面上に存在する物体の除去が除去されると、メッセージ１３０１の表示を中断してもよい。これにより、ＧＵＩ部品に対するユーザのジェスチャー操作が可能になったことを知ることができ、もって、ユーザに対する利便性を向上することができる。
【００６３】
なお、上述した第１乃至第４の実施の形態では、操作平面上に物体が検知されると、ＧＵＩ部品に対するジェスチャー操作が無視されたが、ＧＵＩ部品の位置を記憶したユーザが当該ＧＵＩ部品に関連付けられた処理の実行を急ぐ場合がある。この場合、ユーザは消灯された短焦点プロジェクタ２０７の再点灯前やカメラスキャナ１０１を起動する前に、予め、所望のＧＵＩ部品へ向けて手やペンを差し出すことが考えられる。これに対応して、ステップＳ９０９で物体が変化していると判定され、又はステップＳ１１０６で物体を検知している判定される場合であっても、一定の条件の下、ＧＵＩ部品に対するユーザのジェスチャー操作を無視しないことが利便性の観点からは好ましい。例えば、ステップＳ９０９で物体が変化していると判定されている場合であっても、検知された物体がＧＵＩ部品の操作を明らかに意図する物であった場合、ＧＵＩ部品に対するユーザのジェスチャー操作を無視しない。ＧＵＩ部品の操作を明らかに意図する物としては、ＧＵＩ部品に向かって移動する手、ペンや指し棒（スタイラス）等が該当する。
【００６４】
次に、本発明の第５の実施の形態について説明する。第５の実施の形態は、その構成、作用が上述した第１乃至第４の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。具体的には、第１乃至第４の実施の形態では、複数のＧＵＩ部品が投影表示されていても、操作平面上から物体が除去されていなければ、全てのＧＵＩ部品に対するジェスチャー操作が無視される。一方、第５の実施の形態では、複数のＧＵＩ部品が投影表示されている場合、各ＧＵＩ部品上に物体が存在しているか否かが判定され、その上に物体が存在しているＧＵＩ部品に対するジェスチャー操作のみが無視される。
【００６５】
図１５は、本実施の形態に係る表示操作システムの制御方法としての画面表示処理を示すフローチャートである。図１５の処理は、短焦点プロジェクタ２０７の消灯後に短焦点プロジェクタ２０７を再点灯した場合やコントローラ部２０１の電源がオフのとき、電源キー２１０が押下された場合にメイン制御部６０２が実行する。さらに、図１５の処理は、アプリケーション部６１４がユーザの操作に応じて画面遷移を実行する場合にも、アプリケーション部６１４から画面遷移の実行を通知されたメイン制御部６０２が実行する。
【００６６】
まず、メイン制御部６０２は、物体検知部６０９によって書画台２０４の操作平面上の物体検知処理を実行し、操作平面上に存在する物体を検知する（ステップＳ１５０１）。その後、メイン制御部６０２はＧＵＩ制御部６１５へ複数のＧＵＩ部品の表示を要求する（ステップＳ１５０２）。なお、本実施の形態では、アプリケーション部６１４から複数のＧＵＩ部品のデータがＧＵＩ制御部６１５へ送信されている。
【００６７】
次いで、ＧＵＩ制御部６１５は、複数のＧＵＩ部品の各々について、以下に説明する、ステップＳ１５０４及びステップＳ１５０５の間のステップＳ１５０６乃至ステップＳ１５１０の処理を行う。すなわち、ＧＵＩ部品毎にステップＳ１５０６乃至ステップＳ１５１０の処理を繰り返す。
【００６８】
まず、メイン制御部６０２は、対象となるＧＵＩ部品（以下、「対象ＧＵＩ部品」という。）について、ステップＳ１５０１で検知した物体が対象ＧＵＩ部品上に存在するか否かを判定する（ステップＳ１５０４）。ステップＳ１５０４の判定の結果、物体が対象ＧＵＩ部品上に存在していない場合、対象ＧＵＩ部品に関連付けられた処理の実行を許可する（ステップＳ１５０６）。なお、対象ＧＵＩ部品に処理が関連付けられていなければ、ステップＳ１５０６をスキップする。その後、メイン制御部６０２は、対象ＧＵＩ部品を操作平面上に通常モードで表示する（ステップＳ１５０７）。本実施の形態において、「通常モード」は、対象ＧＵＩ部品をユーザのジェスチャー操作を受付可能な状態で表示するモードを示す。ステップＳ１５０４の判定の結果、物体が対象ＧＵＩ部品上に存在している場合、メイン制御部６０２は、対象ＧＵＩ部品に処理が関連付けられているかどうかを判定する（ステップＳ１５０８）。ステップＳ１５０８の判定の結果、対象ＧＵＩ部品に処理が関連付けられていなければ、ステップＳ１５０７へ進む。対象ＧＵＩ部品に処理が関連付けられていれば、対象ＧＵＩ部品に関連付けられた処理の実行を禁止する（ステップＳ１５０６）。ステップＳ１５０６において対象ＧＵＩ部品に関連付けられた処理の実行が禁止されると、ユーザが対象ＧＵＩ部品をジェスチャーで操作しても当然、関連付けられた処理は実行されない。すなわち、ユーザの対象ＧＵＩ部品に対するジェスチャー操作が実質的に無視される。その後、メイン制御部６０２は、対象ＧＵＩ部品を操作平面上に操作禁止モードで表示する（ステップＳ１５０７）。本実施の形態において、「操作禁止モード」は、対象ＧＵＩ部品をユーザのジェスチャー操作を受付不可能な状態で表示するモードである。操作禁止モードでは、図１６に示すように、ペン８０４が置かれたために関連付けられた処理の実行が禁止された対象ＧＵＩ部品であるボタン８０２が網掛けされて表示される。なお、操作禁止モードでは、関連付けられた処理の実行を禁止された対象ＧＵＩ部品を点滅表示してもよい。図１６では、ボタン８０３の上に物体が存在していないため、ボタン８０３は通常モードで表示され、ボタン８０３に対するユーザのジェスチャー操作は無視されない。ユーザは対象ＧＵＩ部品の網掛け表示や点滅表示を確認することにより、当該対象ＧＵＩ部品に対するジェスチャー操作が無視されることを知ることができる。その後、メイン制御部６０２は、全てのＧＵＩ部品についてステップＳ１５０６乃至ステップＳ１５１０の処理を実行すると、本処理を終了する。
【００６９】
図１７は、本実施の形態に係る表示操作システムの制御方法としてのＧＵＩ部品操作許可処理を示すフローチャートである。図１７の処理は、図１６の処理に続けて実行される。
【００７０】
まず、メイン制御部６０２は、物体検知部６０９によって書画台２０４の操作平面上の物体検知処理を実行し、操作平面上に存在する物体を検知する（ステップＳ１５０１）。      
【００７１】
次いで、ＧＵＩ制御部６１５は、図１２のステップＳ１５０９において関連付けられた処理の実行を禁止されたＧＵＩ部品の各々について、ステップＳ１７０２及びステップＳ１７０３の間のステップＳ１７０４乃至ステップＳ１７０６の処理を行う。すなわち、関連付けられた処理の実行を禁止されたＧＵＩ部品毎にステップＳ１７０４乃至ステップＳ１７０６の処理を繰り返す。ステップＳ１７０４乃至ステップＳ１７０６の処理について以下に説明する。
【００７２】
まず、メイン制御部６０２は、対象となる、関連付けられた処理の実行を禁止されたＧＵＩ部品（以下、「禁止ＧＵＩ部品」という。）について、ステップＳ１７０１で検知した物体が禁止ＧＵＩ部品上に存在するか否かを判定する（ステップＳ１７０４）。ステップＳ１７０４の判定の結果、物体が禁止ＧＵＩ部品上に存在していない場合、禁止ＧＵＩ部品に関連付けられた処理の実行を許可する（ステップＳ１７０５）。その後、メイン制御部６０２は、操作禁止モードから通常モードに修正して禁止ＧＵＩ部品を操作平面上に表示する（ステップＳ１７０６）。ステップＳ１７０４の判定の結果、物体が禁止ＧＵＩ部品上に未だ存在している場合、操作禁止モードを修正しない。その後、メイン制御部６０２は、全ての禁止ＧＵＩ部品についてステップＳ１７０４乃至ステップＳ１７０６の処理を実行すると、全てのＧＵＩ部品が通常モードで表示されているか否かを判定する（ステップＳ１７０６）。ステップＳ１７０６の判定の結果、全てのＧＵＩ部品が通常モードで表示されていなければ、ステップＳ１７０１に戻り、全てのＧＵＩ部品が通常モードで表示されていれば、本処理を終了する。
【００７３】
図１５及び図１７の処理によれば、消灯された短焦点プロジェクタ２０７を再点灯した場合やカメラスキャナ１０１の起動時に電源キー２１０が押下された場合、その上から物体が除去されていないＧＵＩ部品に対するユーザのジェスチャー操作が無視される。すなわち、ユーザが意図せずに複数のＧＵＩ部品の一つに該当する位置へ手やペンを置いたままの状態で各ＧＵＩ部品を投影表示させても、手やペンが置かれたＧＵＩ部品に対するユーザのジェスチャー操作が無視される。これにより、投影表示される複数のＧＵＩ部品の各々に対する誤操作の発生を防止することができる。また、複数のＧＵＩ部品の一つの上に手やペンが置かれても、他のＧＵＩ部品上に手やペンが置かれていなければ、他のＧＵＩ部品に対するユーザのジェスチャー操作が無視されない。その結果、他のＧＵＩ部品の操作に関する利便性を確保することができる。なお、本実施の形態においても、その上から物体が除去されていないＧＵＩ部品が１つでも存在すれば、物体の除去をユーザに要請するメッセージ１３０１を表示してもよい。
【００７４】
本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７５】
１０１  カメラスキャナ
２０１  コントローラ部
２０２  カメラ部
２０４  書画台
２０７  短焦点プロジェクタ
２０８  距離画像センサ部
２１０  電源キー
２１１  消灯キー
８０２，８０３  ボタン      
１３０１  メッセージ
【図１】
2018147307.tif 000003
【図２】
2018147307.tif 000004
【図３】
2018147307.tif 000005
【図４】
2018147307.tif 000006
【図５】
2018147307.tif 000007
【図６】
2018147307.tif 000008
【図７】
2018147307.tif 000009
【図８】
2018147307.tif 000010
【図９】
2018147307.tif 000011
【図１０】
2018147307.tif 000012
【図１１】
2018147307.tif 000013
【図１２】
2018147307.tif 000014
【図１３】
2018147307.tif 000015
【図１４】
2018147307.tif 000016
【図１５】
2018147307.tif 000017
【図１６】
2018147307.tif 000018
【図１７】
2018147307.tif 000019