(57)【特許請求の範囲】
【請求項１】
オブジェクトを含む画像を操作面上に表示させる表示制御手段と、
ユーザの入力によって指定されている前記画像内の位置を認識する認識手段と、
前記認識手段が認識した位置に、前記オブジェクトが表示されている場合に、前記位置が指定され続ける継続時間の長さに応じて、前記オブジェクトに対する異なる編集操作を受け付ける受付手段とを備え、
前記受付手段は、前記異なる編集操作として、前記継続時間が第１の閾値より長い場合に前記オブジェクトをコピーするコピー操作、前記継続時間が前記第１の閾値より長い第２の閾値よりも長い場合に前記オブジェクトを前記画像内からカットするカット操作とを区別して受け付け、前記認識手段が認識した位置が前記ユーザの入力によって指定され続ける継続時間が前記第１の閾値より短い場合、前記コピー操作によってコピーされたオブジェクト、あるいは前記カット操作によってカットされたオブジェクトを、前記認識手段が認識した位置にペーストするペースト操作を受け付けることを特徴とする情報処理装置。
【請求項２】
オブジェクトを含む画像を操作面上に表示させる表示制御手段と、
ユーザの指によってタッチされている前記画像内の位置を認識する認識手段と、
前記ユーザが複数の指のうちの何れを前記タッチに用いたかを識別する識別手段と、
前記認識手段が認識した前記タッチされている位置に、前記オブジェクトが表示されている場合に、前記タッチされている位置に表示されているオブジェクトの情報を、前記識別手段が識別した指と関連付けて記憶領域に保持する保持手段と、
前記認識手段が認識した前記タッチされている位置に、前記オブジェクトが表示されている場合に、前記位置が指定され続ける継続時間の長さに応じて、前記オブジェクトに対する異なる編集操作を受け付ける受付手段とを備え、
前記受付手段は、前記異なる編集操作として、少なくとも前記オブジェクトをコピーするコピー操作、あるいは前記オブジェクトを前記画像内からカットするカット操作とを区別して受け付けることを特徴とする情報処理装置。
【請求項３】
前記コピー操作とは、前記指定されたオブジェクトの情報を記憶領域に格納することを前記情報処理装置に指示する操作であって、
前記カット操作とは、前記指定されたオブジェクトの情報を記憶領域に格納し、かつ、前記オブジェクトを前記画像内から削除することを前記情報処理装置に指示する操作であって、
前記表示制御手段は、前記受付手段が前記カット操作を受け付けた事に応じて、前記操作面上に表示させている前記画像内から前記オブジェクトを削除することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
投影手段を制御して、前記保持手段が保持した情報に基づいて、前記識別手段が識別した前記ユーザの指の上に、該指に関連付けられたオブジェクトを投影させる投影制御手段を更に備えることを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記ユーザが少なくとも１本の指を折り曲げた場合に、前記識別手段は、前記折り曲げられた少なくとも１本の指を識別し、
前記投影制御手段は、前記保持手段が保持した情報に基づいて、前記ユーザの手の甲の上に、前記識別された少なくとも１本の指の上に関連付けられたオブジェクトを、前記オブジェクトを前記ユーザの指の上に投影させる場合よりも大きく投影させることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記投影制御手段は、前記ユーザが折り曲げた指が１本である場合には、該指に関連付けられたオブジェクトを、前記ユーザの手の甲の中央に投影させ、
前記ユーザが折り曲げた指が複数である場合には、該複数の指に関連付けられたオブジェクトを、前記折り曲げられた複数の指の位置関係に基づいて、前記ユーザの手の甲の上において前記複数の指のそれぞれに対応する位置に投影させることを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
前記投影制御手段は、前記ユーザが片手の全ての指を密着させた場合には、前記保持手段が保持した情報に基づいて、前記手の上に、前記手の各指に関連付けられたオブジェクトを全て投影させることを特徴とする請求項４又は５に記載の情報処理装置。
【請求項８】
ユーザが行う操作を認識する認識手段と、
前記ユーザが複数の指のうちの何れを前記操作に用いたかを識別する識別手段と、
前記認識手段によって、前記ユーザが、操作面上のオブジェクトの中の特定のオブジェクトを指で指定する操作が認識された場合に、
前記指定されたオブジェクトの情報を、前記識別手段が識別した指と関連付けて保持する保持手段と、
投影手段を制御して、前記保持手段が保持した情報に基づいて、前記識別手段が識別した前記ユーザの指の上に、該指に関連付けられたオブジェクトを投影させる制御手段と、
を備えることを特徴とする情報処理装置。
【請求項９】
前記認識手段は、ユーザが前記特定のオブジェクトを指で第１の閾値以上の間タッチする操作を、前記オブジェクトを指定する操作として認識することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記操作面上のオブジェクトは、表示手段によって前記操作面上に表示された電子データに含まれるオブジェクトであって、
前記認識手段によってユーザの指が前記特定のオブジェクトを第２の閾値以上の間タッチする操作が認識された場合、
前記制御手段は、前記表示手段を制御して、前記操作面上から、前記特定のオブジェクトを削除させることを特徴とする請求項８又は９に記載の情報処理装置。
【請求項１１】
前記認識手段によって、前記ユーザが前記電子データ中の特定の位置を指定する操作が認識された場合に、
前記制御手段は、前記表示手段を制御して、前記保持手段が保持した情報に基づいて、前記識別された指がタッチした位置に、前記識別された指に関連付けられたオブジェクトを表示させることを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記認識手段は、ユーザが特定の指で前記電子データの一部を第１の閾値より短い間だけタッチし続ける操作を、前記電子データ中の特定の位置を指定する操作として認識することを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記表示手段は、投影手段を有し、前記操作面上に投影することによって、前記オブジェクトを含む電子データを表示することを特徴とする請求項１０乃至１１のいずれか１項に記載の情報処理装置。
【請求項１４】
前記ユーザの指が前記電子データの一部をタッチし続ける継続時間の長さに応じて、前記電子データに対する異なる編集操作を受け付ける受付手段を更に備えることを特徴とする請求項１０乃至１３のいずれか１項に記載の情報処理装置。
【請求項１５】
コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至１４のいずれか１項に記載された情報処理装置として動作させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【請求項１７】
表示制御手段により、オブジェクトを含む画像を操作面上に表示させる表示制御工程と、
認識手段により、ユーザの入力によって指定されている前記画像内の位置を認識する認識工程と、
受付手段により、前記認識工程において認識した位置に、前記オブジェクトが表示されている場合に、前記位置が指定され続ける継続時間の長さに応じて、前記オブジェクトに対する異なる編集操作を受け付ける受付工程とを備え、
前記受付工程では、前記異なる編集操作として、前記継続時間が第１の閾値より長い場合に前記オブジェクトをコピーするコピー操作、前記継続時間が前記第１の閾値より長い第２の閾値よりも長い場合に前記オブジェクトを前記画像内からカットするカット操作とを区別して受け付け、前記画像内の位置が前記ユーザの入力によって指定され続ける継続時間が前記第１の閾値より短い場合、前記コピー操作によってコピーされたオブジェクト、あるいは前記カット操作によってカットされたオブジェクトを、前記位置にペーストするペースト操作を受け付けることを特徴とする情報処理装置の制御方法。
【請求項１８】
表示制御手段により、オブジェクトを含む画像を操作面上に表示させる表示制御工程と、
認識手段により、ユーザの指によってタッチされている前記画像内の位置を認識する認識工程と、
識別手段により、前記ユーザが複数の指のうちの何れを前記タッチに用いたかを識別する識別工程と、
保持手段により、前記認識工程で認識された前記タッチされている位置に、前記オブジェクトが表示されている場合に、前記タッチされている位置に表示されているオブジェクトの情報を、前記識別工程で識別された指と関連付けて記憶領域に保持する保持工程と、
受付手段により、前記認識工程で認識された前記タッチされている位置に、前記オブジェクトが表示されている場合に、前記位置が指定され続ける継続時間の長さに応じて、前記オブジェクトに対する異なる編集操作を受け付ける受付工程とを備え、
前記受付工程では、前記異なる編集操作として、少なくとも前記オブジェクトをコピーするコピー操作、あるいは前記オブジェクトを前記画像内からカットするカット操作とを区別して受け付けることを特徴とする情報処理装置の制御方法。
【請求項１９】
認識手段により、ユーザが行う操作を認識する認識工程と、
識別手段により、前記ユーザが複数の指のうちの何れを前記操作に用いたかを識別する識別工程と、
前記認識工程において、前記ユーザが操作面上のオブジェクトの中から特定のオブジェクトを指で指定する操作が認識された場合に、
保持手段により、前記指定されたオブジェクトの情報を、前記識別工程において識別した指と関連付けて保持する保持工程と、
制御手段により、投影手段を制御して、前記保持手段が保持した情報に基づいて、前記識別手段が識別した前記ユーザの指の上に、該指に関連付けられたオブジェクトを投影させる制御工程と、
を有することを特徴とする情報処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のオブジェクトを操作する情報処理装置に関する。
【背景技術】
【０００２】
プロジェクターによって投影された映像に対し、ユーザのジェスチャを認識することによって直感的な操作を行うユーザインタフェースシステムが利用されている。こうしたシステムでは、タッチパネルや映像認識技術を利用して投影映像に対するユーザのジェスチャを認識する。
【０００３】
非特許文献１では、ユーザの手の位置と動きを検出し、投影されている映像中にユーザの手のシルエットを投影する。そして、ユーザが手を「握る」ジェスチャと「開く」ジェスチャとその時の位置を検出することにより、投影されたデスクトップ上のアイコンをシルエットに握って運ばせるようにする動作に応じて、アイコンを移動させる操作を認識している。また、ユーザの掌に、運ばれているアイコンを投影することで、アイコンを握って運ぶという直感的な操作を演出している。
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】山本  豪志朗，徐  会  川，佐  藤  宏  介，“掌シルエットの重畳表示によるデスクトップアクセス”，インタラクション，２００８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来は、複数のアイコンを直感的に操作する技術については確立されていない。例えば、複数のアイコン（オブジェクト）を順不同に移動させたい場合に、上記非特許文献１の場合には、手を握って、移動させ、開く、という動作を繰り返す必要がある。
【０００６】
本発明は上記の問題点に鑑みてなされたものであり、複数のオブジェクトを操作する際の操作性を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達するために、本発明の情報処理装置は、オブジェクトを含む画像を操作面上に表示させる表示制御手段と、ユーザの入力によって指定されている前記画像内の位置を認識する認識手段と、前記認識手段が認識した位置に、前記オブジェクトが表示されている場合に、前記位置が指定され続ける継続時間の長さに応じて、前記オブジェクトに対する異なる編集操作を受け付ける受付手段とを備え、前記受付手段は、前記異なる編集操作として、前記継続時間が第１の閾値より長い場合に前記オブジェクトをコピーするコピー操作、前記継続時間が前記第１の閾値より長い第２の閾値よりも長い場合に前記オブジェクトを前記画像内からカットするカット操作とを区別して受け付け、前記認識手段が認識した位置が前記ユーザの入力によって指定され続ける継続時間が前記第１の閾値より短い場合、前記コピー操作によってコピーされたオブジェクト、あるいは前記カット操作によってカットされたオブジェクトを、前記認識手段が認識した位置にペーストするペースト操作を受け付けることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、オブジェクトを含む画像に対してコピー、カットを含む編集操作を行う際の操作性が向上する。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置の構成と外観の一例を示す図
【図２】情報処理装置が実行する電子データ編集操作の制御処理の流れの一例を示すフローチャート
【図３】投影されたドキュメントに対するオブジェクトのコピー及びカット操作の一例を示す図
【図４】投影されたドキュメントに対するオブジェクトのペースト操作の一例を示す図
【図５】情報処理装置が実行する電子データ編集操作の制御処理の流れの一例を示すフローチャート
【図６】情報処理装置が実行する拡大投影処理の流れの一例を示すフローチャート
【図７】情報処理装置が保持している情報をユーザに提示する様子を示す図
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【００１１】
＜第１の実施形態＞
本実施形態では、プロジェクターにより作業空間に投影された電子データに対する編集作業について説明する。また、本実施形態で編集操作を行う電子データは、文字や画像などのオブジェクトを含む電子ドキュメントデータであるものとする。
【００１２】
図１（Ａ）は、本実施形態における情報処理装置のハードウェア構成図である。同図において、ＣＰＵ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、システムバス１０８に接続された各構成要素を制御する。ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。ＲＡＭ１０３（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。記憶装置１０４はハードディスクや外部に接続された記憶装置などからなり、本実施形態に係る電子データなどの各種データやプログラムを記憶する。カメラ１０５は、ユーザが操作を行う作業空間を撮像し、入力画像としてシステムに提供する。プロジェクター１０６は作業空間に電子データやユーザインタフェース部品を含む映像を投影する。ここで作業空間とは、プロジェクター１０６から、電子データを投影するための操作面までの空間であり、プロジェクター１０６は、作業空間上でジェスチャを行うユーザの手に対しても、映像の投影を行う事が出来る。タッチセンサ１０７は、例えば赤外線センサで、作業空間にある物体と、操作面との距離に基づいて、物体が操作面に触れたことを検知する。
【００１３】
本実施形態の情報処理装置では、プロジェクター１０６が、電子データを投影する操作面とユーザの手を含む作業空間に対して、単一の投影画像を投影する例を説明する。ただし、プロジェクター１０６は複数あってもよい。その場合には、操作面に投影する映像と、ユーザの手に投影する映像を異なるプロジェクター１０６から投影することによって、プロジェクター１０６からの距離が様々な対象物に対して、より精度よく映像を投影することができる。
【００１４】
図１（Ｂ）は、本実施形態における情報処理装置の機能構成を表す図である。同図において、撮像部２０１は、カメラ１０５により、操作面とユーザの手を含む作業空間を撮像する。検出部２０２は、ＣＰＵ、ＲＯＭ、ＲＡＭ（以下、ＣＰＵ等）によって構成され、撮像部２０１によって撮像された映像より、ユーザの手が写っている領域、及びユーザの手の指が写っている領域を検出する。以降、ユーザの手を検出する、指を検出する、と言う。認識部２０３は、ＣＰＵ等によって構成され、撮像部２０１より撮像された映像において、検出部２０２よって検出されたユーザの手と指を追跡し、ユーザが行うジェスチャ操作を認識する。認識部２０３が認識するジェスチャは、予め情報処理装置に登録されているものとする。識別部２０４は、ＣＰＵ等によって構成され、認識部２０３によって認識された操作を実行した指がユーザのどの指であるかを識別する。保持部２０５は、ＣＰＵ等によって構成され、ＲＡＭ１０３に設けられる記憶領域に、投影されている電子データに含まれるオブジェクトのうち、ユーザがジェスチャ操作で指定したオブジェクトの情報を、ジェスチャ操作に用いられた指に関連付けて保持する。受付部２０６は、ＣＰＵ等によって構成され、認識部２０３が認識したジェスチャ操作によって、電子データに対して指示された編集操作を受け付け、必要に応じて記憶部２０７に記憶された電子データを更新する。記憶部２０７は記憶装置１０４によって構成され、編集操作の対象となる電子データを記憶する。制御部２０８は、ＣＰＵ等によって構成され、認識部２０３によって認識されたジェスチャに応じて保持部２０５に保持されている情報を参照し、作業空間に投影される投影画像を生成する。投影部２０９は、プロジェクター１０６により、制御部２０８によって生成された投影映像を、操作面とユーザの手を含む作業空間に投影する。距離検知部２０８は、タッチセンサ１０７及びＣＰＵ等により、検出部２０２よって検出されたユーザの手と操作面との距離を検知に基づいて、ユーザが操作面にタッチしたことを認識部２０３に通知する。
【００１５】
ここで図１（Ｃ）は、本実施形態における情報処理装置の概観の一例を示す図である。本実施形態では、操作面に対し、プロジェクター１０６は上部に設置され、上から電子データを含む投影画像を投影するものとする。また、カメラ１０５も同様に上部に設置され、俯瞰撮影された映像に基づき、ユーザのジェスチャ操作を認識するものとする。
【００１６】
図２は、本発明の一実施形態の情報処理装置が実行する、電子データ編集操作の制御処理の流れを表すフローチャートである。この処理は、情報処理装置の各機能部を構成するＣＰＵがＲＯＭに記録されたプログラムをＲＡＭに展開して実行することで実現される。また、この処理は、情報処理装置が投影部２０９によって電子データを投影している時に、検出部２０２が作業空間を撮像した映像から、ユーザの手を検出したことに応じて起動される。
【００１７】
ステップＳ３０１において、検出部２０２が、検出されたユーザの手から、さらにユーザの指を検出する。本実施形態の検出部２０２は、撮像部２０１が一定周期毎に作業空間を撮像した映像の、前後のフレームの差分によって動体を検出し、動体が写っている領域の形状と、予め学習された人の手の形状データとのパターンマッチングによって、ユーザの手を検出する。さらに、パターンマッチングの結果に基づき、撮像部２０１が撮像する映像を解析して、ユーザの手の甲の部分と指の部分を区別し、ユーザの各指を検出する。
【００１８】
次に、ステップＳ３０２において、認識部２０３が、作業空間内においてユーザの各指を追跡し、ユーザが指を用いて行う所定のジェスチャを認識する。本実施形態では、認識部２０３は、距離検知部２０８から追跡しているユーザの指が操作面にタッチしたことが通知された場合に、ユーザによって操作面上の一部をタッチするタッチ操作が入力されたと認識する。
【００１９】
ステップＳ３０３では、認識部２０３が、ユーザによって投影されている電子データの一部がタッチされるタッチ操作が行われたか否かを判定する。本実施形態では、認識部２０３は、距離検知部２０８から、検出部２０２よって検出されたユーザの指と操作面の距離が所定の閾値以下となり、ユーザが指で操作面に触れたことが通知された場合に、タッチ操作が行われたと判定する。タッチ操作が行われたと判定された場合には（ステップＳ３０３でＹＥＳ）、ステップＳ３０４に進む。一方、タッチ操作は行われていないと判定された場合には（ステップＳ３０４でＮＯ）、ステップＳ３１８に進む。
【００２０】
次に、ステップＳ３０４において、識別部２０４が、タッチ操作に用いられた指を識別する。本実施形態では、識別部２０４は、検出部２０２に検出されたユーザの指のうち、操作面との間の距離が所定の閾値以下である指を特定する。そして、検出部２０２が検出しているユーザの手のうち手の甲の部分に対する、特定された指の位置の相対位置に基づいて、いずれの指が操作面にタッチしたかを識別し、識別した指を示す情報を保持する。例えば、右手の甲に対して中央に位置する指は中指であり、一番右に位置する指は小指であると識別ができる。ただし、ユーザの指を識別する方法がこれに限らず、例えば、ユーザが指に個別のセンサを取り付けたキャップなどを装着し、センサの位置検知手段がセンサを追跡することで、タッチ操作に用いられた指を識別可能としてもよい。
【００２１】
ステップＳ３０５において、認識部２０３は、ユーザによってタッチされた位置（タッチ位置）を特定し、特定された位置を示す情報を保持する。本実施形態では、認識部２０３は、検知部２０２が検知した指の情報と、識別部２０４が識別したタッチ操作に用いられた指の情報から、タッチ操作が行われた時点での識別された指の先端の位置をタッチ位置として特定し、操作面上での座標情報を保持する。
【００２２】
次に、ステップＳ３０６において、認識部２０３は、識別された指によるタッチが開始されてからＴｃｏ（第１の閾値）秒が経過したか否かを判定する。Ｔｃｏ秒が経過したと判定された場合には（ステップＳ３０６でＹＥＳ）、ステップＳ３０７に進む。一方で、Ｔｃｏ秒が経過していないと判定された場合には（ステップＳ３０６でＮＯ）、ステップＳ３１９に進む。本実施形態では、一例としてＴｃｏは１秒であるものとする。
【００２３】
本実施形態では、オブジェクトがタッチされた場合には、ユーザによって特定のオブジェクトを指定する操作が行われたと考える。オブジェクトがタッチされていない場合には、電子データ中の特定の位置を指定する操作が行われたと考える。そこで、ステップＳ３０７では、認識部２０３が、オブジェクトがタッチされているのか否かを判定する。本実施形態では、認識部２０３は、ステップＳ３０５で保持したタッチ位置を示す座標情報を基に、制御部２０８が投影部に投影させている映像情報において、タッチ位置に対応する位置に投影されているオブジェクトを特定する。タッチ位置に投影されているオブジェクトが特定できれば、オブジェクトがタッチされていると判定する。オブジェクトがタッチされていると判定された場合には（ステップＳ３０７でＹＥＳ）、ステップＳ３０８に進む。一方、オブジェクトがタッチされていないと判定された場合には（ステップＳ３０７でＮＯ）には、ステップＳ３１６に進む。
【００２４】
なお、タッチしたオブジェクトの特定については、ドキュメントから画像領域を抽出する自動領域分割処理や、ＯＣＲに基づく文字列認識処理を利用しても構わない。このような処理を加えることにより、タッチしたオブジェクトを認識する精度の向上が期待される。また、撮像部２０１が撮像した映像に基づき、特定されたタッチ位置に投影されているオブジェクトを認識し、特定することもできる。
【００２５】
ステップＳ３０８において、保持部２０５が、タッチ位置に対応する位置に投影されているオブジェクト、すなわちユーザにタッチされたオブジェクトの情報を、ステップＳ３０５で識別された指と関連付けて保持する。保持部２０５は、識別部２０４からタッチ操作に用いられた指の識別情報を取得するとともに、認識部２０３が特定したタッチされたオブジェクトの情報を制御部２０８から取得し、関連付けて保持する。既にその指に関連付けられた情報が保持されていた場合には、上書きして更新した情報を保持する。ここで保持される情報は、ユーザの特定の指を示す識別情報（例えばＩＤ）と、タッチされたオブジェクトの内容や形状、大きさ、色等の情報である。オブジェクトがテキストであった場合には、テキストの内容およびフォントや色などの装飾情報を、タッチ操作に用いられた指に関連付けて保持する。
【００２６】
そして、ステップＳ３０９において、制御部２０８は、保持部２０５に保持された情報に基づいて、ステップＳ２０５で識別された指の上に、関連付けられたオブジェクトを投影する投影画像を生成する。本実施形態の制御部２０８は、検出部２０２が検出している指の位置を示す情報を取得しその位置に、保持部２０５に保持されている情報に基づいて、その指に関連付けられているオブジェクトを配置した投影画像を生成する。その際、ユーザの各指の上の領域に、関連付けられているオブジェクトが収まるように、投影するサイズを縮小したり、簡略化した指標に変換したりする調整を行う。
【００２７】
ステップＳ３１０では、投影部２０９が、制御部２０８によって生成された投影画像を取得し、作業空間に投影する。このとき、制御部２０８及び投影部２０９は、検出部２０２が検出しているユーザの手の位置を追跡し、ユーザが手を動かした場合には、追従してユーザの指の上に、関連付けられたオブジェクトを投影し続ける。
【００２８】
次に、ステップＳ３１１においては、認識部２０３が、識別された指によるタッチが開始されてから識別された指によるタッチが解除されないままＴｃｕ（第２の閾値）秒が経過したか否かを判定する。タッチが解除されないまま開始からＴｃｕ秒が経過したと判定された場合には（ステップＳ３１１でＹＥＳ）、ステップＳ３１４に進む。一方で、識別された指によるタッチが開始されてからＴｃｏ秒が経過した後、Ｔｃｕ秒が経過する前にタッチが解除されたと判定された場合（ステップＳ３１１でＮＯ）には、ステップＳ３１２に進む。なお、本実施形態では、一例としてＴｃｕは２秒であるものとする。
【００２９】
本実施形態では、ユーザが電子データに含まれる特定のオブジェクトをＴｃｏ秒以上Ｔｃｕ秒未満の間タッチした場合、ユーザはタッチしたオブジェクトをコピーする操作を行ったものとする。従って、ステップＳ３１２では、受付部２０６が、電子データに対する編集指示として、コピー操作を受け付け、処理を終了する。オブジェクトのコピーが指示された場合、電子データには変更が生じないため、記憶部２０７に記憶された電子データは更新されない。
【００３０】
また、本実施形態では、ユーザが電子データに含まれる特定のオブジェクトをＴｃｕ秒以上タッチし続けた場合、ユーザはタッチしたオブジェクトをカットする操作を行ったものとする。従って、ステップＳ３１３では、受付部２０６が、電子データに対する編集指示として、カット操作を受け付ける。オブジェクトのカットが指示された場合、電子データ上では当該オブジェクトが削除されるという変更が生じる。そのため、受付部２０６は、さらに編集された電子データの保存が指示された場合には、記憶部２０７に記憶された電子データを更新する。なお、編集された電子データの保存は、別途異なるジェスチャ操作による指示を受け付けたことに応じて実行してもよく、編集操作を受け付けた時点で自動的に実行してもよい。
【００３１】
ステップＳ３１４では、制御部２０８が、ユーザにタッチされていたオブジェクトを、削除した投影画像を生成する。本実施形態の場合、投影部２０９が投影していた投影画像に含まれる電子データの中から、ユーザが継続してタッチしているオブジェクトを削除する。そして、タッチされていたオブジェクトが削除された電子データを操作面に投影し、かつ、ユーザの指の上に当該指に関連付けられたオブジェクトを投影する画像を生成する。
【００３２】
ステップＳ３１５では、投影部２０９が、制御部２０８によって生成された投影画像を取得し、作業空間に投影する。制御部２０８及び投影部２０９は、検出部２０２が検出しているユーザの手及び指の位置を追跡し、ユーザが手を動かした場合には、追従してユーザの指の上に、関連付けられたオブジェクトを投影し続ける。
【００３３】
一方、ステップＳ３０７において、オブジェクトがタッチされていないと判定され、ステップＳ３１６に進んだ場合には、保持部２０５が保持する情報を参照し、ステップＳ３０４で識別された指に過去に関連付けられた情報があれば、削除する。そして、ステップＳ３１７において、識別された指の上には如何なるオブジェクトも投影しない投影画像を生成する。すなわち、識別された指の上に、過去に関連付けられたオブジェクトが投影されていた場合には、指の上に投影するオブジェクトを削除した投影画像を生成して、ステップＳ３１５に進む。なお、ステップＳ３０４において識別された指に、過去に関連付けられた情報がない場合には、ステップＳ３１６及びステップＳ３１７のステップでは処理を行わずに、処理を終了する。
【００３４】
また、ステップＳ３０３において認識部２０３によってタッチ操作が認識されず、ステップＳ３１８に進んだ場合には、制御部２０８が、検出されている各指の上に関連づけられているオブジェクトをそれぞれ投影する投影画像を生成する。本実施形態の制御部２０８は、保持部２０５に保持された関連付け情報を参照し、各指の上に、その指関連付けられたオブジェクトを投影する投影画像を生成する。このとき、検出部２０２が検出している指の位置を示す情報を取得し、その位置に、保持部２０５に保持されている情報に基づいて、その指に関連付けられているオブジェクトを配置した投影画像を生成する。その際、ユーザの各指の上の領域に、関連付けられているオブジェクトが収まるように、投影するサイズを縮小したり、簡略化した指標に変換したりする調整を行う。
【００３５】
また、ステップＳ３０６において、識別された指によるタッチが開始されてから１秒が経過していないと判定された場合には、ステップＳ３１９において、認識部２０３が、タッチが解除されたか否かを判定する。タッチが解除されたと判定された場合には（ステップＳ３１９でＹＥＳ）、ステップＳ３２１に進む。一方で、タッチが継続されていると判定された場合には（ステップＳ３１９でＮＯ）には、ステップＳ３０６に戻る。
【００３６】
本実施形態では、タッチ操作がＴｃｏ秒未満で解除された場合、ユーザは過去にコピー（カット）したオブジェクトをペーストする操作を行ったものとする。従って、ステップＳ３２０では、受付部２０６が、電子データに対する編集指示として、ペースト操作を受け付ける。オブジェクトのペーストが指示された場合、電子データ上では当該オブジェクトが付加されるという変更が生じる。そのため、受付部２０６は、さらに編集された電子データの保存が指示された場合には、記憶部２０７に記憶された電子データを更新する。なお、編集された電子データの保存は、別途異なるジェスチャ操作による指示を受け付けたことに応じて実行してもよく、編集操作を受け付けた時点で自動的に実行してもよい。
【００３７】
ステップＳ３２１では、制御部２０８が、保持部２０５に保持されている情報を参照し、ステップＳ２０５において識別部２０４に識別された指に関連付けられているオブジェクトの情報を取得する。すなわち、制御部２０８は、タッチ操作に用いられた指に関連付けられているオブジェクトの情報を取得する。
【００３８】
そして、ステップＳ３２２において、制御部２０８は、ステップＳ３２１で取得したオブジェクトの情報に基づいて、ステップＳ３０５において特定されていたタッチ位置に、タッチした指に関連づけられているオブジェクトを合成した投影画像を生成する。そして、ステップＳ３１５において、投影部２０９が、生成部２０６が生成した投影画像を取得し、作業空間に投影画像を投影する。
【００３９】
以上説明したように、本実施形態では、ユーザがタッチ操作を行った指を識別し、タッチされたオブジェクトの情報をその指と関連付けて保持する。また、タッチ操作の継続時間に応じて、コピー、カット、ペーストの操作を切り替える。
【００４０】
ここで、認識部２０３が、タッチ操作の継続時間に応じて異なる操作を認識する処理について説明する。
【００４１】
本実施形態では、ステップＳ３０６において用いるタッチ操作の継続時間の第１の閾値Ｔｃｏを１秒、ステップＳ３１１において用いるタッチ操作の継続時間の第２の閾値Ｔｃｕを２秒（タッチ開始時からの継続時間）としている。そして、ペースト操作に要するタッチ継続時間はＴｃｏ未満、コピー操作に要するタッチ継続時間はＴｃｏ以上Ｔｃｕ未満、カット操作に要するタッチ継続時間Ｔｃｕである。このように、ペースト操作に必要なタッチ操作の継続時間は、コピーまたはカット操作より短く設定する。これは、１回のコピーまたはカット操作の実行に対し、ペースト操作の実行回数は１回以上であることが予想されるからである。実行頻度の高いペースト操作に必要なタッチ継続時間を最短のＴｃｏ未満とすることにより、作業の効率化を図ることができる。また、コピー操作とカット操作において、保持部２０５が、タッチ操作に用いられた指とタッチされたオブジェクトとの情報を関連付けて保持し、投影部２０９がオブジェクトをタッチ操作に用いられた指の上に投影することは、両操作に共通した処理である。よってタッチ継続時間がＴｃｏに達した時点で、オブジェクト情報の保持と、指へのオブジェクトの投影を実行し、先にコピー操作を完了する。ユーザは、指へのオブジェクトの投影が開始されたことで、コピー操作が完了したことを直感的に理解できる。さらにタッチを継続して、継続時間がＴｃｕへ達した場合には、投影されている電子データからタッチされていたオブジェクトが削除される。ユーザは、タッチしているオブジェクトが投影されなくなったことで、カット操作の実行が完了したことを直感的に理解できる。このように、コピーとカットを段階的に実行し投影映像を介して、ユーザに対する視覚的なフィードバックを与えることにより、各操作に必要なタッチ継続時間を満たしたことをユーザに提示できる。この結果、不要なタッチ時間を節約することが可能となり、編集作業の高速化が期待される。
【００４２】
ここで、図３及び図４を参照し、具体的に、第１の実施形態による情報処理装置によってユーザが電子データの編集作業を行う操作例を説明する。
【００４３】
＜コピー操作＞
図３（Ａ）にコピー操作の流れを示す。ここで１ａ、１ｂ、１ｃは、コピー操作中の作業空間の変化と、それぞれの時点におけるユーザの手の様子を示している。
【００４４】
まず、投影部２０９によって、操作面にハート、スター、ダイヤのオブジェクトを含む電子データが投影されている（１ａ）。ここで、ユーザが右手の人差し指を用いて操作面上のハートをタッチする。タッチ状態が継続されたまま１秒が経過すると、右手の人差し指とハートが関連付けられた情報が保持部２０５に保持される。さらに、ユーザの右手の人差し指の上に、関連付けられたオブジェクトとして、ハートが投影される（１ｂ）。その後、さらに１秒が経過しない内に、人差し指を操作面から離すことにより、コピー操作が完了となる（１ｃ）。
【００４５】
＜カット操作＞
図３（Ｂ）にカット操作の流れを示す。ここで２ａ、２ｂ、２ｃ、２ｄは、コピー操作中の作業空間の変化と、それぞれの時点におけるユーザの手の様子を示している。
【００４６】
前述のコピー操作が完了した時点において、作業空間では、投影部２０９によって、操作面にハート、スター、ダイヤのオブジェクトが、そしてユーザの右手の人差し指の上にハートが投影されている（２ａ）。ここで、ユーザが、右手の中指を用いて操作面上のスターをタッチする。タッチ状態で１秒が経過すると、右手の中指とスターが関連付けられた情報が保持部２０５に保持される。そして、ユーザの右手中指の上に、関連付けられたオブジェクトとして、スターが新たに投影される（２ｂ）。さらに、タッチ状態を維持したまま１秒経過すると、操作面に投影された電子データからスターが除去される（２ｃ）。その後、ユーザが中指を操作面から離すことにより、カット操作が完了となる（２ｄ）。
【００４７】
＜ペースト操作＞
図４にペースト操作の流れを示す。ここで３ａ、３ｂ、３ｃは、前述のカット操作終了後にペースト操作を行う場合の作業空間の変化と、それぞれの時点におけるユーザの手の様子を示している。
【００４８】
前述のカット操作が完了した時点において、操作面にはハート、ダイヤのオブジェクトが、ユーザの右手には人差し指と中指の上にそれぞれハートとスターが投影されている（３ａ）。ここで、ユーザが右手の人差し指を用いて操作面上の任意の位置をタッチする（３ｂ）。その後、１秒以内に操作面から人差し指を離すと、タッチした位置に、保持部２０５が人差し指と関連付けて保持しているオブジェクト（ハート）が投影され、ペースト操作が完了となる（３ｃ）。
【００４９】
なお、ここでは、ユーザがコピー（カット）を行ったのと同一の電子データに対して、ペースト操作を行う操作例を説明したが、別の電子データに対してペーストを行うこともできる。その場合、別途他の電子データやアプリケーションを開く操作を行う間は、ユーザの指に対する投影は継続していてもよいし、一旦投影を中止し、ペースト操作が可能な状態になった時点で投影を再開してもよい。このような場合には、ユーザは投影が再開されたことにより、ペースト操作が可能であることを直感的に理解できる。また、ユーザの指を追跡して投影を行うための情報処理装置の処理負荷、および長時間肌にプロジェクターからの投影が行われることによる人体への負担を軽減することもできる。
【００５０】
以上のとおり、本発明によれば、コピー（カット）されたオブジェクトの情報が情報処理装置に保持され、ペースト位置へ移動される一連の流れを、指へのオブジェクトの投影としてユーザへ提示することが可能となる。コピー（カット）操作によって、保持されたオブジェクトの情報は、ユーザが操作に用いた指の上に投影されるため、ユーザは複数のオブジェクトをコピー（カット）する操作と、保持されている情報の理解を直感的に行うことが可能である。また、本実施形態は、複数のオブジェクトを、順不同にコピー、カット、あるいはペーストする操作を実現する。特に、任意の指を用いてタッチ操作を行うことにより、操作の対象とするオブジェクトあるいは位置の決定と、保持される情報に対する識別情報の設定とを同時に行うことが可能である。このように、本実施形態は、電子データに対するコピー、カット、ペーストの編集操作を行う直感的なユーザインタフェースシステムを提供できる。
【００５１】
なお、本実施形態では、タッチ操作の継続時間に基づき、コピー、カット、ペーストの操作を判別したが、本発明はこれに限るものではなく、一定時間内に行われたタッチ操作回数によって判別してもよい。例えば、１度タッチして離した後、０．５秒以内に同じ個所をタッチしなければペースト、０．５秒以内に同じ個所をタッチすればコピー、さらに０．５秒以内に同じ個所をタッチすればカットとしても構わない。このような変形によれば、タッチ状態での時間経過を待機する必要がないので、編集操作の高速化する効果がある。また、音声認識に基づきコピー、カット、ペーストの操作を判別しても構わない。例えば、コピー（カット）したいオブジェクトまたはペースト位置を任意の指でタッチした状態で、各操作に対応する発声を行うことにより操作を実行する。このような変形によっても、編集操作を高速化および簡単化する効果を得ることができる。
【００５２】
また、本実施形態では、ユーザが、オブジェクトが投影されていない位置を１秒以上タッチした場合、その操作に用いられた指に過去に関連付けられていた情報を削除する処理を行うが、これに限らない。ユーザが、オブジェクトが投影されていない位置を１秒以上タッチした場合には、ユーザに編集作業を行う意図がないものとして、そのまま処理を終了してもよい。
【００５３】
なお、本実施形態の説明では、撮像映像に手及び指が含まれている場合、手の移動を追従して常に、関連付けられているオブジェクトを指の上に投影したが、例えば、手が静止した場合にのみ投影してもよい。これにより、動作中の手および指を検出する精度が低い場合であっても、静止中にのみ正確にコピー（カット）されたオブジェクトを投影できる。また、指領域に対する投影映像の合成処理が省略され、計算量を削減できる。
【００５４】
また、本実施形態では、操作面に投影された電子データに対する編集を行う例を説明したが、これに限らず、一般的なディスプレイなどの表示装置に表示された映像に対する編集作業に適用してもよい。この場合、制御部２０８が表示装置に対する表示制御を行う。これにより、プロジェクター１０６からの投影光を、ユーザの手が遮ってしまい投影された映像が見づらくなる現象を防ぐことができる。さらに、本実施形態は、電子ドキュメントデータに対する編集操作に限らず、映像編集やフォルダ管理などの操作に適応することもできる。
【００５５】
また、本実施形態は、プロジェクターからの投影映像と、作業空間に設置された実物体を併せた編集作業に適用してもよい。例えば、紙の原稿を作業空間に配置し、ユーザがタッチした１秒以上タッチしたオブジェクトをコピーして、タッチした指に関連付けて情報を保持するとともに、ユーザの手にコピーしたオブジェクトを投影する。このように、コピー操作に対し視覚的なフィードバックがすることで、実物体または実物体に記されたオブジェクトに対するコピー操作においても、直感的なユーザインタフェースシステムを提供することができる。
【００５６】
また、本実施形態では、ユーザの指を識別して、タッチ操作が行われた指とタッチされたオブジェクトの情報を関連付けて保持する例を説明したが、複数の指の代わりに複数の部材を用いてタッチ操作を行う場合に適応してもよい。例えば、タッチペンやポインタなどの部材を複数使用して複数のオブジェクトのコピー（カット）操作を行うことができる。
【００５７】
＜第２の実施形態＞
第１の実施形態では、タッチ操作に用いられた指とタッチされたオブジェクトの情報を関連付けて保持し、指の上に関連付けられたオブジェクトを投影することで、ユーザにコピー（カット）操作したオブジェクトの情報を提示した。この際、ユーザの指それぞれの上に投影が可能なように必要に応じて縮小したオブジェクトを投影した。これに対し、本実施形態は、ユーザの指の姿勢に基づき、投影方法を切り替える実施形態を説明する。
【００５８】
第２の実施形態における、ハードウェアの構成図は実施形態１と同様、図１（Ａ）に示される。また、本実施形態における機能の構成図も、第１の実施形態同様に図１（Ｂ）で表される。ただし、第２の実施形態の認識部２０３は、予め学習された異なる姿勢での人の手の形状データと、検出部２０２が検出しているユーザの手とのパターンマッチングを行う事によって、ユーザの手の姿勢を認識することができる。そして、認識部２０３は、予め情報処理装置に学習されたジェスチャパターンを示す形状データとのマッチングに基づいて、指を用いた所定のジェスチャ操作が行われたことを認識する。
【００５９】
図５は、本実施形態の情報処理装置が実行する電子データ編集操作の制御処理の流れの一例を示すフローチャートである。図３と同番号を付した処理ステップでは、同じ内容の処理が実行される。従って詳細な説明は省略し、第１の実施形態と異なる点を説明する。
【００６０】
本実施形態では、ステップＳ３０３において認識部２０３によってタッチ操作が認識されなかった場合には、ステップＳ７００に進み、拡大投影処理を実行する。
【００６１】
ここで、図６は、ステップＳ７００で情報処理装置が実行する拡大投影処理の流れの一例を示すフローチャートである。
【００６２】
まず、ステップＳ７０１では、ユーザの指を追跡している認識部２０３が、ユーザによって少なくとも１本の指を折り曲げるジェスチャが行われたか否かを判定する。本実施形態において、認識部２０３は予め学習された人の手と指の形状データと、検出部２０２が検出しているユーザの手と指とのパターンマッチングを行う事によって、ユーザの手と指の姿勢を認識する。従って、少なくとも１本の指が折り曲げられている姿勢の手の形状データと、検出部２０２に検出されているユーザの手とのパターンマッチングを行い、その尤度が閾値以上である場合に、少なくとも１本の指が折り曲げられていると判定する。なお、手の甲側からは、折り曲げられている指は曲げられていない指によりも短く見えることから、撮像部２０１によって撮像された映像において、指が写っている領域を追跡し、長さの変化を検出することでも、ユーザが指を曲げたことを判定することもできる。少なくとも１本の指を折り曲げるジェスチャが行われたと判定された場合には（ステップＳ７０１でＹＥＳ）、ステップＳ７０２に進む。指が折り曲げられていないと判定された場合には（ステップＳ７０１でＮＯ）、ステップＳ７０９に進む。
【００６３】
ステップＳ７０２では、識別部２０４が、折り曲げられている指を識別する。本実施形態では、まず識別部２０４がステップＳ７０１において折り曲げられたことが検出された指を特定する。そして、特定された指の手の甲の部分に対する相対位置から、いずれの指が操作面にタッチしたかを識別し、識別した指を示す情報を保持する。
【００６４】
次に、ステップＳ７０３において、制御部２０８が、保持部２０５から、識別された指に関連付けられているオブジェクトの情報を取得する。
【００６５】
そして、ステップＳ７０４において、制御部２０８は、今回の処理の対象となるオブジェクト、すなわち折り曲げられた指に関連付けられているオブジェクトは１つか否かを判定する。本実施形態では、折り曲げられた指が１本であった場合には、対象となるオブジェクトは１つである。一方、複数の指が折り曲げられていた場合には、ステップＳ７０３において情報が取得されたオブジェクトは複数である。オブジェクトが関連付けられていない指が折り曲げられていた場合には、空のオブジェクトを処理の対象となるオブジェクトの数にカウントする。処理の対象となるオブジェクトが１つであると判定された場合には（ステップＳ７０４でＹＥＳ）、ステップＳ７０５に進む。一方、オブジェクトが複数であると判定された場合には（ステップＳ７０４でＮＯ）、ステップＳ７０７に進む。
【００６６】
ステップＳ７０５では、制御部２０８が、折り曲げられている指に関連付けられたオブジェクトを手の甲の中心位置に合成した投影画像を生成する。制御部２０８は、ステップＳ７０３において取得したオブジェクトの情報を基に、検出部２０２が検出しているユーザの手の甲の中央に、オブジェクトを投影させる。このとき、手の甲の上の領域に、関連付けられているオブジェクトが収まり、かつ指の上に投影するよりも大きくできるように、オブジェクトを投影するサイズを拡大する等の調整を行う。
【００６７】
さらに、ステップＳ７０６において、制御部２０８は、ステップＳ７０５で生成された投影画像中の、ユーザの折り曲げられていない各指の上に、各指に関連付けられたオブジェクトを合成した投影画像を生成する。投影画像が生成されたら、メインの処理にリターンし、ステップＳ３１５において、投影部２０９が、ステップＳ７０６において生成された投影画像を投影し、処理を終了する。
【００６８】
一方、ステップＳ７０４において、制御部２０８によって、対象となるオブジェクトは複数であると判定された場合、ステップＳ７０７では、制御部２０８が、手の甲の領域を分割し、識別された各指に関連付けられたオブジェクトを投影する領域を決定する。例えば、右手の人差し指と中指が折り曲げられている場合には、手の甲を左右に分割し、対応する指と同じ位置関係になるように、人差し指に関連付けられたオブジェクトを左側に、中指に関連付けられたオブジェクトを右側に投影すると決定する。
【００６９】
そして、ステップＳ７０８では、制御部２０８が、決定された位置に、各オブジェクトを合成した投影画像を生成し、前述したステップＳ７０６に進む。
【００７０】
また、ステップＳ７０１において、認識部２０３に少なくとも１本の指を折り曲げるジェスチャが行われていないと判定され、ステップＳ７０９に進んだ場合には、認識部２０３が、片手の全ての指を密着させるジェスチャが行われた否かを判定する。本実施形態では、認識部２０３が、予め学習されたユーザの片手の全ての指が密着されている手の形状データと、検出部２０２が検出している撮像映像中の手とのマッチングを行い、その尤度が閾値以上である場合に、その手の全ての指が密着されていると判定する。片手の全ての指を密着させるジェスチャが行われたと判定された場合には（ステップＳ７０９でＹＥＳ）、ステップＳ７１０に進む。一方、全ての指が密着されてはいないと判定された場合には（ステップＳ７０９でＮＯ）、ステップＳ７１２に進む。
【００７１】
ステップＳ７１０では、制御部２０８が、手全体の領域を分割し、各指に関連付けられたオブジェクトを表示する領域を決定する。制御部２０８は、保持部２０５から、検出部２０２に検出されている手の全ての指に関連付けられているオブジェクトの情報を取得し、指が密着されている手全体に、同じ大きさで平均的に配置できるように投影位置を決定する。例えば、右手の人差し指、中指、薬指、小指の４本の指にそれぞれ関連付けられたオブジェクトが取得された場合、手全体を上下左右に４分割して、左上から右下の順に、左側にある指に対応するオブジェクトから順に配置すると決定する。
【００７２】
ステップＳ７１１では、制御部２０８が、決定された位置に各オブジェクトを合成した投影画像を生成し、前述したステップＳ７０６に進む。このとき、手全体の領域に、関連付けられているオブジェクトが全て収まり、かつ指の上に投影するよりも大きくできるように、オブジェクトを投影するサイズを拡大する等の調整を行う。
【００７３】
一方、ステップＳ７０９において、認識部２０３に片手の全ての指が密着されてはいないと判定され、ステップＳ７１２に進んだ場合には、制御部２０８が、検出されている各指の上に関連づけられたオブジェクトをそれぞれ投影する投影画像を生成する。このとき、制御部２０８は、保持部２０５に保持された関連付け情報を参照し、検出部２０２が検出している指の位置を示す情報を取得し、指の上に、その指に関連付けられているオブジェクトを配置した投影画像を生成する。その際、ユーザの各指の上の領域に、関連付けられているオブジェクトが収まるように、投影するサイズを縮小する等の調整を行う。制御部２０８が投影画像を生成したら、前述したステップＳ７０６に進む。
【００７４】
以上説明した通り、本実施形態では、コピー（カット）操作を行って、ユーザの指にオブジェクトが関連付けられているときに、指を折り曲げるジェスチャ操作に応じて、折り曲げた指に関連付けられたオブジェクトだけを手の甲に拡大して投影させる。さらに、本実施形態では、片手の全ての指を密着させるジェスチャ操作に応じて、その手の指に関連付けられているオブジェクトを、手の全体に同じ大きさで並べて配置して表示する。
【００７５】
以上のとおり、本実施形態は、手指の姿勢に基づきクリップボードの記憶内容を拡大して投影する。
【００７６】
ここで、図７を参照し、具体的に、第２の実施形態による情報処理装置によって、ユーザがコピー（カット）したオブジェクトが投影される例を示す。図７に示す操作例では、ユーザの右手の人差し指にハート、中指にスター、薬指にダイヤ、小指にサークルのオブジェクトが関連付けられているものとする。
【００７７】
＜１本の指を折り曲げるジェスチャ操作＞
図７（Ａ）に１本の指を折り曲げるジェスチャ操作を行う場合の例を示す。人差し指、中指、薬指、小指にそれぞれ、ハート、スター、ダイヤ、サークルのオブジェクトが投影されている（８ａ）。ここで、ユーザが中指を折り曲げる。これにより、制御部２０８によって中指に関連付けられているスターのオブジェクトが、手の甲の中央に拡大して投影される（８ｂ）。
【００７８】
＜複数の指を折り曲げるジェスチャ操作＞
図７（Ｂ）に複数の指を折り曲げるジェスチャ操作を行う場合の例を示す。まず、人差し指、中指、薬指、小指にそれぞれ、ハート、スター、ダイヤ、サークルのオブジェクトが投影されている（９ａ）。ここで、ユーザが中指と、薬指を折り曲げる。これにより、中指に関連付けられているスターと、薬指それぞれに対応するクリップボードに記憶されたスターとダイヤが手の甲に大きく投影される。本実施形態ではこのとき、より左側に位置する中指に関連付けられているスターを左に、より右側に位置する薬指に関連付けられているダイヤを右に配置して投影する（９ｂ）。
【００７９】
＜片手の全ての指を密着させるジェスチャ操作＞
図７（Ｃ）に、ユーザが片方の手の全ての指を密着させるジェスチャ操作を行う場合の例を示す。まず、右手の人差し指、中指、薬指、小指にそれぞれ、ハート、スター、ダイヤ、サークルのオブジェクトが投影されている（１０ａ）。ここで、ユーザが上記の指全てを密着させる。これにより、右手の全ての指に関連付けられたオブジェクト（ハート、スター、ダイヤ、サークル）が、指を含めた手全体の領域上に、同じ大きさで平均的に投影される。本実施形態ではこのとき、領域を上下左右に４分割して、左上から右下の順に、左側にある指に対応するオブジェクトから順に配置する（１０ｂ）。
【００８０】
以上説明した通り、本実施形態では、コピー（カット）操作を行って、ユーザの指にオブジェクトが関連付けられているときに、指を折り曲げるジェスチャ操作に応じて、折り曲げた指に関連付けられたオブジェクトだけを手の甲に拡大して投影させる。また、複数のオブジェクトを拡大して表示させる場合には、指の位置関係を考慮した位置に投影を行う。これにより、ユーザはどの指にどのオブジェクトが関連付けられているかを、直感的に確認しやすくなる。また、指よりも面積の大きい手の甲に、特定のオブジェクトのみを拡大して投影されたオブジェクトを確認できるので、コピー（カット）したオブジェクトの詳細を確認しやすいという効果を奏する。さらに、本実施形態では、片手の全ての指を密着させるジェスチャ操作に応じて、その手の指に関連付けられているオブジェクトを、手の全体に同じ大きさで並べて配置して投影する。これにより、ユーザは、現在コピー（カット）操作によって保持部２０５に保持されている複数のオブジェクトを一見して確認しやすい。また、複数のオブジェクトを拡大して表示させる場合には、一定のルールを採用し、指の位置関係を考慮した位置に投影を行う。これにより、ユーザはどの指にどのオブジェクトが関連付けられているかを、直感的に確認しやすくなる。また、指に投影される場合よりも大きく投影されたオブジェクトを確認できるので、コピー（カット）したオブジェクトの詳細を確認しやすいという効果を奏する。このように、本実施形態は、電子データに対するコピー、カット、ペーストの編集操作を行う直感的なユーザインタフェースシステムを提供できる。
【００８１】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0006039248.tif 000002
【図２】
0006039248.tif 000003
【図３】
0006039248.tif 000004
【図４】
0006039248.tif 000005
【図５】
0006039248.tif 000006
【図６】
0006039248.tif 000007
【図７】
0006039248.tif 000008