(57)【特許請求の範囲】
【請求項１】
三次元空間におけるユーザの手の検出に基づいて、ユーザにより行なわれたジェスチャ動作と、該ジェスチャ動作が行なわれた表示領域上の位置とを示す情報を取得する取得手段と、
前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかのオブジェクトの選択を指示する第１のジェスチャ動作が行なわれたか否かを判定する第１の判定手段と、
前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかの領域の選択を指示する第２のジェスチャ動作が行なわれたか否かを判定する第２の判定手段と、
前記第１のジェスチャ動作に基づいて選択されたオブジェクトを特定するとともに、前記第２のジェスチャ動作に基づいて選択された領域を特定する特定手段と、
前記取得手段により取得された情報に基づいて、前記オブジェクト及び前記領域が特定されている状態で前記特定された前記オブジェクトに対する処理を指示する第３のジェスチャ動作が行なわれたか否かを判定する第３の判定手段と、
前記第３のジェスチャ動作が行なわれたと判定された場合、前記特定されたオブジェクトを前記特定された領域にコピー又は移動させるオブジェクト処理手段と
を具備し、
前記第３の判定手段は、
前記特定されているオブジェクトを一定量以上移動させ、かつ、当該移動の方向が前記特定されているオブジェクトから前記特定された領域に向かう方向となるジェスチャ動作を、前記第３のジェスチャ動作として判定することを特徴とする情報処理装置。
【請求項２】
前記第１のジェスチャ動作を行なったユーザを特定するユーザ特定手段
を更に具備し、
前記第２の判定手段は、
前記取得手段により取得された情報と前記ユーザ特定手段により特定されたユーザの情報とに基づいて、前記第１のジェスチャ動作を行なった前記ユーザにより前記第２のジェスチャ動作が行なわれたか否かを判定する
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記第３の判定手段は、前記特定されているオブジェクトの中心と、前記特定されている領域の中心とを結んだ線分と、前記取得手段により取得された情報に基づく前記移動の方向とのなす角度が所定の閾値以内であった場合に前記第３のジェスチャ動作が行なわれたと判定し、前記角度が前記閾値を超える場合には前記第３のジェスチャ動作が行われたとは判定しないことを特徴とする請求項１記載の情報処理装置。
【請求項４】
前記特定手段は、前記第１のジェスチャ動作に基づいて選択された１又は複数のオブジェクトの中からいずれかのオブジェクトを特定するとともに、前記第２のジェスチャ動作に基づいて選択された１又は複数の領域の中からいずれかの領域を特定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記取得手段は、前記ユーザの眼を含む画像を取得し、
前記第３の判定手段は、前記特定されているオブジェクトと前記特定されている領域とに対して前記ユーザの視線がそれぞれ一定時間以上向けられた場合に前記第３のジェスチャ動作が行なわれたと判定する
ことを特徴とする請求項１記載の情報処理装置。
【請求項６】
前記特定されているオブジェクトの種別を取得する第１の取得手段と、
前記第２のジェスチャ動作に基づいて選択された１又は複数の領域に配置可能なオブジェクトの種別をそれぞれ取得する第２の取得手段と
を更に具備し、
前記特定手段は、前記第１の取得手段により取得された種別と、前記第２の取得手段により取得された種別とが合致する領域を前記１又は複数の領域の中から特定することを特徴とする請求項１記載の情報処理装置。
【請求項７】
情報処理装置の処理方法であって、
取得手段が、三次元空間におけるユーザの手の検出に基づいて、ユーザにより行なわれたジェスチャ動作と、該ジェスチャ動作が行なわれた表示領域上の位置とを示す情報を取得する取得工程と、
第１の判定手段が、前記取得工程により取得された情報に基づいて、前記表示領域におけるいずれかのオブジェクトの選択を指示する第１のジェスチャ動作が行なわれたか否かを判定する工程と、
第１の特定手段が、前記第１のジェスチャ動作に基づいて選択されたオブジェクトを特定する工程と、
第２の判定手段が、前記取得工程により取得された情報に基づいて、前記表示領域におけるいずれかの領域の選択を指示する第２のジェスチャ動作が行なわれたか否かを判定する工程と、
第２の特定手段が、前記第２のジェスチャ動作に基づいて選択された領域を特定する工程と、
第３の判定手段が、前記取得工程により取得された情報に基づいて、前記オブジェクト及び前記領域が特定されている状態で前記特定された前記オブジェクトに対する処理を指示する第３のジェスチャ動作が行なわれたか否かを判定する工程と、
オブジェクト処理手段が、前記第３のジェスチャ動作が行なわれたと判定された場合、前記特定されたオブジェクトを前記特定された領域にコピー又は移動させる工程と
を具備し、
前記第３の判定手段による工程は、
前記特定されているオブジェクトを一定量以上移動させ、かつ、当該移動の方向が前記特定されているオブジェクトから前記特定された領域に向かう方向となるジェスチャ動作を、前記第３のジェスチャ動作として判定することを特徴とする処理方法。
【請求項８】
コンピュータを、
三次元空間におけるユーザの手の検出に基づいて、ユーザにより行なわれたジェスチャ動作と、該ジェスチャ動作が行なわれた表示領域上の位置とを示す情報を取得する取得手段、
前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかのオブジェクトの選択を指示する第１のジェスチャ動作が行なわれたか否かを判定する第１の判定手段と
前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかの領域の選択を指示する第２のジェスチャ動作が行なわれたか否かを判定する第２の判定手段、
前記第１のジェスチャ動作に基づいて選択されたオブジェクトを特定するとともに、前記第２のジェスチャ動作に基づいて選択された領域を特定する特定手段、
前記取得手段により取得された情報に基づいて、前記オブジェクト及び前記領域が特定されている状態で前記特定された前記オブジェクトに対する処理を指示する第３のジェスチャ動作が行なわれたか否かを判定する第３の判定手段、
前記第３のジェスチャ動作が行なわれたと判定された場合、前記特定されたオブジェクトを前記特定された領域にコピー又は移動させるオブジェクト処理手段
として機能させるためのプログラムであって、
前記第３の判定手段は、
前記特定されているオブジェクトを一定量以上移動させ、かつ、当該移動の方向が前記特定されているオブジェクトから前記特定された領域に向かう方向となるジェスチャ動作を、前記第３のジェスチャ動作として判定することを特徴とするプログラム。
【請求項９】
三次元空間におけるユーザの手の検出に基づいて、前記ユーザによるジェスチャ動作を認識する認識手段と、
前記認識手段により、表示領域に表示されたいずれかのオブジェクトの選択を指示する第１のジェスチャ動作が認識された場合に、前記選択されたオブジェクトを特定する第１の特定手段と、
前記第１の特定手段によりオブジェクトが特定された状態で、前記認識手段により、前記表示領域におけるいずれかの領域の選択を指示する第２のジェスチャ動作が認識された場合に、前記選択された領域を特定する第２の特定手段と、
前記第１の特定手段によりオブジェクトが特定され、かつ、前記第２の特定手段により領域が特定された状態で、前記認識手段により、前記特定されたオブジェクトの前記特定された領域へのコピー又は移動を指示する第３のジェスチャ動作が認識された場合に、前記特定されたオブジェクトを前記特定された領域に表示させる表示制御手段とを備え、
前記認識手段は、
前記ユーザの手の移動方向と、前記第１の特定手段により特定されたオブジェクトと前記第２の特定手段により特定された領域とを結ぶ線分のなす角度の差分が、所定の閾値以内にある場合に前記ユーザの手の移動を前記第３のジェスチャ動作であると認識し、前記角度の差分が前記閾値を超える場合に前記ユーザの手の移動を、前記第３のジェスチャ動作ではないと認識する
ことを特徴とする情報処理装置。
【請求項１０】
前記認識手段は、更に、前記ユーザの手の移動の加速度に基づいて、前記第３のジェスチャ動作であるか否かを判定することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記認識手段は、前記第１のジェスチャ動作を行った手と異なる手によって行われた前記第２のジェスチャ動作が認識された後に、前記第１のジェスチャ動作を行った手の動きを前記第３のジェスチャ動作の認識対象とすることを特徴とする請求項９又は１０に記載の情報処理装置。
【請求項１２】
情報処理装置の処理方法であって、
認識手段が、三次元空間におけるユーザの手の検出に基づいて、前記ユーザによるジェスチャ動作を認識する認識工程と、
第１の特定手段が、前記認識工程により、表示領域に表示されたいずれかのオブジェクトの選択を指示する第１のジェスチャ動作が認識された場合に、前記選択されたオブジェクトを特定する第１の特定工程と、
第２の特定手段が、前記第１の特定工程によりオブジェクトが特定された状態で、前記認識工程により、前記表示領域におけるいずれかの領域の選択を指示する第２のジェスチャ動作が認識された場合に、前記選択された領域を特定する第２の特定工程と、
表示制御手段が、前記第１の特定工程によりオブジェクトが特定され、かつ、前記第２の特定工程により領域が特定された状態で、前記認識工程により、前記特定されたオブジェクトの前記特定された領域へのコピー又は移動を指示する第３のジェスチャ動作が認識された場合に、前記特定されたオブジェクトを前記特定された領域に表示させる表示制御工程とを備え、
前記認識工程では、
前記ユーザの手の移動方向と、前記第１の特定手段により特定されたオブジェクトと前記第２の特定手段により特定された領域とを結ぶ線分のなす角度の差分が、所定の閾値以内にある場合に前記ユーザの手の移動を前記第３のジェスチャ動作であると認識し、前記角度の差分が前記閾値を超える場合に前記ユーザの手の移動を、前記第３のジェスチャ動作ではないと認識する
ことを特徴とする処理方法。
【請求項１３】
コンピュータを、
三次元空間におけるユーザの手の検出に基づいて、前記ユーザによるジェスチャ動作を認識する認識手段、
前記認識手段により、表示領域に表示されたいずれかのオブジェクトの選択を指示する第１のジェスチャ動作が認識された場合に、前記選択されたオブジェクトを特定する第１の特定手段、
前記第１の特定手段によりオブジェクトが特定された状態で、前記認識手段により、前記表示領域におけるいずれかの領域の選択を指示する第２のジェスチャ動作が認識された場合に、前記選択された領域を特定する第２の特定手段、
前記第１の特定手段によりオブジェクトが特定され、かつ、前記第２の特定手段により領域が特定された状態で、前記認識手段により、前記特定されたオブジェクトの前記特定された領域へのコピー又は移動を指示する第３のジェスチャ動作が認識された場合に、前記特定されたオブジェクトを前記特定された領域に表示させる表示制御手段
として機能させるためのプログラムであって、
前記認識手段は、
前記ユーザの手の移動方向と、前記第１の特定手段により特定されたオブジェクトと前記第２の特定手段により特定された領域とを結ぶ線分のなす角度の差分が、所定の閾値以内にある場合に前記ユーザの手の移動を前記第３のジェスチャ動作であると認識し、前記角度の差分が前記閾値を超える場合に前記ユーザの手の移動を、前記第３のジェスチャ動作ではないと認識することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、その処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、電子的に表示されたオブジェクトに対する操作として、ユーザが直感的な入力により指示を行なえるジェスチャ入力によるものが増えている。例えば、オブジェクトを利用して電子的なデータの作成・編集作業を行なう場合等には、表示されているオブジェクトを指定して、作成・編集中のデータにコピー又は移動して配置する操作が良く行なわれる。
【０００３】
従来、このような操作は、表示されているオブジェクトを選択するジェスチャ動作を行なった後、オブジェクト選択状態のまま、移動先へとオブジェクトを動かすようなジェスチャ動作を行なうものが多い（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３０１６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、従来、オブジェクトを移動等させる際には、選択したオブジェクトをユーザの手に追随させて、選択した位置から移動先までオブジェクトを動かさなければならなかった。そのため、例えば、片手で届く範囲を越える位置にオブジェクトをコピー又は移動させるような場合には、ユーザは、体全体を大きく動かさなければならない。このような場合には、オブジェクトを容易に移動できる範囲が制限されてしまう。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、ジェスチャ動作によりオブジェクトを他の領域にコピー又は移動させる際の操作性を向上させるようにした技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の一態様による情報処理装置は、
三次元空間におけるユーザの手の検出に基づいて、ユーザにより行なわれたジェスチャ動作と、該ジェスチャ動作が行なわれた表示領域上の位置とを示す情報を取得する取得手段と、
前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかのオブジェクトの選択を指示する第１のジェスチャ動作が行なわれたか否かを判定する第１の判定手段と、
前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかの領域の選択を指示する第２のジェスチャ動作が行なわれたか否かを判定する第２の判定手段と、
前記第１のジェスチャ動作に基づいて選択されたオブジェクトを特定するとともに、前記第２のジェスチャ動作に基づいて選択された領域を特定する特定手段と、
前記取得手段により取得された情報に基づいて、前記オブジェクト及び前記領域が特定されている状態で前記特定された前記オブジェクトに対する処理を指示する第３のジェスチャ動作が行なわれたか否かを判定する第３の判定手段と、
前記第３のジェスチャ動作が行なわれたと判定された場合、前記特定されたオブジェクトを前記特定された領域にコピー又は移動させるオブジェクト処理手段と
を具備し、
前記第３の判定手段は、
前記特定されているオブジェクトを一定量以上移動させ、かつ、当該移動の方向が前記特定されているオブジェクトから前記特定された領域に向かう方向となるジェスチャ動作を、前記第３のジェスチャ動作として判定することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ジェスチャ動作によりオブジェクトを他の領域にコピー又は移動させる際の操作性を向上させられる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施の形態に係わる情報処理装置１０のハードウェア構成の一例を示す図。
【図２】図１に示すＣＰＵ１１において実現される機能的な構成の一例を示す図。
【図３】図１に示す情報処理装置１０における処理の概要を示す図。
【図４】図１に示す情報処理装置１０の処理の流れの一例を示すフローチャート。
【図５】図１に示す情報処理装置１０の処理の流れの一例を示すフローチャート。
【図６】図１に示す情報処理装置１０の処理の流れの一例を示すフローチャート。
【図７】実施形態２に係わるＣＰＵ１１において実現される機能的な構成の一例を示す図。
【図８】実施形態３に係わるＣＰＵ１１において実現される機能的な構成の一例を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施の形態について添付図面を参照して詳細に説明する。
【００１１】
（実施形態１）
図１は、本発明の一実施の形態に係わる情報処理装置１０のハードウェア構成の一例を示す図である。
【００１２】
情報処理装置１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、記憶部１４と、入力Ｉ／Ｆ１５と、出力Ｉ／Ｆ１６と、システムバス１７と、入力デバイス１８と、出力デバイス１９とを具備して構成される。これら各部間における通信は、システムバス１７により実現される。
【００１３】
ＲＡＭ（Random Access Memory）１３は、ＣＰＵ１１によるプログラムの実行時にワークエリアとして使用され、各種演算結果や座標データ等を一時的に記憶する。ＲＯＭ（Read Only Memory）１２は、プログラムや各種データを記憶する。
【００１４】
記憶部１４は、ハードディスクドライブ（ＨＤＤ）やフラッシュメモリドライブ（ＳＳＤ）、着脱可能なメモリカードや光ディスク等により実現され、各種データを記憶する。記憶部１４には、例えば、オペレーティングシステムやアプリケーション等の各種プログラムが記憶される。
【００１５】
ＣＰＵ（Central Processing Unit）１１は、情報処理装置１０の動作を統括制御する。情報処理装置１０における各種処理は、例えば、ＣＰＵ１１がＲＡＭ１３をワーク領域として記憶部１４に記憶されたプログラムを読み込み実行することで行なわれる。
【００１６】
入力デバイス１８は、例えば、各種センサやカメラ等で実現され、入力Ｉ／Ｆ１５を介して各種情報を装置内に入力する。ここで、入力デバイス１８は、一般に、ジェスチャ認識で用いられるようなカメラやセンサを含むものであれば良い。本実施形態に係わる入力デバイス１８は、カメラ及びセンサを用いて、人体に対して照射した赤外光の反射波を撮像し、人体各部の奥行きを含んだ外形の情報とそれらの動きとを検出する。なお、入力デバイス１８は、必ずしもこのような構成に限られず、ユーザの人体範囲を特定でき、また、ジェスチャ動作（手の位置、形、動き）を検出できる構成であれば良い。例えば、空間上の位置、形、動きを検出可能なセンサを搭載したグローブを入力デバイスとして利用しても構わない。この場合、ユーザは、当該グローブを両手に装着し、ジェスチャ動作を行なう。また、例えば、通常の可視光を撮影するカメラで撮影したユーザの画像を画像認識によって処理し、それによりジェスチャ入力を行なうようにしても良い。
【００１７】
出力デバイス１９は、出力Ｉ／Ｆ１６を介して各種情報を装置外部に出力する。本実施形態に係わる出力デバイス１９としては、例えば、ディスプレイやスクリーン等が挙げられ、比較的大きめの表示領域を有するものを想定している。以上が、情報処理装置１０における機能的な構成の一例である。
【００１８】
次に、図２を用いて、上述したＣＰＵ１１において実現される機能的な構成の一例について説明する。これら処理機能は、例えば、ＣＰＵ１１がＲＡＭ１３をワーク領域として記憶部１４に記憶されたプログラムを読み込み実行することで実現される。
【００１９】
ＣＰＵ１１には、その機能的な構成として、取得部２１と、ユーザ特定部２２と、ジェスチャ判定部２３と、同定部２７と、オブジェクト処理部２８と、表示処理部２９とが実現される。
【００２０】
取得部２１は、入力Ｉ／Ｆ１５を介して入力デバイス１８からジェスチャ情報を取得する。ジェスチャ情報とは、ユーザの人体範囲を示す情報と、ユーザにより行なわれたジェスチャ動作（手の位置、形、動き）と、ジェスチャ動作が行なわれた表示領域上における位置とを示す情報である。
【００２１】
ユーザ特定部２２は、オブジェクトの選択や、コピー先領域又は移動先領域の選択が、同一ユーザによって行なわれているか否かを特定（判定）する。本実施形態では、入力デバイス（センサ）１８において、ユーザの外形と奥行きとを取得できるため、当該センサの出力結果を利用して人体の範囲を決定する。これにより、ユーザの特定を行なう。なお、センサではユーザの外形や奥行きまでが判断できず、複数人の重なりや、体を構成する部位の連続性が認識できない場合などには、ユーザをカメラで撮影し、画像特徴の処理によって、同一ユーザであるか否かを判定するなどしても構わない。
【００２２】
ジェスチャ判定部２３は、取得部２１により受信されたジェスチャ情報に基づいて、いずれの処理を指示するジェスチャ動作が行なわれたのかを判定する。本実施形態においては、ユーザが行なうジェスチャ動作として、第１のジェスチャ動作と、第２のジェスチャ動作と、第３のジェスチャ動作とがある。
【００２３】
ここで、第１のジェスチャ動作とは、表示領域におけるいずれかのオブジェクトの選択を指示するジェスチャ動作を指し、第２のジェスチャ動作とは、コピー又は移動先の領域の選択を指示するジェスチャ動作を指す。本実施形態に係わる第１のジェスチャ動作及び第２のジェスチャ動作は、同じジェスチャ動作（例えば、空間を指で掴むような動作）で行なわれる。
【００２４】
また、第３のジェスチャ動作とは、選択されたオブジェクトに対して処理の実施を指示するジェスチャ動作を指し、選択された領域に向けて選択されたオブジェクトをコピー又は移動させるための指示を行なうジェスチャ動作である。本実施形態に係わる第３のジェスチャ動作は、オブジェクトとコピー先領域等とが選択されている状態で、選択されたオブジェクトを選択されたコピー先領域等に向けて一定量以上移動させるような動きとなる。
【００２５】
ここで、ジェスチャ判定部２３には、上述したジェスチャ動作を判定（検出）するため、第１の判定部２４と、第２の判定部２５と、第３の判定部２６とが設けられる。
【００２６】
第１の判定部２４は、取得部２１により取得されたジェスチャ情報に基づいて、ユーザにより第１のジェスチャ動作が行なわれたか否かを判定する。より具体的には、オブジェクトが選択されていない状態で、表示領域に表示されたいずれかのオブジェクトに対して指で掴むような動作が行なわれた場合に、第１のジェスチャ動作が行なわれたと判定する。
【００２７】
第２の判定部２５は、取得部２１により取得されたジェスチャ情報とユーザ特定部２２によるユーザの特定結果とに基づいて、ユーザにより第２のジェスチャ動作が行なわれたか否かを判定する。より具体的には、オブジェクトが選択された状態で（当該オブジェクトを選択したユーザと）同じユーザにより表示領域に表示されたいずれかの領域に対して指で掴むような動作が行なわれた場合に、第２のジェスチャ動作が行なわれたと判定する。
【００２８】
第３の判定部２６は、取得部２１により取得されたジェスチャ情報に基づいて、ユーザにより第３のジェスチャ動作が行なわれたか否かを判定する。より具体的には、オブジェクト及び領域が選択された状態で、当該選択中のオブジェクトを当該選択中のコピー先領域等に向けて一定量以上移動させるような動作が行なわれた場合に、第３のジェスチャ動作が行なわれたと判定する。
【００２９】
ここで、第３のジェスチャ動作の判定には、オブジェクトの移動量や方向に対して任意の値を有する閾値を用いる。閾値には、コピーや移動の意思が明らかに認識できる程度の値を設定すれば良い。例えば、単純に、センサを基準とした移動後と移動前の手の位置の座標と実距離とから、手の移動方向とともに移動量を距離で求める。移動量については、１０ｃｍ以内などといった閾値を設定すれば良い。また、移動方向については、オブジェクトの中心と選択領域の中心とを結んだ線分と、当該線分と移動方向との角度が１０度以内等といった閾値を設定すれば良い。また更に、加速度も見るようにして、無意識のうちに徐々に移動してしまったような場合には、第３のジェスチャ動作であると判定されないような仕組みを設けても構わない。
【００３０】
同定部２７は、第１のジェスチャ動作及び第２のジェスチャ動作が行なわれた場合に、対象となるオブジェクトや領域を同定する。すなわち、第１のジェスチャ動作に基づいて選択された１又は複数のオブジェクトの中からいずれかのオブジェクトを同定する第１の同定手段として機能する。また、第２のジェスチャ動作に基づいて選択された１又は複数の領域の中からいずれかの領域を同定する第２の同定手段として機能する。本実施形態に係わる同定部２７においては、ユーザの頭の位置と、表示領域に表示されたオブジェクトに対する手の位置及び距離とに基づいてオブジェクトや領域の同定を行なう。
【００３１】
この同定においては、例えば、入力デバイス１８を基準とした表示領域の位置を予め定めておき、ユーザの頭の位置と選択している手の位置とを結ぶ線分と、表示領域の交点付近にある対象を選択対象として同定すれば良い。この場合、頭の位置から更に目に相当するおよその位置を推定し、目の位置と手の位置とを結ぶ線分を利用するようにしても構わない。但し、同定の仕方は、これに限られず、例えば、表示領域の位置と手の位置とがごく近い場合には、手の位置の付近に存在している対象を選択対象として同定しても良い。
【００３２】
なお、対象となるオブジェクトや領域の周辺に他のオブジェクトや領域が存在する場合、付近にある対象を誤って同定してしまうことも考えられる。そのため、同定した結果を、選択対象を強調するなどしてユーザにフィードバックし、その後のユーザのジェスチャ動作の変化から同定結果を補正するようにしても良い。例えば、同定結果として、選択対象となるオブジェクト（又は領域）を強調表示した後、ユーザがそれよりも上方にずらして第１のジェスチャ動作等を再度行なった場合、当該上方のオブジェクトを同定するようにしても良い。
【００３３】
オブジェクト処理部２８は、オブジェクトを処理する。より具体的には、第３の判定部２６により第３のジェスチャ動作が行なわれたと判定された場合に、選択中のオブジェクトを選択中の領域にコピー又は移動させる。
【００３４】
ここで、オブジェクト処理部２８により実施される処理は、コピー先又は移動先の領域に応じてその処理内容が異なってくる場合がある。より具体的には、例えば、文書や画像作成用のテンプレート上のオブジェクト配置場所がコピー先又は移動先の領域であれば、ここでは、当該テンプレートを用いて作成・編集中の文書や画像の該当部分にオブジェクトを配置する処理が行なわれる。また、コピー先又は移動先の領域がフォルダであれば、当該フォルダにオブジェクトをコピー又は移動する処理が行なわれる。また、コピー先又は移動先の領域がゴミ箱であれば、オブジェクトを削除する処理が行なわれる。
【００３５】
表示処理部２９は、オブジェクト処理部２８で行なわれた処理の結果等を出力デバイス１９に表示制御する。例えば、表示されているテンプレート上に、オブジェクトが配置される態様を表示する。
【００３６】
ここで、図３を用いて、図１に示す情報処理装置１０の説明を分かり易くするために、情報処理装置１０における処理の流れの一例について簡単に説明する。ここでは、第１の文書のテンプレート領域に、第２の文書（別の文書）のオブジェクトをコピーする際の処理の流れを例に挙げて説明する。
【００３７】
ここで、出力デバイス１９は、例えば、スクリーン等であり、当該スクリーンには、第１の文書３０と第２の文書４０とが表示されている。ユーザは、右手５１を用いて、第１のジェスチャ動作を実施し、第１の文書３０内のオブジェクト３１を選択している。上述した通り、ユーザは、空間を指で掴むようなジェスチャ動作を行なうことにより、オブジェクト３１を選択する。
【００３８】
続いて、ユーザは、左手５２を用いて、オブジェクト３１のコピー先となる領域４１を選択する。具体的には、左手５２を用いて、第２のジェスチャ動作を実施し、第２の文書４０内のテンプレート上の領域を選択する。すなわち、右手５１を用いて、オブジェクト３１を選択した状態で、左手５２を用いて、コピー先領域４１を選択している。なお、左手５２及び右手５１は、同一ユーザの手である。
【００３９】
ここで、ユーザは、オブジェクト及び領域を選択している状態で第３のジェスチャ動作を行なう。具体的には、ユーザは、オブジェクト３１を選択している右手５１をコピー先領域４１に向けて一定量以上移動させる。これにより、第１の文書３０内のオブジェクト３１が、第２の文書４０内の領域４１にコピーされる。
【００４０】
次に、図４〜図６に示すフローチャートを用いて、図１に示す情報処理装置１０における処理の流れの一例について説明する。まず、図４を用いて、オブジェクトを選択する際の処理の流れの一例について説明する。
【００４１】
情報処理装置１０は、取得部２１において、入力Ｉ／Ｆ１５を介して入力デバイス１８からジェスチャ情報を受信する（Ｓ１０１でＹＥＳ）。ジェスチャ情報には、上述した通り、ユーザの人体範囲を示す情報と、ユーザにより行なわれたジェスチャ動作（手の位置、形、動き）と、表示領域に対するジェスチャ動作が行なわれた位置とを含む情報である。
【００４２】
ジェスチャ情報を受信すると、情報処理装置１０は、第１の判定部２４において、オブジェクトの選択を指示する第１のジェスチャ動作が行なわれたか否かを判定する。上述した通り、オブジェクトが選択されていない状態で、表示領域に表示されたいずれかのオブジェクトに対して指で掴むような動作が行なわれた場合に、第１のジェスチャ動作が行なわれたと判定する。
【００４３】
判定（検出）の結果、第１のジェスチャ動作が行なわれていなければ（Ｓ１０２でＮＯ）、情報処理装置１０は、再度、Ｓ１０１の処理に戻り、ジェスチャ情報の受信待ちとなる。一方、第１のジェスチャ動作が行なわれた場合（Ｓ１０２でＹＥＳ）、情報処理装置１０は、同定部２７において、オブジェクトの同定を行なう。すなわち、第１のジェスチャ動作が行なわれた手の位置に基づいて、表示領域におけるいずれのオブジェクトが選択されたかを同定する（Ｓ１０４）。その後、情報処理装置１０は、ユーザ特定部２２において、当該指示を行なったユーザを特定する。より具体的には、第１のジェスチャ動作を行なったユーザの人体範囲を決定する（Ｓ１０５）。これにより、この処理は終了する。
【００４４】
次に、図５を用いて、コピー先又は移動先の領域を選択する際の処理の流れの一例について説明する。この処理は、通常、図４の処理によりオブジェクトが選択されている状態で開始される。
【００４５】
情報処理装置１０は、取得部２１において、入力Ｉ／Ｆ１５を介して入力デバイス１８からジェスチャ情報を受信する（Ｓ２０１でＹＥＳ）。そして、第２の判定部２５において、オブジェクトが選択中であるか否かを判定する。オブジェクトが選択中でなければ（Ｓ２０２でＮＯ）、情報処理装置１０は、再度、Ｓ２０１の処理に戻り、ジェスチャ情報の受信待ちとなる。
【００４６】
オブジェクトが選択中であれば（Ｓ２０２でＹＥＳ）、情報処理装置１０は、第２の判定部２５において、当該オブジェクトを選択しているユーザにより第２のジェスチャ動作が行なわれたか否かを判定する。ユーザは、例えば、オブジェクトを選択している手と別の手を用いて第２のジェスチャ動作を行なう。なお、オブジェクトを選択しているユーザと、第２のジェスチャ動作を行なったユーザが同一ユーザであるか否かは、ユーザ特定部２２の特定結果に基づいて判定される。すなわち、ユーザ特定部２２により決められた人体範囲内で第２のジェスチャ動作が行なわれた場合に、情報処理装置１０は、同一ユーザにより第２のジェスチャ動作が行なわれたと判定する。
【００４７】
判定の結果、オブジェクトを選択しているユーザと別のユーザにより第２のジェスチャ動作が行なわれた等であれば（Ｓ２０３でＮＯ）、情報処理装置１０は、再度、Ｓ２０１の処理に戻り、ジェスチャ情報の受信待ちとなる。
【００４８】
一方、オブジェクトを選択しているユーザが第２のジェスチャ動作を行なったと判定した場合（Ｓ２０３でＹＥＳ）、情報処理装置１０は、同定部２７において、領域の同定を行なう。すなわち、第２のジェスチャ動作が行なわれた手の位置に基づいて、表示領域におけるいずれの領域が選択されたかを同定する（Ｓ２０４）。その後、この処理は終了する。
【００４９】
次に、図６を用いて、オブジェクトを処理する際の処理の流れの一例について説明する。この処理は、通常、図４及び図５の処理によりオブジェクト及び領域が選択されている状態で開始される。
【００５０】
情報処理装置１０は、取得部２１において、入力Ｉ／Ｆ１５を介して入力デバイス１８からジェスチャ情報を受信する（Ｓ３０１でＹＥＳ）。そして、第３の判定部２５において、オブジェクト及び領域が選択中であるか否かを判定する。オブジェクト及び領域のいずれか一方でも選択されていなければ（Ｓ３０２でＮＯ）、情報処理装置１０は、再度、Ｓ３０１の処理に戻り、ジェスチャ情報の受信待ちとなる。
【００５１】
オブジェクト及び領域が選択中であれば（Ｓ３０２でＹＥＳ）、情報処理装置１０は、第３の判定部２６において、第３のジェスチャ動作が行なわれたか否かを判定する。すなわち、ユーザにより選択中のオブジェクトを選択集のコピー先領域等に向けて一定量以上移動させるようなジェスチャ動作がなされたか否かを判定する。
【００５２】
判定（検出）の結果、第３のジェスチャ動作が行なわれていなければ（Ｓ３０３でＮＯ）、情報処理装置１０は、再度、Ｓ３０１の処理に戻り、ジェスチャ情報の受信待ちとなる。
【００５３】
一方、第３のジェスチャ動作が行なわれた場合（Ｓ３０３でＹＥＳ）、情報処理装置１０は、オブジェクト処理部２８において、選択中のオブジェクトを選択中のコピー先領域（コピー先又は移動先領域）にコピー（又は移動）させる（Ｓ３０４）。このとき、情報処理装置１０は、表示処理部２９において、当該処理をスクリーン等に表示する。その後、この処理は終了する。
【００５４】
以上説明したように実施形態１によれば、ジェスチャ動作を用いて、表示領域に表示されたオブジェクトを他の領域にコピー又は移動させる際の操作性が向上する。特に、オブジェクトとコピー又は移動先の領域との距離が片手で届く範囲を越える場合であっても、このような操作が容易に行なえる。
【００５５】
また、オブジェクトを選択しているユーザと領域を選択しているユーザとが同一であるか否かを判定するため、第３者が意図せずに、オブジェクトや領域の選択を指示するジェスチャ動作を実施したとしても、それを起因とした誤動作の発生を抑制できる。
【００５６】
（実施形態２）
次に、実施形態２について説明する。実施形態２においては、オブジェクトや領域の種別に応じてオブジェクト及び領域の同定を行なう場合について説明する。
【００５７】
図７は、実施形態２に係わる情報処理装置１０のＣＰＵ１１において実現される機能的な構成の一例を示す図である。なお、実施形態１を説明した図２と同様の構成については同一の符号を付しており、その説明については省略する場合もある。
【００５８】
実施形態２に係わるＣＰＵ１１には、その機能的な構成として、オブジェクト種別取得部６１と、領域種別取得部６２とが新たに設けられる。
【００５９】
オブジェクト種別取得部６１は、第１の取得手段として機能し、同定部２７により既に同定済みのオブジェクトの種別を取得する。領域種別取得部６２は、第２の取得手段として機能し、第２のジェスチャ動作により選択された１又は複数の領域の種別を取得する。
【００６０】
同定部２７は、オブジェクト種別取得部６１により取得されたオブジェクトの種別と、領域種別取得部６２により取得された種別とに基づいて領域の同定を行なう。ここで、領域によっては配置不可能なオブジェクトがある場合等がある。例えば、テンプレートを利用してデータの作成・編集を行なうような場合、コピー先又は移動先の領域に、予め配置可能なオブジェクトの種別が設定されている場合がある。あるテンプレート上の領域は、テキストデータのみ配置（入力）可能であり、別のテンプレート上の領域は、画像のみ配置可能であるといった設定がなされていることが考えられる。このような場合に、同定部２７は、オブジェクトの種別と、コピー先又は移動先の領域に配置可能なオブジェクトの種別とが合致するように、選択対象の同定を行なう。
【００６１】
ここで、実施形態２に係わる情報処理装置１０における動作は、実施形態１を説明した図４〜図６の処理と同様となる。そのため、ここでは、図を用いた説明は省略し、相違する点について簡単に説明する。相違点としては、領域同定時の処理（図５におけるＳ２０４）が挙げられる。
【００６２】
領域の同定に際して、情報処理装置１０は、オブジェクト種別取得部６１において、既に同定済みのオブジェクトの種別を取得するとともに、領域種別取得部６２において、コピー先又は移動先の領域が配置可能なオブジェクトの種別を取得する。そして、同定部２７において、第２のジェスチャ動作により選択された１又は複数の領域の中から当該オブジェクトを配置可能な領域を同定する。例えば、オブジェクトの種別が画像であれば、コピー又は移動先の領域としては、画像を配置可能な領域を同定する。
【００６３】
以上説明したように実施形態２によれば、実施形態１の効果に加えて更に、同定対象が絞り込めるようになるため、同定処理の誤りを抑制できる。
【００６４】
（実施形態３）
次に、実施形態３について説明する。実施形態３においては、第３のジェスチャ動作をユーザの視線に基づいて行なう場合について説明する。
【００６５】
実施形態３に係わる情報処理装置１０は、入力Ｉ／Ｆ１５を介して入力デバイス（例えば、カメラ）１８からユーザの眼を含む顔画像を取得する。そして、当該顔画像から視線方向を検出し、当該視線方向を利用してオブジェクトを処理する。例えば、ユーザが、選択されているオブジェクトを一定時間見た後、選択したコピー又は移動先領域を一定時間見た場合に、第３のジェスチャ動作がなされたと判定する。
【００６６】
ここで、図８は、実施形態３に係わる情報処理装置１０のＣＰＵ１１において実現される機能的な構成の一例を示す図である。なお、実施形態１を説明した図２と同様の構成については同一の符号を付しており、その説明については省略する場合もある。
【００６７】
実施形態３に係わるＣＰＵ１１には、その機能的な構成として、視線判定部６３が新たに設けられる。
【００６８】
視線判定部６３は、オブジェクト又は領域を選択中のユーザの視線が、当該オブジェクト又は領域に向いているか否かを判定する。第３の判定部２６においては、ユーザの視線が選択中のオブジェクトに一定時間以上向いていた後、当該ユーザの視線が選択中の領域に一定時間以上向いていた場合に、第３のジェスチャ動作が行なわれたと判定する。なお、オブジェクトに視線が向いている時間と領域に視線が向いている時間とがそれぞれ一定以上経過したか否かの判定に際しては、それぞれ別々の閾値を用いて行なっても良い。
【００６９】
以上説明したように実施形態３によれば、実施形態１の効果に加えて更に、操作性が向上する。なお、上述した説明では、実施形態２と実施形態３とを別々に説明したが、実施形態２と実施形態３とを組み合わせて実施しても勿論構わない。
【００７０】
また、実施形態３で説明した視線による第３のジェスチャ動作と、実施形態１で説明した第３のジェスチャ動作とを組み合わせて、第３のジェスチャ動作としても良い。この場合、第３のジェスチャ動作に相当する動作が偶然行われてしまうことを起因とした誤動作の発生を抑制できる。
【００７１】
以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
【００７２】
例えば、上述した説明では、オブジェクトの選択が行なわれた後、領域の選択が行なわれる場合について説明したが、処理順番は前後しても構わない。すなわち、領域の選択を行なった後、オブジェクトの選択を行なってもよい。
【００７３】
また、上述した説明では、オブジェクトを選択する際の第１のジェスチャ動作と、領域を選択する際の第２のジェスチャ動作とが同じ動作である場合を例に挙げて説明したが、これに限られなず、それぞれ別々のジェスチャ動作としても良い。この場合、オブジェクトの選択処理と、領域の選択処理との順番が入れ替わっても明確に処理を区別することができる。例えば、第１のジェスチャ動作をオブジェクトを掴む動作とし、第２のジェスチャ動作を指で指すような動作とする等すればよい。
【００７４】
また、上述した説明では、表示領域について詳細に言及していないが、表示領域は、２次元又は３次元のいずれを用いた表示であっても良い。例えば、奥行き方向の表示効果を加えた３次元表示であっても良い。その場合、ユーザから見た場合の見かけ上の仮想的な表示領域の位置を、入力デバイス１８を基準とした場合の表示領域の位置として扱うようにすれば良い。
【００７５】
また、上述した説明では、ユーザ特定部２２を設け、第１のジェスチャ動作と第２のジェスチャ動作とが同じユーザにより行なわれたか否かを判定していたが、必ずしもこのような構成を採る必要はない。すなわち、場合によっては、第１のジェスチャ動作と第２のジェスチャ動作とが別々のユーザにより行われても良い。
【００７６】
また、上述した説明では、第３のジェスチャ動作が行なわれた場合に、オブジェクトのコピー又はオブジェクトの移動のいずれを実施するかについては明確に記載していないが、いずれの処理が実施されるかは、予め決めておくようにすればよい。また、コピー又は移動のいずれの処理が実施されるのかを切り替えるボタン等を設け、そのボタンの押下により切り替えて実施するようにしても良い。
【００７７】
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005558899.tif 000002
【図２】
0005558899.tif 000003
【図３】
0005558899.tif 000004
【図４】
0005558899.tif 000005
【図５】
0005558899.tif 000006
【図６】
0005558899.tif 000007
【図７】
0005558899.tif 000008
【図８】
0005558899.tif 000009