(57)【要約】【課題】同じタッチ操作であっても、タッチ操作の状態に応じてオブジェクトやグループに対する操作を切り替える。【解決手段】オブジェクト操作システムは、画面上にオブジェクトを表示する表示部と、前記画面上のタッチ操作を受け付ける操作部と、前記表示部及び前記操作部を制御する制御部と、を備え、前記制御部は、前記画面上で複数点が同時にタッチされるタッチ操作が行われた時、当該タッチ操作が両手によるタッチ操作であるか片手によるタッチ操作であるかを判定する操作判定部と、前記タッチ操作の判定結果に応じて予め定められた異なるルールに従って、オブジェクトに対する操作を実施する処理部と、を備える。【選択図】図１０
2015138360.tif 000002
【特許請求の範囲】
【請求項１】
画面上にオブジェクトを表示する表示部と、
前記画面上のタッチ操作を受け付ける操作部と、
前記表示部及び前記操作部を制御する制御部と、を備え、
前記制御部は、
前記画面上で複数点が同時にタッチされるタッチ操作が行われた時、当該タッチ操作が両手によるタッチ操作であるか片手によるタッチ操作であるかを判定する操作判定部と、
前記タッチ操作の判定結果に応じて予め定められた異なるルールに従って、オブジェクトに対する操作を実施する処理部と、を備える、
ことを特徴とするオブジェクト操作システム。
【請求項２】
前記処理部は、前記タッチ操作の判定結果に応じて、前記画面上のタッチ位置に対応する領域に表示されている１又は複数のオブジェクトからなる要素、又は、前記要素と少なくとも１つの他のオブジェクトとを含むグループのいずれかを操作対象として選択する、
ことを特徴とする請求項１に記載のオブジェクト操作システム。
【請求項３】
前記処理部は、前記画面上の２点のタッチにより、前記要素が選択された場合において、前記両手によるタッチ操作と判定された場合は、前記要素を前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施し、前記片手によるタッチ操作と判定された場合は、前記グループを前記タッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項２に記載のオブジェクト操作システム。
【請求項４】
前記処理部は、前記タッチ操作の判定結果に応じて、前記操作対象に対する操作内容を変更する、
ことを特徴とする請求項２又は３に記載のオブジェクト操作システム。
【請求項５】
前記処理部は、前記画面上の２点のタッチにより、２つの前記要素が選択された場合において、前記両手によるタッチ操作と判定された場合は、２つの前記要素を前記２点のタッチ位置の変化に応じて移動させる操作を実施し、前記片手によるタッチ操作と判定された場合は、前記グループを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項４に記載のオブジェクト操作システム。
【請求項６】
前記処理部は、前記画面上の２点のタッチにより、前記要素と前記グループとが選択された場合において、前記両手によるタッチ操作と判定された場合は、前記要素を一方のタッチ位置の変化に応じて移動させると共に、前記要素を除く前記グループを他方のタッチ位置の変化に応じて移動させる操作を実施し、前記片手によるタッチ操作と判定された場合は、前記グループを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項４に記載のオブジェクト操作システム。
【請求項７】
前記処理部は、前記画面上にウィンドウが表示され、前記ウィンドウ内にサブウィンドウが表示され、前記サブウィンドウ内にオブジェクトが表示されている場合において、前記タッチ操作の判定結果に応じて、前記画面上のタッチ位置に対応する領域に表示されている前記サブウィンドウ、又は、前記サブウィンドウを含む前記ウィンドウのいずれかを操作対象として選択する、
ことを特徴とする請求項１に記載のオブジェクト操作システム。
【請求項８】
前記処理部は、前記画面上の２点のタッチにより、前記サブウィンドウが選択された場合において、前記両手によるタッチ操作と判定された場合は、前記サブウィンドウ内部の表示サイズを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施し、前記片手によるタッチ操作と判定された場合は、前記サブウィンドウ全体の表示サイズを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項７に記載のオブジェクト操作システム。
【請求項９】
前記処理部は、前記画面上にウィンドウが表示され、前記ウィンドウ内にオブジェクトが表示されている場合において、前記タッチ操作の判定結果に応じて、前記画面上のタッチ位置に対応する領域に表示されている前記オブジェクト、又は、前記オブジェクトが表示される前記ウィンドウのいずれかを操作対象として選択する、
ことを特徴とする請求項１に記載のオブジェクト操作システム。
【請求項１０】
前記処理部は、前記画面上の２点のタッチにより、前記オブジェクトが選択された場合において、前記両手によるタッチ操作と判定された場合は、前記オブジェクトを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施し、前記片手によるタッチ操作と判定された場合は、前記ウィンドウ内部の表示サイズ又は前記ウィンドウ全体の表示サイズを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項９に記載のオブジェクト操作システム。
【請求項１１】
前記処理部は、前記画面上の２点のタッチにより、２つの前記オブジェクトが選択された場合において、前記両手によるタッチ操作と判定された場合は、２つの前記オブジェクトを前記２点のタッチ位置の変化に応じて移動させる操作を実施し、前記片手によるタッチ操作と判定された場合は、前記ウィンドウ内の全てのオブジェクトの表示位置又は前記画面における前記ウィンドウの表示位置を前記２点のタッチ位置の変化に応じて移動させる操作を実施する、
ことを特徴とする請求項９に記載のオブジェクト操作システム。
【請求項１２】
更に、前記タッチ操作を行っている手を撮像する検出部を備え、
前記操作判定部は、前記タッチ操作が行われた時、前記検出部が撮像した手の画像に基づいて、当該タッチ操作が両手によるタッチ操作であるか片手によりタッチ操作であるかを判定する、
ことを特徴とする請求項１乃至１１のいずれか一に記載のオブジェクト操作システム。
【請求項１３】
画面上にオブジェクトを表示する表示部と、前記画面上のタッチ操作を受け付ける操作部と、を備えるタッチパネルを制御する装置で動作するオブジェクト操作制御プログラムであって、
前記装置に、
前記画面上で複数点が同時にタッチされるタッチ操作が行われた時、当該タッチ操作が両手によるタッチ操作であるか片手によるタッチ操作であるかを判定する第１処理、
前記タッチ操作の判定結果に応じて予め定められた異なるルールに従って、オブジェクトに対する操作を実施する第２処理、を実行させる、
ことを特徴とするオブジェクト操作制御プログラム。
【請求項１４】
前記第２処理では、前記タッチ操作の判定結果に応じて、前記画面上のタッチ位置に対応する領域に表示されている１又は複数のオブジェクトからなる要素、又は、前記要素と少なくとも１つの他のオブジェクトとを含むグループのいずれかを操作対象として選択する、
ことを特徴とする請求項１３に記載のオブジェクト操作制御プログラム。
【請求項１５】
前記第２処理では、前記画面上の２点のタッチにより、前記要素が選択された場合において、前記両手によるタッチ操作と判定された場合は、前記要素を前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施し、前記片手によるタッチ操作と判定された場合は、前記グループを前記タッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項１４に記載のオブジェクト操作制御プログラム。
【請求項１６】
前記第２処理では、前記タッチ操作の判定結果に応じて、前記操作対象に対する操作内容を変更する、
ことを特徴とする請求項１３又は１４に記載のオブジェクト操作制御プログラム。
【請求項１７】
前記第２処理では、前記画面上の２点のタッチにより、２つの前記要素が選択された場合において、前記両手によるタッチ操作と判定された場合は、２つの前記要素を前記２点のタッチ位置の変化に応じて移動させる操作を実施し、前記片手によるタッチ操作と判定された場合は、前記グループを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項１６に記載のオブジェクト操作制御プログラム。
【請求項１８】
前記第２処理では、前記画面上の２点のタッチにより、前記要素と前記グループとが選択された場合において、前記両手によるタッチ操作と判定された場合は、前記要素を一方のタッチ位置の変化に応じて移動させると共に、前記要素を除く前記グループを他方のタッチ位置の変化に応じて移動させる操作を実施し、前記片手によるタッチ操作と判定された場合は、前記グループを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項１６に記載のオブジェクト操作制御プログラム。
【請求項１９】
前記第２処理では、前記画面上にウィンドウが表示され、前記ウィンドウ内にサブウィンドウが表示され、前記サブウィンドウ内にオブジェクトが表示されている場合において、前記タッチ操作の判定結果に応じて、前記画面上のタッチ位置に対応する領域に表示されている前記サブウィンドウ、又は、前記サブウィンドウを含む前記ウィンドウのいずれかを操作対象として選択する、
ことを特徴とする請求項１３に記載のオブジェクト操作制御プログラム。
【請求項２０】
前記第２処理では、前記画面上の２点のタッチにより、前記サブウィンドウが選択された場合において、前記両手によるタッチ操作と判定された場合は、前記サブウィンドウ内部の表示サイズを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施し、前記片手によるタッチ操作と判定された場合は、前記サブウィンドウ全体の表示サイズを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項１９に記載のオブジェクト操作制御プログラム。
【請求項２１】
前記第２処理では、前記画面上にウィンドウが表示され、前記ウィンドウ内にオブジェクトが表示されている場合において、前記タッチ操作の判定結果に応じて、前記画面上のタッチ位置に対応する領域に表示されている前記オブジェクト、又は、前記オブジェクトが表示される前記ウィンドウのいずれかを操作対象として選択する、
ことを特徴とする請求項１３に記載のオブジェクト操作制御プログラム。
【請求項２２】
前記第２処理では、前記画面上の２点のタッチにより、前記オブジェクトが選択された場合において、前記両手によるタッチ操作と判定された場合は、前記オブジェクトを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施し、前記片手によるタッチ操作と判定された場合は、前記ウィンドウ内部の表示サイズ又は前記ウィンドウ全体の表示サイズを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項２１に記載のオブジェクト操作制御プログラム。
【請求項２３】
前記第２処理では、前記画面上の２点のタッチにより、２つの前記オブジェクトが選択された場合において、前記両手によるタッチ操作と判定された場合は、２つの前記オブジェクトを前記２点のタッチ位置の変化に応じて移動させる操作を実施し、前記片手によるタッチ操作と判定された場合は、前記ウィンドウ内の全てのオブジェクトの表示位置又は前記画面における前記ウィンドウの表示位置を前記２点のタッチ位置の変化に応じて移動させる操作を実施する、
ことを特徴とする請求項２１に記載のオブジェクト操作制御プログラム。
【請求項２４】
前記タッチパネルは、前記タッチ操作を行っている手を撮像する検出部を備え、
前記第１処理では、前記タッチ操作が行われた時、前記検出部が撮像した手の画像に基づいて、当該タッチ操作が両手によるタッチ操作であるか片手によりタッチ操作であるかを判定する、
ことを特徴とする請求項１３乃至２３のいずれか一に記載のオブジェクト操作制御プログラム。
【請求項２５】
画面上にオブジェクトを表示する表示部と、前記画面上のタッチ操作を受け付ける操作部と、前記表示部及び前記操作部を制御する制御部と、を備えるシステムにおけるオブジェクト操作制御方法であって、
前記制御部は、
前記画面上で複数点が同時にタッチされるタッチ操作が行われた時、当該タッチ操作が両手によるタッチ操作であるか片手によるタッチ操作であるかを判定する第１処理と、
前記タッチ操作の判定結果に応じて予め定められた異なるルールに従って、オブジェクトに対する操作を実施する第２処理と、を実行する、
ことを特徴とするオブジェクト操作制御方法。
【請求項２６】
前記第２処理では、前記タッチ操作の判定結果に応じて、前記画面上のタッチ位置に対応する領域に表示されている１又は複数のオブジェクトからなる要素、又は、前記要素と少なくとも１つの他のオブジェクトとを含むグループのいずれかを操作対象として選択する、
ことを特徴とする請求項２５に記載のオブジェクト操作制御方法。
【請求項２７】
前記第２処理では、前記画面上の２点のタッチにより、前記要素が選択された場合において、前記両手によるタッチ操作と判定された場合は、前記要素を前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施し、前記片手によるタッチ操作と判定された場合は、前記グループを前記タッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項２６に記載のオブジェクト操作制御プログラム。
【請求項２８】
前記第２処理では、前記タッチ操作の判定結果に応じて、前記操作対象に対する操作内容を変更する、
ことを特徴とする請求項２５又は２６に記載のオブジェクト操作制御方法。
【請求項２９】
前記第２処理では、前記画面上の２点のタッチにより、２つの前記要素が選択された場合において、前記両手によるタッチ操作と判定された場合は、２つの前記要素を前記２点のタッチ位置の変化に応じて移動させる操作を実施し、前記片手によるタッチ操作と判定された場合は、前記グループを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項２８に記載のオブジェクト操作制御方法。
【請求項３０】
前記第２処理では、前記画面上の２点のタッチにより、前記要素と前記グループとが選択された場合において、前記両手によるタッチ操作と判定された場合は、前記要素を一方のタッチ位置の変化に応じて移動させると共に、前記要素を除く前記グループを他方のタッチ位置の変化に応じて移動させる操作を実施し、前記片手によるタッチ操作と判定された場合は、前記グループを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項２８に記載のオブジェクト操作制御方法。
【請求項３１】
前記第２処理では、前記画面上にウィンドウが表示され、前記ウィンドウ内にサブウィンドウが表示され、前記サブウィンドウ内にオブジェクトが表示されている場合において、前記タッチ操作の判定結果に応じて、前記画面上のタッチ位置に対応する領域に表示されている前記サブウィンドウ、又は、前記サブウィンドウを含む前記ウィンドウのいずれかを操作対象として選択する、
ことを特徴とする請求項２５に記載のオブジェクト操作制御方法。
【請求項３２】
前記第２処理では、前記画面上の２点のタッチにより、前記サブウィンドウが選択された場合において、前記両手によるタッチ操作と判定された場合は、前記サブウィンドウ内部の表示サイズを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施し、前記片手によるタッチ操作と判定された場合は、前記サブウィンドウ全体の表示サイズを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項３１に記載のオブジェクト操作制御方法。
【請求項３３】
前記第２処理では、前記画面上にウィンドウが表示され、前記ウィンドウ内にオブジェクトが表示されている場合において、前記タッチ操作の判定結果に応じて、前記画面上のタッチ位置に対応する領域に表示されている前記オブジェクト、又は、前記オブジェクトが表示される前記ウィンドウのいずれかを操作対象として選択する、
ことを特徴とする請求項２５に記載のオブジェクト操作制御方法。
【請求項３４】
前記第２処理では、前記画面上の２点のタッチにより、前記オブジェクトが選択された場合において、前記両手によるタッチ操作と判定された場合は、前記オブジェクトを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施し、前記片手によるタッチ操作と判定された場合は、前記ウィンドウ内部の表示サイズ又は前記ウィンドウ全体の表示サイズを前記２点のタッチ間隔の変化に応じて拡大／縮小する操作を実施する、
ことを特徴とする請求項３３に記載のオブジェクト操作制御方法。
【請求項３５】
前記第２処理では、前記画面上の２点のタッチにより、２つの前記オブジェクトが選択された場合において、前記両手によるタッチ操作と判定された場合は、２つの前記オブジェクトを前記２点のタッチ位置の変化に応じて移動させる操作を実施し、前記片手によるタッチ操作と判定された場合は、前記ウィンドウ内の全てのオブジェクトの表示位置又は前記画面における前記ウィンドウの表示位置を前記２点のタッチ位置の変化に応じて移動させる操作を実施する、
ことを特徴とする請求項３３に記載のオブジェクト操作制御方法。
【請求項３６】
前記システムは、前記タッチ操作を行っている手を撮像する検出部を備え、
前記第１処理では、前記タッチ操作が行われた時、前記検出部が撮像した手の画像に基づいて、当該タッチ操作が両手によるタッチ操作であるか片手によりタッチ操作であるかを判定する、
ことを特徴とする請求項２５乃至３５のいずれか一に記載のオブジェクト操作制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクトの表示及び操作が可能なオブジェクト操作システム及びオブジェクトの操作を制御するオブジェクト操作制御プログラム並びにオブジェクト操作制御方法に関する。
【背景技術】
【０００２】
近年、複数のユーザが利用可能な表示画面（共有画面と呼ぶ。）を用い、その共有画面に文字や図形、画像などの表示要素（以下、オブジェクトと呼ぶ。）を書き込んで議論する電子会議等が行われている。このような共有画面では、複数のユーザが様々なオブジェクトを書き込んだり、複数のオブジェクトをグループ化したり、オブジェクトやグループを共有画面内で任意の場所に移動したり、拡大／縮小（以下、拡縮と言う。）したりすることができる。特に、共有画面がマルチタッチに対応したタッチパネルで構成されている場合は、マルチタッチ操作により、オブジェクトやグループに対して様々な操作を行うことができる。
【０００３】
マルチタッチ操作に関する技術として、例えば、下記特許文献１には、表示画面上の２点のタッチを認識する認識手段と、前記認識した２点のタッチの距離に基づいて、画像処理の種類を選択する選択手段と、前記２点のタッチのうち、１点のタッチを回転の中心とし、もう一方のタッチの移動により得られる回転角度を取得し、前記回転角度より、処理量を算出する算出手段と、前記画像処理の種類と前記処理量に基づいて、前記表示画面上に表示されている画像に対して、画像処理を行う画像処理手段を有する画像処理装置が開示されている。
【０００４】
また、下記特許文献２には、表示部と、該表示部の表示画面への接触位置を検出する位置検出部とを備え、前記表示部に表示された表示画像に基づき、シート状の記録媒体に画像形成を行なう画像形成装置において、前記位置検出部によって検出された２点を結ぶ直線の方向に基づき、前記表示画像の部分的編集を行なう編集手段を備える構成が開示されている。
【０００５】
また、下記特許文献３には、画面を有する表示部と、前記画面に重ね合わせて配置されたタッチパネルと、前記タッチパネル上の少なくとも２点がそれぞれ静止点及び動作点として指示される操作を含む所定のモード切替操作を検出して書き込みモードを設定し、前記動作点の移動の軌跡に相当する座標データの系列を書き込みデータとして入力する制御部とを具備する情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−００８３２６号公報
【特許文献２】特開２０１３−０３７３９６号公報
【特許文献３】特開２０１２−０７０２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１〜３の従来技術は、タッチ操作の違いを認識し、タッチ操作の違いに応じてオブジェクトに対する操作を変えるものであるが、マルチタッチ操作の中には、まったく同じ操作として認識されるものであっても、オブジェクトに対して異なる操作を実行したい場合がある。例えば、所定のオブジェクトとその所定のオブジェクトを含むグループとが表示されている場合に、所定のオブジェクトとグループとをそれぞれ１点でタッチし、それぞれのタッチ位置を移動させた場合、所定のオブジェクトを含むグループを拡縮する場合と、グループから所定のオブジェクトを取り出し、その所定のオブジェクトを個別に移動する場合の２種類の操作を行いたい場合がある。
【０００８】
しかしながら、従来のシステムでは、双方とも全く同じタッチ操作として認識されてしまうため、オブジェクトやグループに対する操作を切り替えることができない。そのため、タッチ操作とは別の方法でオブジェクトやグループに対する操作を切り替える必要があり、操作が煩雑になるという問題があった。
【０００９】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、同じタッチ操作であっても、タッチ操作の状態に応じてオブジェクトやグループに対する操作を切り替えることができるオブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一側面は、オブジェクト操作システムは、画面上にオブジェクトを表示する表示部と、前記画面上のタッチ操作を受け付ける操作部と、前記表示部及び前記操作部を制御する制御部と、を備え、前記制御部は、前記画面上で複数点が同時にタッチされるタッチ操作が行われた時、当該タッチ操作が両手によるタッチ操作であるか片手によるタッチ操作であるかを判定する操作判定部と、前記タッチ操作の判定結果に応じて予め定められた異なるルールに従って、オブジェクトに対する操作を実施する処理部と、を備えることを特徴とする。
【００１１】
本発明の一側面は、画面上にオブジェクトを表示する表示部と、前記画面上のタッチ操作を受け付ける操作部と、を備えるタッチパネルを制御する装置で動作するオブジェクト操作制御プログラムであって、前記装置に、前記画面上で複数点が同時にタッチされるタッチ操作が行われた時、当該タッチ操作が両手によるタッチ操作であるか片手によるタッチ操作であるかを判定する第１処理、前記タッチ操作の判定結果に応じて予め定められた異なるルールに従って、オブジェクトに対する操作を実施する第２処理、を実行させることを特徴とする。
【００１２】
本発明の一側面は、画面上にオブジェクトを表示する表示部と、前記画面上のタッチ操作を受け付ける操作部と、前記表示部及び前記操作部を制御する制御部と、を備えるシステムにおけるオブジェクト操作制御方法であって、前記制御部は、前記画面上で複数点が同時にタッチされるタッチ操作が行われた時、当該タッチ操作が両手によるタッチ操作であるか片手によるタッチ操作であるかを判定する第１処理と、前記タッチ操作の判定結果に応じて予め定められた異なるルールに従って、オブジェクトに対する操作を実施する第２処理と、を実行することを特徴とする。
【発明の効果】
【００１３】
本発明のオブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法によれば、同じタッチ操作であっても、タッチ操作の状態に応じてオブジェクトやグループに対する操作を切り替えることができる。
【００１４】
その理由は、オブジェクトを表示する表示部とタッチ操作を受け付ける操作部とを備えるタッチパネルと、制御部と、を備えるシステムにおいて、制御部は、マルチタッチ操作が行われた時、両手によるマルチタッチ操作か片手によるマルチタッチ操作かを判定し、判定結果に応じて予め定められたルールに従って、要素又はグループに対する操作を実行するからである。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施の形態に係るオブジェクト操作システムの外観構成を示す模式図である。
【図２】本発明の一実施の形態に係るオブジェクト操作システムの他の外観構成を示す模式図である。
【図３】本発明の一実施の形態に係るオブジェクト操作システムの構成を示すブロック図である。
【図４】本発明の一実施の形態に係るオブジェクト操作システムの検出部の一例を示す模式図である。
【図５】本発明の一実施の形態に係るオブジェクト操作システムの検出部の他の例を示す模式図である。
【図６】本発明の一実施の形態に係るオブジェクト操作システムの基本処理を示すフローチャート図である。
【図７】本発明の第１の実施例に係るオブジェクト操作システムの処理（操作対象の変更）を示すフローチャート図である。
【図８】本発明の第１の実施例に係るオブジェクト操作システムの処理（操作対象及び操作内容の変更）を示すフローチャート図である。
【図９】本発明の第１の実施例に係るシングルタッチ操作の一例を示す模式図である。
【図１０】本発明の第１の実施例に係るマルチタッチ操作の一例を示す模式図である。
【図１１】本発明の第１の実施例に係るマルチタッチ操作の他の例を示す模式図である。
【図１２】本発明の第１の実施例に係るマルチタッチ操作の他の例を示す模式図である。
【図１３】本発明の第２の実施例に係るオブジェクト操作システムの処理の一例を示すフローチャート図である。
【図１４】本発明の第２の実施例に係るマルチタッチ操作の一例を示す模式図である。
【図１５】本発明の第２の実施例に係るマルチタッチ操作の他の例を示す模式図である。
【図１６】本発明の第２の実施例に係るマルチタッチ操作の他の例を示す模式図である。
【図１７】本発明の第３の実施例に係るオブジェクト操作システムの処理の一例を示すフローチャート図である。
【図１８】本発明の第３の実施例に係るマルチタッチ操作の一例を示す模式図である。
【図１９】本発明の第３の実施例に係るマルチタッチ操作の他の例を示す模式図である。
【図２０】本発明の第３の実施例に係るマルチタッチ操作の他の例を示す模式図である。
【図２１】本発明の第３の実施例に係るマルチタッチ操作の他の例を示す模式図である。
【図２２】本発明の第３の実施例に係るマルチタッチ操作の他の例を示す模式図である。
【発明を実施するための形態】
【００１６】
背景技術で示したように、共有画面に表示した文字や図形、画像などのオブジェクトやグループを操作して議論を行う場合、オブジェクトやグループを移動したり拡縮したりするなど、オブジェクトやグループに対する様々な操作が行われる。特に、共有画面がマルチタッチに対応したタッチパネルで構成されている場合は、マルチタッチ操作により、オブジェクトやグループに対して様々な操作を行うことができる。
【００１７】
ここで、全く同じタッチ操作として認識されるものであっても、オブジェクトやグループに対して異なる操作を実行したい場合がある。例えば、グループ内の一つのオブジェクトに対してピンチ操作（２点でタッチし、２点間の距離を変える操作）を行った際、グループ全体を拡縮したい場合もあれば、対象のオブジェクトだけを拡縮した場合もある。しかしながら、従来のシステムでは、同じタッチ操作として認識される限り、どちらか一方のルールでしか操作することができない。そのため、タッチ操作とは別の方法で操作を切り替えなければならず、操作が煩雑になるという問題があった。
【００１８】
そこで、本発明の一実施の形態では、タッチパネルに、タッチ操作の状態（タッチ操作を行う手）を検出する検出部を設け、マルチタッチ操作が行われた時、検出部の検出結果に基づいて、２本の手の２本の指によるマルチタッチ操作（両手マルチタッチ操作と呼ぶ。）であるのか、１つの手の２本の指によるマルチタッチ操作（片手マルチタッチ操作と呼ぶ。）であるのかを判定し、両手マルチタッチ操作と判定した場合は、予め定めた第１のルールに従って要素やグループに対する操作を実施し、片手マルチタッチ操作と判定した場合は、第１のルールとは異なる第２のルールに従って要素やグループに対する操作を実施する。以下、図面を参照して説明する。
【００１９】
なお、本発明は、操作者が１人の場合及び複数の場合の双方に適用可能であるが、本明細書では、複数の操作者が操作可能な共有作業領域を有するシステムについて説明する。このシステムの形態としては以下の２つが考えられる。第１の形態は、図１に示すように、オブジェクトを表示する表示部４０とタッチ操作を受け付ける操作部５０とを有するタッチパネルと、タッチ操作の状態を検出（例えば、タッチ操作を行う手を撮像）する検出部６０と、これらを制御する制御部２０と、が一体となった装置で構成される形態である。第２の形態は、図２に示すように、表示部４０と操作部５０とを有するタッチパネル及び検出部６０と、これらを制御する制御部２０と、が別々に構成され、それらが有線又は無線で接続される形態である。以下では、説明を簡単にするために図１の第１の形態を前提にして説明する。
【００２０】
本実施形態のオブジェクト操作システム１０は、演算機能を備えた表示パネル、電子黒板などであり、図３（ａ）に示すように、制御部２０と記憶部３０と表示部４０と操作部５０と検出部６０などで構成される。
【００２１】
制御部２０は、ＣＰＵ（Central Processing Unit）２１と、ＲＯＭ（Read Only Memory）２２やＲＡＭ（Random Access Memory）２３などのメモリと、で構成され、ＣＰＵ２１は、ＲＯＭ２２や記憶部３０から制御プログラムを呼び出し、ＲＡＭ２３に展開して実行することにより、オブジェクト操作システム１０全体の動作を制御する。また、制御部２０は、図３（ｂ）に示すように、操作判定部２０ａ、処理部２０ｂとしても機能する。
【００２２】
操作判定部２０ａは、操作部５０からの情報（タッチ位置の情報）に基づいて、１点のタッチによるタッチ操作（シングルタッチ操作）若しくは複数点のタッチによるタッチ操作（マルチタッチ操作）を判定する。そして、マルチタッチ操作が行われたと判定した場合は、検出部６０からの情報を解析し、その解析結果に基づいて、マルチタッチ操作が両手マルチタッチ操作であるか、片手マルチタッチ操作であるかを判定する。そして、判定結果（タッチ位置及びタッチ操作の種類）を処理部２０ｂに通知する。
【００２３】
なお、マルチタッチ操作を判別する手法は特に限定されないが、例えば、一方又は双方の手の任意の複数の指でタッチした時の画像を取得し、各々の画像の特徴点を抽出したパターンを記憶しておき、検出部６０から取得した手の画像と予め記憶したパターンとを比較することによって、両手マルチタッチ操作か片手マルチタッチ操作かを判定することができる。
【００２４】
また、一方又は双方の手の任意の複数の指でタッチした時の各々のタッチ位置のタッチ面積及びタッチ圧力を取得し、タッチ面積とタッチ圧力の組み合わせパターンを記憶しておき、操作部５０から取得したタッチ面積及びタッチ圧力と予め記憶した組み合わせパターンとを比較することによって、両手マルチタッチ操作か片手マルチタッチ操作かを判定することができる。例えば、両手でタッチする場合は同じ指を使用する場合が多く、両手の同じ指でタッチする場合、タッチ面積やタッチ圧力はほぼ等しくなる。一方、片手の異なる指でタッチする場合、タッチ面積やタッチ圧力は異なるため、タッチ面積とタッチ圧力の組み合わせにより、両手マルチタッチ操作か片手マルチタッチ操作かを判定することができる。この場合、タッチ操作の状態は操作部５０からの情報に基づいて判定することができるため、検出部６０を省略することができる。
【００２５】
処理部２０ｂは、操作部５０の操作に応じて、表示部４０に手書きのオブジェクトを表示させたり、記憶部３０からオブジェクトのデータを取得して、表示部４０にオブジェクトを表示させたりする。また、処理部２０ｂは、操作判定部２０ａからの判定結果（タッチ位置及びタッチ操作の種類）に基づいて、操作の対象となるオブジェクト（要素）やグループを選択し、選択したオブジェクトやグループに対する操作を実施して、オブジェクトやグループの表示状態を変化させる。例えば、操作判定部２０ａがシングルタッチ操作と判定した場合は、表示部４０の画面上のタッチ位置に表示されているオブジェクト（以下、タッチされたオブジェクトと略記する。）若しくはタッチされたオブジェクトを含むグループを、タッチ位置の変化に応じて移動させる。また、操作判定部２０ａが両手マルチタッチ操作と判定した場合は、タッチされたオブジェクト若しくはタッチされたオブジェクトを含むグループを、両手マルチタッチ操作に予め対応付けた第１ルールに従って変化（例えば、２つのタッチ位置の変化に応じてオブジェクトを拡縮、移動）させる。また、操作判定部２０ａが片手マルチタッチ操作と判定した場合は、タッチされたオブジェクト若しくはタッチされたオブジェクトを含むグループを、片手マルチタッチ操作に予め対応付けた第２ルールに従って変化（例えば、２つのタッチ位置の変化に応じてグループを拡縮）させる。
【００２６】
なお、本発明における拡縮とは、オブジェクトの縦横の比率を一定に保った状態で（すなわち、相似形で）サイズを大きく若しくは小さくすること、及び、オブジェクトの縦横の比率を変えてサイズを大きく若しくは小さくすること（いわゆる変形）の双方を含む。
【００２７】
また、本発明におけるグループは、予め登録された１又は複数のオブジェクトで構成されるものとするが、所定範囲内の複数のオブジェクト（例えば、タッチされたオブジェクトを中心とする所定範囲内のオブジェクト）をグループとしてもよい。また、オブジェクトの種類に基づいてグループを構成してもよいし、オブジェクトのサイズや色に基づいてグループを構成してもよい。また、オブジェクトのデータが階層構造で管理されている場合は、同じ階層の１又は複数のオブジェクトをグループとしてもよい。また、オブジェクトがユーザに関連付けられている場合は、同じユーザに関連付けられた１又は複数のオブジェクトをグループとしてもよい。また、本発明におけるグループの領域は、オブジェクトの表示領域のみとしてもよいし、オブジェクト近傍を含む領域としてもよい。
【００２８】
また、上記操作判定部２０ａ及び処理部２０ｂは、ハードウェアとして構成してもよいし、制御部２０を、操作判定部２０ａ及び処理部２０ｂとして機能させるソフトウェア（操作制御プログラム）として構成し、この操作制御プログラムをＣＰＵ２１に実行させるようにしてもよい。
【００２９】
記憶部３０は、メモリやＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などで構成され、操作部５０で行われた操作の内容（タッチ位置やタッチ操作の種類の情報など）、表示部４０に表示されているオブジェクトに関する情報（オブジェクトのデータ、オブジェクトを識別する番号、グループを構成するオブジェクトの情報など）、タッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かを判定するためのパターンなどを記憶する。
【００３０】
表示部４０は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどで構成され、複数の操作者がオブジェクトを操作可能な共有作業領域を提供する。操作部５０は、表示部４０上に配置された格子状の電極からなるタッチセンサ、ハードキーなどで構成され、ユーザの操作を受け付ける。そして、表示部４０と操作部５０とでタッチパネルが構成され、タッチパネル上のタッチ操作に応じた信号を操作判定部２０ａ及び処理部２０ｂに出力する。
【００３１】
検出部６０は、ＣＣＤ（Charge Coupled Devices）カメラなどで構成され、可視光や赤外線を用いてタッチ操作を行っている手を撮像し、撮像した画像データ若しくは画像データを処理したデータ（例えば画像の輪郭を抽出したデータなど）を操作判定部２０ａに出力する。この検出部６０は、タッチ操作を行っている手を撮像可能であれば、その構成や配置は特に限定されない。例えば、タッチパネルが光透過性を有する場合は、図４に示すように、検出部６０はタッチパネルの背面に配置され、タッチパネルの裏面側からタッチ操作を行っている手を撮像する。この様なシステムとしては、Microsoft（登録商標）社のPixelSense（登録商標）、MultiTouch社のMultiTaction（登録商標）などがある。また、タッチパネルが光透過性を持たない場合や既存のタッチパネルを利用する場合は、図５に示すように、検出部６０はタッチパネルの正面や側面に配置され、タッチパネルの表面側からタッチ操作を行っている手を撮影する。なお、本実施形態では、検出部６０をタッチパネルとは別に設けているが、検出部６０はタッチパネルと一体の構成としても良い。
【００３２】
以下、上記構成のオブジェクト操作システム１０を用いたオブジェクトの操作制御方法について説明する。ＣＰＵ２１は、ＲＯＭ２２又は記憶部３０に記憶した操作制御プログラムをＲＡＭ２３に展開して実行することにより、図６のフローチャート図に示す各ステップの処理を実行する。なお、以下のフローにおいて、予め複数のオブジェクトが表示部４０（タッチパネル）に表示されており、ユーザは２本の指を用いてタッチパネル上でオブジェクトを操作するものとする。
【００３３】
まず、操作判定部２０ａは、操作部５０からタッチ操作の情報（タッチ位置の情報）を取得すると共に、検出部６０からタッチ操作を行っている手の情報（手の画像データや輪郭データ）を取得する（Ｓ１０１）。
【００３４】
次に、操作判定部２０ａは、タッチ操作を行っている手の情報と記憶部３０に予め記憶したパターンとを比較することによって、タッチ操作が両手マルチタッチ操作（各々のタッチ位置が別々の手に紐付けられている）か、片手マルチタッチ操作（各々のタッチ位置が同じ手に紐付けられている）か、を判定する（Ｓ１０２）。
【００３５】
そして、タッチ操作が両手マルチタッチ操作と判定された場合、処理部２０ｂは、両手マルチタッチ操作に予め対応付けられた第１のルールに従って、オブジェクト又はグループに対する操作を実行する（Ｓ１０３）。一方、タッチ操作が片手マルチタッチ操作と判定された場合は、処理部２０ｂは、片手マルチタッチ操作に予め対応付けられた第２のルールに従って、オブジェクト又はグループに対する操作を実行する（Ｓ１０４）。
【００３６】
このように、タッチパネルが検出するタッチ操作の情報が全く同じであっても、タッチ操作を行う手が片手か両手かを判定することによって、異なる操作を実施することができる。これにより、階層構造を持っている対象を操作する場合に、１つのマルチタッチ操作で操作対象を選択することができる。例えば、オブジェクトを操作するかグループを操作するかを１つのマルチタッチ操作で選択することができる。また、１つのマルチタッチ操作で操作内容を選択することもできる。例えば、オブジェクトやグループを移動するのか拡縮するのかを１つのマルチタッチ操作で選択することができる。これにより、オブジェクトやグループを効率的に操作することができ、ユーザの利便性を向上させることができる。
【００３７】
また、複数のグループ（小グループ）が集まって別のグループ（大グループ）が形成されるような多層の階層構造を持っているオブジェクトを操作する場合にも、１つのマルチタッチ操作で操作対象（小グループ／大グループ）や操作内容（移動／拡大など）を選択することができる。また、画面にウィンドウが表示され、そのウィンドウ内にサブウィンドウが表示される場合にも、サブウィンドウをオブジェクト、ウィンドウをグループとすることにより、１つのマルチタッチ操作で操作対象（オブジェクト／グループ）や操作内容（移動／拡大など）を選択することができる。
【実施例１】
【００３８】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係るオブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法について、図７乃至図１２を参照して説明する。図７及び図８は、本実施例のオブジェクト操作システムの処理を示すフローチャート図であり、図９乃至図１２は、タッチの具体例を示す模式図である。なお、オブジェクト操作システム１０の構成は前記した実施形態と同様であるため、説明を省略する。また、本実施例では、両手マルチタッチ操作をオブジェクトに対する操作とし、片手マルチタッチ操作をグループに対する操作とする場合について記載する。
【００３９】
本実施例のオブジェクトの操作制御方法について説明する。ＣＰＵ２１は、ＲＯＭ２２又は記憶部３０に記憶した操作制御プログラムをＲＡＭ２３に展開して実行することにより、図７及び図８のフローチャート図に示す各ステップの処理を実行する。なお、以下のフローにおいて、予め複数のオブジェクトが表示部４０（タッチパネル）に表示されており、任意の複数のオブジェクトが予めグループとして登録され、ユーザは２本の指を用いてタッチパネル上でオブジェクトを操作するものとする。
【００４０】
まず、操作対象を変更する場合の処理について、図７を参照して説明する。操作判定部２０ａは、操作部５０からタッチ操作の情報を取得すると共に、検出部６０からタッチ操作を行っている手の情報を取得する（Ｓ２０１）。そして、操作判定部２０ａは、タッチ操作を行っている手の情報と記憶部３０に記憶したパターンとを比較することによって、タッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かを判定する（Ｓ２０２）。
【００４１】
タッチ操作が両手マルチタッチ操作と判定された場合、処理部２０ｂは、要素（オブジェクト）を拡縮する操作を実行する（Ｓ２０３）。一方、タッチ操作が片手マルチタッチ操作と判定された場合は、処理部２０ｂは、グループを拡縮する操作を実行する（Ｓ２０４）。すなわち、タッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かにより、操作対象（要素／グループ）を切り替える。
【００４２】
次に、操作対象及び操作内容を変更する場合の処理について、図８を参照して説明する。上記と同様に、操作判定部２０ａは、操作部５０からタッチ操作の情報を取得すると共に、検出部６０からタッチ操作を行っている手の情報を取得する（Ｓ３０１）。そして、操作判定部２０ａは、タッチ操作を行っている手の情報と記憶部３０に予め記憶したパターンとを比較することによって、タッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かを判定する（Ｓ３０２）。
【００４３】
タッチ操作が両手マルチタッチ操作と判定された場合、処理部２０ｂは、各々の指のタッチ位置に基づいて、各々の指がタッチしている対象を識別する（Ｓ３０３）。具体的には、各々の指が同じ要素（同じオブジェクト）をタッチしているか、一方の指が要素（オブジェクト）をタッチし、他方の指がグループ（グループの領域内のオブジェクト以外の部分）をタッチしているか、各々の指が異なる要素（異なるオブジェクト）をタッチしているかを判断する。
【００４４】
各々の指が同じ要素をタッチしている場合は、処理部２０ｂは、タッチしている要素を拡縮する操作を実行する（Ｓ３０４）。また、一方の指が要素をタッチし、他方の指がグループをタッチしている場合は、処理部２０ｂは、要素とグループを別々に移動させる操作を実行する（Ｓ３０５）。また、各々の指が異なる要素をタッチしている場合は、処理部２０ｂは、各々の要素を別々に移動させる操作を実行する（Ｓ３０６）。
【００４５】
一方、Ｓ３０２でタッチ操作が片手マルチタッチ操作と判定された場合は、処理部２０ｂは、グループを拡縮する操作を実行する（Ｓ３０７）。すなわち、タッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かにより、操作対象（要素／グループ）を切り替えると共に、タッチ対象に基づいて、操作内容（移動／拡縮）を切り替える。
【００４６】
以下、図９乃至図１２を参照して具体的に説明する。なお、図９乃至図１２はオブジェクトの操作制御の一例であり、操作対象や操作内容は適宜変更可能である。また、図ではオブジェクト７０を矩形で表しているが、オブジェクトのサイズや形状は任意である。また、図ではグループを構成するオブジェクトを識別できるようにするために、グループを構成する複数のオブジェクトを枠で囲んでいるが、グループの領域や枠は画面上に表示する必要はなく、グループを構成するオブジェクトの近傍領域をグループの領域としてもよい。また、図では各々の指がどの部分をタッチしているかを明確にするために、タッチ位置を丸で示しているが、タッチ位置は画面上に表示する必要はない。
【００４７】
図９は、１本指でタッチした場合を示している。グループ７１を構成するいずれかのオブジェクト７０を１本の指でタッチし、タッチ位置を移動させた場合、例えば、タッチ位置の移動先に、そのグループ７１全体（グループ７１を構成する３つのオブジェクト７０）を移動させる。
【００４８】
図１０は、タッチ操作に応じて操作対象を変更する場合の例を示している。例えば、図１０（ａ）の左図に示すように、グループ７１を構成するいずれかの１つのオブジェクト７０を、両手の２本の指（ここでは、右手の人差し指と左手の人差し指）でタッチし、２本の指の間隔を変化させる、いわゆるピンチ操作（ここでは間隔を広げるピンチアウト操作）が行われた場合、図１０（ａ）の右図に示すように、要素（タッチされているオブジェクト７０）を操作対象とし、２本の指の間隔の変化に応じて、そのオブジェクト７０を拡縮（ここでは拡大）する（図８のＳ３０４の処理）。
【００４９】
一方、図１０（ｂ）の左図に示すように、グループ７１を構成するいずれかの１つのオブジェクト７０を、片手の２本の指（ここでは、右手の親指と人差し指）でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１０（ｂ）の右図に示すように、グループ７１（ここでは３つのオブジェクト７０）を操作対象とし、２本の指の間隔の変化に応じて、グループ７１全体を拡縮（ここでは拡大）する（図８のＳ３０７の処理）。
【００５０】
図１１は、タッチ操作に応じて操作対象と操作内容の双方を変更する場合の例を示している。例えば、図１１（ａ）の左図に示すように、グループ７１を構成する２つのオブジェクト７０の各々を、両手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１１（ａ）の右図に示すように、要素（タッチしている２つのオブジェクト７０）を操作対象とし、２本の指の間隔の変化に応じて、２つのオブジェクト７０を移動させる（図８のＳ３０６の処理）。
【００５１】
一方、図１１（ｂ）の左図に示すように、グループ７１を構成する２つのオブジェクト７０の各々を、片手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１１（ｂ）の右図に示すように、グループ７１（ここでは３つのオブジェクト７０）を操作対象とし、２本の指の間隔の変化に応じて、グループ７１全体を拡縮（ここでは拡大）する（図８のＳ３０７の処理）。
【００５２】
図１２は、タッチ操作に応じて操作対象と操作内容の双方を変更する場合の他の例を示している。例えば、図１２（ａ）の左図に示すように、グループ７１を構成する１つのオブジェクト７０とグループ７１の領域の各々を、両手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１２（ａ）の右図に示すように、要素（タッチしているオブジェクト７０）とグループ７１（タッチしているオブジェクト７０以外のオブジェクト７０）を操作対象とし、２本の指の間隔の変化に応じて、タッチしているオブジェクト７０を一方の指の方向に移動させると共に、グループ７１を他方の指の方向に移動させる（図８のＳ３０５の処理）。
【００５３】
一方、図１２（ｂ）の左図に示すように、グループ７１を構成する１つのオブジェクト７０とグループ７１の領域の各々を、片手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１２（ｂ）の右図に示すように、グループ７１（ここでは３つのオブジェクト７０）を操作対象とし、２本の指の間隔の変化に応じて、グループ７１全体を拡縮（ここでは拡大）する（図８のＳ３０７の処理）。
【００５４】
このように、マルチタッチ操作が行われた場合に、両手マルチタッチ操作か片手マルチタッチ操作かに応じて操作対象（要素／グループ）を切り替えたり、更に、タッチした対象に応じて操作内容（移動／拡縮など）を切り替えたりすることにより、要素やグループを効率的に操作することができ、ユーザの利便性を向上させることができる。
【実施例２】
【００５５】
次に、本発明の第２の実施例に係るオブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法について、図１３乃至図１６を参照して説明する。図１３は、本実施例のオブジェクト操作システムの処理を示すフローチャート図であり、図１４乃至図１６は、タッチ操作の具体例を示す模式図である。なお、オブジェクト操作システム１０の構成は前記した実施形態と同様であるため、説明を省略する。
【００５６】
前記した第１の実施例では、タッチ操作に応じて、操作対象として要素とグループとを切り替えたが、オブジェクトが多層の階層構造で管理されている場合は、１又は複数のオブジェクトで第１グループ（小グループと呼ぶ。）が形成され、更に、複数の第１グループ、若しくは、第１グループと少なくとも１つの他のオブジェクトとで第２グループ（大グループと呼ぶ。）が形成される場合がある。そこで、本実施例では、操作対象として大グループと小グループとを切り替える場合について説明する。なお、本実施例の小グループは第１の実施例の要素に対応し、本実施例の大グループは第１の実施例のグループに対応する。
【００５７】
その場合のオブジェクトの操作制御方法について説明する。ＣＰＵ２１は、ＲＯＭ２２又は記憶部３０に記憶した操作制御プログラムをＲＡＭ２３に展開して実行することにより、図１３のフローチャート図に示す各ステップの処理を実行する。なお、以下のフローにおいて、予め複数のオブジェクトが表示部４０（タッチパネル）に表示されており、複数のオブジェクトからなる複数の小グループが予め登録され、更に、複数の小グループからなる１又は複数の大グループが予め登楼され、ユーザは２本の指を用いてタッチパネル上で小グループ又は大グループを操作するものとする。
【００５８】
まず、操作判定部２０ａは、操作部５０からタッチ操作の情報を取得すると共に、検出部６０からタッチ操作を行っている手の情報を取得する（Ｓ４０１）。そして、操作判定部２０ａは、タッチ操作を行っている手の情報と記憶部３０に予め記憶したパターンとを比較することによって、タッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かを判定する（Ｓ４０２）。
【００５９】
タッチ操作が両手マルチタッチ操作と判定された場合、処理部２０ｂは、各々の指のタッチ位置に基づいて、各々の指がタッチしている対象を識別する（Ｓ４０３）。具体的には、各々の指が同じ小グループをタッチしているか、一方の指が小グループをタッチし、他方の指が大グループ（大グループの領域内の小グループ以外の部分）をタッチしているか、各々の指が異なる小グループをタッチしているかを判断する。
【００６０】
各々の指が同じ小グループをタッチしている場合は、処理部２０ｂは、タッチしている小グループを拡縮する操作を実行する（Ｓ４０４）。また、一方の指が小グループをタッチし、他方の指が大グループをタッチしている場合は、処理部２０ｂは、小グループと大グループを別々に移動させる操作を実行する（Ｓ４０５）。また、各々の指が異なる小グループをタッチしている場合は、処理部２０ｂは、各々の小グループを別々に移動させる操作を実行する（Ｓ４０６）。
【００６１】
一方、Ｓ４０２でタッチ操作が片手マルチタッチ操作と判定された場合は、処理部２０ｂは、大グループを拡縮する操作を実行する（Ｓ４０７）。すなわち、タッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かにより、操作対象（小グループ／大グループ）を切り替えると共に、タッチ対象に基づいて、操作内容（移動／拡縮）を切り替える。
【００６２】
以下、図１４乃至図１６を参照して詳細に説明する。なお、図１４乃至図１６はオブジェクトの操作制御の一例であり、操作対象や操作内容は適宜変更可能である。例えば、図１４乃至図１６では、複数の小グループで大グループが形成される場合を示すが、１又は複数の小グループと少なくとも１つの他のオブジェクトとで大グループが形成される場合に対しても同様の制御が可能であり。また、図ではオブジェクト７０を矩形で表しているが、オブジェクトのサイズや形状は任意である。また、図では、枠で小グループ及び大グループを表しているが、小グループ及び大グループの領域や枠は画面上に表示する必要はなく、複数のオブジェクトの近傍領域を小グループの領域としたり、複数の小グループの近傍領域を大グループの領域としたりしてもよい。また、図では各々の指がどの部分をタッチしているかを明確にするために、タッチ位置を丸で示しているが、タッチ位置は画面上に表示する必要はない。
【００６３】
図１４は、タッチ操作に応じて操作対象を変更する場合の例を示している。例えば、図１４（ａ）の左図に示すように、大グループ７１ａを構成するいずれかの１つの小グループ７１ｂの領域内を、両手の２本の指（ここでは、右手の人差し指と左手の人差し指）でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１４（ａ）の右図に示すように、タッチされている小グループ７１ｂを操作対象とし、２本の指の間隔の変化に応じて、その小グループ７１ｂを拡縮（ここでは拡大）する（図１３のＳ４０４の処理）。
【００６４】
一方、図１４（ｂ）の左図に示すように、大グループ７１ａを構成するいずれかの１つの小グループ７１ｂの領域内を、片手の２本の指（ここでは、右手の親指と人差し指）でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１４（ｂ）の右図に示すように、大グループ７１ａ（ここでは３つの小グループ７１ｂ）を操作対象とし、２本の指の間隔の変化に応じて、大グループ７１ａ全体を拡縮（ここでは拡大）する（図１３のＳ４０７の処理）。
【００６５】
図１５は、タッチ操作に応じて操作対象と操作内容の双方を変更する場合の例を示している。例えば、図１５（ａ）の左図に示すように、大グループ７１ａを構成する２つの小グループ７１ｂの領域内の各々を、両手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１５（ａ）の右図に示すように、タッチしている２つの小グループ７１ｂを操作対象とし、２本の指の間隔の変化に応じて、２つの小グループ７１ｂを移動させる（図１３のＳ４０６の処理）。
【００６６】
一方、図１５（ｂ）の左図に示すように、大グループ７１ａを構成する２つの小グループ７１ｂの領域内の各々を、片手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１５（ｂ）の右図に示すように、大グループ７１ａ（ここでは３つの小グループ７１ｂ）を操作対象とし、２本の指の間隔の変化に応じて、大グループ７１ａ全体を拡縮（ここでは拡大）する（図１３のＳ４０７の処理）。
【００６７】
図１６は、タッチ操作に応じて操作対象と操作内容の双方を変更する場合の他の例を示している。例えば、図１６（ａ）の左図に示すように、大グループ７１ａを構成する１つの小グループ７１ｂの領域の内外の各々を、両手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１６（ａ）の右図に示すように、タッチしている小グループ７１ｂと大グループ７１ａ（タッチしている小グループ７１ｂ以外の小グループ７１ｂ）を操作対象とし、２本の指の間隔の変化に応じて、タッチしている小グループ７１ｂを一方の指の方向に移動させると共に、大グループ７１ａを他方の指の方向に移動させる（図１３のＳ４０５の処理）。
【００６８】
一方、図１６（ｂ）の左図に示すように、大グループ７１ａを構成する１つの小グループ７１ｂの領域の内外の各々を、片手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１６（ｂ）の右図に示すように、大グループ７１ａ（ここでは３つの小グループ７１ｂ）を操作対象とし、２本の指の間隔の変化に応じて、大グループ７１ａ全体を拡縮（ここでは拡大）する（図１３のＳ４０７の処理）。
【００６９】
このように、マルチタッチ操作が行われた場合に、両手マルチタッチ操作か片手マルチタッチ操作かに応じて操作対象（小グループ／大グループ）を切り替えたり、更に、タッチした対象に応じて操作内容（移動／拡縮など）を切り替えたりすることにより、オブジェクトをグループ単位で効率的に操作することができ、ユーザの利便性を向上させることができる。
【実施例３】
【００７０】
次に、本発明の第３の実施例に係るオブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法について、図１７乃至図２２を参照して説明する。図１７は、本実施例のオブジェクト操作システムの処理を示すフローチャート図であり、図１８乃至図２２は、タッチ操作の具体例を示す模式図である。なお、オブジェクト操作システム１０の構成は前記した実施形態と同様であるため、説明を省略する。
【００７１】
第１の実施例では、オブジェクト又はグループを操作対象とし、第２の実施例では、小グループ又は大グループを操作対象としたが、本実施例では、表示部４０の画面上に表示されるウィンドウやそのウィンドウの内部に表示されるサブウィンドウ、ウィンドウやサブウィンドウの内部に表示されているオブジェクトを操作対象とし、タッチ操作に応じて操作対象や操作内容を切り替える場合について説明する。すなわち、本実施例では、表示部４０の画面上にウィンドウが表示され、ウィンドウの内部にサブウィンドウが表示される場合は、個々のサブウィンドウを要素（オブジェクト）とし、ウィンドウの内部の全てのサブウィンドウを含むウィンドウ全体をグループとして取り扱う。また、表示部４０の画面上にウィンドウが表示され、ウィンドウの内部にオブジェクトが表示される場合は、個々のオブジェクトを要素とし、ウィンドウの内部の全てのオブジェクトを含むウィンドウ全体をグループとして取り扱う。
【００７２】
その場合のオブジェクトの操作制御方法について説明する。ＣＰＵ２１は、ＲＯＭ２２又は記憶部３０に記憶した操作制御プログラムをＲＡＭ２３に展開して実行することにより、図１７のフローチャート図に示す各ステップの処理を実行する。なお、以下のフローにおいて、表示部４０の画面上にウィンドウが表示され、そのウィンドウの内部にサブウィンドウが表示されており、ユーザは２本の指を用いてタッチパネル上でウィンドウ又はサブウィンドウを操作するものとする。
【００７３】
まず、操作判定部２０ａは、操作部５０からタッチ操作の情報を取得すると共に、検出部６０からタッチ操作を行っている手の情報を取得する（Ｓ５０１）。そして、操作判定部２０ａは、タッチ操作を行っている手の情報と記憶部３０に予め記憶したパターンとを比較することによって、タッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かを判定する（Ｓ５０２）。
【００７４】
タッチ操作が両手マルチタッチ操作と判定された場合、処理部２０ｂは、サブウィンドウの内部の表示サイズ（例えば、サブウィンドウの内部に表示されている各オブジェクト）を拡縮する操作を実行する（Ｓ５０３）。一方、タッチ操作が片手マルチタッチ操作と判定された場合は、処理部２０ｂは、ウィンドウの内部の表示サイズ（例えば、ウィンドウの内部に表示されているサブウィンドウ全体）を拡縮する操作を実行する（Ｓ４０４）。すなわち、タッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かにより、操作対象（サブウィンドウ／ウィンドウ）を切り替える。なお、図１７では、タッチ操作に応じて操作対象を切り替える場合について記載したが、第１及び第２の実施例と同様に、タッチ操作に応じて操作対象と操作内容の双方を切り替えることもできる。
【００７５】
以下、図１８乃至図２２を参照して詳細に説明する。なお、図１８乃至図２２はオブジェクトの操作制御の一例であり、操作対象や操作内容は適宜変更可能である。また、図１８乃至図２２では各々の指がどの部分をタッチしているかを明確にするために、タッチ位置を丸で示しているが、タッチ位置は画面上に表示する必要はない。また、図１９乃至図２２ではオブジェクト７０を矩形で表しているが、オブジェクトのサイズや形状は任意である。
【００７６】
図１８は、タッチ操作に応じて操作対象を変更する場合の例を示している。図では、ブラウザのウィンドウ７２の内部に、地図を表示するサブウィンドウ７３が表示されており、２本指でサブウィンドウ７３をタッチした場合を示している。
【００７７】
図１８（ａ）の左図に示すように、サブウィンドウ７３内を、両手の２本の指（ここでは、右手の人差し指と左手の人差し指）の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここでは間隔を狭めるピンチイン操作）が行われた場合、図１８（ａ）の右図に示すように、サブウィンドウ７３の内部に表示されているオブジェクト（ここでは地図）を操作対象とし、２本の指の間隔の変化に応じて、その地図の縮尺を変更（ここでは地図を縮小）する。
【００７８】
一方、図１８（ｂ）の左図に示すように、サブウィンドウ７３内を、片手の２本の指（ここでは、右手の親指と人差し指）の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチイン操作）が行われた場合、図１８（ｂ）の右図に示すように、ウィンドウ７２の内部のサブウィンドウ７３全体（すなわち、サブウィンドウ７３の枠とサブウィンドウ７３の内部に表示されているオブジェクトからなるグループ）を操作対象とし、２本の指の間隔の変化に応じて、ウィンドウ７２の内部のサブウィンドウ７３全体を拡縮（ここでは縮小）する。
【００７９】
このように、両手マルチタッチ操作か片手マルチタッチ操作かにより、操作対象（サブウィンドウ／ウィンドウ）を切り替えることにより、ユーザの利便性を向上させることができる。例えば、ブラウザで地図が埋め込まれページを表示する際に、地図を拡大し、ブラウザ全体に地図が表示されてしまった場合、通常のブラウザでは地図以外の場所を触ることができないため、ブラウザの表示サイズを変えることができなくなってしまうが、上記制御では、操作する指を変えることでブラウザの表示サイズを変えることができる。
【００８０】
図１９は、タッチ操作に応じて操作対象と操作内容の双方を変更する場合の例を示している。図１９では、ウィンドウ７２の内部に、複数のオブジェクト７０が表示されており、２本指でオブジェクト７０をタッチした場合を示している。
【００８１】
図１９（ａ）の左図に示すように、ウィンドウ７２内のいずれか１つのオブジェクト７０を、両手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１９（ａ）の右図に示すように、要素（タッチしているオブジェクト７０）を操作対象とし、２本の指の間隔の変化に応じて、タッチしているオブジェクト７０を拡縮（ここでは拡大）する。
【００８２】
一方、図１９（ｂ）の左図に示すように、ウィンドウ７２内のいずれか１つのオブジェクト７０を、片手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図１９（ｂ）の右図に示すように、ウィンドウ７２の内部の表示サイズ（すなわち、ウィンドウ７２の内部に表示されている全てのオブジェクト７０）を操作対象とし、２本の指の間隔の変化に応じて、ウィンドウ７２の内部の表示サイズを拡縮（ここでは拡大）する。
【００８３】
図２０は、タッチ操作に応じて操作対象を変更する場合の他の例を示している。例えば、図２０（ａ）の左図に示すように、ウィンドウ７２内の２つのオブジェクト７０を、両手の２本の指の各々でタッチし、２本の指を同じ方向に移動させる、いわゆるドラッグ操作（ここでは左に移動させる操作）が行われた場合、図２０（ａ）の右図に示すように、要素（タッチしている２つのオブジェクト７０）を操作対象とし、２本の指の移動方向及び移動距離に応じて、タッチしている２つのオブジェクト７０を移動させる。
【００８４】
一方、図２０（ｂ）の左図に示すように、ウィンドウ７２内の２つのオブジェクト７０を、片手の２本の指の各々でタッチし、２本の指を同じ方向に移動させるドラッグ操作（ここでは左に移動させる操作）が行われた場合、図２０（ｂ）の右図に示すように、ウィンドウ７２の内部に表示されている全てのオブジェクト７０を操作対象とし、２本の指の間隔の変化に応じて、ウィンドウ７２の内部の全てのオブジェクト７０の表示位置を移動させる。
【００８５】
図２１は、タッチ操作に応じて操作対象を変更する場合の他の例を示している。例えば、図２１（ａ）の左図に示すように、ウィンドウ７２内のいずれか１つのオブジェクト７０を、両手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図２１（ａ）の右図に示すように、要素（タッチしているオブジェクト７０）を操作対象とし、２本の指の間隔の変化に応じて、タッチしているオブジェクト７０を拡縮（ここでは拡大）する。
【００８６】
一方、図２１（ｂ）の左図に示すように、ウィンドウ７２内のいずれか１つのオブジェクト７０を、片手の２本の指の各々でタッチし、２本の指の間隔を変化させるピンチ操作（ここではピンチアウト操作）が行われた場合、図２１（ｂ）の右図に示すように、ウィンドウ７２全体（すなわち、ウィンドウ７２の枠とウィンドウ７２の内部に表示されているオブジェクト７０からなるグループ）を操作対象とし、２本の指の間隔の変化に応じて、ウィンドウ７２全体の表示サイズを拡縮（ここでは拡大）する。
【００８７】
図２２は、タッチ操作に応じて操作対象を変更する場合の他の例を示している。例えば、図２２（ａ）の左図に示すように、画面７４に表示されているウィンドウ７２内の２つのオブジェクト７０を、両手の２本の指の各々でタッチし、２本の指を同じ方向に移動させるドラッグ操作（ここでは右に移動させた）場合、図２２（ａ）の右図に示すように、要素（タッチしている２つのオブジェクト７０）を操作対象とし、２本の指の移動方向及び移動距離に応じて、ウィンドウ７２内でタッチしている２つのオブジェクト７０を移動させる。
【００８８】
一方、図２２（ｂ）の左図に示すように、画面７４に表示されているウィンドウ７２内の２つのオブジェクト７０を、片手の２本の指の各々でタッチし、２本の指を同じ方向に移動させるドラッグ操作（ここでは右に移動させた）場合、図２２（ｂ）の右図に示すように、ウィンドウ７２全体（すなわち、ウィンドウ７２の枠とウィンドウ７２の内部に表示されているオブジェクト７０からなるグループ）を操作対象とし、２本の指の間隔の変化に応じて、画面７４内でウィンドウ７２の表示位置を移動させる。
【００８９】
このように、マルチタッチが行われた場合に、両手マルチタッチ操作か片手マルチタッチ操作かに応じて操作対象（オブジェクト／オブジェクトを含むウィンドウ又はサブウィンドウ／サブウィンドウを含むウィンドウなど）を切り替えたり、更に、タッチした対象に応じて操作内容（移動／拡縮など）を切り替えたりすることにより、ウィンドウやサブウィンドウを効率的に操作することができ、ユーザの利便性を向上させることができる。
【００９０】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。
【００９１】
例えば、上記実施例では、両手マルチタッチ操作の場合に要素（オブジェクト、オブジェクトを含むサブウィンドウなど）などの相対的に小さい範囲を操作対象とし、片手マルチタッチ操作の場合にグループ（複数のオブジェクトからなるグループ、ウィンドウやサブウィンドウ全体）などの相対的に大きい範囲を操作対象としたが、操作対象を逆にして、両手マルチタッチ操作の場合にグループなどの大きい範囲を操作対象とし、片手マルチタッチ操作の場合に要素などの小さい範囲を操作対象としてもよい。
【００９２】
また、上記実施例では、操作内容として、移動と拡縮を例示したが、要素やグループに対して実施可能な任意の操作を適用することができる。
【００９３】
また、上記実施例では、複数のユーザが同時にオブジェクトの操作が可能な共有画面を前提にして説明したが、本発明のオブジェクト操作システムは、タッチパネルを有する装置であればよく、例えば、タッチパネルを有するパーソナルコンピュータ、タブレット端末やスマートフォンなどの携帯端末などに対しても、本発明を同様に適用することができる。
【産業上の利用可能性】
【００９４】
本発明は、文字や図形、画像などのオブジェクトの操作が可能なシステム、特に、複数の操作者による共同操作が可能なシステム、及び当該システムで動作する操作制御プログラム、操作制御プログラムを記録した記録媒体、並びに当該システムにおけるオブジェクトの操作を制御する操作制御方法に利用可能である。
【符号の説明】
【００９５】
１０  オブジェクト操作システム
２０  制御部
２０ａ  操作判定部
２０ｂ  処理部
２１  ＣＰＵ
２２  ＲＯＭ
２３  ＲＡＭ
３０  記憶部
４０  表示部
５０  操作部
６０  検出部
７０  オブジェクト
７１  グループ
７１ａ  大グループ
７１ｂ  小グループ
７２  ウィンドウ
７３  サブウィンドウ
７４  画面
【図１】
2015138360.tif 000003
【図２】
2015138360.tif 000004
【図３】
2015138360.tif 000005
【図４】
2015138360.tif 000006
【図５】
2015138360.tif 000007
【図６】
2015138360.tif 000008
【図７】
2015138360.tif 000009
【図８】
2015138360.tif 000010
【図９】
2015138360.tif 000011
【図１０】
2015138360.tif 000012
【図１１】
2015138360.tif 000013
【図１２】
2015138360.tif 000014
【図１３】
2015138360.tif 000015
【図１４】
2015138360.tif 000016
【図１５】
2015138360.tif 000017
【図１６】
2015138360.tif 000018
【図１７】
2015138360.tif 000019
【図１８】
2015138360.tif 000020
【図１９】
2015138360.tif 000021
【図２０】
2015138360.tif 000022
【図２１】
2015138360.tif 000023
【図２２】
2015138360.tif 000024