(57)【要約】【課題】マルチタッチジェスチャーによってオブジェクトのサイズ変更を行う際の操作性を向上できる情報処理装置を提供する。【解決手段】情報処理装置は、操作部を通じて行われるジェスチャー操作が両手操作である場合にサイズ変更時の拡縮度合いを第１の度合いに設定する一方、ジェスチャー操作が片手操作である場合に拡縮度合いを第１の度合いよりも大きい第２の度合いに設定する拡縮度合い設定部と、操作部を通じて行われるジェスチャー操作を特定するジェスチャー解析部と、特定されたジェスチャー操作がサイズ変更である場合に、拡縮度合い設定部によって設定された拡縮度合いに基づいて画面上にオブジェクトのサイズ変更を反映させる表示制御部と、を備える。【選択図】図５
2016212887.tif 000002
【特許請求の範囲】
【請求項１】
画面上のオブジェクトに対する、両手操作及び片手操作によるサイズ変更を含むジェスチャー操作を受付可能な操作部を備え、前記操作部を通じて行われるジェスチャー操作が両手操作であるか片手操作であるか検出するユーザー動作検出部からの出力が入力されるように構成された情報処理装置であって、
前記ユーザー動作検出部によって検出されたユーザー動作に基づいて、前記オブジェクトに対するジェスチャー操作が両手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を第１の拡縮度合いに設定する一方、前記第オブジェクトに対するジェスチャー操作が片手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を前記第１の拡縮度合いよりも大きい第２の拡縮度合いに設定する拡縮度合い設定部と、
前記操作部を通じて行われるジェスチャー操作を特定するジェスチャー解析部と、
前記ジェスチャー解析部によって特定されたジェスチャー操作がサイズ変更である場合に、前記拡縮度合い設定部によって設定された前記拡縮度合いに基づいて画面上にオブジェクトのサイズ変更を反映させる表示制御部と、を備えることを特徴とする情報処理装置。
【請求項２】
前記拡縮度合い設定部は、前記サイズ変更の開始時の所定期間において、前記第１の拡縮度合いを徐々に増大させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記拡縮度合い設定部は、前記サイズ変更の終了時の所定期間において、前記第１の拡縮度合いを徐々に減少させることを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記第１の拡縮度合いと前記第２の拡縮度合いが異なることを報知する報知部を備えることを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
【請求項５】
前記操作部は、タッチパネル付きのフラットパネルディスプレイで構成されることを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
【請求項６】
前記ユーザー動作検出部は、ユーザーの手の動きを光学的に検出するモーションセンサーを含むことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
【請求項７】
画面上のオブジェクトに対する、両手操作及び片手操作によるサイズ変更を含むジェスチャー操作を受付可能な操作部を備える情報処理装置のコンピューターに、
前記操作部を通じて行われるジェスチャー操作が両手操作であるか片手操作であるかを判断し、
前記オブジェクトに対するジェスチャー操作が両手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を第１の拡縮度合いに設定する一方、前記オブジェクトに対するジェスチャー操作が片手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を前記第１の拡縮度合いよりも大きい第２の拡縮度合いに設定し、
前記操作部を通じて行われるジェスチャー操作を特定し、
特定されたジェスチャー操作がサイズ変更である場合に、設定された前記拡縮度合いに基づいて画面上にオブジェクトのサイズ変更を反映させる処理を実行させることを特徴とする情報処理プログラム。
【請求項８】
前記サイズ変更の開始時の所定期間において、前記第１の拡縮度合いを徐々に増大することを特徴とする請求項７に記載の情報処理プログラム。
【請求項９】
前記サイズ変更の終了時の所定期間において、前記第１の拡縮度合いを徐々に減少させることを特徴とする請求項７又は８記載の情報処理プログラム。
【請求項１０】
前記第１の拡縮度合いと前記第２の拡縮度合いが異なることを報知する処理を含むことを特徴とする請求項７から９のいずれか一項に記載の情報処理プログラム。
【請求項１１】
画面上のオブジェクトに対する、両手操作及び片手操作によるサイズ変更を含むジェスチャー操作を受付可能な操作部を備える情報処理装置における情報処理方法であって、
前記操作部を通じて行われるジェスチャー操作が両手操作であるか片手操作であるかを判断し、
前記オブジェクトに対するジェスチャー操作が両手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を第１の拡縮度合いに設定する一方、前記オブジェクトに対するジェスチャー操作が片手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を前記第１の拡縮度合いよりも大きい第２の拡縮度合いに設定し、
前記操作部を通じて行われるジェスチャー操作を特定し、
特定されたジェスチャー操作がサイズ変更である場合に、設定された前記拡縮度合いに基づいて画面上にオブジェクトのサイズ変更を反映させることを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャー操作による情報入力を支援する情報処理装置、情報処理プログラム、及び情報処理方法に関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレット端末、あるいは電子ホワイトボードのように、指やタッチペン等の接触体で画面に直接触れることにより情報を入力できるタッチパネル付きの情報処理装置が実用化されている。このような情報処理装置においては、タッチパネル上で所定のジェスチャー操作が行われることに伴い、当該ジェスチャー操作に割り当てられた処理（例えばオブジェクトの移動など）が実行される。
【０００３】
タッチパネル上の１点をタッチして操作するジェスチャー操作は、シングルタッチジェスチャーと呼ばれ、タッチパネル上の２点以上を同時にタッチして操作するジェスチャー操作は、マルチタッチジェスチャーと呼ばれる。最近では、マルチタッチジェスチャー技術の進歩により、多様で複雑な操作にも対応できるようになっている。
【０００４】
ジェスチャー操作としては、例えばオブジェクト上の２点にタッチして両タッチポイントを互いに遠ざけるようにスライドすることにより、オブジェクトを拡大するピンチアウト、オブジェクト上の２点にタッチして両タッチポイントを互いに近づけるようにスライドすることにより、オブジェクトを縮小するピンチイン等がある。以下において、ピンチアウトとピンチインを合わせて「サイズ変更」と称する。なお、サイズ変更は、縦横方向に相似形で拡大／縮小される場合の他、縦方向のみ又は横方向のみに拡大／縮小される場合を含む。
【０００５】
従来のタッチパネル付きの情報処理装置では、サイズ変更時の拡縮率が予め設定されており、操作量［ピクセル］（２つのタッチポイント間距離の変化量）×拡縮率分だけオブジェクトの拡大又は縮小が行われる。例えば、拡縮率が１．５に設定されている場合、操作量×１．５［ピクセル］だけオブジェクトが拡大又は縮小される。拡縮率が１に設定されている場合、指の動きに追随して、操作量分だけオブジェクトが拡大又は縮小されることになる。
【０００６】
サイズ変更に関する従来技術として、例えば特許文献１には、サイズ変更の操作速度、すなわち２つのタッチポイント間の距離の変化速度（以下「ポイント間変化速度」と称する）がしきい値以上となった場合に、オブジェクトを定形サイズまで拡縮させるプレビュー機能を備えた画像形成装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−１２１１７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、電子ホワイトボードのような大画面のタッチパネルでは、携帯端末のような小画面のタッチパネルに比較してオブジェクトが大きく表示されるため、両手を使ってマルチタッチジェスチャーが行われることが想定される。両手操作でサイズ変更が行われる場合、手の可動限界が大きいため、片手操作でサイズ変更が行われる場合に比較して操作量は大きくなる傾向になる（図１参照）。
【０００９】
しかしながら、特許文献１に記載される画像形成装置のように、オブジェクトのサイズ変更が行われる際の拡縮率が、片手操作であるか両手操作であるかを考慮せず、例えば一定の値に設定されていると、ユーザーの意図と違う操作結果が画面上に反映されることがある。極端にいえば、片手操作によってサイズ変更が行われることを想定して拡縮率が大きく設定（１からの乖離幅が大）されていると、両手操作によってサイズ変更を行う場合にオブジェクトが著しく拡大されたり、縮小されたりする。一方で、両手操作によってサイズ変更が行われることを想定して拡縮率が小さく設定（１からの乖離幅が小）されていると、片手操作によってサイズ変更を行う場合にジェスチャー操作を何度も繰り返さなくてはならない。
【００１０】
本発明の目的は、マルチタッチジェスチャーによってオブジェクトのサイズ変更を行う際の操作性を向上できる情報処理装置、情報処理プログラム、及び情報処理方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明に係る情報処理装置は、画面上のオブジェクトに対する、両手操作及び片手操作によるサイズ変更を含むジェスチャー操作を受付可能な操作部を備え、前記操作部を通じて行われるジェスチャー操作が両手操作であるか片手操作であるか検出するユーザー動作検出部からの出力が入力されるように構成された情報処理装置であって、
前記ユーザー動作検出部によって検出されたユーザー動作に基づいて、前記オブジェクトに対するジェスチャー操作が両手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を第１の拡縮度合いに設定する一方、前記第オブジェクトに対するジェスチャー操作が片手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を前記第１の拡縮度合いよりも大きい第２の拡縮度合いに設定する拡縮度合い設定部と、
前記操作部を通じて行われるジェスチャー操作を特定するジェスチャー解析部と、
前記ジェスチャー解析部によって特定されたジェスチャー操作がサイズ変更である場合に、前記拡縮度合い設定部によって設定された前記拡縮度合いに基づいて画面上にオブジェクトのサイズ変更を反映させる表示制御部と、を備えることを特徴とする。
【００１２】
本発明に係る情報処理プログラムは、画面上のオブジェクトに対する、両手操作及び片手操作によるサイズ変更を含むジェスチャー操作を受付可能な操作部を備える情報処理装置のコンピューターに、
前記操作部を通じて行われるジェスチャー操作が両手操作であるか片手操作であるかを判断し、
前記オブジェクトに対するジェスチャー操作が両手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を第１の拡縮度合いに設定する一方、前記オブジェクトに対するジェスチャー操作が片手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を前記第１の拡縮度合いよりも大きい第２の拡縮度合いに設定し、
前記操作部を通じて行われるジェスチャー操作を特定し、
特定されたジェスチャー操作がサイズ変更である場合に、設定された前記拡縮度合いに基づいて画面上にオブジェクトのサイズ変更を反映させる処理を実行させることを特徴とする。
【００１３】
本発明に係る情報処理方法は、画面上のオブジェクトに対する、両手操作及び片手操作によるサイズ変更を含むジェスチャー操作を受付可能な操作部を備える情報処理装置における情報処理方法であって、
前記操作部を通じて行われるジェスチャー操作が両手操作であるか片手操作であるかを判断し、
前記オブジェクトに対するジェスチャー操作が両手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を第１の拡縮度合いに設定する一方、前記オブジェクトに対するジェスチャー操作が片手操作である場合に、前記ジェスチャー操作によるサイズ変更に伴うサイズ変化を前記第１の拡縮度合いよりも大きい第２の拡縮度合いに設定し、
前記操作部を通じて行われるジェスチャー操作を特定し、
特定されたジェスチャー操作がサイズ変更である場合に、設定された前記拡縮度合いに基づいて画面上にオブジェクトのサイズ変更を反映させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、片手操作であるか両手操作であるかに応じてサイズ変更時の拡縮率が適切に設定されるので、ユーザーはオブジェクトを容易に所望のサイズまで拡大又は縮小することができる。したがって、マルチタッチジェスチャーによってサイズ変更を行う際の操作性が格段に向上する。
【図面の簡単な説明】
【００１５】
【図１】電子ホワイトボードにおけるジェスチャー操作を示す図である。
【図２】本発明の一実施の形態に係る電子ホワイトボードの概略図である。
【図３】電子ホワイトボードのハードウェア構成を示すブロック図である。
【図４】電子ホワイトボードの制御部の機能を示す機能ブロック図である。
【図５】ジェスチャー解析処理の一例を示すフローチャートである。
【図６】ピンチアウト開始時のアニメーション表示の一例を示す図である。
【図７】ピンチアウト終了時のアニメーション表示の一例を示す図である。
【図８】両手操作時に表示されるメッセージの一例を示す図である。
【図９】電子ホワイトボードにおけるジェスチャー操作（サイズ変更）を示す図である。
【図１０】ジェスチャー解析処理の他の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
図２は、本発明の一実施の形態に係る情報処理装置としての電子ホワイトボード１０の概略図である。電子ホワイトボード１０は、例えばユーザー操作に基づく画面の遷移を記憶し、会議の流れを時系列で管理する会議支援装置として用いられる。すなわち、ユーザーが、電子ホワイトボード１０の操作部１２を利用して、会議に登場し議事の構成要素となるオブジェクトを表示部１３の表示領域に追加したり、表示されているオブジェクトを操作したりすると、そのときの画面に関する情報（以下「画面情報」と称する）が記憶される。
【００１７】
ここで、オブジェクトとは、操作の対象となるデータであり、文字又は記号が入力されるテキストボックス、図形、写真画像、アプリケーションの作業領域（ウィンドウ）等の形で表示部１３に表示される。本実施の形態では、オブジェクトを単純な図形で示すこととする。また、オブジェクトの追加（新規作成）、移動、サイズ変更（拡大・縮小）、回転、編集、削除、グループ化、グループ解除など、オブジェクトの状態を変化させる操作を「オブジェクト操作」と称する。
【００１８】
図２では、電子ホワイトボード１０の表示部１３は、オブジェクトが表示されるメイン画面ＭＤと、会議の流れを視認可能なツリー構造の図（以下「タイムライン」と称する）が表示されるサブ画面ＳＤに区画されている。メイン画面ＭＤが電子ホワイトボード１０の個別作業領域である。通常時はメイン画面ＭＤを表示しておき、必要に応じてサブ画面ＳＤを表示するようにしてもよいし、メイン画面ＭＤとサブ画面ＳＤを切り替えて表示領域の全体にサブ画面ＳＤを表示させるようにしてもよい。
【００１９】
図２においては、メイン画面ＭＤに、８個のオブジェクトＯＢ１〜ＯＢ８が作成され、そのうちのオブジェクトＯＢ１〜ＯＢ３、オブジェクトＯＢ４〜０Ｂ６がそれぞれグループ化されている（グループＧＲ１、ＧＲ２）。サブ画面ＳＤには、任意の時点で議論が分岐された場合のタイムラインＴＬが表示されている。議論が途中で分岐された場合には、複数の結論が存在することになる。
【００２０】
ユーザーによるオブジェクト操作はメイン画面ＭＤで行われ、タイムライン操作はサブ画面ＳＤで行われる。タイムライン操作とは、タイムラインＴＬを利用して行われる操作であり、マーカーＭを移動させる操作、議論を分岐させるための分岐操作を含む。例えば、ユーザーは、タイムラインＴＬ上でマーカーＭを移動させることにより、任意の時点の画面をメイン画面ＭＤに再現させることができる。
【００２１】
オブジェクト操作のうち、オブジェクトのドラッグ、サイズ変更、及び回転は、ジェスチャー操作（シングルタッチジェスチャー及びマルチタッチジェスチャーを含む）によって行われる。なお、サイズ変更は、縦横方向に相似形で拡大／縮小する変形の他、縦方向のみ又は横方向のみに拡大／縮小する変形を含む。
【００２２】
図３は、電子ホワイトボード１０のハードウェア構成の一例を示す図である。図３に示すように、電子ホワイトボード１０は、制御部１１、操作部１２、表示部１３、記憶部１４、通信部１５、及びユーザー動作検出部１６等を備える。各ブロックはバスラインにより電気的に接続される。制御部１１が後述する情報処理プログラムを実行することにより、本実施形態の情報処理方法が実現される。
【００２３】
制御部１１は、演算／制御装置としてのＣＰＵ（Central Processing Unit）１１１、主記憶装置としてのＲＯＭ（Read Only Memory）１１２及びＲＡＭ（Random Access Memory）１１３を有する。ＲＯＭ１１２には、ＢＩＯＳ（Basic Input Output System）と呼ばれる基本プログラムや基本的な設定データが記憶される。ＣＰＵ１１１は、ＲＯＭ１１２又は記憶部１４から処理内容に応じたプログラムを読み出してＲＡＭ１１３に展開し、展開したプログラムと協働して、各ブロックを制御する。
【００２４】
操作部１２及び表示部１３は、例えば両手で操作可能な大画面のタッチパネル付きのフラットパネルディスプレイで構成される。フラットパネルディスプレイとしては、液晶ディスプレイ、有機ＥＬディスプレイ、メモリ性を有する電子ペーパーディスプレイなど従来公知の各種のものを用いることができる。以下において、フラットパネルディスプレイのように操作部１２としての機能及び表示部１３としての機能を有する構成要素を「操作表示部１７」と称する。なお、操作部１２と表示部１３は別体で構成されてもよい。
【００２５】
操作部１２は、ユーザーによる手書き入力、オブジェクト操作、及びタイムライン操作を受け付けて、それに応じた信号（例えばタッチポイントの座標を示す信号）を制御部１１に出力する。以下においては、主としてユーザーが片手又は両手の指を使って操作することを想定して説明するが、指以外の身体の一部やタッチペンなどの接触体を用いて操作しても構わない。また、操作部１２は、ユーザーが両手で支障なくマルチタッチジェスチャーを行うことができる程度の操作領域を有する。
【００２６】
表示部１３は、制御部１１から入力される表示制御情報に従って、メイン画面ＭＤ及びサブ画面ＳＤに各種情報を表示する。操作部１２がジェスチャー操作を受け付けると、当該ジェスチャー操作に割り当てられている操作が表示部１３の画面に反映される。ジェスチャー操作の識別（有効／無効を含む）は、制御部１１によって行われる。
【００２７】
記憶部１４は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はＳＤ（Secure Digital）カード等の補助記憶装置であり、情報処理プログラム及び画面に関する情報等を記憶する。記憶部１４は、オブジェクト情報テーブル１４１、画面遷移情報テーブル１４２、及びジェスチャー操作テーブル１４３等を有する（図４参照）。
【００２８】
通信部１５は、例えばＮＩＣ（Network Interface Card）、ＭＯＤＥＭ（MOdulator-DEModulator）、ＵＳＢ（Universal Serial Bus）等の通信インターフェースである。制御部１１は、通信部１５を介して、有線／無線ＬＡＮ等のネットワークに接続された端末装置（図示略）との間で各種情報の送受信を行う。通信部１５には、ＮＦＣ（Near Field Communication）やBluetooth（登録商標）等の近距離無線通信用の通信インターフェースを適用することもできる。
【００２９】
ユーザー動作検出部１６は、操作表示部１７に対するユーザーの位置や、操作表示部１７に対するユーザーの操作態様、すなわちユーザーによるジェスチャー操作が片手操作であるか両手操作であるかを検出するセンサーである。ユーザー動作検出部１６には、例えば赤外線プロジェクターから赤外線の特殊パターンを対象物に照射し、対象物によって歪んだパターンを赤外線カメラ（深度センサー）で撮影して解析することで対象物との距離を計測するキネクト（登録商標）を適用することができる。キネクトによって計測された対象物との距離を解析することにより、ユーザーによるジェスチャー操作が片手操作であるか両手操作であるかを検出することができる。また、画面の前にいるユーザーの位置や人数を検出することができる。
【００３０】
タッチパネルによりユーザーのオブジェクト操作を受け付け、上述したキネクトのようにユーザーの手の動きを光学的に検出するモーションセンサーを含むユーザー動作検出部１６を設け、オブジェクトの操作とユーザーの手のジェスチャーや両手／片手の区別とを別々の検出装置で検出するように構成することで、確実に両手／片手の判別を行うとともに、正確にオブジェクト操作を行うことができる。
【００３１】
なお、ユーザー動作検出部１６には、キネクト以外のセンサー（例えば、２台の赤外線カメラで３Ｄ撮影を行うLeap Motion社製のLeap Motion Controller等）を適用してもよいし、操作部１２がユーザー動作検出部１６を兼ねるようにしてもよい。操作部１２がユーザー動作検出部１６を兼ねる場合は、例えば、タッチポイントの状態（数、面積）及びそれらの座標から片手／両手を判断することができる。
【００３２】
ユーザー動作検出部１６は、電子ホワイトボード１０とは別体で構成され、電子ホワイトボード１０が、ユーザー動作検出部１６からの出力信号を、有線又は無線で受け取るようにしてもよい。この場合、ユーザー動作検出部１６は、電子ホワイトボード１０から離れた位置に設置されてもよいし、電子ホワイトボード１０に装着されてもよい。
【００３３】
図４は、電子ホワイトボード１０の制御部１１の機能を示す機能ブロック図である。図４に示すように、制御部１１は、ユーザー操作解析部１１Ａ、画面情報記録部１１Ｂ、表示制御部１１Ｃ、及び拡縮率設定部１１Ｄとして機能する。これらの機能部の一部又は全部を専用のハードウェアで構成してもよい。
【００３４】
ユーザー操作解析部１１Ａは、操作部１２から入力される操作情報を解析し、ユーザーによる操作を特定する。画面情報記録部１１Ｂ、及び表示制御部１１Ｃは、ユーザー操作解析部１１Ａによって特定されたユーザー操作に基づいて、操作の内容に対応付けて予め設定された所定の処理（例えば、ピンチアウトでオブジェクトを拡大する等）を実行する。
【００３５】
ユーザー操作解析部１１Ａは、ユーザーによるジェスチャー操作を解析するジェスチャー解析部１１Ｅを含む。ジェスチャー解析部１１Ｅは、ユーザーによる操作部１２へのタッチが検出された場合に、有効なジェスチャー操作を判断する。具体的には、ジェスチャー解析部１１Ｅは、ジェスチャー操作（例えばドラッグ、サイズ変更、及び回転）ごとに設定される判断指標の実測値を、タッチポイントの座標の変化に基づいて算出し、この実測値と所定のしきい値を比較することにより、有効なジェスチャー操作を判断する。例えば、ドラッグの判断指標としてスライド速度、サイズ変更の判断指標としてポイント間変化速度、回転の判断指標として回転速度を用いることができる。
【００３６】
画面情報記録部１１Ｂは、ユーザーによるオブジェクト操作に基づく会議の流れ（画面遷移）を、画面情報として記憶部１４に記録する。画面情報とは、画面を構成する要素及びそれらがいつ作成され変化したかを示す情報であり、オブジェクト又はグループに対する操作を個別に管理するオブジェクト情報、及び会議の流れを時系列で管理する画面遷移情報を含む。オブジェクト情報は、記憶部１４のオブジェクト情報テーブル１４１に格納され、画面遷移情報は、記憶部１４の画面遷移情報テーブル１４２に格納される。
【００３７】
表示制御部１１Ｃは、ユーザー操作に基づく画面を表示部１３に表示させるための表示制御情報（画面データ）を生成し、この画面データに基づいて表示部１３に画面を表示させる。表示制御部１１Ｃは、表示制御情報を生成する際に、記憶部１４から必要な情報を取得する。表示制御情報には、オブジェクト操作を反映した画面を表示させるための画面表示制御情報が含まれる。表示制御部１１Ｃは、例えばジェスチャー解析部１１Ｅによっていずれかのジェスチャー操作が有効であると判断された場合に、ジェスチャー操作テーブル１４３を参照して、当該ジェスチャー操作に割り当てられた処理を表示部１３の画面に反映させる。
【００３８】
拡縮率設定部１１Ｄは、サイズ変更で用いられる拡縮率を設定する。ここで、「拡縮率」とは、基準操作（例えば、一定の変化量又は変化率のピンチアウト操作やピンチイン操作）によるサイズ変更に伴うサイズ変化の度合い（拡縮度合い）を意味する。この拡縮率をパラメーターとして、ポイント間距離の変化量（操作量）に乗じることで、オブジェクトの拡大量／縮小量が得られ、ポイント間距離の変化率（操作率）に乗じることで、オブジェクトの拡大率／縮小率が得られる。本実施の形態では、一定の変化量のピンチアウト操作やピンチイン操作に対するオブジェクトのサイズ変化の度合いで表される拡縮率を用いる。
【００３９】
すなわち、サイズ変更では、操作量［ピクセル］（２つのタッチポイント間距離の変化量）×拡縮率分だけオブジェクトの拡大又は縮小が行われる。拡縮率設定部１１Ｄは、ユーザーによるジェスチャー操作が片手操作であるか両手操作であるかに基づいて、拡縮率を設定する。ここでは、拡縮率として、ピンチアウトによってオブジェクトを拡大する際の拡大率と、ピンチインによってオブジェクトを縮小する際の縮小率とを同じ値として扱うが、拡大率と縮小率を個別に設定するようにしてもよい。
【００４０】
図５は、制御部１１が実行するジェスチャー解析処理の一例を示すフローチャートである。この処理は、例えば電子ホワイトボード１０の電源が投入されることに伴い図示しないメインフローが実行され、メインフローにおいてジェスチャー操作が検出されることに伴い、ＣＰＵ１１１がＲＯＭ１１２に格納されている情報処理プログラムを呼び出して実行することで実現される。
【００４１】
ステップＳ１０１において、制御部１１は、操作部１２を通じて、オブジェクトの領域内の２点をタッチする操作（以下「マルチタッチ」と称する）が行われたか否かを判定する。マルチタッチが検出されると（ステップＳ１０１で“ＹＥＳ”）、ステップＳ１０２の処理に移行する。
【００４２】
一方、オブジェクトの領域内の１点のみをタッチする操作（以下「シングルタッチ」と称する）が行われたと判定した場合は（ステップＳ１０１で“ＮＯ”）、ステップＳ１１０の処理に移行する。ステップＳ１１０では、シングルタッチに対応した処理（例えば、オブジェクトの選択、オブジェクトの選択解除、オブジェクトの移動等）が実行される。なお、シングルタッチに対応した処理において、タッチ操作が終了したと判定されると、メインフローに戻る。また、タッチ操作がシングルタッチからマルチタッチに変化した場合には、ステップＳ１０２の処理に移行する。
【００４３】
ステップＳ１０２において、制御部１１は、ユーザー動作検出部１６の検出結果に基づいて、マルチタッチが一人のユーザーの片手操作によるものか一人のユーザーの両手操作によるものかを判定する。両手操作である場合（ステップＳ１０２で“ＹＥＳ”）、ステップＳ１０３の処理に移行する。片手操作である場合（ステップＳ１０２で“ＮＯ”）、ステップＳ１０４の処理に移行する。
【００４４】
ステップＳ１０３において、制御部１１は、サイズ変更における拡縮率を第１の拡縮率αに設定する（拡縮率設定部１１Ｄとしての処理）。両手操作によりオブジェクトのサイズを変更する場合は、拡縮率αは１に近い値（例えばα＝１．２）に設定される。これにより、両手の動きに追随してオブジェクトが変形するため、ユーザーはサイズ変更時の操作量を直接的に知得することができる。したがって、両手を拡げたり、縮めたりするときの操作量が大きくなりすぎるのを抑制することができる。
【００４５】
ステップＳ１０４において、制御部１１は、サイズ変更における拡縮率を第１の拡縮率αよりも大きい第２の拡縮率β（例えばβ＝１．５）に設定する（拡縮率設定部１１Ｄとしての処理）。これにより、片手操作でオブジェクトのサイズを変更する場合に、効率よくオブジェクトを変形させることができる。なお、非常に大きなサイズのオブジェクトを片手操作する際の操作性を考慮して、片手操作時にはオブジェクトの大きさに応じて拡縮率を設定するようにしてもよい。
【００４６】
ステップＳ１０５において、制御部１１は、所定時間（単位時間）間隔でタッチポイントの座標情報を取得する。取得した座標情報は、例えばユーザーによる操作部１２への接触が解除されるまでＲＡＭ１１３に順次格納される。
【００４７】
ステップＳ１０６において、制御部１１は、タッチポイントの座標変化に基づいて、実行されているジェスチャー操作がサイズ変更であるか否かを判定する（ジェスチャー解析部１１Ｅとしての処理）。実行されているジェスチャー操作がサイズ変更である場合（ステップＳ１０６で“ＹＥＳ”）、ステップＳ１０７の処理に移行する。実行されているジェスチャー操作がサイズ変更出ない場合（ステップＳ１０６で“ＮＯ”、例えばドラッグや回転の場合）、ステップＳ１０８の処理に移行する。
【００４８】
具体的には、ステップＳ１０６において、制御部１１は、タッチポイントの座標変化に基づいて、ドラッグ、サイズ変更、及び回転についての判断指標（スライド速度、ポイント間変化速度、回転速度）の実測値Ｍｍ、Ｄｍ、θｍを算出する。そして、制御部１１は、ドラッグ、サイズ変更、及び回転についての判断指標のしきい値Ｍｔｈ、Ｄｔｈ、θｔｈと、実測値Ｍｍ、Ｄｍ、θｍを比較する。スライド速度の実測値Ｍｍがしきい値Ｍｔｈを超えている場合、実行されているジェスチャー操作はドラッグとなる。ポイント間変化速度の実測値Ｄｍがしきい値Ｄｔｈを超えている場合、実行されているジェスチャー操作はサイズ変更となる。回転速度の実測値θｍがしきい値θｔｈを超えていると判定された場合、実行されているジェスチャー操作は回転となる。なお、いずれのジェスチャー操作も有効でない場合は、ステップＳ１０５、Ｓ１０６の処理が繰り返される。
【００４９】
ステップＳ１０７において、制御部１１は、ジェスチャー操作テーブル１４３を参照して、サイズ変更に割り当てられた処理を表示部１３の画面に反映させる（表示制御部１１Ｃとしての処理）。具体的には、設定された拡縮率（第１の拡縮率α又は第２の拡縮率β）を用いて、操作量［ピクセル］×拡縮率分だけ、オブジェクトを拡大又は縮小させる。両手操作の場合には、表示部１３の画面上において、両手の動きに追随してオブジェクトのサイズ変更が行われる。また、片手操作の場合には、片手の動きよりも大きく、すなわち効率よくオブジェクトのサイズ変更が行われる。
【００５０】
ステップＳ１０８において、制御部１１は、ジェスチャー操作テーブル１４３を参照して、特定されたジェスチャー操作（サイズ変更以外のジェスチャー操作、例えばドラッグ又は回転）に割り当てられた処理を表示部１３の画面に反映させる。ここで、特定されたジェスチャー操作がオブジェクトのドラッグ操作である場合には、片手操作と両手操作とで、ユーザーのドラッグ方向における操作量に対するオブジェクトの移動量は等しくなるように制御される。また、特定されたジェスチャー操作がオブジェクトの回転操作である場合には、片手操作と両手操作とで、ユーザーの回転方向における操作量に対するオブジェクトの回転量は等しくなるように制御される。
【００５１】
ステップＳ１０９において、制御部１１は、マルチタッチジェスチャーが終了したか否かを判定する。具体的には、制御部１１は、操作部１２から指が離れてマルチタッチが検出されなくなった場合に、マルチタッチジェスチャーが終了したと判定する。マルチタッチジェスチャーが終了した場合（ステップＳ１０９で“ＹＥＳ”）、メインフローに戻る。マルチタッチジェスチャーが終了していない場合（ステップＳ１０９で“ＮＯ”）、ステップＳ１０５の処理に移行する。なお、タッチ操作がマルチタッチからシングルタッチに変化した場合には、ステップＳ１１０の処理に移行する。
【００５２】
このように、情報処理装置の一例として挙げた電子ホワイトボード１０は、両手操作及び片手操作によるサイズ変更を含むジェスチャー操作を受付可能な操作部１２と、操作部１２を通じて行われるジェスチャー操作が両手操作であるか片手操作であるか検出するユーザー動作検出部１６と、ユーザー動作検出部１６によって検出されたユーザー動作に基づいて、ジェスチャー操作が両手操作である場合にサイズ変更時の拡縮率として第１の拡縮率αを設定する一方、ジェスチャー操作が片手操作である場合に拡縮率として第１の拡縮率αよりも大きい第２の拡縮率βを設定する拡縮率設定部１１Ｄと、操作部１２を通じて行われるジェスチャー操作を特定するジェスチャー解析部１１Ｅと、ジェスチャー解析部１１Ｅによって特定されたジェスチャー操作がサイズ変更である場合に、拡縮率設定部１１Ｄによって設定された拡縮率に基づいて画面上にオブジェクトのサイズ変更を反映させる表示制御部１１Ｃと、を備える。
【００５３】
電子ホワイトボード１０によれば、片手操作であるか両手操作であるかに応じてサイズ変更時の拡縮率が適切に設定されるので、ユーザーはオブジェクトを容易に所望のサイズまで拡大又は縮小することができる。したがって、マルチタッチジェスチャーによってサイズ変更を行う際の操作性が格段に向上する。
【００５４】
以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
【００５５】
例えば、図５に示すフローチャートでは、両手操作によるサイズ変更時の拡縮率αが一定に設定されるが、サイズ変更の開始時の所定期間（例えばポイント間変化速度の実測値Ｄｍがしきい値Ｄｔｈを超えてから５００ｍｓｅｃ）においては、第１の拡縮率αを徐々に増大させ、所定期間後に一定に設定するようにしてもよい。例えば、第１の拡縮率αの初期値を０．９０（＜１）とし、徐々に増大させて最終的に１．２で一定とする。これにより、両手操作によるサイズ変更の開始時は追従性を鈍くしたアニメーション表示となる（図６参照）。したがって、両手で操作しやすい大サイズのオブジェクトに重量感を持たせることができ、ユーザーの操作感覚を刺激することができる。
【００５６】
また例えば、サイズ変更の終了時の所定期間（例えばポイント間変化速度の実測値Ｄｍが０になってから５００ｍｓｅｃ）においては、第１の拡縮率αを徐々に減少させながらサイズ変更を継続させてもよい。これにより、ジェスチャー操作が終了しても惰性によってサイズ変更が続くアニメーション表示となる（図７参照）。したがって、両手で操作しやすい大サイズのオブジェクトに重量感を持たせることができ、ユーザーの操作感覚を刺激することができる。
【００５７】
また、拡縮率を設定するにあたっては、予め定められた基準拡縮率に対して、補正係数を乗じたり、補正量を加減算したりすることで、適宜の値に調整するようにしてもよい。なお、図６、図７には、オブジェクトを拡大するときの様子が図示されているが、オブジェクトを縮小するときにも上述した制御を適用することができる。また、図６、図７を用いて説明した、ユーザーに重量感を感じさせる制御を、オブジェクトの回転操作に適用してもよい。
【００５８】
さらには、電子ホワイトボード１０は、両手操作時と片手操作時とでサイズ変更における拡縮率が異なることを報知する報知部を備えるようにしてもよい。例えば、図８に示すように、マルチタッチが検出された際に、両手操作中は拡縮率が抑えられる旨を示すメッセージを表示部１３に表示させる。これにより、ユーザーは、片手操作時と両手操作時とでサイズ変更における拡縮率が異なることを知得でき、拡縮率を意識してジェスチャー操作を行うことができる。したがって、容易に所望のサイズまでオブジェクトのサイズ変更を行うことができるので、操作性がさらに向上する。
【００５９】
また、ユーザーが両手操作により矩形のオブジェクトのサイズ変更を行う場合、両手操作の方向に応じて拡縮率が設定されてもよい。例えば、オブジェクトの短手方向に沿う両手操作時の拡縮率α１（図９Ａ参照）よりも、長手方向に沿う両手操作時の拡縮率α２（図９Ｂ参照）や、対角方向に沿う両手操作時の拡縮率α３（図９Ｃ参照）は、小さく設定されてもよい（例えばα１＞α２＞α３）。
【００６０】
さらに、両手操作／片手操作の判断に加えて、オブジェクトサイズの判断を行い、双方の判断結果に基づいて拡縮率を設定してもよい。例えば、図１０に示すように、両手操作であるがオブジェクトのサイズがあまり大きくない場合（ステップＳ１０２で“ＹＥＳ”→ステップＳ１１１で“ＮＯ”）、拡縮率が小さくならないように制御される（ステップＳ１０４）。また、片手操作であるがオブジェクトのサイズがある程度大きい場合（ステップＳ１０２で“ＮＯ”→ステップＳ１１２で“ＮＯ”）は、拡縮率が小さくなるように制御される（ステップＳ１１３）。
【００６１】
実施の形態では、電子ホワイトボード１０が情報処理プログラムを実行することにより、上述した情報処理を実現しているが、ハードウェア回路を用いて実現することもできる。情報処理プログラムは、磁気ディスク、光学ディスク、フラッシュメモリーなどのコンピューターで読取可能な記憶媒体に格納して会議支援装置となり得る機器（例えばパーソナルコンピューター）に提供することができる。または、情報処理プログラムは、インターネットなどの通信回線を介して、ダウンロードにより提供することもできる。
【００６２】
本発明の情報処理装置は、実施の形態で説明したタッチパネルおよびユーザー動作検出部を備える電子ホワイトボードの他、より高精度にユーザーの手の動きを検出可能なモーションセンサーによってオブジェクト操作が行えるようにした情報処理装置や情報処理システムに適応することができる。また、ユーザーの手の動きを検出するモーションセンサーを備えたヘッドマウントディスプレイ型の情報処理装置に適用することもできる。
【００６３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６４】
１０  電子ホワイトボード（情報処理装置）
１１  制御部
１１Ａ  ユーザー操作解析部
１１Ｂ  画面情報記録部
１１Ｃ  表示制御部
１１Ｄ  拡縮率設定部（拡縮度合い設定部）
１１Ｅ  ジェスチャー解析部
１２  操作部
１３  表示部
１４  記憶部
１４３  ジェスチャー操作テーブル
１５  通信部
１６  ユーザー動作検出部
１７  操作表示部
【図１】
2016212887.tif 000003
【図２】
2016212887.tif 000004
【図３】
2016212887.tif 000005
【図４】
2016212887.tif 000006
【図５】
2016212887.tif 000007
【図６】
2016212887.tif 000008
【図７】
2016212887.tif 000009
【図８】
2016212887.tif 000010
【図９】
2016212887.tif 000011
【図１０】
2016212887.tif 000012