(57)【要約】【課題】表示モデルの次の動きを事前に把握する。【解決手段】表示モデルを有する画面を操作する操作者による特徴点の動きを取得する特徴点取得部３０２と、特徴点取得部３０２により取得された特徴点の動きを判定する動作判定部３０３と、動作判定部３０３により特徴点の動きが第１動作であると判定された場合に、時間計数を開始する時間計数部３０４と、動作判定部３０３により特徴点の動きが第１動作であるとの判定が継続している間、画面上の表示モデルを規定操作後の状態を示唆するように動作させ、時間計数部３０４により計数された時間が規定時間を経過した後、画面上の表示モデルに対して当該規定操作を行う操作部３０６とを備えた。【選択図】図１
2018045489.tif 000002
【特許請求の範囲】
【請求項１】
表示モデルを有する画面を操作する操作者による特徴点の動きを取得する特徴点取得部と、
前記特徴点取得部により取得された特徴点の動きを判定する動作判定部と、
前記動作判定部により特徴点の動きが第１動作であると判定された場合に、時間計数を開始する時間計数部と、
前記動作判定部により特徴点の動きが第１動作であるとの判定が継続している間、前記画面上の表示モデルを規定操作後の状態を示唆するように動作させ、前記時間計数部により計数された時間が規定時間を経過した後、前記画面上の表示モデルに対して前記規定操作を行う操作部と
を備えた画面操作装置。
【請求項２】
前記規定時間を設定する時間設定部を備えた
ことを特徴とする請求項１記載の画面操作装置。
【請求項３】
前記動作判定部により特徴点の動きが第１動作であると判定された場合に、当該判定から前記規定時間までの経過時間を示す画像を前記画面上に描画する経過時間描画部を備えた
ことを特徴とする請求項１又は２記載の画面操作装置。
【請求項４】
前記操作部は、前記時間計数部により計数された時間が前記規定時間を経過する前に、前記動作判定部により特徴点の動きが第１動作ではないと判定された場合に、前記画面上の表示モデルを操作前の状態に戻す
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画面操作装置。
【請求項５】
特徴点取得部は、表示モデルを有する画面を操作する操作者による特徴点の動きを取得し、
動作判定部は、前記特徴点取得部により取得された特徴点の動きを判定し、
時間計数部は、前記動作判定部により特徴点の動きが第１動作であると判定された場合に、時間計数を開始し、
操作部は、前記動作判定部により特徴点の動きが第１動作であるとの判定が継続している間、前記画面上の表示モデルを規定操作後の状態を示唆するように動作させ、前記時間計数部により計数された時間が規定時間を経過した後、前記画面上の表示モデルに対して前記規定操作を行う
ことを特徴とする画面操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、特徴点の動きに基づいて、画面上の表示モデルを操作する画面操作装置及び画面操作方法に関する。
【背景技術】
【０００２】
従来から、モーションセンサやタッチパネル等の検出装置により検出された操作者による手や顔等の動きに基づいて、表示装置に表示された画面上の表示モデルを操作する画面操作方法が知られている（例えば特許文献１参照）。この特許文献１に開示された画面操作方法では、操作者が手を移動させ、その手の動きを検出することで表示モデルを回転させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２２５２９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、上記のように表示モデルを回転する場合には、操作者は表示モデルが次にどのように動くのかを容易に予測できる。しかしながら、例えば表示モデルを分解する場合には、操作者にとって次の動きは予測しづらく、表示モデルがどのように動くのかは理解しづらい。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、表示モデルの次の動きを事前に把握できる画面操作装置及び画面操作方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
この発明に係る画面操作装置は、表示モデルを有する画面を操作する操作者による特徴点の動きを取得する特徴点取得部と、特徴点取得部により取得された特徴点の動きを判定する動作判定部と、動作判定部により特徴点の動きが第１動作であると判定された場合に、時間計数を開始する時間計数部と、動作判定部により特徴点の動きが第１動作であるとの判定が継続している間、画面上の表示モデルを規定操作後の状態を示唆するように動作させ、時間計数部により計数された時間が規定時間を経過した後、画面上の表示モデルに対して規定操作を行う操作部とを備えたことを特徴とする。
【発明の効果】
【０００７】
この発明によれば、上記のように構成したので、表示モデルの次の動きを事前に把握できる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る画面操作装置を含む画面操作システムの構成例を示す図である。
【図２】この発明の実施の形態１に係る画面操作装置による表示モデルの操作例を示すフローチャートである。
【図３】図３Ａ〜図３Ｄは、この発明の実施の形態１に係る画面操作装置による表示モデルの操作例を説明する図である。
【図４】図４Ａ、図４Ｂは、この発明の実施の形態１に係る画面操作装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る画面操作装置３を含む画面操作システムの構成例を示す図である。
画面操作システムは、図１に示すように、表示装置１、検出装置２及び画面操作装置３を備えている。なお図１では、表示装置１、検出装置２及び画面操作装置３がそれぞれ別体に構成された場合を示しているが、これに限らず、表示装置１、検出装置２及び画面操作装置３は他の装置と一体化されていてもよい。また、表示装置１と画面操作装置３との間及び検出装置２と画面操作装置３との間は、それぞれ有線又は無線で接続され、通信可能に構成されている。
【００１０】
表示装置１は、表示モデルを有する画面を表示する。
検出装置２は、上記画面を操作する操作者による特徴点の動きを検出する。なお、特徴点としては、例えば、操作者の手、腕等の身体部位が挙げられる。この検出装置２としては、例えばモーションセンサやタッチパネル等が挙げられる。この検出装置２により検出された特徴点の動きを示すデータは、画面操作装置３に出力される。なお、検出装置２による特徴点の動きの具体的な検出方法については、既存の技術と同様であり、その説明は省略する。
【００１１】
画面操作装置３は、表示装置１に表示された画面を操作する。以下では、画面操作装置３が有する機能のうち、表示モデルの操作に関する機能についてのみ説明を行う。この画面操作装置３は、表示モデルの操作に関する機能として、図１に示すように、記憶部３０１、特徴点取得部３０２、動作判定部３０３、時間計数部３０４、時間設定部３０５、操作部３０６、経過時間描画部３０７及び動作描画部３０８を備えている。
【００１２】
記憶部３０１は、表示装置１に表示させるモデル（各種表示モデル、動作モデル、経過時間描画部３０７が描画に用いる画像）を示すデータを記憶する。なお、モデルは、３次元モデルでもよいし、２次元モデルでもよい。また、表示モデルとしては、例えば機器等の対象物の外観を示す外観モデル、対象物を構成する部品を示す部品モデル、対象物を分解した状態を示す分解モデル等が挙げられる。また、動作モデルは、表示モデルを操作するための特徴点の動きを示唆するモデルである。この記憶部３０１としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等が該当する。なお図１では、記憶部３０１を画面操作装置３に内蔵した場合を示しているが、これに限らず、画面操作装置３の外部に設けてもよい。
【００１３】
特徴点取得部３０２は、操作者による特徴点の動きを取得する。図１の例では、特徴点取得部３０２は、検出装置２から出力されたデータを受信することで、上記特徴点の動きを取得する。
【００１４】
動作判定部３０３は、特徴点取得部３０２により取得された特徴点の動きを判定する。
時間計数部３０４は、動作判定部３０３により特徴点の動きが第１動作であると判定された場合に、時間計数を開始する。なお、第１動作は、予め規定された特徴点の動きである。また、時間計数部３０４は、計数している時間が規定時間を経過した場合には、時間計数を終了する。
時間設定部３０５は、時間計数部３０４における上記規定時間を設定する。
【００１５】
操作部３０６は、動作判定部３０３により特徴点の動きが第１動作であるとの判定が継続している間、記憶部３０１からデータを読出して、画面上の表示モデルを規定操作後の状態を示唆するように動作させる。
また、操作部３０６は、時間計数部３０４により計数された時間が上記規定時間を経過した後、記憶部３０１からデータを読出して、画面上の表示モデルに対して上記規定操作を行う。なお、画面操作装置３に動作描画部３０８を設けた場合には、動作描画部３０８による描画後、動作判定部３０３により特徴点の動きが第２動作であると判定された場合に、記憶部３０１からデータを読出して、画面上の表示モデルに対して上記規定操作を行う。
【００１６】
なお、操作部３０６は、時間計数部３０４により計数された時間が上記規定時間を経過する前に、動作判定部３０３により特徴点の動きが第１動作でないと判定された場合には、画面上の表示モデルを操作前の状態に戻す。
また、表示モデルの次の動きが容易に予測できる操作に対しては、操作部３０６は、従来通り、表示モデルに対し、当該操作後の状態を示唆する動作を実施させることなく、当該操作を行うように構成してもよい。
【００１７】
経過時間描画部３０７は、動作判定部３０３により特徴点の動きが第１動作であると判定された場合に、記憶部３０１からデータを読出して、当該判定から上記規定時間までの経過時間を示す画像を画面上に描画する。
【００１８】
動作描画部３０８は、時間計数部３０４により計数された時間が上記規定時間を経過した後、記憶部３０１からデータを読出して、第２動作を示唆する動作モデルを画面上に描画する。また、第２動作は、表示モデルに対して上記規定操作を行うための特徴点の動きであり、予め規定される。
なお、経過時間描画部３０７及び動作描画部３０８は、必須の構成ではなく、画面操作装置３から取り除いてもよい。
【００１９】
次に、上記のように構成された画面操作装置３による表示モデルの操作例について、図２，３を参照しながら説明する。なお、図３Ａに示すように表示装置１には機器（外観モデル）５０２ａを有するプレゼン用画面５０１が表示され、検出装置２は操作者による手の動きを常時検出しているものとする。また、画面上の機器５０２ａに対する操作は、表示モデルの次の動きが容易に予測できない分解操作（規定操作）と、表示モデルの次の動きが容易に予測できる回転操作（第２規定操作）であるとする。また、分解操作を実施する場合には、操作者は、まず、手を開いた状態から握る動作（第１動作）を行い、その後、手を握った状態から開く動作（第２動作）を行うものとする。また、回転操作を行う場合には、操作者は、手を握ったまま移動する動作を行うものとする。また、画面操作装置３は、経過時間描画部３０７及び動作描画部３０８を備えているものとする。
【００２０】
画面操作装置３による表示モデルの操作例では、図２に示すように、まず、特徴点取得部３０２は、検出装置２から出力されたデータを受信することで、操作者による手の動きを取得する（ステップＳＴ２０１）。なお、特徴点取得部３０２による処理は、継続して常時実施される。
【００２１】
次いで、動作判定部３０３は、特徴点取得部３０２により取得された手の動きが、手を開いた状態から握る動作であるかを判定する（ステップＳＴ２０２）。なお、動作判定部３０３は、画面５０１が切替わった後、一定期間が経過するまでは、動作判定を行わないように構成してもよい。すなわち、プレゼン用画面５０１を用いる場合には、画面５０１が切替わった後に、操作者が当該画面５０１に対する説明をジェスチャーを交えて行う場合がある。そこで、画面５０１が切り替わってから一定期間を経過するまでは動作判定を行わないことで、操作者の意図しない操作を抑制できる。
【００２２】
このステップＳＴ２０２において、動作判定部３０３が手を開いた状態から握る動作であると判定した場合には、時間計数部３０４は、時間計数を開始する（ステップＳＴ２０３）。
【００２３】
また、操作部３０６は、記憶部３０１からデータを読出して、画面５０１上の機器５０２ａを分解操作を示唆するように動作させる（ステップＳＴ２０４）。図３Ｂの画面５０１では、分解操作を示唆している状態の機器５０２ｂを示している。この際、操作部３０６は、記憶部３０１に記憶された部品モデルを用いて分解操作を示唆する。なお、分解操作を示唆する動作としては、例えば、図３Ａに示す状態から徐々に部品が分解されていく様子を低速で途中まで示す動作でもよいし、当該部品を分解方向（図では左右）に小刻みに振動させるような動作でもよい。このように機器５０２ａを分解操作を示唆するように動作させることで、操作者は、次に分解操作が行われることを予測できる。
【００２４】
更に、図３Ｂに示すように、経過時間描画部３０７は、記憶部３０１からデータを読出して、動作判定部３０３による上記判定から上記規定時間までの経過時間を示すレベルゲージ（画像）５０３を画面５０１上に描画する（ステップＳＴ２０５）。図３では、経過時間描画部３０７が描画する画像がレベルゲージ５０３である場合を示しているが、これに限らず、例えば、砂時計を示す画像を描画したり、画面全体又は一部を点滅させたり色を変化させたりしてもよい。なお、画面全体又は一部を点滅させる場合には、経過時間に応じて点滅の間隔を早める等、経過時間を分かりやすくしてもよい。
【００２５】
なお、動作判定部３０３が、時間計数部３０４により計数された時間が上記規定時間を経過するまでの間に、手を開いた又は検出装置２による検出範囲外に手が移動したと判定した場合には、シーケンスはステップＳＴ２０２に戻る（図３Ａに示す画面５０１に戻る）。このようにすることで、操作途中で操作者の意思により分解操作を中断することが可能となる。
【００２６】
次いで、動作描画部３０８は、時間計数部３０４により計数された時間が上記規定時間を経過した後、記憶部３０１からデータを読出して、図３Ｃに示すように手を握った状態から手を開く動作を示唆する動作モデル５０４を画面５０１上に描画する（ステップＳＴ２０６）。例えば、画面５０１上に、動作モデル５０４を描画して、アニメーションで手を握った状態から手を開く動作を繰り返し示す。このように、動作モデル５０４を画面５０１上に描画することで、操作者は、分解操作を行うための手の動きが事前にわからない場合であっても、手の動きを容易に把握できる。
なお、本構成では動作描画部３０８は、動作モデルを用いて第２動作を示唆しているが、これに限らず、文字等を用いて第２動作を示唆してもよい。また、第２動作の示唆を行う動作描画部３０８に代えて、図形等で第２動作を行うタイミングを示唆する動作タイミング描画部を画面操作装置３に設けてもよい。
【００２７】
次いで、動作判定部３０３は、特徴点取得部３０２により取得された手の動きが、手を握った状態から手を開く動作であるかを判定する（ステップＳＴ２０７）。
このステップＳＴ２０７において、動作判定部３０３が手を握った状態から開く動作であると判定した場合には、操作部３０６は、記憶部３０１からデータを読出して、画面５０１上の機器５０２ａに対して分解操作を行う（ステップＳＴ２０８）。これにより、図３Ｄに示すように、画面５０１上の機器（外観モデル）５０２ａが、部品が分解された機器（分解モデル）５０２ｃに切替わる。
【００２８】
一方、ステップＳＴ２０２において、動作判定部３０３は、手を開いた状態から握る動作ではないと判定した場合（例えば、手を握った状態で検出範囲内に手が挿入された場合）には、特徴点取得部３０２により取得された手の動きが、手を握ったまま移動する動作であるかを判定する（ステップＳＴ２０９）。
このステップＳＴ２０９において、動作判定部３０３が手を握ったまま移動する動作であると判定した場合には、操作部３０６は、記憶部３０１からデータを読出して、画面５０１上の機器５０２ａに対して上記手の移動に応じた回転操作を行う（ステップＳＴ２１０）。この回転操作は従来と同様である。
【００２９】
なお上記では、表示装置１に表示される画面をプレゼン用画面５０１としたが、表示モデルを有する画面であればよく、例えばゲーム画面でもよい。
【００３０】
以上のように、この実施の形態１によれば、表示モデルを有する画面を操作する操作者による特徴点の動きを取得する特徴点取得部３０２と、特徴点取得部３０２により取得された特徴点の動きを判定する動作判定部３０３と、動作判定部３０３により特徴点の動きが第１動作であると判定された場合に、時間計数を開始する時間計数部３０４と、動作判定部３０３により特徴点の動きが第１動作であるとの判定が継続している間、画面上の表示モデルを規定操作後の状態を示唆するように動作させ、時間計数部３０４により計数された時間が規定時間を経過した後、画面上の表示モデルに対して当該規定操作を行う操作部３０６とを備えたので、表示モデルの次の動きを事前に把握できる。
更に、展示会等において発表者が操作を行い、観覧者にその操作内容や画面の動き、画面内の表示モデルの動きを見てもらうような場合には、発表者（操作者）だけでなく、観覧者にとっても表示モデルの次の動きが予測しやすくなる。
【００３１】
最後に、図４を参照して、実施の形態１に係る画面操作装置３のハードウェア構成例を説明する。
画面操作装置３における特徴点取得部３０２、動作判定部３０３、時間計数部３０４、時間設定部３０５、操作部３０６、経過時間描画部３０７及び動作描画部３０８の各機能は、処理回路５１により実現される。処理回路５１は、図４Ａに示すように、専用のハードウェアであっても、図４Ｂに示すように、メモリ５３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）ともいう）５２であってもよい。
【００３２】
処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。特徴点取得部３０２、動作判定部３０３、時間計数部３０４、時間設定部３０５、操作部３０６、経過時間描画部３０７及び動作描画部３０８の各部の機能それぞれを処理回路５１で実現してもよいし、各部の機能をまとめて処理回路５１で実現してもよい。
【００３３】
処理回路５１がＣＰＵ５２の場合、特徴点取得部３０２、動作判定部３０３、時間計数部３０４、時間設定部３０５、操作部３０６、経過時間描画部３０７及び動作描画部３０８の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ５３に格納される。処理回路５１は、メモリ５３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画面操作装置３は、処理回路５１により実行されるときに、例えば図２に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ５３を備える。また、これらのプログラムは、特徴点取得部３０２、動作判定部３０３、時間計数部３０４、時間設定部３０５、操作部３０６、経過時間描画部３０７及び動作描画部３０８の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５３とは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等が該当する。
【００３４】
なお、特徴点取得部３０２、動作判定部３０３、時間計数部３０４、時間設定部３０５、操作部３０６、経過時間描画部３０７及び動作描画部３０８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、特徴点取得部３０２については専用のハードウェアとしての処理回路５１でその機能を実現し、動作判定部３０３、時間計数部３０４、時間設定部３０５、操作部３０６、経過時間描画部３０７及び動作描画部３０８については処理回路５１がメモリ５３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【００３５】
このように、処理回路５１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
【００３６】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００３７】
１  表示装置、２  検出装置、３  画面操作装置、５１  処理回路、５２  ＣＰＵ、５３  メモリ、３０１  記憶部、３０２  特徴点取得部、３０３  動作判定部、３０４  時間計数部、３０５  時間設定部、３０６  操作部、３０７  経過時間描画部、３０８  動作描画部。
【図１】
2018045489.tif 000003
【図２】
2018045489.tif 000004
【図３】
2018045489.tif 000005
【図４】
2018045489.tif 000006