(57)【特許請求の範囲】
【請求項１】
ジェスチャで得た一筆書き図形の描画が開始および終了されたジェスチャ検知領域を含む認識領域に前記一筆書き図形が描画されている場合において前記一筆書き図形が前記認識領域内の原点に対してどの方向に位置するかを検出する一筆書き図形方向検出装置であって、
前記認識領域から前記一筆書き図形が内接し且つ３つ以上の辺で構成される図形領域を抽出する図形領域抽出部と、
前記３つ以上の辺から前記原点に最も近い辺を選択し、前記原点が前記図形領域に含まれるなら、前記原点から前記最も近い辺に向かう方向とは反対の方向を、前記原点に対する前記一筆書き図形の方向とする一方、前記原点が前記図形領域に含まれないなら、前記原点から前記最も近い辺に向かう方向を、前記原点に対する前記一筆書き図形の方向とする方向検出部と
を備えることを特徴とする一筆書き図形方向検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一筆書き図形の方向を検出できる一筆書き図形方向検出装置に関するものである。
【背景技術】
【０００２】
近年では、カメラや赤外線センサが取り付けられた表示装置が多く登場し、リモコンのキー操作の代わりに、ジェスチャをすることで表示装置に表示されるコンテンツを制御する方式が多く登場している。そのジェスチャ操作の中で、ユーザに負担なく、かつ効率的に操作可能な一筆書きジェスチャ操作方式が提案されている（非特許文献１）。この方式はユーザによって描かれた一筆書き図形の形状と方向を識別し、その形状と方向によって一意にコマンドを決定する方式であり、そのコマンドに適したコンテンツの処理が行われ、その結果がスクリーンに表示される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「大型ディスプレイ上のメニュー選択に適した カメラによる一筆書きジェスチャインタフェース」、青木良輔、 唐津豊、井原雅行、前田篤彦、渡部智樹、小林稔、鏡慎吾：第67回ヒューマンインタフェース学会研究会「コミュニケーション支援および一般（SIG-CE-02）」、2010年11月
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１の方向検出機能は、ジェスチャの開始から終了までに得られた、一筆書き図形を描いた指の各座標の重心を計算し、その重心とジェスチャ検知領域の角度を計算し、その角度に応じて方向を決定する手法を用いている。しかしながら、一筆書き図形の大きさ、形状、位置は人によって異なるため、上記手法では、ユーザが意図する一筆書き図形の方向を検出できない場合が生じる。
【０００５】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、一筆書き図形の方向を検出できる一筆書き図形方向検出装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明は、ジェスチャで得た一筆書き図形の描画が開始および終了されたジェスチャ検知領域を含む認識領域に前記一筆書き図形が描画されている場合において前記一筆書き図形が前記認識領域内の原点に対してどの方向に位置するかを検出する一筆書き図形方向検出装置であって、前記認識領域から前記一筆書き図形が内接し且つ３つ以上の辺で構成される図形領域を抽出する図形領域抽出部と、前記３つ以上の辺から前記原点に最も近い辺を選択し、前記原点が前記図形領域に含まれるなら、前記原点から前記最も近い辺に向かう方向とは反対の方向を、前記原点に対する前記一筆書き図形の方向とする一方、前記原点が前記図形領域に含まれないなら、前記原点から前記最も近い辺に向かう方向を、前記原点に対する前記一筆書き図形の方向とする方向検出部とを備えることを特徴とする一筆書き図形方向検出装置をもって解決手段とする。
【発明の効果】
【０００７】
本発明によれば、認識領域から、一筆書き図形が内接し且つ３つ以上の辺で構成される図形領域を抽出し、３つ以上の辺から原点に最も近い辺を選択し、原点が図形領域に含まれるなら、原点から最も近い辺に向かう方向とは反対の方向を、原点に対する一筆書き図形の方向とする一方、原点が図形領域に含まれないなら、原点から最も近い辺に向かう方向を、原点に対する一筆書き図形の方向とするので、一筆書き図形が原点に対してどの方向に位置するかを検出することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施の形態に係る一筆書き図形方向検出装置を含む情報処理装置の利用形態を示す図である。
【図２】情報処理装置１の概略構成を示す機能ブロック図である。
【図３】一筆書き図形蓄積部３２に予め記憶された一筆書き図形の一例を示す図である。
【図４】操作内容蓄積部３３の構成を説明するための図である。
【図５】コンテンツ蓄積部３４の構成を説明するための図である。
【図６】リアルタイム処理発生部１０、カメラ画像取得部２０および一筆書き図形検出オンオフ切替部４１の動作を示すフローチャートである。
【図７】画像を模式的に例示した図である。
【図８】一筆書き図形検出オンオフ切替部４１の動作（Ｓ７）の流れを示すフローチャートである。
【図９】一筆書き図形検出部４２が停止状態から動作状態になる場合の画像の変化の一例を示す図である。
【図１０】一筆書き図形検出部４２が動作状態から停止状態になる場合の画像の変化の一例を示す図である。
【図１１】一筆書き図形検出部４２の動作を示すフローチャートである。
【図１２】ジェスチャによる一筆書き図形が描画される様子を示す図である。
【図１３】一筆書き図形方向検出部４２３の概略構成を示す機能ブロック図である。
【図１４】一筆書き図形方向検出部４２３の動作の流れを示すフローチャートである。
【図１５】一筆書き図形方向検出部４２３の動作を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照して説明する。
【００１０】
図１は、本実施の形態に係る一筆書き図形方向検出装置を含む情報処理装置の利用形態を示す図である。
【００１１】
情報処理装置１は、例えば、発光するＬＥＤ６０を指に付けたユーザＵがジェスチャで描いた一筆書き図形をカメラ２で撮像し、一筆書き図形に基づいて選択したコンテンツ（画像や映像など）を表示装置３（テレビジョン受像器など）に表示する装置であり、カメラ２と表示装置３に対し、接続ケーブルなどで接続されている。
【００１２】
図２は、情報処理装置１の概略構成を示す機能ブロック図である。
【００１３】
情報処理装置１は、リアルタイム処理発生部１０、カメラ画像取得部２０、データベース３０、一筆書き図形検出部４０および表示処理部５０を備える。
【００１４】
データベース３０は、カメラ画像蓄積部３１、一筆書き図形蓄積部３２、操作内容蓄積部３３、コンテンツ蓄積部３４および指位置蓄積部３５を備える。
【００１５】
一筆書き図形検出部４０は、一筆書き図形検出オンオフ切替部４１および一筆書き図形検出部４２を備える。
【００１６】
一筆書き図形検出オンオフ切替部４１は、指位置検出部４１１および一筆書き図形検出オンオフ切替部４１２を備える。
【００１７】
一筆書き図形検出部４２は、一筆書き図形入力判断部４２１、一筆書き図形検出部４２２および一筆書き図形方向検出部４２３を備える。一筆書き図形方向検出部４２３の構成については後述する。
【００１８】
図３は、一筆書き図形蓄積部３２に予め記憶された一筆書き図形の一例を示す図である。
【００１９】
一筆書き図形蓄積部３２には、図３（ａ）〜（ｌ）に示すような複数の一筆書き図形のデータが記憶されている。
【００２０】
図４は、操作内容蓄積部３３の構成を説明するための図である。
【００２１】
操作内容蓄積部３３は、複数（複数種）のコマンド（命令）を含み、各コマンドには、そのコマンドを発生させる際に生成すべき一筆書き図形の形状の特徴を示す形状ＩＤ、ならびに、所定の原点（詳しくは後述する）に対してその一筆書き図形が位置すべき方向を示す方向ＩＤが対応づけられている。
【００２２】
図５は、コンテンツ蓄積部３４の構成を説明するための図である。
【００２３】
コンテンツ蓄積部３４は、複数（複数種）のコンテンツ（画像や映像のデータ）を含み、各コンテンツには、そのコンテンツを表示させる際に発生させるべきコマンドが対応づけられている。
【００２４】
（情報処理装置１の動作）
図６は、リアルタイム処理発生部１０、カメラ画像取得部２０および一筆書き図形検出オンオフ切替部４１の動作を示すフローチャートである。
【００２５】
リアルタイム処理発生部１０は、時間計測を開始し、経過時間Ｔが例えば１６ｍ秒を超えたか否かを逐次判定し（Ｓ１）、経過時間Ｔが１６ｍ秒を超えたなら、経過時間Ｔを０に戻し（Ｓ３）、カメラ画像取得部２０を動作させる。
【００２６】
これにより、カメラ画像取得部２０は、カメラ２を制御し、ユーザＵを撮像させる（Ｓ５）。カメラ画像取得部２０は、カメラ２により得た画像をカメラ画像蓄積部３１に記憶させる。
【００２７】
次に、一筆書き図形検出オンオフ切替部４１が動作（Ｓ７）し、その後、制御はステップＳ１に戻る。
【００２８】
図７は、画像を模式的に例示した図である。画像には、ＬＥＤ６０が映っている。ユーザＵが指でジェスチャを行うと、ＬＥＤ６０が軌跡を描き、これにより一筆書き図形が生成される。なお、このような画像は、カメラ２でなく、赤外線センサによっても得ることができるので、カメラ２を赤外線センサに置き換えてもよい。
【００２９】
図８は、一筆書き図形検出オンオフ切替部４１の動作（Ｓ７）の流れを示すフローチャートである。
【００３０】
まず、指位置検出部４１１が、カメラ画像蓄積部３１から画像を読み出し、画像から指（例えばＬＥＤ）の検出を試みる（Ｓ１１）。
【００３１】
次に、一筆書き図形検出オンオフ切替部４１２が、一筆書き図形検出部４２が動作状態（オン）であるか否かを判定する（Ｓ１３）。
【００３２】
一筆書き図形検出オンオフ切替部４１２は、一筆書き図形検出部４２が動作状態であるなら、画像から指が検出されたか否かを判定する（Ｓ１５）。
【００３３】
一筆書き図形検出オンオフ切替部４１２は、指が検出されたのなら処理を終える一方、指が検出されなかったなら、一筆書き図形検出部４２を停止状態（オフ）にし（Ｓ１７）、ジェスチャ検知領域を削除し（Ｓ１９）、ジェスチャ開始領域を作成し（Ｓ２１）、処理を終える。
【００３４】
一筆書き図形検出オンオフ切替部４１２は、一筆書き図形検出部４２が停止状態であるなら、ジェスチャ開始領域内に指があるか否かを判定する（Ｓ２３）。
【００３５】
一筆書き図形検出オンオフ切替部４１２は、ジェスチャ開始領域内に指がないなら処理を終える一方、ジェスチャ開始領域内に指があるなら、一筆書き図形検出部４２を動作状態にし（Ｓ２５）、ジェスチャ開始領域を削除し（Ｓ２７）、ジェスチャ検知領域を作成し（Ｓ２９）、処理を終える。
【００３６】
図９は、一筆書き図形検出部４２が停止状態から動作状態になる場合の画像の変化の一例を示す図である。
【００３７】
認識領域１００は、情報処理装置１内のメモリに作成され、ここでは、カメラ２の視野領域に一致するようになっている。
【００３８】
一筆書き図形検出部４２が動作していない場合、認識領域１００の中心には例えば円形のジェスチャ開始領域２００が作成されている。そして、画像の変化の過程で、指Ｆがジェスチャ開始領域２００に進入したなら、一筆書き図形検出部４２が動作状態になり、ジェスチャ開始領域２００が削除され、認識領域１００の中心に、例えばジェスチャ開始領域２００より大きい円形のジェスチャ検知領域３００が作成される。
【００３９】
つまり、ユーザＵは、指Ｆをジェスチャ開始領域２００に進入させ、それからジェスチャを開始するようになっている。
【００４０】
図１０は、一筆書き図形検出部４２が動作状態から停止状態になる場合の画像の変化の一例を示す図である。
【００４１】
画像の変化の過程で、指Ｆが認識領域１００に存在しなくなったら、一筆書き図形検出部４２が停止状態になり、ジェスチャ検知領域３００が削除され、認識領域１００の中心に、ジェスチャ開始領域２００が作成される。
【００４２】
つまり、ユーザＵは、指Ｆを認識領域１００の外側に移動させ、これにより、ジェスチャを終了するようになっている。
【００４３】
図１１は、一筆書き図形検出部４２の動作を示すフローチャートである。
【００４４】
図８のステップＳ２５で動作状態になった一筆書き図形検出部４２では、画像が記憶されるごとに以下の処理を行う。
【００４５】
まず、一筆書き図形入力判断部４２１は、画像において、ジェスチャ検知領域内に指があるか否かを判定する（Ｓ４１）。
【００４６】
一筆書き図形入力判断部４２１は、ジェスチャ検知領域に進入した指がジェスチャ検知領域から出た場合（指がジェスチャ検知領域にない場合）、ジェスチャが開始されたことになるので、ジェスチャが行われているか否かを示すジェスチャフラグを「ＴＲＵＥ（真）」に設定し（Ｓ４３）、処理を終える。
【００４７】
一方、一筆書き図形入力判断部４２１は、ジェスチャ検知領域に指がある場合は、ジェスチャフラグが「ＴＲＵＥ」か否かを判定する（Ｓ４５）。
【００４８】
一筆書き図形入力判断部４２１は、ジェスチャフラグが「ＴＲＵＥ」の場合、ジェスチャ検知領域になかった指がジェスチャ検知領域に進入したことになるので、つまり、ジェスチャ（一筆書き）が終了したことになるので、一筆書き図形検出部４２２および一筆書き図形方向検出部４２３を動作させる（Ｓ４７）。
【００４９】
一筆書き図形入力判断部４２１は、ジェスチャフラグが「ＦＡＬＳＥ（偽）」の場合、ジェスチャ検知領域にあった指が依然としてジェスチャ検知領域にあることになるので、一筆書き図形検出部４２２および一筆書き図形方向検出部４２３を動作させることなく、処理を終了させる。
【００５０】
また、一筆書き図形入力判断部４２１は、一筆書き図形検出部４２２および一筆書き図形方向検出部４２３の動作（Ｓ４７）が終了したなら、ジェスチャは既に終わっているので、ジェスチャフラグを「ＦＡＬＳＥ（偽）」に設定し（Ｓ４９）、処理を終える。
【００５１】
図１２は、ジェスチャによる一筆書き図形が描画される様子を示す図である。
【００５２】
ジェスチャ検知領域３００にあった指Ｆは、一筆書き図形を描くべく、ジェスチャ検知領域３００を出る。このときジェスチャフラグが「ＴＲＵＥ」になる。そして、指Ｆは、一筆書き図形の描画を終えるべく、ジェスチャ検知領域３００に進入する。このときジェスチャフラグが「ＦＡＬＳＥ」になる。一筆書き図形はこのように描画される。
【００５３】
ジェスチャフラグが「ＴＲＵＥ」の間は、指位置蓄積部３５には、画像ごとに指の位置と画像の取得時刻が記憶される。
【００５４】
また、図１１のステップＳ４７では、一筆書き図形検出部４２２が、指位置蓄積部３５に記憶された指の位置の変化に基づいて、指により描画された一筆書き図形の形状を検出する。
【００５５】
図１３は、一筆書き図形方向検出部４２３の概略構成を示す機能ブロック図である。
【００５６】
一筆書き図形方向検出部４２３は、一筆書き図形方向検出装置とも称し、上記のように、ジェスチャで得た一筆書き図形の描画が開始および終了されたジェスチャ検知領域を含む認識領域に一筆書き図形が描画されている場合において、この一筆書き図形が認識領域内の原点に対してどの方向に位置するかを検出するものである。
【００５７】
一筆書き図形方向検出部４２３は、認識領域１００から、一筆書き図形が内接し且つ３つ以上の辺で構成される図形領域を抽出する図形領域抽出部４２３１と、３つ以上の辺から原点に最も近い辺を選択し、原点が図形領域に含まれるなら、原点から最も近い辺に向かう方向とは反対の方向を、原点に対する一筆書き図形の方向とする一方、原点が図形領域に含まれないなら、原点から最も近い辺に向かう方向を、原点に対する一筆書き図形の方向とする方向検出部４２３２とを備える。
【００５８】
図１４は、一筆書き図形方向検出部４２３の動作の流れを示すフローチャートであり、図１５は、一筆書き図形方向検出部４２３の動作を説明するための図である。
【００５９】
まず、図形領域抽出部４２３１は、図１５（ａ）に示すような、認識領域１００に一筆書き図形１０００が描画されている場合において、図１５（ｂ）に示すように、一筆書き図形１０００が内接し且つ、例えば、４つの辺Ａ、Ｂ、ＣおよびＤで構成される図形領域１００’を抽出する（Ｓ５１）。
【００６０】
内接とは、図１５（ｂ）の例では、４つの辺Ａ、Ｂ、ＣおよびＤの全てが図形領域１００’の内部側で、一筆書き図形１０００との接点Ａ１、Ｂ１、Ｃ１およびＤ１を有し、しかも、一筆書き図形１０００の内部の全部が図形領域１００’の内部に含まれることをいう。
【００６１】
次に、方向検出部４２３２が、図１５（ｃ）に示すように、辺Ａ、Ｂ、ＣおよびＤから原点Ｐに最も距離の近い辺Ａを選択し（Ｓ５３）、図１５（ｃ）に示すように、原点Ｐが図形領域１００’に含まれるか否かを判定する（Ｓ５５）。方向検出部４２３２は、原点Ｐが図形領域１００’に含まれるなら（Ｓ５５：ＹＥＳ）、原点Ｐから最も距離の近い辺Ａに向かう矢印Ｙ１の方向とは反対の矢印Ｙ２の方向を、原点Ｐに対する一筆書き図形１０００の方向とし（Ｓ５７）、処理を終える。一方、方向検出部４２３２は、図１５（ｄ）に示すように、原点Ｐが図形領域１００’に含まれないなら（Ｓ５５：ＮＯ）、原点Ｐから最も距離の近い辺Ａに向かう矢印Ｙ３の方向を、原点Ｐに対する一筆書き図形１０００の方向とし（Ｓ５９）、処理を終える。
【００６２】
原点Ｐから最も距離の近い辺に向かう方向とは、正確には、原点Ｐから当該辺に下ろした「垂線」の方向をいう。
【００６３】
なお、図１５の例は、辺の数を４としたものだが、辺の数は３または５以上でもよく、辺の数が多い方が、一筆書き図形の方向をより正確に検出できて好ましい。
【００６４】
こうして、一筆書き図形の形状と方向が検出されたら、図２の指位置蓄積部３５に記憶された指の位置と画像の取得時刻が消去される。そして、表示処理部５０は、操作内容蓄積部３３から、検出された一筆書き図形の形状と同じ形状に対応する形状ＩＤおよび検出された方向と同じ方向に対応する方向ＩＤに対応づけられたコマンドを読み出す。そして、表示処理部５０は、コンテンツ蓄積部３４から、コマンドに対応づけられたコンテンツ（画像や映像のデータ）を読み出し、コンテンツを表示装置３に送信し、表示させる。
【００６５】
したがって、本実施の形態に係る一筆書き図形方向検出装置（４２３）によれば、認識領域から、一筆書き図形が内接し且つ３つ以上の辺で構成される図形領域を抽出し、３つ以上の辺から原点に最も近い辺を選択し、原点が図形領域に含まれるなら、原点から最も近い辺に向かう方向とは反対の方向を、原点に対する一筆書き図形の方向とする一方、原点が図形領域に含まれないなら、原点から最も近い辺に向かう方向を、原点に対する一筆書き図形の方向とするので、一筆書き図形が原点に対してどの方向に位置するかを検出することができる。
【００６６】
なお、本実施の形態に係る一筆書き図形方向検出装置（４２３）としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【００６７】
１  情報処理装置
２  カメラ
３  表示装置
１０  リアルタイム処理発生部
２０  カメラ画像取得部
３０  データベース
３１  カメラ画像蓄積部
３２  一筆書き図形蓄積部
３３  操作内容蓄積部
３４  コンテンツ蓄積部
３５  指位置蓄積部
４０  一筆書き図形検出部
４１  一筆書き図形検出オンオフ切替部
４２  一筆書き図形検出部
５０  表示処理部
１００  認識領域
１００’  図形領域
１０００  一筆書き図形
２００  ジェスチャ開始領域
３００  ジェスチャ検知領域
４１１  指位置検出部
４１２  一筆書き図形検出オンオフ切替部
４２１  一筆書き図形入力判断部
４２２  一筆書き図形検出部
４２３  一筆書き図形方向検出部
４２３１  図形領域抽出部
４２３２  方向検出部
【図１】
0005798083.tif 000002
【図２】
0005798083.tif 000003
【図３】
0005798083.tif 000004
【図４】
0005798083.tif 000005
【図５】
0005798083.tif 000006
【図６】
0005798083.tif 000007
【図７】
0005798083.tif 000008
【図８】
0005798083.tif 000009
【図９】
0005798083.tif 000010
【図１０】
0005798083.tif 000011
【図１１】
0005798083.tif 000012
【図１２】
0005798083.tif 000013
【図１３】
0005798083.tif 000014
【図１４】
0005798083.tif 000015
【図１５】
0005798083.tif 000016