(57)【要約】【課題】簡易かつ低コストに、マウスクリック様操作が可能な投影型ユーザインターフェースシステムを提供すること。【解決手段】本発明に係る投影型ユーザインターフェースシステムは、対話ウィンドウを投影するプロジェクタ１０３と、プロジェクタ１０３により投影された対話ウィンドウを撮影するカメラ１０４と、カメラ１０４により撮影された対話ウィンドウの画像から、当該対話ウィンドウ上のポインタによる輝点の重心の動きを検出する輝点検出部１０８と、輝点の重心のゆらぎを検出する輝点ゆらぎ検出部１１０とを備えたものである。【選択図】図１
2009176138.tif 000002
【特許請求の範囲】
【請求項１】
対話ウィンドウを投影するプロジェクタと、
前記プロジェクタにより投影された前記対話ウィンドウを撮影するカメラと、
前記カメラにより撮影された前記対話ウィンドウの画像から、当該対話ウィンドウ上のポインタによる輝点の重心の動きを検出する輝点検出部と、
前記輝点の重心のゆらぎを検出する輝点ゆらぎ検出部とを備えた投影型ユーザインターフェースシステム。
【請求項２】
前記輝点ゆらぎ検出部がローパスフィルタを備える請求項１に記載の投影型ユーザインターフェースシステム。
【請求項３】
前記対話ウィンドウの画像から、前記カメラにより撮影された前記対話ウィンドウの投影場所の背景画像を除去する画像比較部をさらに備えた請求項１又は２に記載の投影型ユーザインターフェースシステム。
【請求項４】
前記輝点のゆらぎが所定の領域内である場合、前記輝点が静止していると判断する請求項１〜３のいずれか一項に記載の投影型ユーザインターフェースシステム。
【請求項５】
前記輝点が所定の時間静止している場合、当該輝点が位置する前記対話ウィンドウ上の選択ボタンが選択されたと判断する請求項１〜４のいずれか一項に記載の投影型ユーザインターフェースシステム。
【請求項６】
前記輝点のゆらぎが検出されない場合、当該輝点はポインタによる輝点ではないと判断する請求項１〜５のいずれか一項に記載の投影型ユーザインターフェースシステム。
【請求項７】
請求項１〜６のいずれか一項に記載の投影型ユーザインターフェースシステムが搭載された移動ロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影型ユーザインターフェースシステム及びこれを搭載した移動ロボットに関する。
【背景技術】
【０００２】
プロジェクタなどにより投影された画面に対し、レーザポインタなどを用いて、パソコンのマウス操作と同様の操作を直接行いたいというニーズは高い。特許文献１〜５に開示されているように、プロジェクタにより投影した画像にポインタからの輝点を重ね、これをカメラで撮影することで輝点の位置を測定することができる。すなわち、パソコンにおけるマウスカーソルの位置に相当するデータは、算出することができる。
【０００３】
より具体的には、プロジェクタとカメラとを組み合わせ、校正用の画像を撮影するなどして撮影領域とカメラ撮像画面上の領域とを対応付けする。その上で、発光するポインタなどで輝点を与えれば、カメラ撮像によりスクリーン上の輝点座標を得ることができる。この輝点座標をマウスカーソルの入力として用いれば、コンピュータのカーソルをポインタにより動かすことができる。
【０００４】
ところで、ロボットのようにアクチュエータを有する場合、投影画像は必ずしも投影用の白色スクリーンに投影されるわけではない。そのため、実環境における種々の物体上に投影可能なユーザインターフェースが必要となる。
【特許文献１】特開平８−３３１６６７号公報
【特許文献２】特開２００３−３６１４２号公報
【特許文献３】特開平８−１２３６１２号公報
【特許文献４】特開２０００−２７６２９７号公報
【特許文献５】特開平１０−９１３４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述の技術では、カーソルをポインタにより動かすことはできるものの、マウスクリックに相当する操作（以下、マウスクリック様操作という）を行うことはできなかった。そのため、例えば、ポインタにスイッチを設け、マウスクリックに相当する命令を無線通信により、コンピュータに送信するなどの方法が考えられる。しかしながら、機構が煩雑で高コストになる。
【０００６】
なお、特許文献１〜５に開示された技術は、いずれもスクリーン上に投影されたユーザインターフェースであり、実環境における種々の物体上に投影可能なユーザインターフェースについて考慮されたものではない。
【０００７】
本発明は上記に鑑みなされたものであって、本発明の目的は、簡易かつ低コストに、マウスクリック様操作が可能な投影型ユーザインターフェースシステムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は、
対話ウィンドウを投影するプロジェクタと、
前記プロジェクタにより投影された前記対話ウィンドウを撮影するカメラと、
前記カメラにより撮影された前記対話ウィンドウの画像から、当該対話ウィンドウ上のポインタによる輝点の重心の動きを検出する輝点検出部と、
前記輝点の重心のゆらぎを検出する輝点ゆらぎ検出部とを備えた投影型ユーザインターフェースシステムである。
【発明の効果】
【０００９】
本発明により、簡易かつ低コストに、マウスクリック様操作が可能な投影型ユーザインターフェースシステムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【００１１】
実施の形態に係る投影型ユーザインターフェースシステムの構成を図１に示す。この投影型ユーザインターフェースシステムは、特に、移動ロボットに適している。図１に示すように、実施の形態に係る投影型ユーザインターフェースシステムは、コントローラ１０１、対話ウィンドウ生成部１０２、プロジェクタ（投影機）１０３、カメラ１０４、画像比較部１０６、領域校正部１０７、輝点検出部１０８、輝点静止タイマ１０９、輝点ゆらぎ検出部１１０を備えている。
【００１２】
実施の形態に係る投影型ユーザインターフェースシステムは、例えば、図２に示すような対話ウィンドウを床面、壁面、天井面などに投影する移動ロボットに搭載するものとして最適である。ここで、投影された画面に対し、ユーザがレーザポインタ、懐中電灯などの発光型ポインタを用いてマウスクリック様操作を行う。発光型ポインタの光源としてはレーザなどが好適であるが、特に限定されるものではない。
【００１３】
具体的には、例えば、図２の選択ボタン「指示１」を上記マウスクリック様操作により選択し、続いて、選択ボタン「ＯＫ」を上記マウスクリック様操作により選択する。これにより、選択ボタン「指示１」が正式に選択され、実施されることになる。ここで、誤入力防止のため、このように２段階方式にするのが好ましい。しかしながら、選択ボタン「ＯＫ」を選択する操作を省略し、選択ボタン「指示１」のみの選択で、選択ボタン「指示１」が正式に選択されるようにしてもよい。
【００１４】
コントローラ１０１は、対話ウィンドウ生成部１０２に対し、対話ウィンドウの作成を指示する。そして、コントローラ１０１は、プロジェクタ１０３に対し、対話ウィンドウ生成部１０２により作成された対話ウィンドウの投影を指示する。
一方、コントローラ１０１は、輝点検出部１０８及びゆらぎ検出部１１０を介して入力された指示（例えば、図２に示した選択ボタン「指示１」や「指示２」）に応じた動作を規定し、他のユニット（不図示）に対し、指示する。
【００１５】
対話ウィンドウ生成部１０２は、コントローラ１０１からの指示に基づいて、対話ウィンドウを作成する。作成された対話ウィンドウは直接プロジェクタ１０３により投影されても、一旦バッファ（不図示）に格納されてから投影されてもよい。
プロジェクタ１０３は、コントローラ１０１からの指示に基づいて、対話ウィンドウを所定の場所に投影する。
【００１６】
カメラ１０４は、対話ウィンドウ投射前の背景及び投射された対話ウィンドウを撮影する。ここで、移動ロボット起動中、カメラ１０４は随時動画撮影している。もちろん、例えば、コントローラ１０１からの指示に基づいて、必要な場合のみ撮影するような構成であってもよい。
画像バッファ１０５には、カメラ１０４により撮影された画像が格納される。
【００１７】
フレーム比較部１０６は、画像バッファ１０５に格納された対話ウィンドウの画像とその背景画像とを比較し、背景画像補正を行う。図３は背景画像補正の概念図である。図３に示すように、背景画像補正とは、背景画像を含む対話ウィンドウの画像データから背景画像データを除去する補正である。移動ロボットでは、ロボット自身が移動しながら対話ウィンドウを投影する。そのため、必ずしも白色スクリーンに投影するわけではない。具体的には、床面、壁面、天井面など、実環境における種々の物体上に投影する。本発明では、背景画像補正をおこなうことにより、いかなる投影場所であっても、精度よく輝点の動きを検出することができる。
【００１８】
また、フレーム比較部１０６は、領域校正部１０７からの指示に基づいて、撮影された対話ウィンドウの台形形状及び回転を補正する。具体的には、図３に示すように、例えば、床面に投影された対話ウィンドウは台形形状にゆがんでいる。
【００１９】
また、ロボットと対面するユーザに対して対話ウィンドウを投影する場合、対話ウィンドウを１８０度回転させて投影する。そのため、対話ウィンドウの台形形状及び回転を補正する必要がある。図３は、図２に示した対話ウィンドウを１８０度回転させて投影した場合を示している。
【００２０】
輝点検出部１０８は、輝点静止タイマ１０９を参照しつつ、ユーザがポインタにより指し示した輝点を検出する。また、輝点検出部１０８は、検出した輝点の重心を算出する。輝点検出方法の詳細については後述する。
【００２１】
輝点ゆらぎ検出部１１０は、ユーザがポインタにより指し示した輝点のゆらぎを検出するローパスフィルタ（ＬＰＦ：Low Pass Filter）を備えている。ここで、ユーザが指し示した輝点の位置はゆらぐ。一方、背景の反射や外光などは静止している。そのため、ユーザが指し示した輝点以外の光は、偽輝点として除去することができる。
【００２２】
また、輝点ゆらぎ検出部１１０は、輝点重心のゆらぎが設定した領域内にある場合、輝点が静止していると判断する。そして、所定の時間、輝点が静止していれば、その輝点が位置する対話ウィンドウの選択ボタンが選択される。この指示がコントローラ１０１に入力される。一方、輝点が静止していないと判断した場合、静止タイマ１０９をリセットする。
【００２３】
以上説明したとおり、本発明の構成により、投影された対話ウィンドウに対するポインタによる光照射のみにより、すなわち、簡易かつ低コストに、マウスクリック様操作が可能な投影型ユーザインターフェースシステムを提供することができる。
【００２４】
次に、上記投影型ユーザインターフェースシステムの処理フローについて、図４を参照して説明する。
まず、コントローラ１０１の指示に基づいて、対話ウィンドウ生成部１０２が対話ウィンドウを作成する（Ｓ２０１）。
次に、コントローラ１０１の指示に基づいて、プロジェクタ１０３により作成された対話ウィンドウを床面や壁面などに投影する（Ｓ２０２）。なお、対話ウィンドウ投影前に、カメラ１０４により背景が撮影される。
【００２５】
次に、投影された対話ウィンドウをカメラ１０４により撮影する（Ｓ２０３）。
次に、フレーム比較部１０６が、撮影された対話ウィンドウの画像から、投影前に撮影された背景を除去する背景画像補正を行う（Ｓ２０４）。
続いて、フレーム比較部１０６が、領域校正部１０７の指示に基づいて、撮影された対話ウィンドウの台形形状及び回転を補正する（Ｓ２０５）。
【００２６】
次に、輝点検出部１０８が、ユーザにより指し示されたポインタの輝点を探索する（Ｓ２０６）。具体的には、背景画像補正後の画像を元に、２値化のカットオフレベルをスイープし、あるサイズ（例えば、３２×３２ピクセル）以下の明るい領域が残るかどうかで判定する。
【００２７】
輝点があれば（Ｓ２０７ＹＥＳ）、続けて、輝点の重心を計算し、その輝点重心の動きを検出する（Ｓ２０８）。
一方、輝点がなければ（Ｓ２０７ＮＯ）、Ｓ２０３に戻り、再度投影された対話ウィンドウをカメラ１０４により撮影する。
【００２８】
次に、輝点ゆらぎ検出部１１０が、重心位置が揺らぐか否かを判断する（Ｓ２０９）。輝点が揺らがない場合（Ｓ２０９ＮＯ）、偽輝点であると判断し、Ｓ２０６に戻り、再び輝点を探索する。一方、輝点が揺らぐ場合（Ｓ２０９ＹＥＳ）、輝点であると判断する。そして、重心の軌跡が閾値以下か否かを判断する（Ｓ２１０）。
【００２９】
重心の軌跡が閾値以下でない場合（Ｓ２１０ＮＯ）、輝点ゆらぎ検出部１１０は、輝点が静止していないものと判断する。そして、静止タイマ１０９をリセットし、Ｓ２０８に戻り、再び輝点重心の動きを検出する。一方、重心の軌跡が閾値以下の場合（Ｓ２１０ＹＥＳ）、輝点が静止しているものと判断する。そして、静止時間を計測中か否かを判断する（Ｓ２１１）。
【００３０】
静止時間を計測中でない場合（Ｓ２１１ＮＯ）、ゆらぎ検出部１１０は、静止タイマ１０９をスタートさせ、Ｓ２０８に戻り、輝点重心の動きを検出する。一方、静止時間を計測中の場合（Ｓ２１１ＹＥＳ）、続けて、静止時間が設定値を超えているか否かを判断する（Ｓ２１２）。
【００３１】
静止時間が設定値を超えていない場合（Ｓ２１２ＮＯ）、Ｓ２０８に戻り、輝点重心の動きを検出する。一方、静止時間が設定値を超えている場合（Ｓ２１２ＹＥＳ）、トリガ座標を出力する（Ｓ２１３）。この座標から選択された選択ボタンを認識する。以上により、無線通信などの複雑な機構を用いることなく、投影された対話ウィンドウに対し、ポインタにより光を照射するだけで、マウスクリック様操作を実施することができる。すなわち、簡易かつ低コストに、マウスクリック様操作を実施することができる。
【００３２】
本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態に係る投影型ユーザインターフェースシステムのブロック図である。
【図２】対話ウィンドウの一例を示す図である。
【図３】背景画像補正の概念図である。
【図４】本発明の実施の形態に係る投影型ユーザインターフェースシステムのフローチャートである。
【符号の説明】
【００３４】
１０１  コントローラ
１０２  対話ウィンドウ生成部
１０３  プロジェクタ
１０４  カメラ
１０５  画像バッファ
１０６  画像比較部
１０７  領域校正部
１０８  輝点検出部
１０９  輝点静止タイマ
１１０  輝点ゆらぎ検出部
【図１】
2009176138.tif 000003
【図２】
2009176138.tif 000004
【図３】
2009176138.tif 000005
【図４】
2009176138.tif 000006