(57)【要約】【課題】ポスター等に表示された複数のアイテムの中からユーザーが希望するアイテムに関する詳細な情報又は最新の情報を提供したり、ユーザーが電子機器を操作したりする際に、アイテム又は操作内容の選択を容易に行うことができるヒューマンインターフェース装置を提供する。【解決手段】このヒューマンインターフェース装置は、対象物を撮像する少なくとも１つの撮像部と、少なくとも１つの撮像部により撮像された対象物の画像における第１の領域を第１の操作に対応付けて登録する領域登録部と、ユーザーの体部が所定の距離内で接近した対象物の領域を、少なくとも１つの撮像部により撮像された画像から検出する領域検出部と、領域検出部によって検出された領域が第１の領域に位置する場合に、第１の操作を選択する操作選択部とを含む。【選択図】図２
2014067349.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮像する少なくとも１つの撮像部と、
前記少なくとも１つの撮像部により撮像された前記対象物の画像における第１の領域を第１の操作に対応付けて登録する領域登録部と、
ユーザーの体部が所定の距離内で接近した前記対象物の領域を、前記少なくとも１つの撮像部により撮像された画像から検出する領域検出部と、
前記領域検出部によって検出された領域が前記第１の領域に位置する場合に、前記第１の操作を選択する操作選択部と、
を具備するヒューマンインターフェース装置。
【請求項２】
前記領域登録部は、前記少なくとも１つの撮像部により撮像された前記対象物の画像における第２の領域を第２の操作に対応付けて登録し、
前記操作選択部は、前記領域検出部によって検出された領域が前記第１の領域に含まれる場合に前記第１の操作を選択し、前記領域検出部によって検出された領域が前記第２の領域に含まれる場合に前記第２の操作を選択することを特徴とする請求項１に記載のヒューマンインターフェース装置。
【請求項３】
ビデオプロジェクターをさらに具備し、
前記プロジェクターが、掲示内容、前記第１の領域及び前記第２の領域の内の少なくとも１つを前記対象物に投影すると共に、前記第１の領域及び前記第２の領域の内のいずれかの領域が選択されたことにより、選択された領域に対応付けられている情報を前記対象物に投影することを特徴とする請求項１又は２に記載のヒューマンインターフェース装置。
【請求項４】
前記対象物、又は、前記ビデオプロジェクターによって前記対象物に投影された掲示内容は、前記対象物又は前記掲示内容の種類を示すＩＤ情報を含み、
前記領域登録部は、前記少なくとも１つの撮像部により撮像された前記対象物の画像に含まれている前記ＩＤ情報に基づいて、前記第１の領域を前記第１の操作に対応付けて登録することを特徴とする請求項１乃至３のいずれか１項に記載のヒューマンインターフェース装置。
【請求項５】
前記少なくとも１つの撮像部は、所定の距離だけ離れて配置された第１の撮像部及び第２の撮像部を含み、
前記ユーザーの体部が所定の距離内で接近した前記対象物の領域の検出は、前記第１の撮像部により撮像された画像と前記第２の撮像部により撮像された画像との間の視差に基づいて行われることを特徴とする請求項１乃至４のいずれか１項に記載のヒューマンインターフェース装置。
【請求項６】
前記対象物、又は、前記ビデオプロジェクターによって前記対象物に投影された掲示内容は、複数のマーカーを含み、
前記領域検出部は、前記少なくとも１つの撮像部により撮像された前記対象物の画像における前記複数のマーカーの位置に基づいて、前記ユーザーの体部が所定の距離内で接近した前記対象物の領域を検出することを特徴とする請求項１乃至５のいずれか１項に記載のヒューマンインターフェース装置。
【請求項７】
通信部をさらに具備し、
前記選択操作部によって選択された操作が、前記通信部を介して電子機器に伝達されることを特徴とする請求項１乃至６のいずれか１項に記載のヒューマンインターフェース装置。
【請求項８】
少なくとも１つの撮像部を用いて対象物を撮像するステップ（ａ）と、
前記少なくとも１つの撮像部により撮像された前記対象物の画像における第１の領域を第１の操作に対応付けて登録するステップ（ｂ）と、
ユーザーの体部が所定の距離内で接近した前記対象物の領域を、前記少なくとも１つの撮像部により撮像された画像から検出するステップ（ｃ）と、
ステップ（ｃ）において検出された領域が第１の領域に位置する場合に、前記第１の操作を選択するステップ（ｄ）と、
を具備するヒューマンインターフェース方法。
【請求項９】
前記複数の操作を予め設定するステップをさらに具備する、請求項８記載のヒューマンインターフェース方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポスター等に表示又は定義された複数のアイテムの中からユーザーが希望するアイテムに関する詳細な情報又は最新の情報を提供したり、ユーザーが電子機器を操作したりする際に用いられるヒューマンインターフェース装置及びヒューマンインターフェース方法等に関する。
【背景技術】
【０００２】
例えば、ポスターは、閲覧者（本願においては、「ユーザー」ともいう）に情報を提供するために、駅や公共施設や店舗等において広く用いられている。しかしながら、ポスターに表示できる情報には限度があるので、ユーザーが特定のアイテムについて詳しい情報を希望しても、その場では詳しい情報を入手できない場合が多い。
【０００３】
具体例として、映画ポスターには、写真やキャッチコピーが主に記載されており、映画館の場所や上映時間や割引料金等についての詳細な情報は記載されていない。また、イベントを知らせるポスターには、場所が記載されていても地図が記載されていなかったり、イベント内容についての詳細な情報が記載されていなかったりする。
【０００４】
ＰＯＰ（point of purchase advertising）の場合も同様である。ＰＯＰは、紙を広告媒体として、その上に、商品名と価格、及び、キャッチコピー、説明文又はイラストを手描きしたものであり、数ある広告媒体の中でも単純なツールの１つである。しかしながら、ＰＯＰによれば商品の詳細な内容が分からないので、購入者は限られてしまう。実際に、スーパーマーケット等において目玉商品を宣伝しても、その売場が分からない等の問題が起こっている。そこで、ポスターを見たユーザーが特定のアイテムについて詳細な情報又は最新の情報を希望する場合に、その情報を画像又は音声等によって提供できれば便利である。
【０００５】
関連する従来技術として、特許文献１には、複数の情報を同時に表示する機能と掲示物に含まれる個別情報の関連情報を選択的に出力する機能の両機能を１つの情報表示システムで満たすことを目的とする掲示板システムが開示されている。
【０００６】
この掲示板システムは、（ｉ）掲示物を特定する識別情報を備えた掲示物と、（ii）掲示物に関連する掲示物情報と、（iii）掲示物を掲示する掲示領域と、該掲示領域に掲示された掲示物を識別情報に基づき特定し、掲示領域に掲示された掲示物の掲示物情報を取得する掲示物情報取得手段と、該掲示領域に掲示された掲示物又は個別情報の掲示位置を検出する掲示位置検出手段と、掲示物の掲示位置を登録する登録手段と、掲示物の掲示位置及び掲示物情報に基づき、掲示物及び個別情報の掲示位置を対応づける対応づけ手段と、個別情報及びその掲示位置情報と関連する関連情報を選択可能に内部又は外部から取得する関連情報取得手段と、個別情報を接触又は非接触により指定する位置検出手段と、関連情報を出力する情報出力手段とを備えた掲示板とからなる。
【０００７】
特許文献１によれば、例えば、閲覧者が指等で掲示物に接触し、掲示物に記載された個別情報を選択した場合に、個別情報の掲示物内における位置領域情報及び掲示板の位置検出手段により得られた掲示位置から、閲覧者が選択した個別情報を特定することが可能となる。
【０００８】
しかしながら、掲示領域に掲示された掲示物について掲示位置の登録作業を行うためには、例えば、掲示物の四隅を左上から時計周り方向に順に接触する必要があり、登録作業に手間がかかる。また、位置検出手段としてタッチパネルを備えた特殊な掲示板が必要であり、掲示物を掲示するためのコストが大幅に増加する。
【０００９】
また、特許文献２には、ポスター等の掲示媒体に興味を持った利用者に対して、利用者が特別な機器を必要とすることなく、かつ興味の対象に応じて、大容量コンテンツを含む任意の情報を提供することを目的とする情報提供システム及び方法が開示されている。
【００１０】
この情報提供システムは、ＩＣタグ読取装置及び位置検知センサーを備え、掲示媒体を掲示するための掲示装置と、映像情報と音声情報との少なくとも１つからなるコンテンツ情報を再生するコンテンツ再生装置と、該掲示装置及び該コンテンツ再生装置を制御する制御装置と、コンテンツ情報を管理するコンテンツサーバーとから構成される情報提供システムであって、該制御装置は、該掲示装置に掲示された該掲示媒体に対するコンテンツ情報と、該掲示装置に掲示された該掲示媒体上での位置情報と該コンテンツ情報とを対応付ける第１の対応情報とを格納する手段と、該位置検知センサーからの入力情報を位置情報に変換する手段と、該位置情報に対して、該第１の対応情報を参照し、対応するコンテンツ情報を選択する手段と、選択した該コンテンツ情報をコンテンツ再生装置で再生させる手段とを有することを特徴とする。
【００１１】
特許文献２によれば、制御装置が、掲示装置に取り付けられた掲示媒体の表示内容に対するコンテンツ情報、及び、表示内容と掲示媒体における表示内容の位置とコンテンツ情報とを対応付ける情報を保持し、掲示装置に取り付けられた掲示媒体において利用者が指し示した表示内容に対するコンテンツ情報を、情報再生装置によって利用者に提供する。
【００１２】
しかしながら、位置検知センサーとして２つの１次元超音波センサーが用いられており、超音波は広い範囲に拡散するので、掲示媒体において利用者が指し示した位置を正確に検出することは困難である。また、掲示媒体における広告内容の位置を表す情報を作成する必要があるが、その作業は簡単ではない。
【００１３】
ところで、ユーザーが電子機器を操作する際にも、複数の操作内容の中からユーザーが希望する操作内容を容易に選択できれば便利である。また、家庭におけるレイアウトの都合によって、電子機器が設置されている場所とは別の場所で電子機器の操作を行ったり、使用しない場合に操作画面を目立たなくしたりすることが望まれる。特に、高齢者向けには、操作画面を大きく表示して、見え易く、選択し易くすることが望まれる。さらに、ユーザーが特定の操作内容について詳細な情報を希望する場合に、その情報を画像又は音声等によって提供できれば便利である。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００６−１１４２２号公報（段落００１２−００１３、００２０、００２９）
【特許文献２】特開２００６−３０８８３号公報（段落００１３、００１８、００３２、００３４、請求項１）
【発明の概要】
【発明が解決しようとする課題】
【００１５】
そこで、上記の点に鑑み、本発明の目的の１つは、ポスター等に表示された複数のアイテムの中からユーザーが希望するアイテムに関する詳細な情報又は最新の情報を提供したり、ユーザーが電子機器を操作したりする際に、アイテム又は操作内容の選択を容易に行うことができるヒューマンインターフェース装置及びヒューマンインターフェース方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
以上の課題を解決するため、本発明の１つの観点に係るヒューマンインターフェース装置は、対象物を撮像する少なくとも１つの撮像部と、少なくとも１つの撮像部により撮像された対象物の画像における第１の領域を第１の操作に対応付けて登録する領域登録部と、ユーザーの体部が所定の距離内で接近した対象物の領域を、少なくとも１つの撮像部により撮像された画像から検出する領域検出部と、領域検出部によって検出された領域が第１の領域に位置する場合に、第１の操作を選択する操作選択部とを具備する。
【００１７】
このヒューマンインターフェース装置によれば、タッチパネルや超音波センサーではなく少なくとも１つの撮像部を用いることにより、対象物に対するユーザーの体部の位置を容易かつ正確に把握することができる。従って、ユーザーの体部が対象物の領域に所定の距離内で接近するだけで、その領域に対応付けられている操作を選択することが可能である。
【００１８】
ここで、領域登録部が、少なくとも１つの撮像部により撮像された対象物の画像における第２の領域を第２の操作に対応付けて登録し、操作選択部が、領域検出部によって検出された領域が第１の領域に含まれる場合に第１の操作を選択し、領域検出部によって検出された領域が第２の領域に含まれる場合に第２の操作を選択するようにても良い。その場合には、ユーザーが、複数の操作の内から所望の１つの操作を選択することができる。
【００１９】
また、ヒューマンインターフェース装置が、ビデオプロジェクターをさらに具備し、プロジェクターが、掲示内容、第１の領域及び第２の領域の内の少なくとも１つを対象物に投影すると共に、第１の領域及び第２の領域の内のいずれかの領域が選択されたことにより、選択された領域に対応付けられている情報を対象物に投影するようにしても良い。
【００２０】
ポスター等の画像を対象物に投影するビデオプロジェクターを用いることにより、ポスター等の画像の大きさを自由に調節したり、掲示内容等を容易に変更したりすることが可能である。また、ポスター等の画像を見たユーザーが特定のアイテムについて詳細な情報又は最新の情報を希望する場合に、ユーザーの体部が対象物の領域に所定の距離内で接近するだけで、その領域に対応付けられている詳細な情報又は最新の情報をユーザーに提供することができる。
【００２１】
さらに、対象物、又は、ビデオプロジェクターによって対象物に投影された掲示内容が、対象物又は掲示内容の種類を示すＩＤ情報を含み、領域登録部が、少なくとも１つの撮像部により撮像された対象物の画像に含まれているＩＤ情報に基づいて、第１の領域を第１の操作に対応付けて登録するようにしても良い。これにより、複数種類の対象物又は掲示内容について複数の領域と複数の操作との対応付けを自動的に行うことができる。
【００２２】
あるいは、少なくとも１つの撮像部が、所定の距離だけ離れて配置された第１の撮像部及び第２の撮像部を含み、ユーザーの体部が所定の距離内で接近した対象物の領域の検出が、第１の撮像部により撮像された画像と第２の撮像部により撮像された画像との間の視差に基づいて行われるようにしても良い。複数の撮像部を用いることにより、対象物に対するユーザーの体部の位置に関する３次元情報を得ることができる。
【００２３】
また、対象物、又は、ビデオプロジェクターによって対象物に投影された掲示内容が、複数のマーカーを含み、領域検出部が、少なくとも１つの撮像部により撮像された対象物の画像における複数のマーカーの位置に基づいて、ユーザーの体部が所定の距離内で接近した対象物の領域を検出するようにしても良い。これにより、キャリブレーション用ポスターを用いなくてもキャリブレーションが可能となる。
【００２４】
さらに、ヒューマンインターフェース装置が、通信部をさらに具備し、選択操作部によって選択された操作が、通信部を介して電子機器に伝達されるようにしても良い。その場合には、ユーザーが電子機器を操作する際に、電子機器とは別の場所で電子機器の操作を行ったり、操作内容を大きく表示したり、詳細な情報を画像又は音声によって提供することができる。
【００２５】
また、本発明の１つの観点に係るヒューマンインターフェース方法は、少なくとも１つの撮像部を用いて対象物を撮像するステップ（ａ）と、少なくとも１つの撮像部により撮像された対象物の画像における第１の領域を第１の操作に対応付けて登録するステップ（ｂ）と、ユーザーの体部が所定の距離内で接近した対象物の領域を、少なくとも１つの撮像部により撮像された画像から検出するステップ（ｃ）と、ステップ（ｃ）において検出された領域が第１の領域に位置する場合に、第１の操作を選択するステップ（ｄ）とを具備する。
【００２６】
このヒューマンインターフェース方法によれば、対象物に対するユーザーの体部の位置を容易かつ正確に把握することができる。従って、ユーザーの体部が対象物の領域に所定の距離内で接近するだけで、その領域に対応付けられている操作を選択することが可能である。
【００２７】
また、このヒューマンインターフェース方法は、複数の操作を予め設定するステップをさらに具備しても良い。これにより、複数のスイッチ領域を登録する際に、複数のスイッチ領域と複数の操作との対応付けが簡単になる。
【図面の簡単な説明】
【００２８】
【図１】第１の実施形態に係るヒューマンインターフェース装置の使用形態を示す図。
【図２】第１の実施形態に係るヒューマンインターフェース装置の構成例を示す図。
【図３】ポスター掲示領域に掲示されるポスターの第１の具体例を示す図。
【図４】ポスター掲示領域よりも小さいポスターを示す図。
【図５】図１における領域検出部の詳細な構成例を示すブロック図。
【図６】キャリブレーション用ポスターの具体例を示す図。
【図７】カメラによって撮影されたキャリブレーション用ポスターの画像を示す図。
【図８】第１の実施形態に係るヒューマンインターフェース方法を示すフロー図。
【図９】ポスターに印刷されたマーカー及びＩＤ情報を示す図。
【図１０】各々のスイッチ領域について作成される操作定義ファイルの一例を示す図。
【図１１】ポスター掲示領域に掲示されるポスターの第２の具体例を示す図。
【図１２】ポスター掲示領域に掲示されるポスターの第３の具体例を示す図。
【図１３】第１の実施形態においてビデオプロジェクターを用いる例を示す図。
【図１４】第３の実施形態に係るヒューマンインターフェース装置の構成例を示す図。
【図１５】第３の実施形態の第１の具体例を示す図。
【図１６】第３の実施形態の第２の具体例を示す図。
【図１７】第３の実施形態の第３の具体例における操作画面を示す図。
【発明を実施するための形態】
【００２９】
以下、本発明の実施形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
図１は、本発明の第１の実施形態に係るヒューマンインターフェース装置の使用形態を示す図であり、図１（Ａ）は側面図、図１（Ｂ）は正面図である。第１の実施形態においては、本発明に係るヒューマンインターフェース装置が、対話型ポスターに適用される。
【００３０】
図１に示すように、建物の壁等におけるポスター掲示領域に、ポスター１が掲示される。第１の実施形態においては、ポスター１が、ヒューマンインターフェースのために用いられる対象物に該当する。ポスター１の上方には、少なくとも１つの撮像部を含む検出部１０が取り付けられている。図１においては、少なくとも１つの撮像部として、２台のカメラ１１及び１２が示されている。これらのカメラ１１及び１２は、所定の距離だけ離れて配置され、ポスター掲示領域を撮像範囲内に収めている。
【００３１】
例えば、図１（Ｂ）に示すように、検出部１０の左右両端が、ポスター掲示領域の左右両端から内側に所定の距離ΔＸの位置に設定され、検出部１０の下端が、ポスター掲示領域の上端から所定の距離ΔＹの位置に設定される。ここで、ポスター掲示領域を明示するために、位置決め部材、ポスター掲示枠、又は、ポスター掲示板等を壁に取り付けても良い。また、検出部１０内に、ポスター１を照明するための照明灯を設けても良い。検出部１０は、有線又は無線で制御部２０と通信を行う。
【００３２】
図２は、本発明の第１の実施形態に係るヒューマンインターフェース装置の構成例を示すブロック図である。このヒューマンインターフェース装置は、検出部１０と、制御部２０と、表示部３０と、音声出力部４０と、プリンター５０とを含んでいる。さらに、ヒューマンインターフェース装置は、ビデオプロジェクター６０を含んでも良い。表示部３０は、液晶ディスプレイ等のディスプレイを含む。音声出力部４０は、Ｄ／Ａコンバーターと、電力増幅器と、スピーカーとを含む。プリンター５０は、用紙に印刷を行うために用いられる。
【００３３】
検出部１０は、２台のカメラ１１及び１２と、カメラ１１及び１２から画像信号が供給される領域検出部１３とを含んでいる。検出部１０は、ＵＳＢ（ユニバーサルシリアルバス）ケーブルを介して、又は、有線ＬＡＮ（ローカルエリアネットワーク）若しくは無線ＬＡＮ等のネットワークを介して、制御部２０に接続される。
【００３４】
制御部２０は、例えば、ＣＰＵ（中央演算装置）を含むＰＣ（パーソナルコンピューター）と、ＣＰＵに各種の処理を行わせるためのソフトウェア（プログラム）とによって構成され、機能ブロックとして、領域登録部２１と、操作選択部２２とを含んでいる。ソフトウェアは、格納部２３の記録媒体に記録される。記録媒体としては、ハードディスク、フレキシブルディスク、ＭＯ、ＭＴ、ＣＤ−ＲＯＭ、又は、ＤＶＤ−ＲＯＭ等を用いることができる。
【００３５】
図３は、ポスター掲示領域に掲示されるポスターの第１の具体例を示す図である。図３に示すように、ポスター１には、ユーザーがそれぞれのアイテムを選択するために設定される第１の領域１ａ、第２の領域１ｂ、・・・（本願においては、「スイッチ領域」ともいう）を示す表示が印刷されている。スイッチ領域１ａ、１ｂ、・・・の形状は、矩形、円形、又は、その他の形状でも良い。また、図４に示すように、ポスター１は、ポスター掲示領域より小さくても良いが、その場合には、原則として、ポスター１の１つの頂点を、ポスター掲示領域における所定の位置（例えば、左上の頂点）に位置決めする必要がある。
【００３６】
図２に示す制御部２０の領域登録部２１は、ポスター作成ソフト等を用いて作成されたポスター１の画像ファイル等に基づいて、ポスター１の画像において設定された複数のスイッチ領域１ａ、１ｂ、・・・を、複数の操作に対応付けて登録する。例えば、領域登録部２１は、スイッチ領域１ａ、１ｂ、・・・の範囲を表すＸ座標及びＹ座標の座標データを、複数の操作内容（例えば、表示部３０による特定画像の表示）に対応付けて格納部２３に格納する。
【００３７】
ユーザーがポスター１に接近した際に、検出部１０の領域検出部１３は、カメラ１１及び１２によって得られる画像において、ユーザーの体部（例えば、指先）が所定の距離内で接近したポスター１の領域を検出し、その領域の位置を表す座標データを制御部２０に出力する。
【００３８】
制御部２０の操作選択部２２は、領域検出部１３から出力された座標データと格納部２３に格納されている座標データとに基づいて、領域検出部１３によって検出された領域がいずれかのスイッチ領域内に位置する場合に、そのスイッチ領域に対応付けられている操作を選択する。これにより、操作選択部２２は、そのスイッチ領域に対応付けられている情報をユーザーに提供する。
【００３９】
例えば、操作選択部２２は、提供すべき情報を表す文字や画像をディスプレイに表示するように表示部３０に画像信号を出力しても良いし、提供すべき情報を表す音声をスピーカーから発するように音声出力部４０に音声信号を出力しても良い。あるいは、操作選択部２２は、提供すべき情報を表す文字や画像を用紙にプリントアウトするようにプリンター５０に印刷命令を出力しても良いし、提供すべき情報を表す文字や画像を壁等に投影するようにビデオプロジェクター６０に画像信号を出力しても良い。
【００４０】
これにより、ポスター１を見たユーザーが特定のアイテムについて詳細な情報又は最新の情報を希望する場合に、ユーザーの指先がポスター１における所望のスイッチ領域に触れたりするだけで、そのスイッチ領域に対応付けられている詳細な情報又は最新の情報を提供することができる。
【００４１】
図５は、図１における領域検出部の詳細な構成例を示すブロック図である。図５に示すように、領域検出部１３は、２台のカメラ１１及び１２に対応して、カメラＩ／Ｆ（インターフェース）３１ａ及び３１ｂと、フォーマット変換部３２ａ及び３２ｂと、差分計算部３３ａ及び３３ｂと、２値化部３４ａ及び３４ｂと、歪補正部３５ａ及び３５ｂとを含んでいる。さらに、領域検出部１３は、キャリブレーション部３６と、メモリー３７と、領域自動検出部３８と、インターフェース部３９とを含んでいる。
【００４２】
２台のカメラ１１及び１２から出力される画像信号は、カメラＩ／Ｆ３１ａ及び３１ｂを介して、フォーマット変換部３２ａ及び３２ｂにそれぞれ入力される。フォーマット変換部３２ａ及び３２ｂは、カメラ１１及び１２から出力される特定のフォーマットの画像信号を、領域検出部１３の内部における信号処理に適したフォーマットの画像データに変換する。
【００４３】
例えば、カメラ１１及び１２から出力される画像信号のフォーマットとしては、ＹＵＶフォーマット（Ｙは輝度信号、Ｕは色差信号Ｃｂ、Ｖは色差信号Ｃｒ）、又は、ＮＴＳＣフォーマット（コンポジット映像信号の一方式）を用いても良い。また、領域検出部１３の内部における画像データのフォーマットとしては、ＲＧＢフォーマット（Ｒは赤色信号、Ｇは緑色信号、Ｂは青色信号）を用いても良い。
【００４４】
フォーマット変換部３２ａ及び３２ｂから出力される画像データは、所定の時間間隔でメモリー３７に保存され、リファレンス用の画像データとして使用される。差分計算部３３ａは、最新の画像データ（フレームＡ（ｊ））とリファレンス用の画像データ（フレームＡ（ｉ））との差分を計算して、差分データを求める。同様に、差分計算部３３ｂは、最新の画像データ（フレームＢ（ｊ））とリファレンス用の画像データ（フレームＢ（ｉ））との差分を計算して、差分データを求める。差分計算部３３ａ及び３３ｂは、差分データを最新の画像データと共に２値化部３４ａ及び３４ｂにそれぞれ出力する。
【００４５】
２値化部３４ａ及び３４ｂは、例えば、差分データの値が閾値以上であれば差分データを「１」とし、差分データの値が閾値未満であれば差分データを「０」とすることにより、複数ビットの差分データを１ビットの差分データに変換する。
【００４６】
歪補正部３５ａ及び３５ｂは、メモリー３７に保存されている補正係数ＣＡ及びＣＢを用いて、画像の水平方向の長さ及び垂直方向の長さを座標に応じて拡大又は縮小することにより、ポスターの斜め上から撮影された画像を、ポスターの正面から見た画像に変換する。
【００４７】
キャリブレーション部３６は、キャリブレーション時において撮影されたキャリブレーション用ポスターの画像に基づいて補正係数ＣＡ及びＣＢを計算し、それらをメモリー３７に保存する。
【００４８】
図６は、キャリブレーション用ポスターの具体例を示す図である。この例においては、キャリブレーション用ポスター２に格子が印刷されている。キャリブレーション時において、キャリブレーション用ポスター２がポスター掲示領域に掲示される。カメラ１１がキャリブレーション用ポスター２を撮像すると、図７に示すように、キャリブレーション用ポスター２に印刷されている格子が歪んだ画像が得られる。カメラ１２についても同様である。
【００４９】
キャリブレーション部３６は、キャリブレーション用ポスター２の画像において格子の軸方向（図６におけるＸ軸方向及びＹ軸方向）が水平方向及び垂直方向に一致するように画像データ及び差分データを補正するための補正係数ＣＡ及びＣＢを計算する。
【００５０】
キャリブレーションが完了すると、図３に示すようなポスター１が、ポスター掲示領域に掲示される。ユーザーがポスター１に接近した際に、領域自動検出部３８は、歪補正部３５ａ及び３５ｂから出力される差分データに基づいてユーザーの接近動作を検出し、歪補正部３５ａ及び３５ｂから出力される画像データによって表されるポスター１の画像において、ユーザーの体部が所定の距離内で接近したポスター１の領域を検出する。さらに、領域自動検出部３８は、その領域のＸ座標及びＹ座標を計算し、Ｘ座標及びＹ座標を表す座標データを生成する。インターフェース部３９は、領域自動検出部３８によって生成された座標データを最新の画像データと共に制御部２０に出力する。
【００５１】
次に、本発明の第１の実施形態に係るヒューマンインターフェース装置を用いたヒューマンインターフェース方法について、図１〜図１０を参照しながら説明する。図８は、本発明の第１の実施形態に係るヒューマンインターフェース方法を示すフローチャートである。
【００５２】
図８のステップＳ１において、オペレーターがポスターを作成する。ポスターのデザインは、ポスター作成ソフト、プレゼンテーション用ソフト、又は、ＤＴＰ（デスクトップパブリッシング）用ソフト等を用いて作成することができる。ポスター１のデザインが完成したら、オペレーターは、プリンターを用いてポスターを印刷する。このようなソフト及びプリンターを用いることにより、ポスターのデザイン作成から掲示までを短時間で行うことができるので効率的である。図３に示すように、ポスター１には、通常の表示内容の他に、それぞれのアイテムに関連する複数のスイッチ領域１ａ、１ｂ、・・・を示す表示が印刷される。
【００５３】
検出部１０における動作の原理上、ユーザーの指の色と、背景となるポスターの色とが同じである場合には、ユーザーの指を検出することができない。そこで、ポスターに、肌色と異なる色でスイッチ領域を印刷することが望ましい。また、ユーザーが手袋を着用した指でポスターに触る場合には、手袋の色と、背景となるポスターのスイッチ領域の色とが同じである場合には、手袋を検出することができない。そこで、スイッチ領域を、チェッカーボードパターンのように明暗を交互に配したデザインとすることにより、指や手袋を確実に検出することができる。
【００５４】
また、図９に示すように、ポスター１の複数のコーナーをそれぞれ表す複数のマーカー１ｃ（少なくとも対角線上の２つのマーカー、望ましくは３つのマーカー）を、必要に応じてポスター１に印刷しても良い。その場合には、複数のマーカー１ｃの位置を基準としてポスター１内の任意の領域の座標を求めることができるので、キャリブレーション用ポスターが不要となる。また、ポスター掲示領域におけるポスター１の掲示位置を正確に合わせる必要もなくなる。なお、後で説明するようにビデオプロジェクターを用いて掲示内容を対象物に投影する場合には、掲示内容に複数のマーカーを含ませれば良い。
【００５５】
図５に示す領域自動検出部３８は、ポスター１の画像に含まれている複数のマーカー１ｃの位置を検出し、それらのマーカー１ｃの位置に基づいて、ユーザーの体部が所定の距離内で接近したポスター１の領域を検出する。そのために、領域自動検出部３８は、複数のマーカー１ｃの座標に基づいて、実測される座標をポスター１内の座標に変換する変換式を求め、この変換式に従って変換された座標を表す座標データを制御部２０に出力する。制御部２０の操作選択部２２は、その座標データをスイッチ領域の座標データと比較する。なお、本実施形態におけるフローチャートは、キャリブレーション用ポスターを用いる場合のものである。
【００５６】
さらに、図９に示すように、ポスターの種類を表すバーコード又は固有のコード又はマーク等のＩＤ情報１ｄを、必要に応じてポスター１に印刷しても良い。その場合には、領域登録部２１が、ポスターの画像に含まれているＩＤ情報１ｄに基づいて、ポスターの画像における複数のスイッチ領域を、複数の操作に対応付けて登録する。これにより、複数種類のポスターについて複数の領域と複数の操作との対応付けを自動的に行うことができる。なお、後で説明するようにビデオプロジェクターを用いて掲示内容を対象物に投影する場合には、掲示内容にＩＤ情報を含ませれば良い。
【００５７】
ステップＳ２において、オペレーターが、建物の壁等にポスター掲示領域を設定し、ポスター掲示領域から所定の距離だけ離れた場所に検出部１０を取り付ける。ユーザーが見易い場所、又は、ユーザーが操作し易い場所に、ポスターを掲示することが望ましい。また、ポスター掲示領域と検出部１０との間の距離を大きくすると、より広い範囲を検出できるので、さらに大きなポスターを使用することが可能となる。従って、検出部１０の仕様を変更せずに、設置位置の調整のみで、異なるサイズのポスターに対応することができる。
【００５８】
ステップＳ３において、オペレーターが、ポスター掲示領域にキャリブレーション用ポスターを掲示して、キャリブレーションを行う。例えば、オペレーターは、図６に示すようなキャリブレーション用ポスター２をポスター掲示領域に掲示する。オペレーターが検出部１０のスイッチを操作することにより、又は、制御部２０からのコマンドに従って、検出部１０がキャリブレーションモードに入る。
【００５９】
キャリブレーションモードにおいては、検出部１０に設けられたカメラ１１及び１２が、キャリブレーション用ポスター２を撮像する。図１に示すように、カメラ１１は斜め下向きに取り付けられているので、カメラ１１によって得られるキャリブレーション用ポスター２の画像は、図７に示すように歪んでいる。
【００６０】
キャリブレーション用ポスター２における頂点及び格子の交点を表す座標は、図５に示すメモリー３７に予め格納されている。キャリブレーション部３６は、カメラ１１及び１２によって実測された頂点及び格子の交点の座標と、メモリー３７に予め格納されている頂点及び格子の交点を表す座標との関係に基づいて、カメラ１１及び１２についての歪補正係数ＣＡ及びＣＢを求める。求められた歪補正係数ＣＡ及びＣＢは、メモリー３７に保存される。
【００６１】
カメラ１１及び１２によって得られた画像においては格子を構成する長方形（正方形でも良い）が台形に歪んでいるとして、線形の歪補正を行えば良い。そのために、歪んでいる形状を台形に近似しても誤差が許容範囲内に収まるように、格子パターンのサイズが決定される。また、歪補正係数ＣＡ及びＣＢは、格子を構成する長方形毎に求めても良い。長方形内部の点については、歪補正部３５ａ及び３５ｂが、長方形の頂点と台形の頂点とから求めた変換多項式に従って歪補正を行っても良いし、変換テーブルを用いて歪補正を行っても良い。
【００６２】
ステップＳ４において、オペレーターが、ポスター掲示領域にポスターを掲示する。例えば、オペレーターは、図３に示すようなポスター１をポスター掲示領域に掲示する。ポスターのサイズが小さい場合には、図４に示すように、ポスター掲示領域の左上のコーナー（原点）に合わせてポスターを掲示するようにしても良い。
【００６３】
図５に示す領域自動検出部３８は、サイズが小さいポスターが原点に合わせて掲示されることを前提条件として動作する。これにより、ポスターを掲示した後に、ポスターの掲示位置を手動で入力する必要がない。しかしながら、この前提条件を変更することにより、サイズが小さいポスターを右上や左下等のコーナーに合わせて掲示することも可能である。
【００６４】
ステップＳ５において、カメラ１１及び１２が、ポスター掲示領域に掲示されたポスターを撮像する。歪補正部３５ａ及び３５ｂは、メモリー３７に保存されている歪補正係数ＣＡ及びＣＢに従って、カメラ１１及び１２によって得られた画像の歪補正をそれぞれ行う。
【００６５】
ステップＳ６において、オペレーターが、ユーザーに情報を提供するために行われる複数の操作を、複数のスイッチ領域について予め設定する。ユーザーに情報を提供するために、例えば、音声再生ソフトを実行して音声出力部４０によりサウンド再生を行う操作や、画像表示ソフトを実行して表示部３０により画像表示を行う操作や、印刷ソフトを実行してプリンター５０により印刷を行う操作が設定される。これにより、複数のスイッチ領域を登録する際に、複数のスイッチ領域と複数の操作との対応付けが簡単になる。
【００６６】
ステップＳ７において、領域登録部２１が、ポスターの画像における複数のスイッチ領域を、複数の操作に対応付けて格納部２３に登録する。ここでは、ポスターにおける複数のスイッチ領域を登録するために用いられるソフトを、「スイッチ定義ソフト」と呼ぶことにする。
【００６７】
まず、ポスターの画像における複数のスイッチ領域を設定するために、オペレーターが、ポスター作成ソフト等を用いて作成したポスターの画像ファイル（ＪＰＥＧ（Joint Photographic Experts Group）又はＢＭＰ（ビットマップ）等）を格納部２３に格納する。また、オペレーターは、スイッチ定義ソフトを用いて、表示部２０の画面上に表示されたポスターの画像においてスイッチ領域を設けたい場所に矩形の枠を配置する。
【００６８】
領域登録部２１は、それぞれの枠の範囲を表す座標データを、スイッチ領域の座標データとして格納部２３に登録する。図３に示すように、ポスター１においてスイッチ領域を設けたい場所に、スイッチ領域を示す矩形又は円形等の表示を印刷しておくことにより、オペレーターにとってもユーザーにとってもスイッチ領域の場所を見付けることが容易になる。
【００６９】
次に、領域登録部２１は、ポスター１における各々のスイッチ領域に、予め設定された複数の操作を対応付ける操作定義ファイルを作成する。図１０は、各々のスイッチ領域について作成される操作定義ファイルの一例を示す図である。操作定義ファイルには、有効又は無効の動作設定と、サウンド再生や画像表示等の操作内容と、各種の操作を行うために用いられる呼び出しファイル名とが設定されている。
【００７０】
例えば、サウンド再生を行うためには、ＷＡＶＥ（RIFF waveform Audio Format）のファイル（***.wav）や、ＭＰ３（MPEG Audio Layer-3）のファイル（***.mp3）等が用いられる。画像表示を行うためには、ＪＰＥＧのファイル（***.jpg）や、Ｐｏｗｅｒ  Ｐｏｉｎｔのファイル（***.ppt）等が用いられる。印刷を行うためには、Ｗｏｒｄのファイル（***.doc）や、ＰＤＦファイル（***.pdf）等が用いられる。各種ソフトウェアを実行するためには、実行ファイル（***.exe）が用いられる。領域登録部２１は、作成された操作定義ファイルをスイッチ領域に対応付けて格納部２３に登録する。
【００７１】
ステップＳ８において、オペレーターが、ポスターを用いた対話型処理を開始させるために、対話ソフトを起動する。掲示されたポスターがポスター１の場合に、対話ソフトが起動されると、操作選択部２２は、ポスター１の各々のスイッチ領域について、領域登録部２１によって作成された操作定義ファイルを格納部２３から読み出す。また、ポスターにＩＤ情報が印刷されている場合には、操作選択部２２は、ポスターの画像に含まれているＩＤ情報を解読してポスターの種類を特定し、ポスターの種類に対応する操作定義ファイルを格納部２３から読み出すようにしても良い。
【００７２】
あるいは、ポスターにＩＤ情報を印刷しなくても、以下の手法により、複数種類のポスターに対応する操作を設定することができる。オペレーターは、操作定義ファイルに、ポスターの画像を予め保存しておく。カメラ１１及び１２によって得られ歪補正されたポスターの画像が操作選択部２２に供給されると、操作選択部２２は、その画像からポスターの部分だけを切り出す。さらに、操作選択部２２は、切り出されたポスターの画像を操作定義ファイルに保存されたポスターの画像と比較することにより、それらのポスターの画像が一致した操作定義ファイルを使用する。
【００７３】
また、操作定義ファイルに保存されるポスターの画像を２値化及び縮小化し、カメラ１１及び１２によって得られるポスターの画像も２値化及び縮小化してこれと比較することにより、保存される画像データの量を低減すると共に、画像の比較における認識精度を向上させることができる。さらに、画像の比較に要する時間を短縮できるので、操作定義ファイルの読み出しを素早く行うことができる。
【００７４】
カメラ１１及び１２が所定の時間間隔でポスターを撮像して得られた画像は、リファレンス画像として用いられる。図５に示す差分計算部３３ａ及び３３ｂは、最新の画像とリファレンス画像との差を求める。ユーザーが指をポスター上に移動させたときに撮影された画像とリファレンス画像との差を求めると、ユーザーの指の画像を得ることができる。ただし、ポスターが掲示されている場所の明るさが変われば、ユーザーの指がポスター上に無くても最新の画像とリファレンス画像との差が生じてしまう。これを防止するために、所定の時間間隔でリファレンス画像の更新が行われる。
【００７５】
２値化部３４ａ及び３４ｂが差分データの２値化を行うことにより、ユーザーの指や腕の画像を１ビットの画像データとして得ることができる。さらに、歪補正部３５ａ及び３５ｂが、キャリブレーション時に得られた歪補正係数ＣＡ及びＣＢを用いて歪補正を行うことにより、左右のカメラ１１及び１２によって撮影された２つの画像が同じＸＹ座標上に同じ形状で表示される。
【００７６】
ステップＳ９において、領域自動検出部３８が、カメラ１１及び１２によって得られる画像において、ユーザーの体部が所定の距離内で接近したポスターの領域を検出する。左のカメラ１１と右のカメラ１２からの見え方は異なるので、左右のカメラ１１及び１２によって撮影された２つの画像は互いに異なる。これを視差という。
【００７７】
ユーザーの指等の物体がポスターの表面に接している場合には、左右のカメラ１１及び１２によって撮影された２つの画像において物体が同じ座標に位置する。一方、物体がポスターの表面から離れている場合には、左右のカメラ１１及び１２によって撮影された２つの画像において物体が異なる座標に位置する。
【００７８】
従って、左右のカメラ１１及び１２によって撮影され、２値化及び歪補正された２つの画像のＡＮＤ（論理積）を演算すると、ポスターの表面に接している指先を検出することができる。ただし、手や腕は一定の幅を有しているので、それらがポスターの表面から離れていても、視差にかかわらずＡＮＤ演算の結果が「１」となる領域が存在する。ただし、左右のカメラ１１及び１２は、斜め上から指を見下ろしているので、ポスターに接する指先は、ＡＮＤ演算の結果が「１」となる領域において最も上の（Ｙ座標が最も小さい）部分に位置するはずである。
【００７９】
そこで、領域自動検出部３８は、ＡＮＤ演算の結果が「１」となる領域においてＹ座標が最も小さい部分を指先と判断し、その部分の幅が所定の値よりも大きいときに、ユーザーの指先がポスターの表面に触れたか、又は、所定の距離内で接近したものと判断する。あるいは、領域自動検出部３８は、左右のカメラ１１及び１２によって撮影され、２値化及び歪補正された２つの画像における指先の位置のズレ量に基づいて、ユーザーの指先とポスターの表面との間の距離を求めても良い。領域自動検出部３８は、ユーザーの指先が所定の距離内で接近した領域の位置を表す座標データを、図２に示す制御部２０に出力する。
【００８０】
ステップＳ１０において、操作選択部２２が、ステップＳ９において検出された領域がいずれかのスイッチ領域内に位置する場合に、そのスイッチ領域に対応付けられている操作を選択する。即ち、操作選択部２２は、領域自動検出部３８から出力された座標データを、格納部２３に登録されているスイッチ領域の座標データと比較することによって、ユーザーの指先が所定の距離内で接近した領域がいずれかのスイッチ領域内に位置するか否かを判定する。
【００８１】
ユーザーの指先が所定の距離内で接近した領域がいずれかのスイッチ領域内に位置する場合に、操作選択部２２は、そのスイッチ領域に対応付けられている操作定義ファイルにおいて定義されている操作を選択して実行する。これにより、ユーザーが指定したアイテムに関する詳細な情報又は最新の情報が、画像や音声等によってユーザーに提供される。
【００８２】
図１１は、ポスター掲示領域に掲示されるポスターの第２の具体例を示す図である。この例においては、ヒューマンインターフェースのための対象物として絵画ポスター３が用いられる。図２に示す領域登録部２１は、絵画ポスター３の画像を垂直方向に５分割すると共に水平方向に５分割することによって、２５個のスイッチ領域を自動的に設定し、それらのスイッチ領域を複数の操作に対応付けて格納部２３に登録する。
【００８３】
スイッチ領域の登録が完了した後に、領域検出部１３は、カメラ１１及び１２によって得られる画像において、ユーザーの体部が所定の距離内で接近した絵画ポスター３の領域を検出する。操作選択部２２は、領域検出部１３によって検出された領域がいずれかのスイッチ領域内に位置する場合に、そのスイッチ領域に対応付けられている操作を選択することにより、そのスイッチ領域に対応付けられている情報を提供する。
【００８４】
図１２は、ポスター掲示領域に掲示されるポスターの第３の具体例を示す図である。この例においては、図２に示す制御部２０との間で無線又は有線で通信を行う専用の設定ツールキット７０を用いて、絵画ポスター４の画像において複数のスイッチ領域を設定することができる。あるいは、既存のＰＣ又はタブレット端末向けの専用アプリケーションを制御部２０のＰＣにインストールすることによっても、同様の設定を行うことができる。図１２においては、「月」、「雲」、「家」、「木」を表す４つのスイッチ領域４ａ〜４ｄが設定されている。
【００８５】
図２に示す領域登録部２１は、絵画ポスター４において設定された４つのスイッチ領域４ａ〜４ｄを、４種類のアナウンスの再生に対応付けて登録する。例えば、「月」を表すスイッチ領域４ａは、絵画が写生された場所のアナウンスの再生に対応付けられ、「雲」を表すスイッチ領域４ｂは、絵画が写生された季節や天候や気温のアナウンスの再生に対応付けられる。また、「家」を表すスイッチ領域４ｃは、家の築年数や材質のアナウンスの再生に対応付けられ、「木」を表すスイッチ領域４ｄは、木の種類のアナウンスの再生に対応付けられる。
【００８６】
スイッチ領域の登録が完了した後に、領域検出部１３は、カメラ１１及び１２によって得られる画像において、ユーザーの体部が所定の距離内で接近した絵画ポスター４の領域を検出する。操作選択部２２は、領域検出部１３によって検出された領域がいずれかのスイッチ領域内に位置する場合に、そのスイッチ領域に対応付けられている操作を選択する。これにより、操作選択部２２は、そのスイッチ領域に対応付けられているアナウンスを再生するように音声出力部４０に音声信号を出力する。
【００８７】
別の具体例としては、ヒューマンインターフェースのための対象物として、複数のＣＤを宣伝するポスターを用いても良い。その場合に、図２に示す領域登録部２１は、ポスターにおいて複数のＣＤを紹介する欄にそれぞれ設定された複数のスイッチ領域を、それらのＣＤに収録されている楽曲（イントロやサビ等のように楽曲の一部でも良い）を再生する操作に対応付けて登録する。
【００８８】
あるいは、ヒューマンインターフェースのための対象物として、アイドルグループのポスターを用いても良い。その場合に、領域登録部２１は、ポスターにおいて複数のアイドルの顔が表示された欄にそれぞれ設定された複数のスイッチ領域を、それらのアイドルが歌っている楽曲（イントロやサビ等のように楽曲の一部でも良い）を再生する操作に対応付けて登録する。
【００８９】
スイッチ領域の登録が完了した後に、図２に示す領域検出部１３は、カメラ１１及び１２によって得られる画像において、ユーザーの体部が所定の距離内で接近したポスターの領域を検出する。操作選択部２２は、領域検出部１３によって検出された領域がいずれかのスイッチ領域内に位置する場合に、そのスイッチ領域に対応付けられている操作を選択する。これにより、操作選択部２２は、そのスイッチ領域に対応付けられている楽曲を再生するように音声出力部４０に音声信号を出力する。ここで、再生回数をカウントして保存すれば、ヒューマンインターフェース装置をマーケッティングツールとしても利用できる。
【００９０】
以上の他にも、ヒューマンインターフェースのための対象物として、コンサート、映画、又は、イベント等のポスターを用いても良い。その場合には、コンサート等の日時、場所、残席等の詳細な情報又は最新の情報を提供することが可能となる。また、本発明を選挙ポスターに適用すれば、詳細な公約等の確認が可能となり、有権者へのアピールや立候補者への理解が高められる。一方、本発明を指名手配ポスターに適用すれば、より多くの情報を一般市民に提供することができる。
【００９１】
図１３は、本発明の第１の実施形態に係るヒューマンインターフェース装置においてビデオプロジェクターを用いる例を示す図である。ポスター掲示領域には、イベントポスター（ＰＯＰ又は看板でも良い）５が掲示されている。領域登録部２１は、ポスター５において設定された３つのスイッチ領域５ａ、５ｂ、５ｃを、ビデオプロジェクター６０による複数の表示内容に対応付けて登録する。例えば、ポスター５における「野菜大放出！」の欄に設定されたスイッチ領域５ａと、ビデオプロジェクター６０が投影する地図における野菜売り場の点滅表示とがリンクされる。
【００９２】
スイッチ領域の登録が完了した後に、ユーザーの体部（指等）が、ポスター１における「野菜大放出！」の欄に触ったりすると、図２に示す領域検出部１３が、ユーザーの体部が所定の距離内で接近した領域を検出する。また、操作選択部２２が、領域検出部１３によって検出された領域がスイッチ領域５ａ内に位置すると判定して、スイッチ領域５ａに対応付けられた操作を選択する。これにより、操作選択部２２がビデオプロジェクター６０に画像信号を出力して、ビデオプロジェクター６０が投影する地図において、野菜売り場の表示が点滅する。
【００９３】
さらに、操作選択部２２が音声出力部４０に音声信号を出力することにより、音声出力部４０が、「野菜売り場はこちらです。」等のアナウンスを流したり、「残り僅かです。」等のアピールを行うようにしても良い。また、イベントポスター５を用いずに、イベントポスター５の表題や模様等の掲示内容又はスイッチ領域（欄）をビデオプロジェクター６０が投影するようにすれば、遠隔操作によって掲示内容又は欄の内容の変更が容易になるので、野菜が売り切れた場合等に即座に対応することが可能である。
【００９４】
第１の実施形態によれば、複数の撮像部を用いることにより、ポスターに対するユーザーの体部の位置に関する３次元情報を得ることができる。従って、ポスターを見たユーザーが特定のアイテムについて詳細な情報又は最新の情報を希望する場合に、ユーザーの体部がポスターのスイッチ領域に所定の距離内で接近するだけで、そのスイッチ領域に対応付けられている詳細な情報又は最新の情報をユーザーに提供することが可能である。
【００９５】
次に、本発明の第２の実施形態について説明する。
第２の実施形態においては、複数のスイッチ領域を示す表示が印刷されたポスターをポスター掲示領域に掲示する替りに、図２に示すビデオプロジェクター６０が、複数のスイッチ領域を示す表示が印刷されたポスターの画像をポスター掲示領域に投影する。第２の実施形態においては、ポスターの画像が投影される建物の壁又はポスター掲示板等が、ヒューマンインターフェースのために用いられる対象物に該当する。その他の点に関しては、第１の実施形態と同様である。
【００９６】
領域登録部２１が、ポスター作成ソフト等を用いて作成されたポスターの画像ファイルを格納部２３から読み出し、画像ファイルに基づいて、画像信号をビデオプロジェクター６０に出力する。これにより、ビデオプロジェクター６０が、ポスターの画像を対象物に投影する。
【００９７】
左右のカメラ１１及び１２が、ポスターの画像が投影された対象物を撮像する。領域検出部１３は、左右のカメラ１１及び１２によって得られる画像において、ユーザーの体部が所定の距離内で接近した対象物の領域を検出する。操作選択部２２は、領域検出部１３によって検出された領域がいずれかのスイッチ領域内に位置する場合に、そのスイッチ領域に対応付けられている操作を選択する。これにより、操作選択部２２は、表示部３０等に画像信号等を出力して、そのスイッチ領域に対応付けられている情報を提供する。
【００９８】
第２の実施形態によれば、ポスターの画像を対象物に投影するビデオプロジェクターを用いることにより、ポスターの画像の大きさを自由に調節することが可能である。また、複数の撮像部を用いることにより、ポスターの画像が投影された対象物に対するユーザーの体部の位置に関する３次元情報を得ることができる。従って、ポスターの画像を見たユーザーが特定のアイテムについて詳細な情報又は最新の情報を希望する場合に、ユーザーが対象物のスイッチ領域に所定の距離内で接近するだけで、そのスイッチ領域に対応付けられている詳細な情報又は最新の情報をユーザーに提供することが可能である。
【００９９】
次に、本発明の第１及び第２の実施形態の変形例について説明する。
市販のプレゼンテーション用ソフトにおいては、プレゼンテーション資料上に表示されたスイッチをマウスでクリックすることによって、サウンド再生やマクロの実行等を行うことができる。そこで、図２に示す制御部２０において、そのようなプレゼンテーション用ソフトがインストールされたＰＣを用いることにより、検出部１０をＰＣのためのポインティングデバイスとして使用することができる。
【０１００】
領域登録部２１は、複数のスイッチに対応して設定された複数のスイッチ領域を、プレゼンテーション用ソフトが実行可能な複数の操作に対応付けて格納部２３に登録する。複数のスイッチが表示されたポスターが、ポスター掲示領域に掲示される。又は、複数のスイッチの画像が、表示部３０に表示され、若しくは、ビデオプロジェクター６０によって部屋の壁等に投影される。
【０１０１】
カメラ１１及び１２が、複数のスイッチが表示されたポスター、又は、表示部３０に表示され、若しくは、壁等に投影された複数のスイッチの画像を撮像する。ユーザーの体部がいずれかのスイッチ又はスイッチの画像に接近すると、領域検出部１３が、カメラ１１及び１２によって得られる画像において、ユーザーの体部が所定の距離内で接近した領域を検出する。操作選択部２２は、領域検出部１３によって検出された領域がいずれかのスイッチ領域内に位置する場合に、そのスイッチ領域に対応付けられた操作を選択して、プレゼンテーション用ソフトにその操作を行わせる。
【０１０２】
次に、本発明の第３の実施形態について説明する。
第３の実施形態においては、本発明に係るヒューマンインターフェース装置が、電子機器を操作するために適用される。第３の実施形態においては、彫刻や絵画等の様々なものが、ヒューマンインターフェースのために用いられる。その他の点に関しては、第１の実施形態と同様である。
【０１０３】
図１４は、本発明の第３の実施形態に係るヒューマンインターフェース装置の構成例を示すブロック図である。このヒューマンインターフェース装置は、検出部８０と、制御部２０と、通信部９０とを含んでいる。通信部９０は、電子機器１００との間で無線又は有線で通信を行うために用いられる。さらに、ヒューマンインターフェース装置は、表示部３０と、音声出力部４０と、ビデオプロジェクター６０とを含んでも良い。
【０１０４】
検出部８０は、少なくとも１台のカメラ８１と、カメラ８１から画像信号が供給される領域検出部８２とを含んでいる。第３の実施形態においても、必要に応じて第１の実施形態と同様に２台のカメラを用いても良い。その場合には、領域検出部８２の構成が、図５に示す領域検出部１３の構成と同様になる。１台のカメラを用いる場合には、図５に示す領域検出部１３の構成において、構成要素３１ｂ〜３５ｂを省略することができる。
【０１０５】
図１５は、本発明の第３の実施形態に係るヒューマンインターフェース装置の第１の具体例を示す図である。図１５においては、彫刻６が、ヒューマンインターフェースのために用いられる対象物に該当する。また、電子機器１００として照明器具が用いられる。
【０１０６】
カメラ８１の位置が設定され、カメラ８１が彫刻６を撮像することにより、彫刻６の画像が取得される。ユーザーの指示に従って、通信部９０が電子機器１００と通信を行うことにより、電子機器１００が、予め設定された複数の操作の内容を表す操作リストを通信部９０に送信する。領域登録部２１は、この操作リストに基づいて、ユーザーがそれぞれの操作を選択するために設定される複数の領域（本願においては、「スイッチ領域」ともいう）の数を決定する。
【０１０７】
図１５に示す例においては、電子機器１００の操作数に応じて、領域登録部２１が、彫刻６の画像を垂直方向に３分割することにより、３つのスイッチ領域６ａ〜６ｃを自動的に設定する。領域登録部２１は、彫刻６の画像に含まれているスイッチ領域６ａ〜６ｃを、予め設定された複数の操作に対応付けて登録することによって初期設定を行う。電子機器１００の操作としては、例えば、「電源オン／オフ」、「暗くする」、「明るくする」の３つが該当する。
【０１０８】
初期設定が完了した後に、ユーザーが、彫刻６のスイッチ領域６ａ〜６ｃのいずれかに指先等で触れるか、又は、触れる素振りをすると、領域検出部８２は、カメラ８１によって得られる画像において、ユーザーの体部（指先等）が所定の距離内で接近した彫刻６の領域を検出する。
【０１０９】
操作選択部２２は、領域検出部８２によって検出された領域がいずれかのスイッチ領域内に位置する場合に、そのスイッチ領域に対応付けられている操作を選択する。通信部９０が、選択された操作を実行させる命令を電子機器１００に送信することにより、電子機器１００が、選択された操作を実行する。
【０１１０】
例えば、ユーザーの指先が彫刻６のスイッチ領域６ａに触れると、照明器具が点灯する。また、ユーザーの指先が彫刻６のスイッチ領域６ｂに触れると、照明器具の明るさが減少する。あるいは、ユーザーの指先が彫刻６のスイッチ領域６ｃに触れると、照明器具の明るさが増加する。
【０１１１】
このように、少なくとも１つの撮像部を用いることにより、対象物に対するユーザーの体部の位置を容易かつ正確に把握することができる。従って、ユーザーの体部が対象物のスイッチ領域に所定の距離内で接近するだけで、その領域に対応付けられている操作を選択することが可能である。
【０１１２】
図１６は、本発明の第３の実施形態に係るヒューマンインターフェース装置の第２の具体例を示す図である。図１６においては、ビデオプロジェクター６０によって操作画面が投影される部屋の壁等が、ヒューマンインターフェースのために用いられる対象物に該当する。また、電子機器１００として電気洗濯機が用いられる。なお、図１６において、領域検出部、制御部、及び、通信部は、省略されている。
【０１１３】
ユーザーの指示に従って、図１４に示す通信部９０が電子機器１００と通信を行うことにより、電子機器１００が、予め設定された複数の操作の内容を表す操作画面のデータを通信部９０に送信する。領域登録部２１は、操作画面のデータに基づいて、画像信号をビデオプロジェクター６０に出力する。これにより、ビデオプロジェクター６０が、操作画面７の画像を台所又はリビング等の壁に投影する。また、領域登録部２１は、この操作画面７において、４つのスイッチ領域７ａ〜７ｄを自動的に設定する。
【０１１４】
ユーザーは、ビデオプロジェクター６０によって投影される操作画面７の表示位置及び大きさを設定する。その際に、ユーザーの好みの大きさで操作画面を表示させることができるので、高齢者等にとっても、操作画面を認知し易く、また、操作内容を選択し易くすることができる。
【０１１５】
さらに、ユーザーは、ビデオプロジェクター６０によって投影される操作画面７を撮像できるように、カメラ８１の位置を設定する。カメラ８１が操作画面７を撮像することにより、操作画面７の画像が取得される。その後のヒューマンインターフェース装置の動作は、第１の具体例と同様である。
【０１１６】
図１７は、本発明の第３の実施形態に係るヒューマンインターフェース装置の第３の具体例における操作画面を示す図である。第３の具体例においては、電子機器１００として給湯器が用いられる。その他の点に関しては、第２の具体例と同様である。
【０１１７】
図１４に示す領域登録部２１は、操作画面８の画像を水平方向に５分割すると共に垂直方向に３分割することにより、スイッチ領域Ｒ１〜Ｒ１５を設定する。また、領域登録部２１は、操作画面８の画像に含まれているスイッチ領域Ｒ１〜Ｒ１５を、予め設定された複数の操作に対応付けて格納部２３に登録することによって初期設定を行う。
【０１１８】
初期設定が完了した後に、ユーザーが、例えば、操作画面のスイッチ領域Ｒ１３に指先等で触れるか、又は、触れる素振りをすると、領域検出部８２は、カメラ８１によって得られる画像において、ユーザーの体部（指先等）が所定の距離内で接近した対象物の領域を検出する。操作選択部２２は、領域検出部８２によって検出された領域がスイッチ領域Ｒ１３内に位置する場合に、スイッチ領域Ｒ１３に対応付けられている操作「追い炊き」を選択する。
【０１１９】
通信部９０が、選択された操作「追い炊き」を実行させる命令「１３」を電子機器１００に送信することにより、電子機器１００が、選択された操作「追い炊き」を実行する。その際に、操作選択部２２が、ユーザーの指先の動きに合わせて、追加情報や補足情報をバルーン（吹き出し表示）等で操作画面８に表示させたり、追加情報や補足情報を音声出力部４０から発することにより、「追い炊き」に関する詳細な情報をユーザーに提供することができる。
【０１２０】
電子機器１００としては、上記の他に、インターホン、冷暖房機、エアーコンディショナー、太陽光発電設備、水道使用量計測器、ガス使用量計測器等を使用することができる。それらの表示内容や操作画面を、部屋の壁、床、ブラインド、テーブル等に表示することにより、操作の選択や情報の提供を行うことが可能である。
【０１２１】
本発明の第３の実施形態によれば、ユーザーが電子機器を操作する際に、電子機器とは別の場所で電子機器の操作を行ったり、操作内容を大きく表示したり、詳細な情報を画像又は音声によって提供することができる。
【０１２２】
以上の実施形態においては、本発明を対話型ポスターや電子機器の操作に適用する場合について説明したが、本発明は、この実施形態に限定されるものではなく、例えば、ポスター以外の風景画等を掲示内容としても良い。このように、当該技術分野において通常の知識を有する者によって、本発明の技術的思想内で多くの変形が可能である。
【符号の説明】
【０１２３】
１…ポスター、１ａ、１ｂ…スイッチ領域、１ｃ…マーカー、１ｄ…ＩＤ情報、２…キャリブレーション用ポスター、３、４…絵画ポスター、４ａ〜４ｄ…スイッチ領域、５…イベントポスター、５ａ〜５ｃ…スイッチ領域、６…彫刻、６ａ〜６ｃ…スイッチ領域、７、８…操作画面、７ａ〜７ｄ、Ｒ１〜Ｒ１５…スイッチ領域、１０、８０…検出部、１１、１２、８１…カメラ、１３、８２…領域検出部、３１ａ、３１ｂ…カメラインターフェース、３２ａ、３２ｂ…フォーマット変換部、３３ａ、３３ｂ…差分計算部、３４ａ、３４ｂ…２値化部、３５ａ、３５ｂ…歪補正部、３６…キャリブレーション部、３７…メモリー、３８…領域自動検出部、３９…インターフェース部、２０…制御部、２１…領域登録部、２２…操作選択部、２３…格納部、３０…表示部、４０…音声出力部、５０…プリンター、６０…ビデオプロジェクター、７０…設定ツールキット、９０…通信部、１００…電子機器
【図１】
2014067349.tif 000003
【図２】
2014067349.tif 000004
【図４】
2014067349.tif 000005
【図５】
2014067349.tif 000006
【図６】
2014067349.tif 000007
【図７】
2014067349.tif 000008
【図８】
2014067349.tif 000009
【図９】
2014067349.tif 000010
【図１０】
2014067349.tif 000011
【図１１】
2014067349.tif 000012
【図１２】
2014067349.tif 000013
【図１３】
2014067349.tif 000014
【図１４】
2014067349.tif 000015
【図１６】
2014067349.tif 000016
【図１７】
2014067349.tif 000017
【図３】
2014067349.tif 000018
【図１５】
2014067349.tif 000019