(57)【要約】【課題】様々な操作者がそれぞれに抱いているメンタルモデルに沿ったユーザインタフェース装置を得ること。【解決手段】操作者からの音声による指示を所定のコマンドに解釈し、操作者に対しては表示を行って所定の情報を伝えるユーザインタフェース装置において、操作者の音声による指示を受け付ける音声入力部１１と、表示部１４と、ユーザインタフェース装置１０から操作者までの操作者距離を測定する操作者位置検出部１３と、操作者位置検出部１３によって測定された操作者距離に基づいて操作者のユーザインタフェース装置１０に対して抱くメンタルモデルを判定し、この判定結果に応じて表示部１４に表示させる内容を変化させる全体制御部１５と、を備える。【選択図】        図１
2006302009.tif 000002
【特許請求の範囲】
【請求項１】
操作者からの音声による指示を所定のコマンドに解釈し、前記操作者に対しては表示を行って所定の情報を伝えるユーザインタフェース装置において、
前記操作者の音声による指示を受け付ける音声入力手段と、
表示手段と、
当該ユーザインタフェース装置から前記操作者までの操作者距離を測定する操作者位置検出手段と、
前記操作者位置検出手段によって測定された前記操作者距離に基づいて前記操作者の当該ユーザインタフェース装置に対して抱くメンタルモデルを判定し、この判定結果に応じて前記表示手段に表示させる内容を変化させる全体制御手段と、
を備えることを特徴とするユーザインタフェース装置。
【請求項２】
前記全体制御手段は、
前記操作者距離を前記メンタルモデルにしたがって定めた所定値と比較する操作者位置判定機能と、
前記操作者距離が所定値以上の場合に、擬人的な内容を前記表示手段に表示させる操作者位置離隔用インタフェース提示制御機能と、
前記操作者距離が所定値以下の場合に、機械的な内容を前記表示手段に表示させる操作者位置近接用インタフェース提示制御機能と、
を有することを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
操作者からの音声による指示を所定のコマンドに解釈し、前記操作者に対しては表示を行って所定の情報を伝えるユーザインタフェース装置において、
前記操作者の音声による指示を受け付ける音声入力手段と、
前記音声入力手段から入力された音声による指示をコマンドに解釈するコマンド解釈手段と、
表示手段と、
前記コマンド解釈手段による前記操作者の指示のコマンドへの解釈結果に基づいて、前記操作者距離を変化させるように促すための情報を前記表示手段に表示させる全体制御手段と、
を備えることを特徴とするユーザインタフェース装置。
【請求項４】
前記全体制御手段は、前記コマンド解釈手段によって前記操作者からの指示を解釈できなかった場合に、前記操作者を当該ユーザインタフェース装置に近づけるための操作者近接用画面を前記表示手段に表示させる操作者位置近接用インタフェース提示制御機能を有することを特徴とする請求項３に記載のユーザインタフェース装置。
【請求項５】
前記操作者位置近接用インタフェース提示制御機能は、機械的な画像、実行可能なコマンドの一覧を示す文字またはそれまで表示されていた文字よりも小さなサイズの文字を前記表示手段に表示させることを特徴とする請求項４に記載のユーザインタフェース装置。
【請求項６】
前記コマンド解釈手段によって解釈されたコマンドが、現在の当該ユーザインタフェース装置の設置空間よりも外部に影響を及ぼすものである場合に、
当該ユーザインタフェース装置から前記操作者までの操作者距離を測定する操作者位置検出手段をさらに備え、
前記全体制御手段は、
前記操作者距離が、前記外部への影響が前記操作者に及ばなくなる当該ユーザインタフェース装置からの所定の距離以上か否かを判定する操作者位置判定機能と、
前記操作者距離が所定の距離以下の場合に、前記操作者を当該ユーザインタフェース装置から遠ざからせるための操作者離隔用画面を前記表示手段に表示させる操作者位置離隔用インタフェース提示制御機能と、
を有することを特徴とする請求項３〜５のいずれか１つに記載のユーザインタフェース装置。
【請求項７】
前記操作者位置離隔用インタフェース提示制御機能は、擬人的な画像を前記表示手段に表示させることを特徴とする請求項６に記載のユーザインタフェース装置。
【請求項８】
前記全体制御手段は、前記操作者距離が前記所定の距離以上となるまで、前記コマンドを当該ユーザインタフェース装置に接続される機器に送信しないことを特徴とする請求項６に記載のユーザインタフェース装置。
【請求項９】
前記全体制御手段は、前記操作者距離が所定の距離以上の場合に、当該ユーザインタフェース装置に接続される機器が前記操作者距離の範囲内で動作するように制限した条件を前記コマンドに付して、前記機器に送信することを特徴とする請求項６に記載のユーザインタフェース装置。
【請求項１０】
請求項１〜９のいずれか１つに記載のユーザインタフェース装置を備えることを特徴とする家電・住設機器。
【請求項１１】
音声によって指示を行う操作者に対して表示によるインタフェースを提供するユーザインタフェース装置のユーザインタフェース提示方法において、
前記操作者を検知すると、当該ユーザインタフェース装置から前記操作者までの操作者距離を測定する第１の工程と、
前記操作者距離を、操作者のメンタルモデルにしたがって定めた所定値と比較する第２の工程と、
前記第２の工程で、前記操作者距離が前記所定値以上の場合に、擬人的な内容を前記操作者に対して提示する第３の工程と、
前記第２の工程で、前記操作者距離が前記所定値以下の場合に、機械的な内容を前記操作者に対して提示する第４の工程と、
を含むことを特徴とするユーザインタフェース提示方法。
【請求項１２】
音声によって指示を行う操作者に対して表示によるインタフェースを提供するユーザインタフェース装置のユーザインタフェース提示方法において、
前記操作者からの音声による指示をコマンドに解釈する第１の工程と、
前記指示がコマンドへ解釈不能の場合に、前記操作者を当該ユーザインタフェース装置に近づけるための操作者近接用画面を前記操作者に提示する第２の工程と、
を含むことを特徴とするユーザインタフェース提示方法。
【請求項１３】
前記第１の工程で解釈されたコマンドが、現在の当該ユーザインタフェース装置の状態よりも外部に影響を及ぼすものである場合に、
当該ユーザインタフェース装置から前記操作者までの距離である操作者距離を測定する第３の工程と、
前記操作者距離が、前記外部への影響が前記操作者に及ばなくなる当該ユーザインタフェース装置からの所定の距離以上か否かを判定する第４の工程と、
前記操作者距離が所定の距離以下の場合に、前記操作者を当該ユーザインタフェース装置から遠ざからせるための操作者離隔用画面を前記操作者に提示する第５の工程と、
をさらに含むことを特徴とする請求項１２に記載のユーザインタフェース提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、制御対象の操作や設定を行うユーザインタフェース装置、そのユーザインタフェース装置を備える家電・住設機器およびユーザインタフェース提示方法に関するものである。
【背景技術】
【０００２】
従来のユーザインタフェース装置では、予め組み込まれた形態の情報提示方法にしたがって、常に操作者に情報提示を行い、操作を行わせる形態をとっていた。操作者が近付いて操作した場合でも、少々離れた所から操作した場合でも、常に決められた方式で情報の提示を行っていた。また、ユーザインタフェース装置においては、機能の選択や、操作／設定を行うためのスイッチやボタンが並んでおり、一般に無機質で分かり難いものが多かった。音声を利用したユーザインタフェース装置でもこのような事情は同様で、操作者がどのようなメンタルモデルを抱いて機器に相対しているかには関係なく、予め定められた形態での操作が強いられていたり、スイッチやボタンの代わりに音声入力デバイスとしてマイクが置かれていたりするだけといったものが多かった。
【０００３】
このような課題を解決するために、本体装置とページャ端末という物理的に異なる機器を用意して本体装置の側にユーザが居るか居ないかによって情報の提示先を変更する試み（たとえば、特許文献１参照）や、擬人化された物体に埋め込まれたまたは関連付けられたカメラを持ち、擬人化された物体の操作をカメラ操作に結びつけることで自然かつ理解が容易なユーザインタフェースを提供しようとする試み（たとえば、特許文献２参照）や、クライアント／サーバ型のシステムにおいて擬人化エージェントがユーザの嗜好を質問形式で獲得して買い物をする形態のユーザインタフェースを提供する試み（たとえば、特許文献３参照）などが従来までになされている。
【０００４】
【特許文献１】特開平９−２７５４５７号公報
【特許文献２】特表２００３−５１６０４９号公報
【特許文献３】特開２００２−２９８０１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のユーザインタフェース装置も、以下に示すような問題点を有していた。つまり、ユーザフレンドリな操作系の実現を目指して擬人的なインタフェースを採用した場合、機器の操作をよく理解しており、素早い操作を望む操作者にとってはこの方式は却って煩わしいという結果になることが多かった。また、機器というものに苦手意識を持つ操作者にとっては無機質で機械的なインタフェースを採用したユーザインタフェース装置では取っ付き難く、分かり難いという結果になることが多かった。たとえば、１台の機器を複数の操作者で使用するような家電機器や住宅における設備機器では、このように様々なメンタルモデルを有する操作者への対応が必要となるが、従来の方式では画一的なユーザインタフェースしか提供していないために、操作者各人が機器に対して抱くメンタルモデルに追随することができず、操作性の向上が望めなかった。また、家電機器や設備機器の表示が見え難い場合に操作者がその表示部に顔を近付けたり、音声入力のために操作者がマイクに顔を近づけたりするなどして家電機器や設備機器を操作する結果、家電機器や設備機器が物理的な動作を行う場合などには、家電機器や設備機器に近付いている操作者に対して危険が発生することもあった。
【０００６】
この発明は、上記に鑑みてなされたもので、様々な操作者がそれぞれに抱いているメンタルモデルに沿ったユーザインタフェースを提供することができるユーザインタフェース装置とそのユーザインタフェース装置を備える家電・住設機器およびユーザインタフェース提示方法を得ることを目的とする。また、ユーザインタフェース装置と操作者との距離を制御することができるユーザインタフェース装置とそのユーザインタフェース装置を備える家電・住設機器およびユーザインタフェース提示方法を得ることも目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、この発明にかかるユーザインタフェース装置は、操作者からの音声による指示を所定のコマンドに解釈し、前記操作者に対しては表示を行って所定の情報を伝えるユーザインタフェース装置において、前記操作者の音声による指示を受け付ける音声入力手段と、表示手段と、当該ユーザインタフェース装置から前記操作者までの操作者距離を測定する操作者位置検出手段と、前記操作者位置検出手段によって測定された前記操作者距離に基づいて前記操作者の当該ユーザインタフェース装置に対して抱くメンタルモデルを判定し、この判定結果に応じて前記表示手段に表示させる内容を変化させる全体制御手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
この発明によれば、操作者距離から操作者が機器に対して抱いているメンタルモデルを判定し、各操作者のメンタルモデルに追随した操作系を実現できるので、機器に対しての馴染み度合の異なる複数の操作者のそれぞれに対して操作性の向上を図ることができるという効果を有する。
【発明を実施するための最良の形態】
【０００９】
以下に添付図面を参照して、この発明にかかるユーザインタフェース装置、家電・住設機器およびユーザインタフェース提示方法の好適な実施の形態を詳細に説明する。
【００１０】
実施の形態１．
図１は、この発明にかかるユーザインタフェース装置の実施の形態１の構成を模式的に示すブロック図である。このユーザインタフェース装置１０は、家電機器や住宅の設備機器（以下、操作対象機器という）に組み込まれて構成される装置であり、操作者からのコマンドを音声入力として受付ける音声入力部１１と、操作者のコマンドを解釈するコマンド解釈部１２と、ユーザインタフェース装置１０からの操作者の位置（距離）を検出する操作者位置検出部１３と、操作者に対して所定の情報の表示を行う表示部１４と、操作者の位置に基づいて表示部１４に表示させる内容を変化させる全体制御部１５と、を備える。
【００１１】
音声入力部１１は、マイクなどの音声を検出する手段から構成され、操作者からの音声による指示を音声入力として受信する。
【００１２】
コマンド解釈部１２は、音声入力部１１からの音声入力をユーザインタフェース装置１０が備えられる操作対象機器で解釈可能なコマンドに変換する。このコマンド解釈部１２は、たとえば、操作対象機器で実行可能なコマンドに対して、同等な内容の用語を登録したコマンド解釈辞書を有し、音声入力された内容を、コマンド解釈辞書を参照して操作対象機器へのコマンドへと変換し、図示しない操作対象機器の制御部へと出力する。なお、ユーザインタフェース装置１０が配置される空間に存在する人の話し声と、ユーザインタフェース装置１０への指示とを区別するために、音声入力は所定の形式で行う必要がある。たとえば、従来公知の「冷蔵庫君、急速冷凍して。」や「冷蔵庫、急速冷凍オン。」というように、ユーザインタフェース装置１０またはユーザインタフェース装置１０を備える操作対象機器に付した名前に続けて、指示を発音するようにすることで、指示とそうでない話し声とを区別する方法などを用いることができる。
【００１３】
操作者位置検出部１３は、ユーザインタフェース装置１０またはこのユーザインタフェース装置１０が備えられる操作対象機器の近辺に人（操作者）が存在する場合に、その操作者までの距離を検出し、その結果を全体制御部１５に出力する。このような操作者位置検出部１３として、たとえば、焦電型センサと赤外線方式の測距センサとを組み合わせた装置を用いることができる。
【００１４】
表示部１４は、液晶ディスプレイ装置などの表示手段から構成され、操作者の位置に応じた表示内容を表示する。
【００１５】
全体制御部１５は、操作者のメンタルモデルに基づいて表示部１４に表示させる内容を変化させる機能を有し、操作者位置がメンタルモデルに基づいて定まる所定値と比較して遠いか近いかを判定する操作者位置判定部１５１と、ユーザインタフェース装置１０を擬人的に捉えている操作者に対して表示を行う操作者位置離隔用インタフェース提示制御部１５２と、ユーザインタフェース装置１０を無機質で機械的なものと捉えている操作者用に表示を行う操作者位置近接用インタフェース提示制御部１５３と、を有する。
【００１６】
ここで、操作者のメンタルモデルに基づいた表示内容の切替えについて説明する。この実施の形態１では、操作者がユーザインタフェース装置１０に対してどのようなメンタルモデルを抱いているかを、操作者のユーザインタフェース装置１０からの距離によって判定している。具体的には、所定値よりも離れている位置に存在する操作者は、ユーザインタフェース装置１０を擬人的に（話し相手として）捉えているものとし、所定値よりも近い位置に存在する操作者は、ユーザインタフェース装置１０を無機質で機械的なものと捉えているものとしている。これは、たとえば人と人との会話では、ある程度の距離を保って行い、顔と顔が接するような状態で話すことはないことから、所定の距離をおいてユーザインタフェース装置１０に指示を行う操作者は、ユーザインタフェース装置１０を擬人的に捉えていると考えることができる。また、たとえばマイクに向かって声を出すときには、人は口をマイクに接するくらいに近づけて発声することから、所定の距離よりも近い距離でユーザインタフェース装置１０に指示を行う操作者は、ユーザインタフェース装置１０を機械的に捉えていると考えることができる。以上により、この実施の形態１では、ユーザインタフェース装置１０からの距離によって操作者のメンタルモデルを判定している。なお、全体制御部１５で判定されるユーザインタフェース装置１０からの所定の距離は、上述した人の特性を統計的に調べることによって得ることができる。
【００１７】
操作者位置判定部１５１は、操作者位置検出部１３から渡された操作者位置と予め設定される所定値とを比較して、操作者位置が所定値よりも大きい場合には操作者位置離隔用インタフェース提示制御部１５２を動作させ、操作者位置が所定値よりも小さい場合には操作者位置近接用インタフェース提示制御部１５３を動作させる。なお、操作者距離が所定値と等しい場合には、操作者位置離隔用インタフェース提示制御部１５２を動作させてもよいし、操作者位置近接用インタフェース提示制御部１５３を動作させてもよい。
【００１８】
操作者位置離隔用インタフェース提示制御部１５２は、初期状態にあるときおよびユーザインタフェース装置１０の前の所定の距離よりも離れた位置に操作者を検出したときに、操作者位置離隔用の表示画面を表示部１４に表示させる。具体的には、上述したようにユーザインタフェース装置１０から所定の距離よりも離れて存在する操作者は、ユーザインタフェース装置１０を擬人的に捉えていると判定することができるので、表示部１４に擬人的な画像や動物的な画像など、ユーザフレンドリな画面を表示する。
【００１９】
操作者位置近接用インタフェース提示制御部１５３は、ユーザインタフェース装置１０の前の所定の距離よりも近い位置に操作者を検出したときに、操作者位置近接用の表示画面を表示部１４に表示させる。具体的には、上述したようにユーザインタフェース装置１０から所定の距離よりも近くに存在する操作者は、ユーザインタフェース装置１０を機械的に捉えていると判定することができるので、表示部１４にマイクなどの無機質で機械的な画像を表示する。
【００２０】
ここで、このような構成のユーザインタフェース装置１０の表示画面の切替え処理について説明する。図２は、ユーザインタフェース装置の動作処理手順を示すフローチャートであり、図３−１〜図３−２は、ユーザインタフェース装置とその操作者の位置関係を模式的に示す図であり、図４−１〜図４−２は、ユーザインタフェース装置の表示部に表示される画像の一例を示す図である。ここでは、ユーザインタフェース装置１０は、家電機器や住宅の設備機器（以下、住設機器という）などの操作対象装置３０に備えられている場合が示されている。
【００２１】
まず、ユーザインタフェース装置１０が設けられている操作対象機器に対して音声による指示を出そうとして、操作者がユーザインタフェース装置１０の操作者位置検出範囲に侵入すると、操作者位置検出部１３は操作者位置を検出し、操作者位置までの距離である操作者距離を計測し（ステップＳ１１）、その結果を全体制御部１５に渡す。全体制御部１５の操作者位置判定部１５１は、操作者位置検出部１３から受取った操作者距離を操作者のメンタルモデルを判定するための所定値と比較し、操作者距離が所定値よりも大きいか否かを判定する（ステップＳ１２）。
【００２２】
たとえば、図３−１に示されるようにユーザインタフェース装置１０（操作対象機器３０）と操作者５０との間の操作者距離Ｒが所定値Ａよりも大きい場合（ステップＳ１２でＹｅｓの場合）には、操作者は操作対象機器３０を話し相手として捉えているものとして、操作者位置離隔用インタフェース提示制御部１５２を駆動させる（ステップＳ１３）。操作者位置離隔用インタフェース提示制御部１５２は、操作者が操作対象機器を話し相手として捕らえていると判断しているので、表示部１４に図４−１に示されるように人の顔１０１などの擬人的な表示画面１００を表示させる（ステップＳ１４）。
【００２３】
一方、図３−２に示されるようにユーザインタフェース装置１０（操作対象機器３０）と操作者５０との間の操作者距離Ｒが所定値Ａよりも小さい場合（ステップＳ１２でＮｏの場合）には、操作者は操作対象機器３０を機械的なものとみなしているものとして、操作者位置近接用インタフェース提示制御部１５３を駆動させる（ステップＳ１５）。操作者位置近接用インタフェース提示制御部１５３は、操作者が操作対象機器をそのままの機器とみなしていると判断しているので、表示部１４に図４−２に示されるようにマイク１１１などの機械的な表示画面１１０を表示させる（ステップＳ１６）。
【００２４】
その後またはステップＳ１４の後、ユーザインタフェース装置１０は、操作者からの音声による操作の指示を受付け可能な状態に入り（ステップＳ１７）、処理が終了する。
【００２５】
図４−１のように、人の顔１０１を模した擬人的な表示画面１００を表示部１４に表示し、さらに音声による応答や問い掛けなども加えることにより、あたかも操作者と操作対象機器とが会話をしているかのようなユーザインタフェースを実現することができる。このように擬人的な操作者位置離隔用インタフェースを用いれば、機器を話し相手とみなすことができるような環境を作り出し、操作者に、より話し掛け易いユーザインタフェースを提供することができる。
【００２６】
また、図４−２のように、マイク１１１などの機械的な表示画面１１０を表示部１４に表示することにより、操作者が音声によって話し掛けている相手は、人のような話し相手ではなく、音声入力を行なって操作する機器そのものである、ということをより明確に提示するユーザインタフェースを実現することができる。機器を機器そのものとして受け入れている操作者にとってはこのような形式のユーザインタフェースの方がより音声を入力しやすくなり、より操作性の高いユーザインタフェースを提供できる。
【００２７】
たとえば、この実施の形態１のユーザインタフェース装置１０を、操作対象機器であるファンヒータに組み込んだ場合を考えると、ある程度距離を置いて話し掛ける操作者に対しては図４−１のような擬人的インタフェースを提示し、ある程度以上近付いて操作しようとする操作者には図４−２のような機械的なインタフェースを提示する。図４−１のような擬人的な操作者位置離隔用インタフェースでは、たとえば操作者からの「ファンヒータ、点いて」と言った話し掛けを音声入力として、この指示をコマンドに変換してファンヒータを起動する。また、図４−２のような機械的な操作者位置近接用インタフェースでは、操作者はマイクに向かって「ファンヒータ、ＯＮ」といった操作のための音声コマンドの入力を行い、ファンヒータを起動する。
【００２８】
操作の進め方に関しても、擬人的な操作者位置離隔用インタフェースの場合には、擬人化された表示が操作者に説明を加えながら操作手順を誘導したり、擬人化された機器と操作者とが対話をしながら操作内容を決めていったりするなど、あまり機器になじみの無い操作者でも操作できるようにするための機能を盛り込んでもよい。一方、機械的な操作者位置近接用インタフェースを提示している場合には、上述した理由により操作者は機器に馴染んでいるとみなすことができるので、日頃よく行なう操作をすぐに実行できるように、音声による操作指示を直接受け付けるようにしたり、その助けとして入力可能な音声コマンドの候補を表示部１４に文字情報として提示したり、さらにはその他説明や指示などの書かれた文字情報を提示したりしてもよい。
【００２９】
また、機器への理解度の違いという性質を利用して、擬人的インタフェースの場合と機械的インタフェースの場合とで操作可能な範囲を変更してもよい。たとえば擬人的な操作者位置離隔用インタフェースでは一部の制限された機能のみを操作可能とし、機械的な操作者位置近接用インタフェースでは詳細な機能まで操作可能とするなどのようにしてもよい。前述のファンヒータで例示すれば、擬人的な操作者位置離隔用インタフェースではファンヒータのＯＮ／ＯＦＦのみを操作可能とし、機械的な操作者位置近接用インタフェースではＯＮ／ＯＦＦに加え、温度設定や風量設定、チャイルドロックなども操作できるように設定してもよい。
【００３０】
このような処理を実行するユーザインタフェース装置１０は、ＭＰＵ（Micro Processing Unit）とメモリを備える制御手段に、表示手段およびマイクが接続されて構成され、家電機器や住設機器などの操作対象機器に組み込まれて使用される。また、メモリには、上記処理を実行するためのソフトウェアがプログラムとしてメモリに格納される。ただし、操作対象機器にも自機器を制御するＭＰＵやメモリを備える構成の場合には、操作対象機器の設計段階で、操作対象機器のＭＰＵやメモリとユーザインタフェース装置１０のＭＰＵとメモリを共通化するようにしてもよい。
【００３１】
なお、上述した説明では表示部１４には表示画面として人の顔の画像を表示したり、マイクの画像を表示したり、音声による応答、問い掛けなどを表示（出力）したり文字によりコマンド候補を表示したりする場合を例に挙げたが、これらは一例であり、表示部１４としては光、文字、アイコン（図形、絵）、幾何学模様、報知音（ビープ音やメロディ音、自然界の音、創作的な音など）または音声などを利用するものであってもよいし、またこれらのうちの複数の要素を任意に組み合わせたものを利用するものであってもよい。これらの要素を用いることによって、操作者位置離隔用インタフェースでは、擬人的な画像として、前述した人の顔を模した画像の他に、ロボットや愛玩動物など、話し相手と認識できるような表現の画像を用いることができる。また、操作者位置近接用インタフェースでは、機械的な画像として、前述したマイクの表示や文字の他に、機器のスイッチの画像やアイコンなど、機器を意識させるような表現の画像を用いることができる。
【００３２】
この実施の形態１によれば、操作者位置（操作者距離）から操作者が機器に対して抱いているメンタルモデルを判定し、各操作者のメンタルモデルに追随した操作系を実現できるので、機器に対しての馴染み度合の異なる複数の操作者のそれぞれに対して操作性の向上を図ることができる。
【００３３】
実施の形態２．
実施の形態１では、操作対象機器の操作者のメンタルモデルを操作者距離に基づいて判定して、表示部に表示させる表示画面を変化させるユーザインタフェース装置を説明した。この実施の形態２では、操作者と操作対象機器との間の距離すなわち操作者距離を制御させるために表示部に表示させる表示画面を変化させるユーザインタフェース装置について説明する。なお、この実施の形態２でも、ユーザインタフェース装置は、実施の形態１の図１と同一の機能構成を有する。以下に、実施の形態１と異なる処理を実行する構成要素について説明し、実施の形態１と同一の機能を有する構成要素についての説明は省略する。
【００３４】
全体制御部１５は、コマンド解釈部１２によって解釈された音声入力部１１からの操作者の指示と、操作者位置検出部１３によって測定されたその操作者までの距離である操作者距離に基づいて、操作者をよりユーザインタフェース装置１０から遠ざけさせたい場合には操作者位置離隔用インタフェース提示制御部１５２を駆動し、ユーザインタフェース装置１０側に近づけさせたい場合には操作者位置近接用インタフェース提示制御部１５３を駆動する。
【００３５】
操作者をユーザインタフェース装置１０から遠ざけさせたい場合として、たとえば、操作者の指示が、操作対象機器の現在の設置空間よりも広い空間に物理的な影響を及ぼすものである場合が挙げられる。より具体的には、操作対象機器が開閉可能な扉を有する場合で、扉を閉状態から開状態となるように操作者が指示を出した場合でかつその扉が開状態となった時にその扉の移動範囲に操作者が存在する場合や、操作対象機器が加熱可能な構成を有する場合で、ある温度まで加熱するように操作者が指示を出した場合でかつその加熱によって操作者に危険が及ぶ可能性のある範囲に操作者が存在する場合などを例示することができる。また、操作者をユーザインタフェース装置１０に近づけさせたい場合として、たとえば、音声入力部１１から入力した操作者の指示が音圧不足によって判別することができない場合や、操作者が何度も指示を間違えている場合などを例示することができる。
【００３６】
つまり、操作者位置判定部１５１は、コマンド解釈部１２によって操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすコマンドと判定されかつ操作者位置検出部１３によって測定された操作者距離が所定値よりも小さい場合に、操作者位置離隔用インタフェース提示制御部１５２を駆動し、コマンド解釈部１２によって音声入力部１１からの操作者の指示が識別できなかった場合に、操作者位置近接用インタフェース提示制御部１５３を駆動する。
【００３７】
また、操作者位置離隔用インタフェース提示制御部１５２は、コマンド解釈部１２によって操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすコマンドと判定されかつ操作者位置検出部１３によって測定された操作者距離が所定値よりも小さい場合に、操作者を現在位置よりも遠ざけさせる（離隔させる）ように、表示部１４に擬人的な画像などの表示画面を表示させる。これは、実施の形態１で説明したように、擬人的な画像などを表示させることで、操作者に操作対象機器を機器などではなく人（話し相手）として認識させるためである。
【００３８】
さらに、操作者位置近接用インタフェース提示制御部１５３は、コマンド解釈部１２によって音声入力部１１からの操作者の指示が識別できなかった場合に、操作者を現在位置よりも近づけさせる（近接させる）ように、表示部１４に機械的な画像や小さいフォントの文字で構成したコマンドの一覧情報などの表示画面を表示させる。これは、実施の形態１で説明したように、機械的な画像を表示させることで、操作者に操作対象機器をそのままの機器として認識させるためである。また、表示させる文字を小さくしたりすることで、操作者はよりユーザインタフェース装置１０の表示部１４の表示内容を確認するために近付いて、音声を入力するようになるからである。
【００３９】
ここで、このような構成のユーザインタフェース装置１０の表示画面の表示処理について説明する。図５は、ユーザインタフェース装置の表示処理手順の一例を示すフローチャートであり、図６−１〜図６−２は、ユーザインタフェース装置を冷蔵庫に組み込んだ場合の一例を示す図である。
【００４０】
まず、ユーザインタフェース装置１０が設けられている操作対象機器に対して操作者から音声による指示が出されると（ステップＳ３１）、音声入力部１１はその音声をコマンド解釈部１２に渡す。コマンド解釈部１２は、受取った音声から操作者によって指示された内容を示すコマンドに解釈し（ステップＳ３２）、その結果を全体制御部１５に渡す。なお、コマンド解釈部１２は、音声を解釈することができなかった場合には、解釈することができなかった旨の信号を全体制御部１５に渡すものとする。
【００４１】
全体制御部１５の操作者位置判定部１５１は、コマンド解釈部１２から指示を解釈することができない旨の信号を受取ったか否かを判定する（ステップＳ３３）。指示を解釈することができない旨の信号を受取った場合（ステップＳ３３でＹｅｓの場合）には、操作者位置近接用インタフェース提示制御部１５３を駆動し（ステップＳ３４）、図６−１に示されるように機械的な画像やフォントを小さくした文字などの操作者近接用画面を表示部１４に表示させる（ステップＳ３５）。その後、操作者位置近接用インタフェース提示制御部１５３は、ステップＳ３５の操作者近接用画面を所定の回数、表示したか否かを判定する（ステップＳ３６）。所定の回数、ステップＳ３５の操作者近接用画面を表示していない場合（ステップＳ３６でＮｏの場合）には、再びステップＳ３１へと処理が戻る。また、所定の回数、ステップＳ３５の操作者近接用画面を表示した場合（ステップＳ３６でＹｅｓの場合）には、操作者位置近接用インタフェース提示制御部１５３は、指示を解釈できない旨のエラーメッセージを操作者に対して通知し（ステップＳ３７）、処理を終了する。これにより、操作者に対してもう一度最初から処理をやり直しさせる。
【００４２】
一方、全体制御部１５の操作者位置判定部１５１は、コマンド解釈部１２から指示を解釈することができない旨の信号を受取らなかった場合（ステップＳ３３でＮｏの場合）すなわち操作者の指示をコマンドとして受取ることができた場合には、そのコマンドの実行結果が操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすものか否かを判定する（ステップＳ３８）。そのコマンドの実行結果が操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすものである場合（ステップＳ３８でＹｅｓの場合）には、操作者位置検出部１３から操作者までの距離である操作者距離を取得する（ステップＳ３９）。その後、操作者位置判定部１５１は、操作者距離が所定値よりも大きいか否かを判定する（ステップＳ４０）。なお、このステップＳ４０における所定値とは、コマンドの実行によって操作対象機器が外部に及ぼす影響のうち操作者に対する影響が及ばない操作対象機器（ユーザインタフェース装置１０）からの距離である。
【００４３】
操作者距離が所定値よりも小さい場合（ステップＳ４０でＮｏの場合）には、操作者位置判定部１５１は操作者位置離隔用インタフェース提示制御部１５２を駆動し（ステップＳ４１）、図６−２に示されるように擬人的な画像などの操作者離隔用画面を表示部１４に表示させる（ステップＳ４２）。その後、操作者位置離隔用インタフェース提示制御部１５２は、ステップＳ４２の操作者離隔用画面を所定の回数、表示したか否かを判定する（ステップＳ４３）。所定の回数、ステップＳ４２の操作者離隔用画面を表示していない場合（ステップＳ４３でＮｏの場合）には、ステップＳ３９に戻り、操作者距離が所定値より大きくなるまで、ステップＳ３９〜Ｓ４２の処理を繰り返し実行する。また、所定の回数、ステップＳ４２の操作者近接用画面を表示した場合（ステップＳ４３でＹｅｓの場合）には、操作者位置離隔用インタフェース提示制御部１５２は、コマンドを実行できない旨のエラーメッセージを操作者に対して通知する（ステップＳ４４）。たとえば、「近くでは危険ですのでこの操作はできません」のエラーメッセージを表示部１４に表示させたり、音声で出力させたりすることができる。以上により、ユーザインタフェース装置１０の表示処理手順が終了する。
【００４４】
また、ステップＳ３８でコマンドの実行結果が操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすものではない場合（ステップＳ３８でＮｏの場合）またはステップＳ４０で操作者距離が所定値よりも大きい場合（ステップＳ４０でＹｅｓの場合）には、全体制御部１５は、コマンド解釈部１２で解釈されたコマンドを操作対象機器に送信し（ステップＳ４５）、処理が終了する。
【００４５】
この実施の形態２のユーザインタフェース装置１０では、音声入力部１１に入力された音声コマンドにより全体制御部１５が表示部１４に提示する内容を変化させるなど、ユーザインタフェースの手順を制御しながら処理が進められる。
【００４６】
たとえば、図６−１〜図６−２のように、冷蔵庫３１の操作パネルとしてこの実施の形態２のユーザインタフェース装置１０を適用した場合、冷蔵庫３１の扉を開けるアプリケーションとして「冷蔵庫、ドアオープン」という音声コマンドを受け付けるとすると、開扉に際して操作者が扉に近付きすぎていては危険である。そのため、全体制御部１５は「ドアオープン」コマンドが受付可能になる前に、図６−２の表示部１４に示されるように、人の顔などの擬人的な画像の表示を操作者位置離隔用インタフェース提示制御部１５２に行なわせるようにして操作者が機器との距離を大きめに取るように仕向ける。実施の形態１と同様に、操作者は機器が擬人化されることにより、機器を話し相手とみなすようになり、ある程度の距離を保つようになることが期待できる。
【００４７】
また逆に、ある時点で操作者を機器に引き寄せたい状況になった場合には全体制御部１５は操作者位置近接用インタフェース提示制御部１５３を利用して、表示部１４に機械的なインタフェースでの表示を行なわせる。たとえば、操作者が音声コマンドの言葉を正確に思い出せないなどして何度かコマンド入力に失敗したときに詳細の確認を促す場合や、機器が取得した音声レベル（音圧）が低く（すなわち声が小さく）、もっと近くで発話してもらった方がよいと判断したような場合に、全体制御部１５は操作者位置近接用インタフェース提示制御部１５３を利用して、図６−１に示されるような文字表示を表示部１４に提示して操作者が機器との距離を縮めるように仕向ける。
【００４８】
なお、それまで擬人的な操作者離隔用画面を表示していた場合には機械的な操作者近接用画面に表示を切り替えるだけでよいが、それまでも操作者近接用画面を表示していた場合にはより小さな文字や絵などの表示に切り替えるようにすることもできる。このようにすることで、操作者はよりよく表示を見ようとして機器との間の距離を縮めることが期待できる。たとえば、最初に図２−２のようなマイクが表示部１４に表示されていたが、操作者が音声コマンドの入力に何度か失敗した結果、図６−１のような表示に切り替ったとする。図７は、図６−１のユーザインタフェース装置の表示部に表示される内容の一例を示す図である。操作者が近寄って見ると、この図７のように表示されていたとすると、操作者は自分の発話していたコマンド（言葉）に誤りがあることに気付き、その場で言い直すことにより、正確な用語・発音で、かつより音声レベルが高く入力される可能性が高まり、結果的に操作性の向上につながる。
【００４９】
なお、図５の説明では、コマンドの実行結果が操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすものであり、そして、操作対象機器から所定の範囲内に操作者が存在する場合に、操作者がその範囲から外れない限りコマンドが実行されない場合を示したが、これに限定されず、たとえば操作対象機器に扉が設けられており、この扉を開ける命令の際には、操作者距離を考慮して、扉を開ける操作を無効にしたり、ドアの開く角度を狭めたり、ドアの開く量（スライド量）を少なくしたりするようにしてもよい。
【００５０】
また、上述した説明では、操作対象機器全体で、操作者に危険を及ぼさないための範囲である所定値を設定する場合を示したが、指示の対象となる操作対象機器の動作部位ごとに、操作者に危険を及ぼさないための範囲である所定値を設定するようにしてもよい。たとえば、図６−１〜図６−２の冷蔵庫３１において、扉３２Ａの開状態の範囲と扉３２Ｂの開状態の範囲とが異なる場合には、扉３２Ａを開けるための指示がなされた場合には、扉３２Ａが開くときに操作者にあたらない範囲の所定値ａで比較し、扉３２Ｂを開けるための指示がなされた場合には、扉３２Ｂが開くときに操作者があたらない範囲の所定値ｂで比較するようにすればよい。
【００５１】
この実施の形態２によれば、表示部１４へのインタフェースの提示方法や提示内容の大きさを変更することにより、操作者位置を制御することができるので、操作対象機器が駆動されることによって生じる危険を回避したり、より操作性の高いユーザインタフェース装置１０を提供したりすることが可能となる。また、操作の際に操作者が操作対象機器に近付きすぎると危険が発生するような場合には、操作者位置検出部１３の出力も利用して、操作者と機器との距離が近過ぎるときに、たとえば扉を開ける操作を無効にしたり開くドアの角度を狭めたりといったように、操作自体や操作の結果として起きる動作を抑制するなどの安全策を取ることもできる。
【００５２】
なお、実施の形態１〜２において、ユーザインタフェース装置１０をファンヒータや冷蔵庫３１に適用した例を説明したが、このユーザインタフェース装置１０が適用される対象はこれらに限られる趣旨ではなく、洗濯機、電子レンジ、オーブン、ＩＨ（Induction Heating）クッキングヒータ、エアコン、加湿／除湿器、クリーンヒータ、照明機器、テレビジョン、ビデオ機器、照明や空調などのビル設備システム機器、パソコンなどの種々の家電機器や住設機器の種々の機能や設定項目に対して適用可能である。さらに、実施の形態１と実施の形態２について、これらはそれぞれ単独で用いても双方を組み合わせて用いてもよく、適用機器、操作・設定系に応じて最も効果的な構成を構築すればよい。
【産業上の利用可能性】
【００５３】
以上のように、この発明にかかるユーザインタフェース装置は、ユーザからの指示に基づいた処理を行う制御機能を備える家電機器や住設機器に有用である。
【図面の簡単な説明】
【００５４】
【図１】この発明によるユーザインタフェース装置の実施の形態１の構成を模式的に示すブロック図である。
【図２】ユーザインタフェース装置の動作処理手順を示すフローチャートである。
【図３−１】ユーザインタフェース装置とその操作者の位置関係を模式的に示す図である（その１）。
【図３−２】ユーザインタフェース装置とその操作者の位置関係を模式的に示す図である（その２）。
【図４−１】ユーザインタフェース装置の表示部に表示される画像の一例を示す図である（その１）。
【図４−２】ユーザインタフェース装置の表示部に表示される画像の一例を示す図である（その２）。
【図５】ユーザインタフェース装置の表示処理手順の一例を示すフローチャートである。
【図６−１】ユーザインタフェース装置を冷蔵庫に組み込んだ場合の一例を示す図である（その１）。
【図６−２】ユーザインタフェース装置を冷蔵庫に組み込んだ場合の一例を示す図である（その２）。
【図７】図６−１のユーザインタフェース装置の表示部に表示される内容の一例を示す図である。
【符号の説明】
【００５５】
１０  ユーザインタフェース装置
１１  音声入力部
１２  コマンド解釈部
１３  操作者位置検出部
１４  表示部
１５  全体制御部
３０  操作対象機器
３１  冷蔵庫
５０  操作者
１５１  操作者位置判定部
１５２  操作者位置離隔用インタフェース提示制御部
１５３  操作者位置近接用インタフェース提示制御部
【図１】
2006302009.tif 000003
【図２】
2006302009.tif 000004
【図３−１】
2006302009.tif 000005
【図３−２】
2006302009.tif 000006
【図４−１】
2006302009.tif 000007
【図４−２】
2006302009.tif 000008
【図５】
2006302009.tif 000009
【図６−１】
2006302009.tif 000010
【図６−２】
2006302009.tif 000011
【図７】
2006302009.tif 000012