(57)【要約】【課題】店員が気づいてくれるまで待たされてしまうことを抑制する。【解決手段】表情判定部１４２によりカメラ１２０が取り込んだ画像から操作に手間取っているかどうかを判定し、振る舞い判定部１４３により、カメラ１２０が取り込んだ画像から振る舞いを判定し、音声判定部１４４により、集音マイク１３０が取り込んだ音声から操作に手間取っているかどうかを判定し、メイン制御部１５１により、表情判定部１４２及び／又は音声判定部１４４が操作に手間取っていると判定した場合、パネル部１１０にナビゲーションを表示させ、振る舞い判定部１４３が手助けを必要とする振る舞いと判定した場合、ヘルプ通知の出力を指示する。そして、振る舞い判定部１４３がユーザーの振る舞いから助けを必要とすることを判定することで、ヘルプ通知を出力でき、店員に手助けが必要であることを知らせることができる。【選択図】図２
2019101775.tif 000002
【特許請求の範囲】
【請求項１】
パネル部と、
カメラと、
前記カメラが取り込んだ画像から手助けを必要とする振る舞いかどうかを判定する振る舞い判定部と、
前記振る舞い判定部が手助けを必要とする振る舞いと判定した場合、ヘルプ通知の出力を指示するメイン制御部とを備える
ことを特徴とするユーザー操作支援装置。
【請求項２】
前記振る舞い判定部は、前記カメラが取り込んだ画像からユーザーの視線が特定方向である場合、前記手助けを必要とする振る舞いと判定することを特徴とする請求項１に記載のユーザー操作支援装置。
【請求項３】
集音マイクと、
前記カメラが取り込んだ画像から操作に手間取っているかどうかを判定する表情判定部と、
前記集音マイクが取り込んだ音声から操作に手間取っているかどうかを判定する音声判定部とを備え、
前記メイン制御部は、前記表情判定部及び／又は前記音声判定部が操作に手間取っていると判定した場合、前記パネル部にナビゲーションを表示させることを特徴とする請求項１又は２に記載のユーザー操作支援装置。
【請求項４】
振る舞い判定部により、カメラが取り込んだ画像から振る舞いを判定する工程と、
メイン制御部により、前記振る舞い判定部が手助けを必要とする振る舞いと判定した場合、ヘルプ通知の出力を指示する工程とを、ユーザー操作支援装置を制御するコンピューターに実行させる
ことを特徴とするユーザー操作支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗に設置されている電子機器のユーザー操作を支援するユーザー操作支援装置及びユーザー操作支援プログラムに関する。
【背景技術】
【０００２】
たとえば、コンビニエンスストア等の店舗には、電子機器である、ＭＦＰ(Multifunction Peripheral)等の画像形成装置が設置されている場合がある。なお、画像形成装置には、様々な機能が搭載されているため、たとえばパネル部に表示されるヘルプ画面でのヘルプガイダンスを確認することで、必要な操作を確認できる。
【０００３】
このようなヘルプガイダンスに関するものとして、特許文献１では、ユーザーの顔を撮像する為の撮像装置と、撮像装置によって撮像されたユーザーの顔情報に基づいてユーザーが困惑しているか否かを判定する手段と、ユーザーが困惑していると判定した場合にはヘルプガイダンスを表示するヘルプガイダンス表示手段とを備えた画像形成装置を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２５８６８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１の画像形成装置では、ユーザーが理解できずに困惑している状況であっても瞬時にヘルプガイダンスを表示するので、ユーザーに対する利便性を高めることができる。
【０００６】
ところで、この画像形成装置でのヘルプガイダンスの表示では、ヘルプガイダンスの内容を理解できるユーザーにとっては利便性が高いと思われる。ところが、ユーザーによっては、ヘルプガイダンスの内容を理解できないこともある。このような場合、ユーザーは、店員を呼んで手助けしてもらうことになるが、店員が接客中であったり、店員が見当たらなかったりすると、店員が気づいてくれるまで待たされてしまうという問題がある。また、ユーザーによっては、店員に声を掛けることを躊躇することもある。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、上記問題点を解消することができるユーザー操作支援装置及びユーザー操作支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のユーザー操作支援装置は、パネル部と、カメラと、前記カメラが取り込んだ画像から手助けを必要とする振る舞いかどうかを判定する振る舞い判定部と、前記振る舞い判定部が手助けを必要とする振る舞いと判定した場合、ヘルプ通知の出力を指示するメイン制御部とを備えることを特徴とする。
また、前記振る舞い判定部は、前記カメラが取り込んだ画像からユーザーの視線が特定方向である場合、前記手助けを必要とする振る舞いと判定することを特徴とする。
また、集音マイクと、前記カメラが取り込んだ画像から操作に手間取っているかどうかを判定する表情判定部と、前記集音マイクが取り込んだ音声から操作に手間取っているかどうかを判定する音声判定部とを備え、前記メイン制御部は、前記表情判定部及び／又は前記音声判定部が操作に手間取っていると判定した場合、前記パネル部にナビゲーションを表示させることを特徴とする。
本発明のユーザー操作支援プログラムは、振る舞い判定部により、カメラが取り込んだ画像から振る舞いを判定する工程と、メイン制御部により、前記振る舞い判定部が手助けを必要とする振る舞いと判定した場合、ヘルプ通知の出力を指示する工程とを、ユーザー操作支援装置を制御するコンピューターに実行させることを特徴とする。
本発明のユーザー操作支援装置及びユーザー操作支援プログラムでは、振る舞い判定部により、カメラが取り込んだ画像から振る舞いを判定し、メイン制御部により、振る舞い判定部が手助けを必要とする振る舞いと判定した場合、ヘルプ通知の出力を指示する。
これにより、パネル部に表示されるナビゲーションによる操作方法が分からない場合、振る舞い判定部がユーザーの振る舞いから手助けを必要とすることを判定することで、ヘルプ通知を出力でき、店員に手助けが必要であることを知らせることができる。
【発明の効果】
【０００９】
本発明のユーザー操作支援装置及びユーザー操作支援プログラムによれば、振る舞い判定部がユーザーの振る舞いから手助けを必要とすることを判定することで、店員が接客中であったり、店員が見当たらなかったりした場合でも、店員に手助けが必要であることを知らせることができ、店員が気づいてくれるまで待たされてしまうことを抑制できる。
【図面の簡単な説明】
【００１０】
【図１】本発明のユーザー操作支援装置をＭＦＰに適用した場合の一実施形態を説明するための図である。
【図２】図１のＭＦＰの構成の一例を示す図である。
【図３】図１のＭＦＰによる、ユーザー操作支援について説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明のユーザー操作支援装置の一実施形態を、図１〜図３を参照しながら説明する。なお、以下の説明においては、ユーザー操作支援装置をＭＦＰ(Multifunction Peripheral)に適用した場合で説明する。また、以下のＭＦＰは、たとえばコンビニエンスストア等の店舗に設置され、不特定多数のユーザーによって使用されるものとする。
【００１２】
まず、ＭＦＰ１００は、パネル部１１０、カメラ１２０、集音マイク１３０等を備えている。パネル部１１０は、たとえばＭＦＰ１００の印刷機能、コピー機能、ＦＡＸ機能、ネットワーク経由でのデータ送受信機能等の選択内容の表示等を行うタッチパネルである。また、パネル部１１０は、ＭＦＰ１００の操作に関するナビゲーション等を表示する。カメラ１２０は、ＭＦＰ１００を使用するユーザーの表情や振る舞いを撮影する。なお、カメラ１２０は、静止画を撮影するものであってもよいし、動画を撮影するものであってもよい。カメラ１２０は、静止画を撮影する場合、たとえば３秒置きにユーザーの表情や振る舞いを撮影する。これにより、静止画であっても、ユーザーの表情の変化を撮影できる。集音マイク１３０は、ＭＦＰ１００を使用するユーザーの音声（唸り声やため息等）を取り込む。
【００１３】
なお、符号２００は、呼び出しランプ２１０等の報知装置を有するレジカウンターを示している。報知装置としては、呼び出しランプ２１０に限らず、表示パネルであってもよいし、スピーカーであってもよいし、携帯端末であってもよい。また、符号３００は、壁等に貼り付けされている、ＭＦＰ１００の操作方法等を示す説明書を示している。ここで、詳細については後述するが、カメラ１２０がユーザーの視線Ａを捉えると、ユーザーが店員を探していると判定できる。また、カメラ１２０がユーザーの視線Ｂを捉えると、ユーザーが説明書３００の内容を確認していると判定できる。つまり、ユーザーの視線Ａは、レジカウンター２００の方向であり、店員が接客する場所でもある。また、ユーザーの視線Ｂは、説明書３００が壁等に貼り付けられている方向である。また、ユーザーが説明書３００の内容を確認するということは、パネル部１１０に表示されたナビゲーションの内容を理解できないことを間接的に示すものでもある。ここで、レジカウンター２００の方向及び説明書３００が壁等に貼り付けられている方向（視線の角度）は、ＭＦＰ１００に登録されている。
【００１４】
次に、図２を参照し、ＭＦＰ１００の構成について説明する。ＭＦＰ１００は、判定部１４０と、制御部１５０とを備えている。判定部１４０は、パネル部１１０、カメラ１２０、集音マイク１３０からの操作データ、画像データ、音声データに基づき、ユーザーの操作支援に関する判定を行う。判定部１４０は、操作判定部１４１、表情判定部１４２、振る舞い判定部１４３、音声判定部１４４を有している。操作判定部１４１は、パネル部１１０を介してのユーザーの操作に基づいた操作データから操作が完了したか、操作が途中で止まったか等のユーザー操作状況を判定する。表情判定部１４２は、カメラ１２０が取り込んだユーザーの表情から困っているかどうかを判定する。なお、表情判定部１４２は、困っている表情のモデル画像との比較等により、ユーザーが困っているかどうかを判定してもよい。
【００１５】
振る舞い判定部１４３は、カメラ１２０がユーザーの視線Ａを捉えると、ユーザーが店員を探していると判定する。また、振る舞い判定部１４３は、カメラ１２０がユーザーの視線Ｂを捉えると、ユーザーが説明書３００の内容を確認していると判定する。すなわち、振る舞い判定部１４３は、ユーザーの店員を探すとした振る舞い、又は説明書３００の内容を確認するとした振る舞いから、手助けが必要であることを間接的に判定できる。なお、振る舞い判定部１４３は、カメラ１２０がユーザーの視線Ａ又は視線Ｂを捉えた後、特定の時間（例えば、３秒以上等）視線Ａ又は視線Ｂが維持されたことを認識した場合に、ユーザーが店員を探している又はユーザーが説明書３００の内容を確認していると判定しても良い。また、ユーザーが説明書３００の内容を確認するとした振る舞いは、パネル部１１０に表示されたナビゲーションの内容を理解できないことを間接的に示すものでもある。音声判定部１４４は、集音マイク１３０が取り込んだ音声が、たとえば「困ったなぁ」というような独り言や、「う〜ん」といったような唸り声やため息の場合、ＭＦＰ１００の操作に手間取っていると判定する。
【００１６】
制御部１５０は、メイン制御部１５１、ナビゲーション制御部１５２、ヘルプ通知制御部１５３を有している。メイン制御部１５１は、操作判定部１４１、表情判定部１４２、音声判定部１４４のいずれかが、操作に手間取っていると判定した場合、ナビゲーション制御部１５２に対し、ナビゲーションを指示する。また、メイン制御部１５１は、振る舞い判定部１４３が店員を探していると判定した場合や、説明書３００の内容を確認しているとしたと判定した場合、ヘルプ通知制御部１５３に対し、ヘルプ通知を指示する。ナビゲーション制御部１５２は、パネル部１１０に対し、操作に関するナビゲーションを表示させる。ヘルプ通知制御部１５３は、レジカウンター２００の呼び出しランプ２１０を点灯させる。なお、ヘルプ通知制御部１５３は、レジカウンター２００に、表示パネル、又はスピーカーが設けられている場合は、表示パネルによるヘルプ通知の表示、又はスピーカーによるヘルプ通知の音の発生等を行わせてもよい。また、ヘルプ通知制御部１５３は、レジカウンター２００に、携帯端末が設けられている場合、携帯端末を呼び出してもよい。
【００１７】
次に、図３を参照し、ＭＦＰ１００による、ユーザー操作支援について説明する。
【００１８】
（ステップＳ１０１）
制御部１５０のメイン制御部１５１は、使用開始かどうかを判断する。
この場合、メイン制御部１５１は、たとえばパネル部１１０を介して開始ボタンが操作されなければ、使用開始ではないと判断する（ステップＳ１０１：Ｎｏ）。
これに対し、メイン制御部１５１は、たとえばパネル部１１０を介して開始ボタンが操作されると、使用開始と判断し（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に移行する。
【００１９】
（ステップＳ１０２）
制御部１５０のメイン制御部１５１は、操作が完了したかどうかを判断する。
この場合、メイン制御部１５１は、判定部１４０の操作判定部１４１が操作データに基づくユーザー操作状況から操作が完了したと判定すると、操作が完了したと判断し（ステップＳ１０２：Ｙｅｓ）、処理を終了する。
これに対し、メイン制御部１５１は、判定部１４０の操作判定部１４１が操作データに基づくユーザー操作状況から操作が完了していないと判定すると、操作が完了していないと判断し（ステップＳ１０２：Ｎｏ）、ステップＳ１０３に移行する。
すなわち、ユーザーは、ＭＦＰ１００の機能のうち、たとえばコピー機能を使用するものとする。この場合の操作としては、たとえば原稿のセット、コピー枚数の設定、コインベンダーへのお金の投入、コピー開始のボタン操作等が一連の操作となる。
よって、操作判定部１４１は、パネル部１１０を介してのユーザーの操作に基づいた操作データから操作が完了したかどうかを判定できる。
【００２０】
（ステップＳ１０３）
制御部１５０のメイン制御部１５１は、ナビゲーションが必要かどうかを判断する。
この場合、メイン制御部１５１は、操作判定部１４１、表情判定部１４２、音声判定部１４４のいずれか、又は全てが操作に手間取っていると判定しない場合、ナビゲーションが必要でないと判断し（ステップＳ１０３：Ｎｏ）、ステップＳ１０２に戻る。
これに対し、メイン制御部１５１は、操作判定部１４１、表情判定部１４２、音声判定部１４４のいずれか、又は全てが操作に手間取っていると判定した場合、ナビゲーションが必要であると判断する（ステップＳ１０３：Ｙｅｓ）。
すなわち、上述したように、操作判定部１４１は、パネル部１１０を介してのユーザーの操作に基づいた操作データから操作が完了したか、操作が途中で止まったか等のユーザー操作状況を判定する。また、表情判定部１４２は、カメラ１２０が取り込んだユーザーの表情から困っているかどうかを判定する。また、音声判定部１４４は、集音マイク１３０が取り込んだ音声が、たとえば「困ったなぁ」というような独り言や、「う〜ん」といったような唸り声やため息の場合、ＭＦＰ１００の操作に手間取っていると判定する。
【００２１】
（ステップＳ１０４）
メイン制御部１５１は、ナビゲーション制御部１５２に対し、ナビゲーションを指示する。
このとき、ナビゲーション制御部１５２は、パネル部１１０に対し、操作に関するナビゲーションを表示させる。
このように、メイン制御部１５１は、操作判定部１４１、表情判定部１４２、音声判定部１４４のいずれか、又は全てが操作に手間取っていると判定した場合、ナビゲーションを表示させることにより、ユーザーに対してパネル部１１０を介し操作方法を知らせることができる。
【００２２】
（ステップＳ１０５）
制御部１５０のメイン制御部１５１は、操作が完了したかどうかを判断する。
この場合、メイン制御部１５１は、操作判定部１４１がパネル部１１０を介してのユーザーの操作に基づいた操作データから操作が完了したと判定すると、操作が完了したと判断し（ステップＳ１０５：Ｙｅｓ）、処理を終了する。
これに対し、制御部１５０は、操作判定部１４１がパネル部１１０を介してのユーザーの操作に基づいた操作データから操作が完了していないと判定すると、操作が完了していないと判断し（ステップＳ１０５：Ｎｏ）、ステップＳ１０６に移行する。
【００２３】
（ステップＳ１０６）
制御部１５０のメイン制御部１５１は、店員への通知が必要かどうかを判断する。
この場合、メイン制御部１５１は、振る舞い判定部１４３がユーザーの視線Ａ、又は視線Ｂに基づく店員を探すとした振る舞い、又は説明書３００の内容を確認するとした振る舞いを判定しない場合、店員への通知が必要でないと判断し（ステップＳ１０６：Ｎｏ）、ステップＳ１０５に戻る。
これに対し、メイン制御部１５１は、振る舞い判定部１４３がユーザーの視線Ａ、又は視線Ｂに基づく店員を探すとした振る舞い、又は説明書３００の内容を確認するとした振る舞いを判定した場合、店員への通知が必要であると判断し（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７に移行する。
【００２４】
（ステップＳ１０７）
メイン制御部１５１は、ヘルプ通知制御部１５３に対し、ヘルプ通知を指示する。
このとき、ヘルプ通知制御部１５３は、レジカウンター２００の呼び出しランプ２１０を点灯させる。なお、ヘルプ通知制御部１５３は、レジカウンター２００に、表示パネル、又はスピーカーが設けられている場合は、表示パネルによるヘルプ通知の表示、又はスピーカーによるヘルプ通知の音の発生等を行わせる。また、ヘルプ通知制御部１５３は、レジカウンター２００に、携帯端末が設けられている場合、携帯端末を呼び出す。
【００２５】
このように、本実施形態では、表情判定部１４２によりカメラ１２０が取り込んだ画像から操作に手間取っているかどうかを判定し、振る舞い判定部１４３により、カメラ１２０が取り込んだ画像から振る舞いを判定し、音声判定部１４４により、集音マイク１３０が取り込んだ音声から操作に手間取っているかどうかを判定し、メイン制御部１５１により、表情判定部１４２及び／又は音声判定部１４４が操作に手間取っていると判定した場合、パネル部１１０にナビゲーションを表示させ、振る舞い判定部１４３が手助けを必要とする振る舞いと判定した場合、ヘルプ通知の出力を指示する。
【００２６】
これにより、パネル部１１０に表示されるナビゲーションにより、ユーザーに対して操作方法を知らせることができる。一方、パネル部１１０に表示されるナビゲーションによる操作方法が分からない場合、振る舞い判定部１４３がユーザーの振る舞いから手助けを必要とすることを判定することで、ヘルプ通知を出力でき、店員に手助けが必要であることを知らせることができる。このように、ヘルプ通知を出力することで、店員が接客中であったり、店員が見当たらなかったりした場合でも、店員に手助けが必要であることを知らせることができ、店員が気づいてくれるまで待たされてしまうことを抑制できる。
【００２７】
なお、図３のステップＳ１０３において、メイン制御部１５１は、振る舞い判定部１４３がユーザーの視線Ａ、又は視線Ｂに基づく店員を探すとした振る舞い、又は説明書３００の内容を確認するとした振る舞いを判定した場合、ナビゲーションが必要であると判断してもよい。
【００２８】
また、図３のステップＳ１０６において、メイン制御部１５１は、操作判定部１４１、表情判定部１４２、音声判定部１４４のいずれか、又は全てが操作に手間取っていると判定した場合、店員への通知が必要であると判断してもよい。
【符号の説明】
【００２９】
１００  ＭＦＰ
１１０  パネル部
１２０  カメラ
１３０  集音マイク
１４０  判定部
１４１  操作判定部
１４２  表情判定部
１４３  振る舞い判定部
１４４  音声判定部
１５０  制御部
１５１  メイン制御部
１５２  ナビゲーション制御部
１５３  ヘルプ通知制御部
２００  レジカウンター
２１０  呼び出しランプ
３００  説明書
Ａ、Ｂ  視線
【図１】
2019101775.tif 000003
【図２】
2019101775.tif 000004
【図３】
2019101775.tif 000005