(57)【要約】【目的】ユーザの表情に応じて，操作しやすい画面表示にする。【構成】券売機を利用するユーザが撮像され（ステップ21），ユーザの顔画像が抽出される（ステップ22）。抽出された顔画像から，ユーザの顔が表示画面を見づらい表情に変換したどうかが確認される（ステップ23）。見づらい顔の表情となると（ステップ23でＹＥＳ），券売機の表示画面に表示される運賃表示の区画が大きくされる（ステップ24）。運賃表示の区画が大きくなるので，操作しやすくなる。【選択図】図４
2008234401.tif 000002
【特許請求の範囲】
【請求項１】
表示画面にタッチ・パネルが形成されている表示装置，上記表示画面に複数の区画が表示されるように上記表示装置を制御する第１の表示制御手段，上記複数の区画のうち操作者によってタッチされた区画がどの区画かを上記タッチ・パネルにおけるタッチ位置にもとづいて検出するタッチ区画検出手段および上記タッチ区画検出手段よって検出された区画に対応した指令が与えられるユーザ・インターフェイス装置において，
上記操作者を撮像する撮像手段，
上記撮像手段によって撮像された操作者の動作または表情にもとづいて，上記表示画面における複数の区画の表示の態様を変更する必要があるかどうかを判定する第１の判定手段，ならびに
上記第１の判定手段により，上記表示の態様を変更する必要があると判定されたことに応じて，上記表示画面における表示の態様を変更するように，上記表示装置を制御する第２の表示制御手段，
を備えたユーザ・インターフェイス装置。
【請求項２】
上記第２の表示制御手段は，上記第１の判定手段により上記表示の態様を変更する必要があると判定されたことに応じて，上記区画の大きさが大きくなるように上記表示画面における表示の態様を変更する，あるいは操作ガイダンスが表示されるように上記表示画面における表示の態様を変更するように上記表示装置を制御するものである，
請求項１に記載のユーザ・インターフェイス装置。
【請求項３】
上記撮像手段により撮像された操作者が子供かどうかを判定する第２の判定手段をさらに備え，
上記第１の判定手段は，上記第２の判定手段により操作者が子供であると判定されたことに応じて，上記表示の態様を変更する必要があると判定されるものであり，
上記第２の表示制御手段は，上記表示画面の下方に上記複数の区画が表示されるように表示の態様を変更する，あるいは上記表示画面に表示される文字をひらがなにするように表示の態様を変更するものである，
請求項１に記載のユーザ・インターフェイス装置。
【請求項４】
上記撮像手段により撮像された操作者が上記表示画面に向かっているかどうかを判定する第３の判定手段をさらに備え，
上記第１の判定手段は，上記第３の判定手段により操作者が上記表示画面に向かっていると判定されたことに応じて，上記表示の態様を変更する必要があると判定されるものであり，
上記第２の表示制御手段は，上記表示画面に表示される画像の輝度を高くすることにより表示の態様を変更するものである，
請求項１に記載のユーザ・インターフェイス装置。
【請求項５】
上記撮像手段により撮像された操作者が，上記表示画面上に指を近づけているかどうかを判定する第４の判定手段，および
上記第４の判定手段により，上記表示画面上に指を近づけていると判定されたことに応じて，上記指の位置を検出する位置センサをさらに備え，
上記第１の判定手段は，上記第４の判定手段により上記表示画面に指を近づけていると判定されたことに応じて，上記表示の態様を変更する必要があると判定されるものであり，
上記第２の表示制御手段は，上記複数の区画のうち上記位置センサによって検出された位置の近傍の区画を他の区画と比べて大きくすることにより表示の態様を変更するものである，
請求項１に記載のユーザ・インターフェイス装置。
【請求項６】
上記ユーザ・インターフェイス装置は，電車またはバスの切符を購入する券売機におけるユーザ・インターフェイス装置であり，
上記第２の表示制御手段は，上記複数の区画を表示する態様から路線図を表示する態様に変更するように上記表示装置を制御するものである，
請求項１に記載のユーザ・インターフェイス装置。
【請求項７】
表示画面にタッチ・パネルが形成されている表示装置，上記表示画面に複数の区画が表示されるように上記表示装置を制御する第１の表示制御手段，上記複数の区画のうち操作者によってタッチされた区画がどの区画かを上記タッチ・パネルにおけるタッチ位置にもとづいて検出するタッチ区画検出手段および上記タッチ区画検出手段よって検出された区画に対応した指令が与えられるユーザ・インターフェイス装置の動作制御方法において，
撮像手段が，上記操作者を撮像し，
判定手段が，上記撮像手段によって撮像された操作者の動作または表情にもとづいて，上記表示画面における複数の区画の表示の態様を変更する必要があるかどうかを判定し，
第２の表示制御手段が，上記判定手段により，上記表示の態様を変更する必要があると判定されたことに応じて，上記表示画面における表示の態様を変更するように，上記表示装置を制御する，
ユーザ・インターフェイス装置の動作制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，ユーザ・インターフェイス装置およびその動作制御方法に関する。
【背景技術】
【０００２】
銀行のＡＴＭ（automatic teller machine），駅の券売機などでは，表示画面に複数の区画が表示され，それらの複数の区画の中から所望の区画がタッチされる。たとえば，ＡＴＭであれば，複数の区画のそれぞれに数字が表示されており，これらの区画がタッチされることにより暗証番号，口座番号などが入力される。また，券売機であれば，複数の区画のそれぞれに運賃が表示されており，行き先の運賃が表示されている区画がタッチされる。
【０００３】
とくに，お年寄りや子供にとっては操作が難しいので，係員，駅員が操作を教えることがある。銀行のＡＴＭなどにおいてカメラを用いて待っているお客を撮像し，お客の人数に応じてＡＴＭの稼動，停止を制御するものがある（特許文献１）。
【特許文献１】特開2005-267010号公報
【０００４】
しかしながら，操作を分かりやすくするものではない。
【発明の開示】
【０００５】
この発明は，操作者に応じて操作を分かりやすくすることを目的とする。
【０００６】
この発明は，表示画面にタッチ・パネルが形成されている表示装置，上記表示画面に複数の区画が表示されるように上記表示装置を制御する第１の表示制御手段，上記複数の区画のうち操作者によってタッチされた区画がどの区画かを上記タッチ・パネルにおけるタッチ位置にもとづいて検出するタッチ区画検出手段および上記タッチ区画検出手段よって検出された区画に対応した指令が与えられるユーザ・インターフェイス装置において，  上記操作者を撮像する撮像手段，上記撮像手段によって撮像された操作者の動作または表情にもとづいて，上記表示画面における複数の区画の表示の態様を変更する必要があるかどうかを判定する第１の判定手段，ならびに上記第１の判定手段により，上記表示の態様を変更する必要があると判定されたことに応じて，上記表示画面における表示の態様を変更するように，上記表示装置を制御する第２の表示制御手段を備えていることを特徴とする。
【０００７】
この発明は，上記ユーザ・インターフェイス装置に適した動作制御方法も提供している。すなわち，この方法は，表示画面にタッチ・パネルが形成されている表示装置，上記表示画面に複数の区画が表示されるように上記表示装置を制御する第１の表示制御手段，上記複数の区画のうち操作者によってタッチされた区画がどの区画かを上記タッチ・パネルにおけるタッチ位置にもとづいて検出するタッチ区画検出手段および上記タッチ区画検出手段よって検出された区画に対応した指令が与えられるユーザ・インターフェイス装置の動作制御方法において，撮像手段が，上記操作者を撮像し，判定手段が，上記撮像手段によって撮像された操作者の動作または表情にもとづいて，上記表示画面における複数の区画の表示の態様を変更する必要があるかどうかを判定し，第２の表示制御手段が，上記判定手段により，上記表示の態様を変更する必要があると判定されたことに応じて，上記表示画面における表示の態様を変更するように，上記表示装置を制御するものである。
【０００８】
この発明によると，操作者が撮像される。撮像された操作者の動作または表情にもとづいて表示画面における表示の態様を変更する必要があるかどうかが判定される。表示の態様を変更する必要があると判定された場合には，表示画面における表示の態様が変更される。操作者の表情等に応じて，操作者が操作しやすいような表示に変更することができるようになる。
【０００９】
上記第２の表示制御手段は，たとえば，上記第１の判定手段により上記表示の態様を変更する必要があると判定されたことに応じて，上記区画の大きさが大きくなるように上記表示画面における表示の態様を変更する，あるいは操作ガイダンスが表示されるように上記表示画面における表示の態様を変更するように上記表示装置を制御するものである。
【００１０】
上記撮像手段により撮像された操作者が子供かどうかを判定する第２の判定手段をさらに備えてもよい。この場合，上記第１の判定手段は，上記第２の判定手段により操作者が子供であると判定されたことに応じて，上記表示の態様を変更する必要があると判定されるものであり，上記第２の表示制御手段は，上記表示画面の下方に上記複数の区画が表示されるように表示の態様を変更する，あるいは上記表示画面に表示される文字をひらがなにするように表示の態様を変更するものとなろう。
【００１１】
上記撮像手段により撮像された操作者が上記表示画面に向かっているかどうかを判定する第３の判定手段をさらに備えてもよい。この場合，上記第１の判定手段は，上記第３の判定手段により操作者が上記表示画面に向かっていると判定されたことに応じて，上記表示の態様を変更する必要があると判定されるものであり，上記第２の表示制御手段は，上記表示画面に表示される画像の輝度を高くすることにより表示の態様を変更するものとなろう。
【００１２】
上記撮像手段により撮像された操作者が，上記表示画面上に指を近づけているかどうかを判定する第４の判定手段，および上記第４の判定手段により，上記表示画面上に指を近づけていると判定されたことに応じて，上記指の位置を検出する位置センサをさらに備えてもよい。この場合，上記第１の判定手段は，上記第４の判定手段により上記表示画面に指を近づけていると判定されたことに応じて，上記表示の態様を変更する必要があると判定されるものとなろう。
【００１３】
上記第２の表示制御手段は，たとえば，上記複数の区画のうち上記位置センサによって検出された位置の近傍の区画を他の区画と比べて大きくすることにより表示の態様を変更するものである。
【００１４】
上記ユーザ・インターフェイス装置は，たとえば，電車またはバスの切符を購入する券売機におけるユーザ・インターフェイス装置である。この場合，上記第２の表示制御手段は，上記複数の区画を表示する態様から路線図を表示する態様に変更するように上記表示装置を制御するものである。
【実施例】
【００１５】
図１は，この発明の実施例を示すもので，電車の切符を販売する券売機の外観を示している。
【００１６】
券売機１によって切符を購入しようとするユーザＵは，券売機１の前方に立って券売機１を操作する。
【００１７】
券売機１の前面の上部は，傾斜している。この傾斜面１Ａのほぼ全体にわたって表示画面３が設けられている。表示画面３には，切符を購入するための操作ガイダンスの表示領域４のほかに多数の区画５が表示されている。区画５には，運賃が表示されている（図３参照）。表示画面３にはタッチ・パネルが形成されており，多数の区画５のうちどの区画がユーザＵによってタッチされたかが検出される。タッチされた区画に対応する運賃に相当する切符が券売機１から排出される。
【００１８】
券売機１の前面のおける傾斜面１Ａの左上部にはディジタル・カメラ２が設けられている。このディジタル・カメラ２によって，券売機１を操作しているユーザＵが撮像される。また，傾斜面１Ａの右上部には位置センサ９が設けられている。この位置センサ９によって，ユーザＵがタッチしようとしている表示画面３の区画の位置が検出される。
【００１９】
券売機１の前面の下部は垂直面１Ｂである。この垂直面１Ｂの右上部には硬貨投入口６および紙幣挿入口７が形成されている。また，垂直面１Ｂの左上部には切符の排出口８が形成されている。
【００２０】
図２は，券売機１の電気的構成を示すブロック図である。
【００２１】
券売機１の全体の動作は，コンピュータ10によって統括される。
【００２２】
券売機１には，上述したように，ディジタル・カメラ２が設けられており，コンピュータ10に接続されている。ディジタル・カメラ２によって撮像されたユーザＵの被写体像を表す画像データは，メモリ11に入力する。メモリ11には，所定のデータ等が記憶されているほか，多数の表情をもつ多数の顔画像を表す画像データが記憶されている。
【００２３】
また，券売機１には，硬貨投入口６から投入された硬貨および紙幣挿入口７から挿入された紙幣を選別するための硬貨／紙幣選別装置12も含まれている。硬貨／紙幣選別装置12において，硬貨および紙幣の真偽が確認されるのはいうまでもない。
【００２４】
さらに，券売機１には，上述した表示画面３をもつ表示装置14が含まれている。この表示装置14の表示画面３には，上述したようにタッチ・パネル15が形成されている。また，上述したように，位置センサ９がコンピュータ10に接続されている。
【００２５】
この実施例による券売機１は，ユーザＵを撮像し，ユーザＵの被写体像から顔画像を抽出することができる。抽出された顔画像の表情の変化に応じて，表示画面３における表示の態様が変化する。顔の表情の認識は，たとえば，顔画像から高次局自己相関特徴を抽出し，かつ重みマップを導入して得られる高次局自己相関特徴を線形判別分析に適用したフィッシャー重みマップを用いた顔表情認識により実現できる。また，この実施例による券売機１では，撮像されたユーザＵの身長からユーザＵが子供かどうかが判断される。子供（または身長の低いユーザ）と判断されると，その子供が操作しやすいように表示画面３における表示の態様が変わる。
【００２６】
さらに，この実施例による券売機１においては，ユーザＵの顔が表示画面３に向いているかどうかが判断される。顔が表示画面３に向いている場合には，表示画面３に表示される画像の輝度が高くされる。顔が表示画面３に向いているかどうかは，顔画像抽出において正面向きの顔画像が抽出されたかどうかによって判断できよう。また，ユーザＵの指の位置が位置センサ９によって検出され，検出された位置近傍の区画が大きくなるように表示画面３における表示の態様が変わる。さらに，ユーザＵが行き先の運賃が分からないような素振りを見せた場合にも表示画面３における表示の態様が変わる。
【００２７】
図３は，表示画面３に表示されている通常の画像の一例である。
【００２８】
上述したように，表示画面３には，表示ガイダンス領域４と多数の区画５が表示されている。表示ガイダンス領域４には，券売機１の操作方法を示す文章が表示されている。多数の区画５のそれぞれの区画には，異なった運賃を示す数字が表示されている。ユーザＵは，所望の目的地までの運賃に対応した数字が表示されている区画５をタッチする。
【００２９】
図４は，券売機１の処理手順を示すフローチャートである。
【００３０】
まず，券売機１のユーザＵが連続的に撮像される（ステップ21）。撮像されたユーザＵの被写体像から所定時間ごとの顔画像が抽出される（ステップ22）。抽出された顔画像から，表示画面３を見づらそうにしている顔になったかどうかが確認される（ステップ23）。
【００３１】
図５（Ａ）および（Ｂ）は，抽出されたユーザの顔画像の一例である。図５（Ａ）の顔画像31は，普通の表情の顔画像の一例を示し，図５（Ｂ）の顔画像32は，目を細めている表情の顔画像の一例である。このように，普通の顔の表情から，目を細めるなど顔の表情が変化した場合に，表示画面３を見づらそうにしている顔となったものと判断される。
【００３２】
図４に戻って，ユーザＵの顔画像が表示画面３を見づらそうにしている顔になった場合には（ステップ23でＹＥＳ），表示画面３に表示される区画５の大きさが，区画５に表示されている数字とともに大きくされる（ステップ24）。区画５内に表示されている運賃が見やすくなる。
【００３３】
図６は，表示画面３に表示される画像の一例である。
【００３４】
上述のように，表示画面３の上部にガイダンス表示領域４が表示されている。このガイダンス表示領域４の下部には，多数の区画41が表示されている。これらの多数の区画41は，通常の大きさのものよりも大きくなっており，区画41内に表示されている運賃を表す数字も大きくなっている（図３を参照）。このように，表示画面３を見づらそうにしているユーザＵの場合には，区画およびその区画内に表示される運賃も大きくなるので，見やすくなる。
【００３５】
図７および図８は，変形例を示すもので，表示画面３に表示される画像の一例である。
【００３６】
上述の実施例においては，ユーザＵが見づらそうな顔の表情となったら大きな区画が表示画面に表示されるものであったが，必ずしも数字が見づらい場合でないこともある。このために，図７および図８においては，ユーザＵが見づらそうな顔の表情となった場合には行き先の運賃が分からないものであると考えて，表示画面３に運賃を表示するのではなく，行き先の駅名を表示するものである。
【００３７】
図７を参照して，表示画面３の全体には，多数の区画42が表示されているが，これらの多数の区画42の中には路線名が表示されている。表示画面３の下部には，行き先の駅のある路線の区画42に触れるように指示する操作ガイダンス表示領域43が表示されている。ユーザＵは，行き先の駅の路線に対応する区画42をタッチすることとなる。
【００３８】
行き先の駅の路線に対応する区画がタッチされると，図８に示すように表示画面３が切り替わる。
【００３９】
図８を参照して，表示画面３の全体にも多数の区画44が表示されているが，これらの多数の区画44の中には駅名が表示されている。表示画面３の下部には，行き先の駅名が表示されている区画44に触れるように指示する操作ガイダンス表示領域45が表示されている。ユーザＵは，行き先の駅に対応する区画44をタッチすることとなる。すると，行き先に応じた運賃が表示画面３に表示され，その運賃が券売機１に投入されると切符が排出される。
【００４０】
図９から図11は，他の実施例を示すものである。
【００４１】
図９は，券売機１の処理手順を示すフローチャートである。
【００４２】
ユーザＵが撮像されると（ステップ51），ユーザＵのおよその身長からユーザが子供かどうかが確認される（ステップ52）。ユーザＵが子供と判断されると（ステップ52でＹＥＳ），表示画面はひらがな表示または区画が表示画面の下方にくるように表示の態様が変えられる（ステップ53）。
【００４３】
図10は，表示画面３に表示される画像の一例である。
【００４４】
表示画面３の上部には操作ガイダンス表示領域61が表示されている。この操作ガイダンス表示領域61内には操作方法を示す文章が表示されているが，漢字表記はなくすべとひらがな表記である。子供でも操作ガイダンスを読むことができる。好ましくは，操作ガイダンスは子供でも理解できるように，表現の簡単な文章にする。操作ガイダンス表示領域61の下方には，運賃を示す大きさの大きい区画41が表示される。
【００４５】
図11は，表示画面３に表示される他の画像の一例である。
【００４６】
表示画面３の中央部分に操作ガイダンス表示領域61が表示されている。この操作ガイダンス表示領域61の下方に多数の区画46が表示されている。子供は背が低いが，タッチすべき区画46は，表示画面３の下方に集まっているので，タッチすべき区画46が高すぎて区画46をタッチできないということを未然に防止できる。
【００４７】
図12は，さらに他の実施例を示すもので，券売機１の処理手順を示すフローチャートである。
【００４８】
ユーザＵが撮像され（ステップ61），被写体像から顔画像が抽出される（ステップ62）。抽出された顔画像から，ユーザＵの顔が表示画面３に向いているかどうかが確認される（ステップ63）。ユーザの顔が表示画面３に向いているのであれば，ユーザＵは表示画面３を見ているから，見やすくなるように表示画面３に表示されている画像の輝度が高くされる（ステップ64）。
【００４９】
図13および図14は，さらに他の実施例を示すものである。
【００５０】
図13は，券売機１の処理手順を示すフローチャートである。
【００５１】
ユーザＵが撮像され（ステップ71），ユーザＵの指が表示画面３に近づいたかどうかが位置センサによって検出されると（ステップ72でＹＥＳ），指が近づいた部分の近くに表示されている区画が大きくされる（ステップ73）。
【００５２】
図14は，表示画面に表示される画像の一例である。
【００５３】
表示画面３の上部には操作ガイダンス表示領域４が形成されている。操作ガイダンス表示領域４の下方には，通常の大きさの区画81が多数表示されている。ユーザＵの指83が表示画面３に近づくと，上述のように位置センサによってその指の位置が検出される。検出された位置の近くにある区画が大きくされる（区画82）。ユーザＵの指の近くにある区画は，ユーザＵがタッチしようとしているものであるから，タッチしようとしている区画が大きく表示され，タッチしやすくなる。
【００５４】
図15および図16は，さらに他の実施例を示すものである。
【００５５】
図15は，券売機１の処理手順を示すフローチャートである。
【００５６】
ユーザＵが撮像され（ステップ91），ユーザＵが表示画面３以外の所を見ているかどうかが確認される（ステップ92）。ユーザＵが表示画面３以外の所を見ている場合には（ステップ93），ユーザＵは行き先の運賃が分からずに路線図を見ているもの考えられるので，表示画面３には路線図が表示される（ステップ93）。
【００５７】
図16は，表示画面３に表示される画像の一例である。
【００５８】
表示画面３には，運賃の表示付きの路線図100が表示されている。この路線図100は，券売機１のある駅が含まれている路線図であり，その駅を示す区画101のほかに，その駅から他の駅までの運賃を示す区画102〜106も路線図上に表示されている。これらの区画102〜106のうち，行き先の駅の区画がタッチされて運賃が支払われることにより，行き先までの切符が券売機１から排出される。
【００５９】
上述した実施例においては，券売機のものであったが，券売機に限らず，銀行などに配置されているＡＴＭ，入場券を購入はる販売機などユーザが操作する装置に適用できる。
【図面の簡単な説明】
【００６０】
【図１】券売機の外観を示している。
【図２】券売機の電気的構成を示すブロック図である。
【図３】表示画面の一例である。
【図４】券売機の処理手順を示すフローチャートである。
【図５】（Ａ）および（Ｂ）は，ユーザの顔画像の一例である。
【図６】表示画面の一例である。
【図７】表示画面の一例である。
【図８】表示画面の一例である。
【図９】券売機の処理手順を示すフローチャートである。
【図１０】表示画面の一例である。
【図１１】表示画面の一例である。
【図１２】券売機の処理手順を示すフローチャートである。
【図１３】券売機の処理手順を示すフローチャートである。
【図１４】表示画面の一例である。
【図１５】券売機の処理手順を示すフローチャートである。
【図１６】表示画面の一例である。
【符号の説明】
【００６１】
１  券売機
２  ディジタル・カメラ
３  表示画面
４，43，45，61  ガイダンス表示領域
５，41，42，44，46，81，82  区画
９  位置センサ
10  コンピュータ
14  表示装置
15  タッチ・パネル
【図１】
2008234401.tif 000003
【図２】
2008234401.tif 000004
【図３】
2008234401.tif 000005
【図４】
2008234401.tif 000006
【図５】
2008234401.tif 000007
【図６】
2008234401.tif 000008
【図７】
2008234401.tif 000009
【図８】
2008234401.tif 000010
【図９】
2008234401.tif 000011
【図１０】
2008234401.tif 000012
【図１１】
2008234401.tif 000013
【図１２】
2008234401.tif 000014
【図１３】
2008234401.tif 000015
【図１４】
2008234401.tif 000016
【図１５】
2008234401.tif 000017
【図１６】
2008234401.tif 000018