(57)【要約】【課題】記入用紙への記入を行っている記入者の行動に応じた支援処理を実行する。【解決手段】所定の検出情報を検出する検出装置Ｓと接続された操作端末１００であって、検出装置Ｓにより検出された所定の検出情報を解析して解析結果を取得する解析部Ｈと、解析部Ｈにより取得された解析結果に基づいて、記入用紙への記入を行う記入者の行動を推定する行動推定部１２０と、行動推定部１２０により推定された行動に応じて記入者への所定の支援処理を実行する処理部１３０と、を備えることを特徴とする、操作端末１００を提供する。【選択図】図２
2012033008.tif 000002
【特許請求の範囲】
【請求項１】
所定の検出情報を検出する検出装置と接続された情報処理装置であって、
前記検出装置により検出された前記所定の検出情報を解析して解析結果を取得する解析部と、
前記解析部により取得された前記解析結果に基づいて、記入用紙への記入を行う記入者の行動を推定する行動推定部と、
前記行動推定部により推定された前記行動に応じて前記記入者への所定の支援処理を実行する処理部と、
を備えることを特徴とする、情報処理装置。
【請求項２】
前記検出装置は、
前記記入者により発せられる音声を集音することによって前記記入者の発話音声を前記所定の検出情報として取得し、
前記解析部は、
前記発話音声を解析することにより前記解析結果を取得する、
ことを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記検出装置は、
前記記入者の顔を撮影することによって前記記入者の顔画像を前記所定の検出情報として取得し、
前記解析部は、
前記顔画像を解析することにより前記解析結果を取得する、
ことを特徴とする、請求項１に記載の情報処理装置。
【請求項４】
前記検出装置は、
前記記入用紙を撮影することによって前記記入用紙の画像を前記所定の検出情報として取得し、
前記解析部は、
前記記入用紙の画像を解析することにより前記解析結果を取得する、
ことを特徴とする、請求項１に記載の情報処理装置。
【請求項５】
前記検出装置は、
前記記入用紙に加えられる圧力を測定することによって前記圧力を前記所定の検出情報として取得し、
前記解析部は、
前記圧力を解析することにより前記解析結果を取得する、
ことを特徴とする、請求項１に記載の情報処理装置。
【請求項６】
前記所定の検出情報を解析することにより取得される解析結果と前記記入者の行動を示す行動情報とを対応付けて記憶する記憶部をさらに備え、
前記行動推定部は、
前記解析部により取得された前記解析結果に対応付けられて前記記憶部により記憶されている前記行動情報を取得することにより、前記記入者の行動を推定する、
ことを特徴とする、請求項１に記載の情報処理装置。
【請求項７】
前記記憶部は、
前記所定の支援処理を識別するための処理識別情報を前記行動情報に対応付けてさらに記憶し、
前記処理部は、
前記行動推定部により取得された前記行動情報に対応付けられて前記記憶部により記憶されている前記処理識別情報を取得し、取得した前記処理識別情報により識別される前記支援処理を実行する、
ことを特徴とする、請求項６に記載の情報処理装置。
【請求項８】
前記解析部を複数備え、前記解析部により複数の解析結果を取得し、
前記記憶部は複数の解析結果と行動情報とを対応付けて記憶している
ことを特徴とする、請求項６に記載の情報処理装置。
【請求項９】
所定の検出情報を検出する検出装置と接続された情報処理装置により実行される支援方法であって、
前記情報処理装置は、
前記検出装置により検出された前記所定の検出情報を解析して解析結果を取得するステップと、
前記解析結果に基づいて、記入用紙への記入を行う記入者の行動を推定するステップと、
前記行動に応じて前記記入者への所定の支援処理を実行するステップと、
を含むことを特徴とする、支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および支援方法に関するものである。
【背景技術】
【０００２】
従来、商業銀行業務を営む一般顧客を対象とした金融機関の営業店などには記帳台が設置されており、来店した顧客は、営業店に手続きを要求する際に、最初に記帳台を使用して記入用紙に記入を行うことが一般的である。顧客による記入が完了すると記入用紙に記入された内容が行員や読み取り装置などによって読み取られて営業店による手続きに使用される。このような金融機関の例としては、商業銀行、証券会社、消費者金融事業者などが挙げられる。
【０００３】
金融機関に限らず、所定の機関に対して所定の手続きを要求する者は、最初に手書きによって記入用紙に必要事項を記入し、記入がなされた記入用紙を所定の機関に対して提出するのが一般的である。このような手法によれば、当該機関は手続きを要求する者から手続きに必要な事項を容易に把握することができる。しかし、近年では、商品の多様化、コンプライアンス説明の義務化に伴い、記入用紙に記入すべき必要項目や内容が複雑になり、所定の手続きを要求する者が独力で記入用紙に必要事項を記入できない状況が多くなってきている。かかる状況に伴い、例えば、営業店行員などといった所定の機関のスタッフによる修正負担の増加、伝票記帳台での滞留時間増に伴うロビー待ち時間の増加などが発生している。
【０００４】
例えば、金融機関では、かかる問題への対策として、伝票の書き方を示すマニュアルの提示、伝票内の記入対象となる項目をナビゲートしながら伝票記入支援を行うＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）サポートシステムの導入、ＴＶ会議機能を使用した伝票記入を遠隔からサポートする遠隔サポートシステムの導入などを行うことが一般的であった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−４８３３６号公報
【特許文献２】特開２００８−１９３４１１号公報
【特許文献３】特開２００７−１０２４２６号公報
【特許文献４】特開２００５−２１５７２６号公報
【特許文献５】特開平１０−２２２４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば、上記したような技術では、記入者が有するスキルによっては、営業店行員などといった所定の機関のスタッフによる修正負担の増加が避けられないといった状況は変わらない。また、記入用紙への記入の複雑化が要因で当該スタッフの対応が悪いという印象を記入者に与え、記入者の顧客満足度の低下に繋がってしまうこともあった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、記入用紙への記入を行っている記入者の行動に応じた支援処理を実行することが可能な技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記問題を解決するために、本発明のある観点によれば、所定の検出情報を検出する検出装置と接続された情報処理装置であって、前記検出装置により検出された前記所定の検出情報を解析して解析結果を取得する解析部と、前記解析部により取得された前記解析結果に基づいて、記入用紙への記入を行う記入者の行動を推定する行動推定部と、前記行動推定部により推定された前記行動に応じて前記記入者への所定の支援処理を実行する処理部と、を備えることを特徴とする、情報処理装置が提供される。
【０００９】
前記検出装置は、前記記入者により発せられる音声を集音することによって前記記入者の発話音声を前記所定の検出情報として取得し、前記解析部は、前記発話音声を解析することにより前記解析結果を取得することとしてもよい。
【００１０】
前記検出装置は、前記記入者の顔を撮影することによって前記記入者の顔画像を前記所定の検出情報として取得し、前記解析部は、前記顔画像を解析することにより前記解析結果を取得することとしてもよい。
【００１１】
前記検出装置は、前記記入用紙を撮影することによって前記記入用紙の画像を前記所定の検出情報として取得し、前記解析部は、前記記入用紙の画像を解析することにより前記解析結果を取得することとしてもよい。
【００１２】
前記検出装置は、前記記入用紙に加えられる圧力を測定することによって前記圧力を前記所定の検出情報として取得し、前記解析部は、前記圧力を解析することにより前記解析結果を取得することとしてもよい。
【００１３】
前記所定の検出情報を解析することにより取得される解析結果と前記記入者の行動を示す行動情報とを対応付けて記憶する記憶部をさらに備え、前記行動推定部は、前記解析部により取得された前記解析結果に対応付けられて前記記憶部により記憶されている前記行動情報を取得することにより、前記記入者の行動を推定することとしてもよい。
【００１４】
前記記憶部は、前記所定の支援処理を識別するための処理識別情報を前記行動情報に対応付けてさらに記憶し、前記処理部は、前記行動推定部により取得された前記行動情報に対応付けられて前記記憶部により記憶されている前記処理識別情報を取得し、取得した前記処理識別情報により識別される前記支援処理を実行することとしてもよい。
【００１５】
また、本発明の別の観点によれば、所定の検出情報を検出する検出装置と接続された情報処理装置により実行される支援方法であって、前記情報処理装置は、前記検出装置により検出された前記所定の検出情報を解析して解析結果を取得するステップと、前記解析結果に基づいて、記入用紙への記入を行う記入者の行動を推定するステップと、前記行動に応じて前記記入者への所定の支援処理を実行するステップと、を含むことを特徴とする、支援方法が提供される。
【発明の効果】
【００１６】
以上説明したように本発明によれば、記入用紙への記入を行っている記入者の行動に応じた支援処理を実行することが可能となるため、記入者側は記入用紙への記入を行う際の利便性が向上し、営業店側は修正作業等による事務負担の軽減に寄与することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る情報処理システムの構成図である。
【図２】同実施形態に係る操作端末の機能構成を示すブロック図である。
【図３】同実施形態に係る支援端末の機能構成を示すブロック図である。
【図４】同実施形態に係る操作端末によって実行される処理の流れを示すフローチャートである。
【図５】同実施形態に係る操作端末によりタッチパネルディスプレイに表示されるＨＥＬＰガイダンスの例について示す図である。
【図６】同実施形態に係る支援端末の表示部に表示される依頼画面の例について示す図である。
【図７】同実施形態に係る操作端末が有する対応情報の構成例を示す図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
まず、図１を参照しながら、本発明の実施形態に係る情報処理システムについて説明する。図１は、本発明の実施形態に係る情報処理システムの構成図である。以下、本実施形態においては、金融機関の営業店に設置された情報処理システムであって、例えば、顧客が口座開設、振込みなどの手続きをする際に記入用紙に所定の項目を記入する場合を想定して説明する。
【００２０】
本実施形態に係る情報処理システム１は、情報処理装置の一例としての操作端末１００と、発話音声取得装置２００と、顔画像取得装置３００と、伝票画像取得装置４００と、圧力情報取得装置５００と、タッチパネルディスプレイ６００と、支援端末７００とを有する。顧客Ｃに伝票を記入するスペースを提供する記帳台１０上には、例えば、顧客Ｃが口座開設、振込みなどの手続きをする際に所定の項目が記入される伝票Ｄや、記入に使用される筆記具Ｐなどが設置されている。発話音声取得装置２００と、顔画像取得装置３００と、伝票画像取得装置４００と、圧力情報取得装置５００とは、それぞれ所定の検出情報を取得する検出装置の一例であり、情報処理システム１は、これらすべての検出装置を備えることとしてもよいし、これらのすべての検出装置のうちのいずれかを組み合わせたものを備えることとしてもよい。伝票Ｄは、記入用紙の一例である。また、顧客Ｃは、記入用紙への記入を行う記入者の一例である。
【００２１】
操作端末１００は、発話音声取得装置２００、顔画像取得装置３００、伝票画像取得装置４００、圧力情報取得装置５００およびタッチパネルディスプレイ６００のそれぞれと接続されている。操作端末１００は、発話音声取得装置２００、顔画像取得装置３００、伝票画像取得装置４００、圧力情報取得装置５００などの検出装置から受信した検出情報に基づいて、顧客Ｃによる伝票Ｄへの記入状態を認識するとともに認識した記入状態に応じた顧客Ｃに対する支援処理を実行する。
【００２２】
発話音声取得装置２００は、顧客Ｃにより発せられる音声を集音することによって顧客Ｃの発話音声を取得する装置である。発話音声取得装置２００は、本実施形態においては、記帳台１０上に置かれたマイクである。発話音声取得装置２００は、取得した顧客Ｃの発話音声を操作端末１００に送信する。発話音声取得装置２００は、記帳台１０において伝票Ｄに記入をしている顧客Ｃの発する声が届く位置に設置されることが好ましい。
【００２３】
顔画像取得装置３００は、顧客Ｃの顔を撮影することによって顧客Ｃの顔画像を取得する装置である。顔画像取得装置３００は、本実施形態においては、顧客Ｃの正面から顧客Ｃの顔を撮影するカメラである。顔画像取得装置３００は、取得した顧客Ｃの顔画像を操作端末１００に送信する。顔画像取得装置３００は、記帳台１０において伝票Ｄに記入をしている顧客Ｃの顔の位置として想定される範囲を撮像領域に含むような位置に設置されることが好ましい。
【００２４】
伝票画像取得装置４００は、伝票Ｄを撮影することによって伝票画像を取得する装置である。伝票画像取得装置４００は、本実施形態においては、記帳台１０の上部から、記帳台１０上に置かれた伝票Ｄを撮像するカメラである。伝票画像取得装置４００は、取得した伝票画像を操作端末１００に送信する。伝票画像取得装置４００は、記帳台１０において伝票Ｄが置かれる可能性のある全域を撮像領域に含むような位置に設置されることが好ましいが、例えば記帳台に置かれた伝票Ｄの位置を認識し、伝票Ｄが撮像領域に入る位置にカメラの向きを自動調節するような構成にしてもよい。
【００２５】
圧力情報取得装置５００は、伝票Ｄに加えられる圧力を測定することによって圧力を所定の検出情報として取得する装置である。圧力情報取得装置５００は、本実施形態においては、記帳台１０上に設置されたタッチパネルディスプレイ６００の下部に設置された圧力センサである。圧力情報取得装置５００は、取得した圧力情報を操作端末１００に送信する。圧力情報取得装置５００は、記帳台１０において伝票Ｄが置かれる可能性のあるいずれの領域に対して加えられる圧力をも検出できるように設置されることが好ましい。
【００２６】
タッチパネルディスプレイ６００は、操作端末１００から与えられる指示にしたがって、顧客Ｃによる情報の入力を受け付ける機能と顧客Ｃに対して閲覧させる情報の出力をする機能とを有するものである。したがって、これらの入力機能と出力機能とを有するものであれば、タッチパネルディスプレイ６００の代わりに使用することも可能である。さらに、本実施形態では、タッチパネルディスプレイ６００が伝票Ｄを記入するためのスペースを顧客Ｃに提供する。顧客Ｃに対して閲覧させる情報としては、例えば、伝票Ｄへの記入を支援するためのＨＥＬＰガイダンスなどが想定される。顧客Ｃにより入力される情報としては、例えば、ＨＥＬＰガイダンスを操作するための情報などが想定される。
【００２７】
支援端末７００は、銀行の行員Ｇが使用する端末である。操作端末１００と支援端末７００とは、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などのネットワークＮにより接続されており、ネットワークＮを介して情報の授受が行える。銀行の行員Ｇは顧客Ｃによる伝票Ｄの記入を支援する役割を担う者であり、記入者による記入用紙への記入を支援する支援者の一例である。なお、図１は、営業店設置だけを想定して記載しているが、操作端末１００が保有する機能を分散させることにより、クライアントサーバ形態のセンタ集中型システムの構成をとることも可能である。
【００２８】
次に、図２を用いて、本発明の実施形態に係る情報処理システム１が有する操作端末１００の機能構成について説明する。図２は、本発明の実施形態に係る操作端末１００の機能構成を示すブロック図である。本発明の実施形態に係る操作端末１００は、検出装置Ｓおよびタッチパネルディスプレイ６００と接続されており、制御部１１０と、行動推定部１２０と、処理部１３０と、表示制御部１４０と、記憶部１５０と、送信部１６０とを主に備えるものである。本実施形態においては、記帳台１０は、検出装置Ｓ、操作端末１００、タッチパネルディスプレイ６００を包含するものであるとして説明を行う。
【００２９】
操作端末１００の制御部１１０は、各種のアプリケーション処理機能を保有する。制御部１１０は、検出装置Ｓにより検出された所定の検出情報を解析して解析結果を取得する解析部Ｈを有する。ここでは、解析部Ｈの例として、制御部１１０が、発話音声解析部１１１、顔画像解析部１１２、伝票画像解析部１１３および圧力情報解析部１１４を有する場合について説明するが、これらのすべてを有することとしてもよいし、これらすべてのうちのいずれかを組み合わせたものを有することとしてもよい。
【００３０】
発話音声解析部１１１は、解析部Ｈの一例であり、発話音声取得装置２００により取得された発話音声を解析することにより解析結果を取得する機能を有するものである。より詳細には、発話音声解析部１１１は、発話音声取得装置２００により取得した音声を音声認識技術にかけ、あらかじめ記憶部１５０などに登録された困りキーワードに合致するキーワードを抽出する機能を有する。困りキーワードとは、顧客が伝票Ｄを記入する際に、記入方法がわからないこと、あるいは記入を誤ったことを連想させる発話である「間違えた」や「良く分からない」「失敗した」等の発話であり、困りキーワードを検知できることにより、顧客Ｃの困り具合を判断するための材料を提供する。
【００３１】
顔画像解析部１１２は、解析部Ｈの一例であり、顔画像取得装置３００により取得された顔画像を解析することにより解析結果を取得する機能を有するものである。より詳細には、顔画像解析部１１２は、顔画像取得装置３００により取得した顔画像を顔認識技術にかけ、顧客Ｃの視線方向や困った表情を検出する機能を持つ。顧客Ｃの視線が伝票Ｄに向いていない状態や、キョロキョロして回りの人を探していることを連想させる状態や、困っていることを連想させる表情などを検知できることにより、顧客Ｃの困り具合を判断するための材料を提供する。
【００３２】
伝票画像解析部１１３は、解析部Ｈの一例であり、伝票画像取得装置４００により取得された伝票画像を解析することにより解析結果を取得する機能を有するものである。より詳細には、伝票画像解析部１１３は、伝票画像取得装置４００により取得した伝票画像を画像解析にかけ、顧客Ｃの伝票Ｄへの記入状態を判断する機能を有する。さらに具体的には、伝票画像解析部１１３は、伝票画像から伝票種別を認識する機能と時系列画像の解析により記入前後の画像差分から顧客Ｃが記入している項目（記入項目）を判断する機能とを保有する。これにより、顧客Ｃによる伝票Ｄへの記入時に、ある伝票Ｄのある項目で記入が止まったままの状態や、伝票Ｄが記帳台１０に置かれている状態、伝票Ｄが記帳台１０に置かれていない状態などを検知できることとなり、顧客Ｃの困り具合を判断するための材料を提供する。
【００３３】
圧力情報解析部１１４は、解析部Ｈの一例であり、圧力情報取得装置５００により取得された圧力情報を解析することにより解析結果を取得する機能を有するものである。より詳細には、圧力情報解析部１１４は、圧力情報取得装置５００により取得した圧力の有無をもとに顧客Ｃによる記入がなされているか否かを判別する機能を有する。さらに具体的には、圧力情報解析部１１４は、圧力などを検出できるセンサで手の側面の接地状態や筆圧が検知できることにより、顧客Ｃの困り具合を判断するための材料を提供する。
【００３４】
表示制御部１４０は、顧客Ｃの困り具合に応じてその対処方法をタッチパネルディスプレイ６００の表示部６２０に通知する機能を有する。表示制御部１４０は、後述する処理部１３０の指示に基づき、表示部６２０を介して顧客Ｃに対して適切な情報を表示する。例えば、顧客Ｃによる伝票Ｄへの記入が止まっている項目（および状態）が伝票画像解析部１１３により判断されると、表示制御部１４０は、処理部１３０からの指示により、その項目の書き方などのガイダンスを表示部６２０に表示させる処理などを行う。
【００３５】
記憶部１５０は、所定の検出情報を解析することにより取得される解析結果と顧客Ｃの行動を示す行動情報とを対応付けて記憶する機能を有するものである。解析結果は、図７に示した例では、「顧客の困り具合パターン」として示されているが、図７に示したように、解析結果４つ「記入状態」「発話認識」「顔解析結果」「伝票画像解析結果」を組み合わせたものであってもよいし、これらの中からいくつかを選択して組み合わせたものであってもよい。また、記憶部１５０は、所定の支援処理を識別するための処理識別情報を行動情報に対応付けてさらに記憶する機能を有する。処理識別情報は、図７に示した例では、「対処方法（処理内容）」として示されている。
【００３６】
対応情報１５１は、解析結果と行動情報とが対応付けられてなる情報と、行動情報と処理識別情報とが対応付けられてなる情報とを含むものである。本実施形態では、対応情報１５１は、発話音声解析部１１１、顔画像解析部１１２、伝票画像解析部１１３、圧力情報解析部１１４のそれぞれにより取得できた解析結果の組み合わせにより構成される顧客Ｃによる伝票Ｄへの困り具合パターンから、そのパターンに応じた顧客Ｃの困り具合を推定し、その対処方法を決めるためのテーブルである。対応情報１５１は、例えば、本システムの管理者があらかじめ作成するものである。なお、対応情報１５１の詳細は図７に示す。
【００３７】
行動推定部１２０は、解析部Ｈにより取得された解析結果に基づいて、伝票Ｄへの記入を行う顧客Ｃの行動を推定する機能を有するものである。より詳細には、行動推定部１２０は、発話音声解析部１１１、顔画像解析部１１２、伝票画像解析部１１３、圧力情報解析部１１４および対応情報１５１から顧客の困り具合を判断する機能を有する。さらに具体的には、行動推定部１２０は、顧客Ｃが困っているか否か、困っている場合には、伝票Ｄのどの項目で記入に困っているか、営業店の行員Ｇを探しているかなどを、解析結果から推定する。なお、行動推定部１２０は、記憶部１５０により記憶されている情報を使用して推定する場合には、解析部Ｈにより取得された解析結果に対応付けられて記憶部１５０により記憶されている行動情報を取得することにより、顧客Ｃの行動を推定する。
【００３８】
処理部１３０は、行動推定部１２０により推定された行動に応じて顧客Ｃへの所定の支援処理を実行する機能を有するものである。より詳細には、処理部１３０は、行動推定部１２０の推定結果に基づき、顧客Ｃへの対処を決定し、その対処のための所定の支援処理を実行する機能を有する。動作については後述する。所定の支援処理には、例えば、顧客Ｃによる伝票Ｄへの記入を支援するためのＨＥＬＰガイダンスを表示部６２０に表示させる処理を表示制御部１４０に行わせる処理や、支援端末７００に顧客Ｃが困っている旨を通知したりする処理などが想定される。なお、処理部１３０は、記憶部１５０により記憶されている情報を使用して処理を行う場合には、行動推定部１２０により取得された行動情報に対応付けられて記憶部１５０により記憶されている処理識別情報を取得し、取得した処理識別情報により識別される支援処理を実行する。
【００３９】
送信部１６０は、支援端末７００に各種の情報を送信する機能を有するものである。上記した例では、送信部１６０は、処理部１３０の指示により、顧客Ｃが困っている旨を示す通知を支援端末７００に送信する。
【００４０】
次に、図３を用いて、本発明の実施形態に係る情報処理システム１が有する支援端末７００の機能構成について説明する。図３は、本発明の実施形態に係る支援端末７００の機能構成を示すブロック図である。本発明の実施形態に係る支援端末７００は、ネットワークＮを介して操作端末１００と通信を行うことが可能であり、受信部７１０と、処理部７２０と、表示部７３０とを主に備えるものである。受信部７１０は、操作端末１００の送信部１６０から送信された指示や通知、顧客の困り具合などを受信する機能を有する。支援端末７００の処理部７２０は、各種のアプリケーション処理機能を有する。処理部７２０は、受信部７１０により受信された指示や顧客Ｃの困り具合に基づいて、画面を生成し、表示部７３０に出力する。表示部７３０は、処理部７２０から出力された画面を表示する機能を有する。
【００４１】
なお、本明細書では、上記手法や技術で顧客Ｃの困り具合を検知することとしているが、本実施形態は、顧客Ｃの困り具合をパターン化し、顧客Ｃの行動を推定して適切な対処を行うことを目的としており、上記手法や技術以外の手法や技術で顧客Ｃの困り具合を検出しても良い。
【００４２】
次に、図４を用いて、本発明の実施形態に係る操作端末１００の動作について説明する。図４は、本発明の実施形態に係る操作端末１００によって実行される処理の流れを示すフローチャートである。まず、顧客Ｃが金融取引を行うために、営業店受付で目的に応じた伝票Ｄ（記入用紙）を受け取り、記帳台１０（伝票記入台）の上で伝票Ｄへの記入を開始する。伝票Ｄへの記入状態の把握では、顧客Ｃによる伝票Ｄへの記入状態、すなわち操作端末１００を利用する顧客Ｃの行動を常に監視し、顧客Ｃによる伝票Ｄへの記入状態に関する情報（検出情報）を取得し続ける（ステップＳ１０１）。具体的には、前述した操作端末１００の発話音声取得装置２００、顔画像取得装置３００、伝票画像取得装置４００および圧力情報取得装置５００から、顧客Ｃの発話、顔画像、伝票画像および加圧状態の情報を取得し続ける。
【００４３】
タイマ検出時間の判定は、システム（操作端末１００）に任意で設定可能なタイマ間隔（例えば、１０秒間隔など）ごとに顧客Ｃの困り具合判定を行う分岐処理である（ステップＳ１０２）。所定時間が経過した場合には（タイマ間隔時間であれば）（ステップＳ１０２で「Ｙｅｓ」）、検出情報の解析に進む。所定時間が経過していない場合には（タイマ間隔時間でなければ）（ステップＳ１０２で「Ｎｏ」）、ステップＳ１０１の処理を引き続き行い、顧客Ｃによる伝票Ｄへの記入状態に関する情報（検出情報）を取得する。なお、タイマ検出時間判定のベースとなる時間としては、システム（操作端末１００）のオペレーティングシステムが保有するシステム時間を利用することができる。また、タイマ間隔はシステムの運用に合わせて適宜設定変更してもよい。
【００４４】
検出情報の解析では、解析部Ｈ（発話音声解析部１１１、顔画像解析部１１２、伝票画像解析部１１３、圧力情報解析部１１４）が、検出情報を解析して解析結果を取得する（ステップＳ１０３）。顧客困り具合の判定では、行動推定部１２０が、ステップＳ１０１で取得した情報から、発話音声解析部１１１、顔画像解析部１１２、伝票画像解析部１１３および圧力情報解析部１１４のそれぞれの技術および処理により取得された解析結果をもとに顧客Ｃの困り具合を判定する。複数の解析結果が対応情報１５１の「困り具合パターンと一致」、または、検出情報が「一部検出不可」であれば、顧客Ｃの行動を推定する処理に進む（ステップＳ１０５）。例外として、検出装置Ｓごとの解析結果が「伝票記入終了パターンと一致」した場合は、顧客Ｃが伝票Ｄの記入を終了したと判断する。
【００４５】
顧客行動の推定では（ステップＳ１０５）、行動推定部１２０が、対応情報１５１に基づき、顧客Ｃの行動を推定する。これは、顧客Ｃが伝票Ｄへの記入に困っているか否かを判定する処理である。処理部１３０は、行動推定部１２０により推定された行動に基づいた処理を実行する（ステップＳ１０５）。すなわち、処理部１３０は、ステップＳ１０５で判定した顧客Ｃの行動から顧客Ｃに対してどのように対処、サポートすべきかを段階的に判定する。対処方法は、対応情報１５１に基づいて決定される。
【００４６】
支援処理としては様々なものが想定されるが、例えば、図５に示す通り、処理部１３０がタッチパネルディスプレイ６００の表示部６２０にＨＥＬＰガイダンス６２１の表示をさせて、顧客Ｃ自身に記入の助けとなる情報を閲覧させることができる。また、図６に示す通り、操作端末１００からの通知に基づいて、処理部７２０が支援端末７００の表示部７３０に顧客Ｃをサポートする依頼画面を表示させて、行員Ｇに対して顧客Ｃに対する支援を促すことができる。なお、顧客Ｃへの支援・対処が終了した後は、ステップＳ１０１に戻り、顧客の伝票記入状態を再び取得する処理を行う。
【００４７】
次に、図７を用いて、本発明の実施形態に係る操作端末１００が有する対応情報１５１の構成例について説明する。図７は、本発明の実施形態に係る操作端末１００が有する対応情報１５１の構成例を示す図である。
【００４８】
パターン１は、伝票Ｄへの記入が開始されたことを示す顧客Ｃの行動および対処方法（処理内容）に関するものである。顧客Ｃが伝票Ｄに記入を始めると、圧力情報解析部１１４は、圧力情報取得装置５００により取得された検出情報から記入圧力有りの状態（記入中）であると解析する。顔画像解析部１１２は、顔画像取得装置３００により取得された検出情報から顧客Ｃの視線が伝票Ｄに有ると解析する。伝票画像解析部１１３は、伝票画像取得装置４００により取得された検出情報から伝票画像が取得できた（伝票が置かれた）状態であると解析する。したがって、行動推定部１２０は、顧客Ｃは伝票Ｄへの記入を開始した（困っていない）状態と判定する。処理部１３０は、かかる顧客Ｃの行動推定結果から顧客Ｃによる伝票Ｄへの記入支援に関する対処の必要性は未だないものと判定する。
【００４９】
パターン２は、顧客Ｃが伝票Ｄを問題なく記入できていることを示す顧客Ｃの行動および対処に関するものである。顧客Ｃが伝票Ｄの記入に困っていなければ、圧力情報解析部１１４は、圧力情報取得装置５００により取得された検出情報から記入圧力有りの状態（記入中）であると解析する。顔画像解析部１１２は、顔画像取得装置３００により取得された検出情報から顧客Ｃの視線が伝票Ｄに有ると解析する。伝票画像解析部１１３は、伝票画像取得装置４００により取得された検出情報から伝票Ｄの記入項目が順調に記載されている状態（伝票の記入が止まっていない）と解析する。したがって、行動推定部１２０は、顧客Ｃが不明点なく伝票Ｄに記入を行うことができている（困っていない）状態と判定する。処理部１３０は、かかる顧客Ｃの行動推定結果から顧客Ｃの伝票Ｄへの記入支援に関する対処の必要性は未だないものと判定する。
【００５０】
パターン３からパターン６までは、顧客Ｃによる伝票Ｄへの記入が止まり困っていることを示す顧客Ｃの行動および対処に関するものである。顧客Ｃが伝票Ｄへの記入に困っていることをシステムで把握するには、行動推定部１２０が、複数の解析結果のそれぞれが困り具合パターンと一致するか否かを判定する。具体的には、発話音声解析部１１１で顧客Ｃの困り発話キーワードを認識できた場合や、顔画像解析部１１２で顧客Ｃの困っている表情が認識できた場合、顧客Ｃの視線が回りの人を探しているような視線移動があった場合、伝票画像解析部１１３で伝票Ｄの記入項目が空白のまま記入が止まった状態の場合などの組み合わせで判定する。これにより、伝票Ｄの記入に困っている理由をシステムで推測することにより、顧客Ｃにとって最適と思われる対処（伝票記入支援）を行う。
【００５１】
パターン３は、伝票画像解析部１１３において伝票Ｄの記入項目が空白のまま記入が止まった状態であると判断され、顔画像解析部１１２において顧客Ｃの視線は伝票Ｄに向いていると判断され、発話音声解析部１１１において顧客Ｃが困りキーワードを発話したことが判断された場合について示している。パターン３は、かかる場合、行動推定部１２０は、顧客Ｃの行動が伝票項目について記入方法を理解していない状態と判定し、伝票の該当項目のＨＥＬＰガイダンス６２１をタッチパネルディスプレイ６００に表示させるパターンである。
【００５２】
パターン４では、パターン３と同じ顧客Ｃの行動推定となるが、顔画像解析部１１２において顧客Ｃの困り具合として困った表情を判断できた場合について示したものである。かかる場合、例えば、処理部１３０は、タッチパネルディスプレイ６００へのＨＥＬＰガイダンス６２１表示と、支援端末７００に対し顧客Ｃに対するサポート通知を行う。なお、対処方法の具体的な表示画面例については、図５および図６を用いて説明した通りである。
【００５３】
パターン５およびパターン６は、伝票画像解析部１１３で伝票Ｄの記入項目が空白のまま記入が止まった状態であると判断されたが、顔画像解析部１１２で顧客Ｃの視線が回りを探している状態と判断できた場合について示している。かかる場合、行動推定部１２０は、顧客Ｃの行動は行員Ｇを探している状態と判定し、営業店行員Ｇが使用する支援端末７００に対し顧客Ｃへのサポート通知を行う。パターン５とパターン６との違いは、発話音声解析部１１１で顧客Ｃにより困りキーワードが発話されたことを判断できたか否かについて異なっている。
【００５４】
パターン７は、発話音声解析部１１１、顔画像解析部１１２、伝票画像解析部１１３、圧力情報解析部１１４の技術および処理で、顧客Ｃの困り具合を一部検出できなかった場合の顧客Ｃにおける行動および対処に関するものである。一部検出不可の場合、行動推定部１２０は、システムの異常または顧客Ｃが伝票Ｄの記入に困っている可能性があると判定し、処理部１３０は、営業店行員Ｇが使用する支援端末７００に対して、操作端末１００（伝票記入台）を使用する顧客Ｃを状況注視（場合によってはサポート）する指示の通知を行う。
【００５５】
パターン８は、圧力情報解析部１１４で記入圧力が無いと判断し、伝票画像解析部１１３で伝票Ｄが置かれていない（または顧客Ｃがいない）と判断できた場合、行動推定部１２０において顧客Ｃの伝票記入が終了した状態と判定する伝票記入終了パターンである。この顧客Ｃの行動推定結果から、処理部１３０は、タッチパネルディスプレイ６００に、伝票記入に関するＨＥＬＰメニュー表示などを表示させ、次の顧客Ｃを待つ状態に移る。
【００５６】
本実施形態によれば、以下に示すような効果が得られる。
（１）顧客Ｃによる伝票Ｄへの自然な記入状態をシステムで監視し、顧客Ｃの困っていることを判断できることにより、顧客Ｃに対して自ら営業店行員Ｇへのサポートを依頼させることなく、伝票記入で顧客Ｃが困っていることを金融機関の営業店行員Ｇが把握できるようになる。
（２）上記（１）の判断を営業店の行員Ｇがシステムで把握できることにより、顧客Ｃが求める困りごとに対して、営業店行員Ｇから最適なフォロー業務（顧客Ｃへの声掛け、記入に困っている項目を踏まえた対応など）を行えるようになり、顧客Ｃの満足度向上に繋がる。
【００５７】
なお、上記実施形態において説明した端末の各部の機能は、実際には、図示しないＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより達成される。例えば、上記実施形態に係る操作端末１００においては、制御部１１０の各機能は、実際には、ＣＰＵがこれらの機能を実現する処理手順を記述したプログラムを実行することにより達成される。また、例えば、上記実施形態に係る支援端末７００においては、処理部７２０の各機能は、実際には、ＣＰＵがこれらの機能を実現する処理手順を記述したプログラムを実行することにより達成される。
【００５８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００５９】
また、上記実施形態では、銀行に設置された記帳台における情報処理システムを例に説明したが、本発明はかかる例に限定されない。例えば、銀行以外の金融機関、病院の受付、電話会社および保険会社の契約窓口、交通機関の定期券購入窓口など、記帳台が設置されうるあらゆる場面に応用することができる。また、ＡＴＭなどの無人チャネル端末において、顧客の困り具合を判定しその対応を支援する業務処理にも適用することができる。上記実施形態では、銀行の営業店に来店する顧客が記入用紙に記入を行う例について説明したが、記入用紙に記入する者は銀行の営業店に来店する顧客に限定されるものではない。したがって、記入用紙に記入する者は、顧客という立場でない一般的な記入者であってもよいことは明らかであり、公共の機関において手続きのために記入用紙に記入を行う者や、私的用途において記入用紙に記入を行う者であってもよい。
【００６０】
尚、本明細書において、シーケンス図に記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００６１】
１      情報処理システム
１０    記帳台
１００  操作端末（情報処理装置）
１１０  制御部
１１１  発話音声解析部
１１２  顔画像解析部
１１３  伝票画像解析部
１１４  圧力情報解析部
１２０  行動推定部
１３０  処理部
１４０  表示制御部
１５０  記憶部
１５１  対応情報
１６０  送信部
２００  発話音声取得装置
３００  顔画像取得装置
４００  伝票画像取得装置
５００  圧力情報取得装置
６００  タッチパネルディスプレイ
６２０  表示部
６２１  ＨＥＬＰガイダンス
７００  支援端末
７１０  受信部
７２０  処理部
７３０  表示部
Ｃ      顧客
Ｄ      伝票
Ｐ      筆記具
Ｎ      ネットワーク
Ｓ      検出装置
Ｈ      解析部
Ｇ      行員
【図１】
2012033008.tif 000003
【図２】
2012033008.tif 000004
【図３】
2012033008.tif 000005
【図４】
2012033008.tif 000006
【図５】
2012033008.tif 000007
【図６】
2012033008.tif 000008
【図７】
2012033008.tif 000009