(57)【特許請求の範囲】
【請求項１】
サービス提供情報処理機の管理表示部のログ表示画面の一部の領域に利用者の操作行為に係る動画を表示し、
前記ログ表示画面の他の領域に複数の操作・動画ログに係る内容をログ記録時刻と共に時系列に並べて表示し、
前記操作行為に係る動画または前記操作・動作ログに係る内容のいずれか一方で不正行為または異常であることが判定されたとき、不正行為または異常であると判定された対象が各々の前記領域に連動して表示される、
ことを特徴とする操作動画と操作・動作ログの表示方法。
【請求項２】
前記一部の領域に表示された前記操作行為に係る動画と、前記他の領域に表示された前記操作・動作ログに係る内容とは、時刻を媒介として関連付けられていることを特徴とする請求項１記載の操作動画と操作・動作ログの表示方法。
【請求項３】
前記一部の領域に表示された前記操作行為に係る動画はスクロール可能であると共に、前記他の領域に表示された前記操作・動作ログに係る内容はスクロール可能であり、
前記操作行為に係る動画のスクロール内容と前記操作・動作ログに係る内容のスクロール内容とは時刻を媒介として関連付けられ、いずれか一方をスクロールすると他方もスクロールされ、連動して表示されることを特徴とする請求項１または２記載の操作動画と操作・動作ログの表示方法。
【請求項４】
前記ログ表示画面の前記他の領域に表示された複数の前記操作・動画ログに係る内容のうち、前記ログ表示画面の前記一部の領域に現に表示されている前記動画に対応する内容部分が強調表示されることを特徴とする請求項１〜３のいずれか１項に記載の操作動画と操作・動作ログの表示方法。
【請求項５】
前記一部の領域に表示され得る前記操作行為に係る動画、または前記他の領域に表示され得る前記操作・動作ログに係る内容について、個別に、不正行為または異常であることが判定され、警告通知に係る表示がなされることを特徴とする請求項１〜４のいずれか１項に記載の操作動画と操作・動作ログの表示方法。
【請求項６】
前記サービス提供情報処理機は自動券売機、自動精算機、または自動定期券発行機であること特徴とする請求項１〜５のいずれか１項に記載の操作動画と操作・動作ログの表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は操作動画と操作・動作ログの表示方法に関し、特に、自動券売機、自動精算機、自動定期券発行機等の利用者の操作行為に応じて動作するサービス提供情報処理機において、当該サービス提供情報処理機に設けられた管理表示部のログ表示画面において、ビデオカメラで録画された接客部での利用者の操作行為に係る動画と、記録された操作・動作ログとを、同一画面にて連動するように関連付けて同時に表示し、管理の上で利便性と視認性を高めた操作動画と操作・動作ログの表示方法に関する。
【背景技術】
【０００２】
例えば従来の自動券売機では、コンピュータとメモリ等で構成された情報処理機能部を内蔵しており、機械管理の観点で、自動券売機における操作ログと動作ログとが接客日時を手懸かり情報としてメモリに記録されていた。ここで「操作ログ」とは、自動券売機の接客部を通して利用者（旅客等）が操作した内容であり、文字で記録される。操作ログは操作時刻と共に記録される。「動作ログ」は、自動券売機での利用者の操作に応じて機械側で実行された動作（画面表示等）の内容であり、文字で記録される。動作ログは動作時刻と共に記憶される。上記の操作ログおよび動作ログの記録された内容について、管理の係員は、自動券売機に設けられた管理表示部のログ表示画面にて見ることができる。
【０００３】
また自動券売機等では、従来、接客部において利用者が行った操作をビデオカメラで記録するという技術が存在した（特許文献１，２）。特許文献１に開示される券発行装置（自動券売機等）では、釣り札に対する取り忘れ回収を行う際に利用者の操作行為をビデオカメラにより撮影し、後で係員がその動画を再生して回収時に不正行為があったか否かを判断するようにしていた。こうして券発行装置において、利用者に対して「ビデオ撮影中」を表示することにより、釣り札に対する取り忘れ回収に伴う不正行為を抑止している。また特許文献２に開示される利用者操作型処理機では、同様に接客面を撮像する構成を有し、接客面に設けられた入力部から呼出信号が入力された等のときには、撮像された内容データを再生する再生手段を備えている。これにより利用者の操作状況を的確に把握してトラブルを解消することができる。
【０００４】
さらに、医療機関に設置されるＸ線診断装置等で構成される情報処理装置において、操作者により操作が行われると、タイムスタンプ情報（日付け・時間）とログ情報（時間的な順序を持った操作内容）を操作ログとして記録すると共に、当該操作ログを録画再生装置に出力し、また操作画面上で行われるユーザ操作を映像信号として録画再生装置に出力することにより、操作ログに対応する内容画像を表示画面（モニタ）に表示させるようにした従来技術も存在する（特許文献３）。この特許文献３に開示される情報処理装置では、タイムスタンプ情報（日付け・時間）を媒介として、操作ログとこの操作ログに対応する映像（カメラによる映像内容）が紐付けられ、そのデータベースに記録されている。特許文献３の図９や図１１等に示された操作ログ表示画面には、タイムスタンプ表示エリア、操作ログ表示エリア、マーキング情報表示エリアが設けられている。タイムスタンプ表示エリアにはタイムスタンプ情報が表示され、操作ログ表示エリアには操作ログ（ユーザ操作）である映像が表示される。その図１１に示すように、操作ログ表示エリアに示された映像と、タイムスタンプ表示エリアで表示された当該映像に対応する時刻とは強調表示により紐付けられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２４１３１号公報
【特許文献２】特開平９−３３０４２９号公報
【特許文献３】特開２０１０−１５７０７６号公報（段落００１４等）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の従来の自動券売機においては、ビデオカメラによる録画内容に係るデータと、上記の意味での操作・動作ログに係るデータとは時刻を介して積極的に紐付けられていなかった。そのため、カメラの撮影で得られた利用者等の操作行為に係る動画と、利用者または係員が行った操作およびこれらの操作に基づく自動券売機側の動作との関係性が理解しにくいものであった。さらに、従来の自動券売機に設けられた管理表示部のログ表示画面で係員がログ内容を閲覧する場合には、操作行為に係る動画の表示と、操作・動作ログの表示が別々になっており、係員にとって直感的にその状況および関連性を把握することが容易ではなかった。
【０００７】
上述した自動券売機の問題は、一般的に、同様な構成を備えた自動精算機や自動定期券発行機等のごとき、利用者の操作行為に応じて動作するサービス提供情報処理機において同様に生じる問題である。ここで「サービス提供情報処理機」とは、必要なサービスの提供を受けようとする利用者のボタン選択、金銭投入等の操作行為に基づいて、これに応じて駆動され、当該サービスを利用者に提供する情報処理機を意味している。
【０００８】
また特許文献３に開示された情報処理装置においても、画面上での操作内容を映像信号として出力することができる構成を有し、さらに操作ログ表示エリアに示された映像と、タイムスタンプ表示エリアで表示された当該映像に対応する時刻とは強調表示に基づき紐付けられているが、事前に録画された操作行為に係る動画と操作・動作ログの表示とが同一画面で同時に表示されるようにはなっておらず、かつ所定の視認しやすい位置関係で連動して表示するようになっておらず、極めて使い勝手が悪いという欠点があった。
【０００９】
本発明の目的は、上記の課題に鑑み、管理表示部にログ表示画面を備えた自動券売機、自動精算機、自動定期券発行機等の利用者の操作行為に応じて動作するサービス提供情報処理機において、ビデオカメラで録画された接客部での利用者の操作行為に係る動画と、記録された操作・動作ログとを同一画面にて連動するように関連付けて同時に表示し、いずれか一方のスクロール操作で両者を関連性を保持して同時にスクロールすることができ、管理の上で利便性と直感的な視認性とを高めるようにした操作動画と操作・動作ログの表示方法を提供することにある。
さらに本発明の他の目的は、上記のサービス提供情報処理機において、接客部での利用者の操作行為に係る動画と操作・動作ログとを同一画面にて連動するように関連付けて同時に表示し、かつ動画内容または操作・動作ログ内容に基づいて不正行為や故障を自動的に判断して認識できる構成を有し、動画または操作・動作ログのいずれからも不正行為や故障を容易かつ迅速に発見することができ、管理の上で利便性を高めることができる操作動画と操作・動作ログの表示方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明に係る操作動画と操作・動作ログの表示方法は、上記の目的を達成するため、次のように構成される。
【００１１】
第１の操作動画と操作・動作ログの表示方法（請求項１に対応）は、サービス提供情報処理機の管理表示部のログ表示画面の一部の領域に利用者の操作行為に係る動画を表示し、ログ表示画面の他の領域に複数の操作・動画ログに係る内容をログ記録時刻と共に時系列に並べて表示し、操作行為に係る動画または操作・動作ログに係る内容のいずれか一方で不正行為または異常であることが判定されたとき、不正行為または異常であると判定された対象が各々の領域に連動して表示される、ことを特徴とする。
【００１２】
上記の操作動画と操作・動作ログの表示方法では、駅等に設置された自動券売機等のサービス提供情報処理機において管理用に使用され、その管理表示部で定期的に利用者の操作行為に係る動画データとログデータを表示して管理するとき、動画データとログデータを隣接した領域にて時刻を基準に関係付けて表示するようにし、これにより管理上での利便性と直感的な視認性とを高めることが可能となる。
【００１３】
第２の操作動画と操作・動作ログの表示方法（請求項２に対応）は、上記の方法において、好ましくは、一部の領域に表示された操作行為に係る動画と、他の領域に表示された操作・動作ログに係る内容とは、時刻（画像取得時刻、イベント発生時刻）を媒介として関連付けられていることを特徴とする。
【００１４】
第３の操作動画と操作・動作ログの表示方法（請求項３に対応）は、上記の方法において、好ましくは、一部の領域に表示された操作行為に係る動画はスクロール可能であると共に、他の領域に表示された操作・動作ログに係る内容はスクロール可能であり、操作行為に係る動画のスクロール内容と操作・動作ログに係る内容のスクロール内容とは時刻を媒介として関連付けられ、いずれか一方をスクロールすると他方もスクロールされ、連動して表示されることを特徴とする。
【００１５】
第４の操作動画と操作・動作ログの表示方法（請求項４に対応）は、上記の方法において、好ましくは、ログ表示画面の他の領域に表示された複数の操作・動画ログに係る内容のうち、ログ表示画面の一部の領域に現に表示されている動画に対応する内容部分が強調表示されることを特徴とする。
【００１６】
第５の操作動画と操作・動作ログの表示方法（請求項５に対応）は、上記の方法において、好ましくは、一部の領域に表示され得る操作行為に係る動画、または他の領域に表示され得る操作・動作ログに係る内容について、個別に、不正行為または異常であることが判定され、警告通知に係る表示がなされることを特徴とする。
【００１８】
第６の操作動画と操作・動作ログの表示方法（請求項６に対応）は、上記の方法において、好ましくは、サービス提供情報処理機は自動券売機、自動精算機、または自動定期券発行機であること特徴とする。
【発明の効果】
【００１９】
本発明に係る操作動画と操作・動作ログの表示方法によれば次の効果を奏する。
管理表示部にログ表示画面を備えた自動券売機等のサービス提供情報処理機において、当該ログ表示画面における一部の領域に、ビデオカメラで録画された接客部での利用者の操作行為に係る動画を表示し、さらにログ表示画面における一部の領域に隣接した他の領域に、複数の操作・動画ログに係る内容をログ記録時刻と共に時系列に並べて表示するようにしたため、管理の上で利便性と直感的な視認性とを高めることができる。
また、動画表示とログ表示について時間軸に関していずれか一方のスクロール操作で両者を関連性を保持して同時にスクロールすることができ、さらに管理の上で利便性と直感的な視認性とを高めることができる。
さらに、サービス提供情報処理機において、接客部での利用者の操作行為に係る動画と操作・動作ログとを同一画面にて連動するように関連付けて同時に表示し、かつ動画内容または操作・動作ログ内容に基づいて不正行為や故障を自動的に判断して認識できる用にしたため、動画または操作・動作ログのいずれからも不正行為や故障を容易かつ迅速に発見することができ、管理の上で利便性を高めることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る操作動画と操作・動作ログの表示方法が適用される自動券売機の例を示し、自動券売機の全体の外観を示す正面図である。
【図２】自動券売機の背面図である。
【図３】自動券売機の側面図である。
【図４】自動券売機内の各種機能部を示すブロック図である。
【図５】第１の実施形態に係る操作動画と操作・動作ログの表示方法を実現する基本的な構成を示すブロック図である。
【図６】表示画面の代表的な表示例を示す画面図である。
【図７】第１の実施形態に係る操作動画と操作・動作ログの表示方法の基本的概念を説明するブロック図である。
【図８】第１の実施形態に係る操作動画と操作・動作ログの表示方法の処理の流れを示すフローチャートである。
【図９】第２の実施形態に係る操作動画と操作・動作ログの表示方法を実現す要部構成を示すブロック図である。
【図１０】第２の実施形態に係る操作動画と操作・動作ログの表示方法の基本的概念を説明するブロック図である。
【図１１】第２の実施形態に係る操作動画と操作・動作ログの表示方法の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下に、本発明の好適な実施形態（実施例）を添付図面に基づいて説明する。
【００２２】
図１〜図８を参照して、本発明に係る操作動画と操作・動作ログの表示方法の第１の実施形態を説明する。この第１の実施形態では、利用者の操作行為に応じて動作するサービス提供情報処理機の一例として、自動券売機の例を説明する。この表示方法は、例えば背面に管理表示部を備えた自動券売機において、当該管理表示部におけるログ表示画面の表示内容に関して実施される表示方法である。自動券売機は、通常的には、駅の改札口の付近に設置されており、公共交通機関である鉄道（電車、列車等）を利用しようとする者が金銭を投入し、乗車券を入手等するための装置である。従って、自動券売機は、紙幣および硬貨を処理する機能（釣銭返却機能も含む）、発券機能、さらには乗車券や定期券等として機能するＩＣカードや磁気カード等のデータを処理するためのカード処理機能等を有している。また装置全体を制御するための機能や通信機能を備えたコンピュータ、および硬貨金庫や電源装置を内蔵している。
【００２３】
図１において自動券売機１０の正面部の主に上半分には接客部１１が設けられている。接客部１１には、上側の表示・タッチ操作部１２と、下側の各種の挿入・放出口および返却部を備えた領域１３とが設けられている。上側の表示・タッチ操作部１２は主にカラー液晶ディスプレイパネルとタッチパネルとを重ね合わせたパネル部材により形成されている。下側の領域１３には、ＩＣカード用挿入・放出口１４と、紙幣用挿入・放出口１５と、硬貨投入口１６と、硬貨返却部１７と、乗車券および領収書の受取り口１８とが設けられている。
【００２４】
接客部１１の上記の表示・タッチ操作部１２では、上記のカラー液晶ディスプレイパネル上にボタン画像として表示された複数の選択ボタン２１のいずれかを指先でタッチすることにより、選択した対象に係る機能を確定する処理が実行される。さらに表示・タッチ操作部１２の左辺部に沿って、物理的構造を有した複数の各種の選択ボタン２２が配置されている。
【００２５】
ＩＣカードはいわゆる電子マネー（乗車券、定期券等）として利用される無線ＩＣチップを内蔵したカードである。ＩＣカード用挿入・放出口１４では、通常の乗車券機能を有するＩＣカード、定期券としてのＩＣカード、その他のカード（磁気カード等）が挿入（または投入）され、所要の選択操作が実行され、それに伴う処理が実行された後に放出される。また紙幣用挿入・放出口１５は、例えば、旅客等の利用者が、例えば電子マネーであるＩＣカードの残高を増額するためにチャージ処理を試みる時に、必要な現金紙幣が投入され、チャージ処理が終了した後、釣り札（釣り紙幣）がある場合にはその紙幣を放出する。硬貨投入口１６は、個別の乗車券等を購入する等の場合であって硬貨が必要なときに硬貨が投入される。硬貨に関して釣銭が発生する場合には硬貨返却部１７に釣銭の硬貨が放出される。受取り口１８では、購入した乗車券、または受取りを希望した領収書が排出される。
【００２６】
上記の接客部１１において、利用者（旅客または乗客等）は、特に、ＩＣカードで発券等の所定の処理を行う時には、ＩＣカードが投入され、さらに表示・タッチ操作部１２の表示画面上に表示された発券に係るいずれかの選択ボタン（出発駅、目的駅、移動ルート（連絡経由）等）を選択する。
【００２７】
また例えば、表示・タッチ操作部１２でＩＣカードをチャージするためのボタンを選択する場合には、その際にさらに表示・タッチ操作部１２で、チャージ希望料金の選択ボタン（１０００円、２０００円等）が表示され、利用者はチャージ希望料金についていずれかの選択ボタンを選択する。その後、利用者は自身の所持するＩＣカードをＩＣカード用挿入・放出口１４に挿入すると共に、当該ＩＣカードへチャージを行うために必要な現金紙幣を紙幣用挿入・放出口１５に挿入する。自動券売機１０に内蔵されたＩＣカードチャージの機能部では、ＩＣカードチャージの指定指令、チャージ希望料金の指定指令、ＩＣカードの挿入確認、および現金紙幣の挿入確認に基づいて、当該ＩＣカードのメモリにチャージ希望料金に対応するデータ量を記録すると共に、決済処理を行い、釣り札がある場合には釣り札を用意する。チャージが完了したＩＣカードはＩＣカード用挿入・放出口１４から放出され、釣り札は紙幣用挿入・放出口１５から放出され、これによりＩＣカード等が利用者に戻される。また領収書が必要であるとの要求指定を受けた場合には、領収書が作成され、受取り口１８から排出される。
【００２８】
さらに上記の自動券売機１０では監視用のビデオカメラ（動画カメラ）２３が付設されている。このビデオカメラ２３は、例えば、好ましくは、受取り口１８の近傍の箇所において、紙幣用挿入・放出口１５と、硬貨投入口１６と、硬貨返却部１７と、乗車券および領収書の受取り口１８等の各周辺領域における一定期間の利用者等の動きを監視できるように設置されている。当該ビデオカメラ２３によれば、利用者が自動券売機１０を利用するとき、当該ビデオカメラ２３の撮影動作で取得された動画によって、その操作等に関連する利用者の手や腕等の身体の動きを知ることができる。
上記の監視用のビデオカメラについては、例えば、自動券売機１０の正面部に２台設けることもできる。図１において、符号２３Ａで示した要素が他の１台のビデオカメラを示している。ビデオカメラ２３Ａは、自動券売機１０の正面部の少し上側位置から利用者を撮影する。このため、当該ビデオカメラ２３Ａの撮影動作で取得された動画によれば、その操作等に関連する利用者の手や腕等の身体の動きを知ることができ、さらに利用者の顔や顔の動き（表情を含む）も監視することができる。これによってより正確に不正行為を発見することができる。
上記のごとく、ビデオカメラを２台構成する場合には、好ましくは、各ビデオカメラ２３，２３Ａの録画の開始と停止の制御は同期して行うように構成される。
なおビデオカメラの台数および配置位置については、本実施形態で説明されたものに限定されず、適用されるサービス提供情報処理機の構造等に応じて任意に設定することができる。
【００２９】
図２と図３に示されるように、自動券売機１０の内部には、通常的に、各種の機能部または部品要素として、カード処理部３１、発券部３２、紙幣処理部３３、硬貨処理部３４、警報部３５、硬貨金庫３６、電源装置３７が備えられている。また自動券売機１０の外付けの装置として、プリンタ３８と回線接続部３９が設けられている。図４に示すように、硬貨金庫３６は、硬貨処理部３４の下側に配置され、硬貨の種類別に金庫容器を有している。さらに自動券売機１０の背面部には、管理用の係員表示・操作部４０が設けられている。係員表示・操作部４０は表示画面４１と操作部４２を備えている。カード処理部３１、発券部３２、紙幣処理部３３、硬貨処理部３４等の各々にはマイコンによる制御処理手段が備えられている。
【００３０】
図４に自動券売機１０の内部に設けられた各種の機能部のシステム構成を示す。この図４を参照して自動券売機１０に設けられた各種の機能を説明する。
【００３１】
自動券売機１０の全体の動作を管理・統括する制御処理手段として演算処理部５１が設けられている。表示・タッチ操作部１２で入力された利用者による各種の選択指令（または操作指令）に係る信号は演算処理部５１に入力される。演算処理部５１は、入力された各種の選択指令に対応する所定の動作指示信号を作成し、出力する。当該指示信号は、必要に応じて、カード処理部３１、発券部３２、紙幣処理部３３、硬貨処理部３４等の各々に内蔵される制御処理手段に供給される。またＩＣカード用挿入・放出口１４、紙幣用挿入・放出口１５、硬貨投入口１６、硬貨返却部１７、受取り口１８等の各々には、それらの所定の箇所においてその対象物（ＩＣカード、紙幣、釣り札、硬貨等）の存在の有無を検知するためのよく知られたセンサ（図示せず）が設けられている。それらのセンサから出力される検知信号は例えば演算処理部５１に提供される。
【００３２】
利用者の行為によってＩＣカード用挿入・放出口１４に挿入されたＩＣカード５２は、カード搬送機構によってカード処理部３１に搬送される。カード処理部３１では、内蔵されたリーダ・ライタによって、搬送されたＩＣカード５２の内蔵メモリに対して無線等を介して必要な情報の読み書きが行われる。例えばＩＣカードチャージ装置の機能を実行する場合には、ＩＣカード５２の内蔵メモリに対して、指定されたチャージ希望金額に従って、対応するチャージ量を残額チャージ量に加算した状態で書き込む。カード処理部３１でチャージ処理が完了すると、ＩＣカード５２は、カード搬送機構により戻され、ＩＣカード用挿入・放出口１４から放出される。その後、利用者は放出されたＩＣカード５２を取り出す行為を行う。
【００３３】
また利用者の行為によって紙幣用挿入・放出口１５に挿入された入金用の例えば少なくとも１枚の紙幣５３は、紙幣搬送機構によって紙幣処理部３３に搬送される。紙幣処理部３３では、搬送された紙幣５３を判別し、当該紙幣５３に基づく金額量を計数し、例えば、指定されたチャージ希望金額と計数した金額量とを比較し、条件の満足の有無を判断し、釣り札が必要であると判断した場合には釣り札の金額を計算し、返却するための必要な釣り札を用意する。用意された少なくとも１枚の釣り札５４は、紙幣搬送機構によって戻され、紙幣用挿入・放出口１５から放出される。その後、利用者は放出された釣り札５４を取り出す行為を行う。
【００３４】
硬貨の投入および返却についても、硬貨投入口１６および硬貨返却部１７等を利用することにより、利用者によって同様に行われる。
【００３５】
さらに発券部３２は、例えば、利用者による領収書の要求信号に基づき、領収書を作成し、搬送機構によって受取り口１８へ領収書を搬送し、受取り口１８から排出する。排出された領収書は利用者によって取り出される。
【００３６】
自動券売機１０で実行される上記の各種機能について、利用者の操作行為に対応して発生する機械における動作状態は演算処理部５１における処理内容（イベント内容）として取得される。当該処理内容（動作状態またはイベント内容）に係るデータは操作・動作ログデータとして記録・保存される。また、利用者が必要な操作等の行為を行うとき、それらの操作に係る動作状態は、例えばビデオカメラ２３によって撮影されている。ビデオカメラ２３の撮影で得られた映像信号（動画信号）は演算処理部５１に供給され、動画データとして記録・保存される。なおこの構成例では、説明の便宜上、ビデオカメラ２３による撮影で得られる動画データについて説明する。
【００３７】
演算処理部５１にはメモリ５５が付設され、このメモリ５５には、演算処理部５１で実行させる各種の処理プログラム５５Ａが保存されると共に、演算処理部５１において所定期間（例えば１ヶ月分）の間に実行された各種の処理内容に係るログデータ（操作ログや動作ログ等）５５Ｂが記録され保存される。またメモリ５５は好ましくはビデオメモリの部分を含み、当該ビデオメモリには動画データ５５Ｃが記録され保存される。処理プログラム５５Ａの中には、操作動画と操作・動作ログを一画面にて連動しかつ所定の配置関係で同時に表示するための画面表示プログラム５５Ａ−１が含まれている。またメモリ５５内のビデオメモリに保存される動画データ５５Ｃは、前述したビデオカメラ２３から演算処理部５１に供給される動画データであって、かつ予め設定された上記の所定時間（例えば１ヶ月分）の間の動画データである。
【００３８】
演算処理部５１には、さらにタイマ５６が付設され、このタイマ５６によって常に時刻が計測されている。演算処理部５１は、演算処理部５１で前述した動画データを取り扱う時、あるいは操作・動作ログデータを取り扱う時において、計測された時刻をそれらに関連付ける。すなわち、メモリ５５のビデオメモリ内に動画データ５５Ｃを保存するとき、単位となる各動画データをその画像の取得時刻と関連付けて記録・保存し、またログデータ（操作・動作ログデータ）５５Ｂを保存するとき、単位となる各ログデータ（操作または動作のイベント内容）をイベント発生時刻と関連付けて記録・保存する。内容が同じ画像とイベント内容に関しては上記の「画像取得時刻」と「イベント発生時刻」とは一致しているので、当該時刻を介して動画データとログデータとを関係付けることが可能となる。画像取得時刻とイベント発生時刻とは、厳密に一致している必要はなく、ほぼまたは実質的に一致していればよい。
【００３９】
従って、演算処理部５１が上記の画面表示プログラム５５Ａ−１に基づいて係員表示・操作部４０の表示画面４１にログ等の表示を行うとき、当該画面表示プログラム５５Ａ−１は、時刻を介して、メモリ５５に保存された動画データ５５Ｃと、ログデータ５５Ｂ（操作・動作ログデータ）とを、同一画面にて連動するように関連付け、同時に表示することができる。さらに、動画データと操作・動作ログデータのうちのいずれか一方のスクロール操作で、共通な時刻を介して、両者の関連性を保持して同時にスクロールすることができる。
【００４０】
次に、図５〜図８を参照して、自動券売機１０で実施されるログデータ（操作・動作ログ）と動画データ（操作動画）の表示方法の概念構成と具体的内容を説明する。
【００４１】
図５は、メモリ５５内に保存されるログデータ５５Ｂと動画データ５５Ｃとの関係を示している。動画データ５５Ｃでは、例えば１ヶ月分の複数（または多数）の単位の動画データ６１（「単位動画データ６１」と記す。）が含まれており、単位動画データ６１ごとに画像取得時刻データ６２と当該単位動画データ６１とがセットになって保存されている。複数の単位動画データ６１は時間の経過に沿って保存されている。複数の単位動画データ６１の内容はそれぞれ異なり、かつ画像取得時刻データ６２に沿って連続した動画の映像となっている。画像取得時刻データ６２は例えば録画開始時刻である。また、ログデータ５５Ｂでは、同様に例えば１ヶ月分の複数（または多数）の単位のログデータ７１（すなわちイベント内容。「単位ログデータ７１」と記す。）ごとにイベント発生時刻データ７２と当該単位ログデータ７１とがセットになって保存されている。複数の単位ログデータ７１は時間の経過に沿って保存されている。複数の単位ログデータ７１の内容はそれぞれ異なり、かつイベント発生刻データ７２に沿って連続した利用者の操作行為（動作）となっている。上記において、「単位」は任意に設定することができる。単位ログデータ７１の場合には、予め設定された利用者の所定の操作行為または動作である。また単位動画データ６１の場合には、利用者の所定の操作行為または動作に対応する録画の開始と終了で決まる任意の時間間隔の動画（映像）である。
【００４２】
メモリ５５内に保存されたログデータ５５Ｂおよび動画データ５５Ｃは、係員の管理行為に基づいて呼び出されたときに、係員表示・操作部４０の表示画面４１に、同時に、後述された関係を有した状態で表示される。すなわち、管理実行時に、係員が係員表示・操作部４０の操作部４２を操作して例えば時刻を指定して表示指令を入力すると、画面表示プログラム５５Ａ−１が実行され（画面表示処理部８１）、指定時刻に対応するログデータ５５Ｂと動画データ５５Ｃが呼び出され、当該呼び出されたログデータ５５Ｂと動画データ５５Ｃとが表示画面４１に同時に表示される。この場合には、ログデータ５５Ｂに関しては、指定時刻に対応するイベント発生時刻７２を基準にして当該イベント発生時刻７２に対応する単位ログデータ７１と、当該単位ログデータ７１に関する時間的に前後に位置するいくつかの単位ログデータ７１が呼び出される。所要の複数の単位ログデータ７１が表示画面４１において、設定された画面領域に表示される。他方、動画データ５５Ｃに関しては、基準となるイベント発生時刻７２にほぼ一致する画像取得時刻６２に係る単位動画データ６１が呼びされる。呼びされた単位画像データ６１は表示画面４１において、設定された画面領域に表示される。
【００４３】
図６に、係員表示・操作部４０の表示画面４１における表示の一例を示す。この表示例では、表示画面４１は、横方向の左右にて隣接した２つの矩形領域８２，８３に分けられている。
図６中の右側の矩形領域８２はログデータ５５Ｂを表示する領域であり、複数の単位ログデータ７１が時間軸（上から下に向かう軸）に沿ってイベント発生時刻データ７２と共に表示されている。ここで「イベント発生時刻」は「ログが記録された時刻」と同じ意味である。単位ログデータ（イベント内容）７１としては、例えば、上から、「媒体  ＩＣカード投入」、「画面  定期種類選択」、「ボタン  通勤定期券」、「画面発駅入力、「ボタン  勝田駅」、「画面  着駅入力」等が表示されている。また矩形領域８２の上縁に沿っては、ログデータが記録された「日時（年月日）」８４等が表示されている。また矩形領域８２の下縁に沿って、矩形領域８２の表示された複数の単位ログデータ７１のいずれに設定されたカーソルを「上」または「下」にスクロール移動させるための操作ボタン８５，８６が表示されている。
第６中の左側の矩形領域８３は動画データ５５Ｃを表示する領域である。この図示例では、ログデータを表示している矩形領域８２で表示された「０８：０４：５７  ボタン  勝田駅」と「０８：０４：５７  画面  着駅入力」の各単位ログデータ７１に対応する単位動画データ６１が再生され表示されている。矩形領域８３には動画データが表示されるので、当該動画を進めるまたは後退させるための操作ボタン８７、および動画を停止させる停止ボタン８８が設けられる。時刻表示欄８９には、録画開始時刻から再生時間を加算した時刻が表示されている。また矩形領域８３の上縁に沿った欄９０ては、矩形領域８３で表示されている動画の内容（例えば「購入情報詳細内訳」等）が記されている。
【００４４】
上記の通り、表示画面４１における表示の例によれば、例えば右側の矩形領域８２に時系列にてイベント発生時刻データ７２と共に複数の単位ログデータ７１が文字で表示されており、同時に、同じ画面の隣接する左側の矩形領域８３において「０８：０４：５７  ボタン  勝田駅」と「０８：０４：５７  画面  着駅入力」の各単位ログデータ７１に対応する単位動画データ６１が再生表示されている。この実施形態による操作動画と操作・動作ログの表示方法によれば、矩形領域８２のほぼ中央に位置して強調表示（特別な色や斜線表示等）された単位ログデータ７１に対応する単位動画ログ６１が表示される。表示画面４１における２つの矩形領域８２，８３で表示されるログ内容と動画内容はイベント発生時刻と画像取得時刻を同じにすることにより関係付けられ、これにより同時に１つの表示画面４１に表示される。この表示動作における上記の関係を状態図である図７に示している。表示画面４１にログデータと画像データの表示を行うときには、「比較・対応付け」の機能部９１によって、画像取得時刻とイベント発生時刻とがほぼ一致する単位ログデータ７１と単位動画データ６１が選択され、表示画面４１に表示される。この場合において、単位ログデータ７１に関しては、前述した通り、矩形領域８２のほぼ中央に位置する強調表示された単位ログデータのイベント発生時刻が用いられる。なお単位ログデータ７１の選択・表示については、矩形領域８２のほぼ中央に位置する強調表示された単位ログデータ７１に対して前後のいくつかの単位ログデータも併せて選択され、表示される。
【００４５】
表示画面４１でのログデータ５５Ｂと動画データ５５Ｃの表示では、比較・対応付けの機能部９１に基づき、上記の関係が常に満足されるように表示が行われる。従って、例えばログデータ５５Ｂの表示について操作ボタン８５，８６で上下にスクロール操作を行い、矩形領域８２に表示されるログデータ（複数の単位ログデータ７１）を変更すると、強調表示された単位ログデータ７１に対応するように連動して矩形領域８３に表示される単位動画データ６１も変更される。このことは、矩形領域８３に表示される単位動画データ６１の側を変更させる場合にも同様に成立し、同様にして矩形領域８２に表示されるログデータの表示を変更させることができる。画像取得時刻とイベント発生時刻が一致するという条件を満たすように、２つの矩形領域８２，８３の各表示内容は対応付けられ、かつ連動して変化させられる。
なお前述した通り、ビデオカメラが２台構成で設けられる場合には、図６において「媒体」と表示されたボタン１０１は、矩形領域８３に表示される動画データは、例えば上記のビデオカメラ２３またはビデオカメラ２３Ａのうちのいずれかの動画データを選択するために用いられる切替ボタンである。この場合には、ビデオカメラ２３Ａについてもビデオカメラ２３と同様に動画データがメモリ５５内に保存されるように構成され、切替ボタン１０１によっていずれの動画データを用いて矩形領域８３に表示させるかを選択することができる。ビデオカメラ２３Ａの動画データを選択した場合においても、当該動画データとログデータとは対応付けられ、連動して変化する。
さらに、表示画面４１の矩形領域８３等において動画用の表示領域（任意の形状の表示領域）を複数設けることにより、２以上の動画データを同時に表示させるように構成することもできる。複数の動画データは同一対象物を異なる角度から撮影したものであるから、動画データ同士も関連性を有している。
【００４６】
次に、図８を参照して、上記の画面表示プログラム５５Ａ−１に基づく画面表示処理についての基本的な処理の流れを説明する。
最初の判断ステップＳ１１では、係員表示操作部４０の操作部４２から係員による「表示指令」が入力されたか否かを判断する。判断ステップＳ１１でＮＯであるときには待機状態に保持され、ＹＥＳであるときには、表示指令に含まれる指定時刻に対応する単位ログデータ７１、単位動画データ６１を取り込む（処理ステップＳ１２）。処理ステップＳ１２では、「画像取得時刻＝イベント発生時刻」の条件が満たされることを条件とする。さらに次の処理ステップＳ１３では、上記の条件を満たすことを前提にして、取り込んだ単位ログデータ７１と単位動画データ６１が表示画面４１の２つの矩形領域８２，８３に表示される。
次の判断ステップＳ１４では、表示画面４１の矩形領域８２，８３に表示されたログデータまたは動画データに関して表示内容の変更指示があったか否かが判断される。判断ステップＳ１４でＮＯであるときには、表示画面４１の表示内容が維持される（処理ステップＳ１５）。判断ステップＳ１４でＹＥＳであるときには、変更されたログデータまたは動画データの内容に応じて、「画像取得時刻＝イベント発生時刻」の条件を維持しつつ必要な単位ログデータ７１または単位動画データ６１を取り込み、これに基づいて残りの内容を変更する（処理ステップＳ１６）。
【００４７】
次に、図９〜図１１を参照して、本発明に係る操作動画と操作・動作ログの表示方法の第２の実施形態を説明する。この第２の実施形態でもサービス提供情報処理機は自動券売機の例であり、前述した第１の実施形態に係る自動券売機の表示方法において、さらに機能を高めたものである。すなわち、接客部での利用者の操作行為に係る動画と操作・動作ログとを同一画面にて連動するように関連付けて同時に表示すると共に、さらに動画内容または操作・動作ログ内容に基づいて不正行為や故障を自動的に判断して認識できる構成を持たせるようにしている。これにより、動画または操作・動作ログのいずれからも不正行為や故障を容易かつ迅速に発見することができる。
【００４８】
図９は、図４においてメモリ５５の部分の内部構造を示している。メモリ５５内において、図４に示した構成の「画面表示プログラム５５Ａ−１」と共に、さらに「不正・故障判断プログラム５５Ａ−２」を備えている。またこれに対応して、係員表示・操作部４０の操作部４２には不正・故障指摘表示ボタンという操作ボタンを装備することもできる。その他の構成については、基本的に第１の実施形態で説明した構成と同じである。この実施形態に係る操作動画と操作・動作ログの表示方法によれば、前述した表示の際に、併せて、ログデータ５５Ｂまたは動画データ５５Ｃの不正または故障を自動的に判断して表示する。
【００４９】
不正・故障判断プログラム５５Ａ−２は、メモリ５５内に保存されたログデータ５５Ｂの内容また動画データ５５Ｃの内容について、不正行為があったか否か、または機械の故障があったか否かを判断する。ログデータ５５Ｂに関しての不正行為の判断または故障の判断は、利用者の不正行為に係る複数の操作・動作パターン（不自然な操作・動作パターン）、または異常動作に係る複数の操作・動作パターンを予め用意しておき、これらのパターンと比較・照合することにより、不正または故障を判断するようにしている。動画データ５５Ｃに関しての不正行為の判断または故障の判断は、利用者の不正行為に係る複数の動作パターン（不自然な動作パターン）を予め用意しておき、これらのパターンと比較・照合することにより、不正を判断するようにしている。
【００５０】
図１０は、前述した図７と同様なブロック図である。前述した通り、画面表示処理部８１内に設けられた「比較・対応付け」の機能部９１によって、表示画面４１における２つの矩形領域８２，８３で表示されるログ内容（ログデータ）と動画内容（動画データ）はイベント発生時刻と画像取得時刻を同じにすることにより関係付け、これにより１つの表示画面４１に同時に表示される。併せて、不正・故障判断プログラム５５Ａ−２によって実現される不正・故障判断部９２によって、ログデータ５５Ｂ内の各単位ログデータ７１および動画データ５５Ｃ内の各単位動画データ６１の不正または故障を判断し、その判断データを、判断した対象の単位ログデータ７１または単位動画データ６１に関係付けてメモリに保存する。この実施形態の場合には、不正・故障判断プログラム５５Ａ−２は画面表示プログラム５５Ａ−１に付随するものとして、図１０では不正・故障判断部９２を画面表示部８１のブロック内に描いている。画面表示処理部８１は、リクエストや必要等に応じて、不正・故障判断部９２で得られた不正・故障判断データを、関係付けられたログデータおよび／または単位動画データと共に、表示画面４１に提供する。表示画面４１では、提供されたデータに基づき各矩形領域８２，８３に不正または故障と指摘された動画データを再生しかつログデータを表示する。
【００５１】
次に、図１１を参照して、上記の画面表示プログラム５５Ａ−１および不正・故障判断プログラム５５Ａ−２に基づく画面表示処理についての基本的な処理の流れを説明する。図１１のフローチャートにおいて、図８のフローチャートで説明した要素と同一の要素には同一の符号を付している。
判断ステップＳ１１では、係員表示操作部４０の操作部４２から係員による「表示指令」が入力されたか否かを判断する。判断ステップＳ１１でＮＯであるときには待機状態に保持され、ＹＥＳであるときには、表示指令に含まれる指定時刻に対応する単位ログデータ７１、単位動画データ６１を取り込む（処理ステップＳ１２）。処理ステップＳ１２では、「画像取得時刻＝イベント発生時刻」の条件が満たされることを条件とする。さらに次の処理ステップＳ１３では、上記の条件を満たすことを前提にして、取り込んだ単位ログデータ７１と単位動画データ６１が表示画面４１の２つの矩形領域８２，８３に表示される。
次に、指示に従ってまたは自動的に、ログデータ５５Ｂ内の各単位ログデータ７１および動画データ５５Ｃ内の各単位動画データ６１に関して不正・故障判断の処理を実行する（処理ステップＳ２１）。その後、不正・故障と判断された単位ログデータ７１と単位動画データ６１を保存する。そしてその後、不正・故障と判断された単位ログデータ７１と単位動画データ６１を表示画面４１に表示する（処理ステップＳ２３）。この表示の際には、表示画面４１上で、係員に対して警告の通知が行われる。
その後の処理については、図８で説明した処理ステップＳ１４〜Ｓ１６を設けることもできるし、その他の任意の表示を行わせることができる。
【００５２】
上記の実施形態の説明では、不正・故障判断プログラム５５Ａ−２の実行を、管理時の表示の際に行うようにしたが、不正・故障判断を行う時期はこれに限定されない。例えば、動画データおよびログデータを取得した時点で直ぐにこれを行うように構成することもできる。従って、この場合には管理時の表示の際には、最初から不正・故障を表す動画データおよびログデータを表示させるように構成することもできる。さらに、このような場合には、対応に緊急を要するときには、管理時の表示の以前の段階で、通信手段を経由して係員に早急に連絡して、警告通知を行うように構成することもできる。
【００５３】
前述した第１および第２の実施形態では、操作動画と操作・動作ログの表示方法を自動券売機に適用した例を説明したが、本発明に係る表示方法は、自動精算機、自動定期券発行機等の利用者の操作行為に応じて動作するサービス提供情報処理機に一般的に適用することができる。この場合において、係員表示・操作部や表示内容は各機械ごとに異なるため、操作動画と操作・動作ログの表示方法はそれに応じて変形されるのは勿論である。
【００５４】
以上の実施形態で説明された構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎない。従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。
【産業上の利用可能性】
【００５５】
本発明に係る操作動画と操作・動作ログの表示方法は、自動券売機、自動精算機、自動定期券発行機等の利用者の操作行為に応じて動作するサービス提供情報処理機の管理に利用され、管理の上で利便性と直感的な視認性とを高めた表示方法として利用される。
【符号の説明】
【００５６】
１１          自動券売機
１２          接客部
１３          表示・タッチ操作部
２１          選択ボタン
２２          選択ボタン
２３，２３Ａ  ビデオカメラ（動画カメラ）
４０          係員表示・操作部
４１          表示画面
４２          操作部
５１          演算処理部
５５          メモリ
５５Ａ        処理プログラム
５５Ａ−１    画面表示プログラム
５５Ａ−２    不正・故障判断プログラム
５５Ｂ        ログデータ
５５Ｃ        動画データ
５６          タイマ
６１          単位動画データ
６２          画像取得時刻データ
７１          単位ログデータ
７２          イベント発生時刻データ
８１          画面表示処理部
８２，８３    矩形領域
９１          比較・対応付けの機能部
９２          不正・故障判断部
１０１        切替ボタン
【図１】
0005841378.tif 000002
【図２】
0005841378.tif 000003
【図３】
0005841378.tif 000004
【図４】
0005841378.tif 000005
【図５】
0005841378.tif 000006
【図６】
0005841378.tif 000007
【図７】
0005841378.tif 000008
【図８】
0005841378.tif 000009
【図９】
0005841378.tif 000010
【図１０】
0005841378.tif 000011
【図１１】
0005841378.tif 000012