(57)【要約】【課題】装着者にかかる音声を、種々の作業ごとに仕分けることが容易となるように記録可能とする。【解決手段】ウエアラブル端末装置１は、装着者２の作業に対応した動作モードを設定するとともに、制御部１２１の制御の下、装着者２の操作に応じて、装着者２にかかる音声を集音するマイク１５により集音された音声データを、その設定された動作モードに対応づけて記録する。【選択図】図１
2011014081.tif 000002
【特許請求の範囲】
【請求項１】
装着者からの操作を受け付ける操作手段と、
前記装着者にかかる音声を集音する集音手段と、
前記装着者の作業に対応した動作モードを設定する設定手段と、
前記操作手段による前記装着者の操作に応じて、集音された音声データを、前記設定された動作モードに対応づけて記録する音声記録手段と、
を備えることを特徴とするウエアラブル端末装置。
【請求項２】
モニタ表示部を有するヘッドマウントディスプレイを更に備え、
前記モニタ表示部は、前記音声記録手段における、前記音声データの記録中及び当該音声データの記録終了の少なくとも一方のステータス表示を行うことを特徴とする請求項１に記載のウエアラブル端末装置。
【請求項３】
前記集音された音声に基づいて前記装着者からの音声コマンドを認識する音声認識手段を更に備え、
前記操作手段は、前記認識された音声コマンドによる操作と、当該音声コマンドとは異なる他の操作とを前記装着者から受け付け、
前記音声記録手段は、前記音声コマンドによる操作又は前記他の操作に応じて前記音声データの記録を開始し、前記他の操作に応じて前記音声データの記録を終了することを特徴とする請求項２に記載のウエアラブル端末装置。
【請求項４】
前記装着者の視線位置を検出するための視線検出手段を更に備え、
前記他の操作が、前記検出された視線位置に対応した操作であることを特徴とする請求項３に記載のウエアラブル端末装置。
【請求項５】
前記モニタ表示部は、操作用のアイコン画像を表示し、
前記検出された視線位置に対応した操作が、前記モニタ表示部に表示されたアイコン画像に前記検出された視線位置が重なることであることを特徴とする請求項４に記載のウエアラブル端末装置。
【請求項６】
自装置の位置を検出する位置検出手段を更に備え、
前記設定手段は、前記検出された自装置の位置に対応した前記動作モードを設定することを特徴とする請求項１〜５のいずれか一項に記載のウエアラブル端末装置。
【請求項７】
前記設定手段は、前記操作手段による前記装着者の操作に応じて、前記動作モードを設定することを特徴とする請求項１〜５のいずれか一項に記載のウエアラブル端末装置。
【請求項８】
前記設定手段は、前記モニタ表示部に表示されたアイコン画像に前記検出された視線位置が重なることに応じて、前記動作モードを設定することを特徴とする請求項５に記載のウエアラブル端末装置。
【請求項９】
装着者からの操作を受け付ける操作手段と、前記装着者にかかる音声を集音する集音手段とを備えるウエアラブル端末装置のコンピュータを、
前記装着者の作業に対応した動作モードを設定する設定手段と、
前記操作手段による前記装着者の操作に応じて、集音された音声データを、前記設定された動作モードに対応づけて記録する音声記録手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウエアラブル端末装置及びプログラムに関する。
【背景技術】
【０００２】
従来からヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）を備えた身体に装着可能なウエアラブル端末装置がある。このウエアラブル端末装置は、スーパーマーケット、コンビニエンスストア、百貨店等の店舗におけるＰＯＳ（Point Of Sale）システムなどのユーザインタフェースの一つとして活用されており、従来技術として特許文献１が知られている。
【０００３】
特許文献１には、装着者の視線方向を検出し、装着者の視線位置に応じた映像をヘッドマウントディスプレイに表示するとともに、装着者の音声を認識することで、認識された音声による制御を行うことが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えばウエアラブル端末装置をＰＯＳシステムのユーザインタフェースの一つとして活用する場合、装着者である店舗の店員が行う作業には、精算カウンターにおける精算処理、陳列棚に欠品が生じている商品の在庫確認、商品倉庫などのバックヤードにおける商品の在庫登録など、種々のものがある。そして、業務改善にはその種々の作業ごとに店員の音声（例えば顧客との会話）を検証することが重要であり、装着者にかかる音声は、種々の作業ごとに仕分けが容易となるように記録することが重要であることがわかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、装着者にかかる音声を、種々の作業ごとに仕分けることが容易となるように記録可能なウエアラブル端末装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明のウエアラブル端末装置は、装着者からの操作を受け付ける操作手段と、前記装着者にかかる音声を集音する集音手段と、前記装着者の作業に対応した動作モードを設定する設定手段と、前記操作手段による前記装着者の操作に応じて、前記集音された音声データを、前記設定された動作モードに対応づけて記録する音声記録手段と、を備えることを特徴とする。
【０００７】
また、本発明のプログラムは、装着者からの操作を受け付ける操作手段と、前記装着者にかかる音声を集音する集音手段とを備えるウエアラブル端末装置のコンピュータを、前記装着者の作業に対応した動作モードを設定する設定手段と、前記操作手段による前記装着者の操作に応じて、前記集音された音声データを、前記設定された動作モードに対応づけて記録する音声記録手段と、として機能させることを特徴とする。
【発明の効果】
【０００８】
本発明は、装着者にかかる音声を、種々の作業ごとに仕分けることが容易となるように記録可能とする、という効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施形態にかかるＰＯＳシステムの一例を示す図である。
【図２】図２は、本実施形態にかかるヘッドマウントディスプレイの一例を示す図である。
【図３】図３は、モニタ表示部の表示例を示す図である。
【図４】図４は、本実施形態にかかるウエアラブル端末装置の処理を示すフローチャートの一例である。
【図５】図５は、モニタ表示部の表示例を示す図である。
【図６】図６は、モニタ表示部の表示例を示す図である。
【図７】図７は、モニタ表示部の表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、この発明にかかるウエアラブル端末装置及びプログラムの最良な実施の形態を詳細に説明する。本実施形態では、ＰＯＳシステムにおいて店員が使用するユーザインタフェースにウエアラブル端末装置を適用する場合について例示する。なお、ウエアラブル端末装置は、工場の監視システムにおいて作業員が使用するユーザインタフェースの一つであってもよく、特にＰＯＳシステムにおけるユーザインタフェースに限定するものではない。
【００１１】
図１は、本実施形態にかかるＰＯＳシステムの一例を示す図である。図１に示すように、ＰＯＳシステムは、ＰＯＳ端末３３、その上位機として機能するストアサーバ３０、各種帳票を印刷するためのプリンタ３１を制御するプリンタサーバ３２、装着者２が装着して使用するユーザインタフェースであるウエアラブル端末装置１とデータの送受信を行うための送受信装置３４がネットワークＮＴを介して接続されている。ネットワークＮＴは、ＬＡＮ（Local Area Network）、イントラネット、イーサネット（登録商標）などである。
【００１２】
送受信装置３４とウエアラブル端末装置１との間のデータの送受信は、電波、光、赤外線、超音波などであってよく、本実施形態では通信範囲が数ｍ程度である近接無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）など）を用いて行うものとする。したがって、ＰＯＳシステムでは、精算カウンター近傍の領域、陳列棚が設けられた領域、バックヤード等の店舗内の領域ごとにユニークな識別用ＩＤが割り当てられた送受信装置３４が設置されており、ウエアラブル端末装置１と通信中である送受信装置３４を識別することで、どの領域にウエアラブル端末装置１が存在するかを判定可能となっている。
【００１３】
ＰＯＳ端末３３は、ドロア、カードリーダ、ディスプレイ、レシート／ジャーナル用プリンタなどを備え（いずれも図示しない）、現金やクレジットカードを用いて商取引を行うもので、例えば精算カウンター等に設けられる。なお、ＰＯＳ端末３３による商取引時における店員の操作はウエアラブル端末装置１を介して行われる（詳細は後述する）。
【００１４】
このようなＰＯＳシステムが構築される店舗では、販売対象の各種商品に対して、その商品に関する各種情報がコード化されて示されるバーコードが各々の商品に付与されている。バーコードには、商品の価格を示す商品データが含まれない。このため、各種商品の商品コードに対応して価格データがプリセットされた商品マスタファイルがストアサーバ３０に記憶されている。ＰＯＳ端末３３は、ウエアラブル端末装置１を介して読み取ったバーコードのデータから商品コードを抽出し、この商品コードに対応して設定された価格データをストアサーバ３０に問い合わせ、取得した価格データに基づいて買上商品の精算を行うとともに、買上商品の販売記録を示す販売データを生成してこれを記憶することにより、買上商品の販売登録を行う。
【００１５】
ウエアラブル端末装置１は、ヘッドマウントディスプレイ１０と、撮像装置としてのデジタルカメラ１１と、インタフェースボックス１２と、マイク１５とを備える。ヘッドマウントディスプレイ１０は、眼鏡のフレーム状に形成された保持部材として図２に示すようにフレーム本体１３と、このフレーム本体１３の左右両側にそれぞれ設けられた装着用アーム１４とを備える。このヘッドマウントディスプレイ１０は、左右両側にそれぞれ設けられた装着用アーム１４によって装着者２の頭部２ａに装着可能である。
【００１６】
フレーム本体１３は、装着者２の両眼に合わせた大きさの枠状に形成されている。フレーム本体１３の枠外の上部中央には、撮像方向可変機構１８を介してデジタルカメラ１１が設けられている。また、フレーム本体１３の上部左側には、装着者２の瞳を撮像して視線２ｂ（視線位置）の検出を行うための視線認識用カメラ１９が設けられている。また、フレーム本体１３の下部には、装着者２やその周囲の音声を集音するためのマイク１５が設けられている。フレーム本体１３の枠内には、例えばフレーム枠の形状に合わせて形成された板状の光透過性部材１６が保持されている。この光透過性部材１６は、ヘッドマウントディスプレイ１０を装着者２の頭部２ａに装着した場合、装着者２の眼によって周辺環境を観察可能である。この光透過性部材１６は、例えば無色透明又は予め決められた色を有していてもよい。
【００１７】
光透過性部材１６内の一部分には、モニタ表示部１７が形成されている。このモニタ表示部１７は、デジタルカメラ１１の撮像により取得される動画の画像データ等をリアルタイムにモニタ表示する。このモニタ表示部１７は、例えばヘッドマウントディスプレイ１０における左側に形成されている。すなわち、モニタ表示部１７は、ヘッドマウントディスプレイ１０を装着者２の頭部２ａに装着したときの装着者２の例えば左眼に対応する部分に形成されている。なお、モニタ表示部１７は、装着者２の右眼に対応する部分に形成してもよいし、装着者２の両目に対応する各部分に形成してもよい。このモニタ表示部１７は、光透過性の状態でモニタ表示する。しかるに、モニタ表示部１７は、例えばデジタルカメラ１１の撮像により取得された画像データや各種情報等をリアルタイムにモニタ表示している状態でも周辺環境を観察可能である。
【００１８】
デジタルカメラ１１は、撮像動作を行って動画の画像データを出力する。このデジタルカメラ１１は、光透過性部材１６を通した装着者２の視線２ｂ方向に焦点が合うように撮像範囲を設定した状態でヘッドマウントディスプレイ１０のフレーム本体１３上に取り付けられている。撮像方向可変機構１８は、例えばデジタルカメラ１１を首振り可能に支持し、デジタルカメラ１１の撮像方向を任意の方向、ここでは上記の如くデジタルカメラ１１の撮像範囲を装着者２の視線２ｂ方向に焦点が合うように設定する。
【００１９】
インタフェースボックス１２は、送受信装置３４との間のデータの送受信を行うとともに、ヘッドマウントディスプレイ１０にかかる各種処理を行う。具体的には、インタフェースボックス１２は、制御部１２１、音声処理部１２２、送受信部１２３、情報表示部１２４、画像処理部１２５を備え、装着者２が携帯可能なボックスである。制御部１２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有するコンピュータであり、ウエアラブル端末装置１の動作を制御する。ＲＯＭには、プログラムやそのプログラムを実行する際に参照される各種設定情報などが予め格納されている。ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭの作業領域に展開して順次実行することで、ウエアラブル端末装置１の動作を中央制御する。例えば動作モードが精算モードである場合、制御部１２１は、デジタルカメラ１１の撮像により取得された画像データを情報表示部１２４へ出力してヘッドマウントディスプレイ１０のモニタ表示部１７にリアルタイムに表示させる。さらに、デジタルカメラ１１の撮像により取得された画像データを画像処理部１２５へ出力して画像処理させることで、撮像された商品に添付されたバーコードを解読させて商品コードを取得し、その取得した商品コードを送受信部１２３、送受信装置３４を介してストアサーバ３０へ通知する。次いで、この通知によりストアサーバ３０から返信された商品情報（商品コード、商品名、単価など）を、情報表示部１２４へ出力してモニタ表示部１７に表示させる。なお、インタフェースボックス１２における画像処理部１２５、情報表示部１２４、送受信部１２３、音声処理部１２２などの各部は、制御部１２１がＲＯＭに予め格納されたプログラムを実行することで実現してもよい。
【００２０】
音声処理部１２２は、マイク１５により入力された音声の認識や、その音声の記録にかかる処理を行う。具体的には、音声処理部１２２は、予め設定された辞書データに含まれる音声データと、マイク１５からの音声データとを照合して所定の音声コマンドを認識し、認識した音声コマンドを制御部１２１へ通知する。制御部１２１は、通知された音声コマンドに応じた処理を行う。これにより、ウエアラブル端末装置１は、音声コマンドによる操作が可能である。また、音声処理部１２２は、制御部１２１の制御の下、マイク１５からの音声データを所定のフォーマット形式の音声データへ変換し、変換後の音声データを、制御部１２１のＲＡＭや送受信部１２３、送受信装置３４を介して接続するストアサーバ３０等へ記録する。
【００２１】
情報表示部１２４は、制御部１２１などから入力された画像データをヘッドマウントディスプレイ１０のモニタ表示部１７へ表示する。具体的には、情報表示部１２４は、デジタルカメラ１１の撮像により取得された画像データをモニタ表示部１７に表示する。また、情報表示部１２４は、商品コード、商品名、単価や各種アイコン画像などの情報を受け取ると、受け取った情報を入力された画像データに合成してヘッドマウントディスプレイ１０のモニタ表示部１７に表示する。なお、受け取った情報の表示位置が座標などで指定されている場合は、その指定された表示位置に情報が表示されるように、入力された画像データへの合成を行う。
【００２２】
画像処理部１２５は、デジタルカメラ１１の撮像により取得された画像データの画像処理や、視線認識用カメラ１９で撮像された画像データを解析して装着者２の視線２ｂの検出を行う。具体的には、画像処理部１２５は、視線認識用カメラ１９で撮像された画像データから装着者２の瞳を検出し、その検出された瞳の位置に応じて視線２ｂの検出を行う。また、画像処理部１２５は、デジタルカメラ１１の撮像により取得された画像データの中から１枚のフレームをチャプタし、このチャプタ画像の中のバーコードを識別し、識別された画像データを２値化して商品コードを取得する等の画像処理を行う。
【００２３】
また、ウエアラブル端末装置１における操作入力は、制御部１２１の制御の下、視線認識用カメラ１９の画像を元に画像処理部１２５により検出された視線２ｂに応じて行われてもよい。具体的には、情報表示部１２４がモニタ表示部１７へ表示した操作入力用のアイコン画像を装着者２が見つめた際の視線２ｂを検出することで、ウエアラブル端末装置１における操作入力を行う。図３は、モニタ表示部１７の表示例を示す図であり、具体的には動作モードを視線２ｂで行う際の表示例を示す。図３に示すように、モード表示領域Ｇ１は、現在の動作モードなど、ウエアラブル端末装置１の動作状態を表示する領域である。視線マーカーＧ２は、視線認識用カメラ１９の画像を元に画像処理部１２５で検出された視線２ｂを示すマーカーである。アイコン画像Ｇ１１〜Ｇ１３はウエアラブル端末装置１の動作モードを設定するためのアイコンである。制御部１２１は、アイコン画像Ｇ１１〜Ｇ１３のいずれかの表示座標が視線マーカーＧ２の座標と一致する場合に、その一致するアイコン画像の動作モードを設定する。このように、ウエアラブル端末装置１では、動作モードの設定などの操作入力を、装着者２の視線２ｂに応じて行うことができる。
【００２４】
次に、ウエアラブル端末装置１が制御部１２１の制御のもとで行う処理の手順について、図４を参照して説明する。図４は、本実施形態にかかるウエアラブル端末装置１の処理を示すフローチャートの一例である。
【００２５】
図４に示すように、処理が開始されると、制御部１２１は、ウエアラブル端末装置１の動作モードの設定を行う（Ｓ１０）。ここで設定するウエアラブル端末装置１の動作モードには、「精算モード」、「陳列棚モード」、「在庫登録モード」がある。「精算モード」は、ウエアラブル端末装置１を装着した装着者２がＰＯＳ端末３３の前で買上商品の登録・精算などの精算処理を行うための動作モードである。「陳列棚モード」は、ウエアラブル端末装置１を装着した装着者２が陳列棚において欠品のある商品の在庫確認などを行うための動作モードである。「在庫登録モード」は、バックヤードなどで在庫商品の登録などを行うための動作モードである。Ｓ１０における動作モードの設定は、図３を参照して説明したとおり、装着者２の視線２ｂによって行うものとする。
【００２６】
なお、Ｓ１０における動作モードの設定は、ウエアラブル端末装置１に設けられた操作ボタン（特に図示しない）による操作入力で行ってもよいが、音声処理部１２２が識別した装着者２の音声コマンドに応じて行ってもよい。具体的には、装着者２が「精算モード」、「陳列棚モード」、「在庫登録モード」のいずれを発声したかを識別し、その識別された動作モードを設定する。このように、装着者２の音声コマンドに応じた動作モードの設定では、煩わしい入力操作を行う必要がない。また、動作モードの設定は、店舗内のどの領域にウエアラブル端末装置１が存在するかに応じて行ってもよい。具体的には、前述したとおり、送受信装置３４とウエアラブル端末装置１との間のデータの送受信に基づいて店舗内のどの領域にウエアラブル端末装置１が存在するかを判定し、その判定結果が精算カウンター近傍の領域である場合は「精算モード」を、陳列棚が設けられた領域である場合は「陳列棚モード」を、バックヤードである場合は「在庫登録モード」を設定する。なお、店舗内のどの領域にウエアラブル端末装置１が存在するかについては、デジタルカメラ１１で撮像された画像を画像処理部１２５で画像認識した認識結果に応じて検出してもよい。具体的には、精算カウンター、陳列棚、バックヤードなどを予め撮像した画像を元に上述した画像認識を行うことで、例えば精算カウンターがデジタルカメラ１１で撮像された画像から認識された場合には「精算モード」を、陳列棚が認識された場合には「陳列棚モード」を、バックヤードが認識された場合には「在庫登録モード」を設定する。このように、ウエアラブル端末装置１の位置に対応した動作モードを設定することで、ウエアラブル端末装置１を装着した装着者２が移動した後にわざわざ動作モードの設定を行う必要がなく、作業性を向上させることが可能となる。
【００２７】
次いで、制御部１２１は、デジタルカメラ１１、視線認識用カメラ１９による撮像を行わせ（Ｓ１１）、視線認識用カメラ１９で撮像された画像データによる視線２ｂの検出を画像処理部１２５に行わせる（Ｓ１２）。次いで、制御部１２１は、デジタルカメラ１１で撮像された画像において、Ｓ１２で検出された視線２ｂに対応する領域の画像認識（例えばバーコードの認識や視線２ｂとアイコン画像との重なりの有無など）を画像処理部１２５に行わせて、視線２ｂによる操作入力を受け付け（Ｓ１３）、マイク１５により入力された音声を音声処理部１２２において現在記録中であるか否かを判定する（Ｓ１４）。
【００２８】
音声を記録中でない場合（Ｓ１４：ＮＯ）、制御部１２１は、マイク１５により入力された音声から音声コマンドの認識を行い（Ｓ１５）、装着者２の視線２ｂによる操作入力や、音声コマンドなどによる操作指示に応じて音声の記録を開始するか否かを判定する（Ｓ１６）。Ｓ１５における音声コマンドの認識では、「音声記録開始」等、音声記録の開始を指示する音声コマンドと、「リピート」、「小計」等の操作指示をする音声コマンドとの２つがある。また、装着者２の視線２ｂによる操作入力は、前述したとおり、アイコン画像に視線マーカーＧ２が重なった場合を検出して行うものである。具体的には、音声開始を指示するアイコン画像に視線マーカーＧ２が重なった場合に音声の記録が操作指示される。なお、Ｓ１６における音声の記録を開始するための音声コマンドは、「音声記録開始」などの音声記録を直接指示するもの以外に、「何かご用でしょうか」、「お探しものは何でしょうか」、「何かお困りでしょうか」、「お伺いします」等、客と会話を開始する際の言葉であってもよい。これらの言葉は、音声コマンドと同様、前述した音声処理部１２２の辞書データに設定されている。このように、客と会話を開始する際の言葉をトリガとして音声記録を開始させることで、装着者２が行った客との会話を、所定の操作指示を行うことなく容易に記録することができる。
【００２９】
音声の記録を開始する場合（Ｓ１６：ＹＥＳ）、制御部１２１は、マイク１５から入力される音声データの記録を音声処理部１２２に開始させ（Ｓ１７）、モニタ表示部１７に音声記録中を表示させて（Ｓ１８）、処理をＳ１１へ戻す。
【００３０】
音声の記録を開始しない場合（Ｓ１６：ＮＯ）、制御部１２１は、「精算モード」、「陳列棚モード」、「在庫登録モード」の中でＳ１０により設定されたいずれかの動作モードに従い、Ｓ１３において受け付けられた装着者２の視線２ｂによる操作入力、又は、Ｓ１５において受け付けられた音声コマンドに応じた処理を行い（Ｓ１９）、その処理結果をモニタ表示部１７に表示させる（Ｓ２０）。
【００３１】
例えば動作モードが「精算モード」である場合、制御部１２１は、Ｓ１３において認識されたバーコードを解読した商品コードを買上商品の登録情報としてストアサーバ３０へ通知し、ストアサーバ３０へ買上商品を登録をする。次いで、制御部１２１は、その買上商品の登録に応じてストアサーバ３０から返信された買上商品の商品情報（商品コード、商品名、単価など）を、処理結果としてモニタ表示部１７に表示させる。
【００３２】
図５は、モニタ表示部１７の表示例を示す図であり、具体的には動作モードが「精算モード」時の表示例を示す。図５に示すように、モニタ表示部１７のモード表示領域Ｇ１には、現在の動作モードである「精算モード」が表示される。商品４は、例えば客が買い上げる商品として精算カウンターに持参し、ウエアラブル端末装置１の装着者２が精算を行う際に手に取った商品である。商品４にはその商品に対応したバーコード３が付与されている。装着者２の視線２ｂがバーコード３に移る（視線マーカーＧ２がバーコード３に重なる）ことで、バーコード３が識別され、前述した画像処理部１２５による商品コードの取得が行われる。取得されたバーコード３の商品コードがストアサーバ３０に通知されることで、買上商品の登録が行われる。また、買上商品の登録に応じてストアサーバ３０から返信された商品情報は、商品コードＧ２２、商品名Ｇ２３、単価Ｇ２４としてモニタ表示部１７に表示される。
【００３３】
アイコン画像Ｇ１４、Ｇ１５は、買上商品の登録の際の操作指示を視線マーカーＧ２により受け付けるためのアイコンであり、動作モードが「精算モード」である場合に画面表示される。例えば視線マーカーＧ２がアイコン画像Ｇ１４と重なって「リピート」の指示が入力された場合は、バーコード３の読み取りを行うことなく、直前に登録が行われた買上商品と同一の商品の登録を再度行う。また、視線マーカーＧ２がアイコン画像Ｇ１５と重なって「小計」の指示が入力された場合は、順次登録された買上商品の合計金額を算出するなどの精算処理を行う。音声コマンドの場合も同様に、「リピート」、「小計」などの装着者２の音声に応じた処理が行われる。なお、他の動作モードについての説明は省略するが、設定された動作モードに従い、Ｓ１３において受け付けられた装着者２の視線２ｂによる操作入力、又は、Ｓ１５において受け付けられた音声コマンドに応じた処理が行われることに変わりはない。
【００３４】
次いで、制御部１２１は、装着者２の視線２ｂによる操作入力や音声コマンドなどにより、動作モードの変更の指示があるか否かを判定し（Ｓ２１）、変更がある場合（ＹＥＳ）はＳ１０へ処理を戻す。変更がない場合（ＮＯ）、制御部１２１は、装着者２の視線２ｂによる操作入力や音声コマンドなどにより、処理の終了指示があるか否かを判定し（Ｓ２２）、終了指示がなく、処理を継続させる場合（ＮＯ）はＳ１１へ処理を戻す。なお、終了指示がある場合（ＹＥＳ）、制御部１２１は処理を終了する。
【００３５】
なお、Ｓ１４において音声を記録中である場合（ＹＥＳ）、制御部１２１は、装着者２の視線２ｂによる操作入力による操作指示に応じて音声記録を終了するか否かを判定する（Ｓ２３）。前述したとおり、Ｓ１４において音声を記録中でない場合（ＮＯ）はＳ１５における音声認識が行われ、Ｓ１４において音声を記録中である場合（ＹＥＳ）は音声認識が行われない。すなわち、音声記録中には、音声認識を行わず、音声コマンドによる操作が行われないようにすることで、音声記録中において不意に発声した言葉により音声記録が停止されてしまうことを防止する。
【００３６】
Ｓ２３において音声の記録を終了しない場合（ＮＯ）、制御部１２１は前述したＳ１９へ処理を進める。音声の記録を終了する場合（ＹＥＳ）、制御部１２１は、Ｓ１７で記録を開始した音声データを、Ｓ１０により設定されている動作モードに対応づけてＲＡＭやストアサーバ３０へ保存し（Ｓ２４）、モニタ表示部１７に音声記録終了を表示させて（Ｓ２５）、処理をＳ２１へ進める。なお、設定されている動作モードに対応づけた音声データの保存とは、その動作モードを音声ファイルのファイル名や音声ファイルのタグ情報などに含めた保存、ファイルデータベースに動作モードと音声ファイルとを関連づけた保存などであってよい。
【００３７】
このように、本実施形態では、装着者２の作業に応じて設定されている動作モードに対応づけてマイク１５により入力された音声データを記録することで、記録された音声データを、装着者２の作業ごとに仕分けることが容易となる。
【００３８】
ここで、音声記録中及び音声記録が終了した際のモニタ表示部１７の表示について説明する。図６、７は、モニタ表示部１７の表示例を示す図である。より具体的には、図６は「陳列棚モード」で音声記録中のモニタ表示部１７の表示例であり、図７は「陳列棚モード」で音声記録が終了した際のモニタ表示部１７の表示例である。
【００３９】
図６に示すように、音声記録中のモニタ表示部１７において、モード表示領域Ｇ１には、現在の動作モードである「陳列棚モード」が表示される。人物５は装着者２と対面する客などである。すなわち、図示例では、装着者２にかかる音声として人物５との会話が記録される。また、前述したＳ１８により、インフォメーションウインドウＧ３１には音声記録中であることを示す「録音中」のステータス表示が行われる。また、音声記録中のモニタ表示部１７には、音声記録の終了指示を視線マーカーＧ２により受け付けるための音声終了アイコン画像Ｇ３２が表示される。したがって、音声記録中において、装着者２は、インフォメーションウインドウＧ３１の表示により、人物５との会話が記録されていることを確認することが可能である。また、音声記録中には、音声認識を行わず、音声コマンドによる操作が行われないが、視線マーカーＧ２を音声終了アイコン画像Ｇ３２と重ねるなどして視線２ｂによる音声記録の終了指示を行うことが可能である。
【００４０】
図７に示すように、音声記録が終了した場合のモニタ表示部１７において、前述したＳ２５により、インフォメーションウインドウＧ３１には音声記録が終了したことのステータス表示が行われる。具体的には、音声記録を行った日時、どの動作モードでの音声記録が終了したか、音声を記録した記録ファイル名などが表示される。したがって、音声記録が終了した場合、装着者２は、インフォメーションウインドウＧ３１の表示により、音声記録が終了したことを確認可能である。
【００４１】
なお、本実施形態では、音声記録中であること及び音声記録が終了したことを示すステータス表示をモニタ表示部１７に行うことを例示した。しかしながら、装着者２に対して音声記録が行われたことを通知するためには、上記ステータス表示のうちの少なくとも一方が行われればよい。また、本実施形態では、上記ステータス表示をインフォメーションウインドウＧ３１に文字で表示する構成を例示した。しかしながら、装着者２への通知は、本実施形態に限定するものではない。例えば、インタフェースボックス１２などに設けられたスピーカ（図示しない）による音声通知や、ＬＥＤ（Light Emitting Diode）などのモニタ表示部１７以外の表示装置（図示しない）による通知であってもよい。また、モニタ表示部１７における表示態様も、インフォメーションウインドウＧ３１への文字表示に限定するものではなく、音声記録に応じた背景色の切り替え等の文字を用いない表示態様であってもよい。特に、装着者２の眼前において光透過性の状態でモニタ表示を行う場合には、モニタ表示部１７に表示する文字情報を必要最小限に止めることが装着者２の疲労を軽減することから、文字を用いない表示態様がより好適である。更に、装着者２の視線２ｂを検出して操作入力を行う場合においては視線２ｂが安定することから、音声記録に対応した背景色を表示することがより好適である。
【００４２】
また、本実施形態では、音声認識などを行う音声処理部１２２や画像認識などを行う画像処理部１２５をインタフェースボックス１２に備える構成を例示した。しかしながら、インタフェースボックス１２は音声処理部１２２、画像処理部１２５を備えることなく、音声処理部１２２や画像処理部１２５などにかかる処理については、画像データや音声データを送受信部１２３により送信したストアサーバ３０などで行い、その処理結果を送受信部１２３で受信する構成であってもよい。
【００４３】
また、本実施形態の制御部１２１が実行するプログラムは、ＲＯＭ等に予め組み込んで提供するように構成してもよい。また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
【００４４】
また、上記プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上記プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４５】
また、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【００４６】
１  ウエアラブル端末装置
２  装着者
２ｂ  視線
１０  ヘッドマウントディスプレイ
１１  デジタルカメラ
１２  インタフェースボックス
１５  マイク
１７  モニタ表示部
１９  視線認識用カメラ
３０  ストアサーバ
３１  プリンタ
３２  プリンタサーバ
３３  ＰＯＳ端末
３４  送受信装置
１２１  制御部
１２２  音声処理部
１２３  送受信部
１２４  情報表示部
１２５  画像処理部
Ｇ３１  インフォメーションウインドウ
ＮＴ  ネットワーク
【先行技術文献】
【特許文献】
【００４７】
【特許文献１】特開２００２−３２２１２号公報
【図１】
2011014081.tif 000003
【図２】
2011014081.tif 000004
【図３】
2011014081.tif 000005
【図４】
2011014081.tif 000006
【図５】
2011014081.tif 000007
【図６】
2011014081.tif 000008
【図７】
2011014081.tif 000009