(57)【要約】【課題】人物が動き回る作業を行う場合でも、人物が行っている作業を精度よく特定する。【解決手段】作業特定システム１は、撮像部２１と、音データ取得部２２と、作業特定部３４とを備える。撮像部２１は、人物に装着され、人物の視野方向を撮影して画像データを取得する。音データ取得部２２は、人物に装着され、人物の周囲の音を集めて音データを取得する。作業特定部３４は、予め機械学習され、人物の作業中に取得された画像データおよび音データに基づいて、人物が行っている作業を特定する。【選択図】図２
2019215631.tif 000002
【特許請求の範囲】
【請求項１】
人物に装着され、前記人物の視野方向を撮影して画像データを取得する撮像部と、
前記人物に装着され、前記人物の周囲の音を集めて音データを取得する音データ取得部と、
予め機械学習され、前記人物の作業中に取得された前記画像データおよび前記音データに基づいて、前記人物が行っている前記作業を特定する作業特定部とを備えていることを特徴とする作業特定システム。
【請求項２】
情報の入力を受け付ける入力部と、
前記作業特定部を機械学習させる学習制御部とをさらに備え、
前記作業特定部が特定する対象となる前記作業を特定対象作業とし、前記特定対象作業よりも前に前記人物によって行われる作業を事前作業としたとき、
前記学習制御部は、前記事前作業において、前記撮像部で取得された画像データおよび前記音データ取得部で取得された音データと、前記入力部によって入力された、前記事前作業を特定する事前作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、前記作業特定部の内部のパラメータを設定することを特徴とする請求項１に記載の作業特定システム。
【請求項３】
前記学習制御部は、前記特定対象作業において、前記撮像部で取得された画像データおよび前記音データ取得部で取得された音データと、前記入力部によって入力された、前記特定対象作業を特定する特定対象作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、前記作業特定部の前記パラメータを更新することを特徴とする請求項２に記載の作業特定システム。
【請求項４】
前記人物に装着され、前記人物が移動するときの加速度を検出する加速度検出部をさらに備え、
前記作業特定部は、前記人物の作業中に取得された前記画像データ、前記音データおよび前記加速度のデータに基づいて、前記人物が行っている前記作業を特定することを特徴とする請求項１から３のいずれかに記載の作業特定システム。
【請求項５】
前記作業特定部によって特定された前記作業の間に取得された前記画像データおよび前記音データの少なくとも一方に基づいて、前記作業に関する作業データを集計する作業データ集計部をさらに備えていることを特徴とする請求項１から４のいずれかに記載の作業特定システム。
【請求項６】
前記作業特定部は、ニューラルネットワークで構成されていることを特徴とする請求項１から５のいずれかに記載の作業特定システム。
【請求項７】
前記人物の頭部に装着される映像表示装置と、
前記作業特定部によって特定された前記作業に応じた表示制御信号を前記映像表示装置に送信する信号送信制御部とをさらに備え、
前記映像表示装置は、
映像を表示する表示部と、
前記信号送信制御部から送信される前記表示制御信号に基づいて、前記作業に応じた指示情報を前記表示部に表示させる表示制御部とを有していることを特徴とする請求項１から６のいずれかに記載の作業特定システム。
【請求項８】
前記信号送信制御部は、前記作業特定部によって特定された前記作業が変化した場合に、変化後の作業に応じた表示切替信号を前記映像表示装置に送信し、
前記表示制御部は、前記表示切替信号に基づいて、前記表示部における表示を、変化後の前記作業に応じた指示情報の表示に切り替えることを特徴とする請求項７に記載の作業特定システム。
【請求項９】
請求項８に記載の作業特定システムにおける機械学習方法であって、
前記表示切替信号の送信タイミングで、各フレームの前記画像データおよび前記音データを区切る工程と、
前記送信タイミングで区切った時点よりも時間的に前の区間の前記画像データおよび前記音データと、前記区間の前記画像データおよび前記音データに基づいて前記作業特定部が特定した作業を示す作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、前記作業特定部の内部のパラメータを更新する工程とを含むことを特徴とする機械学習方法。
【請求項１０】
請求項９に記載の機械学習方法をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。
【請求項１２】
人物に撮像部を装着して、前記人物の視野方向を撮影し、画像データを取得する撮像工程と、
前記人物に音データ取得部を装着して、前記人物の周囲の音を集めて音データを取得する音データ取得工程と、
予め機械学習される作業特定部により、前記人物の作業中に取得された前記画像データおよび前記音データに基づいて、前記人物が行っている前記作業を特定する作業特定工程とを含むことを特徴とする作業特定方法。
【請求項１３】
前記作業特定部が特定する対象となる前記作業を特定対象作業とし、前記特定対象作業よりも前に前記人物によって行われる作業を事前作業としたとき、
該作業特定方法は、前記事前作業において、前記撮像部で取得された画像データおよび前記音データ取得部で取得された音データと、入力部によって入力され、前記事前作業を特定する事前作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、前記作業特定部の内部のパラメータを設定するパラメータ設定工程をさらに含むことを特徴とする請求項１２に記載の作業特定方法。
【請求項１４】
前記特定対象作業において、前記撮像部で取得された画像データおよび前記音データ取得部で取得された音データと、前記入力部によって入力され、前記特定対象作業を特定する特定対象作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、前記作業特定部の前記パラメータを更新するパラメータ更新工程をさらに含むことを特徴とする請求項１３に記載の作業特定方法。
【請求項１５】
前記人物に加速度検出部を装着して、前記人物が移動するときの加速度を検出する加速度検出工程をさらに含み、
前記作業特定工程では、前記人物の作業中に取得された前記画像データ、前記音データおよび前記加速度のデータに基づいて、前記人物が行っている前記作業を特定することを特徴とする請求項１２から１４のいずれかに記載の作業特定方法。
【請求項１６】
前記作業特定工程で特定された前記作業の間に取得された前記画像データおよび前記音データの少なくとも一方に基づいて、前記作業に関する作業データを集計する作業データ集計工程をさらに含むことを特徴とする請求項１２から１５のいずれかに記載の作業特定方法。
【請求項１７】
前記作業特定部は、ニューラルネットワークで構成されていることを特徴とする請求項１２から１６のいずれかに記載の作業特定方法。
【請求項１８】
前記作業特定工程で特定された前記作業に応じた表示制御信号を、前記人物が装着する映像表示装置に送信する表示制御信号送信工程と、
前記表示制御信号に基づいて、前記作業に応じた指示情報を、前記映像表示装置の表示部に表示させる表示工程とをさらに含むことを特徴とする請求項１２から１７のいずれかに記載の作業特定方法。
【請求項１９】
前記作業特定工程で特定された前記作業が変化した場合に、変化後の作業に応じた表示切替信号を前記映像表示装置に送信する表示切替信号送信工程と、
前記表示切替信号に基づいて、前記表示部における表示を、変化後の前記作業に応じた指示情報の表示に切り替える表示切替工程とをさらに含むことを特徴とする請求項１８に記載の作業特定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物が行っている作業を特定する作業特定システムと、上記作業特定システムにおける機械学習方法と、上記機械学習方法をコンピュータに実行させるためのプログラムと、そのプログラムを記録した記録媒体と、作業特定方法とに関する。
【背景技術】
【０００２】
従来から、機械学習を利用して、人物の行動の認識または予測を行う装置が提案されている。例えば、特許文献１の装置では、赤外線カメラが、車両内を撮影して車内画像を取得し、人体部位検出手段が、上記車内画像に基づいて、車両内の人物の人体の複数の部位の位置を検出する。そして、特徴量算出手段が、部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出し、識別手段が、例えばRandom Forestsアルゴリズムに従って学習された識別器と、上記順位特徴量とを用いて、車両内乗員の行動を識別する。上記順位特徴量を用いることにより、入力画像中の人体のスケール変動、回転、平行移動に対して頑強となり、座席位置の水平移動、乗員の体格差、カメラの位置や向きなどの影響を抑制した精度のよい認識が可能となっている。
【０００３】
また、特許文献２のシステムでは、取得手段が、寝ている子どもの起床を予測するために起床因子を取得する。このような取得手段の例としては、ベッドの周辺に配置される距離画像センサ、マイク、温度センサ、湿度センサおよび照度センサなどがある。そして、取得された起床因子を教師データとし、その教師データをＳＶＭ（Support vector machine）などの機械学習手法によって学習することで、判別モデルが作成される。予測手段は、上記判別モデルを利用して、所定時間内に子どもが起床するかを予測する。所定時間内に子どもが起床すると予測されると、通知手段は、保育者が所持する携帯端末などに対して予測結果を通知する。これにより、保育者は、上記予測結果の通知に基づいて、子どもが起床するタイミングを把握することができるため、子どもが起床するまでの時間を利用して保育行動の準備をすることができる。したがって、保育者の負担が軽減される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２１５８６１号公報（請求項１、段落〔０００７〕〜〔００１２〕、〔００１８〕、〔００２５〕、図１等参照）
【特許文献２】特開２０１５−１３３６０８号公報（請求項１〜３、段落〔０００９〕、〔００１０〕、〔００７４〕、〔０１０９〕、図１〜図６等参照）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１の装置では、車内に備え付けられたセンサ（赤外線カメラ）によって車内画像のデータを取得している。車内は限られた空間であり、運転中は車両内の乗員が車内で移動することはないため、運転中は上記センサによって常にデータを取得することが可能である。また、特許文献２のシステムでは、子ども用のベッドに備え付けられたセンサでデータを取得している。睡眠中の子供は常にベッド内にいるため、子どもの起床予測においても、上記センサによって常にデータを取得することが可能である。
【０００６】
一方、機械学習を利用した人物の行動の認識または予測を汎用的にすることも従来から考えられている。例えば、物流倉庫内で人物が行っている作業を、機械学習を利用して特定することができれば、特定した結果をインダストリアルエンジニアリング等の観点で作業分析・改善に役立てたり、作業が終わった際に次の指示を自動で出すような自動化に役立てたりすることができ、非常に有効であると考えられる。しかし、物流倉庫のような広い環境においては、人物が作業中に１か所に留まることは少なく、物流倉庫内で複数の棚を回るなどの動きが生ずる場合が多い。したがって、物流倉庫のような環境では、特許文献１および２のように、備え付けの（環境に対して固定の）センサで人物の状態をモニタしてデータを取得する手法を採用することができず、人物が行っている作業を精度よく特定することができないという問題が生ずる。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、その目的は、人物が動き回る作業を行う場合でも、常に人物をセンシングしてデータを取得することができ、これによって、人物が行っている作業を上記データに基づいて精度よく特定することができる作業特定システムと、その作業特定システムにおける機械学習方法と、および上記機械学習方法をコンピュータに実行させるためのプログラムと、そのプログラムを記録した記録媒体と、作業特定方法とを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一側面に係る作業特定システムは、人物に装着され、前記人物の視野方向を撮影して画像データを取得する撮像部と、前記人物に装着され、前記人物の周囲の音を集めて音データを取得する音データ取得部と、予め機械学習され、前記人物の作業中に取得された前記画像データおよび前記音データに基づいて、前記人物が行っている前記作業を特定する作業特定部とを備えている。
【０００９】
本発明の他の側面に係る作業特定方法は、人物に撮像部を装着して、前記人物の視野方向を撮影し、画像データを取得する撮像工程と、前記人物に音データ取得部を装着して、前記人物の周囲の音を集めて音データを取得する音データ取得工程と、予め機械学習される作業特定部により、前記人物の作業中に取得された前記画像データおよび前記音データに基づいて、前記人物が行っている前記作業を特定する作業特定工程とを含む。
【発明の効果】
【００１０】
撮像部および音データ取得部が、作業を行う人物に装着されるため、人物が作業中に動き回る場合でも、撮像部および音データ取得部によって作業中の人物に関するデータ（画像データ、音データ）を常に取得することが可能となる。これにより、予め機械学習される作業特定部は、人物の作業中に取得される画像データおよび音データに基づいて、人物が行っている作業を特定することが可能となる。しかも、上記画像データと上記音データとを用いることにより、例えば作業を行う人物の後方や足元の状況など、画像データ（視野映像）では捉えきれない部分の情報を音データで補完することが可能となる。したがって、人物が行っている作業を、上記画像データおよび上記音データに基づいて精度よく特定することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の一形態に係る作業特定システムの概略の構成を示す説明図である。
【図２】上記作業特定システムの詳細な構成を示すブロック図である。
【図３】ニューラルネットワークの一例を示す説明図である。
【図４】上記ニューラルネットワークを構成する１つのユニットを模式的に示す説明図である。
【図５】人物の作業の特定の流れを模式的に示す説明図である。
【図６】上記作業特定システムにおける各処理の遷移を模式的に示す説明図である。
【図７】パラメータ設定の流れを模式的に示す説明図である。
【図８】上記パラメータ設定における各処理の遷移を模式的に示す説明図である。
【図９】画像データおよび音データが時系列データとして端末装置に入力される場合の作業の特定の流れを模式的に示す説明図である。
【図１０】本発明の他の実施の形態に係る作業特定システムにおけるパラメータ更新の流れを模式的に示す説明図である。
【図１１】上記パラメータ更新における各処理の遷移を模式的に示す説明図である。
【図１２】本発明のさらに他の実施の形態に係る作業特定システムの概略の構成を示すブロック図である。
【図１３】上記作業特定システムにおける作業の特定の流れを模式的に示す説明図である。
【図１４】上記作業特定システムにおける各処理の遷移を模式的に示す説明図である。
【図１５】本発明のさらに他の実施の形態に係る作業特定システムの概略の構成を示すブロック図である。
【図１６】上記作業特定システムにおけるデータ集計の流れを模式的に示す説明図である。
【図１７】上記作業特定システムにおける各処理の遷移を模式的に示す説明図である。
【図１８】本発明のさらに他の実施の形態に係る作業特定システムの概略の構成を示すブロック図である。
【図１９】映像表示装置の記憶部に記憶される情報の一例を示す説明図である。
【図２０】上記作業特定システムにおける作業の特定の流れおよび表示制御を模式的に示す説明図である。
【図２１】上記作業特定システムにおける各処理の遷移を模式的に示す説明図である。
【図２２】表示画面の一例を示す説明図である。
【図２３】表示画面の他の例を示す説明図である。
【図２４】上記記憶部に記憶される情報の他の例を示す説明図である。
【図２５Ａ】上記映像表示装置の上面図である。
【図２５Ｂ】上記映像表示装置の正面図である。
【図２５Ｃ】上記映像表示装置の下面図である。
【図２６】上記映像表示装置の映像表示光学部の概略の構成を示す断面図である。
【図２７】本発明のさらに他の実施の形態に係る作業特定システムにおける各処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の各実施の形態について、図面に基づいて説明すれば、以下の通りである。なお、各実施の形態で共通する構成には共通の部材番号を付記し、その説明を省略することがある。
【００１３】
なお、本明細書において、人物が行う「作業」には、製品の製造（加工や組立を含む）や検品などの作業、製造に必要な部品や、上記部品を用いて製造された製品を物流倉庫（保管場所、収納部屋）から出し入れする作業のほか、物流倉庫内で人物が台車を押しながら移動したり、台車を止めたりする行動も作業に含まれるとする。
【００１４】
〔実施の形態１〕
（作業特定システムの構成）
図１は、本実施形態の作業特定システム１の概略の構成を示す説明図である。作業特定システム１は、ヘッドセット２と、端末装置３とを通信回線ＮＷを介して通信可能に接続して構成されている。ヘッドセット２は、作業を行う人物に装着され、該ヘッドセット２で取得された情報（例えば後述する撮像部２１や音データ取得部２２で取得された情報）を端末装置３に出力したり、端末装置３から送信される情報（例えば音声による作業指示情報）を受信する機能を有する。端末装置３は、ヘッドセット２から出力される情報に基づいて、人物が行っている作業の特定等の処理を行うが、その処理の詳細については後述する。
【００１５】
通信回線ＮＷは、例えば無線ＬＡＮ（Local Area Network）で構成されているが、有線ＬＡＮやインターネット回線で構成されていてもよい。また、ヘッドセット２と端末装置３との通信形態は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に基づく無線通信であってもよい。なお、物流倉庫等の作業現場では、作業中の人物は動き回ることが多いため、ヘッドセット２と端末装置３とは無線で通信を行う形態が望ましい。
【００１６】
（ヘッドセットの構成）
図２は、本実施形態の作業特定システム１の詳細な構成を示すブロック図である。作業特定システム１のヘッドセット２は、撮像部２１と、音データ取得部２２と、音声出力部２３と、通信部２４と、制御部２５とを含んで構成されている。
【００１７】
撮像部２１は、例えば静止画または動画を撮影可能なカメラで構成されており、作業を行う人物の視野方向を撮影して、時間的に異なる各フレームの画像データを取得する。上記画像データとしては、各画素のＲ（赤）、Ｇ（緑）、Ｂ（青）の画素値や、輝度値（（Ｒ＋Ｇ＋Ｂ）／３）などを考えることができる。この撮像部２１は、撮像レンズ、撮像素子（例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor））、フォーカス機構、絞り機構、駆動回路およびＡ／Ｄ（analog/digital）変換回路などを含んで構成されている。
【００１８】
音データ取得部２２は、例えばマイクで構成されており、人物の周囲の音を集めて音データを取得する。例えば、人物が台車を押す作業において、台車が床面上を移動する際に発生する音（車輪が転がるときに発生する音）は、音データ取得部２２に入力されて音データとして取得される。なお、上記の音データには、作業時に人物が発する音（音声）が含まれてもよい。音データ取得部２２は、全周波数領域での音量の最大値、最小値、平均値、振幅や、音量の特定の周波数成分の最大値、最小値、平均値等（音声統計量）を上記音データとして取得することができる。
【００１９】
音声出力部２３は、例えば耳を覆うスピーカーで構成されており、端末装置３から送信される指示情報を音声で出力する。通信部２４は、端末装置３との間で情報をやり取りするための通信インターフェースであり、入出力ポート、送信回路、受信回路、アンテナ、変調回路、復調回路などを含んで構成されている。制御部２５は、例えばＣＰＵ（Central Processing Unit；中央演算処理装置）で構成されており、ヘッドセット２の各部の動作を制御する。
【００２０】
また、ヘッドセット２は、支持部２６を有している。支持部２６は、人物の左側頭部、頭頂部、右側頭部と接触できるように湾曲した可撓性のベルトで構成されている。上記の撮像部２１、音データ取得部２２および音声出力部２３は、支持部２６に取り付けられており、人物の頭部への支持部２６の装着によって人物に装着されることになる。少なくとも撮像部２１を支持部２６で支持した構成のヘッドセット２は、ウェアラブルカメラとも呼ばれる。
【００２１】
なお、支持部２６の形状は特に限定されず、例えば眼鏡形状（テンプルの形状）であってもよい。また、ヘッドセット２は、後述する実施の形態５で示す映像表示装置６０（図１８参照）のようなヘッドマウントディスプレイ（ＨＭＤ）や、スマートグラスで構成されてもよい。また、音データ取得部２２および音声出力部２３は、支持部２６で支持される構造には限定されない。例えば、音データ取得部２２は、クリップで人物の服に取り付けるタイプのマイク（ピンマイク）であってもよく、音声出力部２３は、耳に嵌め込むイヤホンであってもよい。
【００２２】
（端末装置の構成）
作業特定システム１の端末装置３は、例えばパーソナルコンピュータで構成されており、入力部３１と、表示部３２と、記憶部３３と、作業特定部３４と、通信部３５と読取部３６と、制御部３７とを有している。
【００２３】
入力部３１は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、システムの管理者や作業の指示監督者による情報の入力を受け付ける。表示部３２は、各種の情報を表示するデバイスであり、例えば液晶表示装置で構成される。記憶部３３は、各種の情報を記憶するメモリであり、例えばハードディスクで構成されるが、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。
【００２４】
作業特定部３４は、予め機械学習され、人物の作業中に取得されたデータ、つまり、ヘッドセット２の撮像部２１で取得された画像データおよび音データ取得部２２で取得された音データに基づいて、人物が行っている作業を特定する。このような作業特定部３４は、例えばＧＰＵ（Graphics Processing Unit）で構成されている。ＧＰＵは、リアルタイムな画像処理に特化した演算装置（プロセッサ）である。作業特定部３４をＧＰＵで構成することにより、全結合ニューラルネットワーク（fully connected neural network）、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Net）などの機械学習が可能なニューラルネットワークを構築し、画像等の入力に対するニューロ演算により、作業を特定することが可能となる。なお、作業特定部３４において構築されるニューラルネットワークの詳細については後述する。
【００２５】
通信部３５は、ヘッドセット２などの外部端末と通信するためのインターフェースであり、入出力ポートのほか、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。読取部３６は、記録媒体Ｒに記録された情報を読み取る装置であり、例えばディスクドライブで構成される。なお、記録媒体Ｒが可搬型の不揮発性メモリである場合、上記不揮発性メモリの接続部が指し込まれる接続ポートも読取部３６に含まれるとする。
【００２６】
制御部３７は、例えばＣＰＵで構成されており、主制御部３７ａおよび学習制御部３７ｂとしての機能を有している。主制御部３７ａは、端末装置３の各部の動作を制御する。学習制御部３７ｂは、教師あり学習によって作業特定部３４を機械学習させるが、その詳細については後述する。
【００２７】
（ニューラルネットワークについて）
次に、作業特定部３４において構築されるニューラルネットワークについて説明する。図３は、上記ニューラルネットワークの一例を示す説明図である。作業特定部３４は、入力層３４ａ、特徴抽出層３４ｂおよび識別層３４ｃを有する階層型のニューラルネットワークで構成されている。ニューラルネットワークとは、人間の神経ネットワークを模倣した情報処理システムのことである。ニューラルネットワークにおいて、神経細胞に相当する工学的なニューロンのモデルを、ここではユニットＵと呼ぶ。入力層３４ａ、特徴抽出層３４ｂおよび識別層３４ｃは、それぞれ複数のユニットＵを有して構成されている。
【００２８】
入力層３４ａは、通常、１層からなる。入力層３４ａの各ユニットＵには、例えば１枚（１フレーム）の画像を構成する各画素の画像データと、１フレームにおいて取得される音データがそれぞれ入力される。上記画像データおよび上記音データは、入力層３４ａの各ユニットＵから特徴抽出層３４ｂにそのまま出力される。
【００２９】
特徴抽出層３４ｂは、入力データ（入力層３４ａのデータ）から特徴を抽出して識別層３４ｃに出力する層である。識別層３４ｃは、特徴抽出層３４ｂが抽出した特徴を用いて識別（ここでは作業の特定）を行う層である。
【００３０】
上記の特徴抽出層３４ｂおよび識別層３４ｃは、それぞれ複数層によって構成されている。これにより、認識処理部１１全体として、ディープニューラルネットワーク（ＤＮＮ）が構成されている。
【００３１】
ここで、特徴抽出層３４ｂおよび識別層３４ｃを構成する各ユニットＵについて説明を補足しておく。上記のユニットＵとしては、通常、図４に示すような、多入力１出力の素子が用いられる。信号は一方向にだけ伝わり、ある重み（結合荷重：ｗｉ）をつけられて、ユニットＵに入力される。この重みによって、階層的に並ぶユニットＵ・Ｕ間の結合の強さが表されるが、上記の重みは、学習によって変化させることができる。ユニットＵからは、重みをつけられたそれぞれの入力値（ｗｉｘｉ）の総和から閾値θを引いた値Ｘが応答関数ｆ（Ｘ）による変形を受けた後、出力される。つまり、ユニットＵの出力値ｙは、以下の数式で表される。
ｙ＝ｆ（Ｘ）
ここで、
Ｘ＝Σ（ｗｉｘｉ−θ）
である。なお、応答関数としては、例えばシグモイド関数を用いることができる。
【００３２】
入力層３４ａの各ユニットＵは、通常、シグモイド特性や閾値をもたず、それゆえ、上述のように入力値がそのまま出力に表れる。一方、識別層３４ｃの最終層（出力層）の各ユニットＵは、識別層３４ｃでの識別結果（特定した作業の確からしさを示す尤度）を出力することになる。
【００３３】
作業特定部３４（階層型ニューラルネットワーク）の学習アルゴリズムとしては、例えば、正解を示す値（尤度（スコア））と識別層３４ｃからの出力値（尤度（スコア））との２乗誤差が最小となるように、最急降下法を用いて識別層３４ｃの重みおよび特徴抽出層３４ｂの重みを順次変化させていく誤差逆伝播法（バックプロパゲーション）が用いられる。なお、上記した重み（ｗｉ）のことを、以下では「パラメータ」とも称する。
【００３４】
（作業特定の流れ）
次に、上記構成の作業特定システム１における作業を特定する流れについて説明する。図５は、物流倉庫内で人物Ｐが台車Ｄを押して作業（ここでは商品のピッキングおよび搬送）を行う場合の、作業の特定の流れを模式的に示している。また、図６は、本実施形態の作業特定システム１における各処理の遷移を模式的に示している。なお、ここでは、作業特定部３４の内部のパラメータ（ニューラルネットワークの各ユニットの重み）は、後述する事前作業で取得された画像データおよび音データに基づく機械学習により、予め適切に設定されているとする。
【００３５】
まず、作業者である人物Ｐは、ヘッドセット２を装着する。なお、図５では、便宜的に、ヘッドセット２の撮像部２１および音データ取得部２２のみを図示する。この状態で人物Ｐが台車Ｄを押して作業を開始すると、人物Ｐの作業中に、撮像部２１によって人物Ｐの視野方向の撮像データ（画像データ）が取得されるとともに（＃１１−１；撮像工程）、音データ取得部２２によって人物Ｐの周囲の音データが取得される（＃１１−２；音データ取得工程）。取得された画像データおよび音データは、端末装置３に送信され、時刻を同期させた形で端末装置３に入力される。
【００３６】
ここで、ヘッドセット２から端末装置３へは、画像データ（各画素の輝度値、ＲＧＢ値等）および音データがフレーム単位で入力されてもよいが、端末装置３での計算処理時間等の都合によって、数フレーム分または所望の時間分の画像データおよび音データの統計量が端末装置３に入力されてもよい。
【００３７】
端末装置３に入力された画像データおよび音データは、記憶部３３に記憶される（＃１２；記憶工程）。作業特定部３４は、記憶部３３に記憶された画像データおよび音データに基づいて、人物Ｐが行う作業を特定する（＃１３；作業特定工程）。つまり、上記画像データおよび上記音データを、ニューラルネットワークの入力層３４ａに入力し、特徴抽出層３４ｂおよび識別層３４ｃで所定の演算を行うことにより、識別層３４ｃの最終層（出力層）から、作業を特定する情報（尤度（スコア））を出力する。特徴抽出層３４ｂおよび識別層３４ｃの各パラメータは予め適切に設定されているため、作業特定部３４は、上記画像データおよび上記音データの入力に対して、作業の特定結果を適切に出力することが可能となる。
【００３８】
（事前作業によるパラメータの設定処理について）
次に、事前作業による作業特定部３４の内部のパラメータの設定処理について説明する。図７は、パラメータ設定の流れを模式的に示している。また、図８は、上記パラメータ設定における各処理の遷移を模式的に示している。
【００３９】
まず、人物Ｐに事前作業を実施させる。ここで、事前作業とは、上記した作業特定部３４によって特定対象となる作業（以下、特定対象作業とも称する）よりも前に、人物Ｐによって行われる作業のことを指す。例えば、事前作業では、上記した特定対象作業と同じように、物流倉庫内で台車Ｄを押す作業を人物Ｐに実施させる。
【００４０】
また、事前作業においても、作業者である人物Ｐにヘッドセット２を装着させる。この状態で人物Ｐが台車Ｄを押して事前作業を開始すると、人物Ｐの事前作業中に、撮像部２１によって人物Ｐの視野方向の撮像データ（画像データ）が取得されるとともに（＃１−１）、音データ取得部２２によって人物Ｐの周囲の音データが取得される（＃１−２）。取得された画像データおよび音データは、端末装置３に送信され、時刻を同期させた形で端末装置３に入力され、記憶部３３に記憶される（＃２）。
【００４１】
一方、システムの管理者Ｑは、人物Ｐが行っている事前作業をビデオカメラ１０で録画する。事前作業の後、管理者Ｑは、ビデオカメラ１０で取得された録画データを再生して映像を確認しながら、人物Ｐが行った事前作業を特定する情報（例えば作業名）を、事前作業情報として入力部３１によって入力する（＃３）。これにより、学習制御部３７ｂは、ヘッドセット２から送信され、記憶部３３に記憶された画像データおよび音データを、事前作業を実施していた期間で区切るとともに、入力部３１によって入力された事前作業情報（作業名）を、区切った画像データおよび音データと紐付けて（対応付けて）記憶部３３に記憶させる（＃４）。
【００４２】
次に、学習制御部３７ｂは、人物Ｐの事前作業において取得された上記画像データおよび上記音データと、入力部３１によって入力された事前作業情報（作業名）とのセットを正解ラベル付きデータとして用いた教師あり学習により、作業特定部３４の内部のパラメータ（作業の特定の際に用いるパラメータ（重み））を設定する（＃５）。つまり、学習制御部３７ｂは、人物Ｐが事前作業を行ったときに取得された上記画像データおよび上記音データを作業特定部３４に入力し、作業特定部３４から出力される結果（作業の特定結果）の尤度と、正解ラベルである事前作業情報の尤度（例えば１）との２乗誤差が最小となるように、最急降下法を用いて作業特定部３４のパラメータを変化させる。これにより、作業特定部３４のパラメータが設定される。
【００４３】
（効果）
以上のように、本実施形態では、撮像部２１および音データ取得部２２が、支持部２６によって、作業を行う人物Ｐに装着されるため、物流倉庫内での商品のピッキング作業のように、人物Ｐが物流倉庫内を動き回るような作業を行う場合でも、撮像部２１および音データ取得部２２によって画像データおよび音データを常に取得することが可能となる。これにより、予め機械学習される作業特定部４２は、上記画像データおよび上記音データに基づいて、人物Ｐの作業を特定することが可能となる。
【００４４】
また、例えば台車Ｄで商品を運搬する場合、人物Ｐの視野映像（撮像部２１で取得される画像データ）だけでは、人物Ｐの足元の状況がわからないため、人物Ｐが台車Ｄを押しているのか、単に歩行中であるのかを判断することが困難となる。しかし、作業時の画像データに加えて、音データも取得することにより、台車Ｄが床面上を移動する際の車輪の音を捉えることができるため、人物Ｐが台車Ｄを押している状態を明確に認識することができる。つまり、上記画像データと上記音データとを併用することにより、上記画像データだけでは捉えきれない情報を上記音データで補完することができる。これにより、人物Ｐが行っている作業を精度よく特定することが可能となる。
【００４５】
また、学習制御部３７ｂは、事前作業において撮像部２１で取得された画像データおよび音データ取得部２２で取得された音データと、入力部３１によって入力された事前作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、作業特定部３４の内部のパラメータ（各ユニットの重み）を設定する。このような事前の教師あり学習により、人物Ｐが作業（特定対象作業）を行う前に、作業特定部３４の内部のパラメータを適切に設定することができる。
【００４６】
また、作業特定部３４は、ニューラルネットワークで構成されている。これにより、作業特定部３４を予め機械学習させることができるとともに、そのように機械学習された作業特定部３４でのニューロ演算により、人物Ｐの作業を特定することが可能となる。
【００４７】
なお、本実施形態では、フレーム単位の画像データおよび音データを作業特定部３４に入力する例について説明したが、作業特定部３４が例えばＲＮＮで構成される場合など、時系列データを扱うアルゴリズムに基づく処理を行う場合には、図９に示すように、作業特定部３４に入力する画像データおよび音データを時系列データとしてもよい。その場合、事前学習で取得されるデータおよび事前作業情報を用いて作業特定部３４を機械学習させる場合も、上記と同様に時系列の画像データおよび音データを入力して機械学習を行うようにすればよい。
【００４８】
〔実施の形態２〕
本実施形態では、実施の形態１の作業特定システム１の構成において、学習制御部３７ｂが、人物Ｐによる事前作業後の特定対象作業において取得されるデータをもとに、定期的に、または特定のタイミングで、作業特定部３４の内部のパラメータを更新する例について説明する。
【００４９】
図１０は、本実施形態の作業特定システム１におけるパラメータ更新の流れを模式的に示している。また、図１１は、パラメータ更新における各処理の遷移を模式的に示している。通常は、実施の形態１と同様にして、作業特定部３４が、ニューロ演算により、人物Ｐが行っている作業（特定対象作業）を特定する処理を行う（実施の形態１の＃１１−１、＃１１−２、＃１２、＃１３と同じ）。
【００５０】
一方、システムの管理者Ｑは、人物Ｐが行っている作業（特定対象作業）をビデオカメラ１０で録画する。管理者Ｑは、ビデオカメラ１０で取得された録画データを再生して映像を確認しながら、人物Ｐが行った作業を特定する情報（例えば作業名）を、特定対象作業情報として入力部３１によって入力する（＃１４）。入力された上記特定対象作業情報（作業名）は、学習制御部３７ｂにより、ヘッドセット２から送信される画像データおよび音データと紐付けられて記憶部３３に記憶される（＃１５）。
【００５１】
そして、学習制御部３７ｂは、特定対象作業において取得された画像データおよび音データと、入力部３１によって入力された特定作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、作業特定部３４のパラメータを定期的に、または特定のタイミングで更新する（＃１６）。つまり、学習制御部３７ｂは、人物Ｐが特定対象作業を行ったときに取得された上記画像データおよび上記音データを作業特定部３４に入力し、作業特定部３４から出力される結果（作業の特定結果）の尤度と、正解ラベルである特定対象作業情報の尤度との２乗誤差が最小となるように、最急降下法を用いて作業特定部３４のパラメータを更新する。
【００５２】
このように、人物Ｐの特定対象作業において取得された情報（画像データ、音データ、特定作業情報）を用いて、定期的に、または特定のタイミングで、作業特定部３４のパラメータを更新することにより、事前作業で得られたデータ（画像データ、音データ）以外のデータが作業特定部３４に入力された場合でも、作業特定部３４は、上記データの入力に対して適切な作業の特定結果を出力することが可能となり、作業の特定の精度を向上させることが可能となる。
【００５３】
なお、本実施形態では、実施の形態１で述べた、人物Ｐの事前作業によるパラメータの設定と同様の処理により（ビデオカメラ１０を用いた方法により）、特定対象作業情報を取得して作業特定部３４のパラメータを更新するようにしているが、特定対象作業において取得される画像データおよび音データを、上記特定対象作業と紐付けることができるのであれば、特定対象作業情報の取得方法は別の方法であってもよい。
【００５４】
〔実施の形態３〕
図１２は、本実施形態の作業特定システム１の概略の構成を示すブロック図である。本実施形態の作業特定システム１は、ヘッドセット２が加速度検出部２７をさらに備えている点以外は、実施の形態１の作業特定システム１と同様の構成である。
【００５５】
加速度検出部２７は、人物が移動するときの加速度を検出する加速度計で構成されている。この加速度検出部２７は、例えば支持部２６（図１参照）に取り付けられている。したがって、人物の頭部への支持部２６の装着によって、加速度検出部２７も人物に装着されることになる。なお、加速度検出部２７は、人物の腰や手など、人物に直接装着されていてもよい。
【００５６】
図１３は、本実施形態の作業特定システム１における作業の特定の流れを模式的に示している。また、図１４は、上記作業特定システム１における各処理の遷移を模式的に示している。なお、ここでは、作業特定部３４の内部のパラメータは、実施の形態１と同様に、事前作業で取得されるデータに基づく機械学習により、予め適切に設定されているとする。このとき、事前作業で取得される上記データには、撮像部２１で取得される画像データ、音データ取得部２２で取得される音データに加えて、加速度検出部２７によって取得される加速度のデータが含まれるが、パラメータの設定方法は実施の形態１と全く同様である。
【００５７】
作業者である人物Ｐがヘッドセット２を装着し、台車Ｄを押して作業を開始すると、人物Ｐの作業中に、画像データ、音データおよび加速度のデータが、それぞれ撮像部２１、音データ取得部２２および加速度検出部２７によって取得される（＃１１−１、＃１１−２、＃１１−３；加速度検出工程）。取得された画像データ、音データおよび加速度のデータは、端末装置３に送信され、時刻を同期させた形で端末装置３に入力される。
【００５８】
ここで、ヘッドセット２から端末装置３へは、画像データ、音データおよび加速度のデータがフレーム単位で入力されてもよいが、端末装置３での計算処理時間等の都合によって、数フレーム分または所望の時間分の画像データ、音データおよび加速度のデータの統計量が端末装置３に入力されてもよい。加速度のデータの統計量としては、フレームの期間中の加速度の最大値、最小値、平均値、振幅や、加速度の特定の周波数成分の最大値、最小値、平均値等がある。
【００５９】
端末装置３に入力された画像データ、音データおよび加速度のデータは、記憶部３３に記憶される（＃１２）。作業特定部３４は、記憶部３３に記憶された画像データ、音データおよび加速度のデータに基づいて、人物Ｐが行っている作業を特定する（＃１３）。つまり、上記画像データ、上記音データおよび上記加速度のデータを、ニューラルネットワークの入力層３４ａに入力し、特徴抽出層３４ｂおよび識別層３４ｃで所定の演算を行うことにより、識別層３４ｃの最終層（出力層）から、作業を特定する情報（尤度（スコア））を出力する。特徴抽出層３４ｂおよび識別層３４ｃの各パラメータは予め適切に設定されているため、作業特定部３４は、上記画像データ、上記音データおよび上記加速度のデータの入力に基づいて作業を適切に特定することが可能となる。
【００６０】
以上のように、本実施形態では、作業特定部３４は、画像データ、音データおよび加速度のデータを用いて予め機械学習されており、人物Ｐの作業中に取得された画像データ、音データおよび加速度のデータに基づいて、人物Ｐが行っている作業を特定する。このように、画像データおよび音データに加えて加速度のデータも利用して人物Ｐの作業を特定することにより、作業の特定をさらに精度よく行うことができる。
【００６１】
なお、本実施形態においても、実施の形態２と同様に、人物Ｐの特定対象作業において取得された情報（画像データ、音データ、加速度のデータ、特定作業情報）を用いて、定期的に、または特定のタイミングで、作業特定部３４のパラメータを更新してもよいことは勿論のことである。
【００６２】
〔実施の形態４〕
図１５は、本実施形態の作業特定システム１の概略の構成を示すブロック図である。本実施形態の作業特定システム１は、端末装置３が作業データ集計部３８をさらに備えている点以外は、実施の形態１の作業特定システム１と同様の構成である。
【００６３】
作業データ集計部３８は、例えば制御部３７と同一の、または別個のＣＰＵで構成されており、作業特定部３４によって特定された人物の作業の間に取得された画像データおよび音データの少なくとも一方に基づいて、作業に関する作業データを集計する。
【００６４】
上記の作業データは、例えば作業ごとの作業時間の平均やばらつき、各作業が実施されている時間帯などの情報を含む。時間については、画像データのＦＰＳ（Frames Per Second）とその作業を特定した画像データ数とに基づいて算出してもよいし、画像データおよび音データの取得時の時刻をタイマー（図示せず）から別途取得し、その時刻データから算出してもよい。また、撮像部２１や音データ取得部２２がタイムスタンプ機能を有している場合は、そのタイムスタンプから時間を算出してもよい。また、人物Ｐの識別情報を何らかの方法で収集できれば、作業の平均時間やばらつき等を人物Ｐごとに算出することも可能である。
【００６５】
図１６は、本実施形態の作業特定システム１におけるデータ集計の流れを模式的に示している。また、図１７は、上記作業特定システム１における各処理の遷移を模式的に示している。本実施形態では、作業特定部３４が、人物Ｐの作業中に取得された画像データおよび音データに基づいて、人物Ｐが行っている作業を特定した後（＃１３）、作業データ集計部３８が、特定された上記作業の間に取得された画像データおよび音データに基づいて、作業データを集計している（＃１７；作業データ集計工程）。集計結果については、例えば記憶部３３に記憶されてもよいし、表示部３２に表示されてもよい。
【００６６】
このように、作業データ集計部３８が、作業に関する作業データを集計することにより、例えば人物Ｐが複数の作業を行う場合において、人物Ｐがどの作業に時間がかかっているか、作業時間のばらつきの大小など、各作業の作業実態がわかる。これにより、集計した作業データを、今後の作業の改善に役立てることができる。
【００６７】
〔実施の形態５〕
図１８は、本実施形態の作業特定システム１の概略の構成を示すブロック図である。本実施形態の作業特定システム１は、端末装置３の制御部３７が信号送信制御部３７ｃをさらに備えた点、およびヘッドセット２を映像表示装置６０に置き換えた点以外は、実施の形態１の作業特定システム１と同様の構成である。信号送信制御部３７ｃは、例えばＣＰＵで構成されており、作業特定部３４によって特定された作業に応じた表示制御信号（例えば作業に応じた指示情報を表示させるための制御信号）を映像表示装置６０に送信する。
【００６８】
映像表示装置６０は、人物Ｐの頭部に装着されて映像を表示するとともに、上記映像の虚像を人物に提供するヘッドマウントディスプレイで構成されている。この映像表示装置６０は、実施の形態１と同様の撮像部２１と、音データ取得部２２と、音声出力部２３と、通信部２４と、制御部２５とを有しており、それに加えて、表示部６１と、記憶部６２とをさらに有している。
【００６９】
表示部６１は、例えば映像を表示する液晶表示装置で構成されている。記憶部６２は、例えば不揮発性メモリで構成され、表示部６１に表示させる映像の情報（例えば作業の指示情報）を記憶する。図１９は、記憶部６２に記憶される情報の一例を示している。記憶部６２には、例えば作業名と作業の指示とが１対１に紐づけられた情報が記憶されている。制御部２５は、映像表示装置６０の各部を制御するＣＰＵで構成されており、特に、表示部６１における映像の表示を制御する表示制御部として機能している。なお、映像表示装置６０は、表示部６１に表示された映像の虚像を人物に観察させるための光学系も有しているが、映像表示装置６０の光学的な構成については後述する。
【００７０】
図２０は、本実施形態の作業特定システム１における作業の特定の流れおよび表示制御を模式的に示している。また、図２１は、上記作業特定システム１における各処理の遷移を模式的に示している。本実施形態では、作業特定部３４が、人物Ｐの作業中に取得された画像データおよび音データに基づいて、人物Ｐが行っている作業を特定した後（＃１３）、信号送信制御部３７ｃは、作業特定部３４で特定した作業が前の作業に比べて変化したか否かを判断する（＃２１）。１番目の作業については、＃２１では作業が変化していないと判断し（＃２１にてＮｏ）、信号送信制御部３７ｃは、＃１３で特定した作業に応じた表示制御信号を映像表示装置６０に送信する（＃２２；表示制御信号送信工程）。映像表示装置６０の制御部２５は、上記表示制御信号に基づいて、上記特定した作業に応じた指示情報を表示部６１に表示させる（＃２３；表示工程）。
【００７１】
例えば、＃１３にて、人物の作業が「作業名１」であると特定され、その後、信号送信制御部３７ｃから「作業名１」に応じた表示制御信号が映像表示装置６０に送信された場合、映像表示装置６０の制御部２５は、上記表示制御信号に基づいて、記憶部６２から「作業名１」に対応する「指示１」の情報を抽出し、この「指示１」の内容を表示部６１に表示させる。図２２は、「作業名１」に対応する「指示１」の表示画面の一例を示している。
【００７２】
次に、＃１３に戻り、作業中の画像データおよび音データに基づいて、作業特定部３４が次の作業を特定すると、信号送信制御部３７ｃは、人物Ｐが行っている作業が次の作業に変化したと判断し（＃２１にてＹｅｓ）、特定した作業（変化後の作業）に応じた表示切替信号を映像表示装置６０に送信する（＃２４；表示切替信号送信工程）。映像表示装置６０の制御部２５は、上記表示切替信号に基づいて、表示部６１における表示を、変化後の作業に応じた指示情報の表示に切り替える（＃２５；表示切替工程）。
【００７３】
例えば、＃１３にて、変化後の作業が「作業名２」であると特定され、信号送信制御部３７ｃから「作業名２」に応じた表示切替信号が映像表示装置６０に送信された場合、映像表示装置６０の制御部２５は、上記表示切替信号に基づいて、記憶部６２から「作業名２」に対応する「指示２」の情報を抽出し、この「指示２」の内容を表示部６１に表示させることになる。つまり、表示部６１における指示情報の表示を、「指示１」から「指示２」に切り替える。図２３は、「作業名２」に対応する「指示２」の表示画面の一例を示している。
【００７４】
以上のように、映像表示装置６０の制御部２５は、信号送信制御部３７ｃから送信される表示制御信号に基づいて、特定された作業に応じた指示情報を表示部６１に表示させる。これにより、映像表示装置６０を使用する人物Ｐは、表示された指示情報を見ながら、その指示に沿って作業を進めることができ、作業を効率よく行うことができる。
【００７５】
また、人物Ｐの作業が変化した場合でも、映像表示装置６０の制御部２５は、信号送信制御部３７ｃから送信される表示切替信号に基づいて、表示部６１における表示を、変化後の作業に応じた指示情報の表示に切り替える。これにより、人物Ｐの作業が変化した場合でも、その人物Ｐは、変化後の作業に応じた指示情報を見ながら、その指示に沿って作業を効率よく進めることができる。
【００７６】
なお、本実施形態では、図１９、図２２および図２３で示したように、各作業に対応する指示情報を全て記憶部６２に記憶させ、記憶部６２から任意の指示情報を抽出して表示部６１に表示させるようにしているが、各作業に対応する指示情報の全てを記憶部６２に記憶させる必要はない。例えば、図２４に示すように、全作業に共通の指示内容をテンプレートとして記憶部６２に記憶させてもよい。この場合、制御部２５は、信号送信制御部３７ｃからの表示制御信号または表示切替信号に基づいて、記憶部６２に記憶されたテンプレートの空欄部分を、特定した作業に応じて追加して埋めることで、指示情報を完成させることができる。このようにすることで、記憶部６２の記憶容量の削減を図ることができる。
【００７７】
また、信号送信制御部３７ｃは、表示部６１に表示させる映像のデータ（指示情報）そのものを映像表示装置６０に送信し、制御部２５は、上記データを表示部６１に表示させるようにしてもよい。つまり、信号送信制御部３７ｃから送信される信号が、人物Ｐの作業に応じた指示情報を含み、制御部２５が上記指示情報を表示部６１に表示させるようにしてもよい。
【００７８】
（映像表示装置の構成）
次に、上記した映像表示装置６０の光学的な構成について説明する。図２５Ａ、図２５Ｂおよび図２５Ｃは、本実施形態の映像表示装置６０の上面図、正面図、下面図である。映像表示装置６０は、後述する映像表示光学部７１と、フレーム７２と、レンズ７３と、鼻当て７４と、位置調整機構７５とを有している。なお、図面に示したＸＹＺの各方向は、本実施形態では、左右方向（眼幅方向）、上下方向、前後方向に対応している（各方向の正逆は特に問わない）。ここで、左右、上下、前後の各方向は、正立した人物が正面を向いたときの視線方向を基準にして、左右、上下、前後の各方向を指すとする。
【００７９】
フレーム７２は、眼鏡のフレームに相当するものであり、人物の頭部に装着され、映像表示光学部７１を支持する支持部材である。このフレーム７２は、人物の左右の側頭部に当接するテンプルを含んでいる。
【００８０】
レンズ７３は、人物の右眼および左眼の眼前に配置される右眼用レンズ７３Ｒおよび左眼用レンズ７３Ｌを含んでいる。右眼用レンズ７３Ｒおよび左眼用レンズ７３Ｌは、右連結部７６Ｒおよび左連結部７６Ｌを介して、位置調整機構７５と連結されている。右眼用レンズ７３Ｒおよび左眼用レンズ７３Ｌは、視力矯正用のレンズであってもよいし、視力矯正を行わない単なるダミーレンズであってもよい。
【００８１】
鼻当て７４は、人物の鼻と当接する右鼻当て７４Ｒおよび左鼻当て７４Ｌを含んでいる。右鼻当て７４Ｒおよび左鼻当て７４Ｌは、右連結部７７Ｒおよび左連結部７７Ｌを介して、位置調整機構７５と連結されている。
【００８２】
位置調整機構７５は、フレーム７２に対して鼻当て７４を人物の眼幅方向に垂直な上下方向に相対的に移動させることにより、フレーム７２で支持された映像表示光学部７１の上下方向の位置を調整する機構である。なお、位置調整機構７５を設けることなく、レンズ７３および鼻当て７４をフレーム７２に直接固定した構成としてもよい。
【００８３】
図２６は、上記した映像表示光学部７１の概略の構成を示す断面図である。映像表示光学部７１は、照明光学系８１と、偏光板８２と、偏光ビームスプリッタ（ＰＢＳ）８３と、上記した表示部６１と、接眼光学系８４とを有して構成されている。照明光学系８１、偏光板８２、ＰＢＳ８３および表示部６１は、映像表示光学部７１の筐体７１ａ（図２５Ａ等参照）内に位置している。また、接眼光学系８４の上端部も筐体７１ａ内に位置している。接眼光学系８４は、右眼用レンズ７３Ｒの前方（人物とは反対側の外界側）に位置している。筐体７１ａ内の後述する光源９１および表示部６１は、筐体７１ａを貫通して設けられるケーブル（図示せず）を介して、制御部２５を含む回路基板と接続されており、回路基板から駆動電力や映像信号などが供給される。
【００８４】
照明光学系８１は、表示部６１を照明するものであり、光源９１と、照明ミラー９２と、拡散板９３とを有している。
【００８５】
光源９１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色に対応する光を出射するＲＧＢ一体型のＬＥＤで構成されている。複数の発光点（ＲＧＢの各発光点）は、水平方向（Ｘ方向）に略直線状に並んでいる。光源９１から出射される光の波長は、例えば、光強度のピーク波長および光強度半値の波長幅で、４６２±１２ｎｍ（Ｂ光）、５２５±１７ｎｍ（Ｇ光）、６３５±１１ｎｍ（Ｒ光）である。なお、光源９１は、レーザ光源であってもよい。
【００８６】
照明ミラー９２は、光源９１から出射された光（照明光）を拡散板９３に向けて反射させるとともに、Ｙ方向に関して、光学瞳Ｐと光源９１とが略共役となるように、照明光を曲げる光学素子である。
【００８７】
拡散板９３は、光源９１の複数の発光点が並ぶＸ方向に入射光を例えば４０°拡散し、Ｙ方向には入射光を拡散しない一方向拡散板である。拡散板９３は、偏光板８２の表面に保持されている。
【００８８】
偏光板８２は、拡散板９３を介して入射する光のうち、所定の偏光方向の光を透過させてＰＢＳ８３に導く。
【００８９】
ＰＢＳ８３は、偏光板８２を透過した光を反射型の表示部６１の方向に反射させる一方、表示部６１にて反射された光のうち、映像信号オンに対応する光（偏光板８２を透過した光とは偏光方向が直交する光）を透過させる平板状の偏光分離素子であり、接眼光学系８４の後述する接眼プリズム９４の光入射側の面９４ａに貼り付けられている。
【００９０】
表示部６１は、照明光学系８１からの光を変調して映像を表示する表示素子であり、例えば反射型のＬＣＤで構成されている。なお、表示部６１はカラーフィルタを有する構成であってもよいし、光源９１のＲＧＢごとの時分割発光に同期して、発光色に対応するＲＧＢの画像が表示されるように、時分割で駆動される構成であってもよい。表示部６１は、長方形の表示面の長手方向がＸ方向となり、短手方向がＹ方向となるように配置されている。
【００９１】
接眼光学系８４は、表示部６１からの映像光を人物の瞳（光学瞳Ｐ）に導くための光学系であり、非軸対称（非回転対称）な正の光学パワーを有している。この接眼光学系８４は、接眼プリズム９４と、偏向プリズム９５と、ＨＯＥ（Holographic Optical Element）９６とを有している。
【００９２】
接眼プリズム９４は、表示部６１からＰＢＳ８３を介して入射する映像光を内部で導光する一方、外界からの光（外光）を透過させるものであり、平行平板の上端部を上端に向かうほど厚くし、下端部を下端に向かうほど薄くした形状で構成されている。
【００９３】
接眼プリズム９４において、ＰＢＳ８３が貼り付けられる面９１ａは、表示部６１からの映像光が入射する光入射面であり、光学瞳Ｐとほぼ平行に位置して互いに対向する２つの面９４ｂ・９４ｃは、映像光を全反射によって導光する全反射面となっている。そのうち、光学瞳Ｐ側の面９４ｂは、ＨＯＥ９６で回折反射される映像光の出射面を兼ねている。
【００９４】
接眼プリズム９４は、その下端部に配置されるＨＯＥ９６を挟むように偏向プリズム９５と接着剤で接合されている。偏向プリズム９５は、接眼プリズム９４とＨＯＥ９６を介して貼り合わされて略平行平板を形成している。偏向プリズム９５を接眼プリズム９４と貼り合わせることで、外光が接眼プリズム９４の楔状の下端部を透過するときの屈折を偏向プリズム９５でキャンセルすることができ、外界として観察（視認）される像（外界像）に歪みが生じるのを防止することができる。
【００９５】
ＨＯＥ９６は、接眼プリズム９４に接して設けられ、接眼プリズム９４内部で導光された映像光を回折反射する体積位相型で反射型のホログラフィック光学素子である。ＨＯＥ９６は、回折効率のピーク波長および回折効率半値の波長幅で、例えば４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させる。すなわち、ＨＯＥ９６のＲＧＢの回折波長は、ＲＧＢの映像光の波長（光源９１の発光波長）とほぼ対応している。
【００９６】
上記の構成において、照明光学系８１の光源９１から出射された光は、照明ミラー９２で反射され、拡散板９３にてＸ方向にのみ拡散された後、所定の偏光方向の光のみが偏光板８２を透過する。そして、偏光板８２を透過した光は、ＰＢＳ８３で反射され、表示部６１に入射する。
【００９７】
表示部６１では、入射光が映像信号に応じて変調される。このとき、映像信号オンに対応する映像光は、表示部６１にて入射光とは偏光方向が直交する光に変換されて出射されるため、ＰＢＳ８３を透過して接眼プリズム９４の内部に面９４ａから入射する。一方、映像信号オフに対応する映像光は、表示部６１にて偏光方向が変換されずに出射されるため、ＰＢＳ８３で遮断され、接眼プリズム９４の内部に入射しない。
【００９８】
接眼プリズム９４では、入射した映像光が接眼プリズム９４の対向する２つの面９４ｃ・９４ｂでそれぞれ１回ずつ全反射された後、ＨＯＥ９６に入射し、そこで回折反射されて面９４ｂから出射され、光学瞳Ｐに達する。したがって、この光学瞳Ｐの位置では、人物は、表示部６１に表示された映像を虚像として観察することができる。つまり、人物は、映像（虚像）として提示される指示内容を視認しながら作業を行うことができる。
【００９９】
一方、接眼プリズム９４、偏向プリズム９５およびＨＯＥ９６は、外光をほとんど全て透過させるので、人物は外界をシースルーで観察することができる。したがって、表示部６１に表示された映像の虚像は、人物の視野（視界）内で、外界の一部に重なって観察されることになる。つまり、人物は、映像として提示される指示内容を確認しながら、前方をシースルーで観察して作業を行うことができる。
【０１００】
なお、本実施形態では、表示部６１として、反射型のＬＣＤを用いているが、透過型のＬＣＤを用い、それに応じて映像表示光学部７１の光学的な設計を変更してもよい。
【０１０１】
なお、図２５Ａ等では、映像表示光学部７１の接眼光学系８４と、レンズ７３とを別体で構成しているが、接眼光学系８４をレンズ７３と一体化した構成とすることも可能である。また、映像表示光学部７１を人物の両眼の前方にそれぞれ配置して、人物に両眼で映像（虚像）を観察させるようにしてもよい。
【０１０２】
〔実施の形態６〕
図２７は、本実施形態の作業特定システム１における各処理の流れを示すフローチャートである。本実施形態では、実施の形態５の構成において、映像表示装置６０への表示切替信号の送信に基づく指示情報の表示の切り替えと並行して、作業特定部３４の内部のパラメータの更新を自動的に行う例について説明する。
【０１０３】
本実施形態では、画像データおよび音データを取得する工程（＃１１−１、＃１１−２）から、人物Ｐの作業を特定する工程（＃１４）を経て、表示切替信号に基づいて指示情報の表示を切り替える工程（＃２５）までは、実施の形態５と同様である。本実施形態では、さらに、信号送信制御部３７ｃが上記表示切替信号を映像表示装置６０に送信するタイミングで、学習制御部３７ｂが、記憶部３３に記憶された各フレームの画像データおよび音データを区切る（＃２６）。学習制御部３７ｂは、表示切替信号の送信までは、人物が同じ作業を行っていると判断できるため、上記信号の送信タイミングで各フレームの画像データ等を区切ることにより、区切った時点よりも時間的に前の区間に存在するデータと人物が行っている作業とを対応付けることができる。なお、上記区間とは、区切った時点とその前に区切った時点（その前に区切った時点がければ、データの取得開始時点）との間の区間を指す。
【０１０４】
次に、学習制御部３７ｂは、上記送信タイミングで区切った時点よりも時間的に前の区間の画像データおよび音データと、上記区間の画像データおよび音データに基づいて作業特定部３４が特定した作業を示す作業情報（例えば作業名）とのセットを、正解ラベル付きデータとして用いた教師あり学習により、作業特定部３４の内部のパラメータを更新する（＃２７）。つまり、実施の形態２と同様に、学習制御部３７ｂは、上記区間の画像データおよび音データを作業特定部３４に入力し、作業特定部３４から出力される結果（作業の特定結果）の尤度と、正解ラベルである上記作業情報の尤度との２乗誤差が最小となるように、最急降下法を用いて作業特定部３４のパラメータを更新する。
【０１０５】
本実施形態のように、作業特定システム１が人物の作業に応じて映像表示装置６０の表示画面を切り替える構成では、上記した＃２６および＃２７の各工程により、信号送信制御部３７ｃから映像表示装置６０への表示切替信号の送信（表示切替信号に基づく指示情報の表示の切り替え）と並行して、作業特定部３４の内部のパラメータを自動的に更新することができる。したがって、実施の形態２のように、管理者Ｑが作業特定部３４の更新に必要な正解ラベルを手動で入力する必要がなくなり、管理者Ｑの負担を軽減することができる。
【０１０６】
（プログラムおよび記録媒体）
本実施形態で説明した作業特定システム１の端末装置３は、例えば、所定のプログラム（アプリケーションソフトウェア）をインストールしたコンピュータ（ＰＣ）で構成することができる。上記プログラムをコンピュータ（例えばＣＰＵとしての制御部３７）が読み取って実行することにより、端末装置３の各部を動作させて上述した各処理（各工程）を実行させることができる。つまり、上記プログラムを制御部３７（特に学習制御部３７ｂ）が読み取って実行することにより、作業特定部３４を機械学習させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されて記憶部３３に記憶される。また、上記プログラムは、例えばＣＤ−ＲＯＭ（Compact  Disk-Read  Only  Memory）などのコンピュータ読取可能な記録媒体Ｒ（図１８参照）に記録され、この記録媒体Ｒから上記プログラムをコンピュータが読み取って記憶部３３に記憶する形態であってもよい。
【０１０７】
〔その他〕
なお、以上で説明した各実施の形態の構成を適宜組み合わせて作業特定システム１を構成することも勿論可能である。
【０１０８】
なお、以上の各実施の形態では、作業特定部３４をニューラルネットワークで構成した例について説明したが、この構成に限定されるわけではない。例えば、作業特定部３４の識別層３４ｃとしは、サポートベクターマシン（ＳＶＭ：support vector machine）やランダムフォレスト（random forest）などを用いることができ、この場合でも本実施形態で説明した学習方法および作業の特定方法を適用することが可能である。
【０１０９】
なお、以上の各実施の形態で説明した作業特定システム、作業特定システムにおける機械学習方法、プログラム、記録媒体および作業特定方法は、以下のように表現することもできる。
【０１１０】
１．人物に装着され、前記人物の視野方向を撮影して画像データを取得する撮像部と、
前記人物に装着され、前記人物の周囲の音を集めて音データを取得する音データ取得部と、
予め機械学習され、前記人物の作業中に取得された前記画像データおよび前記音データに基づいて、前記人物が行っている前記作業を特定する作業特定部とを備えていることを特徴とする作業特定システム。
【０１１１】
２．情報の入力を受け付ける入力部と、
前記作業特定部を機械学習させる学習制御部とをさらに備え、
前記作業特定部が特定する対象となる前記作業を特定対象作業とし、前記特定対象作業よりも前に前記人物によって行われる作業を事前作業としたとき、
前記学習制御部は、前記事前作業において、前記撮像部で取得された画像データおよび前記音データ取得部で取得された音データと、前記入力部によって入力された、前記事前作業を特定する事前作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、前記作業特定部の内部のパラメータを設定することを特徴とする前記１に記載の作業特定システム。
【０１１２】
３．前記学習制御部は、前記特定対象作業において、前記撮像部で取得された画像データおよび前記音データ取得部で取得された音データと、前記入力部によって入力された、前記特定対象作業を特定する特定対象作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、前記作業特定部の前記パラメータを更新することを特徴とする前記２に記載の作業特定システム。
【０１１３】
４．前記人物に装着され、前記人物が移動するときの加速度を検出する加速度検出部をさらに備え、
前記作業特定部は、前記人物の作業中に取得された前記画像データ、前記音データおよび前記加速度のデータに基づいて、前記人物が行っている前記作業を特定することを特徴とする前記１から３のいずれかに記載の作業特定システム。
【０１１４】
５．前記作業特定部によって特定された前記作業の間に取得された前記画像データおよび前記音データの少なくとも一方に基づいて、前記作業に関する作業データを集計する作業データ集計部をさらに備えていることを特徴とする前記１から４のいずれかに記載の作業特定システム。
【０１１５】
６．前記作業特定部は、ニューラルネットワークで構成されていることを特徴とする前記１から５のいずれかに記載の作業特定システム。
【０１１６】
７．前記人物の頭部に装着される映像表示装置と、
前記作業特定部によって特定された前記作業に応じた表示制御信号を前記映像表示装置に送信する信号送信制御部とをさらに備え、
前記映像表示装置は、
映像を表示する表示部と、
前記信号送信制御部から送信される前記表示制御信号に基づいて、前記作業に応じた指示情報を前記表示部に表示させる表示制御部とを有していることを特徴とする前記１から６のいずれかに記載の作業特定システム。
【０１１７】
８．前記信号送信制御部は、前記作業特定部によって特定された前記作業が変化した場合に、変化後の作業に応じた表示切替信号を前記映像表示装置に送信し、
前記表示制御部は、前記表示切替信号に基づいて、前記表示部における表示を、変化後の前記作業に応じた指示情報の表示に切り替えることを特徴とする前記７に記載の作業特定システム。
【０１１８】
９．前記８に記載の作業特定システムにおける機械学習方法であって、
前記表示切替信号の送信タイミングで、各フレームの前記画像データおよび前記音データを区切る工程と、
前記送信タイミングで区切った時点よりも時間的に前の区間の前記画像データおよび前記音データと、前記区間の前記画像データおよび前記音データに基づいて前記作業特定部が特定した作業を示す作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、前記作業特定部の内部のパラメータを更新する工程とを含むことを特徴とする機械学習方法。
【０１１９】
１０．前記９に記載の機械学習方法をコンピュータに実行させるためのプログラム。
【０１２０】
１１．前記１０に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。
【０１２１】
１２．人物に撮像部を装着して、前記人物の視野方向を撮影し、画像データを取得する撮像工程と、
前記人物に音データ取得部を装着して、前記人物の周囲の音を集めて音データを取得する音データ取得工程と、
予め機械学習される作業特定部により、前記人物の作業中に取得された前記画像データおよび前記音データに基づいて、前記人物が行っている前記作業を特定する作業特定工程とを含むことを特徴とする作業特定方法。
【０１２２】
１３．前記作業特定部が特定する対象となる前記作業を特定対象作業とし、前記特定対象作業よりも前に前記人物によって行われる作業を事前作業としたとき、
該作業特定方法は、前記事前作業において、前記撮像部で取得された画像データおよび前記音データ取得部で取得された音データと、入力部によって入力され、前記事前作業を特定する事前作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、前記作業特定部の内部のパラメータを設定するパラメータ設定工程をさらに含むことを特徴とする前記１２に記載の作業特定方法。
【０１２３】
１４．前記特定対象作業において、前記撮像部で取得された画像データおよび前記音データ取得部で取得された音データと、前記入力部によって入力され、前記特定対象作業を特定する特定対象作業情報とのセットを、正解ラベル付きデータとして用いた教師あり学習により、前記作業特定部の前記パラメータを更新するパラメータ更新工程をさらに含むことを特徴とする前記１３に記載の作業特定方法。
【０１２４】
１５．前記人物に加速度検出部を装着して、前記人物が移動するときの加速度を検出する加速度検出工程をさらに含み、
前記作業特定工程では、前記人物の作業中に取得された前記画像データ、前記音データおよび前記加速度のデータに基づいて、前記人物が行っている前記作業を特定することを特徴とする前記１２から１４のいずれかに記載の作業特定方法。
【０１２５】
１６．前記作業特定工程で特定された前記作業の間に取得された前記画像データおよび前記音データの少なくとも一方に基づいて、前記作業に関する作業データを集計する作業データ集計工程をさらに含むことを特徴とする前記１２から１５のいずれかに記載の作業特定方法。
【０１２６】
１７．前記作業特定部は、ニューラルネットワークで構成されていることを特徴とする前記１２から１６のいずれかに記載の作業特定方法。
【０１２７】
１８．前記作業特定工程で特定された前記作業に応じた表示制御信号を、前記人物が装着する映像表示装置に送信する表示制御信号送信工程と、
前記表示制御信号に基づいて、前記作業に応じた指示情報を、前記映像表示装置の表示部に表示させる表示工程とをさらに含むことを特徴とする前記１２から１７のいずれかに記載の作業特定方法。
【０１２８】
１９．前記作業特定工程で特定された前記作業が変化した場合に、変化後の作業に応じた表示切替信号を前記映像表示装置に送信する表示切替信号送信工程と、
前記表示切替信号に基づいて、前記表示部における表示を、変化後の前記作業に応じた指示情報の表示に切り替える表示切替工程とをさらに含むことを特徴とする前記１８に記載の作業特定方法。
【０１２９】
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。
【産業上の利用可能性】
【０１３０】
本発明は、例えば人物の作業を特定するシステムに利用可能である。
【符号の説明】
【０１３１】
１      作業特定システム
２１      撮像部
２２      音データ取得部
２５      制御部（表示制御部）
２７      加速度検出部
３１      入力部
３４      作業特定部
３７ｂ    学習制御部
３７ｃ    信号送信制御部
３８      作業データ集計部
６０      映像表示装置
６１      表示部
【図１】
2019215631.tif 000003
【図２】
2019215631.tif 000004
【図３】
2019215631.tif 000005
【図４】
2019215631.tif 000006
【図５】
2019215631.tif 000007
【図６】
2019215631.tif 000008
【図７】
2019215631.tif 000009
【図８】
2019215631.tif 000010
【図９】
2019215631.tif 000011
【図１０】
2019215631.tif 000012
【図１１】
2019215631.tif 000013
【図１２】
2019215631.tif 000014
【図１３】
2019215631.tif 000015
【図１４】
2019215631.tif 000016
【図１５】
2019215631.tif 000017
【図１６】
2019215631.tif 000018
【図１７】
2019215631.tif 000019
【図１８】
2019215631.tif 000020
【図１９】
2019215631.tif 000021
【図２０】
2019215631.tif 000022
【図２１】
2019215631.tif 000023
【図２２】
2019215631.tif 000024
【図２３】
2019215631.tif 000025
【図２４】
2019215631.tif 000026
【図２５Ａ】
2019215631.tif 000027
【図２５Ｂ】
2019215631.tif 000028
【図２５Ｃ】
2019215631.tif 000029
【図２６】
2019215631.tif 000030
【図２７】
2019215631.tif 000031