(57)【要約】【課題】対象物の重要な動作を認識して形式知化する。【解決手段】  サーバでプログラムを実行することで対象物の動作を形式知化する形式知化システムは、対象物の動作を検知する複数のセンサから複数の検知データを取得する通信部101と、通信部にて取得される複数の検知データから動作特徴量を抽出する動作解析部105と、対象物の重要な動作を重要度情報として算出する重要度算出部106と、重要度算出部による重要度情報を基に動作解析部より出力される動作特徴量を形式知化する形式知化部107とを有する。【選択図】  図１
2019144822.tif 000002
【特許請求の範囲】
【請求項１】
サーバでプログラムを実行することで対象物の動作を形式知化する形式知化システムであって、
該対象物の動作を検知する複数のセンサから複数の検知データを取得する通信部と、
該通信部にて取得される複数の検知データから動作特徴量を抽出する動作解析部と、
該対象物の重要な動作を重要度情報として算出する重要度算出部と、
該重要度算出部による重要度情報を基に、該動作解析部より出力される該動作特徴量を形式知化する形式知化部と、を有する
特徴とする形式知化システム。
【請求項２】
前記動作解析部として複数の動作解析部を有し、
前記形式知化部により形式知化されたデータを構造データ化する構造データ生成部と、
該構造データ生成部により構造化されたデータを記憶するデータベースを保持する記憶装置と、を有する
請求項１に記載の形式知化システム。
【請求項３】
前記通信部は、前記検知データを取得する度に、該検知データに時間情報を付与する該タイムスタンプ手段を有し、
前記タイムスタンプ手段が付与した該時間情報を基に、目的とする検知データを抽出する分割部と、
該分割部によって抽出される前記検知データを格納する記憶装置と、を有し、
前記動作解析部は、前記分割部により抽出された検知データについて動作特徴量を抽出する、
請求項１又は２に記載の形式知化システム。
【請求項４】
前記構造データ生成部により生成された構造化データを用いて映像コンテンツを作成するコンテンツ生成部を有する、
請求項２記載の形式知化システム。
【請求項５】
前記複数のセンサが検知できる動作特徴と、前記動作解析部が動作特徴量として抽出できるデータと、該動作特徴量の抽出できるデータをクラス分け又は定量値を規定するクラス分類とを、管理テーブルとして前記記憶装置に記憶しておき、
前記動作解析部は、前記管理テーブルによる規定に基づいて、クラス分けされた動作特徴量を出力する
請求項２又は３に記載の形式知化システム。
【請求項６】
前記複数のセンサは、対象物である作業員に装着されたセンサであり、
該構造データ生成部は、前記複数の動作解析部からの動作特徴量を基に、該作業員の作業時間、作業内容、詳細動作、動画を構造データ化して、該構造データを前記データベースに記憶する
請求項２記載の形式知化システム。
【請求項７】
ＳＱＬを用いて前記データベースを検索するための操作をする入力部と、
検索の結果、得られる動画を表示する表示部と、を有する
請求項６記載の形式知化システム。
【請求項８】
サーバでプログラムを実行することで対象物の動作を形式知化する形式知化システムにおける形式知化方法であって、
通信部が、該対象物の動作を検知する複数のセンサから複数の検知データを取得し、
動作解析部が、該通信部にて取得される複数の検知データから動作特徴量を抽出し、
重要度算出部が、該対象物の重要な動作を重要度情報として算出し、
形式知化部が、該重要度算出部による重要度情報を基に該動作解析部より出力される該動作特徴量を形式知化する
ことを特徴とする形式知化方法。
【請求項９】
前記動作解析部として複数の動作解析部を有し、
構造データ生成部が、前記形式知化部により形式知化されたデータを構造データ化し、
記憶装置が、該構造データ生成部により構造化されたデータを記憶するデータベースを保持する
請求項８に記載の形式知化方法。
【請求項１０】
前記通信部が有するタイムスタンプ手段が、前記検知データを取得する度に該検知データに時間情報を付与し、
分割部が、前記タイムスタンプ手段が付与した該時間情報を基に、目的とする検知データを抽出し、
記憶装置が、該分割部によって抽出される前記検知データを格納し、
前記動作解析部は、前記分割部により抽出された検知データについて動作特徴量を抽出する、
請求項８又は９に記載の形式知化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、形式知化システムおよびその方法に係り、特に、センサデータを用いて対象物の動作を認識して形式知化するシステムおよび方法に関する。
【背景技術】
【０００２】
近年、センサ機器等から得られるセンサデータを利用して人間の行動を自動認識する技術が注目されている。ウエアラブルセンサを用いて人間の行動を認識する技術もその一つである。例えば、特許文献１には、作業者等の被験体に取り付けた動態センサからの情報を取得し、被験体が行う動態内容の個々の状態を示す動態項目を認識する動態認識装置に関して、動態センサからの情報を用いて被験体の動態を検知する動態検知部で検知された情報を推定処理部で絞り込んだ動態項目について認識処理を実行する動態認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４８６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１には、類似した動態による認識精度の低下を防ぐために、認識処理を行う前に認識すべき動態項目を絞り込み、絞り込まれた動態項目に基づき、動態を認識するための辞書および認識方法を選択し、動態認識を行う旨が記載されているが、その認識した動作から重要な部分を抽出し形式知化する手法については記載されていない。
本発明の目的は、対象物の重要な動作を認識して形式知化することにある。
【課題を解決するための手段】
【０００５】
本発明に係る形式知化システムの好ましい一例は、サーバでプログラムを実行することで対象物の動作を形式知化する形式知化システムであって、
該対象物の動作を検知する複数のセンサから複数の検知データを取得する通信部と、
該通信部にて取得される複数の検知データから動作特徴量を抽出する動作解析部と、
該対象物の重要な動作を重要度情報として算出する重要度算出部と、
該重要度算出部による重要度情報を基に、該動作解析部より出力される該動作特徴量を形式知化する形式知化部と、を有する特徴とする形式知化システム、として構成される。
本発明はまた、上記形式知化システムにおける形式知化方法としても構成される。
【発明の効果】
【０００６】
本発明によれば、対象物の重要な動作を認識して形式知化することが可能となる。
【図面の簡単な説明】
【０００７】
【図１】実施例１による形式知化システムの構成を示す図である。
【図２】作業内容の例を示す図である。
【図３】動作解析部１０５の一例を示す図である。
【図４】動作解析部の出力属性の一例を示す図である。
【図５】筋電値の振幅と力の強さに関する定量化手法の例を示す図である。
【図６】動作解析部の出力結果の一例を示す図である。
【図７】構造化データＤＢの例を示す図である。
【図８】形式知化部の他の例を示す図である。
【図９】実施例２による形式知化システムの構成を示す図である。
【図１０】アイトラッキンググラスの映像を示す図である。
【図１１】形式知化部１０７の構成例を示す図である。
【図１２】形式知化部１０７の他の構成例を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、本発明の好ましい実施形態について説明する。
本実施例は、対象物として作業員に複数のセンサを取り付けて、作業員の溶接作業の動作を検知して、形式知化して構造データを作成する形式知化システムについて述べる。この例では熟練作業者の作業動作から重要な動作を認識して形式知化し、それを構造データ化する例である。構造データは、例えば、熟練作業者の作業動作を伝承或いは作業者の教育用として、マニュアル作成に利用できる。なお、ここでは形式知化システムと称しているが、見方を変えれば作業動作認識システム或いは作業データ収集処理システムとも言ってもよい。
【実施例１】
【０００９】
図１は形式知化システムの構成を示す。
作業員２００には複数のセンサデバイス（以下単にセンサという）が装着される。具体的には、作業員が見ている視線映像とその映像に対応する視点を検知するメガネ型のアイトラッキンググラス２０１、顔に装着されて音声を検知するマイク２０２、両腕に装着されて筋電位とジャイロと加速度が検知するアームバンド型センサ２０３、２０４、両手に装着されて各指の圧力とジャイロ、加速度が検知するセンサグローブ２０５、２０６が用いられる。なお、各センサはバッテリを備え、各センサで取得されたセンシングデータ（検知データ）は、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信規格に基づいてネットワーク３００を介して形式知化システム１へ送信される。
【００１０】
形式知化システム１は、通信部１０１、記憶装置１０２、分割情報生成部１０３、分割部１０４、動作解析部１０５、重要度算出部１０５、形式知化部１０７、構造データ生成部１０８、表示部１０９、入力部１１０を有して構成される。ハードウェア構成については取り立てて図示していないが、形式知化システム１はサーバによって構成され、サーバが有するプロセッサ（ＣＰＵ）がアプリケーションプログラムを実行することで、上記各部位（とりわけ、分割情報生成部１０３、分割部１０４、動作解析部１０５、重要度算出部１０５、形式知化部１０７、構造データ生成部１０８）の機能が実現される。各部位の機能については図２以降を参照して後述する。
【００１１】
通信部１０１は、アプリケーションを立ち上げたときに各センサと接続を確立し、検知データを受信できるように準備する。その後、作業員に作業開始の指示を出すとともに、ユーザ（例えばデータ処理管理者）からの指示を受け取る入力部１１０を通じて、通信部１０１に記録の指示を出すことで、各センサ２０１〜２０６の検知データをネットワーク３００から取得する。通信部１０１はタイムスタンプ機能を備えていて、各センサから取得される検知データに日時分秒（時間情報）のタイムスタンプを付与する。タイムスタンプが付与された検知データはＨＤＤやＳＳＤなどの記憶装置１０２に格納される。これにより、全てのセンサの検知データの同期が取れるようになる。なお、本実施例では、形式知化したい一連の作業完了後に、記憶装置１０２に格納された検知データを対象として動作認識を行うものとする。
なお、形式知化システム１を構成するサーバに対して、ネットワークを介して外部の端末からＳＱＬでアクセスすることができる。
【００１２】
図２は、作業員２００の作業内容と各作業時に発声する音声の関係を示す。
この作業は、ブレーカーの制御盤を入れる金属の箱を製作する場合の溶接作業の部分を抜き出したものである。作業内容としては、溶接をするためにヘルメットに装着された溶接面（溶接中に目を守る面）を顔の前に降ろし、溶接作業をして、その後、溶接されたか溶接面を確認する。作業員２００は、各作業に際して次のような音声を発声した後に作業することとする。「溶接面準備作業開始」「溶接作業開始」「溶接箇所の確認作業開始」。そして、各々の作業が終わったときに「作業完了」と発声することとする。これらの音声はマイク２０２で検知されて、通信部１０１でタイムスタンプが付与されて、図２に示す形式のテーブルとして、記憶装置１０２に格納される。以降、作業に関しては、図２の溶接作業の部分をフォーカスして説明する。
【００１３】
以下、図２の一連の作業を行った後に、各センサ２０１〜２０６から取得された検知データが記憶装置１０２に蓄積された状態を前提として説明する。まず、分割情報生成部１０３では、入力部１１０から管理者により入力される音声を基に、「作業開始」と「作業完了」というフレーズを音声認識して、作業開始を認識した時間（開始時間）、作業完了を認識した時間（終了時間）を分割情報とする。この意味では分割情報とは時間情報である。分割部１０４は、記憶装置１０２に蓄積された検知データから、分割情報により指定される作業期間内における検知データを抽出する。抽出された検知データは、一旦記憶装置１０２の別領域に格納されても良いし、後述する動作解析部１０５や重要度算出部１０６などに直接転送されても良い。なお、代替例によれば、分割情報生成部１０３の機能を分割部１０４に組み入れて一体的に構成してもよい。
【００１４】
次に、図３を参照して、動作解析部１０５の機能について説明する。
図３は、動作解析部１０５と重要度算出部１０６と形式知化部１０７の機能を示している。動作解析部１０５１〜１０５４（総じて１０５と示す）の入力は各センサ２０１〜２０５から取得される検知データであり、出力は動作特徴量である。動作解析部に複数の入力があるものは、１つのセンサから複数の検知データが得られるためである。例えば、動作解析部１０５１では、マイク２０２から取得した音声データを入力として、作業前に発声した作業内容を抽出する。動作解析部１０５２は、アイトラッキンググラス２０１から取得できる、時系列の視点データと視線映像の２つを入力として、それらの検知データを解析し、動作特徴量として注視物体と視線情報のデータを出力する。同様に、動作解析部１０５３では、アームバンドセンサ２０３、２０４から、筋電、加速度、ジャイロの３つを入力として、それらの検知データを解析し、その結果、動作特徴量として、腕の動き、早さ、力の入れ具合、力の強さのデータを出力する。さらに、動作解析部１０５３ではセンサグローブ２０５，２０６から筋電、加速度、ジャイロの３つを入力として検知データを解析し、動作特徴量として指の形、指圧のデータを出力する。
【００１５】
図４は、動作解析部の出力属性の例を示す。
図示の例は、動作解析部が、溶接作業の動作を示す種々の検知データから動作特徴量として抽出できる内容（データ）とそのクラス分類の関係を示している。これらの関係は管理テーブルに登録されて記憶装置１０２に保管される。
【００１６】
例えば、アイトラッキンググラスの視点の場合、視線移動の種類を予め決めたクラス（「一点を見ている」、「比較的動かない」、「激しく動いている」）の３つに分類される。また、アイトラッキンググラスの注視物体については、「溶接機」から「時計」まで６つのクラスに分類される。このクラス分類には、一般的な教師データ付きのクラス分類手法（Ｋ  Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇなど）を用いて、予め必要となるクラスの教師データを用意して学習しておいた学習済みモデルを使用することができる。同様に、出力の欄にクラス分類と記載のある注視物体、腕の動き、力の入れ具合、指の形は、クラスタリングすることで抽出する。
【００１７】
一方、速さ、力の強さ、指圧は、検知データから定量化して求める。例えば、力の強さは、図５のように筋電値の振幅の絶対値を横軸にとり、力いっぱい力を入れた時の力の強さ１００として、直線で変換することで定量化できる。この式は、１次関数の例を書いたが、１次関数に限らず、２次関数、３次関数、指数関数など、定量値に変換できればなんでも良い。指圧は、圧力の強さを横軸にとれば同様に求められる。速さについては、加速度センサの情報を横軸にとれば、同様に求められる。
このようにして、複数の動作解析部からクラス分けされ動作特徴量が出力されて、一旦、記憶装置１０２に格納される。図６にその一例を示す。
【００１８】
本実施例によれば、複数の動作解析部に分けておくことで、新たなセンサを追加する、不要なセンサを取り除くということが容易となり使い勝手が向上する。その理由は次の通りである。仮に１つの動作解析部しか有しない場合、例えば、設置済みのアイトラッキンググラスに対して新たにアームバンドセンサを追加する場合、動作解析部は、既存のアイトラッキンググラスに対応する注視点と、新たなアームバンドセンサに対応する腕の動きの２つを出力するために再学習する必要がある。一方、本実施例のように、複数の動作解析部をそれぞれ独立して設置するようにすれば、例えば、新たに足のセンサを取り付ける場合、そのセンサに対応する動作解析部を新たに設けて、そこで足の動作（曲げている、伸ばしている、歩いているなど）を学習すればよく、既存の他の動作解析部は、新たなセンサの追加に伴う再学習をさせる必要がない。センサを取り除く場合でもそのセンサに対応する動作解析部を削除或いは不動作にすればよく、他の動作解析部はそのままの状態で済む。
なお、動作解析部を１つにして、ディープラーニングなどでマルチ入力、マルチ出力にしても良い。また、本実施例では、一つのセンサから取れるセンサ情報から、動作特徴量を出す例を挙げたが、それに限定されず、２つ以上のセンサのセンサ情報の一部または全部を使い動作特徴量を出しても良い。
【００１９】
再び、図３を参照して、重要度算出部１０６について説明する。
重要度算出部１０６は、複数の動作解析部１０５の出力である動作特徴量（図６参照）から重要度情報を抽出する。例えば、入力として音声の検知データが入力された場合について述べる。作業員２００が作業中に、「重要ポイントは右手の動作です。」と重要ポイントを話してもらう。これにより、音声認識で「重要ポイント」の後の単語を認識することで、「右手の動作」という重要度情報が抽出できる。例えば重要度情報は、「音声：０、アイトラッキンググラス：０、アームバンドセンサ右：１、アームバンドセンサ左：０、センサグローブ右：１、センサグローブ左：０」のように、センサ毎に重みを付けて定義しておく。
【００２０】
次に、形式知化部１０７について説明する。
図１１も参照するに、形式知化部１０７では、重要度算出部１０６で算出された重要度情報に基づき重要な動作を形式知化する。例えば、重み付け部１０７１で、重要度情報より、「右手の動作」という「１」と「０」の情報から、「右から左に動かす。」「1cm/sの速度」「力の強さは30」「力の入れ方は一定。」「中指、薬指に力を入れる。」を抽出し、重要動作を形式知化することができる。
【００２１】
次に、構造データ作成部１０８は、形式知化部１０７で形式知化した重要動作も含めて、構造化データを作成して、構造化データＤＢ（データベース）として記憶装置１０２に格納される。構造化データの作成に際しては、予め入力部１１０の指示により、抽出したいカラム（作業時間、作業内容、詳細動作、動画、（図７参照））が設定される。
より詳しく言えば、形式知化部１０７で抽出された形式化データは、記憶装置１０２内に一旦格納される。図７に示すように、構造化データＤＢにおける、作業時間は分割情報生成部１０３が取得する分割情報から、開始時間と終了時間が抽出される。作業内容は、動作解析部１０５１で音声認識した結果から得られる。詳細動作は複数の動作解析部１０５の出力である動作特徴量（図６）から得られる。更に、動画は、アイトラキンググラスからの検知データを基に、分割部１０４で分割され動作解析部１０５２で抽出された視線映像から得られる。なお、映像については記憶装置１０２内の別のＤＢに格納しておき、その映像データが格納されているアドレスを構造化データＤＢに登録するようにしてもよい。
【００２２】
このように構造化したデータを生成して構造化データＤＢを構成することで、入力部１１０からＳＱＬを用いて、検索処理や作業項目のカラムを指定することで任意に抽出することができる。これにより、作業者の熟練度に応じて作業手順を表したマニュアルを自動作成することが可能となる。例えば、作業マニュアルを作成するに当たり、熟練者用としては、構造化データＤＢ（図７）から作業時間と作業内容を抽出した作業マニュアルとし、初心者用としては、作業時間、作業内容、詳細動作、動画の全てを抽出して作業マニュアルとすることができる。
【００２３】
なお、本実施例では、作業時間、作業内容、詳細動作等の項目で記載したが、構造化データＤＢの形式はこれに限定されない。例えば、Ｗｈｅｎ、Ｗｈａｔ、Ｈｏｗ、Ｗｈｙ、Ｗｈｏ、Ｗｈｅｒｅなど５Ｗ１Ｈの観点でまとめても良いし、Ｗｈｉｃｈを加えた６Ｗ１Ｈの形式にまとめてもよい。要するに作業者個人の熟練度に合わせた作業マニュアルが作りやすい構造であれば良い。この場合例えば、Ｗｈｅｎはデータを格納するときのタイムスタンプ情報から生成でき、Ｗｈｙは音声すなわち行動理由を発声してもらえばよい。またＷｈｏはシステムを使うときにＩＤ情報を入れればよいし、ＷｈｅｒｅはＧＰＳの情報やＷｉＦｉを用いた位置情報取得などのセンサを追加することで対応可能である。
【００２４】
上記実施例では、構造化データＤＢから必要な作業情報を自動で取り出す例を挙げたが、作業情報を自動抽出した後に入力部１１０の表示部１０９に表示されるＧＵＩを用いて手動で調整しても良い。例えば、「右手」＋「左手」も重要だと思ったら、「右手」＋「左手」として「左手」の重要度情報も設定しても良い。これにより、「左手」の情報も抽出することができる。また、構造データ生成部１０８で構造データＤＢを構築した後に、入力部１１０より、ＳＱＬ等を用いて手動で構造データＤＢを直接変更しても良い。このように、手動で調整しても、ある程度自動で作成できている構造データＤＢを基に手動で調整できるので作成時間を少なくすることができる。
【実施例２】
【００２５】
図９に、実施例２による形式知化システムの構成を示す。
実施例１と同一機能のブロックは同一記号を付し、重複する説明を省略する。実施例１の構成と異なる点は、コンテンツ生成部１１２を追加した構成にある。
コンテンツ生成部１１２では、構造データ生成部１０８で作った構造化データを用いて、技能伝承用のコンテンツを自動作成するブロックである。コンテンツ生成部１１２で生成された映像コンテンツは、動画として表示部１０９に表示される。
【００２６】
図１０はアイトラッキンググラスで撮影した映像を示す。制御盤８００は、組立て対象物、注視物体検出により検出された溶接機８０１と点線８０２は、注視物体を検出したときの領域を示している。この結果より、作業対象の邪魔にならないように、コンテンツ表示位置を決めることができる。例えば、作業内容表示領域８０３に形式知化生成部１０７で生成した詳細動作を表示することで、実施例１の構造データ作成部１０８で作成する作業手順書のコンテンツを生成することができる。ここで、表示する内容を、熟練度に応じて変更しても良い。例えば、同様の作業を長年行っている熟練者は、詳細動作が身についているので、詳細動作を作業内容表示領域８０３に表示する必要がなく、作業順番が分れば良いので作業内容だけを表示する。一方、非熟練者は、教育の意味もこめて、詳細動作までを表示するなど、構造化データＤＢを上手く活用することで、個人に最適なコンテンツを自動で生成することが可能となる。
【００２７】
このコンテンツは、作業中の一部分を静止画像でキャプチャして行っても良いし、映像の中で、作業をしている区間にその動作の説明文を挿入するとしても良い。このように動画像や静止画像の上に文字があることで、文字だけの表示よりも直感的に理解できるので、技能の早期伝承に役立つ。
【００２８】
以上、好ましい実施例について説明したが、本発明は上記実施例に限定されずに、種々変形して実施し得る。以下、幾つかの変形例について説明する。
【００２９】
［分割情報生成部１０３の変形例]
上記実施例では、一連の作業が記憶装置１０２に格納されてから、分割情報生成部１０３を開始させる例とした。一方、変形例では、検知データを取得している最中に指定した時間のデータが溜まったら、分割情報生成部１０３を動作させるとしても良い。また、音声で、分割開始位置と終了位置を認識する例を用いたが、それに限定されない。例えば、アームバンドセンサ２０３のジャイロセンサと加速度を用いて、特定動作（ジェスチャ）で認識しても良い。或いは入力部１１０から手動で分割情報を生成しても良いし、センサとして開始ボタンと終了ボタンを追加し、作業員が作業の開始時と終了時でボタンを操作するようにしても良い。
【００３０】
［センサ種類の変形例]
上記実施例では、６個のセンサを用いているが、センサの数はこれに限定されない。例えば、更に足にセンサを配置しても良いし、細かい作業を抽出したい場合は、さらに作業する手にセンサを増やして装着しても良い。
【００３１】
［重要度算出部１０６の変形例]
上記実施例では、重要度算出部１０６の入力として音声情報を用いて、重要度情報を算出したが、それに限定されない。例えば、注視物体で、「右手」と「左手」の認識をして、その認識結果を用いて、「右手」か「左手」の重要度情報を決定しても良い。また、多くの熟練者に同じ作業をしてもらい、同じ特徴量がある場合、例えば、「右手の動きは大体同じだが左手はぶらぶらしている」「脇を占めている」など色々な動作をしている場合は同じではないので、「重要でない」と判断してもよい。或いは、「右手が重要」と判断しても良い。よって、図３における、動作解析部１０５の前段にあるセンサデータ群、及び又は、動作解析部１０５の後段にある動作特徴量群の何れを任意に選択して形式知化部１０７に入力して使用することができる。
【００３２】
［重要度情報に関する変形例]
上記実施例では、重要度情報が、センサ毎に「０」、「１」の重みを付ける例としたが、これに限定されない。例えば、センサではなく、視点のクラス分けで「一点を見つめている」に分類された場合のみ、「注視物体：１」になって、形式知として出力しても良い。他にも、アイトラッキンググラスの視点のクラス分けで「比較的動かない」が選択された場合は、「アイトラッキンググラス：０．５」として、さらに注視物体のクラス毎に同様の点数を付けて置き（例えば、溶接機：０．５、電動ドライバ：０．３、など）、足し合わせて、１以上なら形式知として出力するとしても良い。
【００３３】
［形式知化部の変形例]
上記実施例では、重要度算出部１０６と形式知化部１０７は別の機能ブロックとして構成した。他の例によれば、図８に示すように、形式知化部１１１の中に重要度算出部１０６の機能を取り込んで、恰も１つの機能ブロックで実現しても良い。この場合、例えば動作解析部１０５１〜１０５４の全てに、個々にＤＬを用いて、さらに形式知化部１１１もＤＬを用いる。そして、抽出したい形式知を正解データとして、エンドtoエンドで全てのＤＬモデルを学習して認識モデルを作ることで実現できる。その認識モデルを使うことで、センサデータの重要度を含めて形式知化することができる。
【００３４】
［形式知化部１０７の変形例]
上記実施例では、形式知化部１０７では、重み付け部１０７１により、選択する例とした。他の例としては、図１２に示すように、重み付け部１０７１の後段に文章生成部１０７２を追加して、重み付け情報から一つまたは複数の文章を作り出すように構成することもできる。文章生成部１０７２とは、具体的には機械翻訳などで利用されるＬＳＴＭ（Long short-term memory）やＲＮＮ（Recurrent Neural Network）を使用すればよい。入力としては、クラス分けの結果ではなく、その特徴量を入力とし、同様な作業のデータで学習した文章生成モデルを使用することで、「溶接機を1cm/sの速度で右から左に動かす。」などの、注視物体、右手の動かし方、右手の動かす速度を纏めて、違和感の少ない１つの文章にすることが可能となる。
【００３５】
なお、図１２では、文章生成部１０７２の前段に重み付け部１０７１を置いて、言語生成１０７２に入力している特徴量を制限しているが、これをなくして、前段で入力を制限せずに、重要度情報を直接文章生成部１０７２に入れて、学習させて文章生成モデルを作っても良い。
【００３６】
［その他の変形例]
上記実施例では、構造データ生成部１０８で構造化データＤＢを生成して、記憶装置１０２に格納する例としてが、これに限定されない。例えば、形式知化システム１を構成するサーバにネットワークを介して外部の他のサーバやＰＣ（パーソナルコンピュータ）の記憶装置に構造化データＤＢを保存するようにしてもよい。
【００３７】
［その他の変形例]
上記実施例では、図１或いは図９に各機能をブロック構成で示して説明したが、これに限定されない。変形例ではある機能を他の機能部に統合するなどして構成してもよい。例えば、実施例１では、分割情報生成部１０３で音声認識しており、重要度算出部１０６でもキーワードは異なるが音声認識を行なっているが、変形例では、分割情報生成部１０３で分割情報だけでなく、重要度情報を音声認識しても良い。
【符号の説明】
【００３８】
１０：形式知化システム
１０１：センサ通信部
１０２：記憶装置
１０３：分割情報生成部
１０４：分割部
１０５：動作解析部
１０６：重要度算出部
１０７：形式知化部
１０８：構造データ生成部
１０９：表示部
１１０：入力部
２００：作業員
２０１：アイトラッキンググラス
２０２：マイク
２０３：アームバンドセンサ左
２０４：アームバンドセンサ右
２０５：センサグローブ左
２０６：センサグローブ右
３００：ネットワーク
【図１】
2019144822.tif 000003
【図２】
2019144822.tif 000004
【図３】
2019144822.tif 000005
【図４】
2019144822.tif 000006
【図５】
2019144822.tif 000007
【図６】
2019144822.tif 000008
【図７】
2019144822.tif 000009
【図８】
2019144822.tif 000010
【図９】
2019144822.tif 000011
【図１０】
2019144822.tif 000012
【図１１】
2019144822.tif 000013
【図１２】
2019144822.tif 000014