(57)【要約】【課題】作業者の動作を録画した動画が、作業者の作業の種類に応じて妥当な動作区間で分割されているかの確認を容易に行うことができるようにする。【解決手段】作業者の動作を録画した対象動画に関して、作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を取得し、分割情報に基づき、基準動画における各動作区間の再生長さと、対象動画における各動作区間の再生長さとが一致するように、対象動画における動作区間の再生速度を調整して出力する。【選択図】図１
2020155961.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数の作業者の動作を録画した動画を出力する動画出力装置であって、
基準となる基準動画、および、出力変更対象となる対象動画に関して、前記作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を取得する取得部と、
前記分割情報に基づき、前記基準動画における前記各動作区間の再生長さと、それぞれの前記動作区間に対応する、前記対象動画における前記各動作区間の再生長さとが一致するように、前記対象動画におけるそれぞれの前記動作区間の再生速度を調整して前記対象動画を出力する動画処理部と、を備える動画出力装置。
【請求項２】
前記動画処理部は、前記基準動画と、再生速度を調整した前記対象動画とを、前記各動作区間で同期させて表示装置に再生表示させる表示制御を行う請求項１に記載の動画出力装置。
【請求項３】
前記取得部は、前記基準動画および前記対象動画に関して、前記動作区間内で生じる特徴量の時間変化を示す特徴量情報をさらに取得するとともに、
前記動画処理部は、それぞれの前記動作区間内において、前記特徴量の時間変化が、前記基準動画と前記対象動画とで同期するように再生速度を調整して前記対象動画を出力する請求項１または２に記載の動画出力装置。
【請求項４】
前記特徴量の時間変化が、前記基準動画および前記対象動画から算出される特徴量の値の連続的な時間変化である請求項３に記載の動画出力装置。
【請求項５】
前記特徴量の時間変化が、前記動作区間内で発生する所定のイベントの発生タイミングの変化である請求項３に記載の動画出力装置。
【請求項６】
前記出力変更対象となる対象動画を選択する動画選択部をさらに備えた請求項１から５の何れか１項に記載の動画出力装置。
【請求項７】
前記分割情報における前記動作区間の分割時刻を編集する分割時刻編集部をさらに備えた請求項１から６の何れか１項に記載の動画出力装置。
【請求項８】
１又は複数の作業者の動作を録画した動画を出力する動画出力方法であって、
基準となる基準動画、および、出力変更対象となる対象動画に関して、前記作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を取得する取得ステップと、
前記分割情報に基づき、前記基準動画における前記各動作区間の再生長さと、それぞれの前記動作区間に対応する、前記対象動画における前記各動作区間の再生長さとが一致するように、前記対象動画におけるそれぞれの前記動作区間の再生速度を調整して前記対象動画を出力する動画処理ステップと、を含む動画出力方法。
【請求項９】
請求項１に記載の動画出力装置としてコンピュータを機能させるための動画出力プログラムであって、前記動画処理部としてコンピュータを機能させるための動画出力プログラム。
【請求項１０】
１又は複数の作業者の動作を録画した動画に関して、前記作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を生成する動作分析装置と、
請求項１から７の何れか１項に記載の動画出力装置と、
を含む動画出力システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画出力装置、動画出力方法、動画出力プログラム、および動画出力システムに関する。
【背景技術】
【０００２】
従来、作業工程における作業者の動作の有効度、熟練度、問題点等を分析するために、作業者の動作を録画した動画をオペレータが目視で確認する手法が知られている。これらの動画による作業確認においては、作業を目視で分析するオペレータにとって快適な操作性を実現するための種々の提案がなされている。
【０００３】
例えば、特許文献１には、表示装置に、動画と共に、動作区分分類ボタンを表示して、オペレータが手動で、動画を動作区分に分割することができるようにする技術が開示されている。特許文献１に技術を用いることによって、オペレータは、再生されている動画を閲覧しながら、動作区分分類ボタンを選択することで、選択時に再生されていた作業の動作に対して、ボタンで定義される動作区分識別情報を割り付けることができる。これにより、オペレータは、作業者の動作を録画した動画を、動作区分に分割して、各動作区分を識別する情報を入力することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３２３２２２号公報（２００７年１２月１３日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、手作業によって作業者の動作を録画した動画を、作業の動作により定義される動作区分に分割するには、オペレータによる大変な労力が必要となる。そこで、作業者の動作を録画した動画を、何らかのアルゴリズムを用いて自動分割することが考えられる。
【０００６】
一方で、このように、作業者の動作を録画した動画を自動分割した場合には、作業工程の区切りとして妥当ではない位置で動画が分割される、誤分割が生じる可能性がある。このため、動画を自動分割した場合には、オペレータが動画の分割箇所を、基準となる動画の分割箇所と同じであるか目視により確認する必要がある。
【０００７】
本発明の一態様は、上述した事情に鑑みてなされたものであり、作業者の動作を録画した動画が、作業者の作業の種類に応じて妥当な動作区間で分割されているかの確認を容易に行うことができるようにする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記の課題を解決するために、本発明の一態様に係る動画出力装置は、１又は複数の作業者の動作を録画した動画を出力する動画出力装置であって、基準となる基準動画、および、出力変更対象となる対象動画に関して、前記作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を取得する取得部と、前記分割情報に基づき、前記基準動画における前記各動作区間の再生長さと、それぞれの前記動作区間に対応する、前記対象動画における前記各動作区間の再生長さとが一致するように、前記対象動画におけるそれぞれの前記動作区間の再生速度を調整して前記対象動画を出力する。
【０００９】
また、前記の課題を解決するために、本発明の一態様に係る動画出力方法は、１又は複数の作業者の動作を録画した動画を出力する動画出力方法であって、基準となる基準動画、および、出力変更対象となる対象動画に関して、前記作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を取得する取得ステップと、前記分割情報に基づき、前記基準動画における前記各動作区間の再生長さと、それぞれの前記動作区間に対応する、前記対象動画における前記各動作区間の再生長さとが一致するように、前記対象動画におけるそれぞれの前記動作区間の再生速度を調整して前記対象動画を出力する動画処理ステップと、を含む。
【００１０】
前記の構成、または方法によれば、基準となる基準動画と、作業者の動作を録画した対象動画との、各動作区間の再生長さを一致させて再生することができる。これにより、基準動画との比較によって、対象動画が、作業者の作業の種類に応じて妥当な動作区間で分割されているかの確認を容易に行うことができる。
【００１１】
また、本発明の一態様に係る動画出力装置は、前記動画処理部は、前記基準動画と、再生速度を調整した前記対象動画とを、前記各動作区間で同期させて表示装置に再生表示させる表示制御を行う。
【００１２】
前記の構成によれば、基準動画と、対象動画との比較を容易に行うことができる。
【００１３】
また、本発明の一態様に係る動画出力装置は、前記取得部は、前記基準動画および前記対象動画に関して、前記動作区間内で生じる特徴量の時間変化を示す特徴量情報をさらに取得するとともに、前記動画処理部は、それぞれの前記動作区間内において、前記特徴量の時間変化が、前記基準動画と前記対象動画とで同期するように再生速度を調整して前記対象動画を出力する。
【００１４】
前記の構成によれば、動作区間内における、基準動画と対象動画との特徴量の時間変化を同期させることができるため、基準動画と、対象動画との比較を容易に行うことができる。
【００１５】
また、本発明の一態様に係る動画出力装置は、前記特徴量の時間変化が、前記基準動画および前記対象動画から算出される特徴量の値の連続的な時間変化である。
【００１６】
前記の構成によれば、特徴量の値の連続的な時間変化に基づいて、基準動画と対象動画とを同期させることができ、基準動画と、対象動画との比較を容易に行うことができる。
【００１７】
また、本発明の一態様に係る動画出力装置は、前記特徴量の時間変化が、前記動作区間内で発生する所定のイベントの発生タイミングの変化である。
【００１８】
前記の構成によれば、所定のイベントの発生タイミングに基づいて基準動画と対象動画との特徴量の時間変化を同期させることができるため、基準動画と、対象動画との比較を容易に行うことができる。
【００１９】
また、本発明の一態様に係る動画出力装置は、前記出力変更対象となる対象動画を選択する動画選択部をさらに備えた。
【００２０】
前記の構成によれば、選択した対象動画について、基準動画と再生長さ、および特徴量の時間変化を同期させて、基準動画との比較を行うことができ、任意の対象動画について、基準動画との比較を容易に行うことができる。
【００２１】
また、本発明の一態様に係る動画出力装置は、前記分割情報における前記動作区間の分割時刻を編集する分割時刻編集部をさらに備えた。
【００２２】
前記の構成によれば、基準動画と、対象動画と比較した結果、対象動画の動作区間の分割時刻を編集する必要がある場合には、容易に分割時刻を編集することができる。
【００２３】
また、前記の課題を解決するために、本発明の一態様に係る動画出力プログラムは、動画出力装置としてコンピュータを機能させるための動画出力プログラムであって、前記動画処理部としてコンピュータを機能させる。
【００２４】
前記の構成によれば、コンピュータを用いて、基準動画と、対象動画との比較を容易に行うことができるように、基準動画と、対象動画との再生長さ、および特徴量の時間変化を同期させることができる。
【００２５】
また、前記の課題を解決するために、本発明の一態様に係る動画出力システムは、１又は複数の作業者の動作を録画した動画に関して、前記作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を生成する動作分析装置と、前記動画出力装置と、を含む。
【００２６】
前記の構成によれば、動作分析装置によって生成された分割情報が正確か否かを、動画出力装置によって出力された対象動画を、基準動画に対して比較することで容易に判断することができる。
【発明の効果】
【００２７】
本発明の一態様によれば、作業者の動作を録画した動画が、作業者の作業の種類に応じて妥当な動作区間で分割されているかの確認を容易に行うことができる。
【図面の簡単な説明】
【００２８】
【図１】本実施形態に係る動画出力装置の全体構成を示すブロック図である。
【図２】基準動画の分割情報に基づいて作業動画を再生した場合の、各動画の再生位置を示す図である。
【図３】基準動画の動作区間の再生長さに合わせて、作業動画の動作区間を再生した場合の、各動画の再生位置を示す図である。
【図４】基準動画の動作区間の再生長さに合わせて、作業動画の動作区間を再生した場合の、各動画の再生位置を示す図である。
【図５】対象動画の動作区間の再生速度を調整する処理の概要を示す図である。
【図６】基準動画の分割情報に基づいて補正した各動作区間の再生位置を示す図である。
【図７】連続的な特徴量の時間変化を示す図である。
【図８】補正後の連続的な特徴量の時間変化を示す図である。
【図９】離散的な特徴量の時間変化を示す図である。
【図１０】補正後の離散的な特徴量の時間変化を示す図である。
【図１１】表示装置の表示態様の一例を示す図である。
【発明を実施するための形態】
【００２９】
以下、本発明の一側面に係る実施形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。
【００３０】
§１  適用例
まず、本発明が適用される場面の一例について説明する。
【００３１】
図１は、本実施形態に係る動画出力システム１の全体構成を示すブロック図である。動画出力システム１は、工場内において作業する作業者の動作を録画した動画を出力するシステムである。動画出力システム１によって出力される動画は、作業者の作業の習熟度、および、作業者の疲労度等を解析するために用いられる。
【００３２】
動画出力システム１は、動作分析装置１０と、動画出力装置１００と、を含んでいる。
【００３３】
動作分析装置１０は、１日分の作業者の動作を録画した動画を取得し、当該動画を分析する。動作分析装置１０は、取得した動画を、作業者の作業の種類に応じて複数の動作区間に分割するための、分割位置に関する情報を生成する。分割位置に関する情報には、例えば、分割する時刻、分割するフレーム等の情報が含まれる。
【００３４】
動画出力装置１００は、動作分析装置１０から、動画の分割位置に関する情報を取得する。そして、動画出力装置１００は、対象動画におけるそれぞれの動作区間の再生長さが、基準動画における各動作区間の再生長さと一致するように、再生速度を調整して出力する。
【００３５】
このため、動作分析装置１０を用いて、作業者の動作を録画した動画を自動分割した場合であっても、動画出力装置１００によって、動作区間の再生長さが、基準動画における各動作区間の再生長さと一致するように、再生速度が調整された対象動画が出力される。よって、オペレータは、再生長さが互いに一致する基準動画と、対象動画とを比較することで、対象動画が、作業者の作業の種類に応じて、基準動画の分割箇所に対応する適切な動作区間で分割されているかの確認を容易に行うことができる。
【００３６】
§２  構成例
〔実施形態１〕
以下、本発明の実施形態１に係る動画出力システム１の構成について、図１に基づいて詳細に説明する。
【００３７】
〔動作分析装置１０の構成〕
図１に示すように、動作分析装置１０は、作業動画分割処理部２０、特徴抽出処理部３０、および動作自動分割処理部４０を含んでいる。
【００３８】
作業動画分割処理部２０は、１日分の作業者の動作を不図示のカメラによって録画した、１日分作業者動画ＰＤを、例えば外部のネットワークストレージやファイルサーバ等から取得する。作業動画分割処理部２０は、取得した１日分作業者動画ＰＤを、作業者による１作業ごと、例えば作業者が１つの製品を完成させる作業区間ごと、に自動分割する。
【００３９】
作業動画分割処理部２０は、例えば、作業開始終了のログを外部のネットワークストレージやファイルサーバ等の生産管理データベースから取得し、当該ログを利用して、１日分作業者動画ＰＤを、１作業ごとに分割する。また、作業動画分割処理部２０は、入退室センサの出力を参照して、１日分作業者動画ＰＤを、１作業ごとに分割してもよい。また、作業動画分割処理部２０は、１日分作業者動画ＰＤにおける作業者の特徴的な動作、例えば作業者の動画フレームへのフレームイン、または、フレームアウト、を利用して、１日分作業者動画ＰＤを、１作業ごとに分割してもよい。
【００４０】
作業動画分割処理部２０によって１作業ごとに分割された、１日分作業者動画ＰＤは、作業区間ごとに、作業動画記憶部５０に記憶される。作業動画記憶部５０には、作業者毎の、１作業ごとに分割された動画が、作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮとして記憶される。
特徴抽出処理部３０は、作業動画記憶部５０に記憶された、作業ごとに分割された作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮを解析して、動画の特徴を求め、各作業動画内で生じる特徴量の時間変化を示す特徴量情報を生成する。特徴抽出処理部３０は、作業者の所定の姿勢、または作業者の作業机の上の所定の状態を、パターンマッチングによって動画から抽出することで、動画の特徴を求めてもよい。
【００４１】
例えば、特徴抽出処理部３０は、作業者の推定骨格を作業動画から抽出し、作業者の手の動き、および作業者の頭又は肩の角度等による作業者の姿勢の特徴を数値化した特徴量情報を生成する。また、特徴抽出処理部３０は、作業者の作業机の上の状態の特徴を、動画の特徴として求めてもよい。また、特徴抽出処理部３０は、作業動画での、作業者の作業机の上の状態等の作業者の周囲の状態の特徴を数値化した特徴量情報を生成してもよい。
【００４２】
特徴抽出処理部３０は、作業動画の特徴を、特徴量の値の連続的な時間変化によって示す特徴量情報を生成してもよい。また、特徴抽出処理部３０は、作業動画の特徴を、作業動画内で発生する所定のイベントの離散的な発生タイミングによって示す特徴量情報を生成してもよい。
【００４３】
作業動画内で発生する所定のイベントの離散的な発生タイミングは、例えば、作業者が所定の動きを行ったタイミング、および、所定の色の部品が動画像に現れた、または消えたタイミング等である。特徴抽出処理部３０は、これらの離散する所定のイベントの発生タイミングを、作業動画を解析して抽出することで特徴量情報を生成してもよい。
【００４４】
動作自動分割処理部４０は、特徴抽出処理部３０生成した特徴量情報に基づいて、作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮのそれぞれを、各動作区分に分割する。動作自動分割処理部４０は、分割した動作区間の動画を、当該動作区間の開始時刻と終了時刻との情報を含む時刻情報と、当該動作区間の特徴量情報とに紐付けて、動作区間データとして、外部のネットワークストレージやファイルサーバ等の記憶装置７０に記憶する。
【００４５】
動作区間の開始時刻と終了時刻とのように、作業動画を作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む情報を分割情報と称する。なお、動画出力装置１００において特徴量情報が利用されない場合には、動作区間データは特徴量情報を含まないデータであってもよい。
【００４６】
また、記憶装置７０が、動作分析装置１０が備える記憶装置によって構成されてもよいし、作業動画記憶部５０が、外部のネットワークストレージやファイルサーバ等の記憶装置によって構成されてもよい。
【００４７】
なお、作業動画分割処理部２０は、１日分作業者動画ＰＤに基づいて作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮをテンポラリデータとして作業メモリ上に生成してもよい。そして、特徴抽出処理部３０による処理は、このテンポラリデータとして生成された作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮに基づいて実施されてもよい。また、後述する動画出力装置１００への作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮの送信が、記憶装置７０に記憶されている動作区間データに基づいて１日分作業者動画ＰＤを参照して生成されたテンポラリデータに基づいて実施されてもよい。
〔動画出力装置１００の構成〕
【００４８】
動画出力装置１００は、取得部１１０、動画選択部１２０、動画処理部１３０、および分割時刻編集部１４０を含んでいる。動画出力装置１００は、動作分析装置１０から作業者の作業動画ＷＤ０１，ＷＤ０２・・・ＷＤを取得して、出力する対象である作業動画ＷＤに所定の変更処理を行って、出力する。動画出力装置１００が変更して出力する対象となる出力変更対象の作業動画を対象動画とも称する。また、当該対象動画のデータを対象動画データとも称するが、以下の説明において、対象動画と、対象動画データとを特に区別せずに用いている。
【００４９】
取得部１１０は、イーサネット（登録商標）などのフィールドネットワークを介して動作分析装置１０、および記憶装置７０と通信する。取得部１１０は、作業者の基準となる動作を録画した基準動画および対象動画を動作分析装置１０から取得する。また、取得部１１０は、基準動画および対象動画に関する動作区間データを記憶装置７０から取得する。すなわち、取得部１１０は、出力変更対象となる対象動画に関して、動作区間データに含まれている、作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を、記憶装置７０から取得する。
【００５０】
また、取得部１１０は、基準動画および対象動画に関して、動作区間内で生じる特徴量の時間変化を示す特徴量情報を記憶装置７０から取得してもよい。
【００５１】
動画選択部１２０は、出力変更対象となる対象動画を選択する。動画出力装置１００は、表示装置８０にグラフィカルユーザインターフェース（ＧＵＩ）を表示し、オペレータからの指示を受け付けることができる装置である。動画選択部１２０は、表示装置８０に表示されたＧＵＩを通じてオペレータによる指示を受け付ける。そして、動画選択部１２０は、オペレータによる指示に基づいて、基準動画、および、出力変更対象となる対象動画を選択する。動画選択部１２０は、基準動画、および、選択した対象動画を、取得部１１０の機能により、動作分析装置１０から取得する。
【００５２】
動画処理部１３０は、動画選択部１２０が選択した基準動画、および対象動画と、当該基準動画および当該対象動画の分割情報とを動作分析装置１０から取得する。動画処理部１３０は、動作分析装置１０から取得した分割情報に基づき、基準動画における各動作区間の再生長さと、基準動画におけるそれぞれの動作区間に対応する、対象動画における各動作区間の再生長さとが一致するように、対象動画データにおけるそれぞれの動作区間の再生速度を調整する。動画処理部１３０は、それぞれの動作区間の再生速度を調整した対象動画を出力する。
【００５３】
分割時刻編集部１４０は、分割情報における前記動作区間の分割時刻を編集する。分割時刻編集部１４０は、後述する表示装置８０に表示されたＧＵＩを通じて受け付けたオペレータの指示に応じて、分割情報における対象動画の動作区間の分割時刻を編集し、編集した分割情報を、記憶装置７０に送信する。記憶装置７０に記憶された対象動画の動作区間データの、動作区間の時刻に係る情報は、分割時刻編集部１４０によって編集された分割情報に基づいて書き換えられ、記憶される。
【００５４】
〔動画処理部１３０による再生長を調整する処理について〕
図２は、基準動画の分割情報に基づいて、作業者の作業動画を再生した場合の、各動画の再生位置を示す図である。ここで、基準動画は、オペレータが手作業により、各動作区間０１，０２，０３・・・に分割されている。
【００５５】
作業動画０２では、基準動画に対して、動作区間０１の録画時間が短く、動作区間０２の録画時間が長くなっている。また、作業動画０３では、基準動作に対して、動作区間０１の録画時間が長くなっている。
【００５６】
図２に示すように、基準動画の分割情報に含まれる、動作区間０２の再生開示時刻に基づいて、作業動画０２を再生した場合、作業動画０２では、動作区間０２の途中から再生されてしまう。これは、作業動画０２の動作区間０１の録画時間が、基準動画の動作区間０１の録画時間より短いためである。
【００５７】
また、基準動画の分割情報に含まれる、動作区間０２の開示時刻に基づいて、作業動画０３を再生した場合、作業動画０３では、動作区間０１の途中から再生されてしまう。これは、作業動画０３の動作区間０１の録画時間が、基準動画の動作区間０１より長いためである。
【００５８】
このように、基準動画の分割情報に示される時刻に基づいて、作業者の作業動画を再生した場合、作業動画が適切な位置で動作区間毎に分割されているのかを判断することが難しい。また、基準動画と、作業者の作業動画との再生部分が異なるため、基準動画と、作業者の作業動画とを比較することによる、各動作区間における作業者の動作の確認、および、検証が難しい。
【００５９】
図３、および図４は、基準動画、および、各作業動画の各動作区間を、各動画の分割情報に含まれる開始時刻に基づいて再生するとともに、基準動画の動作区間の再生長さ分だけ作業動画の動作区間を再生した場合の、各動画の再生位置を示す図である。
【００６０】
図３においては、作業動画０２，０３では、基準動画に対して、動作区間０２の再生長さが長くなっている。図３に示すように、基準動画、および、各作業動画０２，０３の再生開始位置を、動作区間０２の頭に合わせて再生しても、作業動画０２，０３では、基準動画に対して、動作区間０２の再生長さが長くなっているため、作業動画０２，０３の動作区間０２が全て再生されない。
【００６１】
図４においては、作業動画０２では、基準動画に対して、動作区間０２の再生長さが短くなっている。図４に示すように、基準動画、および、作業動画０２を、動作区間０２の頭に再生開始位置を合わせて再生しても、作業動画０２では、基準動画に対して、動作区間０２の再生長さが短くなっているため、作業動画０２の動作区間０２を全て再生し、動作区間０３の途中まで再生されてしまう。
【００６２】
このように、基準動画の動作区間の再生長さ分だけ作業者の作業動画を再生した場合、再生開始位置を各動作区間の頭に合わせて再生しても、作業動画が適切な位置で動作区間毎に分割されているのかを判断することが難しい。また、基準動画と、作業者の作業動画との再生部分が異なるため、基準動画と、作業者の作業動画とを比較することによる、各動作区間における作業者の動作の確認、および、検証が難しい。
【００６３】
図５は、動画処理部１３０による、対象動画の動作区間の再生速度を調整する処理の概要を示す図である。図５に示すように、動画処理部１３０は、基準動画における各動作区間０１，０２，０３・・・の再生長さに応じて、対象動画である作業動画０２，０３の各動作区間０１，０２，０３・・・の再生長さを調整する。
【００６４】
例えば、基準動画の動作区間０１の再生長さが１０秒、作業動画０２の動作区間０１の再生長さが５秒、作業動画０３の動作区間０１の再生長さが１５秒であるとする。動画処理部１３０は、基準動画の動作区間０１の再生長さである１０秒に、作業動画０２の作業動画０２，０３の動作区間０１の再生長さが一致するように、作業動画０２，０３の動作区間０１の再生速度を調整する。動画処理部１３０は、例えば、作業動画０２の動作区間０１のフレームレートを５ｆｐｓに、作業動画０３の動作区間０１のフレームレートを１５ｆｐｓとすることで、基準動画と、作業動画０２，０３との動作区間０１の再生長さを一致させる。動画処理部１３０は、各動作区間０２，０３・・・についても、同様に、基準動画と、作業動画０２，０３との再生長さを一致させる。
【００６５】
動画処理部１３０は、各動作区間の再生速度を調整した作業動画０２，０３を記憶装置７０、および表示装置８０の少なくともいずれか一方に出力する。動画処理部１３０は、再生速度を調整した作業動画０２，０３を記憶するメモリを備え、オペレータの指示に応じた所定の作業動画を出力することができてもよい。
【００６６】
図６は、基準動画の分割情報に基づいて、各動作区間０１，０２，０３・・・の再生長さを調整した、補正後の作業動画０２，０３の各動作区間０１，０２，０３・・・の再生位置を示す図である。図６に示すように、動画処理部１３０は、基準動画における各動作区間０１，０２，０３・・・の再生長さと、それぞれの動作区間に対応する、対象動画における各動作区間０１，０２，０３・・・の再生長さとが一致するように、対象動画データにおけるそれぞれの動作区間の再生速度を調整するため、各動作区間の再生開始位置、再生長さ、および、再生終了位置を同期させることができる。よって、オペレータは、作業者の動作を録画した動画を、基準動画と比較することで、作業者の作業の種類に応じて妥当な動作区間で動画が分割されているかの確認と、各動作区間における作業者の動作の確認、および、検証とを容易に行うことができる。
【００６７】
〔動画処理部１３０による特徴量に応じて再生速度を調整する処理について〕
図７、および図９は、基準動画、および対象動画である作業者の動作を録画した作業動画の動作区間０２で生じる特徴量の時間変化を示す図である。
【００６８】
図７に示すように、取得部１１０が動作分析装置１０から取得する特徴量情報は、基準動画および対象動画から算出される特徴量の値の連続的な時間変化の情報を含んでいる。
【００６９】
基準動画の各動作区間と、対象動画における各動作区間の再生長さとを、動画処理部１３０により一致させても、動作区間内で生じる特徴量の時間変化は一致しない。このように、動作区間内で生じる特徴量の時間変化が一致しない場合、基準動画における対応区間と、対象動画とを比較しても、当該対応区間における作業者の動作の確認、および、検証とを容易に行うことができない。
【００７０】
動画処理部１３０は、それぞれの動作区間内において、特徴量の時間変化が、基準動画と対象動画とで同期するように再生速度を調整する。
【００７１】
動画処理部１３０は、動作区間内において、特徴量が似ている箇所、例えば、動作区間０２において、特徴量が顕著な変化を示しているポイント（特徴量が顕著に大きいポイント、および、特徴量が顕著に小さいポイント）を、基準動画の対応するポイントと結んで、当該ポイントの再生時間が同調するように、動作区間内で再生速度を変化させる。例えば、動画処理部１３０は、特徴量が顕著な変化を示している各ポイントの類似度（距離）を比較した上で、最短パスを求め、対応する点が同期するように再生速度を変化させる。
【００７２】
図８は、特徴量の時間変化が、基準動画と同期するように再生速度を調整した、補正後の作業動画０２，０３の特徴量の時間変化を示す図である。図８において、作業動画０２，０３に実線で示した特徴量の時間変化は、補正後の特徴量の時間変化を示し、破線で示した特徴量の時間変化は、再生速度を調整する前の特徴量の時間変化を示している。図８に示すように、動画処理部１３０は、特徴量が顕著な変化を示しているポイント間の長さに応じて、再生速度を調整し、これらのポイント間の再生長さを伸縮する。
【００７３】
これにより、対象動画の動作区間の再生長さが、基準動画の対応する動作区間の再生長さと異なっていても、基準動画と対象動画とを同期させて再生することができる。よって、オペレータは、作業者の動作を録画した動画を、基準動画と比較することで、作業者の作業の種類に応じて妥当な動作区間で動画が分割されているかの確認と、各動作区間における作業者の動作の確認、および、検証とを容易に行うことができる。
【００７４】
図９に示すように、取得部１１０が動作分析装置１０から取得する特徴量情報は、動作区間内で発生する所定のイベントの発生タイミングの変化の情報を含んでいてもよい。
【００７５】
動画処理部１３０は、特徴量情報が、それぞれの動作区間内において、離散して発生するイベントの発生タイミングを示す場合には、各イベントの発生タイミング間を、１つの区切り区間とする。そして、動画処理部１３０は、対象動画である作業動画０２，０３における区切り区間の再生長さが、基準動画の対応する区切り区間の再生長さと一致するように、作業動画０２，０３におけるそれぞれの区切り区間の再生速度を調整する。
【００７６】
図１０は、動作区間内で発生する所定のイベントの発生タイミングが、基準動画と対象動画とで同期するように、作業動画０２，０３の再生速度を調整した、補正後の作業動画０２，０３の特徴量の時間変化を示す図である。図１０において、作業動画０２，０３に実線で示したイベントの発生タイミングは、再生速度を補正した後のイベントの発生タイミングを示し、破線で示したイベントの発生タイミングは、再生速度を調整する前のイベントの発生タイミングを示している。図１０に示すように、動画処理部１３０は、基準動画におけるイベントの発生タイミング間の再生長さに応じて、作業動画０２，０３の再生速度を調整し、これらのイベントの発生タイミング間の再生長さを伸縮する。
【００７７】
これにより、対象動画の動作区間の再生長さが、基準動画の対応する動作区間の再生長さと異なっていても、基準動画と対象動画とを同期させて再生することができる。よって、オペレータは、作業者の動作を録画した動画を、基準動画と比較することで、作業者の作業の種類に応じて妥当な動作区間で動画が分割されているかの確認と、各動作区間における作業者の動作の確認、および、検証とを容易に行うことができる。
【００７８】
〔表示装置８０における表示態様〕
図１１は、動画処理部１３０が出力した動作区間の再生速度が調整された対象動画の表示装置８０による表示態様の一例を示す図である。図１１に示すように、動画処理部１３０は、基準動画と、再生速度を調整した対象動画とを、各動作区間で同期させて表示装置８０に再生表示させる表示制御を行う。
表示装置８０の表示部８１には、動画処理部１３０の表示制御により、基準動画と、１又は複数の、各動作区間の再生長さが基準動画の対応する動作区間の再生長さに一致するように再生速度が調整された対象動画と、が並べて表示される。例えば、表示部８１には、基準動画を再生する基準動画再生部８２、および、各対象動画をそれぞれ再生する対象動画再生部８３が配置される。各動画再生部８２，８３には、当該動画再生部８２，８３に表示する動画を、オペレータが選択する操作を受け付ける動画選択ボタンが対象動画選択部８４として設けられている。
【００７９】
また、表示部８１には、各動画再生部８２，８３に表示された基準動画、および各対象動画について、どの動作区間の、どの位置が再生されているのかを視覚的に表示する動作分割タイムチャート８５が表示される。オペレータは、動作分割タイムチャートの任意の位置を、例えばマウスポインタによって指定しクリックする選択操作を行うことで、動作分割タイムチャート８５における所定の位置から、基準動画、および各対象動画を、各動画再生部８２，８３に表示させることができる。
【００８０】
また、動作分割タイムチャート８５には、基準動画、および各対象動画の各動作区間が示されている。オペレータは、基準動画再生部８２、および、対象動画再生部８３に表示された作業動画を比較することにより、作業動画の動作区間の分割時刻に編集が必要であると判断する場合がある。この場合には、オペレータは、分割時刻を編集する対象の作業動画を、対象動画再生部８３、または、対象動画選択部８４をクリックするなどにより選択する操作をする。そして、オペレータは、動作分割タイムチャート８５に表示された対象動画の各動作区間の開始位置、または、終了位置をドラッグアンドドロップ等の操作により手作業で調整することで、動作区間の分割時刻を変更することができる。
【００８１】
また、表示部８１には、動画シークバー８６が設けられていてもよく、オペレータは、動画シークバー８６において、スライダー８６Ａを動かす操作を行うことで、基準動画再生部８２、および、対象動画再生部８３に表示された作業動画の再生位置を任意の位置に変更することができる。
【００８２】
また、表示部８１には、再生ボタン８７、停止ボタン８８、同調再生ボタン８９が設けられていてもよい。オペレータは、再生ボタン８７を選択する操作を行うことで、オペレータが選択した基準動画、および対象動画の少なくともいずれかの再生を開始することができる。また、オペレータは、停止ボタン８８を選択する操作を行うことで、再生が実行されている動画の再生を停止することができる。また、オペレータは、同調再生ボタン８９を選択する操作を行うことで、基準動画、および対象動画を、再生長さ、および、特徴量の少なくともいずれか一方によって同調させて再生させることができる。
【００８３】
〔分割時刻編集部１４０の処理〕
表示部８１に表示された動作分割タイムチャートに対する操作で、オペレータが対象動画の動作区間の分割時刻を変更する操作を行うと、当該操作に応じて、分割時刻編集部１４０は、取得部１１０を介して記憶装置７０から取得した分割情報における動作区間の分割時刻を、オペレータの操作に応じた時刻に書き換え、分割情報を編集する。分割時刻編集部１４０は、編集した分割情報を、記憶装置７０に送信する。
【００８４】
〔ソフトウェアによる実現例〕
動画出力装置１００の制御ブロック（特に動画選択部１２０、動画処理部１３０、および分割時刻編集部１４０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００８５】
後者の場合、動画出力装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００８７】
１  動画出力システム
１０  動作分析装置
２０  作業動画分割処理部
３０  特徴抽出処理部
４０  動作自動分割処理部
５０  作業動画記憶部
７０  記憶装置
８０  表示装置
１００  動画出力装置
１１０  取得部
１２０  動画選択部
１３０  動画処理部
１４０  分割時刻編集部
【図１】
2020155961.tif 000003
【図２】
2020155961.tif 000004
【図３】
2020155961.tif 000005
【図４】
2020155961.tif 000006
【図５】
2020155961.tif 000007
【図６】
2020155961.tif 000008
【図７】
2020155961.tif 000009
【図８】
2020155961.tif 000010
【図９】
2020155961.tif 000011
【図１０】
2020155961.tif 000012
【図１１】
2020155961.tif 000013