(57)【要約】【課題】動画像にメタ情報を付与する際の作業効率を高める。【解決手段】動画メタ情報記録装置１０１は、一覧画面４００を表示する。グリッド４０１の各セル４０４には、作業オブジェクト保持部２０３が保持する各作業オブジェクトが配置される。グリッド４０１の縦軸は、タスク反復動画内におけるタスクの反復回数を表し、横軸は、タスクに属する作業種別を表す。番号４０２は、縦軸のタスクの各反復に対して時系列順に１を初期値として昇順に振られるインデックス番号である。名称４０３は、横軸の作業種別の名称である。【選択図】図４
2019159884.tif 000002
【特許請求の範囲】
【請求項１】
複数の作業から構成されるタスクが実行される様子を撮影した動画像に付与されるメタ情報を生成するための処理を行う情報処理装置であって、
前記タスクおよび前記作業の少なくとも何れか一方に基づいて定まる少なくとも２つの指標に基づいて、前記作業に対する表示領域を前記タスクごとに他の表示領域と区別して表示する画面の表示制御を行う表示制御手段と、
前記作業に対する表示領域が選択されると、当該作業に関する前記メタ情報を編集する編集手段と、を有することを特徴とする情報処理装置。
【請求項２】
前記少なくとも２つの指標は、２つの指標からなり、
前記表示領域は、第１の軸の方向の位置が前記２つの指標のうちの一方の指標により定められると共に、第２の軸の方向の位置が前記２つの指標のうちの他方の指標により定められるグリッドのセルの領域であることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記動画像は、複数の作業から構成されるタスクが繰り返し実行される様子を撮影した動画像であり、
前記少なくとも２つの指標は、前記繰り返し実行される各タスクを特定する情報と、前記作業の種別を特定する情報とを含むことを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記作業に関する前記メタ情報の編集の指針となる情報に基づいて、当該作業に対する前記表示領域の表示形態を決定することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
【請求項５】
前記動画像と前記メタ情報との少なくとも何れか一方に基づいて、前記作業に関する前記メタ情報の編集の指針となる情報を導出する導出手段を更に有することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記作業に関する前記メタ情報の編集の指針となる情報は、当該作業の実施時刻に関する情報と、前記動画像から作成される当該作業のサムネイル画像との少なくとも何れか一方を含むことを特徴とする請求項４または５に記載の情報処理装置。
【請求項７】
前記編集手段は、前記作業に対する表示領域が選択されると、当該作業に関する前記メタ情報を編集するための画面を表示させ、当該画面に対する操作の結果に基づいて、当該作業に関する前記メタ情報を編集することを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
【請求項８】
前記メタ情報を含む情報を作成する作成手段を更に有し、
前記作業に対する表示領域には、当該作業に関する前記メタ情報を含む情報が割り当てられ、
前記編集手段は、前記作成手段により作成された前記情報を編集することを特徴とする請求項１〜７の何れか１項に記載の情報処理装置。
【請求項９】
前記表示制御手段は、前記作業に関する前記メタ情報を含む情報が割り当てられていない表示領域を、前記少なくとも２つの指標に基づいて、他の表示領域と区別して、当該作業に対する表示領域として前記画面に表示させ、
前記作成手段は、前記作業に関する前記メタ情報を含む情報が割り当てられていない表示領域が選択されると、当該作業に関する前記メタ情報を含む情報を作成することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記動画像には、前記メタ情報が付与されており、
前記作成手段は、前記動画像に付与されている前記メタ情報よりも詳細な内容の情報を前記メタ情報として作成することを特徴とする請求項８または９に記載の情報処理装置。
【請求項１１】
前記動画像に基づいて、前記メタ情報となる情報を推定する推定手段を更に有し、
前記作成手段は、前記推定手段により推定された前記メタ情報よりも詳細な内容の情報を前記メタ情報として作成することを特徴とする請求項８〜１０の何れか１項に記載の情報処理装置。
【請求項１２】
複数の作業から構成されるタスクが実行される様子を撮影した動画像に付与されるメタ情報を生成するための処理を行う情報処理方法であって、
前記タスクおよび前記作業の少なくとも何れか一方に基づいて定まる少なくとも２つの指標に基づいて、前記作業に対する表示領域を前記タスクごとに他の表示領域と区別して表示する画面の表示制御を行う表示制御工程と、
前記作業に対する表示領域が選択されると、当該作業に関する前記メタ情報を編集する編集工程と、を有することを特徴とする情報処理方法。
【請求項１３】
請求項１〜１１の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、動画像にメタ情報を付与するために用いて好適なものである。
【背景技術】
【０００２】
近年、工場などで、生産管理などのために、時系列に連なる所定の複数の作業から構成されるタスクを反復して行う様子を撮影することがある。このようにして撮影された動画像に含まれる各作業に対してメタ情報を付与する要望が高まっている。
特許文献１には、動画像に付与したメタ情報を時系列に並べた一覧表をユーザーに提示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１１４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、動画像の長さが長いことなどの理由から、メタ情報の付与対象の作業として多数の作業が動画像に含まれていることがある。この場合、特許文献１に記載のような時系列に並べた一覧表では、動画像全体におけるメタ情報の付与状況を把握したり、任意の編集対象のメタ情報を選択したりすることが困難になる。その結果、動画像にメタ情報を付与する際の作業効率が低下する。
本発明は以上の課題を鑑みてなされたものであり、動画像にメタ情報を付与する際の作業効率を高めることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、複数の作業から構成されるタスクが実行される様子を撮影した動画像に付与されるメタ情報を生成するための処理を行う情報処理装置であって、前記タスクおよび前記作業の少なくとも何れか一方に基づいて定まる少なくとも２つの指標に基づいて、前記作業に対する表示領域を前記タスクごとに他の表示領域と区別して表示する画面の表示制御を行う表示制御手段と、前記作業に対する表示領域が選択されると、当該作業に関する前記メタ情報を編集する編集手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、動画像にメタ情報を付与する際の作業効率を高めることができる。
【図面の簡単な説明】
【０００７】
【図１】情報処理システムの構成を示す図である。
【図２】動画メタ情報記録装置の構成の第１の例を示す図である。
【図３】動画メタ情報記録装置の処理の第１の例を説明するフローチャートである。
【図４】一覧画面を示す図である。
【図５】メタ情報編集画面を示す図である。
【図６】動画メタ情報記録装置の構成の第２の例を示す図である。
【図７】動画メタ情報記録装置の処理の第２の例を説明するフローチャートである。
【図８】動画メタ情報記録装置の構成の第３の例を示す図である。
【図９】動画メタ情報記録装置の処理の第３の例を説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら、実施形態を説明する。
（第１の実施形態）
まず、第１の実施形態を説明する。
本実施形態では、タスク反復動画に含まれる各作業に対してユーザーが人手でメタ情報を付与する場合において、タスク反復動画に対するメタ情報の付与状況をユーザーが一覧して把握し、任意の編集対象のメタ情報を選択する場合を例に挙げて説明する。ここで、タスク反復動画とは、工場などにおいて時系列に連なる所定の複数の作業から構成されるタスクを作業者が反復して行う様子を撮影した動画像である。タスク反復動画に付与するメタ情報には、タスク反復動画に含まれる各々の作業の作業実施時刻情報および作業種別情報が含まれる。本実施形態では、作業実施時刻情報が、作業開始時刻および作業終了時刻を含む場合を例に挙げて説明する。
【０００９】
また、本実施形態では、動画メタ情報記録装置が、以下の処理を行う場合を例に挙げて説明する。即ち、動画メタ情報記録装置は、タスク反復動画に含まれる作業を表す作業オブジェクトをユーザーの命令によって作成する。そして、動画メタ情報記録装置は、作成した作業オブジェクトを、縦軸が各タスクを表し、横軸が当該タスクに属する各作業の作業種別を表すグリッドのセルに配置することで、動画像に対するメタ情報の付与状況をユーザーが一覧できる画面を生成して提示する。ユーザーは、この画面を参照することでタスク反復動画に対するメタ情報の付与状況を把握することができる。また、ユーザーは、この画面に配置されている作業オブジェクトを選択することで、当該作業オブジェクトに含まれるメタ情報を編集するなどの作業に速やかに移行することができる。以上によりタスク反復動画に効率よくメタ情報を付与することができる。
【００１０】
図１は、本実施形態の情報処理システムの構成の一例を示す図である。具体的に図１は、動画メタ情報記録装置と、当該動画メタ情報記録装置が扱うタスク反復動画を撮影する装置の設置状況の一例を表す外観図である。動画メタ情報記録装置１０１は、例えば、ＰＣ（Personal Computer）を用いることにより実現される。表示装置１０２は、前述した画面などを表示する。表示装置１０２は、例えば、液晶ディスプレイを用いることにより実現される。入力装置１０３は、動画メタ情報記録装置１０１に対する入力指示を行うためにユーザーが操作するための装置である。入力装置１０３は、例えば、キーボードとマウスとを用いることで実現される。
【００１１】
撮影対象物１０４は、カメラ１０５による撮影対象である。撮影対象物１０４には、例えば、作業者、作業台、および作業対象物体が含まれる。作業者は、例えば、作業台の上に供給される作業対象物体に対して所定の複数の作業を行うことで各作業対象物体を組み立てて、組みあがった完成物を隣の作業者に流すタスクを反復して行う。タスクを構成する複数の作業は予め決められている。それぞれの作業には、当該作業の種別を特定するための作業種別名（作業種別の名称）がつけられている。本実施形態では、タスクが、早く行われるものから順に「Ｆ取付」、「Ｆ清掃」、「Ｇ調整」、「Ｓ取付」という４つの作業種別名で表される作業から構成されている場合を例に挙げて説明する。
【００１２】
カメラ１０５は、作業者が行う作業を俯瞰できる位置に設置される。カメラ１０５は、作業者がタスクを反復して行う様子（タスク反復動画）を撮影する。ストレージ１０６は、カメラ１０５で撮影されたタスク反復動画を保存する。ストレージ１０６は、動画メタ情報記録装置１０１にも接続されている。動画メタ情報記録装置１０１は、ストレージ１０６からタスク反復動画をダウンロードすることができる。
【００１３】
図２は、本実施形態の動画メタ情報記録装置１０１の内部モジュール構成の一例を示す図である。
タスク反復動画保持部２０１は、ストレージ１０６からダウンロードしたタスク反復動画を保持する。作業オブジェクト作成部２０２は、入力装置１０３から受け付けた作業オブジェクト作成要求に基づいて、タスク反復動画に含まれる作業を表す作業オブジェクトを作成する。作業オブジェクトは、タスク反復動画に含まれる各々の作業に関するメタ情報（本実施形態では、作業実施時刻情報および作業種別情報）を保持する。このように作業オブジェクトは、タスク反復動画に含まれる各々の作業に関するメタ情報を含む情報である。前述したように本実施形態では、作業実施時刻情報には、作業開始時刻および作業終了時刻が含まれる。また、本実施形態では、作業種別情報として、先に説明した「Ｆ取付」、「Ｆ清掃」、「Ｇ調整」、「Ｓ取付」に対応する数値が含まれる場合を例に挙げて説明する。
【００１４】
作業オブジェクト保持部２０３は、作業オブジェクト作成部２０２により作成された作業オブジェクトを保持する。作業オブジェクト属性導出部２０４は、作業オブジェクト保持部２０３により保持されている作業オブジェクトの属性を導出する。一覧画面生成部２０５は、作業オブジェクト保持部２０３により保持されている作業オブジェクトと、作業オブジェクト属性導出部２０４により導出された作業オブジェクトの属性とに基づいて一覧画面を生成し、表示装置１０２に表示する。
【００１５】
ユーザーは、一覧画面生成部２０５により表示された一覧画面に対して作業オブジェクトを選択する操作を、入力装置１０３を用いて行うことができる。作業オブジェクト選択部２０６は、当該操作に応じて入力装置１０３から受け付けた作業オブジェクト選択要求に基づいて、一覧画面に表示されている作業オブジェクトを選択状態にする。ユーザーは、一覧画面生成部２０５により表示された一覧画面に対し、前述したように選択した作業オブジェクトが保持しているメタ情報を編集する操作を、入力装置１０３を用いて行うことができる。メタ情報編集部２０７は、この操作を入力装置１０３から受け付けて、当該作業オブジェクトが保持しているメタ情報を編集する。メタ情報出力部２０８は、作業オブジェクトが保持しているメタ情報をファイルに出力する。尚、メタ情報が編集された場合、メタ情報出力部２０８は、編集後のメタ情報をファイルに出力する。また、編集後の作業オブジェクトも、作業オブジェクト保持部２０３により保持される。
【００１６】
図３は、本実施形態の動画メタ情報記録装置１０１において行われる処理の一例を説明するフローチャートである。以降このフローチャートに沿ってそれぞれの処理の詳細な内容の一例を説明する。
（ステップＳ３０１）
ステップＳ３０１では、動画メタ情報記録装置１０１は、動画メタ情報記録装置１０１における処理手順を記述したプログラムを初期化する。具体的に、動画メタ情報記録装置１０１は、タスク反復動画保持部２０１に保持されている、メタ情報を付与する対象となるタスク反復動画の中から、ユーザーがメタ情報を付与したいとしているタスク反復動画を選択するための手段を提供する。かかる手段は、例えば、動画メタ情報記録装置１０１が、ユーザーが当該選択を行うためのＧＵＩ（Graphical User Interface）を表示装置１０２に表示することにより実現することができる。動画メタ情報記録装置１０１は、かかる手段を用いたユーザーによる選択の結果に基づいて、メタ情報を付与する対象となるタスク反復動画を特定する。
【００１７】
また、動画メタ情報記録装置１０１は、タスク反復動画に含まれるタスクの定義情報をユーザーが入力するための手段を提供する。かかる手段は、例えば、動画メタ情報記録装置１０１が、ユーザーが当該入力を行うためのＧＵＩを表示装置１０２に表示することにより実現することができる。動画メタ情報記録装置１０１は、かかる手段を用いてユーザーにより入力された内容を読み込む。具体的にタスクの定義情報には、例えば、タスクに属する作業種別の順序と名称（「Ｆ取付」→「Ｆ清掃」→「Ｇ調整」→「Ｓ取付」）、および、各作業種別の標準的な作業継続時間が含まれる。本ステップで初期化が完了すると、動画メタ情報記録装置１０１は、以降、ユーザーがプログラムの終了要求を発動するまで一覧画面を表示してユーザーの操作要求を受け付け、当該操作要求に応じた処理を行うループ処理（Ｓ３０２〜Ｓ３１５）を繰り返す。このループ処理を通してユーザーは、ＧＵＩを用いて対話的にタスク反復動画にメタ情報を付与することができる。
【００１８】
（ステップＳ３０２）
ステップＳ３０２では、作業オブジェクト属性導出部２０４は、作業オブジェクト保持部２０３が現在保持している作業オブジェクトのそれぞれについて、作業オブジェクトの属性を導出して作業オブジェクトに付与する。作業オブジェクトの属性は、ユーザーがメタ情報を編集する作業において次に行うべき行動を判断する助けになる情報である。作業オブジェクトの属性を導出する際には、例えば、当該作業オブジェクトが保持している作業実施時刻情報や作業種別情報が用いられる。この他、作業オブジェクトの属性を導出する際には、例えば、当該作業オブジェクト保持部２０３が保持している作業実施時刻情報や作業種別情報と、他の作業オブジェクトが保持している作業実施時刻情報や作業種別情報との比較情報が用いられる。
【００１９】
本実施形態では、作業オブジェクト属性導出部２０４が、作業の代表的なフレーム画像から作成されるサムネイル画像と、当該作業と当該作業の一つ前の作業との間隔を、作業オブジェクトの属性として導出して保持する場合を例に挙げて説明する。作業オブジェクト属性導出部２０４は、作業オブジェクトが保持する作業開始時刻に基づいて、タスク反復動画からフレーム画像を取得し、その画像を後に説明する一覧画面に表示する所定の大きさにリサイズした画像をサムネイル画像として作成する。また、作業オブジェクト属性導出部２０４は、例えば、当該作業の開始時刻と、当該作業の一つ前の作業の終了時刻との間隔を、当該作業と当該作業の一つ前の作業との間隔として算出する。
【００２０】
（ステップＳ３０３）
ステップＳ３０３では、一覧画面生成部２０５は、作業オブジェクト保持部２０３が現在保持している作業オブジェクトと、ステップＳ３０２で付与された作業オブジェクトの属性とに基づいて、一覧画面を生成して表示装置１０２に出力する。一覧画面は、ＧＵＩであり、タスク反復動画に対するメタ情報の付与状況をユーザーが一覧可能な画面である。
図４は、本ステップで生成される一覧画面４００の一例を示す図である。
グリッド４０１の各セル４０４には、作業オブジェクト保持部２０３が保持する各作業オブジェクトが配置される。グリッド４０１の各セル４０４は、各作業オブジェクトに関する情報の表示領域になる。グリッド４０１の縦軸は、タスク反復動画内におけるタスクの反復回数を表し、横軸は、タスクに属する各作業の作業種別を表す。番号４０２は、タスクの反復回数を示し、各タスクに対し時系列順に「１」を初期値として昇順に振られるインデックス番号である。名称４０３は、作業種別の名称である。
【００２１】
作業オブジェクトを配置するセル４０４は、作業オブジェクトが保持する作業実施時刻情報および作業種別情報に基づいて決められる。まず、一覧画面生成部２０５は、作業オブジェクトが保持している作業種別情報から特定される作業種別に基づいて、当該作業オブジェクトに対応するグリッド４０１の列を決定する。次に、一覧画面生成部２０５は、作業オブジェクト保持部２０３により保持されている同じ作業種別の各々の作業オブジェクトが保持している作業開始時刻を参照する。そして、一覧画面生成部２０５は、当該各々の作業オブジェクトに対して作業開始時刻が早いものから順に昇順にインデックス番号を振ることで当該各々の作業オブジェクトに対応するグリッド４０１の行を決定する。
【００２２】
一覧画面生成部２０５は、セル４０４のうち、作業オブジェクトを配置するセル４０４を、ステップＳ３０２で当該作業オブジェクトに対して付与された作業オブジェクトの属性に基づいて装飾する表示制御を行う。一覧画面生成部２０５は、セル４０４の中央に、ステップＳ３０２で属性として付与されたサムネイル画像を表示する表示制御を行う。また、一覧画面生成部２０５は、セル４０４の背景色を、ステップＳ３０２で属性として付与された当該作業と当該作業の一つ前の作業との間隔に基づいて決定し、決定した背景色でセル４０４を表示する表示制御を行う。図４では、背景色が、濃灰色、灰色、淡灰色、白色の４段階で表され、それぞれ前述した間隔が５分以上、１分以上、１０秒以上、１０秒以下であることを表す場合を例に挙げて示す。このように作業オブジェクトの属性に基づいてセル４０４を装飾して表示することは、ユーザーが次にとるべき行動を判断する際の助けになる。例えば、セル４０４に表示されているサムネイル画像の内容が、当該サムネイル画像で表される作業の作業種別とはかけ離れた様子を示している場合、ユーザーは、メタ情報が誤っている可能性を疑うことができる。また、或るセルの作業と、当該作業の前の作業との間隔が大きく空いている場合、ユーザーは、その間にまだ別の作業が存在しているものの、当該作業に対するメタ情報を付与し忘れている可能性を疑うことができる。
【００２３】
作業オブジェクトが配置されているセル４０４をユーザーがマウスでクリックすると、当該作業オブジェクトに対する選択要求として作業オブジェクト選択要求が発動される。この作業オブジェクト選択要求はステップＳ３０６で処理される。編集ボタン４０５は、何れかの作業オブジェクトが選択状態にあるときにアクティブになる。ユーザーが編集ボタン４０５を押すと、選択状態の作業オブジェクトに対する編集モード開始要求が発動される。この編集モード開始要求はステップＳ３０８で処理される。
【００２４】
作業オブジェクト作成ボタン４０６は、作業オブジェクトを作成する際に押されるボタンである。作業オブジェクト作成ボタン４０６は、既存のインデックス番号４０２に対応するセル４０４であって、タスクにおいてまだメタ情報が設定されていない作業種別に対応するセル４０４に配置される。図４では、インデックス番号４０２が「３」に対応するセル４０４であって、「Ｓ取付」に対応するセル４０４が、このようなセル４０４の一例である。また、作業オブジェクト作成ボタン４０６は、既存の最も大きいインデックス番号４０２よりも一つ大きいインデックス番号４０２に対応するセル４０４であって、タスクにおける各作業種別のそれぞれに対応するセル４０４にも配置される。図４では、インデックス番号４０２が「３」に対応するセル４０４であって、「Ｆ取付」、「Ｆ清掃」、「Ｇ調整」、および「Ｓ取付」に対応するセル４０４が、このようなセル４０４の一例である。
【００２５】
ユーザーが作業オブジェクト作成ボタン４０６を押すと、当該作業オブジェクト作成ボタン４０６が配置されているセル４０４に対応する作業種別の作業オブジェクトに対する新規の作業オブジェクト作成要求が発動される。この作業オブジェクト作成要求はステップＳ３０４で処理される。
また、ユーザーが保存ボタン４０７を押すと、メタ情報出力要求が発動される。このメタ情報出力要求はステップＳ３１３で処理される。ユーザーが終了ボタン４０８を押すと、終了要求が発動され、この終了要求はステップＳ３１５で処理される。尚、本実施形態において、一覧画面４０４の初期状態では、何れのセルにも作業オブジェクトは配置されていない。一覧画面４０４の初期状態では、インデックス番号４０２が「１」に対応するセルであって、各名称４０３（各作業種別）に対応する横並びの４つのセルが作業オブジェクト作成ボタン４０６として表示される。作業オブジェクト作成ボタン４０６が押されて後述するステップＳ３０５で作業オブジェクトが作成されると、作業オブジェクト作成ボタン４０６となっているセルが、作業オブジェクトが配置されたセル４０４に変更される。このようなセルの変更が繰り返されることにより、図４のような一覧画面４００になる。
【００２６】
（ステップＳ３０４）
ステップＳ３０４では、動画メタ情報記録装置１０１は、一覧画面４００においてユーザーによって作業オブジェクト作成ボタン４０６が押されることにより、作業オブジェクト作成要求が発動したか否かを判定する。この判定の結果、作業オブジェクト作成要求が発動している場合、処理はステップＳ３０５に進み、発動していない場合、処理はステップＳ３０６に進む。
【００２７】
（ステップＳ３０５）
ステップＳ３０５では、作業オブジェクト作成部２０２は、作業オブジェクトを作成する。前述したように本実施形態では、作業オブジェクトには、作業実施時刻情報および作業種別情報が含まれる。作業オブジェクト作成部２０２は、一覧画面４００においてユーザーが押した作業オブジェクト作成ボタン４０６が配置されているセル４０４が属する列に対して設定されている作業種別を、作業オブジェクトが保持する作業種別として決定する。以降、作業オブジェクト作成ボタン４０６が配置されているセル４０４を、必要に応じて、選択セルと称する。
【００２８】
また、作業オブジェクト作成部２０２は、選択セル４０４と同じ列において、選択セル４０４よりも上のセル４０４に、既存の作業オブジェクトが配置されている場合、直近の作業オブジェクトの作業終了時刻を、作業開始時刻の初期値として設定する。一方、選択セル４０４と同じ列において、選択セル４０４よりも上のセル４０４に、既存の作業オブジェクトが配置されていない場合、作業オブジェクト作成部２０２は、タスク反復動画の撮影開始時刻を、作業開始時刻の初期値として設定する。また、作業オブジェクト作成部２０２は、選択セル４０４が属する列に対して設定されている作業種別の標準的な作業継続時間を前記作業開始時刻の初期値に加えた時刻を、作業終了時刻の初期値として設定する。尚、選択セル４０４が属する列に対して設定されている作業種別の標準的な作業継続時間は、ステップＳ３０１で読み込まれた作業種別の標準的な作業継続時間の中から選択される。
【００２９】
以上のようにしてユーザーによって押された作業オブジェクト作成ボタン４０６について、作業開始時刻の初期値、作業終了時刻の初期値、および作業種別が得られると、次のステップＳ３０２において、作業オブジェクトの属性が導出される。また、ステップＳ３０３において、当該作業オブジェクト作成ボタン４０６は、作業オブジェクトが配置されたセル４０４になる。また、作業オブジェクトが配置されているセル４０４に対応するインデックス番号４０２のうち最も大きいインデックス番号４０２の次の行に、作業オブジェクト作成ボタン４０６が新たに配置される。
【００３０】
（ステップＳ３０６）
ステップＳ３０６では、動画メタ情報記録装置１０１は、一覧画面４００においてユーザーによって作業オブジェクトが配置されているセル４０４が押されることにより、作業オブジェクト選択要求が発動したか否かを判定する。この判定の結果、作業オブジェクト選択要求が発動している場合、処理はステップＳ３０７に進み、発動していない場合、処理はステップＳ３０８に進む。
【００３１】
（ステップＳ３０７）
ステップＳ３０７では、作業オブジェクト選択部２０６は、一覧画面４００においてユーザーが押したセル４０４に配置されている作業オブジェクトを選択状態にする。その際、既に選択状態の作業オブジェクトがある場合、作業オブジェクト選択部２０６は、当該作業オブジェクトの選択状態を解除する。
【００３２】
（ステップＳ３０８）
ステップＳ３０８では、動画メタ情報記録装置１０１は、一覧画面４００において作業オブジェクトが選択状態のときにユーザーによって編集ボタン４０５が押されることにより、メタ情報編集モード開始要求が発動したか否かを判定する。この判定の結果、メタ情報編集モード開始要求が発動している場合、処理はステップＳ３０９に進み、発動していない場合、処理はステップＳ３１３に進む。
【００３３】
ステップＳ３０９〜ステップＳ３１２は、メタ情報編集部２０７が現在選択状態の作業オブジェクトに対するメタ情報編集処理を行うステップである。
（ステップＳ３０９）
ステップＳ３０９では、メタ情報編集部２０７は、メタ情報編集画面を表示装置１０２に表示する。
【００３４】
図５は、本ステップで表示されるメタ情報編集画面５００の一例を示すである。
タイムライン表示部５０１は、選択状態の作業オブジェクトの作業開始時刻をユーザーが設定するためのＧＵＩである。タイムライン表示部５０２は、選択状態の作業オブジェクトの作業終了時刻を設定するためのＧＵＩである。タイムライン表示部５０１、５０２の横軸は時間を表す。帯５０３は、タスク反復動画が記録されている時間の範囲を表す。縦線５０４ａは、作業開始時刻を表し、縦線５０４ｂは作業終了時刻を表す。縦線５０４ａは、タイムライン表示部５０１の横軸の中央に描画され、縦線５０４ｂは、タイムライン表示部５０２の横軸の中央に描画される。
【００３５】
作業開始フレーム画像５０５は、タスク反復動画のフレームのうち、タスク反復動画の記録範囲を表す帯５０３上における、作業開始時刻を表す縦線５０４ａの位置で定まる時刻のフレームの画像である。作業終了フレーム画像５０６は、タスク反復動画のフレームのうち、タスク反復動画の記録範囲を表す帯５０３上における、作業終了時刻を表す縦線５０４ｂの位置で定まる時刻のフレームの画像である。ユーザーは、タイムライン上で帯５０３をマウスでドラッグすることで、横軸方向（水平方向）に帯５０３をスライドさせることができる。この操作によって、ユーザーは、帯５０３上における縦線５０４ａ、５０４ｂの位置で定まる時刻を調節することができる。ユーザーは、作業開始フレーム画像５０５および作業終了フレーム画像５０６を確認しながら、選択状態の作業オブジェクトの作業開始時刻および作業終了時刻を対話的に所望の状態に調節することができる。
【００３６】
ユーザーが決定ボタン５０７を押すと、メタ情報編集要求が発動される。メタ情報編集要求は、メタ情報編集画面５００において現在設定されている作業開始時刻および作業終了時刻を、編集中の作業オブジェクトが保持するメタ情報に反映させる要求である。このメタ情報編集要求は、ステップＳ３１０で処理される。ユーザーが削除ボタン５０８を押すと、メタ情報編集部２０７は、メタ情報を編集中の作業オブジェクトの選択状態を解除する。作業オブジェクト保持部２０３は、現在保持している作業オブジェクトから、当該編集中の作業オブジェクトを削除する。そして、メタ情報編集部２０７は、メタ情報編集モード終了要求を発動する。このメタ情報編集モード終了要求は、ステップＳ３１２で処理される。
また、ユーザーが終了ボタン５０９を押すと、メタ情報編集部２０７は、メタ情報編集モード終了要求を発動する。このメタ情報編集モード終了要求は、ステップＳ３１２で処理される。
【００３７】
（ステップＳ３１０）
ステップＳ３１０では、メタ情報編集部２０７は、メタ情報編集画面５００においてユーザーによって決定ボタン５０７が押されることにより、メタ情報編集要求が発動したか否かを判定する。この判定の結果、メタ情報編集要求が発動している場合、処理はステップＳ３１１に進み、発動していない場合、処理はステップＳ３１２に進む。
【００３８】
（ステップＳ３１１）
ステップＳ３１１では、メタ情報編集部２０７は、ユーザーがメタ情報編集画面５００に対して設定した内容で、作業オブジェクトが保持しているメタ情報を更新する。具体的に、メタ情報編集部２０７は、メタ情報編集画面５００でユーザーが設定した作業開始時刻および作業終了時刻に、作業オブジェクトのメタ情報に含まれる作業実施時刻情報を更新する。
【００３９】
（ステップＳ３１２）
ステップＳ３１２では、メタ情報編集部２０７は、メタ情報編集画面５００においてユーザーによって削除ボタン５０８または終了ボタン５０９が押されることにより、メタ情報編集モード終了要求が発動したか否かを判定する。この判定の結果、メタ情報編集モード終了要求が発動している場合、処理はステップＳ３１３に進み、発動していない場合、処理はステップＳ３０９に戻る。
【００４０】
（ステップＳ３１３）
ステップＳ３１３では、動画メタ情報記録装置１０１は、メタ情報出力要求が発動したか否かを判定する。即ち、動画メタ情報記録装置１０１は、一覧画面４００においてユーザーによって保存ボタン４０７が押されることにより、現在作業オブジェクト保持部２０３が保持している作業オブジェクトのメタ情報の出力要求が発動したか否かを判定する。この判定の結果、メタ情報出力要求が発動している場合、処理はステップＳ３１４に進み、発動していない場合、処理はステップＳ３１５に進む。
【００４１】
（ステップＳ３１４）
ステップＳ３１４では、メタ情報出力部２０８は、現在作業オブジェクト保持部２０３が保持している作業オブジェクトのメタ情報、具体的にはタスク反復動画に記録されている各作業の、作業開始時刻および作業終了時刻と作業種別とを、ファイルに出力する。
【００４２】
（ステップＳ３１５）
ステップＳ３１５では、動画メタ情報記録装置１０１は、一覧画面４００においてユーザーによって終了ボタン４０８が押されることにより、プログラムの終了要求が発動したか否かを判定する。この判定の結果、プログラムの終了要求が発動している場合、処理はステップＳ３１６に進み、発動していない場合、処理はステップＳ３０２に戻る。
【００４３】
（ステップＳ３１６）
ステップＳ３１６では、動画メタ情報記録装置１０１は、プログラムの終了処理をする。具体的に、動画メタ情報記録装置１０１は、タスクの定義情報や作業オブジェクトなど、プログラムの実行のために保持している情報を解放し、プログラムを停止する。
【００４４】
以上の処理を動画メタ情報記録装置１０１において実行することで、ユーザーは、一覧画面４００においてメタ情報の付与状況を把握しながら、タスク反復動画に記録されているタスクに属する作業オブジェクトのメタ情報を新規に作成することができる。また、ユーザーは、一覧画面４００においてメタ情報の付与状況を把握しながら、一覧画面４００の各セル４０４に配置されている作業オブジェクトからメタ情報を編集したい作業オブジェクトを選択し、メタ情報編集画面５００で編集することができる。こうすることでユーザーはタスク反復動画に対するメタ情報の付与を効率良く行うことができる。
【００４５】
本実施形態においては、タスク反復動画に付与するメタ情報の作業実施時刻情報として、作業開始時刻および作業終了時刻を例に挙げて説明したが、作業実施時刻情報は、作業の実施時刻に関する情報であればこれに限定されない。例えば、作業実施時刻情報として、単一の作業完了時刻を付与してもよい。この場合、ステップＳ３０２では、作業オブジェクト属性導出部２０４は、当該作業の作業完了時刻と、当該作業の一つ前の作業の作業完了時刻との間隔を、当該作業と当該作業の一つ前の作業との間隔として算出する。
【００４６】
また、ステップＳ３０３では、一覧画面生成部２０５は、作業オブジェクトを配置する行を決定する際に、作業オブジェクト保持部２０３により保持されている同じ作業種別の作業オブジェクトの各々が保持している作業完了時刻を参照する。そして、一覧画面生成部２０５は、当該各々の作業オブジェクトに対して作業完了時刻が早いものから昇順にインデックス番号を振ることで当該各々の作業オブジェクトに対応するグリッド４０１の行を決定する。
【００４７】
また、ステップＳ３０５では、作業オブジェクト作成部２０２は、選択セル４０４と同じ列において、選択セル４０４よりも上のセル４０４に、既存の作業オブジェクトが配置されている場合、例えば、次のようにして、作業完了時刻の初期値を設定する。即ち、作業オブジェクト作成部２０２は、直近の作業オブジェクトの作業完了時刻に、選択セル４０４が属する列に対して設定されている作業種別の標準的な作業継続時間を加えた時刻を、作業完了時刻の初期値として設定する。一方、選択セル４０４と同じ列において、選択セル４０４よりも上のセル４０４に、既存の作業オブジェクトが配置されていない場合、作業オブジェクト作成部２０２は、次のようにして、作業完了時刻の初期値を設定する。即ち、作業オブジェクト作成部２０２は、タスク反復動画の撮影開始時刻に、選択セル４０４が属する列に対して設定されている作業種別の標準的な作業継続時間を加えた時刻を、作業完了時刻の初期値として設定する。
その他のステップにおいては作業終了時刻を作業完了時刻に読み替えて処理を行う。このようにすることでタスク反復動画に付与したいメタ情報における作業実施時刻情報が単一の時刻情報であってもメタ情報の付与作業を効率よく行うことができる。
【００４８】
また、本実施形態において、ステップＳ３０２では、作業オブジェクト属性導出部２０４は、作業の代表的なフレーム画像から作成したサムネイル画像、および、当該作業と当該作業の一つ前の作業の間隔を、作業オブジェクトの属性として算出する。しかしながら、作業オブジェクトの属性はこれらに限定されない。例えば、ユーザーがメタ情報を編集する作業において次に行うべき行動を判断する際の助けになる情報（メタ情報の編集の指針になる情報）であれば、作業オブジェクト属性導出部２０４は、他の情報を作業オブジェクトの属性として算出してもよい。
【００４９】
例えば、作業オブジェクト属性導出部２０４は、当該作業の継続時間が、当該作業の作業種別の標準的な作業時間に比べて長いか短いかを表す情報を、当該作業の作業オブジェクトの属性として算出してもよい。この場合、まず、作業オブジェクト属性導出部２０４は、作業オブジェクトが保持する作業開始時刻および作業終了時刻に基づいて当該作業の継続時間を算出する。そして、作業オブジェクト属性導出部２０４は、当該作業の継続時間を、当該作業の作業種別の標準的な作業継続時間で除することで、当該作業の継続時間の標準的な作業継続時間に対する比率を導出して保持する。尚、当該作業の作業種別の標準的な作業継続時間は、ステップＳ３０１で読み込んだ標準的な作業継続時間の中から選択される。
【００５０】
そして、ステップＳ３０３において、一覧画面生成部２０５は、当該作業の継続時間の標準的な作業継続時間に対する比率に応じて、当該作業の作業オブジェクトに対応するセル４０４の背景色の濃淡を決めて表示する。こうすることでユーザーは、一覧画面４００から各作業の継続時間の標準的な作業継続時間と比較した場合の長さを把握することができ、メタ情報を編集すべき作業オブジェクトを作業の継続時間の観点から判断することができる。
【００５１】
あるいは、作業オブジェクト属性導出部２０４は、或る作業の継続時間の、当該作業と同じ作業種別の全て作業の継続時間と比較した場合の統計値を算出してもよい。具体的に、作業オブジェクト属性導出部２０４は、全作業の継続時間の平均値および標準偏差を算出し、これらに基づいて、当該或る作業の継続時間に関する作業オブジェクトの属性を導出してもよい。例えば、作業オブジェクト属性導出部２０４は、当該或る作業の継続時間と当該平均値との差と、当該或る作業の継続時間の偏差値との少なくとも何れか一方を、当該作業の作業オブジェクトの属性としてもよい。こうすることでユーザーは、作業の標準的な継続時間を定義していなくてもメタ情報を編集すべき作業オブジェクトを作業継続時間の観点から判断することができる。
【００５２】
また、作業オブジェクトの属性に、ユーザーが自由に編集可能なフラグを含ませてもよい。例えば、まず、作業オブジェクト作成部２０２が、ユーザーからの指示に基づいて大まかにメタ情報（作業オブジェクト）を作成してタスク反復動画に付与する。その後、メタ情報編集部２０７が、作成したメタ情報をもう一度手直しすることで所望の詳細なメタ情報を作成してタスク反復動画に付与する。フラグは、初期状態では立てられており（オンされており）、詳細なメタ情報を設定したときに倒される（オフされる）。ステップＳ３０３において、一覧画面生成部２０５は、このフラグが立っている作業オブジェクトが配置されるセル４０４に、その旨が分かるような情報（例えば、その旨が分かるような図案のアイコン）を表示して、当該作業オブジェクトを装飾する。こうすることでメタ情報を付与する作業にあたりユーザーの記憶を補助することができる。
【００５３】
また、本実施形態において、ステップＳ３０３では、一覧画面生成部２０５は、作業オブジェクトの属性の値をセル４０４の濃淡に反映させることで作業オブジェクトを装飾して表示する。しかしながら、作業オブジェクトの装飾の仕方はこれに限定されない。例えば、作業オブジェクトの属性を一覧画面４００上でユーザーに効果的に提示できる表示形態であれば、一覧画面生成部２０５は、他の方法でセル４０４を装飾してもよい。例えば、作業オブジェクトの属性の値が数値であれば、一覧画面生成部２０５は、その数値を作業オブジェクトのサムネイル画像の脇に文字列として表示してもよい。また、一覧画面生成部２０５は、作業オブジェクトの属性の値が所定の値より大きい場合に、そのことに注意を促すような情報（例えば、そのことに注意を促すような図案のアイコン）を表示してもよい。こうすることで色の濃淡によって数値の大小を伝えるのが困難な場合であってもユーザーに作業オブジェクトの属性を伝えることができる。
【００５４】
また、本実施形態で導出される作業オブジェクトの属性は、一種類に限定されず複数種類の属性を算出してもよい。例えば、作業オブジェクト属性導出部２０４は、作業オブジェクトの属性として前述した「当該作業と当該作業の一つ前の作業との間隔」および「当該作業の継続時間の標準的な作業継続時間に対する比率」を両方とも算出して保持しておいてもよい。この場合、ステップＳ３０３では、一覧画面生成部２０５は、このようにして保持されている作業オブジェクトの属性のうち、どの属性を用いて作業オブジェクトを装飾するかをユーザーが選択するためのＧＵＩを一覧画面４００やその他の画面に表示する。一覧画面生成部２０５は、このＧＵＩを用いてユーザーにより選択された属性に基づいて作業オブジェクトを装飾する。あるいは、一覧画面生成部２０５は、「当該作業と当該作業の一つ前の作業との間隔」については、セル４０４の背景色の濃淡を変えることで装飾してもよい。また、一覧画面生成部２０５は、「当該作業の継続時間の標準的な作業継続時間に対する比率」については、所定の値より大きいときにその旨の注意を促すアイコンでセル４０４を装飾してもよい。こうすることでユーザーはより多様な指標に基づいてメタ情報を編集すべき作業オブジェクトを判断することができる。
【００５５】
また、図４に示した一覧画面４００は、一覧画面の一例に過ぎない。本実施形態では、第１の軸が各タスクに対応付けられ、第２の軸が各作業種別に対応付けられるグリッドのセルに作業オブジェクト保持部２０３で保持されている作業オブジェクトが配置され、一覧画面に各作業オブジェクトを選択する手段が提供されればよい。このように、グリッドの見栄えやボタンの位置、種類は必ずしも図４の通りでなくてもよい。例えば、グリッドの縦軸がタスクに属する作業種別を表し、横軸がタスク反復動画内におけるタスクの反復回数を表していてもよいし、一覧画面に他の機能を持つボタンが追加されていてもよい。
【００５６】
また、第１の軸、第２の軸には、それぞれ、タスクおよび作業の少なくとも何れか一方に基づいて定まる２つの指標のうちの、一方の指標、他方の指標が対応付けられていればよい。例えば、第１の軸が、各作業種別に対応付けられ、第２の軸が、当該作業種別の作業期間（例えば、前半の期間および後半の期間）に対応付けられてもよい。また、第１の軸が、各タスクに対応付けられ、第２の軸が、当該タスクの作業期間（例えば、前半の期間および後半の期間）に対応付けられてもよい。また、本実施形態のように、グリッド状に作業オブジェクトを配置すれば、タスク反復動画に対するメタ情報の付与状況をユーザーが容易に一覧することができるので好ましい。しかしながら、作業オブジェクトが配置される表示領域が他の表示領域と区別されるようになっていれば、必ずしも図４に示すようにしなくてもよい。例えば、図４において、一覧画面生成部２０５は、番号４０２および名称４０３の欄をなくした上で、各セル４０４に相当する表示領域を、その位置を変更することが可能な状態とする。一覧画面生成部２０５は、これらの表示領域のそれぞれに、当該表示領域に対応する、タスクの反復回数および作業種別の情報を表示し、各表示領域のレイアウトをユーザーによる操作に基づいて変更することができるようにしてもよい。また、３つ以上の指標に基づいて、各作業に対する表示領域を他の表示領域と区別して表示してもよい。
【００５７】
また、図５に示したメタ情報編集画面５００は、メタ情報編集画面の一例に過ぎない。本実施形態では、一覧画面で選択された作業オブジェクトの作業実施時刻情報を編集する機能が提供されればよい。このように、メタ情報編集画面の構成は必ずしも図５の通りでなくてもよい。例えば、タイムラインは、作業開始時刻を設定するためのタイムライン表示部５０１と、作業終了時刻を設定するためのタイムライン表示部５０２とに分かれていなくてもよい。この場合、例えば、単一のタイムラインで時刻を調節した後に、その時刻を作業開始時刻として記録するか、作業終了時刻として記録するかをユーザーが選択する手段を設ける。メタ情報編集部２０７は、タイムラインで調節された時刻と、ユーザーによる選択の結果とに基づいて、作業実施時刻情報を編集する。
【００５８】
また、時刻の調節は、タイムライン上でタスク反復動画の記録範囲を表す帯５０３をドラッグ操作することで行われる必要はない。例えば、帯５０３を１フレーム分（あるいは所定の複数のフレーム数分）順送りまたは逆送りするボタンを設けてもよい。この場合、メタ情報編集部２０７は、ユーザーによるこのボタンの操作に応じて、時刻を調節する。あるいは、メタ情報編集部２０７は、タイムラインを使って時刻を編集するのではなく、時系列に各フレームのサムネイル画像を並べてメタ情報編集画面に表示してもよい。この場合、ユーザーは、その中から所望の状態を表しているサムネイル画像を選択する。そして、メタ情報編集部２０７は、ユーザーによって選択されたサムネイル画像に対応するフレームの時刻に基づいて、作業開始時刻および作業終了時刻を設定する。
【００５９】
（第２の実施形態）
次に、第２の実施形態を説明する。本実施形態では、タスク反復動画に、作業のメタ情報として大まかな内容の情報が予め付与されている場合に、ユーザーが当該メタ情報を利用してより簡便に所望のメタ情報をタスク反復動画に付与する方法を説明する。このように本実施形態と第１の実施形態とは、メタ情報を作成する際の処理の一部が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００６０】
メタ情報として大まかな内容の情報が予め付与されたタスク反復動画は、例えば、以下のようにして作成される。まず、作業者は、反復してタスクを実行している最中に、作業開始時刻、作業終了時刻、および作業種別を表す音声コマンドを、カメラ１０５に具備されているマイクに入力する。情報処理装置は、マイクに入力された音声コマンドを音声認識処理によって認識し、認識した内容を示すメタ情報をタスク反復動画に付与する。情報処理装置は、動画メタ情報記録装置１０１であっても、カメラ１０５であっても、その他の装置であってもよい。
【００６１】
本実施形態では、動画メタ情報記録装置１０１は、タスク反復動画に予め付与されているメタ情報に基づいて初期の作業オブジェクトを作成し、初期の作業オブジェクトに基づいて一覧画面を描画する。そして、ユーザーは、その一覧画面を参照して大まかな内容のメタ情報を、メタ情報編集画面に対する操作を行って手直しする。そして、動画メタ情報記録装置１０１は、メタ情報編集画面に対する操作に応じて大まかな内容のメタ情報を変更して詳細なメタ情報を作成し、タスク反復動画に付与する。こうすることで、タスク反復動画に、大まかな内容のメタ情報が予め付与されている場合に、その情報を利用してより簡便にメタ情報を付与することができる。
【００６２】
本実施形態におけるシステムの外観は図１と同じである。動画メタ情報記録装置１０１の内部モジュール構成の一部および処理手順の一部が異なる。以降、動画メタ情報記録装置１０１の内部モジュール構成および処理手順において第１の実施形態と異なる箇所について説明する。
【００６３】
図６は、本実施形態の動画メタ情報記録装置１０１の内部モジュール構成の一例を示す図である。
タスク反復動画保持部２０１、作業オブジェクト保持部２０３、作業オブジェクト属性導出部２０４、一覧画面生成部２０５、作業オブジェクト選択部２０６、メタ情報編集部２０７、およびメタ情報出力部２０８は第１の実施形態で説明したものと同じである。表示装置１０２および入力装置１０３も第１の実施形態で説明したものと同じである。
【００６４】
メタ情報読取部６０１は、タスク反復動画保持部２０１により保持されている、メタ情報を付与する対象となるタスク反復動画のうち、ユーザーがメタ情報を付与したいものとして選択したタスク反復動画からメタ情報を読み取る。
作業オブジェクト作成部６０２は、第１の実施形態で説明した作業オブジェクト作成部２０２が持つ機能に加えて、メタ情報読取部６０１で読み取られたメタ情報を初期値として作業オブジェクトを作成する機能を持つ。
【００６５】
図７は、本実施形態の動画メタ情報記録装置１０１において行われる処理の一例を説明するフローチャートである。以降このフローチャートに沿ってそれぞれの処理の詳細な内容の一例を説明する。図７のステップＳ３０１〜Ｓ３１６は、第１の実施形態で説明した図３のステップＳ３０１〜Ｓ３１６において参照する作業オブジェクト作成部２０２を本実施形態の作業オブジェクト作成部６０２に置き換えたものであり、両者の処理内容は同じである。本実施形態の動画メタ情報記録装置１０１において行われる処理は、第１の実施形態の動画メタ情報記録装置１０１において行われる処理に対し、ステップＳ３０１とステップＳ３０２の間で、ステップＳ７０１、ステップＳ７０２を行う点が異なる。以降、本実施形態で追加されたステップＳ７０１、ステップＳ７０２の処理の一例について説明する。
【００６６】
（ステップＳ７０１）
ステップＳ７０１では、メタ情報読取部６０１は、タスク反復動画保持部２０１により保持されている、メタ情報を付与する対象となるタスク反復動画のうち、ユーザーがメタ情報を付与したいものとして選択したタスク反復動画からメタ情報を読み取る。ここで読み取られるメタ情報は、大まかな内容のメタ情報である。また、本実施形態では、ここで読み取られるメタ情報には、前述したように音声認識処理によりよって認識されたタスクに属する各作業の作業開始時刻、作業終了時刻および作業種別が含まれる。
【００６７】
（ステップＳ７０２）
ステップＳ７０２では、作業オブジェクト作成部６０２は、ステップＳ７０１で読み取られたメタ情報に基づいて、初期の作業オブジェクトを作成する。具体的に作業オブジェクト作成部６０２は、ステップＳ７０１で読み取られた各作業のメタ情報である作業開始時刻、作業終了時刻、および作業種別のグループについてそれぞれ一つの作業オブジェクトを作成する。
【００６８】
以上説明したように本実施形態では、タスク反復動画に予め付与されている大まかな内容のメタ情報を利用することでユーザーはより簡便にタスク反復動画に所望のメタ情報を付与することができる。
【００６９】
本実施形態において、ステップＳ７０１では、メタ情報読取部６０１は、タスク反復動画に予め付与されている大まかな内容のメタ情報として、作業開始時刻、作業終了時刻、および作業種別を読み取る。しかしながら、ステップＳ７０１でメタ情報読取部６０１が読み取るメタ情報は、この組み合わせに限らない。例えば、メタ情報の読み取り対象のタスク反復動画に、作業の区切りの時刻を示す作業区切り時刻情報のみがメタ情報として付与されている場合、メタ情報読取部６０１は、メタ情報として作業区切り時刻情報を読み取ってもよい。この場合、ステップＳ７０２では、作業オブジェクト作成部６０２は、作業区切り情報に基づいて、初期の作業オブジェクトを生成する。このとき作業オブジェクト作成部６０２は、「タスクにおける一番目の作業種別の作業開始時刻」、「一番目の作業種別の作業終了時刻および二番目の作業種別の作業開始時刻」を順に特定する。作業オブジェクト作成部６０２は、以降同様に「Ｎ−１番目の作業種別の作業終了時刻およびＮ番目の作業種別の作業開始時刻」、「Ｎ番目の作業種別の作業終了時刻」を順に特定する。この場合、「Ｎ−１番目の作業種別の作業終了時刻およびＮ番目の作業種別の作業開始時刻」は同じ時刻になる。
【００７０】
また、一覧画面には、選択状態の作業オブジェクトの作業種別を変更するためのＧＵＩを設ける。このようにすることで、作業区切り時刻情報に抜けがあるために初期の作業オブジェクトの作業種別が誤って設定されたとしてもユーザーが後から作業種別を修正できるようにする。以上により、タスク反復動画が、最終的に付与したいメタ情報よりも少ないセットの情報しか含んでいない場合でもその情報を利用して、ユーザーによるメタ情報の付与作業を簡便にすることができる。尚、作業区切り時刻情報のみが付与されているタスク反復動画は、例えば、次のようにして得られる。即ち、このようなタスク反復動画は、作業者が、反復してタスクを行いながら作業の区切りのタイミングでフットペダルを踏み、このフットペダルを踏んだタイミングを示す作業区切り情報をカメラ１０５に入力することにより得られる。この場合、カメラ１０５は、入力した情報に基づいて作業区切り時刻情報を生成してタスク反復動画に付与する。尚、作業区切り時刻情報の生成および付与は、カメラ１０５以外の装置（例えば、動画メタ情報記録装置１０１）で行われてもよい。
【００７１】
（第３の実施形態）
次に、第３の実施形態を説明する。本実施形態では、メタ情報を推定するプログラムを利用して半自動的にメタ情報を付与する方法説明する。このように本実施形態と第１、第２の実施形態とは、メタ情報を作成する際の処理の一部が主として異なる。従って、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図７に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００７２】
本実施形態では、動画メタ情報記録装置１０１は、タスク反復動画に基づいて、最初に大まかな内容のメタ情報を推定する処理を実行することで初期の作業オブジェクトを作成し、初期の作業オブジェクトに基づいて一覧画面を描画する。そして、ユーザーは、その一覧画面を参照して大まかな内容のメタ情報を、メタ情報編集画面に対する操作を行って手直しする。そして、動画メタ情報記録装置１０１は、メタ情報編集画面に対する操作に応じて大まかな内容のメタ情報を変更して詳細なメタ情報を作成し、タスク反復動画に付与する。こうすることで、タスク反復動画にメタ情報が予め付与されていない場合でも、タスク反復動画にメタ情報を簡便に付与することができる。
【００７３】
本実施形態におけるシステムの外観は図１と同じである。動画メタ情報記録装置１０１の内部モジュール構成の一部および処理手順の一部が異なる。以降、動画メタ情報記録装置１０１の内部モジュール構成および処理手順において第１の実施形態と異なる箇所について説明する。
【００７４】
図８は、本実施形態の動画メタ情報記録装置１０１の内部モジュール構成の一例を示す図である。
タスク反復動画保持部２０１、作業オブジェクト保持部２０３、作業オブジェクト属性導出部２０４、一覧画面生成部２０５、作業オブジェクト選択部２０６、メタ情報編集部２０７、およびメタ情報出力部２０８は第１の実施形態で説明したものと同じである。表示装置１０２および入力装置１０３も第１の実施形態で説明したものと同じである。
【００７５】
メタ情報推定部８０１は、タスク反復動画保持部２０１により保持されている、メタ情報を付与する対象となるタスク反復動画のうち、ユーザーがメタ情報を付与したいものとして選択したタスク反復動画から、例えば画像認識処理によってメタ情報を推定する。
作業オブジェクト作成部８０２は、第１の実施形態で説明した作業オブジェクト作成部２０２が持つ機能に加えて、メタ情報推定部８０１で推定されたメタ情報を初期値として作業オブジェクトを作成する機能を持つ。
【００７６】
図９は本実施形態の動画メタ情報記録装置１０１において行われる処理手順を表すフローチャートである。以降このフローチャートに沿ってそれぞれの処理の詳細な内容を説明する。図９のステップＳ３０１〜Ｓ３１６は、第１の実施形態で説明した図３のステップＳ３０１〜Ｓ３１６において参照する作業オブジェクト作成部２０２を本実施形態の作業オブジェクト作成部８０２に置き換えたものであり、両者の処理内容は同じである。本実施形態の動画メタ情報記録装置と、第１の実施形態に係る動画メタ情報記録装置とはステップＳ３０１とステップＳ３０２の間にステップＳ９０１、ステップＳ９０２を行う点で異なる。以降、本実施形態で追加されたステップＳ９０１、ステップＳ９０２について説明する。
【００７７】
（ステップＳ９０１）
ステップＳ９０１では、メタ情報推定部８０１は、タスク反復動画保持部２０１により保持されている、メタ情報を付与する対象となるタスク反復動画のうち、ユーザーがメタ情報を付与したいものとして選択したタスク反復動画からメタ情報を推定する。ここで推定するメタ情報には、大まかな内容のメタ情報であり、タスク反復動画に含まれる、反復して行われる各タスクに属する各作業の作業開始時刻、作業終了時刻および作業種別が含まれる。メタ情報推定部８０１は、例えば、次のようにしてメタ情報を推定することができる。即ち、メタ情報推定部８０１は、タスク反復動画に対して画像認識処理を行って、反復して行われる各タスクに属する各作業の内容を特定すると共に、各作業の開始のタイミングおよび終了のタイミングを特定する。そして、メタ情報推定部８０１は、特定した結果と、タスク反復動画の撮影時刻とに基づいて、各タスクに属する作業開始時刻、作業終了時刻、作業種別を推定する。
【００７８】
（ステップＳ９０２）
ステップＳ９０２では、作業オブジェクト作成部８０２は、ステップＳ９０１で推定されたメタ情報に基づいて、初期の作業オブジェクトを作成する。具体的に作業オブジェクト作成部８０２は、ステップＳ９０１で推定された各作業のメタ情報である作業開始時刻、作業終了時刻、および作業種別のグループについてそれぞれ一つの作業オブジェクトを作成する。
【００７９】
以上説明したように本実施形態では、タスク反復動画に含まれるタスクに属する各作業の大まかな内容のメタ情報を推定して自動設定することでユーザーはより簡便にタスク反復動画に所望のメタ情報を付与することができる。ここで、第２の実施形態と第３の実施形態とを組み合わせるようにしてもよい。即ち、例えば、動画メタ情報記録装置１０１は、タスク反復動画保持部２０１により保持されているタスク反復動画に、大まかな内容のメタ情報が付与されているか否かを判定する。この判定の結果、タスク反復動画保持部２０１により保持されているタスク反復動画のうち、大まかな内容のメタ情報が付与されているタスク反復動画については、第２の実施形態を適用する。一方、タスク反復動画保持部２０１により保持されているタスク反復動画のうち、大まかな内容のメタ情報が付与されているタスク反復動画については、第３の実施形態を適用する。このようにすれば、ユーザーはより一層簡便にタスク反復動画に所望のメタ情報を付与することができる。
【００８０】
尚、第１の実施形態で説明したように、各実施形態の動画メタ情報記録装置１０１は、ＰＣを用いて実現することができる。また、各実施形態のタスク反復動画保持部２０１は、例えば、ハードディスク装置を用いて構成される。動画メタ情報記録装置１０１においてタスク反復動画保持部２０１以外の各部の機能をＰＣのＣＰＵに実行させるためのコンピュータプログラムやデータをこのハードディスク装置に格納しておく。ＣＰＵは、ハードディスク装置に格納されているコンピュータプログラムやデータを適宜ＲＡＭ等のメモリにロードし、当該コンピュータプログラムやデータを用いて処理を実行できる。これにより、結果としてＰＣは、動画メタ情報記録装置１０１の機能を実現することができる。
【００８１】
また、各実施形態において、作業オブジェクトは、タスク反復動画において実施されている作業の作業実施時刻情報と作業種別情報とを含むメタ情報を保持する情報であればそのプログラム的な実装は問わない。例えば、前述したコンピュータプログラムによる処理によって、作業実施時刻情報と作業種別情報とをメモリ空間に連続して記録することで保持してもよい。また、作業実施時刻情報と作業種別情報とをメモリ上の別個のアドレスに記録し、それらのアドレスを管理することで作業オブジェクトを保持してもよい。あるいは作業実施時刻情報と作業種別情報とを別個のテーブルで同一のキーで保持しておき、作業オブジェクトをそのキーを管理することで保持してもよい。
また、各実施形態において、時刻情報は、メタ情報を付与する対象のタスク反復動画における時間的な位置を特定できる情報であればどのような情報でもよい。例えば、タイムスタンプでもよいし、タスク反復動画において定まる通しのフレーム番号でもよい。
【００８２】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００８３】
（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８４】
１０１：動画メタ情報記録装置、１０２：表示装置、１０３：入力装置、１０４：撮影外相物、１０５：カメラ、１０６：ストレージ
【図１】
2019159884.tif 000003
【図２】
2019159884.tif 000004
【図３】
2019159884.tif 000005
【図４】
2019159884.tif 000006
【図５】
2019159884.tif 000007
【図６】
2019159884.tif 000008
【図７】
2019159884.tif 000009
【図８】
2019159884.tif 000010
【図９】
2019159884.tif 000011