(57)【要約】【課題】  複数の定型作業で構成される作業工程を作業者が行っている様子を撮像した動画像の各フレームに対して定型作業に応じたラベルを付与するケースにおいて、同じラベルを付与するフレーム区間をユーザの要求に応じて調整可能な技術を提供すること。【解決手段】  複数の定型作業で構成される作業工程を行っている様子を撮像した動画像の各フレームには該フレームにおける定型作業に応じたラベルが付与されており、着目ラベルに対応する着目フレーム区間の長さに基づいて動画像の再生開始位置を決定する。動画像を再生開始位置から再生して表示する。動画像の再生位置をユーザ操作に応じて変更する。動画像の再生中にユーザにより入力された確定指示に応じて、着目フレーム区間の終端を確定する。【選択図】  図１
2020184225.tif 000002
【特許請求の範囲】
【請求項１】
複数の定型作業で構成される作業工程を行っている様子を撮像した動画像の各フレームには、該フレームにおける定型作業に応じたラベルが付与されており、着目ラベルに対応する着目フレーム区間の長さに基づいて前記動画像の再生開始位置を決定する決定手段と、
前記動画像を前記再生開始位置から再生して表示する表示制御手段と、
前記表示制御手段による動画像の再生位置をユーザ操作に応じて変更する変更手段と、
前記表示制御手段による動画像の再生中にユーザにより入力された確定指示に応じて、前記着目フレーム区間の終端を確定する確定手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記決定手段は、前記着目フレーム区間の長さと、前記着目ラベルに対応する定型作業の標準作業時間とその標準偏差とに基づく閾値と、の大小比較の結果に応じて前記再生開始位置を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記決定手段は、前記標準作業時間を該標準作業時間の標準偏差に基づいて増加させた時間を前記閾値として求めることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記決定手段は、前記着目フレーム区間の長さが閾値を上回る場合には、前記着目ラベルに対応する定型作業の標準作業時間に基づいて前記再生開始位置を決定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記決定手段は、前記着目フレーム区間の長さが閾値を上回らない場合には、前記着目フレーム区間の終端を前記再生開始位置として決定することを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
前記決定手段は、前記標準作業時間を該標準作業時間の標準偏差に基づいて減少させた時間を前記閾値として求めることを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記決定手段は、前記着目フレーム区間の長さが閾値を下回る場合には、前記着目ラベルに対応する定型作業の標準作業時間に基づいて前記再生開始位置を決定することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記決定手段は、前記着目フレーム区間の長さが閾値を下回らない場合には、前記着目フレーム区間の終端を前記再生開始位置として決定することを特徴とする請求項６または７に記載の情報処理装置。
【請求項９】
前記決定手段、前記表示制御手段、前記変更手段、前記確定手段は、前記確定手段により第１のラベルに対応するフレーム区間の終端を確定した後、該第１のフレーム区間の直後の、第２のラベルに対応するフレーム区間を前記着目フレーム区間とすることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
更に、
前記着目ラベルに対応するフレーム区間の終端のフレームの手本画像を表示する手段を備えることを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
【請求項１１】
更に、
前記確定手段により終端が確定されたそれぞれのフレーム区間のフレームのラベルを、前記複数の定型作業のそれぞれに対応するラベルのフレーム区間の先頭および終端を推定する学習モデルの教師データとして出力する出力手段を備えることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
【請求項１２】
複数の定型作業で構成される作業工程を行っている様子を撮像した動画像の各フレームには、該フレームにおける定型作業に応じたラベルが付与されており、第１のラベルに対応する第１のフレーム区間と第２のラベルに対応する第２のフレーム区間との間の作業間区間の長さに基づいて前記動画像の再生開始位置を決定する決定手段と、
前記動画像を前記再生開始位置から再生して表示する表示制御手段と、
前記表示制御手段による動画像の再生位置をユーザ操作に応じて変更する変更手段と、
前記表示制御手段による動画像の再生中にユーザにより入力された確定指示に応じて、前記第２のフレーム区間の先頭を確定する確定手段と
を備えることを特徴とする情報処理装置。
【請求項１３】
前記決定手段は、前記作業間区間の長さと、前記作業間区間の標準時間とその標準偏差とに基づく閾値と、の大小比較の結果に応じて前記再生開始位置を決定することを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記決定手段は、前記標準時間を該標準時間の標準偏差に基づいて増加させた時間を前記閾値として求めることを特徴とする請求項１３に記載の情報処理装置。
【請求項１５】
前記決定手段は、前記作業間区間の長さが閾値を上回る場合には、前記作業間区間の標準時間に基づいて前記再生開始位置を決定することを特徴とする請求項１４に記載の情報処理装置。
【請求項１６】
前記決定手段は、前記作業間区間の長さが閾値を上回らない場合には、前記第２のフレーム区間の先頭を前記再生開始位置として決定することを特徴とする請求項１４または１５に記載の情報処理装置。
【請求項１７】
前記決定手段は、前記標準時間を該標準時間の標準偏差に応じた時間に基づいて減少させた時間を前記閾値として求めることを特徴とする請求項１３に記載の情報処理装置。
【請求項１８】
前記決定手段は、前記作業間区間の長さが閾値を下回る場合には、前記作業間区間の標準時間に基づいて前記再生開始位置を決定することを特徴とする請求項１７に記載の情報処理装置。
【請求項１９】
前記決定手段は、前記作業間区間の長さが閾値を上回らない場合には、前記第２のフレーム区間の先頭を前記再生開始位置として決定することを特徴とする請求項１７または１８に記載の情報処理装置。
【請求項２０】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の決定手段が、複数の定型作業で構成される作業工程を行っている様子を撮像した動画像の各フレームには、該フレームにおける定型作業に応じたラベルが付与されており、着目ラベルに対応する着目フレーム区間の長さに基づいて前記動画像の再生開始位置を決定する決定工程と、
前記情報処理装置の表示制御手段が、前記動画像を前記再生開始位置から再生して表示する表示制御工程と、
前記情報処理装置の変更手段が、前記表示制御工程による動画像の再生位置をユーザ操作に応じて変更する変更工程と、
前記情報処理装置の確定手段が、前記表示制御工程による動画像の再生中にユーザにより入力された確定指示に応じて、前記着目フレーム区間の終端を確定する確定工程と
を備えることを特徴とする情報処理方法。
【請求項２１】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の決定手段が、複数の定型作業で構成される作業工程を行っている様子を撮像した動画像の各フレームには、該フレームにおける定型作業に応じたラベルが付与されており、第１のラベルに対応する第１のフレーム区間と第２のラベルに対応する第２のフレーム区間との間の作業間区間の長さに基づいて前記動画像の再生開始位置を決定する決定工程と、
前記情報処理装置の表示制御手段が、前記動画像を前記再生開始位置から再生して表示する表示制御工程と、
前記情報処理装置の変更手段が、前記表示制御工程による動画像の再生位置をユーザ操作に応じて変更する変更工程と、
前記情報処理装置の確定手段が、前記表示制御工程による動画像の再生中にユーザにより入力された確定指示に応じて、前記第２のフレーム区間の先頭を確定する確定工程と
を備えることを特徴とする情報処理方法。
【請求項２２】
コンピュータを、請求項１乃至１９の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像における各フレームに対するラベルを決定するための技術に関するものである。
【背景技術】
【０００２】
近年、産業用に様々な機械学習技術を用いた動画像認識システムが提案されている。例えば、工場における生産性の向上のためには、各作業者が担当する作業工程において、一連の定型作業毎の作業時間や作業抜けの状況といった計測可能な量を定量的に把握することが重要であるが、人手で計測しようとすると多くの工数を要する。そのような場面において、機械学習を用いて動画像から作業者の作業状況を自動的に計測するような技術が知られている。
【０００３】
一般に、機械学習システムを用いて精度良く解析するためには、大量の教師データを予め用意し、学習モデルを生成する必要がある。機械学習システムは、このように生成した学習モデルを用いて新規のデータに対する予測や分類を行う。
【０００４】
動画像認識用の教師データを用意する際には、動画像のフレーム毎の静止画像に対してラベル付けを行う必要がある。上記の工場の例では、作業者が部品Ａにねじを取り付ける作業はラベル１、部品Ｂにグリスを塗る作業はラベル２、というように一連の定型作業とラベルを対応付けてラベル付けを行う。さらに、上記の工場の例のように、定型作業の作業時間を計測するような機械学習システムを想定した場合は、動画像に対してラベルの開始フレームと終了フレームを厳密に定めて、その区間内のフレームに同一のラベルを付与する必要がある。
【０００５】
多くの場合、動画像のラベル付けでは、ユーザがユーザインタフェースを通して動画像の再生と巻き戻しを繰り返し、目視で状況を判断しながら静止画像に対してラベル付けを行うことになるため、多大な労力がかかる。そのため、動画像に対するラベル付けの効率的な手法、また、ラベルの時間的な区間を計測することを想定したラベル付けを効率化する手法が望まれている。
【０００６】
従来の動画像の教師データを作成するための方法として、次のような方法がある。特許文献１では、動画像を含む時系列データから特定の基準に基づいて教師データの候補となる時系列的に連続な画像群を抽出し、抽出した画像群に対してユーザが一括してラベル付けを行う。これにより、画像１枚１枚に対してラベル付けを行わずに済む。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2016-76073号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の方法は、動画像から抽出した時系列的に連続した画像群に対するラベル付けを効率良く行うものではあるものの、ラベルの開始と終了の区間を厳密に定めた教師データが必要とされる場面を想定していない。つまり、上記の工場の例で挙げた作業時間の計測のように、ラベルの開始と終了の厳密な区間が必要となる教師データの作成に対応できない。
【０００９】
本発明では、複数の定型作業で構成される作業工程を作業者が行っている様子を撮像した動画像の各フレームに対して定型作業に応じたラベルを付与するケースにおいて、同じラベルを付与するフレーム区間をユーザの要求に応じて調整可能な技術を提供する。
【課題を解決するための手段】
【００１０】
本発明の一様態は、複数の定型作業で構成される作業工程を行っている様子を撮像した動画像の各フレームには、該フレームにおける定型作業に応じたラベルが付与されており、着目ラベルに対応する着目フレーム区間の長さに基づいて前記動画像の再生開始位置を決定する決定手段と、前記動画像を前記再生開始位置から再生して表示する表示制御手段と、前記表示制御手段による動画像の再生位置をユーザ操作に応じて変更する変更手段と、前記表示制御手段による動画像の再生中にユーザにより入力された確定指示に応じて、前記着目フレーム区間の終端を確定する確定手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の定型作業で構成される作業工程を作業者が行っている様子を撮像した動画像の各フレームに対して定型作業に応じたラベルを付与するケースにおいて、同じラベルを付与するフレーム区間をユーザの要求に応じて調整することができる。
【図面の簡単な説明】
【００１２】
【図１】システムの構成例を示すブロック図。
【図２】ラベルデータの生成処理のフローチャート。
【図３】３つの定型作業で構成される作業工程を説明する図。
【図４】仮ラベルデータの具体例を説明する図。
【図５】ＵＩの一例を示す図。
【図６】領域５１３のタイムラインの遷移の様子を示す図。
【図７】領域５１３の遷移の様子を示す図。
【図８】３つの定型作業で構成される作業工程を説明する図。
【図９】仮ラベルデータの具体例を説明する図。
【図１０】ＵＩの一例を示す図。
【図１１】領域１０１３のタイムラインの遷移の様子を示す図。
【図１２】領域１０１３のタイムラインの遷移の様子を示す図。
【図１３】領域１０１３の遷移の様子を示す図。
【図１４】ＵＩ表示部１０８の構成例を示す図。
【図１５】コンピュータ装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１４】
［第１の実施形態］
先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、サーバ１１１と、情報処理装置１０１と、を有し、サーバ１１１と情報処理装置１０１とは有線および／または無線のネットワークを介して互いにデータ通信が可能なように構成されている。
【００１５】
先ず、サーバ１１１について説明する。サーバ１１１は、複数の定型作業で構成される作業工程を作業者が行っている様子を撮像した動画像を保持しており、該動画像を情報処理装置１０１に対して送信する。
【００１６】
次に、情報処理装置１０１について説明する。情報処理装置１０１は、ＰＣ（パーソナルコンピュータ）、タブレット型端末装置、スマートフォンなどのコンピュータ装置である。
【００１７】
保持部１０２は、サーバ１１１から送信された動画像を保持する。なお、本実施形態では動画像をサーバ１１１から取得するものとして説明するが、動画像の取得元はサーバ１１１に限らない。例えば、保持部１０２は、情報処理装置１０１が有するメモリから動画像を取得しても良い。また、サーバ１１１を情報処理装置１０１に組み込み、保持部１０２は、情報処理装置１０１に組み込まれたサーバ１１１から動画像を取得するようにしても良い。
【００１８】
保持部１０３は、本システムを利用する前に別の教師データを用いて生成された学習モデルを保持している。学習モデルは、動画像における各フレームに該フレームにおける定型作業に応じたラベルを付与する場合に、同じラベルを付与するフレーム区間の先頭および終端を推定することが可能な機械学習アルゴリズムによって生成されるものとする。また、学習モデルの生成に使用する機械学習アルゴリズムは、一つの機械学習アルゴリズムに限定せず、複数の機械学習アルゴリズムの組み合わせでも良い。例えば、フレーム単位でラベルを付与する機械学習アルゴリズムと、フレーム単位で付与されたラベルの時系列データを入力とした作業単位でラベルを付与する機械学習アルゴリズムの組み合わせを用いても良い。この場合、ラベルとその開始と終了の区間を推定することができる。
【００１９】
付与部１０４は、保持部１０２が保持する動画像の各フレーム（静止画像）に対し、保持部１０３が保持する学習モデルを適用する。これにより付与部１０４は、動画像の各フレームに対し、該フレーム写っている定型作業に対応するラベルを推測し、該フレームに該推測したラベルを「仮ラベル」として付与する。
【００２０】
保持部１０５は、同じ仮ラベルを付与した連続フレームの区間（仮ラベル区間）ごとに、該仮ラベル区間の先頭（フレーム位置）、終端（フレーム位置）、該仮ラベル区間の仮ラベル、のセットが登録された仮ラベルデータを保持する。
【００２１】
保持部１０６は、上記の作業工程に関する情報を保持する。作業工程に関する情報には、該作業工程に含まれるそれぞれの定型作業の実施順序（つまり対応するラベルの順序）、該定型作業の実施に想定される時間である想定実行時間（標準作業時間）、該想定実行時間（標準作業時間）の標準偏差、が含まれている。
【００２２】
判定部１０７は、保持部１０５が保持している仮ラベルデータを用いて、仮ラベル区間ごとに、該仮ラベル区間の長さ（時間）が妥当であるか否かを判定する。仮ラベル区間の長さ（時間）が妥当であるか否かは、例えば、仮ラベル区間の長さ（時間）が、保持部１０６が保持する標準作業時間および標準偏差に基づく閾値を上回る／下回るか否か（大小比較）に応じて判定する。そして判定部１０７は、この判定の結果に応じて、仮ラベル区間の終端をユーザに確定させるために動画像を再生する際の再生開始位置を決定する。
【００２３】
ＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ：ユーザインターフェース）表示部１０８は、仮ラベル区間の終端を確定するためのユーザ操作を受け付けるＵＩを表示する。このＵＩにより終端が確定した仮ラベル区間は、同じラベルが連続して付与されるフレーム区間であって、ユーザの確認を経て先頭及び終端が確定したフレーム区間（ラベル区間）となる。ＵＩ表示部１０８は図１４に示す如く、スキップ表示部１４０２、コントロール部１４０３、ラベル付け部１４０４、を含むＵＩを表示する。
【００２４】
スキップ表示部１４０２は、判定部１０７が決定した再生開始位置までスキップして動画像を再生して表示する。コントロール部１４０３は、動画像の再生をユーザ操作に応じて制御（表示制御）する。ラベル付け部１４０４は、ラベル区間の設定をユーザ操作に応じて制御する。
【００２５】
保持部１０９は、ラベルごとに、該ラベルを付与するフレーム区間の先頭若しくは後端のフレームの手本となる画像を手本画像として保持する。この手本画像は上記のＵＩに表示される。
【００２６】
保持部１１０は、ユーザが上記のＵＩを操作して終端が確定した仮ラベル区間（つまりラベル区間）ごとに、先頭（フレーム位置）、終端（フレーム位置）、該仮ラベル区間に対応するラベル、のセットが登録されたラベルデータを保持する。そして保持部１１０は、この保持しているラベルデータを必要に応じて出力する。このラベルデータは、例えば、教師データとして学習モデルに与えて機械学習アルゴリズムに従って学習させることにより、学習モデルの精度を向上させることができる。
【００２７】
制御部１９８は、情報処理装置１０１全体の動作制御を行うと共に、情報処理装置１０１が行うものとして説明する各処理を実行若しくは制御する。操作部１９９は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示を情報処理装置１０１に対して入力することができる。ユーザは操作部１９９を操作することで上記のＵＩに対して各種の指示を入力することができる。
【００２８】
次に、情報処理装置１０１によるラベルデータの生成処理について、図２のフローチャートに従って説明する。ステップＳ２０１では、保持部１０２は、複数の定型作業で構成される作業工程を行っている様子を撮像した動画像をサーバ１１１から取得し、該取得した動画像を保持する。そして付与部１０４は、保持部１０２が保持する動画像の各フレームに対して、保持部１０３が保持する学習モデルを適用することで、該フレームに写っている定型作業に対応するラベルを推測し、該フレームに該推測したラベルを「仮ラベル」として付与する。そして付与部１０４は、動画像において連続して同じ仮ラベルを付与したフレーム区間（仮ラベル区間）ごとに、該仮ラベル区間の先頭、終端、該仮ラベル区間の仮ラベル、のセットが登録された仮ラベルデータを生成する。そして付与部１０４は、該生成した仮ラベルデータを保持部１０５に格納する。
【００２９】
ステップＳ２０２では、判定部１０７は、仮ラベルデータに登録されているセット群のうち未選択のセットを対象とし、該対象のうち時系列順において最も過去のセットを選択セットとして選択する。
【００３０】
ステップＳ２０３では、判定部１０７は、選択セットに対応する仮ラベル区間の長さ（時間）が妥当であるか否かを判定する。仮ラベル区間の長さ（時間）が妥当であるか否かの判定方法には様々な方法があり、特定の方法に限らない。以下に幾つかの判定方法の一例を示す。
【００３１】
＜判定方法１＞
判定部１０７は、保持部１０６が保持する「作業工程に関する情報」から、選択セットに対応する仮ラベル区間に対応する標準作業時間、該標準作業時間の標準偏差、を取得する。そして判定部１０７は、標準作業時間に「標準偏差に一定の倍率（例えば２）を乗じた時間」を加えた時間を閾値として求める。この閾値は、標準作業時間を標準偏差に基づいて増加させた時間の一例である。
【００３２】
そして判定部１０７は、選択セットに含まれている終端と先頭との差分を「選択セットに対応する仮ラベル区間の長さ（時間）」として求め、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を上回っているか否かを判定する。この判定の結果、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を上回っている場合には、「選択セットに対応する仮ラベル区間の長さ（時間）」は妥当ではないと判定する。一方、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を上回っていない場合には、「選択セットに対応する仮ラベル区間の長さ（時間）」は妥当であると判定する。
【００３３】
＜判定方法２＞
判定部１０７は、保持部１０６が保持する「作業工程に関する情報」から、選択セットに対応する仮ラベル区間に対応する標準作業時間、該標準作業時間の標準偏差、を取得する。そして判定部１０７は、標準作業時間から「標準偏差に一定の倍率（例えば２）を乗じた時間」を減じた時間を閾値として求める。この閾値は、標準作業時間を標準偏差に基づいて減少させた時間の一例である。
【００３４】
そして判定部１０７は、選択セットに含まれている終端と先頭との差分を「選択セットに対応する仮ラベル区間の長さ（時間）」として求め、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を下回っているか否かを判定する。この判定の結果、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を下回っている場合には、「選択セットに対応する仮ラベル区間の長さ（時間）」は妥当ではないと判定する。一方、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を下回っていない場合には、「選択セットに対応する仮ラベル区間の長さ（時間）」は妥当であると判定する。
【００３５】
＜判定方法３＞
判定部１０７は、保持部１０６が保持する「作業工程に関する情報」から、選択セットに対応する仮ラベル区間に対応する標準作業時間を取得する。そして判定部１０７は、標準作業時間に一定の倍率（例えば２）を乗じた時間を閾値として求める。そして判定部１０７は、選択セットに含まれている終端と先頭との差分を「選択セットに対応する仮ラベル区間の長さ（時間）」として求め、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を上回っているか否かを判定する。この判定の結果、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を上回っている場合には、「選択セットに対応する仮ラベル区間の長さ（時間）」は妥当ではないと判定する。一方、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を上回っていない場合には、「選択セットに対応する仮ラベル区間の長さ（時間）」は妥当であると判定する。
【００３６】
＜判定方法４＞
判定部１０７は、保持部１０６が保持する「作業工程に関する情報」から、選択セットに対応する仮ラベル区間に対応する標準作業時間を取得する。そして判定部１０７は、標準作業時間を一定の倍率（例えば２）で除した時間を閾値として求める。そして判定部１０７は、選択セットに含まれている終端と先頭との差分を「選択セットに対応する仮ラベル区間の長さ（時間）」として求め、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を下回っているか否かを判定する。この判定の結果、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を下回っている場合には、「選択セットに対応する仮ラベル区間の長さ（時間）」は妥当ではないと判定する。一方、「選択セットに対応する仮ラベル区間の長さ（時間）」が閾値を下回っていない場合には、「選択セットに対応する仮ラベル区間の長さ（時間）」は妥当であると判定する。
【００３７】
なお、上記の判定方法１〜４の何れか１つのみを用いて判定を行っても良いし、上記の判定方法１〜４のうちの２つ以上を用いて判定を行っても良い。そして、このような判定の結果、「選択セットに対応する仮ラベル区間の長さ（時間）」は妥当であると判定された場合には、処理はステップＳ２０４に進み、妥当ではないと判定された場合には、処理はステップＳ２０５に進む。
【００３８】
ステップＳ２０４では、判定部１０７は、選択セットに対応する仮ラベル区間の終端を再生開始位置として決定する。一方、ステップＳ２０５では判定部１０７は、次のようにして再生開始位置を決定する。判定部１０７は、前回選択した選択セットについて確定したラベル区間の終端に「今回選択した選択セットに対応する仮ラベル区間に対応する標準作業時間」を加えた位置を再生開始位置とする。なお、１回目のステップＳ２０５の場合、判定部１０７は、選択セットに対応する仮ラベル区間の先頭に「選択セットに対応する仮ラベル区間に対応する標準作業時間」を加えた位置を再生開始位置として決定する。
【００３９】
ステップＳ２０６ではＵＩ表示部１０８は、ステップＳ２０４又はステップＳ２０５で決定した再生開始位置におけるフレームをＵＩ上で表示すると共に、選択セットに含まれている仮ラベルに対応する手本画像を保持部１０９から取得してＵＩ上で表示する。
【００４０】
ステップＳ２０７では、ＵＩ表示部１０８は、操作部１９９に対するユーザ操作に応じて動画像を再生開始位置から再生してＵＩ上に表示する。ユーザはＵＩに表示されている手本画像を参考にし、該手本画像と同様のフレームが表示されると、該フレームが選択セットに対応する仮ラベル区間の終端としてふさわしい位置と判断して、確定指示を操作部１９９を用いて入力する。この確定指示を受け、制御部１９８は、このとき再生していたフレームの位置を選択セットに対応する仮ラベル区間の終端として確定する。そして制御部１９８は、選択セットに含まれている終端を、該確定した終端に更新し、該更新後の選択セットを保持部１１０に格納する。また制御部１９８は、選択セットの次に選択する次選択セットに含まれている先頭を、該確定した（終端＋１）に更新し、該更新後の次選択セットを保持部１１０に格納する。つまり、更新後の選択セットに含まれている先頭から、更新後の選択セットに含まれている終端までの区間が、選択セットに対応するラベル区間となる。
【００４１】
ステップＳ２０２〜Ｓ２０７の処理は、仮ラベルデータに含まれているそれぞれのセットについて行われ、その結果、保持部１１０には、確定したセット群（つまり確定したラベル区間群）がラベルデータとして格納される。
【００４２】
次に、本実施形態の具体例として、図３に示す３つの定型作業で構成される作業工程を繰り返し行っている様子を撮像した動画像に対するラベルデータの生成処理について説明する。
【００４３】
図３（ａ）において横軸は時間軸で左から右に時間が経過していることを示している。そして図３（ａ）では、ラベル名が作業１の定型作業３０１、ラベル名が作業２の定型作業３０２、ラベル名が作業３の定型作業３０３、の順に連続して作業者により実行されるものとしている。このとき、保持部１０６には図３（ｂ）に示す如く、ラベル名が作業１〜作業３のそれぞれの定型作業について、該ラベル名、想定実行時間（標準作業時間）、該想定実行時間（標準作業時間）の標準偏差、が登録されている。以下では、作業工程の１単位（定型作業３０１〜３０３）を１サイクルと称する。作業者はこのサイクルを繰り返し実行する。
【００４４】
上記の作業工程の２サイクル分の動画像に対する仮ラベルデータの具体例を図４に示す。図４（ａ）では定型作業４０１、定型作業４０２、定型作業４０３、定型作業４０４、定型作業４０５、定型作業４０６が順に行われている。定型作業４０１の仮ラベル名は作業１、定型作業４０２の仮ラベル名は作業２、定型作業４０３の仮ラベル名は作業３、定型作業４０４の仮ラベル名は作業１、定型作業４０５の仮ラベル名は作業２、定型作業４０６の仮ラベル名は作業３である。このような動画像の場合、付与部１０４は定型作業４０１〜４０６のそれぞれについて、仮ラベル名、該定型作業の仮ラベル区間の先頭（開始フレーム）および終端（終了フレーム）のセットが登録された仮ラベルデータ（図４（ｂ））を保持部１０５に格納する。
【００４５】
上記の作業工程についてＵＩ表示部１０８が表示するＵＩの一例を図５に示す。ユーザは操作部１９９を操作して図５のＵＩ５０１を操作する。本実施形態では、作業工程における１番目の作業である定型作業４０１の先頭を確定した後は、定型作業４０１〜４０６のそれぞれの終端を順に確定していく。定型作業４０１の先頭は、学習モデルが認識したシーンの先頭であっても良いし、ユーザ操作に応じて指定された先頭であっても良い。図５では、これから定型作業４０４（着目ラベルに対応する定型作業）の終端を確定する場面を示している。
【００４６】
図５のＵＩ５０１において、領域５０２には再生開始位置（定型作業４０６の仮ラベル区間（着目ラベルに対応する着目フレーム区間）についてステップＳ２０４若しくはステップＳ２０５で決定された再生開始位置）におけるフレームが表示される。また、領域５０３には、定型作業４０６の終端に対応する手本画像が表示される。
【００４７】
ユーザがボタン５０６を指示すると、再生開始位置以降の各フレームが順に領域５０２に再生（表示）され、再生中に再度ボタン５０６を指示すると再生が一時停止される。また、ユーザがボタン５０５を指示すると、ボタン５０６を指示したときの再生方向とは逆の方向に再生（逆再生）され、逆再生中に再度ボタン５０５を指示すると逆再生が一時停止される。また、逆再生が一時停止している状態でユーザがボタン５０７を指示する度に再生位置が１フレームずつ逆再生方向に移動する。一方、再生が一時停止している状態でユーザがボタン５０８を指示する度に再生位置が１フレームずつ再生方向に移動する。ボタン５０５〜５０８を含む操作部５０４は上記のコントロール部１４０３に対応する。
【００４８】
ユーザは領域５０２に表示されるフレームと、領域５０３に表示される手本画像と、を見比べながら上記のボタン５０５〜５０８を適宜操作して定型作業４０６に対応する終端を探す。そして領域５０２に、定型作業４０６に対応する終端のフレームにふさわしいフレームが表示されたとユーザが判断すると、ユーザはボタン（ラベル設定ボタン）５１０を指示する。ボタン５１０が指示されると、定型作業４０６に対応するセットに含まれている終端は、領域５０２に表示中のフレームの位置Ｆに更新されて保持部１１０に格納される。さらに、定型作業４０６の次の定型作業に対応するセットに含まれている先頭は、（Ｆ＋１）に更新されて保持部１１０に格納される。
【００４９】
なお、ユーザはボタン５１０を指示した後でボタン５１１を指示すると、先のボタン５１０を指示したことで行われた処理は取り消され、ボタン５１０の指示前の状態に戻る。また、ユーザがボタン５１２を指示すると、定型作業４０６に対応する仮ラベルは「例外を示すラベル」の候補に設定され、その後、ユーザがボタン５１０を指示すると、定型作業４０６に対応する仮ラベルは「例外を示すラベル」に更新される。ボタン５１０〜５１２を含む操作部５０９は上記のラベル付け部１４０４に対応する。
【００５０】
領域５１３には、図４（ｂ）に示した定型作業４０１〜４０６のそれぞれの仮ラベルに対応する矩形が順に並べられたタイムラインが表示される。図５の例では、ラベル区間が確定した定型作業４０３〜４０５のそれぞれに対する矩形５１４〜５１６が実線で表示されている。その次の作業４については、まだラベル区間が確定していないことから、対応する矩形５１７が点線で表示されている。線分５１８は、領域５０２に表示されているフレームの位置を示す。領域５０２および領域５１３は上記のスキップ表示部１４０２に対応する。
【００５１】
図６は、定型作業の終端の確定時における、領域５１３のタイムラインの遷移の様子を示している。定型作業４０６に対応する終端のフレームにふさわしいフレームが領域５０２に表示されたとユーザが判断してボタン５１０を指示すると、領域５１３の表示は図６の上側から下側に遷移する。図６の上側に示す如く、終端が未確定の定型作業４０６に対応する矩形６０１は点線で表示されていたものの、終端が確定すると図６の下側に示す如く実線の矩形６０２として表示される。また、タイムラインは左側にシフトし、次の定型作業に対応する矩形６０３が点線で表示される。さらに領域５０２には、定型作業４０６の次の定型作業の仮ラベル区間についてステップＳ２０４若しくはステップＳ２０５で決定した再生開始位置におけるフレームが表示される。
【００５２】
また、作業者の何らかの例外的な行動により定型作業４０６に対応する終端が見つからない場合、例えば、作業者が作業工程内の定型作業とは異なる動作（例えば、離席や作業中断等）をしている場合、定型作業４０６に対応する終端は見つけがたい。このような場合、ユーザはボタン５１２を指示することで、定型作業４０６に対応する仮ラベルを「例外を示すラベル」の候補に設定することができる。
【００５３】
図７は、定型作業４０６に対応する仮ラベルを「例外を示すラベル」に更新する際の、領域５１３の遷移の様子を示している。ユーザが定型作業４０６に対応する終端は見つけがたいと判断してボタン５１２を指示すると、領域５１３は図７の上段から中段に遷移する。図７の中段では、図７の上段に示した定型作業４０６に対応する矩形７０１が実線で囲まれたグレーの矩形７０２として表示されると共に、次の定型作業に対応する矩形７０３が点線で表示される。また、領域５０２には、次の定型作業に対応する先頭のフレームが表示される。この状態でユーザがボタン５１０を指示すると、領域５１３は図７の中段から下段に遷移する。図７の下段では、タイムラインは左側にシフトされ、領域５０２には、定型作業４０６の次の定型作業の仮ラベル区間についてステップＳ２０４若しくはステップＳ２０５で決定した再生開始位置におけるフレームが表示される。
【００５４】
ユーザは上記のような手順を繰り返すことで、作業の厳密な区間を含めたラベル付けを、動画像の終了或いは必要な教師データの分だけ行うことができる。このように、本実施形態によれば、一連の定型作業の動画像に対するラベル付けにおいて、事前にラベル付けをほぼ自動化した上で、ユーザは大半の操作として仮ラベルの区間の調整のみ行うため、ユーザインタフェース上の操作が絞られ、作業効率が向上する。また、動画像はラベルの区間を確定した際に、次の仮ラベルの区間の終了フレームの候補までスキップするため、動画像を再生する際の待機時間や目視による状況確認の時間が減少し、ラベル付けの作業効率が向上する。
【００５５】
なお、本実施形態では、保持部１０２，１０３，１０５，１０６，１０９，１１０は何れも情報処理装置１０１が有するものとして説明した。しかし、保持部１０２，１０３，１０５，１０６，１０９，１１０のうち１つ以上を、情報処理装置１０１が通信可能な外部装置が有するようにしても良い。また、保持部１０２，１０３，１０５，１０６，１０９，１１０のうち２つ以上を１つの保持部としてもよいし、１つの保持部を２つ以上の保持部に分けても良い。
【００５６】
また、ＵＩの構成は図５に示した構成に限らず、その操作方法や表示情報の内容、レイアウト、各種の情報の表示タイミング、などについては上記の説明に限らない。例えば、動画像の再生に関する機能（再生速度の変更など）をユーザが操作するための操作部を更に加えても良いし、図５のＵＩが有する幾つかの機能のうち１つ以上を省略しても良い。
【００５７】
また、ＵＩに対する操作入力は操作部１９９を用いて行うものとしたが、ＵＩ表示部１０８がタッチパネル画面を有する装置であれば、ＵＩに対する操作は、このタッチパネル画面を介して行っても良い。
【００５８】
［第２の実施形態］
以下では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態では、隣接する定型作業の間（以下、作業間と称する）に、時間的な間隙がある場合の事例を述べる。第１の実施形態においては、定型作業間に時間的な間隙がないようなラベル付けを想定した。しかし、定型作業の開始と終了の定義を決める際に、必ずしも定型作業の終了直後が次の定型作業の開始になるとは限らない。例えば、定型作業１の終了を特定の道具を置いたときと定義し、次の定型作業２の開始をある部品を手に取ったときと定義した場合、道具を置いてから部品を手に取るまでに、どの定型作業に属さない時間的な間隙が生じる。
【００５９】
第１の実施形態では、１番目の仮ラベル区間の先頭を確定した後は、以降の仮ラベル区間の終端を順に確定するものであった。本実施形態では、１番目の仮ラベル区間の先頭を確定した後は、１番目の仮ラベル区間の終端を確定し、次に、２番目の仮ラベル区間の先頭を確定する、というように各仮ラベル区間の先頭と終端を時系列順に確定していく点が、第１の実施形態とは異なる。
【００６０】
保持部１０６が保持する「作業工程に関する情報」は第１の実施形態と同様、該作業工程に含まれるそれぞれの定型作業の実施順序（対応するラベルの順序）、該定型作業の想定実行時間（標準作業時間）、該想定実行時間（標準作業時間）の標準偏差、を含む。本実施形態では、保持部１０６が保持する「作業工程に関する情報」は更に、「次の定型作業までの標準時間と次の定型作業までの時間の標準偏差」を含む。
【００６１】
本実施形態では、選択セットに対応する仮ラベル区間の終端をＵＩを用いて確定した後、次のセットに対応する仮ラベル区間の先頭までの区間の長さ（時間）が妥当であるかを判定する。そして、該判定の結果に応じて再生開始位置を決定する。次のセットに対応する仮ラベル区間の先頭までの区間の長さ（時間）が妥当であるかの判定方法は特定の判定方法に限らない。以下に４つの例を挙げる。
【００６２】
＜判定方法５＞
判定部１０７は、保持部１０６が保持する「作業工程に関する情報」から、選択セットに対応する「次の定型作業までの標準時間」と「次の定型作業までの時間の標準偏差」とを取得する。そして判定部１０７は、標準時間に「標準偏差に一定の倍率（例えば２）を乗じた時間」を加えた時間を閾値として求める。この閾値は、標準時間を標準偏差に基づいて増加させた時間の一例である。
【００６３】
そして判定部１０７は、選択セットの終端と次の仮ラベル区間の先頭との差分を「次の定型作業までの時間の長さ（時間）」として求め、「次の定型作業までの時間の長さ（時間）」が閾値を上回っているか否かを判定する。この判定の結果、「次の定型作業までの時間の長さ（時間）」が閾値を上回っている場合には、「次の定型作業までの時間の長さ（時間）」は妥当ではないと判定する。一方、「次の定型作業までの時間の長さ（時間）」が閾値を上回っていない場合には、「次の定型作業までの時間の長さ（時間）」は妥当であると判定する。
【００６４】
＜判定方法６＞
判定部１０７は、保持部１０６が保持する「作業工程に関する情報」から、選択セットに対応する「次の定型作業までの標準時間」と「次の定型作業までの時間の標準偏差」とを取得する。そして判定部１０７は、標準時間から「標準偏差に一定の倍率（例えば２）を乗じた時間」を減じた時間を閾値として求める。この閾値は、標準時間を標準偏差に基づいて減少させた時間の一例である。
【００６５】
そして判定部１０７は、選択セットの終端と次の仮ラベル区間の先頭との差分を「次の定型作業までの時間の長さ（時間）」として求め、「次の定型作業までの時間の長さ（時間）」が閾値を下回っているか否かを判定する。この判定の結果、「次の定型作業までの時間の長さ（時間）」が閾値を下回っている場合には、「次の定型作業までの時間の長さ（時間）」は妥当ではないと判定する。一方、「次の定型作業までの時間の長さ（時間）」が閾値を下回っていない場合には、「次の定型作業までの時間の長さ（時間）」は妥当であると判定する。
【００６６】
＜判定方法７＞
判定部１０７は、保持部１０６が保持する「作業工程に関する情報」から、選択セットに対応する「次の定型作業までの標準時間」を取得する。そして判定部１０７は、標準時間に一定の倍率（例えば２）を乗じた時間を閾値として求める。
【００６７】
そして判定部１０７は、選択セットの終端と次の仮ラベル区間の先頭との差分を「次の定型作業までの時間の長さ（時間）」として求め、「次の定型作業までの時間の長さ（時間）」が閾値を上回っているか否かを判定する。この判定の結果、「次の定型作業までの時間の長さ（時間）」が閾値を上回っている場合には、「次の定型作業までの時間の長さ（時間）」は妥当ではないと判定する。一方、「次の定型作業までの時間の長さ（時間）」が閾値を上回っていない場合には、「次の定型作業までの時間の長さ（時間）」は妥当であると判定する。
【００６８】
＜判定方法８＞
判定部１０７は、保持部１０６が保持する「作業工程に関する情報」から、選択セットに対応する「次の定型作業までの標準時間」を取得する。そして判定部１０７は、標準時間を一定の倍率（例えば２）で除した時間を閾値として求める。
【００６９】
そして判定部１０７は、選択セットの終端と次の仮ラベル区間の先頭との差分を「次の定型作業までの時間の長さ（時間）」として求め、「次の定型作業までの時間の長さ（時間）」が閾値を下回っているか否かを判定する。この判定の結果、「次の定型作業までの時間の長さ（時間）」が閾値を下回っている場合には、「次の定型作業までの時間の長さ（時間）」は妥当ではないと判定する。一方、「次の定型作業までの時間の長さ（時間）」が閾値を下回っていない場合には、「次の定型作業までの時間の長さ（時間）」は妥当であると判定する。
【００７０】
なお、上記の判定方法５〜８の何れか１つのみを用いて判定を行っても良いし、上記の判定方法５〜８のうちの２つ以上を用いて判定を行っても良い。そして、このような判定の結果、「選択セットに対応する仮ラベル区間の長さ（時間）」は妥当であると判定された場合には、次の仮ラベル区間の先頭を再生開始位置とする。一方、妥当ではないと判定された場合、選択セットに対応する仮ラベル区間の終端に「今回選択した選択セットに対応する標準時間」を加えた位置を再生開始位置とする。
【００７１】
次に、本実施形態の具体例として、図８に示す３つの定型作業とそれぞれの定型作業間で構成される作業工程を繰り返し行っている様子を撮像した動画像に対するラベルデータの生成処理について説明する。
【００７２】
図８（ａ）において横軸は時間軸で左から右に時間が経過していることを示している。図８（ａ）では、定型作業８０１、定型作業８０１と定型作業８０３の作業間８０２、定型作業８０３、定型作業８０３と定型作業８０５の作業間８０４、定型作業８０５、定型作業８０５と定型作業８０１の作業間８０６の順に連続して作業者により実行される。ここで、定型作業８０１のラベル名は作業１、定型作業８０３のラベル名は作業２、定型作業８０５のラベル名は作業３である。
【００７３】
保持部１０６には定型作業８０１，８０３，８０５の各々について、ラベル名、想定実行時間（標準作業時間）、想定実行時間（標準作業時間）の標準偏差、次の定型作業までの標準時間、次の定型作業までの時間の標準偏差が登録されている（図８（ｂ））。
【００７４】
上記の作業工程の２サイクル分の動画像に対する仮ラベルデータの具体例を図９に示す。図９（ａ）では、仮ラベル名が作業１の定型作業９０１を行った後に作業間９０２を挟んで仮ラベル名が作業２の定型作業９０３が行われる。そして定型作業９０３を行った後に作業間９０４を挟んで仮ラベル名が作業３の定型作業９０５が行われる。そして定型作業９０５を行った後に作業間９０６を挟んで仮ラベル名が作業１の定型作業９０７が行われる。そして定型作業９０７を行った後に作業間９０８を挟んで仮ラベル名が作業２の定型作業９０９が行われる。そして定型作業９０９を行った後に作業間９１０を挟んで仮ラベル名が作業３の定型作業９１１が行われる。
【００７５】
このような動画像の場合、付与部１０４は図９（ｂ）に示す仮ラベルデータを作成する。図９（ｂ）の仮ラベルデータでは、定型作業９０１，９０３，９０５，９０７，９０９，９１１のそれぞれについて、該定型作業のラベル名、該定型作業の仮ラベル区間の先頭（開始フレーム）および終端（終了フレーム）、のセットが登録されている。このような仮ラベルデータは保持部１０５に格納される。
【００７６】
作業間（作業間区間）について、定型作業と同様に教師データのラベルとして取り扱うか、或いは、ラベルの存在しない区間として取り扱うかは機械学習のシステムに応じて決まる。図９（ｂ）では、作業間はラベルの存在しない区間として取り扱っているが、本実施形態ではどちらの取り扱いでも影響は無いため、以下では、その点については特に触れない。
【００７７】
上記の作業工程についてＵＩ表示部１０８が表示するＵＩの一例を図１０に示す。ユーザは操作部１９９を操作して図１０のＵＩ１００１を操作する。図１０では、これから定型作業１０１７の終端を調整する場面を示している。図１０において図５と同様の構成要素には同様の参照番号を付しており、該構成要素に係る説明は省略する。
【００７８】
領域１０１３には、図９（ｂ）に示した定型作業９０１，９０３，９０５，９０７，９０９，９１１のそれぞれの仮ラベルに対応する矩形とその間の作業間に対応する矩形とが順に並べられたタイムラインが表示される。図１０の例では、作業間、ラベル区間が確定したラベル名が作業３の定型作業、作業間、のそれぞれに対する矩形１０１４〜１０１６が実線で表示されている。その次のラベル名が作業１の定型作業については、まだラベル区間が確定していないことから、定型作業１０１７の対応する矩形が点線で表示されている。線分１０１８は、領域５０２に表示されているフレームの位置を示す。領域５０２および領域１０１３は上記のスキップ表示部１４０２に対応する。
【００７９】
図１１は、定型作業の終端の確定時における、領域１０１３のタイムラインの遷移の様子を示している。仮ラベル名が作業１の定型作業に対応する終端のフレームにふさわしいフレームが領域５０２に表示されたとユーザが判断してボタン５１０を指示すると、領域１０１３の表示は図１１の上側から下側に遷移する。図１１の上側に示す如く、終端が未確定の定型作業に対応する矩形１１０１は点線で表示されていたものの、終端が確定すると図１１の下側に示す如く実線の矩形１１０２として表示される。また、タイムラインは左側にシフトし、次の定型作業に対応する矩形１１０３が点線で表示される。さらに領域５０２には、ラベル名が作業１の定型作業の次の定型作業の仮ラベル区間についてステップＳ２０４若しくはステップＳ２０５で決定した再生開始位置におけるフレームが表示される。
【００８０】
図１２は、定型作業の先頭の確定時における、領域１０１３のタイムラインの遷移の様子を示している。ラベル名が作業２の定型作業に対応する先頭のフレームにふさわしいフレームが領域５０２に表示されたとユーザが判断してボタン５１０を指示すると、領域１０１３の表示は図１２の上側から下側に遷移する（タイムラインは左側にシフトする）。さらに領域５０２には、ラベル名が作業２の定型作業の仮ラベル区間についてステップＳ２０４若しくはステップＳ２０５で決定した再生開始位置（終端）におけるフレームが表示される。先頭及び終端の両方が未確定の矩形１２０１は、先頭及び終端が未確定の状態では点線で表示されているものの、先頭及び終端が確定すると実線で表示される。
【００８１】
また、作業者の何らかの例外的な行動により定型作業に対応する終端が見つからない場合については、第１の実施形態と同様、ユーザはボタン５１２を指示することで、定型作業に対応する仮ラベルを「例外を示すラベル」の候補に設定することができる。
【００８２】
図１３は、ラベル名が作業２の定型作業（定型作業Ｂと称する）に対応する仮ラベルを「例外を示すラベル」に更新する際の、領域１０１３の遷移の様子を示している。ユーザが定型作業Ｂに対応する終端は見つけがたいと判断してボタン５１２を指示すると、領域１０１３は図１３の上段から下段に遷移する。図１３の下段では、図１３の上段に示した定型作業Ｂに対応する点線の矩形１３０１が実線で囲まれたグレーの矩形１３０２として表示されると共に、次の定型作業に対応する矩形１３０３が点線で表示される。また、領域５０２には、次の定型作業について決定した再生開始位置（先頭）におけるフレームが表示される。
【００８３】
ユーザは上記のような手順を繰り返すことで、作業の厳密な区間を含めたラベル付けを、動画像の終了或いは必要な教師データの分だけ行うことができる。このように、本実施形態によれば、第１の実施形態の操作に加えて、作業間の時間の設定を行うことにより、第１の実施形態とは異なる様式の定型作業のラベル付けが可能となる。また、第１の実施形態と同様に、ラベル付けの自動化とユーザインタフェースの操作の絞り込みが行われるため、ラベル付けにおけるユーザの操作数が減少する。また、動画像はラベルの区間を確定した際に、次の仮ラベルの区間の開始フレーム又は終了フレームの候補までスキップするため、第１の実施形態と同様、動画像を再生する際の待機時間や目視による状況確認の時間が減少し、ラベル付けの作業の効率が向上する。
【００８４】
［第３の実施形態］
図１に示した情報処理装置１０１が有する各機能部は何れもハードウェアで実装しても良いが、付与部１０４、判定部１０７、制御部１９８をコンピュータプログラムで実装しても良い。後者の場合、例えば、保持部１０２，１０３，１０５，１０６，１０９，１１０をメモリで実装し、操作部１９９をキーボード、マウス、タッチパネルなどのユーザインターフェースで実装し、ＵＩ表示部１０８を表示装置で実装する。この場合、このようなコンピュータプログラムを実行可能なコンピュータ装置は情報処理装置１０１に適用可能である。情報処理装置１０１に適用可能なコンピュータ装置のハードウェア構成例について、図１５のブロック図を用いて説明する。
【００８５】
ＣＰＵ１５０１は、ＲＡＭ１５０２やＲＯＭ１５０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行もしくは制御する。これによりＣＰＵ１５０１は、コンピュータ装置全体の動作制御を行うと共に、コンピュータ装置を適用する情報処理装置１０１が行うものとして上述した各処理を実行若しくは制御する。
【００８６】
ＲＡＭ１５０２は、ＲＯＭ１５０３や外部記憶装置１５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ１５０７を介して外部から受信したデータ（例えばサーバ１１１から受信した動画像）、を格納するためのエリアを有する。さらにＲＡＭ１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１５０２は、各種のエリアを適宜提供することができる。ＲＯＭ１５０３には、コンピュータ装置の設定データや起動プログラムなどが格納されている。
【００８７】
操作部１５０４は、上記の操作部１９９に対応しており、キーボード、マウス、タッチパネルなどのユーザインターフェースである。ユーザはこの操作部１５０４を操作することで各種の指示をＣＰＵ１５０１に対して入力することができる。
【００８８】
表示部１５０５は、上記のＵＩ表示部１０８に対応しており、液晶画面やタッチパネル画面を有し、ＣＰＵ１５０１による処理結果を画像や文字などでもって表示することができる。なお、表示部１５０５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。
【００８９】
外部記憶装置１５０６は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置１５０６には、ＯＳ（オペレーティングシステム）、情報処理装置１０１が行うものとして上述した各処理をＣＰＵ１５０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１５０６に保存されているデータには、上記の説明において既知の情報として説明したものも含まれている。
【００９０】
外部記憶装置１５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜ＲＡＭ１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。
【００９１】
なお、上記の保持部１０２，１０３，１０５，１０６，１０９，１１０は、上記のＲＡＭ１５０２、ＲＯＭ１５０３、外部記憶装置１５０６などのメモリ装置を用いて実装可能である。
【００９２】
Ｉ／Ｆ１５０７は、サーバ１１１などの外部装置との間のデータ通信を行うためのインターフェースとして機能するものである。例えば、サーバ１１１から送信された動画像などのデータは、このＩ／Ｆ１５０７を介してＲＡＭ１５０２や外部記憶装置１５０６に格納される。
【００９３】
ＣＰＵ１５０１、ＲＡＭ１５０２、ＲＯＭ１５０３、操作部１５０４、表示部１５０５、外部記憶装置１５０６、Ｉ／Ｆ１５０７は何れも、バス１５０８に接続されている。なお、情報処理装置１０１に適用可能なコンピュータ装置のハードウェア構成は図１５に示した構成に限らない。なお、上記の各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、上記の各実施形態の一部若しくは全部を選択的に使用しても構わない。
【００９４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９５】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００９６】
１０２：保持部  １０３：保持部  １０４：付与部  １０５：保持部  １０６：保持部  １０７：判定部  １０８：ＵＩ表示部  １０９：保持部  １１０：保持部
【図１】
2020184225.tif 000003
【図２】
2020184225.tif 000004
【図３】
2020184225.tif 000005
【図４】
2020184225.tif 000006
【図５】
2020184225.tif 000007
【図６】
2020184225.tif 000008
【図７】
2020184225.tif 000009
【図８】
2020184225.tif 000010
【図９】
2020184225.tif 000011
【図１０】
2020184225.tif 000012
【図１１】
2020184225.tif 000013
【図１２】
2020184225.tif 000014
【図１３】
2020184225.tif 000015
【図１４】
2020184225.tif 000016
【図１５】
2020184225.tif 000017