(57)【要約】【課題】  動画像における各フレームの画像にラベルを付与するための作業の効率を向上させるための技術を提供すること。【解決手段】  画像と該画像中のシーン毎に異なるラベルとの対応関係を学習した学習モデルに、複数シーンを含む動画像の各フレームの画像を入力することで、該画像中のシーンに対応するラベルを取得する。取得したラベルを時系列順に並べたデータにおけるシーンの境界をユーザ操作に応じて設定し、該設定したシーンの境界におけるラベルを更新する。シーンに対応して付与されたラベルのうち、規定の基準を満たしていないラベルを、ユーザ操作に応じて選択されたシーンのラベルに更新する。【選択図】  図１
2020113057.tif 000002
【特許請求の範囲】
【請求項１】
画像と該画像中のシーン毎に異なるラベルとの対応関係を学習した学習モデルに、複数シーンを含む動画像の各フレームの画像を入力することで、該画像中のシーンに対応するラベルを取得する取得手段と、
前記取得手段が取得したラベルを時系列順に並べたデータにおけるシーンの境界をユーザ操作に応じて設定し、該設定したシーンの境界におけるラベルを更新する第１の更新手段と、
シーンに対応して付与されたラベルのうち、規定の基準を満たしていないラベルを、ユーザ操作に応じて選択されたシーンのラベルに更新する第２の更新手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記第１の更新手段は、前記取得手段が取得したラベルを時系列順に並べたデータ、該データにおいてユーザが設定したシーンの境界位置を表すオブジェクト、前記動画像において該オブジェクトの位置に対応する画像、を表示画面に表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
更に、
前記境界位置をユーザ操作に応じて移動させる手段を備えることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第２の更新手段は、前記ラベルを時系列順に並べたデータにおいて規定の基準を満たしていないラベルを選択肢として表示画面に表示し、該データにおいて規定の基準を満たしていないラベルを、該選択肢のうちユーザ操作に応じて選択されたラベルに更新することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記第２の更新手段は、前記ラベルを時系列順に並べたデータにおいて、前記学習モデルが求めた尤度が閾値未満となるラベルを前記規定の基準を満たしていないラベルとすることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記動画像は、作業者が複数の作業で構成される作業シーケンスを行う様子を撮影したことで得られる動画像であることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
更に、
前記第１の更新手段および／または前記第２の更新手段によって更新されたラベルを含む前記データを用いて機械学習を行う手段を備えることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の取得手段が、画像と該画像中のシーン毎に異なるラベルとの対応関係を学習した学習モデルに、複数シーンを含む動画像の各フレームの画像を入力することで、該画像中のシーンに対応するラベルを取得する取得工程と、
前記情報処理装置の第１の更新手段が、前記取得工程で取得したラベルを時系列順に並べたデータにおけるシーンの境界をユーザ操作に応じて設定し、該設定したシーンの境界におけるラベルを更新する第１の更新工程と、
前記情報処理装置の第２の更新手段が、シーンに対応して付与されたラベルのうち、規定の基準を満たしていないラベルを、ユーザ操作に応じて選択されたシーンのラベルに更新する第２の更新工程と
を備えることを特徴とする情報処理方法。
【請求項９】
コンピュータを、請求項１乃至７の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対するラベルの設定技術に関するものである。
【背景技術】
【０００２】
機械学習において、機械学習を実行するためのデータおよびそのデータに対する正しい教師情報（ラベル）が共に存在することは重要である。例えば、ある画像（データ）がある動物を表す画像であるとき、この画像にある動物を示すラベル（「犬」、「猫」など）を付与する。このようなラベル付きの画像を、機械学習おいては大量に（通常は数千以上）用意する。そして、大量の動物を表すラベル付き画像データにより、機械学習の学習が実現される。その学習の結果として、動物の画像を判別する判定器が作成できる。この判定器を用いて、新たな動物の画像に対して、そのラベルを推測（判定）することが可能になる。
【０００３】
また、機械学習の対象は画像に限らず、動画や文字列などその他の形式のデータも用いられる。これらのデータにも同様にラベルを付与し、学習により判定器を作成し、このデータのラベルを推測することが可能になる。
【０００４】
ここで、入力データに対するラベルの判定の精度（判定器の精度）は、ラベル付きデータの量と質に依存する。すなわち、データが大量であればあるほどよく、かつラベルが正確であればあるほどよい。このため、大量のデータに対して、正確なラベルを付与する必要があり、この大量のラベル付けに多大な労力を要することは機械学習分野における従来からの課題である。
【０００５】
この課題に対し、特許文献１では、ラベル付きデータのラベルが正しくつけられているかどうかを、判定器およびユーザインタフェースを用いて、ユーザに判定させることを提案している。ここで、特許文献１の判定器は判定を行い、ある入力データに対して複数のラベル候補を選出する。ユーザインタフェース部は、選出されたラベル候補をユーザに表示する。これにより、ユーザは入力データに対して適切なラベルを付与できる。この結果、特許文献１の発明は、教師データのラベルが正しいかどうかを人手で判断することを助けることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2015-129988号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の発明は、入力データが主に画像などの静的な状態を持つものに限定される。つまり、画像などのある一つの識別対象に対して、単一のラベルをつける作業を行うことを想定している。つまり、特許文献１に記載の発明は、静的な画像などのデータに対しては有効であるが、ラベルが時間ごとに変化するような動画のラベル付けを想定したものではない。本発明では、動画像における各フレームの画像にラベルを付与するための作業の効率を向上させるための技術を提供する。
【課題を解決するための手段】
【０００８】
本発明の一様態は、画像と該画像中のシーン毎に異なるラベルとの対応関係を学習した学習モデルに、複数シーンを含む動画像の各フレームの画像を入力することで、該画像中のシーンに対応するラベルを取得する取得手段と、前記取得手段が取得したラベルを時系列順に並べたデータにおけるシーンの境界をユーザ操作に応じて設定し、該設定したシーンの境界におけるラベルを更新する第１の更新手段と、シーンに対応して付与されたラベルのうち、規定の基準を満たしていないラベルを、ユーザ操作に応じて選択されたシーンのラベルに更新する第２の更新手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明の構成によれば、動画像における各フレームの画像にラベルを付与するための作業の効率を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】システムの機能構成例を示すブロック図。
【図２】ラベル設定処理のフローチャート。
【図３】適合度が低いフレーム区間のラベルを確定させるための処理のフローチャート。
【図４】定型作業の一例を示す図。
【図５】仮ラベルデータの構成例を示す図。
【図６】適合度を求めるための処理を説明する図。
【図７】１サイクル目の仮ラベルデータ７０２、２サイクル目の仮ラベルデータ７０３を示す図。
【図８】ＧＵＩ８０１の構成例を示す図。
【図９】ＧＵＩ９０１の構成例を示す図。
【図１０】ＧＵＩ１００１の構成例を示す図。
【図１１】ＧＵＩ１１００の構成例を示す図。
【図１２】コンピュータ装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【００１２】
［第１の実施形態］
本実施形態に係るシステムの機能構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、サーバ１０９と情報処理装置１０１とを有する。
【００１３】
先ず、サーバ１０９について説明する。サーバ１０９には、工場などで作業者が定型作業を繰り返し行っている様子を撮影した動画像が保存されている。本実施形態に係る定型作業の一例を図４に示す。図４において横軸は時間軸である。図４に示す如く、定型作業は作業１〜４で構成されており、作業１〜４をこの順序で行う作業シーケンスを表している。
【００１４】
次に、情報処理装置１０１について説明する。情報処理装置１０１は、ＰＣ（パーソナルコンピュータ）、タブレット型端末装置、スマートフォンなどのコンピュータ装置である。情報処理装置１０１はサーバ１０９に保存されている動画像を取得し、該動画像におけるそれぞれのフレームの画像に対し、該画像中のシーン（作業１〜４の何れか）に対応するラベル（シーン毎に異なるラベル）を設定するための処理（ラベル設定処理）を行う。情報処理装置１０１によって行われるラベル設定処理について、図２のフローチャートに従って説明する。
【００１５】
ステップＳ２０１では、制御部１９０は、サーバ１０９に保存されている動画像を該サーバ１０９から受信し、該受信した動画像を保持部１０２に保存する。付与部１０３は、保持部１０４に保持されている学習モデルを取得し、保持部１０２に保存した動画像における各フレームの画像を、該学習モデルに入力する。
【００１６】
学習モデルは、作業者が作業ｘ（ｘ＝１〜４）を行っている様子を撮影した画像と、作業ｘに対応するラベルと、の対応関係を機械学習により学習したモデルである。このような学習モデルに動画像における各フレームの画像を入力すると、該学習モデルからは、該画像に対する作業１〜４のそれぞれの尤度が出力されるので、付与部１０３は、作業１〜４のうち最も高い尤度の作業のラベルを該画像のラベルとする。
【００１７】
例えば、着目フレームの画像を学習モデルに入力したことで該学習モデルから、作業１の尤度「９５％」、作業２の尤度「２％」、作業３の尤度「２％」、作業４の尤度「１％」が出力されたとする。このとき付与部１０３は、最も高い尤度を求めた作業１のラベル「作業１」を着目フレームの画像のラベルとする。
【００１８】
このようにして付与部１０３は、動画像において１番目のフレームに対応するラベル、２番目のフレームに対応するラベル、…、ｆ番目のフレームに対応するラベル、…というように、動画像の各フレームに対応するラベルを求めることができる。このように求めたラベルの時系列（ラベルを時系列順に並べたデータ）を仮ラベルデータと称する。つまり、仮ラベルデータはラベルの一次元データ列であり、仮ラベルデータの先頭からｆ個目のラベルは、動画像において先頭からｆフレーム目の画像のラベルである。そして付与部１０３は、仮ラベルデータを保持部１０５に格納する。
【００１９】
仮ラベルデータの構成例を図５に示す。図５において横軸はフレーム位置（ラベル位置）を表している。仮ラベルデータにおける部分データ５０１は、動画像の先頭フレーム（１フレーム目）から（ｆ１−１）フレーム目までのそれぞれのフレームの画像を学習モデルに入力したことで得られたラベル「作業１」の時系列である。仮ラベルデータにおける部分データ５０２は、動画像のｆ１フレーム目から（ｆ２−１）フレーム目までのそれぞれのフレームの画像を学習モデルに入力したことで得られたラベル「作業２」の時系列である。仮ラベルデータにおける部分データ５０３は、動画像のｆ２フレーム目から（ｆ３−１）フレーム目までのそれぞれのフレームの画像を学習モデルに入力したことで得られたラベル「作業３」の時系列である。仮ラベルデータにおける部分データ５０４は、動画像のｆ３フレーム目から（ｆ４−１）フレーム目までのそれぞれのフレームの画像を学習モデルに入力したことで得られたラベル「作業４」の時系列である。仮ラベルデータにおける部分データ５０５は、動画像のｆ４フレーム目から（ｆ５−１）フレーム目までのそれぞれのフレームの画像を学習モデルに入力したことで得られたラベル「作業１」の時系列である。仮ラベルデータにおける部分データ５０６は、動画像のｆ５フレーム目から（ｆ６−１）フレーム目までのそれぞれのフレームの画像を学習モデルに入力したことで得られたラベル「作業２」の時系列である。仮ラベルデータにおける部分データ５０７は、動画像のｆ６フレーム目から（ｆ７−１）フレーム目までのそれぞれのフレームの画像を学習モデルに入力したことで得られたラベル「作業１」の時系列である。仮ラベルデータにおける部分データ５０８は、動画像のｆ７フレーム目から（ｆ８−１）フレーム目までのそれぞれのフレームの画像を学習モデルに入力したことで得られたラベル「作業２」の時系列である。仮ラベルデータにおける部分データ５０９は、動画像のｆ８フレーム目から（ｆ９−１）フレーム目までのそれぞれのフレームの画像を学習モデルに入力したことで得られたラベル「作業３」の時系列である。仮ラベルデータにおける部分データ５１０は、動画像のｆ９フレーム目から（ｆ１０−１）フレーム目までのそれぞれのフレームの画像を学習モデルに入力したことで得られたラベル「作業４」の時系列である。
【００２０】
部分データ５０１〜５０４は、作業者が１サイクル目の定型作業（第１回目の定型作業）を行ったときの各フレームの画像に対応するラベルにより構成されている。そして部分データ５０５〜５１０は、作業者が２サイクル目の定型作業（第２回目の定型作業）を行ったときの各フレームの画像に対応するラベルにより構成されている。
【００２１】
次に、ステップＳ２０２では、判定部１０７は、仮ラベルデータに含まれるサイクルごとのデータについて、該データが定型作業とどの程度一致しているのかを示す一致度を適合度として求める。
【００２２】
ここで、適合度を求めるための処理について、図６を用いて説明する。図６において横軸はフレーム位置（ラベル位置）を表している。定型作業モデル６０１は予め作成して保持部１０６に格納されている。例えば、１サイクル分の定型作業を撮影した動画像（フレームレートは先の動画像と同じ）を定型動画像とし、該定型動画像においてラベル「作業１」が付与されるべきフレーム区間の各フレームにはラベル「作業１」を割り当てる。また、定型動画像においてラベル「作業２」が付与されるべきフレーム区間の各フレームにはラベル「作業２」を割り当てる。また、定型動画像においてラベル「作業３」が付与されるべきフレーム区間の各フレームにはラベル「作業３」を割り当てる。また、定型動画像においてラベル「作業４」が付与されるべきフレーム区間の各フレームにはラベル「作業４」を割り当てる。そして、定型動画像における各フレームの画像に割り当てたラベルをフレーム順に並べた１次元データ列を定型作業モデル６０１として作成する。つまり、定型作業モデル６０１の先頭からｆ個目のラベルは、定型動画像において先頭からｆフレーム目の画像のラベルである。
【００２３】
定型作業モデル６０１の左端のラベル位置を仮ラベルデータ６０２の左端のラベル位置と一致させた状態から矢印６０４で示す方向に定型作業モデル６０１の位置をフレーム（ラベル）単位でずらし、ずらした位置ごとに適合度を求める。例えば、定型作業モデル６０１の左端のラベル位置が「仮ラベルデータ６０２の左端からｆ個目のラベルの位置」と一致しているとする。このとき、ｘ＝１〜Ｘ（Ｘは定型作業モデル６０１に含まれているラベルの数）について、定型作業モデル６０１の左端からｘ個目のラベルと仮ラベルデータ６０２の左端から（ｆ＋ｘ−１）個目のラベルとが同じであるか否かを判断する。同じと判断した場合にはカウンタを１つインクリメントし、同じではないと判断した場合にはカウンタは更新しない（カウンタの初期値は０であり、定型作業モデル６０１を移動させる度に０に初期化される）。そして、ｘ＝１〜Ｘについてこのような処理を行った結果得られるカウンタの値をＣとすると、（Ｃ／Ｘ）を「仮ラベルデータ６０２の左端からｆ個目のラベルの位置」に対する適合度として求める。このような処理を、仮ラベルデータ７０３におけるそれぞれのラベル位置について行うことで、仮ラベルデータ７０３におけるそれぞれのラベル位置に対する適合度を求めることができる。
【００２４】
棒グラフ６０６は、定型作業モデル６０１の左端のラベル位置を、仮ラベルデータ６０２の左端のラベル位置から１サイクル目における「作業４」の部分データの右端のラベル位置までの各ラベル位置について求めた適合度の棒グラフである。
【００２５】
棒グラフ６０７は、定型作業モデル６０１の左端のラベル位置を、２サイクル目における左端のラベル位置から２サイクル目における「作業４」の部分データの右端のラベル位置までの各ラベル位置について求めた適合度の棒グラフである。
【００２６】
判定部１０７は、棒グラフ６０６において最も高い適合度を、１サイクル目に対する適合度とする。また判定部１０７は、棒グラフ６０７において最も高い適合度を、２サイクル目に対する適合度とする。
【００２７】
そしてステップＳ２０４〜Ｓ２１０の処理を、全てのサイクルについて（本実施形態の場合は１サイクル目および２サイクル目のそれぞれについて）行う。先ず、１サイクル目についてステップＳ２０４〜Ｓ２１０の処理を行う。
【００２８】
ステップＳ２０４では、制御部１９０は、１サイクル目の適合度が閾値以上であるか否かを判断する。この判断の結果、１サイクル目の適合度が閾値以上と判断した場合には、１サイクル目の適合度は高いと判断し、処理はステップＳ２０６に進む。一方、１サイクル目の適合度が閾値未満と判断した場合には、１サイクル目の適合度は低いと判断し、処理はステップＳ２０９に進む。
【００２９】
本実施形態では、図７に示す如く、仮ラベルデータ７０１において１サイクル目の仮ラベルデータ７０２の適合度は高いと判断されたものとし、２サイクル目の仮ラベルデータ７０３の適合度は低いと判断されたものとする。
【００３０】
ステップＳ２０６では、制御部１９０は、図８に例示するＧＵＩ（グラフィカルユーザインターフェース）８０１を表示部１０８の表示画面に表示する。本実施形態では表示部１０８はタッチパネル画面であるものとする。また、以下では、表示部１０８におけるＧＵＩの表示制御や、ＧＵＩに対するユーザ操作に応じた各種の処理は制御部１９０や付与部１０３によって行われるものとする。ラベルの更新については付与部１０３が行うものとする。
【００３１】
領域８０９には、仮ラベルデータ７０２に対応するタイムラインが表示されている。タイムラインは、仮ラベルデータ７０２においてラベルが「作業１」のフレーム区間８１１、ラベルが「作業２」のフレーム区間８１２、ラベルが「作業３」のフレーム区間８１３、ラベルが「作業４」のフレーム区間８１４、を左から順に並べたものである。つまり、領域８０９において横軸はフレーム位置（ラベル位置）である。
【００３２】
ユーザがボタン８０６をタッチする度に、区切り位置（境界）を示すオブジェクトである点線８１０が左側に移動する。点線８１０は、フレーム区間８１１〜８１４のそれぞれの左端のいずれかに移動する。図８の状態においてユーザがボタン８０６を１回タッチすると、点線８１０はフレーム区間８１１の左端に移動する。さらにユーザがボタン８０６を１回タッチすると、点線８１０はフレーム区間８１４の左端に移動する。
【００３３】
ユーザがボタン８０７をタッチする度に、点線８１０が右側に移動する。図８の状態においてユーザがボタン８０７を１回タッチすると、点線８１０はフレーム区間８１３の左端に移動する。さらにユーザがボタン８０７を１回タッチすると、点線８１０はフレーム区間８１４の左端に移動する。さらにユーザがボタン８０７を１回タッチすると、点線８１０はフレーム区間８１１の左端に移動する。
【００３４】
領域８０２には、横軸における点線８１０の現在位置に対応するフレームの画像が表示される。図８では、点線８１０はフレーム区間８１２の左端に位置しているため、フレーム区間８１２の左端に対応するフレーム（動画像においてフレーム区間８１２に対応する区間の先頭フレーム）の画像が領域８０２に表示される。以下では点線８１０の位置は横軸における位置であるものとする。
【００３５】
領域８０３には、最後にボタン８０６若しくはボタン８０７を操作して移動した点線８１０の位置を左端とするフレーム区間のラベルに対応する、上記の定型動画像中のフレーム区間の先頭フレームの画像が表示される。図８では、点線８１０はラベルが「作業２」のフレーム区間８１２の左端に位置しているため、領域８０３には、定型動画像においてラベル「作業２」のフレーム区間の先頭フレームの画像が表示される。
【００３６】
ユーザは領域８０２に表示されている画像が、領域８０３に表示されている作業の画像となっているのかを確認する。ユーザは、領域８０３に表示されている画像と同じ作業の画像が領域８０２に表示されていないと判断すると、ボタン８０４若しくはボタン８０５のタッチ操作を行うことで、点線８１０の位置をフレーム（ラベル）単位で左右に移動させる作業を行う。ユーザがボタン８０４をタッチする度に、点線８１０の位置は左側にフレーム（ラベル）単位で移動し、ボタン８０５をタッチする度に、点線８１０の位置は右側にフレーム（ラベル）単位で移動する。
【００３７】
例えば、点線８１０の現在位置がフレーム区間８１２の左端であれば、領域８０２にはフレーム区間８１２の左端に対応するフレームの画像が表示される。この画像のラベルは「作業２」であるが、例えばこの画像を見たユーザが、この画像は「作業２」ではなく「作業１」を撮影した画像であると判断した場合、フレーム区間８１１とフレーム区間８１２との境界位置は間違っている可能性がある。そこでユーザは、「作業２」の開始時の画像として好ましい画像（つまり領域８０３に表示されている画像）が領域８０２に表示されるように、ボタン８０４やボタン８０５のタッチ操作により点線８１０の位置を左右に移動させる。そして、「作業２」の開始時の画像として好ましい画像（領域８０３に表示されている画像）が領域８０２に表示されると、ユーザはこの時点における点線８１０の現在位置を、フレーム区間８１２の左端の位置として確定させるべく、ボタン８０８をタッチする。ボタン８０８がタッチされると、フレーム区間８１１の左端のフレームから、点線８１０の現在位置に対応するフレームの１フレーム前（過去）のフレームまでの各フレームのラベルを「作業１」に更新する。
【００３８】
また例えば、ラベルが「作業２」の画像が領域８０２に表示されているが、この画像が「作業２」の開始時の画像として好ましい画像ではないとユーザが判断した場合、フレーム区間８１１とフレーム区間８１２との境界位置は間違っている可能性がある。この場合も同様に、ユーザは、「作業２」の開始時の画像として好ましい画像（領域８０３に表示されている画像）が領域８０２に表示されるように、ボタン８０４やボタン８０５のタッチ操作により点線８１０の位置を左右に移動させる。そして、「作業２」の開始時の画像として好ましい画像（領域８０３に表示されている画像）が領域８０２に表示されると、ユーザはこの時点における点線８１０の現在位置を、フレーム区間８１２の左端の位置として確定させるべく、ボタン８０８をタッチする。ボタン８０８がタッチされると、点線８１０の現在位置に対応するフレームから、フレーム区間８１２の右端の位置に対応するフレームまでの各フレームのラベルを「作業２」に更新する。
【００３９】
このように、領域８０３に表示されている画像と同じ作業の画像が領域８０２に表示されるまで点線８１０の位置を移動させてからボタン８０８をタッチすることで、該位置を挟む両方のフレーム区間を確定させることができる。
【００４０】
ステップＳ２０７では、制御部１９０や付与部１０３により、ＧＵＩ８０１に対する上記の各種のユーザ操作に応じた各種の処理を行う。そして処理はステップＳ２０４に進み、ステップＳ２０４では、制御部１９０は、２サイクル目の適合度が閾値以上であるか否かを判断する。この判断の結果、２サイクル目の適合度が閾値以上と判断した場合には、２サイクル目の適合度は高いと判断し、処理はステップＳ２０６に進む。一方、２サイクル目の適合度が閾値未満と判断した場合には、２サイクル目の適合度は低いと判断し、処理はステップＳ２０９に進む。上記の如く、２サイクル目の仮ラベルデータ７０３の適合度は低いと判断されたものとするので、処理はステップＳ２０９に進む。
【００４１】
ステップＳ２０９では制御部１９０は、図９に例示するＧＵＩ９０１を表示部１０８の表示画面に表示する。そしてステップＳ２１０では、制御部１９０や付与部１０３により、ＧＵＩ９０１を介して行われたユーザ操作に応じた各種の処理を実行することで、２サイクル目の仮ラベルデータ７０３におけるラベルを確定させる。図９において図８に示した構成と同じ構成については参照番号を付しておらず、その説明は上記の通りであるため省略する。また、ＧＵＩ９０１に係る以下の説明は、上記のＧＵＩ８０１に係る上記の説明との差分であり、以下で特に触れない点については上記のＧＵＩ８０１と同様である。
【００４２】
ステップＳ２１０の処理のうち、２サイクル目の仮ラベルデータ７０３におけるそれぞれのフレーム区間のうち適合度が低いフレーム区間のラベルを確定させるための処理について、図３のフローチャートに従って説明する。
【００４３】
図３においてステップＳ３０１〜Ｓ３０７の処理は、２サイクル目の仮ラベルデータ７０３におけるそれぞれのフレーム区間（左から作業１、作業２、作業１、作業２、作業３、作業４のそれぞれ）について行われる。
【００４４】
ステップＳ３０１では、制御部１９０は、２サイクル目の仮ラベルデータ７０３におけるそれぞれのフレーム区間のうち未選択のフレーム区間を１つ、選択フレーム区間として選択する。そして制御部１９０は、選択フレーム区間のラベルの尤度（該ラベルと共に学習モデルが出力した尤度）が閾値以上であるか否かを判断する（規定の基準を満たしているか否かを判断する）。この判断の結果、選択フレーム区間のラベルの尤度が閾値以上であれば、処理はステップＳ３０１に進み、選択フレーム区間のラベルの尤度が閾値未満であれば、処理はステップＳ３０６に進む。
【００４５】
ステップＳ３０６では、制御部１９０は、領域９０９において、選択フレーム区間を選択肢として、該選択フレーム区間のラベルの尤度と共に表示する。図９では、領域９０９には、２サイクル目の仮ラベルデータ７０３において左端から２つ目の「作業１」のフレーム区間９０２と共に該フレーム区間９０２のラベルの尤度９０６（７０％）が表示されている。また領域９０９には、２サイクル目の仮ラベルデータ７０３における最初の「作業２」のフレーム区間９０３と該フレーム区間９０３のラベルの尤度９０７（３０％）とが表示されている。
【００４６】
ユーザはフレーム区間９０４に後続するフレーム区間としてフレーム区間９０２若しくはフレーム区間９０３を選択するべく、フレーム区間９０２若しくはフレーム区間９０３の何れかをタッチする。フレーム区間９０２がタッチされると、フレーム区間９０４とフレーム区間９０２とが連結されて１つのフレーム区間（ラベルが「作業１」のフレーム区間）となる。一方、フレーム区間９０３がタッチされると、フレーム区間９０３とフレーム区間９０５とが連結されて１つのフレーム区間（ラベルが「作業２」のフレーム区間）となる。
【００４７】
また、ユーザがボタン９０８をタッチすると、図１０に例示するＧＵＩ１００１が表示部１０８に表示される。ＧＵＩ１００１を起動したときに操作部１００３内の「再生／一時停止」ボタンをタッチすると、領域１００２には定型動画像においてラベルが「作業１」のフレーム区間が再生される。フレーム区間の再生中に「再生／一時停止」ボタンがタッチされると、該再生は中断し、再度「再生／一時停止」ボタンがタッチされると再生が再開される。また「巻戻し」ボタンがタッチされると、領域１００２に表示される動画像の巻き戻しが行われ、「早送り」ボタンがタッチされると、領域１００２に表示される動画像の早送りが行われる。また、ボタン１００４がタッチされると、現在領域１００２に再生されているフレーム区間の前のフレーム区間の再生が開始され、ボタン１００５がタッチされると、現在領域１００２に再生されているフレーム区間の次のフレーム区間の再生が開始される。なお、図１０のＧＵＩを図９のＧＵＩに組み込んでも良い。
【００４８】
このように、本実施形態によれば、繰り返し作業を伴うような内容を含む動画像に対するラベル付けにおいて、ラベル付けの大半を自動化した上で、ユーザは大半の操作をラベルの区切りに係る編集のみを行うように、ユーザインタフェース上の操作が絞られる。またラベルが不明瞭な部分のみを、ラベルの内容をユーザに選択させる。このラベル付けの自動化とユーザインタフェースの操作の絞り込みにより、ラベル付けにおけるユーザの操作数が減少するので、ラベル付け作業の効率が向上する。
【００４９】
［第２の実施形態］
以下では第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。第１の実施形態では、作業間に時間間隔がない作業シーケンスの動画像の各フレームに対してラベルを設定していた。しかし、作業間に時間間隔がある作業シーケンスの動画像であったり、動画像に対してラベル付けを行うフレーム区間が指定されている場合には、作業に対応するフレーム区間や、指定されているフレーム区間に対してのみラベルを設定するようにしても良い。
【００５０】
図８のＧＵＩ８０１の代わりに表示する本実施形態に係るＧＵＩの構成例を図１１に示す。図１１において図８に示した要素と同じ要素については同じ参照番号を付しており、該要素に係る説明は省略する。
【００５１】
図１１のＧＵＩ１１００では、領域８０３の代わりに領域１１０１と領域１１０２とが設けられている。領域１１０１は、点線８１０の現在位置を端部とするフレーム区間の左端に対応するフレーム（先頭フレーム）の画像を表示するための領域である。領域１１０２は、点線８１０の現在位置を端部とするフレーム区間の右端に対応するフレーム（後端フレーム）の画像を表示するための領域である。本実施形態では、点線８１０はフレーム区間の端部を移動する。例えば点線８１０の現在位置が図１１に示す如くフレーム区間１１０９の後端位置にあるときにユーザがボタン８０６をタッチすると、点線８１０の位置はフレーム区間１１０９の左端に移動する。一方、点線８１０の現在位置が図１１に示す如くフレーム区間１１０９の後端位置にあるときにユーザがボタン８０７をタッチすると、点線８１０の位置はフレーム区間１１１０の左端に移動する。
【００５２】
このように、本実施形態によれば、第１の実施形態に加えて、動画像中に作業のフレーム区間が互いに隣接していなくても、第１の実施形態と同様に、それぞれのフレーム区間のラベルを確定させることができる。
【００５３】
［第３の実施形態］
図１に示した情報処理装置１０１の各機能部は全てハードウェアで実装しても構わないし、一部をソフトウェア（コンピュータプログラム）で実装しても構わない。後者の場合、保持部１０２、１０４〜１０６をメモリとして有し、表示部１０８を表示装置として有し、制御部１９０、付与部１０３、判定部１０７に対応するコンピュータプログラムを実行可能なコンピュータ装置は情報処理装置１０１に適用可能である。情報処理装置１０１に適用可能なコンピュータ装置のハードウェア構成例について、図１２のブロック図を用いて説明する。
【００５４】
ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１２０１は、コンピュータ装置全体の動作制御を行うと共に、情報処理装置１０１が行うものとして上述した各種の処理を実行若しくは制御する。
【００５５】
ＲＡＭ１２０２は、ＲＯＭ１２０３や外部記憶装置１２０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１２０７を介してサーバ１０９から受信した動画像のデータ等を格納するためのエリア、を有する。またＲＡＭ１２０２は、ＣＰＵ１２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１２０２は、各種のエリアを適宜提供することができる。ＲＯＭ１２０３には、コンピュータ装置の設定データや起動プログラムなどが格納されている。
【００５６】
操作装置１２０４は、キーボード、マウス、タッチパネル画面などのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ１２０１に対して入力することができる。例えばユーザは操作装置１２０４を操作することで、図８〜１１に示したＧＵＩに対する操作入力を行うことができる。
【００５７】
表示装置１２０５は、液晶画面やタッチパネル画面を有する装置であり、ＣＰＵ１２０１による処理結果を画像や文字などでもって表示することができる。なお、表示装置１２０５は、画像や文字を投影するプロジェクタなどの投影装置であっても構わない。表示装置１２０５は、上記の表示部１０８としても機能する。
【００５８】
外部記憶装置１２０６は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置１２０６には、ＯＳ（オペレーティングシステム）や、情報処理装置１０１が行うものとして上述した各種の処理をＣＰＵ１２０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１２０６に保存されているコンピュータプログラムには、制御部１９０、付与部１０３、判定部１０７の機能をＣＰＵ１２０１に実行させるためのコンピュータプログラム、図８〜１１のＧＵＩに係るコンピュータプログラムが含まれている。外部記憶装置１２０６に保存されているデータには、上記の説明において既知の情報として説明したもの（学習モデルのデータ、閾値のデータ、ＧＵＩに係るデータなど）が含まれている。
【００５９】
外部記憶装置１２０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１２０１による制御に従って適宜ＲＡＭ１２０２にロードされ、ＣＰＵ１２０１による処理対象となる。上記の保持部１０２、１０４、１０５、１０６は、ＲＡＭ１２０２、ＲＯＭ１２０３、外部記憶装置１２０６などのメモリ装置によって実装可能である。
【００６０】
Ｉ／Ｆ１２０７は、サーバ１０９との間のデータ通信を行うためのインターフェースとして機能するものであり、サーバ１０９から送信された動画像のデータは、Ｉ／Ｆ１２０７を介して外部記憶装置１２０６やＲＡＭ１２０２に格納される。
【００６１】
ＣＰＵ１２０１、ＲＡＭ１２０２、ＲＯＭ１２０３、操作装置１２０４、表示装置１２０５、外部記憶装置１２０６、Ｉ／Ｆ１２０７は何れも、バス１２０８に接続されている。なお、図１２に示した構成は情報処理装置１０１に適用可能なコンピュータ装置のハードウェア構成の一例に過ぎず、各種の変形／変更が可能である。
【００６２】
［第４の実施形態］
「工場などで作業者が定型作業を繰り返し行っている様子を撮影した動画像」は、「複数シーンを含む動画像」の一例であり、上記の各実施形態にて取り扱う動画像は「工場などで作業者が定型作業を繰り返し行っている様子を撮影した動画像」に限らない。
【００６３】
また、学習モデルに入力するものとして説明した「動画像における各フレームの画像」は、動画像における全てのフレームの画像であっても良いし、動画像における一部のフレームの画像であっても良い。
【００６４】
また、上記の各実施形態では、表示部１０８はタッチパネル画面であるものとして説明した。しかし、表示部１０８はタッチパネル画面に限らず、液晶画面であっても良い。この場合、情報処理装置１０１には、ユーザからの操作入力を受け付けるためのユーザインターフェース（キーボード、マウスなど）を設ける必要がある。
【００６５】
また、上記の各実施形態において説明したＧＵＩの構成やその操作方法は一例であり、上記の構成や操作方法に限らない。また、上記の説明において使用した数値は何れも具体的な説明を行うために使用したものであって、上記の各実施形態がこれらの数値に限定されることを意図したものではない。
【００６６】
また、点線８１０は、フレーム区間の境界位置を表すオブジェクトの一例であり、例えば、境界位置を指すような矢印のオブジェクトを配置しても構わないし、オブジェクトの外形や色、配置方法は上記の各実施形態にて説明したものに限らない。
【００６７】
また、適合度を求めるための上記の手法は一例であり、仮ラベルデータに含まれるサイクルごとのデータについて、該データが定型作業とどの程度一致しているのかを示す適合度が得られるのであれば、適合度の求め方は特定の求め方に限らない。
【００６８】
また、上記の情報処理装置１０１は、上記の手法によって確定した動画像における各フレームのラベルを自身に保持しておいても良いし、外部に出力しても良いし、機械学習に使用することで判定器を生成しても構わない。
【００６９】
また、上記の各実施形態における「選択フレーム区間のラベルの尤度（該ラベルと共に学習モデルが出力した尤度）が閾値以上であるか否か」の判断は、「選択フレーム区間のラベルが規定の基準を満たしているか否かの判断」の一例である。例えば、選択フレーム区間のラベルの他の種類の指標が規定の条件を満たしているか否かを判断するようにしても良い。
【００７０】
また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。
【００７１】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７２】
１０１：情報処理装置  １０２：保持部  １０３：付与部  １０４：保持部  １０５：保持部  １０６：保持部  １０７：判定部  １０８：表示部  １０９：サーバ  １９０：制御部
【図１】
2020113057.tif 000003
【図２】
2020113057.tif 000004
【図３】
2020113057.tif 000005
【図４】
2020113057.tif 000006
【図５】
2020113057.tif 000007
【図６】
2020113057.tif 000008
【図７】
2020113057.tif 000009
【図８】
2020113057.tif 000010
【図９】
2020113057.tif 000011
【図１０】
2020113057.tif 000012
【図１１】
2020113057.tif 000013
【図１２】
2020113057.tif 000014