(57)【要約】【課題】動画データを入力データとして識別器によりクラス判定する。【解決手段】情報処理装置（１）は、動画データ（１２１）を取得する動画取得部（１１１）と、動画データ（１２１）を用いて生成された、動画データ（１２１）よりもデータ量が小さく、かつ、動画データ（１２１）の有していた経時変化する特徴が反映されている判定用データをＦＣＭ識別器に入力して判定結果を出力させる判定部（１１６）と、を備えている。【選択図】図１
2018156316.tif 000002
【特許請求の範囲】
【請求項１】
入力データが所定の複数のクラスの何れに該当するかを、ファジィｃ平均法を用いた識別器によって判定する情報処理装置であって、
上記入力データとして動画データを取得する動画取得部と、
上記動画データを用いて生成された、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを上記識別器に入力して判定結果を出力させる判定部と、を備えていることを特徴とする情報処理装置。
【請求項２】
上記動画データから、該動画データを構成する複数の時系列の静止画データを取得する静止画取得部と、
上記静止画データのそれぞれを次元圧縮して圧縮次元データを生成する次元圧縮部と、
上記圧縮次元データのうち一部の次元番号の圧縮次元データを結合して上記判定用データを生成する判定用データ生成部と、を備えていることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
上記判定用データ生成部は、複数次元の上記圧縮次元データを用いて上記判定用データを生成することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
上記判定用データ生成部は、上記圧縮次元データと、上記動画データに含まれる音声データの特徴を時系列で示す音声特徴データとを用いて上記判定用データを生成することを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
上記複数のクラスには、動画データである入力データに撮影されている事象の後に生じると予測される事象を示すクラスが含まれていることを特徴とする請求項１から４の何れか１項に記載の情報処理装置。
【請求項６】
入力データが所定の複数のクラスの何れに該当するかを、ファジィｃ平均法を用いた識別器によって判定する情報処理装置による情報処理方法であって、
上記入力データとして動画データを取得する動画取得ステップと、
上記動画データを用いて生成された、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを上記識別器に入力して判定結果を出力させる判定ステップと、を含むことを特徴とする情報処理方法。
【請求項７】
請求項１に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、上記動画取得部および上記判定部としてコンピュータを機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力データとクラスとの対応関係を学習させた識別器によってクラス判定する情報処理装置等に関する。
【背景技術】
【０００２】
分類対象である入力データを識別器に入力することにより、その入力データが何れのクラスに分類されるかを判定する手法が知られている。このような識別器は、入力データとクラスとの対応関係を予め学習させることにより、様々な入力データを自動で分類することができる。
【０００３】
例えば、下記非特許文献１には、ファジィｃ平均（以下ＦＣＭ：Fuzzy-C-Means）識別器を用いて駐車場の駐車スペースにおける車両の有無を判定するシステムが開示されている。より詳細には、非特許文献１には、駐車スペースを撮影した画像とその駐車スペースにおける車両の有無との対応関係を学習させたＦＣＭ識別器により、入力した画像中の駐車スペースにおける車両の有無を判定することが記載されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】市橋秀友、堅多達也、藤吉誠、野津亮、本田克宏、“ファジィｃ平均識別器による駐車場のカメラ方式車両検知システム”、知能と情報（日本知能情報ファジィ学会誌）、2010年5月6日、Vol.22、No.5、pp.599-608
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、個々の静止画データについて判定を行うことができるものの、動画データを用いた判定を行うことはできず、このため経時変化する事象に関する判定能力に限界があった。動画データを用いた判定を行うことができなかった要因としては、動画データは静止画データと比較して非常にデータ量が大きく、それゆえ実用に足りるような時間で判定結果を出力することが困難であったことが挙げられる。
【０００６】
本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、動画データを入力データとして識別器によりクラス判定することができる情報処理装置等を実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明に係る情報処理装置は、入力データが所定の複数のクラスの何れに該当するかを、ファジィｃ平均法を用いた識別器によって判定する情報処理装置であって、上記入力データとして動画データを取得する動画取得部と、上記動画データを用いて生成された、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを上記識別器に入力して判定結果を出力させる判定部と、を備えている構成である。
【０００８】
また、本発明に係る情報処理方法は、上記の課題を解決するために、入力データが所定の複数のクラスの何れに該当するかを、ファジィｃ平均法を用いた識別器によって判定する情報処理装置による情報処理方法であって、上記入力データとして動画データを取得する動画取得ステップと、上記動画データを用いて生成された、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを上記識別器に入力して判定結果を出力させる判定ステップと、を含む方法である。
【発明の効果】
【０００９】
本発明の一態様によれば、動画データを入力データとして識別器によりクラス判定することが可能になるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る情報処理装置の要部構成の一例を示すブロック図である。
【図２】ＦＣＭ識別器を構築する処理の一例を示すフローチャートである。
【図３】動画データ、圧縮次元データ、およびトレンドデータの例を示す図である。
【図４】ＦＣＭ識別器が判定対象とする各動作パターンについて、次元番号毎のトレンドデータをグラフで示した図である。
【図５】正解率の高いＦＣＭ識別器の構築に用いたトレンドデータを２つ統合した統合データによりＦＣＭ識別器を構築した例を示す図である。
【図６】構築したＦＣＭ識別器を用いて動画データのクラス判定を行う処理の一例を示すフローチャートである。
【図７】クラス判定処理を行わせるためのＵＩ画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
〔実施形態１〕
本発明の一実施形態について図１から図７に基づいて説明する。
【００１２】
〔装置構成〕
本実施形態に係る情報処理装置の構成を図１に基づいて説明する。図１は、情報処理装置１の要部構成の一例を示すブロック図である。情報処理装置１は、入力データとクラスとの対応関係を学習させたＦＣＭ識別器（ファジィｃ平均法を用いた識別器）によってクラス判定する機能を備えている。情報処理装置１は、例えばパーソナルコンピュータ等であってもよい。
【００１３】
情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１１、情報処理装置１が使用する各種データを格納する記憶部１２、情報処理装置１に対するデータ等の入力を受け付ける入力部１３、およびデータを出力する出力部１４を備えている。なお、記憶部１２は、情報処理装置１の外部に設けられていてもよい。
【００１４】
また、制御部１１には、動画取得部１１１、静止画取得部１１２、次元圧縮部１１３、トレンドデータ生成部（判定用データ生成部）１１４、識別器構築部１１５、判定部１１６、および正解率算出部１１７が含まれている。そして、記憶部１２には、動画データ１２１が格納されている。
【００１５】
動画取得部１１１は、ＦＣＭ識別器の入力データとして動画データを取得する。動画取得部１１１は、記憶部１２に格納されている動画データ１２１を取得してもよいし、入力部１３等から情報処理装置１に入力された動画データをそのまま取得してもよい。
【００１６】
静止画取得部１１２は、動画データから該動画データを構成する複数の時系列の静止画データを取得する。以下では、この複数の時系列の静止画データを連続画像データと呼ぶ。静止画取得部１１２は、動画データ１２１を構成する静止画を所定時間間隔で切り出すことによって連続画像データを取得してもよい。
【００１７】
次元圧縮部１１３は、連続画像データのそれぞれを次元圧縮して圧縮次元データを生成する。圧縮次元データは、連続画像データを主成分分析することによって生成することができる。圧縮次元データは、その生成元となった連続画像データよりもデータ量が小さく、かつ連続画像データの有していた特徴点が反映されているデータである。
【００１８】
トレンドデータ生成部１１４は、圧縮次元データのうち一部の次元番号の圧縮次元データを、当該圧縮次元データの元になった静止画データの時系列順に結合してトレンドデータ（判定用データ）を生成する。トレンドデータは、動画取得部１１１が取得した動画データよりもデータ量が小さく、かつ、当該動画データの有していた経時変化する特徴が反映されているデータである。
【００１９】
識別器構築部１１５は、トレンドデータを用いてＦＣＭ識別器を構築する。具体的には、識別器構築部１１５は、各クラスについて、当該クラスが既知である動画データ（より詳細には、該動画データから切り出された連続画像データから生成されたトレンドデータ）を訓練データとしてＦＣＭ識別器を構築する。次に、識別器構築部１１５は、上記構築したＦＣＭ識別器を用いたクラス判定を判定部１１６に行わせる。このクラス判定には、クラスが既知である複数の動画データから切り出された連続画像データからそれぞれ生成されたトレンドデータを教師データとして用いる。そして、識別器構築部１１５は、このクラス判定の結果が誤りであったトレンドデータを訓練データに追加してＦＣＭ識別器を再構築する。識別器構築部１１５は、これらの処理を所定回数繰り返すことにより、ＦＣＭ識別器を構築する。なお、クラス判定の正解率を正解率算出部１１７に算出させて、その正解率が閾値に到達するまで上記の処理を繰り返すことにより、ＦＣＭ識別器を構築する。この場合、所定回数繰り返しても閾値に到達しなければ、その時点で学習を終了してもよい。
【００２０】
判定部１１６は、識別器構築部１１５が構築したＦＣＭ識別器にトレンドデータを入力して判定結果を出力させる。なお、詳細は後述するが、ＦＣＭ識別器の入力データは、複数のトレンドデータを用いて生成された統合データであってもよい。統合データを用いる場合、ＦＣＭ識別器の構築においても統合データを訓練データおよび教師データとして用いる。なお、統合データの詳細は後述する。
【００２１】
正解率算出部１１７は、ＦＣＭ識別器の正解率を計算する。正解率は、クラスが既知である入力データをＦＣＭ識別器に入力し、その出力結果と既知のクラスとが一致していれば正解、不一致であれば不正解とする処理を、複数の入力データについて行うことにより算出できる。
【００２２】
動画データ１２１は、クラス判定の対象となるデータであり、ＦＣＭ識別器に入力されるデータである。また、動画データ１２１には、ＦＣＭ識別器を構築するために用いる教師データが含まれていてもよい。教師データは、クラスが既知である動画データであり、判定対象のクラスのそれぞれについて複数用意される。ＦＣＭ識別器は、教師データの中から選択した（選択方法は特に限定されず、例えばランダムに選択してもよい）データを訓練データとして構築することができる。
【００２３】
〔処理の流れ（ＦＣＭ識別器の構築）〕
ＦＣＭ識別器を構築する処理（情報処理方法）の流れを図２に基づいて説明する。図２は、ＦＣＭ識別器を構築する処理の一例を示すフローチャートである。なお、本処理の前に、ＦＣＭ識別器による判定の対象となる各状態を撮影した動画データが入力部１３を介して情報処理装置１に入力され、記憶部１２に動画データ１２１（教師データ）として格納されている。つまり、ここで構築するＦＣＭ識別器は、入力された動画データに写っている対象が、所定の複数の状態（クラス）の何れに該当するかを判定するためのものである。
【００２４】
Ｓ１では、動画取得部１１１は、記憶部１２から各状態の動画データ１２１を取得する。続くＳ２では、静止画取得部１１２は、Ｓ１で取得された動画データ１２１を連続画像データに変換する。例えば、静止画取得部１１２は、動画データ１２１を構成する静止画を０．１秒間隔で切り出すことによって連続画像データを取得してもよい。
【００２５】
なお、静止画を切り出す時間間隔は、動画データ１２１の内容に応じて変更することが好ましい。より詳細には、動きの速い動画データ１２１の場合、動画データ１２１の画像が経時変化する様子が各静止画から把握できる程度に短い間隔で切り出すことが望ましい。逆に、動きの遅い動画データ１２１の場合、同様の静止画が多数切り出されることがなく、各静止画が異なるものとなる程度に長い間隔で切り出すことが望ましい。
【００２６】
Ｓ３では、次元圧縮部１１３は、静止画取得部１１２が取得した連続画像データのそれぞれについて次元圧縮を行い、圧縮次元データを生成する。例えば、１００次元に次元圧縮した場合、連続画像データのそれぞれについて、１００の圧縮次元データが生成される。
【００２７】
Ｓ４では、トレンドデータ生成部１１４は、各連続画像データの圧縮次元データのうち、ｎ次元目の圧縮次元データからトレンドデータを生成する。Ｓ４の処理を行うのが初回であればｎ＝１とする。つまり、１次元目の圧縮次元データからトレンドデータを生成する。なお、以下ｎを次元番号と呼ぶ。基本的には、次元番号が小さい圧縮次元データの方が次元番号の大きい圧縮次元データと比べて、連続画像データの特徴点をよく反映している。
【００２８】
Ｓ５では、識別器構築部１１５は、Ｓ４で生成されたトレンドデータを用いてＦＣＭ識別器を構築する。なお、Ｓ１〜Ｓ４の処理は、所定数の教師データ（クラスが既知の動画データ１２１）のそれぞれについて行われる。そして、Ｓ５では、各教師データから生成されたトレンドデータの一部を訓練データとしてＦＣＭ識別器が構築される。
【００２９】
Ｓ６では、正解率算出部１１７は、Ｓ５で構築されたＦＣＭ識別器の正解率を計算する。具体的には、判定部１１６は、Ｓ５で構築されたＦＣＭ識別器により、所定数の教師データを入力としてクラス判定を行う。そして、正解率算出部１１７は、このクラス判定の結果について正解率を算出する。正解率は、各クラスについて算出する。
【００３０】
Ｓ７では、識別器構築部１１５は、所定数のＦＣＭ識別器を構築済みであるか否かを判定する。上記所定数は、Ｓ３の次元圧縮における次元数以下で適宜設定すればよい。所定数を大きくするほど、判定精度の高いＦＣＭ識別器を構築できる可能性が高まるが、構築に要する時間も長くなるので、必要な精度と許容できる処理時間に応じて上記所定数を設定することが好ましい。
【００３１】
Ｓ７で識別器構築部１１５が構築済みではないと判定した場合（Ｓ７でＮＯ）、トレンドデータ生成部１１４は、次元番号ｎに１を加算して（Ｓ８）、Ｓ４の処理を行う。これにより、前回生成したトレンドデータよりも次元番号が１大きい圧縮次元データからトレンドデータが生成される。一方、Ｓ７で識別器構築部１１５が構築済みであると判定した場合（Ｓ７でＹＥＳ）、処理はＳ９に進む。
【００３２】
Ｓ９では、識別器構築部１１５は、Ｓ６で正解率が計算済みとなった所定数のＦＣＭ識別器のうち、正解率の高いＦＣＭ識別器を複数特定し、それらのＦＣＭ識別器の構築に用いたトレンドデータを特定する。そして、トレンドデータ生成部１１４は、特定されたそれらのトレンドデータを統合する。以下、統合により生成されたトレンドデータを統合データと呼ぶ。
【００３３】
Ｓ１０では、識別器構築部１１５は、Ｓ９で得られた統合データを用いてＦＣＭ識別器を構築する。これにより、ＦＣＭ識別器を構築する処理は終了となる。
【００３４】
〔ＦＣＭ識別器の構築例〕
ＦＣＭ識別器の構築例を図３〜図５に基づいて説明する。図３は、動画データ１２１、圧縮次元データ、およびトレンドデータの例を示す図である。
【００３５】
これらの例では、車のワイパーの５つの動作パターンを判定対象のクラスとしている。具体的な動作パターンは、（１）ワイパーが低速動作と一時停止を繰り返す、（２）ワイパーが低速で動作、（３）ワイパーが高速で動作、（４）ワイパーが停止、および（５）ワイパーが動作途中で停止（異常停止）、の５つである。
【００３６】
図３の例では、１２秒間の動画データ（上記（１）〜（５）の何れかの動作パターンのワイパーを撮影したもの）から０．１秒間隔で静止画を切り出して画像１〜画像１２０までの１２０枚の連続画像データを取得している。
【００３７】
また、図３の例では、これらの連続画像データのそれぞれを１００次元に次元圧縮して圧縮次元データを生成している。具体的には、画像１からは、Ａ１_１〜Ａ１_１００の１００個の要素からなる圧縮次元データを生成している。画像２以降も同様であり、各連続画像データについて、１００個の要素からなる圧縮次元データが生成される。
【００３８】
そして、図３の例では、各圧縮次元データの構成要素のうち、次元番号が同じである要素を、その圧縮次元データの元になった静止画データの時系列順で結合したものをトレンドデータとしている。具体的には、各圧縮次元データの構成要素のうち、次元番号が１であるＡ１_１〜Ａ１２０_１をこの順（画像１〜１２０の順）で並べたものを、次元番号１についてのトレンドデータとしている。そして、同じ要領で次元番号２〜１０についてもトレンドデータを生成している。
【００３９】
なお、図３では、１つの動作パターンに対応する動画データからトレンドデータを生成する例を示しているが、他の動作パターンの動画データについても同様にトレンドデータを生成する。このようにして生成したトレンドデータは、各動作パターンの特徴を表すものとなる。これについて、図４に基づいて説明する。
【００４０】
図４は、ＦＣＭ識別器が判定対象とする各動作パターンについて、次元番号毎のトレンドデータをグラフで示した図である。図示のように、トレンドデータのグラフ形状は、同じ動作パターンに対応しているものであっても、次元番号ごとにそれぞれ異なっている。このことから、各次元番号のトレンドデータは、同じ動作パターンに対応しているものであっても、それぞれ異なる特徴を示すものとなっていることが分かる。また、トレンドデータのグラフ形状は、同じ次元番号に対応しているものであっても、動作パターンごとにそれぞれ異なっている。このことから、トレンドデータは、各次元番号において、各動作パターンの特徴を示すものとなっていることが分かる。
【００４１】
ただし、例えば次元番号１のような、動作パターンごとの差異が大きいトレンドデータが存在する一方、例えば次元番号３のような、動作パターンごとの差異が小さいトレンドデータも存在する。このため、何れのトレンドデータを用いるかによって、構築されるＦＣＭ識別器の判定精度は異なるものとなる。
【００４２】
そこで、本実施形態では、図２のＳ４〜Ｓ８に示したように、複数の次元番号のトレンドデータをそれぞれ用いて複数のＦＣＭ識別器を構築する。そして、構築した各ＦＣＭ識別器に所定数の教師データを入力して判定結果を取得し、その判定結果から正解率を計算する。これにより、高い判定精度のＦＣＭ識別器を構築できるトレンドデータを選別することができる。
【００４３】
なお、トレンドデータの選別方法はこの例に限られない。例えば、トレンドデータの経時変化が、動画像データの特徴点を反映している程度を統計的に評価し、動画像データの特徴点をよく反映しているトレンドデータを選別してもよい。また、例えば、図４に示すように各トレンドデータの経時変化の態様を可視化して、ユーザが動画像データの特徴点をよく反映しているトレンドデータを選別してもよい。
【００４４】
また、本実施形態では、高い判定精度のＦＣＭ識別器を構築できるトレンドデータを複数組み合わせることにより、さらに判定精度の高いＦＣＭ識別器を構築する。図５は、正解率の高いＦＣＭ識別器の構築に用いたトレンドデータを２つ統合した統合データによりＦＣＭ識別器を構築した例を示す図である。
【００４５】
図示の例では、次元番号１のトレンドデータと次元番号８のトレンドデータ（何れも１２０個の構成要素を有する）を結合して、構成要素数が２４０個の統合データを生成している。より詳細には、次元番号１のトレンドデータの構成要素の後に、次元番号８のトレンドデータの構成要素をそのままつなぎ合わせて統合データとしている。なお、トレンドデータの統合の方法は、各トレンドデータの特徴点が失われないようなものであればよく、図示の例に限られない。例えば、次元番号８のトレンドデータの構成要素の後に、次元番号１のトレンドデータの構成要素をつなぎ合わせてもよい。また、統合するトレンドデータの数は３以上であってもよい。また、統合するトレンドデータの実効値に大きな差がある場合には、例えば波形を−１〜１の数値範囲に正規化するなどして差を小さくしてから統合してもよい。さらに、例えば、各時系列の特徴が消えなければ、統合対象のトレンドデータの構成要素を加算したり、掛け合わせたりして得た値を統合データとしてもよい。また、統合対象のトレンドデータの相関係数を統合データとすることも可能である。どのような統合データを用いるかはＦＣＭ識別器の判定対象等に応じて適宜決定すればよい。例えば、統合方式の異なる複数の統合データをそれぞれ用いてＦＣＭ識別器を構築し、その正解率を比較することにより、より好ましい統合方式を特定することができる。
【００４６】
このような統合データを用いてＦＣＭ識別器を構築することにより、さらに判定精度の高いＦＣＭ識別器を構築することができる。図５の例では、次元番号１のトレンドデータを用いて構築したＦＣＭ識別器の正解率が、５つの動作パターンの総合で９３．７５％であり、次元番号８のトレンドデータを用いて構築したＦＣＭ識別器の正解率が、５つの動作パターンの総合で９１．６３％である。何れも高い正解率であるが、統合データを用いて構築したＦＣＭ識別器の正解率はこれらの何れをも上回り、５つの動作パターンの総合で９８．１１％であった。
【００４７】
〔処理の流れ（ＦＣＭ識別器を用いた判定）〕
上述のようにして構築したＦＣＭ識別器を用いて動画データ１２１のクラス判定を行うときの処理（情報処理方法）について図６に基づいて説明する。図６は、構築したＦＣＭ識別器を用いた動画データ１２１のクラス判定処理の一例を示すフローチャートである。
【００４８】
まず、動画取得部１１１は、記憶部１２から判定対象の動画データ１２１を取得する（Ｓ１１、動画取得ステップ）。次に、静止画取得部１１２は、Ｓ１１で取得された動画データ１２１を連続画像データに変換する（Ｓ１２、静止画取得ステップ）。そして、次元圧縮部１１３は、静止画取得部１１２が取得した連続画像データのそれぞれについて次元圧縮を行い、圧縮次元データを生成する（Ｓ１３、次元圧縮ステップ）。次元圧縮の際の次元数は、ＦＣＭ識別器を構築したときと同じとする。
【００４９】
続いて、トレンドデータ生成部１１４は、Ｓ１３で生成された圧縮次元データを用いて統合データを生成する（Ｓ１４、判定用データ生成ステップ）。より詳細には、トレンドデータ生成部１１４は、Ｓ１３で生成された圧縮次元データの各要素の値に関するトレンドデータを生成する。そして、生成したトレンドデータのうち、適切なトレンドデータを選択し、それらを統合して統合データを生成する。なお、適切なトレンドデータは、ＦＣＭ識別器を構築したときに用いたトレンドデータと同じ次元番号のトレンドデータである。例えば、次元番号１と８のトレンドデータをこの順で結合した統合データでＦＣＭ識別器を構築していた場合、Ｓ１４でも次元番号１と８のトレンドデータをこの順で結合した統合データを生成する。
【００５０】
そして、判定部１１６は、構築済みのＦＣＭ識別器にＳ１４で生成された統合データを入力してクラス判定を行い（Ｓ１５、判定ステップ）、判定結果を出力部１４に出力させる（Ｓ１６）。これによりクラス判定処理は終了する。
【００５１】
〔ＵＩ（User Interface）例〕
ユーザが情報処理装置１にクラス判定処理を行わせるためのＵＩは、例えば図７のようなものであってもよい。図７は、クラス判定処理を行わせるためのＵＩ画面の一例を示す図である。なお、出力部１４が画像を表示する表示装置であれば、ＵＩ画面は出力部１４に表示させればよく、出力部１４が情報処理装置１に接続された表示装置に画像を出力させる画像出力部であれば、ＵＩ画面は出力部１４を介して表示装置に表示させればよい。
【００５２】
図７のＵＩ画面２には、判定対象の動画データを表示させる動画表示領域２１、判定対象の動画データを選択するためのデータ選択キー２２、クラス判定処理を開始させるスタートキー２３、およびＵＩ画面２の表示を終了する終了キー２４が含まれている。また、ＵＩ画面２には、判定対象の各クラスとその説明文の表示領域２５と、結果表示領域２６が含まれている。
【００５３】
本ＵＩ画面を使用するユーザは、まず、データ選択キーを選択して記憶部１２に格納されている動画データ１２１のうち所望のものを選択する。これにより、動画表示領域には、選択した動画データ１２１が表示される。そして、ユーザは、表示された動画データ１２１が所望の内容であることを確認した後、スタートキーを選択する。
【００５４】
これにより、上述のクラス判定処理（より詳細には図６のＳ１２〜Ｓ１５の処理）が行われ、判定結果表示領域に判定結果が表示される。ＦＣＭ識別器では、１つのクラスタが複数のクラスタに同時に部分的に所属することを許容するので、基本的に複数のクラスが判定結果として出力される。図示の例では、結果表示領域２６において、クラス１に該当する確率が５．３５％、クラス２に該当する確率が９４．６３％、クラス３に該当する確率が０．０２％と表示されており、他のクラスに該当する確率は０と表示されている。図示の例のように、判定部１１６は、最も確率の高いクラスを他のクラスと異なる表示態様でハイライト表示することが好ましい。これにより、動画データ１２１が該当する可能性の高いクラスをユーザに一目で認識させることができる。
【００５５】
〔動画データ以外のデータを併用したＦＣＭ識別器の構築〕
ＦＣＭ識別器は、動画データと動画データ以外のデータを併用して構築することもできる。例えば、トレンドデータ生成部１１４は、動画データから取得した静止画データの次元圧縮データから成るトレンドデータと、動画データに含まれる音声データの特徴を時系列で示す音声特徴データとを用いて判定用データを生成してもよい。音声特徴データは、音声データの特徴を時系列で示すものであればよく、例えば音声データをフーリエ変換することによって生成されるスペクトルデータを音声特徴データとしてもよい。このような音声特徴データと、動画データ由来のトレンドデータとをそのまま結合させることにより、ＦＣＭ識別器に入力する判定用データを生成することができる。無論、この場合、ＦＣＭ識別器の構築の際には、学習データから、上記判定用データと同じ手法で生成したデータを用いる。
【００５６】
また、例えば動画データの撮影期間中に計測された振動の特徴を時系列で示す振動特徴データを用いて判定用データを生成することも可能である。この他にも、例えば動画データの撮影期間中に任意のセンサで検知した事象について、その事象の特徴を時系列で示す特徴データを用いて判定用データを生成すること等も可能である。
【００５７】
なお、動画データを用いて構築したＦＣＭ識別器と、動画データ以外のデータを用いて構築したＦＣＭ識別器とを併用して、動画データに撮影されている事象を判定してもよい。例えば、これら２種の識別器の判定結果が同じクラスを示していれば、動画データに撮影されている事象は当該クラスの示す事象である可能性が高い。つまり、２種の識別器の併用により、クラス判定結果の信頼性を高めることができる。一方、これら２種の識別器の判定結果が異なるクラスを示している場合には、何れか一方の識別器の判定が誤っている可能性もあるが、異音が発生している等の事態も想定される。よって、２種の識別器の判定結果が異なるクラスを示している場合には、動画データの撮影対象に異常が発生していると判定することもできる。つまり、２種の識別器の併用により、動作異常を検出することも可能になる。例えば、ワイパーの動作を撮影した動画データと、その音声データとをそれぞれ用いてクラス判定を行い、それらのクラス判定結果が不一致である場合に、ワイパーの動作異常が発生したと判定することもできる。
【００５８】
〔変形例〕
上述の情報処理装置１は、ＦＣＭ識別器の構築と、構築したＦＣＭ識別器による判定との両方を行っているが、これらの処理は個別の装置で行ってもよい。つまり、本発明の情報処理装置は、他の情報処理装置で構築されたＦＣＭ識別器を用いてクラス判定を行うものであってもよい。この場合、他の情報処理装置はクラウド上に配置されたサーバであってもよい。また、本発明の情報処理装置は、他の情報処理装置にクラス判定させるためのＦＣＭ識別器を構築するものであってもよい。
【００５９】
上述の実施形態では、動画データに撮影されている事象を複数のクラスとしているが、判定対象とするクラスには動画データに撮影されている事象の後に生じると予測される事象を示すクラスが含まれていてもよい。
【００６０】
例えば、動画データに撮影されている事象が、ごみ焼却炉の燃焼室内でごみが燃えているという事象である場合に、燃えているごみが、その後、正常に燃え続けるという事象と、異常燃焼となるという事象とをそれぞれ判定対象のクラスとしてもよい。これにより、燃焼室内を撮影した画像から、その画像の撮影後に、ごみの燃焼状態がどのようになるかを予測することも可能になる。
【００６１】
〔ソフトウェアによる実現例〕
情報処理装置１の制御ブロック（特に制御部１１に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００６２】
後者の場合、情報処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００６３】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００６４】
〔まとめ〕
本発明の一態様に係る情報処理装置は、入力データが所定の複数のクラスの何れに該当するかを、ファジィｃ平均法を用いた識別器によって判定する情報処理装置であって、上記入力データとして動画データを取得する動画取得部と、上記動画データを用いて生成された、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを上記識別器に入力して判定結果を出力させる判定部と、を備えている構成である。
【００６５】
上記の構成によれば、識別器に入力する判定用データが、動画データを用いて生成されたものであり、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されているデータである。動画データよりもデータ量が小さい判定用データを用いることにより、識別器の判定にかかる処理時間を短縮することができる。また、判定用データには動画データの有していた経時変化する特徴が反映されているのでこの特徴に基づく判定が可能である。よって、動画データを入力データとして、実用に耐える処理時間で識別器によりクラス判定することが可能になる。
【００６６】
上記情報処理装置は、上記動画データから、該動画データを構成する複数の時系列の静止画データを取得する静止画取得部と、上記静止画データのそれぞれを次元圧縮して圧縮次元データを生成する次元圧縮部と、上記圧縮次元データのうち一部の次元番号の圧縮次元データを結合して上記判定用データを生成する判定用データ生成部と、を備えていてもよい。
【００６７】
上記の構成によれば、動画データから時系列の静止画データを取得し、静止画データのそれぞれを次元圧縮して圧縮次元データを生成し、各静止画データに対応する圧縮次元データのうち一部の次元の圧縮次元データを用いて判定用データを生成する。これらの構成では、何れも時系列のデータを取得することが可能であるから、これらの構成により生成された判定用データには、動画データが有していた、経時変化する特徴を反映させることができる。また、これらの構成は、何れもデータ量を減らすものであるから、これらの構成により生成された判定用データは、動画データよりもデータ量が小さい。よって、実用に耐える処理時間でのクラス判定を可能にする判定用データを生成し、これにより、動画データを入力データとして識別器によりクラス判定することができる。
【００６８】
上記判定用データ生成部は、複数次元の上記圧縮次元データを用いて上記判定用データを生成してもよい。
【００６９】
異なる次元の圧縮次元データは、静止画データの異なる特徴点に対応しているから、複数次元の圧縮次元データを用いて判定用データを生成する上記の構成によれば、複数の異なる特徴点に基づいてクラス判定を行うことができる。これにより、１つの特徴点に基づいてクラス判定を行う場合と比べて、判定精度を向上させることが可能になる。
【００７０】
上記判定用データ生成部は、上記圧縮次元データと、上記動画データに含まれる音声データの特徴を時系列で示す音声特徴データとを用いて上記判定用データを生成してもよい。
【００７１】
上記の構成によれば、圧縮次元データと、動画データに含まれる音声データの特徴を時系列で示す音声特徴データとを用いて判定用データを生成する。よって、音声データの特徴も加味したクラス判定を行うことができる。
【００７２】
上記複数のクラスには、動画データである入力データに撮影されている事象の後に生じると予測される事象を示すクラスが含まれていてもよい。
【００７３】
上記の構成によれば、動画データに撮影されている事象の後に生じる事象、すなわち動画データに撮影されていない事象を予測することができる。１つの静止画データからはこのような予測は困難であるが、時系列の判定用データを用いる上記構成によれば、このような予測も可能となる。例えば、動画データに撮影されている事象が、ごみ焼却炉の燃焼室内でごみが燃えているという事象である場合に、燃えているごみが、その後、正常に燃え続けるか、異常燃焼となるかを予測することも可能になる。
【００７４】
本発明の一態様に係る情報処理方法は、入力データが所定の複数のクラスの何れに該当するかを、ファジィｃ平均法を用いた識別器によって判定する情報処理装置による情報処理方法であって、上記入力データとして動画データを取得する動画取得ステップと、上記動画データを用いて生成された、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを上記識別器に入力して判定結果を出力させる判定ステップと、を含む方法である。この情報処理方法によれば、上記情報処理装置と同様の作用効果を奏する。
【００７５】
上述の情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【符号の説明】
【００７６】
１  情報処理装置
１２１  動画データ
１１１  動画取得部
１１２  静止画取得部
１１３  次元圧縮部
１１４  トレンドデータ生成部（判定用データ生成部）
１１６  判定部
【図１】
2018156316.tif 000003
【図２】
2018156316.tif 000004
【図３】
2018156316.tif 000005
【図４】
2018156316.tif 000006
【図５】
2018156316.tif 000007
【図６】
2018156316.tif 000008
【図７】
2018156316.tif 000009