(57)【要約】【課題】変化点前後の情報を考慮して変化要因を特定し、特徴的な情報をユーザにフィードバックするための技術を提供する。【解決手段】情報処理装置であって、時系列に並んだデータから変化点を検出する検出部と、検出された変化点前後のデータを抽出する抽出部と、変化点前後のデータの関係情報を生成する生成部と、関係情報に基づいて特徴空間における変化要因を特定する特定部と、変化要因の情報及び変化点前後のデータを情報提示装置に提示させる制御部とを備える。【選択図】  図５
2019149028.tif 000002
【特許請求の範囲】
【請求項１】
時系列に並んだデータから変化点を検出する検出手段と、
前記検出された変化点前後のデータを抽出する抽出手段と、
前記変化点前後のデータの関係情報を生成する生成手段と、
前記関係情報に基づいて特徴空間における変化要因を特定する特定手段と、
前記変化要因の情報及び前記変化点前後のデータを情報提示装置に提示させる制御手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記検出手段は、前記時系列に並んだデータの特徴量に基づいて前記変化点を検出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検出手段は、赤池情報量規準を用いて前記変化点を検出することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記検出手段は、シュワルツ情報量基準を用いて前記変化点を検出することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項５】
前記生成手段は、前記変化点前後のデータに基づいて変化ベクトルを算出し、当該変化ベクトルを前記関係情報として生成することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記変化ベクトルは、変化点前後のデータの重心の変位を示すことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記生成手段は、前記変化点前後のデータの各特徴次元の分離度に基づいて変化ベクトルを算出し、当該変化ベクトルを前記関係情報として生成することを特徴とする請求項５又は６に記載の情報処理装置。
【請求項８】
前記分離度は、データの分布の重なり度合であることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記分離度は、クラス内分散とクラス間分散との比であることを特徴とする請求項７に記載の情報処理装置。
【請求項１０】
前記特定手段は、前記関係情報として算出された前記変化ベクトルと、変化要因に対応する変化ベクトルの参照データとを照合することにより、変化要因を特定することを特徴とする請求項５乃至９の何れか１項に記載の情報処理装置。
【請求項１１】
前記照合は、ユークリッド距離を用いて行われることを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記照合は、マハラノビス距離を用いて行われることを特徴とする請求項１０に記載の情報処理装置。
【請求項１３】
前記制御手段は、前記変化点前後のデータを圧縮して前記情報提示装置に提示させることを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
【請求項１４】
前記制御手段は、多次元尺度構成法又はｉｓｏｍａｐを用いて前記変化点前後のデータを圧縮することを特徴とする請求項１３に記載の情報処理装置。
【請求項１５】
前記関係情報を用いて変化要因画像を生成する画像生成手段をさらに備えることを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
【請求項１６】
前記生成手段は、前記変化点前後のデータに基づいて変化ベクトルを算出し、当該変化ベクトルを前記関係情報として生成し、
前記画像生成手段は、データの特徴量ごとにスコアマップを生成し、前記変化ベクトルを用いて前記スコアマップを統合することにより前記変化要因画像を生成することを特徴とする請求項１５に記載の情報処理装置。
【請求項１７】
情報処理装置の制御方法であって、
検出手段が、時系列に並んだデータから変化点を検出する工程と、
抽出手段が、前記検出された変化点前後のデータを抽出する工程と、
生成手段が、前記変化点前後のデータの関係情報を生成する工程と、
特定手段が、前記関係情報に基づいて特徴空間における変化要因を特定する工程と、
制御手段が、前記変化要因の情報及び前記変化点前後のデータを情報提示装置に提示させる工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項１８】
コンピュータを、請求項１乃至１６の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関し、特に、検査で使用する映像の変化にロバストな検査技術に関するものである。
【背景技術】
【０００２】
外観検査のタスクにおいて、検査対象物を撮影した画像から画素値の平均や分散といった多様な特徴量群を抽出し、予め識別モデルを生成し、生成したモデルを用いて良否判定（良品と不良品の２クラス判別）を行う手法がある。しかし、撮影条件や製造プロセスの変化により、これまで用いていたモデルを利用できなくなることがある。そこで、撮影条件や製造プロセスが変化した点を検出し、変化点前後で異なるモデルを生成する必要があるが、変化点を正しく検出できているかが不明であるとともに、変化点前後の状態も不明である。
【０００３】
これに対して、特許文献１では、あらかじめ撮影条件や製造プロセスの変化等の要因情報を読み込み、特徴ごとに類似度と重みを積算し、特徴に関して積算値を足し合わせた相互関連度を算出する。そして、この相互関連度から関係する撮影条件や製造プロセスの変化等の変化要因を特定している。
【０００４】
特許文献２では、異常度の閾値処理により、変化点を検出し、検出した変化点において、閾値以上のスコアを持つ特徴を選択する。そして、選択した特徴のスコアを時系列にプロットし、プロットしたデータの変化点と異常度の変化点とが対応しているかどうかを判定することにより、特徴を分析している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１４／０６８７５８号
【特許文献２】特許第５４６４３７１号公報
【特許文献３】特許第５４１４４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、変化点に着目しているだけであって、変化点前後の情報を考慮した上で撮影条件や製造プロセスの変化等の変化要因を特定しているわけではない。特許文献２でも、変化点前後の特徴をプロットしているだけであって、変化要因を特定しているわけではない。すなわち、従来の技術では、変化点前後の情報を考慮して変化要因を特定することができないことから、特徴的な情報をユーザにフィードバックすることが難しいという課題がある。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、変化点前後の情報を考慮して変化要因を特定し、特徴的な情報をユーザにフィードバックするための技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成する本発明に係る情報処理装置は、
時系列に並んだデータから変化点を検出する検出手段と、
前記検出された変化点前後のデータを抽出する抽出手段と、
前記変化点前後のデータの関係情報を生成する生成手段と、
前記関係情報に基づいて特徴空間における変化要因を特定する特定手段と、
前記変化要因の情報及び前記変化点前後のデータを情報提示装置に提示させる制御手段と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、変化点前後の情報を考慮して変化要因を特定し、特徴的な情報をユーザにフィードバックすることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る情報提示システムの構成例を示した図である。
【図２】第１の実施形態に係る情報処理装置の機能ブロック図である。
【図３】第１の実施形態に係る情報処理装置による情報提示処理の流れを示すフローチャートである。
【図４】第１の実施形態に係るハール・ウェーブレット変換の概略図である。
【図５】第１の実施形態に係るステップＳ３０４の処理の流れを示すフローチャートである。
【図６】第１の実施形態に係る特定した変化要因と対応する変化要因スコアを提示した結果である。
【図７】第１の実施形態に係る変化点前のデータの状態及び変化点後のデータ状態の表示結果である。
【図８】第１の実施形態に係るステップＳ５０４における変化要因特定方法のフローチャートである。
【図９】第２の実施形態に係るステップＳ３０４の処理の流れを示すフローチャートである。
【図１０】第２の実施形態に係るステップＳ９０３の処理の詳細を示すフローチャートである。
【図１１】第３の実施形態に係る情報処理装置の機能ブロック図である。
【図１２】第３の実施形態に係るステップＳ３０４の処理の流れを示すフローチャートである。
【図１３】第３の実施形態に係るステップＳ１２０７における変化要因画像の生成処理の詳細を示すフローチャートである。
【図１４】第３の実施形態に係る変化要因画像を生成する方法を示す概略図である。
【図１５】第４の実施形態に係る情報提示システムの構成例を示した図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
（第１の実施形態）
本実施形態では、検査ライン上で検査対象物が運ばれており、画像を撮影して検査し、検査結果を表示するタスクを例として説明を行う。
【００１３】
第１の実施形態では、空間における変化点前後の関係情報を生成し、変化点前後の状態の変化の要因を特定して提示する処理を説明する。
【００１４】
＜システム構成＞
図１は、第１の実施形態に係る情報提示システムの構成例を示した図である。１０１は、検査対象物を示す。この検査対象物１０１の外観に対し、正常又は異常の判定が行われる。１０２は、画像撮影装置である。画像撮影装置１０２は、検査対象物１０１の画像の撮影を行う。１０３は、情報処理装置である。情報処理装置１０３は、画像撮影装置１０２により撮影された画像に対して、予め選択された特徴量を抽出する。そして、時系列に並んだ特徴量群に対して、変化点検出手法により変化点の検出を行う。そして、変化点前後の関係情報を生成し、変化点前後の状態の変化の要因を特定する。
【００１５】
１０４は、情報提示装置である。情報提示装置１０４は、変化点前後の特徴空間における状態を表示したり、特定された変化要因を表示したりするなど、各種情報を表示する。１０５は、光源を示す。欠陥の可視化のために、光源１０５から検査対象物１０１に光が照射され、画像撮影装置１０２により画像が撮影される。
【００１６】
＜装置構成＞
図２は、本実施形態に係る情報処理装置１０３の機能構成例を示す図である。情報処理装置１０３は、特徴量抽出部２０１と、特徴量選択部２０２と、選択特徴量抽出部２０３と、変化点検出部２０４と、変化点前後データ抽出部２０５と、関係情報生成部２０６と、変化要因特定部２０７と、提示制御部２０８とを備えている。
【００１７】
特徴量抽出部２０１は、画像撮像装置１０２により検査対象領域を撮像して得られた画像（学習データ）から特徴量を算出して抽出する。特徴量については後述する。特徴量選択部２０２は、特徴量抽出部２０１により算出された特徴量に対して、特徴量の選択を行うことにより特徴量の順位付けを行い、予め決められた数の特徴量を選択する。選択特徴量抽出部２０３は、特徴量選択部２０２により選択された特徴量を、テストデータから時系列に抽出する。
【００１８】
変化点検出部２０４は、選択特徴量抽出部２０３により抽出された時系列に並んだ特徴量に対して、変化点検出処理を行う。変化点の検出方法については後述する。変化点前後データ抽出部２０５は、変化点検出部２０４により検出された、変化点前の時系列に並んだ複数のデータの特徴量ベクトルと、変化点後の時系列に並んだ複数のデータの特徴ベクトルとを抽出する。
【００１９】
関係情報生成部２０６は、変化点前後データ抽出部２０５により抽出された変化点前後のデータについて、変化点前後の関係情報を生成する。変化要因特定部２０７は、関係情報生成部２０６により生成された変化点前後の関係情報を用いて、変化点前後の状態の変化要因を特定する。提示制御部２０８は、変化点前後データ抽出部２０５により抽出された変化点前後のデータや、変化要因特定部２０７により特定された変化要因などの各種情報を情報提示装置１０４へ出力して提示させる。
【００２０】
＜処理＞
続いて、図３のフローチャートを参照して、本実施形態に係る処理の手順を説明する。検査対象物１０１の欠陥検出のタスクを例に、ステップＳ３０１からステップＳ３０６までの処理を説明する。
【００２１】
（ステップＳ３０１：学習データに対する特徴量抽出）
ステップＳ３０１では、特徴量抽出部２０１は、入力された画像データの検査対象領域から特徴量を抽出する。複数の特徴量を用いる場合は、例えば対象画像の注目領域に対してハール・ウェーブレット（Haar Wavelet）変換を行い、階層的に画像を生成する。ハール・ウェーブレット変換とは、簡単に述べると、位置情報を保持したまま周波数変換する処理である。
【００２２】
ここで、図４は、ハール・ウェーブレット変換の概略図である。まず、対象画像データに対して、４種類のフィルタ（式１−１〜１−４）を用意する。
【００２３】
【数１−１】
2019149028.tif 000003
【００２４】
【数１−２】
2019149028.tif 000004
【００２５】
【数１−３】
2019149028.tif 000005
【００２６】
【数１−４】
2019149028.tif 000006
【００２７】
式１−１が縦方向数成分フィルタＨＬ、式１−２が横方向数成分フィルタＬＨ、式１−３が対角方向数成分フィルタＨＨ、式１−４が低周波数成分フィルタＬＬを示す。対象画像の２×２の画素に対して、上記のフィルタで内積をとる。２×２の領域を重ね合わせることなく移動させて、解像度が２分の１になるように、縦方向成分画像、横方向成分画像、対角方向成分画像、低周波成分画像の４種類の画像を生成する。そして、生成された低周波成分画像から、次の階層の縦方向成分画像、横方向成分画像、対角方向成分画像、低周波成分画像の４種類の画像を生成する。
【００２８】
このような画像生成を繰り返すことによって、各階層で縦方向成分画像、横方向成分画像、対角方向成分画像、低周波成分画像の４種類の成分画像を生成する。この際、解像度は２分の１になるので、例えばハール・ウェーブレット変換を８回繰り返すのであれば、画像サイズは２の８乗の倍数に設定しておくことが好ましい。結果としてハール・ウェーブレット変換を８回行い、各階層から４画像が生成されるので、合計３２画像が生成される。これに加えて入力画像が追加されるので、以下の合計３３画像が生成される。
【００２９】
１）入力画像：１枚
２）第１〜第８階層の各階層の縦方向成分画像：８枚
３）第１〜第８階層の各階層の横方向成分画像：８枚
４）第１〜第８階層の各階層の対角方向成分画像：８枚
５）第１〜第８階層の各階層の低周波成分画像：８枚
一枚の画像から生成された合計３３種類の画像に対して、最大値、最大値−最小値及び下記の式２から式６で示した７つの特徴量を抽出する。結果的に一枚の画像に対して、７×３３＝２３１個（以下Ｎ個とする）の特徴量を抽出する。画素値の平均は式２で、分散は式３で、尖度は式４で、歪度は式５で、相乗平均は式６で算出される。なお、画像のサイズは垂直方向ａ画素、水平方向ｂ画素の画像とし、水平ｉ番目、垂直ｊ番目の画素値をｐ（ｉ，ｊ）と表す。
【００３０】
【数２】
2019149028.tif 000007
【００３１】
【数３】
2019149028.tif 000008
【００３２】
【数４】
2019149028.tif 000009
【００３３】
【数５】
2019149028.tif 000010
【００３４】
【数６】
2019149028.tif 000011
【００３５】
なお、今回はハール・ウェーブレット変換を用いる手法について述べたが、その他のウェーブレット変換、エッジ抽出、フーリエ変換、ガボール変換といったその他の変換手法を用いても良い。また他の統計特徴量として最大から最小を引いた値、標準偏差といった統計量を用いても良い。以上の処理により、学習データ画像から複数の特徴量を抽出することができる。
【００３６】
（ステップＳ３０２：特徴量選択）
ステップＳ３０２では、特徴量選択部２０２は、ステップＳ３０１で抽出された特徴量に対して特徴量の順位付けを行い、予め決定された数の特徴量を選択する。特徴量の選択を行う方法として、特許文献３に記載の選択方法を用いることができる。特許文献３では、入力データから抽出される複数の特徴量から、特徴量間の組合せの相性を考慮し、入力データの分類に適した特徴量を選択する技術が開示されている。具体的には、特徴量を組み合わせて第一評価値を算出し、第一評価値同士を比較して、上位のＫ個の特徴量にのみ、特徴量間の組合せの相性を示す第二評価値を算出し、第二評価値に基づいて特徴量の順位付けを行う。順位付けされた特徴量から、第二評価値が高い順にＬ個の特徴量を選択する。このとき、Ｋ＝５、Ｌ＝１０程度になるように設定しておく。
【００３７】
（ステップＳ３０３：テストデータに対する特徴量抽出）
ステップＳ３０３では、選択特徴量抽出部２０３は、ステップＳ３０２で選択されたＬ個の特徴量を用いて、テストデータに対する特徴量抽出を行う。検査した順に時系列に特徴量Ｘを抽出していく。
【００３８】
（ステップＳ３０４：情報提示）
ステップＳ３０４では、変化点検出部２０４が、ステップＳ３０３で時系列に抽出された特徴量Ｘに対して、変化点を検出する。そして、変化点前後データ抽出部２０５が、変化点前後のデータを抽出し、抽出された変化点前後のデータの分布を情報提示装置１０４へ出力して表示させる。さらに、関係情報生成部２０６が、変化点前データと変化点後データとの関係情報（例えば変化ベクトル）を生成する。変化要因特定部２０７が、生成された関係情報（例えば変化ベクトル）に基づいて変化要因を特定し、特定した変化要因を情報提示装置１０４へ出力して表示させる。
【００３９】
（ステップＳ３０５：変化点の有無を判定）
ステップＳ３０５では、情報処理装置１０３は、ステップＳ３０４で情報提示装置１０４により表示された、変化点前後のデータの分布及び変化要因から、変化点が正しく検出できているかどうかをユーザ選択に基づいて判定する。例えば不図示の操作部を操作したユーザにより変化点の有無の選択を受け付けることで判定を行う。変化点を正しく検出できていると判定された場合、ステップＳ３０６へ進む。一方、変化点を誤検出していると判定された場合、ステップＳ３０７へ進む。
【００４０】
（ステップＳ３０６：モデルの再生成）
ステップＳ３０６では、情報処理装置１０３は、変化点後のデータでモデルを再生成する。モデルの生成方法については後述する。
【００４１】
（ステップＳ３０７：モデルの再生成）
ステップＳ３０７では、情報処理装置１０３は、変化点前のデータにより生成されたモデルをそのまま使用する。
【００４２】
このように、変化点前後のデータの分布に変化があるかどうか、特定した変化要因が正しいかどうかを、実際にユーザが確認する。そして、変化点を誤検出していると判定した場合、変化点前のデータにより生成されたモデルをそのまま使用し、変化点を正しく検出していると判定した場合、変化点後のデータによりモデルを再生成する。
【００４３】
＜モデルの生成方法＞
ここでは、モデルの生成のために部分空間法を用いる。なお、部分空間法については投影距離法を用いる。時系列に並んだ正常データをｒ＝５０個程度選択し、選択したＬ次元の特徴データから、部分空間法によりモデルを生成する。
【００４４】
投影距離とは、簡単に述べると、それぞれの特徴量を軸とする特徴空間における特徴ベクトルと、パターンの分布の分散が最大となる向きを持つ超平面（主平面）との最短距離である。以下、数式を用いて具体的に説明する。
【００４５】
正常データの平均ベクトル
【００４６】
【数Ａ１】
2019149028.tif 000012
【００４７】
と共分散行列Σは、良品データの数ｎと特徴ベクトル
【００４８】
【数Ａ２】
2019149028.tif 000013
【００４９】
を用いて示すことができる。正常データの平均ベクトル
【００５０】
【数Ａ３】
2019149028.tif 000014
【００５１】
を式７に、共分散行列Σを式８に示す。
【００５２】
【数７】
2019149028.tif 000015
【００５３】
【数８】
2019149028.tif 000016
【００５４】
Σの第ｉ番目の固有値、固有ベクトルをそれぞれλｉ、
【００５５】
【数Ａ４】
2019149028.tif 000017
【００５６】
とする。このとき固有値は降順で並んでいるものとする。固有値から算出された累積寄与率に関して、９０％を超えたあたりを目安にして、射影する部分空間の次元数を設定する。式７で算出された主平面と式８で算出された平均ベクトル
【００５７】
【数Ａ５】
2019149028.tif 000018
【００５８】
を用いて、正常のデータ数ｒと特徴ベクトル
【００５９】
【数Ａ６】
2019149028.tif 000019
【００６０】
により、投影距離
【００６１】
【数Ａ７】
2019149028.tif 000020
【００６２】
は式９で表される。
【００６３】
【数９】
2019149028.tif 000021
【００６４】
この投影距離を用いてモデルの生成を行う。
【００６５】
＜情報提示処理＞
次に、図５のフローチャートを参照して、ステップＳ３０４における情報提示処理の手順を説明する。
【００６６】
（ステップＳ５０１：変化点検出）
ステップＳ５０１では、変化点検出部２０４は、ステップＳ３０３で抽出された特徴量に対して変化点の検出処理を行う。ここでは、赤池情報量規準（AIC：Akaike's Information Criterion）を用いて、変化点を検出する方法について述べる。
【００６７】
まず、時系列に算出された特徴量Ｘに対し、式１０のようにグループ分けを行う。
【００６８】
【数１０】
2019149028.tif 000022
【００６９】
ここで、１＜ｋ１＜ｋ２＜...＜ｋｑ＜ｋｎであり、番号が小さい順に並んでいる。このグループ分けされた特徴量群から、式１１を用いて赤池情報量基準を算出する。
【００７０】
【数１１】
2019149028.tif 000023
【００７１】
ここで、ｌｏｇＬ（θｋ）は対数尤度を示し、ｋは自由パラメータの数を示す。対数尤度が高いほど、ガウシアンのモデルにフィットしており、データに変動がないといえる。よって、赤池情報量規準が最小となるデータ群を決定することにより、変化点を含むデータ群を検出することができる。なお、ここで赤池情報量規準を用いて、変化点を検出する手法について述べたが、シュワルツ情報量基準を用いてもよい。また、異常度スコアを算出したうえで、閾値処理を行い、変化点を検出する等、変化点を検出する手法であれば、どの手法を用いてもよい。
【００７２】
（ステップＳ５０２：変化点前後データ抽出）
ステップＳ５０２では、変化点前後データ抽出部２０５は、ステップＳ５０１で検出された変化点を含むデータ群に対して、変化点を含むデータ群より前にあるデータ群と、変化点を含むデータ群より後にあるデータ群とを選択する。そして、変化点を含むデータ群より前にあるデータ群を変化点前データとし、変化点を含むデータ群より後にあるデータ群を変化点後データとする。
【００７３】
（ステップＳ５０３：関係情報生成）
ステップＳ５０３では、関係情報生成部２０６は、ステップＳ５０２で抽出された変化点前データと変化点後データとの関係情報（例えば、変化ベクトル）を生成する。まず、抽出された変化点前データ群から特徴量を抽出し、抽出した特徴量の平均ベクトルμ1を算出する。そして、変化点後データ群から特徴量を抽出し、抽出した特徴量の平均ベクトルμ2を算出する。さらに、変化点前後の関係情報を生成するために、平均ベクトルμ1と平均ベクトルμ2を利用して、関係情報である変化ベクトルｖを、式１２により算出する。変化点前後の変化ベクトルは、変化点前後のデータの重心の変位を示している。
【００７４】
【数１２】
2019149028.tif 000024
【００７５】
（ステップＳ５０４：変化要因特定）
ステップＳ５０４では、変化要因特定部２０７は、ステップＳ５０３で生成された変化点前後の関係情報に基づいて、変化要因を特定する。当該処理の詳細は図８を用いて後述する。
【００７６】
（ステップＳ５０５：変化要因提示）
ステップＳ５０５では、提示制御部２０８は、ステップＳ５０４で特定された変化要因の情報を情報提示装置１０４へ出力して提示させる。ここで、図６は、特定した変化要因と対応する変化要因スコアとを提示した結果の一例を示す図である。変化要因スコアの算出方法については後述する。
【００７７】
６０１は、変化要因を示す。変化要因を示す例とし、「位置ずれ」、「光源の変動」、「汚れ」、「白とび」が表示されている。６０２は、変化要因スコアを示す。変化要因６０１の１つである「位置ずれ」に対応する変化要因スコア６０２が８０％として提示されている。ここでは、「位置ずれ」が最も近い変化要因であるといえる。また、変化要因６０１の１つである「光源の変動」に対応する変化要因スコア６０２が１５％として提示されている。ここでは、「光源の変動」が二番目に近い変化要因であるといえる。さらに、変化要因６０１の１つである「汚れ」に対応する変化要因スコア６０２が５％として提示されている。ここでは、「汚れ」が三番目に近い変化要因であるといえる。
【００７８】
（ステップＳ５０６：変化点前後データ提示）
ステップＳ５０６では、提示制御部２０８は、ステップＳ５０２で抽出された変化点前データと変化点後データとをそれぞれ情報提示装置１０４へ出力して提示させる。その際、変化点前データと変化点後データとのそれぞれに対し、多次元尺度構成法（MDS：Multi Dimensional Scaling）等のデータ可視化方法を用いて、データを三次元もしくは二次元に圧縮して表示する。
【００７９】
多次元尺度構成法とは、個体間の類似度が与えられたときに、似ているものは近くに、似ていないものは遠くに、類似度を距離に変換し、個体間の距離を最もよく再現するような個体の座標を求める方法である。
【００８０】
ｎ個の個体のＬ次元の特徴量行列Ｘ（データ数ｎ×特徴次元Ｌ）から計算される特徴量ベクトルの２乗距離を要素として、式１３を用いて、距離行列Ｄを求める。
【００８１】
【数１３】
2019149028.tif 000025
【００８２】
ここで、太字の１は要素がすべて１のｎ×１のベクトルである。次に式１４に示す中心化行列を用いて、行列を中心化する。
【００８３】
【数１４】
2019149028.tif 000026
【００８４】
距離行列Ｄを中心化した行列Ｂを算出した結果を式１５に示す。
【００８５】
【数１５】
2019149028.tif 000027
【００８６】
さらに、Ｂ行列の固有値分解をＢ＝ＰΛＰ'と行うことにより、変換行列Ｙは式１６で求めることができる。
【００８７】
【数１６】
2019149028.tif 000028
【００８８】
なお、今回は多次元尺度構成法を用いて、特徴量ベクトルを圧縮することを前提としたが、ｉｓｏｍａｐ（Isometric Mapping）等の他のデータ可視化方法を用いてもよい。また、ステップＳ５０５の処理とステップＳ５０６の処理は必ずしもこの順で行う必要はない。提示する順番が逆であってもよいし、同時に処理を行い、同じタイミングで提示するように構成してもよい。
【００８９】
＜変化点前後のデータ表示例＞
図７は、変化点前のデータの状態及び変化点後のデータの状態の表示結果を示す。７０１は、変化点前データを示す。７０２は、変化点後データを示す。変化点前データ７０１と変化点後データ７０２を多次元尺度法を用いて三次元に圧縮し、状態をプロットする。７０３は、変化点前データ分布を示し、データ圧縮方法を用いて圧縮し、変化点前データの平均値及び標準偏差を求め、平均値を中心とする楕円体を表示する。７０４は、変化点後データ分布を示し、変化点前データ分布７０３と同様に、データ圧縮方法を用いて圧縮し、変化点後データの平均値及び標準偏差を求め、平均値を中心とする楕円体を表示する。このように、変化点前データ分布７０３と変化点後データ分布７０４とを表示することにより、明確に変化点前後の状態の変化を見極めることができる。
【００９０】
＜変化要因特定処理＞
続いて、図８のフローチャートを参照して、ステップＳ５０４における変化要因特定処理の手順の詳細を説明する。
【００９１】
（ステップＳ８０１：変化ベクトルの参照データ読み込み）
ステップＳ８０１では、変化要因特定部２０７は、変化要因に対応する変化ベクトルの参照データを読み込む。データベースには、変化要因と対応する変化ベクトルが多数用意されており、それぞれの変化ベクトルを、Ｌ次元の特徴空間上に用意する。
【００９２】
（ステップＳ８０２：変化ベクトルの照合）
ステップＳ８０２では、変化要因特定部２０７は、ステップＳ８０１で読み込んだ変化ベクトルの参照データに対して、ステップＳ５０３で抽出された関係情報（算出された変化ベクトル）が、参照情報のどの変化要因に近いかを距離ベースで決定する。ここで述べた距離とは、例えばユークリッド距離やマハラノビス距離を示す。
【００９３】
距離としてユークリッド距離を用いる場合、まず変数ｋａ＝ｋｂ＝１と設定し、以下の処理を繰り返す。変化ベクトルから、ｋａ番目に距離が近いデータの変化要因を、ｋｂ個目の変化要因の候補とする。ここで、算出した距離を保持しておき、後述するステップS８０３で当該距離に基づいて変化要因スコアが算出される。ここで、選んだｋｂ個目の変化要因の候補が変化要因の候補として既に選ばれている場合、ｋａを一つ増やし、ｋｂを増やさない。選んだｋｂ個目の変化要因の候補が変化要因の候補として既に選ばれていない場合、ｋａを一つ増やし、ｋｂも一つ増やす。そして、ｋｂが予め設定した所定の変化要因の候補数ｋｃになるまで、繰り返し処理を行う。
【００９４】
なお、距離として、マハラノビス距離を用いる場合、所定の変化要因データ群から対象の変化ベクトルへのマハラノビス距離を算出し、マハラノビス距離が近い順に上位の変化要因の候補を決定する。このようにして、変化要因特定部２０７は、関係情報（例えば変化ベクトル）と、変化要因に対応する参照データとを照合することにより変化要因を特定する。
【００９５】
（ステップＳ８０３：変化要因スコアの算出）
ステップＳ８０３では、変化要因特定部２０７は、ステップＳ８０２で算出された距離に基づいて変化要因スコアを算出する。
【００９６】
距離としてユークリッド距離を用いる場合、ｋｂ個目の変化要因スコアを算出するために、ｋａ番目に近いデータの距離を算出する。ｋｂ＝１，．．．，ｋｃのそれぞれに対応する距離の逆数に定数を乗算し、和が１００になるようにして変化要因スコアを算出する。これにより、変化要因に対応する変化要因スコアを算出し、変化要因スコアの合計が１００となるように設定する。
【００９７】
なお、距離として、マハラノビス距離を用いる場合、それぞれの変化要因データ群から対象の変化ベクトルへのマハラノビス距離を算出し、マハラノビス距離の逆数に定数を乗算して変化要因スコアを算出し、変化要因スコアの合計が１００となるように設定する。
【００９８】
このようにして決定した、ｋｃ個の変化要因と対応する変化要因スコアとを提示することにより、ステップＳ５０４の変化要因特定処理が行われる。変化要因と変化要因スコアとの表示例は図７を参照して説明した通りである。
【００９９】
以上説明したように、本実施形態によれば、変化点前後の状態を提示することにより、変化点前後の状態が変化していることを認識することができる。また、変化点前後の状態の変化に基づいて、変化点前後の関係情報（例えば変化ベクトル）を生成した上で変化要因を特定するので、特徴的な情報をユーザにフィードバックすることができる。
【０１００】
（第２の実施形態）
第１の実施形態では、変化点前後のデータの重心の変化を変化ベクトルとして利用することにより変化要因を特定する例を説明した。これに対して、第２の実施形態では、分離度に基づく変化ベクトルを算出して変化要因を特定する例を説明する。なお、情報提示システムの構成、情報処理装置の構成については第１の実施形態と同様であるので説明を省略する。
【０１０１】
図９のフローチャートを参照して、本実施形態に係る情報提示処理の手順を説明する。なお、図９のステップＳ９０１−Ｓ９０２、ステップＳ９０４−Ｓ９０６の各処理は、第１の実施形態で示した図５のステップＳ５０１−Ｓ５０２、ステップＳ５０４−Ｓ５０６の各処理と同じであるので説明を省略する。
【０１０２】
（ステップＳ９０３：分離度に基づく関係情報生成）
ステップＳ９０３では、関係情報生成部２０６は、変化点前のデータと変化点後のデータとの分離度に基づいて変化ベクトルを算出し、当該変化ベクトルを変化点前後の関係情報として生成する。
【０１０３】
ここで、図１０を参照しながら、ステップＳ９０３の処理の詳細を説明する。
【０１０４】
（ステップＳ１００１：変化点前のデータと変化点後のデータとの各特徴次元の分離度算出）
ステップＳ１００１では、関係情報生成部２０６は、変化点前のデータと変化点後のデータとのそれぞれから特徴量を抽出して分離度を算出する。ここでは、分離度として、異なるデータの分布の重なり度合を用いる。例えば、変化点前データのクラス、変化点後データのクラスのそれぞれをｗ１、ｗ２とし、Ｌ個の特徴を持つベクトルをＸ＝［ｘ１，・・・，ｘL］ｔとする。変化点前データのクラスｗ１、変化点後データのクラスｗ２に属する確率の分布に対応するｗ１とｗ２における条件付き確率分布をヒストグラムで表現し、そこから事後確率分布Ｐ（ｗ１｜ｘ）、Ｐ（ｗ２｜ｘ）を算出する。事後確率分布Ｐ（ｗi｜ｘ）を式１７に示す。
【０１０５】
【数１７】
2019149028.tif 000029
【０１０６】
そして、事後確率分布Ｐ（ｗ１｜ｘ）、Ｐ（ｗ２｜ｘ）のデータの分布間の重なりの度合を式１８を用いて算出する。
【０１０７】
【数１８】
2019149028.tif 000030
【０１０８】
（ステップＳ１００２：各特徴次元の分離度をベクトル化）
ステップＳ１００２では、関係情報生成部２０６は、ステップＳ１００１で各特徴次元の分離度をベクトル化する。式１８で算出した各特徴次元におけるデータの分布間の重なりｆｋ（ｋ＝１，２，．．．，Ｌ）を利用して、式１９のようにベクトル化し、変化ベクトルｖを算出する。
【０１０９】
【数１９】
2019149028.tif 000031
【０１１０】
なお、分離度としてデータの分布間の重なりを利用する場合について述べたが、データの分布間の重なり以外の分離度、例えばクラス内分散・クラス間分散比を用いることも可能である。このようにして、分離度に基づく変化ベクトルｖを算出することにより、変化点前後の分布を考慮した関係情報を生成することができる。
【０１１１】
以上説明したように、本実施形態によれば、変化点前と変化点後のデータの分離度に基づく変化ベクトルを利用することにより、変化点前後の分布を考慮した関係情報を生成することができる。
【０１１２】
（第３の実施形態）
第１の実施形態では、変化点前後の状態の変化に基づいて変化要因を特定する例を説明した。これに対して、第３の実施形態では、変化ベクトルから変化要因を特定するだけではなく、変化要因に起因する画像上の位置を検出する例を説明する。なお、情報提示システムの構成については第１の実施形態と同様であるので説明を省略する。
【０１１３】
図１１を参照して、本実施形態に係る情報処理装置の構成例を説明する。本実施形態に係る情報処理装置１１０３は、第１の実施形態で図２を参照して説明した情報処理装置１０３の構成に加えて、変化要因画像生成部１１０９をさらに備えている。
【０１１４】
変化要因画像生成部１１０９は、関係情報生成部２０６により生成された変化点前後のデータの関係情報（例えば変化ベクトル）を用いて変化要因画像を生成する。
【０１１５】
続いて、図１２のフローチャートを参照して、本実施形態に係る情報提示処理の手順を説明する。なお、図１２のステップＳ１２０１−Ｓ１２０６の各処理は、第１の実施形態で示した図５のステップＳ５０１−Ｓ５０６の各処理と同じであるので説明を省略する。
【０１１６】
（ステップＳ１２０７：変化要因画像の生成）
ステップＳ１２０７では、変化要因画像生成部１１０９は、ステップＳ１１０３で関係情報生成部２０６により生成された変化点前後のデータの関係情報（例えば変化ベクトル）を用いて変化要因画像を生成する。具体的には、特徴量のスコアマップを生成し、ステップＳ１２０３で算出された変化ベクトルｖの各要素を特徴量のスコアマップの重要度として、特徴量のスコアマップの重要度に基づいてスコアマップを統合することにより、変化要因画像を生成する。
【０１１７】
ここで、図１３を参照しながら、ステップＳ１２０７の処理の詳細を説明する。
【０１１８】
（ステップＳ１３０１：スコアマップを生成）
ステップＳ１３０１では、変化要因画像生成部１１０９は、特徴量ごとにスコアマップを生成する。抽出する特徴量が、ハール・ウェーブレット変換を行った階層画像の最大値、もしくは最大値−最小値のような局所特徴である場合、特徴量に対応するスコアマップは、特徴量を抽出する対象画像と同一画像となる。
【０１１９】
また、抽出する特徴量が、ハール・ウェーブレット変換により得られた階層画像の式２から式６のような大域特徴である場合、階層画像を任意のサイズのグリッドに分割し、各グリッド内の統計量を算出して得られる画像を特徴量に対応するスコアマップとして生成する。
【０１２０】
（ステップＳ１３０２：スコアマップを統合して変化要因画像を生成）
ステップＳ１３０２では、変化要因画像生成部１１０９は、ステップＳ１３０１で生成されたスコアマップを、変化ベクトルを用いて統合し、変化要因画像を生成する。
【０１２１】
スコアマップと、対応する変化ベクトルの各要素とを積算したうえで、同一位置上にある画素値の和を求めることによって変化要因画像を生成する。なお、特徴量に対応するスコアマップを統合する際には、スコアマップを元の入力画像と同じ解像度に変換してから統合する。このようにして変化要因画像を生成することにより、変化要因に起因する画像位置を可視化して提示することができる。
【０１２２】
ここで、図１４は、本実施形態に係る変化要因画像を生成する方法を示す概略図である。１４０１は、特徴量抽出画像であり、特徴量を抽出する対象画像を示す。１４０２は、スコアマップであり、特徴量に対応する画像である。１４０３は、変化ベクトルであり、変化ベクトルの各要素が、スコアマップの重要度と対応する。１４０４は、変化要因画像であり、スコアマップ１４０２と変化ベクトル１４０３の要素とを積算した上で同一位置上にある画素値の和を求めることによって生成される画像である。
【０１２３】
本実施形態によれば、変化要因に起因する変化ベクトルを算出し、変化要因画像を生成することにより、変化要因に起因する画像位置を可視化して提示することができる。
【０１２４】
（第４の実施形態）
第１乃至第３の実施形態では、検査のタスクを例に説明を行った。これに対して、第４の実施形態では金融を例にして説明を行う。特に、イベント情報（報道機関から発せられるニュースや、経済指標の発表）に対応した、金融データの変化点の検出を例に説明を行う。
【０１２５】
図１５は、第４の実施形態に係る情報提示システムの構成例を示す図である。１５０１は、金融データ測定装置であり、具体的には、ＴＯＰＩＸ  Ｃｏｒｅ  ３０に含まれる会社の１０銘柄の株価が測定される。特徴量として、日次株価データ、日次出来高データ、日次対数収益率データの３種類がある。よって、特徴量としては、銘柄１０種と３種類のデータから、１０×３＝３０次元の特徴量を含む時系列データが得られる。この３０次元のデータが時系列に並んでおり、変化点の検出が可能となっている。
【０１２６】
１５０２は、情報処理装置であり、金融データ測定装置１５０１から取得した情報に基づいて、変化点前後の状態を求め、変化点前後の関係情報を生成することにより、変化点前後の状態が変化していることを示す情報を情報提示装置１４０３へ出力して提示させる。また、変化点前後の状態の変化に基づいて、変化要因となるイベント情報（報道機関から発せられるニュースや、経済指標の発表）を情報提示装置１５０３へ出力して提示させることで、ユーザにフィードバックする。
【０１２７】
本実施形態によれば、金融データにおいても変化点前後の状態を表示することにより、変化点前後の状態が変化していることを示すことができる。また、変化点前後の関係情報を生成した上で変化要因を特定するので、変化要因となるイベント情報（報道機関から発せられるニュースや経済指標の発表）をフィードバックすることができる。
【０１２８】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１２９】
１０１：検査対象物、１０２：画像撮影装置、１０３：情報処理装置、１０４：情報提示装置、１０５：光源、２０１：特徴量抽出部、２０２：特徴量選択部、２０３：選択特徴量抽出部、２０４：変化点検出部、２０５：変化点前後データ抽出部、２０６：関係情報生成部、２０７：変化要因特定部、２０８：提示制御部
【図１】
2019149028.tif 000032
【図２】
2019149028.tif 000033
【図３】
2019149028.tif 000034
【図４】
2019149028.tif 000035
【図５】
2019149028.tif 000036
【図６】
2019149028.tif 000037
【図７】
2019149028.tif 000038
【図８】
2019149028.tif 000039
【図９】
2019149028.tif 000040
【図１０】
2019149028.tif 000041
【図１１】
2019149028.tif 000042
【図１２】
2019149028.tif 000043
【図１３】
2019149028.tif 000044
【図１４】
2019149028.tif 000045
【図１５】
2019149028.tif 000046