(57)【要約】画像データと画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、画像の特徴量と属性データとの関係についての知識を発見する知識発見装置であって、金属部品の表面の画像データからウェーブレット変換を用いて画像上の位置ごとの複数の周波数成分の縦方向、横方向および斜め方向の輝度変化の度合いを特徴量として抽出する特徴量抽出部と、金属部品の故障発生までの経過時間を属性データとして属性データと特徴量との相関値を算出する関係分析部と、相関値が所定の相関値（たとえば「−０．７」）以下の特徴量の内容と属性データの内容とを用いてアソシエーションルールを生成するルール生成部とを備える。
2004093006.tif 000002
【特許請求の範囲】
【請求項１】
画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見装置であって、
各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量と属性データとの関係を分析する関係分析手段と、
を備えたことを特徴とする知識発見装置。
【請求項２】
前記関係分析手段による分析結果に基づいて、特徴量の内容を条件部分とし属性データの内容を結論部分とするアソシエーションルールまたは属性データの内容を条件部分とし特徴量の内容を結論部分とするアソシエーションルールを生成するルール生成手段をさらに備えたことを特徴とする請求の範囲第１項に記載の知識発見装置。
【請求項３】
前記特徴量抽出手段は、前記多重解像度化した画像データから画像上の位置に対応する特徴量を抽出し、前記関係分析手段は、画像上の位置に対応する特徴量と属性データとの相関値を計算し、前記相関値が所定の範囲にある画像上の位置および相関値を分析結果として表示する分析結果表示手段をさらに備えたことを特徴とする請求の範囲第１項または第２項に記載の知識発見装置。
【請求項４】
前記特徴量抽出手段は、ウェーブレット変換を用いて前記画像データから画像上の各位置における複数の周波数成分の縦方向、横方向および斜め方向の輝度変化の度合いを特徴量として抽出することを特徴とする請求の範囲第３項に記載の知識発見装置。
【請求項５】
前記特徴量抽出手段は、画像を段階的に縦横に分割することによって前記画像データを多解像度化し、各段階の分割で得られた画像に対応する画像データの色の平均値を前記特徴量として用いることを特徴とする請求の範囲第１項に記載の知識発見装置。
【請求項６】
前記関係分析手段は、データマイニング手法を用いて特徴量と属性データとの関係を分析することを特徴とする請求の範囲第１項または第５項に記載の知識発見装置。
【請求項７】
画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見プログラムであって、
各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出手順と、
前記特徴量抽出手順により抽出された特徴量と属性データとの関係を分析する関係分析手順と、
をコンピュータに実行させることを特徴とする知識発見プログラム。
【請求項８】
前記関係分析手順による分析結果に基づいて、特徴量の内容を条件部分とし属性データの内容を結論部分とするアソシエーションルールまたは属性データの内容を条件部分とし特徴量の内容を結論部分とするアソシエーションルールを生成するルール生成手順をさらにコンピュータに実行させることを特徴とする請求の範囲第７項に記載の知識発見プログラム。
【請求項９】
前記特徴量抽出手順は、前記多重解像度化した画像データから画像上の位置に対応する特徴量を抽出し、前記関係分析手順は、画像上の位置に対応する特徴量と属性データとの相関値を計算し、前記相関値が所定の範囲にある画像上の位置および相関値を分析結果として表示する分析結果表示手順をさらにコンピュータに実行させることを特徴とする請求の範囲第７項または第８項に記載の知識発見プログラム。
【請求項１０】
前記特徴量抽出手順は、ウェーブレット変換を用いて前記画像データから画像上の各位置における複数の周波数成分の縦方向、横方向および斜め方向の輝度変化の度合いを特徴量として抽出することを特徴とする請求の範囲第９項に記載の知識発見プログラム。
【請求項１１】
前記特徴量抽出手順は、画像を段階的に縦横に分割することによって前記画像データを多解像度化し、各段階の分割で得られた画像に対応する画像データの色の平均値を前記特徴量として用いることを特徴とする請求の範囲第７項に記載の知識発見プログラム。
【請求項１２】
前記関係分析手順は、データマイニング手法を用いて特徴量と属性データとの関係を分析することを特徴とする請求の範囲第７項または第１１項に記載の知識発見プログラム。
【請求項１３】
画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見方法であって、
各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出工程と、
前記特徴量抽出工程により抽出された特徴量と属性データとの関係を分析する関係分析工程と、
を含んだことを特徴とする知識発見方法。
【請求項１４】
前記関係分析工程による分析結果に基づいて、特徴量の内容を条件部分とし属性データの内容を結論部分とするアソシエーションルールまたは属性データの内容を条件部分とし特徴量の内容を結論部分とするアソシエーションルールを生成するルール生成工程をさらに含んだことを特徴とする請求の範囲第１３項に記載の知識発見方法。
【請求項１５】
前記特徴量抽出工程は、前記多重解像度化した画像データから画像上の位置に対応する特徴量を抽出し、前記関係分析工程は、画像上の位置に対応する特徴量と属性データとの相関値を計算し、前記相関値が所定の範囲にある画像上の位置および相関値を分析結果として表示する分析結果表示工程をさらに含んだことを特徴とする請求の範囲第１３項または第１４項に記載の知識発見方法。
【請求項１６】
前記特徴量抽出工程は、ウェーブレット変換を用いて前記画像データから画像上の各位置における複数の周波数成分の縦方向、横方向および斜め方向の輝度変化の度合いを特徴量として抽出することを特徴とする請求の範囲第１５項に記載の知識発見方法。
【請求項１７】
前記特徴量抽出工程は、画像を段階的に縦横に分割することによって前記画像データを多解像度化し、各段階の分割で得られた画像に対応する画像データの色の平均値を前記特徴量として用いることを特徴とする請求の範囲第１３項に記載の知識発見方法。
【請求項１８】
前記関係分析工程は、データマイニング手法を用いて特徴量と属性データとの関係を分析することを特徴とする請求の範囲第１３項または第１７項に記載の知識発見方法。
【発明の詳細な説明】
【技術分野】  この発明は、画像と画像に対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、画像の特徴量と属性データとの関係についての知識を発見する知識発見装置、知識発見プログラムおよび知識発見方法に関し、特に、特徴が局所的な領域の画素値の分布パターンにある画像や特徴の位置および大きさが不明である画像からも知識を発見することができる知識発見装置、知識発見プログラムおよび知識発見方法に関するものである。
【背景技術】  近年、製造業の設計や検査、小売業のマーケティングなどの用途に画像が利用されている。たとえば、製造業の検査への応用として、稼動中の機械の金属部品を定期的に撮影し、機械が故障した場合に故障発生時間から一定の時間前の画像に描かれた金属部品の表面の色や亀裂を観察することで、ある部位が特定の色に変化したとき、あるいは、ある部位に亀裂が入ったときの故障発生率を見出す応用がある。また、小売業のマーケティングへの応用として、コンビニエンスストアなどの小売店で商品の棚割りの状態を撮影した画像と商品の売上に関する数値データとの間の関係を分析することで売上を向上するための棚割りの仕方を見出す応用がある。
従来、こうした作業には、人間が故障発生率や商品の売上などの属性データと画像とを見比べて画像上の局所的な領域の特徴や位置と属性データとの間の関係を発見するという手法がとられており、作業の労力が大きいという欠点があった。そこで、画像上の局所的な領域の特徴や位置と属性データとの間の関係をコンピュータで自動的に算出する手法が提案されている（たとえば、非特許文献１参照。）。
この手法は、人間の特定の動作に対応する脳の活動部位を発見することを目的としたものであり、人間がある動作をしたときの脳のｆ−ＭＲＩ断層画像データ群を用い、各画像を縦横に分割したときの活性状態にある位置を分析して、その動作に対応する脳の部位を自動的に発見するというものである。
【非特許文献１】  Ｍ．Ｋａｋｉｍｏｔｏ，Ｃ．Ｍｏｒｉｔａ，ａｎｄ  Ｈ．Ｔｓｕｋｉｍｏｔｏ：Ｄａｔａ  Ｍｉｎｉｎｇ  ｆｒｏｍ  Ｆｕｎｃｔｉｏｎａｌ  Ｂｒａｉｎ  Ｉｍａｇｅｓ，Ｉｎ  Ｐｒｏｃ．ｏｆ  ＡＣＭ  ＭＤＭ／ＫＤＤ２０００，ｐｐ．９１−９７（２０００）．
【非特許文献２】  Ｙｕｓｕｋｅ  Ｕｅｈａｒａ，Ｓｕｓｕｍｕ  Ｅｎｄｏ，Ｓｈｕｉｃｈｉ  Ｓｈｉｉｔａｎｉ，Ｄａｉｋｉ  Ｍａｓｕｍｏｔｏ，ａｎｄ  Ｓｈｉｇｅｍｉ  Ｎａｇａｔａ：”Ａ  Ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ  Ｖｉｓｕａｌ  Ｅｘｐｌｏｒａｔｉｏｎ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｋｎｏｗｌｅｄｇｅ  Ｄｉｓｃｏｖｅｒｙ  ｆｒｏｍ  Ｉｍａｇｅｓ”，Ｉｎ  Ｐｒｏｃ．ｏｆ  ＡＣＭ  ＭＤＭ／ＫＤＤ２００１，ｐｐ．１０２−１０９（２００１）．
【非特許文献３】  上原祐介，遠藤進，椎谷秀一，増本大器，長田茂美：“仮想空間での情報構造表現に基づく画像群からの知識発見支援システム”，人工知能学会  研究会資料ＳＩＧ−ＦＡＩ／ＫＢＳ−Ｊ−４０，ｐｐ．２４３−２５０（２００１）．
しかしながら、この手法では、属性データとして、特定の動作をしているか否かという二値データを対象にしているため、たとえば、金属機械部品の故障予測において、画像データ上の特定の位置の領域の画素値の分布パターンを分析する必要がある場合には、利用することができないという問題がある。
また、この手法では、所定の大きさで画像を分割したときの分割画像を単位に分析するため、たとえば、商品の棚割り画像の分析のように、属性データと関係がある領域の大きさが場合によって様々であり、予め領域の大きさが決められない用途には適用できないという問題がある。
この発明は、上述した従来技術による問題点を解消するためになされたものであり、特徴が局所的な領域の画素値の分布パターンにある画像や特徴の位置および大きさが不明である画像からも知識を発見することができる知識発見装置、知識発見プログラムおよび知識発見方法を提供することを目的としている。
【発明の開示】
上述した課題を解決し、目的を達成するため、本発明は、画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見装置であって、各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量と属性データとの関係を分析する関係分析手段と、を備えたことを特徴とする。
また、本発明は、画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見プログラムであって、各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出手順と、前記特徴量抽出手順により抽出された特徴量と属性データとの関係を分析する関係分析手順と、をコンピュータに実行させることを特徴とする。
また、本発明は、画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見方法であって、各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出工程と、前記特徴量抽出工程により抽出された特徴量と属性データとの関係を分析する関係分析工程と、を含んだことを特徴とする。
かかる発明によれば、各画像データから多重解像度化した画像データを生成し、多重解像度化した画像データから特徴量を抽出し、抽出した特徴量と属性データとの関係を分析することとしたので、特徴が局所的な領域の画素値の分布パターンにある画像や特徴の位置および大きさが不明である画像からも知識を発見することができる。
【図面の簡単な説明】  第１図は、本実施の形態１に係る知識発見装置の構成を示す機能ブロック図であり、第２図は、画像データ記憶部が記憶する画像データの一例を示す図であり、第３図は、属性データ記憶部が記憶する属性データの一例を示す図であり、第４図は、特徴量抽出部による画像データの多重解像度化を説明するための説明図であり、第５図は、画像データのウェーブレット変換を説明するための説明図であり、第６図は、ウェーブレット変換結果の表示例を示す図であり、第７図は、本実施の形態１に係る知識発見装置の処理手順を示すフローチャートであり、第８図は、機械の金属部品の表面を撮影した画像の一例を示す図であり、第９図は、第８図に示した画像から知識発見装置が発見した知識を表示した例を示す図であり、第１０図は、本実施の形態２に係る知識発見装置の構成を示す機能ブロック図であり、第１１図は、第１０図に示した特徴量抽出部による画像データの多重解像度化を説明するための説明図であり、第１２図は、本実施の形態２に係る知識発見装置が発見した知識を表示した例を示す図であり、第１３図は、本実施の形態１および２に係る知識発見プログラムを実行するコンピュータシステムを示す図であり、第１４図は、第１３図に示した本体部の構成を示す機能ブロック図である。
【発明を実施するための最良の形態】  以下、添付図面を参照して、この発明に係る知識発見装置、知識発見プログラムおよび知識発見方法の好適な実施の形態を詳細に説明する。なお、実施の形態１では、この発明に係る知識発見装置を機械の金属部品の故障予測に適用した場合について説明し、実施の形態２では、この発明に係る知識発見装置を小売店での棚割りに適用した場合について説明する。
実施の形態１．
まず、本実施の形態１に係る知識発見装置の構成について説明する。第１図は、本実施の形態１に係る知識発見装置の構成を示す機能ブロック図である。同図に示すように、この知識発見装置１００は、特徴量抽出部１１０と、関係分析部１２０と、ルール生成部１３０と、表示部１４０と、画像データ記憶部１５０と、属性データ記憶部１６０と、制御部１７０とを有する。
特徴量抽出部１１０は、画像データ記憶部１５０に記憶された画像データを多重解像度化し、多重解像度化した画像データから特徴量を抽出する処理部である。具体的には、この特徴量抽出部１１０は、画像データ記憶部１５０に記憶された金属部品の画像データにウェーブレット変換を施し、画像上の各位置における複数の周波数の縦方向、横方向および斜め方向の輝度変化の度合いを特徴量として抽出する。
関係分析部１２０は、特徴抽出部１１０により多重解像度化画像データから抽出された特徴量と属性データ記憶部１６０に記憶された属性データとを用いて特徴量と属性データとの関係を分析する処理部である。具体的には、この関係分析部１２０は、特徴量である画像上の各位置における複数の周波数の縦方向、横方向および斜め方向の輝度変化の度合いと属性データである故障発生までの経過時間との相関値を算出して特徴量と属性データとの関係を分析する。なお、特徴量抽出部１１０および関係分析部１２０の処理の詳細については後述する。
ルール生成部１３０は、関係分析部１２０による分析結果に基づいて特徴量と属性データとの関係に関する知識を生成する処理部であり、具体的には、特徴量の内容を条件部分とし属性データの内容を結論部分とするアソシエーションルールを生成する。
たとえば、このルール生成部１３０は、高周波の横方向の輝度変化の度合いとして大きい値が画像上の右上の辺りに現れると故障発生までの経過時間は短い、すなわち、金属部品の表面の右上の部分に細かい縦縞の亀裂がでてきたら短時間の間に機械が故障する可能性が高いといったアソシエーションルールを生成する。
なお、ここでは、特徴量の内容を条件部分とし属性データの内容を結論部分とするアソシエーションルールを生成するが、このルール生成部１３０は、属性データの内容を条件部分とし特徴量の内容を結論部分とするアソシエーションルールを生成することもできる。
表示部１４０は、関係分析部１２０による分析の結果、特徴量と属性データとの間に強い相関がある画像上の位置を視覚的に表示する処理部であり、位置とともにその位置の相関値も表示する。また、この表示部１４０は、ルール作成部１３０が作成したアソシエーションルールも表示する。
画像データ記憶部１５０は、特徴量が抽出される画像データを記憶した記憶部であり、ここでは、機械の金属部品の表面を一定時間ごとに撮影した画像データを記憶する。第２図は、画像データ記憶部１５０が記憶する画像データの一例を示す図である。同図に示すように、この画像データ記憶部１５０は、画像データとして、個々の画像を識別するための画像ＩＤと画像データ本体が格納されている画像データ記憶部１５０内のアドレスとを対応させて記憶する。
たとえば、画像ＩＤが「００００１」である画像のデータは、画像データ記憶部１５０内の「１６Ａ００１］のアドレスに格納されていることを示し、画像ＩＤが「００００２」である画像のデータは、画像データ記憶部１５０内の「１６Ａ２８２］のアドレスに格納されていることを示している。
属性データ記憶部１６０は、画像の特徴量との関係が分析される属性データを記憶した記憶部であり、ここでは、画像を撮影した金属部品に故障が発生するまでの経過時間を属性データとして記憶する。第３図は、属性データ記憶部１６０が記憶する属性データの一例を示す図である。同図に示すように、この属性データ記憶部１６０は、属性データとして、画像ＩＤと経過時間とを対応させて記憶する。
たとえば、画像ＩＤが「００００１」である画像については、この画像が撮影されて「０１２６８１」時間経過後に金属部品に故障が発生したことを示し、画像ＩＤが「００００２」である画像については、この画像が撮影されて「０１３４２９」時間経過後に金属部品に故障が発生したことを示している。
制御部１７０は、知識発見装置１００全体を制御する処理部であり、具体的には、各処理部間の制御の受け渡しや各処理部と記憶部とのデータの授受をおこなうことによって、知識発見装置１００を一つの装置として機能させる。
次に、特徴量抽出部１１０の処理の詳細について説明する。第４図は、特徴量抽出部１１０による画像データの多重解像度化を説明するための説明図である。同図に示すように、この特徴量抽出部１１０は、元の画像データから段階的に縦横の長さを各々二分の一にした縮小画像を生成して多重解像度化をおこなう。なお、ここでは、縮小の段階を三段階としているが、この段階は任意の数の段階とすることができる。
そして、特徴量抽出部１１０は、生成した各段階の縮小画像にＨａａｒ母関数を用いたウェーブレット変換を施す。これにより、各縮小画像に関して、画像上の各位置における縦方向の輝度変化の度合い、横方向の輝度変化の度合いおよび斜め方向の輝度変化の度合いが特徴量として得られる。
第５図は、画像データのウェーブレット変換を説明するための説明図である。同図に示すように、画像データにウェーブレット変換を施すことによって、縦方向の輝度変化の度合い、横方向の輝度変化の度合いおよび斜め方向の輝度変化の度合いを示す数値の並びが得られる。
ここでは、対象画像データが右上に縦方向の輝度変化の度合いが大きい領域、左下に横方向の輝度変化の度合いが大きい領域を持つため、縦方向の輝度変化の度合いを示す数値の並びでは、画像上の右上の位置に対応する数値の値が大きく、横方向の輝度変化の度合いを示す数値の並びでは、画像上の左下の位置に対応する数値の値が大きい。また、斜め方向の輝度変化の度合いを示す数値の並びでは、画像上の右上と左下の位置に対応する数値の値が中程度の大きさとなる。
このように、この特徴量抽出部１１０は、生成した各段階の縮小画像にウェーブレット変換を施すことで、小さい範囲で細かく変化する高周波成分から大きい範囲で徐々に変化する低周波成分までの間で段階的に縦方向、横方向および斜め方向の各々の輝度変化を特徴量として得ることができる。すなわち、この特徴量抽出部１１０は、画像データから特定領域の画素の輝度の分布パターンを特徴量として抽出することができる。
また、第６図は、ウェーブレット変換結果の表示例を示す図である。第６図において、ＨＬは横方向、ＬＨは縦方向、ＨＨは斜め方向の輝度変化の度合いを表す領域である。また、各添え字の数字は、縮小段階を表すものであり、縮小段階の段階が大きいほど小さな数字となっている。
次に、関係分析部１２０の処理の詳細について説明する。関係分析部１２０は、画像データ記憶部１５０に記憶した画像データ群から特徴量抽出部１１０により抽出された複数の周波数成分の縦方向、横方向、斜め方向の輝度変化の度合いを表す数値について画像上の位置ごとの数値群と故障発生時までの時間の長さを表す数値群とを対応付け、相関値を算出する。
たとえば、ｉ番目の画像データのｎ段階目の縮小画像の位置（ｘ，ｙ）の縦（Ｔ）方向の輝度変化の度合いがＣＴｎｘｙｉであり、ｉ番目の画像データに対応する故障発生時までの経過時間がＴｉであるとき、この関係分析部１２０は、ｎ段階目の縮小画像の位置（ｘ，ｙ）の縦（Ｔ）方向の輝度変化の度合いと故障発生時までの経過時間の間の相関値ＣｏｒｒＴｘｙを、次式（１）を用いて求める。
2004093006.tif 000003
ここで、式（１）により計算される相関値の範囲は［−１．０，１．０］であり、値が大きいほど強い正の相関があり、値が小さいほど強い負の相関があると言える。したがって、画像上のある位置におけるある周波数成分のある方向の輝度変化の度合い（特徴量）と故障発生までの経過時間（属性データ）との間に強い負の相関関係がある場合には、その輝度変化の度合いが大きいと故障発生までの経過時間が短い可能性が高く、短時間で故障が発生する可能性が高くなる。
このように、この関係分析部１２０が、画像上の各位置について、複数の周波数成分の縦方向、横方向、斜め方向の輝度変化の度合いと故障発生までの経過時間との相関値を算出することによって、金属部品表面の特定領域の輝度の分布パターンと金属部品に故障が発生する可能性との関係についての知識を発見することができる。
次に、本実施の形態１に係る知識発見装置１００の処理手順について説明する。第７図は、本実施の形態１に係る知識発見装置１００の処理手順を示すフローチャートである。同図に示すように、この知識発見装置１００は、特徴量抽出部１１０が、画像データ記憶部１５０に記憶された画像データ群を多重解像度化し（ステップＳ７０１）、多重解像度化により得られた各画像に対してＨａａｒ母関数を用いたウェーブレット変換を施す（ステップＳ７０２）。
すなわち、特徴量抽出部１１０は、画像データ記憶部１５０に記憶された全ての画像データに対して画像上の各位置について、複数の周波数成分の縦方向、横方向および斜め方向の輝度変化の度合いを特徴量として算出する。
そして、関係分析部１２０が、特徴量抽出部１１０により抽出された複数の周波数成分の縦方向、横方向および斜め方向の輝度変化の度合いを表す数値について画像上の位置ごとの数値群と故障発生時までの時間の長さを表す数値群とを対応付け、相関値を算出する（ステップＳ７０３）。
そして、ルール生成部１３０が、所定の相関値（たとえば「−０．７」）以下の相関値が算出された特徴量の内容、すなわち、画像上のある位置におけるある周波数成分のある方向の輝度変化の度合いと、属性データの内容、すなわち故障発生までの時間の長さとを用いて、アソシエーションルールを生成する（ステップＳ７０４）。
そして、表示部１４０が、所定の相関値（たとえば「−０．７」）以下の相関値が算出された周波数成分、輝度変化の方向および画像上の位置とルール生成部１３０が生成したアソシエーションルールとを表示する（ステップＳ７０５）。
次に、本実施の形態１に係る知識発見装置１００による発見知識の表示例について説明する。第８図は、機械の金属部品の表面を撮影した画像の一例を示す図であり、第９図は、第８図に示した画像から知識発見装置１００が発見した知識を表示した例を示す図である。
第８図に示す画像は、金属部品の表面の右上の部分に細かい縦縞の亀裂があり、左下半分に間隔の大きな斜めの亀裂があることを示している。この画像データを知識発見装置１００が処理すると、たとえば、画像右上の高周波の横方向の輝度変化の度合いが大きいという特徴量の内容と経過時間が少ないという属性データの内容との間に負の強い相関を発見する。
そして、知識発見装置１００は、第９図に示すように、縮小段階の最も小さいＨＬ領域、すなわち高周波の横方向の輝度変化の度合いを表わす領域の右上が故障発生までの経過時間と負の相関が強い領域であることを、発見した知識として表示する。
上述したように、本実施の形態１では、特徴量抽出部１１０が、金属部品の表面の画像データからウェーブレット変換を用いて画像上の位置ごとの複数の周波数成分の縦方向、横方向および斜め方向の輝度変化の度合いを特徴量として抽出し、関係分析部１２０が、金属部品の故障発生までの経過時間を属性データとして属性データと特徴量との相関値を算出し、ルール生成部１３０が、相関値が所定の相関値（たとえば「−０．７」）以下の特徴量の内容と属性データの内容とを用いてアソシエーションルールを生成することとしたので、金属部品の表面の画像のように、故障発生までの特徴が特定領域の輝度の分布パターンにある画像からも知識を発見することができる。
実施の形態２．
ところで、上記実施の形態１では、ウェーブレット変換を用いて画像データの多重解像度化と多重解像度画像からの特徴抽出とをおこなう場合について説明したが、ウェーブレット変換以外の手法を用いて画像データの多重解像度化と多重解像度画像からの特徴抽出をおこなうこともできる。そこで、本実施の形態２では、画像データの多重解像度化と多重解像度画像からの特徴抽出をおこなう他の手法について説明する。
なお、本実施の形態２では、コンビニエンスストアなどの小売店における商品の棚割り状態を撮影した画像データと商品の売上データとから、棚における商品のパッケージの色特徴および位置と売上との間の関係をアソシエーションルールとして発見する場合について説明する。
第１０図は、本実施の形態２に係る知識発見装置の構成を示す機能ブロック図である。同図に示すように、この知識発見装置１０００は、特徴量を抽出する特徴量抽出部１０１０と、特徴量と属性データとの関係を分析する関係分析部１０２０と、分析結果を表示する表示部１０３０と、棚割りの仕方や陳列商品が異なる様々なパターンの棚割り状態を撮影した画像データを記憶する画像データ記憶部１０４０と、陳列商品ごとに売上データと画像上の位置を対応付けて記憶する属性データ記憶部１０５０と、全体を制御する制御部１０６０とを有する。
また、第１１図は、第１０図に示した特徴量抽出部１０１０による画像データの多重解像度化を説明するための説明図である。同図に示すように、この特徴量抽出部１０１０は、画像を段階的に縦横半分に分割し、各段階の分割画像ごとに画素の色の平均値を特徴量として算出する。
そして、関係分析部１０２０は、特徴抽出部１０１０により特徴量として算出された色の平均値群を各分割段階の分割領域ごとに売上データの数値群と対応付け、データマイニング手法を用いて、所定の売上高以上の売上があることを結論部としたときに、与えられたサポートとコンフィデンスを満たすアソシエーションルールを生成する。
ここで、サポートとは、生成したアソシエーションルールに関係するデータの割合であり、コンフィデンスとは、生成したアソシエーションルールの確からしさである。
この結果、たとえば、第１１図の第二段階の分割の左上の領域がＲＧＢ値でＲが「２５０」から「２５５」、Ｇ値が「０」から「１０」、Ｂ値が「０」から「５」（Ｒ，Ｇ，Ｂの値の範囲は［０，２５５］）の範囲の一般に赤色と感じる色が条件部となるアソシエーションルールが得られた場合、第１２図に示すように、表示部１０３０が、対応する画像上の位置に赤色で表示する。また、表示部１０３０は、分析の結果得られたアソシエーションルールをサポートとコンフィデンスとともに利用者に提示する。
このようにして、知識発見装置１０００は、赤色で表示した画像上の領域に対応する棚の位置に置く商品のパッケージの色を赤色にすると売上が上がるという知識を利用者に提示することができる。
上述したように、本実施の形態２では、特徴量抽出部１０１０が、画像を段階的に縦横半分に分割し、各段階の分割画像ごとに画素の色の平均値を特徴量として算出し、関係分析部１０２０が、色の平均値群を各分割領域の売上データの数値群と対応付け、データマイニング手法を用いてアソシエーションルールを生成することとしたので、商品の棚割り画像のように、特徴の場所や大きさが不明な画像からも、特徴量と属性データの関係についての知識を発見することができる。
なお、本実施の形態１および２では、知識発見装置について説明したが、この知識発見装置が有する構成をソフトウェアによって実現することで、同様の機能を有する知識発見プログラムを得ることができる。そこで、この知識発見プログラムを実行するコンピュータシステムについて説明する。
第１３図は、本実施の形態に係る知識発見プログラムを実行するコンピュータシステムを示す図である。同図に示すように、このコンピュータシステム２００は、本体部２０１と、本体部２０１からの指示により表示画面２０２ａに情報を表示するディスプレイ２０２と、このコンピュータシステム２００に種々の情報を入力するためのキーボード２０３と、ディスプレイ２０２の表示画面２０２ａ上の任意の位置を指定するマウス２０４と、ローカルエリアネットワーク（ＬＡＮ）２０６または広域エリアネットワーク（ＷＡＮ）に接続するＬＡＮインタフェースと、インターネットなどの公衆回線２０７に接続するモデム２０５とを有する。ここで、ＬＡＮ２０６は、他のコンピュータシステム（ＰＣ）２１１、サーバ２１２、プリンタ２１３などとコンピュータシステム２００とを接続している。
また、第１４図は、第１３図に示した本体部２０１の構成を示す機能ブロック図である。同図に示すように、この本体部２０１は、ＣＰＵ２２１と、ＲＡＭ２２２と、ＲＯＭ２２３と、ハードディスクドライブ（ＨＤＤ）２２４と、ＣＤ−ＲＯＭドライブ２２５と、ＦＤドライブ２２６と、Ｉ／Ｏインタフェース２２７と、ＬＡＮインタフェース２２８とを有する。
そして、このコンピュータシステム２００において実行される知識発見プログラムは、フロッピィディスク（ＦＤ）２０８、ＣＤ−ＲＯＭ２０９、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの可搬型記憶媒体に記憶され、これらの記憶媒体から読み出されてコンピュータシステム２００にインストールされる。
あるいは、この知識発見プログラムは、ＬＡＮインタフェース２２８を介して接続されたサーバ２１２のデータベース、他のコンピュータシステム（ＰＣ）２１１のデータベース、公衆回線２０７を介して接続された他のコンピュータシステムのデータベースなどに記憶され、これらのデータベースから読み出されてコンピュータシステム２００にインストールされる。
そして、インストールされた知識発見プログラムは、ＨＤＤ２２４に記憶され、ＲＡＭ２２２、ＲＯＭ２２３などを利用してＣＰＵ２２１により実行される。
以上説明したように、本発明によれば、各画像データから多重解像度化した画像データを生成し、多重解像度化した画像データから特徴量を抽出し、抽出した特徴量と属性データとの関係を分析するよう構成したので、特徴が局所的な領域の画素値の分布パターンにある画像や特徴の位置および大きさが不明である画像からも知識を発見することができるという効果を奏する。
【産業上の利用可能性】  以上のように、本発明に係る知識発見装置、知識発見プログラムおよび知識発見方法は、特徴が画素値の分布パターンにある画像や特徴の位置および大きさが不明である画像から知識を発見したい場合に適している。
【図１】
2004093006.tif 000004
【図２】
2004093006.tif 000005
【図３】
2004093006.tif 000006
【図４】
2004093006.tif 000007
【図５】
2004093006.tif 000008
【図６】
2004093006.tif 000009
【図７】
2004093006.tif 000010
【図８】
2004093006.tif 000011
【図９】
2004093006.tif 000012
【図１０】
2004093006.tif 000013
【図１１】
2004093006.tif 000014
【図１２】
2004093006.tif 000015
【図１３】
2004093006.tif 000016
【図１４】
2004093006.tif 000017
【手続補正書】
【提出日】平成17年3月2日(2005.3.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】      明細書
【特許請求の範囲】
【請求項１】  画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見装置であって、
各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量と属性データとの関係を分析する関係分析手段と、
を備えたことを特徴とする知識発見装置。
【請求項２】  画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見プログラムであって、
各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出手順と、
前記特徴量抽出手順により抽出された特徴量と属性データとの関係を分析する関係分析手順と、
をコンピュータに実行させることを特徴とする知識発見プログラム。
【請求項３】  前記関係分析手順による分析結果に基づいて、特徴量の内容を条件部分とし属性データの内容を結論部分とするアソシエーションルールまたは属性データの内容を条件部分とし特徴量の内容を結論部分とするアソシエーションルールを生成するルール生成手順をさらにコンピュータに実行させることを特徴とする請求の範囲第２項に記載の知識発見プログラム。
【請求項４】  前記特徴量抽出手順は、前記多重解像度化した画像データから画像上の位置に対応する特徴量を抽出し、前記関係分析手順は、画像上の位置に対応する特徴量と属性データとの相関値を計算し、前記相関値が所定の範囲にある画像上の位置および相関値を分析結果として表示する分析結果表示手順をさらにコンピュータに実行させることを特徴とする請求の範囲第２項または第３項に記載の知識発見プログラム。
【請求項５】  前記特徴量抽出手順は、ウェーブレット変換を用いて前記画像データから画像上の各位置における複数の周波数成分の縦方向、横方向および斜め方向の輝度変化の度合いを特徴量として抽出することを特徴とする請求の範囲第４項に記載の知識発見プログラム。
【請求項６】  前記特徴量抽出手順は、画像を段階的に縦横に分割することによって前記画像データを多解像度化し、各段階の分割で得られた画像に対応する画像データの色の平均値を前記特徴量として用いることを特徴とする請求の範囲第２項に記載の知識発見プログラム。
【請求項７】  前記関係分析手順は、データマイニング手法を用いて特徴量と属性データとの関係を分析することを特徴とする請求の範囲第２項または第６項に記載の知識発見プログラム。
【請求項８】  画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見方法であって、
各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出工程と、
前記特徴量抽出工程により抽出された特徴量と属性データとの関係を分析する関係分析工程と、
を含んだことを特徴とする知識発見方法。
【発明の詳細な説明】
【０００１】
【技術分野】
この発明は、画像と画像に対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、画像の特徴量と属性データとの関係についての知識を発見する知識発見装置、知識発見プログラムおよび知識発見方法に関し、特に、特徴が局所的な領域の画素値の分布パターンにある画像や特徴の位置および大きさが不明である画像からも知識を発見することができる知識発見装置、知識発見プログラムおよび知識発見方法に関するものである。
【０００２】
【背景技術】
近年、製造業の設計や検査、小売業のマーケティングなどの用途に画像が利用されている。たとえば、製造業の検査への応用として、稼動中の機械の金属部品を定期的に撮影し、機械が故障した場合に故障発生時間から一定の時間前の画像に描かれた金属部品の表面の色や亀裂を観察することで、ある部位が特定の色に変化したとき、あるいは、ある部位に亀裂が入ったときの故障発生率を見出す応用がある。また、小売業のマーケティングへの応用として、コンビニエンスストアなどの小売店で商品の棚割りの状態を撮影した画像と商品の売上に関する数値データとの間の関係を分析することで売上を向上するための棚割りの仕方を見出す応用がある。
【０００３】
従来、こうした作業には、人間が故障発生率や商品の売上などの属性データと画像とを見比べて画像上の局所的な領域の特徴や位置と属性データとの間の関係を発見するという手法がとられており、作業の労力が大きいという欠点があった。そこで、画像上の局所的な領域の特徴や位置と属性データとの間の関係をコンピュータで自動的に算出する手法が提案されている（たとえば、非特許文献１参照。）。
【０００４】
この手法は、人間の特定の動作に対応する脳の活動部位を発見することを目的としたものであり、人間がある動作をしたときの脳のｆ−ＭＲＩ断層画像データ群を用い、各画像を縦横に分割したときの活性状態にある位置を分析して、その動作に対応する脳の部位を自動的に発見するというものである。
【０００５】
非特許文献１
M. Kakimoto, C. Morita, and H. Tsukimoto: Data Mining from Functional Brain Images, In Proc. of ACM MDM/KDD2000, pp.91-97(2000)．
非特許文献２
Yusuke Uehara, Susumu Endo, Shuichi Shiitani, Daiki Masumoto, and Shigemi Nagata:"A Computer-aided Visual Exploration System for Knowledge Discovery from Images", In Proc. of ACM MDM/KDD2001, pp.102-109(2001).
非特許文献３
上原祐介,遠藤進,椎谷秀一,増本大器,長田茂美："仮想空間での情報構造表現に基づく画像群からの知識発見支援システム", 人工知能学会 研究会資料 SIG-FAI/KBS-J-40, pp.243-250(2001).
【０００６】
しかしながら、この手法では、属性データとして、特定の動作をしているか否かという二値データを対象にしているため、たとえば、金属機械部品の故障予測において、画像データ上の特定の位置の領域の画素値の分布パターンを分析する必要がある場合には、利用することができないという問題がある。
【０００７】
また、この手法では、所定の大きさで画像を分割したときの分割画像を単位に分析するため、たとえば、商品の棚割り画像の分析のように、属性データと関係がある領域の大きさが場合によって様々であり、予め領域の大きさが決められない用途には適用できないという問題がある。
【０００８】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、特徴が局所的な領域の画素値の分布パターンにある画像や特徴の位置および大きさが不明である画像からも知識を発見することができる知識発見装置、知識発見プログラムおよび知識発見方法を提供することを目的としている。
【０００９】
【発明の開示】
上述した課題を解決し、目的を達成するため、本発明は、画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見装置であって、各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量と属性データとの関係を分析する関係分析手段と、を備えたことを特徴とする。
【００１０】
また、本発明は、画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見プログラムであって、各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出手順と、前記特徴量抽出手順により抽出された特徴量と属性データとの関係を分析する関係分析手順と、をコンピュータに実行させることを特徴とする。
【００１１】
また、本発明は、画像データと該画像データに対応付けられた属性データとの対を複数用いて画像の特徴量と属性データとの関係を分析し、該関係についての知識を発見する知識発見方法であって、各画像データから多重解像度化した画像データを生成し、該多重解像度化した画像データから特徴量を抽出する特徴量抽出工程と、前記特徴量抽出工程により抽出された特徴量と属性データとの関係を分析する関係分析工程と、を含んだことを特徴とする。
【００１２】
かかる発明によれば、各画像データから多重解像度化した画像データを生成し、多重解像度化した画像データから特徴量を抽出し、抽出した特徴量と属性データとの関係を分析することとしたので、特徴が局所的な領域の画素値の分布パターンにある画像や特徴の位置および大きさが不明である画像からも知識を発見することができる。
【００１３】
【発明を実施するための最良の形態】
以下、添付図面を参照して、この発明に係る知識発見装置、知識発見プログラムおよび知識発見方法の好適な実施の形態を詳細に説明する。なお、実施の形態１では、この発明に係る知識発見装置を機械の金属部品の故障予測に適用した場合について説明し、実施の形態２では、この発明に係る知識発見装置を小売店での棚割りに適用した場合について説明する。
【００１４】
実施の形態１．
まず、本実施の形態１に係る知識発見装置の構成について説明する。第１図は、本実施の形態１に係る知識発見装置の構成を示す機能ブロック図である。同図に示すように、この知識発見装置１００は、特徴量抽出部１１０と、関係分析部１２０と、ルール生成部１３０と、表示部１４０と、画像データ記憶部１５０と、属性データ記憶部１６０と、制御部１７０とを有する。
【００１５】
特徴量抽出部１１０は、画像データ記憶部１５０に記憶された画像データを多重解像度化し、多重解像度化した画像データから特徴量を抽出する処理部である。具体的には、この特徴量抽出部１１０は、画像データ記憶部１５０に記憶された金属部品の画像データにウェーブレット変換を施し、画像上の各位置における複数の周波数の縦方向、横方向および斜め方向の輝度変化の度合いを特徴量として抽出する。
【００１６】
関係分析部１２０は、特徴抽出部１１０により多重解像度化画像データから抽出された特徴量と属性データ記憶部１６０に記憶された属性データとを用いて特徴量と属性データとの関係を分析する処理部である。具体的には、この関係分析部１２０は、特徴量である画像上の各位置における複数の周波数の縦方向、横方向および斜め方向の輝度変化の度合いと属性データである故障発生までの経過時間との相関値を算出して特徴量と属性データとの関係を分析する。なお、特徴量抽出部１１０および関係分析部１２０の処理の詳細については後述する。
【００１７】
ルール生成部１３０は、関係分析部１２０による分析結果に基づいて特徴量と属性データとの関係に関する知識を生成する処理部であり、具体的には、特徴量の内容を条件部分とし属性データの内容を結論部分とするアソシエーションルールを生成する。
【００１８】
たとえば、このルール生成部１３０は、高周波の横方向の輝度変化の度合いとして大きい値が画像上の右上の辺りに現れると故障発生までの経過時間は短い、すなわち、金属部品の表面の右上の部分に細かい縦縞の亀裂がでてきたら短時間の間に機械が故障する可能性が高いといったアソシエーションルールを生成する。
【００１９】
なお、ここでは、特徴量の内容を条件部分とし属性データの内容を結論部分とするアソシエーションルールを生成するが、このルール生成部１３０は、属性データの内容を条件部分とし特徴量の内容を結論部分とするアソシエーションルールを生成することもできる。
【００２０】
表示部１４０は、関係分析部１２０による分析の結果、特徴量と属性データとの間に強い相関がある画像上の位置を視覚的に表示する処理部であり、位置とともにその位置の相関値も表示する。また、この表示部１４０は、ルール作成部１３０が作成したアソシエーションルールも表示する。
【００２１】
画像データ記憶部１５０は、特徴量が抽出される画像データを記憶した記憶部であり、ここでは、機械の金属部品の表面を一定時間ごとに撮影した画像データを記憶する。第２図は、画像データ記憶部１５０が記憶する画像データの一例を示す図である。同図に示すように、この画像データ記憶部１５０は、画像データとして、個々の画像を識別するための画像ＩＤと画像データ本体が格納されている画像データ記憶部１５０内のアドレスとを対応させて記憶する。
【００２２】
たとえば、画像ＩＤが「００００１」である画像のデータは、画像データ記憶部１５０内の「１６Ａ００１］のアドレスに格納されていることを示し、画像ＩＤが「００００２」である画像のデータは、画像データ記憶部１５０内の「１６Ａ２８２］のアドレスに格納されていることを示している。
【００２３】
属性データ記憶部１６０は、画像の特徴量との関係が分析される属性データを記憶した記憶部であり、ここでは、画像を撮影した金属部品に故障が発生するまでの経過時間を属性データとして記憶する。第３図は、属性データ記憶部１６０が記憶する属性データの一例を示す図である。同図に示すように、この属性データ記憶部１６０は、属性データとして、画像ＩＤと経過時間とを対応させて記憶する。
【００２４】
たとえば、画像ＩＤが「００００１」である画像については、この画像が撮影されて「０１２６８１」時間経過後に金属部品に故障が発生したことを示し、画像ＩＤが「００００２」である画像については、この画像が撮影されて「０１３４２９」時間経過後に金属部品に故障が発生したことを示している。
【００２５】
制御部１７０は、知識発見装置１００全体を制御する処理部であり、具体的には、各処理部間の制御の受け渡しや各処理部と記憶部とのデータの授受をおこなうことによって、知識発見装置１００を一つの装置として機能させる。
【００２６】
次に、特徴量抽出部１１０の処理の詳細について説明する。第４図は、特徴量抽出部１１０による画像データの多重解像度化を説明するための説明図である。同図に示すように、この特徴量抽出部１１０は、元の画像データから段階的に縦横の長さを各々二分の一にした縮小画像を生成して多重解像度化をおこなう。なお、ここでは、縮小の段階を三段階としているが、この段階は任意の数の段階とすることができる。
【００２７】
そして、特徴量抽出部１１０は、生成した各段階の縮小画像にHaar母関数を用いたウェーブレット変換を施す。これにより、各縮小画像に関して、画像上の各位置における縦方向の輝度変化の度合い、横方向の輝度変化の度合いおよび斜め方向の輝度変化の度合いが特徴量として得られる。
【００２８】
第５図は、画像データのウェーブレット変換を説明するための説明図である。同図に示すように、画像データにウェーブレット変換を施すことによって、縦方向の輝度変化の度合い、横方向の輝度変化の度合いおよび斜め方向の輝度変化の度合いを示す数値の並びが得られる。
【００２９】
ここでは、対象画像データが右上に縦方向の輝度変化の度合いが大きい領域、左下に横方向の輝度変化の度合いが大きい領域を持つため、縦方向の輝度変化の度合いを示す数値の並びでは、画像上の右上の位置に対応する数値の値が大きく、横方向の輝度変化の度合いを示す数値の並びでは、画像上の左下の位置に対応する数値の値が大きい。また、斜め方向の輝度変化の度合いを示す数値の並びでは、画像上の右上と左下の位置に対応する数値の値が中程度の大きさとなる。
【００３０】
このように、この特徴量抽出部１１０は、生成した各段階の縮小画像にウェーブレット変換を施すことで、小さい範囲で細かく変化する高周波成分から大きい範囲で徐々に変化する低周波成分までの間で段階的に縦方向、横方向および斜め方向の各々の輝度変化を特徴量として得ることができる。すなわち、この特徴量抽出部１１０は、画像データから特定領域の画素の輝度の分布パターンを特徴量として抽出することができる。
【００３１】
また、第６図は、ウェーブレット変換結果の表示例を示す図である。第６図において、ＨＬは横方向、ＬＨは縦方向、ＨＨは斜め方向の輝度変化の度合いを表す領域である。また、各添え字の数字は、縮小段階を表すものであり、縮小段階の段階が大きいほど小さな数字となっている。
【００３２】
次に、関係分析部１２０の処理の詳細について説明する。関係分析部１２０は、画像データ記憶部１５０に記憶した画像データ群から特徴量抽出部１１０により抽出された複数の周波数成分の縦方向、横方向、斜め方向の輝度変化の度合いを表す数値について画像上の位置ごとの数値群と故障発生時までの時間の長さを表す数値群とを対応付け、相関値を算出する。
【００３３】
たとえば、ｉ番目の画像データのｎ段階目の縮小画像の位置（ｘ，ｙ）の縦（Ｔ）方向の輝度変化の度合いがＣTnxyiであり、ｉ番目の画像データに対応する故障発生時までの経過時間がＴiであるとき、この関係分析部１２０は、ｎ段階目の縮小画像の位置（ｘ，ｙ）の縦（T)方向の輝度変化の度合いと故障発生時までの経過時間の間の相関値CorrTxyを、次式(１)を用いて求める。
【数１】
2004093006.tif 000018
【００３４】
ここで、式(１)により計算される相関値の範囲は［−１．０，１．０］であり、値が大きいほど強い正の相関があり、値が小さいほど強い負の相関があると言える。したがって、画像上のある位置におけるある周波数成分のある方向の輝度変化の度合い（特徴量）と故障発生までの経過時間（属性データ）との間に強い負の相関関係がある場合には、その輝度変化の度合いが大きいと故障発生までの経過時間が短い可能性が高く、短時間で故障が発生する可能性が高くなる。
【００３５】
このように、この関係分析部１２０が、画像上の各位置について、複数の周波数成分の縦方向、横方向、斜め方向の輝度変化の度合いと故障発生までの経過時間との相関値を算出することによって、金属部品表面の特定領域の輝度の分布パターンと金属部品に故障が発生する可能性との関係についての知識を発見することができる。
【００３６】
次に、本実施の形態１に係る知識発見装置１００の処理手順について説明する。第７図は、本実施の形態１に係る知識発見装置１００の処理手順を示すフローチャ−トである。同図に示すように、この知識発見装置１００は、特徴量抽出部１１０が、画像データ記憶部１５０に記憶された画像データ群を多重解像度化し（ステップＳ７０１）、多重解像度化により得られた各画像に対してＨａａｒ母関数を用いたウェーブレット変換を施す（ステップＳ７０２）。
【００３７】
すなわち、特徴量抽出部１１０は、画像データ記憶部１５０に記憶された全ての画像データに対して画像上の各位置について、複数の周波数成分の縦方向、横方向および斜め方向の輝度変化の度合いを特徴量として算出する。
【００３８】
そして、関係分析部１２０が、特徴量抽出部１１０により抽出された複数の周波数成分の縦方向、横方向および斜め方向の輝度変化の度合いを表す数値について画像上の位置ごとの数値群と故障発生時までの時間の長さを表す数値群とを対応付け、相関値を算出する（ステップＳ７０３）。
【００３９】
そして、ルール生成部１３０が、所定の相関値（たとえば「−０．７」）以下の相関値が算出された特徴量の内容、すなわち、画像上のある位置におけるある周波数成分のある方向の輝度変化の度合いと、属性データの内容、すなわち故障発生までの時間の長さとを用いて、アソシエーションルールを生成する（ステップＳ７０４）。
【００４０】
そして、表示部１４０が、所定の相関値（たとえば「−０．７」）以下の相関値が算出された周波数成分、輝度変化の方向および画像上の位置とルール生成部１３０が生成したアソシエーションルールとを表示する（ステップＳ７０５）。
【００４１】
次に、本実施の形態１に係る知識発見装置１００による発見知識の表示例について説明する。第８図は、機械の金属部品の表面を撮影した画像の一例を示す図であり、第９図は、第８図に示した画像から知識発見装置１００が発見した知識を表示した例を示す図である。
【００４２】
第８図に示す画像は、金属部品の表面の右上の部分に細かい縦縞の亀裂があり、左下半分に間隔の大きな斜めの亀裂があることを示している。この画像データを知識発見装置１００が処理すると、たとえば、画像右上の高周波の横方向の輝度変化の度合いが大きいという特徴量の内容と経過時間が少ないという属性データの内容との間に負の強い相関を発見する。
【００４３】
そして、知識発見装置１００は、第９図に示すように、縮小段階の最も小さいＨＬ領域、すなわち高周波の横方向の輝度変化の度合いを表わす領域の右上が故障発生までの経過時間と負の相関が強い領域であることを、発見した知識として表示する。
【００４４】
上述したように、本実施の形態１では、特徴量抽出部１１０が、金属部品の表面の画像データからウェーブレット変換を用いて画像上の位置ごとの複数の周波数成分の縦方向、横方向および斜め方向の輝度変化の度合いを特徴量として抽出し、関係分析部１２０が、金属部品の故障発生までの経過時間を属性データとして属性データと特徴量との相関値を算出し、ルール生成部１３０が、相関値が所定の相関値（たとえば「−０．７」）以下の特徴量の内容と属性データの内容とを用いてアソシエーションルールを生成することとしたので、金属部品の表面の画像のように、故障発生までの特徴が特定領域の輝度の分布パターンにある画像からも知識を発見することができる。
【００４５】
実施の形態２．
ところで、上記実施の形態１では、ウェーブレット変換を用いて画像データの多重解像度化と多重解像度画像からの特徴抽出とをおこなう場合について説明したが、ウェーブレット変換以外の手法を用いて画像データの多重解像度化と多重解像度画像からの特徴抽出をおこなうこともできる。そこで、本実施の形態２では、画像データの多重解像度化と多重解像度画像からの特徴抽出をおこなう他の手法について説明する。
【００４６】
なお、本実施の形態２では、コンビニエンスストアなどの小売店における商品の棚割り状態を撮影した画像データと商品の売上データとから、棚における商品のパッケージの色特徴および位置と売上との間の関係をアソシエーションルールとして発見する場合について説明する。
【００４７】
第１０図は、本実施の形態２に係る知識発見装置の構成を示す機能ブロック図である。同図に示すように、この知識発見装置１０００は、特徴量を抽出する特徴量抽出部１０１０と、特徴量と属性データとの関係を分析する関係分析部１０２０と、分析結果を表示する表示部１０３０と、棚割りの仕方や陳列商品が異なる様々なパターンの棚割り状態を撮影した画像データを記憶する画像データ記憶部１０４０と、陳列商品ごとに売上データと画像上の位置を対応付けて記憶する属性データ記憶部１０５０と、全体を制御する制御部１０６０とを有する。
【００４８】
また、第１１図は、第１０図に示した特徴量抽出部１０１０による画像データの多重解像度化を説明するための説明図である。同図に示すように、この特徴量抽出部１０１０は、画像を段階的に縦横半分に分割し、各段階の分割画像ごとに画素の色の平均値を特徴量として算出する。
【００４９】
そして、関係分析部１０２０は、特徴抽出部１０１０により特徴量として算出された色の平均値群を各分割段階の分割領域ごとに売上データの数値群と対応付け、データマイニング手法を用いて、所定の売上高以上の売上があることを結論部としたときに、与えられたサポートとコンフィデンスを満たすアソシエーションルールを生成する。
【００５０】
ここで、サポートとは、生成したアソシエーションルールに関係するデータの割合であり、コンフィデンスとは、生成したアソシエーションルールの確からしさである。
【００５１】
この結果、たとえば、第１１図の第二段階の分割の左上の領域がＲＧＢ値でＲが「２５０」から「２５５」、Ｇ値が「０」から「１０」、Ｂ値が「０」から「５」（Ｒ，Ｇ，Ｂの値の範囲は［０，２５５］）の範囲の一般に赤色と感じる色が条件部となるアソシエーションルールが得られた場合、第１２図に示すように、表示部１０３０が、対応する画像上の位置に赤色で表示する。また、表示部１０３０は、分析の結果得られたアソシエーションルールをサポートとコンフィデンスとともに利用者に提示する。
【００５２】
このようにして、知識発見装置１０００は、赤色で表示した画像上の領域に対応する棚の位置に置く商品のパッケージの色を赤色にすると売上が上がるという知識を利用者に提示することができる。
【００５３】
上述したように、本実施の形態２では、特徴量抽出部１０１０が、画像を段階的に縦横半分に分割し、各段階の分割画像ごとに画素の色の平均値を特徴量として算出し、関係分析部１０２０が、色の平均値群を各分割領域の売上データの数値群と対応付け、データマイニング手法を用いてアソシエーションルールを生成することとしたので、商品の棚割り画像のように、特徴の場所や大きさが不明な画像からも、特徴量と属性データの関係についての知識を発見することができる。
【００５４】
なお、本実施の形態１および２では、知識発見装置について説明したが、この知識発見装置が有する構成をソフトウェアによって実現することで、同様の機能を有する知識発見プログラムを得ることができる。そこで、この知識発見プログラムを実行するコンピュータシステムについて説明する。
【００５５】
第１３図は、本実施の形態に係る知識発見プログラムを実行するコンピュータシステムを示す図である。同図に示すように、このコンピュータシステム２００は、本体部２０１と、本体部２０１からの指示により表示画面２０２ａに情報を表示するディスプレイ２０２と、このコンピュータシステム２００に種々の情報を入力するためのキーボード２０３と、ディスプレイ２０２の表示画面２０２ａ上の任意の位置を指定するマウス２０４と、ローカルエリアネットワーク（ＬＡＮ）２０６または広域エリアネットワーク（ＷＡＮ）に接続するＬＡＮインタフェースと、インターネットなどの公衆回線２０７に接続するモデム２０５とを有する。ここで、ＬＡＮ２０６は、他のコンピュータシステム（ＰＣ）２１１、サーバ２１２、プリンタ２１３などとコンピュータシステム２００とを接続している。
【００５６】
また、第１４図は、第１３図に示した本体部２０１の構成を示す機能ブロック図である。同図に示すように、この本体部２０１は、ＣＰＵ２２１と、ＲＡＭ２２２と、ＲＯＭ２２３と、ハードディスクドライブ（ＨＤＤ）２２４と、ＣＤ−ＲＯＭドライブ２２５と、ＦＤドライブ２２６と、Ｉ／Ｏインタフェース２２７と、ＬＡＮインタフェース２２８とを有する。
【００５７】
そして、このコンピュータシステム２００において実行される知識発見プログラムは、フロッピィディスク（ＦＤ）２０８、ＣＤ−ＲＯＭ２０９、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの可搬型記憶媒体に記憶され、これらの記憶媒体から読み出されてコンピュータシステム２００にインストールされる。
【００５８】
あるいは、この知識発見プログラムは、ＬＡＮインタフェース２２８を介して接続されたサーバ２１２のデータベース、他のコンピュータシステム（ＰＣ）２１１のデータベース、公衆回線２０７を介して接続された他のコンピュータシステムのデータベースなどに記憶され、これらのデータベースから読み出されてコンピュータシステム２００にインストールされる。
【００５９】
そして、インストールされた知識発見プログラムは、ＨＤＤ２２４に記憶され、ＲＡＭ２２２、ＲＯＭ２２３などを利用してＣＰＵ２２１により実行される。
【００６０】
以上説明したように、本発明によれば、各画像データから多重解像度化した画像データを生成し、多重解像度化した画像データから特徴量を抽出し、抽出した特徴量と属性データとの関係を分析するよう構成したので、特徴が局所的な領域の画素値の分布パターンにある画像や特徴の位置および大きさが不明である画像からも知識を発見することができるという効果を奏する。
【００６１】
【産業上の利用可能性】
以上のように、本発明に係る知識発見装置、知識発見プログラムおよび知識発見方法は、特徴が画素値の分布パターンにある画像や特徴の位置および大きさが不明である画像から知識を発見したい場合に適している。
【図面の簡単な説明】
【図１】
第１図は、本実施の形態１に係る知識発見装置の構成を示す機能ブロック図である。
【図２】
第２図は、画像データ記憶部が記憶する画像データの一例を示す図である。
【図３】
第３図は、属性データ記憶部が記憶する属性データの一例を示す図である。
【図４】
第４図は、特徴量抽出部による画像データの多重解像度化を説明するための説明図である。
【図５】
第５図は、画像データのウェーブレット変換を説明するための説明図である。
【図６】
第６図は、ウェーブレット変換結果の表示例を示す図である。
【図７】
第７図は、本実施の形態１に係る知識発見装置の処理手順を示すフローチャートである。
【図８】
第８図は、機械の金属部品の表面を撮影した画像の一例を示す図である。
【図９】
第９図は、第８図に示した画像から知識発見装置が発見した知識を表示した例を示す図である。
【図１０】
第１０図は、本実施の形態２に係る知識発見装置の構成を示す機能ブロック図である。
【図１１】
第１１図は、第１０図に示した特徴量抽出部による画像データの多重解像度化を説明するための説明図である。
【図１２】
第１２図は、本実施の形態２に係る知識発見装置が発見した知識を表示した例を示す図である。
【図１３】
第１３図は、本実施の形態１および２に係る知識発見プログラムを実行するコンピュータシステムを示す図である。
【図１４】
第１４図は、第１３図に示した本体部の構成を示す機能ブロック図である。
【国際調査報告】
2004093006.tif 000019
2004093006.tif 000020
2004093006.tif 000021
2004093006.tif 000022