(57)【要約】【課題】  所定の特徴を有するテキストデータに対応するマルチメディアデータに共通する情報の出現位置を示すパターン情報を自動抽出できるようにする。【解決手段】  マルチメディアデータ特徴抽出手段２が、マルチメディアデータを係数群９ａに変換する。テキストデータ特徴抽出手段３が、テキストデータをテキスト特徴量９ｂに変換する。共通パターン候補生成手段４が、テキスト特徴量９ｂと係数群内の個々のマルチメディア特徴量９ａａとからなる特徴量セットを抽出し、係数群内でのマルチメディア特徴量９ａａの配列上の位置が同じ特徴量セットを集めた共通パターン候補９ｃを生成する。共通パターン候補評価手段５が、共通パターン候補９ｃ内の特徴量セットの分布状況に基づいて、マルチメディア特徴量９ａａによるテキストデータの特徴判断の有効性を評価する。【選択図】  図１
2005190346.tif 000002
【特許請求の範囲】
【請求項１】
複数のマルチメディアデータの共通する特徴を検出する共通パターン抽出プログラムにおいて、
コンピュータを、
前記マルチメディアデータと、前記マルチメディアデータで表現されているものに関して記述したテキストデータとを含むサンプルデータを、複数入力する入力手段、
前記入力手段で入力された前記マルチメディアデータを、表現内容を数値化した複数のマルチメディア特徴量の配列で構成される係数群に変換するマルチメディアデータ特徴抽出手段、
前記入力手段で入力された前記テキストデータを、記述内容の特徴を数値化したテキスト特徴量に変換するテキストデータ特徴抽出手段、
複数の前記サンプルデータそれぞれから、前記テキスト特徴量と前記係数群内の個々の前記マルチメディア特徴量とからなる特徴量セットを抽出し、前記係数群内での前記マルチメディア特徴量の配列上の位置が同じ前記特徴量セットを集めた共通パターン候補を生成する共通パターン候補生成手段、
前記マルチメディア特徴量と前記テキスト特徴量とを軸とする座標空間における前記共通パターン候補内の前記特徴量セットの分布状況に基づいて、前記マルチメディア特徴量による前記テキストデータの特徴判断の有効性を評価する共通パターン候補評価手段、
前記共通パターン候補評価手段による評価結果に基づいて、前記サンプルデータの特徴判断に使用可能な前記共通パターン候補の前記マルチメディア特徴量の位置を共通パターンとして決定する共通パターン決定手段、
前記共通パターン決定手段で決定された前記共通パターンを出力する共通パターン出力手段、
として機能させることを特徴とする共通パターン抽出プログラム。
【請求項２】
前記共通パターン候補評価手段は、前記座標空間上における前記特徴量セットの集合の広がり度合いにより、凝集性を評価することを特徴とする請求項１記載の共通パターン抽出プログラム。
【請求項３】
前記共通パターン候補評価手段は、前記座標空間上における前記特徴量セットの複数の集合間の距離により、判別性を評価することを特徴とする請求項１記載の共通パターン抽出プログラム。
【請求項４】
前記共通パターン候補評価手段は、前記座標空間上で任意の線付近への前記特徴量セットの集合度合いにより、関連性を評価することを特徴とする請求項１記載の共通パターン抽出プログラム。
【請求項５】
複数のマルチメディアデータの共通する特徴を検出する共通パターン抽出方法において、
入力手段が、前記マルチメディアデータと、前記マルチメディアデータで表現されているものに関して記述したテキストデータとを含むサンプルデータを、複数入力し、
マルチメディアデータ特徴抽出手段が、前記入力手段で入力された前記マルチメディアデータを、表現内容を数値化した複数のマルチメディア特徴量の配列で構成される係数群に変換し、
テキストデータ特徴抽出手段が、前記入力手段で入力された前記テキストデータを、記述内容の特徴を数値化したテキスト特徴量に変換し、
共通パターン候補生成手段が、複数の前記サンプルデータそれぞれから、前記テキスト特徴量と前記係数群内の個々の前記マルチメディア特徴量とからなる特徴量セットを抽出し、前記係数群内での前記マルチメディア特徴量の配列上の位置が同じ前記特徴量セットを集めた共通パターン候補を生成し、
共通パターン候補評価手段が、前記マルチメディア特徴量と前記テキスト特徴量とを軸とする座標空間における前記共通パターン候補内の前記特徴量セットの分布状況に基づいて、前記マルチメディア特徴量による前記テキストデータの特徴判断の有効性を評価し、
共通パターン決定手段が、前記共通パターン候補評価手段による評価結果に基づいて、前記サンプルデータの特徴判断に使用可能な前記共通パターン候補の前記マルチメディア特徴量の位置を共通パターンとして決定し、
共通パターン出力手段が、前記共通パターン決定手段で決定された前記共通パターンを出力する、
ことを特徴とする共通パターン抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマルチメディアデータの特徴を検出するための共通パターン抽出プログラムおよび共通パターン抽出方法に関し、特に複数のマルチメディアデータに共通する特徴を検出する共通パターン抽出プログラムおよび共通パターン抽出方法に関する。
【背景技術】
【０００２】
現在、コンピュータ上でマルチメディアデータを取り扱う機会が多くなってきている。マルチメディアデータは、画像（静止画像）、映像（動画像）、三次元ボリュームデータ、流体解析データ、音声などを含む概念である。このマルチメディアデータは、テキストのみのデータと異なり、コンピュータによって分類するのが困難である。そこで、マルチメディアデータの特徴を抽出して、その特徴に基づいてデータを分類することが考えられる。
【０００３】
たとえば、画像データから予め決められた画像特徴を抽出する方法は数多く知られている。ただし、画像特徴は、色などの比較的汎用的な特徴から、画像中のある部分の形といったある分野に特化した特徴まで無数に存在する。そのため、適切な画像特徴を予め指定しておくことは難しい。
【０００４】
そのため画像と画像に付随するテキストデータとのペアが複数組与えられたときに、画像特徴とテキスト特徴との関係についての知識（ルール）を発見する処理において、作業者が画像を目で見て画像特徴を抽出する作業を支援する方法が提案されている（特許文献１参照）。また、類似する画像を検索するシステムも提案されている（非特許文献１参照）。
【特許文献１】特開２００３−６７４０１号公報
【非特許文献１】小早川倫広，星守“ウェーブレット変換を用いた対話的類似画像検索システム”Bit, vol.31, No.12, December, 1999.,p30-p41
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、従来、画像と画像に付随するテキストデータのペアが複数組与えられたときに、画像特徴とテキスト特徴との関係についての知識を発見するには、付随するテキストデータの特徴が似ている画像を集め、それらの画像に共通した画像特徴を人間（作業者）が画像を目で見て決める必要があった。そのため、以下の問題が生じていた。
（１）作業者の人的コストが必要となる。
（２）結果が作業者の主観に依存してしまう。
（３）人間には発見しにくい画像特徴の抽出が困難である。
【０００６】
本発明はこのような点に鑑みてなされたものであり、所定の特徴を有するテキストデータに対応するマルチメディアデータに共通する情報の出現位置を示すパターン情報を自動抽出できる共通パターン抽出プログラムおよび共通パターン抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明では上記課題を解決するために、図１に示すような共通パターン抽出プログラムが提供される。本発明に係る共通パターン抽出プログラムは、複数のマルチメディアデータの共通する特徴を検出するためのものである。この共通パターン抽出プログラムにより、コンピュータにおいて以下の機能を実現できる。
【０００８】
入力手段１は、マルチメディアデータと、マルチメディアデータで表現されているものに関して記述したテキストデータとを含むサンプルデータ９を、複数入力する。マルチメディアデータ特徴抽出手段２は、入力手段１で入力されたサンプルデータ９を、表現内容を数値化した複数のマルチメディア特徴量９ａａの配列で構成される係数群９ａに変換する。テキストデータ特徴抽出手段３は、入力手段１で入力されたテキストデータを、記述内容の特徴を数値化したテキスト特徴量９ｂに変換する。共通パターン候補生成手段４は、複数のサンプルデータ９それぞれから、テキスト特徴量９ｂと係数群内の個々のマルチメディア特徴量９ａａとからなる特徴量セットを抽出し、係数群内でのマルチメディア特徴量９ａａの配列上の位置が同じ特徴量セットを集めた共通パターン候補９ｃを生成する。共通パターン候補評価手段５は、マルチメディア特徴量９ａａとテキスト特徴量９ｂとを軸とする座標空間における共通パターン候補内の特徴量セットの分布状況に基づいて、マルチメディア特徴量９ａａによるテキストデータの特徴判断の有効性を評価する。共通パターン決定手段６は、共通パターン候補評価手段５による評価結果９ｄに基づいて、サンプルデータ９の特徴判断に使用可能な共通パターン候補９ｃのマルチメディア特徴量の位置を共通パターン９ｅとして決定する。共通パターン出力手段７は、共通パターン決定手段６で決定された共通パターン９ｅを出力する。
【０００９】
このような共通パターン抽出プログラムを実行するコンピュータによれば、入力手段１により、マルチメディアデータと、マルチメディアデータで表現されているものに関して記述したテキストデータとを含むサンプルデータ９が、複数入力される。すると、マルチメディアデータ特徴抽出手段２により、入力手段１で入力されたサンプルデータ９が、表現内容を数値化した複数のマルチメディア特徴量９ａａの配列で構成される係数群９ａに変換される。また、テキストデータ特徴抽出手段３により、入力手段１で入力されたテキストデータが、記述内容の特徴を数値化したテキスト特徴量９ｂに変換される。その後、共通パターン候補生成手段４により、複数のサンプルデータ９それぞれから、テキスト特徴量９ｂと係数群内の個々のマルチメディア特徴量９ａａとからなる特徴量セットが抽出され、係数群内でのマルチメディア特徴量９ａａの配列上の位置が同じ特徴量セットを集めた共通パターン候補９ｃが生成される。さらに、共通パターン候補評価手段５により、マルチメディア特徴量９ａａとテキスト特徴量９ｂとを軸とする座標空間における共通パターン候補内の特徴量セットの分布状況に基づいて、マルチメディア特徴量９ａａによるテキストデータの特徴判断の有効性が評価される。次に、共通パターン決定手段６により、共通パターン候補評価手段５による評価結果９ｄに基づいて、サンプルデータ９の特徴判断に使用可能な共通パターン候補９ｃのマルチメディア特徴量の位置が共通パターン９ｅとして決定される。そして、共通パターン出力手段７により、共通パターン決定手段６で決定された共通パターン９ｅが出力される。
【００１０】
また、上記課題を解決するために、複数のマルチメディアデータの共通する特徴を検出する共通パターン抽出方法において、入力手段が、前記マルチメディアデータと、前記マルチメディアデータで表現されているものに関して記述したテキストデータとを含むサンプルデータを、複数入力し、マルチメディアデータ特徴抽出手段が、前記入力手段で入力された前記マルチメディアデータを、表現内容を数値化した複数のマルチメディア特徴量の配列で構成される係数群に変換し、テキストデータ特徴抽出手段が、前記入力手段で入力された前記テキストデータを、記述内容の特徴を数値化したテキスト特徴量に変換し、共通パターン候補生成手段が、複数の前記サンプルデータそれぞれから、前記テキスト特徴量と前記係数群内の個々の前記マルチメディア特徴量とからなる特徴量セットを抽出し、前記係数群内での前記マルチメディア特徴量の配列上の位置が同じ前記特徴量セットを集めた共通パターン候補を生成し、共通パターン候補評価手段が、前記マルチメディア特徴量と前記テキスト特徴量とを軸とする座標空間における前記共通パターン候補内の前記特徴量セットの分布状況に基づいて、前記マルチメディア特徴量による前記テキストデータの特徴判断の有効性を評価し、共通パターン決定手段が、前記共通パターン候補評価手段による評価結果に基づいて、前記サンプルデータの特徴判断に使用可能な前記共通パターン候補の前記マルチメディア特徴量の位置を共通パターンとして決定し、共通パターン出力手段が、前記共通パターン決定手段で決定された前記共通パターンを出力することを特徴とする共通パターン抽出方法が提供される。
【００１１】
このような共通パターン抽出方法によれば、上記共通パターン抽出プログラムに基づいてコンピュータが実行する処理と同様の処理が行われる。
【発明の効果】
【００１２】
以上説明したように本発明では、マルチメディア特徴量とテキスト特徴量とを軸とする座標空間における共通パターン候補内の特徴量セットの分布状況に基づいて、係数群内の所定の位置のマルチメディア特徴量によるテキストデータの特徴判断の有効性を評価するようにした。これにより、テキストデータの特徴を判断可能なマルチメディア特徴量の位置を示す共通パターンを自動抽出することができる。その結果、テキストデータで示される特徴を有するマルチメディアデータの判別が容易となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図面を参照して説明する。
まず、実施の形態に適用される発明の概要について説明し、その後、実施の形態の具体的な内容を説明する。
【００１４】
図１は、実施の形態に適用される発明の概念図である。本発明に係る共通パターン抽出プログラムにより、図１に示すような機能がコンピュータ上で実現される。
入力手段１は、マルチメディアデータと、マルチメディアデータで表現されているものに関して記述したテキストデータとを含むサンプルデータ９を、複数入力する。たとえば、サンプルデータ９には、部品を撮影した画像と、画像に写された部品の性能を示すテキストデータとが含まれる。入力されたデータは、記憶装置に格納される。
【００１５】
マルチメディアデータ特徴抽出手段２は、入力手段１で入力されたサンプルデータ９を、表現内容を数値化した複数のマルチメディア特徴量９ａａの配列で構成される係数群９ａに変換する。たとえば、ウェーブレット変換により、係数群９ａが生成される。生成された係数群９ａは、記憶装置に格納される。
【００１６】
テキストデータ特徴抽出手段３は、入力手段１で入力されたテキストデータを、記述内容の特徴を数値化したテキスト特徴量９ｂに変換する。たとえば、性能が良い場合の値を１、性能が悪い場合の値を０とする。生成されたテキスト特徴量９ｂは、記憶装置に格納される。
【００１７】
共通パターン候補生成手段４は、複数のサンプルデータ９それぞれから、テキスト特徴量９ｂと係数群内の個々のマルチメディア特徴量９ａａとからなる特徴量セットを抽出し、係数群内でのマルチメディア特徴量９ａａの配列上の位置が同じ特徴量セットを集めた共通パターン候補９ｃを生成する。生成された共通パターン候補９ｃは、記憶装置に格納される。
【００１８】
共通パターン候補評価手段５は、マルチメディア特徴量９ａａとテキスト特徴量９ｂとを軸とする座標空間における共通パターン候補内の特徴量セットの分布状況に基づいて、マルチメディア特徴量９ａａによるテキストデータの特徴判断の有効性を評価する。評価基準としては、凝集性、判別性、関連性などがある。
【００１９】
たとえば、テキスト特徴量９ｂによる性能値が「１」（性能：良）であるサンプルデータ９のマルチメディア特徴量９ａａが、特定の範囲内に集中していれば、該当する共通パターン候補９ｃは、凝集性の評価が高くなる。また、テキスト特徴量９ｂによる性能値が「１」（性能：良）であるサンプルデータ９のマルチメディア特徴量９ａａの集中する範囲と、テキスト特徴量９ｂによる性能値が「０」（性能：悪）であるサンプルデータ９のマルチメディア特徴量９ａａの集中する範囲とが離れていれば、該当する共通パターン候補９ｃは、判別性の評価が高くなる。さらに、特徴量セットが、任意の線（たとえば、原点を通る任意の直線）に集約されている場合、該当する共通パターン候補９ｃは、関連性の評価が高くなる。評価結果９ｄは、記憶装置に格納される。
【００２０】
共通パターン決定手段６は、共通パターン候補評価手段５による評価結果９ｄに基づいて、サンプルデータ９の特徴判断に使用可能な共通パターン候補９ｃのマルチメディア特徴量の位置を共通パターン９ｅとして決定する。たとえば、予め設定されている閾値よりも高い評価結果９ｄが得られた共通パターン候補が、共通パターン９ｅとして決定される。
【００２１】
共通パターン出力手段７は、共通パターン決定手段６で決定された共通パターン９ｅを出力する。たとえば、共通パターン出力手段７は、共通パターンデータベース（ＤＢ）８に共通パターン９ｅを格納する。また、共通パターン出力手段７は、決定された共通パターン９ｅを画面表示することもできる。
【００２２】
このような共通パターン抽出プログラムを実行するコンピュータによれば、入力手段１により、マルチメディアデータと、マルチメディアデータで表現されているものに関して記述したテキストデータとを含むサンプルデータ９が、複数入力される。すると、マルチメディアデータ特徴抽出手段２により、入力手段１で入力されたサンプルデータ９が係数群９ａに変換される。また、テキストデータ特徴抽出手段３により、入力手段１で入力されたテキストデータがテキスト特徴量９ｂに変換される。
【００２３】
その後、共通パターン候補生成手段４により、複数のサンプルデータ９それぞれから特徴量セットが抽出され、係数群内でのマルチメディア特徴量９ａａの配列上の位置が同じ特徴量セットを集めた共通パターン候補９ｃが生成される。さらに、共通パターン候補評価手段５により、マルチメディア特徴量９ａａとテキスト特徴量９ｂとを軸とする座標空間における共通パターン候補内の特徴量セットの分布状況に基づいて、マルチメディア特徴量９ａａによるテキストデータの特徴判断の有効性が評価される。
【００２４】
次に、共通パターン決定手段６により、共通パターン候補評価手段５による評価結果９ｄに基づいて、サンプルデータ９の特徴判断に使用可能な共通パターン候補９ｃのマルチメディア特徴量の位置が共通パターン９ｅとして決定される。そして、共通パターン出力手段７により、共通パターン決定手段６で決定された共通パターン９ｅが出力される。
【００２５】
これにより、テキストデータで示される特徴が、マルチメディアデータ内の何処に現れるのかを示す共通パターンを自動抽出することができる。たとえば、性能の良い部品を見分ける場合、部品の画像から生成される係数群（マルチメディア特徴量の集合）のうち、どの位置のマルチメディア特徴量を参照すればよいのかが分かる。その結果、（１）人的コストの削減、（２）結果の客観性の向上、（３）人間には発見しにくい画像特徴量の抽出につながる。
【００２６】
以下、本発明の実施の形態を具体的に説明する。なお、本発明では、各種マルチメディアデータ（画像、映像、音声等）を扱うことができるが、本実施の形態では、マルチメディアデータとして画像を入力する場合の例を説明する。
【００２７】
また、本発明は部品の品質チェックに利用できる。すなわち、本発明に係る共通パターン抽出装置を用いれば、作業者の目視チェックで行われていた部品の良否判定を、コンピュータによって自動判定することが可能となる。具体的には、過去に製造した部品の製能検査を予め行うと共に、その部品の画像を記録しておく。そして、部品の画像データと性能データとをサンプルデータとして共通パターン抽出装置に入力し、良品の共通パターンと不良品の共通パターンとを抽出させる。これらの共通パターンに基づいて、今後製造する部品の良否判定を行うことができる。
【００２８】
そこで、本発明を適用して部品の良否判定を可能にしたシステムを、実施の形態として具体的に説明する。なお、以下の実施の形態では、工業製品の１つとしてパソコンの筺体を構成する部品の良品／不良品の検査過程への適用を仮定して説明する。この場合、サンプルデータは、部品の一部を撮影した画像データと、数値のテキストデータである。
【００２９】
画像データは、パソコンの筺体の部品の一部を撮影した画像である。この画像は、その部品を他の部品と接合して筺体を構成する際に、その接合部分として用いられる突起状の形状の部分を、デジタルカメラで撮影したものである。
【００３０】
テキストデータとしては、この部品と他の部品を接合した際の強度実験を実施したときの計測された強度を性能値としている。以下の例では、画像に写っている部品の突起状の形状がどのような形をしているときに、接合強度が高いかといった、部品の形状と接合強度との関係を発見することを目的とする。発見した関係（知識）を用いることにより、パソコンの筺体の部品を製造する際の良品／不良品検査において、各部品が強度が高い良品であるか、強度が低い不良品であるかを判定することができる。
【００３１】
ここでは、画像とテキストデータを用いて、画像の形状を表すのに適した画像特徴を得るために、強度が高い良品のサンプルデータ、あるいは強度が低い不良品のサンプルデータに共通するパターンを抽出する手段を説明する。
【００３２】
図２は、本実施の形態のシステム構成例を示す図である。このシステムは、部品評価結果記憶装置２００、共通パターン抽出装置１００、共通パターンＤＢ３００、および部品判別装置４００を有している。
【００３３】
共通パターン抽出装置１００は、部品評価結果記憶装置２００から部品評価結果データを取得し、良品の共通パターンと不良品の共通パターンとを生成する。こちらの共通パターンの判別手法が、特徴判別基準として共通パターンＤＢ３００に格納される。
【００３４】
部品判別装置４００には、カメラ４１０が接続されている。カメラ４１０は、部品４２１，４２２，４２３，・・・の製造ラインの脇に設置されており、製造された部品４２１，４２２，４２３，・・・を順次撮影し、画像データを生成する。生成された画像データは、部品判別装置４００に送られる。部品判別装置４００は、共通パターンＤＢ３００に記憶された共通パターンによる良否判定処理を、カメラ４１０から入力された画像データに適用し、各部品４２１，４２２，４２３，・・・の良否を判定する。
【００３５】
図３は、本発明の実施の形態に用いる共通パターン抽出装置のハードウェア構成例を示す図である。共通パターン抽出装置１００は、ＣＰＵ(Central Processing Unit)１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０７を介してＲＡＭ(Random Access Memory)１０２、ハードディスクドライブ（ＨＤＤ:Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、および通信インタフェース１０６が接続されている。
【００３６】
ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが格納される。ＨＤＤ１０３には、ＯＳやアプリケーションプログラムが格納される。
【００３７】
グラフィック処理装置１０４には、モニタ１１が接続されている。グラフィック処理装置１０４は、ＣＰＵ１０１からの命令に従って、画像をモニタ１１の画面に表示させる。入力インタフェース１０５には、キーボード１２とマウス１３とが接続されている。入力インタフェース１０５は、キーボード１２やマウス１３から送られてくる信号を、バス１０７を介してＣＰＵ１０１に送信する。
【００３８】
通信インタフェース１０６は、ネットワーク１０に接続されている。通信インタフェース１０６は、ネットワーク１０を介して、他のコンピュータとの間でデータの送受信を行う。
【００３９】
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。なお、図３には、共通パターン抽出装置１００のハードウェア構成例を示したが、部品判別装置４００も同様のハードウェア構成で実現することができる。
【００４０】
図４は、共通パターン抽出装置の機能ブロック図である。図４に示すように、共通パターン抽出装置１００は、入力部１１０、画像データ特徴抽出部１２０、テキストデータ特徴抽出部１３０、共通パターン候補生成部１４０、共通パターン候補評価部１５０、共通パターン決定部１６０および共通パターン出力部１７０を有している。また、共通パターンＤＢ３００には、複数の部品評価結果データ２１，２２，２３，・・・が記憶されている。部品評価結果データ２１は、部品画像データ２１ａとテキストデータ２１ｂとを含んでいる。部品評価結果データ２１，２２，２３，・・・が、共通パターン抽出処理のサンプルデータとして使用される。
【００４１】
入力部１１０は、部品評価結果記憶装置２００から部品評価結果データ２１，２２，２３，・・・を取得する。そして、入力部１１０は、部品画像データ２１ａを画像データ特徴抽出部１２０に対して入力し、テキストデータ２１ｂをテキストデータ特徴抽出部１３０に対して入力する。
【００４２】
画像データ特徴抽出部１２０は、部品画像データ２１ａから特徴を示す数値（特徴量）を抽出する。具体的には、画像データ特徴抽出部１２０は、部品画像データ２１ａに対してウェーブレット（Ｗａｖｅｌｅｔ）変換を施す。ウェーブレット変換では、４種類の分解係数（縮小画像を示す分解係数、横方向の差分を示す分解係数、縦方向の差分を示す分解係数、斜め方向の差分を示す分解係数）が得られる。
【００４３】
ウェーブレット変換は、たとえば、変換処理ができなくなるまで繰り返す。なお、ウェーブレット変換の回数を予め決めておくこともできる。ウェーブレット変換を行った場合、変換後の画像データが逐次ＲＡＭ１０２等に格納される。このとき、ウェーブレット変換で得られる分解係数の値が、部品画像データ２１ａの特徴量（画像特徴量）となる。従って、部品画像データ２１ａの特徴量を示す各画素は、画像データのレベル（ウェーブレット変換を施した回数）、分解係数の種類（縮小画像、横方向の差分、縦方向の差分、斜め方向の差分）、および同一種類の分解係数群内での位置によって特定することができる。以下、画素を特定するための情報を、係数位置情報と呼ぶこととする。
【００４４】
テキストデータ特徴抽出部１３０は、テキストデータ２１ｂの特徴を抽出する。たとえば、テキストデータ特徴抽出部１３０は、テキストデータ２１ｂで示される数値のまま特徴量（テキストデータ特徴量）とすることができる。また、テキストデータ２１ｂを所定の閾値とを比較し、閾値以上かどうかによって、そのテキストデータ２１ｂに対応する部品を、良品のグループと不良品のグループとに分類することもできる。その場合、良品であればテキストデータ２１ｂのテキストデータ特徴量を「１」とし、不良品であればテキストデータ２１ｂのテキストデータ特徴量を「０」とする。
【００４５】
共通パターン候補生成部１４０は、画像データの特徴量とテキストデータ特徴量を用いて共通パターン候補を生成する。具体的には、共通パターン候補生成部１４０は、複数の部品画像データに基づいて生成された各画像データを構成する画素のうち、係数位置情報が同じ係数の集合を生成する。この画素集合が共通パターン候補となる。
【００４６】
共通パターン候補評価部１５０は、共通パターン候補を評価する。具体的には、共通パターン候補評価部１５０は、共通パターン候補に含まれる各係数に対応する部品のテキストデータ特徴量毎に、各係数の値（画像特徴量）の分布状況を調べる。そして、共通パターン候補評価部１５０は、分布状況を所定の評価基準によって評価する。
【００４７】
共通パターン決定部１６０は、評価結果を用いて共通パターンを決定する。具体的には、共通パターン決定部１６０は、高く評価された共通パターン候補を、所定のテキストデータ特徴に対する共通パターンとして決定する。決定された共通パターンは、共通パターン出力部１７０に渡される。
【００４８】
共通パターン出力部１７０は、決定された共通パターンをモニタ１１の画面に表示する。また、共通パターン出力部１７０は、決定された共通パターンを共通パターンＤＢに格納する。
【００４９】
この構成により、複数の画像と付随テキストから共通パターンを自動抽出することが可能となり、従来生じていた前述の課題を解決することができる。以下、各構成要素の機能について具体例を用いて説明する。
【００５０】
〔部品評価結果データ〕
まず、部品評価結果記憶装置２００に格納される部品評価結果データについて説明する。
【００５１】
図５は、部品評価結果データの例を示す図である。部品評価結果データ２１，２２，２３，２４，・・・，２ｎは、それぞれ部品画像データと、テキストデータとしての性能値とを含んでいる。部品画像データは、パソコンの筺体を構成するための部品をカメラで撮影した写真画像である。性能値は、その部品を他の部品と接合した際の強度を示す値である。ここでの性能値はスカラー値であり、値が大きい程性能が良い。
【００５２】
なお、図５の例では、テキストデータとして１つの性能値を示しているが、複数のデータをテキストデータとして含めることができる。たとえば、表面の平滑度を示す値や、突起部分の長さの誤差を示す値などをテキストデータに含めることもできる。
【００５３】
〔入力部〕
次に入力部１１０について説明する。入力部１１０では、与えられた画像とテキストデータの組の全てあるいは一部を、部品評価結果記憶装置２００から入力データとして読み込む。読み込んだデータのうち、部品画像データは画像データ特徴抽出部１２０へ、テキストデータはテキストデータ特徴抽出部１３０へ送られる。
【００５４】
また、入力部１１０では、入力画像として選択した画像の一部を入力データとして利用することも可能である。
図６は、入力データの選択状況を示す図である。ここでは、入力部１１０が、性能データの性能値に基づいて、部品評価結果データを昇順にソートする。入力部１１０は、ソートされた画像をモニタ１１の画面に表示する。そして、作業者は、表示された画面を見て、似ている画像が局所的に集まっている部分を指定する。たとえば、マウス１３を操作し、複数の部品評価結果データを囲む。入力部１１０は、部品評価結果データが指定されると、それらを入力画像群２０ａとして決定する。そして、入力部１１０は、入力画像群２０ａに含まれる部品評価結果データ内の部品画像データと性能値とを、それぞれ画像データ特徴抽出部１２０とテキストデータ特徴抽出部１３０とに入力する。
【００５５】
つまり、指定された部品評価結果データの画像は人間が見たときには何らかの特徴が似ているために指定されたのであるが、本実施の形態では、そういった特徴を自動で抽出するための判別基準を算出する。このとき、選択した画像の性能データを１、選択されなかった画像の性能データを０として、後の処理に進むことも可能である。
【００５６】
〔画像データ特徴抽出部〕
次に、画像データ特徴抽出部１２０について説明する。
画像データ特徴抽出部１２０では、入力された部品画像データの特徴を抽出する。本実施の形態では、画像の特徴量として比較的よく利用されるウェーブレット特徴量を用いる。ウェーブレットの基底関数として様々な関数が提案されているが、ここでは単純なHaar基底関数の例で説明する。
【００５７】
まず、画像データ特徴抽出部１２０は、ウェーブレット変換では元の画像をウェーブレット変換する。
図７は、ウェーブレット変換による画像データの遷移を示す図である。原画像３０は、複数の画素３０ａ，３０ｂ，３０ｃ，３０ｄ，・・・で構成される。この原画像３０に対してウェーブレット変換が行われると、レベル１（Ｌ＝１）のウェーブレット係数３１が生成される。レベル１のウェーブレット係数３１は、４つの領域３１ａ，３１ｂ，３１ｃ，３１ｄに分解される。
【００５８】
領域３１ａは、近似係数の配列であり、隣接画素間の平均輝度値である。具体的には、原画像３０における上下方向に２画素ずつの矩形の領域に分割する。各分割領域には、４つの画素（たとえば、画素３１〜３４）が含まれる。そして、分割領域内の各画素の平均輝度値が領域３１ａ内の１画素の輝度値となる。
【００５９】
領域３１ｂは、横方向の差分係数の配列である。具体的には、横方向に隣接する画素の輝度値の差分を表している。
領域３１ｃは、縦方向の差分係数の配列である。具体的には、縦方向に隣接する画素の輝度値の差分を表している。
【００６０】
領域３１ｄは、斜め方向の差分係数の配列である。具体的には、斜め方向に隣接する画素の輝度値の差分を表している。
各領域３１ａ，３１ｂ，３１ｃ，３１ｄは、原画像の１／４のサイズとなる。各領域には識別子Ｐが与えられる。領域３１ａはＰ＝１、領域３１ｂはＰ＝２、領域３１ｃはＰ＝３、領域３１ｄはＰ＝４である。また、各領域の係数には、その領域内での位置を示す識別子Ｉが与えられる。各領域の左上の画素がＩ＝１である。このように識別子を付与することにより、（Ｌ，Ｐ，Ｉ）によって係数の位置を特定することができる。
【００６１】
レベル１（Ｌ＝１）の画像の近似係数であるＰ＝１の領域３１ａに対して、ウェーブレット変換を行うことで、レベル２（Ｌ＝２）のウェーブレット係数３２が生成される。同様に、近似係数の画像に対して繰り返しウェーブレット変換を行うことで、レベル３（Ｌ＝３）のウェーブレット係数３３やそれ以降の各レベルの画像が生成される。ウェーブレット変換は、たとえば、画素数が小さく分解できなくなるまで繰り返される。
【００６２】
具体的には、１次元画像におけるHaar基底のスケール関数Φ（ｘ）とマザーウェーブレットΨ（ｘ）は、次の関数で定義される（非特許文献１参照）。
【００６３】
【数１】
2005190346.tif 000003
【００６４】
【数２】
2005190346.tif 000004
【００６５】
【数３】
2005190346.tif 000005
【００６６】
【数４】
2005190346.tif 000006
【００６７】
ここで、ｌはレベルを表しており１，２，３，・・・の整数である。ｋは０≦ｋ≦２-lＱ（Ｑは画素数）の範囲の整数である。
次に、2次元画像のウェーブレット変換を考えると、１次元ウェーブレット変換で用いたスケール関数とマザーウェーブレットを2次元に拡張し，x軸とy軸に関するスケール関数Φ（２-lｘ−ｍ），Φ（２-lｙ−ｎ）と、マザーウェーブレットΨ（２-lｘ−ｍ），Ψ（２-lｙ−ｎ）の組み合せによって以下のように変換が実現される。ここで、ｍは横方向の画素数、ｎは縦方向の画素数である。
【００６８】
【数５】
2005190346.tif 000007
【００６９】
【数６】
2005190346.tif 000008
【００７０】
【数７】
2005190346.tif 000009
【００７１】
【数８】
2005190346.tif 000010
【００７２】
ここで、Φl,mn，Ψl,mn1，Ψl,mn2，Ψl,mn3，・・・の張る空間（分解空間と呼ぶ）を、Ｖl，Ｗl1，Ｗl2，Ｗl3，・・・と表す。
ここで、原画像Ｆ0∈Ｖ0（Ｖ0はレベル０の空間）を考えると、原画像Ｆ0は，次のように表現できる。
【００７３】
【数９】
2005190346.tif 000011
【００７４】
ただし、ａ0,mnは原画像の（ｍ，ｎ）画素の画素値である。
原画像Ｆ0にウェーブレット変換を行うことにより、原画像Ｆ0は次の４つの分解画像に分解され、次の関係が成り立つ。ここで、ｌは１以上とする。
【００７５】
【数１０】
2005190346.tif 000012
【００７６】
【数１１】
2005190346.tif 000013
【００７７】
【数１２】
2005190346.tif 000014
【００７８】
【数１３】
2005190346.tif 000015
【００７９】
【数１４】
2005190346.tif 000016
【００８０】
この変換でレベルｌの近似係数ａl,mnとレベルlの差分係数ｄ1l,mn，ｄ2l,mn，ｄ3l,mn， が得られる。近似係数ａl,mnはＰ＝１の領域の値であり、差分係数ｄ1l,mnはＰ＝２の領域の値であり、差分係数ｄ2l,mnはＰ＝３の領域の値であり、差分係数ｄ3l,mnはＰ＝４の領域の値である。
【００８１】
このように画像データ特徴抽出部１２０によって、入力された部品画像データ２１ａを原画像としたウェーブレット変換が繰り返し行われ、レベル毎の分解係数が生成される。生成された各分解係数の値が、画像特徴量として使用される。
【００８２】
〔テキストデータ特徴抽出部〕
次に、テキストデータ特徴抽出部１３０について説明する。
テキストデータ特徴抽出部１３０では、テキストデータから特徴を抽出する。本実施の形態では、テキストデータとして部品の性能値が設定されている。ここでは、性能値がスカラー値である例を用いて、その性能値を０か１に二値化した値を性能データ特徴量とする。二値化は、ある閾値より性能値が大きい場合には１に、小さい場合には０とする。これは１が良品を表現し、０が不良品を表現することに相当する。なお、性能値をそのままテキストデータ特徴量として利用することも可能である。
【００８３】
また、テキストデータとして、テキストによる情報が設定される場合もあり得る。この場合、テキストデータ特徴抽出部１３０は、まず、各テキストから単語を抽出する。単語の抽出では、形態素解析などにより名詞のみを抽出する。次に、テキストデータ特徴抽出部１３０は、各テキストにおいて、全ての単語の出現頻度を計算する。そして、テキストデータ特徴抽出部１３０は、各次元の要素が各単語の出現頻度となるベクトルを生成する。基本的にはこのベクトルを、テキストデータの特徴として利用することができる。
【００８４】
また、一般に、ベクトルが複数（単語数）出現するため、一次元情報に変換して利用することもできる。変換方法は色々考えられるが、たとえば出現頻度の多い単語の次元や、注目したい次元を１つ選択することで、テキストデータ特徴とする。
【００８５】
〔共通パターン候補生成部〕
次に、共通パターン候補生成部１４０について説明する。共通パターン候補生成部１４０では、複数の画像それぞれに基づいて生成された各画像特徴量とテキストデータ特徴量との全ての組み合せに応じて、共通パターン候補を生成する。たとえば、画像特徴量がＮ個、テキストデータ特徴量がＭ個の場合にはＮ×Ｍ個の組み合せとなる。
【００８６】
図８は、共通パターン候補生成処理の概要を示す図である。複数の原画像２１，２２，・・・それぞれに対してウェーブレット変換が行われると、複数の分解係数群２１ａ，２２ａ，・・・が生成される。そこで、共通パターン候補生成部１４０は、各分解係数群２１ａ，２２ａ，・・・から同じ位置の画像特徴量を抽出する。図８の例では、レベル１（Ｌ＝１）、近似係数（Ｐ＝１）の左上端の画像特徴量を抽出している。各分解係数群から抽出された画像特徴量は、原画像２１，２２，・・・の性能データ特徴量と関連付けて共通パターン候補４１に登録される。共通パターン候補４１は、ＲＡＭ１０２等に格納される。
【００８７】
図８では、共通パターン候補４１に登録されたデータをグラフで示している。このグラフに示すように、共通パターン候補４１は、複数の分解係数データ２１ａ，２２ａ，・・・から抽出された画素特徴量と性能データ特徴量との組により、性能データ特徴毎の画像特徴量の分布状況が示される。同様の共通パターン候補が、他の分解係数の位置毎に生成される。
【００８８】
図９は、共通パターン候補の例を示す図である。共通パターン候補４１，４２，・・・４ｎは、横軸に画像特徴量を示しており、縦軸に性能データ特徴量を示している。画像特徴量は、図９の例では（Ｌ，Ｐ，Ｉ）＝（１，１，１），（１，１，２），・・・，（３，１，１）までＮ個存在する。テキストデータ特徴量は性能値だけなので１個である。そのため、合計Ｎ×１個の組み合せが共通パターン候補として生成される。
【００８９】
また、図９の例では、性能値は０と１に２値化されている。そのため、共通パターン候補４１，４２，・・・４ｎでは、性能値が「０」である画像から抽出した画像特徴量の分布と、性能値が「１」である画像から抽出した画像特徴量の分布とが分かる。
【００９０】
〔共通パターン候補評価部〕
共通パターン候補評価部１５０では、各共通パターン候補を評価基準に基づいて評価する。評価基準としては、たとえば、凝集性による評価、判別性による評価、関連性による評価が考えられる。凝集性による評価は、座標空間上における特徴量セットの集合の広がり度合いにより評価するものである。判別性による評価は、座標空間上における特徴量セットの複数の集合間の距離により評価するものである。関連性による評価は、座標空間上で原点を通る直線付近への特徴量セットの集合度合いにより評価するものである。以下、これらの評価基準について具体的に説明する。
【００９１】
１．凝集性による評価基準
凝集性による評価基準では分布の分散を利用し、たとえば、良品に対する画像特徴量の分散が小さい場合には凝集性が高いとし、良い評価と考える。逆に、分散が大きい場合には凝集性が低く悪い評価とする。つまり、凝集性が評価値となる。
【００９２】
図１０は、共通パターン候補の凝集性による評価例を示す図である。図１０では、横軸に画像特徴量を、縦軸に性能データ特徴量を取っている。共通パターン候補５１は、テキストデータ特徴量が１（良品）の画像特徴量の分散が大きく凝集性が低い。逆に、共通パターン候補５２は、テキストデータ特徴量が１（良品）の画像特徴量の分散が小さく凝集性が高い。
【００９３】
この評価では、性能データが１の良品に着目して、良品の画像に基づく画像特徴量の集合に対して、画像特徴量が狭い範囲内に集中しているとき、つまり凝集性が高い場合には、その共通パターン候補の良品の凝集性が良いと考える。
【００９４】
ここで、テキストデータ特徴量のサンプルに識別番号ｊを付与する。たとえば、テキストデータ特徴量「０」の識別番号ｊ＝１とし、テキストデータ特徴量「１」の識別番号ｊ＝２とする。このとき、識別番号jのテキストデータ特徴量における分散σj2は以下の式で定義できる。
【００９５】
【数１５】
2005190346.tif 000017
【００９６】
ｎjは、識別番号ｊの性能データ特徴量を取る画像のサンプル数を表す。ｘijは、識別番号ｊのテキストデータ特徴量に対するｉ番目の画像サンプルの画像特徴量を表す。ｘj（オーバーライン付）は識別番号ｊのテキストデータ特徴量を取る画像特徴量のサンプルの平均値を表す。
【００９７】
２．判別性による評価基準
判別性による評価基準では、性能データ特徴量が異なる分布間の判別性を利用する。判別性の基準としては、クラス間分散をクラス内分散で割ったクラス内分散・クラス間分散比を利用する。ここで、クラスとは、ある性能データ特徴量における画像特徴量の分布を表す。クラス内分散はクラスの平均的な広がりを表し、クラス間分散は異なるクラス（性能データ特徴量）間の広がりを表している。
【００９８】
図１１は、共通パターン候補の判別性による評価例を示す図である。横軸にある画像特徴量を、縦軸に性能データ特徴量を取っている。共通パターン候補６１は、性能データ特徴量が０のクラスと１のクラス間の分布は共通パターン候補６２に比べて大きい。そのため、共通パターン候補６１のクラス間分散は大きい。
【００９９】
また、クラス内分散は、共通パターン候補６１と共通パターン候補６２とでほぼ等しい。そのため、クラス内分散・クラス間分散比は、共通パターン候補６１の方が大きくなり、判別性が高い。つまり、判別性は、良品と不良品との判別性が高い画像特徴量を評価する指標である。
【０１００】
なお、クラス内分散をσW2、クラス間分散をσB2で表すと、以下の式で書ける。
【０１０１】
【数１６】
2005190346.tif 000018
【０１０２】
【数１７】
2005190346.tif 000019
【０１０３】
ｃは、テキストデータ特徴量のサンプル数である。クラス内分散／クラス間分散は、Ｊσ＝σW2／σB2で定義できる。ｎは画像のサンプル数を表す。ｘijは識別番号ｊの性能データ特徴量のi番目のサンプルの画像特徴量を表す。ｘj（オーバーライン付）は、識別番号ｊの性能データ特徴量を取る画像特徴量のサンプルの平均値を表す。ｘ（オーバーライン付）は画像特徴量のサンプルの平均値である。
【０１０４】
図９の例に対して、判別性の基準で評価した結果を以下に示す。
図１２は、共通パターン候補の判別性による評価の具体例を示す図である。図１２の例では、共通パターン候補４１，４２は良い評価であるが、共通パターン候補４ｎは悪い評価となる。
【０１０５】
３．関連性による評価基準
関連性による評価基準では、画像特徴量と性能データ特徴量との相関係数を利用する。相関係数の絶対値が１に近いほど評価値は高くなり、０に近いほど評価値は低くなる。つまり、性能（強度）が高くなるにつれて、画像特徴量も共に変化する画像特徴量の場合には、性能と画像特徴量との関連性が高いため評価値が高くなる。逆に、性能（強度）が高くなっても、画像特徴量が一定の方向（大きくなるか、小さくなる方向）に変化しない場合には、その画像特徴量と性能との関連性は低いため、評価値は低い。相関係数を評価基準にする場合には性能データが多値であることが望ましい。ここでは便宜上性能データが多値であると仮定する。
【０１０６】
図１３は、共通パターン候補の関連性による評価例を示す図である。共通パターン候補７１，７２は、横軸に画像特徴量、縦軸にテキストデータ特徴量を示している。共通パターン候補７１は、サンプルデータが直線付近に集まっている。このような共通パターン候補は、相関係数が１に近いと判断できる。また、共通パターン候補７２は、サンプルデータが直線付近に集まっていない。従って、相関係数が０に近いと判断できる。具体的には、相関係数ｒは以下の計算式で求められる。
【０１０７】
【数１８】
2005190346.tif 000020
【０１０８】
ｎは画像のサンプル数を表す。ｘiはi番目の画像特徴量を表す。ｙiはi番目のテキストデータ特徴量を表す。ｘ（オーバーライン付）は画像特徴量のサンプルの平均値である。ｙ（オーバーライン付）はテキストデータ特徴量のサンプル分の平均値である。この式（１８）により、ｒは−１以上１以下の値となる。
【０１０９】
〔共通パターン決定部〕
共通パターン決定部１６０では、評価値がある閾値以上の共通パターン候補、あるいは上位数件の共通パターン候補を共通パターンに決定する。このとき、共通パターンとして抽出するのは各性能データ特徴量における画像特徴量の最小値と最大値を共通パターンとする。決定された共通パターンの情報は、共通パターン出力部１７０に渡される。
【０１１０】
〔共通パターン出力部〕
共通パターン出力部１７０は、共通パターン決定部１６０によって決定された共通パターンをモニタ１１に表示するとともに、共通パターンＤＢ３００に格納する。たとえば、共通パターン出力部１７０は、共通パターンとして決定された画像特徴量の位置を、共通パターンではない画像特徴量の位置と異なる色で表示する。これにより、共通パターンの画像特徴の位置を知ることができる。
【０１１１】
図１４は、共通パターンの画像特徴部分表示例を示す図である。図１４の例では、判別性評価が優良な画像特徴部分を示している。
画面８０には、原画像８１や分解係数データ８２，８３，８４が表示されている。分解係数データ８２は、レベル１のウェーブレット分解係数の集合である。分解係数データ８３は、レベル２のウェーブレット分解係数の集合である。分解係数データ８４は、レベル３のウェーブレット分解係数の集合である。
【０１１２】
各分解係数データ８２〜８４上で判別性が優良と判定された領域（画像特徴部分）が強調表示されている。図１４の例では、破線で囲むことにより強調表示が行われている。強調表示の方法としては、画像特徴部分を周囲と異なる色で表示したり、画像特徴部分を周囲より明るく表示するなどの方法がある。
【０１１３】
このように画面表示することで、画像特徴部分をユーザが認識できる。たとえば、縮小画像内に画像特徴部分があれば、部品上の該当部分をユーザが目視でチェックすることで、その部品の良否判定をできる場合もある。このように、共通パターン抽出装置１００において、画像特徴部分を示すことで、該当部分を以後の部品の目視チェックの際の判断要素に加えることができる。
【０１１４】
〔特徴判別基準データ〕
画像特徴部分を示すデータは、共通パターンＤＢ３００として格納される。
図１５は、共通パターンＤＢのデータ構造例を示す図である。図１５に示すように、共通パターンＤＢ３００には、判定対象となる部品毎の共通パターン情報３１０，３２０，３３０，・・・が格納されている。
【０１１５】
共通パターン情報３１０には、部品番号、評価、共通パターン範囲、性能、および画像特徴量の項目が設けられている。部品番号は、共通パターン判定の対象とした部品の識別番号である。評価は、共通パターンの内容である。たとえば、凝集性が高い、判別性が高い、関連性が高い等である。共通パターン範囲は、共通パターンが検出された位置を示している。性能は、対応する共通パターン範囲に対応する性能を示している。画像特徴量は、対応する性能の画像に共通する画像特徴量の範囲を示している。
【０１１６】
このように共通パターン情報を保存しておくことで、部品判別装置４００において、製造される製品の良否判定を自動的に行うことができる。すなわち、部品判別装置４００は、良否判定対象の製品に対応する共通パターン情報を読み込む。そして、部品判別装置４００は、製造された製品の画像がカメラ４１０から送られると、その画像に対してウェーブレット変換を実施する。次に、部品判別装置４００は、ウェーブレット変換によって生成された分解係数群から、共通パターン情報３１０の共通パターン範囲で示される位置の画像特徴量を抽出する。抽出した画像特徴量が、共通パターン範囲に対応して設定されている画像特徴量に該当する場合、対応する性能を有していることが分かる。このようにして、実際の部品の良品検査で良品か不良品かを判定することに適用することができる。
【０１１７】
次に、共通パターン抽出装置１００における所定手順について説明する。
図１６は、共通パターン抽出処理の手順を示すフローチャートの前半である。以下、図１６の示す処理をステップ番号に沿って説明する。
【０１１８】
〔ステップＳ１１〕入力部１１０は、部品評価結果記憶装置２００から部品評価結果データを読み込む。そして、入力部１１０は、部品画像データを画像データ特徴抽出部１２０に対して入力し、テキストデータをテキストデータ特徴抽出部１３０に対して入力する。
【０１１９】
〔ステップＳ１２〕画像データ特徴抽出部１２０は、全ての部品評価結果データに対して、ステップＳ１３、Ｓ１４の処理（特徴抽出処理）を実行したか否かを判断する。全ての部品評価結果データに対する処理が完了していれば、処理がステップＳ１５（図１７参照）に進められる。未処理の部品評価結果データがあれば、処理がステップＳ１３に進められる。
【０１２０】
〔ステップＳ１３〕画像データ特徴抽出部１２０は、未処理の部品画像データを選択し、その画像の画像特徴量を抽出する。
〔ステップＳ１４〕テキストデータ特徴抽出部１３０は、未処理のテキストデータを選択し、そのテキストデータの特徴量を抽出する。その後、処理がステップＳ１２に進められる。
【０１２１】
図１７は、共通パターン抽出処理の手順を示すフローチャートの後半である。以下、図１７の示す処理をステップ番号に沿って説明する。
〔ステップＳ１５〕全ての部品評価結果データに対して特徴抽出処理が完了すると、共通パターン候補生成部１４０が、変数Ｉと変数Ｊとを１に初期化する。
【０１２２】
〔ステップＳ１６〕共通パターン候補生成部１４０は、全ての画像特徴量に対してステップＳ１７以降の処理を行ったか否かを判断する。具体的には、Ｉの値が、画像特徴量の総数を超えた場合、全ての画像特徴量に対する処理が完了している。全ての画像特徴量に対して処理が完了していれば、共通パターン抽出処理が終了する。未処理の画像特徴量があれば、処理がステップＳ１７に進められる。
【０１２３】
〔ステップＳ１７〕共通パターン候補生成部１４０は、Ｉ番目の画像特徴量を選択する。
〔ステップＳ１８〕共通パターン候補生成部１４０は、選択された画像特徴量に対して、全てのテキスト特徴量に対するステップＳ１９以下の処理を行ったか否かを判断する。具体的には、Ｊの値が、テキスト特徴量の総数を超えた場合、全てのテキスト特徴量に対する処理が完了している。全てのテキスト特徴量に対して処理が完了していれば、処理がステップＳ１９に進められる。未処理のテキスト特徴量があれば、処理がステップＳ２０に進められる。
【０１２４】
〔ステップＳ１９〕共通パターン候補生成部１４０は、Ｉの値に１を加算すると共に、Ｊの値を１に初期化する。その後、処理がステップＳ１６に進められる。
〔ステップＳ２０〕共通パターン候補生成部１４０は、Ｊ番目のテキスト特徴量を選択する。
【０１２５】
〔ステップＳ２１〕共通パターン候補生成部１４０は、Ｉ番目の画像特徴量とＪ番目のテキスト特徴量とを分類要素とした共通パターン候補を生成する。
〔ステップＳ２２〕共通パターン候補評価部１５０は、生成した共通パターン候補を評価する。
【０１２６】
〔ステップＳ２３〕共通パターン決定部１６０は、共通パターン候補の評価値が閾値以上か否かを判断する。閾値以上であれば、処理がステップＳ２４に進められる。閾値未満であれば、処理がステップＳ１８に進められる。
【０１２７】
〔ステップＳ２４〕共通パターン決定部１６０は、ステップＳ２１で生成した共通パターン候補を、共通パターンとして共通パターンＤＢ３００に対して出力する。
〔ステップＳ２５〕共通パターン候補生成部１４０は、Ｊの値に１を加算し、処理をステップＳ１８に進める。
【０１２８】
以上説明したように、本実施の形態では、複数の画像とテキストデータとから共通パターンを自動抽出することが可能である。そのため、共通パターンを人手で決める必要がなくなり人的コストを軽減できる。
【０１２９】
また、自動で抽出される共通パターンは人間の主観に依存しない点や、これまで人手では見つけにくかった共通パターンも抽出することができるようになる。そのため、これまでより客観的かつ網羅的な知識発見につながる効果が得られる。
【０１３０】
なお、上記の実施の形態では、マルチメディアデータとして静止画の例を用いたが、映像や音声データに関しても同様に処理することができる。
また、上記の実施の形態では、ウェーブレット変換後の分解係数群を共通パターン候補の生成元としたが、原画像の各画素に基づいて共通パターン候補を生成することもできる。
【０１３１】
なお、本発明は、複数の画像と付随テキスト（数値や文字）に関係する知識発見（イメージマイニング）や、入力画像の中に予め指定された物体が出現する位置を自動検出する物体検出装置や、入力画像に対して画像に付随する数値文字（テキスト）を予測する予測装置に適用できる。これらの装置は、知識発見の主な適用範囲は、工業製品の設計開発、商品マーケティング、学術的な研究支援などに有用である。
【０１３２】
また、上記の処理機能は、コンピュータによって実現することができる。その場合、共通パターン抽出装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ(Digital Versatile Disc)、ＤＶＤ−ＲＡＭ(Random Access Memory)、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＣＤ−Ｒ(Recordable)／ＲＷ(ReWritable)などがある。光磁気記録媒体には、ＭＯ(Magneto-Optical disk)などがある。
【０１３３】
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１３４】
プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１３５】
（付記１）  複数のマルチメディアデータの共通する特徴を検出する共通パターン抽出プログラムにおいて、
コンピュータを、
前記マルチメディアデータと、前記マルチメディアデータで表現されているものに関して記述したテキストデータとを含むサンプルデータを、複数入力する入力手段、
前記入力手段で入力された前記マルチメディアデータを、表現内容を数値化した複数のマルチメディア特徴量の配列で構成される係数群に変換するマルチメディアデータ特徴抽出手段、
前記入力手段で入力された前記テキストデータを、記述内容の特徴を数値化したテキスト特徴量に変換するテキストデータ特徴抽出手段、
複数の前記サンプルデータそれぞれから、前記テキスト特徴量と前記係数群内の個々の前記マルチメディア特徴量とからなる特徴量セットを抽出し、前記係数群内での前記マルチメディア特徴量の配列上の位置が同じ前記特徴量セットを集めた共通パターン候補を生成する共通パターン候補生成手段、
前記マルチメディア特徴量と前記テキスト特徴量とを軸とする座標空間における前記共通パターン候補内の前記特徴量セットの分布状況に基づいて、前記マルチメディア特徴量による前記テキストデータの特徴判断の有効性を評価する共通パターン候補評価手段、
前記共通パターン候補評価手段による評価結果に基づいて、前記サンプルデータの特徴判断に使用可能な前記共通パターン候補の前記マルチメディア特徴量の位置を共通パターンとして決定する共通パターン決定手段、
前記共通パターン決定手段で決定された前記共通パターンを出力する共通パターン出力手段、
として機能させることを特徴とする共通パターン抽出プログラム。
【０１３６】
（付記２）  前記マルチメディアデータは、画像データであることを特徴とする付記１記載の共通パターン抽出プログラム。
（付記３）  前記マルチメディア特徴抽出手段は、前記画像データの近似画像を生成することを特徴とする付記２記載の共通パターン抽出プログラム。
【０１３７】
（付記４）  前記マルチメディア特徴抽出手段は、前記画像データの隣接する画像間の差分係数を生成することを特徴とする付記２記載の共通パターン抽出プログラム。
（付記５）  前記マルチメディア特徴抽出手段は、前記画像データに対するウェーブレット変換を行うことを特徴とする付記２記載の共通パターン抽出プログラム。
【０１３８】
（付記６）  前記マルチメディア特徴抽出手段は、前記画像データに対するウェーブレット変換を多段階に行うことを特徴とする付記５記載の共通パターン抽出プログラム。
（付記７）  前記共通パターン候補評価手段は、前記座標空間上における前記特徴量セットの集合の広がり度合いにより、凝集性を評価することを特徴とする付記１記載の共通パターン抽出プログラム。
【０１３９】
（付記８）  前記共通パターン候補評価手段は、前記座標空間上における前記特徴量セットの複数の集合間の距離により、判別性を評価することを特徴とする付記１記載の共通パターン抽出プログラム。
【０１４０】
（付記９）  前記共通パターン候補評価手段は、前記座標空間上で任意の線付近への前記特徴量セットの集合度合いにより、関連性を評価することを特徴とする付記１記載の共通パターン抽出プログラム。
【０１４１】
（付記１０）  複数のマルチメディアデータの共通する特徴を検出する共通パターン抽出方法において、
入力手段が、前記マルチメディアデータと、前記マルチメディアデータで表現されているものに関して記述したテキストデータとを含むサンプルデータを、複数入力し、
マルチメディアデータ特徴抽出手段が、前記入力手段で入力された前記マルチメディアデータを、表現内容を数値化した複数のマルチメディア特徴量の配列で構成される係数群に変換し、
テキストデータ特徴抽出手段が、前記入力手段で入力された前記テキストデータを、記述内容の特徴を数値化したテキスト特徴量に変換し、
共通パターン候補生成手段が、複数の前記サンプルデータそれぞれから、前記テキスト特徴量と前記係数群内の個々の前記マルチメディア特徴量とからなる特徴量セットを抽出し、前記係数群内での前記マルチメディア特徴量の配列上の位置が同じ前記特徴量セットを集めた共通パターン候補を生成し、
共通パターン候補評価手段が、前記マルチメディア特徴量と前記テキスト特徴量とを軸とする座標空間における前記共通パターン候補内の前記特徴量セットの分布状況に基づいて、前記マルチメディア特徴量による前記テキストデータの特徴判断の有効性を評価し、
共通パターン決定手段が、前記共通パターン候補評価手段による評価結果に基づいて、前記サンプルデータの特徴判断に使用可能な前記共通パターン候補の前記マルチメディア特徴量の位置を共通パターンとして決定し、
共通パターン出力手段が、前記共通パターン決定手段で決定された前記共通パターンを出力する、
ことを特徴とする共通パターン抽出方法。
【０１４２】
（付記１１）  複数のマルチメディアデータの共通する特徴を検出する共通パターン抽出装置において、
前記マルチメディアデータと、前記マルチメディアデータで表現されているものに関して記述したテキストデータとを含むサンプルデータを、複数入力する入力手段、
前記入力手段で入力された前記マルチメディアデータを、表現内容を数値化した複数のマルチメディア特徴量の配列で構成される係数群に変換するマルチメディアデータ特徴抽出手段、
前記入力手段で入力された前記テキストデータを、記述内容の特徴を数値化したテキスト特徴量に変換するテキストデータ特徴抽出手段、
複数の前記サンプルデータそれぞれから、前記テキスト特徴量と前記係数群内の個々の前記マルチメディア特徴量とからなる特徴量セットを抽出し、前記係数群内での前記マルチメディア特徴量の配列上の位置が同じ前記特徴量セットを集めた共通パターン候補を生成する共通パターン候補生成手段、
前記マルチメディア特徴量と前記テキスト特徴量とを軸とする座標空間における前記共通パターン候補内の前記特徴量セットの分布状況に基づいて、前記マルチメディア特徴量による前記テキストデータの特徴判断の有効性を評価する共通パターン候補評価手段、
前記共通パターン候補評価手段による評価結果に基づいて、前記サンプルデータの特徴判断に使用可能な前記共通パターン候補の前記マルチメディア特徴量の位置を共通パターンとして決定する共通パターン決定手段、
前記共通パターン決定手段で決定された前記共通パターンを出力する共通パターン出力手段、
を有することを特徴とする共通パターン抽出装置。
【０１４３】
（付記１２）  複数のマルチメディアデータの共通する特徴を検出する共通パターン抽出プログラムを記録したコンピュータ読み取り可能な記録媒体において、
コンピュータを、
前記マルチメディアデータと、前記マルチメディアデータで表現されているものに関して記述したテキストデータとを含むサンプルデータを、複数入力する入力手段、
前記入力手段で入力された前記マルチメディアデータを、表現内容を数値化した複数のマルチメディア特徴量の配列で構成される係数群に変換するマルチメディアデータ特徴抽出手段、
前記入力手段で入力された前記テキストデータを、記述内容の特徴を数値化したテキスト特徴量に変換するテキストデータ特徴抽出手段、
複数の前記サンプルデータそれぞれから、前記テキスト特徴量と前記係数群内の個々の前記マルチメディア特徴量とからなる特徴量セットを抽出し、前記係数群内での前記マルチメディア特徴量の配列上の位置が同じ前記特徴量セットを集めた共通パターン候補を生成する共通パターン候補生成手段、
前記マルチメディア特徴量と前記テキスト特徴量とを軸とする座標空間における前記共通パターン候補内の前記特徴量セットの分布状況に基づいて、前記マルチメディア特徴量による前記テキストデータの特徴判断の有効性を評価する共通パターン候補評価手段、
前記共通パターン候補評価手段による評価結果に基づいて、前記サンプルデータの特徴判断に使用可能な前記共通パターン候補の前記マルチメディア特徴量の位置を共通パターンとして決定する共通パターン決定手段、
前記共通パターン決定手段で決定された前記共通パターンを出力する共通パターン出力手段、
として機能させることを特徴とする共通パターン抽出プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図面の簡単な説明】
【０１４４】
【図１】実施の形態に適用される発明の概念図である。
【図２】本実施の形態のシステム構成例を示す図である。
【図３】本発明の実施の形態に用いる共通パターン抽出装置のハードウェア構成例を示す図である。
【図４】共通パターン抽出装置の機能ブロック図である。
【図５】部品評価結果データの例を示す図である。
【図６】入力データの選択状況を示す図である。
【図７】ウェーブレット変換による画像データの遷移を示す図である。
【図８】共通パターン候補生成処理の概要を示す図である。
【図９】共通パターン候補の例を示す図である。
【図１０】共通パターン候補の凝集性による評価例を示す図である。
【図１１】共通パターン候補の判別性による評価例を示す図である。
【図１２】共通パターン候補の判別性による評価の具体例を示す図である。
【図１３】共通パターン候補の関連性による評価例を示す図である。
【図１４】共通パターンの画像特徴部分表示例を示す図である。
【図１５】共通パターンＤＢのデータ構造例を示す図である。
【図１６】共通パターン抽出処理の手順を示すフローチャートの前半である。
【図１７】共通パターン抽出処理の手順を示すフローチャートの後半である。
【符号の説明】
【０１４５】
１  入力手段
２  マルチメディアデータ特徴抽出手段
３  テキストデータ特徴抽出手段
４  共通パターン候補生成手段
５  共通パターン候補評価手段
６  共通パターン決定手段
７  共通パターン出力手段
８  共通パターンＤＢ
９  サンプルデータ
９ａ  係数群
９ａａ  マルチメディア特徴量
９ｂ  テキスト特徴量
９ｃ  共通パターン候補
９ｄ  評価結果
９ｅ  共通パターン
【図１】
2005190346.tif 000021
【図２】
2005190346.tif 000022
【図３】
2005190346.tif 000023
【図４】
2005190346.tif 000024
【図５】
2005190346.tif 000025
【図６】
2005190346.tif 000026
【図７】
2005190346.tif 000027
【図８】
2005190346.tif 000028
【図９】
2005190346.tif 000029
【図１０】
2005190346.tif 000030
【図１１】
2005190346.tif 000031
【図１２】
2005190346.tif 000032
【図１３】
2005190346.tif 000033
【図１４】
2005190346.tif 000034
【図１５】
2005190346.tif 000035
【図１６】
2005190346.tif 000036
【図１７】
2005190346.tif 000037