(57)【特許請求の範囲】
【請求項１】
複数の属性の属性値及び一つの狭義評価関数の値の組からなる事例データを複数組入力し、該複数の属性を入力とし該狭義評価関数を出力とするモデルを学習する学習装置に当該事例データ群を与えるのに先立って、当該事例データ群の持つ所与の属性に基づいて、該学習に用いるべきより有用な新しい属性を生成する属性生成装置であって、
前記新しい属性の概形を示すパラメータ付き関数を入力する入力手段と、
与えられた前記事例データ群の各々の事例データを、各事例データの持つ前記狭義評価関数の値の大きい順又は小さい順にソートするためのソート手段と、
前記ソート手段によりソートされた状態において隣接する二つの事例データごとに、前記パラメータ付き関数の階差および前記狭義評価関数値の階差をそれぞれ求め、前者の階差を後者の階差で除してなる階差変化率を算出する階差変化率算出手段と、
前記階差変化率算出手段により算出された階差変化率を評価関数に適用し、当該新属性の張る空間における狭義評価関数の超曲面の滑らかさを表す評価値を算出する評価値算出手段と、
前記狭義評価関数の超曲面をより滑らかにする評価値が得られるように、前記パラメータ付き関数のパラメータを調節する調節手段とを備えたことを特徴とする属性生成装置。
【請求項２】
前記評価関数は、極小値又は極大値を与える前記階差変化率の特定の値に関して非対称な非線形関数であることを特徴とする請求項１記載の属性生成装置。
【請求項３】
前記評価関数は、前記階差変化率を独立変数とし、該独立変数の特定の値に最良の評価値を与え、該特定の値を境とする一方の値域については該特定の値から遠ざかるにつれて評価値を急速に悪化させ、他方の値域については該特定の値から遠ざかるにつれて評価値を緩やかに悪化させることを特徴とする請求項１記載の属性生成装置。
【請求項４】
前記非線型関数が極小値を取るものである場合に、前記評価値が小さいほどより有用な属性であると判断し、
前記非線型関数が極大値を取るものである場合に、前記評価値が大きいほどより有用な属性であると判断することを特徴とする請求項２記載の属性生成装置。
【請求項５】
前記調節手段は、前記パラメータを解析的に最適化する最適化手段を含むことを特徴とする請求項１乃至４のいずれかに記載の属性生成装置。
【請求項６】
前記調節手段は、前記パラメータを繰返法により近似的に最適化する最適化手段を含むことを特徴とする請求項１乃至４のいずれかに記載の属性生成装置。
【請求項７】
複数の属性の属性値及び一つの狭義評価関数の値の組からなる事例データを複数組入力し、該複数の属性を入力とし該狭義評価関数を出力とするモデルを学習する学習装置に当該事例データ群を与えるのに先立って、当該事例データ群の持つ所与の属性に基づいて、該学習に用いるべきより有用な新しい属性を生成する属性生成方法であって、
前記新しい属性の概形を示すパラメータ付き関数を入力する入力ステップと、
与えられた前記事例データ群の各々の事例データを、各事例データの持つ前記狭義評価関数の値の大きい順又は小さい順にソートするソートステップと、
前記ソートステップによりソートされた状態において隣接する二つの事例データごとに、前記パラメータ付き関数の階差および前記狭義評価関数値の階差をそれぞれ求め、前者の階差を後者の階差で除してなる階差変化率を算出する階差変化率算出ステップと、
前記階差変化率算出ステップにより算出された階差変化率を評価関数に適用し、当該新属性の張る空間における狭義評価関数の超曲面の滑らかさを表す評価値を算出する評価値算出ステップと、
前記狭義評価関数の超曲面をより滑らかにする評価値が得られるように、前記パラメータ付き関数のパラメータを調節する調節ステップとを具備することを特徴とする属性生成方法。
【請求項８】
複数の属性の属性値及び一つの狭義評価関数の値の組からなる事例データを複数組入力し、該複数の属性を入力とし該狭義評価関数を出力とするモデルを学習する学習装置に当該事例データ群を与えるのに先立って、当該事例データ群の持つ所与の属性に基づいて、該学習に用いるべきより有用な新しい属性を生成する属性生成装置としてコンピュータを機能させるためのプログラムであって、
前記新しい属性の概形を示すパラメータ付き関数を入力する入力機能と、
与えられた前記事例データ群の各々の事例データを、各事例データの持つ前記狭義評価関数の値の大きい順又は小さい順にソートするためのソート機能と、
前記ソート機能によりソートされた状態において隣接する二つの事例データごとに、前記パラメータ付き関数の階差および前記狭義評価関数値の階差をそれぞれ求め、前者の階差を後者の階差で除してなる階差変化率を算出する階差変化率算出機能と、
前記階差変化率算出機能により算出された階差変化率を評価関数に適用し、当該新属性の張る空間における狭義評価関数の超曲面の滑らかさを表す評価値を算出する評価値算出機能と、
前記狭義評価関数の超曲面をより滑らかにする評価値が得られるように、前記パラメータ付き関数のパラメータを調節する調節機能とをコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、与えられた事例群に基づいて既知の一般属性に対する未知の特別属性を予測するためのモデルに用いるべき一般属性を生成するための属性生成装置及び属性生成方法に関する。
【０００２】
【従来の技術】
近年、人工知能の研究において、例題を与えることによって、対象とする概念の一般知識を発見する機械学習の技術が広く研究されつつある。その一つの方向として、数値または記号で表現された幾つかの属性（一般属性）と、それに対してオペレータ等が事前にデータを吟味して与える特別な属性（特別属性）がどんな属性値を取るかを事例とし、多数の事例を学習装置の例題として与えることによって、一般属性の取る値（の組）とそのときに取る特別属性の値との間の一般法則を見出し、特別属性の値が与えられていない事例が与えられたときに、見出された一般法則に基づいて、その事例の持つ一般属性の値を評価し、その事例が持つであろう特別属性の値を予測推定する、というシステムが開発されている。図１０に、この従来のシステムを示す。一般法則学習装置１００１が前者の一般法則を見出す処理を行い、特別属性推定装置１００２が後者の予測する処理を行う。
【０００３】
ここで、特別属性は（特に離散な場合）クラスと呼ばれ、その値はラベルと呼ばれることが多い。また、特別属性が連続な場合、被説明変数と呼ばれることがある。以下では、特別属性を「狭義評価関数」とも呼ぶ。
【０００４】
例えば、図１１に示す事例データは、各行が一つの事例（単位事例データ）を表しており、各事例は、２個の一般属性と１個の狭義評価関数（特別属性）を含む。図１１の例では、第１の属性は、ある日付（ｔ）におけるＡ社の株価であり、第２の属性は、ある日付（ｔ）におけるＢ社の株価であり、狭義評価関数は、その翌日（ｔ＋１）における予め定められた多数の会社の株価を対象として所定の計算方法で算出された○○平均株価である。
【０００５】
図１１の事例を図１０のような一般法則学習装置１００１に適用する場合は、次のようになる。すなわち、一般法則学習装置１００１は、図１１の事例を入力として、ある日付（ｔ）におけるＡ社およびＢ社の株価と、その翌日（ｔ＋１）における○○平均株価との間の一般法則を見出す。そして、例えば、今日のＡ社およびＢ社の株価を特別属性推定装置１０ｓ２に入力すると、特別属性推定装置２は、一般法則学習装置１により得られた一般法則に、入力された今日のＡ社およびＢ社の株価を当て嵌めることによって、翌日の○○平均株価を求め、これを予測結果あるいは推定結果として出力する。
【０００６】
このようなクラスが特定のラベルとなるための条件の内包的記述（例えば、ｔ＋１における○○平均株価を、Ａ社およびＢ社の株価の関数として表現した記述）を導く方法は、例えば、参考文献１(Quinlan, J.R., “Induction of Decision Trees”, Machine Learning Vol.1, pp.80-106, 1986)、参考文献２(Quinlan, J.R., “C4.5:Programs for Machine Learning”, Morgan Kaufmann Publishers, 1993)等に詳しい。
【０００７】
【発明が解決しようとする課題】
上記したような従来の帰納学習技術には、次のような問題点がある。すなわち、現在知られている帰納学習のアルゴリズムは、一般属性の張る空間上に狭義評価関数（特別属性）の超曲面を配置した状態において、その曲面に多数の凸凹が存在するような場合には、精度の高いモデルを学習するのが難しい。これは、高い予測精度あるいは推定精度を与える一般法則を見出すことが困難であることを意味する。
【０００８】
この点につき、Ｒｅｎｄｅｌｌは、参考文献３(Rendell, L., “Feature Construction for Concept Learning”, in Benjamin, D.P., editor, Change of Representations and Inductive Bias, pp.327-354, Kluwer Academic,1990)において、例を挙げてその現象を解説した上で、狭義評価関数の超曲面から凸凹をなくすための一般的な手法について、そのアイデアを示唆している。しかしながら、この文献に開示されたアイデアは、必然的に莫大な計算量を要するものであって、およそ実用不可能である。
【０００９】
このように従来、狭義評価関数の超曲面における凸凹状況を改善するための一般的な手法が知られていなかった。
【００１０】
また、そのような手法が知られていないために、従来は、例えば偶発的なモデルの改善を期待して試行錯誤的に問題設定を見直すなどの策しかなかった（個々の具体的な事例においては、偶々、使われた属性が良かったために、モデルが改善された、というようなことはあり得るが、この経験から一般的な改善手法を導き出すことができない）。
【００１１】
本発明は、上記事情を考慮してなされたもので、複数の属性の属性値及び一つの狭義評価関数の値の組からなる事例データを複数組入力し、該複数の属性を入力とし該狭義評価関数を出力とするモデルとして、より精度の高いモデルを学習することを可能とする、より有用な新たな属性を生成するための属性生成装置及び属性生成方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、複数の属性の属性値及び一つの狭義評価関数の値の組からなる事例データを複数組入力し、該複数の属性を入力とし該狭義評価関数を出力とするモデルを学習する学習装置に当該事例データ群を与えるのに先立って、当該事例データ群の持つ所与の属性に基づいて、該学習に用いるべきより有用な新しい属性を生成する属性生成装置であって、前記事例データ群の持つ所与の属性を元にして表現される前記新しい属性の候補を生成するための生成手段と、生成された前記新しい属性の候補の有用性を、生成された当該新しい属性の候補上での前記事例データ群の持つ狭義評価関数の推移の滑らかさに基づいて評価するための評価手段とを備えたことを特徴とする。
【００１３】
好ましくは、前記新しい属性の候補は、前記事例データ群の持つ所与の属性及び１又は複数の所定のパラメータを変数とする所定の関数によって表現され、前記生成手段は、前記所定の関数の前記パラメータを特定の値に固定することによって、前記新しい属性の候補を生成するようにしてもよい。
【００１４】
好ましくは、前記評価手段は、与えられた前記事例データ群の各々の事例データを、各事例データの持つ前記狭義評価関数の値の大きい順又は小さい順にソートするためのソート手段と、前記ソート手段によりソートされた状態において隣接する二つの前記事例データの持つ前記所与の属性の属性値の階差をそれらの持つ前記狭義評価関数値の階差で割って得た値に基づいて、前記狭義評価関数の推移の滑らかさを求めるための処理手段とを含むようにしてもよい。
【００１５】
好ましくは、前記処理手段は、極小値又は極大値を与える独立変数の値に関して非対称である所定の非線型関数を、前記属性値の階差を前記狭義評価関数値の階差で割って得た値に対して適用して階差変化率評価値を求めるとともに、前記ソート手段によりソートされた状態において隣接する二つの前記事例データの全ての対についてそれぞれ求められた該階差変化率評価値について総和を取って得た値に基づいて、前記狭義評価関数の推移の滑らかさを求めるための処理手段とを含むようにしてもよい。
【００１６】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００１７】
本発明では、事例に対して、より有用な新たな属性を生成する。その際、その新たな属性の張る空間では、狭義評価関数の超曲面が滑らかになるように生成する。そのために、例えば、新たな属性（の概形）をパラメータ付きの関数として用意し、滑らかさを表す評価関数が最適となるようにパラメータを調節する。最適化は、例えば、偏微分に基づく連立方程式を解いて解析的に行っても良いし、良く知られたミュレーティッド・アニーリング（Ｓｉｍｕｌａｔｅｄ  Ａｎｎｅａｌｉｎｇ（ＡＳ））あるいは遺伝アルゴリズム（Ｇｅｎｅｔｉｃ  Ａｌｇｏｒｉｔｈｍ（ＧＡ））などの繰り返し法によって近似的に行っても良い。滑らかさを表す評価関数は、狭義評価関数が連続的な場合には、例えば、まず、データを狭義評価関数値に沿ってソートし、隣り合ったデータ同士で属性値の階差を狭義評価関数値の階差で割った値を算出し、これに対して極小（大）値を与える独立変数の値に関して非対称であるような非線形関数を適用し、その全データに対する和が小さい（大きい）ことをもって滑らかとする。また、例えば、狭義評価関数が離散で、順序が定義されている場合には、狭義評価関数値の差を定義することにより、連続な場合と同様に考える。
【００１８】
本発明によれば、属性生成装置において、帰納推論が良好に行えるような属性の生成が、帰納推論器を使うことなく行える。また、例えば、パラメータの意味付けが容易なパラメータ付き関数を新たな属性の概形として容易できた場合には、生成された属性は狭義評価関数と関連の深い新たな尺度として理解されることになる。
【００１９】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００２０】
本実施形態では、新たな属性（一般属性）の概形をパラメータ付きの関数で表し、その新たな属性の張る空間では狭義評価関数の超曲面が滑らかになるように、その滑らかさを表す評価関数を最適化するパラメータを求めることによって、新たな属性を生成する。
【００２１】
以下では、滑らかさを表す評価関数を最小化することが最適化に相当するような例を用いて説明しているが、逆に、最大化することが最適化に相当するような評価関数を用いることももちろん可能である。また、以下では、事例群を狭義評価関数の値の大きな順にソートする場合を例にとって説明しているが、もちろん、小さな順にソートする構成も可能である。また、本実施形態で例示する非対称・非線形関数は一例であり、もちろん、その他にも種々の非対称・非線形関数を利用可能である。
【００２２】
図１に、本発明の一実施形態に係る属性生成装置の構成例を示す。
【００２３】
図１に示されるように、本属性生成装置は、データ入力部１０１、関数概形入力部１０２、データソート部１０３、パラメータ最適化部１０４、新属性出力部１０５を備えている。本属性生成装置は、ハードウェア（例えば半導体素子）によって実施するすることもできるし、属性生成装置に相当する機能を含むソフトウェア（プログラム）として実施することもできる。
【００２４】
本属性生成装置は、図１１に例示したような幾つかの一般属性及び特別属性からなる事例（以下、訓練例と呼ぶ）と、新たな属性（の概形）を示す（１又は複数の）パラメータ付きの関数とを入力し、最適化されたパラメータを求めて、出力する。新たな属性（新属性）は、当該訓練例の元々の（オリジナルの）一般属性の全部又は一部に代えて使用する一般属性である。
【００２５】
例えば、当該訓練例のオリジナルの一般属性が属性Ａ（例えば、Ａ社の株価）及び属性Ｂ（例えば、Ｂ社の株価）であるものについて、新属性Ｆを示すパラメータ付きの関数を、
新属性Ｆ＝属性Ａ×ａ＋属性Ｂ×ｂ
とした場合には、狭義評価関数の超曲面を最適化するパラメータａとパラメータｂを求めて、出力する。
【００２６】
図２に、本属性生成装置の処理手順の一例を示す。
【００２７】
（ステップＳ１）
ステップＳ１では、データ入力部１０１により、図１１に例示したような幾つかの一般属性及び特別属性からなる訓練例のデータを入力する。
【００２８】
データ入力部１０１による入力形態には種々のものが考えられる。例えば、ＣＤ、ＤＶＤ、フレキシブル・ディスク、ＩＣカード、あるいは磁気テープなどの所定の記録媒体に記録された訓練例を、所定の入力装置から入力する形態、ネットワーク通信装置を利用しネットワーク経由で他のサーバ装置等から訓練例を入力する形態、ユーザがキーボード入力する形態などがある。データ入力部１０１は、それらの一部を備えることも、全部を備えることも可能である。
【００２９】
なお、訓練例のデータは、表形式のフォーマットのデータとして入力してもよいし、その他のフォーマットを用いてもよい。
【００３０】
（ステップＳ２）
ステップＳ２では、関数概形入力部１０２により、生成される新属性の概形を表すパラメータ付き関数を示すデータを入力する。
【００３１】
関数概形入力部１０２による入力形態については、データ入力部１０１と同様である。
【００３２】
なお、予め用意された複数のパラメータ付き関数のうちから、ユーザが所望のものを選択可能とする構成も可能である。あるいは、ユーザが、ＧＵＩ上の所定の編集ツールを用いて、パラメータ付き関数を作成可能とする構成も可能である。
【００３３】
（ステップＳ３）
ステップＳ３では、データソート部１０３により、ステップＳ１で入力された訓練例のデータを、その狭義評価関数（特別属性）の値の大きな順にソートする。
【００３４】
なお、ステップＳ１とステップＳ２とはいずれを先に行ってもよいし、同時に行ってもよい。また、ステップＳ３は、ステップＳ１より後で且つステップＳ４より前のいずれのタイミングで行ってもよい。
【００３５】
（ステップＳ４）
ステップＳ４では、パラメータ最適化部１０４において、データ入力部１０１により入力された訓練例および関数概形入力部１０２により入力されたパラメータ付き関数に基づいて、狭義評価関数の曲面が滑らかになるように、関数のパラメータを調節する。
【００３６】
（ステップＳ５）
ステップＳ５では、新属性出力部１０５により、パラメータ最適化部１０４が最適化した関数のパラメータを出力する。
【００３７】
新属性出力部１０５による出力形態には種々のものが考えられる。例えば、所定の出力装置から所定の記録媒体に記録する形態、ネットワーク通信装置を利用しネットワーク経由で他の装置等へ転送する形態、ＧＵＩ画面に表示する形態などがある。新属性出力部１０５は、それらの一部を備えることも、全部を備えることも可能である。
【００３８】
なお、複数の新属性を生成する場合には、各ステップを生成すべき新属性の数だけ行えばよい（ただし、ステップＳ１，Ｓ３は全新属性に共通であるので、１回だけ行えばよい）。なお、この場合に、１つの新属性を生成してから次の新属性の処理に入るような手順にしてもよいし、１つのステップを全新属性について行ってから次のステップに入るような手順にしてもよい。
【００３９】
図３に、狭義評価関数が連続である場合に最適化を繰返法により行うようにした本属性生成装置のパラメータ最適化部１０４の構成例を示す。
【００４０】
図３に示されるように、本最適化部は、階差・変化率計算部３０１、非対称・非線形関数計算部３０２、評価積算部３０３、評価値記憶部３０４、制御部３０５を含む。
【００４１】
図４に、パラメータ最適化部１０４による、１つのパラメータ付き関数についての最適化処理手順の一例を示す。この手順は、パラメータ付き関数の個数、すなわち生成すべき新属性の個数に相当する回数だけ繰り返し行う。
【００４２】
訓練例の１つのデータ（単位データ）は、ｍ個の一般属性を持つものとする。また、訓練例は、ｎ組の単位データからなるものとする。図１１は、ｍ＝２、ｎ＝１０の例である。
【００４３】
狭義評価関数（特別属性）の値でソートされた訓練例のｉ番目の単位データにおけるｊ番目の一般属性の値を、ｒijで表すものとする。また、ソートされた訓練例のｉ番目のデータにおけるｍ個の一般属性の値の組を、ベクトルｒ→i（＝｛ｒi1，ｒi2，…，ｒim｝）で表すものとする。
【００４４】
また、ソートされた訓練例のｉ番目のデータにおける狭義評価関数の値を、Ｅiで表すものとする。
【００４５】
制御部３０５は、与えられたパラメータ付き関数Ｆのパラメータを、初期化する（ステップＳ１１）。
【００４６】
階差・変化率計算部３０１は、全てのｉ（＝１〜ｎ）について、訓練例のデータｒ→i（＝｛ｒi1，ｒi2，…，ｒin｝）を関数Ｆに代入して、関数値Ｆ（ｒ→i）を求める（ステップＳ１２）。
【００４７】
階差・変化率計算部３０１は、ｉ＝ｎを除く全てのｉ（＝１〜ｎ−１）について、Ｆの階差（Ｆ（ｒ→i+1）−Ｆ（ｒ→i））を狭義評価関数の差（Ｅi+1−Ｅi）で除してなる値ｄiを計算する（ステップＳ１３）。すなわち、ｄｉ＝｛Ｆ（ｒi+1）−Ｆ（ｒi）｝／｛Ｅi+1−Ｅi｝を計算する。
【００４８】
非対称・非線形関数計算部３０２は、ｉ＝ｎを除く全てのｉ（＝１〜ｎ−１）について、ｄiを所定の非対称・非線形関数の評価関数Ｇに代入して、関数値Ｇ（ｄi）を求める（ステップＳ１４）。
【００４９】
ここで、非対称・非線形関数の評価関数Ｇとしては、例えば、
（１）ｄｉの値が特定の値Ｔ（例えば、Ｔ＝１）に等しいときに評価値を最良とし、ｄｉの値がＴ未満ではＴから遠ざかるにつれ評価値を急速に悪化させ、ｄｉの値がＴより大きければＴから遠ざかるにつれ評価値を緩やかに悪化させるような非対称・非線型関数、または、
（２）ｄｉの値が特定の値Ｔ（例えば、Ｔ＝１）に等しいときに評価値を最良とし、ｄｉの値がＴ未満ではＴから遠ざかるにつれ評価値を緩やか悪化させ、ｄｉの値がＴより大きければＴから遠ざかるにつれ評価値を急速に悪化させるような非対称・非線型関数、
などが考えられる。
【００５０】
なお、特定の値Ｔを挟んでの評価関数の挙動は両者のいずれでもかまわないが（前者と後者では非対称性の向きが逆になっている）、以下では、前者の非対称・非線型評価関数を用いる場合を例にとって説明する。
【００５１】
このような非対称・非線型評価関数としては、例えば、次に示すＧ（ｘ）がある。
Ｇ（ｘ）＝（ｘ−１）2＋｛−Ａ（ｘ−１）｝／｛１＋ｅ(x+B-1)｝
図５に、Ａ＝２０、Ｂ＝２のときの上記のＧ（ｘ）のグラフを例示する。
【００５２】
もちろん、上記以外にも種々の非対称・非線型評価関数が使用可能である。
【００５３】
評価積算部３０３は、ｉ＝ｎを除く全てのｉ（＝１〜ｎ−１）について、階差の変化率に対する評価値Ｇ（ｄi）を積算して、滑らかさを表す評価値Ｈを求める（ステップＳ１５）。すなわち、ｉ＝ｎを除く全てのｉ（＝１〜ｎ−１）について、
Ｈ＝ΣＧ（ｄi）
を計算する。
【００５４】
求められた評価値Ｈは、評価値記憶部３０４に格納される。
【００５５】
なお、非対称・非線形関数の評価関数Ｇが極小値を持つものである場合に、評価値Ｈが小さい程、よい評価となる。一方、非対称・非線形関数の評価関数Ｇが極大値を持つものである場合に、評価値Ｈが大きい程、よい評価となる。
【００５６】
制御部３０５は、この求められた評価値Ｈ（またはこの評価値Ｈを含めてそれまでに得られた評価値Ｈの全部または一部）に基づいて、繰り返しを継続するか否かを判断する（ステップＳ１６）。
【００５７】
繰り返しを継続すると判断された場合には、制御部３０５は、次に探索すべきパラメータを特定し（ステップＳ１７）、ステップＳ２に戻って、評価値Ｈの算出を繰り返させる。
【００５８】
一方、繰り返しを終了すると判断された場合には、その時点で最良の評価値Ｈを与えるパラメータを出力する（ステップＳ１８）。
【００５９】
なお、ステップＳ１６における繰り返しを継続するか否かの判断基準や、次に探索すべきパラメータの特定基準をどのようにするか、すなわちどのような最適化アルゴリズムを用いるかについては、種々のバリエーションが考えられる。もちろん、従来から良く知られた方法を用いることも可能である。例えば、ミュレーティッド・アニーリング（Ｓｉｍｕｌａｔｅｄ  Ａｎｎｅａｌｉｎｇ（ＳＡ））あるいは遺伝アルゴリズム（Ｇｅｎｅｔｉｃ  Ａｌｇｏｒｉｔｈｍ（ＧＡ））などの繰り返し法によって近似的に行っても良い。
【００６０】
また、上記では、最適化を繰返法により行う場合について説明したが、解析的手法によって行ってもよい。例えば、滑らかさを表す評価値Ｈが、関数Ｆのパラメータにより微分可能な関数として定義される場合、すなわちＳ１２〜Ｓ１５の処理の結果が微分可能な式で表される場合には、各パラメータについてその式を偏微分し、偏微分された各々の式＝０とおいた連立方程式を解くことにより、最適パラメータを解析的に求めることができる。
【００６１】
また、上記では、狭義評価関数が連続的な場合について説明したが、狭義評価関数が離散で順序が定義されている場合には、狭義評価関数値の差を定義することにより、連続な場合と同様に扱うことができる。
【００６２】
なお、本属性生成装置は、訓練例とパラメータ付き関数を与えて新属性を生成するものであるが、新たな属性（新属性）を何種類生成するか、どのようなパラメータ付き関数を用いるか、新たな属性とともにオリジナルの一般属性を使用するか否か（使用する場合にはいずれを使用するか）については、ユーザが適宜設定あるいは選択することができるように構成することも可能である。また、それらのうちの全部または一部を何らかの基準によって自動的に選択するように構成することも可能である。また、例えば、オリジナルの一般属性の数と同じ数の新属性を生成し、オリジナルの一般属性を使用しないものとし、パラメータ付き関数を生成すべき新属性の数に応じて予め定めておいて、何も選択・設定の必要がないように構成することも可能である。
【００６３】
ここで、図６に、図１１に例示する訓練例のデータをグラフに表示したものを示す。また、図７に、図１１に例示する訓練例について求めた新属性を用いてデータをグラフに表示した例を示す。
【００６４】
図７は、２種類の新属性の概形を示す関数として、次に示すＦ1（ｒi）、Ｆ2（ｒi）をそれぞれ与え、ＳＡ法によって第１の新属性のパラメータａ11，ａ12及び第２の新属性のパラメータａ21，ａ22，ａ23を決定し、図１１に例示する訓練例の一般属性の値及び該パラメータにより求めた新属性により求めた新属性の値と、図１１に例示する訓練例の狭義評価関数（特別属性）の値によって、グラフに表示したものである。
Ｆ1（ｒi）＝ａ11・ｒi1＋ａ12・ｒi2 
Ｆ2（ｒi）＝ａ21・ｒi12＋ａ22・ｒi1・ｒi2＋ａ23・ｒi22
図６と図７を比較すると、図７の方が滑らかになっていることが分かる。
【００６５】
なお、以上の説明で用いた訓練例、事例の具体例は一例であり、本実施形態の装置、システム、方法等は、種々の訓練例、事例を扱うことが可能である。例えば、具体例の株価データの他にも種々の経済的社会的現象に基づくデータを対象とすることができる。また、例えば、音声データ、画像データ、計測・制御データ等の物理的現象に基づくデータを対象とすることもできる。
【００６６】
本実施形態によれば、帰納学習システムが効果的に機能するような新属性を生成することができるので、帰納学習システムの学習結果を用いての予測の精度を向上させることができる。
【００６７】
また、生成された新属性と狭義評価関数との関係を考察することも可能である。パラメータの意味付けが容易なパラメータ付き関数を新たな属性の概形として用意できた場合には、生成された新属性は狭義評価関数と関連の深い新たな尺度として理解することができる。
【００６８】
次に、図８に、本発明の一実施形態に係る帰納学習・帰納推論システムの構成例を示す。
【００６９】
図８に示されるように、本システムは、一般法則学習装置１、特別属性推定装置２、属性生成装置３、属性変換装置４、属性変換装置５を備えている。なお、一般法則学習装置１および特別属性推定装置２は、従来と同じもので構わない。
【００７０】
まず、これまで説明したように、属性生成装置３により、所望の新属性を生成する。
【００７１】
属性生成装置３から属性変換装置４へは、属性生成装置３により生成された新属性を示す情報（例えば、属性生成装置３でパラメータが最適化されたパラメータ付き関数を示す情報）が与えられる。例えば、先に説明した具体例の場合に、Ｆ1（ｒi）＝ａ11・ｒi1＋ａ12・ｒi2およびＦ2（ｒi）＝ａ21・ｒi12＋ａ22・ｒi1・ｒi2＋ａ23・ｒi22を特定するための情報（この時点では、ａ11，ａ12，ａ21，ａ22，ａ23は定数である）が与えられる。
【００７２】
また、必要に応じて、属性変換装置４へは、訓練例のオリジナルの一般属性に関する指示の情報（例えば、オリジナルの一般属性を使用するか否かを示す情報、および使用する場合におけるいずれのオリジナルの一般属性を使用するかを示す情報）が与えられる。この情報は、前述したように、例えば、ユーザからの指示等により与えられ、また、例えば、予め設定されている。なお、予めオリジナルの一般属性は使用しないことを取り決めているシステムでは、この情報は不要である。
【００７３】
属性変換装置４は、与えられた情報に基づいて、対象となる訓練例のデータを、新属性を用いたデータに変換する。例えば、先に説明した具体例の場合に、図９のＡ社株価及びＢ社株価の値の各々の組に対して、図９のＦ１及びＦ２の新属性の値がそれぞれ計算される（この時点では、ａ11，ａ12，ａ21，ａ22，ａ23は定数である）。この新属性を用いた訓練例は、一般法則学習装置１へ与えられる。
【００７４】
一般法則学習装置１は、新属性を用いた訓練例に基づいて、一般法則を導出する。導出された一般法則を示す情報は、特別属性推定装置２へ与えられる。
【００７５】
しかして、特別属性推定装置２で特別属性を予測すべき対象となる事例は、特別属性推定装置２へ与えられるのに先立って、属性変換装置５へ与えられる。一方、上記の属性変換装置４と同様に、属性生成装置３から属性変換装置５へは、属性生成装置３により生成された新属性を示す情報が与えられるとともに、必要に応じて訓練例のオリジナルの一般属性に関する指示の情報が与えられる。
【００７６】
属性変換装置５は、与えられた情報に基づいて、対象となる事例のデータを、新属性を用いたデータに変換する。この新属性を用いた事例は、特別属性推定装置２へ与えられる。
【００７７】
特別属性推定装置２は、与えられた情報に基づいて、当該対象事例の特別属性を求め、出力する。例えば、先に説明した具体例の場合に、翌日における○○平均株価が推定される。
【００７８】
なお、図８では、属性変換装置として属性変換装置４と属性変換装置５の２つを設けたが、一つの属性変換装置で兼用してもよい。
【００７９】
また、一般法則学習装置１、特別属性推定装置２、属性生成装置３、属性変換装置４、属性変換装置５は、いずれも、ハードウェア（例えば半導体素子）によってもソフトウェア（プログラム）によっても実施可能である。
【００８０】
また、図８の一般法則学習装置／特別属性推定装置／属性生成装置／属性変換装置／属性変換装置に相当する機能を全て含むソフトウェアとして実施することもできるが、例えば、従来の一般法則学習装置１及び又は特別属性推定装置２に相当する機能を含むソフトウェア（または半導体素子）が搭載されたコンピュータに、図８の属性生成装置／属性変換装置に相当する機能を含むソフトウェアをインストールして、一般法則学習装置１や特別属性推定装置２のソフトウェアの前処理として機能させることもできる（すなわち、図８の属性生成装置／属性変換装置に相当する機能を含むソフトウェアとして実施することもできる）。またソフトウェアの代わりに、図８の属性生成装置／属性変換装置に機能を含む半導体素子を組み込む形態も可能である。
【００８１】
もちろん、各プログラムは、該プログラムを記録したコンピュータ読取り可能な記録媒体として受け渡し（実施）することもできるし、通信媒体を介して受け渡しすることもできる。
【００８２】
なお、この発明の実施の形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能あるいは要素を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。また、例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。また、例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
また、この発明の実施の形態で例示した各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
また、この発明の実施の形態は、個別装置としての発明、関連を持つ２以上の装置についての発明、システム全体としての発明、個別装置内部の構成部分についての発明、またはそれらに対応する方法の発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【００８３】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【００８４】
【発明の効果】
本発明によれば、複数の属性の属性値及び一つの狭義評価関数の値の組からなる事例データを複数組入力し、該複数の属性を入力とし該狭義評価関数を出力とするモデルとして、より精度の高いモデルを学習することを可能とする、より有用な新たな属性を生成することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る属性生成装置の構成例を示す図
【図２】同実施形態に係る属性生成装置の処理手順の一例を示すフローチャート
【図３】狭義評価関数が連続の場合にパラメータの最適化を繰返法に基づいて行う場合のパラメータ最適化部の構成例を示す図
【図４】狭義評価関数が連続の場合にパラメータの最適化を繰返法に基づいて行う場合のパラメータ最適化部の処理手順の一例を示すフローチャート
【図５】狭義評価関数の曲面の滑らかさを評価するための評価関数の一例を示す図
【図６】図１１の訓練例をグラフ化した一例を示す図
【図７】図１１の訓練例の狭義評価関数を新属性でグラフ化した一例を示す図
【図８】同実施形態に係る帰納学習・帰納推論システムの構成例を示す図
【図９】属性変換装置の入出力の一例を示す図
【図１０】従来の学習・予測システムの構成例を示す図
【図１１】訓練例の一例を示す図
【符号の説明】
１…一般法則学習装置
２…特別属性推定装置
３…属性生成装置
４，５…属性変換装置
１０１…データ入力部
１０２…関数概形入力部
１０３…データソート部
１０４…パラメータ最適化部
１０５…新属性出力部
３０１…階差・変化率計算部
３０２…非対称・非線形関数計算部
３０３…評価積算部
３０４…評価値記憶部
３０５…制御部
【図１】
0004008667.tif 000002
【図２】
0004008667.tif 000003
【図３】
0004008667.tif 000004
【図４】
0004008667.tif 000005
【図５】
0004008667.tif 000006
【図６】
0004008667.tif 000007
【図７】
0004008667.tif 000008
【図８】
0004008667.tif 000009
【図９】
0004008667.tif 000010
【図１０】
0004008667.tif 000011
【図１１】
0004008667.tif 000012