(57)【要約】ディジタル医用画像における特徴を分類するための方法は、Ｎ次元空間における複数の特徴点を提供するステップであり、それぞれの特徴点は、２つの集合の一方に含まれる要素である、前記提供するステップと、２つの集合の中の第１の集合内に存在する特徴点を２つの集合の中の第２の集合内に存在する特徴点から分離する分類平面を決定するステップと、分類平面を変換するステップ（３２）であり、前記変換された分類平面までの法線ベクトルは、正の成分を有し、一方の集合に含まれる１つ以上の特徴点のための特徴領域は、ｎ個の軸を有する変換された空間内における単位超立方体である、前記変換するステップと、単位超立方体のｎ個の軸のそれぞれに沿って上界を得るステップ（３３）と、前記上界を逆変換し、前記一方の集合に含まれる１つ以上の特徴点を含む新しい規則を得るステップ（３４）と、前記新しい規則によって包含される特徴点を、前記一方の集合から除去するステップ（３５）とを備える。
2008501486.tif 000002
【特許請求の範囲】
【請求項１】
ディジタル医用画像における特徴を分類するための方法であって、前記方法は、
ｎ次元空間における複数の特徴点を提供するステップであり、前記特徴点が、ディジタル医用画像から抽出されたものであり、それぞれの特徴点が、２つの集合の一方に含まれる要素である、前記提供するステップと、
２つの集合の中の第１の集合内に存在する特徴点を２つの集合の中の第２の集合内に存在する特徴点から分離する近似分類平面を決定するステップと、
分類平面を変換するステップであり、前記変換された分類平面までの法線ベクトルが、正の成分を有し、前記２つの集合の一方に含まれる１つ以上の特徴点のための特徴領域が、ｎ個の軸を有する変換された空間内における単位超立方体である、前記変換するステップと、
単位超立方体のｎ個の軸のそれぞれに沿って上界を得るステップと、
前記上界を逆変換し、前記２つの集合の前記一方に含まれる１つ以上の特徴点を含む新しい規則を得るステップと、
前記新しい規則によって包含される特徴点を、２つの集合の前記一方から除去するステップと、
を備える方法。
【請求項２】
規則の集合を空集合に初期化し、前記新しい規則を備えた前記規則集合の和集合を形成するステップをさらに備える請求項１に記載の方法。
【請求項３】
２つの集合の前記一方が、前記特徴点を除去した後に空でなければ、
前記新しい規則によって被覆されないｎ個の部分領域ごとに、前記部分領域を逆変換するステップと、
２つの集合の前記一方が空になるまで、分類平面を変換する前記ステップ、上界を得る前記ステップ、前記上界を逆変換して新しい規則を得る前記ステップ、前記新しい規則によって包含される特徴点を除去する前記ステップを反復するステップと、
それぞれの前記新しい規則を備えた前記規則集合の和集合を形成するステップと、
をさらに備える請求項２に記載の方法。
【請求項４】
前記ステップが、前記ｎ個の部分領域のうち、２つの集合の前記一方における特徴点を含む部分領域に対して反復され、２つの集合の前記一方に存在する特徴点をそれぞれの部分領域から探索するステップをさらに備える請求項３に記載の方法。
【請求項５】
前記ステップを反復することによって得られたそれぞれの新しい規則が、前記規則集合内に存在するそれぞれの規則と０個の交点を有する請求項３に記載の方法。
【請求項６】
それぞれの部分領域が、深さ優先探索に基づいて探索される請求項４に記載の方法。
【請求項７】
単位超立方体のｎ個の軸のそれぞれに沿って上界を得るステップが、できるだけ大きな体積を備えた前記単位超立方体の部分超立方体を決定するステップを備える請求項１に記載の方法。
【請求項８】
単位超立方体のｎ個の軸のそれぞれに沿って上界を得るステップが、２つの集合の前記一方に存在する最大数の特徴点を備えた前記単位超立方体の部分超立方体を決定するステップを備える請求項１に記載の方法。
【請求項９】
前記新しい規則によって定義される超立方体が、前記分類平面上に存在する頂点を有する請求項１に記載の方法。
【請求項１０】
前記変換された空間における前記単位超立方体が、前記変換された空間の座標系の原点に頂点を有する請求項１に記載の方法。
【請求項１１】
画像における特徴を分類するための方法であって、前記方法は、
ｎ次元空間における複数の特徴点を提供するステップであり、それぞれの特徴点が、２つの集合の一方に含まれる要素である、前記提供するステップと、
２つの集合の中の第１の集合内に存在する特徴点を２つの集合の中の第２の集合内に存在する特徴点から分離する近似分類平面を決定するステップと、
分類平面をｎ次元の変換された空間に変換するステップと、
前記変換された空間における特徴領域のｎ個の軸のそれぞれに沿って上界を得るステップと、
前記上界を逆変換し、第１の集合内に存在する１つ以上の特徴点を含む新しい規則を得るステップと、
前記新しい規則によって包含される特徴点を前記第１の集合から除去するステップと、
前記新しい規則によって被覆されないｎ個の部分領域のそれぞれを逆変換するステップと、
前記第１の集合が、前記特徴点を除去した後に空でなければ、前記第１の集合の特徴点を含みかつ前記新しい規則によって被覆されない前記ｎ個の部分領域ごとに、前記第１の集合が空になるまで、分類平面を変換する前記ステップ、上界を得る前記ステップ、前記上界を逆変換して新しい規則を得る前記ステップ、前記新しい規則によって包含される特徴点を除去する前記ステップを反復するステップと、
を備える方法。
【請求項１２】
新しい特徴点を提供するステップと、
前記新しい特徴点から前記分類平面までの法線を定義するステップと、
超立方体の中心に前記新しい特徴点を含む前記超立方体の頂点として前記分類平面と前記法線との交点を定義するステップと、
をさらに備える請求項１１に記載の方法。
【請求項１３】
前記特徴点が、画像から抽出されたものである請求項１１に記載の方法。
【請求項１４】
前記画像が、ディジタル医用画像である請求項１３に記載の方法。
【請求項１５】
前記変換された空間が、正の成分を備えた前記変換された分類平面までの法線ベクトルを含む請求項１１に記載の方法。
【請求項１６】
前記変換された空間が、前記２つの集合の中の第１の集合に含まれる１つ以上の特徴点のための特徴領域を含み、その特徴領域が、ｎ個の軸を有する単位超立方体である請求項１１に記載の方法。
【請求項１７】
それぞれの前記新しい規則を備えた前記規則集合の和集合を形成するステップをさらに備え、前記ステップを反復することによって得られたそれぞれの新しい規則が、前記規則集合内のそれぞれの規則と０個の交点を有する請求項１１に記載の方法。
【請求項１８】
ディジタル医用画像における特徴を分類するための方法ステップを実行するためにコンピュータが実行することのできる命令からなるプログラムを具体的に実施するコンピュータ可読プログラム記憶装置であって、前記方法は、
Ｎ次元空間における複数の特徴点を提供するステップであり、前記特徴点が、ディジタル医用画像から抽出されたものであり、それぞれの特徴点が、２つの集合の一方に含まれる要素である、前記提供するステップと、
２つの集合の中の第１の集合内に存在する特徴点を２つの集合の中の第２の集合内に存在する特徴点から分離する近似分類平面を決定するステップと、
分類平面を変換するステップであり、前記変換された分類平面までの法線ベクトルが、正の成分を有し、前記２つの集合の一方に含まれる１つ以上の特徴点のための特徴領域が、ｎ個の軸を有する変換された空間内における単位超立方体である、前記変換するステップと、
単位超立方体のｎ個の軸のそれぞれに沿って上界を得るステップと、
前記上界を逆変換し、前記２つの集合の前記一方に含まれる１つ以上の特徴点を含む新しい規則を得るステップと、
前記新しい規則によって包含される特徴点を、２つの集合の前記一方から除去するステップと、
を備えるコンピュータ可読プログラム記憶装置。
【請求項１９】
前記方法が、規則の集合を空集合に初期化し、前記新しい規則を備えた前記規則集合の和集合を形成するステップをさらに備える請求項１８に記載のコンピュータ可読プログラム記憶装置。
【請求項２０】
２つの集合の前記一方が、前記特徴点を除去した後に空でなければ、
前記新しい規則によって被覆されないｎ個の部分領域ごとに、前記部分領域を逆変換するステップと、
２つの集合の前記一方が空になるまで、分類平面を変換する前記ステップ、上界を得る前記ステップ、前記上界を逆変換して新しい規則を得る前記ステップ、前記新しい規則によって包含される特徴点を除去する前記ステップを反復するステップと、
それぞれの前記新しい規則を備えた前記規則集合の和集合を形成するステップと、
をさらに備える請求項１９に記載のコンピュータ可読プログラム記憶装置。
【請求項２１】
前記ステップが、前記ｎ個の部分領域のうち、２つの集合の前記一方における特徴点を含む部分領域に対して反復され、２つの集合の前記一方に存在する特徴点をそれぞれの部分領域から探索するステップをさらに備える請求項２０に記載のコンピュータ可読プログラム記憶装置。
【請求項２２】
前記ステップを反復することによって得られたそれぞれの新しい規則が、前記規則集合内に存在するそれぞれの規則と０個の交点を有する請求項２０に記載のコンピュータ可読プログラム記憶装置。
【請求項２３】
それぞれの部分領域が、深さ優先探索に基づいて探索される請求項２１に記載のコンピュータ可読プログラム記憶装置。
【請求項２４】
単位超立方体のｎ個の軸のそれぞれに沿って上界を得るステップが、できるだけ大きな体積を備えた前記単位超立方体の部分超立方体を決定するステップを備える請求項１８に記載のコンピュータ可読プログラム記憶装置。
【請求項２５】
単位超立方体のｎ個の軸のそれぞれに沿って上界を得るステップが、２つの集合の前記一方に存在する最大数の特徴点を備えた前記単位超立方体の部分超立方体を決定するステップを備える請求項１８に記載のコンピュータ可読プログラム記憶装置。
【請求項２６】
前記新しい規則によって定義される超立方体が、前記分類平面上に存在する頂点を有する請求項１８に記載のコンピュータ可読プログラム記憶装置。
【請求項２７】
前記変換された空間における前記単位超立方体が、前記変換された空間の座標系の原点に頂点を有する請求項１８に記載のコンピュータ可読プログラム記憶装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連米国出願の相互参照
本出願は、発明の名称が「Ｒｕｌｅ  ｅｘｔｒａｃｔｉｏｎ  ｆｒｏｍ  Ｈｙｐｅｒｐｌａｎｅ−ｂａｓｅｄ  Ｃｌａｓｓｉｆｉｅｒｓ」である２００４年６月８日に出願されたＧｌｅｎｎ  Ｆｕｎｇらの米国特許仮出願第６０／５７７，７９２号に基づいて優先権を主張するものであり、その内容は参照により本明細書に組み込まれる。
【０００２】
本発明は、ディジタルデータを分類するための、特に、ディジタル医用画像における特徴および対象物を識別するための規則抽出器に関する。
【背景技術】
【０００３】
医者および科学者は、長い間、人工知能システムを医療において使用することを探求してきた。研究の１つの分野においては、データセットにおいて正常な特徴および異常な特徴を分類および識別するために、医用画像を自動的に解釈および解析するためのコンピュータ支援診断（ＣＡＤ）システムが、構築されてきた。例えば、そのようなシステムは、患者のディジタル医用画像において、ポリープ、腫瘍、および、正常な組織からのその他の異常な成長を分類および識別するのに使用されてもよい。研究室および臨床環境における多くのそのようなシステムの実証された成功にもかかわらず、これらのシステムは、実際の臨床において、広く使用されることはなく、それどころか、役に立つことさえなかった。
【０００４】
米国においてこれらのシステムを使用するのを妨げる１つの障壁は、米国政府関係機関が患者の治療に影響を及ぼすかもしれない「ブラックボックス」システムの使用を許可することにあまり乗り気がないことである。米国食品医薬品局（ＦＤＡ）は、最近、「ブラックボックス」分類器に基づいたＣＡＤシステムを承認したが、参入障壁は、依然として、極めて高いままである。これらのシステムは、現在、最初の医者の診断の後に助言を提供するための「二次的な検査装置」としてしか使用することができない。さらに、これらのＣＡＤシステムは、市販前承認（ＰＭＡ）を受けなければならない。ＰＭＡは、総合臨床試験と同等のものであり、新薬に使用されるものに類似し、ＣＡＤシステムは、医者によって多数の全く新しい症例に使用されたときの診断能における統計的に顕著な改善を実証しなければならない。ＦＤＡは、ＣＡＤシステムの成果を釈明することのできるシステムに対しては参入障壁を相当に低くすることができることを表明した。しかしながら、これは、初見の症例に対する汎化能力に関する障壁を低くしようとするものではなく、ＦＤＡは、潜在的に、既往の症例に対する能力を使用することを考えさせようとするものであり、そして、将来の臨床試験に必要とされる多くの症例を相当に減少させようとするものである。これは、それらのシステムを承認するのを助ける。なぜなら、本格的な臨床試験は、ＣＡＤシステムを医療全般に導入するのを数年も遅らせることがあるからである。
【０００５】
人工知能、知識発見、および、データマイニングの分野における多くの研究は、助言をユーザがより受け入れることのできるものにするために、かつ、システムが到達した何らかの結論に存在する誤差を人間の専門家がより容易に識別するのを助けるために、システムにそれらの推論を説明する能力を持たせることに専念してきた。他方において、医学データセットから分類器を構築する場合、最良の能力は、多くの場合、サポートベクターマシン（ＳＶＭ）のような「ブラックボックス」システムによって達成される。
【０００６】
サポートベクターマシン（ＳＶＭ）およびその他の線形分類器は、データセットから超平面ベース分類器を構築するための一般的な方法であり、様々な用途において優れた汎化能力を有することが証明されている。しかしながら、これらの分類器は、人間が解釈するのが難しい。例えば、分類されていないサンプルが、線形分類器によって正または負として分類される場合、提供されるかもしれない説明は、そのサンプルの変数の線形加重和が閾値よりも小さい（または、大きい）ということだけであり、そのような説明は、人間の専門家には全く非直観的なものである。人間は、変数空間における軸平行面を備えた超立方体として表現することのできる規則のほうがより取り扱いやすい。最近の研究は、ニューラルネットワークのための規則抽出を含むが、ＳＶＭまたはその他の超平面ベース分類器から規則を抽出するための研究は、ほとんどなされてこなかった。
【０００７】
「ブラックボックス」分類器が到達した判断を説明する能力は、医者が受け入れるために重要であるばかりでなく、そのような分類器に基づいた医学的判断支援システムを医療に導入するための法的要件を潜在的に減少させる際の重要なステップでもある。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本明細書で説明される本発明の例示的な実施形態は、一般的には、線形サポートベクターマシンおよび何らかのその他の任意の超平面ベース線形分類器を、元々の分類器とは違って人間が容易に解釈することのできる非重複規則の集合に変換するための方法およびシステムを含む。この規則集合は、元々の線形分類器に（漸近的に）等しく、超平面の半空間内に存在するほとんどのトレーニングサンプルを被覆することができる。規則抽出のそれぞれの反復は、様々な「最適」規則判定条件に基づいて、２つの可能な最適化問題の中の１つとして定式化される。それぞれの規則によって被覆される体積を最大化しようとする第１の定式化は、条件つきの非線形最適化問題であり、それの解は、緩和された対応する条件のない問題の閉形式解を得ることによって見つけ出すことができる。それぞれの規則によって被覆されるサンプルの数を最大化する第２の定式化は、線形プログラミング問題の解を必要とする。本発明の実施形態による規則抽出技術は、２ｎ個の変数における線形プログラミング問題を解くことを含み、ここで、ｎは、入力された特徴の数（特徴選択の後に）である。ＳＶＭ分類器およびその他の「ブラックボックス」分類器を人間が理解できる規則の集合に変換する能力は、医者に受け入れられるのを助け、また、そのような分類器に基づいた医学的判断支援システムの法的障壁を低くするのを助ける。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、ディジタル医用画像における特徴を分類するための方法が、提供され、その方法は、Ｎ次元空間における複数の特徴点を提供するステップであり、前記特徴点は、ディジタル医用画像から抽出されたものであり、それぞれの特徴点は、２つの集合の一方に含まれる要素である、前記提供するステップと、２つの集合の中の第１の集合内に存在する特徴点を２つの集合の中の第２の集合内に存在する特徴点から分離する近似分類平面を決定するステップと、分類平面を変換するステップであり、前記変換された分類平面までの法線ベクトルは、正の成分を有し、前記２つの集合の一方に含まれる１つ以上の特徴点のための特徴領域は、ｎ個の軸を有する変換された空間内における単位超立方体である、前記変換するステップと、単位超立方体のｎ個の軸のそれぞれに沿って上界を得るステップと、前記上界を逆変換し、前記２つの集合の前記一方に含まれる１つ以上の特徴点を含む新しい規則を得るステップと、前記新しい規則によって包含される特徴点を、２つの集合の前記一方から除去するステップとを含む。
【００１０】
本発明のさらなる態様によれば、前記方法は、規則の集合を空集合に初期化し、前記新しい規則を備えた前記規則集合の和集合を形成するステップをさらに備える。
【００１１】
本発明のさらなる態様によれば、２つの集合の前記一方が、前記特徴点を除去した後に空でなければ、前記新しい規則によって被覆されないｎ個の部分領域ごとに、前記部分領域を逆変換するステップと、２つの集合の前記一方が、空になるまで、分類平面を変換する前記ステップ、上界を得る前記ステップ、前記上界を逆変換して新しい規則を得る前記ステップ、前記新しい規則によって包含される特徴点を除去する前記ステップを反復するステップと、それぞれの前記新しい規則を備えた前記規則集合の和集合を形成するステップとをさらに備える。
【００１２】
本発明のさらなる態様によれば、前記ステップは、前記ｎ個の部分領域のうち、２つの集合の前記一方における特徴点を含む部分領域に対して反復され、２つの集合の前記一方に存在する特徴点をそれぞれの部分領域から探索するステップをさらに備える。
【００１３】
本発明のさらなる態様によれば、前記ステップを反復することによって得られたそれぞれの新しい規則は、前記規則集合内に存在するそれぞれの規則と０個の交点を有する。
【００１４】
本発明のさらなる態様によれば、それぞれの部分領域は、深さ優先探索に基づいて探索される。
【００１５】
本発明のさらなる態様によれば、単位超立方体のｎ個の軸のそれぞれに沿って上界を得るステップは、できるだけ大きな体積を備えた前記単位超立方体の部分超立方体を決定するステップを備える。
【００１６】
本発明のさらなる態様によれば、単位超立方体のｎ個の軸のそれぞれに沿って上界を得るステップは、２つの集合の前記一方に存在する最大数の特徴点を備えた前記単位超立方体の部分超立方体を決定するステップを備える。
【００１７】
本発明のさらなる態様によれば、前記新しい規則によって定義される超立方体は、前記分類平面上に存在する頂点を有する。
【００１８】
本発明のさらなる態様によれば、前記変換された空間における前記単位超立方体は、前記変換された空間の座標系の原点に頂点を有する。
【００１９】
本発明のさらなる態様によれば、前記方法は、新しい特徴点を提供するステップと、前記新しい特徴点から前記分類平面までの法線を定義するステップと、超立方体の中心に前記新しい特徴点を含む前記超立方体の頂点として前記分類平面と前記法線との交点を定義するステップとをさらに備える。
【００２０】
本発明の別の態様によれば、ディジタル医用画像における特徴を分類するための方法ステップを実行するためにコンピュータが実行することのできる命令からなるプログラムを具体的に実施するコンピュータ可読プログラム記憶装置が、提供される。
【発明を実施するための最良の形態】
【００２１】
本明細書で説明される本発明の例示的な実施形態は、一般的には、対応する点を見つけ出すために、レイキャスティングを用いた医用画像における画像レジストレーションのための多角形面を実現するためのシステムおよび方法を含む。
【００２２】
注：Ａ∈Ｒm×nは、実ｍ×ｎ行列を表す。そのような行列に対して、Ａ’は、Ａの転置を表現し、Ａiは、Ａのｉ番目の行を表現する。全てのベクトルは、列ベクトルである。ｘ∈Ｒnの場合、‖ｘ‖pは、ｐ−ノルムを表現し、ｐ＝１，２，∞である。任意の次元の実空間における１のベクトルは、ｅによって表現される。したがって、ｅ∈Ｒm、かつ、ｙ∈Ｒmである場合、ｅ’ｙは、ｙの成分の和である。任意の次元の実空間における０のベクトルは、０によって表現される。分離超平面は、所与の２つの点集合ＡおよびＢに関して、Ｒnを２つの超平面に分離しようとする平面であり、そのために、それぞれの開いた半空間は、ＡまたはＢのほとんどの点を含む。集合Ａに対する境界平面は、その平面が生成する２つの閉じた半空間の一方にＡを配置する平面である。記号□は、論理的な「ＡＮＤ」を表現し、記号□は、論理的な「ＯＲ」を表現する。略語「ｓ．ｔ．」は、「ｓｕｃｈ  ｔｈａｔ（以下のことが成り立つような）」を意味する。ベクトルｘ∈Ｒnの場合、符号関数ｓｉｇｎ（Ｘ）は、ｉ＝１，．．．，ｎに対して、ｘi＞０であれば、ｓｉｇｎ（ｘ）i＝１、ｘi≦０であれば、ｓｉｇｎ（ｘ）i＝−１として定義される。
【００２３】
ディジタルデータセットにおける特徴分類は、ｎ次元の入力空間Ｒnにおけるｍ個の点を１つの類の要素として分類する例を考えることができる。点の集合は、ｍ×ｎ行列Ａによって表現されてもよく、ｉ番目の点は、行Ａiによって表現される。それぞれの点Ａiは、類Ａ＋かまたは類Ａ−の要素であり、この分類は、それの対角線に沿って＋１かまたは−１を備えたｍ×ｍ対角行列Ｄによって表現されてもよい。類が、線形に分離できるものであれば、平面ｗ’ｘ＝ｙは、２つの類を分離し、ｘは、分離平面上の任意の点であり、ｗは、その平面に垂直であり、ｙは、原点からその平面までの距離である。類が、線形に分離できないものであれば、現実の世界のデータセットでは多くの場合にそうであるが、分離平面は、負でない誤差変数εによって決定される「ソフトマージン」（すなわち、何らかの誤差によっておおまかに境界を画定される）を定義する２つの平面によって境界を画定されてもよく、εは、
Ｄii＝１に対して、Ａiｗ＋εi≧γ＋１
Ｄii＝−１に対して、Ａiｗ−εi≦γ−１
である。誤差変数εを最小化することは、近似分離平面をもたらす。この平面は、ｘ∈Ａに対して、データを以下のように分類する。
【数１】
2008501486.tif 000003
ｓｉｇｎ（・）は、上で定義された符号関数である。
【００２４】
このシステムは、重みパラメータｖ＞０を備えた次の線形プログラムによって表現されてもよい。
【数２】
2008501486.tif 000004
【数３】
2008501486.tif 000005
これは、次の線形プログラミングサポートベクターマシン（ＬＰ−ＳＶＭ）と等価である。
【数４】
2008501486.tif 000006
【数５】
2008501486.tif 000007
‖‖1は、上で定義された１−ノルムを表現する。１−ノルムの誤差変数εは、当分野において既知の方法に基づいて、重みｕをパラメータとして最小化されてもよく、それによって、近似分離平面をもたらす。
【００２５】
図１は、ｗを含むＲnに存在する平面における本発明の実施形態による限定するものではない例示的なＬＰ−ＳＶＭ分類器を示す。Ａ＋に存在する点をＡ−に存在する点からおおまかに分離する「ソフトマージン」は、実線によって示され、Ａ＋の点をＡ−の点から分離する上述した式によって表現される平面は、ソフトマージン内の破線によって示される。
【００２６】
上で使用された１−ノルム定式化は、典型的には、極めてスパースな解を生成し、それは、多くのゼロ成分を有する分離平面ｘ’ｗ＝ｙに垂直なｗをもたらす。ｗのこの特性は、多くの入力空間特徴は線形分類器を決定する際に役割を果たさないことを意味する。本発明の実施形態による規則抽出技術は、超平面分類器によって使用される特徴に依存するので、よりスパースな法線ベクトルｗは、より少ない数の特徴に依存する規則をもたらすことになる。
【００２７】
式（１）の解は、形式、
【数６】
2008501486.tif 000008
の形式を有する規則によって近似されてもよく、ｌおよびｕは、それぞれ、下界および上界である。この形式の規則を探し出す際には、近似下界ｌおよび近似上界ｕを探し出す。この形式の規則は、軸に平行な辺を備えたｎ次元の超立方体領域ｌ＝｛ｘ  ｓ．ｔ．ｗ’ｘ＜γ，ｌi≦ｘi≦ｕi，１≦ｉ≦ｎ｝を定義する。分類超平面ｗ’ｘ＝ｙに基づいてこの領域ｌの分類規則を構築するためのシステムは、Ｐ−（ｗ，ｙ，ｌ）によって表現されてもよい。ｉ番目の次元の下辺および上辺は、それぞれ、ｌiおよびｕiである。この形式の規則は、極めて直観的なものであり、人間によって容易に解釈されることが可能である。Ｐ＋（ｗ，ｙ，ｌ’）によって表現されてもよい補集合ｌ’＝｛ｘ  ｓ．ｔ．ｗ’ｘ＞γ，ｌi≦ｘi≦ｕi，１≦ｉ≦ｎ｝から規則を抽出するためのシステムは、Ｐ−（−ｗ，−ｙ，ｌ）と等価であることに注意されたい。
【００２８】
本発明の実施形態によれば、この定式化は、正の超平面成分ｙ＝１を備えた定式化に変換されてもよく、特徴領域は、線形変換ｙ＝Ｔ（ｘ−ｂ）に基づいて、単位超立方体ｌ0＝［０，１］nである。この変換された定式化においては、変換された下限ｌ’は、原点であり、１は、１よりも小さい変換された上限を近似することに関与する。変換の行列Ｔは、
【数７】
2008501486.tif 000009
および、次の成分を備えたベクトルｂ、
ｂ＝｛ｕi  ｉｆ  ｗi＜０，  ｌi  ｉｆ  ｗi＞０｝
によって定義される対角行列である。Ｔiiおよびｂの定義において使用されるｕiおよびｌiは、データ点自身の境界から近似されてもよい。逆数は、アフィン変換ｘ＝Ｔ1ｙ＋ｂである。関心のある超平面は、
ｗ’Ｔ-1ｙ＝γ−ｗ’ｂ となり、これは、
【数８】
2008501486.tif 000010
に等しい。さらに、
【数９】
2008501486.tif 000011
および
【数１０】
2008501486.tif 000012
となり、超立方体ｌは、ｌ0＝［０，１］nに変換され、システムは、新しい領域、
【数１１】
2008501486.tif 000013
において、
【数１２】
2008501486.tif 000014
となる。
【数１３】
2008501486.tif 000015
であるので、
【数１４】
2008501486.tif 000016
の成分は、正であることに注意されたい。
【００２９】
生成するのが容易な分離規則の集合を得るために、抽出された規則、
【数１５】
2008501486.tif 000017
によって定義される超立方体は、境界を画定された領域ｌ＝｛ｘ  ｓ．ｔ．ｗ’ｘ＜ｙ｝の部分集合でなければならない。さらに、抽出された規則によって定義される結果として得られた超立方体部分集合は、分離超平面ｗ’ｘ−ｙ＝０に存在する１つの頂点を含まなければならない。領域ｌを所与として、異なる「最適」規則集合が、異なる判定条件に基づいて定義されてもよい。
【００３０】
図２は、本発明による実施形態による非重複規則の例示的な２次元ＬＰ−ＳＶＭの例を示す。半空間Ａ＋は、平面の右側を占め、半空間Ａ−は、左側を占める。Ａ＋に存在する点は、白丸によって表現され、Ａ−に存在する点は、ドットによって表現される。半空間Ａ−（｛ｘ  ｓ．ｔ．ｗ’ｘ＜ｙ｝）を被覆する非重複規則は、長方形として表現され、その長方形は、境界を画定された領域である。図２に示されるそれぞれの長方形は、分離超平面ｗ’ｘ−ｙ＝０に存在する１つの頂点を含むことに注意されたい。半空間ｗ’ｘ＜ｙは、超平面ｗ’ｘ−ｙ＝０に存在する頂点を備えた長方形によって表現される規則によってほぼ完全に被覆される。長方形は、分類されるべき集合内に存在する全てのデータ点を含む。
【００３１】
最適規則集合の定義を所与として、反復法が、関心のある領域を適切に説明するのに必要なだけ規則を抽出するのに使用されてもよい。ｎ次元の特徴空間の規則が、抽出されると、解くべきｎ個の新しい類似するシステムが、存在する。変換されたシステム、
【数１６】
2008501486.tif 000018
から抽出された最初の規則が、
【数１７】
2008501486.tif 000019
であれば、規則によって被覆されない超平面の側に存在する残りの体積は、元々の領域に類似するｎ個の非交差領域の和集合であり、
【数１８】
2008501486.tif 000020
によって定義される。すなわち、ｘの最初のｉ−１成分に対する規則不等式は、満たされ、ｉ番目の成分に関する不等式は、満たされず、残りの不等式は、不定である。これらの部分体積ｌiは、交差せず、それぞれの部分体積に対応する規則は、独立している。次に、最適規則が、データ点を含むこれらの領域ごとに抽出されてもよい。データ点を含む領域を見つけ出す例示的な方法は、深さ優先探索であるが、幅優先探索のような当分野において既知のその他の探索アルゴリズムが、使用されてもよい。ｌiに対するシステムは、
【数１９】
2008501486.tif 000021
によって表現されてもよく、上述したものと同じ線形変換が、ｎ個のサブシステム、      
【数２０】
2008501486.tif 000022
のそれぞれを元々のシステム、
【数２１】
2008501486.tif 000023
と等価なシステムに変換するのに使用されてもよい。
【００３２】
本発明の一実施形態によれば、最適規則は、できるだけ大きな体積を備えた軸平行面を備えた超立方体ｌ0を被覆する規則として定義されてもよい。対数関数は、狭義増加関数であるので、最適規則は、体積の代わりに、それが取り囲む領域の体積の対数を最大化する規則である。この規則は、
【数２２】
2008501486.tif 000024
を解くことによって見つけ出すことができる。この式の解に対する第１近似は、ｘに対する条件を緩和することを含む。すなわち、
【数２３】
2008501486.tif 000025
この緩和された等式定式化のための最適性条件は、
【数２４】
2008501486.tif 000026
であり、λは、ラグランジュ乗数である。これらの最適性条件は、次の閉形式解をもたらす。すなわち、
【数２５】
2008501486.tif 000027
元々の最適化問題の解ｘ*は、ｘ*を、
【数２６】
2008501486.tif 000028
と定義することによって、近似解から得ることができる。
【００３３】
【数２７】
2008501486.tif 000029
であれば、ｘ*は、式（２）の最適解であり、そうでなければ、
【数２８】
2008501486.tif 000030
を定義し、
【数２９】
2008501486.tif 000031
となるまで、ｘ*を再計算してもよい。この方法によって見つけ出されたｘ*は、変換された超立方体ｌ0の次元に対する上界を定義する。逆線形変換Ｔ1を施すことは、［０，ｘ*］を［ｌi，ｕi］に変換する。
【００３４】
本発明の別の実施形態によれば、最適規則は、軸平行面を備えた超立方体を被覆する規則として定義されてもよく、それによって、できるだけ多くの数のトレーニング点を半空間内に含む。そのような規則は、
ｗ’ｘ*−ｙ＝０であり、かつ、／Ｃ／（Ｃの濃度）が最大となるようなｘ*を見つけ出すことによって、見つけ出すことができ、
Ｃ＝（Ａ−∩｛ｘ／ｗ’ｘ＜１｝）∩｛ｘ／０≦ｘ≦ｘ*｝
である。次の線形プログラミング定式化は、このシステムの近似である。
【数３０】
2008501486.tif 000032
変数ｙ≧０は、規則ができるだけ多くの数の点を被覆するために最小化されるスラック変数または誤差変数として作用する。繰り返すと、本方法によって見つけ出されたｘ*は、変換された超立方体ｌ0の次元に対する上界を定義する。逆線形変換Ｔ1を施すことは、［０，ｘ*］を［ｌi，ｕi］に変換する。
【００３５】
図３は、ｗ’ｘ＜ｙとなるようなＡ−に属する全てのトレーニング点を被覆する規則Ｒの集合を得るための本発明の実施形態による手順のフローチャートを示す。以下においては、Ｒは、抽出された規則を含む集合であり、Ｕは、Ｒ内の規則によって被覆されるべき点の指標を含む集合である。手順を開始する前に、ＲおよびＵは、⇔およびＡ−にそれぞれ初期化されてもよく、ｗおよびｙの初期値は、上述したＬＰ−ＳＶＭを解くことによって得られてもよい。
【００３６】
まず最初に、ステップ３１において、システムＰ−（ｗ，ｙ，ｌ）が、上述した線形変換Ｔを用いて、
【数３１】
2008501486.tif 000033
に変換される。次に、ステップ３３において、システム
【数３２】
2008501486.tif 000034
を解くことによって、解ｙ*が、得られる。例として、システム
【数３３】
2008501486.tif 000035
を解くための限定するものではない方法は、判定条件を最大化する体積および上述した判定条件を最大化する点被覆率を含む。そして、ステップ３４において、ｘが、ｘ*＝Ｔ1ｙ*＋ｂから計算され、そのｘから、新しい規則
【数３４】
2008501486.tif 000036
が、得られる。そして、規則集合は、
【数３５】
2008501486.tif 000037
に基づいて更新される。ステップ３５において、
【数３６】
2008501486.tif 000038
を計算し、集合は、新しく得られた規則によって被覆されるＵ内に存在する点の指標を含む。Ｕは、Ｕ←Ｕ−Ｃに、すなわち、新しい規則によって被覆される点を残りのデータ点の集合から引き算することによって、更新される。ステップ３６において、Ｕ＝⇔であれば、全てのデータ点が、被覆されたことになり、処理は、終了する。
【００３７】
そうでなければ、ステップ３８において、
【数３７】
2008501486.tif 000039
によって上で定義された規則Ｒによって被覆されないｎ個の残りの部分領域が、解かれる。これらの部分領域は、上述されたように深さ優先探索アルゴリズムに基づいて探索されてもよい。これらの領域ｌiごとに、逆変換Ｔ1が、施される。すなわち、
【数３８】
2008501486.tif 000040
そして、ステップ３９において、
【数３９】
2008501486.tif 000041
であれば、部分領域内に存在する全てのデータ点が、被覆されたわけではなく、先
行するステップが、再帰的にシステム
【数４０】
2008501486.tif 000042
に施される。そうでなければ、規則抽出処理は、全てのデータ点を被覆したことになり、処理を終了する。
【００３８】
本発明の別の実施形態によれば、ステップ３８におけるトレーニング点を含む部分領域の探索は、深さパラメータの使用によって制限されてもよい。ｄによって表現されるこの深さパラメータは、１に初期化されてもよく、また、深さパラメータの最大値ｄmaxが、定められる。この深さ最大値は、典型的には、２０より小さい。深さパラメータは、ステップ３６の後に、集合Ｕが空でなければ、インクリメントされ、そして、システム
【数４１】
2008501486.tif 000043
を解くために処理が再帰的に呼び出されるたびに、最大値と比較される。深さパラメータが、最大値を超えると、処理は、終了する。
【００３９】
いくつかの現実世界のデータセットに関する実験的な結果は、本発明の実施形態による方法の効果および速度を実証した。
【００４０】
本発明の別の実施形態によれば、分類されていない新しいテストサンプルに対する分類の説明を提供することができる。規則が、特定のテストサンプルを被覆しなければ、規則抽出手順は、被覆規則が見つけ出されるまで、テストサンプルを含む領域ｌに対して実行されてもよい。しかしながら、結果として得られた規則は、テストサンプルの周囲の極めて小さな体積を被覆することがあり、それは、説明の有効性を制限する。その代わりとして、体積最大化判定条件が、ただ１つの規則、すなわち、テストサンプルを含むできるだけ大きな超立方体（規則）を抽出するように修正されてもよい。しかしながら、そのような規則は、説明値が乏しいことがある。なぜなら、多くの場合、テストサンプルは、超立方体の１つの表面上に存在するからである。
【００４１】
本発明の別の実施形態によれば、テストサンプルに対する説明は、サンプルが境界を画定する空間から遠く離れて規則の十分に内側に存在する規則によって提供されてもよい。「最適な」説明を提供する規則は、テストサンプルから超平面まで法線を引き、そして、テストサンプルを中心に含む境界を画定する固有に定義された超立方体（規則）の角として、超平面と法線との交点を定義することによって、生成されてもよい。さらに、Ａ＋（Ａ−）内に存在するトレーニングサンプルの被覆率、規則が全ての正（負）のトレーニングサンプルだけを含むかどうかということ、新しく定義された超立方体の寸法、および、超平面からのテストサンプルの距離、のような重み係数によって、信頼度が、説明（規則）に対応づけられてもよい。一般的には、これらの判定条件は、本明細書で定義されるように生成された「最適な」説明規則だけでなく、どのような説明規則にも適用されてよい。
【００４２】
本発明の別の実施形態によれば、本明細書に開示された規則抽出技術は、膨大な量のデータをハンドリングするためのインクリメンタルアルゴリズムを設計するために、知識ベースＳＶＭと組み合わせられてもよい。このアルゴリズムは、様々な「チャンク」から得られた規則の形でトレーニングデータを「圧縮」し、そして、得られた規則を知識ベースＳＶＭに組み込んでもよい。
【００４３】
本発明の別の実施形態によれば、本明細書に開示された規則抽出技術は、特徴選択を含んでもよく、それによって、特徴の予め選択された同じ部分集合の代わりに様々な特徴に依存する規則が、生成されてもよい。
【００４４】
本発明は、ハードウェア、ソフトウェア、ファームウェア、専用プロセス、または、それらを組み合わせたものからなる様々な形で実施されてもよいことを理解すべきである。一実施形態においては、本発明は、コンピュータ可読プログラム記憶装置上に具体的に実現されたアプリケーションプログラムとして、ソフトウェアで実施されてもよい。そのアプリケーションプログラムは、何らかの適切なアーキテクチャーを備えたマシンにアップロードされ、そして、そのマシンによって実行されてもよい。
【００４５】
ここで、図４を参照すると、本発明の一実施形態によれば、本発明を実施するためのコンピュータシステム４１は、特に、中央処理装置（ＣＰＵ）４２、メモリー４３、および、入力／出力（Ｉ／Ｏ）インタフェース４４を備えてもよい。コンピュータシステム４１は、一般的には、Ｉ／Ｏインタフェース４４を介してディスプレイ４５、および、マウスおよびキーボードのような様々な入力装置４６に結合される。支援回路は、キャッシュ、電源、クロック回路、および、通信バスのような回路を含んでもよい。メモリー４３は、ランダムアクセスメモリー（ＲＡＭ）、リードオンリーメモリー（ＲＯＭ）、ディスクドライブ、テープドライブ、など、または、それらを組み合わせたものを含んでもよい。本発明は、信号源４８からの信号を処理するためにメモリー４３に記憶されかつＣＰＵ４２によって実行されるルーチン４７として実施されてもよい。そのようなものとして、コンピュータシステム４１は、本発明のルーチン４７を実行するときに特殊用途コンピュータシステムとなる汎用コンピュータシステムである。
【００４６】
また、コンピュータシステム４１は、オペレーティングシステムおよびマイクロ命令コードを含む。本明細書に説明された様々な処理および機能は、マイクロ命令コードの一部かまたはオペレーティングシステムを介して実行されるアプリケーションプログラムの一部（または、それらを組み合わせたもの）であってもよい。さらに、さらなるデータ記憶装置および印刷装置のようなその他の様々な周辺装置が、コンピュータプラットフォームに接続されてもよい。
【００４７】
さらに、添付の図面に示される構成要素をなすシステムコンポーネントおよび方法ステップのいくつかは、ソフトウェアで実施されてもよいので、システムコンポーネント（または、処理ステップ）間の実際の接続は、本発明がどのようにプログラムされるかに応じて異なってもよいことを理解すべきである。本明細書に提供された本発明の教示によって、当業者は、本発明のこれらのおよび類似する形態または構成を実施することができる。
【００４８】
本明細書で説明された教示から利益を得ることのできる当業者には明らかなように、本発明は、異なるが等価な形で、変更および実施されてもよいので、上で開示された特定の実施形態は、ただ単に説明のためのものである。さらに、特許請求の範囲に記載される請求項を除けば、本明細書に示される構造または設計の細部は、本発明を限定することを意図したものではない。したがって、上で開示された特定の実施形態は、変更または変形されてもよく、そのような変更または変形は、本発明の範囲および精神内であることは明らかなことである。このために、本明細書で要求される権利は、特許請求の範囲に記載される。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態によるＲnからなるｗ空間における限定するものではない例示的なＬＰ−ＳＶＭ分類器を示す。
【図２】本発明の実施形態による非重複規則の例示的な２次元ＬＰ−ＳＶＭを示す。
【図３】本発明の実施形態による規則抽出方法のフローチャートである。
【図４】本発明の実施形態による規則抽出方法を実施するための例示的なコンピュータシステムのブロック図である。
【図１】
2008501486.tif 000044
【図２】
2008501486.tif 000045
【図３】
2008501486.tif 000046
【図４】
2008501486.tif 000047
【国際調査報告】
2008501486.tif 000048
2008501486.tif 000049