(57)【要約】【課題】生物学的情報を３以上のクラスに分類する際における予測または分類基準の妥当性に優れる技術を提供する。【解決手段】本発明者の開発したマルチマージンサポートベクトルマシン（ＭＭ−ＳＶＭ）は、２以上の互いに平行な分離面を入力空間内に生成することにより、入力空間を３以上の領域に分離する。そのため、既存のサポートベクトルマシンに発生しやすかった「過学習」または「過剰適合」のリスクを低減することができる。【選択図】図３
2007052507.tif 000002
【特許請求の範囲】
【請求項１】
生物学的情報の分類を予測するための生物学的情報処理装置であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、
前記既知情報取得部により取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成する入力ベクトル生成部と、
前記複数の入力ベクトルおよび前記複数の入力ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記入力空間内に生成して、前記入力空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、
分類が未知である生物学的情報を取得する未知情報取得部と、
前記未知情報取得部により取得された前記生物学的情報を含む未知ベクトルを、前記２以上の分離面により前記３以上の領域に分離される前記入力空間内に生成する未知ベクトル生成部と、
前記２以上の分離面により前記３以上の領域に分離される入力空間内のうち、前記未知ベクトルの配置されている領域に基づいて、前記未知ベクトルに対応する前記生物学的情報の分類を予測判定する予測判定部と、
前記予測判定部により予測判定された前記未知ベクトルに対応する前記生物学的情報の分類を出力する予測分類出力部と、
を備えることを特徴とする生物学的情報処理装置。
【請求項２】
生物学的情報の分類を予測するための生物学的情報処理装置であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、
前記既知情報取得部により取得された前記複数の生物学的情報を含む複数の入力ベクトルを入力空間内に生成する入力ベクトル生成部と、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成する変換部と、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、
分類が未知である生物学的情報を取得する未知情報取得部と、
前記未知情報取得部により取得された前記生物学的情報を含む未知ベクトルを前記非線形写像により変換することにより、前記未知ベクトルに対応する変換未知ベクトルを、前記２以上の分離面により前記３以上の領域に分離される前記特徴空間内に生成する未知ベクトル生成部と、
前記２以上の分離面により前記３以上の領域に分離される特徴空間内のうち、前記変換未知ベクトルの配置されている領域に基づいて、前記変換未知ベクトルに対応する前記生物学的情報の分類を予測判定する予測判定部と、
前記予測判定部により予測判定された前記変換未知ベクトルに対応する前記生物学的情報の分類を出力する予測分類出力部と、
を備えることを特徴とする生物学的情報処理装置。
【請求項３】
生物学的情報の分類を予測するための生物学的情報処理装置であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、
前記既知情報取得部により取得された前記複数の生物学的情報を含む複数の入力ベクトルを入力空間内に生成する入力ベクトル生成部と、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成する変換部と、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、
前記分離部により生成された前記２以上の分離面を前記非線形写像により逆変換することにより、前記入力空間を３以上の領域に分離する２以上の分離面を前記入力空間内に生成する逆変換部と、
分類が未知である生物学的情報を取得する未知情報取得部と、
前記未知情報取得部により取得された前記生物学的情報を含む未知ベクトルを、前記２以上の分離面により前記３以上の領域に分離される前記入力空間内に生成する未知ベクトル生成部と、
前記２以上の分離面により前記３以上の領域に分離される入力空間内のうち、前記未知ベクトルの配置されている領域に基づいて、前記未知ベクトルに対応する前記生物学的情報の分類を予測判定する予測判定部と、
前記予測判定部により予測判定された前記未知ベクトルに対応する前記生物学的情報の分類を出力する予測分類出力部と、
を備えることを特徴とする生物学的情報処理装置。
【請求項４】
請求項２または３記載の生物学的情報処理装置において、
前記変換部は、半正定置性を満たすカーネル関数を用いて、前記入力ベクトルを前記特徴ベクトルに変換した場合の計算をするように構成されていることを特徴とする生物学的情報処理装置。
【請求項５】
請求項４記載の生物学的情報処理装置において、
前記カーネル関数は、線形カーネル関数、多項式カーネル関数およびＲＢＦカーネル関数よりなる群から選ばれる１種以上のカーネル関数であることを特徴とする生物学的情報処理装置。
【請求項６】
請求項１乃至５いずれかに記載の生物学的情報処理装置において、
前記線形分離部は、サポートベクトルマシンを用いて、前記２以上の互いに平行な分離面を生成するように構成されていることを特徴とする生物学的情報処理装置。
【請求項７】
請求項６記載の生物学的情報処理装置において、
前記サポートベクトルマシンは、前記２以上の互いに平行な分離面のうち、マージン幅が最小である分離面の前記マージン幅を最大化するように構成されていることを特徴とする生物学的情報処理装置。
【請求項８】
請求項６または７記載の生物学的情報処理装置において、
前記分離部は、前記分離面を、前記マージン幅の中央に位置するように配置するように構成されていることを特徴とする生物学的情報処理装置。
【請求項９】
請求項６乃至８いずれかに記載の生物学的情報処理装置において、
前記サポートベクトルマシンは、ソフトマージン法により拡張されたサポートベクトルマシンであることを特徴とする生物学的情報処理装置。
【請求項１０】
請求項１乃至９いずれかに記載の生物学的情報処理装置において、
前記２以上の互いに平行な分離面は、下記式
ｂ＝ｗＴｘ
（上記の式で、ｘは入力ベクトルまたは特徴ベクトルであり、ｗはパラメータベクトルであり、ｂはバイアスであり、Ｔは転置を示す算術記号である）
で表されるスコア関数により規定され、
前記ｗは、前記２以上の分離面で同一であるパラメータベクトルであり、
前記ｂは、前記２以上の分離面で互いに異なる値をとるバイアスであることを特徴とする生物学的情報処理装置。
【請求項１１】
生物学的情報を分類するための分類基準を生成する生物学的情報処理装置であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、
前記既知情報取得部により取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成する入力ベクトル生成部と、
前記複数の入力ベクトルおよび前記複数の入力ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記入力空間内に生成して、前記入力空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、
前記分離部により生成された前記２以上の分離面を規定する情報を含む前記分類基準を出力する分類基準出力部と、
を備える生物学的情報処理装置。
【請求項１２】
生物学的情報を分類するための分類基準を生成する生物学的情報処理装置であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、
前記既知情報取得部により取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成する入力ベクトル生成部と、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成する変換部と、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、
前記分離部により生成された前記２以上の分離面を規定する情報を含む前記分類基準を出力する分類基準出力部と、
を備える生物学的情報処理装置。
【請求項１３】
生物学的情報を分類するための分類基準を生成する生物学的情報処理装置であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、
前記既知情報取得部により取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成する入力ベクトル生成部と、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成する変換部と、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、
前記分離部により生成された前記２以上の分離面を前記非線形写像により逆変換することにより、前記入力空間を３以上の領域に分離する２以上の分離面を前記入力空間内に生成する逆変換部と、
前記逆変換部により生成された前記２以上の分離面を規定する情報を含む前記分類基準を出力する分類基準出力部と、
を備える生物学的情報処理装置。
【請求項１４】
請求項１２または１３記載の生物学的情報処理装置において、
前記変換部は、半正定置性を満たすカーネル関数を用いて、前記入力ベクトルを前記特徴ベクトルに変換した場合の計算をするように構成されていることを特徴とする生物学的情報処理装置。
【請求項１５】
請求項１４記載の生物学的情報処理装置において、
前記カーネル関数は、線形カーネル関数、多項式カーネル関数およびＲＢＦカーネル関数よりなる群から選ばれる１種以上のカーネル関数であることを特徴とする生物学的情報処理装置。
【請求項１６】
請求項１１乃至１５いずれかに記載の生物学的情報処理装置において、
前記線形分離部は、サポートベクトルマシンを用いて、前記２以上の互いに平行な分離面を生成するように構成されていることを特徴とする生物学的情報処理装置。
【請求項１７】
請求項１６記載の生物学的情報処理装置において、
前記サポートベクトルマシンは、前記２以上の互いに平行な分離面のうち、マージン幅が最小である分離面の前記マージン幅を最大化するように構成されていることを特徴とする生物学的情報処理装置。
【請求項１８】
請求項１６または１７記載の生物学的情報処理装置において、
前記分離部は、前記分離面を、前記マージン幅の中央に位置するように配置することを特徴とする生物学的情報処理装置。
【請求項１９】
請求項１６乃至１８いずれかに記載の生物学的情報処理装置において、
前記サポートベクトルマシンは、ソフトマージン法により拡張されたサポートベクトルマシンであることを特徴とする生物学的情報処理装置。
【請求項２０】
請求項１１乃至１９いずれかに記載の生物学的情報処理装置において、
前記２以上の互いに平行な分離面は、下記式
ｂ＝ｗＴｘ
（上記の式で、ｘは入力ベクトルまたは特徴ベクトルであり、ｗはパラメータベクトルであり、ｂはバイアスであり、Ｔは転置を示す算術記号である）
で表されるスコア関数により規定され、
前記ｗは、前記２以上の分離面で同一であるパラメータベクトルであり、
前記ｂは、前記２以上の分離面で互いに異なる値をとるバイアスであることを特徴とする生物学的情報処理装置。
【請求項２１】
生物学的情報の分類を予測するための生物学的情報処理方法であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成するステップと、
前記複数の入力ベクトルおよび前記複数の入力ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記入力空間内に生成して、前記入力空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
分類が未知である生物学的情報を取得するステップと、
前記分類が未知である生物学的情報を取得するステップにより取得された前記生物学的情報を含む未知ベクトルを、前記２以上の分離面により前記３以上の領域に分離される前記入力空間内に生成するステップと、
前記２以上の分離面により前記３以上の領域に分離される入力空間内のうち、前記未知ベクトルの配置されている領域に基づいて、前記未知ベクトルに対応する前記生物学的情報の分類を予測判定するステップと、
前記生物学的情報の分類を予測判定するステップにより予測判定された前記未知ベクトルに対応する前記生物学的情報の分類を出力するステップと、
を含むことを特徴とする生物学的情報処理方法。
【請求項２２】
生物学的情報の分類を予測するための生物学的情報処理方法であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記既知の生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを入力空間内に生成するステップと、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成するステップと、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
分類が未知である生物学的情報を取得するステップと、
前記分類が未知である生物学的情報を取得するステップにより取得された前記生物学的情報を含む未知ベクトルを前記非線形写像により変換することにより、前記未知ベクトルに対応する変換未知ベクトルを、前記２以上の分離面により前記３以上の領域に分離される前記特徴空間内に生成するステップと、
前記２以上の分離面により前記３以上の領域に分離される特徴空間内のうち、前記変換未知ベクトルの配置されている領域に基づいて、前記変換未知ベクトルに対応する前記生物学的情報の分類を予測判定するステップと、
前記生物学的情報の分類を予測判定するステップにより予測判定された前記変換未知ベクトルに対応する前記生物学的情報の分類を出力するステップと、
を含むことを特徴とする生物学的情報処理方法。
【請求項２３】
生物学的情報の分類を予測するための生物学的情報処理方法であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記既知の生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを入力空間内に生成するステップと、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成するステップと、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
前記分離するステップにより生成された前記２以上の分離面を前記非線形写像により逆変換することにより、前記入力空間を３以上の領域に分離する２以上の分離面を前記入力空間内に生成するステップと、
分類が未知である生物学的情報を取得するステップと、
前記分類が未知である生物学的情報を取得するステップにより取得された前記生物学的情報を含む未知ベクトルを、前記２以上の分離面により前記３以上の領域に分離される前記入力空間内に生成するステップと、
前記２以上の分離面により前記３以上の領域に分離される入力空間内のうち、前記未知ベクトルの配置されている領域に基づいて、前記未知ベクトルに対応する前記生物学的情報の分類を予測判定するステップと、
前記生物学的情報の分類を予測判定するステップにより予測判定された前記未知ベクトルに対応する前記生物学的情報の分類を出力するステップと、
を含むことを特徴とする生物学的情報処理方法。
【請求項２４】
生物学的情報を分類するための分類基準を生成する生物学的情報処理方法であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記既知の生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成するステップと、
前記複数の入力ベクトルおよび前記複数の入力ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記入力空間内に生成して、前記入力空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
前記分離部により生成された前記２以上の分離面を規定する情報を含む前記分類基準を出力するステップと、
を含む生物学的情報処理方法。
【請求項２５】
生物学的情報を分類するための分類基準を生成する生物学的情報処理方法であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記既知の生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成するステップと、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成するステップと、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
前記分離するステップにより生成された前記２以上の分離面を規定する情報を含む前記分類基準を出力するステップと、
を含む生物学的情報処理方法。
【請求項２６】
生物学的情報を分類するための分類基準を生成する生物学的情報処理方法であって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記既知の生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成するステップと、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成するステップと、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
前記分離するステップにより生成された前記２以上の分離面を前記非線形写像により逆変換することにより、前記入力空間を３以上の領域に分離する２以上の互いに平行な分離面を前記入力空間内に生成するステップと、
前記逆変換により分離面を入力空間内に生成するステップにより生成された前記２以上の分離面を規定する情報を含む前記分類基準を出力するステップと、
を含む生物学的情報処理方法。
【請求項２７】
生物学的情報の分類を予測する処理をコンピュータに実行させるための生物学的情報処理プログラムであって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記既知の生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成するステップと、
前記複数の入力ベクトルおよび前記複数の入力ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記入力空間内に生成して、前記入力空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
分類が未知である生物学的情報を取得するステップと、
前記分類が未知である生物学的情報を取得するステップにより取得された前記生物学的情報を含む未知ベクトルを、前記２以上の分離面により前記３以上の領域に分離される前記入力空間内に生成するステップと、
前記２以上の分離面により前記３以上の領域に分離される入力空間内のうち、前記未知ベクトルの配置されている領域に基づいて、前記未知ベクトルに対応する前記生物学的情報の分類を予測判定するステップと、
前記予測判定するステップにより予測判定された前記未知ベクトルに対応する前記生物学的情報の分類を出力するステップと、
をコンピュータに実行させることを特徴とする生物学的情報処理プログラム。
【請求項２８】
生物学的情報の分類を予測する処理をコンピュータに実行させるための生物学的情報処理プログラムであって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記既知の生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを入力空間内に生成するステップと、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成するステップと、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
分類が未知である生物学的情報を取得するステップと、
前記分類が未知である生物学的情報を取得するステップにより取得された前記生物学的情報を含む未知ベクトルを前記非線形写像により変換することにより、前記未知ベクトルに対応する変換未知ベクトルを、前記２以上の分離面により前記３以上の領域に分離される前記特徴空間内に生成するステップと、
前記２以上の分離面により前記３以上の領域に分離される特徴空間内のうち、前記変換未知ベクトルの配置されている領域に基づいて、前記変換未知ベクトルに対応する前記生物学的情報の分類を予測判定するステップと、
前記予測判定するステップにより予測判定された前記変換未知ベクトルに対応する前記生物学的情報の分類を出力するステップと、
をコンピュータに実行させることを特徴とする生物学的情報処理プログラム。
【請求項２９】
生物学的情報の分類を予測する処理をコンピュータに実行させるための生物学的情報処理プログラムであって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記既知の生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを入力空間内に生成するステップと、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成するステップと、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
前記分離するステップにより生成された前記２以上の分離面を前記非線形写像により逆変換することにより、前記入力空間を３以上の領域に分離する２以上の分離面を前記入力空間内に生成するステップと、
分類が未知である生物学的情報を取得するステップと、
前記分類が未知である生物学的情報を取得するステップにより取得された前記生物学的情報を含む未知ベクトルを、前記２以上の分離面により前記３以上の領域に分離される前記入力空間内に生成するステップと、
前記２以上の分離面により前記３以上の領域に分離される入力空間内のうち、前記未知ベクトルの配置されている領域に基づいて、前記未知ベクトルに対応する前記生物学的情報の分類を予測判定するステップと、
前記予測判定するステップにより予測判定された前記未知ベクトルに対応する前記生物学的情報の分類を出力するステップと、
をコンピュータに実行させることを特徴とする生物学的情報処理プログラム。
【請求項３０】
生物学的情報を分類する処理をコンピュータに実行させるための分類基準を生成する生物学的情報処理プログラムであって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記既知の生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成するステップと、
前記複数の入力ベクトルおよび前記複数の入力ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記入力空間内に生成して、前記入力空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
前記分離するステップにより生成された前記２以上の分離面を規定する情報を含む前記分類基準を出力するステップと、
をコンピュータに実行させる生物学的情報処理プログラム。
【請求項３１】
生物学的情報を分類する処理をコンピュータに実行させるための分類基準を生成する生物学的情報処理プログラムであって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記既知の生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成するステップと、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成するステップと、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
前記分離部により生成された前記２以上の分離面を規定する情報を含む前記分類基準を出力するステップと、
をコンピュータに実行させる生物学的情報処理プログラム。
【請求項３２】
生物学的情報を分類する処理をコンピュータに実行させるための分類基準を生成する生物学的情報処理プログラムであって、
３以上のクラスに分類されている複数の既知の生物学的情報を取得するステップと、
前記既知の生物学的情報を取得するステップにより取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成するステップと、
前記入力空間内の前記複数の入力ベクトルを非線形写像により変換することにより、前記複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、前記入力空間よりも高次限な特徴空間内に生成するステップと、
前記複数の特徴ベクトルおよび前記複数の特徴ベクトルにそれぞれ対応する前記複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記特徴空間内に生成して、前記特徴空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離するステップと、
前記分離するステップにより生成された前記２以上の分離面を前記非線形写像により逆変換することにより、前記入力空間を３以上の領域に分離する２以上の分離面を前記入力空間内に生成するステップと、
前記逆変換により分離面を前記入力空間内に生成するステップにより生成された前記２以上の分離面を規定する情報を含む前記分類基準を出力するステップと、
をコンピュータに実行させる生物学的情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生物学的情報処理装置、生物学的情報処理方法および生物学的情報処理プログラムに関する。
【背景技術】
【０００２】
パターン認識における最も基本的な問題は、未知の認識対象を計測して得られた入力ベクトルからその対象がどのクラスに属するかを判定する識別器を開発することである。そのためには、クラスの帰属が既知の訓練用のサンプルから入力ベクトルとクラスとの確率的な対応関係を知識として学習することが必要である。未知の認識対象の識別には、学習された確率的知識を利用してそれがどのクラスに属していたかを推定（決定）する方式を指定しなければならない。その際、間違って識別する確率をできるだけ小さくすることが望ましい。入力ベクトルとクラスとの確率的な対応関係が完全にわかっている理想的な場合には、理論的に最適な識別方式（ベイズ識別方式）が存在する。しかし、実際のパターン認識問題では、特徴ベクトルとクラスとの確率的な対応関係が完全にわかっていることは稀で、そのような確率的な関係を訓練データから学習する必要がある。
【０００３】
このようなパターン認識の手法として、最近、サポートベクトルマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ、ＳＶＭ）と呼ばれるパターン認識手法が注目されている。サポートベクトルマシンは、線形しきい素子を用いて、２クラスのパターン識別器を構成する手法である。
【０００４】
カーネルトリックと呼ばれる方法を用いて、非線形の識別関数を構成できるように拡張したサポートベクトルマシンは、現在知られている手法の中でも最も認識性能の優れた学習モデルの一つであると考えられている。一般に、カーネル学習法を用いて学習された識別器が、訓練サンプルに含まれていない未学習データに対しても高い識別性能を発揮できるためには、汎化能力を向上させるための工夫が必要である。
【０００５】
サポートベクトルマシンが優れた認識性能を発揮できるのは、未学習データに対して高い識別性能（汎化性能）を得るための工夫があるためである。すなわち、サポートベクトルマシンは、訓練サンプルから「マージン最大化」という基準で線形しきい素子のパラメータを学習する。ただし、サポートベクトルマシンは、基本的には２つのクラスを識別する識別器を構成するための学習法であり、生物学的情報などの多クラスの識別器を構成するためには、複数のサポートベクトルマシンを組み合わせるなどの工夫が必要となる。
【０００６】
一方、近年、ヒトゲノムの解読完了およびＤＮＡマイクロアレイの開発の成果を受けて、バイオインフォマティクスと呼ばれる技術分野において、サポートベクトルマシンを生物学的情報処理に用いるための研究開発が活発に行われている。
【０００７】
従来の遺伝子発現プロファイリングに基づく多発性骨髄腫の診断、予後、および治療標的候補の同定に関する技術としては、特許文献１に記載されたものがある。同文献に記載された技術は、ＤＮＡマイクロアレイによって遺伝子発現データを得て；さらにロジスティック回路、決定樹、投票集団、ナイーブベイズ、ベイズネットワークおよびサポートベクトルマシンより成る群から選択される方法によって前記データについて統計分析を実施する；各工程を含む。
【０００８】
また、従来の乗員状態を検知する技術としては、例えば特許文献２に記載されたものがある。同文献に記載された技術は、乗員の着座により圧力が生ずるシート部分に複数のセンサ部を配置して圧力パターンを計測し、その計測された圧力パターンデータをサポートベクトルマシン（ＳＶＭ）に入力し、ＳＶＭにより特徴抽出及びＳＶＭ分離曲面による識別を行い、着座乗員について大人／子供のクラス判別をする。
【０００９】
また、従来の生体信号の獲得及び解析を利用した動物の状態把握に関する技術としては、例えば特許文献３に記載されたものがある。同文献に記載された技術は、所定の方法で取得した特徴ベクトルに対して、各動物種類別に特定の状態での行動、意思、情緒を反映する所定のデータベースの基準ベクトルから学習されたサポートベクトルマシン分流器を適用して、前記動物の空腹度、緊張度と恐れの有無及び排便欲求を含む前記動物の情緒及び意思を把握することを含む。
【００１０】
また、従来のコンピュータの３次元病変検出に関する技術としては、例えば特許文献４に記載されたものがある。同文献に記載された技術は、線形識別選別器、２次識別選別器、ニューラルネットワーク、およびサポートベクトルマシンの内の少なくとも１つを使用して、前記病変候補のセットを区別することを含む。
【００１１】
また、従来の致死性の高い癌の分子シグネチャーに関する技術としては、例えば特許文献５に記載されたものがある。同文献に記載された技術は、ａ）クラスの各々の複数のメンバーの各々について１種以上の特徴に関する値を取得することと、ｂ）特徴の各々についてウィルコキソンランクスコアを決定し、非予測特徴を除外することと、ｃ）サポートベクトルマシンを使用して残りの特徴を予測真度によりランク付けすることを含む。
【００１２】
また、従来の生体系のパターンを識別する技術としては、例えば特許文献６に記載されたものがある。同文献に記載された技術は、医療診断、予後および治療に有用であるパターン識別のために、サポートベクトルマシン（ＳＶＭ）およびＲＦＥ（反復特徴排除）を使用することを含む。ＳＶＭ−ＲＦＥは、変動データセットとともに使用することができる。
【００１３】
【特許文献１】特表２００５−５１２５５７号公報
【特許文献２】特開２００３−３４４１９６号公報
【特許文献３】特開２００４−１３８号公報
【特許文献４】特表２００５−５０６１４０号公報
【特許文献５】特表２００５−５０３７７９号公報
【特許文献６】特表２００５−５０２０９７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、上記文献記載の従来技術は、生物学的情報処理に適用しようとする場合には、以下の点で改善の余地を有していた。
【００１５】
一般に、サポートベクトルマシンをはじめとする学習機械を生物学的情報処理に適用する際の共通課題として、「過学習」または「過剰適合」のリスクを克服することが課題となる。
【００１６】
しかし、サポートベクトルマシンは、基本的には２つのクラスを識別する識別器を構成するための学習法であり、生物学的情報の分類などの多クラスの識別器を構成するためには、複数のサポートベクトルマシンを組み合わせるなどの工夫が必要となる。そのため、入力ベクトルまたは特徴ベクトルを３以上のクラスに分類する際には、複数のサポートベクトルマシンのそれぞれについて、サポートベクトルマシンが訓練パターンに「過学習」または「過剰適合」してしまう可能性があるため、全体として「過学習」または「過剰適合」のリスクが大きくなる傾向がある。
【００１７】
また、このような「過学習」または「過剰適合」のリスクは、特許文献６の段落［００８８］にも記載されているように、入力ベクトルまたは特徴ベクトルの次元の数が、例えばマイクロアレイで研究された何千もの遺伝子のように大きく、且つ、訓練パターンの数が、数ダースの患者のように比較的小さいときに、発生しやすい。
【００１８】
この点、特許文献１乃至５に記載の技術においては、「過学習」または「過剰適合」のリスクを克服するための工夫は施されていない。このため、特許文献１乃至５に記載の技術においては、特徴ベクトル（入力ベクトル）の数が比較的大きく、訓練パターンの数が比較的小さいケースが多い生物学的情報を処理する場合には、「過学習」または「過剰適合」のリスクが大きくなりやすい。
【００１９】
そのため、特許文献１乃至５に記載の技術においては、サポートベクトルマシンが訓練パターンに「過学習」または「過剰適合」してしまう結果、生物学的情報に関する一般問題を解く際における予測の妥当性が充分ではない場合があった。よって、特許文献１乃至５に記載の技術においては、生物学的情報を３以上のクラスに分類する際における予測または分類基準の妥当性の面でさらなる改善の余地があった。
【００２０】
一方、特許文献６に記載の技術では、特許文献６の段落［００８８］に記載されているように、「過学習」または「過剰適合」のリスクを克服するために特徴空間の次元を減少することを課題として工夫を施している。
【００２１】
すなわち、特許文献６に記載の技術では、サポートベクトルマシンとＲＦＥ（反復特徴排除）とを組み合わせて使用することにより、特徴空間の次元を減少し、「過学習」または「過剰適合」のリスクをある程度低減している。しかし、このようなＲＦＥ（反復特徴排除）による「過学習」または「過剰適合」のリスクの低減は、充分に満足できる水準ではなかった。
【００２２】
また、特許文献６に記載の技術では、ＲＦＥ（反復特徴排除）を用いて特徴空間の次元を減少することにより、排除された次元に含まれる一部の有用な情報を分類に用いることができない可能性がある。
【００２３】
そのため、特許文献６に記載の技術においては、サポートベクトルマシンが訓練パターンにある程度「過学習」または「過剰適合」してしまい、排除された次元に含まれる一部の有用な情報を分類に用いることができないために、生物学的情報に関する一般問題を解く際における予測の妥当性が充分ではない場合があった。よって、特許文献６に記載の技術においては、生物学的情報を３以上のクラスに分類する際における予測または分類基準の妥当性の面でさらなる改善の余地があった。
【００２４】
本発明は上記事情に鑑みてなされたものであり、生物学的情報を３以上のクラスに分類する際における予測または分類基準の妥当性に優れる技術を提供することを目的とする。
【課題を解決するための手段】
【００２５】
本発明によれば、生物学的情報の分類を予測するための生物学的情報処理装置であって、３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、既知情報取得部により取得された複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成する入力ベクトル生成部と、複数の入力ベクトルおよび複数の入力ベクトルにそれぞれ対応する複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を入力空間内に生成して、入力空間を３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、分類が未知である生物学的情報を取得する未知情報取得部と、未知情報取得部により取得された生物学的情報を含む未知ベクトルを、２以上の分離面により３以上の領域に分離される入力空間内に生成する未知ベクトル生成部と、２以上の分離面により３以上の領域に分離される入力空間内のうち、未知ベクトルの配置されている領域に基づいて、未知ベクトルに対応する生物学的情報の分類を予測判定する予測判定部と、予測判定部により予測判定された未知ベクトルに対応する生物学的情報の分類を出力する予測分類出力部と、を備えることを特徴とする生物学的情報処理装置が提供される。
【００２６】
この構成によれば、生物学的情報を３以上のクラスに分類する際に、２以上の互いに平行な分離面により入力空間を３以上のクラスにそれぞれ対応する３以上の領域に分離することにより、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができるため、生物学的情報を３以上のクラスに分類する際における予測の妥当性を向上できる。
【００２７】
本発明によれば、生物学的情報の分類を予測するための生物学的情報処理装置であって、３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、既知情報取得部により取得された複数の生物学的情報を含む複数の入力ベクトルを入力空間内に生成する入力ベクトル生成部と、入力空間内の複数の入力ベクトルを非線形写像により変換することにより、複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、入力空間よりも高次限な特徴空間内に生成する変換部と、複数の特徴ベクトルおよび複数の特徴ベクトルにそれぞれ対応する複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を特徴空間内に生成して、特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、分類が未知である生物学的情報を取得する未知情報取得部と、未知情報取得部により取得された生物学的情報を含む未知ベクトルを非線形写像により変換することにより、未知ベクトルに対応する変換未知ベクトルを、２以上の分離面により３以上の領域に分離される特徴空間内に生成する未知ベクトル生成部と、２以上の分離面により３以上の領域に分離される特徴空間内のうち、変換未知ベクトルの配置されている領域に基づいて、変換未知ベクトルに対応する生物学的情報の分類を予測判定する予測判定部と、予測判定部により予測判定された変換未知ベクトルに対応する生物学的情報の分類を出力する予測分類出力部と、を備えることを特徴とする生物学的情報処理装置が提供される。
【００２８】
この構成によれば、生物学的情報を３以上のクラスに分類する際に、複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、入力空間よりも高次限な特徴空間内に生成した上で、２以上の互いに平行な分離面により特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離することにより、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができるため、生物学的情報を３以上のクラスに分類する際における予測の妥当性を向上できる。
【００２９】
本発明によれば、生物学的情報の分類を予測するための生物学的情報処理装置であって、３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、既知情報取得部により取得された複数の生物学的情報を含む複数の入力ベクトルを入力空間内に生成する入力ベクトル生成部と、入力空間内の複数の入力ベクトルを非線形写像により変換することにより、複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、入力空間よりも高次限な特徴空間内に生成する変換部と、複数の特徴ベクトルおよび複数の特徴ベクトルにそれぞれ対応する複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を特徴空間内に生成して、特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、分離部により生成された２以上の分離面を非線形写像により逆変換することにより、入力空間を３以上の領域に分離する２以上の分離面を前記入力空間内に生成する逆変換部と、分類が未知である生物学的情報を取得する未知情報取得部と、未知情報取得部により取得された生物学的情報を含む未知ベクトルを、２以上の分離面により３以上の領域に分離される入力空間内に生成する未知ベクトル生成部と、２以上の分離面により３以上の領域に分離される入力空間内のうち、未知ベクトルの配置されている領域に基づいて、未知ベクトルに対応する生物学的情報の分類を予測判定する予測判定部と、予測判定部により予測判定された未知ベクトルに対応する生物学的情報の分類を出力する予測分類出力部と、を備えることを特徴とする生物学的情報処理装置が提供される。
【００３０】
この構成によれば、生物学的情報を３以上のクラスに分類する際に、複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、入力空間よりも高次限な特徴空間内に生成した上で、２以上の互いに平行な分離面により特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離し、さらに生成された２以上の分離面を非線形写像により逆変換して、入力空間を３以上の領域に分離する２以上の分離面を前記入力空間内に生成することにより、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができるため、生物学的情報を３以上のクラスに分類する際における予測の妥当性を向上できる。
【００３１】
本発明によれば、生物学的情報を分類するための分類基準を生成する生物学的情報処理装置であって、３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、既知情報取得部により取得された前記複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成する入力ベクトル生成部と、複数の入力ベクトルおよび複数の入力ベクトルにそれぞれ対応する複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を前記入力空間内に生成して、入力空間を前記３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、分離部により生成された２以上の分離面を規定する情報を含む分類基準を出力する分類基準出力部と、を備える生物学的情報処理装置が提供される。
【００３２】
この構成によれば、生物学的情報を３以上のクラスに分類する際に、２以上の互いに平行な分離面により入力空間を３以上のクラスにそれぞれ対応する３以上の領域に分離することにより、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができるため、生物学的情報を３以上のクラスに分類する際における分類基準の妥当性を向上できる。
【００３３】
本発明によれば、生物学的情報を分類するための分類基準を生成する生物学的情報処理装置であって、３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、既知情報取得部により取得された複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成する入力ベクトル生成部と、入力空間内の複数の入力ベクトルを非線形写像により変換することにより、複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、入力空間よりも高次限な特徴空間内に生成する変換部と、複数の特徴ベクトルおよび複数の特徴ベクトルにそれぞれ対応する複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を特徴空間内に生成して、特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、分離部により生成された２以上の分離面を規定する情報を含む分類基準を出力する分類基準出力部と、を備える生物学的情報処理装置が提供される。
【００３４】
この構成によれば、生物学的情報を３以上のクラスに分類する際に、複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、入力空間よりも高次限な特徴空間内に生成した上で、２以上の互いに平行な分離面により特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離することにより、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができるため、生物学的情報を３以上のクラスに分類する際における分類基準の妥当性を向上できる。
【００３５】
本発明によれば、生物学的情報を分類するための分類基準を生成する生物学的情報処理装置であって、３以上のクラスに分類されている複数の既知の生物学的情報を取得する既知情報取得部と、既知情報取得部により取得された複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成する入力ベクトル生成部と、入力空間内の複数の入力ベクトルを非線形写像により変換することにより、複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、入力空間よりも高次限な特徴空間内に生成する変換部と、複数の特徴ベクトルおよび複数の特徴ベクトルにそれぞれ対応する複数の生物学的情報の分類に基づいて、２以上の互いに平行な分離面を特徴空間内に生成して、特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離する分離部と、分離部により生成された２以上の分離面を非線形写像により逆変換することにより、入力空間を３以上の領域に分離する２以上の分離面を入力空間内に生成する逆変換部と、逆変換部により生成された２以上の分離面を規定する情報を含む分類基準を出力する分類基準出力部と、を備える生物学的情報処理装置が提供される。
【００３６】
この構成によれば、生物学的情報を３以上のクラスに分類する際に、複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、入力空間よりも高次限な特徴空間内に生成した上で、２以上の互いに平行な分離面により特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離し、さらに生成された２以上の分離面を非線形写像により逆変換して、入力空間を３以上の領域に分離する２以上の分離面を前記入力空間内に生成することにより、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができるため、生物学的情報を３以上のクラスに分類する際における分類基準の妥当性を向上できる。
【００３７】
なお、上記の装置は本発明の一態様であり、本発明の装置は、以上の構成要素の任意の組合せであってもよい。また、本発明の方法、システム、コンピュータプログラム、記録媒体なども、同様の構成を有する。
【発明の効果】
【００３８】
本発明によれば、２以上の互いに平行な分離面により入力空間または特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離するため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の妥当性を向上できる。
【発明を実施するための最良の形態】
【００３９】
本発明において、上述の変換部は、半正定置性を満たすカーネル関数を用いて、入力ベクトルを特徴ベクトルに変換した場合の計算をするように構成することができる。
【００４０】
この構成によれば、半正定置性を満たすカーネル関数を用いて、入力ベクトルを特徴ベクトルに変換した場合の計算をすることにより、線形分離することが困難な入力ベクトルを、線形分離することが可能な特徴ベクトルに変換することができるため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の汎化性を向上できる。
【００４１】
本発明において、カーネル関数は、線形カーネル関数、多項式カーネル関数およびＲＢＦカーネル関数よりなる群から選ばれる１種以上のカーネル関数であってもよい。
【００４２】
この構成によれば、線形カーネル関数、多項式カーネル関数およびＲＢＦカーネル関数よりなる群から選ばれる１種以上のカーネル関数は、いずれも半正定置性を満たすカーネル関数であるため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の汎化性を向上できる。
【００４３】
本発明によれば、線形分離部は、サポートベクトルマシンを用いて、２以上の互いに平行な分離面を生成するように構成することができる。
【００４４】
この構成によれば、サポートベクトルマシンは、高い識別性能を有するため、上述の各種の工夫と相俟って、生物学的情報を３以上のクラスに分類する際における予測または分類基準の識別性を向上できる。
【００４５】
本発明によれば、サポートベクトルマシンは、２以上の互いに平行な分離面のうち、マージン幅が最小である分離面のマージン幅を最大化するように構成することができる。
【００４６】
この構成によれば、サポートベクトルマシンは、なるべく余裕を持って入力ベクトルまたは特徴ベクトルを分離することになるため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の識別性および汎化性を向上できる。
【００４７】
本発明によれば、分離部は、分離面を、マージン幅の中央に位置するように配置するように構成することができる。
【００４８】
この構成によれば、サポートベクトルマシンは、分離面を一意に決定することができるため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の汎化性を向上できる。
【００４９】
本発明によれば、サポートベクトルマシンは、ソフトマージン法により拡張されたサポートベクトルマシンであってもよい。
【００５０】
この構成によれば、サポートベクトルマシンは、入力ベクトルまたは特徴ベクトルを線形分離することが困難な場合にも、ソフトマージン法により線形分離することが可能になるため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の汎化性を向上できる。
【００５１】
本発明において、２以上の互いに平行な分離面は、次式  ｂ＝ｗＴｘ  （この式で、ｘは入力ベクトルまたは特徴ベクトルであり、ｗはパラメータベクトルであり、ｂはバイアスであり、Ｔは転置を示す算術記号である）で表されるスコア関数により規定され、ｗは、前記２以上の分離面で同一であるパラメータベクトルであり、ｂは、前記２以上の分離面で互いに異なる値をとるバイアスであってもよい。
【００５２】
この構成によれば、ｂ＝ｗＴｘで表される２以上の分離面は、互いに平行となり、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができるので、生物学的情報を３以上のクラスに分類する際における予測または分類基準の妥当性を向上できる。
【００５３】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００５４】
＜実施形態１＞
図１は、生物学的情報処理装置１００の構成の概要を示した機能ブロック図である。生物学的情報処理装置１００は、分類が未知である生物学的情報の分類を予測するための装置である。あるいは、生物学的情報処理装置１００は、分類が未知である生物学的情報を分類するための分類基準を生成する装置でもある。
【００５５】
生物学的情報処理装置１００には、既知情報取得部１０２が設けられている。既知情報取得部１０２は、図２に示すように、３以上のクラスにあらかじめ分類されている複数の既知の生物学的情報を外部から取得する。
【００５６】
図２では、既知情報取得部１０２が外部から取得する入力ファイル（分類が既知の生物学的情報）の例が記載されている。この例では、既知情報取得部１０２は、個々の患者から取得されたサンプルごとに、所定の（薬剤耐性、疾病度、生存率、遺伝子名、白血球量、血圧などの）順序付き医療観測データを取得する。
【００５７】
これらの医療観測データは、医師、歯科医師、看護師、臨床検査技師、臨床受託会社の技術者、生物学分野の研究者などにより、３以上の複数のクラスにあらかじめ分類されている。図２の例では、第１段階、第２段階、・・・第Ｍ段階と、Ｍ個のクラスにあらかじめ分類されている。例えば、図２の例では、抗癌剤を研究する研究者が、抗癌剤耐性について、低、中、高と分類することができる。
【００５８】
また、生物学的情報処理装置１００には、特徴量抽出部１１８が設けられている。特徴量抽出部１１８は、入力ファイルに含まれる個々の患者から取得されたサンプルごとの分類が既知の生物学的情報から、所定の抽出基準に基づいて（薬剤耐性、疾病度、生存率、遺伝子名、白血球量、血圧などの）特徴量を抽出する。例えば、所定の抽出基準で上位ｄ個の特徴量１、特徴量２、・・・特徴量Ｄを抽出することができる。この場合、それぞれの患者から取得されたサンプルの生物学的情報について、抽出される特徴量の種類は同じである。一方、それぞれの特徴量の値については、それぞれの患者から取得されたサンプルの生物学的情報ごとに異なる。
【００５９】
特徴量抽出部１１８で用いられる特徴量抽出法としては、例えば、一元配置分散分析のＦ検定またはｔ検定、二群比較によるｔ検定（等分散、不等分散）、各段階に値が存在する場合には相関係数などが使用可能である。
【００６０】
特徴量抽出部１１８で特徴量を抽出された分類既知の生物情報は、既知情報記憶部１０４に格納され、分類基準生成部１０６に送られる。分類基準生成部１０６は、後述する図３に示すように、取得した分類既知の生物情報に基づいて、例えば、本発明者の開発したマルチマージンサポートベクトルマシンなどの学習機械を用いて、生物学的情報の分類を予測するための分類基準を生成する。
【００６１】
図３は、既存のサポートベクトルマシンと、分離部２１４にて用いられる本実施形態のマルチマージンサポートベクトルマシンとの機能の違いを説明するための概念図である。既存のサポートベクトルマシン（ＳＶＭ）では、所定の次元のベクトル（ｄ次元ベクトル、すなわちｄ個の特徴量の値を含むベクトル）を２クラスに分類する。一方、本発明者の開発したマルチマージンサポートベクトルマシン（ＭＭ−ＳＶＭ）は、所定の次元のベクトルを３以上のクラス（Ｍ段階）に分類する。なお、Ｍは３以上の整数である。また、マルチマージンサポートベクトルマシンについては、図６〜図１１において後述する。
【００６２】
図１に戻って、分類基準生成部１０６で生成された分類基準は、分類基準記憶部１０８に格納され、分類予測判定部１１２に送られるか、あるいは出力部１１６に送られて、そのまま外部に出力される。なお、分類基準とは、後述するマルチマージンサポートベクトルマシンにより生成される分離面そのものであってもよく、分離面を規定するためのパラメータの組合せなどであってもよい。
【００６３】
一方、生物学的情報処理装置１００には、既知情報取得部１０２とは別に、未知情報取得部１１０が設けられている。未知情報取得部１１０は、分類が未知である生物学的情報を外部から取得する。
【００６４】
未知情報取得部１１０が外部から取得する入力ファイル（分類が未知の生物学的情報）は、例えば、個々の患者から取得されたサンプルごとに、所定の（薬剤耐性、疾病度、生存率、遺伝子名、白血球量、血圧などの）順序付き医療観測データである。もっとも、図２の例とは異なり、これらの医療観測データは、医師、歯科医師、看護師、臨床検査技師、臨床受託会社の技術者、生物学分野の研究者などにより、３以上の複数のクラスにあらかじめ分類されてはいない。
【００６５】
特徴量抽出部１１８は、入力ファイルに含まれる個々の患者から取得されたサンプルごとの分類が未知の生物学的情報から、所定の抽出基準に基づいて（薬剤耐性、疾病度、生存率、遺伝子名、白血球量、血圧などの）特徴量を抽出する。例えば、所定の抽出基準で上位ｄ個の特徴量１、特徴量２、・・・特徴量Ｄを抽出することができる。この場合、分類が既知の生物学的情報の場合と、抽出される特徴量の種類は同じである。一方、それぞれの特徴量の値については、それぞれの患者から取得されたサンプルの生物学的情報ごとに異なる。特徴量抽出部１１８で特徴量を抽出された分類未知の生物情報は、分類予測判定部１１２に送られる。
【００６６】
分類予測判定部１１２は、分類が未知の生物学的情報の分類を予測判定する。分類予測判定部１１２は、分類基準記憶部１０８から取得した分類基準に、特徴量抽出部１１０で特徴量を抽出された分類未知の生物学的情報をあてはめることにより、分類未知の生物学的情報の分類を予測判定する。そして、分類予測判定部１１２により予測判定された分類未知の生物学的情報の分類予測結果は、分類予測記憶部１１４に格納され、出力部１１６に送られる。
【００６７】
出力部１１６は、分類予測判定部１１２により予測判定された分類未知の生物学的情報の分類予測結果を外部に出力するか、あるいは、分類基準生成部１０６により生成された２以上の分離面を規定する情報を含む分類基準を外部に出力する。
【００６８】
また、生物学的情報処理装置１００には、交差検定部１２０が設けられている。交差検定部１２０は、図２９で後述するように、上述のマルチマージンサポートベクトルマシンの学習データとして用いられた既知情報について、上述の既知情報により生成された分類基準により得られる分類予測の判定結果の交差検定を行う。なお、交差検定の手法の詳細については、図２９において後述するので、ここでは説明を繰り返さない。
【００６９】
さらに、交差検定部１２０は、交差検定の結果に基づいて、上述の分類基準の推定予測率を算出する。こうして得られた推定予測率は、推定予測率記憶部１２２に格納され、出力部１１６により出力されて、生物学的情報処理装置１００のユーザに提示される。
【００７０】
生物学的情報処理装置１００では、交差検定部１２０によって学習データの交差検定が行われることにより、上述の分類基準の推定予測率が算出されて出力部１１６を介してユーザに提示される。このため、生物学的情報処理装置１００のユーザは、学習データにより生成された分類基準の推定予測率を把握した上で、分類基準に未知データをあてはめて、信頼性の程度の判明している分類予測判定結果を得ることができる。このため、ユーザが信頼性の低い分類基準による分類予測判定結果を過信する危険性が低減し、研究開発または医療におけるリスクが低減される。
【００７１】
図４は、分類基準生成部１０６の構成の詳細を示した機能ブロック図である。生物学的情報取得部２０２は、既知情報記憶部１０４から分類が既知の生物学的情報を取得し、生物学的情報記憶部２０４に格納する。一方、分類取得部２１０は、その生物学的情報に対応する既知の分類を取得し、分類記憶部２１２に格納する。
【００７２】
入力ベクトル生成部２０６は、既知情報記憶部１０４から取得した分類が既知の生物学的情報から、複数の生物学的情報を含む複数の入力ベクトルを、入力空間内に生成する。具体的には、図２に示すように、特徴量抽出部により抽出された上位ｄ個の特徴量を含む個々の患者由来のサンプルデータを、それぞれｄ次元のベクトル化することにより、入力ベクトルを生成する。入力空間は、例えばｄ次元のユークリッド幾何学に基づく空間などが用いられる。そして、入力ベクトル生成部２０６により生成された入力ベクトルは、入力ベクトル記憶部２０８に格納され、分離部２１４に送られる。
【００７３】
ここで、サポートベクトルマシンなどを用いるパターン認識を実現するためには、認識対象から何らかの特徴量を計測（抽出）することが必要である。一般には、特徴量は１種類だけではなく、複数の特徴量を計測し、それらを同時に用いることが多い。そのような特徴量は、通常、まとめて入力ベクトルｘＴ＝（ｘ１，・・・，ｘｄ）として表される。ここで、ｘＴは、ベクトルｘの転置を表す。なお、これは入力ベクトルの一例に過ぎない。
【００７４】
分離部２１４は、図３に示すように、複数の入力ベクトルと、複数の既知の分類とに基づいて、マルチマージンサポートベクトルマシンにより入力空間を３以上の分類（クラス）にそれぞれ対応する３以上の領域に分離する。マルチマージンサポートベクトルマシンは、２以上の互いに平行な分離面を入力空間内に生成することにより、入力空間を３以上の分類（クラス）にそれぞれ対応する３以上の領域に分離する。そして、分離部２１４により生成された分離面は、分離面記憶部２１６に格納され、分類基準出力部２１８に送られる。
【００７５】
図５は、分離部２１４の構成の詳細を示した機能ブロック図である。入力ベクトル取得部６０２は、入力ベクトル記憶部２０８から入力ベクトルを取得し、サポートベクトルマシン６０６に送る。分類取得部６０４は、分類記憶部２１２からその入力ベクトルに対応する分類を取得し、サポートベクトルマシン６０６に送る。サポートベクトルマシン６０６は、２以上の互いに平行な分離面を入力空間内に生成することにより、入力ベクトルが配置されている入力空間を３以上の領域に分離する。生成された分離面は、分離面出力部６０８により分離部２１４から出力されて、分離面記憶部２１６に格納される。
【００７６】
繰り返しになるが、図３に示すように、既存のサポートベクトルマシン（ＳＶＭ）では、所定の次元のベクトル（ｄ次元ベクトル、すなわちｄ個の特徴量の値を含むベクトル）を２クラスに分類する。一方、本発明者の開発したマルチマージンサポートベクトルマシン（ＭＭ−ＳＶＭ）は、所定の次元のベクトルを３以上のクラス（Ｍ段階）に分類する。なお、Ｍは３以上の整数である。
【００７７】
本発明者の開発したマルチマージンサポートベクトルマシン（ＭＭ−ＳＶＭ）は、２以上の互いに平行な分離面を入力空間内に生成することにより、入力空間を３以上の領域に分離するため、既存のサポートベクトルマシンに発生しやすかった「過学習」または「過剰適合」のリスクを低減することができる。このような「過学習」または「過剰適合」のリスクを低減することができることは、後述するように実験的に検証されている。
【００７８】
一般に、生物学的情報は、（薬剤耐性、疾病度、生存率などの）順序付きのデータが多いため、それらの各種の生物学的情報を総合して、医師、歯科医師、看護師、臨床検査技師、臨床受託会社の技術者、生物学分野の研究者などにより、状況に応じて個別具体的に判断される分類も、低、中、高などのように、やはり順序付きのデータとなることが多い。このため、本発明者の開発したマルチマージンサポートベクトルマシンのように、２以上の互いに平行な分離面を生成すれば、順序付きのデータを適切に分類できる。
【００７９】
図４において、分類基準生成部２１８は、分離部２１４により生成された２以上の分離面を規定する情報を含む分類基準を生成する。そして、生成された分類基準は、分類基準記憶部２１８に格納される。なお、分類基準とは、後述するマルチマージンサポートベクトルマシンにより生成される分離面そのものであってもよく、分離面を規定するためのパラメータの組合せなどであってもよい。
【００８０】
図６は、既存のサポートベクトルマシンと、実施形態１に用いるマルチマージンサポートベクトルマシンとの学習方法の違いをより詳細に説明するための概念図である。既存のサポートベクトルマシン（ＳＶＭ）は、ニューロンのモデルとして最も単純な線形しきい素子を用いて、２クラスのパターン識別器を構成する手法である。既存のサポートベクトルマシンは、訓練サンプル集合（入力ベクトルの集合）から、「マージン最大化」という基準で線形しきい素子のパラメータを学習する。
【００８１】
ここで、入力ベクトルは、ｘＴ＝（ｘ１，・・・，ｘｄ）として表されるものとする。なお、ｘＴは、ベクトルｘの転置を表す。また、ｄは特徴量の個数である。認識対象のクラスの総数をＭ（３以上の整数）とし、各クラスをＣ１，Ｃ２，・・・，ＣＭとする。
【００８２】
このとき、既存のサポートベクトルマシンで用いる線形しきい素子は、入力ベクトルに対する線形識別関数（スコア関数）である、次式：ｇ（ｘ）＝ｇ（ｘ｜ｗ）＝ｗＴｘ＝ｗ１ｘ１＋・・・＋ｗｄｘｄで表される。この線形しきい素子において、ｇ（ｘ）＝ｂとした場合の識別平面が、入力空間を分離する分離面に相当する。ここで、ｗはシナプス荷重に対応するパラメータであり、ｂはしきい値である。これは、幾何学的には、分離面（識別平面）により、入力空間を２つに分けることに相当する。
【００８３】
なお、図６〜図１１では、この入力ベクトルの集合は、線形分離可能であるとする。すなわち、線形しきい素子のパラメータをうまく調整することで、入力ベクトルの集合を誤りなくわけることができると仮定する。
【００８４】
入力ベクトルの集合が線形分離可能であるとしても、一般には、入力ベクトルの集合を誤りなくわけるパラメータは一意には決まらない。既存のサポートベクターマシンでは、入力ベクトルをすれすれに通るのではなく、なるべく余裕をもって分けるような分離面が求められる。具体的には、最も近い入力ベクトルとの余裕をマージンと呼ばれる量で測り、マージンが最大となるような分離面を求める。
【００８５】
図７および図８は、既存のサポートベクトルマシンと、実施形態１に用いるマルチマージンサポートベクトルマシンとの学習法の数式の違いを説明するための概念図である。図７に示すように、既存のサポートベクトルマシンでは、入力ベクトルの集合が線形分離可能であれば、実線で示される分離面の両側の点線で示される２枚の超平面で入力ベクトルの集合が完全に分離され、２枚の超平面の間には入力ベクトルがひとつも存在しない状態になる。このとき、分離面とこれらの超平面との距離（マージンの大きさ）は、１／||ｗ||となる。また、両側のマージンの合計は、図７において両方向矢印で示すように、２／||ｗ||となる。
【００８６】
そして、既存のサポートベクトルマシンでマージンを最大とする（間隙を最大とする分離面を規定する）パラメータｗおよびｂを求める問題は、（１／２）||ｗ||２を最小とするパラメータｗおよびｂを求める問題と等価になる。また、拘束条件として、分類が（―）の入力ベクトルは、分離面より下となり、分類が（＋）の入力ベクトルは、分離面より上となるように拘束する。この最適化問題は、数理計画法の分野における２次計画問題として知られており、さまざまな公知の数値計算法により解くことができる。ただし、既存のサポートベクトルマシンでは、サポートベクトルマシンひとつあたり、分離面はひとつしか生成することができない。
【００８７】
一方、図８に示すように、実施形態１に用いるマルチマージンサポートベクトルマシンでは、上述と同様の手法により分離面を規定する手法であるが、分離面が２以上生成される点、分離面が互いに平行である点、において、既存のサポートベクトルマシンと異なっている。図８では、例として２つの分離面が生成されている。そして、２以上の分離面のいずれにおいても、パラメータｗは同一であるが、しきい値は、ｂ１およびｂ２の異なる値をとることになる。図８では、下側の分離面は、しきい値がｂ１であり、上側の分離面は、しきい値がｂ２である。
【００８８】
この場合、ｗの値をいかにして決定するかが問題となるが、本発明者の開発したマルチマージンサポートベクターマシンでは、最も狭い間隙を最大にする分離面を見つけることによりｗを決定している。つまり、２以上のいずれの分離面においてもｗの値を同一にし、２以上のいずれの分離面の両側のマージン領域内に入力ベクトルがひとつも存在しないという条件を満たし、（１／２）||ｗ||２を最小とする。
【００８９】
すなわち、本発明者の開発したマルチマージンサポートベクターマシンでマージンを最大とする（最も狭い間隙の間隙を最大とする２以上の互いに平行な分離面を規定する）パラメータｗおよびｂ１、ｂ２、ｂＭ−１を求める問題は、（１／２）||ｗ||２を最小とするパラメータｗおよびｂ１、ｂ２、ｂＭ−１を求める問題と等価になる。また、拘束条件として、分類が（１）の入力ベクトルは、分離面１より下となり、分類が（２）の入力ベクトルは、分離面１より上であり、分離面２より下となり、同様にして、分離面（Ｍ）の入力ベクトルは、分離面（Ｍ−１）より上となるように拘束する。この最適化問題は、数理計画法の分野における２次計画問題として知られており、さまざまな公知の数値計算法により解くことができる。
【００９０】
このように、入力ベクトルはｄ次元のベクトル化されており、分離部において２以上の互いに平行な分離面が生成されるため、図１に示した分類予測判定部１１２においても、未知情報をｄ次元のベクトル化してなる未知ベクトルを生成し、２以上の分離面により３以上の領域に分離される入力空間内のうち、未知ベクトルの配置されている領域に基づいて、未知ベクトルに対応する生物学的情報の分類を予測判定することになる。
【００９１】
図９は、既存のサポートベクトルマシンと、実施形態１に用いるマルチマージンサポートベクトルマシンとの学習法の数式の違いを説明するための概念図である。既存のサポートベクトルマシンでは、（１／２）||ｗ||２を最小とするようにパラメータを設定する。この際の拘束条件は、分類が（―）の入力ベクトルは、ｇ（ｘｉ｜ｗ）−ｂ≦−１となり、分類が（＋）の入力ベクトルは、ｇ（ｘｉ｜ｗ）−ｂ≧＋１となるように拘束する。なお、ｇ（ｘ｜ｗ）＝ｗＴｘである。
【００９２】
一方、本発明者の開発したマルチマージンサポートベクトルマシンでは、（１／２）||ｗ||２を最小とするようにパラメータを設定する。この際の拘束条件は、分類が（１）の入力ベクトルは、ｇ（ｘｉ｜ｗ）−ｂ１≦−１となり、分類が（２）の入力ベクトルは、ｇ（ｘｉ｜ｗ）−ｂ１≧＋１であり、ｇ（ｘｉ｜ｗ）−ｂ２≦−１となり、同様にして、分離面（Ｍ）の入力ベクトルは、ｇ（ｘｉ｜ｗ）−ｂＭ−１≧＋１となるように拘束する。なお、ｇ（ｘ｜ｗ）＝ｗＴｘである。
【００９３】
図１０は、マルチマージンサポートベクトルマシンにおいて、最適バイアスが不定になるという課題について説明するための概念図である。本発明者の開発したマルチマージンサポートベクトルマシンでは、上記のｂ１、ｂ２などのバイアスは、最適値が一意に決まらない場合があり得る。なぜなら、マージンが最小となる分離面では、バイアスは一意に決まるが、マージンが最小ではない分離面では、バイアスは複数の値を取り得るからである。このため、何らかの基準により、バイアスを一意に決める基準を定めておくことが好ましいと考えられる。
【００９４】
図１１は、図１０で説明した課題を解決するために、マルチマージンサポートベクトルマシンにおいて、バイアスを中央に位置づけることについて説明するための概念図である。バイアスを一意に決める基準として、本発明者の開発したマルチマージンサポートベクトルマシンでは、マージンが最小ではない分離面では、バイアスは両側の２つの超平面の中央に位置するように設定される。すなわち、図１１のｂ１の場合には、すべての入力ベクトルについて、スコア関数：ｇ（ｘ）に直角な形で投写した場合の値をスコアとし、分類（１）の最大スコアと分類２の最小スコアとの中央の値になるように設定する。
【００９５】
このように、バイアスを中央に位置づける理由について説明する。本発明者の開発したマルチマージンサポートベクトルマシンをはじめとして、学習機械の本来の目的は、テストサンプル（分類が未知の入力ベクトル）を誤って識別する率（誤識別率）を最小にすることである。分離面を規定するバイアス（しきい値）を、中央に置くと誤識別率が小さくなる理由については、詳しい説明は省略するが、公知のＶＣ理論の立場から説明すると、期待損失を最小化することが目的ではあるが、分類が既知の入力ベクトルからは、経験損失しか知ることができないので、代わりに経験損失を最小化するしかないことが理由である。この方法は、経験損失最小化（ＥＲＭ）と呼ばれる公知の方法である。すなわち、上記のような場合に経験損失を最小化するためには、バイアスを中央に位置づけることが最も合理的であるため、本発明者の開発したマルチマージンサポートベクトルマシンでは、バイアスを中央に位置づけることとしている。
【００９６】
図１２は、サポートベクトルマシンの構成の詳細を示した機能ブロック図である。サポートベクトルマシン６０６には、上述のパラメータベクトルｗを設定するパラメータベクトル設定部７０２が設けられている。パラメータベクトル設定部７０２がパラメータベクトルｗを設定する際の計算については、上述したので繰り返さない。
【００９７】
また、サポートベクトルマシン６０６には、上述のバイアスｂ１、ｂ２、ｂＭ−１を設定するバイアス設定部７０４が設けられている。バイアス設定部７０４がバイアスｂを設定する際の計算については、上述したので繰り返さない。
【００９８】
さらに、サポートベクトルマシン６０６には、サポートベクトルマシンをソフトマージン法により拡張するソフトマージン化部７０６が設けられている。サポートベクトルマシンをソフトマージン法により拡張する場合に、スラック関数の値を設定するソフトマージン化部７０６の構成および動作については、詳しくは図１３〜図１６で後述する。
【００９９】
図１３は、サポートベクトルマシンにより線形分離が不可能な場合について説明するための概念図である。上述の既存のサポートベクトルマシンおよび本発明者の開発したマルチマージンサポートベクトルマシンは、入力ベクトルの集合が線形分離可能な場合についての議論であるが、パターン認識の実問題では、図１３に示すように、２クラスに分類済みの学習用の入力ベクトルの集合でも、Ｍクラス（Ｍは３以上の整数）に分類済みの学習用の入力ベクトルの集合でも、線形分離可能でない場合がある。
【０１００】
そのため、このように線形分離不可能な場合には、上述の図９の数式において、条件を満たすパラメータは、解なしとなってしまう。よって、実際的な課題にサポートベクトルマシンを使うには、さらなる工夫が必要である。後述するカーネルトリックを用いる手法以外に、まず考えられるのは、多少の識別誤りは許すように制約を緩める方法である。これは、「ソフトマージン」と呼ばれている。
【０１０１】
図１４は、サポートベクトルマシンをソフトマージン化により弛緩する場合について説明するための概念図である。ソフトマージン法では、マージン１／||ｗ||（両側の合計は２／||ｗ||）を最大としながら、図１４に示すように、幾つかの入力ベクトルが超平面Ｈ１または超平面Ｈ２を超えて反対側に入ってしまうことを許す。反対側にどれくらい入り込んだかの距離を、パラメータξｉ（≧０）を用いてξｉ／||ｗ||と表すとすると、その和は、なるべく小さい方が望ましい。
【０１０２】
図１５は、サポートベクトルマシンをソフトマージン化により弛緩する場合の学習法について説明するための概念図である。既存のサポートベクトルマシンのソフトマージン法では、上述の条件から最適な分離面を求める問題は、（１／２）||ｗ||２＋ＣΣ（ｉ＝１→Ｎ）ξｉを最小とするパラメータを求める問題に帰着される。なお、Σ（ｉ＝１→Ｎ）ξｉは、ξ１からξＮまでの和を求めることを意味する。また、あらたに導入したパラメータＣは、第一項のマージンの大きさと、第二項のはみ出しの程度とのバランスを決める定数である。
【０１０３】
この際の拘束条件は、分類が（―）の入力ベクトルは、ｇ（ｘｉ｜ｗ）−ｂ≦−１＋ξｉとなり、分類が（＋）の入力ベクトルは、ｇ（ｘｉ｜ｗ）−ｂ≧＋１−ξｉとなるように拘束する。なお、ｇ（ｘ｜ｗ）＝ｗＴｘである。
【０１０４】
一方、本発明者の開発したマルチマージンサポートベクトルマシンでは、上述の条件から最適な分離面を求める問題は、（１／２）||ｗ||２＋Ｃ｛Σ（ｍ＝１→Ｍ−１）Σ（ｉ∈Ｉｍ）ξｉ−＋Σ（ｍ＝２→Ｍ）Σ（ｉ∈Ｉｍ）ξｉ＋｝を最小とするパラメータを求める問題に帰着される。なお、Σ（ｉ∈Ｉｍ）Ｘｉは、クラスｍに属する観測値の添え字集合に属するｉについてξｉの和を求めることを意味する。また、あらたに導入したパラメータＣは、第一項のマージンの大きさと、第二項のはみ出しの程度とのバランスを決める定数である。
【０１０５】
この際の拘束条件は、分類が（１）の入力ベクトルは、ｇ（ｘｉ｜ｗ）−ｂ１≦−１＋ξｉ−となり、分類が（２）の入力ベクトルは、ｇ（ｘｉ｜ｗ）−ｂ１≧＋１−ξｉ＋であり、ｇ（ｘｉ｜ｗ）−ｂ２≦−１＋ξｉ−となり、同様にして、分離面（Ｍ）の入力ベクトルは、ｇ（ｘｉ｜ｗ）−ｂＭ−１≧＋１−ξｉ＋となるように拘束する。なお、ｇ（ｘ｜ｗ）＝ｗＴｘである。
【０１０６】
図１６は、サポートベクトルマシンをソフトマージン化により弛緩する場合の学習法の解法について説明するための概念図である。上述の既存のサポートベクトルマシンを弛緩させた場合、および本発明者の開発したマルチマージンサポートベクトルマシンを弛緩させた場合の解法については、いずれの最適化問題の一種に過ぎない。
【０１０７】
これらの最適化問題の解法については、詳しくは説明しないが、基本的には線形分離可能な場合と同様に図１６に示した数式により公知の計算方法で解くことができる。
【０１０８】
図１７は、本実施の形態に係る生物学的情報処理装置１００の動作について説明するためのフローチャートである。まず、生物学的情報処理装置１００の動作がスタートすると、既知情報取得部１０２により、３クラス以上に分類済みの既知の生物学的情報が外部から取得される（Ｓ１０２）。次いで、取得された分類が既知の生物学的情報は、特徴量抽出部１１８において、所定の抽出基準に基づいて特徴量の次元数を抽出により調節される（Ｓ１０４）。そして、特徴量が抽出された生物学的情報から、入力ベクトル生成部２０６にて入力ベクトルが入力空間内に生成される（Ｓ１０６）。
【０１０９】
その後、生成された入力ベクトルの集合および入力ベクトルのそれぞれに対応する分類に基づいて、分離部２１４により、２以上の互いに平行な分離面が入力空間内に生成される（Ｓ１０８）。生成された分離面に基づいて、分類基準生成部１０６により、分類が未知の入力ベクトル（未知ベクトル）を分類予測するための分類基準が設定される（Ｓ１１０）。設定された分類基準は、出力部１１６により出力される（Ｓ１１２）。
【０１１０】
次いで、未知情報取得部１１０により、分類が未知の生物学的情報が外部から取得される（Ｓ１１４）。次いで、取得された分類が未知の生物学的情報は、特徴量抽出部１１８において、所定の抽出基準に基づいて特徴量の次元数を抽出により調節される（Ｓ１１６）。そして、抽出された特徴量に基づいて、分類が未知の未知ベクトルが生成される（Ｓ１１８）。
【０１１１】
そして、この未知ベクトルを、設定された分類基準にあてはめることにより、未知ベクトルの分類予測が判定される（Ｓ１２０）。その後、判定された分類予測は、出力部１１６により出力されて（Ｓ１２２）、一連の動作が終了する。
【０１１２】
以下、生物学的情報処理装置１００の作用効果について説明する。
生物学的情報処理装置１００によれば、生物学的情報を３以上のクラスに分類する際に、本発明者の開発したマルチマージンサポートベクトルマシンを用いて、２以上の互いに平行な分離面により入力空間を３以上のクラスにそれぞれ対応する３以上の領域に分離することにより、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができる。
【０１１３】
すなわち、本発明者の開発したマルチマージンサポートベクトルマシン（ＭＭ−ＳＶＭ）は、２以上の互いに平行な分離面を入力空間内に生成することにより、入力空間を３以上の領域に分離するため、既存のサポートベクトルマシンに発生しやすかった「過学習」または「過剰適合」のリスクを低減することができる。このような「過学習」または「過剰適合」のリスクを低減することができることは、実験的に検証されている。
【０１１４】
そして、一般に、生物学的情報は、（薬剤耐性、疾病度、生存率などの）順序付きのデータが多いため、それらの各種の生物学的情報を総合して、医師、歯科医師、看護師、臨床検査技師、臨床受託会社の技術者、生物学分野の研究者などにより、状況に応じて個別具体的に判断される分類も、低、中、高などのように、やはり順序付きのデータとなることが多い。このため、本発明者の開発したマルチマージンサポートベクトルマシンのように、２以上の互いに平行な分離面を生成すれば、順序付きのデータを適切に分類できる。
【０１１５】
くわえて、本発明者の開発したマルチマージンサポートベクトルマシンは、種々の工夫により高い識別性能を有するため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の識別性を向上できる。そのため、生物学的情報処理装置１００によれば、生物学的情報を３以上のクラスに分類する際における分類基準の妥当性を向上できる。したがって、生物学的情報を３以上のクラスに分類する際における予測の妥当性を向上できる。
【０１１６】
また、本発明者の開発したマルチマージンサポートベクトルマシンは、図１８に示すように、単一のスコア関数に対する２以上のバイアスにより２以上の分離面が規定される。そのため、この単一のスコア関数のスコアが順序付き医療観測データにおける一種の評価指標としての役割を担うことができる。すなわち、同じクラスに属するベクトルであっても、スコア関数に対して概念的に直角な投射を行った場合の写像のスコア関数の値に応じて、順序付き医療観測データにおける一種の順序付けを行うことができる。
【０１１７】
さらに、生物学的情報処理装置１００によれば、本発明者の開発したマルチマージンサポートベクトルマシンは、２以上の互いに平行な分離面のうち、マージン幅が最小である分離面のマージン幅を最大化するため、なるべく余裕を持って入力ベクトルまたは特徴ベクトルを分離することになるため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の識別性および汎化性を向上できる。
【０１１８】
また、生物学的情報処理装置１００によれば、本発明者の開発したマルチマージンサポートベクトルマシンは、分離面を、マージン幅の中央に位置するように配置するため、サポートベクトルマシンは、分離面を一意に決定することができるため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の汎化性を向上できる。
【０１１９】
より具体的には、生物学的情報処理装置１００によれば、２以上の互いに平行な分離面は、次式  ｂ＝ｗＴｘ  （この式で、ｘは入力ベクトルまたは特徴ベクトルであり、ｗはパラメータベクトルであり、ｂはバイアスであり、Ｔは転置を示す算術記号である）で表されるスコア関数により規定され、ｗは、前記２以上の分離面で同一であるパラメータベクトルであり、ｂは、前記２以上の分離面で互いに異なる値をとるバイアスであってもよいため、ｂ＝ｗＴｘで表される２以上の分離面は、互いに平行となり、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができるので、生物学的情報を３以上のクラスに分類する際における予測または分類基準の妥当性を向上できる。
【０１２０】
そして、生物学的情報処理装置１００によれば、サポートベクトルマシンは、ソフトマージン法により拡張されたサポートベクトルマシンであってもよいため、入力ベクトルまたは特徴ベクトルを線形分離することが困難な場合にも、ソフトマージン法により線形分離することが可能になるため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の汎化性を向上できる。
【０１２１】
＜実施形態２＞
本実施形態は、基本的には、実施形態１をカーネルトリック法により拡張した変形例であり、特に言及する場合を除いて、実施形態１の場合と同様の構成であるものとする。まず、本実施形態の意義について理解してもらうために、以下カーネルトリック法の概要について、説明する。
【０１２２】
本発明者の開発したマルチマージンサポートベクトルマシンなどの学習機械を用いて、訓練サンプル（入力ベクトルの集合）の学習を行う際には、上述のようにソフトマージン法を用いることで、線形分離可能でない場合に対しても線形しきい素子（分離面）のパラメータを用いることができるようになる。
【０１２３】
しかし、ソフトマージン法を用いても、本質的に非線形で複雑な入力ベクトルの集合に対しては、必ずしも良い性能のマルチマージンサポートベクトルマシンを構成できるとは限らない。本質的に非線形な入力ベクトルの集合に対応するための方法として、後述する図２０に示すように、入力ベクトルを非線形変換して、それぞれ対応する特徴ベクトルを生成し、その空間で線形の識別を行う「カーネルトリック」と呼ばれている方法を用いることができる。この方法を用いることにより、マルチマージンサポートベクトルマシンの性能を飛躍的に向上することができる。
【０１２４】
一般に、線形分離可能性は、サンプル数が大きくなればなるほど難しくなり、逆に、特徴ベクトルの次元が入力ベクトルのサンプル数よりも大きいなら、どんな分類パターンに対しても線形分離可能である。しかし、非線形で複雑な入力ベクトルの集合を線形分離可能にするためには、入力ベクトルのサンプル数と同程度の大きな次元に写像しなければならないので、結果的に膨大な計算量が必要になってしまう。
【０１２５】
このとき、半正定置性カーネル関数という関数を用いて上述の計算を行えば、高次元に写像しながら、実際には写像された空間での特徴ベクトルの計算を避けて、カーネルの計算のみで最適な識別関数を構成することができる。このようなテクニックのことを「カーネルトリック」と呼ぶこととする。
【０１２６】
図１９は、生物情報処理装置の備える分類基準生成部１０６の構成の概要を示した機能ブロック図である。本実施形態の生物情報処理装置の全体構成については、実施形態１の場合と同様であるため、説明を省略する。尚、図１９以降の図面において、実施形態１と同様な構成要素には同様の符号を付し、適宜説明を省略する。
【０１２７】
分類基準生成部１０６では、入力ベクトルを変換して特徴ベクトルを生成する変換部３０２が設けられている。変換部３０２は、入力ベクトル記憶部２０８から入力ベクトルを取得して、非線形変換して特徴ベクトルを生成する。生成された特徴ベクトルは、特徴ベクトル記憶部３０４に格納され、分離部２１４に送られる。また、分類記憶部２１２からは、分離部２１４に個々の特徴ベクトルに対応する既知の分類が送られる。
【０１２８】
すなわち、変換部３０２は、入力空間内の複数の入力ベクトルを非線形写像により変換することにより、複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、入力空間よりも高次限な特徴空間内に生成する。なお、この非線形変換については、詳しくは図２２〜図２５で後述する。
【０１２９】
分離部２１４は、後述する図２０に示すように、取得した分類既知の特徴ベクトルに基づいて、例えば、本発明者の開発したマルチマージンサポートベクトルマシンなどの学習機械を用いて、特徴ベクトルの分類を予測するための２以上の互いに平行な分離面を特徴空間内に生成する。
【０１３０】
生成された分離面は、分離面記憶部２１６に格納され、そのまま分類基準出力部２１８に送られて、分類基準生成部１０６の外部にある分類基準記憶部１０８に出力されて格納される。
【０１３１】
図２０は、分類基準生成部でのカーネルトリックの動作を説明するための概念図である。図２０では、２次元空間内での分類問題におけるカーネルトリックを示している。左の２次元の入力空間内の入力ベクトルの集合を、（ｘ１２，２１／２ｘ１ｘ２，ｘ２２）を特徴として用いて非線形写像を行うと、右の３次元の特徴空間内の特徴ベクトルの集合では、線形の平面で２つのクラスを識別できるようになる。これは、入力空間内で楕円形の識別面を構成していることに対応する。
【０１３２】
図２１は、変換部および分離部の構成の詳細を示した機能ブロック図である。変換部３０２では、入力ベクトル取得部５０２が、入力ベクトル記憶部２０８から入力ベクトルを取得し、非線形変換部５０４に送る。非線形変換部５０４は、入力空間中の入力ベクトルを非線形写像により変換して、より高次元の特徴空間中の特徴ベクトルに変換する。生成された特徴ベクトルは、特徴ベクトル出力部５０６により変換部３０２の外部の特徴ベクトル記憶部２０８に出力され、格納される。
【０１３３】
分離部２１４では、特徴ベクトル取得部７０２が、特徴ベクトル記憶部２０８から特徴ベクトルを取得し、サポートベクトルマシン６０６に送る。また、分類取得部６０４が、その特徴ベクトルに対応する既知の分類を分類記憶部２１２から取得し、サポートベクトルマシン６０６に送る。サポートベクトルマシン６０６は、実施形態１での場合と同様にして、本発明者の開発したマルチマージンサポートベクトルマシンを用いて、特徴空間内の特徴ベクトルの集合を３以上のクラスに線形分離する、２以上の互いに平行な分離面を生成する。生成された分離面は、分離面出力部６０８により、分離部２１４の外部の分離面記憶部２１６に出力されて格納される。
【０１３４】
図２２は、本発明者の開発したマルチマージンサポートベクトルマシンの拡張に用いるカーネル関数の一例を示した概念図である。カーネルトリックを用いて非線形に拡張した、本発明者の開発したマルチマージンサポートベクトルマシンでは、マージン最小の分離面における「マージン最大化」という基準から自動的に分離面付近の少数の特徴ベクトルに対応するカーネル（カーネル特徴）のみが選択され、最適な識別関数（分離面）が構成される。
【０１３５】
このとき、本発明者の開発したマルチマージンサポートベクトルマシンの拡張に適したカーネル関数としては、半正定置性を満たすカーネル関数を用いることができる。半正定置性を満たすカーネル関数を用いて、入力ベクトルを特徴ベクトルに変換した場合の計算をする（カーネルトリックを行う）ことにより、計算が容易になることにくわえて、カーネルでの計算結果を一意的にカーネルをはずした場合の計算結果に対応させることができるからである。
【０１３６】
半正定置性を満たすカーネル関数としては、例えば、図２２に示すように、線形カーネル関数、多項式カーネル関数、ＲＢＦカーネル関数などが好適に挙げられる。なお、半正定置性の定義を図２１に示す。この定義を満たすカーネル関数であれば、原理的には、これらの関数に限らず、どのようなカーネル関数を用いても良い。
【０１３７】
図２３は、本発明者の開発したマルチマージンサポートベクトルマシンの拡張に用いるカーネル関数による学習法の数理表現の一例を示した概念図である。計算方法の詳細な説明については、省略するが、図２２に示した、カーネル関数による学習算法、カーネル関数によるスコア関数、行列、ベクトルに関する記法、経験写像、添え字集合、カーネル行列、クラスラベル行列、クラスラベル行列の部分行列の数式を用いて、公知の計算方法を用いて、本発明者の開発したマルチマージンサポートベクトルマシンをカーネルトリックにより拡張することができる。
【０１３８】
図２４は、本発明者の開発したマルチマージンサポートベクトルマシンの拡張に用いるカーネル関数による学習法において、ソフトマージン化を行う場合のバイアスの計算方法に用いる数理表現の一例を示した概念図である。このように、本発明者の開発したマルチマージンサポートベクトルマシンは、カーネルトリックにより拡張した上で、さらにソフトマージン化により弛緩させることができる。
【０１３９】
ソフトマージン化についての説明は、実施形態１で行ったために繰り返さない。このとき、スラック変数であるξ＋およびξ−の復元、バイアスの計算法は、図２３で示した数式を用いることにより、当業者であれば、公知の計算方法を用いて実行可能である。
【０１４０】
図２５は、本発明者の開発したマルチマージンサポートベクトルマシンをカーネルトリックにより拡張した場合における、生物学的情報処理装置の動作について説明するためのフローチャートである。まず、生物学的情報処理装置１００の動作がスタートすると、既知情報取得部１０２により、３クラス以上に分類済みの既知の生物学的情報を外部から取得される（Ｓ２０２）。
【０１４１】
次いで、取得された分類が既知の生物学的情報は、特徴量抽出部１１８において、所定の抽出基準に基づいて特徴量の次元数を抽出により調節される（Ｓ２０４）。そして、特徴量が抽出された分類が既知の生物学的情報から、入力ベクトル生成部２０６にて入力ベクトルが入力空間内に生成される（Ｓ２０６）。
【０１４２】
続いて、生成された入力空間内の入力ベクトルは、変換部３０２により、非線形変換されて高次の特徴空間内の特徴ベクトルが生成される（Ｓ２０８）。その後、生成された特徴ベクトルの集合および特徴ベクトルのそれぞれに対応する分類に基づいて、分離部２１４により、２以上の互いに平行な分離面が特徴空間内に生成される（Ｓ２１０）。
【０１４３】
次いで、成された分離面に基づいて、分類基準生成部２１８により、後述する未知ベクトルを分類予測するための分類基準が設定される（Ｓ２１２）。設定された分類基準は、分類基準出力部２１８により出力される（Ｓ２１４）。
【０１４４】
その後、未知情報取得部１１０により、分類が未知の生物学的情報が外部から取得される（Ｓ２１６）。次に、取得された分類が未知の生物学的情報は、特徴量抽出部１１８により、所定の抽出基準に基づいて特徴量の次元数を抽出される（Ｓ２１８）。そして、抽出された特徴量に基づいて、分類が未知の未知ベクトルが生成される（Ｓ２２０）。
【０１４５】
続いて、分類予測判定部１１２により、この分類が未知の入力ベクトルは、非線形写像により変換され、変換未知ベクトルが生成する（Ｓ２２２）。そして、分類予測判定部１１２により、変換未知ベクトルが設定された分類基準にあてはめられることにより、変換未知ベクトルの分類予測が判定される（Ｓ２２４）。その後、判定された分類予測は、出力部１１６により出力されて（Ｓ２２６）、一連の動作が終了する。
【０１４６】
以下、本発明者の開発したマルチマージンサポートベクトルマシンをカーネルトリックにより拡張した場合における、生物学的情報処理装置１００の特有の作用効果について説明する。特に言及しない作用効果については、実施形態１の場合と同様である。
【０１４７】
本発明者の開発したマルチマージンサポートベクトルマシンをカーネルトリックにより拡張した場合には、生物学的情報を３以上のクラスに分類する際に、複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、入力空間よりも高次限な特徴空間内に生成した上で、２以上の互いに平行な分離面により特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離することにより、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができる。
【０１４８】
このとき、未知ベクトルを非線形写像により変形して、特徴空間内に変換未知ベクトルを生成することにより、「過学習」または「過剰適合」を回避しつつ、高い識別性を有する分離面により、特徴空間内で変換未知ベクトルの分類予測を判定することができ、生物学的情報を３以上のクラスに分類する際における予測の妥当性を向上できる。
【０１４９】
このとき、本発明者の開発したマルチマージンサポートベクトルマシンをカーネルトリックにより拡張した場合には、入力ベクトルが本質的に非線形な入力ベクトルの集合であったとしても、入力ベクトルを非線形変換して、それぞれ対応する特徴ベクトルを生成し、その空間で線形の識別を行う「カーネルトリック」と呼ばれている方法を用いることができる。この方法を用いることにより、特徴ベクトルの次元を入力ベクトルのサンプル数よりも大きくすれば、どんな分類パターンに対しても線形分離可能となる。よって、この方法を用いることにより、マルチマージンサポートベクトルマシンの性能を飛躍的に向上することができる。
【０１５０】
また、本発明者の開発したマルチマージンサポートベクトルマシンをカーネルトリックにより拡張した場合には、変換部は、半正定置性を満たすカーネル関数を用いて、入力ベクトルを特徴ベクトルに変換した場合の計算をするため、高次元に写像しながら、実際には写像された空間での特徴ベクトルの計算を避けて、カーネルの計算のみで最適な識別関数を構成することができる。そのため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の汎化性を向上できる。
【０１５１】
さらに、本発明者の開発したマルチマージンサポートベクトルマシンをカーネルトリックにより拡張した場合には、線形カーネル関数、多項式カーネル関数およびＲＢＦカーネル関数よりなる群から選ばれる１種以上のカーネル関数は、いずれも半正定置性を満たすカーネル関数であるため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の汎化性を向上できる。
【０１５２】
＜実施形態２の変形例＞
図２６は、実施形態２の変形例に用いる分類基準生成部の構成の詳細を示した機能ブロック図である。この変形例は、基本的には実施形態２の場合と同様であり、特に言及する場合を除いて、同様の構成を有するものとする。
【０１５３】
この変形例では、実施形態２の場合と異なり、分離部２１４にて、本発明者の開発したマルチマージンサポートベクトルマシンにより生成された特徴空間内の分離面は、分離面記憶部２１６に格納され、逆変換部４０２に送られる。
【０１５４】
そして、逆変換部４０２では、上述の非線形写像による変換の逆変換により、特徴空間内の２以上の互いに平行な線形の分離面が、入力空間内の２以上の非線形な分離面に逆変換される。すなわち、分離部２１４により生成された２以上の分離面を上述の非線形写像により逆変換することにより、入力空間を３以上の領域に分離する２以上の分離面を入力空間内に生成する。
【０１５５】
こうして逆変換された分離面は、逆変換済分離面記憶部４０８に格納され、分類基準出力部２１８に送られて、分類基準生成部１０６の外部にある分類基準記憶部１０８に出力されて格納される。
【０１５６】
図２７は、実施形態２の変形例に係る生物学的情報処理装置の動作について説明するためのフローチャートである。この変形例では、まず、生物学的情報処理装置１００の動作がスタートすると、既知情報取得部１０２により、３クラス以上に分類済みの既知の生物学的情報を外部から取得される（Ｓ３０２）。
【０１５７】
次いで、取得された分類が既知の生物学的情報は、特徴量抽出部１１８において、所定の抽出基準に基づいて特徴量の次元数を抽出により調節される（Ｓ３０４）。そして、特徴量が抽出された分類が既知の生物学的情報から、入力ベクトル生成部２０６にて入力ベクトルが入力空間内に生成される（Ｓ３０６）。
【０１５８】
続いて、生成された入力空間内の入力ベクトルは、変換部３０２により、非線形変換されて高次の特徴空間内の特徴ベクトルが生成される（Ｓ３０８）。その後、生成された特徴ベクトルの集合および特徴ベクトルのそれぞれに対応する分類に基づいて、分離部２１４により、２以上の互いに平行な分離面が特徴空間内に生成される（Ｓ３１０）。
【０１５９】
その後、生成された特徴空間内の分離面を、逆変換部４０２により上述の非線形写像を用いて逆変換して、入力空間内に逆変換済分離面を生成する（Ｓ３１２）。そして、生成された逆変換済分離面に基づいて、分類基準生成部１０６により、後述する未知ベクトルを分類予測するための分類基準が設定される（Ｓ３１４）。次いで、生成された分類基準は、出力部１１６により出力される（Ｓ３１６）。
【０１６０】
さらに、未知情報取得部１１０により、分類が未知の生物学的情報が外部から取得される（Ｓ３１８）。次に、取得された分類が未知の生物学的情報は、特徴量抽出部１１８により、所定の抽出基準に基づいて特徴量の次元数を抽出される（Ｓ３２０）。そして、抽出された特徴量に基づいて、分類が未知の未知ベクトルが生成される（Ｓ３２２）。
【０１６１】
続いて、分類予測判定部１１２により、未知ベクトルが設定された分類基準にあてはめられることにより、未知ベクトルの分類予測が判定される（Ｓ３２４）。その後、判定された分類予測は、出力部１１６により出力されて（Ｓ３２６）、一連の動作が終了する。
【０１６２】
以下、この変形例における、生物学的情報処理装置１００の特有の作用効果について説明する。特に言及しない作用効果については、実施形態２の場合と同様である。
【０１６３】
本発明者の開発したマルチマージンサポートベクトルマシンをカーネルトリックにより拡張した場合には、生物学的情報を３以上のクラスに分類する際に、複数の入力ベクトルにそれぞれ対応する複数の特徴ベクトルを、入力空間よりも高次限な特徴空間内に生成した上で、２以上の互いに平行な分離面により特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離することにより、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができる。
【０１６４】
そして、こうして得られた特徴空間内の分離面を、上述の非線形写像により逆変換することにより、入力空間内にも非線形の分離面を生成することができる。このため、入力空間内で未知ベクトルの「過学習」または「過剰適合」を回避しつつ、高い識別性の分類予測判定を行うことができ、生物学的情報を３以上のクラスに分類する際における予測の妥当性を向上できる。
【０１６５】
＜まとめ＞
図２８は、これまで説明してきた実施形態に係る生物学的情報処理装置を用いた順序付き医療観察データの分類予測システムの概要について説明するための概念図である。上述の実施形態１および２に係る生物学的情報処理装置は、図２８に示すように、順序つき医療観測データの分類予測システムとして好適に用いることができる。
【０１６６】
例えば、入力データ（既知）を、患者Ａ、Ｂ・・・それぞれについて、医師、看護士、臨床検査技師などが、遺伝子発現データ、血液検査データ、問診データ、Ｘ線データ、その他などのデータを測定してまとめることにより作成する。医師は、これらの入力データを検討して、（薬剤耐性、疾病度、生存率などの）順序付医療観測データの順序について、低、中、高の３段階のいずれかの段階に分類する。
【０１６７】
こうして得られた分類既知の入力データを、本発明者の開発した新手法であるマルチマージンサポートベクトルマシンにより、計算機学習して分離基準を生成する。そして、得られた分類基準は、あらかじめ交差検定により予測率を推定しておく。
【０１６８】
そして、新患者Ｘの疾病予測をする際には、新患者Ｘについて、医師、看護士、臨床検査技師などが、遺伝子発現データ、血液検査データ、問診データ、Ｘ線データ、その他などのデータを測定してまとめることにより同様に分類未知の入力データを作成する。そして、その入力データを上記の分類基準にあてはめることにより、新患者Ｘの（薬剤耐性、疾病度、生存率などの）順序付医療観測データの順序について、低、中、高の３段階のいずれかの段階に段階判定する。
【０１６９】
このシステムによれば、生物学的情報を３以上のクラスに分類する際に、本発明者の開発したマルチマージンサポートベクトルマシンを用いているため、２以上の互いに平行な分離面により入力空間を３以上のクラスにそれぞれ対応する３以上の領域に分離することにより、「過学習」または「過剰適合」を回避しつつ、高い識別性を実現することができる。
【０１７０】
そして、一般に、生物学的情報は、（薬剤耐性、疾病度、生存率などの）順序付きのデータが多いため、それらの各種の生物学的情報を総合して、医師、歯科医師、看護師、臨床検査技師、臨床受託会社の技術者、生物学分野の研究者などにより、状況に応じて個別具体的に判断される分類も、低、中、高などのように、やはり順序付きのデータとなることが多い。このため、本発明者の開発したマルチマージンサポートベクトルマシンのように、２以上の互いに平行な分離面を生成すれば、順序付きのデータを適切に分類できる。
【０１７１】
よって、このシステムによれば、新患者Ｘの（薬剤耐性、疾病度、生存率などの）順序付医療観測データの順序について、低、中、高の３段階のいずれかの段階に段階判定する際に、「過学習」または「過剰適合」を抑制して、信頼性の高い段階判定をすることができるようになる。
【０１７２】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【実施例】
【０１７３】
図２９は、実施例に係る生物学的情報処理装置の信頼性を確認するための交差検定による予測率の例を示す図である。本実施例では、実施形態２に係る生物学的情報処理装置１００を用いて、４４ヒト癌由来培養細胞での抗がん剤耐性予測を行った。入力データとしては、図２５の表に示すように、細胞ごとの抗がん剤耐性の実験結果の研究者による評価が、低、中、高の３つのクラスに既に分類されている入力データを用いた。入力データに当所含まれている特徴量は、数千種類のゲノム上の遺伝子発現データであった。
【０１７４】
これらの４４個の入力データのうち４３個の入力データを、所定の基準（ｔ検定による特徴パラメータおよび相関係数による特徴パラメータ）により特徴量抽出して、上位数個の特徴量を抽出して入力データから入力ベクトルを生成した。そして、入力ベクトルを非線形写像により特徴ベクトルに変換して、本発明者の開発したマルチマージンサポートベクトルマシンをＲＢＦカーネル関数により拡張して、さらにソフトマージン法により弛緩した上で、実施形態２で説明した計算を行った。その結果、特徴空間を３つに分離する、２つの互いに平行な分離面が得られた。得られた分離面から、分離基準を設定した。そして、これらの４４個の入力データのうち残り１個の入力データを、分離基準に当てはめて、得られた分類予測判定結果が妥当であるか検討した。
【０１７５】
このようにして、分離基準の予測率を測定するために、４４細胞のうち４３細胞を学習として、１細胞を予測することを４４回繰り返した。そして、ｔ検定による特徴パラメータおよび相関係数による特徴パラメータを入力ベクトルとして用いた分類予測判定結果を、図２９で表としてまとめた。図２９で示すように、ｔ検定法による特徴量での予測率は、９３．２％（４１／４４）であった。また、実際の耐性量を使用したピアソン相関係数法による特徴量での予測率は、９３．２２％（４１／４４）であった。
【０１７６】
上述の交差検定の結果、実施形態２に係る生物学的情報処理装置１００を用いて、４４ヒト癌由来培養細胞での抗がん剤耐性予測を行ったところ、この生物学的情報処理装置の分類基準は妥当性が高く、この分類基準を用いた分類予測結果の妥当性も高いことが実験的に明らかとなった。
【０１７７】
以上、本発明を実施例に基づいて説明した。この実施例はあくまで例示であり、種々の変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【産業上の利用可能性】
【０１７８】
以上のように、本発明にかかる生物学的情報処理装置は、２以上の互いに平行な分離面により入力空間または特徴空間を３以上のクラスにそれぞれ対応する３以上の領域に分離するため、生物学的情報を３以上のクラスに分類する際における予測または分類基準の妥当性を向上できるという効果を有し、生物学的情報処理装置、生物学的情報処理方法および生物学的情報処理プログラム等として有用である。
【図面の簡単な説明】
【０１７９】
【図１】実施形態１に係る生物学的情報処理装置の構成の概要を示した機能ブロック図である。
【図２】実施形態１に係る生物学的情報処理装置の動作を説明するための概念図である。
【図３】既存のサポートベクトルマシンと、実施形態１に用いるマルチマージンサポートベクトルマシンとの機能の違いを説明するための概念図である。
【図４】実施形態１に用いる分類基準生成部の構成の詳細を示した機能ブロック図である。
【図５】実施形態１に用いる分離部の構成の詳細を示した機能ブロック図である。
【図６】既存のサポートベクトルマシンと、実施形態１に用いるマルチマージンサポートベクトルマシンとの学習方法の違いを説明するための概念図である。
【図７】既存のサポートベクトルマシンと、実施形態１に用いるマルチマージンサポートベクトルマシンとの学習法の数式の違いを説明するための概念図である。
【図８】既存のサポートベクトルマシンと、実施形態１に用いるマルチマージンサポートベクトルマシンとの学習法の数式の違いを説明するための概念図である。
【図９】既存のサポートベクトルマシンと、実施形態１に用いるマルチマージンサポートベクトルマシンとの学習法の数式の違いを説明するための概念図である。
【図１０】実施形態１に用いるマルチマージンサポートベクトルマシンにおいて、最適バイアスが不定になるという課題について説明するための概念図である。
【図１１】実施形態１に用いるマルチマージンサポートベクトルマシンにおいて、バイアスを中央に位置づけることについて説明するための概念図である。
【図１２】実施形態１に用いるサポートベクトルマシンの構成の詳細を示した機能ブロック図である。
【図１３】実施形態１に用いるサポートベクトルマシンにより線形分離が不可能な場合について説明するための概念図である。
【図１４】実施形態１に用いるサポートベクトルマシンをソフトマージン化により弛緩する場合について説明するための概念図である。
【図１５】実施形態１に用いるサポートベクトルマシンをソフトマージン化により弛緩する場合の学習法について説明するための概念図である。
【図１６】実施形態１に用いるサポートベクトルマシンをソフトマージン化により弛緩する場合の学習法の解法について説明するための概念図である。
【図１７】実施形態１に係る生物学的情報処理装置の動作について説明するためのフローチャートである。
【図１８】実施形態１に係る生物学的情報処理装置の作用効果について説明するための概念図である。
【図１９】実施形態２に用いる分類基準生成部の構成の詳細を示した機能ブロック図である。
【図２０】実施形態２に用いる分類基準生成部でのカーネルトリックの動作を説明するための概念図である。
【図２１】実施形態２に用いる変換部および分離部の構成の詳細を示した機能ブロック図である。
【図２２】実施形態２に用いるカーネル関数の一例を示した概念図である。
【図２３】実施形態２に用いるカーネル関数による学習法の数理表現の一例を示した概念図である。
【図２４】実施形態２に用いるカーネル関数による学習法においてソフトマージン化を行う場合のバイアスの計算方法に用いる数理表現の一例を示した概念図である。
【図２５】実施形態２に係る生物学的情報処理装置の動作について説明するためのフローチャートである。
【図２６】実施形態２の変形例に用いる分類基準生成部の構成の詳細を示した機能ブロック図である。
【図２７】実施形態２の変形例に係る生物学的情報処理装置の動作について説明するためのフローチャートである。
【図２８】実施形態１および２に係る生物学的情報処理装置を用いた順序付き医療観察データの分類予測システムの概要について説明するための概念図である。
【図２９】実施例に係る生物学的情報処理装置の信頼性を確認するための交差検定による予測率の例を示す図である。
【符号の説明】
【０１８０】
１００  生物学的情報処理装置
１０２  既知情報取得部
１０４  既知情報記憶部
１０６  分類基準生成部
１０８  分類基準記憶部
１１０  未知情報取得部
１１２  分類予測判定部
１１４  分類予測記憶部
１１６  出力部
１１８  特徴量抽出部
１２０  交差検定部
１２２  推定予測率記憶部
２０２  生物学的情報取得部
２０４  生物学的情報記憶部
２０６  入力ベクトル生成部
２０８  入力ベクトル記憶部
２１０  分類取得部
２１２  分類記憶部
２１４  分離部
２１６  分離面記憶部      
２１８  分類基準出力部
３０２  変換部
３０４  特徴ベクトル記憶部
４０２  逆変換部
４０８  逆変換済分離面記憶部
５０２  入力ベクトル取得部
５０４  非線形変換部
６０２  入力ベクトル取得部
６０４  分類取得部
６０６  サポートベクトルマシン
６０８  分離面出力部
７０２  パラメータベクトル設定部
７０４  バイアス設定部
７０６  ソフトマージン化部
【図１】
2007052507.tif 000003
【図２】
2007052507.tif 000004
【図３】
2007052507.tif 000005
【図４】
2007052507.tif 000006
【図５】
2007052507.tif 000007
【図６】
2007052507.tif 000008
【図７】
2007052507.tif 000009
【図８】
2007052507.tif 000010
【図９】
2007052507.tif 000011
【図１０】
2007052507.tif 000012
【図１１】
2007052507.tif 000013
【図１２】
2007052507.tif 000014
【図１３】
2007052507.tif 000015
【図１４】
2007052507.tif 000016
【図１５】
2007052507.tif 000017
【図１６】
2007052507.tif 000018
【図１７】
2007052507.tif 000019
【図１８】
2007052507.tif 000020
【図１９】
2007052507.tif 000021
【図２０】
2007052507.tif 000022
【図２１】
2007052507.tif 000023
【図２２】
2007052507.tif 000024
【図２３】
2007052507.tif 000025
【図２４】
2007052507.tif 000026
【図２５】
2007052507.tif 000027
【図２６】
2007052507.tif 000028
【図２７】
2007052507.tif 000029
【図２８】
2007052507.tif 000030
【図２９】
2007052507.tif 000031