(57)【特許請求の範囲】
【請求項１】
解析の対象となる対象データを入力する対象データ入力部と、
前記対象データの注目部分を示す注目部分データを入力する注目部分データ入力部と、
前記対象データと前記注目部分データのそれぞれを検索キーとして、予め蓄積された参考データ群に対して検索を行うデータ検索部と、
前記対象データによる検索結果と前記注目部分データによる検索結果とに基づいて、前記対象データにおける前記注目部分データの重要度を判定する重要度判定部と
を備えたことを特徴とするデータ解析装置。
【請求項２】
解析の対象となる対象データを入力する対象データ入力部と、
前記対象データの注目部分を示す注目部分データを入力する注目部分データ入力部と、
前記対象データと前記注目部分データと前記対象データにおける前記注目部分以外のデータのそれぞれを検索キーとして、予め蓄積された参考データ群に対して検索を行うデータ検索部と、
前記対象データによる検索結果と前記注目部分データによる検索結果と前記対象データにおける前記注目部分以外のデータの検索結果とに基づいて、前記対象データにおける前記注目部分データの重要度を判定する重要度判定部と
を備えたことを特徴とするデータ解析装置。
【請求項３】
前記重要度判定部は、前記対象データに基づく検索結果のデータ群と、前記注目部分データに基づく検索結果のデータ群との集合としての重なり度合いから重要度を判定する
ことを特徴とする請求項１に記載のデータ解析装置。
【請求項４】
前記重要度判定部は、前記対象データに基づく検索結果のデータ群と前記注目部分データに基づく検索結果のデータ群との集合としての重なり度合いから、前記対象データに基づく検索結果のデータ群と前記対象データにおける前記注目部分以外のデータに基づく検索結果のデータ群との集合としての重なり度合いを減算することで重要度を判定する
ことを特徴とする請求項２に記載のデータ解析装置。
【請求項５】
前記重要度判定部は、前記対象データに基づく検索結果をデータ群Ａ、前記注目部分データに基づく検索結果をデータ群Ｂとして、
重要度  ＝  Ｄｉｃｅ（データ群Ａ，データ群Ｂ）
＝  ２  ×  （データ群Ａとデータ群Ｂの共通要素数）
÷  （データ群Ａの要素数  ＋  データ群Ｂの要素数）
により重要度を計算する
ことを特徴とする請求項３に記載のデータ解析装置。
【請求項６】
前記重要度判定部は、前記対象データに基づく検索結果をデータ群Ａ、前記注目部分データに基づく検索結果をデータ群Ｂ、前記対象データにおける前記注目部分以外のデータに基づく検索結果のデータ群Ｃとして、
重要度  ＝  Ｄｉｃｅ（データ群Ａ，データ群Ｂ）  −  Ｄｉｃｅ（データ群Ａ，データ群Ｃ）
＝  ２  ×  （データ群Ａとデータ群Ｂの共通要素数）
÷（データ群Ａの要素数  ＋  データ群Ｂの要素数）
−  ２  ×  （データ群Ａとデータ群Ｃの共通要素数）
÷（データ群Ａの要素数  ＋  データ群Ｃの要素数）
により重要度を計算する
ことを特徴とする請求項４に記載のデータ解析装置。
【請求項７】
解析の対象となる対象データを入力し、
前記対象データの注目部分を示す注目部分データを入力し、
前記対象データと前記注目部分データのそれぞれを検索キーとして、予め蓄積された参考データ群に対して検索を行い、
前記対象データによる検索結果と前記注目部分データによる検索結果とに基づいて、前記対象データにおける前記注目部分データの重要度を判定する、
処理をコンピュータが実行することを特徴とするデータ解析方法。
【請求項８】
解析の対象となる対象データを入力し、
前記対象データの注目部分を示す注目部分データを入力し、
前記対象データと前記注目部分データと前記対象データにおける前記注目部分以外のデータのそれぞれを検索キーとして、予め蓄積された参考データ群に対して検索を行い、
前記対象データによる検索結果と前記注目部分データによる検索結果と前記対象データにおける前記注目部分以外のデータの検索結果とに基づいて、前記対象データにおける前記注目部分データの重要度を判定する、
処理をコンピュータが実行することを特徴とするデータ解析方法。
【請求項９】
解析の対象となる対象データを入力し、
前記対象データの注目部分を示す注目部分データを入力し、
前記対象データと前記注目部分データのそれぞれを検索キーとして、予め蓄積された参考データ群に対して検索を行い、
前記対象データによる検索結果と前記注目部分データによる検索結果とに基づいて、前記対象データにおける前記注目部分データの重要度を判定する、
処理をコンピュータに実行させることを特徴とするデータ解析プログラム。
【請求項１０】
解析の対象となる対象データを入力し、
前記対象データの注目部分を示す注目部分データを入力し、
前記対象データと前記注目部分データと前記対象データにおける前記注目部分以外のデータのそれぞれを検索キーとして、予め蓄積された参考データ群に対して検索を行い、
前記対象データによる検索結果と前記注目部分データによる検索結果と前記対象データにおける前記注目部分以外のデータの検索結果とに基づいて、前記対象データにおける前記注目部分データの重要度を判定する、
処理をコンピュータに実行させることを特徴とするデータ解析プログラム。
【請求項１１】
請求項９または１０に記載のデータ解析プログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ解析装置、データ解析方法、データ解析プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
データの注目部分の重要度を判定（計算）する技術は、様々な用途に用いられる。ここで、データとは、テキストデータや画像データなど、データ間の関連性や類似性が定義できるデータ一般を指す。例えば、テキストデータであれば、共通する単語数などでテキストデータ間の類似性を定義することができる。
【０００３】
データの注目部分の重要度の用途として、データ検索、分類、要約などがある。データ検索や分類では、類似部分の重要度に着目することで、実際には類似しないものを類似すると判定してしまうことを避けることができる。要約では、重要度の低い部分を削除することで、重要度の高い部分を残し、意味のある要約を作成することができる。
【０００４】
従来におけるデータ中の注目部分の重要度を計算する手法としては、次のようなものがあった。例えば、固有名詞を含むかどうかで重要度を判定する手法（特許文献１等）、構文解析（係り受け解析）を用いて重要度を判定する手法（特許文献２等）、パタンなど予め設定した規則を用いて重要度を判定する手法（特許文献３等）があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、データ中の注目部分の重要度を判定する手法が種々存在するが、それぞれ次のような問題があった。すなわち、固有名詞を含むかどうかで重要度を判定する手法では、固有名詞を含まないケースに対しては適用することができず、一般性を確保することができない。また、構文解析を用いて重要度を判定する手法では、それらの前提とする技術の性能が対象によっては低下し、安定した処理を行うことができず、頑健性（多様な対象や未知の対象に対して安定した性能を保持すること）を確保することができない。また、パタンなど予め設定した規則を用いて重要度を判定する手法では、パタンや規則を人手で整備する必要があるため、実現のために膨大なコストが必要となり、コスト性（コスト増大を抑制すること）を確保することができない。
【０００６】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、データ中の注目部分の重要度を判定するにあたり、一般性、頑健性およびコスト性を確保することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明にあっては、解析の対象となる対象データを入力する対象データ入力部と、前記対象データの注目部分を示す注目部分データを入力する注目部分データ入力部と、前記対象データと前記注目部分データのそれぞれを検索キーとして、予め蓄積された参考データ群に対して検索を行うデータ検索部と、前記対象データによる検索結果と前記注目部分データによる検索結果とに基づいて、前記対象データにおける前記注目部分データの重要度を判定する重要度判定部とを備える。
【発明の効果】
【０００８】
本発明にあっては、データ中の注目部分の重要度を判定するにあたり、一般性、頑健性およびコスト性を確保することができる。
【図面の簡単な説明】
【０００９】
【図１】一実施形態にかかるデータ解析装置の機能構成例を示す図である。
【図２】データ解析装置のハードウェア構成例を示す図である。
【図３】回答文の対と共通語の例を示す図である。
【図４】実施形態の処理例を示すフローチャート（その１）である。
【図５】対象データおよび特徴部分データの例を示す図である。
【図６】データ群Ａ、Ｂの例を示す図である。
【図７】重要度の計算例を示す図（その１）である。
【図８】実施形態の処理例を示すフローチャート（その２）である。
【図９】注目部分以外とデータ群Ｃの例を示す図である。
【図１０】重要度の計算例を示す図（その２）である。
【発明を実施するための形態】
【００１０】
以下、本発明の好適な実施形態につき説明する。なお、データとしてテキストデータを例に説明するが、画像データ等の他の形式のデータであってもよいことはいうまでもない。データ間の関連性や類似性が定義できるデータ一般に本発明を適用することができる。
【００１１】
＜構成＞
図１は本発明の一実施形態にかかるデータ解析装置１の機能構成例を示す図である。図１において、データ解析装置１は、データ記憶部１０と対象データ入力部１１と注目部分データ入力部１２とデータ群取得部１３とデータ検索部１４と重要度判定部１５とを備えている。データ記憶部１０には、予めＷｅｂサイト（WikipediaやImageNet等）等から無作為あるいは所定の目的をもって収集した参考データ群が記憶されている。参考データ群は、例えば、複数（多数）の文書（テキストデータ）である。なお、データ解析装置１内にデータ記憶部１０の参考データ群を蓄積せず、外部のデータベースに蓄積された参考データ群を参照するようにしてもよい。
【００１２】
対象データ入力部１１は、重要度を判定する注目部分を含む解析の対象となるデータ（対象データ）を入力し、内部的に記憶する機能を有している。注目部分データ入力部１２は、注目部分のデータ（注目部分データ）を入力し、内部的に記憶する機能を有している。データ群取得部１３は、対象データと注目部分データとに基づき、データ検索部１４によりそれぞれ検索を行って２つのデータ群Ａ、Ｂを取得し、内部的に記憶する機能を有している。データ検索部１４は、データ群取得部１３からの要求に基づき、対象データと注目部分データのそれぞれに基づいてデータ記憶部１０の参考データ群の検索を行い、検索結果（データ群Ａ、Ｂ）を応答する機能を有している。重要度判定部１５は、データ群取得部１３により取得したデータ群Ａ、Ｂから、対象データにおける注目部分データの重要度を判定（計算）して出力する機能を有している。
【００１３】
図２はデータ解析装置１のハードウェア構成例を示す図であり、一般的なコンピュータ（情報処理装置）の構成を有している。図２において、データ解析装置１は、バス１０７を介して相互に接続されたＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３を備えている。また、データ解析装置１は、ＨＤＤ（Hard Disk Drive）／ＳＳＤ（Solid State Drive）１０４、接続Ｉ／Ｆ（Interface）１０５、通信Ｉ／Ｆ１０６を備えている。ＣＰＵ１０１は、ＲＡＭ１０３をワークエリアとしてＲＯＭ１０２またはＨＤＤ／ＳＳＤ１０４等に格納されたプログラムを実行することで、データ解析装置１の動作を統括的に制御する。接続Ｉ／Ｆ１０５は、データ解析装置１に接続される機器とのインタフェースである。通信Ｉ／Ｆ１０６は、ネットワークを介して他の情報処理装置と通信を行うためのインタフェースである。
【００１４】
図１で説明したデータ解析装置１の機能は、ＣＰＵ１０１において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。処理に際して参照・更新されるデータは、一時的にはＲＡＭ１０３に記憶され、永続的にはＨＤＤ／ＳＳＤ１０４に記憶される。
【００１５】
＜重要度の意義＞
一つの応用例として、インターネット上の質問応答サイト（Ｑ＆Ａサイト）において、ある１つの質問に対し複数の回答があった場合に、それらの回答が類似した内容であるか否かを自動的に判断するケースについて述べる。これにより、なるべくバラエティに富んだ回答リストを自動的に得ることができる。
【００１６】
ここでは、回答（テキストデータ）は１つの文（回答文）で構成されており、よって、２つの回答文がどの程度に類似しているかを数値で求めるものとする。また、類似性は２つの回答文で共通に現れるワードやフレーズ（共通語と呼ぶ）に基づいて定めるものとする。この場合、共通語の有無や数だけでは、２つの回答文が類似性を精度よく判定できない例を以下に示す。
【００１７】
図３は回答文の対と共通語の例を示す図である。図３（ａ）において、
回答文＃１：神戸は最近非常に人気があります。
回答文＃２：最近、小倉は非常に人気です。
とすると、"最近"、"非常に"、"人気"の３語が共通語として存在することがわかる。しかし、回答文＃１、＃２が類似しているとは言えない。その理由は、回答文の重要な部分である"神戸"や"小倉"が異なるためである。
【００１８】
一方、図３（ｂ）において、
回答文＃３：神戸は最近非常に人気があります。
回答文＃４：神戸はとても人気です。
とすると、"神戸"、"人気"の２語が共通語として存在することがわかる。この例では、共通語は２語のみであるが、回答文＃３、＃４は類似していると言える。その理由は、回答文の重要な部分である"神戸"が共通しており、その他の部分の"最近"や"とても"などは共通していなくても、類似性の判断にあまり影響を与えない（回答において重要ではない）ためである。
【００１９】
従って、単に共通語の有無や数からは２つの回答文の類似を判断することはできず、それぞれの回答文における共通語の重要度を判断した上で、重要度の高い共通語に基づいて類似性を判断する必要がある。
【００２０】
以下では、１つの回答文を対象とし、その回答文に含まれる共通語を注目部分として、対象における注目部分の重要度を判定（計算）する場合の処理（動作）について説明する。
【００２１】
＜動作＞
図４は上記の実施形態の処理例を示すフローチャートである。図４において、データ解析装置１が処理を開始すると、対象データ入力部１１は、対象データを入力して内部的に記憶する（ステップＳ１１）。図５の上段は対象データの例を示している。前述した図３（ａ）の回答文＃１に対応している。
【００２２】
次いで、図４に戻り、注目部分データ入力部１２は、注目部分データを入力して内部的に記憶する（ステップＳ１２）。図５の下段は注目部分データの例を示している。前述した図３（ａ）の回答文＃１、＃２の共通語に対応している。
【００２３】
次いで、図４に戻り、データ群取得部１３は、データ検索部１４により、対象データをキーとしてデータ記憶部１０の参考データ群を検索し、検索結果をデータ群Ａとして内部的に記憶する（ステップＳ１３）。ここで、検索には一般的な検索技術を用いることを想定しており、キーとなるテキストを単語に分割し、それらの単語がなるべく多く出現する文書を検索する。例えば、キーとなる対象データの「神戸は最近非常に人気があります。」の場合、"神戸"、"最近"、"非常に"、"人気"に分割し、それらの単語がなるべく多く出現する文書を検索する。図６の上段はデータ群Ａの例を示しており、ここでは文書１、２、３、４、５の５文書が検索されたものとしている。データ群Ａの実際上のデータ表現は、上述したような文書番号を列記してもよいし、あるいは各文書に対応するテキストデータ（文書本文）そのものでもかまわず、要するにデータとして互いに異同が区別できる表現であればよい。
【００２４】
次いで、図４に戻り、データ群取得部１３は、データ検索部１４により、注目部分をキー（注目部分が複数の場合はスペース等により接続した一体のテキスト）としてデータ記憶部１０の参考データ群を検索し、検索結果をデータ群Ｂとして内部的に記憶する（ステップＳ１４）。ここでも、検索には一般的な検索技術を用いることを想定しており、キーとなるテキストを単語に分割し、それらの単語がなるべく多く出現する文書を検索する。例えば、キーとなる注目部分データをまとめた「最近  非常に  人気」の場合、"最近"、"非常に"、"人気"に分割し、それらの単語がなるべく多く出現する文書を検索する。図６の下段はデータ群Ｂの例を示しており、ここでは文書２、４、６、７、８の５文書が検索されたものとしている。データ群Ｂの実際上のデータ表現は、上述したような文書番号を列記してもよいし、あるいは各文書に対応するテキストデータ（文書本文）そのものでもかまわず、要するにデータとして互いに異同が区別できる表現であればよい。
【００２５】
なお、データ群Ａの取得に続いてデータ群Ｂの取得を行っているが、順序を逆にしてもよいし、処理的に可能であるならば、非同期に並行して行ってもよい。
【００２６】
次いで、図４に戻り、重要度判定部１５は、データ群Ａ、Ｂに基づいて重要度を計算し出力する（ステップＳ１５）。図７は重要度の計算例を示しており、データ群Ａとデータ群Ｂの集合としての重なり度合いを０〜１を値域とする数値として表現するもので、Ｄｉｃｅ係数として知られているものである。すなわち、データ群Ａとデータ群Ｂの重なる部分は本体に含まれる部分も注目部分（共通語）も参考データ群で使用されていることを示し、その比率が高いことが注目部分の重要度が高いことを示すといえる。
【００２７】
重要度の計算式としては、上述した例の他にも、データ検索部１４で取得可能な検索結果の内容に応じて、様々なものを用いることができる。例えば、データ検索部１４から検索結果として、検索スコア付のデータＩＤの集合を取得できる場合、上述した重要度の計算式において、要素数の代わりに検索スコアで重み付けした要素数を用いることで、重要度をより正確に求めることができる。また、検索スコアの代わりに、検索スコア順にソートしたときの順位を用いて要素数を重み付けしても、同様の効果が得られる。
【００２８】
次に、図８は実施形態の他の処理例を示すフローチャートであり、注目部分以外をキーにした検索結果のデータ群Ｃを重要度の計算に用いた例である。なお、機能構成としては、図１に示したデータ群取得部１３に、注目部分データ入力部１２により入力した注目部分データの注目部分以外の部分のデータに基づき、データ検索部１４により検索を行ってデータ群Ｃを取得し、内部的に記憶する機能が追加される。また、重要度判定部１５の機能が、データ群Ａ、Ｂ、Ｃから対象データにおける注目部分データの重要度を判定（計算）して出力する機能に変更される。
【００２９】
図８において、ステップＳ２１〜Ｓ２４は図４のステップＳ１１〜Ｓ１４と同様であるため、具体例を含めて説明を省略する。
【００３０】
次いで、図８において、データ群取得部１３は、データ検索部１４により、注目部分以外の部分のデータをキーとしてデータ記憶部１０の参考データ群を検索し、検索結果をデータ群Ｃとして内部的に記憶する（ステップＳ２５）。ここでも、検索には一般的な検索技術を用いることを想定しており、キーとなるテキストを単語に分割し、それらの単語がなるべく多く出現する文書を検索する。図９の上段は注目部分以外の部分の例を示しており、この例の語句をまとめた「神戸  があります」のキーについて、"神戸"、"があります"に分割し、それらの単語がなるべく多く出現する文書を検索する。図９の下段はデータ群Ｃの例を示しており、ここでは文書１、３、５、９、１０の５文書が検索されたものとしている。データ群Ｃの実際上のデータ表現は、上述したような文書番号を列記してもよいし、あるいは各文書に対応するテキストデータ（文書本文）そのものでもかまわず、要するにデータとして互いに異同が区別できる表現であればよい。
【００３１】
なお、データ群Ａ、データ群Ｂ、データ群Ｃの順に取得を行っているが、順序は任意にしてよいし、処理的に可能であるならば、非同期に並行して行ってもよい。
【００３２】
次いで、図８に戻り、重要度判定部１５は、データ群Ａ、Ｂ、Ｃに基づいて重要度を計算し出力する（ステップＳ２６）。図１０は重要度の計算例を示しており、図７に示した重要度からデータ群Ａとデータ群Ｃの集合としての重なり度合いを減算している。その結果、重要度は−１〜＋１の値域を持つ。すなわち、データ群Ａとデータ群Ｃの重なる部分は対象に含まれる部分も注目部分以外の部分も参考データ群で使用されていることを示し、その重なり度合いをデータ群Ａとデータ群Ｂの重なり度合いから減算することで、注目部分の重要度をより正確に評価できる。
【００３３】
なお、上述した例のように２つのＤｉｃｅ係数を減算するのではなく、これら２つを説明変数とする回帰分析により、目的変数の予測値として重要度を得てもよい。
【００３４】
＜総括＞
以上説明したように、本実施形態によれば、データ中の注目部分の重要度を判定するにあたり、一般性、頑健性およびコスト性を確保することができる。
【００３５】
すなわち、多種多様なデータを記憶して検索対象にすることで、固有名詞に限られることなく、一般性を確保することができる。例えばWikipediaやImageNetなど、膨大な数の多種多様な内容のデータを用いることで、従来に比べて、より一般性（カバレッジ）のある重要度計算が可能になる。
【００３６】
また、データ検索という確立された技術を前提とすることで頑健性を確保することができる。データ検索技術は、インターネット検索や企業内検索エンジンに代表されるように、実用に耐えうる頑健性をもった技術として確立しており、そのような頑健性がある技術に基づくことで、同じレベルの頑健性を得ることができる。
【００３７】
また、既存データを加工することなく利用することで、人手によるデータ加工が必要な技術に比べて実現に要するコストを抑えることができ、コスト性を確保することができる。
【００３８】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【００３９】
１        データ解析装置
１０      データ記憶部
１１      対象データ入力部
１２      注目部分データ入力部
１３      データ群取得部
１４      データ検索部
１５      重要度判定部
【先行技術文献】
【特許文献】
【００４０】
【特許文献１】特開２００４−２０６６５４号公報
【特許文献２】特開２００１−１８４３５２号公報
【特許文献３】特開２０１０−１３４７６６号公報
【図１】
0006747040.tif 000002
【図２】
0006747040.tif 000003
【図３】
0006747040.tif 000004
【図４】
0006747040.tif 000005
【図５】
0006747040.tif 000006
【図６】
0006747040.tif 000007
【図７】
0006747040.tif 000008
【図８】
0006747040.tif 000009
【図９】
0006747040.tif 000010
【図１０】
0006747040.tif 000011