(57)【特許請求の範囲】
【請求項１】
入力文ベクトル作成手段が、インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成するステップと、
類似度演算手段が、学習情報ベクトルの多数があらかじめ登録されている学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの類似度が高い学習情報ベクトルを抽出するステップと、
スコア演算手段が、前記抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの類似度を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出するステップと、
拡張入力文ベクトル作成手段が、前記単語のスコアを算出した後に拡張対象単語を選択し、拡張入力文ベクトルを作成するステップと、
不適切情報判断手段が、前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報であるか否か判断するステップとから成る情報自動フィルタリング方法。
【請求項２】
インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成する入力文ベクトル作成手段と、
学習情報ベクトルの多数を登録している学習情報データベースと、前記学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの類似度が高い学習情報ベクトルを抽出する類似度演算手段と、
前記類似度演算手段により抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの類似度を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出するスコア演算手段と、
前記スコア演算手段により算出された前記単語のスコアに基づき、拡張対象単語を選択して拡張入力文ベクトルを作成する拡張入力文ベクトル作成手段と、
前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報であるか否か判断し、不適切情報であればその通過を阻止する不適切情報阻止手段とを備えて成る情報自動フィルタリングシステム。
【請求項３】
インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成する処理と、
学習情報ベクトルの多数があらかじめ登録されている学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの類似度が高い学習情報ベクトルを抽出する処理と、
前記抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの類似度を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出する処理と、
前記単語のスコアを算出した後に拡張対象単語を選択し、拡張入力文ベクトルを作成する処理と、
前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報であるか否か判断する処理とを、コンピュータに実行させることを特徴とする情報自動フィルタリングプログラム。
【請求項４】
入力文ベクトル作成手段が、インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成するステップと、
類似度演算手段が、学習情報ベクトルの多数があらかじめ登録されている学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの相関係数が高い学習情報ベクトルを抽出するステップと、
スコア演算手段が、前記抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの相関係数を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出するステップと、
拡張入力文ベクトル作成手段が、前記単語のスコアを算出した後に拡張対象単語を選択し、拡張入力文ベクトルを作成するステップと、
不適切情報判断手段が、前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報であるか否かを判断するステップとから成る情報自動フィルタリング方法。
【請求項５】
インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成する入力文ベクトル作成手段と、
学習情報ベクトルの多数を登録している学習情報データベースと、前記学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの相関係数が高い学習情報ベクトルを抽出する相関係数演算手段と、
前記相関係数演算手段により抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの相関係数を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出するスコア演算手段と、
前記スコア演算手段により算出された前記単語のスコアに基づき、拡張対象単語を選択して拡張入力文ベクトルを作成する拡張入力文ベクトル作成手段と、
前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報であるか否かを判断し、不適切情報であればその通過を阻止する不適切情報阻止手段とを備えて成る情報自動フィルタリングシステム。
【請求項６】
インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成する処理と、
学習情報ベクトルの多数があらかじめ登録されている学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの相関係数が高い学習情報ベクトルを抽出する処理と、
前記抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの相関係数を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出する処理と、
前記単語のスコアを算出した後に拡張対象単語を選択し、拡張入力文ベクトルを作成する処理と、前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報である否かを判断する処理とを、コンピュータに実行させることを特徴とする情報自動フィルタリングプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報自動フィルタリング方法、情報自動フィルタリングシステム及び情報自動フィルタリングプログラムに関する。
【０００２】
【従来の技術】
インターネットの急速な広がりに伴い、ごく一般の家庭でもインターネット情報を容易に収集できるようになってきている。インターネット情報の収集が容易になってきた反面、インターネット上に氾濫しているアダルト情報、犯罪情報、有害薬物情報等の有害情報を子供を含め、一般人が容易に取得できてしまう社会的問題が発生している。
【０００３】
このような問題に対処するため、近年、「情報フィルタリング」という技術が開発されている。この情報フィルタリングとは、ユーザがインターネット上の情報にアクセスする際にその情報の有害性を自動的にチェックし、有害と判定された場合はその情報の通過を阻止し、ユーザのコンピュータのブラウザ画面に表示させない技術である。
【０００４】
このような情報自動フィルタリングを利用するフィルタリングソフトウェアでは、アクセスしたホームページの中身をチェックして、あらかじめ登録した単語が情報内に出現するか否かをチェックし、登録した単語が含まれていた場合にその情報を取込んで表示するのを阻止するものがある。
【０００５】
また、別の情報自動フィルタリングを行うフィルタリングソフトウェアには、単語に対するスコアを利用するものがある。これによれば、不適切な情報内に含まれるであろう単語及びこの単語に対するスコアをあらかじめ登録しておき、登録した単語が情報内に出現する回数をチェックし、登録した単語が含まれていた場合に単語のスコアを合計し、この合計が所定のしきい値を超えた場合に当該情報の通過を阻止する。
【０００６】
しかしながらこれらの情報自動フィルタリング手法では、不適切な情報の阻止ばかりではなく、適切な情報も阻止してしまう割合が高く、情報自動フィルタリングとしては不十分であった。
【０００７】
そこで、情報提供を阻止する必要がある不適切な情報と情報提供を阻止する必要のない適切な情報とを学習データとし、ＰＬＡ（Ｐｅｒｃｅｐｔｒｏｎ  Ｌｅａｒｎｉｎｇ  Ａｌｇｏｒｉｔｈｍ）を利用して単語の重みを自動学習してシステムに登録しておき、インターネットを介して提供される情報に含まれる単語を抽出し、抽出した単語各々に対する重みを重み付き単語リストから読み出し、各単語の重みの総和を算出し、この総和に基づいて情報の提供を阻止するか否かを判定する技術が、本願発明者らにより特願平１１−２０１９８８号により提示されている。
【０００８】
【発明が解決しようとする課題】
この提案されている単語の重みを利用した情報自動フィルタリング手法によれば、提供が不適切な情報をかなりの確率で阻止することができ、適切な情報を阻止する確率も低減させる効果が期待できる。しかしながら、いわゆるアダルト情報のようにグラフィックスが多く、文字情報が少ない有害情報に対しては十分な効力を発揮できず、この点でさらに改良が望まれていた。
【０００９】
本発明は、このような技術的課題を解決するためになされたものであって、文字情報が少ない有害情報をも精度良く判断し、通過阻止できる情報自動フィルタリング技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１の発明の情報自動フィルタリング方法は、入力文ベクトル作成手段が、インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成するステップと、類似度演算手段が、学習情報ベクトルの多数があらかじめ登録されている学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの類似度が高い学習情報ベクトルを抽出するステップと、スコア演算手段が、前記抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの類似度を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出するステップと、拡張入力文ベクトル作成手段が、前記単語のスコアを算出した後に拡張対象単語を選択し、拡張入力文ベクトルを作成するステップと、不適切情報判断手段が、前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報であるか否か判断するステップとから成るものである。
【００１１】
請求項２の発明の情報自動フィルタリングシステムは、インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成する入力文ベクトル作成手段と、学習情報ベクトルの多数を登録している学習情報データベースと、前記学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの類似度が高い学習情報ベクトルを抽出する類似度演算手段と、前記類似度演算手段により抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの類似度を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出するスコア演算手段と、前記スコア演算手段により算出された前記単語のスコアに基づき、拡張対象単語を選択して拡張入力文ベクトルを作成する拡張入力文ベクトル作成手段と、前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報であるか否か判断し、不適切情報であればその通過を阻止する不適切情報阻止手段とを備えて成るものである。
【００１２】
請求項３の発明の情報自動フィルタリングプログラムは、インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成する処理と、学習情報ベクトルの多数があらかじめ登録されている学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの類似度が高い学習情報ベクトルを抽出する処理と、前記抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの類似度を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出する処理と、前記単語のスコアを算出した後に拡張対象単語を選択し、拡張入力文ベクトルを作成する処理と、前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報であるか否か判断する処理とを、コンピュータに実行させるものである。
【００１３】
請求項４の発明の自動フィルタリング方法は、入力文ベクトル作成手段が、インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成するステップと、類似度演算手段が、学習情報ベクトルの多数があらかじめ登録されている学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの相関係数が高い学習情報ベクトルを抽出するステップと、スコア演算手段が、前記抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの相関係数を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出するステップと、拡張入力文ベクトル作成手段が、前記単語のスコアを算出した後に拡張対象単語を選択し、拡張入力文ベクトルを作成するステップと、不適切情報判断手段が、前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報であるか否かを判断するステップとから成るものである。
【００１４】
請求項５の発明の自動情報フィルタリングシステムは、インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成する入力文ベクトル作成手段と、学習情報ベクトルの多数を登録している学習情報データベースと、前記学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの相関係数が高い学習情報ベクトルを抽出する相関係数演算手段と、前記相関係数演算手段により抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの相関係数を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出するスコア演算手段と、前記スコア演算手段により算出された前記単語のスコアに基づき、拡張対象単語を選択して拡張入力文ベクトルを作成する拡張入力文ベクトル作成手段と、前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報であるか否かを判断し、不適切情報であればその通過を阻止する不適切情報阻止手段とを備えて成るものである。
【００１５】
請求項６の発明の情報自動フィルタリングプログラムは、インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とその出現頻度に基づくスコアを解析して入力文ベクトルを作成する処理と、学習情報ベクトルの多数があらかじめ登録されている学習情報データベースを前記入力文ベクトルを用いて検索し、前記入力ベクトルとの相関係数が高い学習情報ベクトルを抽出する処理と、前記抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと前記入力ベクトルの相関係数を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出する処理と、前記単語のスコアを算出した後に拡張対象単語を選択し、拡張入力文ベクトルを作成する処理と、前記拡張入力文ベクトルを用いて、前記インターネットを介して提供される情報が不適切情報である否かを判断する処理とを、コンピュータに実行させるものである。
【００１６】
本発明の情報自動フィルタリング技術によれば、インターネットを介して提供される情報から文字情報を抽出し、当該文字情報に対してそれに含まれている単語とそのスコアを解析して入力文ベクトルを作成し、学習情報ベクトルの多数があらかじめ登録されている学習情報データベースを前述の入力文ベクトルを用いて検索して前記入力ベクトルとの類似度又は相関係数が高い学習情報ベクトルを抽出し、この抽出された学習情報ベクトルの中に含まれる単語のスコアおよび該学習ベクトルと入力ベクトルの類似度又は相関係数を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出し、単語のスコアを算出した後に拡張対象単語を選択して拡張入力文ベクトルを作成する。そしてこの拡張入力文ベクトルを用いて、前述のインターネットを介して提供される情報が不適切情報であるか否かを判断し、不適切情報であればその通過を阻止する。
【００１７】
これにより、特にポルノグラフのように文字情報が少ない有害情報に対しても、精度良くその通過を阻止する。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図１は本発明の１つの実施の形態の情報自動フィルタリングシステムの機能的な構成を示している。この情報自動フィルタリングシステムは、情報自動フィルタリングプログラム２とブラウザ３とがインストールされ、インターネット１に接続された１台のコンピュータシステム上で、あるいは、ファイアウォール的にインターネット１に接続された情報自動フィルタリングプログラム２のインストールされた１台のコンピュータとこれにＬＡＮのようなネットワークで接続され、それぞれにブラウザ３がインストールされた少なくとも１台のコンピュータとで構成されるコンピュータネットワークシステム上で実現されるものである。そして、あらかじめ外部記憶装置上に後述するような学習情報データベース４が形成されており、情報自動フィルタリングプログラム２からこれにアクセスするようにしてある。
【００１９】
なお、以降、情報自動フィルタリングプログラム２は現実にはソフトウェアであるが、説明の便宜上、これがインストールされたコンピュータを情報自動フィルタリングプログラム２と称することがある。また、データベースについても、大容量記憶装置４上に構築されるものであるが、記憶装置４そのものをデータベース４と称することもある。さらに、ブラウザ３がインストールされたコンピュータについても、それをブラウザ３と称することがある。
【００２０】
本実施の形態の情報自動フィルタリングシステムにおける情報自動フィルタリングプログラム２の機能的な構成が図２に示してある。この情報自動フィルタリングプログラム２を処理機能ごとに分けて示せば、インターネット情報入力部２１、入力文ベクトル作成部２２、単語数演算部２３、類似度演算部２４、単語スコア演算部２５、拡張対象単語選択部２６、拡張入力文ベクトル作成部２７、文書スコア演算部２８、取込み判定部２９から構成され、類似度演算部２４から学習情報データベース４に登録されている学習情報ベクトル群３０にアクセスし、また、文書スコア演算部２８から学習情報データベース４に登録されている重み付き単語リスト３１にアクセスするようにしてある。
【００２１】
インターネット情報入力部２１は、ユーザがブラウザ３によりインターネット１上の任意のＵＲＬにアクセスし、そのホームページを閲覧する場合に、ホームページのＨＴＭＬ情報（以下、ＸＭＬ情報についても「ＨＴＭＬ情報」と総称する）を入力し、あるいは電子メールやニュースを入力する。以下、これらのＨＴＭＬ情報、電子メール情報、ニュース情報を含め、インターネット上で提供されるすべての情報を総称して「インターネット情報」と称する。入力文ベクトル作成部２２は、インターネット情報入力部２１が入力したインターネット情報から文字情報を抽出し、後述する方法で入力文ベクトルを作成する。
【００２２】
単語数演算部２３は、入力文ベクトルに含まれる単語数をカウントし、所定数Ｍ（例えば、Ｍ＝６）と比較し、Ｍ個以下であれば入力文拡張処理を指示し、Ｍより大きければ文書スコア演算処理を指示する。類似度演算部２４は、単語数演算部２３が入力文拡張処理が必要であると判断した場合に、入力文ベクトル作成部２２が作成した入力文ベクトルに対して学習情報ベクトル群３０内のすべての学習情報ベクトルとの類似度を演算し、類似度の高い学習情報ベクトルを抽出する。
【００２３】
単語スコア演算部２５は、類似度演算部２４が抽出した学習情報ベクトル各々の中に含まれる単語のスコアおよび該学習ベクトルと入力ベクトルの類似度を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出する。拡張対象単語選択部２６は、単語スコア演算部２５により算出した各単語のスコアに基づき、拡張対象単語を選択する。そして拡張入力文ベクトル作成部２７は、拡張対象単語選択部２６が選択した単語を元の入力文ベクトルに加えることにより入力文拡張を行い、その拡張入力文ベクトルを出力する。
【００２４】
文書スコア演算部２８は、入力文ベクトルの単語数がＭより大きい場合にはその入力文ベクトルを用いて、入力文ベクトルの単語数がＭ以下の場合には拡張入力文ベクトルを用いて、重み付き単語リスト３１を参照し、前述の特願平１１‐２０１９８８号で提示された処理により入力文のスコアを算出し、その算出されたスコアについてしきい値と比較し、適切情報（ＧＯＯＤ）／不適切情報（ＢＡＤ）の判定を行う（詳しい処理は後述する）。
【００２５】
取込み判定部２９は、取得しようとしているインターネット情報に対して、文書スコア演算部２８が不適切情報（ＢＡＤ）であると判断している場合にはそのブラウザ３への入力をカットし、適切情報（ＧＯＯＤ）であると判断している場合にはブラウザ３にその情報を取得させる。
【００２６】
ブラウザ３は、インターネット１上の任意のＵＲＬにアクセスし、そのホームページのＨＴＭＬ情報をダウンロードし、ディスプレイに表示し、必要な場合にはユーザの指示によりプリントアウトする一般的なインターネットホームページ閲覧ソフトである。なお、このブラウザ３は、ホームページの閲覧のみならず、インターネット１上で提供される他の形式のインターネット情報、電子メール情報やニュース情報にもアクセスし、取り込むことができるものとする。
【００２７】
次に、上記の実施の形態の情報自動フィルタリングシステムによる情報自動フィルタリング動作について、図３及び図４のフローチャートを用いて説明する。
【００２８】
図３のフローチャートに示すように、ユーザはブラウザ３により、インターネット１に接続して任意のＵＲＬにアクセスすると、情報自動フィルタリングプログラム２におけるインターネット情報入力部２１がそのＵＲＬで提供されるインターネット情報を受信する（ステップＳ１）。
【００２９】
インターネット情報入力部２１によりインターネット情報が入力されると、入力文ベクトル作成部２２が、入力されたインターネット情報に対して、それに含まれる文字情報を抽出し（ステップＳ２）、さらに抽出した文字情報から所定の単語（例えば、日本語文であれば形態素解析により名詞や動詞、英文であれば名詞、動詞の原形や語幹。ただし、本情報自動フィルタリングシステムに登録されている単語は全体で、ｗ1 〜ｗn のｎ個である）ごとにその出現頻度に基づいて求めたスコアｑi （ｉ＝１〜ｎ：ｎは本システムに登録されている単語辞書に含まれる単語数。したがって、単語によってはスコアｑi ＝０となるものも含まれる）を持つベクトルＱの入力文ベクトルを作成する（ステップＳ３）。
【００３０】
なお、予め学習情報データベース４には学習情報ベクトル群Ｄが登録されている。しかもこれらの学習情報ベクトル群Ｄは、上述した入力文ベクトルと同様の学習情報ベクトルｄm （ｍ＝１〜Ｎ）を要素とする集合である。そして学習情報ベクトルｄm は、上記の入力文ベクトルＱと同様に、それに含まれている所定の単語ごとの出現頻度等に基づいて求めたスコアｄmj（ｊ＝１〜ｎ）を持っている。
【００３１】
なお、このスコアｄmjの演算手法としては、一般的にはＴＦ＊ＩＤＦによるものが知られている。このＴＦ＊ＩＤＦとは、（Term Frequency * Inversed Document Frequency）のことで、単語の出現頻度に出現文書頻度の逆数をかけ算したものである。単純に単語の出現頻度だけに注目した場合、それほど重要な意味のない単語、「例えば、英語であれば（the）のような単語」が重要視されてしまうので、出現頻度ＴＦにさらにＩＤＦを掛けることによってより少ない文書に現れる単語の重要度を高めることができるからである。さらに、このＴＦ＊ＩＤＦに対して、次のような対数を用いた式を採用することもできる。
【００３２】
【数１】
0003844193.tif 000002
ここで、ＴＦ（ｊ）は単語ｗj の出現頻度、ＤＦ（ｊ）は単語ｗj が出現した文書の数、Ｋは登録全文書数である。
【００３３】
入力文ベクトル作成部２２により、入力されたインターネット情報から入力文ベクトルＱが作成されると、この入力文ベクトルＱは、単語数演算部２３に渡され、それに含まれている単語数が所定値Ｍより大きいか小さいか判断される（ステップＳ４）。そして単語数がＭ以下である場合には類似度演算部２４に渡され、Ｍより大きければ直接に文書スコア演算部２８に渡される。
【００３４】
類似度演算部２４に渡されると、以後、類似度演算部２４〜拡張入力文ベクトル作成部２７によりステップＳ５の入力文拡張処理が実施される。この入力文拡張処理の詳しいフローチャートは、図４に示してある。
【００３５】
類似度演算部２４では、ステップＳ１０１で入力文ベクトルＱが与えられると、ステップＳ１０２において、学習情報ベクトル群Ｄ内のすべての学習情報ベクトルｄm （ｍ＝１〜Ｎ）との類似度Ｓｉｍを演算する。この類似度演算を次のようにして行われる。
【００３６】
【数２】
0003844193.tif 000003
この数２式を数学的に説明すると、ベクトルＱとベクトルｄとの角度θの余弦（ｃｏｓθ）である。したがって、ベクトル方向が完全に一致する場合にθ＝０であり、類似度＝１となる。
【００３７】
類似度演算部２４は、学習情報ベクトル群Ｄ中のすべての学習情報ベクトルｄm （ｍ＝１〜Ｎ）各々に対して入力文ベクトルＱとの余弦を計算し、それを類似度Ｓｉｍ（Ｑ，ｄ）として求める。類似度演算部２４はさらに、入力文ベクトルＱとの類似度が高い上位ｋ件の学習情報ベクトルｄs1〜ｄskを抽出し、これを類似情報ベクトル群Ｄsim とする（ステップＳ１０３）。
【００３８】
続いて単語スコア演算部２５が、元の入力文ベクトルＱにおける１番目の単語ｗ1 〜ｎ番目の単語ｗn についてのスコアｑ1 〜ｑn を調べ、ｉ番目の単語ｗi に対するスコアｑi がゼロでない場合にはそのスコアを当該ｉ番目の単語に対するスコアｑ’i （＝ｑi ）とし（ステップＳ１０６）、スコアｑi がゼロの場合（つまり、元の入力文ベクトルＱにはｉ番目の単語ｗi が含まれていない場合）には、次の数３式により当該ｉ番目の単語ｗi に対するスコアを算出し、拡張後の入力文ベクトルＱnew に対するｉ番目の単語ｗi に対するスコアｑ’i とする（ステップＳ１０７）。つまり協調フィルタリングの原理を適用してシステムに登録されているすべての単語について、元の入力文ベクトルＱを拡張するために新たにスコアを求めるのである（ステップＳ１０４〜Ｓ１０９）。
【００３９】
【数３】
0003844193.tif 000004
ここで、ｑバーは元の入力文ベクトルＱにおけるスコアがゼロ以外の単語についてのスコアの平均値を示す。同様にｄj バーは類似情報ベクトル群Ｄsim 内の類似情報ベクトルｄsjにおけるスコアがゼロ以外の単語についてのスコアの平均値を示す。これらにおいて、例えば、スコアがゼロ以外の単語の数が１００個あり、それら１００個の単語のスコアの合計が１５００であれば、スコアの平均値は１５００／１００＝１５とするのである。
【００４０】
数３式においてさらに、スカラーｄjiは類似情報ベクトルｄj におけるｉ番目の単語ｗi のスコアである。またさらに、係数κは正規化のための係数であり、κ×ΣSim（Ｑ，ｄ）＝１になるように設定される。
【００４１】
このようにして、元の入力文ベクトルＱの要素中のスコアがゼロ、つまりこの検索式には含まれていない単語であっても、元の入力文ベクトルＱに対する類似度が高い学習情報ベクトルｄs1〜ｄsk中には含まれており、その類似情報ベクトル中でのスコアが高い単語については拡張対象単語とするのである。
【００４２】
拡張対象単語選択部２６は、システムに登録されているすべての単語ｗj について、元の入力文ベクトルＱに関連して得られたスコアｑ’j の高いものから所定個数、例えば５個あるいは１０個の単語を選択して元の入力文ベクトルＱに含まれている単語に追加する。そして拡張入力文ベクトル作成部２７が拡張後入力文ベクトルＱnew を作成する（ステップＳ１１０，Ｓ１１１）。
【００４３】
例えば、元の入力文ベクトルＱに含まれていた単語（したがって、スコアが０ではない単語）がＡ（１０），Ｂ（５），Ｃ（６），Ｄ（１５）であったとする。だたし、カッコ内の数字はスコアを示している。そして、類似情報ベクトル群Ｄsim 中の類似情報ベクトルｄj に対する入力文拡張処理で新たに単語Ｅ（１１），Ｆ（９），Ｇ（７）が得られたとする。この場合、元の入力文ベクトルＱは、
【数４】
0003844193.tif 000005
となるが、拡張入力文ベクトルＱnew は次のようになる。
【００４４】
【数５】
0003844193.tif 000006
次に、図３のフローチャートにおけるステップＳ６，Ｓ７において、文書スコア演算部２８が、入力文ベクトルＱ（単語数＞所定値Ｍの場合）又は上記の処理で得られた拡張入力文ベクトルＱnew （単語数≦所定値Ｍの場合）を用いて、データベース４中の重み付き単語リスト３１を参照して、取得しようとしている情報が適切情報（ＧＯＯＤ）であるか不適切情報（ＢＡＤ）であるかを判断する。
【００４５】
この処理について詳しく説明すると、次の通りである。入力文ベクトルＱ又は拡張入力文ベクトルＱnew に含まれている各単語について、重み付き単語リスト３１に登録されている単語と照合し、入力文ベクトル中に含まれている単語とその出現頻度を求める。また、同時に出現した単語の重みｗも重み付き単語リスト３１から求める。そして求めた単語ごとの重みｗと出現頻度から、入力文ベクトルＱ又はＱnew に含まれているすべての単語に対する重みｗの総和を算出し、この総和を所定のしきい値と比較し、総和がしきい値よりも大きい場合には不適切情報（ＢＡＤ）と判定し、総和がしきい値よりも小さい場合には適切情報（ＧＯＯＤ）と判定し、この判定結果ＧＯＯＤ／ＢＡＤを取込み判定部２９に出力する。
【００４６】
具体的に説明する。重み付き単語リスト３１には次の表１に示すような単語リストが登録されているとする。この重み付き単語リストは自動学習により取得されるものであり、その自動学習の方法は特願平１１−２０１９８８号に提示された方法による。
【００４７】
【表１】
0003844193.tif 000007
表１に例示してある重み付き単語リスト３１では、あらかじめ入力された学習データから「画像」の重みｗは１０．９、「サンプル」の重みｗは１８．７、「事故」の重みｗは−１６．６、「女子高生」の重みｗは８２．２、「バス」の重みｗは−１０１．９、「北海道」の重みｗは−１１２．５、「無料」の重みｗは−６．３である。
【００４８】
いま、取得しようとしているインターネット情報中の文字情報が、「女子高生の乗ったバスが北海道で事故」であった場合、各単語の重みの総和を求めると、８２．２−１０１．９−１１２．５−１６．６＝−１４８．８となる。また、取得しようとしているインターネット情報中の文字情報が、「女子高生のサンプル画像、無料」であった場合、各単語の重みの総和は、８２．２＋１８．７＋１０．９−６．３＝１０５．５となる。そこでしきい値を０とすると、「女子高生の乗ったバスが北海道で事故」という表現はしきい値を下回るので、適切情報（ＧＯＯＤ）と判定されるが、「女子高生のサンプル画像、無料」という表現はしきい値を上回るので、不適切情報（ＢＡＤ）と判定する。
【００４９】
取込み判定部２９は、文書スコア演算部２８の判定結果ＧＯＯＤ／ＢＡＤを受けて、インターネット情報入力部２１が保持し、情報自動フィルタリング処理にかけられていた元のインターネット情報をブラウザ３に渡すか（ＧＯＯＤの場合：ステップＳ８）、カットとする（ＢＡＤの場合：ステップＳ９）。
【００５０】
これにより、第１の実施の形態の情報自動フィルタリングシステムによれば、ユーザが不適切情報を提供するＵＲＬにアクセスし、取り込もうとしている情報中の文字情報が少ない場合であれば、システム側で自動的に入力文拡張処理を行い、入力されたインターネット情報に基づく入力文ベクトルＱよりも拡張された入力文ベクトルＱnew により取り込もうとしているインターネット情報が不適切情報であると判断し、自動的にその取込み、表示を阻止するのである。したがって、ポルノグラフ情報のように画像情報が多く、文字情報が少ないために従来であれば十分に取込み阻止ができなかった有害情報に対しても精度良く阻止することができる。
【００５１】
次に、本発明の第２の実施の形態の情報自動フィルタリングシステムについて説明する。第２の実施の形態は、基本的な作用効果については第１の実施の形態と同様であるが、第１の実施の形態で用いた入力文拡張処理において類似度の代わりに、相関係数を用いる点に特徴がある。したがって、本実施の形態の情報自動フィルタリングシステムの機能的な構成は、図１に示した第１の実施の形態と共通であるが、図５に示すように、情報自動フィルタリングプログラム２の処理機能のうち類似度演算部２４に代わって相関係数演算部２４０が用いられ、また図３のフローチャートにおけるステップＳ５の入力文拡張処理が、図６のフローチャートに示すように変更される。これについて、以下に説明する。
【００５２】
本実施の形態における情報自動フィルタリングプログラム２は、図５に示すようにインターネット情報を取込むインターネット情報入力部２１、入力文ベクトルを作成する入力文ベクトル作成部２２、単語数演算部２３、相関係数演算部２４０、単語スコア演算部２５０、拡張対象単語選択部２６、拡張入力文ベクトル作成部２７、文書スコア演算部２８、取込み判定部２９から構成される。これらのうちインターネット情報入力部２１、入力文ベクトル作成部２２、単語数演算部２３、拡張対象単語選択部２６、拡張入力文ベクトル作成部２７、文書スコア演算部２８、取込み判定部２９は、図２に示した第１の実施の形態と同様である。
【００５３】
そして本実施の形態の特徴部分である相関係数演算部２４０は、入力文ベクトルＱに対して、学習情報ベクトル群Ｄに含まれるすべての学習情報ベクトル各々と後述する相関係数を演算し、相関係数が上位ｋの学習情報ベクトルを抽出し、これを単語スコア演算部２５０に出力する。また単語スコア演算部２５０は、相関係数演算部２４０が抽出した文書各々の中に含まれる単語のスコアおよび該学習ベクトルと入力ベクトルの相関係数を利用し、拡張後の入力文ベクトルに対する各単語のスコアを算出する。
【００５４】
以下、図６に示すフローチャートを用いて、第２の実施の形態の情報自動フィルタリングシステムの入力文拡張処理について説明する。まず、入力文ベクトル作成部２２により作成された入力文ベクトルＱをステップＳ１０１において取込み、ステップＳ１０２′において、相関係数演算部２４０が、入力文ベクトルＱと学習情報ベクトル群Ｄ内のすべての学習情報ベクトルｄm （ｍ＝１〜Ｎ）との相関係数Ｃｏｒを演算する。この相関係数Ｃｏｒの演算は次のようにして行う。
【００５５】
【数６】
0003844193.tif 000008
ここで、ｑバーは入力文ベクトルＱにおけるスコアが０以外の値を持つ単語ごとのスコアの平均値を示し、また、ｄm バーは学習情報ベクトルｄm におけるスコアがゼロ以外の値を持つ単語ごとのスコアの平均値を示している。そして、スカラーｑj は入力文ベクトルＱ内のｊ（ｊ＝１〜ｎ）番目の単語のスコアであり、スカラーｄmjは学習情報ベクトルｄm 内のｊ（ｊ＝１〜ｎ）番目の単語のスコアである。
【００５６】
相関係数演算部２４０はさらに、入力文ベクトルＱとの相関係数が高い上位ｋ件の学習情報ベクトルｄc1〜ｄckを抽出し、これを学習情報ベクトル群ＤCor とする（ステップＳ１０３′）。
【００５７】
続いて単語スコア演算部２５０が、元の入力文ベクトルＱにおける１番目〜ｎ番目の単語各々についてのスコアｑ1 〜ｑn を調べ、ｉ番目の単語に対するスコアｑi がゼロでない場合にはそのスコアを当該ｉ番目の単語に対するスコアｑ’i （＝ｑi ）とし（ステップＳ１０６）、スコアｑi がゼロの場合には、次の数７式により当該ｉ番目の単語に対するスコアを算出し、拡張後の入力文ベクトルＱnew に対するｉ番目の単語に対するスコアとする（ステップＳ１０７′）。つまり、ここでも協調フィルタリングの原理を適用してシステムに登録されているすべての単語について、元の入力文ベクトルＱを拡張するために新たにスコアを求めるのである（ステップＳ１０４〜Ｓ１０９）。
【００５８】
【数７】
0003844193.tif 000009
ここで、ｑバーは元の入力文ベクトルＱにおけるスコアがゼロ以外の単語についてのスコアの平均値を示す。同様にｄj バーは学習情報ベクトル群Ｄcor 内の学習情報ベクトルｄcjにおけるスコアがゼロ以外の単語についてのスコアの平均値を示し、スカラーｄjiは学習情報ベクトルｄcjにおけるｉ番目の単語のスコアを示す。数７式においてさらに、係数κは正規化のための係数であり、κ×ΣCor（Ｑ，ｄ）＝１になるように設定される。
【００５９】
このようにして、元の入力文ベクトルＱの要素中のスコアがゼロ、つまりこの入力文ベクトルには含まれていない単語であっても、元の入力文ベクトルに対する相関係数が高い学習情報ベクトルｄc1〜ｄck中には含まれており、その類似文書中でのスコアが高い単語については拡張対象単語とするのである。
【００６０】
拡張対象単語選択部２６は、第１の実施の形態と同様に、システムに登録されているすべての単語ｗ1 〜ｗn について、元の入力文ベクトルＱに関連して得られたスコアｑ’j の高いものから所定個数の単語を選択して元の入力文ベクトルＱに含まれている単語に追加する。そして拡張入力文ベクトル作成部２７が拡張後入力文ベクトルＱnew を作成する（ステップＳ１１０，Ｓ１１１）。
【００６１】
続いて、第１の実施の形態と同様に図３のフローチャートにおけるステップＳ６，Ｓ７において、入力文ベクトルＱ（単語数＞所定値Ｍの場合）又は上記の処理で得られた拡張入力文ベクトルＱnew （単語数≦所定値Ｍの場合）を用いて、データベース４中の重み付き単語リスト３１を参照して、取得しようとしている情報が適切情報（ＧＯＯＤ）であるか不適切情報（ＢＡＤ）であるかを判断する。
【００６２】
取込み判定部２９は、文書スコア演算部２８の判定結果ＧＯＯＤ／ＢＡＤを受けて、インターネット情報入力部２１が保持し、情報自動フィルタリング処理にかけられていた元のインターネット情報をブラウザ３に渡すか（ＧＯＯＤの場合：ステップＳ８）、カットとする（ＢＡＤの場合：ステップＳ９）。
【００６３】
これにより、第２の実施の形態の情報自動フィルタリングシステムによっても、ユーザが不適切情報を提供するＵＲＬにアクセスし、取り込もうとしている情報中の文字情報が少ない場合であれば、システム側で自動的に入力文拡張処理を行い、入力されたインターネット情報に基づく入力文ベクトルＱよりも拡張された入力文ベクトルＱnew により取り込もうとしているインターネット情報が不適切情報であると判断し、自動的にその取込み、表示を阻止するのである。したがって、ポルノグラフ情報のように画像情報が多く、文字情報が少ないために従来であれば十分に取込み阻止ができなかった有害情報に対しても精度良く阻止することができる。
【００６４】
なお、上記の両実施の形態において、各式で用いる係数その他の数値は例示したものであり、特に限定されるものではなく、システムにより変更され得るものであり、またこれらをユーザが設定・変更操作することもできる。
【００６５】
さらに、上記の両実施の形態では情報自動フィルタリングシステムについて説明したが、本発明は当該システムに搭載される情報自動フィルタリングプログラムをも技術的範囲とし、また当該情報自動フィルタリングプログラムのインストールされたコンピュータシステムが実行する情報自動フィルタリング方法をも技術的範囲とするものである。
【００６６】
【発明の効果】
本発明によれば、入力文拡張において協調フィルタリング手法を利用し、ユーザが不適切情報を提供するＵＲＬにアクセスし、取り込もうとしている情報中の文字情報が少ない場合であれば、システム側で自動的に入力文拡張処理を行い、入力されたインターネット情報に基づく入力文ベクトルよりも拡張された入力文ベクトルにより取り込もうとしているインターネット情報が不適切情報であると判断し、自動的にその取込みを阻止することができ、ポルノグラフ情報のように画像情報が多く、文字情報が少ないために従来であれば十分に取込み阻止ができなかった有害情報に対しても精度良く阻止することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の情報自動フィルタリングシステムの機能的な構成を示すブロック図。
【図２】第１の実施の形態における情報自動フィルタリングプログラムの詳しい処理機能の構成を示すブロック図。
【図３】第１の実施の形態による情報自動フィルタリング処理のフローチャート。
【図４】第１の実施の形態による情報自動フィルタリング処理中の入力文拡張処理の詳しいフローチャート。
【図５】本発明の第２の実施の形態における情報自動フィルタリングプログラムの詳しい処理機能の構成を示すブロック図。
【図６】第２の実施の形態による情報自動フィルタリング処理中の入力文拡張処理の詳しいフローチャート。
【符号の説明】
１  インターネット
２  情報自動フィルタリングプログラム
３  ブラウザ
４  学習情報データベース
２１  インターネット情報入力部
２２  入力文ベクトル作成部
２３  単語数演算部
２４  類似度演算部
２５  単語スコア演算部
２６  拡張対象単語選択部
２７  拡張入力文ベクトル作成部
２８  文書スコア演算部
２９  取込み判定部
３０  学習情報ベクトル群
３１  重み付き単語リスト
２４０  相関係数演算部
２５０  単語スコア演算部
【図１】
0003844193.tif 000010
【図２】
0003844193.tif 000011
【図３】
0003844193.tif 000012
【図４】
0003844193.tif 000013
【図５】
0003844193.tif 000014
【図６】
0003844193.tif 000015