(57)【要約】      （修正有）【課題】ウェブアドレス識別の範囲を広げる方法及び装置を提供する。【解決手段】被識別ウェブアドレスを取得するステップと、予め設定された規則に従って前記被識別ウェブアドレスに分割処理を行って、分割後の各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換するステップと、前記被識別ウェブアドレスに対応するタイプ識別子シーケンスに基づいて、前記被識別ウェブアドレスが非スパムウェブアドレスである確率を決定するステップと、前記確率に基づいて、ウェブアドレス識別情報を生成するステップと、を含む。【選択図】図２
2017123141.tif 000002
【特許請求の範囲】
【請求項１】
被識別ウェブアドレスを取得するステップと、
予め設定された規則に従って前記被識別ウェブアドレスに分割処理を行って、分割後の各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換するステップと、
前記被識別ウェブアドレスに対応するタイプ識別子シーケンスに基づいて、前記被識別ウェブアドレスが非スパムウェブアドレスである確率を決定するステップと、
前記確率に基づいて、ウェブアドレス識別情報を生成するステップと、を含むこと
を特徴とするウェブアドレス識別方法。
【請求項２】
前記の前記被識別ウェブアドレスに対応するタイプ識別子シーケンスに基づいて、前記被識別ウェブアドレスが非スパムウェブアドレスである確率を決定するステップにおいては、
前記タイプ識別子シーケンスを隠れマルコフモデルの観測シーケンスとして、前向きアルゴリズム及び予めトレーニングされた隠れマルコフモデルのパラメーターにより前記観測シーケンスに対応する確率を計算するステップと、
算出された確率を前記被識別ウェブアドレスが非スパムウェブアドレスである確率とするステップと、を含むこと
を特徴とする請求項１に記載のウェブアドレス識別方法。
【請求項３】
前記の被識別ウェブアドレスを取得する前に、
ログサーバーから非スパムウェブアドレスセットを取得するステップと、
予め設定された規則に従って前記非スパムウェブアドレスセットのうちの各ウェブアドレスに分割処理を行って、各ウェブアドレスから分割された各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換して、各ウェブアドレスに対応するタイプ識別子シーケンスを含むタイプ識別子シーケンスセットを生成するステップと、
前記タイプ識別子シーケンスセットを隠れマルコフモデルのトレーニングされるべき観測シーケンスセットとして、EMアルゴリズムにより隠れマルコフモデルのパラメーターを決定するステップと、
決定された隠れマルコフモデルのパラメーターを予めトレーニングされた隠れマルコフモデルのパラメーターとしたり、または、決定された隠れマルコフモデルのパラメーターにより予めトレーニングされた隠れマルコフモデルのパラメーターを更新したりするステップと、をさらに含むこと
を特徴とする請求項２に記載のウェブアドレス識別方法。
【請求項４】
前記EMアルゴリズムは前向き後向きアルゴリズムであること
を特徴とする請求項３に記載のウェブアドレス識別方法。
【請求項５】
前記の前記確率に基づいて、ウェブアドレス識別情報を生成するステップにおいては、
前記確率が予め設定された確率閾値より大きい場合に応答して、非スパムウェブアドレス通知情報を生成するステップを含むこと
を特徴とする請求項２に記載のウェブアドレス識別方法。
【請求項６】
前記の前記確率に基づいて、ウェブアドレス識別情報を生成するステップにおいては、
前記確率が予め設定された確率閾値より小さい場合に応答して、スパムウェブアドレス通知情報を生成するステップを含むこと
を特徴とする請求項２に記載のウェブアドレス識別方法。
【請求項７】
前記の前記確率が予め設定された確率閾値より小さい場合に応答して、スパムウェブアドレス通知情報を生成するステップの後に、
前記被識別ウェブアドレスがスパムウェブアドレスまたは非スパムウェブアドレスであることに対するユーザーの確認情報を受信するステップと、
非スパムウェブアドレスであると確認された被識別ウェブアドレスに対応するタイプ識別子シーケンスを隠れマルコフモデルのトレーニングされるべき観測シーケンスとして、EMアルゴリズムにより予めトレーニングされた隠れマルコフモデルのパラメーターを更新するステップと、をさらに含むこと
を特徴とする請求項６に記載のウェブアドレス識別方法。
【請求項８】
被識別ウェブアドレスを取得するように配置されている取得ユニットと、
予め設定された規則に従って前記被識別ウェブアドレスに分割処理を行って、分割後の各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換するように配置されている分割変換ユニットと、
前記被識別ウェブアドレスに対応するタイプ識別子シーケンスに基づいて、前記被識別ウェブアドレスが非スパムウェブアドレスである確率を決定するように配置されている確率決定ユニットと、
前記確率に基づいて、ウェブアドレス識別情報を生成するように配置されている生成ユニットと、を含むこと
を特徴とするウェブアドレス識別装置。
【請求項９】
前記確率決定ユニットは、
前記タイプ識別子シーケンスを隠れマルコフモデルの観測シーケンスとして、前向きアルゴリズム及び予めトレーニングされた隠れマルコフモデルのパラメーターにより前記観測シーケンスに対応する確率を計算するように配置されているサブ計算ユニットと、
計算された確率を前記被識別ウェブアドレスが非スパムウェブアドレスである確率とするように配置されているサブ確率決定ユニットと、を含むこと
を特徴とする請求項８に記載のウェブアドレス識別装置。
【請求項１０】
ログサーバーから非スパムウェブアドレスセットを取得するように配置されている非スパムウェブアドレスセット取得ユニットと、
予め設定された規則に従って前記非スパムウェブアドレスセットのうちの各ウェブアドレスに分割処理を行って、各ウェブアドレスから分割された各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換して、各ウェブアドレスに対応するタイプ識別子シーケンスを含むタイプ識別子シーケンスセットを生成するように配置されている非スパムウェブアドレスセット分割変換ユニットと、
前記タイプ識別子シーケンスセットを隠れマルコフモデルのトレーニングされるべき観測シーケンスセットとして、EMアルゴリズムにより隠れマルコフモデルのパラメーターを決定するように配置されているモデルパラメーター計算ユニットと、
決定された隠れマルコフモデルのパラメーターを予めトレーニングされた隠れマルコフモデルのパラメーターとしたり、または、決定された隠れマルコフモデルのパラメーターにより予めトレーニングされた隠れマルコフモデルのパラメーターを更新したりするように配置されているモデルパラメーター決定更新ユニットと、をさらに含むこと
を特徴とする請求項９に記載のウェブアドレス識別装置。
【請求項１１】
前記EMアルゴリズムは前向き後向きアルゴリズムであること
を特徴とする請求項１０に記載のウェブアドレス識別装置。
【請求項１２】
前記生成ユニットは、さらに、前記確率が予め設定された確率閾値より大きい場合に応答して、非スパムウェブアドレス通知情報を生成するように配置されていること
を特徴とする請求項９に記載のウェブアドレス識別装置。
【請求項１３】
前記生成ユニットは、さらに、前記確率が予め設定された確率閾値より小さい場合に応答して、スパムウェブアドレス通知情報を生成するように配置されていること
を特徴とする請求項９に記載のウェブアドレス識別装置。
【請求項１４】
前記被識別ウェブアドレスがスパムウェブアドレスまたは非スパムウェブアドレスであることに対するユーザーの確認情報を受信するように配置されている確認情報受信ユニットと、
非スパムウェブアドレスであると確認された被識別ウェブアドレスに対応するタイプ識別子シーケンスを隠れマルコフモデルのトレーニングされるべき観測シーケンスとして、EMアルゴリズムにより予めトレーニングされた隠れマルコフモデルのパラメーターを更新するように配置されているパラメーター調整ユニットと、をさらに含むこと
を特徴とする請求項１３に記載のウェブアドレス識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、コンピュータ技術分野に関し、具体的には、インターネット技術分野、特に、ウェブアドレス識別方法及び装置に関する。
【背景技術】
【０００２】
インターネットにおいて、大量のスパムサイトが存在し、偽のスパムサイトは利用者がクリックするように誘導することにより、クリック数を増大させたり、ひいては、ユーザーID及びパスワード等の個人情報まで不法に取得したりする。したがって、このようなスパムウェブアドレスを主動的に識別して、ユーザーに相応な通知する必要がある。
【０００３】
従来技術において、スパムウェブアドレスを識別する方式として、主にウェブページのホワイトリストを設定する方式、ウェブページのブラックリストを設定する方式、またはサイトからキャプチャーされたウェブページのコンテンツを識別する方式等が知られていた。しかしながら、ホワイトリスト方式であればすべての正常的なサイトのウェブアドレスを挙げることができなく、ブラックリスト方式であれば新たに生成されたスパムウェブアドレスを識別できず、キャップチャーされたウェブページのコンテンツを識別する方式であれば、サイトにキャップチャー禁止機能が設定されている場合に、または正常的なサイトをコピーしてユーザーのパスワードを不法に取得する偽サイト等である場合に、正確にスパムウェブアドレスを識別できない。したがって、スパムウェブアドレス識別の識別範囲を広げる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願は、改進されたウェブアドレス識別方法及び装置を提供し、上記のような背景技術において提出された技術的問題を解決することを目的とする。
【課題を解決するための手段】
【０００５】
本願の第１態様において、被識別ウェブアドレスを取得するステップと、予め設定された規則に従って前記被識別ウェブアドレスに分割処理を行って、分割後の各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換するステップと、前記被識別ウェブアドレスに対応するタイプ識別子シーケンスに基づいて、前記被識別ウェブアドレスが非スパムウェブアドレスである確率を決定するステップと、前記確率に基づいて、ウェブアドレス識別情報を生成するステップと、を含むウェブアドレス識別方法が提供される。
【０００６】
いくつかの実施例において、前記の前記被識別ウェブアドレスに対応するタイプ識別子シーケンスに基づいて、前記被識別ウェブアドレスが非スパムウェブアドレスである確率を決定するステップにおいては、前記タイプ識別子シーケンスを隠れマルコフモデルの観測シーケンスとして、前向きアルゴリズム及び予めトレーニングされた隠れマルコフモデルのパラメーターにより前記観測シーケンスに対応する確率を計算するステップと、算出された確率を前記被識別ウェブアドレスが非スパムウェブアドレスである確率とするステップと、を含む。
【０００７】
いくつかの実施例において、前記方法は、前記の被識別ウェブアドレスを取得する前に、ログサーバーから非スパムウェブアドレスセットを取得するステップと、予め設定された規則に従って前記非スパムウェブアドレスセットのうちの各ウェブアドレスを分割処理に行って、各ウェブアドレスから分割された各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換して、各ウェブアドレスに対応するタイプ識別子シーケンスを含むタイプ識別子シーケンスセットを生成するステップと、前記タイプ識別子シーケンスセットを隠れマルコフモデルのトレーニングされるべき観測シーケンスセットとして、EMアルゴリズムにより隠れマルコフモデルのパラメーターを決定するステップと、決定された隠れマルコフモデルのパラメーターを予めトレーニングされた隠れマルコフモデルのパラメーターとしたり、または、決定された隠れマルコフモデルのパラメーターにより予めトレーニングされた隠れマルコフモデルのパラメーターを更新したりするステップと、をさらに含む。
【０００８】
いくつかの実施例において、前記EMアルゴリズムは前向き後向きアルゴリズムである。
【０００９】
いくつかの実施例において、前記の前記確率に基づいて、ウェブアドレス識別情報を生成するステップにおいては、前記確率が予め設定された確率閾値より大きい場合に応答して、非スパムウェブアドレス通知情報を生成するステップを含む。
【００１０】
いくつかの実施例において、前記の前記確率に基づいて、ウェブアドレス識別情報を生成するステップにおいては、前記確率が予め設定された確率閾値より小さい場合に応答して、スパムウェブアドレス通知情報を生成するステップを含む。
【００１１】
いくつかの実施例において、前記方法は、前記の前記確率が予め設定された確率閾値より小さい場合に応答して、スパムウェブアドレス通知情報を生成ステップの後に、前記被識別ウェブアドレスがスパムウェブアドレスまたは非スパムウェブアドレスであることに対するユーザーの確認情報を受信するステップと、非スパムウェブアドレスであると確認された被識別ウェブアドレスに対応するタイプ識別子シーケンスを隠れマルコフモデルのトレーニングされるべき観測シーケンスとして、EMアルゴリズムにより予めトレーニングされた隠れマルコフモデルのパラメーターを更新するステップと、をさらに含む。
【００１２】
本願の第２態様において、被識別ウェブアドレスを取得するように配置されている取得ユニットと、予め設定された規則に従って前記被識別ウェブアドレスに分割処理を行って、分割後の各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換するように配置されている分割変換ユニットと、前記被識別ウェブアドレスに対応するタイプ識別子シーケンスに基づいて、前記被識別ウェブアドレスが非スパムウェブアドレスである確率を決定するように配置されている確率決定ユニットと、前記確率に基づいて、ウェブアドレス識別情報を生成するように配置されている生成ユニットと、を含むウェブアドレス識別装置が提供される。
【００１３】
いくつかの実施例において、前記確率決定ユニットは、前記タイプ識別子シーケンスを隠れマルコフモデルの観測シーケンスとして、前向きアルゴリズム及び予めトレーニングされた隠れマルコフモデルのパラメーターにより前記観測シーケンスに対応する確率を計算するように配置されているサブ計算ユニットと、計算された確率を前記被識別ウェブアドレスが非スパムウェブアドレスである確率とするように配置されているサブ確率決定ユニットと、を含む。
【００１４】
いくつかの実施例において、前記装置は、ログサーバーから非スパムウェブアドレスセットを取得するように配置されている非スパムウェブアドレスセット取得ユニットと、予め設定された規則に従って前記非スパムウェブアドレスセットのうちの各ウェブアドレスに分割処理を行って、各ウェブアドレスから分割された各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換して、各ウェブアドレスに対応するタイプ識別子シーケンスを含むタイプ識別子シーケンスセットを生成するように配置されている非スパムウェブアドレスセット分割変換ユニットと、前記タイプ識別子シーケンスセットを隠れマルコフモデルのトレーニングされるべき観測シーケンスセットとして、EMアルゴリズムにより隠れマルコフモデルのパラメーターを決定するように配置されているモデルパラメーター計算ユニットと、決定された隠れマルコフモデルのパラメーターを予めトレーニングされた隠れマルコフモデルのパラメーターとしたり、または、決定された隠れマルコフモデルのパラメーターにより予めトレーニングされた隠れマルコフモデルのパラメーターを更新したりするように配置されているモデルパラメーター決定更新ユニットと、をさらに含む。
【００１５】
いくつかの実施例において、前記EMアルゴリズムは前向き後向きアルゴリズムである。
【００１６】
いくつかの実施例において、前記生成ユニットは、さらに、前記確率が予め設定された確率閾値より大きい場合に応答して、非スパムウェブアドレス通知情報を生成するように配置されている。
【００１７】
いくつかの実施例において、前記生成ユニットは、さらに、前記確率が予め設定された確率閾値より小さい場合に応答して、スパムウェブアドレス通知情報を生成するように配置されている。
【００１８】
いくつかの実施例において、前記装置は、前記被識別ウェブアドレスがスパムウェブアドレスまたは非スパムウェブアドレスであることに対するユーザーの確認情報を受信するように配置されている確認情報受信ユニットと、非スパムウェブアドレスであると確認された被識別ウェブアドレスに対応するタイプ識別子シーケンスを隠れマルコフモデルのトレーニングされるべき観測シーケンスとして、EMアルゴリズムにより予めトレーニングされた隠れマルコフモデルのパラメーターを更新するように配置されているパラメーター調整ユニットと、をさらに含む。
【発明の効果】
【００１９】
本願により提供されるウェブアドレス識別方法及び装置は、被識別ウェブアドレスを対応するタイプ識別子シーケンスに変換し、当該タイプ識別子シーケンスにより被識別ウェブアドレスが非スパムウェブアドレスである確率を計算してウェブアドレス識別情報を生成し、被識別ウェブアドレスを対応するタイプ識別子シーケンスに変換してから識別することで、タイプ識別子シーケンスのみにより識別することができ、予め被識別ウェブアドレスに完全に対応するウェブアドレスヒストリを記憶する必要がなく、ウェブアドレス識別の識別範囲を広げることができる。
【図面の簡単な説明】
【００２０】
以下、図面を参照しながら非限定的な実施例を詳細に説明することにより、本発明の他の特徴、目的、および利点は、より明らかになる。
【図１】本願が適用される例示的なシステムアーキテクチャ図である。
【図２】本願に係るウェブアドレス識別方法の一実施例のフローチャットである。
【図３】本願に係るウェブアドレス識別方法の１つの応用場合の概略図である。
【図４】本願に係るウェブアドレス識別方法の別の実施例のフローチャットである。
【図５】本願に係るウェブアドレス識別装置の一実施例の構成概略図である。
【図６】本願の実施例を実現するための端末装置またはサーバーに適用されるコンピュータシステムを示す構成概略図である
【発明を実施するための形態】
【００２１】
以下、図面および実施例を参照しながら、本発明をさらに詳しく説明する。ただし、ここで説明されている具体的な実施例は、係る発明を解釈するためのものに過ぎず、本発明の範囲を制限するものではないことが理解されるべきである。なお、説明の便宜上、図面にかかる発明と関連する部分のみが示されている。
【００２２】
ただし、衝突がない限り、本願における実施例および実施例における特徴は互いに組み合せてもよい。以下、図面を参照しながら実施例に基づいて本願を詳しく説明する。
【００２３】
図１は本願のウェブアドレス識別方法またはウェブアドレス識別装置の実施例を適用できる例示的なシステムアーキテクチャ１００を示す。
【００２４】
図１に示されたように、システムアーキテクチャ１００は端末装置１０１、１０２、１０３、ネットワーク１０４及びサーバー１０５を含んでもよい。ネットワーク１０４は端末装置１０１、１０２、１０３とサーバー１０５との間の通信リンクの媒体を提供する。ネットワーク１０４は各種の接続タイプ、例えば、有線、無線通信リンクまたは光ファイバケーブル等を含んでもよい。
【００２５】
ユーザーは端末装置１０１、１０２、１０３を利用してネットワーク１０４を介してサーバー１０５と対話することで、メッセージ等を受信または送信することができる。端末装置１０１、１０２、１０３には各種の通信クライアントアプリケーション、例えば、ウェブページブラウザアプリケーション、セキュリティアプリケーション等がインストールされてもよい。
【００２６】
端末装置１０１、１０２、１０３はディスプレイを備える各種の電子装置でもよく、スマートフォーン、タブレットPC、電子書籍リーダー、MP３プレイヤー（Moving  Picture  Experts  Group  Audio  Layer  III）、MP４（Moving  Picture  Experts  Group  Audio  Layer  IV）プレイヤー、ラップトップPC及びデスクトップPC等を含んでもよいが、これらに限定されない。
【００２７】
サーバー１０５は各種のサービスを提供するサーバー、例えば、端末装置１０１、１０２、１０３に表示されたウェブページまたは他の応用データーをサポートするバックグラウンドサーバーであってもよい。バックグラウンドサーバーは受信されたウェブアドレス等のデーターに対して解析等の処理を行い、処理結果（例えば、ウェブアドレス識別情報）を端末装置にフィードバックしてもよい。
【００２８】
本願の実施例により提供されるウェブアドレス識別方法は、一般的に、サーバー１０５により実行され、一部のステップは端末装置により実行されてもよい。それに応じて、ウェブアドレス識別装置は一般的にサーバー１０５に設置され、一部のユニットは端末装置に設置されてもよい。
【００２９】
図１における端末装置、ネットワークおよびサーバーの数が例示的なものであることを当業者は理解すべきである。必要に応じて、端末装置、ネットワークおよびサーバーの数が任意である。
【００３０】
次に、本願に係るウェブアドレス識別方法の一実施例のフロー２００を示す図２を参照する。前記ウェブアドレス識別方法は下記のようなステップを含む。
【００３１】
ステップ２０１において、被識別ウェブアドレスを取得する。
【００３２】
本実施例において、ウェブアドレス識別方法が実行される電子装置（例えば、図１に示されたサーバー）は各種の方式により被識別ウェブアドレスを取得することができる。例えば、電子装置は有線接続方式または無線接続方式によりユーザーがウェブページを閲覧したりウェブアドレスを検出したりする端末から被識別ウェブアドレスを受信することができる。実際には、ウェブアドレスは一般的に、統一資源位置指定子（Uniform  Resource  Locator、URL）により表示される。前記無線接続方式は３G/４G接続、WiFi接続、Bluetooth（登録商標）接続、WiMAX接続、Zigbee接続、UWB（ultra  wideband）接続、及びその他の従来または将来に開発される無線接続方式を含んでもよいが、これらに限定されない。
【００３３】
通常、ユーザーは端末に設置されたウェブページブラウザを利用してウェブページを閲覧することができる。この時、ユーザーはウェブアドレスを直接に入力したり、ウェブページブラウザに表示されたウェブページ中のリンクをクリックしたりすることで、ウェブページサーバーへウェブページ閲覧請求を送信することができ、ウェブページサーバーは対応するウェブアドレスを取得でき、前記ウェブアドレスを被識別ウェブアドレスとすることができる。本実施例において、前記ウェブページはhtml形式、xhtml形式、asp形式、php形式、jsp形式、shtml形式、nsp形式、xml形式のウェブページまたはその他の将来に開発される形態のウェブページ（ユーザーは、当該形式のウェブページファイルをブラウザでオープンして、含まれているイメージ、アニメーション、文字等のコンテンツを閲覧できればよい）であってもよい。当業者は、ウェブページサーバーが被識別ウェブアドレスを前記電子装置へ送信することで、前記電子装置に被識別ウェブアドレスを取得させ、または、ウェブページサーバー自身が前記電子装置として本実施例に記載された方法を実行できることを理解できる。
【００３４】
ユーザーは端末装置のスパムウェブアドレス識別機能付きのセキュリティアプリケーションによりウェブアドレスを入力することができ、セキュリティアプリケーションはウェブアドレスを受信した後に、被識別ウェブアドレスを対応する応用サーバーへ送信することができる。前記応用サーバーは前記電子装置として本実施例に記載された方法を実行できる。
【００３５】
被識別ウェブアドレスは予め電子装置に記憶されてもよく、または、電子装置によって別のサーバーから取得されてもよい。
【００３６】
ステップ２０２において、予め設定された規則に従って被識別ウェブアドレスに分割処理を行って、分割後の各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換する。
【００３７】
本実施例において、前記電子装置（例えば、図１に示されたサーバー１０５）は、まず、ステップ２０１にて取得された被識別ウェブアドレスに分割処理を行ってもよい。分割方法は、予め設定された規則に従って行ってもよい。予め設定された規則は、セパレーター分割規則及びその他の分割規則を含んでもよい。実際に分割を行う場合、電子装置は分割関数を呼び出して分割処理を行うことができ、例えば、Python言語を使う場合、システムが提供するurlparse関数を呼び出して分割を行うことができる。分割処理の後に、通常、ウェブアドレスが分割された各部分はホスト名、経路、請求パラメーターのキー（key）及びキーバリュー（value）を含んでもよく、他のパラメーターを含んでもよい。
【００３８】
続いて、電子装置は分割後の各部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換する。選択的には、各部分のコンテンツタイプは統一資源位置指定子（URI）タイプ、非ASCIIコードタイプ、wordタイプ、ブランクタイプ、制御文字タイプ、予約文字タイプ及びotherタイプであってもよい。各種のコンテンツタイプの意味及び対応するタイプ識別子は下記した表１のように示されてもよい。
【００３９】
【表１】
2017123141.tif 000003
【００４０】
ここで、予約文字とは特定の意味を持つ文字であり、例えば、「/」はウェブアドレスセパレーターを意味し、対応するタイプ識別子に変換する必要がない。otherタイプとは前記タイプとは異なる他のコンテンツタイプであり、otherタイプを除く他のタイプがすでにすべてのコンテンツに対してタイプ区分を行った場合、otherタイプは「NUL」であってもよい。
【００４１】
前記コンテンツタイプに対する区分及び対応するタイプ識別子は単なる例示であり、別の規則に従ってウェブアドレスの各部分に対してタイプ区分を行い、対応するタイプ識別子に変換できることを当業者は理解できる。
【００４２】
前記プロセスによって、電子装置はステップ２０２にて被識別ウェブアドレスに対応するタイプ識別子シーケンスを取得できる。
【００４３】
ステップ２０３において、被識別ウェブアドレスに対応するタイプ識別子シーケンスに基づいて、被識別ウェブアドレスが非スパムウェブアドレスである確率を決定する。
【００４４】
本実施例において、ステップ２０２の分割及び変換動作により、被識別ウェブアドレスに対応するタイプ識別子シーケンスを取得でき、電子装置は、さらにステップ２０３においてタイプ識別子シーケンスに基づいて被識別ウェブアドレスがスパムウェブアドレスである確率を計算できる。選択的には、電子装置は大量のスパムウェブアドレス及び非スパムウェブアドレスを統計することで、各種のタイプ識別子シーケンスが非スパムウェブアドレスである確率を取得できる。
【００４５】
ステップ２０４において、前記確率に基づいて、ウェブアドレス識別情報を生成する。
【００４６】
本実施例において、前記電子装置はステップ２０３において被識別ウェブアドレスが非スパムウェブアドレスに対応する確率を取得した後に、前記確率に基づいて対応するウェブアドレス識別情報を生成できる。通常、確率が高いほど、当該ウェブアドレスがスパムウェブアドレスである可能性は低くなり、確率が低いほど、当該ウェブアドレスがスパムウェブアドレスである可能性は高くなる。電子装置は１つまたは複数の確率閾値を設定し、前記確率と確率閾値との大きさの関係に応じて、どういうウェブアドレス識別情報を生成するかを確定できる。前記ウェブアドレス識別情報は識別結果の情報を表示することに用いられ、例えば、スパムウェブアドレス通知情報または安全ウェブアドレス通知情報であってもよい。
【００４７】
続いて、本実施例に係るウェブアドレス識別方法の１つの応用場合の概略図である図３を参照する。図３に示されたように、ユーザーは端末装置においてウェブアドレス識別アプリケーションのインターフェースにおけるウェブアドレス入力領域３０１に被識別ウェブアドレスを入力し、インターフェースの「検出」ボタンをクリックした後に、被識別ウェブアドレスをバックグラウンドサーバーへ送信することができ、バックグラウンドサーバーはバックグラウンドで前記被識別ウェブアドレスを取得することができる。次に、バックグラウンドサーバーは被識別ウェブアドレスを対応するタイプ識別子シーケンスに変換し、タイプ識別子シーケンスに基づいて被識別ウェブアドレスがスパムウェブアドレスである確率を計算することができる。続いて、バックグラウンドサーバーは前記確率に基づいてウェブアドレス識別情報を生成できる。最後に、バックグラウンドサーバーは前記ウェブアドレス識別情報を端末装置へフィードバックし、端末装置は表示領域３０２において対応するウェブアドレス識別情報を表示できる。
【００４８】
本願の前記実施例により提供される方法は、ウェブアドレスを対応するタイプ識別子シーケンスに変換してから識別することで、識別プロセスにおいて処理されるデーターの量を顕著に減少し、ウェブアドレス識別の効率を向上できる。さらに、このような方式はタイプ識別子シーケンスのみにより識別を行うことができ、予め被識別ウェブアドレスに完全に対応するウェブアドレスを記憶しなくてもよく、ウェブアドレス識別の識別範囲を広げることができる。
【００４９】
次に、ウェブアドレス識別方法の別の実施例のフロー４００を示す図４を参照する。前記ウェブアドレス識別方法のフロー４００は下記のステップを含む。
【００５０】
ステップ４０１において、被識別ウェブアドレスを取得する。
【００５１】
本実施例において、ステップ４０１は図２に対応する実施例のステップ２０１とほぼ同じであり、ここでは、その説明を省略する。
【００５２】
ステップ４０２において、予め設定された規則に従って被識別ウェブアドレスに分割処理を行って、分割後の各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換する。
【００５３】
本実施例において、ステップ４０２は図２に対応する実施例のステップ２０２とほぼ同じであり、ここでは、その説明を省略する。
【００５４】
ステップ４０３において、タイプ識別子シーケンスを隠れマルコフモデルの観測シーケンスとして、前向きアルゴリズム及び予めトレーニングされた隠れマルコフモデルのパラメーターにより観測シーケンスに対応する確率を計算する。
【００５５】
本実施例において、ステップ４０２の分割及び変換動作に基づいて、被識別ウェブアドレスに対応するタイプ識別子シーケンスを取得し、ステップ４０３において隠れマルコフモデルを利用してさらに処理することができる。まず、前記タイプ識別子シーケンスを隠れマルコフモデルの観測シーケンスとし、隠れマルコフモデルのモデルパラメーターは予めトレーニングを行うことで取得できる。モデルパラメーターは隠れマルコフモデルの初期状態確率行列、隠れ状態遷移確率行列及び観測状態遷移確率行列を含んでもよい。その後、隠れマルコフモデルのモデルパラメーター及び観測シーケンスが決定された後に、電子装置は隠れマルコフモデルに適用される前向きアルゴリズム及び前記モデルパラメーターにより前記観測シーケンスに対応する確率を計算できる。隠れマルコフモデルのモデルパラメーター及び観測シーケンスが確定された場合、前向きアルゴリズムにより観測シーケンスに対応する確率を計算することは所属分野の従来技術であるため、ここでは、その説明を省略する。
【００５６】
本実施例の一部の選択可能な実現方式において、電子装置はモデルトレーニングステップにより前記予めトレーニングされた隠れマルコフモデルのパラメーターを取得でき、具体的には、下記のようなステップを含む。
【００５７】
まず、ログサーバーから非スパムウェブアドレスセットを取得する。ここで、ログサーバーには大量のウェブアドレスが記憶されており、前記ウェブアドレスはログサーバーが予め別の分散されたサーバーから取得したものであってもよい。ログサーバーにはマークを設定してスパムウェブアドレス及び非スパムウェブアドレスを区分できる。電子装置は非スパムウェブアドレスに対応するマークにより非スパムウェブアドレスセットを取得できる。
【００５８】
次に、電子装置は、予め設定された規則に従って非スパムウェブアドレスセットのうちの各ウェブアドレスに分割処理を行って、各ウェブアドレスから分割された各個ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換して、各ウェブアドレスに対応するタイプ識別子シーケンスを含むタイプ識別子シーケンスセットを生成できる。ここで、非スパムウェブアドレスセットにおける単一ウェブアドレスの分割及びウェブアドレス各部分の変換は図２に対応する実施例のステップ２０２と同様でもよく、ここでは、その説明を省略する。
【００５９】
続いて、電子装置は、前記タイプ識別子シーケンスセットを隠れマルコフモデル中のトレーニングされるべき観測シーケンスとして、EMアルゴリズムを利用してこのようなトレーニングされるべき観測シーケンスに対応する隠れマルコフモデルのパラメーターを決定できる。EMアルゴリズムにより隠れマルコフモデルのパラメーターを計算することは所属分野の従来技術であるため、ここでは、その説明を省略する。
【００６０】
最後に、電子装置は、決定された隠れマルコフモデルのパラメーターを予めトレーニングされた隠れマルコフモデルのパラメーターとしたり、または、決定された隠れマルコフモデルのパラメーターにより予めトレーニングされた隠れマルコフモデルのパラメーターを更新する。予めトレーニングされた隠れマルコフモデルのパラメーターを更新する場合、現在決定された隠れマルコフモデルのパラメーターの重みを比較的に大きい値に設定することで、更新された後の隠れマルコフモデルのパラメーターのリアルタイム性を向上できる。
【００６１】
選択的には、前記EMアルゴリズムは前向き後向きアルゴリズムを利用して、モデルパラメーターの計算速度を高めて、これにより、トレーニングにより隠れマルコフモデルのパラメーターを取得する時間を低減できる。
【００６２】
ステップ４０４において、計算された確率を被識別ウェブアドレスが非スパムウェブアドレスである確率とする。
【００６３】
本実施例において、電子装置は、ステップ４０３において計算された確率に基づいて、前記確率を被識別ウェブアドレスが非スパムウェブアドレスである確率とする。通常、前記モデルのパラメーターは正常的なウェブアドレスに対して統計またはトレーニングすることで取得したものであるので、取得した確率を被識別ウェブアドレスが非スパムウェブアドレスである確率とすることができる。
【００６４】
ステップ４０５において、前記確率に基づいて、ウェブアドレス識別情報を生成する。
【００６５】
本実施例において、前記電子装置は被識別ウェブアドレスが非スパムウェブアドレスであることに対応する確率を取得した後に、前記確率に基づいて対応するウェブアドレス識別情報を生成できる。
【００６６】
本実施例の一部の選択可能な実現方式において、ステップ４０５は、確率が予め設定された確率閾値より大きい場合に応答して、非スパムウェブアドレス通知情報を生成するステップを含んでもよい。
【００６７】
図４から分かるように、図２に対応する実施例に比較して、本実施例のウェブアドレス識別方法のフロー４００は、特に、隠れマルコフモデルを用いることで、タイプ識別子シーケンスを観測シーケンスとして被識別ウェブアドレスが非スパムウェブアドレスである確率を計算することを強調している。これにより、本実施例に記載された方案は識別の正確性及び速度をより向上できる。
【００６８】
本実施例の一部の選択可能な実現方式において、ステップ４０５は、確率が予め設定された確率閾値より大きい場合に応答して、非スパムウェブアドレス通知情報を生成するステップを含んでもよい。選択的には、前記実施形態は非スパムウェブアドレス通知情報を生成した後に、
被識別ウェブアドレスがスパムウェブアドレスまたは非スパムウェブアドレスであることに対するユーザーの確認情報を受信するステップと、非スパムウェブアドレスであると確認された被識別ウェブアドレスに対応するタイプ識別子シーケンスを隠れマルコフモデルのトレーニングされるべき観測シーケンスとして、EMアルゴリズムにより予めトレーニングされた隠れマルコフモデルのパラメーターを更新するステップと、をさらに含んでもよい。
【００６９】
ここで、電子装置はウィジェットまたは別の対話方式により被識別ウェブアドレスがスパムウェブアドレスまたは非スパムウェブアドレスであることに対するユーザーの確認情報を受信できる。例えば、電子装置は、ユーザーのクリックのために「スパムウェブアドレス」と「非スパムウェブアドレス」が表示された２つのボタンウィジェットを提供してもよい。ユーザーが「非スパムウェブアドレス」をクリックした場合、対応する確認情報は非スパムウェブアドレス確認情報であり、ユーザーが「スパムウェブアドレス」をクリックした場合、対応する確認情報はスパムウェブアドレス確認情報である。確認情報によって被識別ウェブアドレスが非スパムウェブアドレスであると確認された場合、正常的なウェブアドレスを間違えてスパムウェブアドレスとして認識されたことを意味するので、当該間違えてスパムウェブアドレスとして識別された被識別ウェブアドレスに対応するタイプ識別子シーケンスをトレーニングデーターとして、予めトレーニングされた隠れマルコフモデルのパラメーターを更新することができる。相応な方法は、前記タイプ識別子シーケンスを隠れマルコフモデルのトレーニングされるべき観測シーケンスとして、EMアルゴリズムにより予めトレーニングされた隠れマルコフモデルのパラメーターを更新する。EMアルゴリズム及びトレーニングされるべき観測シーケンスに基づいてモデルパラメーターを更新することは所属分野の従来技術であるため、ここでは、その説明を省略する。選択的には、ここで、EMアルゴリズムは前向き後向きアルゴリズムを用いてもよい。このような方式は、間違えてスパムウェブアドレスとして識別されたウェブアドレスを用いて隠れマルコフモデルのパラメーターを更新することで、隠れマルコフモデルのパラメーターの正確性及び実時間性を高めることができ、後で隠れマルコフモデルを用いてスパムウェブアドレスを識別する正確性をより向上できる。
【００７０】
続いて図５を参照し、本願は、前記各図面に示された方法を実現するためのものとして、ウェブアドレス識別装置の一実施例を提供し、前記装置実施例は図２に示された方法実施例に対応し、具体的には、前記装置は各種の電子装置に適用できる。
【００７１】
図５に示されたように、本実施例に係るウェブアドレス識別装置５００は、取得ユニット５０１、分割変換ユニット５０２、確率決定ユニット５０３及び生成ユニット５０４を含む。ここで、取得ユニット５０１は被識別ウェブアドレスを取得するように配置されており、分割変換ユニット５０２は予め設定された規則に従って被識別ウェブアドレスに分割処理を行って、分割後の各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換するように配置されており、確率決定ユニット５０３は前記被識別ウェブアドレスに対応するタイプ識別子シーケンスに基づいて、前記被識別ウェブアドレスが非スパムウェブアドレスである確率を決定するように配置されており、生成ユニット５０４は前記確率に基づいてウェブアドレス識別情報のコンテンツを生成するように配置されている。
【００７２】
本実施例において、ウェブアドレス識別装置５００の取得ユニット５０１は有線接続方式または無線接続方式によりユーザーがウェブページを閲覧する端末、または、ウェブアドレスを検出する端末から被識別ウェブアドレスを受信してもよい。実際には、ウェブアドレスは一般的に統一資源位置指定子（Uniform  Resource  Locator、URL）により表示される。前記無線接続方式は３G/４G接続、WiFi接続、Bluetooth（登録商標）接続、WiMAX接続、Zigbee接続、UWB（ultra  wideband）接続、及びその他の従来または将来に開発される無線接続方式を含んでもよいが、これらに限定されない。
【００７３】
本実施例において、前記分割変換ユニット５０２は、取得ユニット５０１が取得したウェブアドレスに基づいて、まず被識別ウェブアドレスに分割処理を行ってもよい。分割する方法は、予め設定された規則に従って行ってもよい。通常、電子装置はセパレーターによりウェブアドレスに分割処理を行ってもよく、分割後の各部分は一般的には、ホスト名、経路、請求パラメーターのキー（key）及びキーバリュー（value）を含んでもよい。その後、分割変換ユニット５０２は分割された各部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換する。選択的には、各部分のコンテンツタイプは統一資源位置指定子（URI）タイプ、非ASCIIコードタイプ、wordタイプ、ブランクタイプ、制御文字タイプ、予約文字タイプ及びotherタイプを含んでもよい。
【００７４】
本実施例において、確率決定ユニット５０３は被識別ウェブアドレスに対応するタイプ識別子シーケンスに基づいて、さらに前記タイプ識別子シーケンスに基づいて被識別ウェブアドレスがスパムウェブアドレスである確率を計算してもよい。選択的には、電子装置は大量のスパムウェブアドレス及び非スパムウェブアドレスを統計することで、各種のタイプ識別子シーケンスが非スパムウェブアドレスである確率を取得してもよい。
【００７５】
本実施例において、生成ユニット５０４は確率決定ユニット５０３により取得された確率に基づいて対応するウェブアドレス識別情報を生成してもよい。
【００７６】
上記ウェブアドレス識別装置５００は、例えば、プロセッサ、メモリなどのいくつかの他の公知の構造をさらに備えてもよく、本発明の実施例を曖昧にすることを回避するために、これらの公知の構造が図５に示されていないことを、当業者は理解することができる。
【００７７】
以下、本発明の実施例を実現するための端末装置またはサーバーに適用されるコンピュータシステム６００を示す構造模式図である図６を参照する。
【００７８】
図６に示すように、コンピュータシステム６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているプログラムまたは記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに基づいて様々な適当な動作および処理を実行することができる中央処理装置（ＣＰＵ）６０１を備える。ＲＡＭ６０３には、システム６００の操作に必要な様々なプログラムおよびデータがさらに記憶されている。ＣＰＵ６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
【００７９】
キーボード、マウスなどを含む入力部６０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、およびスピーカなどを含む出力部６０７、ハードディスクなどを含む記憶部６０８、およびＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部６０９は、Ｉ／Ｏインターフェース６０５に接続されている。通信部６０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ６１０は、必要に応じてＩ／Ｏインターフェース６０５に接続される。リムーバブルメディア６１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ６１０に取り付けられ、したがって、ドライバ６１０から読み出されたコンピュータプログラムが必要に応じて記憶部６０８にインストールされる。
【００８０】
特に、本発明の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部６０９を介してネットワークからダウンロードされてインストールされてもよく、および／またはリムーバブルメディア６１１からインストールされてもよい。
【００８１】
図面におけるフローチャートおよびブロック図は、本発明の各実施例に係るシステム、方法およびコンピュータプログラム製品により実現可能なアーキテクチャ、機能および操作を示す。ここで、フローチャートまたはブロック図における各枠は、１つのモジュール、プログラムセグメント、またはコードの一部を代表してもよく、前記モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を実現するための１つ以上の実行可能な命令を含む。なお、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番と異なる順番で実行されてもよい。例えば、連続して示された２つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。なお、ブロック図および／またはフローチャートにおける各枠と、ブロック図および／またはフローチャートにおける枠の組合せは、規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータの命令との組合せで実行されてもよい。
【００８２】
本発明の実施例に記載されたユニットは、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記載されたユニットは、プロセッサに設定されてもよく、例えば、「取得ユニット、分割変換ユニット、確率決定ユニット、生成ユニットを備えるプロセッサ」として記載されてもよい。その中でも、これらのユニットの名称は、ある場合において当該ユニットその自体を限定するものではなく、例えば、取得ユニットは、「被識別ウェブアドレスを取得するユニット」として記載されてもよい。
【００８３】
一方、本発明は、不揮発性コンピュータ記憶媒体をさらに提供し、当該不揮発性コンピュータ記憶媒体は、上記した実施例の前記装置に含まれる不揮発性コンピュータ記憶媒体であってもよく、独立に存在して端末に組み立てられていない不揮発性コンピュータ記憶媒体であってもよい。前記不揮発性コンピュータ記憶媒体は、１つ以上のプログラムが記憶され、前記１つ以上のプログラムが１つの機器により実行された場合、上記した機器に以下の通りにさせ、すなわち、被識別ウェブアドレスを取得し、予め設定された規則に従って前記被識別ウェブアドレスに分割処理を行って、分割後の各ウェブアドレス部分を各ウェブアドレス部分のコンテンツタイプに対応するタイプ識別子に変換し、前記被識別ウェブアドレスに対応するタイプ識別子シーケンスに基づいて、前記被識別ウェブアドレスが非スパムウェブアドレスである確率を決定し、前記確率に基づいて、ウェブアドレス識別情報を生成する。
【００８４】
以上の記載は、本発明の好ましい実施例、および使用された技術的原理の説明に過ぎない。本発明に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術案も含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。
【図１】
2017123141.tif 000004
【図２】
2017123141.tif 000005
【図３】
2017123141.tif 000006
【図４】
2017123141.tif 000007
【図５】
2017123141.tif 000008
【図６】
2017123141.tif 000009