(57)【要約】  ウェブページから主要コンテンツを抽出することは、ウェブページ上のアイテムを識別してクラス分けすることと、候補のリストを作成することと、候補のスコアを計算することと、トップスコア候補を選択することと、トップスコア候補に対してクリーンアップ処理を行うこととを含む。候補のスコアは、サイズに基づいて分類されたパラグラフ及び画像の数に応じて変化してもよい。ＣＪＫ（中国語−日本語−韓国語）のテキストのワールド長は、そのテキスト中の句読点に基づいて判定してもよい。候補のスコアは、コンテナ及びピースの数に基づいて修正してもよく、コンテナはタグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素であり、ピースは他の候補を含まない候補である。候補のスコアは、テキスト及びリンクの密度に対応する比に基づいて修正してもよい。
2015502603.tif 000002
【特許請求の範囲】
【請求項１】
ウェブページから主要コンテンツを抽出する方法であって、
前記ウェブページ上のアイテムを識別してクラス分けすることと、
候補のリストを作成することと、
候補のスコアを計算することと、
トップスコア候補を選択することと、
前記トップスコア候補に対してクリーンアップ処理を行うことと、
前記トップスコア候補に対して最終ページ処理を行うことと、を含む方法。
【請求項２】
候補のスコアは、サイズに基づいて分類されたパラグラフ及び画像の数に応じて変化する、請求項１に記載の方法。
【請求項３】
ＣＪＫ（中国語−日本語−韓国語）テキストのワールド長は、そのテキスト内の句読点に基づいて判定される、請求項２に記載の方法。
【請求項４】
候補のスコアを計算することは、下記数１の式を用いて初期スコアを判定することを含み、
Ｎ５−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の５行・パラグラフの数であり、Ｎ８０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の８０ワード・パラグラフの数であり、Ｎ３−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の３行・パラグラフの数であり、Ｎ５０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の５０ワード・パラグラフの数であり、Ｎｌａｒｇｅ−ｉｍａｇｅｓは、少なくとも５０Ｋピクセルを含む画像又は少なくとも３５０ピクセルの幅及び少なくとも７５ピクセルの高さを有する画像の数であり、Ｎｓｋｉｐｐｅｄ−ｉｍａｇｅｓは５×５を超えないサイズを有する画像又はブラックリストに挙げられたか若しくは隔離されたサイトの少なくとも一つへの参照としてウェブページ上に設けられた画像の数であり、また、他のすべての画像はＮｓｍａｌｌ−ｉｍａｇｅｓにカウントされる、請求項２に記載の方法。
【数１】
2015502603.tif 000015
【請求項５】
候補のスコアは、コンテナ及びピースの数に基づいて修正され、
コンテナは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素であり、
ピースは、他の候補を含まない候補である、請求項２に記載の方法。
【請求項６】
候補のスコアは下記数２の式を用いて修正される、請求項５に記載の方法。
【数２】
2015502603.tif 000016
【請求項７】
候補のスコアは、テキスト及びリンクの密度に対応する比に基づいて修正される、請求項５に記載の方法。
【請求項８】
前記比は、全体のレギュラーテキストの長さに対する前記候補のレギュラーテキストの長さの比と、全体のレギュラーテキストのワード数に対する前記候補のレギュラーテキストのワード数の比と、全体のレギュラーテキストの長さに対する前記候補より上にあるレギュラーテキストの長さの比と、全体のレギュラーテキストのワード数に対する前記候補より上にあるレギュラーテキストのワード数の比と、を含む、請求項７に記載の方法。
【請求項９】
候補のスコアは下記数３の式を用いて修正され、
Ｐｅｒｃｅｎｔａｇｅｎ及びｒａｔｉｏｄｅｇｒｅｅは、ｎ個の比それぞれについて経験的に予め決定された所定の値である、請求項８に記載の方法。
【数３】
2015502603.tif 000017
【請求項１０】
前記トップスコア候補の選択に続いて前記トップスコア候補が所定の基準に合致しているかを判定することと、
前記トップスコア候補が所定の基準に合致しない場合に別のトップスコア候補を選択すべきかを判定することと、を更に含む、請求項１に記載の方法。
【請求項１１】
第１の数式セットが、前記トップスコア候補を判定するために使用され、
第２の別の数式セッが、別のトップスコア候補を選択すべきかを判定するために使用される、請求項１０に記載の方法。
【請求項１２】
前記第２の数式セットを使用することが前記第１の数式セットを使用した場合と同様なトップスコア候補の結果になる場合は、別のトップスコア候補は使用されない、請求項１１に記載の方法。
【請求項１３】
前記所定の基準は、前記トップスコア候補が２５個よりも少ない埋め込みコンテナを有しているか（ここで、コンテナは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素である）と、前記トップスコア候補が他の埋め込み候補を有していないかと、前記トップスコア候補が他の埋め込み候補を含む３個以下の埋め込み候補を有しているかとからなる群から選択される、請求項１０に記載の方法。
【請求項１４】
クリーンアップ処理を行うことは、浮動要素、リンクボックス、ナビゲーションパネル及び未知のソースからのビデオを取り除くことを含む、請求項１に記載の方法。
【請求項１５】
クリーンアップ処理を行うことは、使用可能なＨＴＭＬタグ及び属性のみ使用し元のページ書式中にある文体上の欠陥及び不要な要素を無視することによって前記トップスコア候補を新たなＨＴＭＬページとして再記述することにより、前記トップスコア候補を再書式設定することを含む、請求項１に記載の方法。
【請求項１６】
表示されたトップスコア候補の部分を利用者が指示することと、前記利用者によって指示された部分をクリップすること、とを更に含み、前記部分は後に他のソフトウェアによって使用される、請求項１に記載の方法。
【請求項１７】
一時的でないコンピュータ読み取り可能な媒体で提供され、ウェブページから主要コンテンツを抽出するコンピュータソフトウェアであって、
当該ソフトウェアは、
前記ウェブページ上のアイテムを識別してクラス分けする実行可能コードと、
候補のリストを作成する実行可能コードと、
候補のスコアを計算する実行可能コードと、
トップスコア候補を選択する実行可能コードと、
前記トップスコア候補に対してクリーンアップ処理を行う実行可能コードと、
前記トップスコア候補に対して最終ページ処理を行う実行可能なコードと、
を有するコンピュータソフトウェア。
【請求項１８】
候補のスコアは、サイズに基づいて分類されたパラグラフ及び画像の数に応じて変化する、請求項１７に記載のコンピュータソフトウェア。
【請求項１９】
ＣＪＫ（中国語−日本語−韓国語）テキストのワールド長は、そのテキスト内に含まれる句読点に基づいて判定される、請求項１８に記載のコンピュータソフトウェア。
【請求項２０】
候補のスコアを計算する実行可能なコードは、下記数４の式を用いて初期スコアを判定し、
Ｎ５−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の５行・パラグラフの数であり、Ｎ８０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の８０ワード・パラグラフの数であり、Ｎ３−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の３行・パラグラフの数であり、Ｎ５０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の５０ワード・パラグラフの数であり、Ｎｌａｒｇｅ−ｉｍａｇｅｓは、少なくとも５０Ｋピクセルを含む画像又は少なくとも３５０ピクセルの幅及び少なくとも７５ピクセルの高さを有する画像の数であり、Ｎｓｋｉｐｐｅｄ−ｉｍａｇｅｓは５×５を超えないサイズを有する画像又はブラックリストに挙げられたか若しくは隔離されたサイトの少なくとも一つへの参照としてウェブページ上に設けられた画像の数であり、他のすべての画像はＮｓｍａｌｌ−ｉｍａｇｅｓにカウントされる、請求項１８に記載のコンピュータソフトウェア。
【数４】
2015502603.tif 000018
【請求項２１】
候補のスコアは、コンテナ及びピースの数に基づいて修正され、
コンテナは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素であり、
ピースは、他の候補を含まない候補である、請求項１８に記載のコンピュータソフトウェア。
【請求項２２】
候補のスコアは下記数５の式を用いて修正される、請求項２１に記載のコンピュータソフトウェア。
【数５】
2015502603.tif 000019
【請求項２３】
候補のスコアは、テキスト及びリンクの密度に対応する比に基づいて修正される、請求項２１に記載のコンピュータソフトウェア。
【請求項２４】
前記比は、全体のレギュラーテキストの長さに対する前記候補のレギュラーテキストの長さの比と、全体のレギュラーテキストのワード数に対する前記候補のレギュラーテキストのワード数の比と、全体のレギュラーテキストの長さに対する前記候補より上にあるレギュラーテキストの長さの比と、全体のレギュラーテキストのワード数に対する前記候補より上にあるレギュラーテキストのワード数の比と、を含む、請求項２３に記載のコンピュータソフトウェア。
【請求項２５】
候補のスコアは下記数６の式を用いて修正され、
Ｐｅｒｃｅｎｔａｇｅｎ及びｒａｔｉｏｄｅｇｒｅｅは、ｎ個の比それぞれについて経験的に予め決定された所定の値である、請求項２４に記載のコンピュータソフトウェア。
【数６】
2015502603.tif 000020
【請求項２６】
前記トップスコア候補の選択に続いて前記トップスコア候補が所定の基準に合致しているかを判定する実行可能なコードと、
前記トップスコア候補が所定の基準に合致しない場合に別のトップスコア候補を選択すべきかを判定する実行可能なコードと、を更に有する、請求項１７に記載のコンピュータソフトウェア。
【請求項２７】
第１の数式セットが、前記トップスコア候補を判定するために使用され、
第２の別の数式セットが、別のトップスコア候補を選択すべきかを判定するために使用される、請求項２６に記載のコンピュータソフトウェア。
【請求項２８】
前記第２の数式セットを使用することが前記第１の数式セットを使用した場合と同様なトップスコア候補の結果になる場合は、別のトップスコア候補を使用しない、請求項２７に記載のコンピュータソフトウェア。
【請求項２９】
前記所定の基準は、前記トップスコア候補が２５個よりも少ない埋め込みコンテナを有しているか（ここで、コンテナは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素である）と、前記トップスコア候補が他の組み込まれた候補を有していないかと、前記トップスコア候補が他の埋め込み候補を含む３個以下の埋め込み候補を有しているかとからなる群から選択される、請求項２６に記載のコンピュータソフトウェア。
【請求項３０】
クリーンアップ処理を行う実行可能なコードは、浮動要素、リンクボックス、ナビゲーションパネル及び未知のソースからのビデオを取り除く、請求項１７に記載のコンピュータソフトウェア。
【請求項３１】
クリーンアップ処理を行う実行可能なコードは、使用可能なＨＴＭＬタグ及び属性のみ使用し元のページ書式中にある文体上の欠陥及び不要な要素を無視することによって前記トップスコア候補を新たなＨＴＭＬページとして再記述することにより、前記トップスコア候補を再書式設定する、請求項１７に記載のコンピュータソフトウェア。
【請求項３２】
前記利用者によって指示された部分をクリップする実行可能なコードを更に有し、前記部分は後に他のソフトウェアによって使用される、請求項１７に記載のコンピュータソフトウェア。
【請求項３３】
複数のウェブページ上に提供される主要アイテムの互いに独立した個別の部分を識別する方法であって、
前記主要アイテムの部分を含むＵＲＬのパスの空でない最終セグメントを判定することと、
前記ＵＲＬと前記パスの空でない最終セグメント対応する前記ページ上の他のＵＲＬとの間の類似性測度を判定することと、
十分に類似するＵＲＬに対応するウェブページ上の主要アイテムの追加部分を指示するワードに対するウェブリンクテキストを検査することと、
前記類似性測度及び前記追加部分を指示するワードの存在によって、前記複数のウェブページの少なくとも一部に前記主要アイテムの追加部分が提供されているかを判定することと、を含む方法。
【請求項３４】
前記追加部分を指示するワードはページ番号を含む、請求項３３に記載の方法。
【請求項３５】
前記追加部分を指示するワードは「ｎｅｘｔ」を含む、請求項３３に記載の方法。
【請求項３６】
前記類似性測度は、編集距離とレーベンシュタイン距離と最長共通部分文字列の距離とからなる群から選択される、請求項３３に記載の方法。
【請求項３７】
前記部分の一致度を確認することを更に含む、請求項３６に記載の方法。
【請求項３８】
前記部分の一致度を確認することは、前記部分から記事のタイトルを抽出することと、前記記事を先に判定した元のタイトルと比較することと、を含む、請求項３７に記載の方法。
【請求項３９】
一時的でないコンピュータ読み取り可能な媒体で提供され、複数のウェブページ上に提供される主要アイテムの互いに独立した個別の部分を識別するコンピュータソフトウェアであって、
当該ソフトウェアは、
前記主要アイテムの部分を含むＵＲＬのパスの空でない最終セグメントを判定する実行可能なコードと、
前記ＵＲＬと前記パスの空でない最終セグメント対応する前記ページ上の他のＵＲＬとの間の類似性測度を判定する実行可能なコードと、
十分に類似するＵＲＬに対応するウェブページ上の主要アイテムの追加部分を指示するワードに対するウェブリンクテキストを検査する実行可能なコードと、
前記類似性測度及び前記追加部分を指示するワードの存在によって、前記複数のウェブページの少なくとも一部に前記主要アイテムの追加部分が提供されているかを判定する実行可能なコードと、
を有するコンピュータソフトウェア。
【請求項４０】
前記追加部分を指示するワードはページ番号を含む、請求項３９に記載のコンピュータソフトウェア。
【請求項４１】
前記追加部分を指示するワードは「ｎｅｘｔ」を含む、請求項３９に記載のコンピュータソフトウェア。
【請求項４２】
前記類似性測度は、編集距離とレーベンシュタイン距離と最長共通部分文字列の距離とからなる群から選択される、請求項３９に記載のコンピュータソフトウェア。
【請求項４３】
前記部分の一致度を確認する実行可能なコードを更に有する、請求項４２に記載のコンピュータソフトウェア。
【請求項４４】
前記部分の一致度を確認する実行可能なコードは、前記部分から記事のタイトルを抽出し、前記記事を先に判定した元のタイトルと比較する、請求項４３に記載のコンピュータソフトウェア。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本願は、２０１１年１１月１０日に出願された「ウェブページから主要コンテンツを抽出する方法及び装置」の米国仮出願第６１／５５８，１５３号に対して優先権を主張するものであり、その出願の内容は本明細書中に参照により組み込まれる。
【０００２】
技術分野
本願は、情報の解析、処理及び提示の分野に関し、特にウェブサイトと関連する情報の解析、処理及び提示の分野に関するものである。
【背景技術】
【０００３】
発明の背景
２０１１年には、２０億人を超えるウェブ利用者が、数多くの言語、書式及びレイアウトからなる１４０億を超えるウェブページを読んでいた。技術的、経済的、美的及びその他の要因の多様性のおかげで、ウェブページの最新のデザインはますます洗練されたものになってきており、ウェブページ上に一緒に存在する様々なコンテンツ要素の例として、記事、ナビゲーションパネル、テキスト、リンクボックス、画像、アイコン、広告ボタン、バナー、動的及び対話式の広告コンテンツ、埋め込みビデオクリップ、オーバーレイ、ポップアップ、浮動要素、フォームなどがある。これらの要素はそれぞれ、統合されたウェブエクスペリエンスにおいて独自の位置付けがあるが、リッチなウェブレイアウトは、ウェブページ上に提供されるニュース又は研究の記事、ブログ投稿、検索結果のリスト、記事の見出し、及び、他の主要コンテンツタイプなどのアイテムをウェブ訪問者が集中して連続的に読むという当面の目標にとってじゃまになるかもしれない。ＹａｈｏｏＮｅｗｓスライドショーのようなウェブサイトでは、ニュースアイテムがクリックされた後、互いに独立した完全なビューで記事が配信される。更に、ｉＰａｄ上のＳａｆａｒｉ  Ｒｅａｄｅｒのようなブラウザの機能は、任意のウェブページから重要なコンテンツを抽出しようとする。しかしながら、複雑なウェブレイアウトを処理する既存の方法は、検索のリスト及び見出しや複数ページからなる記事などの様々なタイプのウェブページコンテンツに対して、特に十分に機能するものになっていない。既存の技術は、記事のタイトル、執筆者及び公開日のような基本的なページアイテムの重要なコンポーネントを一貫して抽出するものではない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以上により、主要ページコンテンツを判定し、それを最も読みやすい書式で利用者に提示し、カリフォルニア州レッドウッド市のエバーノートコーポレーションによって提供されるエバーノート製品のように個人的なノートセットへの簡易で便利なクリッピングが可能になる、ビュアーのためにウェブページレイアウトを簡略化する高機能のシステムの提供が望まれる。
【課題を解決するための手段】
【０００５】
発明の概要
本明細書に記載のシステムによれば、ウェブページから主要コンテンツを抽出することは、前記ウェブページ上のアイテムを識別してクラス分けすることと、候補のリストを作成することと、候補のスコアを計算することと、トップスコア候補を選択することと、前記トップスコア候補に対するクリーンアップ処理を行うことと、前記トップスコア候補に対する最終ページ処理を行うことと、を含む。候補のスコアは、サイズに基づいて分類されたパラグラフ及び画像の数に応じて変化してもよい。ＣＪＫ（中国語−日本語−韓国語）テキストのワールド長は、そのテキスト中の句読点に基づいて判定してもよい。候補のスコアを計算することは、次式を用いて初期スコアを判定することを含んでもよい。
【０００６】
【数１】
2015502603.tif 000003
【０００７】
ここで、Ｎ５−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の５行・パラグラフの数であり、Ｎ８０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の８０ワード・パラグラフの数であり、Ｎ３−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の３行・パラグラフの数であり、Ｎ５０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の５０ワード・パラグラフの数であり、Ｎｌａｒｇｅ−ｉｍａｇｅｓは、少なくとも５０Ｋピクセルを含む画像又は少なくとも３５０ピクセルの幅及び少なくとも７５ピクセルの高さを有する画像の数であり、Ｎｓｋｉｐｐｅｄ−ｉｍａｇｅｓは５×５を超えないサイズを有する画像又はブラックリストに挙げられたか若しくは隔離されたサイトの少なくとも一つへの参照としてウェブページ上に設けられた画像の数であり、また、他のすべての画像はＮｓｍａｌｌ−ｉｍａｇｅｓにカウントされる。候補のスコアは、コンテナ及びピースの数に基づいて修正してもよい。ここで、コンテナは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素であり、ピースは、他の候補を含まない候補である。候補のスコアは次式を用いて修正してもよい。
【０００８】
【数２】
2015502603.tif 000004
【０００９】
候補のスコアは、テキスト及びリンクの密度に対応する比に基づいて修正してもよい。前記比は、レギュラーテキストの全体長に対する前記候補のレギュラーテキストの長さの比と、レギュラーテキスト中のワードの総数に対する前記候補のレギュラーテキスト中のワード数の比と、レギュラーテキスト中のワードの総数に対する前記候補より上にあるレギュラーテキスト中のワード数の比と、を含んでもよい。
候補のスコアは次式を用いて修正してもよい。
【００１０】
【数３】
2015502603.tif 000005
【００１１】
ここで、Ｐｅｒｃｅｎｔａｇｅｎ及びｒａｔｉｏｄｅｇｒｅｅは、ｎ個の比それぞれについて経験的に予め決定された所定の値である。ウェブページから主要コンテンツを抽出することは、前記トップスコア候補の選択に続いて、前記トップスコア候補が所定の基準に合致しているかを判定することと、前記トップスコア候補が所定の基準に合致しない場合に別のトップスコア候補を選択すべきか判定することと、を含んでもよい。第１の数式セットを、前記トップスコア候補の判定に使用してもよいし、第２の別の数式セットを、別のトップスコア候補を選択すべきかの判定に使用してもよい。前記第２の数式セットを使用することが前記第１の数式セットを使用した場合と同様なトップスコア候補の結果になる場合は、別のトップスコア候補を使用しないようにしてもよい。前記所定の基準は、前記トップスコア候補が２５個よりも少ない埋め込みコンテナを有しているか（ここで、コンテナはタグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素である）と、前記トップスコア候補が他の組み込まれた候補を有していないかと、前記トップスコア候補が他の埋め込み候補を含む３個以下の埋め込み候補を有しているかとからなる群から選択してもよい。クリーンアップ処理を行うことは、浮動要素、リンクボックス、ナビゲーションパネル及び未知のソースからのビデオを取り除くことを含んでもよい。クリーンアップ処理を行うことは、使用可能なタグ及び属性のみ使用し元のページ書式中にある文体上の欠陥及び不要な要素を無視することによって前記トップスコア候補を新たなＨＴＭＬページとして再記述することにより、前記トップスコア候補を再書式設定することを含んでもよい。また、ウェブページから主要コンテンツを抽出することは、表示されたトップスコア候補の部分を利用者が指示することと、前記利用者によって指示された部分をクリップすること（前記部分は後に他のソフトウェアによって使用される）と、を含んでもよい。
【００１２】
更に、本明細書に記載のシステムによれば、一時的でないコンピュータ読み取り可能な媒体で提供されるコンピュータソフトウェアは、ウェブページから主要コンテンツを抽出する。前記ソフトウェアは、前記ウェブページ上のアイテムを識別してクラス分けする実行可能なコードと、候補のリストを作成する実行可能なコードと、候補のスコアを計算する実行可能なコードと、トップスコア候補を選択する実行可能なコードと、前記トップスコア候補に対するクリーンアップ処理を行う実行可能なコードと、前記トップスコア候補に対する最終ページ処理を行う実行可能なコードと、を含む。候補のスコアは、サイズに基づいて分類されたパラグラフ及び画像の数に応じて変化させてもよい。ＣＪＫ（中国語−日本語−韓国語）テキストのワールド長は、そのテキスト中の句読点に基づいて判定してもよい。候補のスコアを計算する実行可能なコードは、次式を用いて初期スコアを判定してもよい。
【００１３】
【数４】
2015502603.tif 000006
【００１４】
ここで、Ｎ５−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の５行・パラグラフの数であり、Ｎ８０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の８０ワード・パラグラフの数であり、Ｎ３−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の３行・パラグラフの数であり、Ｎ５０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の５０ワード・パラグラフの数であり、Ｎｌａｒｇｅ−ｉｍａｇｅｓは、少なくとも５０Ｋピクセルを含む画像又は少なくとも３５０ピクセルの幅及び少なくとも７５ピクセルの高さを有する画像の数であり、Ｎｓｋｉｐｐｅｄ−ｉｍａｇｅｓは５×５を超えないサイズを有する画像又はブラックリストに挙げられたか若しくは隔離されたサイトの少なくとも一つへの参照としてウェブページ上に設けられた画像の数であり、また、他のすべての画像はＮｓｍａｌｌ−ｉｍａｇｅｓにカウントされる。候補のスコアは、コンテナ及びピースの数に基づいて修正してもよい。ここで、コンテナは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素であり、ピースは、他の候補に含まれない候補である。候補のスコアは次式を用いて修正してもよい。
【００１５】
【数５】
2015502603.tif 000007
【００１６】
候補のスコアは、テキスト及びリンクの密度に対応する比に基づいて修正してもよい。前記比は、レギュラーテキストの全体長に対する前記候補のレギュラーテキストの長さの比と、レギュラーテキスト中のワードの総数に対する前記候補のレギュラーテキスト中のワード数の比と、レギュラーテキスト中のワードの総数に対する前記候補よりも上にあるレギュラーテキスト中のワード数の比と、を含んでもよい。
候補のスコアは次式を用いて修正してもよい。
【００１７】
【数６】
2015502603.tif 000008
【００１８】
ここで、Ｐｅｒｃｅｎｔａｇｅｎ及びｒａｔｉｏｄｅｇｒｅｅは、ｎ個の比それぞれについて経験的に予め決定された所定の値である。ウェブページから主要コンテンツを抽出することは、前記トップスコア候補の選択に続いて、前記トップスコア候補が所定の基準に合致しているかを判定することと、前記トップスコア候補が所定の基準に合致しない場合に別のトップスコア候補を選択すべきか判定することと、を含んでもよい。第１の数式セットを、前記トップスコア候補の判定に使用してもよいし、第２の別の数式セットを、別のトップスコア候補を選択すべきかの判定に使用してもよい。前記第２の数式セットを使用することが前記第１の数式セットを使用した場合と同様なトップスコア候補の結果になる場合は、別のトップスコア候補は使用されないようにしてもよい。前記所定の基準は、前記トップスコア候補が２５個よりも少ない埋め込みコンテナを有しているか（ここで、コンテナは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素である）と、前記トップスコア候補が他の埋め込み候補を有していないかと、前記トップスコア候補が他の埋め込み候補を含む３個以下の埋め込み候補を有しているかとからなる群から選択してもよい。クリーンアップ処理を行うことは、未知のソースからの浮動要素、リンクボックス、ナビゲーションパネル及びビデオを取り除くことを含んでもよい。クリーンアップ処理を行う実行可能なコードは、使用可能なタグ及び属性のみ使用し元のページ書式中にある文体上の欠陥及び不要な要素を無視することによって前記トップスコア候補を新たなＨＴＭＬページとして再記述することにより、前記トップスコア候補を再書式設定してもよい。また、前記ソフトウェアは、前記利用者によって指示された部分をクリップする実行可能なコード（前記部分は後に他のソフトウェアによって使用される）を含んでもよい。
【００１９】
更に、本明細書に記載のシステムによれば、複数のウェブページ上に提供される主要アイテムの互いに独立した個別の部分を識別することは、前記主要アイテムの部分を含むＵＲＬのパスの空でない最終セグメントを判定することと、前記ＵＲＬと前記パスの空でない最終セグメント対応する前記ページ上の他のＵＲＬとの間の類似性測度を判定することと、十分に類似するＵＲＬに対応するウェブページ上の主要アイテムの追加部分を指示するワードに対するウェブリンクテキストを検査することと、前記類似性測度及び前記追加部分を指示するワードの存在によって、前記複数のウェブページの少なくとも一部に前記主要アイテムの追加部分が提供されているかを判定することと、を含む。前記追加部分を指示するワードは、ページ番号又は用語「ｎｅｘｔ」を含んでもよい。前記類似性測度は、編集距離とレーベンシュタイン距離と最長共通部分文字列の距離とからなる群から選択してもよい。複数のウェブページ上に提供される主要アイテムの互いに独立した個別の部分を識別することは、更に、前記部分間の一致度を確認することを含んでもよい。一致度を確認することは、前記部分から記事のタイトルを抽出することと、その記事をと先に判定した元のタイトルと比較することとを含んでもよい。
【００２０】
更に、本明細書に記載のシステムによれば、一時的でないコンピュータ読み取り可能な媒体で提供されるコンピュータソフトウェアは、複数のウェブページ上に提供される主要アイテムの互いに独立した個別の部分を識別する。前記ソフトウェアは、前記主要アイテムの部分を含むＵＲＬのパスの空でない最終セグメントを判定する実行可能なコードと、前記ＵＲＬと前記パスの空でない最終セグメント対応する前記ページ上の他のＵＲＬとの間の類似性測度を判定する実行可能なコードと、十分に類似するＵＲＬに対応するウェブページ上の主要アイテムの追加部分を指示するワードに対するウェブリンクテキストを検査する実行可能なコードと、前記類似性測度及び前記追加部分を指示するワードの存在に基づいて、前記複数のウェブページの少なくとも一部に前記主要アイテムの追加部分が提供されているかを判定する実行可能なコードと、を含む。前記追加部分を指示するワードは、ページ番号又は用語「ｎｅｘｔ」を含んでもよい。前記類似性測度は、編集距離とレーベンシュタイン距離と最長共通部分文字列の距離とからなる群から選択してもよい。前記ソフトウェアは、前記部分間の一致度を確認する実行可能なコードを更に含んでもよい。前記一致度を確認する実行可能なコードは、前記部分から記事のタイトルを抽出し、その記事を以前判定して元のタイトルと比較してもよい。
【００２１】
ウェブページから主要コンテンツを抽出済みの主要コンテンツとして抽出することは、前記ウェブページコンテンツ内で主要アイテムを識別することを含む。本明細書に記載のシステムは、ウェブページ上で主要アイテムを識別するとき、本明細書中で別途論じているように、現実のウェブページで動作することが実験的に検証されてきた経験則に基づいて行われるクリーニング及びランク付けの連続ステップに依存する。そのようなクリーニング及びランク付けのステップの実行の前に、本明細書に記載のシステムは、本明細書中で別途詳しく論じているように、ページ要素（ＨＴＭＬタグ）及びその構造、ページ内の従属関係及び相互配置、文字、ワード及び特別タイプのパラグラフで測定されるテキスト及びリンクの存在及びボリューム、画像の量、位置及びサイズ、並びに、ページコンテンツの他のタイプに関するページ解析を行う。
【００２２】
本明細書に記載のシステムは、ウェブページの主要アイテムを識別する処理において、本明細書で「コンテナ」及び「候補」とみなされる、ウェブページ上の所定要件を満たす要素を判定する。本明細書中で別途説明するように、ウェブページの初期クリーニングと所定要件を満たす要素セットの作成とに引き続き、本システムは、乗法的スコアシステムを用いた２つのフェーズでの計算に基づき、その第２のフェーズで計算された候補のスコアを判定する。候補は、その計算されたスコアによってランク付けされ、それらの候補の中から、トップスコアを有する主要ページアイテムが選択される。その後、停止規則が適用され、最適候補の探索を終了するか、又は、修正されたパラメータ及び乗数を用いたスコア計算手順が候補に再適用される追加ランク付けステップの調整が行われる。前記追加の手順が同じトップスコア候補という結果になる場合は、その候補が主要ウェブページアイテムとして選択される。一方、前記追加の手順が別のトップスコア候補という結果になる場合は、本明細書中で別途説明するように、前記第１のステップセット及び前記追加のステップのそれぞれにおいて識別された２つのトップスコア候補に対して最終のスコア計算が適用される。前記最終のスコア計算においても、修正されたパラメータ及び乗数が使用される。前記最終の計算ステップでトップスコアとなった候補は、ウェブページ上の主要アイテムと認定される。
【００２３】
また、本明細書中で別途説明するように、ビュアーにウェブページを表示する前に、当該ウェブページ上で見付けられた主要アイテムに対する後続の処理が行われる。この処理では、まず前記主要アイテムのコンテンツのクリーニングが行われ、本明細書において「ディポーザブル」とみなされる所定のＨＴＭＬ要素が取り除かれる。ディポーザブルの例には、未知のソースから提供される浮動要素、リンクボックス、ナビゲーションパネル及びビデオが含まれる。その後、本明細書中で別途説明するように、前記ウェブページの主要アイテムよりも上にあるＨＴＭＬテキストがスキャンされ、見落とされた可能性がある本文タイトルの存在、並びに、可能であれば、主要アイテムに関する執筆者、公開日及び／又は他のコンテンツだけでなくサブタイトルの存在が識別される。そのようなタイトル／執筆者／日付が高い信頼性で識別された場合は、その情報が主要アイテムに付加される。
【００２４】
ページ上で見付けられた主要アイテムは、その後、マルチページコンテンツの存在について解析される。この解析には、本明細書に記載されたシステムを用いて、ページ番号リスト、次ページ及び前ページの識別子並びに他の特徴的なナビゲーション要素などの追加のページを示す様々な要素を識別することと、そのような要素に関連した特別なページへのリンクを検索することと、付随したページを開くことと、その付随ページの主要コンテンツアイテムの抽出及びクリーニングを行うことと、が含まれる。また、本システムは、マルチページブログ投稿に対するマルチページコメントのような付随アイテムではなく前記主要アイテムそのものに前記マルチページコンテンツが属することを検証する。主要コンテンツの追加ページの抽出とクーニングと検証とが行われた後、その追加ページは、既に蓄積されている主要アイテムコンテンツに付け加えられる。
【００２５】
本明細書に記載されたシステムには、ビュアーにフレンドリーな表示のための主要アイテムの再書式設定を行うことが含まれる。再書式設定には、主要アイテムのＨＴＭＬテキストを再記述することと、既存の書式における特定の文法上の欠陥を削除することとが含まれる。例えば、過剰に長いテキストを有する見出し及び単一セルのテーブルはそれぞれ、見出し無しテキスト及びテーブル無しテキストによって再配置され、また、再書式設定されたページ上にフォームは再作成されない。ページ訪問者のブラウザに表示されるページコンテンツの元のビューは、再書式設定された主要アイテムに置き換えられる。ボタンをクリックしたりキーボードの専用キーを押下したりすると、元のページビューに戻る。
【００２６】
本明細書に記載されたシステムは、エバーノートのノートブックのような個人的なデータベースに格納するために主要アイテムの部分を容易にクリッピングできるようにする。一実施形態では、抽出された主要ページに、簡易な対話式の線図描画に基づく視覚的なクリッピングが適用される。表示された主要アイテムの縁に沿って垂直又はほぼ垂直な線からなる区間又は（連続した一筆書きのように描かれた）ブラケットが描かれるたびに、コンテンツの水平方向における縁が前記線区間内に位置するすべての行が選択される。利用者が前記区間を横切る削除操作を行うと、本システムはその選択されたフラグメントを削除する。マークのチェック、ボタンのクリック又は専用のマルチタッチ操作により、選択及びすべての選択線の個人データベースへのクリップが完了する。
【図面の簡単な説明】
【００２７】
図面の簡単な説明
以下に簡単に説明した図面に記載された図に従って、本明細書に記載のシステムの実施形態をより詳細に説明する。
【図１Ａ】図１Ａは、本明細書に記載のシステムに係る、元のウェブページと、主要アイテムの識別、抽出、クリーンアップ、再書式設定及び表示が行われたウェブページとを示す。
【図１Ｂ】図１Ｂは、本明細書に記載のシステムに係る、元のウェブページと、主要アイテムの識別、抽出、クリーンアップ、再書式設定及び表示が行われたウェブページとを示す。
【図１Ｃ】図１Ｃは、本明細書に記載のシステムに係る、元のウェブページと、主要アイテムの識別、抽出、クリーンアップ、再書式設定及び表示が行われたウェブページとを示す。
【図２】図２は、本明細書に記載のシステムに係る、抽出された主要ページアイテムの表示、クリッピング及び印刷の様々なオプションの図である。
【図３Ａ】図３Ａは、本明細書に記載のシステムに係る、ウェブページの前処理と、主要ページアイテム又はその一部分の個人データベースへのオプションのクリッピングを有する主要ページアイテムの表示とを示すフロー図である。
【図３Ｂ】図３Ｂは、本明細書に記載のシステムに係る、ウェブページの前処理と、主要ページアイテム又はその一部分の個人データベースへのオプションのクリッピングを有する主要ページアイテムの表示とを示すフロー図である。
【図３Ｃ】図３Ｃは、本明細書に記載のシステムに係る、ウェブページの前処理と、主要ページアイテム又はその一部分の個人データベースへのオプションのクリッピングを有する主要ページアイテムの表示とを示すフロー図である。
【図３Ｄ】図３Ｄは、本明細書に記載のシステムに係る、ウェブページの前処理と、主要ページアイテム又はその一部分の個人データベースへのオプションのクリッピングを有する主要ページアイテムの表示とを示すフロー図である。
【図４】図４は、本明細書に記載のシステムに係る、スコアの計算と候補のランク付けとを示すフロー図である。
【図５】図５は、本明細書に記載のシステムに係る、主要ページアイテムの一部分の個人データベースへの視覚的なクリッピングの模式図である。
【発明を実施するための形態】
【００２８】
種々の実施形態の詳細な説明
本明細書に記載のシステムは、ウェブページから関連する主要な情報を抽出し、その情報をビュアーにフレンドリーな書式設定でページ訪問者に提示し、その提示された情報又はその一部分の選択、及び、個人の、法人の及び／又は公のデータベースへの記憶を容易にする方法を提供する。本システムは、経験的な解析及びフォーマル研究から明らかになり多数の現実のウェブページで動作することが検証されてきた経験則に基づいて行われるクリーニング、ランク付け及び書式設定の連続動作に依存する。各ステップにおいて、ページの解析は、そのページ内におけるページ要素（ＨＴＭＬタグ）及びその構造、従属関係並びに相互配置に関して行われる。画像の個数、位置及びサイズ、並びに、ページコンテンツの他のタイプだけでなく、文字、ワード及び数種類の特別タイプのパラグラフで測定されるテキスト及びリンクの存在及びボリュームが計算される。
【００２９】
本明細書中で別途説明するように、本明細書に記載のシステムは、本明細書中で「コンテナ」及びそのサブセットである「候補」とみなされる、ページ上の所定要件を満たす要素のスコアを計算する乗法的モデルを使用する。候補はスコアによってランク付けされ、トップスコアを有する主要ページアイテムが候補の中から選択される。その後、停止規則が適用され、最適候補の探索を終了するか、又は、主要アイテムの変更若しくはランク付け処理の別のステップで元のトップスコア候補と比較される別の候補の提案が行われるもう１回のランク付けの調整が行われる。
【００３０】
主要アイテム（トップスコア候補）が選択された後、そのアイテムは、浮動ペイン、補助的なテキストボックス、未知のソースからのビデオクリップなどの不要な要素が取り除かれる。また、前記アイテムより上にあるページのスペースについて、元のアイテム内で見逃された可能性がある、ヘッダー、サブヘッダー、執筆者、公開日及び同様な情報などのマテリアルが探索される。また、マルチページコンテンツの探索も実行される。その後、前記主要アイテムは、読者にフレンドリーな方式で書式設定が行われ、ページ訪問者（当該ページを見るようにブラウザを操作した利用者）に表示される。
【００３１】
図１Ａは、ウェブページからの主要アイテムの抽出の種々の結果を示す図１００である。図１Ａにおいて、ウェブページ１０２上に示された主要アイテムは、ツールバー１１０で表示されたマルチレベルのサイトナビゲーションシステムにまとめられた記事１２０である。更に、複数の宣伝及び広告の要素１１５ａ−１１５ｄが当該ページに追加されている。本明細書に記載のシステムによれば、主要コンテンツは、抽出され、最適な閲覧エクスペリエンスのための書式の再設定がなされ、ページ訪問者に洗練された記事１２５として、別のブラウザウィンドウ１０４内に表示される。
【００３２】
図１Ｂにおいて、ウェブページの主要アイテム１４０は、技術ニュースサイトのフロントページから得た記事の見出しのリストを表している。このリスト１４０は、フロントページの上で比較的小さなスペースを占め、サイトナビゲーション１３０、広告コンテンツ１３５ａ−１３５ｃ及びその他のアイテムを伴っている。本明細書に記載のシステムによれば、主要コンテンツは、抽出され、クリーニングが行われ、書式が再設定され、見出し１４５のリストとして別のポップアップブラウザウィンドウ内に表示される。
【００３３】
図１Ｃにおいて、主要アイテムは、画像のトップに置かれたスライドショー１６０が開始する記事１６５である。従来の図のように、当該主要アイテムは、サイトナビゲーションシステム１５０及びバナー広告１５５が付加されている。本明細書に記載のシステムは、当該記事から主要アイテムを抽出し、別のブラウザウィンドウにユーザフレンドリーの書式で、トップの画像１７０及び（例えば画像１８０のような）追加の画像とともに記事のテキスト１７５を表示する。なお、図１Ａ、１Ｂ及び１Ｃ上の長いブロック矢印は、図示説明のためだけのものであり、ウェブページ上に設けられたものではない。
【００３４】
図２は、主要アイテムが抽出されてポップアップブラウザウィンドウ内に表示された後、表示及び他のオプションがページ訪問者に提示される、本システムの実施形態の図２００である。利用者は、ペイン２１０からフォントサイズ、外観及び背景を選択してもよいし、又は、ペイン２１０からカスタマイズオプションを選択してカスタムメイドの外観を定義してもよい。更に、上記抽出された主要アイテムを有するポップアップウィンドウを閉じて利用者を元のウェブページに戻らせるバックオプション２４０とともに、クリッピングオプション２２０及び印刷オプション２３０が、利用者に提示されている。
【００３５】
図３Ａは、本明細書に記載のシステムの実施形態に係る、ウェブページからの主要アイテムの抽出に関連した処理を示すフロー図３００である。処理はステップ３１０で始まり、ウェブページのソースコードが構文解析され、コンテナ及びディポーザブルが識別される。ステップ３１０では、ウェブページの要素（ＨＴＭＬ４及びＨＴＭＬ５のタグ）がいくつかのクラス（通常はまたがって）に分類され、主要ページアイテムの識別中に各クラスの要素は個別に処理される。これらのクラスは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」（ＨＴＭＬ５）に関連したコンテナを含む。いくつかの実施形態では、最終的な結果として、（本明細書中で別途説明している、追加されている可能性がある追加物を有する）コンテナのみ選択してもよい。他のクラスのウェブページ要素は、コンテナとは異なる別の機能を有してもよい。例えば、ディポーザブル１，２，３は、即座に除去されるページ要素（ディポーザブル１）と、主要アイテムが選択されたときに主要アイテムから削除されるページ要素（ディポーザブル２）と、識別済みの主要アイテムよりも上から（例えばページトップに近い位置から）除去されるページ要素（ディポーザブル３）とを識別する。ディポーザブル１は、タグ「ｂｕｔｔｏｎ」、「ｉｎｐｕｔ」、「ｓｅｌｅｃｔ」、「ｔｅｘｔａｒｅａ」、「ｃｏｍｍａｎｄ」、「ｆｒａｍｅ」、「ｓｔｙｌｅ」、「ｌｉｎｋ」、「ｓｃｒｉｐｔ」等を含む。ディポーザブル２は、他の正規のタグ−特に「ｄｉｖ」及び「ｔａｂｌｅ」を有する浮動要素を含む。ディポーザブル３は、改行タグ「ｂｒ」及びリストタグ−「ｕｌ」、「ｏｌ」、「ｄｌ」を含む。
【００３６】
なお、ページのクリーニングは段階的に強めるように適用してもよい。従って、ディポーザブル１のアイテムに対応する第１リストがディポーザブル２、３に対応する他の２つのリストよりもかなり長い場合に、いくつかの廃棄可能なタグを第１ステップで除去するようにしてもよい。要素の他のクラスは、ページ訪問者から見えなくするものであって最初に削除すべきテキストを含むタグで構成されてもよい。そのようなテキストの可視性についてのチェックが必要なタグは、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」（ＨＴＭＬ５で使用可能）、「ｕｌ」、「ｏｌ」、「ｌｉ」、「ｄｄ」、「ｔａｂｌｅ」、「ｔｒ」、「ｔｄ」、「ｄｉｖ」、及びヘッディング「ｈ１」等を含む。
【００３７】
ステップ３１０の後、処理はステップ３１５に進み、ページのデザイナー又は／及び発行者によって利用者に見えないようにされたページテキストが識別されてページから削除され、更に、ディポーザブル１も取り除かれる。ディポーザブル１が除去され、コンテナが識別された後、そのコンテナの中から、主要ページアイテムの資格を有する候補が選択される。後に続くランク付けのための候補としての資格をコンテナが有するためには、下記（ｉ）及び（ii）の２つの条件を満たす必要がある。
【００３８】
（i）コンテナは、文字及びワードで測定された、ある最低限の量のレギュラーテキストを含む。本明細書に記載のシステムの一実施形態においては、１９５個の文字及びスペースで区切られた３７個のワードが、候補として扱われるコンテナに対する最小サイズの基準として用いられる。
【００３９】
（ii）コンテナ内に明確に区別可能なリンクを有する場合よりも多いワードをレギュラーテキスト内に有するコンテナのみが候補のリストに含まれるように、コンテナ中のテキストがリンクよりも優位になっている。
【００４０】
すべての候補が識別された後、本システムは、他の候補を含まない「ピース」とみなされる候補を判定する。ピースは、複数の候補からなる木における葉であり、内包物によって部分的に順序付けられるものである。
【００４１】
ページコンテンツのかなりの部分又はコンテンツの全体が象形文字の他の言語で表現され明示的な空白によるワードの分離がない国際的なウェブページにおけるワード数を評価する機構が提供される。そのようなページについては、句読点を識別し、線形的な方法を介してワード数を評価してもよい。一実施形態において、各句読点には、対象としている言語における大規模なテキストコーパス上で統計的に計算されたウェイトを割り当ててもよい。このウェイトは、一つ前の句読点又は最初の句読点から現在の句読点までのワード数の平均を反映している。コンテナのレギュラーテキストがスキャンされ、引き続いて現れるすべての句読点に対するウェイトが積算されることで、ワード数のカウントの評価結果が得られる。例えば、列挙に用いるカンマの句読点（グラフィカルな記号「、」に対応するｕｎｉｃｏｄｅ６．１のｕ３００１）は通常、互いに隣り合う単一のワード同士を分離するため、ウェイト１を有する。一方、ピリオド（ｕ３００２「。」）は、一般的なテキストの一フレーズ中の平均ワード数を反映したウェイト４を有する。
【００４２】
ステップ３１５の後、処理はステップ３２０に進み、先行して識別されたコンテナから候補のリストが作成される。各候補内の（リンクがカウントされない）レギュラーテキストの長さは、文字と直接的にカウントされたワード数又は推定されたワード数との両方で測定され、４種類の互いに異なるパラグラフのカウント値が導かれる一次的な特性とされる。この互いに異なるパラグラフのカウント値は、３行・パラグラフの数と、５行・パラグラフの数と、５０ワード・パラグラフの数と、８０ワード・パラグラフの数とを含む。
本明細書の一実施形態において、パラグラフの識別は、特定のパラグラフ記号や他のリテラルセパレータに基づかないで行われる。どちらかといえば、パラグラフは、多数の行及び多数のワードに基づいた人工的な構造物である。一実施形態においては、Ｍ個の文字を有するテキストのブロックがＭ／Ｎ個の行のパラグラフになるように、行のカウントは、Ｎ個の文字の行に基づいて行ってもよい。本明細書の一実施形態において、例えば、本システムがワードをカウントして３行及び５行のパラグラフの数だけでなく８０ワード及び５０ワードのパラグラフを判定するように、互いに異なる単位や数を用いてもよい。
【００４３】
更に、本システムは、スキップされた画像だけでなく、大サイズ及び小サイズの画像の数を考慮に入れる。一実施形態においては、大きな画像は、少なくとも５０Ｋピクセルを含むか又は少なくとも３５０ピクセルの幅及び少なくとも７５ピクセルの高さを有するものであり、また、中サイズの画像は、少なくとも２０Ｋピクセルを含むか又は１５０×１５０ピクセルよりも大きいものである。スキップされる画像は、５×５を超えないサイズを有するか、又は、ブラックリストに載せられ及び／又は隔離されたドメインへの参照としてウェブページ上に示されたものである。その他の画像は「小さい」とみなされる。
【００４４】
ステップ３２０の後、処理はステップ３２５に進み、すべての候補についてスコアが計算される。各候補の初期スコアは、便宜上１０００が乗算され、候補のパラグラフ及び画像のカウント値の重み付け合算として、計算してもよい。本明細書における一実施形態では、初期スコアの判定に次式を用いてもよい。
【００４５】
【数７】
2015502603.tif 000009
【００４６】
上記式における初期スコアの計算は、本明細書に記載の他の実施形態の全体にわたって用いることができる、ウェブページから主要コンテンツを抽出するための経験則の構築を図示している。あるパラメータが候補の重要な主要特性であるという裏付けが得られた場合には、そのパラメータは、当該パラメータが経験的に導き出す重要度を反映するウェイトとともにスコアを高めるために追加される。一方、他のパラメータがウェブページアイテムの重要でない副次的な特性を示す場合には、そのパラメータは、全体のスコアを低めるように取り除かれたり重み付けられたりする。上記初期スコアのための式は、より多くのレギュラーテキストやより大きな画像が主要アイテムであることの裏付けになり、一方、より小さな画像又はスキップされる画像が主要アイテムでないことの裏付けになっていることを示している。
【００４７】
上記初期スコアはその後に調整してもよい。本システムの一実施形態において、規格化ピースカウント値ＮＰｉｅｃｅｓ、規格化候補カウント値ＮＣａｎｄｉｄａｔｅｓ及び規格化コンテナカウント値ＮＣｏｎｔａｉｎｅｒは、次式を用いて計算してもよい。
【００４８】
【数８】
2015502603.tif 000010
【００４９】
上記計算された比は、最も近い整数のスコアに切り下げてもよい。その後、修正初期スコアは次式を用いて計算してもよい。
【００５０】
【数９】
2015502603.tif 000011
【００５１】
上記修正初期スコアのための式は、ウェブページの追加パラメータを考慮した、候補のスコアに対して徐々に強める修正を示している。上記初期スコア値の一部分（この場合は５０％）はそのままに維持される。一方、残りの部分は、（本実施形態では平均化された）様々な比を用いて修正される。その後、同様な手法を、主要ページアイテムの識別の第１のフェーズ及び必要であれば追加のフェーズにおいて、候補のスコアの更なる修正に適用してもよい。
【００５２】
上記修正初期スコアのための式の実施形態は、主要ページアイテムに対するトップスコア候補の識別の第１のフェーズに適用してもよい。
【００５３】
一連の比は候補について計算してもよい。一実施形態において、比は、下記の表１の第１コラム内に示すように、テキスト及びリンクの密度、候補の従属関係、並びに、候補の他のパラメータを反映してもよい。表の他のコラムについては本明細書中で別途説明する。
【００５４】
【表１】
2015502603.tif 000012
【００５５】
上記表の第３コラム（「フェーズ１でのパーセンテージ」）内に示された修正初期スコアのカレント値のパーセンテージに、上記表の第２コラム（ダイレクト／インバース  比）内に示され上記表のコラム６内に示す次数（フェーズ１での次数）で表された元の比又は「インバース」値（１−比）を乗算することにより、上記比を徐々に増やすように上記修正初期スコアに適用してもよい。上記比のダイレクト値又はインバース値を使用する規則は、例えば次のようなものであってもよい。上記比の高い値が候補の高い適格性と相関する場合（例えば、レギュラーテキストの密度が高くなるほど候補がナビゲーションパネル又はリンクボックスではなく記事である確率が高くなる場合）は、その比は、上記スコア又は上記スコアの一部（そのスコアの残りの部分は変化せずに維持されている）に直接乗算される。これに対して、上記比の低い値が候補であることを示す場合は、上記インバース（１−比）の乗数が用いられる。このように、リンクの密度が低いほど、候補は、リソースを伴うリンクボックス又はナビゲーションパネルではなく、ベタ記事に見える。従って、上記候補の比は逆に適用される。すなわち、現在のスコアの一部分には（１−比）が乗算され、その現在のスコアの残りの部分は変化させずに維持される。上記乗算が完了した後、その一つ前のカレント値（１００−第３コラム中の値）が上記積に加算され、修正初期スコアの新たなカレント値が作成される。よって、上記表からｎ番目の比を適用して修正初期スコアを変える式は、次式のようになる。
【００５６】
【数１０】
2015502603.tif 000013
【００５７】
ステップ３２５の後、処理はステップ３３０に進み、トップスコア候補ＴＳＣが、先に実行されたスコア計算に基づいて選択される。ステップ３３０の後、処理はテストステップ３３５に進み、主要ウェブページアイテムに対する最終候補として上記ＴＳＣを選択するかを判定するために、停止規則が適用される。停止規則は、上記ＴＳＣがページ上の主要アイテムの最終選択であるか、及び、追加のランク付け及び検証のフェーズが必要であるかをチェックするために適用される。本明細書中の一実施形態において、上記停止規則は、下記（１）〜（３）の条件のいずれか一つが成立するときにＴＳＣをページ上の主要アイテムに対する最終選択としてもよい。
（１）ＴＳＣが２５個よりも少ない埋め込みコンテナを含む。（ＴＳＣがコンテナをまったく有していない場合を含む。）
（２）ＴＳＣが埋め込み候補を含まない。（但し、ＴＳＣは、候補であるための定義を満たさない他のコンテナを有してもよい。）
（３）ＴＳＣが、他の埋め込み候補を内部に有する３個以下の埋め込み候補を含む。
【００５８】
停止規則が成立した場合は、ステップ３３５の後、処理はステップ３４０に進み、ＴＳＣは最終候補として宣言される。ステップ３４０に続くステップ３４２では、ＴＳＣは、浮動要素、リンクボックス、ナビゲーションパネル、未知のソースからのビデオ等のディスポーザル２及び３に含まれる不要な要素が取り除かれてクリーンアップされ、ＴＳＣに対するヘッダー、サブヘッダー、執筆者又は発行日の情報が識別ステップで見落とされていないかを判定するためにＴＳＣ上のテキストがスキャンされる。見落としていたヘッダー／サブヘッダー／執筆者／発行日が見つかった場合は、その見落としていた要素がＴＳＣに追加される。ＴＳＣのクリーニングは、利用可能なＨＴＭＬタグ及び属性のみを用いて新たなＨＴＭＬページとしてＴＳＣのテキストを再記述したり元のページ書式における明らかな文体上の欠陥や不要な要素を無視したりすることによる再書式設定（例えば、過剰に長いテキストを有するヘッダーや単一セルのテーブルをヘッダーやテーブルを含まない通常のテキストに置換したり、フォームを結果のページ上に再作成しないようにしたりする等）を含んでもよい。ステップ３４２の後、処理はステップ３４３に進み、最終ページ処理が実行される。ステップ３４３での最終ページ処理については、本明細書中でより詳細に別途記述されている。ステップ３４３に続いて、処理が終了する。
【００５９】
ステップ３３５で停止規則が成立しなかったときは、処理はステップ３４４に進み、ＴＳＣが再選択される（例えば、おそらく新たなＴＳＣが選択される）。ステップ３４４でのＴＳＣの再選択については、本明細書中でより詳細に別途記述されている。ステップ３４４に続いて、制御は上述したステップ３４２に移ってクリーンアップ処理が実行され、上述したステップ３４３に移って最終ページ処理が実行される。ステップ３４３に続いて、処理が終了する。
【００６０】
図３Ｂは、図３Ａのフロー図３００のステップ３４４で提供されステップ３３５の停止規則が成立しないイベントに適用される再選択をより詳細に図示するフロー図３００’である。処理はステップ３４５で開始され、処理のフェーズ２の修正式を用いて元の候補セットに対するスコアが再計算される。ステップ３４５では、下記（ａ）及び（ｂ）の修正を伴う上述の機構を用いて、すべての候補が再度ランク付けされる。
【００６１】
（ａ）修正初期スコアに対する式は次式のように変更される。
【００６２】
【数１１】
2015502603.tif 000014
【００６３】
（フェーズ１に比較して、より大きなウェイトが修正に与えられ、より小さな部分は変更しないで残される。）
【００６４】
（ｂ）上記表の比はフェーズ２に対応するパーセンテージ及び次数（表のコラム４及び７がそれぞれフェーズ２のパーセンテージ及びフェーズ２の次数）とともに使用される。なお、フェーズ２では、表の５番目及び６番目の行アイテム（フェーズ１では不使用）で定義された２つの比が追加されている。
【００６５】
ステップ３４５の後、処理はステップ３５０に進み、新たなスコアに基づいて新たなトップスコア候補ＴＳＣ２が識別される。ＴＳＣ２はフェーズ１で選択されたトップスコア候補と同じものであってもよいし同じものでなくてもよい。従って、ステップ３５０の後、処理はテストステップ３５５に進み、フェーズ２が同じベストの候補の結果になったか否か、すなわち、ＴＳＣとＴＳＣ２が同じ候補であるか否かが判定される。ＴＳＣ＝ＴＳＣ２の場合は、ステップ３５５の後、処理はステップ３４０と同様なステップ３６０に進み、上記論述したように、ＴＳＣが最終候補として宣言される。ステップ３６０の後、処理は完了する（そして、上記論述したように、制御はステップ３４２に戻る）。
【００６６】
ステップ３５５で、フェーズ１及びフェーズ２が互いに異なるトップスコア候補ＴＳＣ１及びＴＳＣ２の結果になった場合は、ステップ３５５の後、処理はステップ３６５に進み、２つのトップ候補ＴＳＣ及びＴＳＣ２に対するスコアが、フェーズ３の修正式を使ってもう一度再計算される。ＴＳＣ及びＴＳＣ２に対する修正初期スコアは、フェーズ２について上述した修正式を使って判定され、上記テーブルのフェーズ３のコラムの値、すなわちコラム５及びコラム８の「フェーズ３でのパーセンテージ」及び「フェーズ３での次数」の値を使って、比（フェーズ１及び２で使用された比の一部）が適用される。
【００６７】
ステップ３６５の後、処理はステップ３７０に進み、ＴＳＣ及びＴＳＣ２のうちよりスコアが高い候補が最終候補として選択される。ステップ３７０の後、処理は完了する（そして、制御は上述したステップ３４２に移る）。
【００６８】
図３Ｃを参照すると、フロー図３００’’は、上述のステップ３４３における最終ページ処理をより詳細に示している。処理は最初のステップ３７５で開始され、主要ページアイテムのマルチページコンテンツが検出される（当該コンテンツがある場合）。ステップ３７５で提供される処理については、本明細書中でより詳細に別途論述されている。ステップ３７５の後、処理はステップ３８０に進み、主要ページアイテムより上にあるテキストについて、見逃された可能性があるタイトル／執筆者／日付の情報が探索される。そのような情報が見つかった場合は、その情報が主要ページアイテムのトップに追加される。ステップ３８０の後、処理はステップ３８５に進み、主要ページアイテムは、ユーザフレンドリーな最適表示になるように書式設定が行われる。ステップ３８５の処理は、利用可能なＨＴＭＬタグ及び属性のみを用いて新たなＨＴＭＬページとしてＴＳＣのテキストを再記述したり元のページ書式における明らかな文体上の欠陥や不要な要素を無視したりすることによるＴＳＣの再書式設定（例えば、過剰に長いテキストを有するヘッダーや単一セルのテーブルをヘッダーやテーブルを含まない通常のテキストに置換したり、フォームを結果のページ上に再作成しないようにしたりする等）を行うことを含んでもよい。
【００６９】
ステップ３８５の後、処理はステップ３９０に進み、書式設定された主要ページアイテムは、利用者に対して個別のポップアップ内又は他のブラウザウィンドウ内に表示される。一実施形態において、ポップアップウィンドウは、ブラウザ又はエバーノートのようなアプリケーションとの対話処理を容易にするコントロールとともに提供されてもよい。他の実施形態において、そのようなコントロールは、追加の書式設定のオプションを含んでもよい。なお、表示ウィンドウは、利用者が表示設定を変更したりカスタム表示オプションを完全に定義したりできるようにする、図２に示すようなコントロールを含んでもよい。
【００７０】
ステップ３９０の後、処理はステップ３９２に進み、利用者は、オプションとして、主要ページアイテムのコンテンツを他のアプリケーションに統合してもよい。一実施形態において、そのような統合は、エバーノートのノートブックのような、個人的なデータベース、共有データベース又は公的なデータベースの中への主要ページアイテムの選択的なクリッピング又は全体のクリッピングを含んでもよい。視覚的なクリッピング方法は、抽出された主要ページアイテムの部分を選択したり、その主要ページアイテムのコンテンツを記憶アプリケーションの中にクリップしたりするのに使用してもよい。表示された主要アイテムの左側又は右側の余白に、垂直又はほぼ垂直な線からなる区間又は（連続した一筆書きのように描かれた）ブラケットが描かれるたびに、その線区間を横切る水平方向の縁を有するコンテンツのすべての行が選択される。このようにして、マウス又はタッチイベントによって動かされる編集カーソルが利用される従来の選択とは異なり、互いに隣り合わない選択を容易に利用することができる。上記線区間を横切る削除操作によって、選択部分がビューから見えなくなるように削除される。チェックマーク、ボタン又はマルチタッチの動作によって、選択を完了し、すべての選択された行が記憶アプリケーションの中へクリッピングされるようにしてもよい。ステップ３９２の後、処理が終了する。
【００７１】
図３Ｄは、追加のページが抽出されてマージされる上記論述したステップ３７５で実行される処理をより詳細に図示するフロー図３００’’’である。処理はステップ３９４で開始され、元のページＵＲＬについて、そのＵＲＬパスの最後の空でない（当該ＵＲＬの「リソース」とみなされる）セグメントが抽出される。上記空でないテキストは、当該ＵＲＬにおける最後のスラッシュ記号「／」の後ろのテキスト又は最後の２つのスラッシュ記号の間のテキストであり、クエリ文字列及びフラグメント識別子が含まれている場合はそれらが取り除かれたものである（ＩＥＴＦ  ＲＦＣ  ３９８６，  ｈｔｔｐ：／／ｗｗｗ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ３９８６．ｔｘｔ参照）。
【００７２】
ステップ３９４に続くステップ３９５では、元のページと同じドメインへ導かない上記ページ上にあるすべてのリンクが無視される。本明細書に記載されたシステムは、互いに異なるウェブサイト間に配置されたマルチページの記事を識別しようとしない。残ったリンクそれぞれについて、上記ＵＲＬのパスの最後の空でないセグメント（リソース）が、上記ステップ３９４と同様に、当該パスから抽出される。
【００７３】
ステップ３９５に続くステップ３９６では、上記元のＵＲＬのリソースと上記リンクのリソースそれぞれとの間の類似性測度（例えば、本方法の一実施形態における編集距離、他の実施形態におけるレーベンシュタイン距離、更に他の実施形態における最長共通部分文字列の距離）が計算され、規格化され、降順で保存される。ある類似性閾値内のすべてのリンク（一実施形態では、９０％から６０％までの１０％ごとに測定され、その閾値のいずれかで測定されるリンク）は、後段の解析のために保持される。他のすべてのリンクは破棄される。
【００７４】
ステップ３９６に続いてステップ３９７では、残ったリンクに対して、複数のページを示す共通のスタイルである（複数の言語での）ワード「ｎｅｘｔ」や「２」、「３」等の数字を表すテキストの存在について、リンクテキストが解析される。そのようなテキストが存在しない場合は、ワード「ｎｅｘｔ」や数字を表すテキストの探索が、リンクのタイトル内、及び／又は、リンクオブジェクトが画像の場合は画像の「ａｌｔ」タグ内で実行される。一実施形態においては、ＯＣＲ（光学的な文字認識）が、リンク画像内のページ番号及び／又はワード「ｎｅｘｔ」を識別するのに使用される。ワード「ｎｅｘｔ」又は数字のみのテキストが識別されたリンクは保持され、他のリンクは無視される。
また、主要ページアイテムに対する保持されたリンクの位置がチェックされる。主要アイテムの末尾又は先頭の近くにリンクがある場合は、そのリンクについては更に処理が進められ、それ以外の場合、当該リンクは除外される。
【００７５】
ステップ３９７に続くステップ３９８では、保持された「ｎｅｘｔ」リンクによって参照されるウェブページが読み込まれ、上記説明したように、そのページ上の主要ページアイテムが検出され、抽出した主要アイテムが元のページと一致していることを検証する追加のチェックが適用される。一実施形態においては、追加のページから抽出された記事のタイトルが、元のページのタイトルと比較される（その記事のタイトルはおそらくすべてのページ上で複製されている）。上記一致が確認された場合は、（タイトルのない）追加の主要アイテムが抽出済みの記事のページにマージされる。
【００７６】
なお、フローチャート３００’’’に対する処理は、記事の後続のページのすべてについて繰り返してもよい。（例えば、記事の第２ページからの主要アイテムが元のページの主要アイテムにマージされたとき、「ｎｅｘｔ」リンク又はリンクテキスト「３」が第２ページ上で探索される）。上記繰り返しサイクルは、解析する新たなページが無くなるまで実行される。
【００７７】
なお、マルチページアイテムに対して有効性のチェックを実行してもよい。特に、マルチページ記事テキストとは対照的な、記事に付加されたマルチページのコメントは識別され、その記事テキストが保持される一方で、当該コメントは消去される。
【００７８】
主要ページアイテムの追加のページがあった場合は、その追加のページは識別され、クリーンアップ処理され、主要ページアイテムにマージされる。
【００７９】
図４は、本明細書に記載のシステムに係る、主要ページアイテムの抽出のフェーズ１サイクルにおける候補のスコアの計算に関連して上記論述したステップ３２５で実行される処理をより詳細に示すフロー図４００である。処理はステップ４１０で開始され、候補のキーパラメータが計算されて保存される。キーパラメータは、小、中及び大のサイズの画像の個数だけでなく、レギュラーページテキスト内及びリンク内の両方における候補の内部及び候補より上にあるテキスト及びワードの長さ及びカウントを含む。また、外部の画像へのリンクが解析される。その後、本明細書中で別途説明するように、互いに異なるタイプの条件付きのパラグラフのカウント値が、計算されたパラメータから導かれる。ステップ４１０で計算される値は、一度だけ計算され、各候補とともに保存される。
【００８０】
ステップ４１０の後、処理はステップ４２０に進み、初期スコア、修正初期スコア及び上記テーブルのフェーズ１に対する比が、候補それぞれについて計算される。ステップ４２０における値は、一度だけ計算されて保存される。ステップ４２０の後、処理はステップ４３０に進み、主要ウェブページアイテムに対する識別処理のフェーズ１が初期化される。ステップ４３０では、その後の修正のためにトップスコアがゼロにセットされ、トップスコア候補（ＴＳＣ）及びカレント候補の両方が、リスト上の最初の候補にセットされる。ステップ４３０の後、処理はステップ４４０に進み、上述したように、カレント候補に対して修正初期スコアが取得され、上記表１に従って、そのスコアに対して徐々に増加させるように比が適用され、カレントスコアの結果を得られる。
【００８１】
ステップ４４０の後、処理はテストステップ４５０に進み、カレントスコアがトップスコアと比較される。カレントスコアがトップスコアを超えていない場合は、ステップ４５０の後、処理はテストステップ４７０に進み、追加の候補の存在について候補のリストがチェックされる。ステップ４５０においてカレントスコアがトップスコアのランタイム値を超えている場合は、ステップ４５０の後、処理はステップ４６０に進み、ＴＳＣ及びトップスコアが更新される。ステップ４６０では、ＴＳＣがカレント候補にセットされ、トップスコアがカレントスコアにセットされる。ステップ４６０の後、処理はテストステップ４７０に進み、他の候補がリスト上にあるかどうか判定される。他の候補がある場合は、ステップ４７０の後、処理はステップ４８０に進み、本システムは、次の繰り返しのために準備する。ステップ４８０では、カレント候補がリスト上の次の候補にセットされ、一方、カレントスコアがカレント候補の初期スコアにセットされる。ステップ４８０の後、次の繰り返しのために、上記論述したように、処理はステップ４４０に戻る。ステップ４７０においてリスト上に他の候補がないと判定した場合は、すべての候補は既にスコアが計算されランク付けされている。そのような場合、処理は停止し、ＴＳＣ及びトップスコアが直近に更新された値として残される。
【００８２】
図５は、上記フロー図３００’’のステップ３９５で説明したように、主要ページアイテムのコンテンツを他のアプリケーションの中に統合するために主要ページアイテムのフラグメントを選択するユーザフレンドリーの視覚的な選択を図示する模式図である。コンピュータ又はモバイルデバイスの入力能力に応じて利用者がペン、マウス又は指を使い、ページの余白に垂直若しくはほぼ垂直の線５１０又はブラケット５２０を描くと、その手動で描いた線又はブラケットは選択マーカーとして認識される。選択マーカーと交差する水平方向の位置を有する主要ページアイテムのテキストのすべての行は、マークが付けられ、選択され、先行して選択されているものに追加される。フラグメント５３０に示すように、選択マーカーに斜線が横切ると、その斜線が認識され、当該マーカは削除されたものとみなされる。一実施形態において、予め定義されたタイムアウトが経過した後、選択マーカーは消える。他の実施形態においては、選択マーカーは、次第に消えていくように見える。この選択マーカーの削除により、削除された選択マーカーに交差し且つアクティブ状態にある削除されていないマーカーのいずれにも交差しない、垂直方向の座標を有する主要ページアイテムのすべての行の選択が解除される。
【００８３】
チェックボックス５４０（又は、一実施形態におけるボタン５５０のような、他の明確な所定の形状若しくはページボタン）が手動で描かれるか又は押下されると、すべての選択されたフラグメントを即座にページから複写して書式設定するクリッピングが本システムに指示される。一実施形態において、エバーノートのノートブック、又は、他の個人的な、共有の若しくは公のデータベース、ローカルコンピュータのファイル等のように、互いに異なるフラグメントは、分離線若しくは他の分離識別子で開始され、フラグメント番号が付されるか又はタイトルが自動生成され、所定のストレージに保存される。一実施形態において、選択マーカーは、クリッピングの後、主要ページアイテムのページ余白から即座に取り除かれる。他の実施形態においては、上記選択マーカーを取り除くために特別な動作又はボタンが必要とされる。
【００８４】
上記提案した技術は、ブラウザのウィンドウのサイズ変更やディスプレイの設定の変更などの多様なページ書式設定の影響を受ける可能性があることに留意されたい。一実施形態において、主要ページアイテムのコンテンツが再書式設定されるときはいつも、再書式設定の際に先行して選択されて追跡されたテキスト及び他のページオブジェクトの位置に基づいて、選択マーカーはサイズが変更され再描画される。他の実施形態においては、選択マーカーは再書式設定とは両立しないとみなされ、そのような再書式設定の開始時に利用者に対して警告が表示され、ページの再書式設定が継続される場合は選択マーカーが即座に削除される。
【００８５】
本明細書で論述した種々の実施形態は、本明細書に記載のシステムとの関係において、互いに適当に組み合わせてもよい。更に、場合によっては、フローチャート、フロー図および／または上述のフロー処理のステップの順序を必要に応じて変更してもよい。また、スクリーンレイアウト内に記載されたスクリーンの要素及びエリアは本明細書中で提示した図示のものから変更してもよい。更に、本明細書中に記載のシステムの種々の態様は、ソフトウェア、ハードウェア、ソフトウェアとハードウェアとの組み合わせ、及び／又は、上述の特徴を有し上述の機能を実行するその他のコンピュータ実装モジュールまたは機器を用いて、実現してもよい。
【００８６】
本明細書に記載のシステムのソフトウェア実装には、コンピュータ読み取り可能な媒体に格納され、単数の又は複数のプロセッサで実行される実行可能コードを含んでいてもよい。コンピュータ読み取り可能な媒体は一時的でないものであってもよく、また、このコンピュータ読み取り可能な媒体には、コンピュータのハードドライブ、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュドライブ、及び／若しくは、ユニバーサルシリアルバス（ＵＳＢ）インターフェース等を備えたその他ドライブ等の携帯用コンピュータ記憶媒体、並びに／又は、実行可能コードを格納してプロセッサで実行可能なその他任意の適当な有形または一時的でないのコンピュータ読み取り可能な媒体またはコンピュータメモリが含まれる。本明細書に記載のシステムは、任意の適当なオペレーティングシステムと関係づけて使用してもよい。
【００８７】
本開示の発明の明細書または実施例を考慮すれば、当業者には本発明の他の実施形態は明白である。本明細書および例は単に例示であると考慮されることを意図しており、本発明の本質的な範囲および趣旨は添付の特許請求の範囲によって示される。
【図３Ａ】
2015502603.tif 000021
【図３Ｂ】
2015502603.tif 000022
【図３Ｃ】
2015502603.tif 000023
【図３Ｄ】
2015502603.tif 000024
【図４】
2015502603.tif 000025
【図１Ａ】
2015502603.tif 000026
【図１Ｂ】
2015502603.tif 000027
【図１Ｃ】
2015502603.tif 000028
【図２】
2015502603.tif 000029
【図５】
2015502603.tif 000030
【手続補正書】
【提出日】平成26年9月25日(2014.9.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ウェブページから主要コンテンツを抽出する方法であって、
前記ウェブページ上のアイテムを識別してクラス分けすることと、
候補のリストを作成することと、
候補のスコアを計算することと、
トップスコア候補を選択することと、
前記トップスコア候補に対してクリーンアップ処理を行うことと、
前記トップスコア候補に対して最終ページ処理を行うことと、を含む方法。
【請求項２】
候補のスコアは、サイズに基づいて分類されたパラグラフ及び画像の数に応じて変化する、請求項１に記載の方法。
【請求項３】
ＣＪＫ（中国語−日本語−韓国語）テキストのワード長は、そのテキスト内の句読点に基づいて判定される、請求項２に記載の方法。
【請求項４】
候補のスコアを計算することは、下記数１の式を用いて初期スコアを判定することを含み、
Ｎ５−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の５行・パラグラフの数であり、Ｎ８０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の８０ワード・パラグラフの数であり、Ｎ３−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の３行・パラグラフの数であり、Ｎ５０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の５０ワード・パラグラフの数であり、Ｎｌａｒｇｅ−ｉｍａｇｅｓは、少なくとも５０Ｋピクセルを含む画像又は少なくとも３５０ピクセルの幅及び少なくとも７５ピクセルの高さを有する画像の数であり、Ｎｓｋｉｐｐｅｄ−ｉｍａｇｅｓは５×５を超えないサイズを有する画像又はブラックリストに挙げられたか若しくは隔離されたサイトの少なくとも一つへの参照としてウェブページ上に設けられた画像の数であり、また、他のすべての画像はＮｓｍａｌｌ−ｉｍａｇｅｓにカウントされる、請求項２に記載の方法。
【数１】
2015502603.tif 000031
【請求項５】
候補のスコアは、コンテナ及びピースの数に基づいて修正され、
コンテナは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素であり、
ピースは、他の候補を含まない候補である、請求項２に記載の方法。
【請求項６】
候補のスコアは下記数２の式を用いて修正される、請求項５に記載の方法。
【数２】
2015502603.tif 000032
【請求項７】
候補のスコアは、テキスト及びリンクの密度に対応する比に基づいて修正される、請求項５に記載の方法。
【請求項８】
前記比は、全体のレギュラーテキストの長さに対する前記候補のレギュラーテキストの長さの比と、全体のレギュラーテキストのワード数に対する前記候補のレギュラーテキストのワード数の比と、全体のレギュラーテキストの長さに対する前記候補より上にあるレギュラーテキストの長さの比と、全体のレギュラーテキストのワード数に対する前記候補より上にあるレギュラーテキストのワード数の比と、を含む、請求項７に記載の方法。
【請求項９】
候補のスコアは下記数３の式を用いて修正され、
Ｐｅｒｃｅｎｔａｇｅｎ及びｒａｔｉｏｄｅｇｒｅｅは、ｎ個の比それぞれについて経験的に予め決定された所定の値である、請求項８に記載の方法。
【数３】
2015502603.tif 000033
【請求項１０】
前記トップスコア候補の選択に続いて前記トップスコア候補が所定の基準に合致しているかを判定することと、
前記トップスコア候補が所定の基準に合致しない場合に別のトップスコア候補を選択すべきかを判定することと、を更に含む、請求項１に記載の方法。
【請求項１１】
第１の数式セットが、前記トップスコア候補を判定するために使用され、
第２の別の数式セッが、別のトップスコア候補を選択すべきかを判定するために使用される、請求項１０に記載の方法。
【請求項１２】
前記第２の数式セットを使用することが前記第１の数式セットを使用した場合と同様なトップスコア候補の結果になる場合は、別のトップスコア候補は使用されない、請求項１１に記載の方法。
【請求項１３】
前記所定の基準は、前記トップスコア候補が２５個よりも少ない埋め込みコンテナを有しているか（ここで、コンテナは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素である）と、前記トップスコア候補が他の埋め込み候補を有していないかと、前記トップスコア候補が他の埋め込み候補を含む３個以下の埋め込み候補を有しているかとからなる群から選択される、請求項１０に記載の方法。
【請求項１４】
クリーンアップ処理を行うことは、浮動要素、リンクボックス、ナビゲーションパネル及び未知のソースからのビデオを取り除くことを含む、請求項１に記載の方法。
【請求項１５】
クリーンアップ処理を行うことは、使用可能なＨＴＭＬタグ及び属性のみ使用し元のページ書式中にある文体上の欠陥及び不要な要素を無視することによって前記トップスコア候補を新たなＨＴＭＬページとして再記述することにより、前記トップスコア候補を再書式設定することを含む、請求項１に記載の方法。
【請求項１６】
表示されたトップスコア候補の部分を利用者が指示することと、前記利用者によって指示された部分をクリップすること、とを更に含み、前記部分は後に他のソフトウェアによって使用される、請求項１に記載の方法。
【請求項１７】
一時的でないコンピュータ読み取り可能な媒体で提供され、ウェブページから主要コンテンツを抽出するコンピュータソフトウェアであって、
当該ソフトウェアは、
前記ウェブページ上のアイテムを識別してクラス分けする実行可能コードと、
候補のリストを作成する実行可能コードと、
候補のスコアを計算する実行可能コードと、
トップスコア候補を選択する実行可能コードと、
前記トップスコア候補に対してクリーンアップ処理を行う実行可能コードと、
前記トップスコア候補に対して最終ページ処理を行う実行可能なコードと、
を有するコンピュータソフトウェア。
【請求項１８】
候補のスコアは、サイズに基づいて分類されたパラグラフ及び画像の数に応じて変化する、請求項１７に記載のコンピュータソフトウェア。
【請求項１９】
ＣＪＫ（中国語−日本語−韓国語）テキストのワード長は、そのテキスト内に含まれる句読点に基づいて判定される、請求項１８に記載のコンピュータソフトウェア。
【請求項２０】
候補のスコアを計算する実行可能なコードは、下記数４の式を用いて初期スコアを判定し、
Ｎ５−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の５行・パラグラフの数であり、Ｎ８０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の８０ワード・パラグラフの数であり、Ｎ３−ｌｉｎｅ−ｐａｒａｇｒａｐｈｓは前記候補内の３行・パラグラフの数であり、Ｎ５０−ｗｏｒｄ−ｐａｒａｇｒａｐｈｓは前記候補内の５０ワード・パラグラフの数であり、Ｎｌａｒｇｅ−ｉｍａｇｅｓは、少なくとも５０Ｋピクセルを含む画像又は少なくとも３５０ピクセルの幅及び少なくとも７５ピクセルの高さを有する画像の数であり、Ｎｓｋｉｐｐｅｄ−ｉｍａｇｅｓは５×５を超えないサイズを有する画像又はブラックリストに挙げられたか若しくは隔離されたサイトの少なくとも一つへの参照としてウェブページ上に設けられた画像の数であり、他のすべての画像はＮｓｍａｌｌ−ｉｍａｇｅｓにカウントされる、請求項１８に記載のコンピュータソフトウェア。
【数４】
2015502603.tif 000034
【請求項２１】
候補のスコアは、コンテナ及びピースの数に基づいて修正され、
コンテナは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素であり、
ピースは、他の候補を含まない候補である、請求項１８に記載のコンピュータソフトウェア。
【請求項２２】
候補のスコアは下記数５の式を用いて修正される、請求項２１に記載のコンピュータソフトウェア。
【数５】
2015502603.tif 000035
【請求項２３】
候補のスコアは、テキスト及びリンクの密度に対応する比に基づいて修正される、請求項２１に記載のコンピュータソフトウェア。
【請求項２４】
前記比は、全体のレギュラーテキストの長さに対する前記候補のレギュラーテキストの長さの比と、全体のレギュラーテキストのワード数に対する前記候補のレギュラーテキストのワード数の比と、全体のレギュラーテキストの長さに対する前記候補より上にあるレギュラーテキストの長さの比と、全体のレギュラーテキストのワード数に対する前記候補より上にあるレギュラーテキストのワード数の比と、を含む、請求項２３に記載のコンピュータソフトウェア。
【請求項２５】
候補のスコアは下記数６の式を用いて修正され、
Ｐｅｒｃｅｎｔａｇｅｎ及びｒａｔｉｏｄｅｇｒｅｅは、ｎ個の比それぞれについて経験的に予め決定された所定の値である、請求項２４に記載のコンピュータソフトウェア。
【数６】
2015502603.tif 000036
【請求項２６】
前記トップスコア候補の選択に続いて前記トップスコア候補が所定の基準に合致しているかを判定する実行可能なコードと、
前記トップスコア候補が所定の基準に合致しない場合に別のトップスコア候補を選択すべきかを判定する実行可能なコードと、を更に有する、請求項１７に記載のコンピュータソフトウェア。
【請求項２７】
第１の数式セットが、前記トップスコア候補を判定するために使用され、
第２の別の数式セットが、別のトップスコア候補を選択すべきかを判定するために使用される、請求項２６に記載のコンピュータソフトウェア。
【請求項２８】
前記第２の数式セットを使用することが前記第１の数式セットを使用した場合と同様なトップスコア候補の結果になる場合は、別のトップスコア候補を使用しない、請求項２７に記載のコンピュータソフトウェア。
【請求項２９】
前記所定の基準は、前記トップスコア候補が２５個よりも少ない埋め込みコンテナを有しているか（ここで、コンテナは、タグ「ｂｏｄｙ」、「ｄｉｖ」、「ｔｄ」、「ｌｉ」、「ａｒｔｉｃｌｅ／ｓｅｃｔｉｏｎ」に関連したウェブページ要素である）と、前記トップスコア候補が他の組み込まれた候補を有していないかと、前記トップスコア候補が他の埋め込み候補を含む３個以下の埋め込み候補を有しているかとからなる群から選択される、請求項２６に記載のコンピュータソフトウェア。
【請求項３０】
クリーンアップ処理を行う実行可能なコードは、浮動要素、リンクボックス、ナビゲーションパネル及び未知のソースからのビデオを取り除く、請求項１７に記載のコンピュータソフトウェア。
【請求項３１】
クリーンアップ処理を行う実行可能なコードは、使用可能なＨＴＭＬタグ及び属性のみ使用し元のページ書式中にある文体上の欠陥及び不要な要素を無視することによって前記トップスコア候補を新たなＨＴＭＬページとして再記述することにより、前記トップスコア候補を再書式設定する、請求項１７に記載のコンピュータソフトウェア。
【請求項３２】
前記利用者によって指示された部分をクリップする実行可能なコードを更に有し、前記部分は後に他のソフトウェアによって使用される、請求項１７に記載のコンピュータソフトウェア。
【請求項３３】
複数のウェブページ上に提供される主要アイテムの互いに独立した個別の部分を識別する方法であって、
前記主要アイテムの部分を含むＵＲＬのパスの空でない最終セグメントを判定することと、
前記ＵＲＬと前記パスの空でない最終セグメント対応する前記ページ上の他のＵＲＬとの間の類似性測度を判定することと、
十分に類似するＵＲＬに対応するウェブページ上の主要アイテムの追加部分を指示するワードに対するウェブリンクテキストを検査することと、
前記類似性測度及び前記追加部分を指示するワードの存在によって、前記複数のウェブページの少なくとも一部に前記主要アイテムの追加部分が提供されているかを判定することと、を含む方法。
【請求項３４】
前記追加部分を指示するワードはページ番号を含む、請求項３３に記載の方法。
【請求項３５】
前記追加部分を指示するワードは「ｎｅｘｔ」を含む、請求項３３に記載の方法。
【請求項３６】
前記類似性測度は、編集距離とレーベンシュタイン距離と最長共通部分文字列の距離とからなる群から選択される、請求項３３に記載の方法。
【請求項３７】
前記部分の一致度を確認することを更に含む、請求項３６に記載の方法。
【請求項３８】
前記部分の一致度を確認することは、前記部分から記事のタイトルを抽出することと、前記記事を先に判定した元のタイトルと比較することと、を含む、請求項３７に記載の方法。
【請求項３９】
一時的でないコンピュータ読み取り可能な媒体で提供され、複数のウェブページ上に提供される主要アイテムの互いに独立した個別の部分を識別するコンピュータソフトウェアであって、
当該ソフトウェアは、
前記主要アイテムの部分を含むＵＲＬのパスの空でない最終セグメントを判定する実行可能なコードと、
前記ＵＲＬと前記パスの空でない最終セグメント対応する前記ページ上の他のＵＲＬとの間の類似性測度を判定する実行可能なコードと、
十分に類似するＵＲＬに対応するウェブページ上の主要アイテムの追加部分を指示するワードに対するウェブリンクテキストを検査する実行可能なコードと、
前記類似性測度及び前記追加部分を指示するワードの存在によって、前記複数のウェブページの少なくとも一部に前記主要アイテムの追加部分が提供されているかを判定する実行可能なコードと、
を有するコンピュータソフトウェア。
【請求項４０】
前記追加部分を指示するワードはページ番号を含む、請求項３９に記載のコンピュータソフトウェア。
【請求項４１】
前記追加部分を指示するワードは「ｎｅｘｔ」を含む、請求項３９に記載のコンピュータソフトウェア。
【請求項４２】
前記類似性測度は、編集距離とレーベンシュタイン距離と最長共通部分文字列の距離とからなる群から選択される、請求項３９に記載のコンピュータソフトウェア。
【請求項４３】
前記部分の一致度を確認する実行可能なコードを更に有する、請求項４２に記載のコンピュータソフトウェア。
【請求項４４】
前記部分の一致度を確認する実行可能なコードは、前記部分から記事のタイトルを抽出し、前記記事を先に判定した元のタイトルと比較する、請求項４３に記載のコンピュータソフトウェア。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
発明の概要
本明細書に記載のシステムによれば、ウェブページから主要コンテンツを抽出することは、前記ウェブページ上のアイテムを識別してクラス分けすることと、候補のリストを作成することと、候補のスコアを計算することと、トップスコア候補を選択することと、前記トップスコア候補に対するクリーンアップ処理を行うことと、前記トップスコア候補に対する最終ページ処理を行うことと、を含む。候補のスコアは、サイズに基づいて分類されたパラグラフ及び画像の数に応じて変化してもよい。ＣＪＫ（中国語−日本語−韓国語）テキストのワード長は、そのテキスト中の句読点に基づいて判定してもよい。候補のスコアを計算することは、次式を用いて初期スコアを判定することを含んでもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
更に、本明細書に記載のシステムによれば、一時的でないコンピュータ読み取り可能な媒体で提供されるコンピュータソフトウェアは、ウェブページから主要コンテンツを抽出する。前記ソフトウェアは、前記ウェブページ上のアイテムを識別してクラス分けする実行可能なコードと、候補のリストを作成する実行可能なコードと、候補のスコアを計算する実行可能なコードと、トップスコア候補を選択する実行可能なコードと、前記トップスコア候補に対するクリーンアップ処理を行う実行可能なコードと、前記トップスコア候補に対する最終ページ処理を行う実行可能なコードと、を含む。候補のスコアは、サイズに基づいて分類されたパラグラフ及び画像の数に応じて変化させてもよい。ＣＪＫ（中国語−日本語−韓国語）テキストのワード長は、そのテキスト中の句読点に基づいて判定してもよい。候補のスコアを計算する実行可能なコードは、次式を用いて初期スコアを判定してもよい。
【国際調査報告】
2015502603.tif 000037
2015502603.tif 000038
2015502603.tif 000039
2015502603.tif 000040