(57)【要約】  画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための、電子デバイスによって実行される方法が開示される。本方法では、ストレージユニットにおいて少なくとも1つのテキスト領域を含む画像がアクセスされ得る。画像において少なくとも1つのテキスト領域が検出され得、少なくとも1つのテキスト領域における少なくとも1つの文字列が認識され得る。さらに、本方法は、複数のウェブページから少なくとも1つのウェブページを選択するステップと、画像のサムネイルと少なくとも1つのウェブページとをリンク付けるステップとを含み得る。
2017535850.tif 000002
【特許請求の範囲】
【請求項１】
画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための、電子デバイスによって実行される方法であって、
ストレージユニットにおいて、少なくとも1つのテキスト領域を含む前記画像にアクセスするステップと、
前記画像において前記少なくとも1つのテキスト領域を検出するステップと、
前記少なくとも1つのテキスト領域における少なくとも1つの文字列を認識するステップと、
前記少なくとも1つの文字列に基づいて複数のウェブページを検索するステップと、
前記複数のウェブページから前記少なくとも1つのウェブページを選択するステップと、
前記画像の前記サムネイルと前記少なくとも1つのウェブページとをリンク付けるステップと
を含む方法。
【請求項２】
前記サムネイルの選択を示す入力を受信するステップと、
前記サムネイルにリンク付けられた前記少なくとも1つのウェブページにアクセスするステップと、
前記電子デバイス上に前記少なくとも1つのウェブページを出力するステップと
をさらに含む、請求項1に記載の方法。
【請求項３】
前記少なくとも1つのウェブページにアクセスするステップは、前記電子デバイスに記憶されているか、またはネットワークを介して検索されている前記少なくとも1つのウェブページにアクセスするステップを含む、請求項2に記載の方法。
【請求項４】
前記複数のウェブページを検索するステップは、
前記少なくとも1つの文字列から検索クエリを生成するステップと、
前記検索クエリに基づいて前記複数のウェブページを受信するステップと
を含む、請求項1に記載の方法。
【請求項５】
前記少なくとも1つの文字列は、複数の単語を含み、
前記少なくとも1つの文字列から前記検索クエリを生成するステップは、前記画像における前記複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、前記複数の単語から少なくとも1つの単語を選択するステップを含む、請求項4に記載の方法。
【請求項６】
前記サムネイルと前記少なくとも1つのウェブページとをリンク付けるステップは、前記少なくとも1つのウェブページと前記サムネイルにおける前記少なくとも1つのテキスト領域に関連する少なくとも1つの部分とをリンク付けるステップを含む、請求項1に記載の方法。
【請求項７】
前記複数のウェブページから前記少なくとも1つのウェブページを選択するステップは、前記複数のウェブページから、前記画像のコンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択するステップを含む、請求項1に記載の方法。
【請求項８】
前記画像の前記コンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択するステップは、
前記画像の前記コンテンツと前記複数のウェブページのコンテンツとの間の類似性に基づいて、前記複数のウェブページに少なくとも1つのランクを割り当てるステップと、
前記少なくとも1つのランクに基づいて前記少なくとも1つのウェブページを選択するステップと
を含む、請求項7に記載の方法。
【請求項９】
前記画像の前記コンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択するステップは、
前記画像における前記少なくとも1つのテキスト領域を示す第1の特徴および前記複数のウェブページにおけるテキストを示す複数の第2の特徴を抽出するステップと、
前記第1の特徴および前記複数の第2の特徴に基づいて前記少なくとも1つのウェブページを選択するステップと
を含む、請求項7に記載の方法。
【請求項１０】
前記画像の前記サムネイルと前記少なくとも1つのウェブページとをリンク付けるステップは、前記画像の前記サムネイルに前記少なくとも1つのウェブページの一部分をリンク付けるステップを含み、
前記少なくとも1つのウェブページの前記一部分におけるコンテンツは、前記画像におけるコンテンツに類似する、請求項1に記載の方法。
【請求項１１】
画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための電子デバイスであって、
ストレージユニットにおいて、少なくとも1つのテキスト領域を含む前記画像にアクセスし、前記画像において前記少なくとも1つのテキスト領域を検出するように構成されたテキスト領域検出ユニットと、
前記少なくとも1つのテキスト領域における少なくとも1つの文字列を認識するように構成されたテキスト認識ユニットと、
前記少なくとも1つの文字列に基づいて複数のウェブページを検索するように構成されたウェブページ検索ユニットと、
前記複数のウェブページから前記少なくとも1つのウェブページを選択するように構成されたウェブページ選択ユニットと、
前記画像の前記サムネイルと前記少なくとも1つのウェブページとをリンク付けるように構成された画像リンク付けユニットと
を含む電子デバイス。
【請求項１２】
前記サムネイルの選択を示す入力を受信し、前記電子デバイス上に前記少なくとも1つのウェブページを出力するように構成されたI/Oユニットをさらに含み、前記サムネイルにリンク付けられた前記少なくとも1つのウェブページは、前記電子デバイスによってアクセスされる、請求項11に記載の電子デバイス。
【請求項１３】
前記電子デバイスは、前記電子デバイスに記憶されているか、またはネットワークを介して検索されている前記少なくとも1つのウェブページにアクセスするように構成される、請求項12に記載の電子デバイス。
【請求項１４】
前記ウェブページ検索ユニットは、
前記少なくとも1つの文字列から検索クエリを生成するように構成されたクエリ生成ユニットと、
前記検索クエリに基づいて前記複数のウェブページを受信するように構成されたウェブページフェッチユニットと
を含む、請求項11に記載の電子デバイス。
【請求項１５】
前記少なくとも1つの文字列は、複数の単語を含み、
前記クエリ生成ユニットは、前記画像における前記複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、前記複数の単語から少なくとも1つの単語を選択するように構成される、請求項14に記載の電子デバイス。
【請求項１６】
前記画像リンク付けユニットは、前記少なくとも1つのウェブページと前記サムネイルにおける前記少なくとも1つのテキスト領域に関連する少なくとも1つの部分とをリンク付けるように構成される、請求項11に記載の電子デバイス。
【請求項１７】
前記ウェブページ選択ユニットは、前記複数のウェブページから、前記画像のコンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択するように構成される、請求項11に記載の電子デバイス。
【請求項１８】
前記ウェブページ選択ユニットは、
前記画像の前記コンテンツと前記複数のウェブページのコンテンツとの間の類似性に基づいて、前記複数のウェブページに少なくとも1つのランクを割り当てるように構成されたランク割当てユニットと、
前記少なくとも1つのランクに基づいて前記少なくとも1つのウェブページを選択するように構成されたウェブページ出力ユニットと
を含む、請求項17に記載の電子デバイス。
【請求項１９】
前記ウェブページ選択ユニットは、
前記画像における前記少なくとも1つのテキスト領域を示す第1の特徴および前記複数のウェブページにおけるテキストを示す複数の第2の特徴を抽出するように構成された特徴抽出ユニットと、
前記第1の特徴および前記複数の第2の特徴に基づいて前記少なくとも1つのウェブページを選択するように構成されたウェブページ出力ユニットと
を含む、請求項17に記載の電子デバイス。
【請求項２０】
前記画像リンク付けユニットは、前記画像の前記サムネイルに前記少なくとも1つのウェブページの一部分をリンク付けるように構成され、
前記少なくとも1つのウェブページの前記一部分におけるコンテンツは、前記画像におけるコンテンツに類似する、請求項11に記載の電子デバイス。
【請求項２１】
画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための電子デバイスであって、
ストレージユニットにおいて、少なくとも1つのテキスト領域を含む前記画像にアクセスするための手段と、
前記画像において前記少なくとも1つのテキスト領域を検出するための手段と、
前記少なくとも1つのテキスト領域における少なくとも1つの文字列を認識するための手段と、
前記少なくとも1つの文字列に基づいて複数のウェブページを検索するための手段と、
前記複数のウェブページから前記少なくとも1つのウェブページを選択するための手段と、
前記画像の前記サムネイルと前記少なくとも1つのウェブページとをリンク付けるための手段と
を含む電子デバイス。
【請求項２２】
前記複数のウェブページを検索するための前記手段は、
前記少なくとも1つの文字列から検索クエリを生成するための手段と、
前記検索クエリに基づいて前記複数のウェブページを受信するための手段と
を含む、請求項21に記載の電子デバイス。
【請求項２３】
前記少なくとも1つの文字列は、複数の単語を含み、
前記少なくとも1つの文字列から前記検索クエリを生成するための前記手段は、前記画像における前記複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、前記複数の単語から少なくとも1つの単語を選択するための手段を含む、請求項22に記載の電子デバイス。
【請求項２４】
前記複数のウェブページから前記少なくとも1つのウェブページを選択するための前記手段は、前記複数のウェブページから、前記画像のコンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択するための手段を含む、請求項21に記載の電子デバイス。
【請求項２５】
前記画像の前記コンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択するための前記手段は、
前記画像の前記コンテンツと前記複数のウェブページのコンテンツとの間の類似性に基づいて、前記複数のウェブページに少なくとも1つのランクを割り当てるための手段と、
前記少なくとも1つのランクに基づいて前記少なくとも1つのウェブページを選択するための手段と
を含む、請求項24に記載の電子デバイス。
【請求項２６】
電子デバイスの少なくともプロセッサに、
ストレージユニットにおいて、少なくとも1つのテキスト領域を含む画像にアクセスし、
前記画像において前記少なくとも1つのテキスト領域を検出し、
前記少なくとも1つのテキスト領域における少なくとも1つの文字列を認識し、
前記少なくとも1つの文字列に基づいて複数のウェブページを検索し、
前記複数のウェブページから少なくとも1つのウェブページを選択し、
前記画像のサムネイルと前記少なくとも1つのウェブページとをリンク付ける
動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体。
【請求項２７】
前記電子デバイスの少なくとも前記プロセッサに、
前記少なくとも1つの文字列から検索クエリを生成し、
前記検索クエリに基づいて前記複数のウェブページを受信する
動作を実行させる命令をさらに含む、請求項26に記載の非一時的コンピュータ可読記憶媒体。
【請求項２８】
前記少なくとも1つの文字列は、複数の単語を含み、
前記少なくとも1つの文字列から前記検索クエリを生成することは、前記画像における前記複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、前記複数の単語から少なくとも1つの単語を選択することを含む、請求項27に記載の非一時的コンピュータ可読記憶媒体。
【請求項２９】
前記複数のウェブページから前記少なくとも1つのウェブページを選択することは、前記複数のウェブページから、前記画像のコンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択することを含む、請求項26に記載の非一時的コンピュータ可読記憶媒体。
【請求項３０】
前記画像の前記コンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択することは、
前記画像の前記コンテンツと前記複数のウェブページのコンテンツとの間の類似性に基づいて、前記複数のウェブページに少なくとも1つのランクを割り当てることと、
前記少なくとも1つのランクに基づいて前記少なくとも1つのウェブページを選択することと
を含む、請求項29に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、「LINKING IMAGE TO WEB PAGE」と題する米国仮特許出願第62/062,715号、および2015年4月17日に出願された「LINKING THUMBNAIL OF IMAGE TO WEB PAGE」と題する米国特許出願第14/690,163号による優先権の利益を主張し、これらの出願の内容全体が参照により本明細書に組み込まれる。
【０００２】
本開示は一般に画像処理に関し、より詳細には、電子デバイスにおいてテキストオブジェクトを含む画像を処理することに関する。
【背景技術】
【０００３】
近年、スマートフォン、ウェアラブルコンピュータ、タブレットコンピュータなどのような電子デバイスの使用が普及してきた。そのような電子デバイスは多くの場合、種々のタイプのシーンおよびオブジェクトの写真をキャプチャし記憶するためにユーザによって使用され得るカメラまたはカメラモジュールを備えている。写真がキャプチャされ記憶されると、そのような電子デバイスは、ユーザが写真を閲覧し、自身の好みに従って編集することを可能にし得る。
【０００４】
従来の電子デバイスはまた、有線またはワイヤレス通信ネットワークを介して外部のサーバまたはデバイスと通信する機能を提供し得る。たとえば、ユーザがそのような電子デバイスを操作して、情報を求めてインターネットをブラウズし、電子デバイス上に情報を表示することがある。そのような情報を表示している間に、ユーザは、表示された情報の画像をキャプチャし、電子デバイスに画像を記憶することがある。また、ユーザはそのような電子デバイスを使用して、テキストを含み得る複数の画像(たとえば、写真)を、記憶するために通信ネットワークを介して外部のデバイスまたはサーバから受信することがある。
【０００５】
そのような画像を記憶した後、ユーザはその後、画像を選択し、電子デバイス上で閲覧することがある。画像を閲覧すると、ユーザは、画像に関係する情報を求めてインターネットを検索したいと思うことがある。だが、そのような場合、ユーザは通常、画像からの情報を使用して、インターネット上で検索動作を手動で実行することによって情報を取得する必要がある。そのような検索動作を手動で実行することは、ユーザにとって不便であり、時間がかかることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示は、画像のサムネイルと画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページとをリンク付けることに関する。
【課題を解決するための手段】
【０００７】
本開示の一態様によれば、画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための、電子デバイスによって実行される方法が開示される。本方法では、ストレージユニットにおいて少なくとも1つのテキスト領域を含む画像がアクセスされ得る。画像において少なくとも1つのテキスト領域が検出され得、少なくとも1つのテキスト領域における少なくとも1つの文字列が認識され得る。少なくとも1つの文字列に基づいて、次いで複数のウェブページが検索され得る。複数のウェブページから少なくとも1つのウェブページが選択され得、画像のサムネイルと少なくとも1つのウェブページとがリンク付けられ得る。本開示はまた、本方法に関係する装置、デバイス、手段の組合せ、およびコンピュータ可読媒体について説明する。
【０００８】
本開示の別の態様によれば、画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための電子デバイスが開示される。電子デバイスは、テキスト領域検出ユニット、テキスト認識ユニット、ウェブページ検索ユニット、ウェブページ選択ユニット、および画像リンク付けユニットを含む。テキスト領域検出ユニットは、ストレージユニットにおいて少なくとも1つのテキスト領域を含む画像にアクセスし、画像において少なくとも1つのテキスト領域を検出するように構成され得る。さらに、テキスト認識ユニットは、少なくとも1つのテキスト領域における少なくとも1つの文字列を認識するように構成され得る。ウェブページ検索ユニットは、少なくとも1つの文字列に基づいて複数のウェブページを検索するように構成され得、ウェブページ選択ユニットは、複数のウェブページから少なくとも1つのウェブページを選択するように構成され得る。画像リンク付けユニットは、画像のサムネイルと少なくとも1つのウェブページとをリンク付けるように構成され得る。
【０００９】
本開示の実施形態は、以下の詳細な説明を参照しながら、添付の図面とともに読むことで理解されよう。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態による、複数の画像を記憶し、それらにアクセスするように構成され得る電子デバイスを示す図である。
【図２】本開示の一実施形態による、電子デバイスにおいてそれぞれ、複数の画像に関連する複数のサムネイルからサムネイルを選択し、選択されたサムネイルに関連するウェブページにアクセスする流れ図である。
【図３】本開示の一実施形態による、画像のサムネイルと画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページとをリンク付けるように構成された電子デバイスのブロック図である。
【図４】本開示の一実施形態による、コンテンツを有する画像のサムネイルと画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページとをリンク付けるための、電子デバイスによって実行される方法のフローチャートである。
【図５】本開示の一実施形態による、画像の少なくとも1つのテキスト領域における1つまたは複数の文字列をテキスト認識ユニットから受信し、文字列に基づいて複数のウェブページを検索するように構成されたウェブページ検索ユニットのブロック図である。
【図６】本開示の一実施形態による、サムネイルに関連する画像におけるコンテンツおよび複数のウェブページのコンテンツを受信し、複数のウェブページから1つまたは複数のウェブページを選択するように構成されたウェブページ選択ユニットのブロック図である。
【図７】本開示のいくつかの実施形態による、画像から第1の特徴を抽出し、検索された複数のウェブページから複数の第2の特徴を抽出するように構成された特徴抽出ユニットのブロック図である。
【図８】本開示の一実施形態による、画像の少なくとも1つのテキスト領域における少なくとも1つの文字列に基づいて複数のウェブページを検索し、複数のウェブページから少なくとも1つのウェブページを選択するための、電子デバイスによって実行される方法のフローチャートである。
【図９】本開示の一実施形態による、ウェブページにアクセスし、ウェブページの画像をキャプチャして、画像のサムネイルをウェブページにリンク付けるように構成された電子デバイスを示す図である。
【図１０】本開示の一実施形態による、ウェブページの画像をキャプチャし、画像のサムネイルをウェブページにリンク付けるための、電子デバイスによって実行される方法のフローチャートである。
【図１１】画像のサムネイルと画像に関して検索され選択された少なくとも1つのウェブページとをリンク付けるための本開示の方法および装置がいくつかの実施形態に従って実装され得る、ワイヤレス通信システムにおけるモバイルデバイスのブロック図である。
【図１２】いくつかの実施形態に従って実装される、1つまたは複数のオブジェクトを含む複数の画像、分類子データベース、文字情報データベース、辞書データベースなどを検索し提供するための、前に説明したサーバのいずれか1つであり得る、サーバシステムを示すブロック図である。
【発明を実施するための形態】
【００１１】
次に、添付の図面にその例が示されている、様々な実施形態を詳細に参照する。以下の詳細な説明では、本主題の完全な理解を与えるために多数の具体的な詳細が記載される。ただし、本主題はこれらの具体的な詳細なしに実施され得ることが当業者には明らかであろう。他の事例では、様々な実施形態の態様を不必要に不明瞭にしないように、よく知られている方法、手順、システム、および構成要素については詳細に説明していない。
【００１２】
図1は、本開示の一実施形態による、複数の画像140、150、および160を記憶し、それらにアクセスするように構成され得る電子デバイス120を示す。画像140、150、および160は、画像センサーを介してキャプチャされ、電子デバイス120のストレージユニットに記憶されること、または通信ネットワークを介して外部デバイスから受信されることがある。ここに示す電子デバイス120は、スマートフォン、デジタルカメラ(たとえば、DSLRカメラ)、ウェアラブルコンピュータ(たとえば、スマートグラス、スマートウォッチなど)、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ゲーミングデバイスなどのような、画像処理能力を備えた任意の適切なデバイスであり得る。電子デバイス120は、画像140、150、および160を含むものとして示されているが、電子デバイス120は、電子デバイス120のストレージユニットに任意の適切な数の画像を記憶すること、または外部デバイスからそのような画像を受信することができる。
【００１３】
画像140、150、および160は、テキストオブジェクト(たとえば、テキストを含むオブジェクト)および非テキストオブジェクト(たとえば、テキストを含まないオブジェクト)のような1つまたは複数のオブジェクトを含み得る。図1では、画像140、150、および160の各々は、少なくとも1つのテキスト領域を有するテキストオブジェクト(たとえば、ドキュメント、ウェブページまたはウェブドキュメントなど)を含み得る。たとえば、画像140は、それぞれ文字列「HEADLINE1」(たとえば、タイトル、見出しなど)および「BODY1」(たとえば、本文、コンテンツ、句、文、段落など)を含み得る複数のテキスト領域142および144を有する記事を含み得る。同様に、画像150は、それぞれ文字列「HEADLINE2」および「BODY2」を含み得る複数のテキスト領域152および154を有する記事を含み得る。同じく、画像160は、それぞれ文字列「MAGAZINE」および「AUTHOR」を含み得る複数のテキスト領域162および164を有する雑誌の表紙を含み得る。画像140、150、および160は、記事および雑誌のようなドキュメントとして示されているが、それらは、ウェブページまたはウェブドキュメントのようなテキスト、道路標識、地図、メニューなどを含むか、または示す任意のオブジェクトまたはアイテムの画像であってよい。
【００１４】
電子デバイス120は、テキストを有する少なくとも1つのオブジェクトを含む画像140〜160にアクセスし、画像140〜160の各々における少なくとも1つの文字列を認識するために画像140〜160に対してテキスト認識を実行するように構成され得る。一実施形態では、電子デバイス120は、画像140〜160の各々において少なくとも1つのテキスト領域を検出し、少なくとも1つのテキスト領域の各々における少なくとも1つの文字列を認識することができる。たとえば、電子デバイス120は、画像140においてテキスト領域142および144を検出し、それぞれテキスト領域142および144における文字列「HEADLINE1」および「BODY1」を認識することができる。
【００１５】
画像140〜160の各々における少なくとも1つの文字列を認識すると、電子デバイス120は、少なくとも1つの認識された文字列に基づいて複数のウェブページを検索するように構成され得る。一実施形態では、電子デバイス120は、画像140〜160の各々における少なくとも1つの文字列に含まれ得る複数の単語から少なくとも1つの単語を選択することによって、検索クエリを生成することができる。たとえば、電子デバイス120は、単語nグラム、単語ヒストグラムなどのような任意の適切な統計モデリングを使用して、画像140の少なくとも1つの文字列において認識された単語の発生回数を判断し、発生回数に基づいて単語から少なくとも1つの単語を選択することができる。画像140における少なくとも1つの文字列から少なくとも1つの単語を選択すると、電子デバイス120は、少なくとも1つの選択された単語を検索クエリとして使用して、内部的または外部的に通信ネットワークを介して提供され得る任意の適切な検索エンジンを使用して複数のウェブページを検索することができる。本明細書で使用する「ウェブページ」という用語は、ブラウザアプリケーションを使用してインターネットまたはイントラネットを介してアクセス可能であるアドレス(たとえば、URL)に関連する任意のウェブドキュメントを指し得、テキスト、画像、地図、ビデオ、またはそれらの任意の組合せを含み得る。検索に基づいて、電子デバイス120は、複数のウェブページを取り出すことができ、それらの各々が、画像140、150、および160の各々に関する検索クエリにおける1つまたは複数の単語に関連付けられ得る。
【００１６】
画像140〜160の各々に関する取り出されたウェブページのうちで、電子デバイス120は、検索クエリが生成された画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページを選択することができる。本明細書で使用する「コンテンツ」という用語は、画像またはウェブページに含まれる任意のデータまたは情報を指し得、また、画像またはウェブページにおけるオブジェクト(たとえば、テキストオブジェクト、非テキストオブジェクトなど)のレイアウト、特性、または配置を示し得る。たとえば、画像またはウェブページのコンテンツは、1つまたは複数のテキストオブジェクトの単語、文字サイズ、線幅、ロケーション、タイプなどを含み得る。「類似する」または「類似性」という用語は、あらかじめ決定され得る、類似性の指定された程度または値を上回る画像およびウェブページのコンテンツ間の類似性の程度または値を指し得る。一実施形態では、画像とウェブページとの間の類似性は、図7の参照番号720、730、および740を参照しながら詳細に説明するように、構文解析、字句解析、および/または意味解析のような自然言語処理を実行することによって判断され得る。たとえば、電子デバイス120は、画像140における文字列「HEADLINE1」に関連する複数のウェブページを検索し、ウェブページのうちで最も高い類似性を有するウェブページを選択することができる。追加または代替として、電子デバイス120は、複数のウェブページにアクセスし、類似性しきい値を上回る類似性の程度または値を有する指定数のウェブページを選択することができる。
【００１７】
画像140〜160の各々に関して少なくとも1つのウェブページを選択した後、電子デバイス120は、画像140〜160の各々のサムネイルと少なくとも1つのウェブページとをリンク付けるように構成され得る。一実施形態では、電子デバイス120は、元の画像140、150、および160の複数のサムネイルを生成し、電子デバイス120のディスプレイスクリーン上にサムネイルを表示することができる。本明細書で使用する「サムネイル」という用語は、元の画像の縮小サイズ画像または一部分を指し得る。一実施形態では、画像に関して検索され選択された少なくとも1つのウェブページの数が1つである場合、電子デバイス120は、画像のサムネイルまたは認識された文字列のようなサムネイルの一部分をウェブページにリンク付けることができる。別の実施形態では、2つ以上のウェブページが検索され選択された場合、電子デバイス120は、選択されたウェブページのリストを生成することができ、次いで、選択されたウェブページが画像のサムネイルまたは認識された文字列のようなサムネイルの一部分にリンク付けられ得る。このようにして、図1における画像140、150、および160のサムネイルの各々またはサムネイルの各々における一部分(たとえば、文字列)が1つまたは複数のウェブページにリンク付けられ得る。いくつかの実施形態によれば、画像のサムネイルまたはサムネイルにおける認識された文字列が1つまたは複数のウェブページに、サムネイルのメタデータとしてウェブページに関するリンク情報(たとえば、1つまたは複数のURLなど)をサムネイルにタグ付けることによってリンク付けられ得る。
【００１８】
画像のサムネイルまたはサムネイルにおける一部分が1つまたは複数のウェブページにリンク付けられると、サムネイルは、サムネイルにリンク付けられた1つまたは複数のウェブページにアクセスするために選択され得る。図2は、本開示の一実施形態による、図1の電子デバイス120における、それぞれ画像140、150、および160に関連する複数のサムネイル240、250、および260からサムネイル250を選択し、選択されたサムネイル250に関連するウェブページ220にアクセスすることを示す。最初に、電子デバイス120は、電子デバイス120のディスプレイスクリーン210上に複数のサムネイル240、250、および260を表示することができる。サムネイル240、250、および260のうちで、電子デバイス120のユーザは、複数のテキスト領域252および254を含むサムネイル250を選択することができる。一実施形態では、ユーザは、タッチセンシティブスクリーンであり得るディスプレイスクリーン210上でサムネイル250またはサムネイル250の一部分(たとえば、テキスト領域252もしくは254における文字列)を選択することができる。
【００１９】
ディスプレイスクリーン210上でサムネイル250またはサムネイル250の一部分を選択すると、電子デバイス120は、通信ネットワークを介してサムネイル250にリンク付けられているウェブページ220にアクセスし、ディスプレイスクリーン210上にウェブページ220を表示することができる。ウェブページ220は、サムネイル250との類似性に基づいて選択され、リンク付けられているので、ウェブページ220のコンテンツは、サムネイル250のコンテンツにかなり類似し、サムネイル250の文字列「HEADLINE2」および「BODY2」を含み得る。代替的に、電子デバイス120は、複数のウェブページが選択され、サムネイル250にリンク付けられた場合、サムネイル250に関連するウェブページのリストを表示することができる。ウェブページのリストは、ウェブページに関するリンク情報を含み得る。ウェブページのリストから、ユーザは、ウェブページのうちの1つを選択して、選択されたウェブページにアクセスすることができる。
【００２０】
図3は、本開示の一実施形態による、画像のサムネイルと画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページとをリンク付けるように構成された電子デバイス120のブロック図である。電子デバイス120は、画像センサー310、ストレージユニット320、I/Oユニット330、通信ユニット340、およびプロセッサ350を含み得る。プロセッサ350は、サムネイル生成ユニット352、テキスト領域検出ユニット354、テキスト認識ユニット356、ウェブページ検索ユニット358、ウェブページ選択ユニット360、ウェブページキャプチャユニット362、および画像リンク付けユニット364を含み得る。電子デバイス120は、通信ネットワーク370を介して通信ユニット340を通じて、1つまたは複数の画像を記憶する複数の外部デバイス(たとえば、サーバなど)と通信し得る。
【００２１】
画像センサー310は、テキストオブジェクトまたは非テキストオブジェクトのようなオブジェクトの画像をキャプチャするように構成され得る。画像センサー310は、テキストを含み得るオブジェクトの画像をキャプチャ、感知、および/または検出するために使用され得る任意の適切なデバイスであり得る。追加または代替として、テキストを含むオブジェクトの画像が、I/Oユニット330を介して、または通信ネットワーク370を介して通信ユニット340を通じて外部デバイスから受信され得る。
【００２２】
ストレージユニット320は、テキストを含む1つまたは複数の画像、画像の1つまたは複数のサムネイル、ならびに画像およびサムネイルのメタデータを記憶するように構成され得る。画像およびサムネイルの各々は、1つまたは複数のテキスト領域を含むことができ、それらの各々は、少なくとも1つの文字列のようなテキストを含む。本明細書で使用する、画像または画像のサムネイルのメタデータは、画像もしくはサムネイルについて説明するか、または画像もしくはサムネイルに関係するデータを示し、画像またはサムネイルに関するサイズ情報、色深度情報、解像度情報、時間情報、構成情報などを含み得る。一実施形態では、ストレージユニット320におけるテキストを含む画像およびサムネイルが、画像におけるテキストに関連する少なくとも1つのウェブページに画像のサムネイルをリンク付けるために、プロセッサ350によってアクセスされ得る。この場合、少なくとも1つのウェブページに関するリンク情報(たとえば、URLなど)が、画像またはサムネイルのメタデータとして記憶され得る。メタデータによりユーザ110は、サムネイルを選択したことに応答して少なくとも1つのウェブページにアクセスすることが可能になり得る。ストレージユニット320は、リモートストレージまたはローカルストレージであってよく、RAM(ランダムアクセスメモリ)、ROM(読取り専用メモリ)、EEPROM(電気的消去可能プログラマブル読取り専用メモリ)、フラッシュメモリ、またはSSD(ソリッドステートドライブ)のような、任意の適切なストレージまたはメモリデバイスを使用して実装され得る。
【００２３】
ストレージユニット320はまた、シーンの画像における1つまたは複数のテキスト領域を識別するためにテキストおよび/または非テキストを分類し得る分類子データベースを記憶することができる。一実施形態では、分類子データベースは、複数の言語(たとえば、英語、フランス語など)のための、所与のテキストがそれらの言語のうちの1つに関連付けられる確率を判断するために使用され得る複数の確率モデルを含み得る。また、ストレージユニット320は、複数の言語に関連する少なくとも1つの文字列を認識するために使用され得る文字情報データベースを記憶することができる。言語の各々に関して、文字情報データベースは、言語において使用される複数の文字のパターンもしくは幾何学的データ、言語における複数の文字を表すグリフの画像、および/または言語における各個別のグリフに関連する少なくとも1つの特徴を含み得る。少なくとも1つの文字列(たとえば、単語)を認識するために、ストレージユニット320はまた、複数の単語を含み得る複数の言語のための辞書データベースを記憶することができる。さらに、ストレージユニット320は、電話番号、会社名、個人名、住所、電子メールなどのような複数の所定のタイプの文字列を記憶することができる。
【００２４】
I/Oユニット330は、電子デバイス120のユーザからコマンドを受信し、かつ/またはユーザのために情報を出力するように構成され得る。一実施形態では、I/Oユニット330は、I/Oユニット330における(図2に示す)ディスプレイスクリーン210上に表示され得る、画像の複数のサムネイルのうちの1つを選択するためのコマンドまたは入力をユーザ110から受信し得る。たとえば、ユーザ110は、タッチセンシティブスクリーンであり得るディスプレイスクリーン210上で、テキストを含むサムネイルの一部分にタッチして、サムネイルを選択することができる。ディスプレイスクリーン210上でサムネイルが選択されると、選択されたサムネイルにリンク付けられたウェブページがディスプレイスクリーン210上に表示され得る。いくつかの実施形態では、I/Oユニット330は、ディスプレイスクリーン210上に現在表示されているウェブページの画像をキャプチャするためのコマンドまたは入力をユーザから受信し得る。ここに示すI/Oユニット330は、コマンドを受信すること、および/または情報を出力することが可能な任意の適切なデバイスであり得る。一実施形態では、I/Oユニット330は、タッチスクリーン、ボタン、キーパッド、タッチパッドなどのような入力ユニット、およびディスプレイスクリーン210、スピーカー、バイブレータなどのような出力ユニットを含み得る。
【００２５】
プロセッサ350は、画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページに画像をリンク付けて、画像のサムネイルを選択したことに応答して少なくとも1つのウェブページにアクセスするように構成され得る。画像と少なくとも1つのウェブページとをリンク付けるために、ストレージユニット320は、少なくとも1つのウェブページに関するリンク情報にマッピングする画像および/または画像のサムネイルを記憶することができる。たとえば、少なくとも1つのウェブページに関するリンク情報は、サムネイルに関連付けられるか、またはサムネイルのメタデータとして記憶され得る。サムネイルを選択したことに応答して、少なくとも1つのウェブページがI/Oユニット330を介して出力され得る。
【００２６】
プロセッサ350におけるサムネイル生成ユニット352は、少なくとも1つのテキスト領域を含む1つまたは複数の画像をストレージユニット320から受信し、画像の1つまたは複数のサムネイルを生成するように構成され得る。一実施形態では、サムネイル生成ユニット352は、画像のサムネイルを生成するために画像をサイズ変更することができる。たとえば、画像のサムネイルは、画像のサイズを縮小することによって生成され得る。代替的に、サムネイル生成ユニット352は、画像のサムネイルを生成するために画像の一部分をクロッピングすることができる。次いで、画像の生成されたサムネイルは、画像ならびにサムネイルおよび/または画像のメタデータに関連してストレージユニット320に記憶され得る。
【００２７】
プロセッサ350におけるテキスト領域検出ユニット354は、少なくとも1つのテキスト領域を含む1つまたは複数の画像をストレージユニット320から受信し、画像の各々において少なくとも1つのテキスト領域を検出するように構成され得る。少なくとも1つのテキスト領域を有する画像を仮定すれば、ブロブクラスタリング方法、エッジベースの方法、連結成分ベースの方法(connected-component based method)、テクスチャベースの方法などのような任意の適切なテキスト候補抽出方式を使用して、画像において1つまたは複数の候補テキスト領域が検出され得る。一実施形態では、テキスト領域検出ユニット354は、検出された候補テキスト領域のうちの1つまたは複数を、画像における1つまたは複数のテキスト領域として識別することができる。
【００２８】
いくつかの実施形態では、画像において候補テキスト領域を検出すると、テキスト領域検出ユニット354は、候補テキスト領域の各々から特徴のセットを抽出することができる。次いで、テキスト領域検出ユニット354は、ストレージユニット320からの分類子データベースに基づいて、候補テキスト領域の各々に関連する特徴のセットに関する分類スコアを生成することができる。代替的に、分類子データベースは、通信ネットワーク370を介して通信ユニット340を通じて外部デバイスから受信され得る。候補テキスト領域に関連する分類スコアに基づいて、テキスト領域検出ユニット354は、画像における少なくとも1つのテキスト領域を識別することができる。たとえば、画像における候補テキスト領域に関する分類スコアが所定のしきい値スコアを上回る場合、候補テキスト領域は、画像におけるテキスト領域として識別され得る。識別された画像における少なくとも1つのテキスト領域は、プロセッサ350におけるテキスト認識ユニット356に提供され得る。
【００２９】
また、1つまたは複数の画像における少なくとも1つのテキスト領域を識別すると、テキスト領域検出ユニット354は、画像における少なくとも1つのテキスト領域を特徴付けるテキスト領域情報を決定することができる。一実施形態では、テキスト領域検出ユニット354は、少なくとも1つのテキスト領域の文字サイズ、線幅、レイアウト(たとえば、ロケーション)などを判断することによって、少なくとも1つのテキスト領域に関するテキスト領域情報を生成することができる。次いで、テキスト領域情報は、プロセッサ350におけるウェブページ検索ユニット358およびウェブページ選択ユニット360に提供され得る。
【００３０】
プロセッサ350におけるテキスト認識ユニット356は、少なくとも1つの文字列を含む少なくとも1つのテキスト領域をテキスト領域検出ユニット354から受信し、少なくとも1つのテキスト領域における少なくとも1つの文字列を認識するために、少なくとも1つのテキスト領域に対してテキスト認識を実行するように構成され得る。一実施形態では、テキスト認識ユニット356は、少なくとも1つの文字列を認識する際に使用するストレージユニット320における文字情報データベースにアクセスすることができる。少なくとも1つの文字列は、文字情報データベースに基づいて、マトリックスマッチング、特徴マッチングなどのような任意の適切な文字認識方式を使用して認識され得る。
【００３１】
一実施形態では、テキスト認識ユニット356は、少なくとも1つのテキスト領域から識別された文字情報と文字情報データベースとを比較することによって、少なくとも1つのテキスト領域における少なくとも1つの文字列を認識することができる。たとえば、テキスト認識ユニット356は、少なくとも1つのテキスト領域におけるパターンまたはシンボルを識別し、パターンまたはシンボルを、文字情報データベースからの複数の文字に関するパターンまたは幾何学的データと比較することができる。このケースでは、1つまたは複数の識別されたパターンまたはシンボルと指定文字に関するパターンまたは幾何学的データとの間の類似性値が所定のしきい値を上回ると判断された場合、パターンまたはシンボルは指定文字として認識され得る。次いで、認識された文字は、少なくとも1つのテキスト領域における少なくとも1つの文字列として識別され得る。
【００３２】
テキスト認識ユニット356は、少なくとも1つのテキスト領域における認識された少なくとも1つの文字列から1つまたは複数の単語を検出するように構成され得る。いくつかの実施形態では、テキスト認識ユニット356は、任意の適切な文字、シンボル、またはスクリプトにおける単語を分離もしくは区別し得るスペースを検出することによって、少なくとも1つのテキスト領域における単語として文字の列を検出することができる。たとえば、テキスト領域における単語が、文字の列がスペースで終わるときに検出され得る。少なくとも1つのテキスト領域における単語が、ストレージユニット320からアクセスされ得る複数の単語を含む辞書データベースと比較され得る。テキスト領域における検出された単語が辞書データベースにおける単語のうちの1つと同一であるか、または類似している場合、その単語は、少なくとも1つのテキスト領域における少なくとも1つの文字列における単語と判断され得る。
【００３３】
ウェブページ検索ユニット358は、画像における少なくとも1つの文字列をテキスト認識ユニット356から受信し、少なくとも1つの文字列に基づいて複数のウェブページを検索するように構成され得る。このプロセスでは、ウェブページ検索ユニット358は、少なくとも1つの文字列から検索クエリを生成し、検索クエリに基づいてウェブページを受信することができる。一実施形態によれば、ウェブページ検索ユニット358は、画像における少なくとも1つのテキスト領域に関するテキスト領域情報をテキスト領域検出ユニット354から受信し、少なくとも1つのテキスト領域の文字サイズ、線幅、ロケーションなどのようなテキスト領域情報に基づいて、少なくとも1つの文字列から検索クエリを生成することができる。たとえば、検索クエリは、テキスト領域情報に基づいて、複数の単語を含み得る少なくとも1つの文字列から少なくとも1つの単語を選択することによって生成され得る。
【００３４】
いくつかの実施形態では、検索クエリを生成するために、ウェブページ検索ユニット358は、少なくとも1つの文字列に含まれ得る複数の単語から、単語nグラム、単語ヒストグラムなどのような任意の適切な統計モデリング方法を使用して画像における単語の各々の発生回数に基づいて、少なくとも1つの単語を選択することができる。追加または代替として、ウェブページ検索ユニット358は、複数の単語が、電話番号、会社名、個人名、住所、電子メールなどのような所定のタイプの文字列を示すかどうかを判断することができる。1つまたは複数の単語が所定のタイプの文字列に対応する場合、そのような単語は選択され、検索クエリとして使用され得る。検索クエリを使用して、ウェブページ検索ユニット358は、内部的もしくは外部的に通信ネットワーク370を介して提供された任意の適切な検索エンジンによって検索され得、かつ/またはストレージユニット320に記憶され得る画像に関連するウェブページにアクセスし、当該ウェブページを受信することができる。
【００３５】
ウェブページ選択ユニット360は、画像における少なくとも1つの文字列に関連するウェブページを受信し、ウェブページから少なくとも1つのウェブページを選択するように構成され得る。一実施形態では、ウェブページ選択ユニット360は、ウェブページから少なくとも1つのウェブページを選択するために、画像のコンテンツがウェブページのコンテンツに類似するかどうかを判断し得る。たとえば、ウェブページ選択ユニット360は、画像における少なくとも1つのテキスト領域を示す第1の特徴およびウェブページにおけるテキストを示す複数の第2の特徴を抽出することができる。ウェブページ選択ユニット360は、第1の特徴を第2の特徴の各々と比較して、画像と関連ウェブページとの間の類似性を判断することができる。類似性に基づいて、ウェブページのうちの少なくとも1つが、画像のサムネイルにリンク付けられるように選択され得る。
【００３６】
一実施形態によれば、ウェブページ選択ユニット360は、画像のコンテンツにおける少なくとも1つの文字列およびウェブページのコンテンツにおける1つまたは複数の単語に基づいて、画像とウェブページとの間の少なくとも1つの類似性を判断することができる。このプロセスでは、ウェブページ選択ユニット360は、ウェブページの各々における単語および画像における少なくとも1つの文字列に含まれる1つまたは複数の単語をパースすることができる。画像およびウェブページにおける単語は、図7の参照番号720、730、および740を参照しながら詳細に説明するように、自然言語処理(たとえば、構文解析、字句解析、および/または意味解析)に基づいて少なくとも1つの類似性を判断するために使用され得る。追加または代替として、ウェブページ選択ユニット360は、画像における少なくとも1つのテキスト領域に関するテキスト領域情報およびウェブページに関するテキスト領域情報(たとえば、レイアウト、線幅、文字サイズなど)に基づいて、少なくとも1つの類似性を判断することができる。この場合、ウェブページ選択ユニット360は、少なくとも1つのテキスト領域に関するテキスト領域情報をテキスト領域検出ユニット354から受信し、ウェブページの各々におけるテキストに関するテキスト領域情報を決定して、ウェブページの各々に関連するテキスト領域情報を画像に関連するテキスト領域情報と比較することができる。
【００３７】
いくつかの実施形態では、ウェブページ選択ユニット360は、画像のコンテンツとウェブページのコンテンツとの間の少なくとも1つの類似性に基づいて、少なくとも1つのランクをウェブページに割り当てることができる。次いで、少なくとも1つのランクに基づいて少なくとも1つのウェブページが選択され得る。たとえば、ウェブページは、ウェブページに関連する少なくとも1つの類似性の順序でランク付けられ得る。ウェブページ選択ユニット360は、画像に関して選択された少なくとも1つのウェブページに関連するリンク情報(たとえば、少なくとも1つのURL)を、プロセッサ350における画像リンク付けユニット364に提供することができる。さらに、ウェブページ選択ユニット360は、ストレージユニット320から画像のサムネイルを取り出し、それを画像リンク付けユニット364に提供することができる。
【００３８】
ウェブページキャプチャユニット362は、I/Oユニット330のディスプレイスクリーン210上に表示されるウェブページの画像をキャプチャし、ウェブページに関連するリンク情報(たとえば、URL)を取得するように構成され得る。一実施形態では、電子デバイス120のユーザが、任意の適切な検索エンジンを通じて1つまたは複数のウェブページにアクセスし、当該ウェブページを表示し、画像としてディスプレイスクリーン210上に現在表示されているウェブページをキャプチャするためのコマンドをI/Oユニット330を介して提供することができる。画像をキャプチャするためのコマンドを受信すると、ウェブページキャプチャユニット362は、表示されたウェブページに基づいてウェブページに関するリンク情報を取得することができる。この場合、リンク情報は、ウェブページを示すアドレス(たとえば、URLアドレス)を含み得る。さらに、キャプチャされた画像は、画像のサムネイルを生成するためにサムネイル生成ユニット352に提供され得る。次いで、画像および/またはサムネイルならびにウェブページに関するリンク情報は、画像リンク付けユニット364に提供され得る。
【００３９】
画像リンク付けユニット364は、画像のサムネイルおよび画像にリンク付けられた少なくとも1つのウェブページに関するリンク情報をウェブページ選択ユニット360から受信して、サムネイルを少なくとも1つのウェブページにリンク付けるように構成され得る。代替的に、画像および少なくとも1つのウェブページがウェブページ選択ユニット360から受信された場合、画像リンク付けユニット364は、ストレージユニット320から画像のサムネイルを取り出し得る。少なくとも1つのウェブページに関するリンク情報は、サムネイルを選択したことに応答して少なくとも1つのウェブページにアクセスする際に使用するサムネイルのメタデータとして記憶され得る。画像に関して複数のウェブページに関するリンク情報が受信された場合、画像リンク付けユニット364は、リンク情報(たとえば、ウェブページの各々に関するURLアドレス)を含むウェブページのリストを生成することができる。この場合、ウェブページのリストは、サムネイルを選択したことに応答して表示され得る。ウェブページのリストがディスプレイスクリーン210上に表示された場合、ユーザは、リストからウェブページのうちの1つを選択して、選択されたウェブページにアクセスすることができる。
【００４０】
いくつかの実施形態では、画像リンク付けユニット364は、画像に関連する少なくとも1つのウェブページを画像の一部分にリンク付けることができる。たとえば、画像の一部分は、画像に関してウェブページのリストを検索するために生成される検索クエリに関連する少なくとも1つの文字列を含み得る。追加または代替として、画像リンク付けユニット364は、画像に関して検索され選択され得るウェブページの一部分を画像のサムネイルにリンク付けることができる。この場合、ウェブページの一部分は、画像におけるコンテンツに類似するコンテンツを含み得る。
【００４１】
別の実施形態によれば、画像リンク付けユニット364は、ウェブページのキャプチャされた画像および/または画像のサムネイルおよびウェブページに関するリンク情報(たとえば、URL)をウェブページキャプチャユニット362から受信し得る。ウェブページに関するリンク情報は、メタデータとして画像のサムネイルにタグ付けられ得、タグ付けられた画像は、ストレージユニット320に記憶され得る。この場合、ウェブページは、ウェブページに関するリンク情報にタグ付けられたサムネイルを選択したことに応答してアクセスされ得る。
【００４２】
図4は、本開示の一実施形態による、コンテンツを有する画像のサムネイルと画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページとをリンク付けるための、電子デバイス120によって実行される方法400のフローチャートである。最初に、電子デバイス120におけるプロセッサ350は、410において、ストレージユニット320または外部ストレージデバイスから、少なくとも1つの文字列を含む少なくとも1つのテキスト領域を含む画像にアクセスすることができる。420において、プロセッサ350におけるテキスト領域検出ユニット354は、ブロブクラスタリング方法、エッジベースの方法、連結成分ベースの方法、テクスチャベースの方法などのような任意の適切なテキスト抽出方式を使用して、画像において少なくとも1つのテキスト領域を検出することができる。
【００４３】
430において、プロセッサ350におけるテキスト認識ユニット356は、マトリックスマッチング、特徴マッチングなどのような任意の適切な文字認識方式を使用して、少なくとも1つのテキスト領域における少なくとも1つの文字列を認識することができる。プロセッサ350におけるウェブページ検索ユニット358は、440において、少なくとも1つの文字列をテキスト認識ユニット356から受信し、少なくとも1つの文字列に基づいて複数のウェブページを検索することができる。一実施形態において、少なくとも1つの文字列から生成され得る検索クエリに基づいて、複数のウェブページが検索され得る。
【００４４】
ウェブページ検索ユニット358は、ウェブページ選択ユニット360に複数のウェブページを提供することができる。それに応答して、ウェブページ選択ユニット360は、450において、複数のウェブページから少なくとも1つのウェブページを選択することができる。一実施形態では、ウェブページ選択ユニット360は、ウェブページから少なくとも1つのウェブページを選択するために、画像のコンテンツがウェブページのコンテンツに類似するかどうかを判断し得る。プロセッサ350における画像リンク付けユニット364は、460において、画像のサムネイルと選択された少なくとも1つのウェブページとをリンク付けることができる。たとえば、少なくとも1つのウェブページに関するリンク情報が、サムネイルの選択に応答して少なくとも1つのウェブページにアクセスする際に使用する画像のサムネイルのメタデータとして記憶され得る。
【００４５】
図5は、本開示の一実施形態による、画像の少なくとも1つのテキスト領域における1つまたは複数の文字列をテキスト認識ユニット356から受信し、文字列に基づいて複数のウェブページを検索するように構成されたウェブページ検索ユニット358のブロック図を示す。ウェブページの各々は、インターネットまたはイントラネットを介してアクセス可能であるURLアドレスに関連する任意のウェブドキュメントを指し得、テキスト、画像、地図、ビデオ、オーディオ、またはそれらの組合せを含み得る。図示の実施形態では、ウェブページ検索ユニット358は、単語解析ユニット510、クエリ生成ユニット520、およびウェブページフェッチユニット530を含み得る。
【００４６】
ウェブページ検索ユニット358では、単語解析ユニット510は、少なくとも1つの文字列に含まれ得る複数の単語をパースすることができる。一実施形態では、単語解析ユニット510は、単語の各々の発生回数をカウントすることができる。たとえば、各単語の発生回数は、単語nグラム、単語ヒストグラムなどのような任意の適切な統計モデリング方法を使用することによって計算され得る。このプロセスでは、単語解析ユニット510は、画像における2つ以上の単語が、発生回数を判断するために単一の単語としてカウントされ得る類似のまたは同等の単語(たとえば、同義語、類似の単語など)であるかどうかを判断することができる。追加または代替として、単語解析ユニット510は、画像における単語の1つまたは複数のタイプ(たとえば、電話番号、会社名、個人名、住所、電子メールなど)を判断することができる。次いで、画像における単語の発生回数および/またはタイプが、ウェブページ検索ユニット358におけるクエリ生成ユニット520に提供され得る。
【００４７】
画像における単語の発生回数および/またはタイプを受信すると、クエリ生成ユニット520は、単語から少なくとも1つの単語を選択することによって、1つまたは複数の検索クエリを生成することができる。一実施形態では、クエリ生成ユニット520は、複数の単語のうちで、所定の発生回数よりも多く現れる少なくとも1つの単語を選択することができる。別の実施形態によれば、所定の最高発生回数を有する単語が選択され、1つまたは複数の検索クエリとして使用され得る。いくつかの場合には、画像における各単語のタイプが、電話番号、会社名、個人名、住所、電子メールアドレスなどのような所定のタイプに対応すると判断された場合、そのような単語は選択され、1つまたは複数の検索クエリに含まれ得る。
【００４８】
いくつかの実施形態によれば、クエリ生成ユニット520はまた、画像における少なくとも1つのテキスト領域に関するテキスト領域情報(たとえば、少なくとも1つのテキスト領域における文字サイズ、線幅、ロケーションなど)をテキスト領域検出ユニット354から受信し、テキスト領域情報に基づいて1つまたは複数の検索クエリとして、画像における単語から少なくとも1つの単語を選択することができる。たとえば、テキスト領域における1つまたは複数の単語の各々の文字サイズが所定のサイズよりも大きい場合、当該単語は、1つまたは複数の検索クエリを生成するために選択され得る。画像に関して生成された検索クエリは、ウェブページ検索ユニット358におけるウェブページフェッチユニット530に提供され得る。
【００４９】
画像に関する検索クエリをクエリ生成ユニット520から受信すると、ウェブページフェッチユニット530は、検索クエリに関連する複数のウェブページを検索することができる。検索クエリの各々に関して、ウェブページフェッチユニット530は、内部的または外部的に通信ネットワーク370を介して提供され得る任意の適切なエンジンを使用して、1つまたは複数のウェブページを検索することができる。追加または代替として、ウェブページフェッチユニット530によってアクセスされ検索され得るストレージユニット320に、複数のウェブページが記憶され得る。ウェブページ検索ユニット358は、1つまたは複数の検索クエリに基づいて複数のウェブページを検索するものとして示されているが、ウェブページ検索ユニット358は、1つまたは複数の検索クエリに基づいて1つのウェブページのみを検索することがある。
【００５０】
図6は、本開示の一実施形態による、サムネイルに関連する画像におけるコンテンツおよび複数のウェブページのコンテンツを受信し、複数のウェブページから1つまたは複数のウェブページを選択するように構成されたウェブページ選択ユニット360のブロック図を示す。画像のコンテンツは、テキスト領域検出ユニット354から受信され得る画像における少なくとも1つのテキスト領域に関するテキスト領域情報、およびテキスト認識ユニット356から受信され得る少なくとも1つのテキスト領域における1つまたは複数の文字列を含み得る。図示の実施形態では、ウェブページ選択ユニット360は、特徴抽出ユニット610、類似性判断ユニット620、ランク割当てユニット630、およびウェブページ出力ユニット640を含み得る。ウェブページ選択ユニット360は、ウェブページ検索ユニット358から複数のウェブページを受信し、画像のサムネイルにリンク付けられ得る1つまたは複数のウェブページを選択することができる。次いで、選択されたウェブページは、画像のサムネイルと選択されたウェブページとをリンク付けるために画像リンク付けユニット364に提供され得る。
【００５１】
特徴抽出ユニット610は、画像における少なくとも1つのテキスト領域に関するテキスト領域情報をテキスト領域検出ユニット354から受信し、少なくとも1つのテキスト領域における1つまたは複数の文字列をテキスト認識ユニット356から受信するように構成され得る。また、特徴抽出ユニット610は、検索された複数のウェブページをウェブページ検索ユニット358から受信し得る。テキスト領域情報または文字列のうちの少なくとも1つに基づいて、特徴抽出ユニット610は、画像における少なくとも1つのテキスト領域を示す第1の特徴を抽出することができる。さらに、受信されたウェブページの各々におけるテキストを示す第2の特徴が抽出され得る。画像に関連する第1の特徴および受信されたウェブページに関連する第2の特徴は、類似性判断ユニット620に提供され得る。一実施形態では、第1の特徴および第2の特徴は、それぞれ、画像およびウェブページにおけるテキスト領域情報および/または文字列に基づいて生成され得る。たとえば、第1の特徴は、画像のテキスト領域情報および/または文字列を示す複数の値を含む特徴ベクトルとして表され得る。同様に、第2の特徴は、ウェブページのテキスト領域情報および/または文字列を示す複数の値を含む特徴ベクトルとして表され得る。
【００５２】
画像に関連する第1の特徴およびウェブページに関連する第2の特徴を受信すると、類似性判断ユニット620は、第1の特徴と第2の特徴の各々との間の類似性を判断することができる。一実施形態では、類似性判断ユニット620は、第1の特徴と第2の特徴の各々との間の類似性を、第1の特徴と第2の特徴との間の距離(たとえば、ユークリッド距離)を判断することによって判断することができる。次いで、ウェブページの第2の特徴の、画像の第1の特徴との類似性が、ランク割当てユニット630に提供され得る。
【００５３】
ランク割当てユニット630は、ウェブページおよび画像の第1の特徴との関連類似性を類似性判断ユニット620から受信し得る。一実施形態では、ウェブページの各々に、ウェブページに関連する類似性に従ってランクが割り当てられ得る。たとえば、ランク割当てユニット630は、画像に関して指定数のウェブページにアクセスし、画像とウェブページの各々との間の類似性に基づいて、ウェブページの各々にランクを割り当てることができる。この場合、いくつかの最高ランク付けウェブページ(たとえば、1番目に高いランク付けから5番目に高いランク付けまでのウェブページ)が選択され、関連ランクとともにウェブページ選択ユニット360におけるウェブページ出力ユニット640に提供され得る。ランク割当てユニット630は、指定数のウェブページにアクセスし、いくつかの最高ランク付けウェブページを選択するものとして説明されているが、ランク割当てユニット630は、任意の適切な数のウェブページにアクセスし、任意の適切な数の最高ランク付けウェブページを選択してよい。
【００５４】
ウェブページ出力ユニット640は、それらのランクに基づいて選択されたウェブページならびに関連ランクをランク割当てユニット630から受信し得る。一実施形態では、ウェブページ出力ユニット640は、受信されたウェブページのうちで、指定数の最高ランク付けウェブページを選択することができる。代替的に、ウェブページ出力ユニット640は、画像に関して検索されたウェブページと画像との間の類似性を類似性判断ユニット620から受信し、あらかじめ決定され得るしきい値類似性を上回る類似性を有する1つまたは複数のウェブページを選択することができる。次いで、選択されたウェブページは、プロセッサ350における画像リンク付けユニット364に提供され得る。いくつかの実施形態では、ウェブページ出力ユニット640はまた、選択されたウェブページに関連するランクを画像リンク付けユニット364に提供することができる。
【００５５】
図7は、本開示の一実施形態による、画像から第1の特徴を抽出し、検索された複数のウェブページから複数の第2の特徴を抽出するように構成された特徴抽出ユニット610のブロック図を示す。特徴抽出ユニット610は、画像における少なくとも1つのテキスト領域における1つまたは複数の文字列をテキスト認識ユニット356から受信し、複数のウェブページをウェブページ検索ユニット358から受信することができる。さらに、画像に関するテキスト領域情報がテキスト領域検出ユニット354から受信され得る。特徴抽出ユニット610は、構文解析ユニット720、字句解析ユニット730、意味解析ユニット740、テキスト領域解析ユニット710、および特徴生成ユニット750を含み得る。
【００５６】
テキスト領域解析ユニット710は、ウェブページ検索ユニット358から受信されたウェブページから1つまたは複数のテキスト領域を検出し、テキスト領域における1つまたは複数の文字列を認識するように構成され得る。さらに、テキスト領域解析ユニット710は、ウェブページにおける検出されたテキスト領域からテキスト領域情報を決定することができる。たとえば、テキスト領域情報は、ウェブページにおける検出されたテキスト領域の文字サイズ、線幅、レイアウト(たとえば、ロケーション)などを含み得る。ウェブページのテキスト領域における文字列は、構文解析ユニット720、字句解析ユニット730、および意味解析ユニット740に提供され得る。さらに、ウェブページのテキスト領域に関するテキスト領域情報は、ウェブページに関する第2の特徴を生成する際に使用するために特徴生成ユニット750に提供され得る。
【００５７】
構文解析ユニット720は、ウェブページの文字列および画像の文字列を受信しパースするように構成され得る。一実施形態では、構文解析ユニット720は、画像の文字列における複数の単語およびウェブページの文字列における複数の単語を認識することができる。代替的に、画像の文字列における複数の単語は、テキスト認識ユニット356から受信され得る。画像における認識された単語に基づいて、構文解析ユニット720は、画像における(文字、音素、または音節の総数のような)認識された単語の全長を判断することができる。さらに、ウェブページの各々における認識された単語の全長(たとえば、文字、音素、または音節の総数)が判断され得る。追加または代替として、構文解析ユニット720は、画像における1つまたは複数の特定の単語がウェブページの各々の単語に含まれているかどうかを判断することができる。単語の全長、特定の単語がウェブページの各々に含まれているかどうかなどを含むパース結果が、特徴生成ユニット750に提供され得る。
【００５８】
字句解析ユニット730は、画像の文字列およびウェブページの文字列を受信し、画像およびウェブページの文字列から複数の一連のトークン(たとえば、意味のある文字セット)を決定することができる。一実施形態では、字句解析ユニット730は、画像のトークンから抽出された1つまたは複数の字句グループがウェブページの各々のトークンから抽出された1つまたは複数の字句グループに対応するかどうかを判断することができる。たとえば、字句グループは、特定の文構造(たとえば、意味のある文を形成するための単語の配列)、特定の単語のセットなどを示し得る。画像におけるトークンの字句グループがウェブページの各々におけるトークンの字句グループに対応するかどうかなどを含む字句解析結果が、特徴生成ユニット750に提供され得る。
【００５９】
意味解析ユニット740は、画像の文字列およびウェブページの文字列を受信し、画像の文字列およびウェブページの各々の文字列に対して意味解析を実行するように構成され得る。このプロセスでは、意味解析ユニット740は、画像の文字列における複数の単語およびウェブページの各々の文字列における複数の単語を認識することができる。単語を認識すると、意味解析ユニット740は、単語nグラム、単語ヒストグラム、単語発生マトリックスなどのような任意の適切な統計モデリング方法を使用することによって、画像における単語の各々の発生回数およびウェブページの各々における単語の各々の発生回数を判断することができる。追加または代替として、意味解析ユニット740は、画像およびウェブページにおける認識された単語が、電話番号、会社名、個人名、住所、電子メールなどのような所定のタイプの文字列を示すかどうかを判断することができる。画像およびウェブページにおける単語の各々の発生回数、画像およびウェブページにおける単語が所定のタイプの文字列を示すかどうかなどを含む意味解析結果が、特徴生成ユニット750に提供され得る。
【００６０】
特徴生成ユニット750は、パース結果、字句解析結果、および意味解析結果を、それぞれ構文解析ユニット720、字句解析ユニット730、および意味解析ユニット740から受信するように構成され得る。また、特徴生成ユニット750はまた、画像に関するテキスト領域情報をテキスト領域検出ユニット354から受信し、ウェブページに関するテキスト領域情報をテキスト領域解析ユニット710から受信し得る。一実施形態では、第1の特徴は画像から、パース結果、字句解析結果、意味解析結果、および画像に関するテキスト領域情報のうちの少なくとも1つに基づいて生成され得る。同様に、第2の特徴はウェブページから、パース結果、字句解析結果、意味解析結果、およびウェブページに関するテキスト領域情報のうちの少なくとも1つに基づいて生成され得る。このプロセスでは、第1の特徴および第2の特徴は、画像およびウェブページにおける1つもしくは複数の対応する解析結果および/またはテキスト領域情報に基づいて生成され得る。特徴抽出ユニット610は、第1の特徴および第2の特徴を、第1の特徴と第2の特徴の各々との間の類似性を判断するために類似性判断ユニット620に提供し得る。特徴抽出ユニット610は、構文解析ユニット720、字句解析ユニット730、意味解析ユニット740、およびテキスト領域解析ユニット710を含むが、特徴抽出ユニット610は、そのような解析ユニットの任意の1つもしくは組合せ、または任意の他の適切な解析方法を利用してよい。
【００６１】
図8は、本開示の一実施形態による、画像の少なくとも1つのテキスト領域における少なくとも1つの文字列に基づいて複数のウェブページを検索し、複数のウェブページから少なくとも1つのウェブページを選択するための、電子デバイス120によって実行される方法800のフローチャートを示す。最初に、ウェブページ検索ユニット358は、810において、画像の少なくとも1つの文字列をテキスト認識ユニット356から受信することができる。820において、画像の少なくとも1つの文字列から生成され得る1つまたは複数の検索クエリに基づいて、複数のウェブページが検索され得る。
【００６２】
830において、ウェブページ選択ユニット360は、画像のコンテンツと検索されたウェブページの各々のコンテンツとの間の類似性を判断することができる。この場合、画像のコンテンツは、テキスト領域検出ユニット354から受信され得る画像における少なくとも1つのテキスト領域に関するテキスト領域情報、およびテキスト認識ユニット356から受信され得る少なくとも1つのテキスト領域における少なくとも1つの文字列を含み得る。さらに、ウェブページ選択ユニット360は、ウェブページの各々の1つまたは複数のテキスト領域における1つまたは複数の文字列、および関連ウェブページのテキスト領域に関するテキスト領域情報を決定することができる。ウェブページの各々の文字列および関連ウェブページに関するテキスト領域情報は、ウェブページのコンテンツに含まれ得る。
【００６３】
840において、方法800は、画像とウェブページの各々との間の類似性が、あらかじめ決定され得るしきい値類似性以上であるかどうかを判断することができる。各ウェブページに関して、画像とウェブページの各々との間の類似性がしきい値類似性以上であると判断された(すなわち、840において「YES」)場合、方法は850に進んで、そのウェブページを含むウェブページのリストを生成することができる。そうではない(すなわち、840において「NO」)場合、ウェブページ選択ユニット360は、860において、そのウェブページを除外することができる。
【００６４】
図9は、本開示の一実施形態による、ウェブページにアクセスし、ウェブページの画像をキャプチャして、画像のサムネイルをウェブページにリンク付けるように構成された電子デバイス120を示す。ユーザ910は電子デバイス120を操作して、通信ネットワーク370を介して任意の適切な検索エンジンを使用して1つまたは複数のウェブページにアクセスすることができる。図示のように、テキストを含むウェブページ920が、通信ネットワーク370を介してアクセスされ、ディスプレイスクリーン210上に表示され得る。たとえば、ウェブページ920は、それぞれ、ウェブページ920のアドレス(たとえば、URLアドレスなど)を示す文字列「WWW.BCDNEWS.COM/456」、文字列「HEADLINE」(たとえば、タイトル、見出しなど)、および文字列「BODY」(たとえば、本文、コンテンツなど)を含み得る複数のテキスト領域930、940、および950を有する記事を含み得る。
【００６５】
一実施形態では、ユーザ910は電子デバイス120を操作して、ウェブページ920の画像をキャプチャし、電子デバイス120に記憶することができる。たとえば、キャプチャされた画像は、テキスト領域930、940、および950のうちの少なくとも1つを含み得る。この場合、ウェブページキャプチャユニット362は、ウェブページ920のメタデータ(たとえば、HTMLタグなど)からURLアドレス「WWW.BCDNEWS.COM/456」を取得することができる。代替的に、URLアドレスを含むテキスト領域930は、テキスト領域検出ユニット354によって検出され得、テキスト領域930におけるURLアドレスは、テキスト認識ユニット356によって認識され得る。また、電子デバイス120におけるサムネイル生成ユニット352は、ウェブページ920の画像のサムネイルを生成することができる。
【００６６】
電子デバイス120は、ウェブページのキャプチャされた画像のサムネイルをウェブページにリンク付けるように構成され得る。一実施形態では、ウェブページのURLアドレスが、画像のサムネイルにタグ付けられ、サムネイルのメタデータとして記憶され得る。図示の実施形態では、ウェブページ920のURLアドレス「www.BCDnews.com/456」は、ウェブページ920の画像のサムネイルのメタデータとして記憶され得る。ウェブページ画像のサムネイルのメタデータを記憶すると、電子デバイス120は、画像のサムネイルを選択するための入力を受信したことに応答してディスプレイスクリーン210上にウェブページ920を表示することができる。
【００６７】
図10は、本開示の一実施形態による、ウェブページの画像をキャプチャし、画像のサムネイルをウェブページにリンク付けるための、電子デバイス120によって実行される方法1000のフローチャートである。最初に、プロセッサ350におけるウェブページキャプチャユニット362は、1010において、ディスプレイスクリーン210上に表示され得るウェブページの画像をキャプチャすることができる。1020において、プロセッサ350におけるサムネイル生成ユニット352は、ウェブページ画像のサムネイルを生成し、ストレージユニット320に記憶することができる。
【００６８】
1030において、ウェブページキャプチャユニット362は、ウェブページのメタデータ(たとえば、HTMLタグなど)から、ウェブページに関連するURLアドレスなどのようなアドレスを取得することができる。ウェブページに関連するアドレスは、1040において、ウェブページ画像の生成されたサムネイルにタグ付けられ得る。この場合、ウェブページに関連するアドレスは、サムネイルのメタデータとして記憶され得る。代替的に、プロセッサ350における画像リンク付けユニット364は、1020においてウェブページ画像のサムネイルを生成するのではなく、ウェブページの画像のメタデータとしてウェブページに関連するアドレスを記憶することができる。ウェブページの画像、ウェブページ画像のサムネイル、およびウェブページのURLアドレスを含むサムネイルのメタデータを記憶した後、電子デバイス120は、1050において、ウェブページが電子デバイス120に出力され得るように、ウェブページのサムネイルにアクセスし、当該サムネイルを選択するための入力を受信し得る。方法1000は、1030においてウェブページに関連するURLアドレスを取得する前に、1020において画像のサムネイルを生成するものとして示されているが、画像のサムネイルは、ウェブページに関連するURLアドレスを取得している間または取得した後に生成されてよい。
【００６９】
図11は、画像のサムネイルと画像に関して検索され選択された少なくとも1つのウェブページとをリンク付けるための本開示の方法および装置がいくつかの実施形態に従って実装され得る、ワイヤレス通信システムにおけるモバイルデバイス1100のブロック図を示す。モバイルデバイス1100は、セルラーフォン、スマートフォン、ウェアラブルコンピュータ、スマートウォッチ、スマートグラス、タブレットパーソナルコンピュータ、端末、ハンドセット、携帯情報端末(PDA)、ワイヤレスモデム、コードレス電話、タブレットなどであってよい。ワイヤレス通信システムは、CDMAシステム、GSM（登録商標）システム、W-CDMAシステム、LTEシステム、LTEアドバンストシステムなどであってよい。
【００７０】
モバイルデバイス1100は、受信パスおよび送信パスを介して双方向通信を行うことが可能であり得る。受信パスでは、基地局によって送信された信号が、アンテナ1112によって受信され得、受信機(RCVR)1114に提供され得る。受信機1114は、受信された信号を調整およびデジタル化し得、調整およびデジタル化されたデジタル信号を、さらなる処理のためにデジタル部に提供し得る。送信パスでは、送信機(TMTR)1116は、送信されるべきデータをデジタル部1120から受信し得、データを処理および調整するとともに被変調信号を生成し得、被変調信号はアンテナ1112を介して基地局に送信される。受信機1114および送信機1116は、CDMA、GSM（登録商標）、W-CDMA、LTE、LTEアドバンストなどをサポートし得るトランシーバの一部であってよい。
【００７１】
デジタル部1120は、たとえば、モデムプロセッサ1122、縮小命令セットコンピュータ/デジタル信号プロセッサ(RISC/DSP)1124、コントローラ/プロセッサ1126、内部メモリ1128、一般化オーディオ/ビデオエンコーダ1132、一般化オーディオデコーダ1134、グラフィックス/ディスプレイプロセッサ1136、および外部バスインターフェース(EBI)1138のような、様々な処理ユニット、インターフェースユニット、およびメモリユニットを含み得る。モデムプロセッサ1122は、データ送信および受信のための処理、たとえば、符号化、変調、復調、および復号を実行し得る。RISC/DSP1124は、モバイルデバイス1100のための一般的処理および特殊処理を実行し得る。コントローラ/プロセッサ1126は、デジタル部1120内の様々な処理ユニットおよびインターフェースユニットの動作を実行し得る。内部メモリ1128は、デジタル部1120内の様々なユニットのためのデータおよび/または命令を記憶し得る。
【００７２】
一般化オーディオ/ビデオエンコーダ1132は、オーディオ/ビデオソース1142、マイクロフォン1144、画像センサー1146などからの入力信号に対して、符号化を実行し得る。一般化オーディオデコーダ1134は、コード化オーディオデータに対して復号を実行し得、出力信号をスピーカー/ヘッドセット1148に提供し得る。グラフィックス/ディスプレイプロセッサ1136は、ディスプレイユニット1150に提示され得るグラフィックス、ビデオ、画像、およびテキストに対して、処理を実行し得る。EBI1138は、デジタル部1120とメインメモリ1152との間のデータの転送を容易にし得る。
【００７３】
デジタル部1120は、1つまたは複数のプロセッサ、DSP、マイクロプロセッサ、RISCなどを用いて実装され得る。デジタル部1120はまた、1つまたは複数の特定用途向け集積回路(ASIC)および/または何らかの他のタイプの集積回路(IC)上に製作され得る。
【００７４】
図12は、いくつかの実施形態に従って実装される、1つまたは複数のオブジェクトを含む複数の画像、分類子データベース、文字情報データベース、辞書データベースなどを検索し提供するための、前に説明したサーバのいずれか1つであり得る、サーバシステム1200を示すブロック図である。サーバシステム1200は、1つまたは複数の処理ユニット(たとえば、CPU)1202、1つまたは複数のネットワークまたは他の通信ネットワークインターフェース、メモリ1212、およびこれらの構成要素を相互接続するための1つまたは複数の通信バス1214を含み得る。サーバシステム1200はまた、ディスプレイデバイスおよびキーボードを有するユーザインターフェース(図示せず)を含み得る。
【００７５】
メモリ1212は、高速ランダムアクセスメモリ(たとえば、DRAM、SRAM、DDR RAMまたは他のランダムアクセスソリッドステートメモリデバイス)のような任意の適切なメモリであってよい。メモリ1212は、不揮発性メモリ(たとえば、1つもしくは複数の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、もしくは他の不揮発性ソリッドステートストレージデバイス)を含んでよく、または代替的に不揮発性メモリであってよい。いくつかの実施形態では、メモリ1212は、CPU1202から遠隔に位置する、および/または複数のサイトの中に遠隔に位置する1つまたは複数のストレージデバイスを含み得る。
【００７６】
メモリ1212によって表される上記のメモリデバイスのうちのいずれも、前に説明したプロセス、動作、および方法のいずれかを実施および/または実行するための命令のセットに対応する、任意の数のモジュールまたはプログラムを記憶し得る。たとえば、メモリ1212は、様々な基本システムサービスを処理するための、およびハードウェア依存作業を実行するための手順を含む命令を記憶するように構成されたオペレーティングシステム1216を含み得る。メモリ1212のネットワーク通信モジュール1218は、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどのような、1つまたは複数の通信ネットワークインターフェース1210(有線またはワイヤレスの)および1つまたは複数の通信ネットワークを介して、サーバシステム1200を他のコンピュータに接続するために使用され得る。
【００７７】
メモリ1212はまた、1つまたは複数のオブジェクト(たとえば、テキストオブジェクトおよび非テキストオブジェクト)を有する複数の画像を有する画像データベース、分類子データベース、文字情報データベース、辞書データベースなどを含むように構成されたデータベース1220を含み得る。オペレーティングシステム1216は、ネットワーク通信モジュール1218を通じて受信および/またはキャプチャされ得る様々な画像を用いて、画像データベースを更新し得る。オペレーティングシステム1216はまた、ネットワーク通信モジュール1218を介して複数の電子デバイスに画像を提供し得る。さらに、分類子データベース、文字情報データベース、辞書データベースは、画像の少なくとも1つのテキスト領域を検出し、および/または少なくとも1つのテキスト領域における1つまたは複数の文字列を認識する際に使用するために複数の電子デバイスに提供され得る。
【００７８】
一般に、本明細書で説明する任意のデバイスは、ワイヤレスフォン、セルラーフォン、ラップトップコンピュータ、ワイヤレスマルチメディアデバイス、ワイヤレス通信パーソナルコンピュータ(PC)カード、PDA、外部モデムまたは内部モデム、ワイヤレスチャネルを通じて通信するデバイスなどのような様々なタイプのデバイスを表し得る。デバイスは、アクセス端末(AT)、アクセスユニット、加入者ユニット、移動局、モバイルデバイス、モバイルユニット、モバイルフォン、モバイル、リモート局、リモート端末、リモートユニット、ユーザデバイス、ユーザ機器、ハンドヘルドデバイスなどのような様々な名前を有し得る。本明細書で説明する任意のデバイスは、命令およびデータを記憶するためのメモリ、ならびにハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを有し得る。
【００７９】
本明細書で説明する技法は、様々な手段によって実装され得る。たとえば、これらの技法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実装され得る。本明細書の開示に関して説明する様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを当業者はさらに諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、概してそれらの機能に関して上記で説明した。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装することができるが、そのような実装の決定は、本開示の範囲からの逸脱をもたらすものと解釈されるべきではない。
【００８０】
ハードウェア実装では、本技法を実行するために使用される処理ユニットは、1つまたは複数のASIC、DSP、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他の電子ユニット、コンピュータ、またはそれらの組合せ内で実装され得る。
【００８１】
したがって、本明細書の開示に関して説明する様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、DSP、ASIC、FPGAもしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の組合せを用いて、実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装される場合もある。
【００８２】
ソフトウェアで実装される場合、機能は、コンピュータ可読媒体に記憶され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または命令もしくはデータ構造の形態の所望のプログラムコードを搬送もしくは記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。ディスク(disk)およびディスク(disc)は、本明細書で使用するとき、コンパクトディスク(disc)(CD)、レーザーディスク（登録商標）(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray（登録商標）ディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるものとする。たとえば、コンピュータ可読記憶媒体は、プロセッサによって実行可能である命令を含む非一時的コンピュータ可読ストレージデバイスであり得る。したがって、コンピュータ可読記憶媒体は信号ではないことがある。
【００８３】
本開示の前述の説明は、当業者が本開示を作製または使用することを可能にするために提供される。本開示の様々な修正は当業者に容易に明らかになり、本明細書で定義する一般原理は、本開示の範囲から逸脱することなく、他の変形形態に適用される。したがって、本開示は本明細書で説明する例に限定されるものではなく、本明細書で開示する原理および新規の特徴と一致する最も広い範囲を与えられるべきである。
【００８４】
例示的な実装形態は、現在開示される主題の態様を1つまたは複数のスタンドアロンのコンピュータシステムのコンテキストにおいて利用することに言及されるが、主題はそのように限定されず、むしろネットワークまたは分散コンピューティング環境のような任意のコンピューティング環境とともに実装され得る。またさらに、現在開示される主題の態様は、複数の処理チップもしくはデバイスの中で、または複数の処理チップもしくはデバイスにわたって実装されてよく、ストレージが複数のデバイスにわたって同様に割り当てられてよい。そのようなデバイスは、PC、ネットワークサーバ、およびハンドヘルドデバイスを含み得る。
【００８５】
構造的な特徴および/または方法論的な動作に特有の言葉で主題について説明してきたが、添付の特許請求の範囲で定義する主題は必ずしも上記で説明した特定の特徴または動作に限定されるとは限らないことを理解されたい。むしろ、上記で説明した特定の特徴および動作は、特許請求の範囲を実装する例示的な形態として開示される。
【００８６】
上記で特定されたモジュールまたはプログラム(すなわち、命令のセット)は、別個のソフトウェアプログラム、プロシージャまたはモジュールとして実装される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが組み合わされてよく、または場合によっては再構成されてよいことが諒解されよう。さらに、メモリ1212は、上記で説明されていないさらなるモジュールおよびデータ構造を記憶してよい。
【００８７】
<本開示の態様>
これ以降、本開示のいくつかの態様がさらに述べられる。
【実施例１】
【００８８】
本開示の一態様によれば、ストレージユニットにおいて、少なくとも1つのテキスト領域を含む画像にアクセスするステップと、画像において少なくとも1つのテキスト領域を検出するステップと、少なくとも1つのテキスト領域における少なくとも1つの文字列を認識するステップと、少なくとも1つの文字列に基づいて複数のウェブページを検索するステップと、複数のウェブページから少なくとも1つのウェブページを選択するステップと、画像のサムネイルと少なくとも1つのウェブページとをリンク付けるステップとを含む、画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための方法が提供される。
【実施例２】
【００８９】
実施例1に記載の方法は、サムネイルの選択を示す入力を受信するステップと、サムネイルにリンク付けられた少なくとも1つのウェブページにアクセスするステップと、電子デバイス上に少なくとも1つのウェブページを出力するステップとをさらに含む。
【実施例３】
【００９０】
実施例1または2に記載の方法では、少なくとも1つのウェブページにアクセスするステップは、電子デバイスに記憶されているか、またはネットワークを介して検索されている少なくとも1つのウェブページにアクセスするステップを含む。
【実施例４】
【００９１】
実施例1から3のいずれか1つに記載の方法では、複数のウェブページを検索するステップは、少なくとも1つの文字列から検索クエリを生成するステップと、検索クエリに基づいて複数のウェブページを受信するステップとを含む。
【実施例５】
【００９２】
実施例1から4のいずれか1つに記載の方法では、少なくとも1つの文字列は、複数の単語を含む。この例では、少なくとも1つの文字列から検索クエリを生成するステップは、画像における複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、複数の単語から少なくとも1つの単語を選択するステップを含む。
【実施例６】
【００９３】
実施例1から5のいずれか1つに記載の方法では、サムネイルと少なくとも1つのウェブページとをリンク付けるステップは、少なくとも1つのウェブページとサムネイルにおける少なくとも1つのテキスト領域に関連する少なくとも1つの部分とをリンク付けるステップを含む。
【実施例７】
【００９４】
実施例1から6のいずれか1つに記載の方法では、複数のウェブページから少なくとも1つのウェブページを選択するステップは、複数のウェブページから、画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページを選択するステップを含む。
【実施例８】
【００９５】
実施例1から7のいずれか1つに記載の方法では、画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページを選択するステップは、画像のコンテンツと複数のウェブページのコンテンツとの間の類似性に基づいて、複数のウェブページに少なくとも1つのランクを割り当てるステップと、少なくとも1つのランクに基づいて少なくとも1つのウェブページを選択するステップとを含む。
【実施例９】
【００９６】
実施例1から8のいずれか1つに記載の方法では、画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページを選択するステップは、画像における少なくとも1つのテキスト領域を示す第1の特徴、および複数のウェブページにおけるテキストを示す複数の第2の特徴を抽出するステップと、第1の特徴および複数の第2の特徴に基づいて少なくとも1つのウェブページを選択するステップとを含む。
【実施例１０】
【００９７】
実施例1から9のいずれか1つに記載の方法では、画像のサムネイルと少なくとも1つのウェブページとをリンク付けるステップは、画像のサムネイルに少なくとも1つのウェブページの一部分をリンク付けるステップを含む。この例では、少なくとも1つのウェブページの一部分におけるコンテンツは、画像におけるコンテンツに類似する。
【実施例１１】
【００９８】
本開示の別の態様によれば、ストレージユニットにおいて、少なくとも1つのテキスト領域を含む画像にアクセスし、画像において少なくとも1つのテキスト領域を検出するように構成されたテキスト領域検出ユニットと、少なくとも1つのテキスト領域における少なくとも1つの文字列を認識するように構成されたテキスト認識ユニットと、少なくとも1つの文字列に基づいて複数のウェブページを検索するように構成されたウェブページ検索ユニットと、複数のウェブページから少なくとも1つのウェブページを選択するように構成されたウェブページ選択ユニットと、画像のサムネイルと少なくとも1つのウェブページとをリンク付けるように構成された画像リンク付けユニットとを含む、画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための電子デバイスが提供される。
【実施例１２】
【００９９】
実施例11に記載の電子デバイスは、サムネイルの選択を示す入力を受信し、電子デバイス上に少なくとも1つのウェブページを出力するように構成されたI/Oユニットをさらに含む。この例では、サムネイルにリンク付けられた少なくとも1つのウェブページは、電子デバイスによってアクセスされる。
【実施例１３】
【０１００】
実施例11または12に記載の電子デバイスでは、電子デバイスは、電子デバイスに記憶されているか、またはネットワークを介して検索されている少なくとも1つのウェブページにアクセスするように構成される。
【実施例１４】
【０１０１】
実施例11から13のいずれか1つに記載の電子デバイスでは、ウェブページ検索ユニットは、少なくとも1つの文字列から検索クエリを生成するように構成されたクエリ生成ユニットと、検索クエリに基づいて複数のウェブページを受信するように構成されたウェブページフェッチユニットとを含む。
【実施例１５】
【０１０２】
実施例11から14のいずれか1つに記載の電子デバイスでは、少なくとも1つの文字列は、複数の単語を含む。この例では、クエリ生成ユニットは、画像における複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、複数の単語から少なくとも1つの単語を選択するように構成される。
【実施例１６】
【０１０３】
実施例11から15のいずれか1つに記載の電子デバイスでは、画像リンク付けユニットは、少なくとも1つのウェブページとサムネイルにおける少なくとも1つのテキスト領域に関連する少なくとも1つの部分とをリンク付けるように構成される。
【実施例１７】
【０１０４】
実施例11から16のいずれか1つに記載の電子デバイスでは、ウェブページ選択ユニットは、複数のウェブページから、画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページを選択するように構成される。
【実施例１８】
【０１０５】
実施例11から17のいずれか1つに記載の電子デバイスでは、ウェブページ選択ユニットは、画像のコンテンツと複数のウェブページのコンテンツとの間の類似性に基づいて、複数のウェブページに少なくとも1つのランクを割り当てるように構成されたランク割当てユニットと、少なくとも1つのランクに基づいて少なくとも1つのウェブページを選択するように構成されたウェブページ出力ユニットとを含む。
【実施例１９】
【０１０６】
実施例11から18のいずれか1つに記載の電子デバイスでは、ウェブページ選択ユニットは、画像における少なくとも1つのテキスト領域を示す第1の特徴、および複数のウェブページにおけるテキストを示す複数の第2の特徴を抽出するように構成された特徴抽出ユニットと、第1の特徴および複数の第2の特徴に基づいて少なくとも1つのウェブページを選択するように構成されたウェブページ出力ユニットとを含む。
【実施例２０】
【０１０７】
実施例11から19のいずれか1つに記載の電子デバイスでは、画像リンク付けユニットは、画像のサムネイルに少なくとも1つのウェブページの一部分をリンク付けるように構成される。この例では、少なくとも1つのウェブページの一部分におけるコンテンツは、画像におけるコンテンツに類似する。
【実施例２１】
【０１０８】
本開示のさらに別の態様によれば、ストレージユニットにおいて、少なくとも1つのテキスト領域を含む画像にアクセスするための手段と、画像において少なくとも1つのテキスト領域を検出するための手段と、少なくとも1つのテキスト領域における少なくとも1つの文字列を認識するための手段と、少なくとも1つの文字列に基づいて複数のウェブページを検索するための手段と、複数のウェブページから少なくとも1つのウェブページを選択するための手段と、画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための手段とを含む、画像のサムネイルをウェブページにリンク付けるための電子デバイスが提供される。
【実施例２２】
【０１０９】
実施例21に記載の電子デバイスでは、複数のウェブページを検索するための手段は、少なくとも1つの文字列から検索クエリを生成するための手段と、検索クエリに基づいて複数のウェブページを受信するための手段とを含む。
【実施例２３】
【０１１０】
実施例21または22に記載の電子デバイスでは、少なくとも1つの文字列は、複数の単語を含む。この例では、少なくとも1つの文字列から検索クエリを生成するための手段は、画像における複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、複数の単語から少なくとも1つの単語を選択するための手段を含む。
【実施例２４】
【０１１１】
実施例21から23のいずれか1つに記載の電子デバイスでは、複数のウェブページから少なくとも1つのウェブページを選択するための手段は、複数のウェブページから、画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページを選択するための手段を含む。
【実施例２５】
【０１１２】
実施例21から24のいずれか1つに記載の電子デバイスでは、画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページを選択するための手段は、画像のコンテンツと複数のウェブページのコンテンツとの間の類似性に基づいて、複数のウェブページに少なくとも1つのランクを割り当てるための手段と、少なくとも1つのランクに基づいて少なくとも1つのウェブページを選択するための手段とを含む。
【実施例２６】
【０１１３】
本開示のまた別の態様によれば、電子デバイスの少なくともプロセッサに、ストレージユニットにおいて、少なくとも1つのテキスト領域を含む画像にアクセスし、画像において少なくとも1つのテキスト領域を検出し、少なくとも1つのテキスト領域における少なくとも1つの文字列を認識し、少なくとも1つの文字列に基づいて複数のウェブページを検索し、複数のウェブページから少なくとも1つのウェブページを選択し、画像のサムネイルと少なくとも1つのウェブページとをリンク付ける動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体が提供される。
【実施例２７】
【０１１４】
実施例26の非一時的コンピュータ可読記憶媒体は、電子デバイスの少なくともプロセッサに、少なくとも1つの文字列から検索クエリを生成し、検索クエリに基づいて複数のウェブページを受信する動作を実行させる命令をさらに含む。
【実施例２８】
【０１１５】
実施例26または27に記載の非一時的コンピュータ可読記憶媒体では、少なくとも1つの文字列は、複数の単語を含み、少なくとも1つの文字列から検索クエリを生成することは、画像における複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、複数の単語から少なくとも1つの単語を選択することを含む。
【実施例２９】
【０１１６】
実施例26から28のいずれか1つに記載の非一時的コンピュータ可読記憶媒体では、複数のウェブページから少なくとも1つのウェブページを選択することは、複数のウェブページから、画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページを選択することを含む。
【実施例３０】
【０１１７】
実施例26から29のいずれか1つに記載の非一時的コンピュータ可読記憶媒体では、画像のコンテンツに類似するコンテンツを有する少なくとも1つのウェブページを選択することは、画像のコンテンツと複数のウェブページのコンテンツとの間の類似性に基づいて、複数のウェブページに少なくとも1つのランクを割り当てることと、少なくとも1つのランクに基づいて少なくとも1つのウェブページを選択することとを含む。
【符号の説明】
【０１１８】
110  ユーザ
120  電子デバイス
140  画像
142  テキスト領域
144  テキスト領域
150  画像
152  テキスト領域
154  テキスト領域
160  画像
162  テキスト領域
164  テキスト領域
210  ディスプレイスクリーン
220  ウェブページ
240  サムネイル
250  サムネイル
252  テキスト領域
254  テキスト領域
260  サムネイル
310  画像センサー
320  ストレージユニット
330  I/Oユニット
340  通信ユニット
350  プロセッサ
352  サムネイル生成ユニット
354  テキスト領域検出ユニット
356  テキスト認識ユニット
358  ウェブページ検索ユニット
360  ウェブページ選択ユニット
362  ウェブページキャプチャユニット
364  画像リンク付けユニット
370  通信ネットワーク
400  方法
510  単語解析ユニット
520  クエリ生成ユニット
530  ウェブページフェッチユニット
610  特徴抽出ユニット
620  類似性判断ユニット
630  ランク割当てユニット
640  ウェブページ出力ユニット
710  テキスト領域解析ユニット
720  構文解析ユニット
730  字句解析ユニット
740  意味解析ユニット
750  特徴生成ユニット
800  方法
910  ユーザ
920  ウェブページ
930  テキスト領域
940  テキスト領域
950  テキスト領域
1000  方法
1100  モバイルデバイス
1112  アンテナ
1114  受信機(RCVR)
1116  送信機(TMTR)
1120  デジタル部
1122  モデムプロセッサ
1124  縮小命令セットコンピュータ/デジタル信号プロセッサ(RISC/DSP)
1126  コントローラ/プロセッサ
1128  内部メモリ
1132  一般化オーディオ/ビデオエンコーダ
1134  一般化オーディオデコーダ
1136  グラフィックス/ディスプレイプロセッサ
1138  外部バスインターフェース(EBI)
1142  オーディオ/ビデオソース
1144  マイクロフォン
1146  画像センサー
1148  スピーカー/ヘッドセット
1150  ディスプレイユニット
1152  メインメモリ
1200  サーバシステム
1202  処理ユニット、CPU
1210  通信ネットワークインターフェース
1212  メモリ
1214  通信バス
1216  オペレーティングシステム
1218  ネットワーク通信モジュール
1220  データベース
【図１】
2017535850.tif 000003
【図２】
2017535850.tif 000004
【図３】
2017535850.tif 000005
【図４】
2017535850.tif 000006
【図５】
2017535850.tif 000007
【図６】
2017535850.tif 000008
【図７】
2017535850.tif 000009
【図８】
2017535850.tif 000010
【図９】
2017535850.tif 000011
【図１０】
2017535850.tif 000012
【図１１】
2017535850.tif 000013
【図１２】
2017535850.tif 000014
【手続補正書】
【提出日】平成29年4月11日(2017.4.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための、電子デバイスによって実行される方法であって、
ストレージユニットにおいて、少なくとも1つのテキスト領域を含む前記画像にアクセスするステップと、
前記画像において前記少なくとも1つのテキスト領域を検出するステップと、
前記少なくとも1つのテキスト領域における少なくとも1つの文字列を認識するステップと、
前記少なくとも1つの文字列に基づいて複数のウェブページを検索するステップと、
前記電子デバイスによって、前記複数のウェブページから前記少なくとも1つのウェブページを選択するステップと、
前記電子デバイスによって、前記画像の前記サムネイルと前記少なくとも1つのウェブページとをリンク付けるステップと
を含む方法。
【請求項２】
前記サムネイルの選択を示す入力を受信するステップと、
前記サムネイルにリンク付けられた前記少なくとも1つのウェブページにアクセスするステップと、
前記電子デバイス上に前記少なくとも1つのウェブページを出力するステップと
をさらに含む、請求項1に記載の方法。
【請求項３】
前記少なくとも1つのウェブページにアクセスするステップは、前記電子デバイスに記憶されているか、またはネットワークを介して検索されている前記少なくとも1つのウェブページにアクセスするステップを含み、前記電子デバイスは、モバイル通信デバイスを含む、請求項2に記載の方法。
【請求項４】
前記複数のウェブページを検索するステップは、
前記少なくとも1つの文字列から検索クエリを生成するステップと、
前記検索クエリに基づいて前記複数のウェブページを受信するステップと
を含む、請求項1に記載の方法。
【請求項５】
前記少なくとも1つの文字列は、複数の単語を含み、
前記少なくとも1つの文字列から前記検索クエリを生成するステップは、前記画像における前記複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、前記複数の単語から少なくとも1つの単語を選択するステップを含む、請求項4に記載の方法。
【請求項６】
前記サムネイルと前記少なくとも1つのウェブページとをリンク付けるステップは、前記少なくとも1つのウェブページと前記サムネイルの少なくとも1つの部分とをリンク付けるステップを含み、前記サムネイルの前記少なくとも1つの部分が、前記サムネイルにおける前記少なくとも1つのテキスト領域に関連する、請求項1に記載の方法。
【請求項７】
前記複数のウェブページから前記少なくとも1つのウェブページを選択するステップは、前記複数のウェブページから、前記画像のコンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択するステップを含み、前記ストレージユニットにおいて前記画像にアクセスするステップ、前記少なくとも1つのテキスト領域を検出するステップ、前記少なくとも1つの文字列を認識するステップ、および前記複数のウェブページを検索するステップは、前記電子デバイスによって実行される、請求項1に記載の方法。
【請求項８】
前記画像の前記コンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択するステップは、
前記画像の前記コンテンツと前記複数のウェブページのコンテンツとの間の類似性に基づいて、前記複数のウェブページに少なくとも1つのランクを割り当てるステップと、
前記少なくとも1つのランクに基づいて前記少なくとも1つのウェブページを選択するステップと
を含む、請求項7に記載の方法。
【請求項９】
前記画像の前記コンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択するステップは、
前記画像における前記少なくとも1つのテキスト領域を示す第1の特徴および前記複数のウェブページにおけるテキストを示す複数の第2の特徴を抽出するステップと、
前記第1の特徴および前記複数の第2の特徴に基づいて前記少なくとも1つのウェブページを選択するステップと
を含む、請求項7に記載の方法。
【請求項１０】
前記画像の前記サムネイルと前記少なくとも1つのウェブページとをリンク付けるステップは、前記画像の前記サムネイルに前記少なくとも1つのウェブページの一部分をリンク付けるステップを含み、
前記少なくとも1つのウェブページの前記一部分におけるコンテンツは、前記画像におけるコンテンツに類似する、請求項1に記載の方法。
【請求項１１】
画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための電子デバイスであって、
ストレージユニットにおいて、少なくとも1つのテキスト領域を含む前記画像にアクセスするように構成され、前記画像において前記少なくとも1つのテキスト領域を検出するようにさらに構成されたテキスト領域検出ユニットと、
前記少なくとも1つのテキスト領域における少なくとも1つの文字列を認識するように構成されたテキスト認識ユニットと、
前記少なくとも1つの文字列に基づいて複数のウェブページを検索するように構成されたウェブページ検索ユニットと、
前記複数のウェブページから前記少なくとも1つのウェブページを選択するように構成されたウェブページ選択ユニットと、
前記画像の前記サムネイルと前記少なくとも1つのウェブページとをリンク付けるように構成された画像リンク付けユニットと
を含む電子デバイス。
【請求項１２】
前記サムネイルの選択を示す入力を受信し、前記電子デバイス上に前記少なくとも1つのウェブページを出力するように構成されたI/Oユニットをさらに含み、前記サムネイルにリンク付けられた前記少なくとも1つのウェブページは、前記電子デバイスによってアクセスされ、前記電子デバイスは、前記電子デバイスに記憶されているか、またはネットワークを介して検索されている前記少なくとも1つのウェブページにアクセスするように構成される、請求項11に記載の電子デバイス。
【請求項１３】
前記画像をキャプチャするように構成された画像センサーと、
アンテナと、
受信機と、
送信機とをさらに含み、前記テキスト領域検出ユニット、前記テキスト認識ユニット、前記ウェブページ検索ユニット、前記ウェブページ選択ユニット、前記画像センサー、前記アンテナ、前記受信機、および前記送信機は、モバイル通信デバイスに統合される、請求項11に記載の電子デバイス。
【請求項１４】
前記ウェブページ検索ユニットは、
前記少なくとも1つの文字列から検索クエリを生成するように構成されたクエリ生成ユニットと、
前記検索クエリに基づいて前記複数のウェブページを受信するように構成されたウェブページフェッチユニットと
を含む、請求項11に記載の電子デバイス。
【請求項１５】
前記少なくとも1つの文字列は、複数の単語を含み、
前記クエリ生成ユニットは、前記画像における前記複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、前記複数の単語から少なくとも1つの単語を選択するように構成される、請求項14に記載の電子デバイス。
【請求項１６】
前記画像リンク付けユニットは、前記少なくとも1つのウェブページと前記サムネイルの少なくとも1つの部分とをリンク付けるように構成され、前記サムネイルの前記少なくとも1つの部分が、前記サムネイルにおける前記少なくとも1つのテキスト領域に関連する、請求項11に記載の電子デバイス。
【請求項１７】
前記ウェブページ選択ユニットは、特徴抽出に基づいて、前記複数のウェブページを評価し、前記複数のウェブページから、また前記評価に基づいて、前記画像のコンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択するように構成される、請求項11に記載の電子デバイス。
【請求項１８】
前記ウェブページ選択ユニットは、
前記画像の前記コンテンツと前記複数のウェブページのコンテンツとの間の類似性に基づいて、前記複数のウェブページに少なくとも1つのランクを割り当てるように構成されたランク割当てユニットと、
前記少なくとも1つのランクに基づいて前記少なくとも1つのウェブページを選択するように構成されたウェブページ出力ユニットと
を含む、請求項17に記載の電子デバイス。
【請求項１９】
前記ウェブページ選択ユニットは、
前記画像における前記少なくとも1つのテキスト領域を示す第1の特徴および前記複数のウェブページにおけるテキストを示す複数の第2の特徴を抽出するように構成された特徴抽出ユニットと、
前記第1の特徴および前記複数の第2の特徴に基づいて前記少なくとも1つのウェブページを選択するように構成されたウェブページ出力ユニットと
を含む、請求項17に記載の電子デバイス。
【請求項２０】
前記画像リンク付けユニットは、前記画像の前記サムネイルに前記少なくとも1つのウェブページの一部分をリンク付けるように構成され、
前記少なくとも1つのウェブページの前記一部分におけるコンテンツは、前記画像におけるコンテンツに類似する、請求項11に記載の電子デバイス。
【請求項２１】
画像のサムネイルと少なくとも1つのウェブページとをリンク付けるための電子デバイスであって、
ストレージユニットにおいて、少なくとも1つのテキスト領域を含む前記画像にアクセスするための手段と、
前記画像において前記少なくとも1つのテキスト領域を検出するための手段と、
前記少なくとも1つのテキスト領域における少なくとも1つの文字列を認識するための手段と、
前記少なくとも1つの文字列に基づいて複数のウェブページを検索するための手段と、
前記複数のウェブページから前記少なくとも1つのウェブページを選択するための手段と、
前記画像の前記サムネイルと前記少なくとも1つのウェブページとをリンク付けるための手段と
を含む電子デバイス。
【請求項２２】
前記複数のウェブページを検索するための前記手段は、
前記少なくとも1つの文字列から検索クエリを生成するための手段と、
前記検索クエリに基づいて前記複数のウェブページを受信するための手段と
を含む、請求項21に記載の電子デバイス。
【請求項２３】
前記少なくとも1つの文字列は、複数の単語を含み、
前記少なくとも1つの文字列から前記検索クエリを生成するための前記手段は、前記画像における前記複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、前記複数の単語から少なくとも1つの単語を選択するための手段を含む、請求項22に記載の電子デバイス。
【請求項２４】
前記少なくとも1つのウェブページは、前記画像のコンテンツに類似するコンテンツを有する、請求項21に記載の電子デバイス。
【請求項２５】
前記少なくとも1つのウェブページを選択するための前記手段は、前記画像の前記コンテンツと前記複数のウェブページのコンテンツとの間の類似性に基づいて、前記複数のウェブページに少なくとも1つのランクを割り当てるための手段を含み、前記少なくとも1つのウェブページが前記少なくとも1つのページランクに基づいて選択される、請求項24に記載の電子デバイス。
【請求項２６】
電子デバイスの少なくともプロセッサに、
ストレージユニットにおいて、少なくとも1つのテキスト領域を含む画像にアクセスし、
前記画像において前記少なくとも1つのテキスト領域を検出し、
前記少なくとも1つのテキスト領域における少なくとも1つの文字列を認識し、
前記少なくとも1つの文字列に基づいて複数のウェブページを検索し、
前記複数のウェブページから少なくとも1つのウェブページを選択し、
前記画像のサムネイルと前記少なくとも1つのウェブページとをリンク付ける
動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体。
【請求項２７】
前記電子デバイスの少なくとも前記プロセッサに、
前記少なくとも1つの文字列から検索クエリを生成し、
前記検索クエリに基づいて前記複数のウェブページを受信する
動作を実行させる命令をさらに含む、請求項26に記載の非一時的コンピュータ可読記憶媒体。
【請求項２８】
前記少なくとも1つの文字列は、複数の単語を含み、
前記少なくとも1つの文字列から前記検索クエリを生成することは、前記画像における前記複数の単語の文字サイズ、線幅、ロケーション、タイプ、および発生回数のうちの少なくとも1つに基づいて、前記複数の単語から少なくとも1つの単語を選択することを含む、請求項27に記載の非一時的コンピュータ可読記憶媒体。
【請求項２９】
前記複数のウェブページから前記少なくとも1つのウェブページを選択することは、前記複数のウェブページから、前記画像のコンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択することを含む、請求項26に記載の非一時的コンピュータ可読記憶媒体。
【請求項３０】
前記画像の前記コンテンツに類似するコンテンツを有する前記少なくとも1つのウェブページを選択することは、
前記画像の前記コンテンツと前記複数のウェブページのコンテンツとの間の類似性に基づいて、前記複数のウェブページに少なくとも1つのランクを割り当てることと、
前記少なくとも1つのランクに基づいて前記少なくとも1つのウェブページを選択することと
を含む、請求項29に記載の非一時的コンピュータ可読記憶媒体。
【国際調査報告】
2017535850.tif 000015
2017535850.tif 000016
2017535850.tif 000017