(57)【特許請求の範囲】
【請求項１】
文字列の画像を含む画像データを、通信ネットワークに接続されたユーザ端末から受信する受信手段と、
前記受信手段により受信した画像データに対して文字認識処理を行って、当該画像データから文字列を抽出する文字認識手段と、
前記文字認識手段により抽出された文字列を解析して、当該文字列から単語群を抽出する単語情報抽出手段と、
単語群と分野とを対応付けた概念辞書を格納する概念辞書格納手段と、
分野毎に当該分野の単語と重要度とを対応付けた各分野毎重要語辞書を格納する各分野毎重要語辞書格納手段と、
前記単語情報抽出手段により抽出された単語群について、前記概念辞書を参照することにより、当該単語群の分野を判定し、当該単語群の中のそれぞれの単語について、前記判定された分野に対応する各分野毎重要語辞書を参照することにより当該単語の重要度を求め、求められた重要度が所定の条件を満たす単語を、重要キーワードとして選択する重要度判定手段と、
前記重要度判定手段により選択された重要キーワードに関連する情報へのリンク情報を含む関連情報を生成する関連情報生成手段と、
前記関連情報生成手段により生成された関連情報を、前記ユーザ端末に送信する送信手段と
を備えることを特徴とする文書画像関連情報提供装置。
【請求項２】
前記関連情報生成手段は、前記重要キーワードの前記画像データ内での位置情報を取得し、当該位置情報を前記リンク情報と対応付けて前記関連情報に含め、
当該関連情報を受信したユーザ端末は、当該ユーザ端末の表示部に表示される画像上の前記位置情報に対応する重要キーワードを強調表示し、当該強調表示された当該重要キーワードがユーザにより選択された場合に、当該位置情報に対応づけられたリンク情報を用いて、前記重要キーワードに関連する情報を取得して、前記表示部に表示する
ことを特徴とする請求項１に記載の文書画像関連情報提供装置。
【請求項３】
前記文書画像関連情報提供装置は、単語と重要度とを対応付けたデータである重要語辞書を格納する重要語辞書格納手段を備え、
前記重要度判定手段は、前記単語情報抽出手段により抽出された単語群の中のそれぞれの単語について、前記重要語辞書を参照することにより重要度を求め、重要度が所定の条件を満たす単語を、前記重要キーワードとして選択する
ことを特徴とする請求項１又は２に記載の文書画像関連情報提供装置。
【請求項４】
前記文書画像関連情報提供装置は、
検索エンジンのクエリログを格納するクエリログ格納手段と、
前記クエリログ格納手段に格納されたクエリログに含まれる単語の出現頻度を重要度として用いることにより、前記重要語辞書を生成し、当該重要語辞書を前記重要語辞書格納部に格納する重要語辞書生成手段と
を備えることを特徴とする請求項３に記載の文書画像関連情報提供装置。
【請求項５】
前記文字認識手段は、前記画像データから前記文字列を抽出するとともに、各文字の位置情報を取得し、
前記重要度判定手段は、前記位置情報を用いて、前記単語情報抽出手段により抽出された単語群における各単語の画像内における位置を検出し、画像の中心に近い単語ほど重要度が高いと判定する
ことを特徴とする請求項１ないし４のうちいずれか１項に記載の文書画像関連情報提供装置。
【請求項６】
前記文書画像関連情報提供装置は、
前記重要度判定手段が用いる前記条件を示すデータと、前記関連情報生成手段が前記関連情報を生成する際に用いる生成方法の条件を示すデータとを格納する条件データ格納手段と、
前記条件データを設定するための画面データを前記ユーザ端末に送信し、当該ユーザ端末から受信する条件データを、前記条件データ格納手段に格納する条件設定手段と
を備えることを特徴とする請求項１ないし５のうちいずれか１項に記載の文書画像関連情報提供装置。
【請求項７】
請求項１ないし６のうちいずれか１項に記載の文書画像関連情報提供装置と、前記ユーザ端末とを備える文書画像関連情報取得システムであって、前記ユーザ端末は、
文書を撮影することにより、当該文書の画像データを取得する文書画像取得手段と、
前記文書画像取得手段により取得された画像データを前記文書画像関連情報提供装置へ送信する送信手段と、
前記関連情報を前記文書画像関連情報提供装置から受信する受信手段と、
前記受信した関連情報を用いて、前記重要キーワードに関連する情報を表示する関連情報表示手段と、を備える
ことを特徴とする文書画像関連情報取得システム。
【請求項８】
請求項１ないし６のうちいずれか１項に記載の文書画像関連情報提供装置と、前記ユーザ端末とを備える文書画像関連情報取得システムであって、前記ユーザ端末は、
前記画像データを、前記ユーザ端末が備えるビデオメモリから取得する文書画像取得手段と、
前記文書画像取得手段により取得された画像データを前記文書画像関連情報提供装置へ送信する送信手段と、
前記関連情報を前記文書画像関連情報提供装置から受信する受信手段と、
前記受信した関連情報を用いて、前記重要キーワードに関連する情報を表示する関連情報表示手段と、を備える
ことを特徴とする文書画像関連情報取得システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、書籍等の文書の一部を撮影して取得した画像データを解析し、画像データに含まれる文字情報に関連する電子的な情報を利用者が簡単に取得できるシステムに関するものである。
【背景技術】
【０００２】
書籍やパンフレット等、印刷された文書を読んでいる時に、それに関連する詳しい情報を知りたい場合、インターネットに接続されたコンピュータが利用できる場合には、ネット検索等により、すぐに情報を得ることができる。
【０００３】
外出中などでコンピュータを利用できない場合でも、インターネットに接続できる端末を携帯していれば、知りたい情報を文字入力することにより、情報を得ることができるが、一般的に携帯端末における文字入力は煩雑であるため、あまり好まれてはいない。
【０００４】
ただし、印刷された文書にQRコードや電子透かしが付与されていれば、文字入力をしなくてもQRコードや電子透かしを認識できるカメラ付き携帯端末を使って、インターネット上の電子データへのリンクを取得し、電子データにアクセスできる。
【０００５】
下記の特許文献１には、画像に入力された情報を電子透かしとして埋め込み、電子透かしを埋め込んだ画像を印刷して配布することにより、利用者が端末で画像を取り込むだけで透かしとして埋め込まれた情報を読み出す技術が記載されている。
【０００６】
また、非特許文献１には、印刷された後に関連リンクを得る方法として、文書に関する情報を予めインデクシングしておき、カメラ付き端末で文書を撮影し、文字認識機能により抽出した単語でインデックスを検索する方法が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2004-357149号公報
【非特許文献】
【０００８】
【非特許文献１】文字認識と単語レイアウト解析を用いた紙文書とディジタルデータの情報リンク手法、嶺 竜治他、電子情報通信学会論文誌Ｄ、Ｖｏｌ．Ｊ９２９Ｄ，Ｎｏ．６，ｐｐ．868−875
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記のように、印刷された文書から関連情報へのリンクを取得できるようにするためには、予めQRコードや電子透かしを文書に付与したり、文書を電子化してリンク情報への関連付けをしておく必要があった。
【００１０】
印刷された文書が特定の目的に基づくパンフレットやポスターの場合は、利用者が知りたいことと作成者が提供したい情報が合致していることが想定されやすいため、予めQRコードを付与したり、固定的なリンク情報の関連付けをすることは現実的であるが、一般的な書籍や雑誌、新聞などを読んでいる人がインターネットで調べたいと想定されることは非常に膨大であって、関連する情報に関するリンクをあらかじめインデクシングして関連付けすること等は現実的であるとは言えない。
【００１１】
本発明は上記を鑑みてなされたものであり、外出中等、インターネットに接続されたコンピュータが利用できない状況において、印刷された書籍等に含まれるキーワードの中にインターネット上に有意義な情報がある場合に、利用者が携帯している端末等から簡単にその情報を利用できるようにする技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明は、文字列の画像を含む画像データを、通信ネットワークに接続されたユーザ端末から受信する受信手段と、前記受信手段により受信した画像データに対して文字認識処理を行って、当該画像データから文字列を抽出する文字認識手段と、前記文字認識手段により抽出された文字列を解析して、当該文字列から単語群を抽出する単語情報抽出手段と、単語群と分野とを対応付けた概念辞書を格納する概念辞書格納手段と、分野毎に当該分野の単語と重要度とを対応付けた各分野毎重要語辞書を格納する各分野毎重要語辞書格納手段と、前記単語情報抽出手段により抽出された単語群について、前記概念辞書を参照することにより、当該単語群の分野を判定し、当該単語群の中のそれぞれの単語について、前記判定された分野に対応する各分野毎重要語辞書を参照することにより当該単語の重要度を求め、求められた重要度が所定の条件を満たす単語を、重要キーワードとして選択する重要度判定手段と、前記重要度判定手段により選択された重要キーワードに関連する情報へのリンク情報を含む関連情報を生成する関連情報生成手段と、前記関連情報生成手段により生成された関連情報を、前記ユーザ端末に送信する送信手段とを備えることを特徴とする文書画像関連情報提供装置として構成される。
【００１３】
前記関連情報生成手段は、前記重要キーワードの前記画像データ内での位置情報を取得し、当該位置情報を前記リンク情報と対応付けて前記関連情報に含め、当該関連情報を受信したユーザ端末は、当該ユーザ端末の表示部に表示される画像上の前記位置情報に対応する重要キーワードを強調表示し、当該強調表示された当該重要キーワードがユーザにより選択された場合に、当該位置情報に対応づけられたリンク情報を用いて、前記重要キーワードに関連する情報を取得して、前記表示部に表示するようにしてもよい。
【００１４】
前記文書画像関連情報提供装置は、単語と重要度とを対応付けたデータである重要語辞書を格納する重要語辞書格納手段を備え、前記重要度判定手段は、前記単語情報抽出手段により抽出された単語群の中のそれぞれの単語について、前記重要語辞書を参照することにより重要度を求め、重要度が所定の条件を満たす単語を、前記重要キーワードとして選択するようにしてもよい。
【００１５】
前記文書画像関連情報提供装置は、検索エンジンのクエリログを格納するクエリログ格納手段と、前記クエリログ格納手段に格納されたクエリログに含まれる単語の出現頻度を重要度として用いることにより、前記重要語辞書を生成し、当該重要語辞書を前記重要語辞書格納部に格納する重要語辞書生成手段とを備えてもよい。
【００１７】
また、前記文字認識手段は、前記画像データから前記文字列を抽出するとともに、各文字の位置情報を取得し、前記重要度判定手段は、前記位置情報を用いて、前記単語情報抽出手段により抽出された単語群における各単語の画像内における位置を検出し、画像の中心に近い単語ほど重要度が高いと判定するようにしてもよい。
【００１８】
また、前記文書画像関連情報提供装置は、前記重要度判定手段が用いる前記条件を示すデータと、前記関連情報生成手段が前記関連情報を生成する際に用いる生成方法の条件を示すデータとを格納する条件データ格納手段と、前記条件データを設定するための画面データを前記ユーザ端末に送信し、当該ユーザ端末から受信する条件データを、前記条件データ格納手段に格納する条件設定手段とを備えてもよい。
【発明の効果】
【００１９】
本発明によれば、印刷された文書を読んでいる人が、文書内の文字列に関するより詳細な情報をインターネット上から取得したい場合、カメラ付き携帯端末等のユーザ端末でその文書を撮影し、文書画像関連情報提供装置に送信するだけで、重要なキーワード群に関するリンク情報等を受信でき、検索したい単語を文字入力するような煩雑な操作無しに、有用な情報を得ることができる。
【００２０】
また、本発明によれば、PC端末上で文書を読んでいる場合でも、気になったキーワードに関する情報を、煩雑な操作無しにすばやく得ることができる。また、単語の種類によって適切なリンク先を取得するよう条件設定をしておくことにより、利用者は明示的に検索先を毎回指定したりすることなく、効率的に必要な情報を収集することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態に係る文書画像関連情報取得システムの全体構成図である。
【図２】本発明の実施の形態に係る文書画像関連情報取得システムの動作を示すフローチャートである。
【図３】実施例１の処理内容を説明するための図である。
【図４】実施例２における文書画像取得部１２の機能構成図である。
【図５】実施例２の処理内容を説明するための図である。
【図６】実施例３における文書画像関連情報提供装置２の機能構成図である。
【図７】重要語辞書格納部２６に格納される重要語辞書データの一例を示す図である。
【図８】検索クエリログの一例を示す図である。
【図９】実施例４における重要度算出方法を説明するための図である。
【図１０】実施例５における文書画像関連情報提供装置２の機能構成図である。
【図１１】実施例５における文書画像関連情報提供装置２の動作を説明するためのフローチャートである。
【図１２】実施例６における文書画像関連情報提供装置２の機能構成図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態を説明する。
【００２３】
（文書画像関連情報取得システムの基本構成）
図１に、本発明の実施の形態に係る文書画像関連情報取得システムの全体構成を示す。図１に示すように、本実施の形態に係る文書画像関連情報取得システムは、ユーザ端末１と、文書画像関連情報提供装置２とを備え、これらがインターネット等の通信ネットワーク３で接続されて構成されている。
【００２４】
ユーザ端末１は、通信部１１、文書画像取得部１２、関連情報表示部１３を備える。通信部１１は、通信ネットワーク３を介して他の装置との間でデータの送受信を行う機能部である。文書画像取得部１２は、例えば、カメラにより文書を撮影することにより文書の画像データを取得し、メモリ等の記憶手段に格納するとともに、当該画像データを通信部１１を介して文書画像関連情報提供装置２に送信する機能部である。関連情報表示部１３は、ディスプレイ等の表示部を含み、通信ネットワーク３を介して取得した関連情報を用いて、画面表示を行うための機能部である。
【００２５】
ユーザ端末１は、メモリやハードディスク等の記憶手段及びCPUを備えるコンピュータの機能と、画像を取得することができる機能とを備えた装置であればどのような装置でもよい。当該コンピュータに、各機能部に対応する処理を行うためのプログラムを搭載することによりユーザ端末１を実現できる。後述するように、ユーザ端末１として、例えば、カメラ付き携帯電話機等の携帯端末や、ビデオメモリを備えるＰＣ端末等を使用できる。
【００２６】
文書画像関連情報提供装置２は、通信部２１、文字認識部２２、単語情報抽出部２３、重要度判定部２４、及び関連情報生成部２５を有する。
【００２７】
通信部２１は、通信ネットワーク３を介して他の装置とデータの送受信を行うための機能部である。文字認識部２２は、ユーザ端末１から受信する画像データに対して文字認識処理を行って、文字列等を抽出する機能部である。単語情報抽出部２３は、文字認識部２２により抽出された文字列の中から、単語群等を抽出する機能部である。重要度判定部２４は、単語情報抽出部２３により抽出された単語群に対し、重要度判定を行って、重要度の高いキーワードである重要キーワードを抽出する機能部である。関連情報生成部２５は、重要度判定部２４により抽出された重要キーワードに関連する情報へのリンク情報等を含む関連情報を生成し、当該関連情報をユーザ端末１に送信する機能部である。
【００２８】
文書画像関連情報提供装置２は、メモリやハードディスク等の記憶手段及びCPUを備える一般的なコンピュータに、各機能部に対応する処理を行うためのプログラムを搭載することにより実現できる。
【００２９】
当該プログラムは、可搬メモリやディスク等の記録媒体から上記コンピュータにインストールしてもよいし、ネットワーク上のサーバから上記コンピュータにダウンロードし、インストールすることとしてもよい。また、文書画像関連情報提供装置２は、各機能部を別々のコンピュータで実現する等により、複数のコンピュータを通信ネットワークで接続して実現することもできる。
【００３０】
（システムの基本動作）
次に、本発明の実施の形態に係る文書画像関連情報取得システムの基本的な動作について、図２のフローチャートを参照して説明する。
【００３１】
まず、ユーザ端末１の文書画像取得部１２が、書籍等の文書の画像データを取得し（ステップ１）、取得した画像データを通信部１１を介して文書画像関連情報提供装置２に送信する（ステップ２）。
【００３２】
文書画像関連情報提供装置２において、通信部２１が画像データを受信し（ステップ３）、画像データがメモリ等の記憶手段に格納されるとともに、当該画像データは、文字認識部２２に渡される。
【００３３】
文字認識部２２は、文字認識機能により画像データを解析し、画像データの元になった文書に含まれている文字列を抽出する（ステップ４）。ここでの文字認識機能とは、例えば、一般的なOCR（Optical Character Reader：光学式文字読取装置）で使われているような、文字の画像データから文字を識別してテキストデータを取得する機能のことである。
【００３４】
次に、文字認識部２２により抽出された文字列は単語情報抽出部２３に渡され、単語情報抽出部２３が、形態素解析機能やPart-of-speech解析機能を用いることにより、文字列から単語（単語群）及び品詞情報を抽出する（ステップ５）。ここで、形態素解析とは、例えば特開平4-64170号公報に記載されているような、文章を意味のある単語に区切り、単語及び品詞情報を抽出する技術である。
【００３５】
抽出された単語群は重要度判定部２４に渡され、重要度判定部２４は、当該単語群に対して重要度のスコアリングを行い（ステップ６）、予め決められた条件に基づき、単語群から重要キーワードを選択する（ステップ７）。この条件とは、例えば、重要度が高いほうから上位N件等である。
【００３６】
重要度判定部２４により選択された重要キーワードは、関連情報生成部２５に渡される。関連情報生成部２５は、各重要キーワードに関連する情報を得ることのできるリンク情報（例えばWikipediaのその単語に関するページのURLや、検索エンジンに投げた結果のURL等）を含む情報を関連情報として生成し（ステップ８）、生成した関連情報を通信部２１を介してユーザ端末１に送信する（ステップ９）。
【００３７】
ユーザ端末１は関連情報を受信し（ステップ１０）、関連情報表示部１３が、当該関連情報を用いて、例えば、文書を撮影して得た画像内での重要キーワードを示すための情報や、重要キーワードに対応するリンク先から取得した情報等をディスプレイに表示する。
【００３８】
以下、上記の基本構成及び基本処理動作に基づくより具体的な処理例を説明した実施例を示す。以下で説明する各実施例における基本的なシステム構成、及び処理の流れは、それぞれ図１、図２に示すとおりであるが、詳細な構成及び処理内容はそれぞれの実施例で異なる。以下、実施例毎に、基本構成と異なる部分を中心に説明する。
【００３９】
なお、以下の各実施例は、他の任意の実施例と組み合わせて実施することが可能である。また、以下の各実施例において、辞書を格納する格納部は、文書画像関連情報提供装置２に備えてもよいし、外部に備え、通信ネットワーク３を介してアクセスすることとしてもよい。
【００４０】
（実施例１）
まず、実施例１について説明する。実施例１は、ユーザ端末１としてカメラ付き携帯端末（例えば、携帯電話機、スマートフォン等）を利用する例である。以下、本実施例の処理の流れを、図２に示す処理の流れに沿って説明する。
【００４１】
本実施例では、書籍等の紙媒体に印刷された文書を、ユーザ端末１に付属のカメラで撮影することにより、画像データが取得され（ステップ１）、ユーザ端末１は、取得された画像データを文書画像関連情報提供装置２に送信する（ステップ２）。
【００４２】
文書画像関連情報提供装置２では、図２に示すステップ３〜ステップ８の処理を行って、関連情報を生成し、当該関連情報をユーザ端末１に送信し（ステップ９）、ユーザ端末１にて、関連情報を用いた表示が行われる（ステップ１０、１１）。
【００４３】
図３は、本実施例の処理内容を示す図であり、図３の右側に、ユーザ端末１の表示画面が示され、当該画面上に、文書画像関連情報提供装置２から受信した関連情報により作成された情報が表示されている。  
図３に示すように、本実施例では、画面の一部の領域（図３の例では、画面のおおよそ上半分の領域）に、カメラで撮影した文書画像が表示されており、この画像に含まれる重要キーワードが強調表示されている。このような表示を行うことにより、ユーザは、どれが重要キーワードであるかを把握できる。
【００４４】
また、ユーザが強調表示されたキーワードのうちの一つを選択（カーソル移動・選択、画面タッチ等）することで、そのキーワードに関連する情報を画面の残り半分の領域に表示できることが示されている。
【００４５】
本実施例では、図３に示すような表示を可能とするために、文書画像関連情報提供装置２における関連情報生成部２５が、重要度判定部２４で選択された重要キーワードの画像内における座標情報を算出する。この座標情報は、例えば、重要キーワードの画像内での相対位置、すなわち重要キーワードの領域の左上座標と右下座標である。
【００４６】
そして、関連情報生成部２５は、当該座標情報と、重要キーワードに対応するリンク情報とを含む関連情報をユーザ端末１に送信する。ユーザ端末１における関連情報表示部１３は、受信した関連情報に含まれる座標情報に従って、画像上に何らかのマークを重畳表示することで強調表示を実現する。図３の例では、半透明の色付きBOXを、座標情報に対応する重要キーワード上に重畳表示することで強調表示を実現している。
【００４７】
また、関連情報表示部１３は、ユーザ端末１の画面上でなされた操作情報（カーソル移動・選択、画面タッチ等）を受け取り、当該操作情報により判別される画像の座標情報に対応するリンク情報を用いて情報を取得し、取得した情報を表示する。これにより、図３に示した下半分の表示を行うことができる。
【００４８】
（実施例２）
次に、実施例２について説明する。本実施例では、ユーザ端末１として一般的なPC端末を使用している。
【００４９】
本実施例のユーザ端末１における文書画像取得部１２は、ディスプレイに表示される画像の画像データを格納するビデオメモリから、ユーザにより指定された範囲及びタイミングの画像データを取得し、取得した画像データを文書画像関連情報提供装置２に送信する。
【００５０】
図４に、本実施例に係る文書画像取得部１２の機能構成例を示す。図４には、ユーザ端末１における操作部１４（マウス、キーボード等）と、ビデオメモリ１５も示されている。図４に示すように、本実施例に係る文書画像取得部１２は、操作部１４から指示情報（画像の範囲を示す情報、及び、画像を取得する命令を含む）を受け取る指示情報取得部１２１と、指示情報を取得した時点における、指示情報に含まれる範囲情報の範囲に該当する画像データをビデオメモリから取得する画像データ取得部１２２と、取得した画像を通信部１１に渡す画像データ送信部１２３とを備えている。このような文書画像取得部１２は、図４に示す機能を備えたアプリケーションプログラムを用いることにより実現可能である。
【００５１】
このような文書画像取得部１２を備えることにより、例えば図５に示すように、ユーザ端末１のディスプレイに表示された画像内において、ユーザがある文字列に関する関連情報を欲しいと考えた場合に、ユーザが当該文字列を含む領域（図５に示される枠１７）を指定することにより、関連情報を取得することができる。
【００５２】
ユーザ端末１のビデオメモリ上から画像データを取得することにより、紙媒体をカメラで撮影する時に発生する歪みや採光条件による陰などの影響が全く無いという利点がある。これにより、文字認識精度を向上させることができ、文書画像関連情報提供装置２において、文字の誤認識の率を極めて低くすることが可能になる。
【００５３】
また、本実施例において、文書画像取得部１２を構成するアプリケーションプログラムを、文字列を含む画像を表示しているアプリケーションプログラムとは別のアプリケーションプログラムとすることにより、ユーザ端末１の画面上に表示されている文字列であれば、どのようなアプリケーションプログラムにより表示されている文字列であっても、文字列を取得することが可能となる。
【００５４】
なお、GUI（graphical user interface）を持つ、現在一般的に普及しているOSでは、GUI画面の内容はビデオメモリ上に格納されており、ビデオメモリから画像データを取得する機能は、各OSで提供されている。例えば、Windows（登録商標）上では、Win32API：BitBlt等を使うことで、ビデオメモリからのキャプチャを実現することができる。
【００５５】
（実施例３）
次に、実施例３を説明する。図６に、本実施例における文書画像関連情報提供装置２の機能構成図を示す。図６に示すように、本実施例における文書画像関連情報提供装置２は、図１に示した機能部に加えて、重要語辞書格納部２６と、重要語辞書生成部２７とを備える。  
図７に、重要語辞書格納部２６に格納される重要語辞書データの一例を示す。図７の例では、重要語辞書データは、単語と、その重要度を示す値とが対応付けられたデータである。本実施例での重要度判定部２４は、単語情報抽出部２３から渡された単語群について、この重要語辞書を参照することによりその重要度を算出する。なお、重要語辞書に存在しない単語は重要度ゼロとみなされる。また、ユーザ端末１に通知する重要キーワードの数に制限を設けた場合等には、単語群の中で重要語辞書に存在した単語のうち、所定の閾値以上の重要度を持つ単語だけを重要キーワードとして選択することができる。
【００５６】
例えば、単語情報抽出部２３から渡された単語群にＡＢＣとＸＹＺが含まれていた場合、重要度判定部２４は、重要語辞書を参照することにより、ＡＢＣとＸＹＺの重要度をそれぞれ０．４５、０．８６として求める。そして、例えば、重要キーワード抽出閾値が０．８であった場合、ＸＹＺは重要キーワードとして選択されるが、ＡＢＣは重要キーワードとして選択されない。
【００５７】
本実施例における重要語辞書生成部２７は、重要語辞書データを生成し、それを重要語辞書格納部２６に格納する機能を有する。具体的には、本実施例における重要語辞書生成部２７は、検索クエリログを用いて重要語辞書を生成する。
【００５８】
検索クエリログは、検索エンジン（サーバ）に送信されたクエリに関する情報を記録した情報であり、検索が実行された日時、発行されたクエリの内容、クエリの発行元IPアドレス、リファラー（リンク元のページ）のURL等を含む。図８に、検索クエリログの一例を示す。
【００５９】
検索クエリログの中の情報の中で、クエリに含まれるキーワード（図８の例では"台風情報"等）は、インターネット利用者の現在の興味関心事を反映していると考えることができるため、検索クエリログの中のクエリ内に含まれるキーワードの数をカウントすることで、キーワードの重要度の指標とすることができる。つまり、検索クエリログにおけるキーワードの出現頻度が高いほど、重要度を高く算出することができる。また、キーワードの重要度は０から１の間になるよう、正規化することもできる。
【００６０】
例えば、単語群の中のＡＢＣという単語が１００個、検索クエリログの中に存在し、ＸＹＺという単語が最も多くて１０００個、検索クエリログの中に存在していた場合に、ＡＢＣの重要度を０．１、ＸＹＺの重要度を１と算出することができる。
【００６１】
重要語辞書生成部２７は、通信ネットワーク３に接続された他のサーバから検索クエリログを取得し、メモリ等の記憶手段に格納して使用することができる。また、検索クエリログをオフラインで入手し、それを記憶手段に格納することとしてもよい。また、入手された検索クエリログの全部のデータを使ってもよいし、興味関心事の流行を反映するため、直近１週間等、検索クエリログのみを利用しても良い。
【００６２】
なお、本実施例では、検索クエリログを用いて重要語辞書を作成する例を説明したが、重要語辞書を作成するための元となるデータは、検索クエリログに限られるわけではない。ユーザの興味関心事を反映し得るデータであればどのようなデータを用いてもよい。
【００６３】
また、本実施例では、予め重要語辞書データを重要語辞書格納部２６に格納しておき、その重要語辞書データを用いて重要度算出を行う例を説明したが、重要度の算出方法はこれに限られるわけではなく、プログラムの処理により、重要度を判定できる方法であれば、他の種々の方法を用いることができる。
【００６４】
例えば、重要度判定部２４が、単語情報抽出部２３から渡された単語群の各々の単語を用いてインターネット検索を行い、検索されたインターネットサイトの頻度（検索されたサイトの数）でキーワードの重要度を算出することもできる。例えば、ＡＢＣという単語でインターネット検索を行った結果、１０のサイトが検索され、ＸＹＺという単語でインターネット検索を行った結果、１００のサイトが検索された場合、ＡＢＣの重要度は１０とし、ＸＹＺの重要度を１００とすることができる。そして、例えば、重要度が５０以上のみを重要キーワードとして選択する場合、ＡＢＣは重要キーワードとして選択されず、ＸＹＺは、重要キーワードとして選択されることになる。
【００６５】
（実施例４）
次に、実施例４を説明する。実施例４では、単語情報抽出部２３により抽出された単語群の各単語の重要度を判定する際に、単語の位置情報を利用している。
【００６６】
本実施例において、文字認識部２２は、文字認識の結果として、認識された文字列と、その文字列の各文字の画像内での位置の情報を単語情報抽出部２３に渡す。そして、単語情報抽出部２３は、文字列から抽出された単語と、各単語の位置情報（例えば、単語を構成する各文字の左上端点の座標）、及び当該単語の品詞を重要度判定部２４に渡す。
【００６７】
重要度判定部２４は、単語情報抽出部２３から渡された単語群と品詞の情報に基づき、単語群から名詞（ただし、接尾辞以外）の単語を取得する。更に、重要度判定部２４は、当該単語の各文字の位置情報を用いて、当該単語の重心位置（X,Y）を算出し、その重心位置が、画像の中心位置に近いほど重要度のスコアが高くなるような関数を用いてスコアリングを行い、そのスコアが高いほど重要度を高く算出する。つまり、画像の横と縦の長さをＷ，Ｈとすれば、（X,Y）と（W／2, H／2）との距離を算出し、この距離が小さいほど重要度を高くするように重要度を算出する。
【００６８】
図９（ａ）、(ｂ)は、本実施例における重要度算出方法を具体的に説明するための図である。図９（ａ）において、単語情報抽出部２３により、名詞（ただし、接尾辞以外）と判定された単語が、点線で囲んである。重要度判定部２４は、これらの各単語の重心（X,Y）を算出し、その重心が（W／2, H／2） に近いほどスコアが高くなるように重要度を算出する。
【００６９】
図９（ｂ）は、各単語の重心座標と、そこから計算されたスコアの例であり、この例では、画像の中心（W／2, H／2）からの距離のログを取って正規化した結果をスコア（＝重要度）として使用している。本例では、中心付近にある「場」がもっとも重要度の高いキーワードとなり、以下、「電子」「素数」の順に続く。
【００７０】
なお、本実施例を実施例３と組み合わせて用いる場合には、例えば、実施例２で重要語辞書を用いて取得した重要度に、本実施例における位置情報に基づき得られたスコア（もしくは、当該スコアに所定の重み係数を乗算した値）を乗算した値を重要度として用いることができる。
【００７１】
（実施例５）
次に、実施例５を説明する。図１０に、本実施例の文書画像関連情報提供装置２の構成図を示し、図１１に、本実施例の文書画像関連情報提供装置２の処理フローを示す。
【００７２】
図１０に示すように、本実施例では、文書画像関連情報提供装置２は、概念辞書データを格納する概念辞書格納部２８と、各分野毎の重要語辞書データを格納する各分野毎重要語辞書格納部２９を備える。
【００７３】
ここで、概念辞書とは、ある概念と他の概念との関係等を記述した辞書であり、本実施例では、概念辞書を適用することにより、単語群が表す分野を判定している。また、各分野毎の重要語辞書は、例えば、科学分野に特化した重要語辞書を含む、予め決めた分野毎の重要語辞書である。この辞書は、科学分野に対応するものであれば、例えば、図７に示すデータ構造で、単語の欄に科学技術分野の重要語が羅列された辞書である。
【００７４】
図１１の処理フローにおいて、ステップ５までは、基本構成における処理フローと同様である。ステップ６１において、重要度判定部２４は、単語情報抽出部により抽出された単語群（重要キーワードとその周辺単語を含む）を用いて概念辞書を検索することにより、画像データに示されている文書の内容の分野を判定する。なお、単語群を関連情報生成部２５に渡し、関連情報生成部２５が、概念辞書の検索を行ってもよい。
【００７５】
例えば、図９（ａ）に示した例において、「理論」「スピン」「電子」等を概念辞書に適用することにより、この文書の内容が科学分野について記述されていることが判定できる。
【００７６】
そして、重要度判定部２４は、汎用の重要語辞書を使用する代わりに、ステップ６１において判定された分野に対応する重要語辞書を用いて、各単語の重要度を算出する（ステップ６２）。これにより、例えば、図９（ａ）の中の「場」という単語に関して、科学分野の専門用語としての「場」という単語の重要度を評価することができる。
【００７７】
図９（ａ）に示した例では、「場」という語は、一般的にはそれほど重要度の高いキーワードではないと考えられるが、本実施例のように、概念辞書を用いて分野を判定することにより、文書の内容に適合したより適切な重要度を算出できる。
【００７８】
図１１において、ステップ７以降の処理は、基本構成における処理と同様である。
【００７９】
（実施例６）
次に、実施例６について説明する。実施例６は、重要キーワードの選択と関連情報の選択に関する処理の具体例である。
【００８０】
図１２に、本実施例における文書画像関連情報提供装置２の構成例を示す。本実施例では、文書画像関連情報提供装置２は、重要キーワードの選択と関連情報の選択等に関する条件データを格納する条件データ格納部３０と、条件データ格納部３０に格納する条件データ設定のための画面データをユーザ端末１に送り、受信した条件データを条件データ格納部３０に格納する条件設定ＧＵＩ部３１を備える。
【００８１】
条件設定ＧＵＩ部３１の機能により、例えば、ユーザ端末１の表示部に、条件設定のためのＧＵＩ画面（Ｗｅｂ画面）が表示され、ユーザは当該ＧＵＩ画面を見ながら所望の条件を入力できる。
【００８２】
本実施例において条件データ格納部に格納される条件データの例としては、重要度判定部２４が単語群から重要キーワードとして選択する単語の数の最大値、重要度の算出にあたっての位置情報の寄与度（前述した重み係数）、重要キーワードの候補として抽出する単語の品詞リスト、等がある。
【００８３】
また、関連情報生成部２５において、固有名詞を解析してそれが人名なのか地名なのか組織名なのかといった単語のプロファイル情報を抽出する固有表現抽出機能を備えることにより、関連情報生成部２５が、作成する関連情報の種類を単語プロファイル情報によりカスタマイズしてもよい。ここでのカスタマイズの条件は条件データとして条件データ格納部３０に格納しておく。
【００８４】
カスタマイズとしては、例えば、重要キーワードのうちの特定のプロファイルの単語のみについて関連情報をユーザ端末１に提供する、重要キーワードが地名である場合には、所定のサイトにより提供される地図のＵＲＬを取得してユーザ端末１に提供する、等がある。このように、単語の種類によって適切なリンク先を取得するよう条件設定をしておくことが可能になり、利用者は明示的に検索先を毎回指定したりすることなく、効率的に必要な情報を収集することができる。
【００８５】
なお、固有表現抽出機能として、例えば、特開2009-86911 号公報に記載されているような技術を用いることが可能である。
【００８６】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００８７】
１  ユーザ端末
２  文書画像関連情報提供装置
３  通信ネットワーク
１１  通信部
１２  文書画像取得部
１３  関連情報表示部
１４  操作部
１５  ビデオメモリ
２１  通信部
２２  文字認識部
２３  単語情報抽出部
２４  重要度判定部
２５  関連情報生成部
２６  重要語辞書格納部
２７  重要語辞書生成部
２８  概念辞書格納部
２９  各分野毎重要語辞書格納部
３０  条件データ格納部
３１  条件設定ＧＵＩ部
１２１  指示情報取得部
１２２  画像データ取得部
１２３  画像データ送信部
【図１】
0005484113.tif 000002
【図２】
0005484113.tif 000003
【図３】
0005484113.tif 000004
【図４】
0005484113.tif 000005
【図５】
0005484113.tif 000006
【図６】
0005484113.tif 000007
【図７】
0005484113.tif 000008
【図８】
0005484113.tif 000009
【図９】
0005484113.tif 000010
【図１０】
0005484113.tif 000011
【図１１】
0005484113.tif 000012
【図１２】
0005484113.tif 000013