(57)【要約】【課題】文書と、その文書に対応する適切な画像とを表示する文書画像表示装置を提供する。【解決手段】文書が記憶される文書記憶部１１、文書をチャンクに分割し、各チャンクの係り受けを示す係り受け情報を取得する文書解析部１２、その係り受け情報を用い、一のチャンクとそのチャンクのみから係りを受けるチャンクとの関係である単受け関係によってつながる複数のチャンクを一のチャンクに併合する併合部１３、併合後のチャンク及び併合されなかったチャンクのうち、少なくとも併合後のチャンクを含む１以上のチャンクに対応する複数の画像をそれぞれ取得する画像取得部１４、文書に対応するチャンク列と、チャンク列に含まれる各チャンクに対応する、画像取得部１４が取得した２以上の画像とを、チャンクと２以上の画像との対応が分かるように表示する表示部１６、を備える。【選択図】図１
2010204884.tif 000002
【特許請求の範囲】
【請求項１】
文書が記憶される文書記憶部と、
前記文書記憶部で記憶されている文書をチャンクごとに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する文書解析部と、
前記文書解析部が取得した係り受け情報を用いて、１個のチャンクと、当該１個のチャンクのみからの係りを受けるチャンクとの関係である単受け関係によってつながる２以上のチャンクを１個のチャンクに併合する併合部と、
前記併合部による併合後のチャンク、及び併合されなかったチャンクのうち、少なくとも併合後のチャンクを含む１以上のチャンクに対応する２以上の画像をそれぞれ取得する画像取得部と、
前記文書記憶部で記憶されている文書に対応するチャンク列と、当該チャンク列に含まれる各チャンクに対応する、前記画像取得部が取得した２以上の画像とを、チャンクと２以上の画像との対応が分かるように表示する表示部と、を備えた文書画像表示装置。
【請求項２】
前記表示部は、前記文書解析部が取得した係り受け情報によって示される係り受け関係が分かるようにチャンク列を表示する、請求項１記載の文書画像表示装置。
【請求項３】
前記文書解析部は、各チャンクの終止形も取得するものであり、
前記表示部は、前記文書解析部が取得した終止形を、当該終止形と、当該終止形に対応するチャンクとの対応が分かるように表示する、請求項１または請求項２記載の文書画像表示装置。
【請求項４】
各チャンクを目的言語のチャンクに翻訳する翻訳部をさらに備え、
前記表示部は、前記翻訳部が翻訳した目的言語のチャンクを、当該目的言語のチャンクと、当該目的言語のチャンクに対応する原言語のチャンクとの対応が分かるように表示する、請求項１から請求項３のいずれか記載の文書画像表示装置。
【請求項５】
用語と当該用語に関する解説とを対応付けて有する情報である辞書情報が２以上記憶される辞書情報記憶部と、
前記辞書情報を用いて、前記併合部が併合した併合後のチャンクに含まれる２以上のチャンクを含む解説に対応する用語を取得する用語取得部と、をさらに備え、
前記画像取得部は、併合後のチャンクに対応する画像を取得する際に、当該併合後のチャンクに対して前記用語取得部が取得した用語に対応する画像を取得する、請求項１から請求項４のいずれか記載の文書画像表示装置。
【請求項６】
併合後のチャンクを含むチャンク列に含まれる各チャンクを目的言語のチャンクに翻訳する画像取得用翻訳部をさらに備え、
前記画像取得部は、前記画像取得用翻訳部が翻訳した目的言語のチャンクに対応する画像を取得する、請求項１から請求項５いずれか記載の文書画像表示装置。
【請求項７】
画像と、当該画像に対応する検索用のテキストとを対応付けて有する情報である画像対応情報が２以上記憶される画像対応情報記憶部をさらに備え、
前記画像取得部は、前記画像対応情報記憶部で記憶されている画像対応情報を用いて、チャンクに対応する検索キーワードに対応付けられた画像を取得する、請求項１から請求項６のいずれか記載の文書画像表示装置。
【請求項８】
前記画像取得部は、チャンクに対応する検索キーワードをネットワーク上の検索サーバに送信し、当該検索サーバから当該検索キーワードに対応する２以上の画像を受信する、請求項１から請求項６のいずれか記載の文書画像表示装置。
【請求項９】
文書が記憶される文書記憶部と、文書解析部と、併合部と、画像取得部と、表示部とを用いて処理される文書画像表示方法であって、
前記文書解析部が、前記文書記憶部で記憶されている文書をチャンクごとに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する文書解析ステップと、
前記併合部が、前記文書解析ステップで取得した係り受け情報を用いて、１個のチャンクと、当該１個のチャンクのみからの係りを受けるチャンクとの関係である単受け関係によってつながる２以上のチャンクを１個のチャンクに併合する併合ステップと、
前記画像取得部が、前記併合ステップでの併合後のチャンク、及び併合されなかったチャンクのうち、少なくとも併合後のチャンクを含む１以上のチャンクに対応する２以上の画像をそれぞれ取得する画像取得ステップと、
前記表示部が、前記文書記憶部で記憶されている文書に対応するチャンク列と、当該チャンク列に含まれる各チャンクに対応する、前記画像取得ステップで取得した２以上の画像とを、チャンクと２以上の画像との対応が分かるように表示する表示ステップと、を備えた文書画像表示方法。
【請求項１０】
コンピュータを、
文書が記憶される文書記憶部で記憶されている文書をチャンクごとに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する文書解析部、
前記文書解析部が取得した係り受け情報を用いて、１個のチャンクと、当該１個のチャンクのみからの係りを受けるチャンクとの関係である単受け関係によってつながる２以上のチャンクを１個のチャンクに併合する併合部、
前記併合部による併合後のチャンク、及び併合されなかったチャンクのうち、少なくとも併合後のチャンクを含む１以上のチャンクに対応する２以上の画像をそれぞれ取得する画像取得部、
前記文書記憶部で記憶されている文書に対応するチャンク列と、当該チャンク列に含まれる各チャンクに対応する、前記画像取得部が取得した２以上の画像とを、チャンクと２以上の画像との対応が分かるように表示する表示部、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書とその文書に対応する画像とを表示する文書画像表示装置等に関する。
【背景技術】
【０００２】
簡易な文なら理解可能な比較的軽度の失語症患者や、映像思考を行う一部の自閉症患者は、テキストのみで示された文章を理解することが困難な場合も少なくない。また、外国語学習者の主に初期段階でも、外国語テキストのみで示された文章を理解することもまた同様に困難な場合がある。そのような人たちの理解を助けるためには、手がかりとなる情報量の多い方がよく、例えば、文書と共に、その文書に対応した画像を提示することも有効である。
【０００３】
なお、関連した技術として、文書を画像に変換する技術が知られている（例えば、特許文献１参照）。このような技術を用いることによって、例えば、「高いビル」を、その文言に対応した画像に自動的に変換することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−７２４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、テキストを用いて検索を行って画像を取得する場合には、例えば、複数の「画像」の１つ１つに、その画像と関連のある語、句、文などのテキストによる「画像タグ」があらかじめ与えられており、その全画像タグを調べることによって、所望の画像が得られる「画像データベース」が存在する。例えば、ウェブ上で利用できる検索サービスの１つである画像検索サービス（ｉｍａｇｅ．ｇｏｏｇｌｅ．ｃｏｍ）のみならず、タグ検索ができる動画投稿サイト（ｙｏｕｔｕｂｅ．ｃｏｍ）、写真投稿サイト（ｗｗｗ．ｆｌｉｃｋｒ．ｃｏｍ）も「検索サーバ」の機能があるために、この範疇に含まれる。このような画像検索を利用して画像を取得する場合には、次のような問題が存在する。
【０００６】
例えば、単純に「バット」という検索キーワードで画像検索をした場合に、野球のバット、クリケットのバット、コウモリ、調理器具のバット等、どれもが同表現異議語の「バット」の画像として正しいが、所望している画像かどうかは別問題である。これはバットという表現が持つ多様性（同じ表現で異なる意義の語・句・文）由来の問題である。また、可用性の範囲の問題を挙げると、アオダモ等の木製バットの素材、ジュラルミン等の金属バットの素材、成形途中のバット、折れたバット、燃えているバット、灰になったバット等、どこまでを「バット」という語の可用性の範囲に入れるかは、暗黙の緩やかな基準はあるかもしれないが、明確な基準は存在しない場合が一般的である。その不明確さゆえに、所望していない画像が得られることがある。この範囲の問題は近年に生じた問題ではなく、紀元前２世紀頃の「ナーガセーナとミリンダ王の対話」で車の定義を巡る問答でもほぼ同じことが問われている。そのようにして検索された画像を軽度の失語症患者等に提示した場合には、文書の理解を助けるよりも、文書の理解を阻害してしまうことになりかねないという問題があった。
【０００７】
また、画像データベースの利用上の問題ではなく、文章から検索キーワードを生成するときに問題が生じる場合がある。「クリケットのバットは、野球のバットよりも、幅広い」というテキストを形態素解析によって、「クリケット」「バット」という検索テキストを生成し、そのそれぞれで画像検索を行っても、前述のような理由から、コオロギ、クリケットの球場、あるいはクリケットの試合中の画像が得られたり、コウモリ、あるいは野球のバットの画像が得られたりするかもしれないが、これは文書を分解しすぎたために、本来的に所望している「クリケットのバット」が得られにくい場合の例である。このような場合にも、その画像を見る者の理解を促進しないことになるという問題があった。
【０００８】
また、画像データベースの画像タグが少数ながら、根本的に間違えている場合があり、そのような場合には、そもそも正確な画像検索ができないという問題がある。例えば、黒い犬の画像に、画像タグ「白い猫」が付与されている場合には、「白い猫」で検索しても、黒い犬の画像が得られることになる。この場合にも、その画像を見るものの理解を阻害してしまうことになるという問題があった。
【０００９】
一般的にいえば、文書に対応する画像を提示する際に、不適切な画像を提示することによって、その文書の理解を阻害してしまう、あるいは、理解を促進しないという問題があった。
【００１０】
本発明は、上記課題を解決するためになされたものであり、文書と、その文書に対応する画像とを提示する際に、文書の理解をより促進するように画像を提示することができる文書画像表示装置等を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明による文書画像表示装置は、文書が記憶される文書記憶部と、前記文書記憶部で記憶されている文書をチャンクごとに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する文書解析部と、前記文書解析部が取得した係り受け情報を用いて、１個のチャンクと、当該１個のチャンクのみからの係りを受けるチャンクとの関係である単受け関係によってつながる２以上のチャンクを１個のチャンクに併合する併合部と、前記併合部による併合後のチャンク、及び併合されなかったチャンクのうち、少なくとも併合後のチャンクを含む１以上のチャンクに対応する２以上の画像をそれぞれ取得する画像取得部と、前記文書記憶部で記憶されている文書に対応するチャンク列と、当該チャンク列に含まれる各チャンクに対応する、前記画像取得部が取得した２以上の画像とを、チャンクと２以上の画像との対応が分かるように表示する表示部と、を備えたものである。
【００１２】
このような構成により、文書と画像とが対応付けられて表示されることにより、その画像を用いて文書の理解を促進することができるようになりうる。特に、軽度の失語症患者や、映像思考型の人、外国語学習者等にとっては、文書に対応して表示される画像によって、その文書の理解が促進されることになる。また、チャンクに対応する２以上の画像が取得され、表示されることにより、たとえ２以上の画像の中に、チャンクに適切に対応していない画像が含まれていたとしても、それ以外の画像を参照することによって、画像を用いた文書の適切な理解が可能となりうる。また、併合後のチャンクに対応する画像を取得することによって、併合前のチャンクに対応する画像を取得する場合よりも、より適切な画像を取得することができることもある。その結果として、より適切な文書の理解が可能となりうる。
【００１３】
また、本発明による文書画像表示装置では、併合後のチャンクに対応する画像があらかじめ設定された数以下である場合に、前記併合部は、当該チャンクの併合を行わなくてもよい。
【００１４】
このような構成により、例えば、併合後のチャンクに対応する画像がない場合には、表示する画像がないことになってしまうため、その場合には、チャンクの併合自体を行わないようにすることができる。また、例えば、併合後のチャンクに対応する画像が著しく少ない場合には、前述のような理由により、不適切な画像を取得することになるとも考えられるため、そのような場合に、チャンクの併合を行わないようにすることによって、不適切な画像に起因する文書の理解のミスリードを防止することができる。また、例えば、前述の特許文献１の場合には、名詞と修飾句との組み合わせの可否を、組み合わせ辞書を用いて判断していたため、組み合わせ辞書に記載されていない組み合わせの場合には組み合わせることができるかどうかを判断できない場合もあったが、このように判断することによって、そのような組み合わせ辞書を用いなくても、チャンクを併合するかどうかを判断することができ、より広範囲な判断が可能となりうる。
【００１５】
また、本発明による文書画像表示装置では、前記表示部は、前記文書解析部が取得した係り受け情報によって示される係り受け関係が分かるようにチャンク列を表示してもよい。
このような構成により、表示を見る者は、各チャンクの係り受け関係を知ることができ、文書の理解が促進されることになると考えられる。
【００１６】
また、本発明による文書画像表示装置では、前記文書解析部は、各チャンクの終止形も取得するものであり、前記表示部は、前記文書解析部が取得した終止形を、当該終止形と、当該終止形に対応するチャンクとの対応が分かるように表示してもよい。
【００１７】
このような構成により、表示を見る者は、チャンクの終止形を知ることができるようになる。例えば、語学学習者等は、終止形が分からないことには、辞書で調べることができない場合もある。そのような場合に、終止形を表示することによって、辞書で調べたりすることを容易にすることができる。
【００１８】
また、本発明による文書画像表示装置では、各チャンクを目的言語のチャンクに翻訳する翻訳部をさらに備え、前記表示部は、前記翻訳部が翻訳した目的言語のチャンクを、当該目的言語のチャンクと、当該目的言語のチャンクに対応する原言語のチャンクとの対応が分かるように表示してもよい。
【００１９】
このような構成により、例えば、語学学習者に対して目的言語のチャンクを提示することができ、学習を助けることができるようになる。また、例えば、文書記憶部で記憶される文書が、目的言語の話者が発話したものをリアルタイムで音声認識して機械翻訳した結果である場合に、その目的言語の話者が表示を見ることにより、適切に機械翻訳されたかどうかなどを容易に確認することができるようになりうる。
【００２０】
また、本発明による文書画像表示装置では、用語と当該用語に関する解説とを対応付けて有する情報である辞書情報が２以上記憶される辞書情報記憶部と、前記辞書情報を用いて、前記併合部が併合した併合後のチャンクに含まれる２以上のチャンクを含む解説に対応する用語を取得する用語取得部と、をさらに備え、前記画像取得部は、併合後のチャンクに対応する画像を取得する際に、当該併合後のチャンクに対して前記用語取得部が取得した用語に対応する画像を取得してもよい。
【００２１】
このような構成により、併合後のチャンクについて、より適切な画像を取得することができると考えられる。例えば、複数の検索キーワードでＡＮＤ検索を行う場合よりも、その複数のキーワードに対応する用語を用いた検索を行う方が、より適切な検索を行うことができ、より適切な画像を取得することができると考えられるからである。
【００２２】
また、本発明による文書画像表示装置では、併合後のチャンクを含むチャンク列に含まれる各チャンクを目的言語のチャンクに翻訳する画像取得用翻訳部をさらに備え、前記画像取得部は、前記画像取得用翻訳部が翻訳した目的言語のチャンクに対応する画像を取得してもよい。
【００２３】
このような構成により、目的言語のチャンクを用いた画像の取得を行うことによって、原言語のチャンクを用いた画像の取得を行うよりも、目的言語のチャンクを用いた画像の取得を行う方がより適切な画像を取得できる場合に、文書のより適切な理解を促進することができるようになりうる。
【００２４】
また、本発明による文書画像表示装置では、画像と、当該画像に対応する検索用のテキストとを対応付けて有する情報である画像対応情報が２以上記憶される画像対応情報記憶部をさらに備え、前記画像取得部は、前記画像対応情報記憶部で記憶されている画像対応情報を用いて、チャンクに対応する検索キーワードに対応付けられた画像を取得してもよい。
このような構成により、ローカルでの検索、すなわち、文書画像表示装置における検索を行うことができるようになる。
【００２５】
また、本発明による文書画像表示装置では、前記画像取得部は、チャンクに対応する検索キーワードをネットワーク上の検索サーバに送信し、当該検索サーバから当該検索キーワードに対応する２以上の画像を受信してもよい。
【００２６】
このような構成により、検索サーバを用いてチャンクに対応する画像を取得することができるようになる。検索サーバを用いて画像検索を容易に行うことができる現在においては、その検索サーバを用いた画像の取得も簡単に行うことができる。また、検索サーバを用いて画像を取得することにより、独自に画像のデータベース等を構築する労力がいらないというメリットもある。
【発明の効果】
【００２７】
本発明による文書画像表示装置等によれば、文書と、その文書に対応する画像とを提示する際に、文書の理解をより促進するように画像を提示することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施の形態１による文書画像表示装置の構成を示すブロック図
【図２】同実施の形態による文書画像表示装置の他の構成の一例を示すブロック図
【図３】同実施の形態による文書画像表示装置の動作を示すフローチャート
【図４】同実施の形態による文書画像表示装置の動作を示すフローチャート
【図５】同実施の形態における形態素解析の結果の一例を示す図
【図６】同実施の形態における係り受け情報の一例を示す図
【図７】同実施の形態における併合されたチャンクＩＤの一例を示す図
【図８】同実施の形態における取得された画像の一例を示す図
【図９】同実施の形態におけるチャンクの翻訳結果の一例を示す図
【図１０】同実施の形態におけるチャンクのホップ数等の一例を示す図
【図１１】同実施の形態における表示の一例を示す図
【図１２】同実施の形態における表示の一例を示す図
【図１３】同実施の形態における形態素解析の結果の一例を示す図
【図１４】同実施の形態における表示の一例を示す図
【図１５】同実施の形態における表示の一例を示す図
【図１６】本発明の実施の形態２による文書画像表示装置の構成を示すブロック図
【図１７】同実施の形態による文書画像表示装置の動作を示すフローチャート
【図１８】同実施の形態による文書画像表示装置の動作を示すフローチャート
【図１９】同実施の形態における辞書情報の一例を示す図
【図２０】同実施の形態における形態素解析の結果の一例を示す図
【図２１】同実施の形態における係り受け情報の一例を示す図
【図２２】同実施の形態における併合されたチャンクＩＤと取得された用語との一例を示す図
【図２３】同実施の形態における表示の一例を示す図
【図２４】本発明の実施の形態３による文書画像表示装置の構成を示すブロック図
【図２５】同実施の形態による文書画像表示装置の動作を示すフローチャート
【図２６】上記実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図２７】上記実施の形態におけるコンピュータシステムの構成の一例を示す図
【発明を実施するための形態】
【００２９】
以下、本発明による文書画像表示装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【００３０】
（実施の形態１）
本発明の実施の形態１による文書画像表示装置１について、図面を参照しながら説明する。本実施の形態による文書画像表示装置１は、係り受け関係にあるチャンクを併合し、併合後の各チャンクに対応する２以上の画像を取得して表示するものである。
【００３１】
図１は、本実施の形態による文書画像表示装置１の構成を示すブロック図である。本実施の形態による文書画像表示装置１は、文書記憶部１１と、文書解析部１２と、併合部１３と、画像取得部１４と、翻訳部１５と、表示部１６とを備える。
【００３２】
文書記憶部１１では、文書が記憶される。この文書は、後述する表示部１６によって表示される文書であるため、例えば、ユーザは、表示したい文書を文書記憶部１１に蓄積してもよい。また、この文書記憶部１１で記憶される文書は、何らかの処理によって得られた文書であってもよい。例えば、ＯＣＲによって文字認識された結果の文書であってもよく、ノートテーキング（例えば、大語彙連続音声認識ソフトウェア「Ｊｕｌｉｕｓ（ｈｔｔｐ：／／ｊｕｌｉｕｓ．ｓｏｕｒｃｅｆｏｒｇｅ．ｊｐ／）」を用いて実現可能である）などの音声認識処理のなされた結果の文書であってもよく、機械翻訳された結果の文書であってもよい。また、本実施の形態では、この文書が一の「文」である場合について説明するが、そうでなくてもよい。
【００３３】
文書記憶部１１に文書が記憶される過程は問わない。例えば、記録媒体を介して文書が文書記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された文書が文書記憶部１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された文書が文書記憶部１１で記憶されるようになってもよい。文書記憶部１１での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。文書記憶部１１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【００３４】
文書解析部１２は、文書記憶部１１で記憶されている文書をチャンクごとに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する。チャンクとは、係り受け関係の単位であり、例えば、文節であってもよく、その他の単位（形態素や単語など）であってもよい。日本語の場合には、チャンクは一般的に文節である。一方、英語やフランス語などの場合には、チャンクは１以上の連続した単語であってもよい。このチャンクは、係り受け関係の単位であるが、最小単位である必要はない。例えば、後述するように、係り受けの最小単位であるチャンクが併合されたチャンク（すなわち、２以上のチャンクの並び）も、単にチャンクと呼ぶことがある。ただし、文書解析部１２が文書をチャンクに分割する場合には、一般に、そのチャンクは係り受けの最小単位である。文書をチャンクに分割する処理はすでに公知であり、その詳細な説明を省略する。また、チャンクの係り受けを示す係り受け情報を取得する処理もすでに公知であり、その詳細な説明を省略する。係り受け情報を取得するものとしては、例えば、「ＣｈａｂｏＣｈａ（ｈｔｔｐ：／／ｃｈａｓｅｎ．ｏｒｇ／〜ｔａｋｕ／ｓｏｆｔｗａｒｅ／ｃａｂｏｃｈａ／）」「日本語構文解析システムＫＮＰ（ｈｔｔｐ：／／ｎｌｐ．ｋｕｅｅ．ｋｙｏｔｏ−ｕ．ａｃ．ｊｐ／ｎｌ−ｒｅｓｏｕｒｃｅ／ｋｎｐ．ｈｔｍｌ）」「日本語係り受け解析（ｈｔｔｐ：／／ｄｅｖｅｌｏｐｅｒ．ｙａｈｏｏ．ｃｏ．ｊｐ／ｗｅｂａｐｉ／ｊｌｐ／ｄａ／ｖ１／ｐａｒｓｅ．ｈｔｍｌ）」などを用いることができる。係り受け情報は、チャンクの係り受けを示すことができるものであれば，その構造を問わない。例えば、係り受け情報は、係り受け元となるチャンクの識別情報と、係り先となるチャンクの識別情報とを対応付けて有する複数のレコードから構成される情報であってもよく、その他の構造の情報であってもよい。チャンクの識別情報は、例えば、チャンクそのものであってもよく、文書記憶部１１で記憶されている文書の先頭からのチャンクの順番を示す情報であってもよく、その他の情報であってもよい。文書解析部１２が取得した係り受け情報は、図示しない記録媒体において一時的に記憶されてもよい。
【００３５】
また、文書解析部１２は、各チャンクの終止形も取得してもよい。例えば、チャンクが用言を含むのであれば、文書解析部１２は、その用言の終止形を取得してもよい。「終止形」とは、変化を受けているならば、変化をしていない原型のことであり、例えば、用言の終止形であってもよい。一般的に、係り受け情報を取得する際には、文書解析部１２は、文書に対する形態素解析を行っているため、その形態素解析によって各チャンクの終止形を取得することができる。なお、文書解析部１２は、別途、形態素解析を行うことによって各チャンクの終止形を取得してもよい。形態素解析のシステムとして、例えば、奈良先端科学技術大学院大学で開発された「ＣｈａＳｅｎ（茶筌）」（ｈｔｔｐ：／／ｃｈａｓｅｎ．ｎａｉｓｔ．ｊｐ）等が知られている。また、文書解析部１２は、各チャンクの品詞も取得してもよい。この品詞も、終止形と同様に、形態素解析によって取得することができる。文書解析部１２が取得した終止形や品詞の情報は、チャンクの識別情報などに対応付けられた情報であってもよい。その情報は、図示しない記録媒体において一時的に記憶されてもよい。
【００３６】
併合部１３は、文書解析部１２が取得した係り受け情報を用いて、単受け関係によってつながる２以上のチャンクを１個のチャンクに併合する。併合される２以上のチャンクは、文書記憶部１１で記憶されている文書において連続したチャンクである。ここで、チャンクには、無受けチャンクと、単受けチャンクと、復受けチャンクとが存在する。無受けチャンクとは、係りを受ける元となるチャンクが存在しないチャンクである。例えば、文書の先頭のチャンクは無受けチャンクとなる。単受けチャンクとは、１個のチャンクのみからの係りを受けるチャンクである。復受けチャンクとは、２個以上のチャンクのそれぞれからの係りを受けるチャンクである。本実施の形態では、単受けチャンクと、その単受けチャンクの係り元となるチャンクとの関係を単受け関係と呼ぶ。したがって、単受け関係とは、１個のチャンクと、その１個のチャンクのみからの係りを受けるチャンクとの関係である。併合部１３は、単受け関係によってつながるすべてのチャンクを１個のチャンクに併合してもよく、あるいは、そうでなくてもよい。例えば、ある文書においてチャンクＡ，Ｂ，Ｃがこの順番で並んでおり、チャンクＡがチャンクＢに係り、チャンクＢがチャンクＣに係り、各係り受けの関係が単受け関係である場合に、チャンクＡ〜Ｃを併合してもよく、チャンクＡＢのみを併合してもよく、チャンクＢＣのみを併合してもよい。単受け関係でつながる２以上のすべてのチャンクを併合しない場合には、その併合の方法があらかじめ決められていてもよい。例えば、単受け関係でつながる２以上のチャンクのうち、先頭からＮ個のチャンクを併合すると決められていてもよく、単受け関係でつながる２以上のチャンクのうち、後端からＮ個のチャンクを併合すると決められていてもよく、その他の設定がなされていてもよい。ただし、Ｎは２以上の整数である。また、併合部１３が２以上のチャンクを併合した場合に、その併合後のチャンクも単に「チャンク」と呼ぶことにする。
【００３７】
なお、併合部１３が単受け関係でつながるチャンクのみを併合する理由について説明する。復受けチャンクと、その復受けチャンクの係り元となる一のチャンクとを併合した場合には、併合後のチャンクを含むチャンク列の係り受けが不適切なものとなってしまうからである。例えば、ある文書においてチャンクＡ，Ｂ，Ｃ，Ｄがこの順番で並んでおり、チャンクＡがチャンクＢに係り、チャンクＢがチャンクＤに係り、チャンクＣがチャンクＤに係る場合に、チャンクＣ，Ｄを併合すると、チャンクＣには係らなかったチャンクＢは、その併合後のチャンクのうち、チャンクＣの部分にも併せて係ることとなり、併合後のチャンクを用いた係り受けが不適切なものとなってしまう。
【００３８】
また、併合部１３は、併合後のチャンクに対応する画像があらかじめ設定された数以下である場合に、そのチャンクの併合を行わなくてもよい。例えば、後述する画像取得部１４が、併合後のチャンクに対応する検索キーワードを用いて検索を行った場合に、検索キーワードにマッチして得た画像数、いわゆるヒット数があらかじめ設定された数以下である場合であれば、併合部１３は、そのチャンクの併合を行わなくてもよい。その場合に、それらのチャンクの併合そのものを行わないようにしてもよく、あるいは、それらのチャンクの一部のチャンクを用いた併合を行ってもよい。後者の場合には、例えば、チャンクＡ，Ｂ，Ｃを併合した結果に対応する画像があらかじめ設定された数以下であった場合に、チャンクＡ，Ｂを併合した結果に対応する画像があらかじめ設定された数より多い場合には、チャンクＡ，Ｂの併合を行ってもよい。そのあらかじめ設定された数は、例えば、間違いが少なくないが多数の結果が得られることが予想される、インターネット上で利用可能な検索サーバの検索結果を利用する場合には、「５０」や「１００」などであってもよく、高精度で少数の結果が予想される画像検索に特化されたデータベースを用いた検索の場合には、「０」などであってもよい。後者の場合には、例えば、画像検索でのヒットがなければチャンクを併合しないが、ヒットがあればチャンクを併合することになる。
【００３９】
画像取得部１４は、併合部１３による併合後のチャンク、及び併合されなかったチャンクのうち、少なくとも併合後のチャンクを含む１以上のチャンクに対応する２以上の画像をそれぞれ取得する。画像取得部１４は、併合されなかったチャンクに対応する２以上の画像を取得してもよい。前述のように、一の画像しか取得しなかった場合であって、その取得した画像がチャンクに適切に対応したものでない場合には、その画像を見た者の理解を阻害することもありうるため、画像取得部１４は、各チャンクに対して２以上の画像を取得することが好適である。画像取得部１４は、テキストを用いた検索を行い、ヒットした画像を取得する。その検索は、インターネット等を経由して装置の外部において行われてもよく、文書画像表示装置１において行われてもよい。本実施の形態では、前者の場合について説明する。前者の場合には、画像取得部１４は、チャンクに対応する検索キーワードを通信回線５００を介してつながった検索サーバ９に送信し、その検索サーバ９から検索キーワードに対応する２以上の画像を受信する。検索サーバ９は、例えば、画像検索の検索エンジンを提供しているサーバである。通信回線５００は、例えば、公衆電話回線網であってもよく、インターネットであってもよく、イントラネットであってもよい。後者の場合、すなわち、文書画像表示装置１において画像の検索を行う場合には、図２で示されるように、画像取得部１４は、画像対応情報記憶部１７で記憶されている２以上の画像対応情報を用いて、チャンクに対応する検索キーワードに対応付けられた画像を取得する。画像対応情報は、画像と、その画像に対応する検索用のテキストとを対応付けて有する情報である。その検索用のテキストは、手動で設定された検索用のキーワード（例えば、「白」「猫」「Ｔシャツ」など）であってもよく、画像に対応した普通の文書（例えば、「白い、猫のＴシャツ」など）であってもよい。また、画像対応情報記憶部１７に２以上の画像対応情報が記憶される過程は問わない。例えば、記録媒体を介して２以上の画像対応情報が画像対応情報記憶部１７で記憶されるようになってもよく、通信回線等を介して送信された２以上の画像対応情報が画像対応情報記憶部１７で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された２以上の画像対応情報が画像対応情報記憶部１７で記憶されるようになってもよい。また、画像対応情報記憶部１７での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。画像対応情報記憶部１７は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【００４０】
ここで、画像取得部１４が画像を取得する際に用いる検索キーワードについて説明する。
（１）併合されなかったチャンクの場合
併合されなかったチャンクの場合には、そのチャンクに対応する検索キーワードは、そのチャンクそのもの（例えば、チャンクが「猫が」である場合には、「猫が」そのものとなる）であってもよく、そのチャンクに含まれる自立語（例えば、チャンクが「猫が」である場合には、「猫」となる）であってもよい。一のチャンクに２以上の自立語が含まれる場合には、その２以上の自立語を別々の検索キーワードとしてもよく、その２以上の自立語の並びを一の検索キーワードとしてもよい。
【００４１】
（２）併合後のチャンクの場合
併合後のチャンクの場合には、その併合後のチャンクに対応する検索キーワードは、その併合後のチャンクそのもの（例えば、併合後のチャンクが「白い猫が」である場合には、「白い猫が」そのものとなる）であってもよく、その併合後のチャンクを構成する併合前の各チャンクの集合（例えば、併合後のチャンクが「白い猫が」である場合には、「白い」「猫が」となる）であってもよく、その併合後のチャンクを構成する併合前の各チャンクに含まれる自立語の集合（例えば、併合後のチャンクが「白い猫が」である場合には、「白」「猫」となる）であってもよく、その併合後のチャンクの末端のチャンクから付属語を除いたもの（例えば、併合後のチャンクが「白い猫が」である場合には、「白い猫」となる）であってもよい。なお、検索キーワードが２以上存在する場合には、画像取得部１４は、一般に、各検索キーワードを用いたＡＮＤ検索を行うものとする。すなわち、各検索キーワードのすべてに対応する画像が取得されることになる。
【００４２】
画像取得部１４は、一のチャンクから、一の検索キーワード（あるいは、一組の検索キーワード）を取得して、その検索キーワードを用いた検索を行ってもよく、あるいは、複数の検索キーワード（あるいは、複数組の検索キーワード）を取得して、その検索キーワードを用いた検索を行ってもよい。前者の場合には、例えば、検索キーワード「猫」のみを用いた検索が行われることになる。後者の場合には、例えば、検索キーワード「猫」を用いた検索と、検索キーワード「猫が」を用いた検索とが行われることになる。
【００４３】
また、画像取得部１４が取得する画像の数の上限が設定されていてもよい。例えば、ある検索キーワードで検索することによって１万件の画像がヒットした場合に、画像取得部１４は、その１万件から選択した１０個の画像を取得してもよい。その選択方法は問わない。例えば、検索のマッチングの度合いの高いものから順番に選択してもよく、低画質画像より高画質画像を優先的に選択してもよく、小さい画像よりも大きい画像を優先的に選択してもよく、色数の少ない画像よりも色数の多い画像を優先的に選択してもよく、私人やアマチュアが写した写真画像よりも公人やプロが写した写真画像を優先的に選択してもよく、その他の選択を行ってもよい。その選択の際に、例えば、画像に対応付けられている属性情報を用いて、画像の撮影主体や、画像の画質、大きさ、色数等を判断してもよい。また、画像取得部１４が取得する画像は、静止画であってもよく、動画であってもよい。
【００４４】
また、画像取得部１４は、特定の品詞のチャンクについてのみ、そのチャンクに対応する検索キーワードを用いた検索を行ってもよい。例えば、画像取得部１４は、名詞のチャンクについてのみ、そのチャンクに対応する検索キーワードを用いた検索を行ってもよい。また、画像取得部１４は、数詞のチャンクについては、画像の取得を行わなくてもよい。チャンクの品詞は、例えば、そのチャンクに含まれる自立語の品詞で判断してもよい。そのチャンクに自立語が２以上含まれる場合には、例えば、最初の自立語の品詞で判断してもよく、最後の自立語の品詞で判断してもよく、その他の判断を行ってもよい。また、画像取得部１４は、検索キーワードでの検索で何もヒットしない場合には、その検索キーワードに対応する画像の取得を行わなくてもよい。
【００４５】
また、画像取得部１４は、検索の結果、一の画像のみを取得できることが分かった場合に、その一の画像を取得してもよく、あるいは、その一の画像を取得しなくてもよい。
【００４６】
翻訳部１５は、各チャンクを目的言語のチャンクに翻訳する。この翻訳は、単なる辞書引きによる翻訳であってもよく、機械翻訳システムを用いた翻訳などであってもよい。前者の場合には、翻訳部１５は、原言語の単語と、目的言語の単語とを対応付けている翻訳辞書情報（これは図示しない記録媒体において記憶されていてもよい）を用いて、原言語のチャンクに対応する目的言語の単語を取得することによって翻訳を行ってもよい。したがって、チャンクの翻訳は、そのチャンクに含まれている単語の翻訳であってもよい。すなわち、翻訳部１５は、各チャンクの末端の付属語を除いた一の単語、または単語列（すなわち、各チャンクの自立語、または自立語列）を、目的言語の単語や単語列に翻訳してもよい。その翻訳の際に、翻訳部１５は、形態素解析の結果を用いて、翻訳対象となる形態素の終止形を翻訳するようにしてもよい。また、翻訳部１５による翻訳の対象となるチャンクは、併合後のチャンクを含んでもよく、併合されなかったチャンク及び併合前のチャンクであってもよい。
【００４７】
表示部１６は、文書記憶部１１で記憶されている文書に対応するチャンク列（すなわち、チャンクの並び）と、そのチャンク列に含まれる各チャンクに対応する、画像取得部１４が取得した２以上の画像とを表示する。また、その表示の際に、表示部１６は、チャンクと２以上の画像との対応が分かるように表示する。「２以上の画像を表示する」とは、２以上の画像を一括して表示することであってもよく、２以上の画像を時系列に沿って順番に表示することであってもよい。後者の場合には、例えば、あるチャンクに対応する２以上の画像を、５秒ごとに一の画像ずつ表示してもよい。すべての画像を表示し終わった場合には、またはじめの画像から表示してもよい。また、表示部１６は、チャンク列自体を、一括して表示してもよく、あるいは、時系列に沿ってチャンクを順番に表示してもよい。後者の場合には、そのチャンクに対応する２以上の画像も順番に表示されることになるため、画像自体が時系列に沿って表示されることになる。また、「チャンクと２以上の画像との対応が分かるように表示する」とは、結果として、表示されているチャンクと、２以上の画像との対応が分かればよく、その方法は問わない。例えば、チャンクの先頭（例えば、日本語の横書きであれば左端、縦書きであれば上端）の位置と、画像の先頭（例えば、左端や上端）の位置とを合わせることであってもよく、チャンクと、そのチャンクに対応する画像との間に、両者を対応付ける図形（例えば、線や矢印など）を表示することであってもよく、時系列に沿ってチャンクを表示する場合に、チャンクと２以上の画像との表示のタイミングを同期させることであってもよく、その他の方法であってもよい。
【００４８】
また、表示部１６は、文書解析部１２が取得した係り受け情報によって示される係り受け関係が分かるようにチャンク列を表示してもよい。「係り受け関係が分かるようにチャンク列を表示する」とは、係り元のチャンクと、係り先のチャンクとの関係が分かるように表示することである。例えば、前述のＣａｂｏＣｈａのサイトの実践ＣａｂｏＣｈａでは、色分けによって係り受け関係が分かるように表示される。また、矢印や線などによって、係り元のチャンクと係り先のチャンクとの関係が示されてもよい。なお、次の文献に記載されている係り受け関係の種々の表示方法を用いてもよい。
【００４９】
文献：阿辺川武、八木豊、戸次徳久、澤谷孝志、奥村学、仁科喜久子、杉本茂樹、傅亮、『日本語学習システム「あすなろ」開発の新しい展開−構文学習とその評価−』、情報処理学会第６５回全国大会特別トラック、２００３年
【００５０】
また、表示部１６は、翻訳部１５が翻訳した目的言語のチャンクを、その目的言語のチャンクと、その目的言語のチャンクに対応する原言語のチャンクとの対応が分かるように表示する。「目的言語のチャンクと、原言語のチャンクとの対応が分かるように表示する」とは、結果として、両者の対応が分かればよく、その方法は問わない。例えば、原言語のチャンクの先頭の位置と、目的言語のチャンクの先頭の位置とを合わせることであってもよく、原言語のチャンクと、目的言語のチャンクとの間に、両者を対応付ける図形（例えば、線や矢印など）を表示することであってもよく、時系列に沿ってチャンクを表示する場合に、両チャンクの表示のタイミングを同期させることであってもよく、その他の方法であってもよい。なお、原言語のチャンクとは、文書記憶部１１で記憶されている文書に含まれるチャンクのことである。
【００５１】
また、表示部１６は、チャンクが特定の品詞である場合にのみ、そのチャンクに対応する２以上の取得された画像を表示するようにしてもよい。一のチャンクには一般に複数の形態素が含まれうるが、その場合に、チャンクの品詞は、チャンクに含まれる自立語の品詞の意味であってもよい。一のチャンクに２以上の自立語が含まれる場合には、チャンクの品詞は、２以上の自立語のうちの後端の自立語の品詞であってもよく、２以上の自立語の各品詞の集合であってもよい。例えば、名詞のチャンクに対応する２以上の取得された画像が表示される場合には、表示対象のチャンクの後端の自立語が名詞である場合に、そのチャンクに対応する２以上の画像を表示してもよく、あるいは、表示対象のチャンクに名詞の自立語が含まれる場合に、そのチャンクに対応する２以上の画像を表示してもよい。このように、「特定の品詞」は、名詞であってもよい。名詞に対応する画像は、適切に取得することができると考えられるからである。ただし、名詞のうち数詞のチャンクについては、表示部１６は、２以上の画像を表示しないようにしてもよい。また、表示部１６が、特定の品詞のチャンクに対応する２以上の画像のみを表示する場合には、画像取得部１４は、その品詞のチャンクについてのみ画像を取得するようにしてもよい。また、表示部１６が、特定の品詞のチャンクに対応する２以上の画像のみを表示する場合であっても、表示部１６は、その他の品詞のチャンクについて、各チャンクの品詞を示す図形を表示するようにしてもよい。その品詞を示す図形は、例えば、その図形の記憶されている記録媒体から画像取得部１４によって取得されてもよい。その場合には、画像取得部１４は、例えば、特定の品詞のチャンクについては、２以上の画像を取得する処理を行い、それ以外の品詞のチャンクについては、そのチャンクの品詞を示す図形を取得してもよい。品詞を示す図形は、例えば、品詞の識別情報と対応付けられて記憶されており、画像取得部１４は、チャンクの品詞で検索することにより、品詞を示す図形を取得してもよい。または、画像取得部１４は、品詞を示す図形を、品詞のテキストを用いて生成してもよい。例えば、画像取得部１４は、動詞に対応する図形として、「動詞」のテキストが記載された図形を生成してもよい。また、例えば、画像取得部１４は、数詞に対応する図形として、その数詞の示す数字が記載された図形を生成してもよい。
【００５２】
また、表示部１６は、チャンクに対応する画像が存在しなかった場合に、すなわち、そのチャンクに関する検索において、何もヒットしなかった場合に、画像を表示しなくてもよく、あるいは、そのチャンクに対応する文字列の表示された図形を代わりに表示してもよい。後者の場合に、例えば、その画像は、画像取得部１４によって生成されてもよく、あるいは、他の構成要素によって生成されてもよい。
【００５３】
なお、表示部１６は、表示デバイス（例えば、ＣＲＴや液晶ディスプレイ、プロジェクターなど）に表示してもよく、紙等のシート状の媒体に表示（印刷）してもよく、表示デバイス等に表示対象の情報を送信してもよい。本実施の形態では、表示部１６が、ディスプレイに表示する場合について説明する。また、表示部１６は、それらの表示を行う表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）を含んでもよく、あるいは含まなくてもよい。また、表示部１６は、ハードウェアによって実現されてもよく、あるいは表示デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００５４】
検索サーバ９は、検索キーワードを受信すると、その検索キーワードに応じた検索を行い、その検索結果の２以上の画像を検索キーワードの送信元に送信する。この検索サーバ９は、例えば、インターネット経由で利用できる検索エンジンが提供する画像検索のサーバであり、その詳細な説明を省略する。
【００５５】
次に、本実施の形態による文書画像表示装置１の動作について、図３のフローチャートを用いて説明する。
【００５６】
（ステップＳ１０１）文書解析部１２は、文書記憶部１１で記憶されている、表示対象となる文書をチャンクに分割し、各チャンクの係り受けを示す係り受け情報を取得する。その係り受け情報は、図示しない記録媒体で一時的に記憶されてもよい。
【００５７】
（ステップＳ１０２）併合部１３は、係り受け情報を用いて、チャンクの併合を行う。この処理の詳細については、図４のフローチャートを用いて後述する。
【００５８】
（ステップＳ１０３）画像取得部１４は、併合部１３による併合後のチャンク、及び併合されなかったチャンクのうち、少なくとも併合後のチャンクを含む１以上のチャンクに対応する２以上の画像をそれぞれ取得する。その取得された２以上の画像は、チャンクの識別情報に対応付けられて、図示しない記録媒体で一時的に記憶されてもよい。
【００５９】
（ステップＳ１０４）翻訳部１５は、表示対象となる文書の各チャンクを目的言語のチャンクに翻訳する。その翻訳後の目的言語のチャンクは、チャンクの識別情報に対応付けられて、図示しない記録媒体で一時的に記憶されてもよい。
【００６０】
（ステップＳ１０５）表示部１６は、表示対象となる文書に対応するチャンク列と、画像取得部１４が取得した画像と、翻訳部１５が翻訳した目的言語のチャンクとを対応付けて表示する。
【００６１】
（ステップＳ１０６）文書解析部１２は、表示対象となる文書が文書記憶部１１で記憶されているかどうか判断し、記憶されている場合には、ステップＳ１０１に戻り、そうでない場合には、文書と画像とを表示する一連の処理が終了となる。
【００６２】
図４は、図３のフローチャートにおけるチャンクの併合の処理（ステップＳ１０２）の詳細を示すフローチャートである。なお、図４のフローチャートにおいて、表示対象の文書における先頭のチャンクから順番に、処理を行っていくものとする。
【００６３】
（ステップＳ２０１）併合部１３は、係り受け情報を参照し、併合するかどうかの判断を行うチャンクの係り先が一のチャンクであるかどうか、すなわち、係り先が単受けチャンクであるかどうか判断する。そして、一のチャンクである場合には、その判断の対象となるチャンクと、そのチャンクの係り先であるチャンクとは単受け関係でつながっているため、ステップＳ２０２に進み、そうでない場合には、ステップＳ２０３に進む。なお、文書の末端（最後）のチャンクについて判断する際には、係り先のチャンクは存在しないため、チャンクの係り先が一のチャンクでないと判断されるものとする。
【００６４】
（ステップＳ２０２）併合部１３は、併合するかどうかの判断を行うチャンクと、そのチャンクの係り先のチャンクとを併合する。チャンクを併合するとは、例えば、チャンクの分割の位置や、係り受け情報において、併合されたチャンクが一のチャンクとなるように、それらの情報を更新することであってもよく、あるいは、併合されたチャンクの識別情報を蓄積すること（例えば、ＩＤ＝２のチャンクと、ＩＤ＝３のチャンクとが併合された場合に、併合されたＩＤとして、２と３とを対応付けて図示しない記録媒体に蓄積すること）であってもよい。
【００６５】
（ステップＳ２０３）併合部１３は、表示対象の文書の末端のチャンクまで処理を行ったかどうか判断する。そして、文書の末端のチャンクまで処理を行った場合には、図３のフローチャートに戻り、そうでない場合には、ステップＳ２０１に戻って、次のチャンクについての判断を行う。
【００６６】
なお、図４のフローチャートから分かるように、本実施の形態では、単受け関係でつながるすべてのチャンクを併合する場合について説明する。また、図４のフローチャートにおいて、ステップＳ２０１でチャンクの係り先が単受けチャンクであると判断された場合であっても、チャンクの併合の処理（ステップＳ２０２）よりも以前に、仮に、そのチャンクに関する併合を行ったとして画像の検索を行い、あらかじめ決められた数より多くの画像がヒットするかどうか判断してもよい。そして、あらかじめ設定された数より多くの画像がヒットする場合には、ステップＳ２０２に進んでチャンクの併合を行い、そうでない場合には、ステップＳ２０３に進んでもよい。
【００６７】
次に、本実施の形態による文書画像表示装置１の動作について、具体例を用いて説明する。この具体例では、文書記憶部１１において文書「クリケットのバットは、野球のバットよりも、幅広い。」が記憶されており、その文書に対する処理が行われる場合について説明する。
【００６８】
まず、文書解析部１２は、その文書「クリケットのバットは、野球のバットよりも、幅広い。」をチャンクに分割し、そのチャンクの係り受けを示す係り受け情報を取得する（ステップＳ１０１）。図５は、係り受け情報を取得する際に行われた形態素解析の結果を示しており、図６は、文書解析部１２が取得した係り受け情報を示している。図５において、チャンクを識別するチャンクＩＤと、形態素（表層）と、その形態素の終止形と、その形態素の品詞とが対応付けられている。終止形とは、動詞や形容詞の活用の終止形である。したがって、名詞や接続詞等の活用をしない形態素については、形態素（表層）と、終止形とが同じになる。図５において、チャンクＩＤが「１」であるチャンクは、形態素「クリケット」「の」から構成されることが分かる。また、形態素「クリケット」は名詞であり、形態素「の」の品詞は助詞であることが分かる。また、図６は、チャンクと、そのチャンクを識別するチャンクＩＤと、そのチャンクの係り先のチャンクＩＤである係り先ＩＤとが対応付けられている。なお、係り先ＩＤが「−１」である場合には、係り先のチャンクが存在しないことを示している。図６において、例えば、１番目のレコードによって、チャンク「クリケットの」のチャンクＩＤが「１」であり、そのチャンクはチャンクＩＤが「２」であるチャンクに係っていることが分かる。なお、文書解析部１２は、図５，図６の情報を、図示しない記録媒体において一時的に記憶する。
【００６９】
次に、併合部１３は、チャンクの併合を行う（ステップＳ１０２）。具体的には、併合部１３は、図６の係り受け情報を参照し、１番目のレコードのチャンクについて、チャンクの係り先が単受けチャンクであるかどうか判断する（ステップＳ２０１）。この判断は、１番目のレコードに含まれる係り先ＩＤ「２」が、他のレコードの係り先ＩＤとして含まれているかどうか検索することによって行うことができる。含まれている場合には、係り先が復受けチャンクであることになり、含まれていない場合には、係り先が単受けチャンクであることになる。この場合には、他のレコードで係り先ＩＤ「２」を検索してもヒットしないため、併合部１３は、チャンクＩＤ「１」のチャンクの係り先が単受けチャンクであると判断し、そのチャンクＩＤ「１」と、係り先のチャンクＩＤ「２」とを併合されたチャンクＩＤとして、図示しない記録媒体に蓄積する（ステップＳ２０２）。その結果、図７の１番目のレコードが蓄積されることになる。
【００７０】
この時点では後続するチャンクが存在するため、併合部１３は、次のチャンクが存在すると判断し（ステップＳ２０３）、図６の係り受け情報における２番目のレコードのチャンクについて、係り先が単受けチャンクであるかどうか判断する（ステップＳ２０１）。この場合には、４番目のレコードにも、２番目のレコードの係り先ＩＤ「５」と同じ係り先ＩＤが含まれるため、併合部１３は、チャンクＩＤ「２」のチャンクの係り先が復受けチャンクであると判断し、チャンクの併合を行わない。
【００７１】
この時点でも後続するチャンクが存在するため（ステップＳ２０３）、併合部１３は、図６の係り受け情報における３番目のレコードのチャンクについて、係り先が単受けチャンクであるかどうか判断する（ステップＳ２０１）。この場合には、他のレコードに係り先ＩＤ「４」が含まれていないため、併合部１３は、チャンクＩＤ「３」と、チャンクＩＤ「４」とを併合されたチャンクＩＤとして、図示しない記録媒体に蓄積する（ステップＳ２０２）。その際に、併合部１３は、蓄積対象のチャンクＩＤのうち、いずれか一方がすでに蓄積されていないかどうか検索し、蓄積されている場合には、そのレコードに、蓄積されていない方のチャンクＩＤを蓄積するものとする。このようにすることで、３以上のチャンクも併合されることになる。この場合には、チャンクＩＤ「３」「４」のいずれもまだ蓄積されていないため、図７の２番目のレコードで示されるように、チャンクＩＤ「３」「４」を対応付けて蓄積する。
【００７２】
この後、チャンクＩＤ「４」のチャンクについては、係り先が復受けチャンクであるために併合が行われず、チャンクＩＤ「５」のチャンクは末端のチャンクであるため、併合は行われない。その結果、この具体例では、チャンク「クリケットの」と、チャンク「バットは、」とが併合され、チャンク「野球の」と、チャンク「バットよりも、」とが併合されたことになる。
【００７３】
次に、画像取得部１４は、チャンクに対応する画像を取得する。なお、この具体例では、併合後のチャンク、及び併合されていないチャンクの最後の付属語を除いたものを検索キーワードとして検索を行うことによって、画像を取得するものとする。また、その検索でヒットした上位５個の画像を取得するものとする。また、その検索キーワードの最後の形態素が「名詞」である場合にのみ検索サーバ９を用いた検索を行い、「名詞」以外である場合には、その品詞に対応した画像を図示しない記録媒体から読み出すものとする。
【００７４】
まず、画像取得部１４は、図６の係り受け情報と、図７の併合されたチャンクＩＤを示す情報とを参照する。そして、画像取得部１４は、係り受け情報の１番目のレコードからチャンクＩＤ「１」を読み出し、そのチャンクＩＤが併合されたチャンクＩＤに含まれているかどうか判断する。この場合にはチャンクＩＤが含まれているため、画像取得部１４は、併合されたチャンクＩＤ「１」「２」に対応する画像の取得を行う。具体的には、画像取得部１４は、チャンクＩＤ「１」「２」のチャンク「クリケットの」「バットは、」を「クリケットのバットは、」に併合し、その併合後のチャンクの最後の付属語を除去した検索キーワード「クリケットのバット」を生成する。そして、画像取得部１４は、図５の形態素解析の結果を参照し、その検索キーワードの最後の形態素「バット」が名詞であるかどうか判断する。この場合は名詞であるため、画像取得部１４は、その検索キーワードを検索サーバ９に送信する。
【００７５】
その検索キーワード「クリケットのバット」は、検索サーバ９で受信され、検索サーバ９は、その検索キーワードを用いて画像検索を行う。そして、ヒットした複数の画像を文書画像表示装置１に送信する。検索サーバ９から送信された複数の画像は、画像取得部１４で受信され、上位５個の画像がチャンクＩＤに対応付けられて図示しない記録媒体に蓄積される。図８の１番目のレコードは、そのようにして蓄積された画像である。
【００７６】
その後、画像取得部１４は、３番目のチャンク以降についても、順次、画像の取得を行う。５番目のチャンクは、形容詞であるため、画像取得部１４は、検索サーバ９を用いた画像の取得を行わず、ローカルに保持されている形容詞に対応した１個の図形が取得され、チャンクＩＤ「５」に対応付けられて蓄積される。このようにして、各チャンクに対応した画像の取得が行われる（ステップＳ１０３）。そのようにして取得された画像と、チャンクＩＤとの対応は、図８で示されるとおりである。図８において、チャンクＩＤと、そのチャンクＩＤに対応する画像とが対応付けられている。
【００７７】
次に、翻訳部１５は、図６の係り受け情報を参照し、各チャンクの自立語を辞書引きによって翻訳していく（ステップＳ１０４）。なお、前述のように、翻訳部１５は、各チャンクの自立語を、図５の形態素解析の結果を用いて終止形に変換し、その終止形の自立語を用いて翻訳を行ってもよい。この具体例では、目的言語が英語であるとする。具体的には、翻訳部１５は、１番目のチャンク「クリケットの」から自立語「クリケット」を取得し、図示しない翻訳辞書情報を参照することにより、その「クリケット」に対応する目的言語のチャンク「ｃｒｉｃｋｅｔ」を取得する。そして、原言語のチャンク「クリケット」のチャンクＩＤ「１」と、取得した目的言語のチャンク「ｃｒｉｃｋｅｔ」とを対応付けて蓄積する。図９の１番目のレコードは、そのようにして蓄積されたものである。このようにして、翻訳部１５は、他のチャンクについても順次、翻訳を行っていく。その結果、図９で示される翻訳結果が得られることになる。図９において、原言語のチャンクから得られた自立語が同じもの（ここでは、「バット」）は、同じレコードに含まれるようにしているが、そうでなくてもよい。
【００７８】
次に、表示部１６は、図６の係り受け情報と、図８の画像と、図９の翻訳結果とを用いて、チャンク列と、画像と、翻訳結果との表示を行う（ステップＳ１０５）。そのために、まず表示部１６は、図６の係り受け情報を用いて、各チャンクについて、係り受けが末端のチャンクに至るまでに経由するチャンクの経路を取得する。具体的には、表示部１６は、末端のチャンクのチャンクＩＤ「５」を取得し、係り先ＩＤがその「５」になるまで、チャンクＩＤと、係り先ＩＤとをたどっていく。例えば、１番目のチャンク「クリケットの」は、係り先ＩＤが「２」であり、チャンクＩＤが「２」のチャンクの係り先ＩＤが「５」であるため、その１番目のチャンクの末端のチャンクまでの経路は「１−２−５」となる。そして、表示部１６は、その取得した経路「１−２−５」に対応するホップ数「２」を算出する。ホップ数は、末端のチャンクに至るまでにチャンク間をホップする数である。図１０は、図６の係り受け情報に対応して取得した経路とホップ数とを示す図である。図１０で示されるように、末端（文末）のチャンクはホップ数が０となる。表示部１６は、図１０で示される情報を生成し、図示しない記録媒体において一時的に記憶してもよい。
【００７９】
この具体例では、表示部１６は、そのホップ数に応じた高さで各チャンクを表示することによって、チャンクの係り受け関係が分かるようにチャンク列を表示するものとする。具体的には、図１１で示されるように、表示部１６は、上から順番に、高さ０，高さ１，高さ２の水平線を設定し、ホップ数０のチャンクは、高さ０の位置に表示し、ホップ数１のチャンクは、高さ１の位置に表示し、ホップ数２のチャンクは、高さ２の位置に表示する。図１０の例では、ホップ数の最大値が２であるが、ホップ数の最大値がＮ（Ｎは１以上の整数）である場合には、高さ０からＮの水平線が設定され、その高さの位置に各チャンクが表示されることになる。また、図１１では、説明の便宜上、「高さ０」等の文字と、破線の水平線とを記載しているが、実際には、これらの文字や水平線はなくてもよい。また、表示部１６は、各チャンクを、文書の先端側から末端側に向かって左から右に等間隔で表示する。各チャンクの表示の際に、表示部１６は、図１１で示されるように、図示しない記録媒体で記憶されている略矩形の図形を読み出し、その図形の中に各チャンクに対応するテキストを配置することによって、各チャンクに対応した図形を生成してもよい。また、表示部１６は、係り受け関係がより明確に分かるように、各チャンクの上側から、高さが「１」だけ少なくなる直近の右側のチャンクに延びる線も表示する。具体的には、末端のチャンク以外のチャンクに対応した各図形について、上側のあらかじめ定められた位置から、高さが「１」だけ異なる水平線の幅よりも少ない長さだけ上側に線を延ばし、その線のチャンクの図形と反対側の端点から、水平線に平行に右側に線を延ばす。そして、その線をチャンクの図形にあたるまで延ばす。このようにして、チャンクの図形の係り受け関係を、チャンクの図形を結ぶ線の図形によって示すことができる。
【００８０】
また、表示部１６は、図８の画像を参照し、各レコードから１番目の画像を読み出して、それぞれの画像を各レコードのチャンクＩＤに対応付けて表示する。具体的には、表示部１６は、クリケットのバットの画像を読み出し、その画像をチャンクＩＤ１，２に対応するチャンク図形と幅が等しくなるように表示する。その際に、幅が足りない場合には、図１１で示されるように、チャンクＩＤ１，２に対応するチャンクの図形と同じだけの矩形の領域を設定し、その矩形の領域の中央に、読み出したクリケットのバットの画像を表示する。このようにして、チャンクと図形との対応が明確になる。
【００８１】
また、表示部１６は、図９の翻訳結果を参照し、各レコードから目的言語のチャンクを読み出して、そのチャンクに対応する図形を生成する。この図形の生成方法は、原言語のチャンクに対応する図形の場合と同様である。そして、表示部１６は、その生成した目的言語のチャンクの図形を、図９において、その目的言語のチャンクに対応するチャンクＩＤで示されるチャンクの図形と同じ左右方向の位置に表示する。例えば、表示部１６は、目的言語のチャンク「ｃｒｉｃｋｅｔ」の図形は、チャンクＩＤ「１」で識別されるチャンク「クリケットの」の図形と同じ位置に表示する。このようにして、各チャンクと、そのチャンクが目的言語に翻訳された各チャンクとを容易に知ることができるようになる。
【００８２】
また、この具体例では、２秒ごとに、取得された画像を切り替えて表示するものとする。したがって、表示部１６は、図１１の表示がなされてから２秒が経過すると、図８の２番目の画像をそれぞれ読み出して、図１１の画像を変更する。その結果、図１２で示される表示がなされる。なお、チャンク「幅広い。」については、一の図形しか存在しないため、その変更は行われない。
【００８３】
なお、本実施の形態において、表示部１６は、文書解析部１２が取得した終止形を、その終止形と、その終止形に対応するチャンクとの対応が分かるように表示してもよい。ここで、文書解析部１２が取得する終止形は、文書における形態素の終止形である。したがって、あるチャンクが２以上の形態素を含む場合には、その２以上の形態素の終止形を並べたものを、表示してもよい。また、あるチャンクが２以上の形態素を含む場合に、表示部１６は、自立語である形態素のみの終止形を表示し、付属語である形態素については、終止形を表示しなくてもよい。「終止形とチャンクとの対応が分かるように表示する」とは、
結果として、両者の対応が分かればよく、その方法は問わない。例えば、終止形の先頭の位置と、チャンクの先頭の位置とを合わせることであってもよく、終止形と、チャンクとの間に、両者を対応付ける図形（例えば、線や矢印など）を表示することであってもよく、時系列に沿ってチャンクを表示する場合に、終止形とチャンクとの表示のタイミングを同期させることであってもよく、その他の方法であってもよい。例えば、表示対象となる文書が「クリケットのバットは、野球のバットよりも幅広かろう。」である場合には、形態素解析の結果は、図１３で示されるようになる。したがって、表示部１６は、図１４で示される表示を行ってもよい。図１４において、目的言語のチャンクを表示していないが、目的言語のチャンクも表示してもよいことは言うまでもない。また、終止形に対応する図形を表示する方法は、目的言語のチャンクの図形や、チャンクの図形を表示する方法から明らかであり、その説明を省略する。なお、チャンクと、終止形との対応については、図１３の情報から容易に知ることができる。
【００８４】
また、表示部１６は、取得された２以上の画像を一括して表示するようにしてもよい。例えば、図１５で示されるように、各チャンクに対応付けて、取得された２以上の画像を一括して表示してもよい。
【００８５】
また、前述の具体例では、図１１で示されるように、併合されたチャンクについては、その全体に対応するように画像を表示する場合について説明したが、そうでなくてもよい。２以上のチャンクが併合された場合に、その併合後のチャンクに含まれる２以上の併合前のチャンクのうち、いずれか一つのチャンクに対応付けて併合後のチャンクに対応する画像を表示すると共に、それ以外のチャンクに対応付けて併合された旨の図形を表示するようにしてもよい。その画像が対応付けて表示されるチャンクは、例えば、併合前のチャンクの先頭のチャンクであってもよく、後端のチャンクであってもよい。また、画像が表示される以外のチャンクに対応付けて表示する併合された旨の表示では、どちらに併合されたのかが矢印等によって示されるようにしてもよい。例えば、画像が対応付けて表示されるチャンクが併合前のチャンクの先頭のチャンクである場合に、それ以外のチャンクについては、先頭のチャンクの方に向いた矢印、例えば、図１１の場合であれば、左向きの矢印が表示された併合された旨の図形を対応付けて表示するようにしてもよい。
【００８６】
以上のように、本実施の形態による文書画像表示装置１によれば、文書に対応する画像を提示する際に、不適切な画像を提示することに起因して文書の理解を阻害する事態を回避することができる。具体的には、画像取得部１４がチャンクごとに２以上の画像を取得し、表示部１６が、その２以上の画像をチャンクに対応付けて表示することにより、たとえその２以上の画像の中に、チャンクに適切に対応していない画像（例えば、図１５において併合後のチャンク「野球のバットよりも、」に対応して表示されているバットケースの画像など）が含まれていたとしても、他の画像を参照することによって、文書の適切な理解が可能となる。また、チャンクを併合し、その併合後のチャンクを用いて画像を取得することによって、より適切な画像の提示が可能となりうる。例えば、前述の例のように、チャンク列「クリケットの」「バットは、」に対して、クリケットの画像と、野球のバットの画像とを提示するのではなく、クリケットのバットそのものの画像を提示することができるようになる。その結果、文書と画像とを見る者の文書の理解を促進することができるようになりうる。
【００８７】
ここで、この文書画像表示装置１の使用形態について簡単に説明する。例えば、小説の文書や、電子メールの文書、ウェブ上の文書等について、本実施の形態による文書画像表示装置１を使用することによって、軽度の失語症患者等が文書を容易に理解することができるようにしてもよい。また、例えば、ユーザが外国に行った場合に、デジタルカメラで看板等を撮影し、その撮影した画像に対して文字認識処理をした後に機械翻訳を行ってユーザの母語の文書を取得し、その文書に対して本実施の形態による文書画像表示装置１を使用してもよい。例えば、機械翻訳を行った場合には、ユーザの母語ではマイナーな単語に翻訳されることもありうる。具体的には、英語の単語「ｐｕｆｆｉｎ」が機械翻訳されて「ツノメドリ」になったとしても、日本人でもツノメドリを理解できる人は少数であると考えられる。一方、本実施の形態による文書画像表示装置１によって、「ツノメドリ」の映像が表示されることによって、どのような鳥なのかを一目で把握することができるというメリットがある。なお、本実施の形態で説明したように、チャンクの併合や、２以上の画像が表示されることによって、その理解がより正確なものになると考えられる。また、ノートテーキングの結果の文書に対して本実施の形態による文書画像表示装置１を使用した場合には、例えば、言語を映像化するステップが必要な映像思考型の人は、画像を含む表示結果を見ることによって、その映像化の労力が軽減されるため、通常よりも高速な理解が可能になると考えられる。また、この場合にも、チャンクの併合や、２以上の画像が表示されることによって、その理解がより正確なものになると考えられる。
【００８８】
（実施の形態２）
本発明の実施の形態２による文書画像表示装置２について、図１６〜図２３を参照しながら説明する。本実施の形態による文書画像表示装置２は、併合されたチャンクに対応する用語を取得し、その用語を用いて画像の取得を行うものである。
【００８９】
図１６は、本実施の形態による文書画像表示装置２の構成を示すブロック図である。図１６において、本実施の形態による文書画像表示装置２は、文書記憶部１１と、文書解析部１２と、併合部１３と、画像取得部１４と、翻訳部１５と、表示部１６と、辞書情報記憶部２１と、用語取得部２２とを備える。なお、辞書情報記憶部２１、用語取得部２２以外の構成及び動作は、画像取得部１４が、併合後のチャンクに対応する画像を取得する際に、その併合後のチャンクに対して用語取得部２２が取得した用語に対応する画像を取得する以外、実施の形態１と同様であり、その説明を省略する。また、図１６において、通信回線５００や、検索サーバ９などを表示していないが、画像取得部１４が、検索サーバ９を用いて画像を取得してもよく、画像対応情報を用いて画像を取得してもよいことは言うまでもない。
【００９０】
辞書情報記憶部２１では、２以上の辞書情報が記憶される。辞書情報は、用語と、その用語に関する解説とを対応付けて有する情報である。一の辞書情報は、一の用語に対する解説となっている。この辞書情報の集合は、いわゆる国語辞典と同様のものとなる。
【００９１】
辞書情報記憶部２１に２以上の辞書情報が記憶される過程は問わない。例えば、記録媒体を介して２以上の辞書情報が辞書情報記憶部２１で記憶されるようになってもよく、通信回線等を介して送信された２以上の辞書情報が辞書情報記憶部２１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された２以上の辞書情報が辞書情報記憶部２１で記憶されるようになってもよい。辞書情報記憶部２１での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。辞書情報記憶部２１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【００９２】
用語取得部２２は、辞書情報を用いて、併合部１３が併合した併合後のチャンクに含まれる２以上のチャンクを含む解説に対応する用語を取得する。「併合後のチャンクに含まれる２以上のチャンク」とは、併合後のチャンクを構成する、２以上の併合前のチャンクのことである。また、「２以上のチャンクを含む解説」とは、一の用語に対応する解説であって、その２以上の併合前のチャンクのすべてを含む解説である。なお、「チャンクを含む」とは、チャンクそのものを含むことであってもよく、チャンクに含まれる自立語を含むことであってもよい。例えば、併合後のチャンクが「クリケットのバットは、」であり、それに含まれる２以上の併合前のチャンクが「クリケットの」「バットは、」である場合には、２以上のチャンクを含む解説は、「クリケットの」と、「バットは、」とを含む解説であってもよく、「クリケット」と、「バット」とを含む解説であってもよい。本実施の形態では、後者の場合について説明する。
【００９３】
なお、用語取得部２２が、併合後のチャンクに対応した用語を取得することができなかった場合には、実施の形態１の場合と同様に、画像の取得を行ってもよい。また、前述のように、画像取得部１４は、併合後のチャンクに対応する画像を取得する際に、その併合後のチャンクに対して用語取得部２２が取得した用語に対応する画像を取得する。「併合後のチャンクに対応した用語」とは、併合後のチャンクに含まれる２以上のチャンクを含む解説に対応する用語の意味である。また、「用語に対応する画像を取得する」とは、実施の形態１と同様に、その用語を検索キーワードとして、検索された画像を取得することである。本実施の形態でも、その取得する画像は、２以上であるとする。また、その取得する画像の上限数が設定されていてもよい。また、用語取得部２２が、一の併合後のチャンクに対して、２以上の用語を取得した場合には、画像取得部１４は、その取得された用語ごとに、画像の取得を行ってもよい。例えば、用語Ａと、用語Ｂとが取得された場合には、画像取得部１４は、検索式を「用語Ａ  ＯＲ  用語Ｂ」として検索する（すなわち、ＯＲ検索を行う）ことによって、用語Ａに対応する画像と、用語Ｂに対応する画像との両方を取得するようにしてもよい。
【００９４】
次に、本実施の形態による文書画像表示装置２の動作について、図１７のフローチャートを用いて説明する。なお、図１７のフローチャートにおいて、ステップＳ３０１以外の処理は、実施の形態１の図３のフローチャートと同様であり、その説明を省略する。
【００９５】
（ステップＳ３０１）用語取得部２２は、併合後のチャンクに対応する用語を取得する。２以上の併合後のチャンクが存在する場合には、それぞれについて、その用語の取得を行うものとする。なお、この処理の詳細については、図１８のフローチャートを用いて後述する。
【００９６】
なお、図１７のフローチャートの画像の取得の処理（ステップＳ１０３）において、画像取得部１４は、前述のように、併合後のチャンクについて用語が取得された場合には、その用語を用いた画像の取得を行うものとする。一方、併合後のチャンクについて用語を取得できなかった場合には、画像取得部１４は、実施の形態１の場合と同様に、併合後のチャンクに対応する画像の取得を行うものとする。また、併合されていないチャンクについては、画像取得部１４は、実施の形態１の場合と同様に、画像の取得を行うものとする。
【００９７】
図１８は、図１７のフローチャートにおける用語の取得の処理（ステップＳ３０１）の詳細を示すフローチャートである。
【００９８】
（ステップＳ４０１）用語取得部２２は、併合後のチャンクが存在するかどうか判断する。そして、併合後のチャンクが存在する場合には、ステップＳ４０２に進み、そうでない場合には、図１７のフローチャートに戻る。
【００９９】
（ステップＳ４０２）用語取得部２２は、用語を取得する対象となる併合後のチャンクに含まれる２以上の併合前のチャンクを特定する。そして、その特定した併合前のチャンクを用いて、辞書情報の解説を検索する。
【０１００】
（ステップＳ４０３）用語取得部２２は、ステップＳ４０２の検索にヒットした解説があるかどうか判断する。そして、ヒットした解説がある場合には、ステップＳ４０４に進み、そうでない場合には、ステップＳ４０５に進む。
【０１０１】
（ステップＳ４０４）用語取得部２２は、ステップＳ４０３でヒットした解説に対応する用語を取得する。なお、２以上の解説がヒットした場合には、用語取得部２２は、それぞれの解説に対応する２以上の用語を取得するものとする。その取得した用語は、図示しない記録媒体において一時的に記憶されてもよい。
【０１０２】
（ステップＳ４０５）用語取得部２２は、用語を取得する対象となる次の併合後のチャンクが存在するかどうか判断する。そして、存在する場合には、ステップＳ４０２に戻って、次の併合後のチャンクに対する処理を行う。一方、存在しない場合、すなわち、すべての併合後のチャンクに対応する用語の取得が行われた場合には、図１７のフローチャートに戻る。
【０１０３】
次に、本実施の形態による文書画像表示装置２の動作について、具体例を用いて説明する。なお、用語の取得や、その用語を用いた画像の取得の処理以外は、実施の形態１と同様であるため、その詳細な説明を省略する。また、この具体例では、文書「朝の太陽は、体内時計をリセットする。」を表示する処理が行われるものとする。また、この具体例において、辞書情報記憶部２１では、図１９で示される辞書情報が記憶されているものとする。図１９の辞書情報において、用語と、その用語に対応する解説とが対応付けられている。例えば、用語「朝日」に対して、解説「朝に昇る太陽」が対応付けられている。
【０１０４】
まず、文書解析部１２が、その文書を読み出して、形態素解析や係り受け解析を行い、係り受け情報を取得する（図１７のステップＳ１０１）。図２０は、その形態素解析の結果を示しており、図２１は、係り受け解析の結果である係り受け情報を示している。その後、併合部１３は、単受け関係でつながるチャンクを併合する（ステップＳ１０２）。その結果、チャンクＩＤ「１」「２」のチャンクが併合されることになる。
【０１０５】
次に、用語取得部２２は、併合後のチャンクについて、用語を取得する処理を行う（ステップＳ３０１）。具体的には、用語取得部２２は、併合されたチャンクＩＤ「１」「２」のチャンク「朝の」「太陽は、」から、それぞれ自立語「朝」「太陽」を取得する。そして、その取得した自立語を各検索キーワードとして、両検索キーワードを含む解説を検索する（ステップＳ４０１，Ｓ４０２）。この場合には、図１９の１番目のレコードの解説のみがヒットしたとする。すると、用語取得部２２は、検索でのヒットがあったと判断し（ステップ４０３）、その解説に対応する用語「朝日」を、その１番目のレコードから取得して、図２２で示されるように、併合後のチャンクに含まれる各チャンクのチャンクＩＤに対応付けて蓄積する（ステップＳ４０４）。この具体例では、併合後のチャンクが１個のみであるため、これで用語を取得する処理が終了となる（ステップＳ４０５）。
【０１０６】
次に、画像取得部１４は、各チャンクに対応する画像を取得する（ステップＳ１０３）。その画像の取得の際に、画像取得部１４は、併合後のチャンク「朝の太陽は、」については、取得された用語「朝日」を検索キーワードとして画像の取得を行うことになる。この画像の取得や、チャンクの翻訳、チャンク列や画像の表示については、実施の形態１の具体例と同様であり、その説明を省略する。最終的に、例えば、図２３の表示が行われることになる。なお、この具体例では、図２３で示されるように、動詞「リセットする」についても、画像が取得され、表示されるものとする。
【０１０７】
以上のように、本実施の形態による文書画像表示装置２によれば、併合後のチャンクに対応した用語を取得し、その用語に対応した画像を取得することができる。一般的には、複数の検索キーワードでＡＮＤ検索を行う場合よりも、その複数の検索キーワードに対応した用語で検索を行う場合の方が、より適切な画像を検索することができるものと考えられる。その結果、表示結果を見る者が、表示された文書をよりよく理解できるようになると考えられる。
【０１０８】
（実施の形態３）
本発明の実施の形態３による文書画像表示装置３について、図２４，図２５を参照しながら説明する。本実施の形態による文書画像表示装置３は、各チャンクを翻訳した後に、目的言語のチャンクを用いて画像の取得を行うものである。
【０１０９】
図２４は、本実施の形態による文書画像表示装置３の構成を示すブロック図である。本実施の形態による文書画像表示装置３は、文書記憶部１１と、文書解析部１２と、併合部１３と、画像取得部１４と、翻訳部１５と、表示部１６と、画像取得用翻訳部３１とを備える。なお、画像取得用翻訳部３１以外の構成及び動作は、画像取得部１４が、画像取得用翻訳部３１によって翻訳された目的言語のチャンクに対応する画像を取得する以外、実施の形態１と同様であり、その説明を省略する。また、図２４において、通信回線５００や、検索サーバ９などを表示していないが、画像取得部１４が、検索サーバ９を用いて画像を取得してもよく、画像対応情報を用いて画像を取得してもよいことは言うまでもない。
【０１１０】
画像取得用翻訳部３１は、併合後のチャンクを含むチャンク列に含まれる各チャンクを目的言語のチャンクに翻訳する。この画像取得用翻訳部３１による翻訳は、前述の翻訳部１５による翻訳と同様のものであり、その説明を省略する。翻訳された結果である目的言語のチャンクは、図示しない記録媒体において一時的に記憶されてもよい。
【０１１１】
また、前述のように、画像取得部１４は、画像取得用翻訳部３１が翻訳した目的言語のチャンクに対応する画像を取得するものであるが、その画像の取得方法は、チャンクの言語が異なる以外、実施の形態１の説明と同様であり、その説明を省略する。
【０１１２】
次に、本実施の形態による文書画像表示装置３の動作について、図２５のフローチャートを用いて説明する。なお、図２５のフローチャートにおいて、ステップＳ５０１以外の処理は、実施の形態１の図３のフローチャートと同様であり、その説明を省略する。
【０１１３】
（ステップＳ５０１）画像取得用翻訳部３１は、各チャンクを目的言語のチャンクに翻訳する。併合されたチャンクについては、併合前のチャンクが翻訳されてもよく、あるいは、併合後のチャンクが翻訳されてもよい。
【０１１４】
なお、図２５のフローチャートの画像の取得の処理（ステップＳ１０３）において、画像取得部１４は、画像取得用翻訳部３１によって翻訳された目的言語のチャンクに対応する画像を取得するものとする。なお、画像取得用翻訳部３１が翻訳を行うことができなかったチャンクについては、画像取得部１４は、原言語のチャンクに対応する画像を取得してもよく、あるいは、画像の取得を行わなくてもよい。前者の場合には、画像取得部１４は、少なくとも原言語と目的言語との２言語について画像を取得することができるものである。
【０１１５】
また、本実施の形態による文書画像表示装置３の動作の具体例は、画像の取得が目的言語のチャンクを用いて行われる以外、実施の形態１と同様であり、その説明を省略する。
【０１１６】
また、図２４で示されるように、文書画像表示装置３が、翻訳部１５と、画像取得用翻訳部３１との両方を用いて処理を行う場合には、実質的に、同じ処理を２回行うことになるため、一方の構成要素のみが翻訳の処理を行い、他方では、その翻訳結果を利用するようにしてもよい。
【０１１７】
以上のように、本実施の形態による文書画像表示装置３によれば、表示される文書の言語とは異なる言語を用いて検索を行うことができる。例えば、表示される文書が英語などの主要な言語に比べてマイナーな言語である場合には、その言語での画像のデータベース等が適切に整備されていないこともありうる。そのような場合に、そのマイナーな言語を英語等の主要な言語に翻訳してから検索を行うことにより、より適切に画像を取得することができうるようになると考えられる。なお、マイナーな言語でなくても、画像検索に適した言語に翻訳してから画像検索を行うことにより、より適切な画像の取得が可能になると考えられる。
【０１１８】
なお、上記各実施の形態において、文書画像表示装置１〜３が翻訳部１５を備え、チャンクの翻訳結果も表示する場合について説明したが、そうでなくてもよい。例えば、文書画像表示装置１〜３が翻訳部１５を備えず、表示部１６が、目的言語のチャンクを表示しなくてもよい。
【０１１９】
また、上記各実施の形態において、表示部１６が、チャンクの係り受け関係が分かるようにチャンクを表示する場合について説明したが、そうでなくてもよい。例えば、表示部１６は、単にチャンクを順番に並べる表示を行ってもよい。また、チャンクの係り受け関係を表示する場合であっても、そのチャンクの係り受け関係は、チャンクの併合の行われた後におけるチャンクの係り受け関係であってもよい。例えば、実施の形態１の具体例の場合には、チャンク「クリケットのバットは、」「野球のバットよりも、」「幅広い」の３個のチャンクの係り受け関係が表示されてもよい。
【０１２０】
また、上記各実施の形態において、チャンクを併合するバリエーションが複数存在する場合に、その各バリエーションについてチャンクの併合を行うと共に、その各バリエーションに対応した併合後のチャンクについて画像の取得を行い、その各バリエーションについて、チャンク列の表示と、取得された画像の表示とが行われるようにしてもよい。例えば、あらかじめ決められた期間ごとに、各バリエーションに対応した表示を切り替えるようにしてもよい。このようにすることで、複数のチャンクの併合方法のすべてのバリエーションが表示されることになり、その併合方法の中に不適切なものが存在したとしても、全体としては、表示結果を見る者の理解を深めることができるようになると考えられる。
【０１２１】
また、上記各実施の形態において、一のチャンクに対応付けて２以上の画像を表示する場合に、各画像を均等に表示してもよく、あるいは、そうでなくてもよい。例えば、検索のマッチングの度合いの高い画像ほど、より優先的に表示してもよく、好条件の画像（例えば、高画質ものもの、大きい画像、色数の多い画像、公人やプロの撮影した画像など）ほど、より優先的に表示してもよい。優先的に表示するとは、例えば、他の画像よりも大きく表示することであってもよく、他の画像よりも長く表示することであってもよく、他の画像よりも目に付きやすいように表示すること（例えば、一番上に表示することや、１番目に表示することなど）であってもよい。
【０１２２】
また、上記各実施の形態において、画像取得部１４が検索で用いた検索キーワードを、検索で得られた画像に対応付けて表示してもよい。画像に対応付けて表示するとは、例えば、その画像上に表示することであってもよく、その他の表示方法であってもよい。
【０１２３】
また、上記各実施の形態において、画像取得部１４が検索を行う際に、正規表現を用いた検索や、ＡＮＤやＯＲ等の論理演算子を用いた検索を適宜、行ってもよいことは言うまでもない。
【０１２４】
また、上記各実施の形態では、文書画像表示装置１〜３がスタンドアロンである場合について説明したが、文書画像表示装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、表示部１６は、通信回線を介して表示を行ってもよい。
【０１２５】
また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【０１２６】
また、上記各実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。
【０１２７】
また、上記各実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いるしきい値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していない場合であっても、ユーザが適宜、それらの情報を変更できるようにしてもよく、あるいは、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。
【０１２８】
また、上記各実施の形態において、文書画像表示装置１〜３に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。
【０１２９】
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における文書画像表示装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、文書が記憶される文書記憶部で記憶されている文書をチャンクごとに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する文書解析部、前記文書解析部が取得した係り受け情報を用いて、１個のチャンクと、当該１個のチャンクのみからの係りを受けるチャンクとの関係である単受け関係によってつながる２以上のチャンクを１個のチャンクに併合する併合部、前記併合部による併合後のチャンク、及び併合されなかったチャンクのうち、少なくとも併合後のチャンクを含む１以上のチャンクに対応する２以上の画像をそれぞれ取得する画像取得部、前記文書記憶部で記憶されている文書に対応するチャンク列と、当該チャンク列に含まれる各チャンクに対応する、前記画像取得部が取得した２以上の画像とを、チャンクと２以上の画像との対応が分かるように表示する表示部、として機能させるためのものである。
【０１３０】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を表示する表示部などにおけるディスプレイやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。
【０１３１】
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
【０１３２】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１３３】
図２６は、上記プログラムを実行して、上記各実施の形態による文書画像表示装置１〜３を実現するコンピュータの外観の一例を示す模式図である。上記各実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【０１３４】
図２６において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
【０１３５】
図２７は、コンピュータシステム９００の内部構成を示す図である。図２７において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。
【０１３６】
コンピュータシステム９００に、上記各実施の形態による文書画像表示装置１〜３の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。
【０１３７】
プログラムは、コンピュータ９０１に、上記各実施の形態による文書画像表示装置１〜３の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
【０１３８】
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１３９】
以上より、本発明による文書画像表示装置等によれば、文書と、その文書に対応する画像とを表示できるという効果が得られ、例えば、文書と画像を表示する装置等として有用である。
【符号の説明】
【０１４０】
１、２、３  文書画像表示装置
９  検索サーバ
１１  文書記憶部
１２  文書解析部
１３  併合部
１４  画像取得部
１５  翻訳部
１６  表示部
１７  画像対応情報記憶部
２１  辞書情報記憶部
２２  用語取得部
３１  画像取得用翻訳部
【図１】
2010204884.tif 000003
【図２】
2010204884.tif 000004
【図３】
2010204884.tif 000005
【図４】
2010204884.tif 000006
【図５】
2010204884.tif 000007
【図６】
2010204884.tif 000008
【図７】
2010204884.tif 000009
【図８】
2010204884.tif 000010
【図９】
2010204884.tif 000011
【図１０】
2010204884.tif 000012
【図１１】
2010204884.tif 000013
【図１２】
2010204884.tif 000014
【図１３】
2010204884.tif 000015
【図１４】
2010204884.tif 000016
【図１５】
2010204884.tif 000017
【図１６】
2010204884.tif 000018
【図１７】
2010204884.tif 000019
【図１８】
2010204884.tif 000020
【図１９】
2010204884.tif 000021
【図２０】
2010204884.tif 000022
【図２１】
2010204884.tif 000023
【図２２】
2010204884.tif 000024
【図２３】
2010204884.tif 000025
【図２４】
2010204884.tif 000026
【図２５】
2010204884.tif 000027
【図２６】
2010204884.tif 000028
【図２７】
2010204884.tif 000029