(57)【要約】【課題】文字切り出しを用いずに文書画像の折り返し表示が可能なシステムを提供する。【解決手段】文章ブロック抽出手段２が、文書画像中に配置されたひとかたまりの文字列（以下、文章ブロック）の位置と大きさとを出力し、行矩形抽出手段３が、文章ブロック内の各行の位置と大きさとを出力し、ユーザ指示手段６によってユーザは表示させたい文章ブロックを指示し、折り返し画像生成手段４が、指示された文章ブロック内の行の位置と大きさとから表示領域に合わせて文章ブロックを折り返した画像を生成する。【選択図】　図１
2004110411.tif 000002
【特許請求の範囲】
【請求項１】
文書画像中に配置されたひとかたまりの文字列である文章ブロックの位置と大きさとを出力する文章ブロック抽出手段と、
該抽出された文章ブロック内の各行の位置と大きさとを抽出して、文章ブロック内の一列の文字を矩形状に囲んだ領域内の文字列である行矩形を出力する行矩形抽出手段と、
ユーザが表示させたい文章ブロックを指示するユーザ指示手段と、
該ユーザが指示した文章ブロック内の行の位置と大きさとから、表示領域に合わせて該文章ブロックを折り返した、折り返し画像を生成する折り返し画像生成手段とを備えた
ことを特徴とする文書表示システム。
【請求項２】
行矩形抽出手段により抽出された行矩形を分割する際に、行矩形の区切り位置を抽出する区切り位置抽出手段を備え、
折り返し画像生成手段は、該抽出された区切り位置で行矩形の分割を行う
ことを特徴とする請求項１記載の文書表示システム。
【請求項３】
文書画像全体を縮小した縮小画像を生成する縮小画像生成手段を備え、
縮小画像と折り返し画像とを同時に表示し、
折り返し画像生成手段は、縮小画像生成手段により生成された縮小画像を避けた表示領域に対して折り返し画像を生成する
ことを特徴とする請求項１または２記載の文書表示システム。
【請求項４】
ユーザの指示に応じてネットワークを介して文書画像、文章ブロックおよび行矩形の情報を送受信する、サーバ通信手段およびクライアント通信手段と、
画像を一定の大きさの部分画像であるタイルに分割しつつ、各タイルを複数の解像度で保持する多重解像度タイル化画像記憶メモリとを備えた
ことを特徴とする請求項１、２および３記載の文書表示システム。
【請求項５】
特定の文書フォーマットを画像に変換するフォーマット変換手段を、対応する文書フォーマットの数だけ備えた
ことを特徴とする請求項４記載の文書表示システム。
【請求項６】
文書画像中に配置されたひとかたまりの文字列である文章ブロックの位置と大きさ、および文章ブロック内の各行の位置と大きさとを抽出し、ユーザが指示した文章ブロック内の行の位置と大きさとから、表示領域に合わせて該文章ブロックを折り返した折り返し画像を生成する
ことを特徴とする文書表示方法。
【請求項７】
コンピュータを、
文書画像中に配置されたひとかたまりの文字列である文章ブロックの位置と大きさとを出力する文章ブロック抽出手段と、文章ブロック内の一列の文字を矩形状に囲んだ領域の文字列である行矩形を出力する行矩形抽出手段と、ユーザ指示手段によりユーザが選択した行の位置と大きさとから表示領域に合わせて文章ブロックを折り返した折り返し画像生成手段
として機能させるための文書表示用プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書表示システム、文書表示方法および文書表示用プログラムに関し、特に表示領域の大きさに合わせて文字列を再配置して表示する文書表示システム、文書表示方法および文書表示用プログラムに関する。
【０００２】
【従来の技術】
従来の文書画像（文書を画素の集合としてデジタル化したもの）を表示するシステムでは、表示領域に収まりきらない文書画像を表示するために上下左右のスクロールを用いていた。文書画像と表示領域の関係の一例を図１５に示す。図１５に示すように表示したい文書画像１０２に対して表示領域１０１が小さい場合、ユーザは横方向と縦方向のスクロールを頻繁に繰り返しながら内容を把握しなければならず、非常に不便である。例えば、電子図書館などで、ディジタル画像として保存されている文書をパソコンなどで閲覧する場合、閲覧する文書量が多いと、ユーザにかかる負担も非常に大きくなる。
【０００３】
一方、文書を画像ではなく文字コードで扱うエディタまたはビューワは、図１６に示すように表示領域１０１に合わせて行を折り返し表示することにより、一方向（横書きであれば縦方向）のスクロールのみで内容を把握することができる（例えば、特許文献１参照。）。ここで折り返し表示とは、表示したい文書ブロックに対して表示領域が小さい場合に、文章ブロックの行の途中から新たな行に折り返して表示を行うことをいう。図１５の例では、文書画像１０２の文章ブロックの最初の１行は「あいうえお、かきくけこ、さし」からなっているのに対して、表示領域１０１は小さく、１行を１画面に表示できない。そこで図１６のように、表示領域１０１の大きさに合わせて、最初の１行の表示を「あいうえお、か」とし、「きくけこ、さし」を次の行に折り返して表示している。つまり、表示装置の違いや利用形態の違い（２つの文書を同時に閲覧するなど）により表示領域の大きさが変化する場合でも、それに合わせて文書中の文字列を折り返すことでその表示領域に適した表示を行う。
【０００４】
それとは別に、文書画像をレイアウト解析した結果を利用して折り返し表示を行う装置もある（例えば、特許文献２参照。）。レイアウト解析によって、文章のブロック、行、文字といった文書画像を構成している各要素の種類と位置と大きさを得ることができ、それらの情報を利用して文字単位で画像を再配置すれば前記エディタまたはビューワと同様に折り返し表示が実現できる。
【０００５】
【特許文献１】
特開平７−２６１７３６号公報　（第３−５頁、第６図）
【特許文献２】
特開２００１−２１６２９２号公報　（第４−５頁、第２図）
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載された発明による拡大表示装置における折り返し表示は、文書を文字コードで扱っているためにできることであり、文書画像には適用できない。また、文字コードで扱っていても、文書作成時に文字の配置が固定されている文書フォーマット（ＰＤＦ（ポータブルドキュメントフォーマット）や一部のＨＴＭＬ（ハイパーテキストマークアップラングエイジ）など）では折り返し表示を行うことができない。
【０００７】
また、特許文献２に記載された発明によるレイアウト画像編集装置及びレイアウト画像編集方法の第１の問題点は、文字ごとの画像を抽出する文字切り出し処理に依存していることである。文字切り出しは文字認識と同程度に難しい課題であるためこれを誤りなく行うことは困難であるにもかかわらず、解析誤りへの対応がなされていない。
【０００８】
第２の問題点は、ネットワークを介した文書配信の効率化を考慮していないことである。文書画像はデータ量が膨大であるために、インターネットなどの高速でないネットワークを介して配信するためには効率的な手法が必要となる。
【０００９】
第３の問題点は、文書画像以外の文書フォーマットに対応していないことである。そのため、画像ではない文書を折り返し表示したいという要求に応えられない。その一方、各文書フォーマットにはそれに対応した表示装置（または表示プログラム）がそれぞれ存在するが、それらで折り返し表示を実現するにはそれぞれの装置（またはプログラム）を改造しなくてはならない。
【００１０】
本発明は、文字切り出しを行わずに文書画像の折り返し表示を行うシステムおよびプログラムを提供することを目的とする。
【００１１】
また本発明は、文書画像をネットワークを介して効率的に配信できるシステムを提供することも目的とする。
【００１２】
さらに本発明は、異なるフォーマットの文書を統一したフォーマットに変換することで単一の表示装置（または表示プログラム）で折り返し表示が可能なシステムを提供することも目的とする。
【００１３】
【課題を解決するための手段】
請求項１記載の発明による文書表示システムは、文書画像中に配置されたひとかたまりの文字列である文章ブロックの位置と大きさとを出力する文章ブロック抽出手段と、該抽出された文章ブロック内の各行の位置と大きさとを抽出して、文章ブロック内の一列の文字を矩形状に囲んだ領域内の文字列である行矩形を出力する行矩形抽出手段と、ユーザが表示させたい文章ブロックを指示するユーザ指示手段と、該ユーザが指示した文章ブロック内の行の位置と大きさとから、表示領域に合わせて該文章ブロックを折り返した、折り返し画像を生成する折り返し画像生成手段とを備えたことを特徴とする。
【００１４】
請求項２記載の発明による文書表示システムは、行矩形抽出手段により抽出された行矩形を分割する際に、行矩形の区切り位置を抽出する区切り位置抽出手段を備え、折り返し画像生成手段は、該抽出された区切り位置で行矩形の分割を行うことを特徴とする。
【００１５】
請求項３記載の発明による文書表示システムは、文書画像全体を縮小した縮小画像を生成する縮小画像生成手段を備え、縮小画像と折り返し画像を同時に表示し、折り返し画像生成手段は、縮小画像生成手段により生成された縮小画像を避けた表示領域に対して折り返し画像を生成することを特徴とする。
【００１６】
請求項４記載の発明による文書表示システムは、ユーザの指示に応じてネットワークを介して文書画像、文章ブロックおよび行矩形の情報を送受信する、サーバ通信手段およびクライアント通信手段と、画像を一定の大きさの部分画像であるタイルに分割しつつ、各タイルを複数の解像度で保持する多重解像度タイル化画像記憶メモリとを備えたことを特徴とする。
【００１７】
請求項５記載の発明による文書表示システムは、特定の文書フォーマットを画像に変換する、フォーマット変換手段を対応する文書フォーマットの数だけ備えたことを特徴とする。
【００１８】
請求項６記載の発明による文書表示方法は、文書画像中に配置された文章ブロックの位置と大きさ、および文章ブロック内の各行の位置と大きさとを抽出し、ユーザが指示した文章ブロック内の行の位置と大きさとから、表示領域に合わせて該文章ブロックを折り返した、折り返し画像を生成することを特徴とする。
【００１９】
請求項７記載の発明による文書表示プログラムは、文書画像中に配置されたひとかたまりの文字列である文章ブロックの位置と大きさとを出力する文章ブロック抽出手段と、文章ブロック内の一列の文字を矩形状に囲んだ領域の文字列である行矩形を出力する行矩形抽出手段と、ユーザ指示手段によりユーザが選択した行の位置と大きさとから表示領域に合わせて文章ブロックを折り返した折り返し画像生成手段としてコンピュータを機能させることを特徴とする。
【００２０】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
図１は、本発明による文書表示システムの第１の実施の形態を示すブロック図である。図１に示すように、文書表示システムは、文書画像を蓄積する画像記憶メモリ１と、文書画像から文章ブロックを抽出する文章ブロック抽出手段２と、文章ブロック内の一列の文字を矩形で囲んだものである行矩形を抽出する行矩形抽出手段３と、文章ブロック内の行矩形から折り返し画像を生成する折り返し画像生成手段４と、文書画像全体を縮小した縮小画像を生成する縮小画像生成手段５と、マウスやキーボードなどによってユーザがシステムに指示を与えるユーザ指示手段６と、文書画像の縮小表示と折り返し表示のどちらかを選択する表示選択手段７と、画像の表示を行う画像表示装置８とから構成されている。
【００２１】
画像記憶メモリ１は、表示対象となる文書画像を文字を読むのに十分な解像度で保持する。本実施の形態では、画像記憶メモリ１には表示対象とする文書画像があらかじめ存在するとしているが、別に存在する文書画像データベースの中からユーザの指示によって文書画像が転送されるとしてもよい。
【００２２】
文章ブロック抽出手段２は、画像記憶メモリ１に格納された文書画像のレイアウトを画像理解により解析し、例えば１段落のように文字のまとまりとなる構成要素（文章ブロック）を抽出する。そして、抽出した文章ブロックのそれぞれの位置と大きさとを出力する。ただし、本実施の形態では、文章ブロックは、文章ブロック抽出手段２によって自動抽出されるが、ユーザが折り返し表示したい文章ブロックの抽出を行ってもよい。
【００２３】
行矩形抽出手段３は、各文章ブロックについて、その内部の文字列が縦書きか横書きかを判定したのち、行間の空白などを手がかりとして行を抽出する。そして、抽出した行のそれぞれの位置と大きさとを出力する。
【００２４】
折り返し画像生成手段４は、ユーザ指示手段６によって指示された文章ブロック内の各行を切り貼りした折り返し画像を生成する。文章ブロックが横書きであれば横幅を表示領域に合わせて上から下に伸びる縦長の画像を生成し、縦書きであれば縦幅を表示領域に合わせて右から左に伸びる横長の画像を生成する。
【００２５】
縮小画像生成手段５は、画像記憶メモリ１に格納された文書画像を縮小するだけでなく、その上に文章ブロック抽出手段２により抽出された文章ブロックの枠を重畳した画像を生成する。ただし、本実施の形態では、文章ブロックの部分を強調するために、文章ブロックの枠を重畳した画像を生成するが、文章ブロック内の色を変化させたりするなど他の表現を用いてもよい。
【００２６】
ユーザ指示手段６は、ユーザによるボタン押下などにより、縮小画像と折り返し画像のどちらを表示するかを表示選択手段７に伝える。また、縮小画像に重畳表示された文章ブロック枠をユーザが選択することにより折り返し表示したい文章ブロックを折り返し画像生成手段４に伝える。さらに、縮小表示の表示倍率の変更や上下左右のスクロール、折り返し画像の上下方向（縦書きの場合は左右方向）のスクロールを画像表示装置８に指示する。
【００２７】
表示選択手段７は、ユーザ指示手段６によるユーザの指示に従って、縮小画像または折り返し画像のどちらの画像を表示するかを選択する。画像表示装置８は、表示選択手段７により選択された画像の表示を行い、ユーザ指示手段６によるユーザの指示によって画像の表示倍率の変更やスクロールを行う。文章ブロック抽出手段２、行矩形抽出手段３、折り返し画像生成手段４、縮小画像生成手段５、表示選択手段７はパーソナルコンピュータ等のＣＰＵでの処理が可能であり、画像記憶メモリ１を含めると、この実施の形態は、パーソナルコンピュータ等での実施が可能である。
【００２８】
次に、図２、図３および図４のフローチャートを参照して、この実施の形態の動作について説明する。まず、文章ブロック抽出手段２が、画像記憶メモリ１に格納された文書画像のレイアウトを画像理解により解析し、文章ブロックを抽出する（ステップＡ１１）。このとき、文章ブロック抽出手段２は、例えば特開平４−４４１８５号公報記載の、文書画像を文字行のブロックや、図などのブロックに分割し、分割結果にもとづいて文書画像のレイアウトを解析する手法を用いることができる。さらに、行矩形抽出手段３が、各文章ブロックについて縦書きであるか横書きであるかを判定したのち、行間の空白などを手がかりとして行を抽出する（ステップＡ１２）。このとき行矩形抽出手段３は、例えば、文章ブロックに外接する矩形特徴や、画素の縦軸・横軸のヒストグラム特徴等を求めることにより、これらの特徴の分布にもとづいて、各文章ブロックが、縦書きであるか横書きであるかの判定を行うことができる。
【００２９】
次に、縮小画像生成手段５が、画像記憶メモリ１に格納された文書画像を縮小し、その上に文章ブロック枠を重畳した画像を生成し（ステップＡ２１）、画像表示装置８が生成された縮小画像を表示する（ステップＡ２２）。そして、システムはユーザ指示手段６からの指示を待つループに入る（ステップＡ２３、Ａ２５、Ａ２７）。スクロールバーの操作などによりスクロールを指示された場合（ステップＡ２３）、画像表示装置８は縮小画像をスクロールする（ステップＡ２４）。スクロール操作には表示領域の大きさ分だけ一度に移動するページ送りなどの方法を用いてもよい。また、拡大または縮小のボタン押下などにより拡大または縮小を指示された場合（ステップＡ２５）、縮小画像生成手段５により拡大または縮小された画像を再度生成する（ステップＡ２６）。重畳表示された文章ブロック枠を選択された場合、表示選択手段７により折り返し画像の表示に切り替える（ステップＡ２７）。
【００３０】
折り返し画像の表示に切り替えられた場合、折り返し画像の生成（ステップＡ３１）、表示（ステップＡ３２）、スクロール（ステップＡ３３とＡ３４）、拡大または縮小（ステップＡ３５とＡ３６）を縮小画像の場合と同様に行う。縮小画像との相違は、縮小画像のスクロールは上下左右の４方向に可能であるのに対して、折り返し画像はどのような拡大や縮小を行っても表示領域の大きさに合わせて生成されるので、折り返し画像のスクロールは上下または左右の２方向に対してのみ可能となる点である。そして、ボタン押下などにより縮小画像の表示に切り替える（ステップＡ３７）。
【００３１】
折り返し画像の生成（ステップＡ３１）について、図５のフローチャートを参照して、動作について説明する。ここでは横書きを対象として説明するが、対象が縦書きの場合でも同様に動作する。始めに、残り幅という変数を表示領域の幅に設定する（ステップＡ４１）。次に、最初の行矩形を一つ取り出し（ステップＡ４２）、行矩形の行幅が、残り幅を超えていないかどうかを比較する（ステップＡ４３）。行幅が残り幅よりも大きい場合、現在の行矩形を先頭から残り幅分と、それ以外の部分とに分割し、両方を行矩形とみなしてステップＡ４２の処理に戻る（ステップＡ４４）。行幅が残り幅と同じか小さい場合は、その行矩形を折り返し画像に貼り付ける（ステップＡ４５）。行矩形を貼り付ける際には、行間をあける、文字と背景のコントラストを高くする、などの文字を読みやすくするための調整を行ってもよい。そして、処理していない行矩形が残っていなければ終了する（ステップＡ４６）。そうでない場合は、残り幅を貼り付けた行矩形の幅分だけ減らす（ステップＡ４７）。残り幅が０より大きければステップＡ４２へ、０であれば残り幅を再設定するためにステップＡ４１へと戻る（ステップＡ４８）。
【００３２】
次に、図６に具体的な実施例を示し、この実施の形態の動作について説明する。図６（Ａ）に、対象とする文書画像の一例を示す。文章ブロック抽出手段２は、表示領域１０１に表示されている縮小画像１１１から、文章ブロック１１２と文章ブロック１１３の２つを抽出する（ステップＡ１１）。そして、行矩形抽出手段３はそれぞれの文章ブロック内の行を抽出する（ステップＡ１２）。次に、縮小画像生成手段５が縮小した文章画像の上に文章ブロックの枠を重畳した縮小画像１１１を生成し（ステップＡ２１）、画像表示装置８がそれを表示する（ステップＡ２２）。縮小画像の表示倍率の初期値は、表示領域に画像全体が収まるように縮小画像生成手段５が決定した。ユーザが文章ブロック１１２を選択すると折り返し画像の表示に切り替わる（ステップＡ２７）。そして、折り返し画像生成手段４が、表示領域の横幅に合わせて図６（Ｂ）に示す折り返し画像１１４を生成し（ステップＡ３１）、画像表示装置８がそれを表示する（ステップＡ３２）。折り返し画像１１４は、上下方向のスクロールだけで全体を表示することができる。
【００３３】
本実施の形態では、文字切り出しを利用せず、行抽出だけを用いて折り返し表示を行うために、文字切り出しの誤りによりユーザを混乱させることなく、どのような拡大や縮小に対しても表示領域に合わせた折り返し画像を生成できる。行抽出は文字切り出しに比べればはるかに誤りにくい処理である。このように生成された折り返し画像は、上下または左右のスクロールだけで読むことができるため、折り返さない場合に比べて操作量が少なく、快適に文章を読むことができる。
【００３４】
次に、本発明の第２の実施の形態について図面を参照して説明する。
図７は、本発明による文書表示システムの第２の実施の形態を示すブロック図である。図７を参照すると、本発明の第２の実施の形態は、行矩形を分割する際の区切り位置を抽出する区切り位置抽出手段１１と、文章ブロック内の行矩形と区切り位置から折り返し画像を生成する第２の折り返し画像生成手段１２と、縮小画像と折り返し画像を同時に表示する第２の画像表示装置１３とを有する点、および表示選択手段７を有しない点が第１の実施の形態と異なる。
【００３５】
区切り位置抽出手段１１は、第２の折り返し画像生成手段１２で行矩形を分割する際に、１文字の途中で分割を行わないように分割の区切り位置をあらかじめ抽出する。区切り位置抽出手段１１は、例えば図８に示すように、行矩形１２１のうち、縦方向に見て行矩形中に文字画素が全くない空白区間の中間を区切り位置１２２とする。その他、文字のピッチなどを利用する、より高度な文字切り出しの手法を利用してもよい。その場合、折り返し画像の生成では文字の途中で分割が起こらないことが重要であるので、可変ピッチなどで文字切り出しが困難な場合に、文字を過剰に分割してしまうよりは、確実性の高い区切り位置のみを抽出する方がよい。
【００３６】
第２の折り返し画像生成手段１２は、折り返し画像生成手段４の動作を示す図５において、ステップＡ４４にて行矩形を分割する際に、区切り位置抽出手段１１で抽出した区切り位置でのみ分割するという点が、折り返し画像生成手段４と異なる。さらに、図９の例に示すように、縮小画像と折り返し画像を同時に表示するために、ステップＡ４１にて残り幅に設定する表示領域の幅は一定ではない点が、折り返し画像生成手段４と異なる。それ以外の動作は折り返し画像生成手段４と同様である。
【００３７】
第２の画像表示装置１３は、縮小画像と折り返し画像を同時に表示するとともに、ユーザ指示手段６によるユーザの指示によって画像の表示倍率の変更やスクロールを行う。また、ユーザは縮小画像の移動を指示することができ、その場合は縮小画像を避けるように新たに折り返し画像を生成したのち両者を同時に表示する。
【００３８】
次に、図１０、図１１および図１２にこの実施の形態のフローチャート示し、図面を参照して動作について説明する。まず、文章ブロックの抽出と行矩形の抽出と区切り位置の抽出を行う（ステップＡ１１、Ａ１２、Ａ１０１）。次に、縮小画像の生成を行ってから、それを避けるように折り返し画像の生成を行い、図９の例に示すように両者を同時に表示する（ステップＡ２１、Ａ１０２、Ａ１０３）。そして、縮小画像に対する移動と拡大縮小、文章ブロック枠の選択、折り返し画像のスクロールと拡大縮小の指示を待つループに入る（ステップＡ１０４、Ａ２５、Ａ２７、Ａ３３、Ａ３５）。折り返し画像は縮小画像を避けて生成するので、折り返し画像のスクロールをした場合でも折り返し画像を再度生成する（ステップＡ３４）。
【００３９】
次に、本実施の形態の効果について説明する。第１の実施の形態では、折り返し画像の生成の際に、表示領域にあわせて折り返し位置を決定して折り返し表示をしていたのに対し、本実施の形態では、区切り位置の抽出とそれを利用した折り返し画像の生成を行うので、１文字単位で折り返し表示ができるようになる。区切り位置の抽出は、文字切り出しとは異なり、確実性の高いものだけを抽出すればよいので誤りが起こりにくい。また、本実施の形態では、縮小画像と折り返し画像を同時に表示するので、折り返し表示している文章ブロックの文章画像中での位置が把握しやすくなる。その際に、縮小画像を避けるように折り返し画像を生成するので、縮小画像の下の領域が見えないといった問題を回避しつつ表示領域全体を有効に利用できる。
【００４０】
次に、本発明の第３の実施の形態について図面を参照して説明する。図１３は、本発明による文書表示システムの第３の実施の形態を示すブロック図である。図１３を参照すると、本発明の第３の実施の形態は、ネットワークを介してサーバ部２０４とクライアント部２０５が通信するための制御を行うサーバ通信手段２０１とクライアント通信手段２０２と、文書を画像として保持し、画像をタイルとよぶ一定の大きさの部分画像に分割しつつ各タイルを複数の解像度で保持する多重解像度タイル化画像記憶メモリ２０３とを備える点が第１の実施例と異なる。また、文章ブロック抽出手段２と、行矩形抽出手段３とをサーバ部２０４が備える。
【００４１】
次に本実施の形態の動作について図１３を参照して説明する。サーバ部２０４において、多重解像度タイル化画像記憶メモリ２０３で画像として保持している文書から、文章ブロック抽出手段２は文章ブロックを抽出し、行矩形抽出手段３は行矩形を抽出する。抽出された文章ブロックの情報はサーバ通信手段２０１を介してクライアント部２０５へ送られる。また、多重解像度タイル化画像記憶メモリ２０３は、保持している文書画像全体を一定の大きさの部分画像に分割してタイル化し、サーバ通信手段２０１を介してクライアント部２０５へ送信する。ここで、文章ブロックを含むタイルの解像度は、文章ブロックを含まないタイルの解像度に比べて高くなるようにタイル化を行う。クライアント部２０５のクライアント通信手段２０２で受信した文章ブロックと文書画像の情報は、縮小画像生成手段５に送られる。縮小画像生成手段５は、文書画像を縮小し、縮小した文書画像の上に文章ブロックの枠を重畳した画像を生成し、表示選択手段７を介して画像表示装置８へ出力する。
【００４２】
ここで、ユーザによるボタン押下などにより、ユーザ指示手段６が、文章ブロックを選択し、折り返し画像表示の指示を行うと、クライアント通信手段２０２を介してサーバ部２０４へ、文章ブロックおよび行矩形の情報の要求を行う。サーバ通信手段２０１は、クライアント通信手段２０２の要求に応じて、情報を送信する。クライアント通信手段２０２は、サーバ通信手段２０１から送られた情報を、折り返し画像生成手段４へ出力する。折り返し画像生成手段は、送られた情報から折り返し画像を生成し表示選択手段７へ出力する。表示選択手段７は、折り返し画像の表示を選択し、生成した折り返し画像を画像表示装置８へ出力する。画像表示装置８は折り返し画像の表示を行う。
【００４３】
その後、ユーザがボタン押下などにより、文章ブロックの選択、または画像のスクロールや拡大縮小の指示を、ユーザ指示手段６を介して行うと、クライアント通信手段２０２は、文書ブロックおよび行矩形の情報の要求、または解像度とタイル番号による画像取得の要求をサーバ部２０４へ発する。サーバ通信手段２０１はクライアント通信部２０５の要求に応えて、必要な情報を送信する。このとき、表示倍率からは適切な解像度を、表示領域の位置と大きさからは必要なタイルをそれぞれ決定し、通信データ量をなるべく小さくするよう制御する。そして必要な情報を得たクライアント部２０５は、ユーザの指示通りの処理を行う。このときのクライアント部２０５の動作は、第１の実施の形態と同様である。
【００４４】
本発明における縮小画像は、レイアウトの把握を主目的としているので、文書全体にわたる広範囲な画像が必要である。一方、折り返し画像は文字を読むのが目的なため、縮小画像よりも高い解像度の画像が必要であるが、その範囲は文章ブロック内だけで済む。例えば、文章ブロックの領域が全画像領域の半分である文書画像を考える。ここで、この画像の文字を読むには例えば１５０ｄｐｉの解像度が必要で、文書全体を把握するための縮小画像は例えば７５ｄｐｉで十分であるとする。さらに、１５０ｄｐｉの画像全体を、何らかの手法で圧縮したデータ量が４００ｋＢであり、７５ｄｐｉの画像全体の圧縮後のデータ量は１００ｋＢであったとする。従来は、文書の通信のためには、文字が可読な解像度である１５０ｄｐｉの画像を全て送らねばならず、４００ｋＢの通信量が発生したが、本発明の第３の実施の形態によれば、縮小画像＋必要な文書ブロック部分＝１００ｋＢ＋４００ｋＢ／２＝３００ｋＢの通信量で済む。また、画像の圧縮方式として、例えばＪＰＥＧ２０００のような、解像度に対して階層的な圧縮方式を用いるならば、縮小画像である７５ｄｐｉの圧縮データを１５０ｄｐｉの圧縮データの一部として利用できるので、通信量をさらに削減することができる。以上説明したように、本実施の形態の効果は、文章ブロックだけを高解像で取得するように、解像度とタイルに応じて通信を制御して、ネットワークを介した文書画像を配信する際のデータ量を削減することができることである。
【００４５】
次に、本発明の第４の実施の形態について図面を参照して説明する。図１４は、本発明による文書表示システムの第４の実施の形態を示すブロック図である。図１４を参照すると、本発明の第４の実施の形態は、クライアント部２０５との通信だけでなく、標準的な文書フォーマットであるＨＴＭＬやＰＤＦの文書を、インターネットなどを介して取得することができる第２のサーバ通信手段３０１と、取得したＨＴＭＬ文書を画像に変換して多重解像度タイル化画像記憶メモリ２０３に送るＨＴＭＬ画像化手段３０２と、取得したＰＤＦ文書を画像に変換して多重解像度タイル化画像記憶メモリ２０３に送るＰＤＦ画像化手段３０３とを備えたことが、第３の実施の形態と異なる。
【００４６】
次に本実施の形態の動作について図１４を参照して説明する。第２のサーバ通信手段３０１は、クライアント部からのユーザ指示などによって指定された、ＨＴＭＬやＰＤＦなどの文書を、インターネットなどを介して取得し、それをそれぞれのフォーマットに応じた画像化手段へと送る。ＨＴＭＬ画像化手段３０２は、第２のサーバ通信手段３０１によって取得されたＨＴＭＬ文書を画像に変換する。その手法は、例えば、ＷｅｂブラウザなどのＨＴＭＬ文書の表示ソフトウエアの印刷機能を利用して擬似的なプリンタとして動作することにより取得する方法がある。このような方法を取れば、文書フォーマットそのものを直接扱うことなく容易に画像への変換が達成できる。ＰＤＦ画像化手段３０３は、画像フォーマットの違いを除けばＨＴＭＬ画像化手段３０２と同様である。多重解像度タイル化画像記憶メモリ２０３が画像を取得すれば、その他の動作は、第３の実施の形態と同様である。
【００４７】
本実施の形態の効果は、文書を画像に変換する手段を文書フォーマットの分だけ用意するだけで、クライアント部の変更はなしに様々な文書フォーマットに対応した折り返し表示ができることである。つまり、本実施の形態では、ＨＴＭＬやＰＤＦを文書の例として説明しているが、その他のフォーマットについてもそれを画像に変換する手段を用意するだけで同様に動作する。従って、本実施の形態が対象とする文書は、表示装置上で画像として表示可能なものであれば、あるいは、画面に表示できない場合であっても文書を画像に変換することが可能なものであれば、そのいずれの文書に対しても実施できる。例えば、画面上に表示された文書を画面キャプチャしたり、印刷出力を画像へ変換するなどといった手法によって、文書を画像へ変換できる。
【００４８】
【発明の効果】
以上のように、請求項１記載の発明によれば、文書画像中に配置されたひとかたまりの文字列である文章ブロックの位置と大きさとを出力する文章ブロック抽出手段と、該抽出された文章ブロック内の各行の位置と大きさとを抽出して、文章ブロック内の一列の文字を矩形状に囲んだ領域内の文字列である行矩形を出力する行矩形抽出手段と、ユーザが表示させたい文章ブロックを指示するユーザ指示手段と、該ユーザが指示した文章ブロック内の行の位置と大きさとから、表示領域に合わせて該文章ブロックを折り返した、折り返し画像を生成する折り返し画像生成手段とを備えたため、文字切り出しを利用せず、行抽出だけを用いて折り返し表示を行うために、文字切り出しの誤りによりユーザを混乱させることなく、どのような拡大や縮小に対しても表示領域に合わせた折り返し画像を生成できる効果がある。
【００４９】
請求項２記載の発明によれば、行矩形抽出手段により抽出された行矩形を分割する際に、行矩形の区切り位置を抽出する区切り位置抽出手段を備え、折り返し画像生成手段は、該抽出された区切り位置で行矩形の分割を行う構成にしたので、１文字の途中で折り返すことが少なくなり、読みやすい折り返し表示ができる効果がある。
【００５０】
請求項３記載の発明によれば、文書画像全体を縮小した縮小画像を生成する縮小画像生成手段を備え、縮小画像と折り返し画像とを同時に表示し、折り返し画像生成手段は、縮小画像生成手段により生成された縮小画像を避けた表示領域に対して折り返し画像を生成する構成にしたので、折り返し表示している文章ブロックの文章画像中での位置が把握しやすくなる効果がある。また、その際に、縮小画像を避けるように折り返し画像を生成するので、縮小画像の下の領域が見えないといった問題を回避しつつ、表示領域全体を有効に利用できるという効果がある。
【００５１】
請求項４記載の発明によれば、ユーザの指示に応じてネットワークを介して文書画像、文章ブロックおよび行矩形の情報を送受信する、サーバ通信手段およびクライアント通信手段と、画像を一定の大きさの部分画像であるタイルに分割しつつ、各タイルを複数の解像度で保持する多重解像度タイル化画像記憶メモリとを備えた構成にしたので、解像度とタイルに応じて通信を制御しつつ文章ブロックだけを高解像で取得することにより、ネットワークを介した文書画像の配信の際のデータ量を削減できる効果がある。
【００５２】
請求項５記載の発明によれば、特定の文書フォーマットを画像に変換する、フォーマット変換手段を対応する文書フォーマットの数だけ備えた構成にしたので、クライアント部の変更はせずに、様々な文書フォーマットに対応した折り返し表示ができる効果がある。
【００５３】
請求項６および請求項７記載の発明によれば、文書画像中に配置された文章ブロックの位置と大きさ、および、文章ブロック内の各行の位置と大きさとを抽出し、ユーザが指示した文章ブロック内の行の位置と大きさとから、表示領域に合わせて該文章ブロックを折り返した、折り返し画像を生成する構成にしたので、このようにして生成された折り返し画像は、上下または左右のスクロールだけで読むことができるため、折り返さない場合に比べて操作量が少なく、快適に文章を読むことができる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】第１の実施の形態の動作を示す流れ図その１である。
【図３】第１の実施の形態の動作を示す流れ図その２である。
【図４】第１の実施の形態の動作を示す流れ図その３である。
【図５】折り返し画像生成手段４の動作を示す流れ図である。
【図６】縮小画像と折り返し画像の例である。
【図７】本発明の第２の実施の形態の構成を示すブロック図である。
【図８】区切り位置の例である。
【図９】縮小画像と折り返し画像を重畳表示した例である。
【図１０】第２の実施の形態の動作を示す流れ図その１である。
【図１１】第２の実施の形態の動作を示す流れ図その２である。
【図１２】第２の実施の形態の動作を示す流れ図その３である。
【図１３】本発明の第３の実施の形態の構成を示すブロック図である。
【図１４】本発明の第４の実施の形態の構成を示すブロック図である。
【図１５】文書画像と表示領域の関係の例を示す図である。
【図１６】文書の折り返し表示の例を示す図である。
【符号の説明】
１　画像記憶メモリ
２　文章ブロック抽出手段
３　行矩形抽出手段
４　折り返し画像生成手段
５　縮小画像生成手段
６　ユーザ指示手段
７　表示選択手段
８　画像表示装置
１１　区切り位置抽出手段
１２　第２の折り返し画像生成手段
１３　第２の画像表示装置
１０１　表示領域
１０２　文書画像
１０３　折り返したテキスト
１１１　縮小画像
１１２、１１３　文章ブロック
１１４　折り返し画像
１２１　行矩形
１２２　区切り位置
２０１　サーバ通信手段
２０２　クライアント通信手段
２０３　多重解像度タイル化画像記憶メモリ
２０４　サーバ部
２０５　クライアント部
３０１　第２のサーバ通信手段
３０２　ＨＴＭＬ画像化手段
３０３　ＰＤＦ画像化手段
【図１】
2004110411.tif 000003
【図２】
2004110411.tif 000004
【図３】
2004110411.tif 000005
【図４】
2004110411.tif 000006
【図５】
2004110411.tif 000007
【図６】
2004110411.tif 000008
【図７】
2004110411.tif 000009
【図８】
2004110411.tif 000010
【図９】
2004110411.tif 000011
【図１０】
2004110411.tif 000012
【図１１】
2004110411.tif 000013
【図１２】
2004110411.tif 000014
【図１３】
2004110411.tif 000015
【図１４】
2004110411.tif 000016
【図１５】
2004110411.tif 000017
【図１６】
2004110411.tif 000018