(57)【要約】【課題】  限られた画面サイズでも文章の読みやすさを実現。【解決手段】  書画情報が表わす画像を２次元表示面に表示するにおいて、イメージデータは、文字／背景分離またはレイアウト解析処理により、文字領域／背景に分離し、さらに文字領域にはＯＣＲ処理または文字矩形解析処理を行なって１文字サイズを計測し、文字サイズから表示倍率を自動計算し、イメージデータ画像の２次元方向の少なくとも一方の方向を、変倍処理する。背景／写真部分，文字部分が分離されて保存されたＭＲＣ，ＰＤＦデータは、文字部分／写真部分を判別し、さらに文字部分にはＯＣＲ処理または文字矩形解析処理を行なうことにより１文字サイズを計測し、文字サイズから表示倍率を自動計算し、２次元方向の表示の少なくとも一方の方向を、算出した表示倍率で変倍処理する。  【選択図】  図３
2006238289.tif 000002
【特許請求の範囲】
【請求項１】
書画情報が表わす画像を２次元表示面に表示するにおいて、イメージデータは、それが表わす書画を文字／背景分離またはレイアウト解析処理により、文字領域とそれ以外の背景に分離し、さらに文字領域にはＯＣＲ処理または文字矩形解析処理を行なうことにより１文字のサイズを計測し、その文字サイズから表示倍率を自動計算し、前記イメージデータが表す画像の前記２次元表示面の２次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理する、表示データの変倍方法。
【請求項２】
書画情報が表わす画像を２次元表示面に表示するにおいて、背景／写真部分，文字部分が分離されて保存された画像ファイルは、文字部分／写真部分を判別し、さらに文字部分にはＯＣＲ処理または文字矩形解析処理を行なうことにより１文字のサイズを計測し、その文字サイズから表示倍率を自動計算し、前記画像ファイルのデータが表す画像の前記２次元表示面の２次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理する、表示データの変倍方法。
【請求項３】
書画情報が表わす画像を２次元表示面に表示するにおいて、
イメージデータは、それが表わす書画を文字／背景分離またはレイアウト解析処理により、文字領域とそれ以外の背景に分離し、さらに文字領域にはＯＣＲ処理または文字矩形解析処理を行なうことにより１文字のサイズを計測し、その文字サイズから表示倍率を自動計算し、前記イメージデータが表す画像の前記２次元表示面の２次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理し、
背景／写真部分，文字部分が分離されて保存された画像ファイルは、文字部分／写真部分を判別し、さらに文字部分にはＯＣＲ処理または文字矩形解析処理を行なうことにより１文字のサイズを計測し、その文字サイズから表示倍率を自動計算して、前記画像ファイルのデータが表す画像の前記２次元表示面の２次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理する、
表示データの変倍方法。
【請求項４】
前記変倍処理に適合しない書画情報は、該書画情報を処理するアプリケーションを制御して書画情報を前記変倍処理に適合するものに変換し、そして前記変倍処理を行う、請求項１乃至３のいずれか１つに記載の、表示データの変倍方法。
【請求項５】
文書のレイアウト情報を解析し書画内の写真，図の領域を検出し、写真，図は縦横比一定になるように変倍し、その他の書画情報を前記変倍処理により変倍する、請求項１乃至４のいずれか１つに記載の、表示データの変倍方法。
【請求項６】
写真，図は、他の書画情報とは別フィールドに分離して表示する、請求項５に記載の、表示データの変倍方法。
【請求項７】
書画を文字，写真，表などの領域抽出によりブロック単位に分割し、そのブロックごとに表示する、請求項１乃至５のいずれか１つに記載の、表示データの変倍方法。
【請求項８】
ブロック間の繋がりを明示する情報を変倍下表示データに加える、請求項７に記載の、表示データの変倍方法。
【請求項９】
文字領域の文字情報を解析して文字ブロックの再生順番を決定して前記ブロック間の繋がりを明示する情報を生成する、請求項８に記載の、表示データの変倍方法。
【請求項１０】
文字領域が前記２次元表示面の２次元方向の前記一方の方向で設定領域に収らない時は、該文字領域内の文字行を抽出し行単位に改行し文字利用域画像を再配置する、請求項１乃至９のいずれか１つに記載の、表示データの変倍方法。
【請求項１１】
表示対象の書画情報がＪＰＥＧの場合は、直流成分および低周波成分のみを伸張することにより横ｎ／８倍，縦ｍ／８倍、ｎ，ｍは整数、の任意縦横比の変倍を行う、請求項１乃至３のいずれか１つに記載の、表示データの変倍方法。
【請求項１２】
請求項１乃至１１のいずれか１つに記載の変倍方法をコンピュータで実行するプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＲＴ，液晶ディスプレイ，プラズマディスプレイ，ＬＥＤ面配列ディスプレイ，ＥＬディスプレイなどの２次元表示装置による、文書，写真，図面など書画の画面表示における、書画情報の変倍方法に関する。本発明は、パソコン，操作ボード，操作端末，携帯端末，２次元ディスプレイ付きの携帯電話など、文書および画像など書画を画面表示する２次元表示装置に、書画を表示する機器に実施できる。
【背景技術】
【０００２】
【特許文献１】特開２００１−２３０９３７号公報
【特許文献２】特開２００３−  ６０９０１号公報
【特許文献３】特表２００３−５３１４２９号公報。
【０００３】
特許文献１には、デジタルカメラからカラー画像データを取り込み、スキャナで原稿画像を読みとって、読み取った画像に、ＭＲＣ処理でデジタルカメラのカラー画像を合成して通信回線に送出するファクシミリ装置が記載されている。
【０００４】
特許文献２には、原稿サイズが用紙サイズに入らないときには、縦，横両方向ともに用紙サイズに入る縮小率を算出して、該縮小率で縦方向および横方向に等比変倍してコピーを取る複写装置が記載されている。
【０００５】
特許文献３には、所定データ形式のコンテンツを内部表現データ形式に変換し、それを画像表示又はプリンタ出力に適する出力表現データに変換するデジタルドキュメント処理が記載されている。入力データ形式がＨＴＭＬ，ＸＭＬ，ＰＤＦ，ＤＯＣ，ＲＭ，ＶＲＭＬ，ＳＧＭＬのいずれの形式かを同定する処理に言及がある。
【０００６】
ところで、書画の２次元ディスプレイ表示では、画面サイズが小さい場合、または表示文書（またはコンテンツ）が大きくて１画面に収まらない場合、文書をスクロールして見ることになるが縦，横の両方向のスクロールが必要になるなど操作が煩雑になる。また、どこを読んでいるのか把握しにくいなどの問題がある。そのため、スクロールが発生しないように文書を縮小して表示させた場合には文字が小さくなりすぎ読みにくくなる。
【０００７】
そこでよく行なわれるのは、例えば縦長の文書ならば、横幅だけ画面サイズに一致（フィット）するように表示させておいて縦方向のみスクロールして読む方法である。この方法では、ほどほどの縮小倍率で文字の可読性を残しつつ、スクロールが縦方向のみになり操作性が向上する。縦方向の縮小倍率を多少大きくすると文字が読みやすくなり、スクロールが縦方向のみになるため操作も容易になり、現在どこを表示しているかも判別しやすい。しかし、そのような方法でも携帯端末など画面サイズが極端に小さい場合や、文書サイズ自体が大きい場合には限界がある。また、携帯端末などでは、極端に画面サイズが小さいため、Ｗｅｂホームページの表示などにおいては、携帯端末専用のページを別途用意するなどが行なわれている。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
スクロール操作を容易にするために、例えば横方向にフィットするような倍率で表示し縦方向にのみスクロールさせる場合、大きな文書、複雑な文書などでは十分な表示サイズが得られず文字が解読しにくい場合がある。これを解消するために倍率を大きくすると、横方向にもスクロール操作が必要になり操作性が悪化する。携帯端末向けに別のホームページを準備する場合は、同じ内容の表示でも２つの管理が必要になる。または携帯端末向けに簡素化した内容のページを準備しなければならないなど、受信ドキュメントの管理やドキュメント送信の負担が大きい。
【０００９】
本発明は、限られた画面サイズでも文章の読みやすさを実現することを目的とする。
【課題を解決するための手段】
【００１０】
（１）書画情報が表わす画像を２次元表示面に表示するにおいて、イメージデータは、それが表わす書画を文字／背景分離またはレイアウト解析処理により、文字領域とそれ以外の背景に分離し、さらに文字領域にはＯＣＲ（Optical Character Reader）処理または文字矩形解析処理を行なうことにより１文字のサイズを計測し、その文字サイズから表示倍率を自動計算し、前記イメージデータが表す画像の前記２次元表示面の２次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理する、表示データの変倍方法。
【発明の効果】
【００１１】
これにより、縦横比固定の縮小では読みにくくなるような縮小倍率でも読みやすい文字表示を実現する。例えば、入力データがイメージデータ（図６の（ｃ））の場合には、図６の（ｇ）文字／背景分離において図６の（ｍ）前景（文字）部イメージとそれ以外（図６の（ｎ）背景イメージ）に分離する。分離は、図６の（ｏ）レイアウト解析部によるドット分布解析による行の抽出、または図６の（ｐ）ＯＣＲ処理部において文字認識し文字とそれ以外の切り分けを行なう。文字領域が定まったら図６の（ｓ）文字サイズ検出部において１文字の矩形サイズを計測する。その後図６の（ｕ）最適サイズ判定部において、文字が読める最低の倍率を計算する。判定は、例えば日本語漢字を表現するには最低限２４×４８dot(ドット)は必要などの情報を元に行なう。この最低サイズはユーザーの視力や表示装置の特性などにより経験的な値で書き換えるものとする。この処理により、最適な表示倍率を自動算出する。
【発明を実施するための最良の形態】
【００１２】
（２）書画情報が表わす画像を２次元表示面に表示するにおいて、背景／写真部分，文字部分が分離されて保存された画像ファイル(MRC,PDF)は、文字部分／写真部分を判別し、さらに文字部分にはＯＣＲ処理または文字矩形解析処理を行なうことにより１文字のサイズを計測し、その文字サイズから表示倍率を自動計算し、前記画像ファイルのデータが表す画像の前記２次元表示面の２次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理する、表示データの変倍方法。
【００１３】
入力がＭＲＣ（Mixed Raster Contect：ITU-T T.44またはISO/IEC 16485:2000）および高圧縮ＰＤＦ（Portable Document Form）のようにあらかじめ、背景／写真部分・文字部分が分離されて保存された画像ファイルにおいては、独自に文字／背景分離またはレイアウト解析機能を持たなくても、文字部分／写真部分を判別し、効果的な文書表示を行う。例えば、入力データがＭＲＣ（図６の（ｂ））の場合には、ＭＲＣ自体が文字部と背景部に分離されて保管されているため、この情報をそのまま使用する。文字／背景分離処理の必要がなくなり、シンプルな構成で済み、処理時間短縮にも寄与する。
【００１４】
（３）書画情報が表わす画像を２次元表示面に表示するにおいて、
イメージデータは、それが表わす書画を文字／背景分離またはレイアウト解析処理により、文字領域とそれ以外の背景に分離し、さらに文字領域にはＯＣＲ処理または文字矩形解析処理を行なうことにより１文字のサイズを計測し、その文字サイズから表示倍率を自動計算し、前記イメージデータが表す画像の前記２次元表示面の２次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理し、
背景／写真部分，文字部分が分離されて保存された画像ファイル(MRC,PDF)は、文字部分／写真部分を判別し、さらに文字部分にはＯＣＲ処理または文字矩形解析処理を行なうことにより１文字のサイズを計測し、その文字サイズから表示倍率を自動計算して、前記画像ファイルのデータが表す画像の前記２次元表示面の２次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理する、表示データの変倍方法。
【００１５】
（４）前記変倍処理に適合しない書画情報は、該書画情報を処理するアプリケーションを制御して書画情報を前記変倍処理に適合するものに変換し、そして前記変倍処理を行う、上記（１）乃至（３）のいずれか１つに記載の、表示データの変倍方法。
【００１６】
他アプリケーションのデータを表示する場合にはアプリケーション自体が本発明による表示機能を持つ必要があるが、アプリケーション側に本発明の機能がなくても同様の表示を、本実施態様の表示機能を用いて行うことができる。例えば、図６の（ｈ）外部アプリケーション制御部により図６の（ｉ）外部アプリケーションを制御し、図６の（ｊ）印刷ドライバまたはPaste（貼付け）制御部により印刷経由，クリップボード経由、またはＯＬＥ(Object Linking and Embedding)オートメーション制御(ActiveX Control)などにより一度イメージデータに変換する。その後変倍処理する。
【００１７】
（５）文書のレイアウト情報を解析し書画内の写真，図の領域を検出し、写真，図は縦横比一定になるように変倍し、その他の書画情報を前記変倍処理により変倍する、上記（１）乃至（４）のいずれか１つに記載の、表示データの変倍方法。これにより写真，図など縦横比が変わると内容が正確に伝わりにくいものを、正しく表示できる。例えば、図８の（ａ）のように間延びすることなく、図８の（ｂ）のように写真部分のみは縦横比固定倍率で表示することができる。図６の（ａ）ＨＴＭＬのように最初から文字／写真などが構造化されているデータの場合には、図６の（ｆ）構造解析部において、文字と重ならないイメージ部分を抽出する。イメージデータの場合には図６の（ｏ）レイアウト解析部、図６の（ｑ）写真抽出部により、写真および図の位置を特定する。表示する時点で図６の（ｗ）写真表示位置制御部において適切な表示位置や倍率を算出して図８の（ｂ）の表示を実現する。
【００１８】
（６）写真，図は、他の書画情報とは別フィールド（レイヤー）に分離して表示する、上記（５）に記載の、表示データの変倍方法。これにより、ユーザーが任意の大きさに変更したり、表示位置を自由に移動できる。写真がより小さく表示される傾向にある場合は、写真部分は別レイヤーで表示するので、ユーザーが任意のサイズで任意の表示位置に表示できる。例えば、図９に示すように写真部分選択時には移動，リサイズ（サイズ変更）つまみを表示し、任意の位置への移動，リサイズを可能にした。また移動後も元の写真位置が分かりやすいように元の位置にモノクロ表示する。
【００１９】
（７）書画を文字，写真，表などの領域抽出によりブロック単位に分割し、そのブロックごとに表示する、上記（１）乃至（５）のいずれか１つに記載の、表示データの変倍方法。これにより、片方のみのスクロールで操作性を良く、縮小倍率も高くなることから文字の見易さを向上させることができる。画面サイズが小さい、または文書自体が精細なためさらに大きな倍率でなければ十分に文字を読むことができない場合において、例えば、図６に示すように文書コンテンツをブロック単位に分割し、適切な順番で順に表示する。図６の（ｏ）レイアウト解析部，図６の（ｑ）写真抽出部によりブロック単位に分割し、図６の（ｘ）ブロック順序推論部により適切な順番にレイアウトしなおして連結表示する。これにより一方向のみのスクロールでも文書の内容を効率よく閲覧できる。もしブロックの表示順番に誤りがある場合には、ユーザーが任意に再生順番を変更可能である。
【００２０】
（８）ブロック間の繋がりを明示する情報を変倍下表示データに加える、上記（７）に記載の、表示データの変倍方法。文書レイアウトが変更され、ユーザーがどこを表示しているのか見失う可能性がある場合があるが、本実施態様では例えば、図１１の方法１で表示画面中にブロックごとに前後の関係を表すマークを表示する。例えば次矢印が右を向いていれば、次にスクロールされ表示される部分は本来右側に位置していたブロックであることを表す。前矢印も同様で、左側を向いている場合はスクロールして戻る場合は左方向のブロックを表示することを意味する。また、図１１の方法２のように、メイン画面とは別に全体表示ウィンドウを表示し、ブロック再生順番を表示させるとともに現在の表示位置を示す。
【００２１】
（９）文字領域の文字情報を解析して文字ブロックの再生順番を決定して前記ブロック間の繋がりを明示する情報を生成する、上記（８）に記載の、表示データの変倍方法。例えば、図１２に示すように文字ブロックの再生順番が不明な場合、あらかじめ図６の（ｐ）ＯＣＲ処理部において文字認識を行い抽出されたＴＥＸＴ情報を元に、図６の（ｒ）文章構文解析部によりブロック同士の文書のつながりの確からしさを判定する。または、文字のレイアウトや文字の大きさの変化、および図６の（ｔ）章・項目タイトル抽出部で抽出された章や項目タイトルなどからブロックの順番を図６の（ｘ）ブロック順序推定部において推測する。例えば、ブロックの最後が「。」で終わった場合には、次のブロックは文章の始まり（インデント）や章や項目の始まりである可能性が高いということなどから推測する。
【００２２】
（１０）文字領域が前記２次元表示面の２次元方向の前記一方の方向で設定領域に収らない時は、該文字領域内の文字行を抽出し行単位に改行し文字利用域画像を再配置する、上記（１）乃至（９）のいずれか１つに記載の、表示データの変倍方法。すなわち、文章を画面内に収まるようにし読みやすく、片方向スクロールで操作性の良い表示を行う。これは、文字領域１ブロックのサイズが大きく十分な表示倍率が得られない場合の回避方法である。図１３に示すように行を抽出し、行単位に分割する。その後１行を任意の位置（文字が分断されない場所）で２分割し後半を次の行へ折り返す。これにより十分な文字サイズでの表示を実現できる。
【００２３】
（１１）表示対象の書画情報がＪＰＥＧ（Joint Photographic Experts Group）の場合は、直流成分および低周波成分のみを伸張することにより横ｎ／８倍，縦ｍ／８倍、ｎ，ｍは整数、の任意縦横比の変倍を行う、上記（１）乃至（３）のいずれか１つに記載の、表示データの変倍方法。任意の縦横比の縮小画像を取得する方法であり、入力画像がＪＰＥＧおよびＪＰＥＧ２０００の場合に効果がある。ＪＰＥＧ圧縮では、８×８pixel（画素）のブロック単位で圧縮処理している。処理内部ではこれを周波数成分に分解して処理する。このとき画像のおおまかな特徴は低周波成分、画像の細かな特徴は高周波成分に分離される。例えば最も低周波の成分（＝直流成分）のみを伸張し取り出すと１／８倍の特徴が凝縮された画像が取得できることが知られている。本実施態様はこれを応用し、任意の縦横比の縮小画像（例えば横１／８倍、縦２／８倍の画像）を高速に画質の良い画像を取得し表示する。本方法の特徴の１つは、ＪＰＥＧ伸張の演算数を大幅に減らすことができるため高速に目的の画像を取得できることである。通常ならば、ＪＰＥＧを元の大きさに伸張した後にスムージング縮小しなければならないが、ＪＰＥＧ伸張時に処理すれば直接縮小画像が取得できるだけでなくＪＰＥＧ伸張の演算時間を大幅に削減できる。本方法のもうひとつの特徴は、高品質な縮小画像が得られることである。ＪＰＥＧのＤＣＴ(Discrete Cosine Transform)変換により周波数成分に分解された特徴を利用するため画像の特徴を捉えており、スムージング縮小したような高品質な画像が得られる。これらの特徴を生かして、本発明の目的である読みやすい文字表示を、よりたやすく実現できる。
【００２４】
ＪＰＥＧ２０００の場合も同様であり、ＪＰＥＧ２０００では元々任意解像度の画像を簡単に取得できるようにタイリング（Tiling）処理されている。これを利用して、横方向の処理タイリング数と縦方向の処理タイリング数を制御することにより任意の縦横比の高画質な縮小画像を高速に取得する。
【００２５】
本発明の他の目的および特徴は、図面を参照した以下の実施例の説明より明らかになろう。
【実施例１】
【００２６】
図１に、本発明の第１実施例のパソコンＰＣから印刷指示を受けるフルカラーデジタル複合機能複写機ＭＦ１の外観を示す。このフルカラー複写機ＭＦ１は、大略で、自動原稿送り装置（ＡＤＦ）１２０と、操作ボード１０と、カラースキャナ１００と、カラープリンタ２００の各ユニットで構成されている。なお、操作ボード１０と、ＡＤＦ１２０付きのカラースキャナ１００は、プリンタ２００から分離可能なユニットであり、カラースキャナ１００は、動力機器ドライバやセンサ入力およびコントローラを有する制御ボードを有して、エンジンコントローラ（ＣＰＵ３０１：図２）と直接または間接に通信を行いタイミング制御されて原稿画像の読取りを行う。
【００２７】
スキャナ１００およびプリンタ２００ならびに画像入出力装置（３０２：図２）を含むエンジン（３００：図２）を接続したコントローラボード（４００：図２）には、パソコンＰＣが接続したＬＡＮ(Local Area Network)が接続されており、ファクシミリコントロールユニット（ＦＣＵ  ４１７：図２）には、電話回線ＰＮ（ファクシミリ通信回線）に接続された交換器ＰＢＸが接続されている。
【００２８】
図２に、図１の複合機能複写機ＭＦ１の画像処理システムの構成を示す。複合機能複写機ＭＦ１は、原稿画像読取りおよびカラー印刷を行うエンジン３００，コントローラボード４００および操作ボード１０を含む。エンジン３００は、画像読取りおよび印刷のプロセスを制御するＣＰＵ３０１，上述のカラースキャナ１００，上述のプリンタ２００、および、ＡＳＩＣ(Application Specific IC)で構成した画像入出力処理３０２を備えている。
【００２９】
スキャナ１００の読取りユニット１１０にはＣＰＵ，ＲＯＭおよびＲＡＭがあり、該ＣＰＵが該ＲＯＭに格納されたプログラムを該ＲＡＭに書き込んで実行する事で、スキャナ１００の全体の制御を行っている。また、プロセス制御用のＣＰＵ３０１と通信線を介して接続されおり、コマンド及びデータの送受信により指令された動作を行う。読取りユニット１１０内のＣＰＵは、フィラーセンサ（原稿検知センサ），基点センサ，圧板スイッチ，冷却ファン等の検知及びＯＮ／ＯＦＦの制御をする。読取りユニット１１０内において、スキャナモータドライバが、ＣＰＵからのＰＷＭ出力によりドライブされ励磁パルスシーケンスを発生し原稿走査駆動用のパルスモータを駆動する。
【００３０】
原稿画像は、ランプレギュレータによって通電されるハロゲンランプ１０２（図２）の光量出力により照明されて、原稿の反射光すなわち光信号は、複数ミラー１０３〜１０５及びレンズ１０６を通りＲ，ＧおよびＢ読取り用の３個のラインセンサを含むＣＣＤ１０７に結像される。３ラインＣＣＤ１０７は、各ＲＧＢの各画素のアナログの画像信号をＡＦＥ１１１に出力する。ＡＦＥ１１１は、画像信号を増幅し画像データにデジタル変換しそしてシェーディング補正する画像信号処理手段である。
【００３１】
コントローラボード４００は、ＣＰＵ４０２と、ＡＳＩＣで構成された書画蓄積制御４０３と、ハードディスク装置（以下ではＨＤＤと表記）４０１と、ローカルメモリ（ＭＥＭ−Ｃ）４０６と、システムメモリ（ＭＥＭ−Ｐ）４０９と、ノースブリッジ（以下、ＮＢと記す）４０８と、サウスブリッジ（以下、ＳＢと記す）４１５と、ＮＩＣ４１０(Network Interface Card)と、ＵＳＢデバイス４１１と、ＩＥＥＥ１３９４デバイス４１２と、セントロニクスデバイス４１３他を含む。操作ボード１０は、コントローラボード４００の書画蓄積制御４０３に接続されている。ファクシミリコントロールユニット（ＦＣＵ）４１７も、書画蓄積制御４０３にＰＣＩバスで接続されている。
【００３２】
ＣＰＵ４０２は、ＮＩＣ４１０を介してＬＡＮに接続されたパソコンあるいはインターネットを介する他のパソコンＰＣと書画情報の送受信を行うことができる。また、ＵＳＢ４１１，ＩＥＥＥ１３９４  ４１２，セントロニクス４１３を用いてパソコンＰＣ，プリンタ，デジタルカメラ等と通信することができる。
【００３３】
ＳＢ４１５と、ＮＩＣ４１０と、ＵＳＢデバイス４１１と、ＩＥＥＥ１３９４デバイス４１２と、セントロニクスデバイス４１３と、ＭＬＢ４１４は、ＮＢ４０８にＰＣＩバスで接続されている。このように、ＭＬＢ４１４は、エンジン３００にＰＣＩバスを介して接続する基板である。そして、ＭＬＢ４１４は、外部から入力された書画データをイメージデータ（画像データ）に変換し、変換された画像データをエンジン３００に出力する。
【００３４】
コントローラボード４００の書画蓄積制御４０３にローカルメモリ４０６、ＨＤＤ４０１などが接続されると共に、ＣＰＵ４０２と書画蓄積制御４０３とがＣＰＵチップセットのＮＢ４０８を介して接続されている。書画蓄積制御４０３とＮＢ４０８とは、ＡＧＰ(Accelerated Graphics Port)を介して接続されている。
【００３５】
ＣＰＵ４０２は、複合機能複写機ＭＦ１の全体制御を行うものである。ＮＢ４０８は、ＣＰＵ４０２、システムメモリ４０９、ＳＢ４１５および書画蓄積制御４０３を接続するためのブリッジである。システムメモリ４０９は、複合機能複写機ＭＦ１の描画用メモリなどとして用いるメモリである。ＳＢ４１５は、ＮＢ４０８とＰＣＩバス、周辺デバイスとを接続するためのブリッジであり、ＳＢ４１５には外付けＲＯＭおよびＳＤメモリカード（以下ではＳＤカード）の読み書きをするカードＩＦ４１８が接続されている。このカードＩＦ４１８には、ＳＤカード読み書き装置（カードリーダ）が接続されており、カードリーダに装着されるＳＤカードのデータを読み取ることができ、またＳＤカードにデータを書込むことができる。
【００３６】
ローカルメモリ４０６はコピー用画像バッファ、符号バッファとして用いるメモリである。ＨＤＤ４０１は、画像データの蓄積，文書データの蓄積，プログラムの蓄積，フォントデータの蓄積，フォームの蓄積，ＬＵＴ(Look Up Table)の蓄積などを行うためのメモリである。また、操作ボード１０は、ユーザーからの入力操作を受け付けると共に、ユーザーに向けた表示を行う操作部である。
【００３７】
図２には、スキャナ１００およびプリンタ２００と画像入出力処理３０２との間でやり取りする画像データの流れを示す。画像入出力処理３０２には、カラー原稿スキャナ１００が原稿画像を読み取って発生するＲ，Ｇ，Ｂ画像データのそれぞれに対して読取りγ補正，ＭＴＦ補正等を行うスキャナ画像処理３０３があり、また、Ｒ，Ｇ，Ｂ画像データをプリンタ２００の、Ｃ，Ｍ，Ｙ，Ｋ各色書込みの画像表現特性に合ったｃ，ｍ，ｙ，ｋ記録色データ（印刷データ）に変換するプリンタ画像処理３０４があり、更に、書画蓄積制御４０３に原稿読取り画像データＲＧＢを出力し、書画蓄積制御４０３が出力する画像データＲＧＢをプリンタ画像処理３０４に与える画像処理Ｉ／Ｆ(Interface circuit)３０５がある。
【００３８】
白黒コピーのときには、スキャナ画像処理３０３からＧ画象データが画像処理Ｉ／Ｆ３０５に出力され、画像処理Ｉ／Ｆ３０５がＧ画像データをプリンタ画像処理３０４に出力し、プリンタ画像処理３０４がＧ画像データをｋ記録色データに変換し、必要に応じて変倍，画像加工を、そしてプリンタγ変換および階調処理をして、プリンタ２００のＣ書込みユニット２１２に出力する。書込みユニット２１２は、画像処理３０４が出力するｋ記録色データによって、プリンタ２００の、静電潜像形成用の光学走査ユニットのレーザ発光ダイオードに通電する電流を変調又はオン，オフする。
【００３９】
カラーコピーのときは、スキャナ画像処理３０３が出力するＲＧＢ画像データが、画像処理Ｉ／Ｆ３０５および画像蓄積制御４０３を介して、ローカルメモリ４０６又はＨＤＤ４０１に一時蓄積又はＨＤＤ４０１に登録され、そして読み出されて、コピーまたは印刷に用いられ、あるいは外部に送出される。
【００４０】
プリンタ２００による登録画像データ、又は、外部から受信した画像データの印刷のときには、画像蓄積制御４０３および画像処理Ｉ／Ｆ３０５を介して画像データがプリンタ画像処理３０４に与えられる。プリンタ画像処理３０４は、画像データをｃｍｙｋ記録色データに変換してから、必要に応じて変倍，画像加工を、そしてプリンタγ変換および階調処理をして、書込みユニット２１２に出力する。
【００４１】
図３に示す様に、操作ボード１０には、液晶タッチパネル１１のほかに、テンキー１５，クリア／ストップキー１６，スタートキー１７，初期設定キー１８，モード切換えキー１９，テスト印刷キー２０，電源キー２１がある。また、図示は省略したが、液晶タッチパネル１１の左側には、ＵＲＬ，メール文，ファイル名，フォルダ名等の入力，設定用ならびに短縮登録用の、平仮名を付記したアルファベットキーボードがある。
【００４２】
電源キー２１は、省エネモード（休止モード又は低電力モード）から画像印刷が可能なスタンバイモードに、またその逆への切換えを指示するための操作キーである。省エネモードが設定されている時に電源キー２１が一回押されると、省エネモードからスタンバイモードに切換る。スタンバイモードであるときに電源キー２１が一回押されると、スタンバイモードから休止モードに切換る。テスト印刷キー２０は、設定されている印刷部数に関わらず１部だけを印刷し、印刷結果を確認するためのキーである。
【００４３】
初期設定キー１８を押す事で、機械の初期状態を任意にカスタマイズする事が可能である。省エネモードへの移行時間を設定したり、機械が収納している用紙サイズを設定したり、コピー機能のリセットキーを押したときに設定される状態を任意に設定可能である。初期設定キ−１８が操作されると、各種初期値を設定するための「初期値設定」機能ならびに「ＩＤ設定」機能，「著作権登録／設定」機能および「使用実績の出力」機能等を指定するための選択ボタンが表示される。
【００４４】
液晶タッチパネル１１には、各種機能キーならびにエンジン３００およびコントローラボード４００の動作状態を示すメッセージなどが表示される。液晶タッチパネル１１には、「コピー」機能，「スキャナ」機能，「プリント」機能，「ファクシミリ」機能，「蓄積」機能，「編集」機能，「登録」機能およびその他の機能の選択用および実行中を表わす機能選択キー１４が表示される。機能選択キー１４で指定された機能に定まった入出力画面が表示され、例えば「複写」機能が指定されているときには、図３に示すように、機能キーならびに部数及び画像形成装置の状態を示すメッセージ１２，１３が表示される。機能キー１２の中には、印刷色指定キー「黒（ＢＫ）」，「フルカラー」，「自動色選択」，「青（Ｃ）」，「赤（Ｍ）」および「黄（Ｙ）」指定キーがある。オペレータが液晶タッチパネル１１に表示されたキーにタッチすると、操作ボード１０はオペレータ入力として読み込み、選択された機能を示すキーを、指定中を表す灰色に反転表示する。また、機能の詳細を指定しなければならない場合（例えばページ印字の種類等）はキーにタッチする事で詳細機能の設定画面がポップアップ表示される。このように、液晶タッチパネル１１は、ドット表示器を使用している為、その時の最適な表示をグラフィカルに行う事が可能である。
【００４５】
図４には、操作ボード１０の回路ブロックを示す。操作ボード１０の電気制御系の主体は、コントローラボード４００のＣＰＵ４０２とコミュニケーションし、操作ボード１０の入力を読取り、操作ボード１０上の表示を制御するＣＰＵ  １，このＣＰＵ  １の制御プログラムが格納されているＲＯＭ  ２，制御時にデータの一時格納等を行うためのＲＡＭ  ３，液晶タッチパネル１１の描画データを格納するＶＲＡＭ  ７，このＶＲＡＭ  ７に接続され液晶タッチパネル１１の描画タイミング制御およびタッチ入力検知等を行う液晶表示コントローラ（ＬＣＤＣ）６，時刻データを発生する時計ＩＣ  ５等がある。ＬＣＤＣ  ６には、ＣＦＬの光源をバックライト９として有する液晶タッチパネル１１が接続される。ＣＰＵ  １には更に、ＣＦＬバックライト９を駆動するインバータ８，操作キー群１５〜２１のキーマトリクス，表示ＬＥＤのＬＥＤマトリクスおよびそれらのＬＥＤを駆動するＬＥＤドライバ等が接続されている。また、ＣＰＵ  １が接続されたデータバスには、画像処理モード記憶用の不揮発ＲＡＭ（ＮＶＲＡＭ）４が接続されている。
【００４６】
操作ボード１０のＣＰＵ  １は、操作ボード１０に対するユーザの操作に対応して、置数キーの押下の読込みと入力数字データの生成，スタートキーの押下の読込みと、スタート指示のコントローラボード４００への転送，用紙サイズの切換え入力の読取りなど、通常の複写機の操作読取りおよび表示出力の制御を行う。
【００４７】
ＲＯＭ２には、ＣＰＵ１の動作プログラムの他に、水平および垂直方向に複数画素でなる画素ブロックの、各画素の発光／非発光を指示するオン／オフ信号の分布と該画素ブロックの表示階調を表現する、それぞれが異なった階調を表現する複数の発光パターンデータでなるパターングループを、格納している。ＲＯＭ２に格納されているパターングループは、操作ボード１０に動作電圧が加わったときの初期化において、ＣＰＵ１が、ＲＡＭ３のメモリ領域に割り付けたパターンレジスタに書込み、その後の階調表示に使用する。表示データ（階調データ）はＶＲＡＭ７に書込まれて、ＬＣＤ１１のラスター表示の同期信号に同期して、ＬＣＤＣ６によってＶＲＡＭ７から読出されてパターンレジスタの画素ブロックデータの読出しアドレスに用いられる。パターンレジスタから読み出された画素ブロックデータは、ＬＣＤ１１のラスター表示の同期信号に合わせて、ＬＣＤＣ６からＬＣＤ１１に出力される。
【００４８】
図５に、複写機ＭＦ１に接続されたパソコンＰＣにインストールされ、本発明を実施するアプリケーションプログラムに従った、パソコンＰＣの「表示アプリケーション」（ＤＣＡ）のデータ処理の概要を示し、図６には、該「表示アプリケーション」（ＤＣＡ）のデータ処理機能をブロック区分で示し、図５と図６の、対応する処理ステップと処理ブロックには、同一のアルファベット記号を付した。「表示アプリケーション」（ＤＣＡ）は、表示すべき画像が表示面上の設定領域より広く、画像を縮小する場合、文字領域は文字の識別が可能な倍率として、縮小表示における情報の欠落を最小限に抑え文字の可読性を保つものである。これにより、縦横比固定の縮小では読みにくくなるような縮小倍率でも読みやすい文字表示を実現する。さらには、ブロック単位で表示を行うことにより十分な表示サイズを確保する。それでも文字ブロックのサイズが大きく表示領域が不十分な場合には、行抽出し行単位に折り返しを行なうことによりスクロール方向は１方向のまま表示文字サイズを大きくし文章の読み易くする。
【００４９】
複写機ＭＦ１に接続されたパソコンＰＣのドキュメントメモリには、ＭＦ１のスキャナ１００で読取った画像（イメージデータ），ＬＡＮまたはインターネット通信で受信した書画情報，ファクシミリ受信の書画情報，パソコンＰＣで生成又は編集した書画情報が保存され、ユーザーが指定した書画ファイルが開かれて、表示アプリケーション（ＤＣＡ）によって表示データに展開されて、パソコンＰＣのディスプレイに表示される。ユーザーは、ドキュメントメモリにある画像ファイルのプリントアウトを、パソコンＰＣの操作ボードから、複合機能複写機ＭＦ１に指示することができる。また、原稿スキャナ１００およびＡＤＦを使用する原稿画像読み取りを指示することができ、さらには、ファクシミリ送信を指示することができる。
【００５０】
パソコンＰＣは、ユーザーが指定した書画ファイルを、図５の表示データ入力（ｅ）（図６の（ｅ）入力制御部）で開いて、該ファイル内の画像データのデータ形式を参照して、データ形式対応の処理に進む。
【００５１】
書画ファイルのデータが、イメージデータの場合には、文字／背景分離またはレイアウト解析処理により、文字部分とそれ以外の背景に分離する。さらに文字領域にＯＣＲ処理または文字矩形解析処理を行なうことにより１文字のサイズを計測し、その文字サイズから可読性を損なわない倍率を自動計算し、表示倍率を自動的に決定する。すなわち、入力データがイメージデータ（図６の（ｃ））の場合には、図６の（ｇ）文字／背景分離において図６の（ｍ）前景（文字）部イメージとそれ以外（図６の（ｎ）背景イメージ）に分離する。分離は、図６の（ｏ）レイアウト解析部によるドット分布解析による行の抽出、または図６の（ｐ）ＯＣＲ処理部において文字認識し文字とそれ以外の切り分けを行なう。文字領域が定まったら図６の（ｓ）文字サイズ検出部において１文字の矩形サイズを計測する。その後図６の（ｕ）最適サイズ判定部において、文字が読める最低の倍率を計算する。判定は、例えば日本語漢字を表現するには最低限２４×４８ｄｏｔは必要などの情報を元に行なう。この最低サイズはユーザーの視力や表示装置の特性などにより経験的な値で書き換えるものとする。この処理により、最適な表示倍率を自動算出する。
【００５２】
書画ファイルのデータがＭＲＣおよび高圧縮ＰＤＦのようにあらかじめ、背景／写真部分・文字部分が分離されて保存された画像ファイルの場合には、文字部分／写真部分を判別し、表示倍率を効果的に自動算出する。すなわち、入力データがＭＲＣ（図５の（ｂ））の場合には、ＭＲＣ自体が文字部と背景部に分離されて保管されているため、この情報をそのまま使用して、その文字部については、入力データがイメージの場合と同様に、図６の（ｐ）ＯＣＲ処理部において文字認識し、図６の（ｓ）文字サイズ検出部において１文字の矩形サイズを計測する。その後図６の（ｕ）最適サイズ判定部において、文字が読める最低の倍率を計算する。判定は、例えば日本語漢字を表現するには最低限２４×４８ｄｏｔは必要などの情報を元に行なう。この最低サイズはユーザーの視力や表示装置の特性などにより経験的な値で書き換えるものとする。この処理により、最適な表示倍率を自動算出する。
【００５３】
書画ファイルのデータが、他アプリケーションで表示するものまたは他アプリケーションで作成したものであった場合には、図６の（ｈ）外部アプリケーション制御部により図６の（ｉ）外部アプリケーションを制御し、図６の（ｊ）印刷ドライバまたはPaste（貼付け）制御部により、印刷ドライバ経由，クリップボード経由またはＯＬＥオートメーション制御により一度イメージデータに変換する。その後、上述の、ユーザー指定の書画ファイルがイメージデータであった場合と同様に、文字部分とそれ以外の背景の分離以下表示倍率の算出を実行する。
【００５４】
図６の（ａ）ＨＴＭＬのように最初から文字／写真などが構造化されているデータの場合には、図６の（ｆ）構造解析部において、文字と重ならないイメージ部分を抽出する。イメージデータの場合には図６の（ｏ）レイアウト解析部、図６の（ｑ）写真抽出部により、写真および図の位置を特定する。表示する時点で図６の（ｗ）写真表示位置制御部において写真・図は縦横比一定になるように表示する適切な表示位置や倍率を算出して図８の（ｂ）の表示を実現する。すなわち、写真や図が混じった文書において、文字領域のような縦横比が異なる倍率で表示すると、図８の（ａ）のように写真も間延びしてしまい好ましくない。そこで図８の（ｂ）のように写真部分のみは縦横比固定倍率で表示する。これにより写真，図など縦横比が変わると内容が正確に伝わりにくいものを、正しく表示できる。
【００５５】
図６の（ｗ）写真表示位置制御部は更に、写真・図などを別フィールド（レイヤー）で表示する。図９に示すように写真部分選択時には移動，リサイズつまみを表示し、任意の位置への移動，リサイズを可能にしている。また移動後も元の写真位置が分かりやすいように元の位置にモノクロ表示する。
【００５６】
画面サイズが小さい、または文書自体が精細なためさらに大きな倍率でなければ十分に文字を読むことができない場合、ユーザーが操作ボード又はマウス入力によってブロック分割を指示すると、図６の（ｏ）レイアウト解析部および図６の（ｑ）写真抽出部が、文字，写真，表などの領域抽出により、図１０に示すように画像をブロック単位に分割し、図６の（ｘ）ブロック順序推論部が適切な順番にレイアウトしなおして、図１１に示すように、適切な順番で順に表示する。これにより一方向のみのスクロールでも文書の内容を効率よく閲覧できる。もしブロックの表示順番に誤りがある場合には、ユーザーが操作ボード又はマウス入力により、任意に再生順番を変更可能である。ブロックの表示順番にしたがって連続して表示するので、２次元（ｘ，ｙ）表示面の一方の方向（ｘ又はｙ）のみのスクロールで表示を確認できるので表示の操作性が良く、縮小倍率も高くなる（低縮小率となる）ことから文字の見易さを向上させることができる。
【００５７】
上記、図６の（ｘ）ブロック順序推論部は、順番の表示に、ブロック間のつながりが分かるように矢印マーク表示や方向表示を付加する。図１１に示すように、図１１の方法１では表示画面中にブロックごとに前後の関係を表すマークを表示する。例えば次矢印が右を向いていれば、次にスクロールされ表示される部分は本来右側に位置していたブロックであることを表す。前矢印も同様で、左側を向いている場合はスクロールして戻る場合は左方向のブロックを表示することを意味する。また、図１１の方法２では、メイン画面とは別に全体表示ウィンドウを表示し、ブロック再生順番を表示させるとともに現在の表示位置を分かるようにする。
【００５８】
図１２に示すように文字ブロックの再生順番が不明な場合、あらかじめ図６の（ｐ）ＯＣＲ処理部において文字認識を行い抽出された文字情報を元に、図６の（ｒ）文章構文解析部によりブロック同士の文書のつながりの確からしさを判定する。また、文字のレイアウトや文字の大きさの変化、および図６の（ｔ）章，項目タイトル抽出部で抽出された章や項目タイトルなどからブロックの順番を図６の（ｘ）ブロック順序推定部において推測する。例えば、ブロックの最後が「。」で終わった場合には、次のブロックは文章の始まり（インデント）や章や項目の始まりである可能性が高いということなどから推測する。
【００５９】
図１３に示したように１ブロックのサイズが大きく十分な表示倍率が得られない場合には、図６の（ｘ）ブロック順序数論部および（ｙ）文字表示位置制御部で、図１３に示すように行を抽出し、行単位に分割する。その後１行を任意の位置（文字が分断されない場所）で２分割し後半を次の行へ折り返す。これにより十分な文字サイズを実現可能となる。すなわち、行を抽出し行単位に改行しイメージをレイアウトし直すことにより、文章を画面内に収まるようにし読みやすく、片方向スクロールで操作性の良い表示とする。
【００６０】
書画ファイルのデータがＪＰＥＧの場合、直流成分および低周波成分のみを伸張することによりヨコｎ／８倍・タテｍ／８倍の任意縦横比の文字が読みやすい縮小画像二編間する。ＪＰＥＧ圧縮では、８×８pixelのブロック単位で圧縮処理されている。内部ではこれを周波数成分に分解して処理される。このとき画像のおおまかな特徴は低周波成分、画像の細かな特徴は高周波成分に分離される。例えば最も低周波の成分（＝直流成分）のみを伸張し取り出すと１／８倍の特徴が凝縮された画像が取得できることが知られている。
【００６１】
これを応用して、図６の（ｇ）文字／背景分離部では、図５にやや詳細に示すように、ＪＰＥＧデータの場合には、表示サイズを判定して、任意の縦横比の縮小画像（例えば横１／８倍、縦２／８倍の画像）として画像を展開し表示する。これにより、ＪＰＥＧ伸張の演算数を大幅に減らすことができるため高速に目的の縮小倍率の画像を展開できる。通常ならば、ＪＰＥＧを元の大きさに伸張した後にスムージング縮小しなければならないが、ＪＰＥＧ画像伸張時に処理すれば直接縮小画像が取得できるだけでなくＪＰＥＧ伸張の演算時間を大幅に削減できる。また、ＪＰＥＧのＤＣＴ変換により周波数成分に分解された特徴を利用するため、画像の特徴を捉えており、スムージング縮小したような高品質な画像が得られる。読みやすい文字をよりたやすく表示できる。一表示例を図１４に示す。
【００６２】
ＪＰＥＧ２０００の場合も同様であり、ＪＰＥＧ２０００では元々任意解像度の画像を簡単に取得できるようにタイリング処理されている。これを利用して、横方向の処理タイリング数と縦方向の処理タイリング数を制御することにより任意の縦横比の高画質な縮小画像を高速に取得する。
【００６３】
図６の（ｚ）表示制御部において最大表示サイズを求め、図６の（ｖ）変倍処理部で片方向のみの変倍処理を行い表示させる。図７がその一例であり、縦横比固定縮小では文字が小さくなりすぎで読みにくいが、片方向にのみ縮小することにより文字の読み易さを保ちつつ画面サイズに合わせて縮小できることがわかる。
【００６４】
なお、上述の実施形態は、パソコンＰＣにて実施してパソコンのディスプレイに表示する画像サイズを制御するものであるが、本発明は、他の機器、たとえば操作ボード，操作端末，携帯端末，２次元ディスプレイ付きの携帯電話など、文書および画像など書画を画面表示する２次元表示装置例えばＣＲＴ，液晶ディスプレイ，プラズマディスプレイ，ＬＥＤ面配列ディスプレイ，ＥＬディスプレイ、に書画を表示する機器に同様に実施できる。
【図面の簡単な説明】
【００６５】
【図１】本発明の第１実施例のパソコンＰＣから印刷指示を受ける複合機能複写機ＭＦ１の機構概要を示す縦断面図である。
【図２】図１に示す複写機ＭＦ１内の、画像処理システムの構成を示すブロック図である。
【図３】図１に示す複写機ＭＦ１の操作ボード１０上面の一部を示す拡大平面図である。
【図４】操作ボード１０の電気系統の構成の概要を示すブロック図である。
【図５】複写機ＭＦ１に接続されたパソコンＰＣにインストールされ、本発明を実施するアプリケーションプログラムに従った、パソコンＰＣの「表示アプリケーション」（ＤＣＡ）のデータ処理の概要を示すフローチャートである。
【図６】図５に示す「表示アプリケーション」（ＤＣＡ）のデータ処理機能をブロック区分で示すブロック図である。
【図７】（ａ）は、本発明を適用する前の、パソコンＰＣのディスプレイ上の表示の一例を示す平面図、（ｂ）はユーザーの文字認識を容易にするために本発明により縦方向の縮小を少なくした表示を示す平面図である。
【図８】（ａ）は、ユーザーの文字認識を容易にするために縦方向の縮小を少なくした表示の一例を示す平面図、（ｂ）は写真ブロックのみ縦横同一変倍として写真画像のひずみを解消した表示を示す平面図である。
【図９】本発明を適用する前の元画像と、本発明の変倍処理による変倍処理過程の画像ブロック区分を示す平面図である。
【図１０】本発明を適用する前の元画像と、本発明の変倍処理による変倍処理過程の画像ブロック区分およびブロック単位の配列処理を示す平面図である。
【図１１】本発明を適用する前の元画像と、本発明の変倍処理による変倍処理過程の画像ブロック区分および操作補助マーク表示を示す平面図である。
【図１２】文字ブロックのつながりの順番が特定できない画像と、該画像に適用するブロック順判定処理を示すフローチャートである。
【図１３】ブロック幅が広い文字ブロックの文字行編集過程を示すフローチャートである。
【図１４】変倍したＪＰＥＧ画像の２例を示す平面図である。
【図１】
2006238289.tif 000003
【図２】
2006238289.tif 000004
【図３】
2006238289.tif 000005
【図４】
2006238289.tif 000006
【図５】
2006238289.tif 000007
【図６】
2006238289.tif 000008
【図７】
2006238289.tif 000009
【図８】
2006238289.tif 000010
【図９】
2006238289.tif 000011
【図１０】
2006238289.tif 000012
【図１１】
2006238289.tif 000013
【図１２】
2006238289.tif 000014
【図１３】
2006238289.tif 000015
【図１４】
2006238289.tif 000016