(57)【要約】【課題】画像を拡大することにより、画像の一部が失われ、または画像が分断されて見にくくなることを防止し、かつ拡大された画像が表示された表示媒体を用いて、拡大された画像を元の画像に戻すことができるようにする。【解決手段】画像処理装置は、元画像の拡大画像が仮想表示領域からはみ出すか否かを判断するはみ出し判断部２２と、拡大画像が仮想表示領域からはみ出す場合に、拡大画像が仮想表示領域内に収まるように元画像を部分的に変更する画像変更部２３と、画像変更部により変更された元画像を変更前の状態に戻すのに要する復元情報を表す復元情報画像を元画像に付加する情報画像付加部２４と、部分的に変更され、かつ復元情報画像が付加された元画像を拡大して拡大画像を生成する画像拡大部２５とを備えている。【選択図】図１
2020005061.tif 000002
【特許請求の範囲】
【請求項１】
元画像の大きさを前記元画像の表示媒体の表示領域の大きさに対して相対的に拡大することにより前記元画像の拡大画像を生成する画像拡大部と、
前記拡大画像が前記表示領域からはみ出すか否かを判断するはみ出し判断部と、
前記はみ出し判断部の判断の結果、前記拡大画像が前記表示領域からはみ出す場合には前記拡大画像が前記表示領域内に収まるように前記元画像または前記拡大画像を部分的に変更する画像変更部と、
前記画像変更部により変更された前記元画像または前記拡大画像を変更前の状態に戻すのに要する復元情報を表す復元情報画像を前記元画像または前記拡大画像に付加する情報画像付加部とを備えていることを特徴とする画像処理装置。
【請求項２】
前記復元情報は、前記画像変更部により変更された前記元画像もしくは前記拡大画像の変更前の状態を示す情報、前記画像変更部による前記元画像もしくは前記拡大画像の変更内容を示す情報、または前記画像変更部により変更された前記元画像もしくは前記拡大画像を変更前の状態に戻す方法を示す情報を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記情報画像付加部は前記復元情報画像を、前記元画像において前記画像変更部により変更された部分に重なるように、または前記拡大画像において前記画像変更部により変更された部分に重なるように配置することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像変更部は、前記元画像または前記拡大画像中における１行の文字列の長さが短くなるように文字を移動させることを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記画像変更部は、前記元画像または前記拡大画像中における文字列の行数が少なくなるように文字を移動させることを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記画像変更部は、前記元画像中の文字を前記元画像中の空白部分に移動させ、または前記拡大画像中の文字を前記拡大画像中の空白部分に移動させることを特徴とする請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
前記情報画像付加部は、前記元画像または前記拡大画像の構成を示す構成情報を表す構成情報画像を前記元画像または前記拡大画像に付加し、
前記構成情報画像は、前記元画像に対する前記拡大画像の拡大率を示す情報、前記画像変更部による変更が行われる前の前記元画像もしくは前記拡大画像中における文字列の行数を示す情報、前記画像変更部による変更が行われる前の前記元画像もしくは前記拡大画像中における文字列の１行当たりの文字数を示す情報、前記元画像もしくは前記拡大画像中における文字列の方向を示す情報、または前記元画像もしくは前記拡大画像中における文字列全体の開始位置を示す情報を含むことを特徴とする請求項１ないし６のいずれかに記載の画像処理装置。
【請求項８】
元画像の大きさを前記元画像の表示媒体の表示領域の大きさに対して相対的に拡大することにより前記元画像の拡大画像を生成する画像拡大部と、
前記拡大画像が前記表示領域からはみ出すか否かを判断するはみ出し判断部と、
前記はみ出し判断部の判断の結果、前記拡大画像が前記表示領域からはみ出す場合には前記拡大画像が前記表示領域内に収まるように前記元画像または前記拡大画像を部分的に変更する画像変更部と、
前記画像変更部により変更された前記元画像または前記拡大画像を変更前の状態に戻すのに要する復元情報を示す復元情報画像を前記拡大画像に付加する情報画像付加部とを備えていることを特徴とする画像処理装置としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の拡大および部分的変更等を行うことができる画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
複合機等の画像形成装置は、イメージスキャナにより読み取った画像、通信回線を介して外部から受信した画像、または内部の記憶装置に保存された画像等を用紙に印刷する機能を有している。また、このような機能を有する画像形成装置の中には、画像を拡大して用紙に印刷する拡大印刷機能を有するものがある。拡大印刷機能を有する画像形成装置は、画像を用紙に印刷する前に、その画像をプレビュー画面に表示する。利用者はプレビュー画面を見て画像の拡大率を指定する。画像形成装置は、指定された拡大率に画像を拡大して用紙に印刷する（例えば、下記の特許文献１または２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−５３８１０号公報
【特許文献２】特開２０１２−１２３０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したような拡大印刷機能を有する画像形成装置において、画像を拡大して用紙に印刷する場合、拡大画像の一部が用紙からはみ出すことがある。従来の画像形成装置によれば、拡大画像において用紙からはみ出した部分は用紙に印刷されず、または、はみ出した部分だけが別の用紙に印刷される。
【０００５】
拡大画像において用紙からはみ出した部分が用紙に印刷されない場合、印刷された用紙を受け取った利用者は、はみ出した部分を見ることができず、不便である。
【０００６】
また、拡大画像において用紙からはみ出した部分だけが別の用紙に印刷される場合、画像が複数の用紙に分断されるので、印刷された用紙を受け取った利用者にとって画像が見にくくなり、不便である。例えば、数行の文章を含む画像を拡大した結果、文章の各行の右端部分が用紙からはみ出したために、各行の右端部分だけが別の用紙に印刷された場合には、各行が文の途中で分断されて別々の用紙に分散して配置されてしまい、文章が非常に読み難くなってしまう。
【０００７】
このような不都合を防止するために、画像形成装置において画像を拡大する処理を行う際に、拡大画像において一枚の用紙からはみ出す部分がその一枚の用紙中に印刷されるように、拡大画像の一部を変更する画像処理を行うことが考えられる。例えば、拡大画像において一枚の用紙からはみ出す部分を、その一枚の用紙の空白部分に移動させる画像処理を行うことが考えられる。しかしながら、拡大画像をその一部を変更して単に用紙に印刷した場合、用紙に印刷された拡大画像の元の画像、すなわち、拡大および部分的変更が行われる前の画像を、当該用紙を用いて復元することができなくなる。それゆえ、拡大画像が印刷された用紙を受け取った利用者は、その用紙に印刷された画像の元の状態を知ることができず、不便である。
【０００８】
本発明は例えば上述したような問題に鑑みなされたものであり、本発明の課題は、画像を拡大することにより、画像の一部が失われ、または画像が分断されて見にくくなることを防止することができ、かつ拡大された画像が表示された表示媒体を用いて、拡大された画像を元の画像に戻すことができる画像処理装置およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の画像処理装置は、元画像の大きさを前記元画像の表示媒体の表示領域の大きさに対して相対的に拡大することにより前記元画像の拡大画像を生成する画像拡大部と、前記拡大画像が前記表示領域からはみ出すか否かを判断するはみ出し判断部と、前記はみ出し判断部の判断の結果、前記拡大画像が前記表示領域からはみ出す場合には前記拡大画像が前記表示領域内に収まるように前記元画像または前記拡大画像を部分的に変更する画像変更部と、前記画像変更部により変更された前記元画像または前記拡大画像を変更前の状態に戻すのに要する復元情報を表す復元情報画像を前記拡大画像に付加する情報画像付加部とを備えていることを特徴とする。
【００１０】
上記本発明の画像処理装置において、前記復元情報は、前記画像変更部により変更された前記元画像もしくは前記拡大画像の変更前の状態を示す情報、前記画像変更部による前記元画像もしくは前記拡大画像の変更内容を示す情報、または前記画像変更部により変更された前記元画像もしくは前記拡大画像を変更前の状態に戻す方法を示す情報を含む構成としてもよい。
【００１１】
上記本発明の画像処理装置において、前記情報画像付加部は前記復元情報画像を、前記拡大画像において前記画像変更部により変更された部分に重なるように配置する構成としてもよい。
【００１２】
上記本発明の画像処理装置において、前記画像変更部は、前記元画像または前記拡大画像中における１行の文字列の長さが短くなるように文字を移動させる構成としてもよい。
【００１３】
上記本発明の画像処理装置において、前記画像変更部は、前記元画像または前記拡大画像中における文字列の行数が少なくなるように文字を移動させる構成としてもよい。
【００１４】
上記本発明の画像処理装置において、前記画像変更部は、前記元画像中の文字を前記元画像中の空白部分に移動させ、または前記拡大画像中の文字を前記拡大画像中の空白部分に移動させる構成としてもよい。
【００１５】
上記本発明の画像処理装置において、前記情報画像付加部は、前記元画像または前記拡大画像の構成を示す構成情報を表す構成情報画像を前記元画像または前記拡大画像に付加し、前記構成情報画像は、前記元画像に対する前記拡大画像の拡大率を示す情報、前記画像変更部による変更が行われる前の前記元画像もしくは前記拡大画像中における文字列の行数を示す情報、前記画像変更部による変更が行われる前の前記元画像もしくは前記拡大画像中における文字列の１行当たりの文字数を示す情報、前記元画像もしくは前記拡大画像中における文字列の方向を示す情報、または前記元画像もしくは前記拡大画像中における文字列全体の開始位置を示す情報を含む構成としてもよい。
【００１６】
上記課題を解決するために、本発明のプログラムは、元画像の大きさを前記元画像の表示媒体の表示領域の大きさに対して相対的に拡大することにより前記元画像の拡大画像を生成する画像拡大部と、前記拡大画像が前記表示領域からはみ出すか否かを判断するはみ出し判断部と、前記はみ出し判断部の判断の結果、前記拡大画像が前記表示領域からはみ出す場合には前記拡大画像が前記表示領域内に収まるように前記元画像または前記拡大画像を部分的に変更する画像変更部と、前記画像変更部により変更された前記元画像または前記拡大画像を変更前の状態に戻すのに要する復元情報を示す復元情報画像を前記拡大画像に付加する情報画像付加部とを備えていることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、画像を拡大することにより、画像の一部が失われ、または画像が分断されて見にくくなることを防止することができ、かつ拡大された画像が表示された表示媒体を用いて、拡大された画像を元の画像に戻すことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態の画像形成装置の構成を示すブロック図である。
【図２】本発明の実施形態の画像形成装置による画像拡大処理を示すフローチャートである。
【図３】元画像を示す説明図である。
【図４】元画像に構成情報画像を付加した状態を示す説明図である。
【図５】元画像に仮想表示領域を設定した状態を示す説明図である。
【図６】元画像において仮想表示領域から右側にはみ出した文字を仮想表示領域内に移動させた状態を示す説明図である。
【図７】元画像において仮想表示領域から下側にはみ出した行を仮想表示領域内に移動させた状態を示す説明図である。
【図８】拡大画像を示す説明図である。
【発明を実施するための形態】
【００１９】
（画像形成装置）
図１は、本発明の画像処理装置の実施形態である画像処理部１８を有する画像形成装置１を示している。本実施形態において、画像形成装置１は、複合機であり、コピー機能、ファクシミリ機能、データ保存機能、印刷機能等を有している。また、図１に示すように、画像形成装置１は、原稿読取部１１、通信部１２、記憶部１３、印刷部１４、操作部１５、表示部１６、制御部１７および画像処理部１８を備えている。
【００２０】
原稿読取部１１は原稿を読み取る装置であり、例えばイメージスキャナを備えている。原稿読取部１１は原稿を写し取った画像の画像データを生成する。具体的には、原稿読取部１１は、原稿の表面に光を当て、その反射光を撮像素子により電気信号に変換して画像データを生成する。
【００２１】
通信部１２は、例えば通信回線およびコンピュータネットワーク等を介して通信を行うための通信回路を備えている。通信部１２は、通信回線を介して外部のファクシミリから送信された画像データを受信することができる。また、通信部１２は、原稿読取部１１により読み取った原稿の画像データを、通信回線を介して外部のファクシミリへ送信することができる。また、通信部１２は、コンピュータネットワークを介して外部のパーソナルコンピュータ等の端末装置から送信された画像データ等を受信することができる。
【００２２】
記憶部１３は、例えば半導体メモリおよびハードディスクドライブ装置を備えており、データまたはプログラムを記憶する。具体的には、記憶部１３は、画像データの保存する記憶媒体として用いられる。また、記憶部１３は、後述する画像拡大処理において、処理作業のために元画像を一時的に記憶する作業領域として用いられる。
【００２３】
印刷部１４は、例えば、電子写真方式により画像を用紙に印刷する印刷機構である。印刷部１４は、感光体ドラム、帯電装置、露光装置、現像装置、転写ローラー、定着装置、用紙搬送機構等を備えている。なお、印刷部１４は、インクジェット方式等、他の方式の印刷機構でもよい。
【００２４】
操作部１５および表示部１６は、ユーザーインターフェイスとして機能する装置である。操作部１５は、利用者が画像形成装置１を操作することができるボタン等を備えている。操作部１５は、画像の拡大率を設定するボタンを備えている。また、表示部１６は、利用者が画像形成装置１の状態や動作を確認することができるディスプレイを備えている。後述するように、表示部１６には元画像のプレビュー画面が表示される。
【００２５】
制御部１７および画像処理部１８は、演算処理装置等により構成されている。制御部１７および画像処理部１８は、記憶部１３に記憶されたプログラムを演算処理装置により実行することにより実現される。制御部１７は、原稿読取部１１による原稿の読取、通信部１２によるファクシミリ送受信、印刷部１４により画像の用紙への印刷等を制御する。画像処理部１８は、本発明の画像処理装置の実施形態に当たる部分であり、後述する画像拡大処理、画像復元処理等を行う。画像処理部１８は、画像解析部２１、はみ出し判断部２２、画像変更部２３、情報画像付加部２４、画像拡大部２５および画像復元部２６を備えている。
【００２６】
（画像拡大処理）
画像処理部１８は画像拡大処理を行う。画像拡大処理は、元画像の大きさを元画像の表示媒体の表示領域の大きさに対して相対的に拡大することにより元画像の拡大画像を生成する処理である。画像拡大処理では、元画像を実際に拡大する前に次の処理が行われる。
（１）元画像を解析し、元画像の構成、および元画像中に配置された各文字の位置を認識する処理
（２）元画像または拡大画像の構成を示す構成情報を表す構成情報画像を元画像に付加する処理
（３）拡大画像が表示領域からはみ出すか否かを判断し、拡大画像が表示領域からはみ出す場合には拡大画像が表示領域内に収まるように元画像を部分的に変更する処理
（４）画像変更部により変更された元画像を変更前の状態に戻すのに要する復元情報を表す復元情報画像を元画像に付加する処理
以上の処理を行った後、元画像を拡大することにより、表示媒体の表示領域内に収まるように画像が部分的に変更され、かつ構成情報画像および復元情報画像が付加された拡大画像が生成される。利用者は拡大画像を用紙に印刷することができる。
【００２７】
上記画像拡大処理において、「元画像」は、例えば、原稿読取部１１により読み取られた原稿の画像、記憶部１３に画像データとして保存された画像、外部のファクシミリから送信された画像等である。また、「表示媒体」は例えば用紙である。また、「表示領域」は、用紙の表面の全領域のうち、上下左右の縁側の余白を除く領域である。例えば、用紙の各縁から用紙の内側へ５ｍｍ程度離れた位置までの部分を余白として設定することができる。
【００２８】
また、上記画像拡大処理において、元画像の構成は、例えば、元画像中に配置された文字列の方向、元画像中における文字列全体の開始位置、元画像中の文字列の最大行数、元画像中の文字列の１行当たりの最大文字数等である。元画像が通常の横書きの文書である場合、元画像中に配置された文字列の方向は右方向であり、元画像中における文字列全体の開始位置は左上端である。元画像が通常の縦書きの文書である場合、元画像中に配置された文字列の方向は下方向であり、元画像中における文字列全体の開始位置は右上端である。元画像中の文字列の最大行数および文字列の１行当たりの最大文字数は、用紙の表示領域中に配置可能な文字列の最大行数および文字列の１行当たりの最大文字数を意味する。これらは元画像中に配置された文字の間隔に基づいて算出することができる。また、「構成情報」には、元画像の構成を示す情報に加え、元画像に対する拡大画像の拡大率を示す情報が含まれる。
【００２９】
また、上記画像拡大処理において、拡大画像が表示領域内に収まるように元画像を部分的に変更する処理には、元画像中における１行の文字列の長さが短くなるように文字を移動させる処理、および元画像中における文字列の行数が少なくなるように文字を移動させる処理が含まれる。
【００３０】
また、上記画像拡大処理において、「復元情報」は、例えば、移動した文字の移動前の位置を示す情報である。
【００３１】
また、上記画像拡大処理において、「構成情報画像」は、構成情報を例えば２次元のコードに符号化した画像であり、「復元情報画像」は、復元情報を例えば２次元のコードに符号化した画像である。また、構成情報画像および復元情報画像はそれぞれ、人間の目でその存在を認識することは困難であるが、原稿読取部により読み取って画像処理部によりその内容を確実に認識することができる画像であり、例えば、用紙の色に近い色の地紋、模様、パターンまたはマークである。なお、構成情報画像および復元情報画像をステガノグラフィーの技術を用いて形成してもよい。後述するように、構成情報画像および復元情報画像はそれぞれ、元画像の文字列の背景に、文字列に重なるように配置されるが、人間が、元画像を拡大した拡大画像を見たとき、人間は拡大画像中の文字列を明確に認識することができ、人間の目による文字列の認識が構成情報画像または復元情報画像によって不明確になったり、不鮮明になったりすることはない。一方、画像処理部１８は、後述する画像復元処理を行う際に、原稿読取部１１により読み取られた拡大画像中の構成情報画像および復元情報画像のそれぞれを、拡大画像中の文字列から分離して明確に認識することができる。
【００３２】
また、上記画像拡大処理において、画像処理部１８の各構成要素は次のような処理を行う。すなわち、画像解析部２１は、元画像の構成、および元画像中に配置された各文字の位置を認識する処理を行う。はみ出し判断部２２は、拡大画像が表示領域からはみ出すか否かを判断する処理を行う。画像変更部２３は、はみ出し判断部２２の判断の結果、拡大画像が表示領域からはみ出す場合に、拡大画像が表示領域内に収まるように元画像を部分的に変更する処理を行う。情報画像付加部２４は構成情報画像および復元情報画像を元画像に付加する処理を行う。画像拡大部２５は、元画像の大きさを元画像の表示媒体の表示領域の大きさに対して相対的に拡大することにより元画像の拡大画像を生成する処理を行う。
【００３３】
（画像復元処理）
また、画像処理部１８は画像復元処理を行う。画像復元処理は、拡大画像に付加された構成情報画像および復元情報画像に基づき、拡大画像を元画像に戻す処理である。具体的には、拡大画像を元の大きさに縮小し、画像拡大処理において移動した文字列を元の位置に戻す。画像復元処理は、画像復元部２６により行われる。利用者は、拡大画像が印刷された用紙を原稿読取部１１により読み取らせ、画像復元処理を実行させ、拡大画像を元画像に戻し、その元画像を用紙に印刷することができる。
【００３４】
（画像拡大処理の具体例）
図２は、原稿読取、拡大率設定、画像拡大および印刷の処理の流れを示している。図２中のステップＳ４からステップＳ１３までが画像拡大処理に当たる。
【００３５】
図２において、例えば、利用者が、画像形成装置１の原稿載置部（原稿ガラス）上に原稿を置いた後、操作部１５を操作し、原稿のコピーを開始する指示を画像形成装置１に入力する。これに応じ、原稿読取部１１が原稿を読み取り、原稿を写し取った画像の画像データを生成する（ステップＳ１）。本処理において、この原稿を写し取った画像が元画像に当たる。この元画像の画像データは記憶部１３の作業領域に記憶される。
【００３６】
続いて、画像形成装置１の制御部１７は、元画像のプレビュー画面を表示部１６に表示する（ステップＳ２）。利用者はプレビュー画面を見ることにより元画像の大きさを確認することができる。利用者は元画像の大きさを確認した後、操作部１５を操作し、元画像を拡大するための所望の拡大率を画像形成装置１に入力する（ステップＳ３）。
【００３７】
続いて、画像解析部２１が、元画像の構成、および元画像中における各文字の位置を認識する（ステップＳ４）。図３は、本具体例において、作業領域に記憶された元画像を示している。図３に示す元画像の構成は次の通りである。すなわち、元画像は通常の横書きの文書であり、元画像中に配置された文字列の方向は右方向である。また、元画像中における文字列の全体的な開始位置は左上端である。また、元画像中の文字列の最大行数は２３行であり、元画像中の文字列の１行当たりの最大文字数は３３文字である。
【００３８】
続いて、情報画像付加部２４が、上記元画像の構成を示す情報に、ステップＳ３で利用者が入力した拡大率を示す情報を加えることにより構成情報を生成し、この構成情報を表す構成情報画像を生成し、この構成情報画像を、作業領域に記憶された元画像に付加する（ステップ５）。情報画像付加部２４は、構成情報画像を、元画像における文字列全体の開始位置に配置する。具体的には、情報画像付加部２４は、構成情報画像を、上記開始位置に配置された文字列の一部または全部の背景に、文字列の一部または全部と重なるように配置する。図４は、ステップＳ５の処理が終了した時点の本具体例における元画像の状態を示している。図４に示すように、構成画像情報４１が、元画像の左上端に配置された「ａａａａ」の一部の背景に、「ａａａａ」の一部と重なるように配置される。なお、「文字列」とは、一般に、２つ以上の文字の連なりを意味するが、本実施形態では、この意味を拡張し、ある特定の領域内に文字が１つのみ存在する場合にも、その１つの文字を指して「文字列」ということとする。
【００３９】
続いて、はみ出し判断部２２が、元画像における文字列全体の開始位置（左上端）を基準に、利用者が入力した拡大率に従って元画像を拡大することにより拡大画像を生成した場合に、拡大画像において表示領域３１から右側にはみ出す文字列があるか否かを判断する（ステップＳ６）。はみ出し判断部２２は、この判断を例えば次のように行う。まず、利用者が入力した拡大率の逆数の比率で、元画像における文字列全体の開始位置を基準に、元画像の表示領域３１を縮小することにより仮想表示領域３２を形成する。次に、元画像中の文字列を元画像の上から下に向かって行単位で調べていき、仮想表示領域３２から右側にはみ出した文字列があるか否かを判断し、はみ出した文字列がある場合には、当該はみ出した文字列がある行（以下、これを「右側はみ出し行」という。）を特定する。図５は、ステップＳ５の処理が終了した直後の本具体例における元画像に仮想表示領域３２を重ね合わせた状態を示している。
【００４０】
右側はみ出し行が特定された場合には（ステップＳ６：ＹＥＳ）、画像変更部２３が、作業領域に記憶された元画像に対し、次のような変更を加える。すなわち、右側はみ出し行において、仮想表示領域３２から右側にはみ出した文字列を抽出し、当該元画像において、右側はみ出し行よりも下に配置された文字列を下へ１行分ずらすことにより、右側はみ出し行の直下に空白行を生成し、抽出した文字列をこの空白行に移動させる（ステップＳ７）。このとき、抽出された文字列を、当該文字列における先頭の文字が空白行の先頭に位置するように配置する。
【００４１】
続いて、情報画像付加部２４が、復元情報を生成し、復元情報を表す復元情報画像を生成し、復元情報画像を、作業領域に記憶された元画像に付加する（ステップＳ８）。ここでの復元情報は、ステップＳ７で移動させた文字列における先頭の文字の移動前の位置を示す情報である。情報画像付加部２４は、復元情報画像を、作業領域に記憶された元画像において、ステップＳ７で移動させた文字列の背景に、当該文字列と重なるように配置する。
【００４２】
元画像において右側はみ出し行が複数ある場合には、はみ出し判断部２２、画像変更部２３および情報画像付加部２４は、ステップＳ６、Ｓ７およびＳ８の処理を元画像の上から下に向かって繰り返し行う。
【００４３】
また、元画像において、仮想表示領域３２から下側にはみ出した文字列があり、その下側にはみ出し文字列において、仮想表示領域３２の右端に対応する位置よりも右側に位置する文字列がある場合には、はみ出し判断部２２、画像変更部２３および情報画像付加部２４は、このような文字列がある行をも右側はみ出し行として特定し、その行に対してもステップＳ７およびＳ８の処理を行う。
【００４４】
本具体例では、図５に示すように、ステップＳ５の処理が終了した直後の元画像において、第５行の右側部分の文字列「ｅｅｅｅｅ」と、第８行の右側部分の「ｈｈｈｈｈｈｈ」とが仮想表示領域３２から右側にはみ出している。また、第１７行の右側部分の「ｑｑｑ」が、仮想表示領域３２の右端に対応する位置よりも右側に位置している。したがって、当該元画像において、第５行、第８行および第１７行が右側はみ出し行である。
【００４５】
また、図６は、図５に示す元画像中のすべての右側はみ出し行に対してステップＳ７およびＳ８の処理が行われた直後の本具体例における元画像の状態を示している。図５に示す元画像中のすべての右側はみ出し行に対してステップＳ７の処理が行われることによって、図６に示すように、仮想表示領域３２から右側にはみ出していた文字列「ｅｅｅｅｅ」は仮想表示領域３２内の第６行に移動され、仮想表示領域３２から右側にはみ出していた文字列「ｈｈｈｈｈｈｈ」は仮想表示領域３２内の第１０行に移動される。また、仮想表示領域３２の右端に対応する位置よりも右側に位置していた文字列「ｑｑｑ」は、仮想表示領域３２の右端に対応する位置よりも左側に移動される。
【００４６】
また、図６に示す元画像において、第６行の文字列「ｅｅｅｅｅ」の背景には復元情報画像４２が配置されている。この復元情報画像４２が表している復元情報は、文字列「ｅｅｅｅｅ」の移動前の位置を示している。図５に示すように、この文字列「ｅｅｅｅｅ」は、移動前には、元画像の第５行の第２４文字から配置されていた。したがって、復元情報画像が表している復元情報は「５、２４」である。また、図６において第１０行の文字列「ｈｈｈｈｈｈｈ」の背景に配置された復元情報画像４３が表している復元情報は、文字列「ｈｈｈｈｈｈｈ」の移動前の位置を示しており、それは「８、２４」である。また、図６において第２０行の文字列「ｑｑｑ」の背景に配置された復元情報画像４４が表している復元情報は、文字列「ｑｑｑ」の移動前の位置を示しており、それは「１７、２４」である。
【００４７】
図２中のステップＳ６で元画像において右側はみ出し行が特定されなかった場合、または元画像において特定されたすべての右側はみ出し行についてステップＳ７およびＳ８の処理を終えた場合には（ステップＳ６：ＮＯ）、処理はステップＳ９へ移行する。そして、ステップＳ９において、はみ出し判断部２２が、作業領域に記憶されている元画像中に、仮想表示領域３２から下側にはみ出した文字列があるか否かを判断する。
【００４８】
仮想表示領域３２から下側にはみ出した文字列がある場合には（ステップＳ９：ＹＥＳ）、画像変更部２３が、作業領域に記憶された元画像において、行を詰めることができる部分があるか否かを判断する（ステップＳ１０）。具体的には、画像変更部２３は、作業領域に記憶された元画像中の文字列を当該元画像の上から下に向かって調べていき、次の（Ａ）および（Ｂ）の条件を充たす上下に連続した２つの行があるか否かを判断する。
（Ａ）作業領域に記憶された元画像において、ステップＳ７で移動された文字列が配置された行を除き、右側の部分に文字列を追加して配置可能な空白を有する行（以下、これを「文字追加可能行」という。）が存在すること
（Ｂ）作業領域に記憶された元画像において、文字追加可能行の次の行に配置された文字列（文字間の空白を含む）の長さと所定の設定間隔長とを合算した長さが、当該文字追加可能行の有する空白の長さ以下であること
上記設定間隔長は例えば５文字である。
【００４９】
上記（Ａ）および（Ｂ）の条件を充たす上下に連続した２つの行がある場合には（ステップＳ１０：ＹＥＳ）、画像変更部２３は、作業領域に記憶された元画像に対し、次のような変更を加える。すなわち、上下に連続した２つの行のうちの下側の行（文字追加可能行の次の行）に配置されたすべての文字列を、上下に連続した２つの行のうちの上側の行（文字追加可能行）が有する空白に移動した後、上下に連続した２つの行のうちの下側の行よりも下に配置された文字列を上へ１行移動させて行を詰める（ステップＳ１１）。文字追加可能行の次の行に配置されたすべての文字列を、文字追加可能行が有する空白に移動するときには、文字追加可能行に既に配置されている文字列の末尾の文字と、文字追加可能行が有する空白に移動する文字列の先頭の文字との間に、設定間隔長の空白（５文字分の空白）を挿入する。このように空白を挿入することにより、ステップＳ１１において文字列を移動したために元画像に記された文章の意味がわかりにくくなってしまうことを防止することができる。
【００５０】
続いて、情報画像付加部２４が、復元情報を生成し、この復元情報を表す復元情報画像を生成し、この復元情報画像を、作業領域に記憶された元画像に付加する（ステップＳ１２）。ここでの復元情報は、ステップＳ１１で移動させた文字列における先頭の文字の移動前の位置を示す情報である。情報画像付加部２４は、復元情報画像を、作業領域に記憶された元画像において、ステップＳ１１で移動させた文字列の背景に、当該文字列と重なるように配置する。
【００５１】
はみ出し判断部２２、画像変更部２３および情報画像付加部２４は、作業領域に記憶された元画像において、仮想表示領域３２から下側にはみ出した文字列がなくなり、または行を詰めることができる空白がなくなるまで、ステップＳ９、Ｓ１０およびＳ１１の処理を繰り返す。
【００５２】
図６に示す本具体例における元画像において、第１６行よりも下の文字列が、仮想表示領域３２から下側にはみ出した文字列である。また、この元画像において、第１行および第２行は上記（Ａ）および（Ｂ）の条件を充たす。すなわち、第１行は、右側の部分に文字列を追加して配置可能な空白５０を有するので、文字追加可能行である。第１行の空白５０の長さは１９文字である。また、第１行の次の行、すなわち第２行に配置された文字列の長さは３文字である。第２行に配置された文字列の長さと設定間隔長（５文字）とを合算した長さは８文字であり、第１行が有する空白５０の長さ以下である。同様に、図６に示す元画像において、第７行および第８行、並びに第１４行および第１５行も上記（Ａ）および（Ｂ）の条件を充たす。
【００５３】
なお、図６に示す元画像において、第６行および第７行は上記（Ａ）および（Ｂ）の条件を一見充たすとも思えるが、第６行は、ステップＳ７で移動された文字列が配置された行に当たるので、上記（Ａ）の条件を充たさない。このようにステップＳ７で移動された文字列が配置された行に、ステップＳ１１で文字列を移動しないようにすることで、元画像に記された文章の意味がわかりにくくなってしまうことを防止することができる。
【００５４】
図６に示す元画像に対してステップＳ１１の処理が行われることによって、図６に示す元画像において第２行に配置されていた文字列「ｂｂｂ」が、図７に示すように第１行に移動する。また、元画像の第１行に元から配置されていた文字列「ａａａａ」の末尾の文字と、第１行に移動された文字列「ｂｂｂ」の先頭の文字との間に５文字の空白５１が挿入される。また、図６に示す元画像において第３行に配置されていた文字列「ｃｃｃ」も、図７に示すように第１行に移動する。また、図７に示す元画像の第１行において、文字列「ｂｂｂ」の末尾の文字と文字列「ｃｃｃ」の先頭の文字との間に５文字の空白５２が挿入される。また、図６に示す元画像において第４行〜第７行に配置されていた文字列が、図７に示すように第２行〜第５行にそれぞれ移動する。また、図６に示す元画像において第８行に配置されていた文字列「ｇｇｇｇ」が、図７に示すように第５行に移動する。また、図７に示す元画像の第５行において、文字列「ｆｆｆｆｆｆ」の末尾の文字と文字列「ｇｇｇｇ」の先頭の文字との間に５文字の空白５３が挿入される。また、図６に示す元画像において第９行〜第１４行に配置されていた文字列が、図７に示すように第６行〜第１１行にそれぞれ移動する。また、図６に示す元画像において第１５行に配置されていた文字列「ｍｍｍｍ」が、図７に示すように第１１行に移動する。また、図７に示す元画像の第１１行において、文字列「ｌｌｌｌ」の末尾の文字と文字列「ｍｍｍｍｍ」の先頭の文字との間に空白５４が挿入される。また、図６に示す元画像において第１６行〜第２０行に配置されていた文字列が、図７に示すように第１２行〜第１６行にそれぞれ移動する。これらの文字列の移動により、図６の元画像において仮想表示領域３２から下側にはみ出していた文字列は、図７に示すように仮想表示領域３２内に収まる。
【００５５】
また、図７に示す元画像において、第１行の文字列「ｂｂｂ」の背景には復元情報画像４５が配置されている。この復元情報画像４５が表している復元情報は、文字列「ｂｂｂ」の移動前の位置を示している。図５に示すように、この文字列「ｂｂｂ」は、移動前には、元画像の第２行の第１文字から配置されていた。したがって、復元情報画像が表している復元情報は「２、１」である。また、図７において第１行の文字列「ｃｃｃ」の背景に配置された復元情報画像４６が表している復元情報は、文字列「ｃｃｃ」の移動前の位置を示しており、それは「３、１」である。また、図７において第５行の文字列「ｇｇｇｇｇ」の背景に配置された復元情報画像４７が表している復元情報は、文字列「ｇｇｇｇｇ」の移動前の位置を示しており、それは「７、１」である。また、図７において第１１行の文字列「ｍｍｍｍｍ」の背景に配置された復元情報画像４８が表している復元情報は、文字列「ｍｍｍｍｍ」の移動前の位置を示しており、それは「１３、１」である。
【００５６】
図２中のステップＳ９で、作業領域に記憶された元画像において仮想表示領域３２から下側にはみ出した文字列がなく、または行を詰めることができる空白がなかった場合、または作業領域に記憶された元画像に対してステップＳ９ないしＳ１２の処理を行い、元画像において、仮想表示領域３２から下側にはみ出した文字列がなくなり、または行を詰めることができる空白がなくなった場合には（ステップＳ９：ＮＯ）、処理はステップＳ１３へ移行する。そして、ステップＳ１３において、画像拡大部２５が、現時点において作業領域に記憶された元画像を、当該元画像における文字列の全体的な開始位置を基準に、利用者が入力した拡大率に従って拡大することにより、拡大画像を生成する（ステップＳ１３）。図８は、本具体例における拡大画像を示している。画像形成装置１の制御部１７は、印刷部１４により、拡大画像を用紙に印刷する（図２中のステップＳ１４）。
【００５７】
なお、上記画像拡大処理において、ステップＳ１３の直前の時点で、作業領域に記憶された元画像中の文字列が仮想表示領域３２に収まらない場合もあり得る。その場合には、元画像において、仮想表示領域３２内に収まった行により第１頁が形成され、仮想表示領域３２から下側にはみ出した行により第２頁が形成される。この場合には、それぞれの頁につき拡大画像が生成され、これら拡大画像が例えば２枚の用紙にそれぞれ印刷される。
【００５８】
（画像復元処理の具体例）
画像復元部２６による画像復元処理の一例を述べる。まず、用紙に印刷された拡大画像を原稿読取部１１により読み取り、記憶部１３の作業領域に記憶する。続いて、作業領域に記憶された拡大画像から構成情報画像を読み取り、構成情報画像を復号して構成情報を取得する。続いて、取得した構成情報に基づき、拡大画像の元画像に対する拡大率を認識し、この拡大率の逆数を縮小率に設定し、この縮小率で拡大画像を縮小し、拡大画像の大きさを元画像の大きさと等しくする。以下、このようにして縮小した画像を「中間画像」という。
【００５９】
続いて、取得した構成情報に基づき、中間画像中の文字列全体の開始位置、および中間画像中の文字列の方向を認識する。ここでは、中間画像中の文字列全体の開始位置が左上端であり、中間画像中の文字列の方向が右方向であることを認識したとする。この場合、中間画像の上から下に向かって行単位に各文字および各復元情報画像の位置を認識していく。
【００６０】
復元情報画像と重なった文字列を認識した場合には、復元情報画像を読み取り、復元情報画像を復号して復号情報を取得し、取得した復号情報に基づき、当該復元情報画像と重なった文字列の移動前の位置を認識する。
【００６１】
当該文字列の移動前の位置が現在の位置よりも下である場合には、当該文字列よりも下に配置された文字列および復元情報画像を下へ１行分ずらして空白行を形成し、当該文字列を移動前の位置（形成した空白行の先頭）に戻す。
【００６２】
また、中間画像の１行中に、復元情報画像と重なった文字列を２つ認識した場合には、それぞれの文字列に対応する復元情報画像を復号して得られた復号情報に基づき、これらの文字列の移動前の位置をそれぞれ認識する。そして、これらの文字列よりも下に配置された文字列および復元情報画像を下へ２行分ずらして２つの空白行を形成し、２つの文字列を移動前の位置（形成した２つの空白行の先頭）にそれぞれ戻す。
【００６３】
また、復元情報画像と重なった文字列を認識し、その復元情報画像から得られた復号情報に基づき、その復元情報画像と重なった文字列の移動前の位置を認識した結果、当該文字列の移動前の位置が現在の位置よりも上である場合には、当該文字列を、当該文字列の前の行の文字列の末尾に移動し、当該文字列よりも下に配置された文字列および復元情報画像を上へ１行分ずらす。
【００６４】
以上、説明した通り、画像形成装置１における画像処理部１８は、拡大画像が表示領域からはみ出す場合に、拡大画像が表示領域内に収まるように元画像を部分的に変更する。これにより、画像を拡大することにより、画像の一部が失われ、または画像が分断されて見にくくなることを防止することができる。なお、画像処理部１８の画像拡大処理において、拡大画像が２枚の用紙に分断されることがあるが、その場合でも、横書きの文書の各行がその途中で左右に分断されるのではなく、横書きの文章が行と行との間を境に上下に分断されるので、画像中に記された文章が読みにくくなることがない。
【００６５】
また、画像形成装置１における画像処理部１８は、元画像に復元情報画像を付加した後、この元画像を拡大して拡大画像を生成し、この拡大画像を用紙に印刷する。したがって、用紙には、拡大画像と復元情報画像が印刷される。よって、利用者は、拡大画像と復元情報画像が印刷された用紙を、画像形成装置１に読み込ませて画像復元処理を実行させることにより、拡大画像を元の画像に戻すことができる。
【００６６】
また、復元情報は、画像変更部２３により移動された文字列の移動前の位置を示す情報である。これにより、画像復元処理において、復元情報に基づき、拡大画像を元の画像に容易かつ正確に戻すことができる。
【００６７】
また、画像形成装置１における画像処理部１８は、復元情報画像に加えて構成情報画像を付加した後、この元画像を拡大して拡大画像を生成し、この拡大画像を用紙に印刷する。したがって、用紙には、拡大画像および復元情報画像に加えて構成情報画像が印刷される。よって、画像復元処理において、構成情報に基づき、拡大画像の元の画像の構成を認識することができ、拡大画像を元の画像に容易かつ正確に戻すことができる。
【００６８】
また、画像形成装置１における画像処理部１８は、復元情報画像を、元画像において移動された文字列に重なるように配置する。これにより、画像復元処理において、拡大画像または元画像中における復元情報画像の位置に基づき、移動された文字列を容易に認識することができる。
【００６９】
また、画像形成装置１における画像処理部１８は、画像拡大処理において、元画像中の文字列の長さが短くなるように文字を移動させる。具体的には、元画像中の右側はみ出し行において仮想表示領域３２から右側にはみ出した部分を仮想表示領域３２内に移動させる。これにより、拡大画像中の文字列が表示領域から右側にはみ出すことを防止することができる。
【００７０】
また、画像形成装置１における画像処理部１８は、画像拡大処理において、元画像の文字列の行数が少なくなるように文字を移動させる。具体的には、仮想表示領域内において、元画像中の文字列を元画像中の空白部分に移動させることにより行を詰める。これにより、拡大画像中の文字列の行数を減らすことができ、拡大画像が複数の用紙に分断されて印刷される頻度を下げることができる。
【００７１】
なお、上記画像形成装置１の画像処理部１８により、縦書きの文書の元画像、すなわち、文字列全体の開始位置が元画像の右上端であり、文字列の方向が下方向である元画像に対して画像拡大処理を行う場合には、概ね次のような処理を行う。すなわち、構成情報画像を、元画像の右上端に配置された文字列と重なるように配置した後、元画像中の文字列において仮想表示領域から下側にはみ出す文字列を次の行（左の行）に移動させ、当該移動させた文字列と重なるように復元情報画像を配置する。その後、元画像中の文字列を、元画像中の空白部分に移動させ、元画像中の文字列を右から左へ詰め、当該移動させた文字列と重なるように復元情報画像を配置する。
【００７２】
また、上記実施形態では、復元情報を、元画像の変更前の状態を示す情報（具体的には、文字列の移動前の位置を示す情報）としたが、本発明はこれに限らない。復元情報を、元画像の変更内容を示す情報としてもよい。元画像の変更内容を示す情報として、例えば、文字列を１行下の先頭へ移動させたことを示すコードや、文字列を１行上の空白部分に移動させたことを示すコード等が考えられる。また、復元情報を、元画像を変更前の状態に戻す方法を示す情報としてもよい。元画像を変更前の状態に戻す方法を示す情報として、文字列を１行上の文字列の末尾に戻すことを示すコードや、文字列を１行下の先頭に戻すことを示すコード等が考えられる。
【００７３】
また、上記実施形態で述べた構成情報の一部を省いてもよいし、上記実施形態で述べた構成情報に別の情報を追加してもよい。また、上記実施形態では、構成情報画像を、元画像の文字列全体の開始位置に配置された文字列と重なるように配置する場合を例にあげたが、構成情報画像を元画像の余白部分等、他の位置に配置してもよい。
【００７４】
また、上記実施形態では、復元情報画像を、移動させた文字列と重なるように配置する場合を例にあげたが、例えば、復元情報画像を、移動させた文字列の直下等、移動させた文字列と一定の位置関係にある他の位置に配置してもよい。
【００７５】
また、上記実施形態では、元画像を拡大する前に、元画像中の文字列を移動させる場合を例にあげたが、本発明はこれに限らず、元画像を拡大させてから、拡大画像中の文字列を移動させてもよい。
【００７６】
また、上記実施形態では、元画像中の文字列を一律に拡大させたが、元画像中の一部の文字列を拡大させず、または元画像中の一部の文字列の拡大率を他の文字列の拡大率よりも小さくすることにより、拡大画像において表示領域からはみ出す文字列を表示領域内に入るようにしてもよい。
【００７７】
また、上記実施形態では、表示領域の大きさを変えずに元画像を拡大する場合を例にあげたが、本発明はこれに限らない。本発明は、元画像の大きさを変えずに、表示領域を縮小する場合にも適用することができる。
【００７８】
また、本発明は複合機に限らず、コピー機、ファクシミリ等にも適用することができる。
【００７９】
また、本発明は、請求の範囲および明細書全体から読み取ることのできる発明の要旨または思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置およびプログラムもまた本発明の技術思想に含まれる。
【符号の説明】
【００８０】
１  画像形成装置
１８  画像処理部
２１  画像解析部
２２  はみ出し判断部
２３  画像変更部
２４  情報画像付加部
２５  画像拡大部
２６  画像復元部
３１  表示領域
３２  仮想表示領域
４１  構成画像情報
４２〜４８  復元画像情報
【図１】
2020005061.tif 000003
【図２】
2020005061.tif 000004
【図３】
2020005061.tif 000005
【図４】
2020005061.tif 000006
【図５】
2020005061.tif 000007
【図６】
2020005061.tif 000008
【図７】
2020005061.tif 000009
【図８】
2020005061.tif 000010