(57)【要約】【課題】  新聞等の文字を含む原稿を読み取って得られた画像の一部を抽出する場合に、文章が適切に繋がるように再構成することができる。【解決手段】  画像形成装置１０はＣＰＵ（８０）を含み、ＣＰＵ（８０）は、画像読取部（２６）で読み取った原稿の画像から、本文が記述される複数の第１領域１６２および本文以外の要素が記述される第２領域１７０を含む範囲の抽出画像を抽出し、本文の書字方向に応じて、複数の第１領域１６２の配置順位を設定し、本文の書字方向および複数の第１領域１６２の配置順位に従って、複数の第１領域１６２に対応する第１種類の個別画像（１８８）および第２領域１７０に対応する第２種類の個別画像（１９０）を所定の形状に再構成したクリップ画像を生成する。【選択図】  図６
2020191495.tif 000002
【特許請求の範囲】
【請求項１】
本文が記述される複数の第１領域と、前記本文以外の要素が記述される第２領域とを含む元画像から、前記複数の第１領域を含む範囲の抽出画像を抽出する抽出手段、
前記本文の書字方向を設定する第１設定手段、
前記本文の書字方向に応じて、前記複数の第１領域の配置順を設定する第２設定手段、および
前記本文の書字方向および前記複数の第１領域の配置順に従って、前記複数の第１領域のそれぞれに対応する複数の第１種類の個別画像と、前記第２領域に対応する第２種類の個別画像とを所定の形状に再構成したクリップ画像を生成する生成手段を備える、画像処理装置。
【請求項２】
前記抽出画像と、当該抽出画像に含まれる前記複数の第１領域の配置順を示すマーク画像とを表示する表示手段、および
ユーザ操作を検出する操作検出手段をさらに備え、
前記操作検出手段によって、前記抽出画像に含まれる前記複数の第１領域の配置順を指定する第１種類のユーザ操作が検出された場合に、前記第２設定手段は、前記第１種類のユーザ操作に応じて、前記複数の第１領域の配置順を設定する、請求項１記載の画像処理装置。
【請求項３】
前記操作検出手段によって、前記クリップ画像における前記複数の第１種類の個別画像および前記第２種類の個別画像の少なくとも１つの配置を変更する第２種類のユーザ操作が検出された場合に、前記第２種類のユーザ操作に応じて、前記クリップ画像における前記複数の第１種類の個別画像および前記第２種類の個別画像の少なくとも１つの配置を変更する第１変更手段をさらに備える、請求項２記載の画像処理装置。
【請求項４】
前記操作検出手段によって、前記クリップ画像における前記複数の第１種類の個別画像および前記第２種類の個別画像の少なくとも１つの大きさを変更する第３種類のユーザ操作が検出された場合に、前記第３種類のユーザ操作に応じて、前記クリップ画像における前記複数の第１種類の個別画像および前記第２種類の個別画像の少なくとも１つの大きさを変更する第２変更手段をさらに備える、請求項２または３記載の画像処理装置。
【請求項５】
前記操作検出手段によって、前記クリップ画像の外形を変更する第４種類のユーザ操作が検出された場合に、前記第４種類のユーザ操作に応じて、前記クリップ画像の外形を変更する第３変更手段をさらに備える、請求項２から４までのいずれかに記載の画像処理装置。
【請求項６】
前記クリップ画像において前記複数の第１種類の個別画像および前記第２種類の個別画像の配置を禁止する範囲である禁止範囲を設定する第３設定手段をさらに備える、請求項１から５までのいずれかに記載の画像処理装置。
【請求項７】
画像処理装置のプロセッサに、
本文が記述される複数の第１領域と、前記本文以外の要素が記述される第２領域とを含む元画像から、前記複数の第１領域を含む範囲の抽出画像を抽出するステップと、
前記本文の書字方向を設定するステップと、
前記本文の書字方向に応じて前記複数の第１領域の配置順を設定するステップと、
前記本文の書字方向および前記複数の第１領域の配置順に従って、前記複数の第１領域のそれぞれに対応する複数の第１種類の個別画像と、前記第２領域に対応する第２種類の個別画像とを所定の形状に再構成したクリップ画像を生成するステップとを実行させる、画像処理装置の制御プログラム。
【請求項８】
（ａ）本文が記述される複数の第１領域と、前記本文以外の要素が記述される第２領域とを含む元画像から、前記複数の第１領域を含む範囲の抽出画像を抽出するステップと、
（ｂ）前記本文の書字方向を設定するステップと、
（ｃ）前記本文の書字方向に応じて前記複数の第１領域の配置順を設定するステップと、
（ｄ）前記本文の書字方向および前記複数の第１領域の配置順に従って、前記複数の第１領域のそれぞれに対応する複数の第１種類の個別画像と、前記第２領域に対応する第２種類の個別画像とを所定の形状に再構成したクリップ画像を生成するステップとを含む、画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置、制御プログラムおよび制御方法に関し、特にたとえば、新聞等を読み取った画像の一部を抽出したクリップ画像を生成する、画像処理装置、制御プログラムおよび制御方法に関する。
【背景技術】
【０００２】
背景技術の画像処理装置の一例が特許文献１に開示される。この背景技術の画像処理装置では、新聞等の、原稿を読み取って得られた画像における特定の文書ブロックの位置を示すマークが検出され、文書ブロックに含まれる文書画像データ中において、文字を含む文字画像部と、絵柄を含む写真画像が存在する写真画像部とが判別され、文書ブロックの形状を再構成した長方形ベクタデータが作成されて、この長方形ベクタデータ内に収まるように、文字画像部および写真画像部の位置が設定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１５０３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、背景技術の画像処理装置では、複数の文字画像部の間に見出し等の本文以外の要素が含まれること等によって、文字画像部の順序が正確に判断できないことがある。文字画像部の順序が誤って判断されてしまうと、文字画像部および写真画像部が再構成された際に、文章が適切に繋がらなくなってしまう。
【０００５】
それゆえに、この発明の主たる目的は、新規な、画像処理装置、制御プログラムおよび制御方法を提供することである。
【０００６】
この発明の他の目的は、新聞等の、文字を含む原稿を読み取って得られた画像の一部を抽出する場合に、文章が適切に繋がるように再構成することができる、画像処理装置、制御プログラムおよび制御方法を提供することである。
【課題を解決するための手段】
【０００７】
第１の発明は、画像処理装置であって、抽出手段、第１設定手段、第２設定手段および生成手段を備える。抽出手段は、本文が記述される複数の第１領域と、本文以外の要素が記述される第２領域とを含む元画像から、複数の第１領域を含む範囲の抽出画像を抽出する。第１設定手段は、本文の書字方向を設定する。第２設定手段は、本文の書字方向に応じて、複数の第１領域の配置順を設定する。生成手段は、本文の書字方向および複数の第１領域の配置順に従って、複数の第１領域のそれぞれに対応する複数の第１種類の個別画像と、第２領域に対応する第２種類の個別画像とを所定の形状に再構成したクリップ画像を生成する。
【０００８】
第２の発明は、第１の発明に従属する画像処理装置であって、抽出画像と、当該抽出画像に含まれる複数の第１領域の配置順を示すマーク画像とを表示する表示手段、およびユーザ操作を検出する操作検出手段をさらに備え、操作検出手段によって、抽出画像に含まれる複数の第１領域の配置順を指定する第１種類のユーザ操作が検出された場合に、第２設定手段は、第１種類のユーザ操作に応じて、複数の第１領域の配置順を設定する。
【０００９】
第３の発明は、第２の発明に従属する画像処理装置であって、操作検出手段によって、クリップ画像における複数の第１種類の個別画像および第２種類の個別画像の少なくとも１つの配置を変更する第２種類のユーザ操作が検出された場合に、第２種類のユーザ操作に応じて、クリップ画像における複数の第１種類の個別画像および第２種類の個別画像の少なくとも１つの配置を変更する第１変更手段をさらに備える。
【００１０】
第４の発明は、第２または第３の発明に従属する画像処理装置であって、操作検出手段によって、クリップ画像における複数の第１種類の個別画像および第２種類の個別画像の少なくとも１つの大きさを変更する第３種類のユーザ操作が検出された場合に、第３種類のユーザ操作に応じて、クリップ画像における複数の第１種類の個別画像および第２種類の個別画像の少なくとも１つの大きさを変更する第２変更手段をさらに備える。
【００１１】
第５の発明は、第２から第４までのいずれかの発明に従属する画像処理装置であって、操作検出手段によって、クリップ画像の外形を変更する第４種類のユーザ操作が検出された場合に、第４種類のユーザ操作に応じて、クリップ画像の外形を変更する第３変更手段をさらに備える。
【００１２】
第６の発明は、第１から第５までのいずれかの発明に従属する画像処理装置であって、クリップ画像において複数の第１種類の個別画像および第２種類の個別画像の配置を禁止する範囲である禁止範囲を設定する第３設定手段をさらに備える。
【００１３】
第７の発明は、画像処理装置のプロセッサに、本文が記述される複数の第１領域と、本文以外の要素が記述される第２領域とを含む元画像から、複数の第１領域を含む範囲の抽出画像を抽出するステップと、本文の書字方向を設定するステップと、本文の書字方向に応じて複数の第１領域の配置順を設定するステップと、本文の書字方向および複数の第１領域の配置順に従って、複数の第１領域のそれぞれに対応する複数の第１種類の個別画像と、第２領域に対応する第２種類の個別画像とを所定の形状に再構成したクリップ画像を生成するステップとを実行させる画像処理装置の制御プログラムである。
【００１４】
第８の発明は、（ａ）本文が記述される複数の第１領域と、本文以外の要素が記述される第２領域とを含む元画像から、複数の第１領域を含む範囲の抽出画像を抽出するステップと、（ｂ）本文の書字方向を設定するステップと、（ｃ）本文の書字方向に応じて複数の第１領域の配置順を設定するステップと、（ｄ）本文の書字方向および複数の第１領域の配置順に従って、複数の第１領域のそれぞれに対応する複数の第１種類の個別画像と、第２領域に対応する第２種類の個別画像とを所定の形状に再構成したクリップ画像を生成するステップとを含む、画像処理装置の制御方法である。
【発明の効果】
【００１５】
この発明によれば、新聞等の文字を含む原稿を読み取って得られた画像の一部を抽出する場合に、文章が適切に繋がるように再構成することができる。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１７】
【図１】図１はこの発明の第１実施例である画像形成装置を正面から見た場合の概略構成を示す図解図である。
【図２】図２は図１に示す画像形成装置の電気的な構成を示すブロック図である。
【図３】図３は図１に示す画像形成装置のホーム画面の一例を示す図解図である。
【図４】図４は抽出範囲設定画面の一例を示す図解図である。
【図５】図５は書字方向設定画面の一例を示す図解図である。
【図６】図６は順位設定画面の一例を示す図解図である。
【図７】図７は順位設定画面の他の例を示す図解図である。
【図８】図８は画像調整画面の一例を示す図解図である。
【図９】図９は画像調整画面の他の例を示す図解図である。
【図１０】図１０は画像調整画面の他の例を示す図解図である。
【図１１】図１１は順位設定画面の他の例を示す図解図である。
【図１２】図１２は図２に示したＲＡＭのメモリマップの一例を示す図である。
【図１３】図１３は図２に示すＣＰＵのクリッピング処理の一例の一部を示すフロー図である。
【図１４】図１４はクリッピング処理の一部であって、図１３に後続するフロー図である。
【図１５】図１５は順位設定処理の一例を示すフロー図である。
【図１６】図１６は画像調整処理の一例を示すフロー図である。
【図１７】図１７は第２実施例の禁止範囲設定画面の一例を示す図解図である。
【図１８】図１８は第２実施例の画像調整画面の一例を示す図解図である。
【図１９】図１９は第２実施例のクリッピング処理の一例の一部を示すフロー図である。
【発明を実施するための形態】
【００１８】
［第１実施例］
図１を参照して、この発明の第１実施例である画像処理装置は、電子写真方式によって用紙に画像を形成する画像形成装置１０である。この実施例では、画像形成装置１０は、複写機能、プリンタ機能、スキャナ機能およびファクシミリ機能などを有する複合機（ＭＦＰ：Multifunction Peripheral）である。
【００１９】
まず、画像形成装置１０の基本構成について概略的に説明する。図１に示すように、画像形成装置１０は、装置本体１２およびその上方に配置される画像読取装置１４を含む。
【００２０】
画像読取装置１４は、プラテンガラスのような透明材によって形成される原稿載置台１６を備える。原稿載置台１６の上方には、ヒンジ等を介して原稿押えカバー１８が開閉自在に取り付けられる。この原稿押えカバー１８には、原稿載置トレイ２０に載置された原稿を画像読取位置２２に対して１枚ずつ自動的に給紙する自動原稿送り装置（ＡＤＦ：Auto Document Feeder）２４が設けられる。
【００２１】
また、画像読取装置１４には、光源、複数のミラー、結像レンズおよびラインセンサ等を備える画像読取部２６が内蔵される。画像読取部２６は、原稿表面を光源によって露光し、原稿表面から反射した反射光を複数のミラーによって結像レンズに導く。そして、結像レンズによって反射光をラインセンサの受光素子に結像させる。ラインセンサでは、受光素子に結像した反射光の輝度や色度が検出され、原稿表面の画像に基づく画像データが生成される。ラインセンサとしては、ＣＣＤ（Charge Coupled Device）やＣＩＳ（Contact Image Sensor）等が用いられる。
【００２２】
なお、光源および複数のミラーを含む走査部は、ＡＤＦ２４によって給紙される原稿を読み取る場合には、画像読取位置２２の下方に固定的に位置され、原稿載置台１６に載置された原稿を読み取る場合には、副走査方向（画像形成装置１０を正面から見た場合の左右の方向）に移動される。
【００２３】
装置本体１２には、後述するＣＰＵ８０およびメモリ（ＲＡＭ８４およびＨＤＤ８６）等を含む制御部２８が内蔵される（図２参照）。制御部２８は、画像形成装置１０への入力操作（ユーザ操作）などに応じて画像形成装置１０の各部位に制御信号を送信し、画像形成装置１０に種々の動作を実行させる。この制御部２８は、画像形成装置１０の全体を制御するため、画像読取装置１４の制御装置でもある。
【００２４】
また、装置本体１２には、画像形成部３０等が内蔵される。画像形成部３０は、露光ユニット３２、現像器３４、感光体ドラム３６、クリーナユニット３８、帯電器４０、中間転写ベルトユニット４２、転写ローラ４４および定着ユニット４６等を備え、給紙トレイ４８から搬送される用紙上に画像を形成し、画像形成済みの用紙を排紙トレイ５２に排出する。用紙上に画像を形成するための印刷画像データとしては、画像読取部２６で読み取った読取画像データまたは外部コンピュータから送信された画像データ等が利用される。
【００２５】
なお、画像形成装置１０において扱われる画像データは、ブラック（Ｋ）、シアン（Ｃ）、マゼンタ（Ｍ）およびイエロー（Ｙ）の４色のカラー画像に応じたものである。このため、現像器３４、感光体ドラム３６、クリーナユニット３８および帯電器４０のそれぞれは、各色に応じた４種類の潜像を形成するように４個ずつ設けられ、これらによって４つの画像ステーションが構成される。
【００２６】
このような装置本体１２内には、給紙トレイ４８からの用紙をレジストローラ６８、転写ローラ４４および定着ユニット４６を経由させて排紙トレイ５２に送るための第１用紙搬送路Ｌ１が形成される。また、用紙に対して両面印刷を行う際に、片面印刷が終了して定着ユニット４６を通過した後の用紙を、転写ローラ４４の用紙搬送方向の上流側において第１用紙搬送路Ｌ１に戻すための第２用紙搬送路Ｌ２が形成される。この第１用紙搬送路Ｌ１および第２用紙搬送路Ｌ２には、用紙を用紙搬送方向に搬送するための複数の搬送ローラ６６が適宜設けられる。
【００２７】
装置本体１２において片面印刷（画像形成）を行う際には、用紙は、給紙トレイ４８から１枚ずつ第１用紙搬送路Ｌ１に導かれ、第１用紙搬送路Ｌ１に設けられる搬送ローラによってレジストローラ６８まで搬送される。そして、レジストローラ６８によって、用紙の先端と中間転写ベルト５４上の画像情報の先端とが整合するタイミングで用紙が転写ローラ４４（転写ニップ部）に搬送され、用紙上にトナー像が転写される。その後、定着ユニット４６（定着ニップ部）を通過することによって用紙上の未定着トナーが熱で溶融して固着されて、排紙トレイ５２上に用紙が排出される。
【００２８】
一方、両面印刷を行う際には、片面印刷が終了して定着ユニット４６を通過した用紙の後端部が排紙トレイ５２近傍の搬送ローラ６６まで到達したとき、この搬送ローラ６６を逆回転させることによって、用紙が逆走して第２用紙搬送路Ｌ２に導かれる。第２用紙搬送路Ｌ２に導かれた用紙は、搬送ローラ６６によって第２用紙搬送路Ｌ２を搬送されて、レジストローラ６８の用紙搬送方向の上流側において第１用紙搬送路Ｌ１に導かれる。この時点で用紙の表裏は反転されるので、その後、転写ローラ４４および定着ユニット４６を用紙が通過することによって、用紙の裏面に印刷が行われる。
【００２９】
図２は図１に示す画像形成装置１０の電気的な構成を示すブロック図である。図２を参照して、画像形成装置１０はＣＰＵ８０を含む。ＣＰＵ８０は、バス８２を介して、ＲＡＭ８４、ＨＤＤ８６、通信回路８８、入力制御回路９０、表示制御回路９２、画像読取部２６および画像形成部３０に接続される。また、入力制御回路９０には入力装置９４が接続され、表示制御回路９２にはディスプレイ９６が接続される。
【００３０】
ＣＰＵ８０は、画像形成装置１０の全体的な制御を司る。ＲＡＭ８４は、ＣＰＵ８０のワーク領域およびバッファ領域として用いられる。ＨＤＤ８６は、画像形成装置１０の主記憶装置であり、画像形成装置１０の動作を制御するための各種のプログラムを記憶したり、通信回路８８を介して外部のコンピュータから送信された画像データを記憶したり、画像読取部２６で読み取った読取画像データを記憶したりする。
【００３１】
通信回路８８は、ＬＡＮおよびインターネットのようなネットワークに接続するための通信回路であり、ＣＰＵ８０からの指示に従って、ＴＣＰ／ＩＰなどのプロトコルを利用して外部のコンピュータと通信する。
【００３２】
入力装置９４は、原稿載置台１６の前面側に設けられ、たとえばタッチパネルを含む。タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。また、タッチパネルは、ディスプレイ９６の表示面上に設けられても良いし、ディスプレイ９６とは別に設けられてもよい。ただし、タッチパネルがディスプレイ９６と一体的に形成されたタッチディスプレイが設けられてもよい。タッチパネルが設けられる場合、ディスプレイ９６には、各種のボタンやアイコンなどのソフトウェアキーが表示される。また、入力装置９４には、ハードウェアの操作ボタンないし操作キー（ハードウェアキー）が含まれても良い。
【００３３】
なお、ソフトウェアキーとは、たとえばディスプレイ９６の表示面にソフトウェア的に再現されたキーまたはアイコンのことを言う。これに対して、ハードウェアキーとは、物理的な装置として設けられたキーまたは押しボタンのことを言う。
【００３４】
ディスプレイ９６は、原稿載置台１６の前面側に設けられる。このディスプレイ９６としては、たとえばＬＣＤまたはＥＬ（Electro-Luminescence）ディスプレイなどを用いることができる。
【００３５】
入力制御回路９０は、入力装置９４への入力操作に応じた操作信号ないし操作データをＣＰＵ８０に出力する。また、入力制御回路９０は、入力装置９４がタッチパネルである場合には、タッチパネルに必要な電圧などを付与するとともに、タッチパネルのタッチ有効範囲内でのタッチ操作（タッチ入力）を検出して、そのタッチ入力の位置を示すタッチ座標データをＣＰＵ８０に出力する。また、入力制御回路９０は、入力装置９４がハードウェアキーである場合には、ハードウェアキーの操作に応じた操作信号ないし操作データをＣＰＵ８０に出力する。
【００３６】
表示制御回路９２は、ＧＰＵおよびＶＲＡＭなどを含んでおり、ＣＰＵ８０の指示の下、ＧＰＵは、ＲＡＭ８４に記憶された画像生成データを用いてディスプレイ９６に種々の画面を表示するための表示画像データをＶＲＡＭに生成し、生成した表示画像データをディスプレイ９６に出力する。一例として、ディスプレイ１３４には、画像形成装置１０が実行可能な各種のジョブから所望のジョブを選択するための画面であるホーム画面１００（図３参照）が表示される。ただし、この第１実施例では、ジョブは、コピー（原稿のスキャンを含む）、ファクシミリ（ＦＡＸ）およびスキャンなどを意味する。
【００３７】
また、本実施例の画像形成装置１０は、クリッピング機能（切り抜き機能）を備えている。クリッピング機能とは、新聞、雑誌等の文字を含む原稿の画像（元画像）から、当該画像の一部を抽出したクリップ画像（切り抜き画像）を生成する機能を意味する。
【００３８】
以下、図３〜図１１を参照して本実施例の画像形成装置１０の動作例を説明する。画像形成装置１０の主電源がオンされて、各機能を実行可能な待機状態にある場合、画像形成装置１０のディスプレイ９６には、図３に示すようなホーム画面１００が表示される。ホーム画面１００は、上述したように、各種のジョブを選択するための画面である。このホーム画面１００には、コピー、ＦＡＸ、スキャンおよびクリッピングなどの各ジョブを選択するためのソフトウェアキー（アイコン）１０２の画像が表示される。
【００３９】
ホーム画面１００においていずれかのアイコン１０２がタッチ（選択）された場合、ディスプレイ９６には、選択されたアイコン１０２に割り当てられたジョブの動作設定を行うための種々の設定画面が表示される。以下、クリッピングジョブ（クリッピングモード）が選択される場合を例に挙げて説明する。
【００４０】
ただし、クリッピングジョブで用いられる元画像としては、画像読取部２６で読み取った読取画像、外部コンピュータから送信された画像またはＨＤＤ８６に記憶されている画像を用いることができる。本実施例では、画像読取部２６で読み取った読取画像が元画像として用いられる場合を例に挙げて説明する。
【００４１】
ホーム画面１００でクリッピングジョブが選択されると、原稿載置台１６上に原稿を載置することをユーザに促すメッセージおよび読取指示を行うことをユーザに促すメッセージがディスプレイ９６に表示される。なお、読取指示は、たとえばディスプレイ９６の表示面に設けられるスタートボタンを操作することにより行われる。原稿載置台１６上に原稿が載置され、読取指示が行われると、画像読取装置１４において、原稿載置台１６上に載置された原稿の全体の画像が読み取られ、原稿の全体の画像に対応する読取画像が生成される。そして、生成された読取画像が元画像として設定される。ただし、画像読取装置１４の読取可能領域よりも原稿の方が大きい場合には、原稿の全体の画像のうち、画像読取装置１４の読取可能領域に含まれる部分の画像が読取画像として生成される。
【００４２】
また、クリッピングジョブでは、表面に文字（文章）が記載される原稿が使用される。たとえば、原稿の代表的な例としては、新聞、雑誌、書籍、パンフレットおよび論文等が該当する。
【００４３】
ただし、原稿の記述のうち、図、表、さし絵、写真、見出し等を除いた、主となっている文のことを本文といい、原稿の記述のうち、図、表、さし絵、写真、見出し等のことを本文以外の要素という。
【００４４】
そして、原稿の表面には、本文が記述される領域（以下、「第１領域」という。）および本文以外の要素が記述される領域（以下、「第２領域」という。）が含まれる。
【００４５】
また、本文は、図、表、さし絵、写真、見出しおよび罫線等によって複数の段落（ブロック）に区切られて記述されることがある。すなわち、本文は、複数のブロックに分けて記述されることがある。この場合、複数のブロックの各々が第１領域となる。
【００４６】
元画像が設定されると、ディスプレイ９６には、図４に示すような抽出範囲設定画面１２０が表示される。抽出範囲設定画面１２０は、元画像からクリップ画像として抽出する範囲（抽出範囲）１２４を設定するための画面である。この抽出範囲設定画面１２０には、抽出範囲を設定することをユーザに促すメッセージおよび元画像に対応するプレビュー画像１２２が表示される。
【００４７】
抽出範囲設定画面１２０では、プレビュー画像１２２の表示範囲内への入力操作に応じて抽出範囲１２４が設定される。たとえば、抽出範囲１２４を設定する方法としては、ユーザがプレビュー画像１２２の表示範囲内の２点をタッチして範囲を指定（設定）できるようにしても良いし、プレビュー画像１２２の表示範囲内に抽出範囲１２４を示す枠の画像を表示させ、ユーザが枠の大きさを変えたり移動させたりして範囲を指定できるようにしても良い。
【００４８】
抽出範囲１２４が設定されると、元画像のうち、抽出範囲１２４に含まれる範囲の画像（以下、「抽出画像」という。）が抽出される。すなわち、抽出画像が生成される。抽出画像が生成されると、抽出画像に含まれる領域の種類が判別される。上述したように、原稿の表面には、第１領域と第２領域とが含まれるので、抽出画像にも第１領域と第２領域とが含まれることがある。また、抽出画像には、第１領域と第２領域とがそれぞれ複数含まれることがある。
【００４９】
したがって、抽出画像が生成されると、抽出画像に含まれる第１領域と第２領域とが判別される。また、第２領域に含まれる要素の種類毎に、第２領域の種類が判別される。具体的には、見出しと見出し以外の要素とが判別される。なお、抽出画像に含まれる第１領域と第２領域とを判別する方法および第２領域に含まれる見出しと見出し以外とを判別する方法の具体例については、本出願人による特開２０１６−９９７９３号公報に記載されているので、参照されたい。
【００５０】
また、抽出画像が生成されると、ディスプレイ９６には、図５に示すような書字方向設定画面１４０が表示される。書字方向設定画面１４０は、抽出画像に含まれる本文の書字方向（文字が書き進められる方向）を設定するための画面である。この書字方向設定画面１４０には、書字方向を設定することをユーザに促すメッセージおよび書字方向を選択するためのアイコン１４２の画像が表示される。一般的に、本文の書字方向には、縦書きと横書きがあるので、たとえば、書字方向設定画面１４０には、縦書きおよび横書きのそれぞれに対応するアイコン１４２の画像が表示される。
【００５１】
書字方向設定画面１４０においていずれかのアイコン１４２がタッチされた場合、抽出画像に含まれる本文の書字方向が設定される。抽出画像に含まれる領域の種類が判別され、かつ、本文の書字方向が設定されると、ディスプレイ９６には、順位設定画面１６０が表示される。
【００５２】
まず、図６および図７を参照して、本文の書字方向が縦書きに設定されている場合の順位設定画面１６０を例に挙げて説明する。
【００５３】
順位設定画面１６０は、抽出画像に複数の第１領域１６２が含まれる場合に、各第１領域１６２の配置順位（配置順）を設定するための画面である。すなわち、抽出画像に複数の本文のブロックが含まれる場合に、各ブロックの配置順を設定するための画面である。
【００５４】
この順位設定画面１６０には、第１領域１６２の配置順位を設定することをユーザに促すメッセージ、抽出画像に対応するプレビュー画像１６４、“ＯＫ”ボタン１６６および“リセット”ボタン１６８が表示される。本実施例では、新聞記事に含まれる１つの記事に対応する範囲が抽出範囲１２４として設定された場合を示しており、抽出画像（プレビュー画像１６４）には、５つの第１領域１６２（１６２ａ〜１６２ｅ）および３つの第２領域１７０（１７０ａ〜１７０ｃ）が含まれる。
【００５５】
ただし、本実施例では、第２領域１７０ａは、所謂見出しが記述される領域であり、第１領域１６２ａ〜１６２ｅの上方に設けられる。また、第２領域１７０ｂおよび第２領域１７０ｃは、所謂中見出しが記述される領域であり、第１領域１６２ａ〜１６２ｄを左右に区切るように設けられる。
【００５６】
また、プレビュー画像１６４に含まれる第１領域１６２ａ〜１６２ｅと、第２領域１７０ａ〜１７０ｃとは、互いに異なる色に着色される。たとえば、第１領域１６２ａ〜１６２ｅは、黄色に着色され、第２領域１７０ａ〜１７０ｃは、緑色に着色される。したがって、第１領域と第２領域とを区別し易くなっている。
【００５７】
さらに、プレビュー画像１６４には、第１領域１６２ａ〜１６２ｅのそれぞれに対応する、矢印画像１７２（１７２ａ〜１７２ｅ）およびマーク画像１７４（１７４ａ〜１７４ｅ）が表示される。
【００５８】
矢印画像１７２ａ〜１７２ｅは、第１領域１６２ａ〜１６２ｅの前面に重ねて表示され、第１領域１６２ａ〜１６２ｅの文頭から文末に向かう（書字方向を示す）矢印の画像である。図６および図７に示すように、本文が縦書きの場合には、矢印画像１７２は、第１領域１６２の右上部から右下部および左上部を経て左下部に向かって延びる略Ｎ字形状の矢印の画像となる。
【００５９】
マーク画像１７４ａ〜１７４ｅは、第１領域１６２ａ〜１６２ｅのそれぞれの配置順位に対応する数字が表示された画像であり、第１領域１６２ａ〜１６２ｅの文頭側の前面に重ねて表示される。図６および図７に示すように、本文が縦書きの場合には、マーク画像１７４は、第１領域１６２の右上部に表示される。
【００６０】
ただし、第１領域１６２ａ〜１６２ｅのそれぞれの初期の配置順位は、書字方向設定画面１４０で設定された本文の書字方向およびプレビュー画像１６４における第１領域１６２ａ〜１６２ｅの位置に応じて自動的に設定されている。具体的には、本文の書字方向の文頭側に位置する第１領域１６２が上位の配置順位となり、本文の書字方向の文末側に位置する第１領域１６２が下位の配置順位となる。たとえば、書字方向が縦書きの場合には、上下方向が異なる第１領域１６２が複数存在する場合には、上方に位置する方が上位の配置順位となり、上下方向が同じ第１領域１６２が複数存在する場合には、右方に位置する方が上位の配置順位となる。すなわち、右上に位置する第１領域１６２が最上位となり、左下に位置する第１領域１６２が最下位となる。
【００６１】
しかしながら、新聞等の記事においては、本文の書字方向とは異なる順番で、本文のブロックが配置されることがある。このような場合には、本文の書字方向および第１領域１６２の位置に応じて各第１領域１６２の配置順位を設定した場合に、文章が適切に繋がらなくなってしまうことがある。
【００６２】
そこで、本実施例では、順位設定画面１６０において、複数の第１領域１６２の配置順位を指定する第１種類のユーザ操作が検出された場合に、第１領域１６２の配置順位を変更（再設定）できるようにした。
【００６３】
具体的には、順位設定画面１６０においていずれかのマーク画像１７４がタッチされると、全部または一部の第１領域１６２の配置順位が消去され、配置順位が消去された第１領域１６２に対応するマーク画像１７４に表示されていた数字が消去され、マーク画像１７４が空白となる。
【００６４】
たとえば、いずれかのマーク画像１７４がタッチされた場合、全ての第１領域１６２の配置順位が消去されるようにしても良いし、タッチされたマーク画像１７４に対応する第１領域１６２と、その第１領域１６２よりも下位の第１領域１６２の配置順位が消去されるようにしても良い。
【００６５】
また、配置順位が消去された第１領域１６２に対応するマーク画像１７４がタッチされることによって、第１領域１６２の配置順位が再設定される。たとえば、タッチされたマーク画像１７４に対応する第１領域１６２には、その時点での最上位の配置順位が設定される。したがって、マーク画像１７４がタッチされる順に応じて、第１領域１６２の配置順位が設定される。なお、第１領域１６２の配置順位が再設定された場合に、配置順位が未設定の第１領域１６２に対応するマーク画像１７４に、配置順位の候補となる数字を表示させても良い。配置順位の候補は、初期の配置順位が設定される際と同じ方法で設定される。ただし、配置順位の候補となる数字は、配置順位が設定済のマーク画像１７４に表示される数字とは異なる態様で表示される（たとえば薄く表示される）。
【００６６】
以上のように、本実施例では、マーク画像１７４をタッチする操作が、第１種類のユーザ操作に相当する。なお、順位設定画面１６０にテンキーを表示して、タッチしたマーク画像１７４に配置順位を示す数字を入力できるようにしても良い。
【００６７】
“ＯＫ”ボタン１６６は、第１領域１６２の配置順位を確定させる機能が割り当てられる。“リセット”ボタン１６８は、第１領域１６２の配置順位をリセットする機能が割り当てられる。
【００６８】
“ＯＫ”ボタン１６６がタッチされると、第１領域１６２の配置順位が確定される。ただし、“ＯＫ”ボタン１６６は、全部または一部の第１領域１６２の配置順位が消去された状態では、無効にされており、選択できない。すなわち、全部または一部の第１領域１６２の配置順位が消去された状態では、第１領域１６２の配置順位を確定させることができない。図示は省略するが、“ＯＫ”ボタン１６６が無効にされている場合には、“ＯＫ”ボタン１６６がグレーアウト（または半透明）で表示されても良いし、“ＯＫ”ボタン１６６をタッチすることができない旨ないし全ての第１領域１６２の配置順位を確定させるようにユーザを促すメッセージ等が表示されても良い。これらのことは、後述する“ＯＫ”ボタン２０６も同様である。
【００６９】
“リセット”ボタン１６８がタッチされると、第１領域１６２の配置順位が初期の配置順位に戻る。なお、“リセット”ボタン１６８がタッチされると、全ての第１領域１６２の配置順位が消去されるようにしても良い。これらのことは、後述する“リセット”ボタン２０８も同様である。
【００７０】
“ＯＫ”ボタン１６６がタッチされ、第１領域１６２の配置順位が確定されると、抽出画像に含まれる領域毎に切り出された画像（個別画像）が生成される。具体的には、第１領域１６２の各々に対応する個別の画像（第１種類の個別画像１８８）および第２領域１７０の各々に対応する個別の画像（第２種類の個別画像１９０）が生成される（図８等参照）。そして、２種類の個別画像１８８，１９０が所定の形状（たとえば長方形）に収まるように再構成（再配置）された画像がクリップ画像として自動的に生成される。
【００７１】
クリップ画像が生成されると、図８〜１０に示すような画像調整画面１８０がディスプレイ９６に表示される。画像調整画面１８０は、クリップ画像を確認ないし調整するための画面である。この画像調整画面１８０には、抽出範囲を設定することをユーザに促すメッセージ、クリップ画像に対応するプレビュー画像１８２、“ＯＫ”ボタン１８４および“リセット”ボタン１８６が表示される。
【００７２】
プレビュー画像１８２には、クリップ画像に含まれる２種類の個別画像１８８，１９０が表示される。本実施例では、プレビュー画像１８２には、第１領域１６２ａ〜１６２ｅのそれぞれに対応する第１種類の個別画像１８８ａ〜１８８ｅが表示される。また、プレビュー画像１８２には、第２領域１７０ａ〜１７０ｃのそれぞれに対応する第２種類の個別画像１９０ａ〜１９０ｃが表示される。そして、個別画像１８８，１９０のそれぞれは、クリップ画像の外形形状を示す外枠１８２ａに収まるように配置されている。
【００７３】
また、図８に示すクリップ画像の初期レイアウトでは、個別画像１８８，１９０が表示されない領域（余白）は設定されない。
【００７４】
ただし、個別画像１８８，１９０のそれぞれの初期の位置は、書字方向設定画面１４０で設定された本文の書字方向および第１種類の個別画像１８８の配置順位に応じて自動的に設定されている。なお、第１種類の個別画像１８８の配置順位は、対応する第１領域１６２の配置順位と同じである。
【００７５】
まず、複数の第１種類の個別画像１８８のうち、配置順位が上位のものが書字方向の文頭側に配置され、配置順位が下位のものが書字方向の文末側に配置される。たとえば、本文が縦書きの場合には、第１種類の個別画像１８８のうち、配置順位が上位のものが上方に配置され、配置順位が下位のものが下方に配置される。また、第１種類の個別画像１８８のうち、配置順位が上位のものが右方に配置され、配置順位が下位のものが左方に配置される。
【００７６】
また、第２種類の個別画像１９０ａ〜１９０ｃのそれぞれは、プレビュー画像１８２（クリップ画像）の上下左右の端部にそれぞれ配置される。たとえば、見出しが記述される第２種類の個別画像１９０は、当該見出しの書字方向に直交する方向の端部に配置される。すなわち、横書きの見出しに対応する第２種類の個別画像１９０は、クリップ画像の上下の端部に配置される。一方、縦書きの見出しに対応する第２種類の個別画像１９０は、クリップ画像の左右の端部に配置される。
【００７７】
ただし、本実施例では、個別画像１８８，１９０のそれぞれの位置は、個別画像１８８，１９０の配置を変更する第２種類のユーザ操作が検出された場合に、変更される。
【００７８】
具体的には、個別画像１８８，１９０は、スライド（ドラッグ）操作されることによってクリップ画像の表示範囲内（外枠１８２ａの範囲内）において移動される。
【００７９】
図９は、図８に示す状態においてクリップ画像の上端部に表示されていた第２種類の個別画像１９０ａが、上下方向の中央に移動された状態を示す。このとき、第２種類の個別画像１９０ａが移動されたことに伴い、第２種類の個別画像１９０ａの移動先の範囲に表示されていた他の個別画像１８８，１９０が連動して移動されたり、他の個別画像１８８，１９０の大きさが調整されたりする。また、図８に示す状態において上下方向の中央に表示されていた第１種類の個別画像１８８ａ〜１８８ｃおよび第２種類の個別画像１９０ｂが、上方に移動される。すなわち、第２種類の個別画像１９０ａと、第１種類の個別画像１８８ａ〜１８８ｃおよび第２種類の個別画像１９０ｂとが上下で入れ替わるようになる。ここで、第１種類の個別画像１８８ａ〜１８８ｃおよび第２種類の個別画像１９０ｂが移動される距離は、第２種類の個別画像１９０ａの上下方向の寸法に相当する。また、第２種類の個別画像１９０ｂの移動先のスペースの大きさと、第２種類の個別画像１９０ｂの大きさとが異なるので、第２種類の個別画像１９０ｂの上下方向の寸法が調整（ここでは、拡大）される。さらに、移動後の第２種類の個別画像１９０ａと、第２種類の個別画像１９０ｃの一部とが重なるので、第２種類の個別画像１９０ｃの上下方向の寸法が調整（縮小）される。
【００８０】
以上のように、本実施例では、個別画像１８８，１９０をスライドする操作が、第２種類のユーザ操作に相当する。
【００８１】
また、本実施例では、クリップ画像の外形は、クリップ画像の外形を変更する第４種類のユーザ操作が検出された場合に、変更される。
【００８２】
具体的には、外枠１８２ａの所定の箇所には、ハンドル画像１９２が表示され、クリップ画像の外形は、ハンドル画像１９２がスライド操作されることによって変更される。
【００８３】
ハンドル画像１９２は、たとえば小さな矩形状または円形状の画像であり、外枠１８２ａの隅（四隅）および外枠１８２ａの辺の中点等に表示される。
【００８４】
図１０は、図８に示す状態に対して、クリップ画像の外形が横方向（左右方向）に拡大された状態を示す。このとき、クリップ画像の外形が変更されたことに伴い、個別画像１８８，１９０がクリップ画像の範囲内に収まるように自動的に再配置される。また、クリップ画像の外形が変更されたことに伴い、個別画像１８８，１９０のそれぞれの外径も変更されても良い。図１０に示す例では、クリップ画像の外形が左右方向に拡大されるので、個別画像１８８，１９０のそれぞれは、クリップ画像の外形の拡大率に応じて、左右に拡大される。このとき、各個別画像１８８，１９０が互いに重ならないように、各個別画像１８８，１９０の位置が調整される。
【００８５】
なお、変更後のクリップ画像の外形によっては、個別画像１８８，１９０が表示されない領域（余白）が生じることがある。この場合、余白が無くなるようにクリップ画像の外形が自動的に変更されても良いし、クリップ画像の外形を変更せずに、そのまま余白を含むようにしても良い。
【００８６】
また、図示は省略するが、縦横比（アスペクト比）を維持しながら、クリップ画像の外形が拡大または縮小される場合には、クリップ画像が全体的に拡大または縮小されるようにしても良い。このとき、個別画像１８８，１９０の各々は、クリップ画像の外形の大きさの変化に応じて、拡大または縮小され、位置が調整される。
【００８７】
なお、クリップ画像の外形が拡大された場合には、個別画像１８８，１９０が連動して移動されたり、個別画像１８８，１９０の大きさが調整されたりするようにしたが、これに限定される必要は無い。たとえば、クリップ画像の外形が拡大された場合に個別画像１８８，１９０の位置および大きさは変更せずに、クリップ画像の外形だけが拡大するようにしてもよい。すなわち、意図的に余白部分を設定できるようにしても良い。
【００８８】
以上のように、本実施例では、ハンドル画像１９２をスライドする操作が、第４種類のユーザ操作に相当する。
【００８９】
また、個別画像１８８，１９０がタッチされた場合に、外枠およびハンドル画像を表示するようにして、個別画像１８８，１９０に対応するハンドル画像がスライド操作（第３種類のユーザ操作）された場合に、個別画像１８８，１９０のそれぞれの外形を個別に変更できるようにしても良い。
【００９０】
さらに、画像調整画面１８０において、第５種類のユーザ操作が検出された場合に、個別画像１８８，１９０を消去できるようにしても良い。たとえば、個別画像１８８，１９０に対して特定の操作（ダブルタップ）が行われることによって、個別画像１８８，１９０が消去されるようにしても良いし、個別画像１８８，１９０がタッチされた場合に、タッチされた個別画像１８８，１９０の近傍にその個別画像１８８，１９０消去するためのアイコン（消去用アイコン）を表示して、消去用アイコンがタッチされた場合に、消去用アイコンに対応する個別画像１８８，１９０が消去されるようにしても良い。
【００９１】
“ＯＫ”ボタン１８４は、クリップ画像の調整を終了させる機能が割り当てられる。“リセット”ボタン１８６は、クリップ画像をリセットする機能が割り当てられる。“リセット”ボタン１８６がタッチされると、クリップ画像が初期化される。クリップ画像が初期化されるとは、クリップ画像の外形形状、第１種類の個別画像１８８および第２種類の個別画像１９０の配置等が初期状態に戻ることを意味する。また、“ＯＫ”ボタン１８４がタッチされると、最新状態のクリップ画像がＨＤＤ８６に記憶される。なお、“ＯＫ”ボタン１８４がタッチされた場合に、クリップ画像がＨＤＤ８６に記憶されることに加え、またはこれに代えて、クリップ画像が印刷されるようにしても良い。
【００９２】
次に、図１１を参照して、本文の書字方向が横書きに設定されている場合の順位設定画面２００について説明する。なお、順位設定画面２００は、基本的には本文の書字方向が縦書きに設定されている場合の順位設定画面１６０と同じであるので、順位設定画面１６０と異なる内容について説明し、重複する説明は省略することにする。
【００９３】
順位設定画面２００には、複数の第１領域２０２を含むプレビュー画像２０４、“ＯＫ”ボタン２０６および“リセット”ボタン２０８が表示される。
【００９４】
プレビュー画像２０４には、２つの第１領域２０２（２０２ａ〜２０２ｅ）および４つの第２領域２１０（２１０ａ〜２１０ｄ）が含まれる。ただし、第２領域２１０ａ〜２１０ｃのそれぞれは、見出しに対応する領域であり、第２領域２１０ｄは、挿し絵または写真に対応する領域である。また、第２領域２１０のそれぞれには、対応する要素の種類に応じた色が着色される。たとえば、見出しに対応する第２領域２１０ａ〜２１０ｃと、挿し絵または写真に対応する第２領域２１０ｄとは、互いに異なる色に着色される。たとえば、見出しに対応する第２領域２１０ａ〜２１０ｃは、緑色に着色され、挿し絵または写真に対応する第２領域２１０ｄは、水色に着色される。したがって、第２領域のうち、対応する要素の種類毎に区別し易くなっている。
【００９５】
また、本文が横書きの場合には、矢印画像２１２は、第１領域２０２の左上部から右上部および左下部を経て右下部に向かって延びる略Ｚ字形状の矢印の画像となる。さらに、マーク画像２１４は、第１領域２０２の左上部に表示される。
【００９６】
なお、本実施例では、クリップ画像の初期レイアウトにおいて、余白が設定されない場合を例に挙げて説明したが、これに限定される必要は無い。たとえば、クリップ画像の初期レイアウトにおいて、上下左右の少なくとも一辺に、余白の領域（余白領域）が設定されても良い、この場合、個別画像１８８，１９０等と同様に、ユーザ操作によって、余白領域を移動させたり、余白領域の外形を変更したりできるようにしてもよい。
【００９７】
また、初期状態のクリップ画像が生成される前に、クリップ画像の外形形状を設定できるようにしても良い。たとえば、定形の用紙サイズおよび用紙の向き（縦置きまたは横置き）を選択するための画面をディスプレイ９６に表示して、選択された用紙サイズおよび用紙の向きに合わせて、クリップ画像の外形形状が設定されるようにしても良い。
【００９８】
さらに、外部コンピュータから送信された画像またはＨＤＤ８６に記憶されている画像が元画像として用いられる場合には、ホーム画面１００でクリッピングジョブが選択されると、クリップ画像の元になる画像（元画像）を選択するための画面（元画像選択画面）がディスプレイ９６に表示される。元画像選択画面には、外部コンピュータから送信された画像またはＨＤＤ８６に記憶されている画像に対応するサムネイル画像等が表示され、サムネイル画像が選択（タッチ）されることによって、元画像が設定（選択）される。元画像が設定されると、図４に示すような抽出範囲設定画面１２０が表示される。抽出範囲設定画面１２０が表示された後の処理は、上述した読取画像を用いる場合の処理内容と同じであるので、説明を省略する。
【００９９】
画像形成装置１０の上記のような動作は、ＣＰＵ８０がＲＡＭ８４に記憶された制御プログラムを実行することによって実現される。具体的な処理については、後でフロー図を用いて説明する。
【０１００】
図１２は図２に示したＲＡＭ８４のメモリマップ３００の一例を示す図である。ＲＡＭ８４は、プログラム記憶領域３０２およびデータ記憶領域３０４を含み、プログラム記憶領域３０２には、画像形成装置１０の制御プログラムが記憶される。ただし、画像形成装置１０は、画像読取装置１４を含むため、この制御プログラムは、画像読取装置１４の制御プログラムを含む。
【０１０１】
図１２に示すように、プログラム記憶領域３０２に記憶される制御プログラムは、表示プログラム３０２ａ、操作検出プログラム３０２ｂ、読取プログラム３０２ｃ、抽出プログラム３０２ｄ、書字方向設定プログラム３０２ｅ、判別プログラム３０２ｆ、順位設定プログラム３０２ｇ、個別画像生成プログラム３０２ｈ、クリップ画像生成プログラム３０２ｉおよび調整プログラム３０２ｊなどを含む。
【０１０２】
表示プログラム３０２ａは、ポリゴンデータおよびテクスチャデータを含む画像生成データを用いて、ディスプレイ９６に表示する各種の画面に対応する表示画像データを生成し、ディスプレイ９６に出力するためのプログラムである。
【０１０３】
操作検出プログラム３０２ｂは、入力装置９４への入力操作を検出するためのプログラムである。たとえば、操作検出プログラム３０２ｂは、タッチパネルが操作された場合に入力制御回路９０から出力されたタッチ座標データを取得して、ディスプレイ９６に表示されるソフトウェアキーが操作されたことを検出するためのプログラムである。また、操作検出プログラム３０２ｂは、ハードウェアキーが操作された場合に入力制御回路９０から出力された操作データを取得して、ハードウェアキーが操作されたことを検出するためのプログラムである。
【０１０４】
読取プログラム３０２ｃは、原稿の画像を読み取り（スキャンし）、読み取った画像に対応する画像信号（画像データ）を出力するためのプログラムである。クリッピングジョブが設定されている場合には、読取プログラム３０２ｃは、原稿載置台１６上に載置された原稿の全体の画像をスキャンし、原稿の全体の画像に対応する読取画像についての画像データを出力するためのプログラムである。
【０１０５】
抽出プログラム３０２ｄは、ユーザによって設定された抽出範囲１２４に応じて、元画像から抽出範囲１２４に含まれる抽出画像に対応する抽出画像データを生成するためのプログラムである。
【０１０６】
書字方向設定プログラム３０２ｅは、抽出画像に含まれる本文の書字方向を設定するためのプログラムである。
【０１０７】
判別プログラム３０２ｆは、抽出画像に含まれる第１領域１６２と第２領域１７０とを判別するためのプログラムである。また、判別プログラム３０２ｆは、第２領域１７０に含まれる要素の種類毎に、第２領域１７０の種類を判別するためのプログラムでもある。
【０１０８】
順位設定プログラム３０２ｇは、本文の書字方向および抽出画像に含まれる第１領域１６２の位置に応じて、第１領域１６２の配置順位を自動的に設定するためのプログラムである。また、順位設定プログラム３０２ｇは、第１種類のユーザ操作が検出された場合に、第１種類のユーザ操作に応じて、第１領域１６２の配置順位を変更（再設定）するためのプログラムでもある。
【０１０９】
個別画像生成プログラム３０２ｈは、抽出画像から、第１領域１６２の各々に対応する第１種類の個別画像１８８および第２領域１７０の各々に対応する第２種類の個別画像１９０を切り出し、個別画像１８８，１９０に対応する個別画像データを生成するためのプログラムである。
【０１１０】
クリップ画像生成プログラム３０２ｉは、個別画像１８８，１９０を、所定の形状に収まるように再構成したクリップ画像に対応するクリップ画像データを生成するためのプログラムである。
【０１１１】
調整プログラム３０２ｊは、ユーザの入力操作に応じて、クリップ画像を調整するためのプログラムである。たとえば、調整プログラム３０２ｊは、第２種類のユーザ操作が検出された場合に、第２種類のユーザ操作に応じて、個別画像１８８，１９０の表示位置を移動するためのプログラムである。また、調整プログラム３０２ｊは、第３種類のユーザ操作が検出された場合に、第３種類のユーザ操作に応じて、個別画像１８８，１９０の外形を変更するためのプログラムでもある。さらに、調整プログラム３０２ｊは、第４種類のユーザ操作が検出された場合に、第４種類のユーザ操作に応じて、クリップ画像の外形を変更するためのプログラムでもある。
【０１１２】
図示は省略するが、プログラム記憶領域３０２には、通信プログラムおよび画像形成プログラムなど、画像形成装置１０が備える機能を制御するための他のプログラムも記憶される。
【０１１３】
また、データ記憶領域３０４には、画像生成データ３０４ａ、操作データ３０４ｂ、読取画像データ３０４ｃ、抽出画像データ３０４ｄ、書字方向データ３０４ｅ、個別画像データ３０４ｆ、配置順位データ３０４ｇおよびクリップ画像データ３０４ｈが記憶される。
【０１１４】
画像生成データ３０４ａは、ディスプレイ９６に表示される各種の画面についての表示画像データを生成するためのポリゴンデータおよびテクスチャデータなどを含む画像データである。また、画像生成データ３０４ａには、ソフトウェアキーの画像データ等も含まれる。操作データ３０４ｂは、操作検出プログラム３０２ｂに従って検出された、タッチ座標データまたは／および操作データである。
【０１１５】
読取画像データ３０４ｃは、読取プログラム３０２ｃに従って出力された画像データである。クリッピングジョブが設定されている場合には、原稿の全体の画像に対応する読取画像についての画像データが読取画像データ３０４ｃとして記憶される。
【０１１６】
抽出画像データ３０４ｄは、抽出プログラム３０２ｄに従って元画像から抽出された、抽出画像についての画像データである。
【０１１７】
書字方向データ３０４ｅは、書字方向設定プログラム３０２ｅに従って設定された本文の書字方向についてのデータである。たとえば、書字方向データ３０４ｅは、本文が縦書きであることを示すデータまたは本文が横書きであることを示すデータである。
【０１１８】
個別画像データ３０４ｆは、個別画像生成プログラム３０２ｈに従って生成された、個別画像１８８，１９０についての画像データである。
【０１１９】
配置順位データ３０４ｇは、個別画像１８８の各々の配置順位を示すデータである。
【０１２０】
クリップ画像データ３０４ｈは、クリップ画像生成プログラム３０２ｉに従って生成された、クリップ画像についての画像データである。また、クリップ画像データ３０４ｈは、調整プログラム３０２ｊによって調整されたクリップ画像についての画像データでもある。
【０１２１】
図示は省略するが、データ記憶領域３０４には、制御プログラムを実行するために必要な画像生成データなどの他のデータが記憶されたり、制御プログラムを実行するために必要な他のフラグが記憶されたりする。
【０１２２】
図１３は図２に示すＣＰＵ８０のクリッピング処理の一例の一部を示すフロー図である。図１４はクリッピング処理の一部であって、図１３に後続するフロー図である。ユーザがクリッピングジョブを設定すると、図１３に示すように、ＣＰＵ８０は、クリッピング処理を開始し、ステップＳ１で、元画像が設定されたかどうかを判断する。ここでは、読取画像が元画像として用いられる場合には、読取指示があるかどうかを判断する。また、外部コンピュータから送信された画像またはＨＤＤ８６に記憶されている画像が元画像として用いられる場合には、元画像選択画面を表示して、元画像が選択されたかどうかを判断する。
【０１２３】
ステップＳ１で“ＮＯ”であれば、つまり、元画像が設定されないと判断した場合は、ステップＳ１に戻る。一方、ステップＳ１で“ＹＥＳ”であれば、つまり、元画像が設定されたと判断した場合は、ステップＳ３で、元画像を設定し、ステップＳ５で、ディスプレイ９６に抽出範囲設定画面１２０を表示して、ステップＳ７で、抽出範囲１２４が設定されたかどうかを判断する。ステップＳ７で“ＮＯ”であれば、つまり、抽出範囲１２４が設定されないと判断した場合は、ステップＳ７に戻る。一方、ステップＳ７で“ＹＥＳ”であれば、つまり、抽出範囲１２４が設定されたと判断した場合は、ステップＳ９で、ディスプレイ９６に書字方向設定画面１４０を表示して、ステップＳ１１で、抽出画像に含まれる本文の書字方向が設定されたかどうかを判断する。
【０１２４】
ステップＳ１１で“ＮＯ”であれば、つまり、本文の書字方向が設定されないと判断した場合は、ステップＳ１１に戻る。一方、ステップＳ１１で“ＹＥＳ”であれば、つまり、本文の書字方向が設定されたと判断した場合は、ステップＳ１３で、抽出範囲１２４対応する抽出画像が生成され、ステップＳ１５で、抽出画像に含まれる領域の種類が判別され、ステップＳ１７で、ディスプレイ９６に順位設定画面１６０を表示して、ステップＳ１９で、順位設定処理を行う。なお、順位設定処理の詳しい内容については後述する。
【０１２５】
続いて、ステップＳ２１で、抽出画像に含まれる領域の各々を個別に切り出した個別画像１８８，１９０を生成して、図１４に示すステップＳ２３へ進む。
【０１２６】
ステップＳ２３では、設定された本文の書字方向および個別画像１８８の配置順位に応じて、個別画像１８８，１９０が所定の形状に収まるように再構成したクリップ画像を生成して、ステップＳ２５で、ディスプレイ９６に画像調整画面１８０を表示して、ステップＳ２７で、画像調整処理を行い、クリッピング処理を終了する。なお、画像調整処理の詳しい内容については後述する。
【０１２７】
図１５は図２に示すＣＰＵ８０の順位設定処理の一例を示すフロー図である。たとえば、この順位設定処理のフローは、上述したクリッピング処理のステップＳ１９において実行されるサブルーチンである。
【０１２８】
図１５に示すように、ＣＰＵ８０は、順位設定処理を開始すると、ステップＳ３１で、配置順位を消去するかどうかを判断する。ここでは、順位設定画面１６０においていずれかのマーク画像１７４がタッチされたかどうかを判断する。
【０１２９】
ステップＳ３１で“ＮＯ”であれば、つまり、配置順位を消去しないと判断した場合は、後述するステップＳ４５に進む。一方、ステップＳ３１で“ＹＥＳ”であれば、つまり、配置順位を消去すると判断した場合は、ステップＳ３３で、配置順位を消去する。ここでは、全部または一部の第１領域１６２の配置順位が消去される。
【０１３０】
続いて、ステップＳ３５で、変数Ｎに初期値を設定する（Ｎ＝初期値）。変数Ｎは、クリップ画像に含まれる第１領域１６２の数を識別するための変数である。また、初期値は、全部または一部の第１領域１６２の配置順位が消去された状態で、未設定の配置順位のうち、最上位の配置順位に対応する数値である。
【０１３１】
続いて、ステップＳ３７で、配置順位が消去された第１領域１６２のうち、いずれかの第１領域１６２の配置順位が再設定されたかどうかを判断する。ここでは、配置順位が消去された第１領域１６２に対応するマーク画像１７４がタッチされたかどうかを判断する。ステップＳ３７で“ＮＯ”であれば、つまり、第１領域１６２の配置順位が再設定されないと判断した場合は、ステップＳ３７に戻る。一方、ステップＳ３７で“ＹＥＳ”であれば、つまり、第１領域１６２の配置順位が再設定されたと判断した場合は、ステップＳ３９で、ユーザに選択された第１領域１６２の配置順位をＮ位に設定して、ステップＳ４１で、変数Ｎを１加算して（Ｎ＝Ｎ＋１）、ステップＳ４３で、変数Ｎが最大値であるかどうかを判断する。ここでは、全ての第１領域１６２に配置順位が設定されたかどうかを判断する。
【０１３２】
ステップＳ４３で“ＮＯ”であれば、つまり、変数Ｎが最大値でないと判断した場合は、ステップＳ３７に戻る。一方、ステップＳ４３で“ＹＥＳ”であれば、つまり、変数Ｎが最大値であると判断した場合は、ステップＳ４５で、順位設定処理を終了するかどうかを判断する。ここでは、“ＯＫ”ボタン１６６がタッチされたかどうかを判断する。ステップＳ４５で“ＮＯ”であれば、つまり、順位設定処理を終了しないと判断した場合は、ステップＳ３１に戻る。一方、ステップＳ４５で“ＹＥＳ”であれば、つまり、順位設定処理を終了すると判断した場合は、順位設定処理のフローを終了して、クリッピング処理にリターンする。
【０１３３】
図１６は図２に示すＣＰＵ８０の画像調整処理の一例を示すフロー図である。たとえば、この画像調整処理のフローは、上述したクリッピング処理のステップＳ２７において実行されるサブルーチンである。
【０１３４】
図１６に示すように、ＣＰＵ８０は、画像調整処理を開始すると、ステップＳ５１で、個別画像１８８，１９０が移動されたかどうかを判断する。ここでは、個別画像１８８，１９０がスライド操作されたかどうかを判断する。ステップＳ５１で“ＹＥＳ”であれば、つまり、個別画像１８８，１９０が移動されたと判断した場合は、ステップＳ５５に進む。一方、ステップＳ５１で“ＮＯ”であれば、つまり、個別画像１８８，１９０が移動されないと判断した場合は、ステップＳ５３で、クリップ画像の外形が変更されたかどうかを判断する。ステップＳ５３で“ＮＯ”であれば、つまり、クリップ画像の外形が変更されないと判断した場合は、後述するステップＳ５７に進む。一方、ステップＳ５３で“ＹＥＳ”であれば、つまり、クリップ画像の外形が変更されたと判断した場合は、ステップＳ５５で、クリップ画像を再構成する。
【０１３５】
続いて、ステップＳ５７で、クリップ画像の調整をやり直すかどうかを判断する。ここでは、画像調整画面１８０において、“リセット”ボタン１８６がタッチされたかどうかを判断する。ステップＳ５７で“ＹＥＳ”であれば、つまり、クリップ画像の調整をやり直すと判断した場合は、ステップＳ５９で、クリップ画像を初期化（ステップＳ２３で生成されたときの状態に戻す）して、ステップＳ５１に戻る。一方、ステップＳ５７で“ＮＯ”であれば、つまり、クリップ画像の調整をやり直さないと判断した場合は、ステップＳ６１で、画像調整処理を終了するかどうかを判断する。ここでは、“ＯＫ”ボタン１８４がタッチされたかどうかを判断する。ステップＳ６１で“ＮＯ”であれば、つまり、画像調整処理を終了しないと判断した場合は、ステップＳ５１に戻る。一方、ステップＳ６１で“ＹＥＳ”であれば、つまり、画像調整処理を終了すると判断した場合は、画像調整処理のフローを終了して、クリッピング処理にリターンする。
【０１３６】
この第１実施例では、クリップ画像に含まれる本文の書字方向が設定され、設定された本文の書字方向に応じて本文を含む複数の第１領域１６２の配置順が設定され、本文の書字方向および本文を含む複数の第１領域１６２の配置順に従って、複数の第１領域１６２のそれぞれに対応する第１種類の個別画像１８８および本文以外の要素が記述される第２種類の個別画像１９０を所定の形状に再配置したクリップ画像を生成する。したがって、新聞等の文字を含む原稿を読み取って得られた画像の一部を抽出する場合に、文章が適切に繋がるように再構成することができる。
【０１３７】
また、第１実施例によれば、複数の第１領域１６２の配置順を示す画像を含む画面をディスプレイ９６に表示させるので、ユーザは、複数の第１領域１６２の配置順を確認することができる。また、複数の第１領域１６２の配置順は、ユーザ操作に応じて変更することができるので、文章がより適切に繋がるように再構成することができる。
【０１３８】
さらに、第１実施例によれば、クリップ画像に含まれる個別画像１８８，１９０のそれぞれの位置は、ユーザ操作に応じて変更することができるので、ユーザの好みに合ったクリップ画像を生成することができ、使い勝手が良い。
【０１３９】
さらにまた、第１実施例によれば、クリップ画像に含まれる個別画像１８８，１９０のそれぞれの大きさは、ユーザ操作に応じて変更することができるので、ユーザの好みに合ったクリップ画像を生成することができ、使い勝手が良い。
【０１４０】
また、第１実施例によれば、クリップ画像の外形形状は、ユーザ操作に応じて変更することができるので、ユーザの好みに合ったクリップ画像を生成することができ、使い勝手が良い。
【０１４１】
［第２実施例］
第２実施例の画像形成装置１０は、クリップ画像の一部に、禁止範囲が設定されるようにした以外は、第１実施例と同じであるため、第１実施例と異なる内容について説明し、重複した説明については省略する。
【０１４２】
第２実施例では、クリップ画像が生成される前に、クリップ画像の一部に、個別画像の配置を禁止する範囲である禁止範囲が設定される。
【０１４３】
第２実施例では、クリップ画像が生成される前に、図１７に示すような禁止範囲画面２２０がディスプレイ９６に表示される。たとえば、禁止範囲画面２２０は、第１領域１６２の配置順位が確定された後に、ディスプレイ９６に表示される。
【０１４４】
禁止範囲画面２２０は、クリップ画像の一部に、個別画像１８８，１９０の配置を禁止する範囲である禁止範囲２２８を設定するための画面である。この禁止範囲画面２２０には、禁止範囲２２８を設定することをユーザに促すメッセージおよびクリップ画像の外形形状（表示範囲）に対応するプレビュー画像２２２、“ＯＫ”ボタン２２４および“リセット”ボタン２２６が表示される。
【０１４５】
禁止範囲画面２２０では、プレビュー画像２２２の表示範囲内への入力操作に応じて禁止範囲２２８が設定される。たとえば、禁止範囲２２８を設定する方法としては、ユーザがプレビュー画像２２２の表示範囲内の２点をタッチして範囲を指定できるようにしても良いし、プレビュー画像２２２の表示範囲内に禁止範囲２２８を示す枠を表示させ、ユーザが枠の大きさを変えたり移動させたりして範囲を指定できるようにしても良い。
【０１４６】
また、プレビュー画像２２２の表示範囲のうち、禁止範囲２２８以外の範囲は、個別画像１８８，１９０の配置が可能な範囲（配置可能範囲）２３０である。
【０１４７】
“ＯＫ”ボタン２２４は、禁止範囲２２８を確定させる機能が割り当てられる。“リセット”ボタン２２６は、禁止範囲２２８をリセット（初期化）する機能が割り当てられる。
【０１４８】
“ＯＫ”ボタン２２４がタッチされ、禁止範囲２２８が確定されると、クリップ画像が生成され、図１８に示すような画像調整画面２４０がディスプレイ９６に表示される。
【０１４９】
図１８に示すように、禁止範囲２２８が設定された場合、個別画像１８８，１９０は、禁止範囲２２８には配置されず、配置可能範囲２３０に配置される。また、禁止範囲２２８には、個別画像１８８，１９０を移動させることができない。なお、クリップ画像の外形が変更された場合には、禁止範囲２２８は、クリップ画像の中に占める禁止範囲２２８の位置、大きさおよび範囲を維持しながら、拡大または縮小される。なお、画像調整画面２４０は、基本的な構成は画像調整画面１８０と同じであるので、詳しい説明は省略する。
【０１５０】
また、第２実施例においては、制御プログラムには、禁止範囲を設定するためのプログラムなどがさらに含まれる。さらに、データ記憶領域３０４には、禁止範囲データが記憶される。禁止範囲データは、禁止範囲を示す座標データの集合である。
【０１５１】
以下、フロー図を用いて、第２実施例におけるクリッピング処理について説明するが、第１実施例で説明したクリッピング処理と同じ処理については同じ参照符号を付し、重複した内容については、説明を省略するまたは簡単に説明することにする。
【０１５２】
図１９は第２実施例のクリッピング処理の一例の一部であって、図１３に後続するフロー図である。ＣＰＵ８０は、クリッピング処理を開始すると、ステップＳ２１で、個別画像１８８，１９０を生成して、図１９に示すステップＳ７１で、ディスプレイ９６に禁止範囲画面２２０を表示して、ステップＳ７３で、禁止範囲が設定されたかどうかを判断する。
【０１５３】
ステップＳ７３で“ＮＯ”であれば、つまり、禁止範囲が設定されないと判断した場合は、ステップＳ７７に進む。一方、ステップＳ７３で“ＹＥＳ”であれば、つまり、禁止範囲が設定されたと判断した場合は、ステップＳ７５で、禁止範囲を設定して、ステップＳ７７で、禁止範囲を確定するかどうかを判断する。ステップＳ７７で“ＮＯ”であれば、つまり、禁止範囲を確定しないと判断した場合は、ステップＳ７３に戻る。一方、ステップＳ７７で“ＹＥＳ”であれば、つまり、禁止範囲を確定すると判断した場合は、ステップＳ２３に進む。
【０１５４】
なお、ステップＳ２１までの処理およびステップＳ２３以降の処理の内容については、第１実施例と同じであるので説明を省略する。
【０１５５】
第２実施例によれば、クリップ画像の一部に、禁止範囲が設定されるようにしたので、個別画像１８８，１９０を配置させたくない範囲、すなわちクリップ画像における余白部分を設定できる。
【０１５６】
また、第２実施例によれば、ユーザによるタッチ入力に応じて禁止範囲２２８が設定されるので個別画像１８８，１９０を配置させたくない範囲をユーザ自身によって自由に設定することができる。
【０１５７】
なお、上述の実施例で挙げた具体的な構成等は一例であり、実際の製品に応じて適宜変更することが可能である。また、上述の実施例で示したフロー図の各ステップは、同じ結果が得られるのであれば、処理される順番は適宜変更することが可能である。
【０１５８】
また、クリップ画像が生成される前に、クリップ画像に含まれる第１種類の個別画像１８８および第２種類の個別画像１９０のいずれか一方を、他方よりも大きく表示するようにしても良い。たとえば、第１種類の個別画像１８８を大きく表示して、本文（文字部分）が目立つようにしても良いし、第２種類の個別画像１９０を大きく表示して、本文以外の要素が目立つようにしても良い。この場合、いずれの種類の個別画像を大きく表示するかは、各種類の個別画像の数または範囲の大きさ等に応じて自動的に提案するようにしても良いし、本文または本文以外の要素のいずれが目立つようにするかどうかを選択するための画面がディスプレイ９６に表示され、ユーザが選択できるようにしても良い。
【０１５９】
さらに、クリップ画像が生成ないし調整される際に、第１種類の個別画像１８８に含まれる本文の書字方向を変更できるようにしても良い。具体的には、１種類の個別画像１８８に含まれる本文を１文字毎に分離しておき、縦書きから横書きに変更したり、横書きから縦書きに変更できるようにしても良い。この場合、クリップ画像が生成される前に、本文の書字方向を変更するかどうかを選択するための画面がディスプレイ９６に表示され、ユーザが選択できるようにしても良い。また、画像調整画面に本文の書字方向を変更するためのボタンが表示されても良い。
【０１６０】
さらにまた、クリップ画像が生成ないし調整される際に、第１種類の個別画像１８８に含まれる本文における、文字間隔または行間隔を変更できるようにしても良い。たとえば、画像調整画面において、第１種類の個別画像１８８がタッチされた場合に、文字間隔または行間隔が変更できるようにしたり、文字間隔または行間隔を変更するためのボタンが表示されるようにしても良い。
【符号の説明】
【０１６１】
１０  …画像形成装置
１４  …画像読取装置
２６  …画像読取部
８０  …ＣＰＵ
８４  …ＲＡＭ
９４  …入力装置
９６  …ディスプレイ
【図１】
2020191495.tif 000003
【図２】
2020191495.tif 000004
【図３】
2020191495.tif 000005
【図４】
2020191495.tif 000006
【図５】
2020191495.tif 000007
【図６】
2020191495.tif 000008
【図７】
2020191495.tif 000009
【図８】
2020191495.tif 000010
【図９】
2020191495.tif 000011
【図１０】
2020191495.tif 000012
【図１１】
2020191495.tif 000013
【図１２】
2020191495.tif 000014
【図１３】
2020191495.tif 000015
【図１４】
2020191495.tif 000016
【図１５】
2020191495.tif 000017
【図１６】
2020191495.tif 000018
【図１７】
2020191495.tif 000019
【図１８】
2020191495.tif 000020
【図１９】
2020191495.tif 000021