(57)【要約】【課題】画像データの所定領域の表示・非表示を容易に切り替える。【解決手段】画像処理装置（１２）は、画像データの選択領域を検出する選択領域認識部と、マスク画像データを生成するマスク画像生成部と、選択領域に対応付けたマスク画像データの配置、選択入力部の付加、および選択入力部への入力に応じてマスク画像データの表示・非表示が切り替わるファイルを生成するファイル生成部とを備える。【選択図】図１
2015050564.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データに対して指定された選択領域を検出し、前記選択領域を示す選択領域情報を生成する選択領域認識部と、
前記選択領域情報を参照して、前記選択領域に対応したマスク画像データを生成するマスク画像生成部と、
前記マスク画像データが前記入力画像データの前記選択領域に対応付けて配置され、前記マスク画像データの表示または非表示を選択する選択入力部が付加され、かつ前記選択入力部への選択入力に応じて前記マスク画像データの表示と非表示とが切り替わるファイルを生成するファイル生成部とを備えていることを特徴とする画像処理装置。
【請求項２】
前記選択領域情報が示す前記選択領域は、前記入力画像データの所定領域を囲むように指定されたものであり、
前記マスク画像生成部は、前記選択領域の内側領域または前記選択領域の外側領域のいずれかを塗り潰す前記マスク画像データを生成し、
前記ファイル生成部は、前記ファイルを表示するときの前記マスク画像データの透過率を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ファイル生成部は、前記画像ファイルが印刷される場合に、前記選択入力部が印刷されない設定とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記ファイル生成部は、前記入力画像データが複数頁からなる場合に、各入力画像データに対応して生成した複数のファイルの各頁に表示される前記選択入力部のいずれかが操作されることにより、前記複数のファイルに共通した前記マスク画像データの表示と非表示との切り替えが行われるように設定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置を備えることを特徴とする画像形成装置。
【請求項６】
請求項１から４のいずれか１項に記載の画像処理装置としてコンピュータを機能させるためのプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
【請求項７】
請求項６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像のレイヤにマスク画像のレイヤを付加したファイルを生成する画像処理装置、画像形成装置、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
従来、複合機等の画像形成装置は、紙文書を電子化する際に、原画像のレイヤとは別に付加的な情報のレイヤを埋め込んだ、複数レイヤを有するＰＤＦ(Portable Document Format)ファイルを生成する機能を備えたものが知られている。このＰＤＦファイルの表示については、ユーザが所望する表示を指定することができる。
【０００３】
例えば、特許文献１には、一旦、サーチャブルＰＤＦを作成し、複数の付加情報源の全てから取得した情報をサーチャブルＰＤＦに付加する。これにより、デフォルト設定として所定の挿入形態を指定する付加情報レイヤを有したファイルを生成する。そして、上記デフォルト設定を変更するように、付加情報源毎に挿入形態を指定する追加編集を行う。具体的には、付加する翻訳結果のレベルを選択する、付加情報の挿入に用いる文字のサイズを変更する、あるいは原文テキストのみを取り出すといった追加編集を行い、サーチャブルＰＤＦを作成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１５０５９９号公報（２０１１年８月４日公開）
【特許文献２】特開２００９−１１１６１１号公報（２００９年５月２１日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、例えば、個人情報等を含む原稿を電子化する際に、原稿画像そのもののレイヤに加えて、個人情報等を塗り潰し状態で表示するためのマスク画像のレイヤを埋め込んでファイルを生成しておけば、マスク画像の表示・非表示を切り替えることにより、個人情報の表示・非表示を切り替えることができる。しかしながら、上記従来の構成では、マスク画像の表示・非表示を変更する際には、別途編集作業が必要となる。このため、上記ファイルを表示した状態において、ユーザがその場での要求に応じて、マスク画像の表示・非表示（個人情報の表示・非表示）を容易に切り替えることができないという問題点を有している。
【０００６】
したがって、本発明は、原画像のレイヤにマスク画像のレイヤを付加したファイルにおいて、マスク画像の表示・非表示を容易に切り替えることができる画像処理装置、画像形成装置、プログラムおよび記録媒体の提供を目的としている。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、入力画像データに対して指定された選択領域を検出し、前記選択領域を示す選択領域情報を生成する選択領域認識部と、前記選択領域情報を参照して、前記選択領域に対応したマスク画像データを生成するマスク画像生成部と、前記マスク画像データが前記入力画像データの前記選択領域に対応付けて配置され、前記マスク画像データの表示または非表示を選択する選択入力部が付加され、かつ前記選択入力部への選択入力に応じて前記マスク画像データの表示と非表示とが切り替わるファイルを生成するファイル生成部とを備えていることを特徴としている。
【発明の効果】
【０００８】
本発明の一態様によれば、生成されたファイルは、ユーザが選択入力部を操作することにより、マスク画像データの表示と非表示とが切り替わるので、ファイルにおける所定領域の表示状態と非表示状態とを容易に切り替えることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態の画像形成装置の構成を示すブロック図である。
【図２】図１に示した領域選択部の構成を示すブロック図である。
【図３】図２に示したマーカー認識部による画像データのマーカー部分の認識動作を示す説明図である。
【図４】図１に示したファイル生成部の構成を示すブロック図である。
【図５】図１に示した制御部による、記憶部に保存されているファイルのファイルフォーマットを認識する動作を示すフローチャートである。
【図６】図６の（ａ）は画像形成装置における表示切替えＰＤＦファイルの生成動作を示すフローチャート、図６の（ｂ）は図６の（ａ）のＳ２６の動作の内容を示すフローチャートである。
【図７】図１に示したファイル生成部にて生成される表示切替えＰＤＦファイルの構成、およびその表示切替えＰＤＦファイルにおけるマーカー領域マスク画像の表示・非表示を制御する構成を示す模式図である。
【図８】図８の（ａ）は、図１に示したファイル生成部にて生成される表示切替えＰＤＦファイルに設定される、文書カタログの例を示す説明図、図８の（ｂ）は、同オプショナルコンテントグループ辞書の例を示す説明図、図８の（ｃ）は、同オプショナルコンテントの範囲指定の例を示す説明図である。
【図９】図１に示したファイル生成部にて生成される表示切替えＰＤＦファイルに設定される、表示用描画コマンドの例を示す説明図である。
【図１０】図１０の（ａ）は、上記ファイル生成部にて生成されるマーカー領域マスク画像の表示・非表示の切り替えを指示するボタンに関し、表示切替えＰＤＦファイルに設定される、ページオブジェクトの例を示す説明図、図１０の（ｂ）は、同Ｗｉｄｇｅｔ注釈を示す説明図、図１０の（ｃ）は、同フォームＸＯｂｊｅｃｔ（ボタンの外観）を示す説明図である。
【図１１】図１１の（ａ）は、表示切替えＰＤＦファイルにおいてマーカー領域マスク画像データの表示状態（表示された状態）を示す説明図、図１１の（ｂ）は、表示切替えＰＤＦファイルにおいてマーカー領域マスク画像データの非表示状態（表示されない状態）を示す説明図である。
【図１２】図１２の（ａ）は、図１１の（ａ）に示した表示切替えＰＤＦファイルに設定されるボタンの他の例であって、ボタンの初期状態を示す説明図、図１２の（ｂ）は、図１２の（ａ）に示したボタンが操作された状態を示す説明図である。
【図１３】図１３の（ａ）は、上記ファイル生成部にて生成される表示切替えＰＤＦファイルに設定される、Ｗｉｄｇｅｔ注釈の例を示す説明図、図１３の（ｂ）は、同フォームＸＯｂｊｅｃｔ（ボタンの外観）の例を示す説明図、図１３の（ｃ）は、同グラフィック状態パラメータ辞書（半透明の描画状態）の例を示す説明図である。
【図１４】上記ファイル生成部にて生成される表示切替えＰＤＦファイルに設定される、ボタンの印刷・非印刷の切り替えの例を示す説明図である。
【図１５】上記ファイル生成部にて生成される表示切替えＰＤＦファイルに設定される、デフォルトでのマーカー領域マスク画像データの表示・非表示の切り替えの例を示す説明図である。
【図１６】複数頁の上記表示切替えＰＤＦファイルにおいて、頁毎にマーカー領域マスク画像の表示・非表示を制御する構成を示す模式図である。
【図１７】複数頁の上記表示切替えＰＤＦファイルにおいて、ボタンの操作に応じて全頁のマーカー領域マスク画像の表示・非表示を一括して制御する構成を示す模式図である。
【図１８】図１８の（ａ）は、ユーザによりマーカーラインが書き込まれた原稿画像を示す説明図、図１８の（ｂ）は、上記表示切替えＰＤＦファイルにおいて、マーカー領域内をマスクした状態を示す説明図、図１８の（ｃ）は、上記表示切替えＰＤＦファイルにおいて、マーカー領域外をマスクし、選択領域内の原稿画像を表示した状態を示す説明図である。
【図１９】上記ファイル生成部にて生成される表示切替えＰＤＦファイルに設定される、マーカー領域マスク画像データの表示、非表示を行う場合の表示用描画コマンドの例を示す説明図である。
【図２０】本発明の他の実施の形態における画像読取装置の構成を示すブロック図である。
【図２１】本発明のさらに実施の形態における画像形成装置の構成を示すブロック図である。
【図２２】図２２の（ａ）は、図２１に示した画像形成装置における、表示切替えＰＤＦファイルの生成動作を示すフローチャート、図２２の（ｂ）は図２２の（ａ）のＳ４７の動作の内容を示すフローチャートである。
【図２３】本発明のさらに他の実施の形態の画像形成装置において使用される携帯端末装置の構成を示すブロック図である。
【図２４】図２３に示した携帯端末装置が備える画像処理部の構成を示すブロック図である。
【図２５】本発明のさらに他の実施の形態における画像形成装置の構成を示すブロック図である。
【図２６】図２５に示した画像形成装置が備える画像処理部の構成を示すブロック図である。
【図２７】図２７の（ａ）は、図２３に示した携帯端末装置および図２５に示した画像形成装置が行う処理の概要を示すフローチャート、図２７の（ｂ）は、上記携帯端末装置での処理の内容を示すフローチャート、図２７の（ｃ）は、上記画像形成装置での処理の内容を示すフローチャート、図２７の（ｄ）は、図２７の（ａ）に示したフォーマット化の処理の内容を示すフローチャートである。
【図２８】図２６に示した超解像化補正部による超解像化補正の一例を示すフローチャートである。
【図２９】上記超解像化補正によって生成される超解像化画像データの基準画素と補間画素とを示し説明図である。
【図３０】上記超解像化補正に使用される１次微分フィルタの例を示す説明図である。
【図３１】上記超解像化補正における補間画素の画素値の決定方法を示す図である。
【発明を実施するための形態】
【００１０】
〔実施の形態１〕
本発明の実施の形態を図面に基づいて以下に説明する。
【００１１】
（画像形成装置１の概要）
図１は、本発明の実施の形態の画像形成装置１の構成を示すブロック図である。
画像形成装置１は、デジタル方式の例えばカラープリンタ、カラー複写機あるいはカラー複合機である。画像形成装置１がデジタルカラー複合機である場合、画像形成装置１は、例えば、コピー機能、プリンタ機能、ファクシミリ送信機能およびscan to e-mail機能等を備える。
【００１２】
図１に示すように、画像形成装置１は、画像入力装置１１、画像処理装置１２、画像出力装置１３、制御部１４、送受信部１５、記憶部１６、符号化／複合化部１７および操作パネル１８を備えている。
【００１３】
（画像入力装置１１）
画像入力装置１１は、スキャナとしての機能を有し、ＣＣＤ（Charge Coupled Device）ラインセンサからなり、原稿から反射してきた光をＲ、Ｇ、Ｂ（Ｒ：赤・Ｇ：緑・Ｂ：青）に色分解された電気信号に変換する。
【００１４】
（画像処理装置１２）
画像処理装置１２は、画像入力装置１１から入力された画像信号（ＲＧＢ信号）を処理し、画像出力装置１３に出力する。画像処理装置１２は、Ａ／Ｄ（アナログ・デジタル）変換部３１、シェーディング補正部３２、入力処理部３３、領域選択部３４、色補正部３５、黒生成／下色除去部３６、空間フィルタ部３７、中間調生成部３９、領域分離部４１およびファイル生成部４０を備えている。
【００１５】
（画像出力装置１３）
画像出力装置１３は、電子写真方式プリンタやインクジェット方式プリンタ等の画像を再現する装置である。
【００１６】
（制御部１４）
制御部１４は、ＣＰＵを備えた一般的な制御装置であり、画像形成装置１の各部の動作を制御する。例えば、記憶部１６に対するデータの読み書きの制御、画像形成装置１の各部間のデータの流れの制御、およびＵＩ（ユーザインターフェース）によって指定された情報に基づく制御を行う。
【００１７】
また、制御部１４は、記憶部１６に記憶されているファイルのヘッダを解析して、ファイルフォーマットを認識する。ファイルがＴＩＦＦファイルの場合、タグを調べることにより、２値であるか多値であるかを判定し、２値である場合は、領域選択部３４においてマーカー認識処理を行わないように制御する。
【００１８】
（送受信部１５）
送受信部１５は、ネットワーク網や通信回線を介して、外部装置とのデータのやり取りを行う。
【００１９】
（記憶部１６）
記憶部１６は、ハードディスクなどの一般的なデータ記憶装置によって構成され、画像処理装置１２の領域選択部３４およびファイル生成部４０等での処理済の画像データと、処理途中の画像データとを適宜記憶する。
【００２０】
（符号化／復号化部１７）
符号化／復号化部１７は、画像処理装置１２の入力処理部３３および領域選択部３４から記憶部１６に画像データが入力される際に画像データを符号化し、記憶部１６から入力処理部３３および領域選択部３４等に画像データが出力される際に画像データを復号化する。なお、記憶部１６に画像データが入力される場合、画像データを符号化するかしないは、操作パネル１８おいて選択できるようにしてもよい。
【００２１】
また、符号化／復号化部１７は、記憶部１６から出力された画像データが入力処理部３３および領域選択部３４に入力される場合、入力される画像データの記憶部１６での符号化の有無に応じて、画像データが復号化された状態にて入力されるように、画像データを適宜復号化する。
【００２２】
（操作パネル１８）
操作パネル１８は、表示部を備え、表示部上にタッチパネルを備えている。さらに、ユーザにより操作される各種入力キーを備えていてもよい。
【００２３】
（領域選択部３４）
領域選択部３４は、マーカー指定モードが選択されている場合に、画像入力装置１１にて読み込まれた原稿画像を示す原稿の画像データ（以下、単に画像データと称する）のユーザ選択領域（マーカー領域）を検知し、ユーザ選択領域を示すユーザ選択領域情報を作成する。
【００２４】
図２は領域選択部３４の構成を示すブロック図である。図２に示すように、領域選択部３４は、解像度変換部５１およびマーカー認識部（選択領域認識部）５２を備えている。
【００２５】
解像度変換部５１は、入力された画像データの解像度を低解像度化する。例えば、１２００ｄｐｉあるいは６００ｄｐｉで読み込まれた画像データを７５ｄｐｉに変換する。解像度変換の方法は、公知のニアレストネイバー法、バイリニア法あるいはバイキュービック法等を用いることができる。
【００２６】
マーカー認識部５２は、解像度変換部５１から出力された画像データを所定色と比較して、画像データのマーカー部分（マーカー領域）を認識し、マーカー認識結果を得る。上記所定色は、ユーザにより指定される。マーカー認識部５２は、上記のマーカー認識結果からユーザ選択領域情報を生成する。
【００２７】
マーカー認識結果には、マーカー検出データおよびマーカー領域情報が含まれている。マーカー検出データは、入力画像データに対し、後述のマーカー認識方法によって抽出された指定色画素マップである。指定色画素マップでは、指定色画素は１が、非指定色画素は０が設定される。マーカー領域情報は、マーカー領域の開始座標およびマーカー領域の縦横サイズを示す。また、選択領域情報には、入力画像解像度におけるマーカー領域情報（マーカー領域の開始座標および縦横サイズ）が含まれている（図３参照）。
【００２８】
（マーカー認識部５２によるマーカー部分の認識方法）
ここで、マーカー認識部５２による画像データのマーカー部分（マーカーライン７２：マーカー領域）の認識方法について説明する。図３は、マーカー認識部５２による画像データのマーカー部分（マーカーライン７２：マーカー領域）の認識動作を示す説明図である。
【００２９】
マーカー認識部５２は、例えば特許文献２に記載の方法のように、ＲＧＢ画像データをＨＳＬ画像データに変換し、特定マーカー色の画素を抽出し、それに基づき、マーカー領域を抽出する。
【００３０】
具体的には、まず、下記処理を入力画像データ（解像度変換部５１にて低解像度化された画像データ）の全データに対して行い、マーカー検出データを生成する。なお、マーカー検出データは、“０”、“１”の値をとり、マーカー画素の場合は“１”、非マーカー画素の場合は“０”が設定される。
【００３１】
次に、入力画像データのＲ，Ｇ，Ｂデータから、下に示す変換式により、各８ビットのＨ，Ｓ，Ｌ（色相、彩度、明度）データを生成する。
【００３２】
ＭＡＸ  ＝  ｍａｘ（Ｒ，Ｇ，Ｂ）
ＭＩＮ  ＝  ｍｉｎ（Ｒ，Ｇ，Ｂ）
Ｌ  ＝  （ＭＡＸ＋ＭＩＮ）／２
（１）ＭＡＸ  ＝  ＭＩＮの場合
Ｓ  ＝  ０  ，  Ｈ  ＝  ０
（２）ＭＡＸ  ≠  ＭＩＮの場合
Ｌ＜＝１２８の場合
Ｓ  ＝  ２５５×（ＭＡＸ−ＭＩＮ）／（ＭＡＸ＋ＭＩＮ）
Ｌ＞１２８の場合
Ｓ  ＝  ２５５×（ＭＡＸ−ＭＩＮ）／（２−ＭＡＸ−ＭＩＮ）
ＭＡＸ  ≠  ＭＩＮの場合、下記式によりＣｒ，Ｃｇ，Ｃｂの値を算出し、色相を求める。
【００３３】
Ｃｒ  ＝  （ＭＡＸ−Ｒ）／（ＭＡＸ−ＭＩＮ）
Ｃｇ  ＝  （ＭＡＸ−Ｇ）／（ＭＡＸ−ＭＩＮ）
Ｃｂ  ＝  （ＭＡＸ−Ｂ）／（ＭＡＸ−ＭＩＮ）
ＭＡＸ  ＝  Ｒの場合
Ｈ  ＝  Ｃｂ−Ｃｇ
ＭＡＸ  ＝  Ｇの場合
Ｈ  ＝  ２＋Ｃｒ−Ｃｂ
ＭＡＸ  ＝  Ｂの場合
Ｈ  ＝  ４＋Ｃｇ−Ｃｒ
Ｈ  ＝  ６０×Ｈ
Ｈ  ＜  ０の場合
Ｈ  ＝  Ｈ＋３６０
Ｈ  ＝  Ｈ×２５５／３６０
Ｈは０〜３５９の範囲で算出されるため、Ｈが負の値をとった場合は、その範囲内になるように３６０を加算している。また、この例では、Ｈを８ビットとしているために、最後に８ビットへの丸め処理を行っている。
【００３４】
次に、Ｈ，Ｓ，Ｌデータに対して、各データが、指定マーカー検出用の上限閾値、下限閾値の範囲内であるか否かを判定する。この判定の結果、範囲内の場合には、該当画素のマーカー検出データを有効であることを示す“１”に設定し、範囲外の場合は、無効であることを示す“０”に設定する。
【００３５】
例えば、緑マーカーを抽出したい場合、Ｈ，Ｓ，Ｌデータに対するマーカー検出用の上限閾値、下限閾値は下記のように設定される。
【００３６】
緑マーカー抽出用上限Ｈデータ：１１０
緑マーカー抽出用下限Ｈデータ：５０
緑マーカー抽出用上限Ｓデータ：２５５
緑マーカー抽出用下限Ｓデータ：１２８
緑マーカー抽出用上限Ｌデータ：２１５
緑マーカー抽出用下限Ｌデータ：９５
また、この設定値は、対応するマーカー色毎に用意する。
【００３７】
次に、図３に示すように、生成されたマーカー検出データに対して、有効画素の外接矩形を求め、入力画像データに対する、外接矩形の開始座標、および縦横サイズ情報を生成する。
【００３８】
（ファイル生成部４０）
ファイル生成部４０は、領域選択部３４から入力される選択領域情報とユーザの設定とに基づき、画像データの所定領域をマスクするためのマーカー領域マスク画像データを生成する。さらに、画像データのレイヤおよびマーカー領域マスク画像データのレイヤを含み、マーカー領域マスク画像の表示または非表示を選択できる形式のＰＤＦファイルを作成する。
【００３９】
図４はファイル生成部４０の構成を示すブロック図である。図４に示すように、ファイル生成部４０は、マスク画像生成部６１、描画コマンド生成部（ファイル生成部）６２およびフォーマット化処理部（ファイル生成部）６３を備えている。
【００４０】
マスク画像生成部６１は、領域選択部３４から入力される選択領域情報とユーザの設定とに基づき、マーカー領域マスク画像データを生成する。
【００４１】
ユーザの設定は、ユーザ設定モードにおいて行われる。ユーザ設定モードでは、例えば操作パネル１８でのユーザ入力により、マーカー領域またはマーカー領域外の何れを塗り潰すかを示す選択情報が生成され、塗潰し色および塗潰し色の透過率が指定される。これにより、選択領域内または選択領域外を指定色でマスクするマスク画像（マーカー領域マスク画像データ）が生成される。
【００４２】
描画コマンド生成部６２は、領域選択部３４にて生成されたユーザ選択領域情報とユーザの設定とに基づき、画像データおよびマーカー領域マスク画像データの各レイヤを生成する。また、ユーザ選択領域マスク画像データを画像データのマーカー認識部５２にて認識されたマーカー部分（マーカー領域）に対応づけて配置する命令を生成する。
【００４３】
フォーマット化処理部６３は、画像データおよびマーカー領域マスク画像データの各レイヤを、マーカー領域マスク画像の表示または非表示を選択できる形式のＰＤＦファイルに変更する。
【００４４】
上記の構成において、本実施の形態の画像形成装置１の動作について以下に説明する。
【００４５】
（印刷動作）
印刷動作（印刷モード）において、画像入力装置１１から画像処理装置１２に入力されたアナログのＲＧＢ信号（カラー画像信号）は、Ａ／Ｄ変換部３１にてデジタルのＲＧＢ信号に変換され、シェーディング補正部３２にて画像入力装置１１の照明系、結像系、撮像系で生じる各種の歪みが取り除かれる。その後、入力処理部３３においてＲＧＢ信号のそれぞれに対してγ補正などの処理が施される。
【００４６】
入力処理部３３から出力されたＲＧＢ信号は、符号化／復号化部１７にて例えばＪＰＥＧコードに圧縮され、記憶部１６に格納される。なお、印刷動作時には、画像データのマーカー領域に対しては特に処理が行われない。
【００４７】
なお、上記ＪＰＥＧコードを外部装置に対して送信（イメージ送信）する場合には、記憶部１６からＪＰＥＧコードが読み出され、そのＪＰＥＧコードは、送受信部１５によりネットワーク網や通信回線を介して外部装置に伝送される。この場合の記憶部１６のファイリングデータの管理やデータの引渡しの動作の制御は、制御部１４にて行われる。
【００４８】
また、入力処理部３３から出力されたＲＧＢ信号は、領域選択部３４を介して色補正部３５、領域分離部４１およびファイル生成部４０に入力される。
【００４９】
色補正部３５では、ＲＧＢ信号からＲＧＢ信号の補色であるＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）信号が生成され、さらに色再現性を高める処理が施される。
【００５０】
色補正部３５から出力されたＣＭＹ信号は、黒生成／下色除去部３６にてＣＭＹＫ（Ｋ：黒）４色信号に変換される。黒生成／下色除去部３６から出力されたＣＭＹＫ信号は、空間フィルタ部３７、出力階調補正部３８および中間調生成部３９にて順次処理される。
【００５１】
空間フィルタ部３７では、領域分離信号に基づき、ＣＭＹＫ信号に対してデジタルフィルタによる空間フィルタ処理（強調処理，平滑化処理）が行われる。出力階調補正部３８では出力γ補正処理が行われる。中間調生成部３９ではＣＭＹＫ信号に対して画像を出力するための階調再現処理が行われる。
【００５２】
領域分離処理部３９では、入力画像データ（ＲＧＢ信号）の各画素が、黒文字、色文字、網点、印画紙写真（連続階調領域）等のうちのどの領域に属するかが判定され、その判定結果を示す領域分離データが生成される。この領域分離データは、領域分離部４１から黒生成／下色除去部３６、空間フィルタ部３７および中間調生成部３９に出力される。これにより、それら各部では、領域分離データに応じて処理が切り替えられ、画像データに対して、領域分離データが示す各領域に応じた適切な処理が行われる。
【００５３】
中間調生成部３９から出力されたＣＭＹＫ信号は画像出力装置１３へ入力される。画像出力装置１３ではＣＭＹＫ信号に基づいて出力画像が形成される。
【００５４】
（イメージ送信動作）
イメージ送信動作（イメージ送信モード）での画像入力装置１１、Ａ／Ｄ変換部３１、シェーディング補正部３２、入力処理部３３および領域分離部４１の処理内容は、印刷動作時と同じである。なお、領域分離部４１は、空間フィルタ部３７に対して領域分離信号を出力する。
【００５５】
ここで、マーカー指定モードが選択されている場合、領域選択部３４は、原稿（画像データ）内のユーザ選択領域（マーカー領域）を検知する。
【００５６】
色補正部３５は、画像データが一般に普及している表示装置の表示特性に適合したＲ’Ｇ’Ｂ’の画像データ（例えば、ｓＲＧＢデータ）に変換する。さらに、空間フィルタ部３７は、領域分離信号を基づき、画像データに対してデジタルフィルタによる空間フィルタ処理（強調処理，平滑化処理）を行う。
【００５７】
ファイル生成部４０のマスク画像生成部６１は、領域選択部３４にて作成されたユーザ選択領域情報と画像データから、ユーザ選択領域マスク画像データを生成し、描画コマンド生成部６２は、画像データに対してユーザ選択領域マスク画像データを配置する命令を生成する。
【００５８】
次に、フォーマット化処理部６３は、上記ユーザ選択領域マスク画像データに対して、表示・非表示を切替え可能とするコマンド、およびボタン操作により表示・非表示を切り替えるコマンドを埋め込んで、表示・非表示の切り換えが可能なユーザ選択領域マスク画像データを作成する。さらに、フォーマット化処理部６３は、このユーザ選択領域マスク画像データを上記Ｒ’Ｇ’Ｂ’の画像データとともに、ＰＤＦファイル等のファイル（表示切替えＰＤＦファイル）へ変換する。その後、上記画像ファイルは、ネットワークやユーザにより指定されたファイルの保存先へ出力される。
【００５９】
（制御部１４のファイルフォーマット認識動作）
次に、制御部１４のファイルフォーマット認識動作について説明する。図５は、制御部１４による、記憶部１６に保存されているファイルのファイルフォーマットを認識する動作を示すフローチャートである。
【００６０】
ファイルの各種フォーマットは、ファイル先頭部に特徴的なバイト列を有していることが多い。したがって、制御部１４は、ファイルの先頭のバイト列を確認することによりファイル種別を容易に認識することができる。
【００６１】
図５に示すように、制御部１４は、まず、記憶部１６に保存されているファイルの先頭のバイト列を取得する（Ｓ１１）。
【００６２】
次に、取得したファイルの先頭のバイト列が十六進数0x49、0x49、0x2A、0x00で始まっているかどうかを判定する（Ｓ１２）。この判定の結果がＹｅｓであれば、そのファイルをＴＩＦＦ画像ファイルと判定する（Ｓ１７）。
【００６３】
Ｓ１２での判定の結果がＮｏである場合、取得したファイルの先頭のバイト列が十六進数0x4D、0x4D、0x00、0x2Aで始まっているかどうかを判定する（Ｓ１３）。この判定の結果がＹｅｓであれば、そのファイルをＴＩＦＦ画像ファイルと判定する（Ｓ１７）。
【００６４】
Ｓ１３での判定の結果がＮｏである場合、取得したファイルの先頭のバイト列が十六進数0xFF、0xD8で始まっているかどうかを判定する（Ｓ１４）。この判定の結果がＹｅｓであれば、そのファイルをＪＰＥＧ画像ファイルと判定する（Ｓ１８）。
【００６５】
Ｓ１４での判定の結果がＮｏである場合、取得したファイルの先頭のバイト列が十六進数0x25、0x50、0x44、0x46で始まっているかどうかを判定する（Ｓ１５）。この判定の結果がＹｅｓであれば、そのファイルをＰＤＦファイルと判定する（Ｓ１９）。
【００６６】
Ｓ１５での判定の結果がＮｏである場合（取得したファイルの先頭のバイト列が上記のいずれにも該当しない場合）、処理不可ファイルと判定する（Ｓ１６）。
【００６７】
次に、画像形成装置１における、所定領域の表示・非表示を切り替え可能なＰＤＦファイル（以下、単に表示切替えＰＤＦファイルと称する）の生成動作について説明する。図６の（ａ）は画像形成装置１における表示切替えＰＤＦファイルの生成動作を示すフローチャート、図６の（ｂ）は図６の（ａ）のＳ２６の動作の内容を示すフローチャートである。
【００６８】
表示切替えＰＤＦファイルの生成では、図６の（ａ）に示すように、画像形成装置１の操作パネル１８において、ユーザにより下記の処理設定が行われる（Ｓ２１）。ここでの設定内容は、設定情報として記憶部１６に記憶される。なお、マーカー領域は、原稿の対象箇所をユーザが事前に蛍光ペン等で囲うことにより指定される。
【００６９】
（１）ユーザにより、マーカー指定モードが選択されると、ユーザ設定モードとなり、さらにユーザにより、例えば操作パネル１８の画像表示装置の案内画面表示に応じて、マーカー領域内（マーカーにより指定された領域内）またはマーカー領域外の何れを塗り潰すのかの設定と、塗り潰し色および塗り潰し色の透過率との設定が行われる。
【００７０】
（２）マーカー指定モードが選択されると、表示切替えＰＤＦファイルにおいてマーカー領域の表示・非表示制御を行うか否かの選択を促す画面が操作パネル１８の画像表示装置に表示される。
【００７１】
（３）表示・非表示制御が選択された場合には、作成されたファイル（表示切替えＰＤＦファイル）を開いた際に、マーカー領域を表示させるか否かの選択を促す画面が表示される。この画面では、マーカー領域内またはマーカー領域外の何れを制御対象とするかの選択も要求される。
【００７２】
（４）作成されたファイル（表示切替えＰＤＦファイル）を送信する場合には、ユーザにより送信先のアドレスが設定される。作成されたファイル（表示切替えＰＤＦファイル）を保存する場合には、ユーザにより保存先が指定される。例えば、ＵＳＢメモリから読み出し、処理後のデータ（表示切替えＰＤＦファイル）を同じＵＳＢメモリに保存する場合、ユーザにより保存先としてＵＳＢメモリが指定され、処理後に保存するファイル名の設定が行われる。
【００７３】
上記設定が完了し、ユーザにより操作パネル１８のスタートボタン（図示せず）が操作されると、表示切替えＰＤＦファイルの生成処理を開始する。この処理では、まず、画像入力装置１１にて原稿を読み取り画像データを取得する（Ｓ２２）。原稿の読み取りは、原稿を画像入力装置１１が備えるＡＤＦ（自動原稿搬送装置）にセットして自動的に読み取るようにしても、原稿を画像入力装置１１のコンタクトガラス（図示せず）上に１枚ずつセットして読み取るようにしてもよい。
【００７４】
次に、原稿読み取りによって取得した画像データに対して、領域選択部３４の解像度変換部５１は画像データの解像度を低解像度化し、マーカー認識部５２はマーカー認識処理を行う（Ｓ２３）。マーカー認識処理では、画像データのマーカー部分を認識し、マーカー部分を示すユーザ選択領域情報を生成する。
【００７５】
次に、ファイル生成部４０のマスク画像生成部６１は、領域選択部３４にて生成されたユーザ選択領域情報とＳ２１の処理設定により得られた設定情報とに基づいて、マーカー領域マスク画像データ（マーカー領域（マーカーにより指定された領域）を不可視にできる画像）を生成する（Ｓ２４）。
【００７６】
次に、描画コマンド生成部６２は、画像データおよびマーカー領域マスク画像データの各レイヤを生成し、さらにユーザ選択領域マスク画像データを画像データのマーカー認識部５２にて認識されたマーカー部分（マーカー領域）に対応づけて配置する命令（描画コマンド）を生成する。（Ｓ２５）
次に、フォーマット化処理部６３は、フォーマット化処理として、画像データおよびマーカー領域マスク画像データの各レイヤを、マーカー領域マスク画像の表示または非表示を選択できる形式のＰＤＦファイルに変更する（Ｓ２６）。
【００７７】
Ｓ２６のフォーマット化処理では、図６の（ｂ）に示すように、マーカー領域マスク画像データによって示されるマーカー領域マスク画像の表示・非表示を選択できるようにする描画コマンドを埋め込む（Ｓ３１）。さらに、上記マーカー領域マスク画像の表示・非表示の切り替えを指示するためのボタンを埋め込む（Ｓ３２）。これにより、マーカー領域マスク画像データを生成する。
【００７８】
図７は、ファイル生成部４０にて生成される表示切替えＰＤＦファイルの構成、およびその表示切替えＰＤＦファイルにおけるマーカー領域マスク画像の表示・非表示を制御する構成を示す模式図である。
【００７９】
図８の（ａ）は、ファイル生成部４０にて生成される表示切替えＰＤＦファイルに設定される、文書カタログの例を示す説明図、図８の（ｂ）は、同オプショナルコンテントグループ辞書の例を示す説明図、図８の（ｃ）は、同オプショナルコンテントの範囲指定の例を示す説明図である。
【００８０】
図８の（ａ）に示す文書カタログは、文書全体の情報を表しており、表示・非表示の切り替えが行われる対象物に対して、頁毎および対象物毎に設定される。図８の例では、一つの対象物“３９  ０”（図８の（ａ）の符号７６）について表示・非表示を切り替えること（表示を行うこと）を示している。
【００８１】
図８の（ｂ）に示すオプショナルコンテントグループ辞書は、動作を行う上で、相互の関連を整理するためのラベルを定義するものである（図７、図１６、図１７参照）。図８の（ｂ）の例では、対象物“３９  ０”を切替えラベルとし、対象物“３９  ０”の名前、タイプを定義している。
【００８２】
図８の（ｃ）に示すオプショナルコンテントの範囲指定は、頁毎のコンテンツの情報を示している。図８の（ｃ）の例では、表示・非表示の切替えが行われる対象物（マーカー領域マスク画像）の範囲（マーカー領域マスクレイヤ）を表している。なお、塗り潰す領域を１、塗り潰さない領域を０としたマスク画像を生成するため、領域外を塗り潰す場合も、同じ命令で可能である。ただし、サイズやstream内の情報は変化する。
【００８３】
図９は、ファイル生成部４０にて生成される表示切替えＰＤＦファイルに設定される、表示用描画コマンドの例を示す説明図である。
【００８４】
表示用描画コマンドは、表示の際の描画コマンドを定義している。図９の例では、画像データの描画を行い、マーカー領域マスク画像データの描画も同時に行っている。
【００８５】
図１０の（ａ）は、上記マーカー領域マスク画像の表示・非表示の切り替えを指示するボタンに関し、表示切替えＰＤＦファイルに設定される、ページオブジェクトの例を示す説明図、図１０の（ｂ）は、同Ｗｉｄｇｅｔ注釈を示す説明図、図１０の（ｃ）は、同フォームＸＯｂｊｅｃｔ（ボタンの外観）を示す説明図である。
【００８６】
図１０の（ａ）に示すページオブジェクトは、動作（表示あるいは非表示、またはリンク先に移動等）を起こす際の参照情報を示すものであり、Ｗｉｄｇｅｔ注釈にリンクされている。
【００８７】
図１０の（ｂ）に示すＷｉｄｇｅｔ注釈は、動作を起こす対象物を説明するものであり、ボタンが操作されることにより、対象物“３９  ０”の表示・非表示を切り替える。図１０の（ｂ）の例では、ボタンは印刷されない設定（デフォルトの設定）になっている。
【００８８】
図１０の（ｃ）に示すフォームＸＯｂｊｅｃｔ（ボタンの外観）は、ボタンの描画イメージを定義するものである。
【００８９】
上記のようにして生成された表示切替えＰＤＦファイルの一例は、図１１の（ａ）（ｂ）に示すものとなる。図１１の（ａ）は、表示切替えＰＤＦファイル７３においてマーカー領域マスク画像データの表示状態（表示された状態）を示す説明図、図１１の（ｂ）は、表示切替えＰＤＦファイル７３においてマーカー領域マスク画像データの非表示状態（表示されない状態）を示す説明図である。
【００９０】
図１１の（ａ）（ｂ）に示すように、表示切替えＰＤＦファイル７３には、ボタン（選択入力部）７１が表示される。なお、図１１の（ｂ）に示す符号７２は、ユーザによって原稿に書き込まれたマーカーラインである。
【００９１】
表示切替えＰＤＦファイル７３では、ユーザによりボタン７１がクリックされる毎に、図１１の（ａ）に示すマーカー領域マスク画像の表示状態（マーカーライン７２で囲まれた原稿画像領域は非表示状態）と、図１１の（ｂ）に示すマーカー領域マスク画像の非表示状態（マーカーライン７２で囲まれた原稿画像領域は表示状態）とを切替えることができる。
【００９２】
また、図１１の（ａ）に示すマーカー領域マスク画像の表示状態にて印刷を行うと、マーカーライン７２にて囲まれた領域（マーカー領域）がマスクされた状態の原稿画像の印刷画像が得られる。一方、図１１の（ｂ）に示すマーカー領域マスク画像の非表示状態にて印刷を行うと、原稿画像のみの印刷画像が得られる。なお、後者の場合、原稿画像に書き込まれているマーカーライン７２はそのまま印刷される。
【００９３】
上記のように、画像処理装置１２にて作成された表示切替えＰＤＦファイル７３では、表示切替えＰＤＦファイル７３を表示した状態において、表示切替えＰＤＦファイル７３に付加されている（埋め込まれている）ボタン７１を操作することにより、画像データに対して設けられているマーカー領域マスク画像の表示・非表示を切り替えることができる。これにより、表示切替えＰＤＦファイル７３を表示している状態において、ボタン７１を操作してマーカー領域マスク画像の表示・非表示を切り替えることにより、画像データの所定の領域の表示状態と非表示状態とを容易に切り替えることができる。
【００９４】
また、ボタン７１を印刷されない状態にて表示切替えＰＤＦファイル７３に埋め込むことにより、表示切替えＰＤＦファイル７３を印刷した場合に、ボタン７１が印刷される事態を防止することができる。
【００９５】
〔実施の形態２〕
本発明の他の実施の形態を図面に基づいて以下に説明する。
本実施の形態では、表示切替えＰＤＦファイル７３におけるボタン７１の表示状態を前記実施の形態の表示状態とは異なるものにしている。図１２の（ａ）はボタン７１の初期状態を示す説明図、図１２の（ｂ）はボタン７１が操作された状態を示す説明図である。
【００９６】
ボタン７１は、図１２の（ａ）に示すように、操作されていない状態である初期状態では半透明の状態に表示される。一方、ボタン７１は、図１２の（ｂ）に示すように、操作された場合に不透明の状態（半透明の状態が解除されて通常の濃度の状態）に表示される。なお、符号７４はカーソル７４である。また、ボタン７１が操作された場合には、ボタン７１を操作することにより、マーカー領域マスク画像の表示・非表示が切り替えられること（操作内容）を吹き出し７５として表示させる。ボタン７１は、上記のような表示となるように、表示切替えＰＤＦファイル７３に埋め込まれる。
【００９７】
図１３の（ａ）は、ファイル生成部４０にて生成される表示切替えＰＤＦファイル７３に設定される、Ｗｉｄｇｅｔ注釈の例を示す説明図、図１３の（ｂ）は、同フォームＸＯｂｊｅｃｔ（ボタンの外観）の例を示す説明図、図１３の（ｃ）は、同グラフィック状態パラメータ辞書（半透明の描画状態）の例を示す説明図である。
【００９８】
図１３の（ａ）に示すＷｉｄｇｅｔ注釈は、ボタン７１が操作されることにより動作を起こす対象物を説明するものである。図１３の（ａ）の例では、ボタン７１が操作されることにより、対象物“３９  ０”の表示・非表示を切り替える。
【００９９】
この例では、ボタン７１は印刷されない設定（デフォルトの設定）になっている。また、このＷｉｄｇｅｔ注釈は、ボタン７１の半透明描画イメージであるフォームＸＯｂｊｅｃｔ（“４５  ０”）と不透明描画イメージであるフォームＸＯｂｊｅｃｔ（“４４  ０”）とにリンクされている。さらに、“／ＴＵ”に続く“（  ）”で囲まれた文字列が操作内容を説明する吹き出しとして表示される。
【０１００】
図１３の（ｂ）に示すフォームＸＯｂｊｅｃｔ（ボタンの外観）は、ボタン７１の半透明描画イメージを定義するものである。この例では、半透明の描画状態を指定している部分が、図１０の（ｃ）に示したボタン描画イメージ（フォームＸＯｂｊｅｃｔ（ボタンの外観））とは異なる。
【０１０１】
図１３の（ｃ）に示すグラフィック状態パラメータ辞書（半透明の描画状態）は、描画状態を定義するものである。この例では、ボタン７１を３０％の透明状態（半透明状態）に設定している。
【０１０２】
上記の構成によれば、ボタン７１は、初期状態で半透明の状態に表示され（図１２の（ａ））、クリックするためにカーソル７４がボタン７１上に配置されると、不透明の状態に表示される。カーソル７４がボタン７１上に存在しないときの表示は、ノーマル外観と呼ばれ、カーソル７４がボタン７１上に存在するときの表示は、ロールオーバー外観と呼ばれる。ボタン７１がクリックされた場合の動作（表示切替えＰＤＦファイル７３の表示の切り替え）は、前述の場合（図１０の場合）と同様である。
【０１０３】
〔実施の形態３〕
本発明のさらに他の実施の形態を図面に基づいて以下に説明する。
本実施の形態では、ボタン７１は、印刷されないように表示切替えＰＤＦファイル７３に埋め込まれる。図１４は、ファイル生成部４０にて生成される表示切替えＰＤＦファイル７３に設定される、ボタン７１の印刷・非印刷の切り替えの例を示す説明図である。
【０１０４】
表示切替えＰＤＦファイル７３の印刷時において、ボタン７１が印刷されるようにするには、図１４に示すように、図１０の（ｂ）に示したＷｉｄｇｅｔ注釈にコマンド“／Ｆ４”を挿入すればよい。このように、図１０の（ｂ）に示したＷｉｄｇｅｔ注釈を変更すれば、表示切替えＰＤＦファイル７３をボタン７１が印刷される状態にすることができる。一方、表示切替えＰＤＦファイル７３の印刷時において、ボタン７１が印刷されないようにするには、図１４に示したボタン７１の印刷・非印刷の切り替えにおいて、上記のコマンド“／Ｆ４”を削除すればよい。
【０１０５】
〔実施の形態４〕
本発明のさらに他の実施の形態を図面に基づいて以下に説明する。
本実施の形態では、表示切替えＰＤＦファイル７３において、マーカー領域マスク画像データは非表示状態にて埋め込まれるようになっている。これにより、表示切替えＰＤＦファイル７３を開いたときに、マーカー領域マスク画像は非表示状態となる。なお、非表示状態のマーカー領域マスク画像を表示状態に切り替えることは、前述のように、ボタン７１を操作することにより可能である。
【０１０６】
図１５は、ファイル生成部４０にて生成される表示切替えＰＤＦファイル７３に設定される、デフォルトでのマーカー領域マスク画像データのレイヤの表示・非表示の切り替えの例を示す説明図である。
【０１０７】
マーカー領域マスク画像（例えば図７参照）を非表示状態にて表示切替えＰＤＦファイル７３に埋め込むことは、図１５に示すように、図８の（ａ）に示した文書カタログにおいて、コマンド“／ＯＦＦ［３９  ０  Ｒ］”を挿入することにより可能となる。
【０１０８】
図１５では、ユーザが、表示切替えＰＤＦファイル７３を開いたときに、対象物“３９  ０”が非表示になるように制御される。ＰＤＦファイル７３開いたときに、マーカー領域マスク画像を非表示とするか否かは、処理を開始する前に、操作パネル１８からのユーザの入力により設定される。
【０１０９】
〔実施の形態５〕
本発明のさらに他の実施の形態を図面に基づいて以下に説明する。
本実施の形態では、複数頁の表示切替えＰＤＦファイル７３において、ボタン７１の操作に応じて全頁のマーカー領域マスク画像の表示・非表示を一括して制御するようになっている。
【０１１０】
図１６は、複数頁の表示切替えＰＤＦファイル７３において、頁毎にマーカー領域マスク画像の表示・非表示を制御する構成を示す模式図である。図１７は、複数頁の表示切替えＰＤＦファイル７３において、ボタン７１の操作に応じて全頁のマーカー領域マスク画像の表示・非表示を一括して制御する構成を示す模式図である。
【０１１１】
複数頁の表示切替えＰＤＦファイル７３において、頁毎にマーカー領域マスク画像の表示・非表示を制御する場合には、図１６に示すように、複数頁の表示切替えＰＤＦファイル７３の頁毎に異なるラベルを定義し、制御するレイヤとの関連付けを行う。このとき、各表示切替えＰＤＦファイル７３のボタン７１の表示形態は同じでも、あるいは異なっていてもよい。
【０１１２】
一方、複数頁の表示切替えＰＤＦファイル７３において、いずれかの表示切替えＰＤＦファイル７３のボタン７１の操作に応じて、全頁のマーカー領域マスク画像の表示・非表示を一括して制御する場合には、図１７に示すように、各頁の表示切替えＰＤＦファイル７３のマーカー領域マスク画像をそれぞれ別の対象物として定義し、同じラベル（この例では「Marker View」）に関連づける。この場合、ボタン７１の表示形態は、各頁の表示切替えＰＤＦファイル７３において同じにする。
【０１１３】
〔実施の形態６〕
本発明のさらに他の実施の形態を図面に基づいて以下に説明する。
本実施の形態では、表示切替えＰＤＦファイル７３において、マーカー領域マスク画像データの表示、非表示の切り替えを行う。マーカー領域マスク画像の表示・非表示の切り替えは、前述のように、ボタン７１を操作することにより可能である。
【０１１４】
図１８の（ａ）は、ユーザによりマーカーライン７２が書き込まれた原稿画像を示す説明図、図１８の（ｂ）は、表示切替えＰＤＦファイル７３において、マーカーライン７２にて囲まれた領域（マーカー領域：選択領域）内をマスクした状態（マーカー領域を塗りつぶした状態）を示す説明図、図１８の（ｃ）は、表示切替えＰＤＦファイル７３において、マーカーライン７２にて囲まれた領域（マーカー領域：選択領域）外をマスクし、選択領域内を表示した状態を示す説明図である。図１９は、ファイル生成部４０にて生成される表示切替えＰＤＦファイル７３に設定される、マーカー領域マスク画像データの表示、非表示を行う場合の表示用描画コマンドの例を示す説明図である。
【０１１５】
図１８の（ｃ）に示すように、表示切替えＰＤＦファイル７３において、マーカー領域マスク画像の透過率を指定して埋め込む場合には、図９に示した表示用描画コマンドを変更することで、ＰＤＦ表示時にマスク画像を設定された透過率で表示することが可能となる。具体的には、図１９に示すように、図９に示した表示用描画コマンドにおいて、マーカー領域マスク画像の透過率を設定すればよい。図１９の例では、マーカー領域マスク画像の透過率は５０％に設定されている。
【０１１６】
上記の構成によれば、マーカー領域マスク画像をマーカー領域外に設定することにより、表示切替えＰＤＦファイル７３は、マーカー領域内を強調した状態にて表示することができる。
【０１１７】
〔実施の形態７〕
本発明のさらに他の実施の形態を図面に基づいて以下に説明する。
図２０は、本実施の形態における画像処理装置８２を備えた、カラー画像を読み取る画像読取装置８１の構成を示すブロック図である。この実施の形態は、入力処理部３３およびファイル生成部４０を備えた画像処理装置８２が適用された画像読取装置８１を示すものである。
【０１１８】
図２０に示すように、画像読取装置８１は、画像入力装置１１、画像処理装置８２、制御部１４、送受信部１５、記憶部１６、符号化／復号化部１７および操作パネル１８を備えている。画像処理装置８２は、Ａ／Ｄ変換部３１、シェーディング補正部３２、入力処理部３３、領域選択部３４およびファイル生成部４０を備えている。
【０１１９】
上記各部の構成および動作は、図１に示した画像形成装置１の場合と同様である。画像処理装置８２において、処理が施された後の表示切替えＰＤＦファイル７３は、コンピュータ、ハードディスクあるいはネットワークなどへ出力される。
【０１２０】
本実施の形態の画像処理装置８２においても、表示切替えＰＤＦファイル７３を表示している状態において、ボタン７１を操作してマーカー領域マスク画像の表示・非表示を切り替えることにより、画像データの所定の領域の表示状態と非表示状態とを容易に切り替えることができる。また、ボタン７１を印刷されない状態にて表示切替えＰＤＦファイル７３に埋め込むことにより、表示切替えＰＤＦファイル７３を印刷した場合に、ボタン７１が印刷される事態を防止することができる。
【０１２１】
〔実施の形態８〕
本発明のさらに他の実施の形態を図面に基づいて以下に説明する。
図２１は、本実施の形態における画像形成装置９１の構成を示すブロック図である。画像形成装置９１は、前記の画像処理装置１２に代えて画像処理装置９２を備え、さらに画像表示装置９３を備えている。
【０１２２】
前述の画像形成装置１では、ユーザが原稿画像に対してマーカーライン７２を記入し、その原稿画像をスキャナとしての画像入力装置１１にて読み取ることにより、マーカーライン７２（マーカー領域）を有する画像データを取得していた。これに対し、本実施の形態の画像形成装置９１では、画像データのプレビュー画像を画像表示装置９３に表示し、プレビュー画像を表示した画像表示装置９３の画面上において、ユーザがマーカーライン７２（マーカー領域）を設定できるようになっている。
【０１２３】
本実施の形態において、上記プレビュー画像を表示する画像表示装置９３の表示動作は画像処理装置９２の表示制御部９４によって制御される。画像表示装置９３は操作パネル１８に設けられている。操作パネル１８は、各種入力キー等を備えた操作部１８ａおよび座標格納部１８ｂを備えている。
【０１２４】
（画像表示装置９３）
画像表示装置９３は、例えばタッチパネルを備えた液晶ディスプレイにより構成されている。画像表示装置９３は、画像データのプレビュー画像を表示し、さらにコピーおよびプリントアウトなどの設定条件を表示する。設定の入力は、ユーザが画像表示装置９３の画面上の設定部を指やペンで操作することにより行われ、その操作内容をタッチパネルが読み取る。
【０１２５】
また、画像表示装置９３の画面上において、マーカーライン７２を入力するための操作を示す座標情報は、座標格納部１８ｂに格納され、記憶部１６へ送られる。
【０１２６】
（表示制御部９４）
表示制御部９４は、記憶部１６から画像データを読み込み、原稿画像の全体が画像表示装置９３に表示されるように、画像データに対して画素を間引く等の処理を行い、画像表示装置９３に確認用画像として表示させる。
【０１２７】
画像データの画素を間引く方法には、下記の補間方法を使用することができる。
（１）ニアレストネイバー法
補間する画素に一番近い、あるいは補間する画素に対して所定の位置関係にある既存画素の値をその補間画素の値とする。
（２）バイリニア法
補間する画素を囲む周囲４点の既存画素の距離に比例した形で重み付けした値の平均を求め、その値をその補間画素とする。
（３）バイキュービック法
補間する画素を囲む４点に、それら画素を囲む１２点を加えた計１６点の画素の値を用いて、補間演算を行う。
【０１２８】
表示制御部９４は、さらに、生成された上記確認用画像に対して、表示装置の表示特性に基づいた階調補正（ガンマ補正）を行う。その他の構成は、前記画像形成装置１の構成と同様である。
【０１２９】
次に、画像形成装置９１における表示切替えＰＤＦファイル７３の生成動作について説明する。図２２の（ａ）は画像形成装置９１における、表示切替えＰＤＦファイル７３の生成動作を示すフローチャート、図２２の（ｂ）は図２２の（ａ）のＳ４７の動作の内容を示すフローチャートである。
【０１３０】
表示切替えＰＤＦファイル７３の生成では、図２２の（ａ）に示すように、画像形成装置１の操作パネル１８において、ユーザにより下記の処理設定が行われる（Ｓ４１）。設定内容は、設定情報として記憶部１６により記憶される。
【０１３１】
（１）ユーザによる領域指定モード（図６の（ａ）の説明でのマーカー指定モードに対応）の選択
（２）ユーザにより、領域指定モードが選択されると、領域指定モードとなり、表示切替えＰＤＦファイル７３において指定領域の表示・非表示制御を行うか否かの選択を促す画面が画像表示装置９３に表示される。
【０１３２】
（３）表示・非表示制御が選択された場合には、作成された表示切替えＰＤＦファイル７３を開いた際に、指定領域を表示させるか否かの選択を促す画面が表示される。この画面では、指定領域内または指定領域外の何れを制御対象とするかの選択も要求される。
【０１３３】
（４）作成された表示切替えＰＤＦファイル７３を送信する場合には、ユーザにより送信先のアドレスが設定される。作成された表示切替えＰＤＦファイル７３を保存する場合には、ユーザにより保存先が指定される。例えば、ＵＳＢメモリから読み出し、処理後のデータを同じＵＳＢメモリに保存する場合、ユーザにより保存先としてＵＳＢメモリが指定され、処理後に保存するファイル名の設定が行われる。
【０１３４】
上記設定が完了し、ユーザにより操作パネル１８のスタートボタン（図示せず）が操作されると、表示切替えＰＤＦファイル７３の生成処理を開始する。この処理では、まず、画像入力装置１１にて原稿を読み取り画像データを取得する（Ｓ４２）。取得した画像データは記憶部１６に記憶される。
【０１３５】
次に、表示制御部９４は、記憶部１６から上記画像データを読み込み、プレビュー画像として画像表示装置９３に表示させる（Ｓ４３）。
【０１３６】
次に、プレビュー画像を表示している画像表示装置９３の画面上において、ユーザにより表示・非表示の切替え対象となる選択領域が指定されると（Ｓ４４）、その指定内容（設定情報）が記憶部１６に記憶される。この選択領域の指定は、例えば、指定したい領域の左上位置および右下位置をユーザが指で指定することにより行われる。このとき、プレビュー画像が小さくので拡大表示したい場合、ユーザが拡大したい領域の中心を長押しすることにより、拡大表示が行われるようにしてもよい。
【０１３７】
その後、ファイル生成部４０のマスク画像生成部６１はＳ４５の処理を行い、描画コマンド生成部６２はＳ４６の処理を行い、フォーマット化処理部６３はＳ４７の処理を行う。これにより、表示切替えＰＤＦファイル７３が生成される。なお、これらＳ４５〜Ｓ４７の処理は、図６の（ａ）のＳ２４〜Ｓ２６と同じ処理である。
【０１３８】
Ｓ４７のフォーマット化処理は、図２２の（ｂ）に示すものである。図２２の（ｂ）に示すＳ５１〜Ｓ５２の処理は、図６の（ｂ）のＳ３１〜Ｓ３２の処理と同じ処理である。
【０１３９】
本実施の形態の画像処理装置９２においても、表示切替えＰＤＦファイル７３を表示している状態において、ボタン７１を操作してマーカー領域マスク画像の表示・非表示を切り替えることにより、画像データの所定の領域の表示状態と非表示状態とを容易に切り替えることができる。また、ボタン７１を印刷されない状態にて表示切替えＰＤＦファイル７３に埋め込むことにより、表示切替えＰＤＦファイル７３を印刷した場合に、ボタン７１が印刷される事態を防止することができる。
【０１４０】
〔実施の形態９〕
本発明のさらに他の実施の形態を図面に基づいて以下に説明する。
本実施の形態の画像形成装置は、カメラ撮影によって取得された画像データを処理するものであってもよい。この場合、画像形成装置が備える画像処理装置には、スキャナに代えて、例えば、デジタルカメラ機能を備えた携帯端末装置やタブレット端末装置（デジタルカメラ自体も含む）から画像データが供給される。
【０１４１】
図２３は、本発明の実施の形態の画像形成装置１３１において使用される携帯端末装置１００の構成を示すブロック図である。図２４は、図２３に示した携帯端末装置１００が備える画像処理部１０３の構成を示すブロック図である。図２５は、本発明の実施の形態の画像形成装置１３１の構成を示すブロック図である。図２６は、図２５に示した画像形成装置１３１が備える画像処理部１４２の構成を示すブロック図である。
【０１４２】
図２３に示すように、携帯端末装置１００は、撮像部１０１、撮像画像判定部１１０、画像処理部１０３、通信部１０４、表示部１０５、入力部１０６、記録媒体アクセス部１０７、記憶部１０８、制御部１０９および表示制御部１１１を備えている。
【０１４３】
撮像部１０１は、ＣＣＤセンサあるいはＣＭＯＳセンサを用いて、撮像対象物を撮像し、撮像画像（画像データ）を取得する。画像処理部１０３は、入力された撮像画像（画像データ）に対して画像データの出力先に応じた処理を施す。撮像画像判定部１１０は、画像処理部１０３で処理された画像データに対して、撮像画像が適切か否か判定を行う。
【０１４４】
通信部１０４は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送などの無線データ通信機能を有する。通信部１０４は、ユーザが入力した送信指示に従って出力対象画像データを画像形成装置１３１または画像表示装置に送信する。
【０１４５】
表示部１０５は、例えば、タッチパネル方式の液晶ディスプレイにより構成される。表示制御部１１１は、撮像画像（画像データ）を表示部１０５に表示させる。また、画像（画像データ）から検出された画像の外枠を表す指示マーク、および画像が適切に撮像されるか（画像の一部が切り取られることがないか）否かの指示マークを表示させる。
【０１４６】
入力部１０６は、複数のボタンを有し、ユーザにより各種指示が入力される。入力部１０６は、例えば、シャッター、オートフォーカス設定ボタン、露出調整バー、画像読み込みボタン（撮像した画像を読み出すボタン）および条件設定ボタン等により構成される。
【０１４７】
記録媒体アクセス部１０７は、携帯端末装置１００の各処理を行うためのプログラムが記録された外部の記録媒体から、プログラムを読み出す。このプログラムは記憶部１０８に記憶される。記憶部１０８は、携帯端末装置１００の各処理を行うためのプログラム、携帯端末装置１００の機種情報、ユーザ情報や処理を行う際に必要なデータを格納する。制御部１０９は、記憶部１０８が記憶しているプログラムに基づいて、携帯端末装置１００の各部の動作を制御する。
【０１４８】
図２４に示すように、画像処理部１０３は、Ａ／Ｄ変換部１２１、傾き検出部１２２、幾何学的配置検出部１２３、および撮像条件検知部１２４を備えている。
【０１４９】
Ａ／Ｄ変換部１２１は、撮像部１０１にて取得された画像データをＡ／Ｄ変換し、傾き検出部１２２は、撮像部１０１により画像を撮像するにあたり、画像の傾きを検出する。
【０１５０】
幾何学的配置検出部１２３は、撮像対象物が矩形状であると仮定して、撮像対象物と背景との境界となるエッジ画素群を抽出することにより、撮像対象物の幾何学的配置（幾何学的歪み）を検出する。このために、幾何学的配置検出部１２３は、画像データにおける、エッジ検出、線分抽出、線分の交点算出を行う。撮像条件検知部１２４は、撮像部１０１にて撮像する画像の位置判定を行う。
【０１５１】
図２５に示すように、画像形成装置１３１は、画像読取部１４１、画像処理部１４２、認証部１４３、画像形成部１４４、表示部１４５、入力部１４６、第１通信部１４７、第２通信部１４８、記録媒体アクセス部１４９、記憶部１５０および制御部１５１を備えている。
【０１５２】
画像読取部１４１は、原稿の画像を読み取り、画像データを取得する。画像処理部１４２は、入力された画像データに対して画像データの出力先に応じた処理等を施す。認証部１４３は、画像処理部１４２にて処理された画像データを出力する際、ユーザの認証を行う。
【０１５３】
画像形成部１４４は、例えば、電子写真方式あるいはインクジェット方式により、紙などの記録材上に画像データに応じた画像を印刷する。表示部１４５は、例えば入力部１４６として操作パネル１８に配置された液晶ディスプレイ等の表示装置にて構成され、画像データを含む各種情報を表示する。入力部１４６は、例えば、表示部１４５上に配置されたタッチパネル、および入力キーからなり、ユーザにより各種指示の入力が行われる。
【０１５４】
第１通信部１４７は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送などの無線データ通信機能を有する。
【０１５５】
第２通信部１４８は、無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用してデータ通信を行う。あるいは、イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介して、ネットワークとデータ通信を行なう。あるいは、無線通信規格である、ＩＥＥＥ８０２．１５．１（いわゆるブルートゥース）やIrSimpleなどの赤外線通信規格のいずれかに基づく無線技術を利用してデータ通信を行う。
【０１５６】
記録媒体アクセス部１４９は、画像形成装置１３１の外部の、プログラムが記録された記録媒体から、プログラムを読出す。このプログラムは、記憶部１５０に記憶される。
【０１５７】
記憶部１５０は、制御部１５１の制御に使用するプログラム、および受信した携帯端末装置の機種情報、ユーザ情報、および処理を行う際に必要なデータを格納する。
【０１５８】
制御部１５１は、記憶部１５０に記憶されているプログラムに基づき、上記各部の動作を制御する。
【０１５９】
図２６に示すように、画像処理部１４２は、画質調整部１６１、幾何学補正部１６２、領域選択部１６３、レンズ歪み補正部１６４、超解像化補正部１６５、ファイル生成部１６６および出力処理部１６７を備えている。
【０１６０】
画質調整部１６１は、入力された画像データに対して、カラーバランス、コントラストおよび明るさの補正を行う。
【０１６１】
幾何学補正部１６２は、画像データが前記撮像部１０１での撮像により取得されたものである場合に、ポスターや原稿用紙のような矩形状の撮像対象物に対して、文書画像が形成された平面の法線方向とは異なる方向から撮像することによる撮像対象物の歪み（すなわち、文書画像が形成された矩形状の平面の歪み）を補正する。さらに、画像データにおける撮像対象物の傾きを補正する。
【０１６２】
領域選択部１６３は、前記領域選択部３４と同様の処理を行う。
【０１６３】
レンズ歪み補正部１６４は、画像データが前記撮像部１０１での撮像により取得されたものである場合に、レンズ歪みを補正する。例えば、画像データにおける撮像対象物のエッジ画素をラスター走査によって順次検出し、検出されたエッジ画素を曲線近似し、その曲線の式からレンズひずみ補正を行う。
【０１６４】
超解像化補正部１６５は、出力対象画像データに対する超解像化補正を行うものである。本実施の形態では、超解像化補正部１６５は、１つの出力対象画像データに基づいて、出力画像データに対する超解像化補正を行う。
【０１６５】
１つの画像データからの超解像化画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）にいくつかの方法が紹介されている。
【０１６６】
一般的には、画像パターンのエッジ方向性を検知し、その向きに合わせた補間を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響などの除去を目的としたノイズ除去処理を行うことにより、超解像化補正を実行することができる。以下、具体的に説明する。
【０１６７】
図２８は、本実施形態における超解像化補正の処理の流れを示すフローチャートである。ここでは、横方向・縦方向の各々について２倍の解像度変換を行う例について説明する。２倍の解像度変換を行う場合、補正対象となる出力対象画像データの画素数をｎ×ｍとするとき、補正後の超解像化画像データの画素数は２ｎ×２ｍとなる。このような超解像化補正（２倍の解像度変換）は、出力対象画像データにおける各画素を基準画素とし、当該基準画素間の中央に新たな画素を補間画素として生成し、当該基準画素と補間画素との両方を備える画像データを超解像化画像データとして生成することにより実行される。図２９は、基準画素と補間画素との関係を示すものであり、画素ａが基準画素を示し、画素ｂが補間画素を示している。
【０１６８】
まず、超解像化補正部１６５は、出力対象画像データについて、エッジ抽出を行う。例えば、超解像化補正部１６５は、図３０に示されるような１次微分フィルタを用いてエッジ抽出を行い、２値化処理を行い、２値化画像データを生成する（Ｓ１０１）。なお、２値化画像データにおいて画素値が１であればエッジである可能性が高い画素であることを示している。
【０１６９】
次に、超解像化補正部１６５は、Ｓ１０１で生成した２値化画像データに基づいて、撮像画像データにおける着目画素がエッジであるか否かを判定する（Ｓ１０２）。具体的には、超解像化補正部１６５は、２値化画像データにおける着目画素に対応する画素の値が１であれば、当該着目画素がエッジであると判定する。
【０１７０】
なお、着目画素とは、撮像画像データにおける各画素を任意の順に着目していったときに、着目している画素のことをいう。
【０１７１】
着目画素がエッジである場合（Ｓ１０２でＹｅｓ）、超解像化補正部１６５は、着目画素を含むＮ×Ｎ（Ｎ＞１）の部分画像を用いてエッジ方向を検出する（Ｓ１０３）。具体的には、Ｎ×Ｎの部分画像に含まれる全ての基準画素について、エッジ画素であるか否かを判定する。そして、着目画素の左上の基準画素と右下の基準画素とがエッジ画素である場合、超解像化補正部１６５は、部分画像におけるエッジ方向が左上−右下方向であると判定する。同様に、着目画素の左の基準画素と右の基準画素とがエッジ画素である場合、エッジ方向が左−右方向であると判定し、着目画素の上の基準画素と下の基準画素とがエッジ画素である場合、エッジ方向が上−下方向であると判定し、着目画素の右上の基準画素と左下の基準画素とがエッジ画像である場合、エッジ方向が右上−左下方向であると判定する。
【０１７２】
図３１において、点線は検出したエッジ方向を示している。なお、図３１において、画素(1)〜(9)が基準画素であり、このうちの画素(5)が着目画素である。そして、画素Ａ、Ｂ、Ｃは、それぞれ、基準画素(1)と(5)との間の補間画素、基準画素(2)と(5)との間の補間画素、基準画素(4)と(5)との間の補間画素である。
【０１７３】
次に、超解像化補正部１６５は、Ｓ１０３で検出したエッジ方向に応じて、着目画素の左上の補間画素Ａ、着目画素の上の補間画素Ｂ、着目画素の左の補間画素Ｃの画素値を補間により求める。このとき、エッジ方向に沿った基準画素を用いて補間画素の画素値を求める。
【０１７４】
エッジ方向が左上−右下方向である場合、図３１（ａ）に示されるように、基準画素(1)、(5)、(9)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ａの画素値ＶＡ（図中では「Ｖ」の表記を省略している。以下同じ）について、補間画素Ａに隣施するエッジ線上の基準画素(1)（画素値Ｖ(1)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(5)）／２
により求める。
【０１７５】
一方、エッジ線上ではない補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図３１（ａ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(6)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(6)）／１３
を用いて求める。
【０１７６】
同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(8)との画素値を用いて、以下の式
ＶＣ＝（９×Ｖ(4)＋４×Ｖ(8)）／１３
により求める。
【０１７７】
また、エッジ方向が左−右方向である場合、図３１（ｂ）に示されるように、基準画素(4)、(5)、(6)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｃの画素値ＶＣについて、補間画素Ｃに隣施するエッジ線上の基準画素(4)（画素値Ｖ(4)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＣ＝（Ｖ(4)＋Ｖ(5)）／２
により求める。
【０１７８】
一方、エッジ線上ではない補間画素Ａ、Ｂについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図３１（ｂ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(2)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)）／２
を用いて求める。
【０１７９】
補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と一致する。そのため、補間画素Ｂの画素値ＶＢは、基準画素(2)の画素値Ｖ(2)と同じ値にする。
【０１８０】
また、エッジ方向が右上−左下方向である場合、図３１（ｃ）に示されるように、基準画素(3)、(5)、(7)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、補間画素Ａ，Ｂ，Ｃは全てエッジ線上に存在しない。
【０１８１】
補間画素Ａについては、最近接基準画素が基準画素(1)、(2)、(4)となる。ここで、基準画素(2)、(4)は、エッジ方向に平行な同一の線上に位置するが、基準画素(1)は当該線上に位置しない。そこで、補間画素Ａの画素値ＶＡについて、最近接基準画素である基準画素(1)、(2)、(4)の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)＋Ｖ(4)）／３
により求める。
【０１８２】
一方、補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図３１（ｃ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(4)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(4)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(4)）／１３
を用いて求める。
【０１８３】
同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(2)との画素値を用いて、以下の式
ＶＣ＝（４×Ｖ(2)＋９×Ｖ(4)）／１３
により求める。
【０１８４】
また、エッジ方向が上−下方向である場合、図３１（ｄ）に示されるように、基準画素(2)、(5)、(8)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｂの画素値ＶＢについて、補間画素Ｂに隣施するエッジ線上の基準画素(2)および基準画素(5)の画素値を用いて、以下の式
ＶＣ＝（Ｖ(2)＋Ｖ(5)）／２
により求める。
【０１８５】
一方、エッジ線上ではない補間画素Ａ、Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図３１（ｄ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(4)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(4)）／２
を用いて求める。
【０１８６】
補間画素Ｃについては、最近接基準画素である基準画素(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)と(7)とを結ぶ線である。そして、補間画素Ｃから当該線に垂直に下した点は、基準画素(4)と一致する。そのため、補間画素Ｃの画素値ＶＣは、基準画素(4)の画素値Ｖ(4)と同じ値にする。
【０１８７】
なお、記憶部１５０は、エッジ方向と、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。そして、超解像化補正部１６５は、Ｓ１０３で検出されたエッジ方向に対応する演算式を記憶部１５０から読み出し、読み出した演算式に基づいて、補間画素Ａ，Ｂ，Ｃの画素値を求めればよい。
【０１８８】
なお、図３１では、エッジ方向が直線状である場合のみ示している。しかしながら、エッジは、Ｎ×Ｎの部分画像内において曲がる場合もある。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合や、エッジが基準画素(1)−(5)−(7)のように曲がる場合などである。このような場合についても、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式を対応付けた情報を予め記憶している。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合、補間画素Ａについては図３１（ｃ）と同様の、補間画素Ｂについては図３１（ｂ）と同様の、補間画素Ｃについては図３１（ｄ）と同様の演算式を記憶している。また、エッジが基準画素(1)−(5)−(7)のように曲がる場合、補間画素Ａについては図３１（ａ）と同様の、補間画素Ｂについては図３１（ａ）と同様の、補間画素Ｃについては図３１（ｄ）と同様の演算式を記憶している。他のエッジ方向のパターンについても同様に記憶している。
【０１８９】
このようにして、超解像化補正部１６５は、エッジ画素と判定された基準画素の周囲に位置する補間画素の画素値を求める。
【０１９０】
一方、着目画素がエッジでない場合（Ｓ１０２でＮｏ）、超解像化補正部１６５は、当該着目画素の左上に隣接する補間画素Ａ，当該着目画素の上に隣接する補間画素Ｂ，当該着目画素の左の補間画素Ｃの画素値を、一般的な補間演算法（バイリニア・バイキュービックなど）により求める（Ｓ１０４）。
【０１９１】
超解像化補正部１６５は、上記のＳ１０２〜Ｓ１０４の処理を、一つの画像データに含まれる全ての基準画素について実行することで、基準画素と補間画素との両方を備える補間画像データを生成する（Ｓ１０５）。
【０１９２】
その後、超解像化補正部１６５は、生成した補間画像データに対して高画質化処理を行う。例えば、超解像化補正部１６５は、ノイズ除去フィルタや鮮鋭化フィルタなどを補間画像データに適用して、超解像化画像データを生成する。従来からあるアンシャープマスクや図３０の中央の係数を５としたものが鮮鋭化フィルタとなる。またノイズ除去としてはメディアンフィルタなどが広く知られている。より高度な手法として、上記エッジ保存性と高画質化を併せ持つ手法としてBilateralフィルタ［Proceedings of the 1998 IEEE International Conference on Computer Vision,］などを用いてもよい。
【０１９３】
なお、超解像化補正部１６５は、上述した方法に限定されず、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）  に記載されているような種々の方法を用いて、１つの撮像画像データから超解像化画像データを生成してもよい。
【０１９４】
ファイル生成部１６６は、前記ファイル生成部４０と同様の処理を行う。
【０１９５】
出力処理部１６７は、画像を印刷、ファクシミリ送信、e-mail等のイメージ送信およびファイリング等により出力する場合に必要な処理部を備えている。具体的には、図１に示した領域分離処理部３４、色補正部３５、黒生成下色除去処理部３６、空間フィルタ処理部３７および中間調処理部３８等を備えている。
【０１９６】
また、図２５に示した画像形成装置１３１の構成を画像表示装置に適用する場合、画像表示装置は、画像処理部１４２、認証部１４３、表示部１４５、入力部１４６、第１通信部１４７、第２通信部１４８、記憶部１５０および制御部（コンピュータ）１５１を備えた構成となる。この場合、画像処理部１４２は、図２６に示した、例えば、画質調整部１６１、幾何学補正部１６２、レンズ歪み補正部１６４および超解像化補正部１６５を備え、出力処理部１６７として色補正部３５および空間フィルタ処理部３７等を備えた構成となる。なお、認証部１４３および超解像化補正部１６５は無くてもよい。その他の構成については、実施の形態１に示したものと同様である。
【０１９７】
上記の構成において、携帯端末装置１００および画像形成装置１３１の動作について、以下に説明する。図２７の（ａ）は、携帯端末装置１００および画像形成装置１３１が行う処理の概要を示すフローチャートである。図２７の（ｂ）は、携帯端末装置１００での処理の内容を示すフローチャートである。図２７の（ｃ）は、画像形成装置１３１（本体装置）での処理の内容を示すフローチャートである。図２７の（ｄ）は、図２７の（ａ）に示したフォーマット化の処理の内容を示すフローチャートである。
【０１９８】
表示切替えＰＤＦファイル７３の生成は、携帯端末装置１００による撮像画像（画像データ）を使用して行われる。この処理では、図２７の（ａ）に示すように、ユーザにより下記の処理設定が行われる（Ｓ６１）。この処理設定は、例えば携帯端末装置１００において行われる。設定内容は、携帯端末装置１００の記憶部１０８に一旦記憶された後、通信部１０４から画像形成装置（ＭＦＰ）１３１に送信され、画像形成装置１３１の記憶部１５０にて記憶される。
【０１９９】
（１）ユーザにより、マーカー指定モードが選択されると、ユーザ設定モードとなり、さらにユーザにより、例えば、携帯端末装置１００の表示部１０５に表示される案内画面表示に応じて、マーカー領域内（マーカーにより指定された領域内）またはマーカー領域外の何れを塗り潰すのかの設定と、塗り潰し色および塗り潰し色の透過率との設定が行われる。
【０２００】
（２）マーカー指定モードが選択されると、表示切替えＰＤＦファイル７３においてマーカー領域の表示・非表示制御を行うか否かの選択を促す画面が携帯端末装置１００の表示部１０５に表示される。
【０２０１】
（３）表示・非表示制御が選択された場合には、作成された表示切替えＰＤＦファイル７３を開いた際に、マーカー領域を表示させるか否かの選択を促す画面が表示される。この画面では、マーカー領域内またはマーカー領域外の何れを制御対象とするかの選択も要求される。
【０２０２】
次に、携帯端末装置１００において所定の処理（端末側処理）が行われ（Ｓ６２）、画像形成装置１３１の画像処理部１４２における各補正部で利用される情報と画像データが画像形成装置１３１に送信される。
【０２０３】
画像形成装置１３１では、携帯端末装置１００から受信した情報と画像データに対して所定の処理（本体側処理）を行う（Ｓ６３）。
【０２０４】
次に、画像形成装置１３１では、画像データに対して、マーカー認識処理（Ｓ６４）、マスク画像レイヤ情報生成処理（Ｓ６５）、描画コマンド生成処理（Ｓ６６）およびフォーマット化処理（Ｓ６７）を行い、表示切替えＰＤＦファイル７３を生成する。フォーマット化処理（Ｓ６７）の内容は、図２７の（ｄ）に示すＳ９１およびＳ９２の処理である。また、上記のＳ６４〜Ｓ６７の処理は、図６の（ａ）に示したＳ２３〜Ｓ２６の処理と同じであり、Ｓ９１およびＳ９２の処理は、図６の（ｂ）に示したＳ３１およびＳ３２の処理と同じである。
【０２０５】
また、Ｓ６２の端末側処理は、図２７の（ｂ）に示すものであり、Ｓ６３の本体側処理は、図２７の（ｃ）に示すものである。
【０２０６】
図２７の（ｂ）に示す端末側処理において、携帯端末装置１００では、ユーザの操作に応じて撮像部１０１により順次撮像が行われ撮像画像（画像データ）が取得され（Ｓ７１）、撮像画像判定部１１０は、それら撮像画像（画像データ）が適正であるか否かを判定する（Ｓ７２）。撮像画像（画像データ）が適正でない場合、その旨が表示部１０５においてユーザに通知され（Ｓ７３）、ユーザにより再度の撮像が行われる。
【０２０７】
Ｓ７２での判定の結果、適正な撮像画像（画像データ）は記憶部１０８に保存され（Ｓ７４）、ファイルネームが作成される（Ｓ７５）。
【０２０８】
次に、記憶部１０８に保存された撮像画像（画像データ）は、幾何学補正情報、携帯端末装置の機種情報、ユーザ情報および設定情報が属性情報として添付され、通信部１０４により画像形成装置（ＭＦＰ）１３１（あるいは画像表示装置）に送信される（Ｓ７６）。その後、全ての撮像画像（画像データ）が送信されると（Ｓ７７）、処理を終了する。
【０２０９】
また、図２７の（ｃ）に示す本体側処理において、画像形成装置１３１では、携帯端末装置１００から撮像画像（画像データ）および各種属性情報を受信すると（Ｓ８１）、画像処理部１４２の画質調整部１６１によりカラーバランス・コントラスト・明るさ補正を行う（Ｓ８２）。また、幾何学補正部１６２により幾何学補正・傾き補正を行う（Ｓ８３）。さらに、超解像化補正部１６５により超解像化補正を行い（Ｓ８４）、処理後の画像データを記憶部１５０に格納する（Ｓ８５）。
【０２１０】
本実施の形態の画像処理部１４２においても、表示切替えＰＤＦファイル７３を表示している状態において、ボタン７１を操作してマーカー領域マスク画像の表示・非表示を切り替えることにより、画像データの所定の領域の表示状態と非表示状態とを容易に切り替えることができる。また、ボタン７１を印刷されない状態にて表示切替えＰＤＦファイル７３に埋め込むことにより、表示切替えＰＤＦファイル７３を印刷した場合に、ボタン７１が印刷される事態を防止することができる。
【０２１１】
〔実施形態１０〕
（ソフトウェアによる実現例）
画像処理装置１２，８２，９２および画像処理部１４２の各ブロック（特に領域選択部３４、ファイル生成部４０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【０２１２】
後者の場合、上記核装置は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０２１３】
〔まとめ〕
本発明の態様１に係る画像処理装置は、入力画像データに対して指定された選択領域を検出し、前記選択領域を示す選択領域情報を生成する選択領域認識部（マーカー認識部５２）と、前記選択領域情報を参照して、前記選択領域に対応したマスク画像データを生成するマスク画像生成部６１と、前記マスク画像データが前記入力画像データの前記選択領域に対応付けて配置され、前記マスク画像データの表示または非表示を選択する選択入力部（ボタン７１）が付加され、かつ前記選択入力部への選択入力に応じて前記マスク画像データの表示と非表示とが切り替わるファイル（表示切替えＰＤＦファイル７３）を生成するファイル生成部（描画コマンド生成部６２、フォーマット化処理部６３）とを備えている。
【０２１４】
上記の構成によれば、選択領域認識部は、入力画像データに対して指定された選択領域を検出し、前記選択領域を示す選択領域情報を生成する。マスク画像生成部６１は、選択領域情報を参照して、選択領域に対応したマスク画像データを生成する。ファイル生成部は、マスク画像データが入力画像データの選択領域に対応付けて配置され、マスク画像データの表示または非表示を選択する選択入力部が付加され、かつ選択入力部への選択入力に応じてマスク画像データの表示と非表示とが切り替わるファイルを生成する。
【０２１５】
したがって、生成されたファイルは、ユーザが選択入力部を操作することにより、マスク画像データの表示と非表示とが切り替わるので、ファイルにおける所定領域の表示状態と非表示状態とを容易に切り替えることができる。
【０２１６】
これにより、例えば、ファイルを一人で閲覧する場合に、マスク画像データを非表示状態としてファイルの所定領域を表示状態とする一方、ファイルを他の人と閲覧する場合に、マスク画像データを表示状態としてファイルの所定領域を非表示状態とする（隠す）といった表示が可能となる。
【０２１７】
本発明の態様２に係る画像処理装置は、上記態様１において、前記選択領域情報が示す前記選択領域は、前記入力画像データの所定領域を囲むように指定されたものであり、前記マスク画像生成部６１は、前記選択領域の内側領域または前記選択領域の外側領域のいずれかを塗り潰す前記マスク画像データを生成し、前記ファイル生成部（描画コマンド生成部６２、フォーマット化処理部６３）は、前記ファイル（表示切替えＰＤＦファイル７３）を表示するときの前記マスク画像データの透過率を設定する構成としてもよい。
【０２１８】
上記の構成によれば、マスク画像生成部６１は、入力画像データの所定領域を囲むように指定された選択領域の内側領域または前記選択領域の外側領域のいずれかを塗り潰すマスク画像データを生成する。ファイル生成部は、画像ファイルを表示するときのマスク画像データの透過率を設定する。
【０２１９】
上記の構成によれば、ユーザが入力画像データの所定領域を囲むように選択領域を指定すれば、例えばユーザの選択に応じて、選択領域の内側領域または前記選択領域の外側領域のいずれかを塗り潰すマスク画像データを生成することができる。また、マスク画像データの透過率は、例えばユーザの選択に応じて、ファイル生成部にて設定することができる。したがって、生成された画像ファイルは、表示したときに、予めの設定に応じて、入力画像データのマスク画像データにてマスクされた領域について、半透過状態（透過率５０％、マスクされた領域の画像の存在を確認できる状態）、あるいは非透過状態（透過率としては０％、マスクされた領域を表示しない状態）といった表示が可能である。なお、塗りつぶしを行う場合、透過率の設定は行わない。
【０２２０】
本発明の態様３に係る画像処理装置は、上記態様１または２において、前記ファイル生成部（描画コマンド生成部６２、フォーマット化処理部６３）は、前記画像ファイル（表示切替えＰＤＦファイル７３）が印刷される場合に、前記選択入力部（ボタン７１）が印刷されない設定とする構成としてもよい。
【０２２１】
上記の構成によれば、ファイルを印刷したときに、印刷画像に不要な選択入力部が印刷される事態を防止することができる。
【０２２２】
本発明の態様４に係る画像処理装置は、上記態様１から３のいずれかにおいて、前記ファイル生成部（描画コマンド生成部６２、フォーマット化処理部６３）は、前記入力画像データが複数頁からなる場合に、各入力画像データに対応して生成した複数のファイル（表示切替えＰＤＦファイル７３）の各頁に表示される前記選択入力部（ボタン７１）のいずれかが操作されることにより、前記複数のファイルに共通した前記マスク画像データの表示と非表示との切り替えが行われるように設定する構成としてもよい。
【０２２３】
上記の構成によれば、ファイル生成部は、入力画像データが複数頁からなる場合に、各入力画像データに対応して生成した複数のファイルの各頁に表示される選択入力部のいずれかが操作されることにより、複数のファイルに共通したマスク画像データの表示と非表示との切り替えが行われるように設定する。これにより、ユーザは、いずれかのファイルの選択入力部を操作することにより、複数のファイルのマスク画像データの表示と非表示とを一括して切り替えることができる。
【０２２４】
本発明の態様５に係る画像処理方法は、入力画像データに対して指定された選択領域を検出し、前記選択領域を示す選択領域情報を生成する選択領域認識工程と、前記選択領域情報を参照して、前記選択領域に対応したマスク画像データを生成するマスク画像生成工程と、前記マスク画像データが前記入力画像データの前記選択領域に対応付けて配置され、前記マスク画像データの表示または非表示を選択する選択入力部が付加され、かつ前記選択入力部への選択入力に応じて前記マスク画像データの表示と非表示とが切り替わるファイルを生成するファイル生成工程とを備えている構成である。
【０２２５】
上記の構成によれば、態様１に記載の画像処理装置と同様の作用効果を奏する。
【０２２６】
本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部として動作させることにより上記画像処理をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０２２７】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【０２２８】
本発明は、携帯端末装置と画像形成装置や画像表示装置との間でデータ通信を行う画像処理システムに適用することができる。
【符号の説明】
【０２２９】
１    画像形成装置
１１    画像入力装置
１２    画像処理装置
１３    画像出力装置
１４    制御部
１８      操作パネル
３４    領域選択部
４０    ファイル生成部
５１    解像度変換部
５２    マーカー認識部（選択領域認識部）
６１    マスク画像生成部
６２    描画コマンド生成部（ファイル生成部）
６３    フォーマット化処理部（ファイル生成部）
７１    ボタン（選択入力部）
７２    マーカーライン
７３    表示切替えＰＤＦファイル
８１    画像読取装置
８２    画像処理装置
９１    画像形成装置
１４２    画像処理部
【図１】
2015050564.tif 000003
【図２】
2015050564.tif 000004
【図３】
2015050564.tif 000005
【図４】
2015050564.tif 000006
【図５】
2015050564.tif 000007
【図６】
2015050564.tif 000008
【図７】
2015050564.tif 000009
【図８】
2015050564.tif 000010
【図９】
2015050564.tif 000011
【図１０】
2015050564.tif 000012
【図１２】
2015050564.tif 000013
【図１３】
2015050564.tif 000014
【図１４】
2015050564.tif 000015
【図１５】
2015050564.tif 000016
【図１６】
2015050564.tif 000017
【図１７】
2015050564.tif 000018
【図１９】
2015050564.tif 000019
【図２０】
2015050564.tif 000020
【図２１】
2015050564.tif 000021
【図２２】
2015050564.tif 000022
【図２３】
2015050564.tif 000023
【図２４】
2015050564.tif 000024
【図２５】
2015050564.tif 000025
【図２６】
2015050564.tif 000026
【図２７】
2015050564.tif 000027
【図２８】
2015050564.tif 000028
【図２９】
2015050564.tif 000029
【図３０】
2015050564.tif 000030
【図３１】
2015050564.tif 000031
【図１１】
2015050564.tif 000032
【図１８】
2015050564.tif 000033