(57)【特許請求の範囲】
【請求項１】
複数の入力値の各々と補正値との対応関係を示す、予め定められた基準データを取得する基準データ取得部と、
撮像画像を複数の部分画像に分割する分割処理部と、
上記部分画像について、色成分ごとに濃度値に対する画素数の分布を示すヒストグラムを作成するヒストグラム作成部と、
上記部分画像ごとに、上記ヒストグラムにおけるピークに基づいて調整値を決定する調整値決定部と、
上記部分画像ごとに、上記基準データの複数の入力値のうちの特定入力値を上記調整値で置き換えることで階調補正データを生成する階調補正データ生成部と、
上記部分画像ごとに上記階調補正データを用いて階調補正することで補正画像を生成する補正処理部とを備え、
上記調整値決定部は、上記ヒストグラムにおいて、濃度値として取り得る最大値に最も近いピークの画素数に所定係数を乗じた値に対応する濃度値を上記調整値として決定することを特徴とする画像処理装置。
【請求項２】
複数の入力値の各々と補正値との対応関係を示す、予め定められた基準データを取得する基準データ取得部と、
撮像画像を複数の部分画像に分割する分割処理部と、
上記部分画像について、色成分ごとに濃度値に対する画素数の分布を示すヒストグラムを作成するヒストグラム作成部と、
上記部分画像ごとに、上記ヒストグラムにおけるピークに基づいて調整値を決定する調整値決定部と、
上記部分画像ごとに、上記基準データの複数の入力値のうちの特定入力値を上記調整値で置き換えることで階調補正データを生成する階調補正データ生成部と、
上記部分画像ごとに上記階調補正データを用いて階調補正することで補正画像を生成する補正処理部とを備え、
上記調整値決定部は、上記ヒストグラムにおいて、画素数が最大のピークの画素数に所定係数を乗じた値に対応する濃度値を上記調整値として決定することを特徴とする画像処理装置。
【請求項３】
複数の入力値の各々と補正値との対応関係を示す、予め定められた基準データを取得する基準データ取得部と、
撮像画像を複数の部分画像に分割する分割処理部と、
上記部分画像について、色成分ごとに濃度値に対する画素数の分布を示すヒストグラムを作成するヒストグラム作成部と、
上記部分画像ごとに、上記ヒストグラムにおけるピークに基づいて調整値を決定する調整値決定部と、
上記部分画像ごとに、上記基準データの複数の入力値のうちの特定入力値を上記調整値で置き換えることで階調補正データを生成する階調補正データ生成部と、
上記部分画像ごとに上記階調補正データを用いて階調補正することで補正画像を生成する補正処理部と、
下記の何れかの条件を満たす場合に、上記調整値決定部により決定された調整値が不適切であると判定する検証部と、
調整値決定部により決定された調整値が不適切であると上記検証部により判定された部分画像の調整値を、当該部分画像の周辺に位置し、上記検証部により調整値が適切であると判定された部分画像の調整値に基づいて変更する調整値変更部とを備え、
上記階調補正データ生成部は、上記調整値変更部により調整値が変更されている場合には変更後の調整値に基づいて階調補正データを生成することを特徴とする画像処理装置。
条件Ａ：上記ヒストグラムにおいて、上記ピークにおける濃度値と当該ピークの画素数に所定係数を乗算した値に対応する濃度値との差が第１閾値以上である。
条件Ｂ：上記調整値決定部により決定された色成分ごとの調整値の最大値と最小値との差が第２閾値以上である。
条件Ｃ：周辺に位置する部分画像の調整値との差が第３閾値以上である。
【請求項４】
上記分割処理部は、上記部分画像における複数箇所の濃度値の分布情報に基づいて、当該部分画像について再分割処理が必要か否かを判定し、分割処理が必要であると判定した場合、当該部分画像を更に複数の部分画像に分割することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
上記分割処理部は、全ての部分画像について再分割処理が不要であると判定するまで、再分割処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記基準データは、基準チャートを所定の環境条件下で撮像して得られた基準撮像画像から求められた階調補正曲線の中の複数の特徴点における入力値と補正値との対応関係を示すことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
【請求項７】
上記特定入力値は、上記基準撮像画像における白色下地部分の画素に対応する入力値であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
撮像部と、
上記撮像部により撮像された撮像画像、および上記補正処理部により生成された補正画像が表示される表示部とを備えることを特徴とする請求項１から７の何れか１項に記載の画像処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に対して画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
インターネット技術の進展とともに携帯電話など携帯端末装置を利用して撮像した画像を保存する機会が増えてきている。また、単純に風景や、人物などを被写体とするだけではなく、各種ショーなどで展示されている説明図や説明文、あるいは学会等でのスライドを撮影する機会も増大してきている。
【０００３】
特許文献１には、撮像により記憶部に取り込まれた画像データから撮像対象物の輪郭を求め、求めた輪郭の内側（輪郭を除く）の領域を実対象部として切り出し、実対象部の輝度の調整、カラー調整、輝度ムラ、背景の白色化を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１２２３１９号公報（２００５年５月１２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に示す技術は、実対象部の画像データの切り出しを行い、その画像から色差と当該色差を有する画素の数とを取得して色差ヒストグラムを生成し、生成した輝度色差ヒストグラムから画像効果補正用パラメータを取得してカラー調整を行う。また、輝度値と当該輝度値を有する画素数を求めて輝度ヒストグラムを作成し、また、色差と当該色差を有する画素の数とを取得して色差ヒストグラムを生成して、輝度ヒストグラムと色差ヒストグラムとから画像効果補正用パラメータを取得して白色化を行う。また、実対象部の画像を複数のブロックに分割し、ブロック毎に輝度ヒストグラムを生成し、生成した輝度ヒストグラムからブロック毎に実対象部の画像の輝度ムラを補正するものである。しかしながら、特許文献１の方式では、色味の補正と輝度の補正を分割しているため、余計な手間がかかり、また、色ムラを補正することはできない。更に実対象部の画像データの切り出しに失敗した場合その補正は大きく精度を欠くことになる。
【０００６】
本発明は、上記課題を解決するためになされたものであり、シンプルな処理で画像の切り出しを行うことなく、撮像画像を所望の画質に補正することが可能な画像処理装置、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の画像処理装置は、複数の入力値の各々と補正値との対応関係を示す、予め定められた基準データを取得する基準データ取得部と、撮像画像を複数の部分画像に分割する分割処理部と、上記部分画像について、色成分ごとに濃度値に対する画素数の分布を示すヒストグラムを作成するヒストグラム作成部と、上記部分画像ごとに、上記ヒストグラムにおけるピークに基づいて調整値を決定する調整値決定部と、上記部分画像ごとに、上記基準データの複数の入力値のうちの特定入力値を上記調整値で置き換えることで階調補正データを生成する階調補正データ生成部と、上記部分画像ごとに上記階調補正データを用いて階調補正することで補正画像を生成する補正処理部とを備えることを特徴とする。
【０００８】
上記の構成によれば、基準データの複数の入力値のうちの特定入力値を、ヒスグラムから求めた調整値で置き換えることで階調補正データを生成する。そして、階調補正データを用いて階調補正を行う。これにより、ヒスグラムのピークは、部分画像において例えば下地部分などの画素で構成される。そのため、基準データにおいて下地部分の理想的な明るさや色合いを有する点の入力値を特定入力値として予め設定しておくことで、下地部分を理想的な濃度値に階調補正することができる。また、部分画像ごとに階調補正を行うことにより、局所的な色や輝度の変化の補正、すなわち色・輝度を含めたシェーディング補正を行うことができる。その結果、シンプルな処理で画像の切り出しを行うことなく、撮像画像を所望の画質に補正することが可能な画像処理装置を実現できる。
【０００９】
さらに、本発明の画像処理装置において、上記分割処理部は、上記部分画像における複数箇所の濃度値の分布情報に基づいて、当該部分画像について再分割処理が必要か否かを判定し、分割処理が必要であると判定した場合、当該部分画像を更に複数の部分画像に分割することが好ましい。
【００１０】
上記の構成によれば、ある部分画像内に急峻なシェーディング（影や色変化）があったとしても、再分割処理を行うことで、ほぼ同様の画像内容を示す部分領域に再分割することができる。その結果、部分画像ごとに同等の階調補正を行ったとしても違和感のない補正を行うことができる。
【００１１】
さらに、本発明の画像処理装置において、上記分割処理部は、全ての部分画像について再分割処理が不要であると判定するまで、再分割処理を行うことが好ましい。
【００１２】
上記の構成によれば、画像の細部に亘って、部分的な影や色の変化を抑制することができる。
【００１３】
さらに、本発明の画像処理装置において、上記調整値決定部は、上記ヒストグラムにおいて、濃度値として取り得る最大値に最も近いピークの画素数に所定係数を乗じた値に対応する濃度値を上記調整値として決定することが好ましい。
【００１４】
もしくは、本発明の画像処理装置において、上記調整値決定部は、上記ヒストグラムにおいて、画素数が最大のピークの画素数に所定係数を乗じた値に対応する濃度値を上記調整値として決定することが好ましい。
【００１５】
濃度値として取り得る最大値に最も近いピーク、もしくは、画素数が最大のピークは、画像における下地部分である確率が高い。そのため、上記の構成によれば、下地部分を理想的な濃度値に階調補正することができる。
【００１６】
さらに、本発明の画像処理装置において、上記基準データは、基準チャートを所定の環境条件下で撮像して得られた基準撮像画像から求められた階調補正曲線の中の複数の特徴点における入力値と補正値との対応関係を示すことが好ましい。
【００１７】
さらに、上記特定入力値は、上記基準撮像画像における白色下地部分の画素に対応する入力値であることが好ましい。
【００１８】
上記の構成によれば、部分画像における下地部分を理想的な白色下地部分の濃度値に階調補正することができる。その結果、下地飛ばし補正、色かぶり補正などを効果的に行うことができる。
【００１９】
さらに、本発明の画像処理装置は、下記の何れかの条件を満たす場合に、上記調整値決定部により決定された調整値が不適切であると判定する検証部と、調整値決定部により決定された調整値が不適切であると上記検証部により判定された部分画像の調整値を、当該部分画像の周辺に位置し、上記検証部により調整値が適切であると判定された部分画像の調整値に基づいて変更する調整値変更部とを備え、上記階調補正データ生成部は、上記調整値変更部により調整値が変更されている場合には変更後の調整値に基づいて階調補正データを生成することが好ましい。
条件Ａ：上記ヒストグラムにおいて、上記ピークにおける濃度値と当該ピークの画素数に所定係数を乗算した値に対応する濃度値との差が第１閾値以上である。
条件Ｂ：上記調整値決定部により決定された色成分ごとの調整値の最大値と最小値との差が第２閾値以上である。
条件Ｃ：周辺に位置する部分画像の調整値との差が第３閾値以上である。
【００２０】
上記の構成によれば、写真や図画のような領域、または局所的な有彩色の背景や図画を有する可能性が高い領域では、ヒストグラムのピークの濃度値として様々な値を取り得る可能性がある。そのため、ヒストグラムのピークから求めた調整値によって特定入力値を置き換えて階調補正データを生成した場合、意図しない階調補正が実行される可能性がある。上記の条件Ａ、Ｂ、Ｃを満たす部分画像は、写真や図画のような領域、または局所的な有彩色の背景や図画を有する可能性が高い領域である。そこで、このような部分画像については、当該ヒストグラムから求めた調整値ではなく、周辺の部分画像のうち、調整値が適切であると判定された部分画像の調整値に基づいて変更する。これにより、写真や図画のような領域、または局所的な有彩色の背景や図画を有する可能性が高い領域の部分画像であっても、周辺の部分画像と同様の階調補正を行うことができ、部分的に意図しない階調補正が実行されることを抑制することができる。
【００２１】
さらに、本発明の画像処理装置は、撮像部と、上記撮像部により撮像された撮像画像、および上記補正処理部により生成された補正画像が表示される表示部とを備えることが好ましい。
【００２２】
上記の構成によれば、撮像部を備えた装置内で、当該撮像部により得られた撮像画像について適切な階調補正を行うことができる。
【００２３】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより画像処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００２４】
本発明は、シンプルな処理で画像の切り出しを行うことなく、撮像画像を所望の画質に補正することが可能な画像処理装置を実現できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る撮像画像処理システムの全体構成を示す図である。
【図２】本発明の一実施形態に係る携帯端末装置の構成を示すブロック図である。
【図３】携帯端末装置が備える撮像範囲判定部の構成を示すブロック図である。
【図４】撮像範囲判定部の処理の一例を示すフローチャートである。
【図５】連結エッジ領域のラベリングの方法を示す図である。
【図６】エッジ画素群の近似直線の交点を求める例を示す図である。
【図７】撮像対象物が撮像範囲内であることを示す情報が表示された画面例を示す図である。
【図８】第１欠落情報が表示された画面例を示す図である。
【図９】第２欠落情報が表示された画面例を示す図である。
【図１０】図７に示す画像読み込みボタンが押下されたときに表示される画面例を示す図である。
【図１１】携帯端末装置が備える画像処理部の構成を示すブロック図である。
【図１２】基準階調補正曲線と当該基準階調補正曲線から抽出された５つの特徴点（ａ）〜（ｅ）とを示す図である。
【図１３】出力対象画像データを５×５に分割したときの画像を示す図である。
【図１４】図１４は再分割処理の一例を示す図である。
【図１５】各色チャンネルのヒストグラムの例を示す。
【図１６】ヒストグラムから調整値を抽出する例を示す図である。
【図１７】出力対象画像データで示される画像の一例を示す図である。
【図１８】（ａ）は検証部による検証直後の検証フラグを示す図であり、（ｂ）は調整値補間部による最終調整値の決定時点における検証フラグを示す図である。
【図１９】最終調整値を決定する際に用いられるフィルタ係数を示す図である。
【図２０】第２部分画像と第１部分画像とが隣接している部分の拡大図である。
【図２１】複数の部分画像に対して求められた階調補正データを用いて補間演算により階調補正を行う方法を示す図である。
【図２２】出力対象画像データで示される画像の別の例を示す図である。
【図２３】図２２の部分画像（１）におけるヒストグラムと調整値とを示す図である。
【図２４】図２２の部分画像（２）におけるヒストグラムと調整値とを示す図である。
【図２５】基準補正データにおける入力値を調整値で置換する様子を示す図である。
【図２６】図２２の部分画像（１）に対して求めた階調補正データをグラフ化した図である。
【図２７】図２２の部分画像（２）に対して求めた階調補正データをグラフ化した図である。
【図２８】本発明の一実施形態に係る画像形成装置の構成を示すブロック図である。
【図２９】画像形成装置が有する画像処理部の内部構成を示すブロック図である。
【図３０】画像のカラーバランス調整時に作成するルックアップテーブルの一例を示す図である。
【図３１】画像のレンズ歪みの補正例を示す図である。
【図３２】画像の幾何学的歪みおよび傾きの補正例を示す図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態について、詳細に説明する。
【００２７】
（１）撮像画像処理システムの全体構成
図１は、本発明に係る撮像画像処理システムの全体構成を示す図である。図１に示されるように、撮像画像処理システムは、カメラ付き携帯電話、デジタルスチルカメラなど、撮像手段を備えた携帯端末装置（画像処理装置）１００、複合機、プリンタなどの画像形成装置（画像出力装置）２００、および、インフォメーションディスプレイや電子黒板などの画像表示装置（画像出力装置）３００を備える。
【００２８】
携帯端末装置１００は、ユーザによって携帯されるものである。ユーザは、様々な場面で携帯端末装置１００により対象物を撮像することができる。
【００２９】
本実施形態において、携帯端末装置１００は、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面（例えば、ディスプレイ画面やプロジェクターにより投影された画面）のような矩形状の撮像対象物を撮像し、当該撮像により得られた画像を画像形成装置２００または画像表示装置３００から出力するための文書撮像モードの機能を有している。すなわち、携帯端末装置１００は、文書撮像モードでの撮像により得られ、画像形成装置２００または画像表示装置３００にて出力する対象となる画像データ（以下、出力対象画像データという）を画像形成装置２００または画像表示装置３００に送信する。
【００３０】
そして、画像形成装置２００は、受信した出力対象画像データ、もしくは、出力対象画像データで示される画像を出力する。このとき、画像形成装置２００は、出力対象画像データに対して所定の画像処理を行った上で出力処理を行ってもよい。また、画像表示装置３００は、出力対象画像データの表示処理を行う。
【００３１】
なお、画像形成装置２００で実行される出力処理としては、出力対象画像データで示される画像を印刷して出力する印刷処理、サーバやＵＳＢメモリなどの記憶装置へ出力対象画像データを格納するファイリング処理、電子メールに出力対象画像データを添付して送信するメール送信処理などがある。画像表示装置３００で実行される出力処理は、出力対象画像データの表示処理である。
【００３２】
携帯端末装置１００と画像形成装置２００とは通信可能であり、携帯端末装置１００は、上述したように、出力対象画像データを画像形成装置２００に送信する。携帯端末装置１００と画像形成装置２００との通信方式としては、図１において符号Ａまたは符号Ｂで示されるような方式がある。符号Ａで示される方式は、ＩｒＳｉｍｐｌｅなどの赤外線通信規格のいずれかに基づく無線通信方式である。符号Ｂで示される方式は、Ｆｅｌｉｃａ（登録商標）のような非接触無線通信により、携帯端末装置１００から画像表示装置３００に一旦出力対象画像データを送り、その後、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信を用いて、当該画像表示装置３００から画像形成装置２００へ当該データを転送する方式である。本実施形態では、ユーザは、画像形成装置２００の前にきてから携帯端末装置１００を操作し、赤外線通信のような近距離無線通信方式を用いて、携帯端末装置１００から画像形成装置２００へデータ送信するものとする。
【００３３】
ここで、画像表示装置３００は、例えば、液晶ディスプレイ、プラズマディスプレイ、有機エレクトロルミネッセンスディスプレイ等よりなるインフォメーションディスプレイや電子黒板等である。このような画像表示装置３００は、出力対象画像データで示される画像を表示させる表示処理を行う。この表示処理は、出力対象画像データの出力処理の１つである。すなわち、画像表示装置３００は、出力対象画像データの出力処理を行う画像出力装置であるといえる。画像表示装置３００で表示を行った後、画像形成装置２００で印刷を行う、あるいは、他のアドレスにｅ−ｍａｉｌ送信を行う、あるいは、コンピュータやネットワークで接続されているサーバ等に格納するようにすることもできる。
【００３４】
なお、携帯端末装置１００と画像形成装置２００および画像表示装置３００との間の通信方式については、これらに限定されることなく、公知の通信方法を用いたものを適用することができる。たとえば、電子メールに出力対象画像データを添付して画像形成装置２００や画像表示装置３００に送信してもよい。
【００３５】
（２）携帯端末装置の構成
図２に基づいて、本実施形態に係る携帯端末装置１００について説明する。図２は、携帯端末装置１００の構成を示すブロック図である。図２に示されるように、携帯端末装置１００は、撮像部１０１、撮像範囲判定部１１０、画像処理部１０３、通信部１０４、表示部１０５、入力部１０６、記録媒体アクセス部１０７、記憶部１０８、制御部１０９を備えている。
【００３６】
撮像部１０１は、ＣＣＤセンサ、ＣＭＯＳセンサを用いて、撮像対象物の撮像を行い、撮像により得られた撮像画像を表示部１０５に表示させる。なお、撮像部１０１は、予め設定された解像度で撮像対象物の撮像を行う。なお、撮像部１０１により撮像される範囲（以下、撮像範囲という）は、予め設定された拡大縮小率に従って決定される。ここでは、撮像範囲は、幅がＸｍａｘ、高さがＹｍａｘの矩形であるとする。
【００３７】
撮像範囲判定部１１０は、ユーザにより文書撮像モードが選択された場合に、撮像部１０１により撮像され表示部１０５に表示されている撮像画像を基に、矩形状の撮像対象物が撮像範囲内に収まっているか否かを判定する。また、撮像範囲判定部１１０は、指定されたタイミングで表示部１０５に表示されている撮像画像を示す画像データを出力対象画像データとして記憶部１０８に格納する。撮像範囲判定部１１０の詳細については後述する。
【００３８】
画像処理部１０３は、記憶部１０８に格納された出力対象画像データに対して輝度、色・輝度ムラ補正、背景の白色化などの画質補正処理を行うことで補正済画像データを生成し、出力対象画像データと対応付けて記憶部１０８に格納する。画像処理部１０３の詳細については後述する。
【００３９】
通信部１０４は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送、無線データ通信機能を有する。通信部１０４は、ユーザが入力した送信指示に従って補正済画像データ（または出力対象画像データ）を画像形成装置２００または画像表示装置３００に送信する。
【００４０】
表示部１０５は、例えば液晶ディスプレイなどにより構成される。また，入力部１０６は、複数のボタンを有しており、ユーザがデータの入力等を行う。
【００４１】
記録媒体アクセス部１０７は、携帯端末装置１００の各処理を行うためのプログラムが記録された記録媒体から、プログラムを読み出す。
【００４２】
また、記憶部１０８は、携帯端末装置１００の各処理を行うためのプログラム、携帯端末装置１００の機種情報、ユーザ情報や処理を行う際に必要なデータを格納する。なお、ユーザ情報とは、携帯端末装置１００のユーザを識別する情報であり、例えば、ユーザＩＤおよびパスワードなどである。また、記憶部１０８は、文書撮像モードで撮像することにより得られた出力対象画像データおよびその付属情報（後述する出力処理情報、ファイルネームなど）を記憶する。
【００４３】
制御部１０９は、携帯端末装置１００の各部の制御を行う。制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、画像形成装置２００での出力処理の種類（印刷処理、ファイリング処理、メール送信処理など）の選択指示、ならびに、選択した出力処理を実行するための設定条件（印刷枚数などの印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレスなど）の入力を促す画面を表示部１０５に表示する。そして、制御部１０９は、入力部１０６から、出力処理の種類および出力処理の設定条件を示す出力処理情報を取得する。
【００４４】
制御部１０９は、記憶部１０８に格納された出力対象画像データに、ファイルネームおよび出力処理情報を付加する。
【００４５】
また、制御部１０９は、入力部１０６へ送信指示が入力されると、記憶部１０８に格納されている補正済画像データ（または出力対象画像データ）を画像形成装置２００または画像表示装置３００に送信する送信処理を通信部１０４に実行させる。このとき、通信部１０４は、補正済画像データ（または出力対象画像データ）とともに、ファイルネームおよび出力処理情報と、記憶部１０８に格納されている機種情報およびユーザ情報とを合わせて画像形成装置２００または画像表示装置３００に送信する。
【００４６】
（３）撮像範囲判定部について
（３−１）撮像範囲判定部の構成
次に、撮像範囲判定部１１０の詳細な構成について説明する。図３は、撮像範囲判定部１１０の内部構成を示すブロック図である。図３に示されるように、撮像範囲判定部１１０は、幾何学的配置検出部１１１と、表示処理部１１２と、出力対象画像決定部１１３とを備えている。
【００４７】
幾何学的配置検出部１１１は、撮像対象物が矩形状であると仮定して、当該撮像対象物と背景との境界となるエッジ画素群を抽出することにより、撮像対象物の幾何学的配置（幾何学的歪み）を検出する。
【００４８】
表示処理部１１２は、撮像対象物の幾何学的配置に基づいて、撮像範囲に撮像対象物が収まっているか否かを判定し、その判定結果を表示部１０５に表示する。
【００４９】
出力対象画像決定部１１３は、指定されたタイミングで表示部１０５に表示されている撮像画像を示す画像データを出力対象画像データとして決定し、当該出力対象画像データを記憶部１０８に格納する。
【００５０】
（３−２）撮像範囲判定部の処理
次に、撮像範囲判定部１１０の具体的な処理の一例について説明する。図４は、撮像範囲判定部１１０の処理の一例を示すフローチャートである。
【００５１】
（ステップ１（Ｓ１））
まず、幾何学的配置検出部１１１は、撮像部１０１により撮像され、表示部１０５に表示されている撮像画像の中から、エッジ画素の抽出を行う。エッジ画素の抽出には、例えば、撮像部１０１による撮像された輝度画像に対しＣａｎｎｙフィルタを適用して抽出する。Ｃａｎｎｙフィルタとは、ガウシアンフィルタとソーベルフィルタを用いて、細線化されたエッジを検出するフィルタである。
【００５２】
（ステップ２（Ｓ２））
次に、幾何学的配置検出部１１１は、連結したエッジ画素の領域（連結エッジ領域）ごとに異なるラベルを付すラベリング処理を行う。
【００５３】
幾何学的配置検出部１１１は、例えば、図５で示されるように以下の方法を用いてラベリングを行う。
（Ｉ）注目画素がエッジ画素の場合、注目画素の上隣の画素がエッジ画素で、すでにラベルがつけられていれば、注目画素にも同じラベルをつける（図５（ａ））。
（ＩＩ）左隣の画素もエッジ画素で、上隣の画素とは異なるラベルがつけられている場合は、上隣と同じラベルをつける（図５（ｂ））。
（ＩＩＩ）上隣の画素が非エッジ画素で左隣がエッジ画素の場合、注目画素に左隣と同じラベルをつける（図５（ｃ））。
（ＩＶ）上隣も左隣も非エッジ画素の場合、注目画素に新しいラベルをつける（図５（ｄ））。
（Ｖ）      全てのエッジ画素に対しラベル付けを行う。
（ＶＩ）複数のラベルがつけられている場合、上記の規則に基づいてラベルを統一する。
【００５４】
（ステップ３（Ｓ３））
次に、幾何学的配置検出部１１１は、ラベル付けがされた連結エッジ領域の中から、撮像対象物と背景との境界を含む領域の候補（以下、特徴領域という）を抽出する。
【００５５】
撮像対象物は、その中心を撮像範囲の中心付近とし、撮像範囲の中の大部分を占めるようにして撮像されるのが通常である。そのため、撮像対象物と背景との境界は、その中心が撮像範囲の中心付近に位置し、かつ、撮像範囲の横方向（幅方向）の長さおよび縦方向（高さ方向）の長さが長くなる。そこで、幾何学的配置検出部１１１は、以下の条件Ａを満たす連結エッジ領域を特徴候補として抽出する。
【００５６】
条件Ａ：撮像範囲において左上角を原点とし、右方向（幅方向）をｘ軸、下方向（高さ方向）をｙ軸とし、撮像範囲の右端のｘ座標をＸｍａｘ、撮像範囲の下端のｙ座標をＹｍａｘとする。このとき、連結エッジ領域の幅方向の長さが撮像範囲の幅（つまりＸｍａｘ）の１／４以上、かつ、高さ方向の長さが撮像範囲の高さ（つまりＹｍａｘ）の１／４以上であり、かつ、連結エッジ領域の中心ｘ座標が、Ｘｍａｘ／４以上かつ３×Ｘｍａｘ／４以下で、領域の中心ｙ座標が、Ｙｍａｘ／４以上かつ３×Ｙｍａｘ／４以下である。
【００５７】
（ステップ４（Ｓ４））
次に、幾何学的配置検出部１１１は、特徴領域の中から、矩形の撮像対象物と背景との境界となる四角形の上辺、左辺、右辺、下辺を構成する、線分状に連なるエッジ画素群を抽出し、当該エッジ画素群の近似直線を特定する処理（直線抽出処理）を行う。
【００５８】
上辺は、撮像画像の中の上半分に位置し、撮像範囲の幅方向に平行である確率が高い。また、左辺は、撮像画像の左半分に位置し、撮像範囲の高さ方向に平行である確率が高い。右辺は、撮像画像の右半分に位置し、撮像範囲の高さ方向に平行である確率が高い。下辺は、撮像画像の下半分に位置し、撮像範囲の幅方向に平行である確率が高い。
【００５９】
そこで、存在する確率の高い範囲（検索範囲）において、特徴領域画像データの中から特定方向に連なるエッジ画素の数が最大であり、所定長さ以上の線分状のエッジ画素群を、矩形の撮像対象物と背景との境界となる線分状に連なるエッジ画素群として抽出する。そして、抽出したエッジ画素群の近似直線を特定する。
【００６０】
上辺について、ｙ座標が０からＹｍａｘ／２の範囲を検索範囲とする。左辺について、ｘ座標が０からＸｍａｘ／２の範囲を検索範囲とする。右辺について、ｘ座標がＸｍａｘ／２からＸｍａｘの範囲を検索範囲とする。下辺について、ｙ座標がＹｍａｘ／２からＹｍａｘの範囲を検索範囲とする。また、上辺および下辺について、撮像範囲の幅方向に対する角度が４５°以内の範囲内の方向を上記特定方向とする。左辺および右辺について、撮像範囲の高さ方向に対する角度が４５°以内の範囲内の方向を上記特定方向とする。
【００６１】
このようにして、幾何学的配置検出部１１１は、上辺として抽出されたエッジ画素群の近似直線を上辺直線、左辺として抽出されたエッジ画素群の近似直線を左辺直線、右辺として抽出されたエッジ画素群の近似直線を右辺直線、下辺として抽出されたエッジ画素群の近似直線を下辺直線とし、各直線の式を生成する。
【００６２】
（ステップ５（Ｓ５））
次に、幾何学的配置検出部１１１は、Ｓ４で求めた直線の式に基づいて、交点座標を求める。すなわち、幾何学的配置検出部１１１は、左辺直線と上辺直線の交点座標を左上頂点座標、上辺直線と右辺直線の交点座標を右上頂点座標、右辺直線と下辺直線の交点座標を右下頂点座標、下辺直線と左辺直線の交点座標を左下頂点座標として求める。そして、幾何学的配置検出部１１１は、これら４つの頂点座標を含む抽出結果情報を表示処理部１１２に出力する。
【００６３】
図６は、４つの頂点座標を求める例を示す図である。図６では、左上頂点座標（Ｘ１，Ｙ１）、右上頂点座標（Ｘ２，Ｙ２）、右下頂点座標（Ｘ３，Ｙ３）、左下頂点座標（Ｘ４，Ｙ４）が求められている。
【００６４】
また、Ｓ４において三辺のみに対応する直線の式が求められた場合、幾何学的配置検出部１１１は、残りの一辺に対応する直線を撮像範囲端の直線として、当該直線の式を求める。つまり、左辺が抽出できない場合にはｘ＝０、右辺が抽出できない場合にはｘ＝Ｘｍａｘ、上辺が抽出できない場合にはｙ＝０、下辺が抽出できない場合にはｙ＝Ｙｍａｘを残りの一辺に対応する直線の式とする。そして、幾何学的配置検出部１１１は、その直線式を用いて４つの頂点座標を求める。
【００６５】
ただし、撮像範囲端の直線との交点について仮頂点座標として求める。例えば、右辺が抽出できなかった場合、右上頂点座標および右下頂点座標は仮頂点座標として求められる。
【００６６】
そして、幾何学的配置検出部１１１は、４つの頂点座標と、三辺のみが抽出できたことを示す情報と、抽出できなかった辺を示す抽出不可情報とを含む抽出結果情報を生成し、表示処理部１１２に出力する。なお、仮頂点座標については、仮頂点座標であることを示す情報が付けられている。
【００６７】
また、Ｓ４において、三辺または四辺に対応する直線の式が求められなかった場合、幾何学的配置検出部１１１は、撮像対象物と背景との境界を適切に抽出できなかった旨を示す抽出結果情報を生成し、表示処理部１１２に出力する。
【００６８】
（ステップ６（Ｓ６））
続いて、表示処理部１１２は、抽出結果情報で示される４つの頂点座標を結ぶ四角形の線を撮像対象物の輪郭線として撮像画像に重ねて表示する。
【００６９】
また、抽出結果情報が４つの頂点座標を含み、抽出不可情報を含まない場合、表示処理部１１２は、４つの頂点座標が撮像範囲内であるか否かを判断する。全ての頂点座標が撮像範囲内であれば、表示処理部１１２は、撮像対象物が撮像範囲内であることを示す情報（例えば、「ＯＫ」）を表示部１０５に表示させる。また、表示処理部１１２は、出力対象画像を決定するためのシャッタボタンも合わせて表示部１０５に表示させる。
【００７０】
図７は、全ての頂点座標が撮像範囲内であるときに表示される画面の一例を示す図である。図７において、符号Ｌは、撮像画像に重ねて表示される、頂点座標を結ぶ四角形の線である輪郭線である。符号１０は、シャッタボタンであり、符号４０は、画像読み込みボタンである。シャッタボタン１０は、表示部１０５に表示されている撮像画像を出力対象画像として決定するためのボタンである。画像読み込みボタン４０は、事前に保存しておいた画像を、撮像された画像として処理するためのものである。画像読み込みボタン４０が押下されると、保存された画像一覧画面が表示され、その中の一つがユーザにより選択されると、それを撮像部１０１で撮像した画像として、次の処理（シャッターが押された後の処理）が行われる。
【００７１】
また、３つの頂点座標が撮像範囲内であり、１つの頂点座標が撮像範囲外である場合、表示処理部１１２は、撮像対象物の一部（一角）が撮像できないことを示す第１欠落情報を表示部１０５に表示させる。
【００７２】
図８の（ａ）（ｂ）は、１つの頂点座標が撮像範囲外である場合に表示される画面の一例を示す図である。図示されるように、第１欠落情報として、撮像範囲外に位置する頂点座標の付近に、角が欠落していることを示す第１アイコンＣが表示されている。これにより、ユーザは、第１アイコンＣの近くの角が撮像範囲から外れていることを容易に認識することができる。
【００７３】
さらに、抽出結果情報が４つの頂点座標を含み、抽出不可情報を含む場合、表示処理部１１２は、４つの頂点座標が撮像範囲内であるか否かを判断する。全ての頂点座標が撮像範囲内であれば、表示処理部１１２は、撮像対象物の一部（一辺）が撮像できないことを示す第２欠落情報を表示部１０５に表示させる。
【００７４】
図９は、第２欠落情報を含む画面の一例を示す図である。図示されるように、第２欠落情報として、撮像範囲外に位置する辺の付近に、撮像対象物の外枠の一辺が欠落していることを示す第２アイコンＤが表示されている。これにより、ユーザは、第２アイコンＤの近くの辺が撮像範囲から外れていることを容易に認識することができる。
【００７５】
上記以外の場合、表示処理部１１２は、表示部１０５の画面をそのままにしておいてもよいし、撮像部１０１の向きの変更を促す情報（例えば、「撮像対象物が撮像範囲内に収まるようにカメラの向きを調整してください」等）を表示部１０５に表示させてもよい。
【００７６】
（ステップ７（Ｓ７））
最後に、出力対象画像決定部１１３は、出力処理の対象となる画像データである出力対象画像データを決定する。具体的には、出力対象画像決定部１１３は、図７に示されるように、撮像対象物が撮像範囲内であることを示す情報（例えば、「ＯＫ」）と、シャッタボタン１０とが表示部１０５に表示されている状態において、シャッタボタン１０が操作されたタイミングを検知する。そして、出力対象画像決定部１１３は、シャッタボタン１０が操作されたタイミングを指定されたタイミングとして、当該タイミングで表示部１０５に表示されている撮像画像を示す画像データを出力対象画像データとして決定する。
【００７７】
なお、出力対象画像決定部１１３は、撮像対象物が撮像範囲内であることを示す情報が表示されているときのみ、シャッタボタン１０の操作を受け付け可能としている。
【００７８】
（４）画像処理部の処理
次に、画像処理部１０３の詳細について説明する。画像処理部１０３は、図７に示す画像読み込みボタン４０が押下され、記憶部１０８に保存されている出力対象画像データの１つが選択されたときに、当該選択された出力対象画像データに対して画像処理を行う。
【００７９】
図１０は、図７に示す画像読み込みボタン４０が押下されたときに表示部１０５に表示される画面の一例を示す。図示されるように、画面は、補正前の出力対象画像データで示される画像が表示される領域Ｅと、画質調整レベルを設定するための画質調整レベルバー５０と、画像処理部１０３による画像処理が施された画像が表示される領域Ｆとを有している。
【００８０】
なお、本実施形態では、画像処理部１０３は、画質調整レベルバー５０に対する操作により、画質調整レベルとして「なし」「弱」「中」「強」の４段階の何れかを受け付ける。
【００８１】
また、図１０に示されるように、登録ボタン６０が表示部１０５に表示される。登録ボタン６０が押下されると、押下されたタイミングで設定していた画質調整レベルが記憶部１０８に格納される。
【００８２】
図１１は、画像処理部１０３の内部構成を示すブロック図である。図１１に示されるように、画像処理部１０３は、画像補正量読込部（基準データ取得部）１２１、分割処理部１２２、ヒストグラム作成部１２３、調整値算出部（調整値決定部）１２４、検証部１２５、調整値補間部（調整値変更部）１２６、調整部（階調補正データ生成部）１２７、および補正処理部１２８を備えている。
【００８３】
（４−１）画像補正量読込部
画像補正量読込部１２１は、撮像部１０１の撮像により得られた画像データを構成する色チャンネル（例えば、ＲＧＢ信号におけるＲ信号、Ｇ信号、Ｂ信号）ごとに、階調補正の基準となる基準補正データを記憶部１０８から読み込む。
【００８４】
基準補正データは予め記憶部１０８に格納されている。基準補正データは、撮像部１０１で撮像した画像を、画像表示装置３００や画像形成装置２００で出力（表示、あるいは、印刷）する場合の基準階調補正曲線より予め求められる。なお、基準階調補正曲線は、横軸を入力値とし縦軸を出力値とした、入力値と出力値とを対応づけた曲線である。
【００８５】
まず、グレーチャートを標準の環境下（標準光源を用い、撮影方向に対する光源の照射角度、照明の均一性、光源の均一性等が所定の条件を充たすように設定された環境下）で撮像部１０１により撮像したときの画像データを準備する。当該画像データの各色チャンネルの濃度値（画素値）に対して、当該色チャンネルに対応する階調補正曲線を用いて階調補正を行い、画像形成装置２００の出力特性や画像表示装置３００の表示特性を確認する。このとき、画像形成装置２００の出力特性や画像表示装置３００の表示特性が原本であるグレーチャートと見た目が同じになるように、各色チャンネルの階調補正曲線を調整する。各色チャンネルに対してこのようにして求めた階調補正曲線を基準階調補正曲線とする。基準階調補正曲線は、入力値と出力値とを一対一で対応づけた一次元のルックアップテーブル用の階調補正データであるともいえる。
【００８６】
この基準階調補正曲線の中から複数の特徴点が予め抽出される。この特徴点としては、当該特徴点を用いてスプライン補間処理や線形補間処理等で特徴点以外のデータを階調数分生成したときに、基準階調補正曲線との一致度が高い点が抽出される。本実施形態では、基準階調補正曲線から５つの特徴点（ａ）〜（ｅ）が抽出される。
【００８７】
図１２は、Ｒの色チャンネルに対する基準階調補正曲線Ｇと、当該基準階調補正曲線Ｇから抽出された５つの特徴点（ａ）〜（ｅ）とを示している。当該複数の特徴点（ａ）〜（ｅ）における入力値および出力値の対応関係を示すデータが基準補正データとして予め記憶部１０８に登録される。
【００８８】
特徴点（ａ）は、入力値が最小値「０」の点である。特徴点（ｂ）は、出力値が第１所定値（図１２では５５）となる点である。特徴点（ｃ）は、出力値が第２所定値（図１２では１００）となる点である。特徴点（ｄ）は、出力値が第３所定値（図１２では２４０）となる点である。特徴点（ｅ）は、入力値が最大値「２５５」の点である。
【００８９】
ここで、第１所定値、第２所定値および第３所定値は、様々な種類の撮像対象物をサンプルとして撮像した複数のサンプル画像を基に実験的に設定される値である。第１所定値および第２所定値は、文字として確認できる範囲の濃度値を基に実験的に設定される。例えば、文字として確認できる範囲の上限値（これ以上薄くなると文字として確認しづらくなる値）が第２所定値として設定され、第２所定値よりも小さい任意の値が第１所定値として設定される。
【００９０】
また、第３所定値は、代表的な撮像対象物である、下地が白色の原稿用紙の撮像画像を画像形成装置や画像表示装置で出力させたときに白色下地として認識しやすい濃度値が実験的に設定される。
【００９１】
（４−２）分割処理部
分割処理部１２２は、出力対象画像データを複数の部分画像に分割する処理を行う。分割処理部１２２における出力対象画像データの分割方法としては様々な方法が考えられる。最も単純な例は、出力対象画像データをＭ×Ｎ（Ｍ、Ｎ：少なくとも一方は２以上の自然数）の第１部分画像に分割する方法である。図１３は、出力対象画像データで示される画像に対して、Ｍ＝Ｎ＝５に分割した場合の模式図である。図中の（０）〜（２４）で示される画像の各々が第１部分画像である。
【００９２】
図１３に示す分割例の場合、第１部分画像の中で撮像対象物と背景など異なる領域とを含む場合がある（例えば図１３における第１部分画像（１９））。そこで、分割処理部１２２は、第１部分画像の中に異なる種類の画像領域が含まれているか否かを判定し、異なる種類の画像領域が含まれている第１部分画像を更にＰ×Ｑ（Ｐ、Ｑ：少なくとも一方は２以上の自然数）の第２部分画像に再分割する再分割処理を行ってもよい。
【００９３】
分割処理部１２２は、例えば再分割処理を以下のように行う。図１４は再分割処理の一例を示す図である。分割処理部１２２は、第１部分画像について、図１４の（ｂ）に例示するように４隅の小領域（例えば５×５画素）Ｓ１〜Ｓ４に含まれる画素濃度の中央値を色チャンネルごとに算出する。そして、分割処理部１２２は、４隅の中央値の最大差が所定閾値ｔｈＣ（例えば１０）以上である場合に再分割処理が必要であると判定する。再分割処理が必要であると判定された第１部分画像について、分割処理部１２２は、図１４の（ｄ）に示されるようにＰ×Ｑ（図ではＰ＝Ｑ＝３）に再分割する。つまり、各小領域（Ｓ１〜Ｓ４）の中央値をＭ１〜Ｍ４とするとき、それらの最大値から最小値を引いた差分値とｔｈＣを比較し、少なくとも一つの色チャンネルで差分値がｔｈＣより大きければ、再分割をする。なお、最大値から最小値を引いた差分値ではなく、複数の中央値の分散を用いてもよい。あるいは、小領域の中央値ではなく平均値を用いてもよい。分割処理部１２２は、再分割処理を行った場合、再分割の対象となる第１部分画像を識別する情報と、当該第１部分画像から分割されたＰ×Ｑの第２部分画像の各々を識別する情報（図１４の（ｄ）では（１９−１）〜（１９−９））とを記録しておく。
【００９４】
また、閾値ｔｈＣとして色チャンネルごとに異なる値を設定してもよい。例えば一般的な映像信号式であるＲＧＢからＹｕｖへの変換式などから、概ねＲＧＢに対する人間の視覚特性は３：６：１である。そこで、この逆数、すなわちＲ：１／３、Ｇ：１／６、Ｂ１／１をある閾値ｔｈＣに乗じて用いてもよい。
【００９５】
さらに、小領域の選択方法としては４隅に限定するものではなく、図１４の（ｃ）に示されるように、４隅の中間点を追加した９箇所としてもよい。小領域を９箇所とする場合、各辺、対角線ごとの３つの小領域に対して、両端の平均値と中央の値の差分の絶対値と閾値ｔｈＣとの比較を行ってもよい。
【００９６】
なお、分割処理部１２２は、再分割処理が不要となるまで再分割処理を繰り返しておこなってもよい。すなわち、第２部分画像についても４隅の中央値の最大差と所定閾値とを比較することで再分割処理が必要であるか否かを判定し、全ての第２部分画像において再分割処理が不要であると判定されたときに処理を終了する。一方、再分割処理が必要であると判定された第２部分画像がある場合、当該第２部分画像について再分割処理を行う。このようにすることで第１部分画像のみでは補正しきれないような急峻な色・輝度の変化があるような場合でも、好適に補正することが可能となる。
【００９７】
（４−３）ヒストグラム作成部
ヒストグラム作成部１２３は、分割処理部１２２により分割された部分画像の各々について、当該部分画像を構成する色チャンネルごとに濃度値（画素値）に対する画素数の分布を示すヒストグラムを作成する。図１５は、各色チャンネルのヒストグラムの例を示す。図において、横軸が画素値、縦軸が画素数である。
【００９８】
（４−４）調整値算出部
調整値算出部１２４は、ヒストグラムに基づいて、基準補正データを調整するための仮調整値を算出する。この仮調整値は、基準補正データにおける特徴点（ｄ）の入力値と置換される。
【００９９】
調整値算出部１２４は、部分画像ごとに作成された各色チャンネルのヒストグラムにおいて、画素値の最大値に最も近いピークを基に仮調整値を求める。画素値の最大値に最も近いピークは、白色下地の原稿を撮像した場合、通常当該白色下地部分の画素で構成されることとなる。そのため、調整値算出部１２４は、白色下地部分の画素値を仮調整値として算出することができる。
【０１００】
具体的には、調整値算出部１２４は、色チャンネルごとに、図１６に示されるようにヒストグラムにおける、画素値が取り得る最大値（ここでは２５５）に最も近いピーク（最大値から最小値の方向に向かったときの最初のピーク）の画素値ｍａｘＸおよび画素数ｍａｘＶを特定する。次に、調整値算出部１２４は、ヒストグラムにおいて、画素数ｍａｘＶに対して予め定められたパラメータｔｈＰ％（例えばｔｈＰ＝５０など）を乗じた画素数（ｍａｘＶ×ｔｈＰ／１００）となる画素値の中から、画素値ｍａｘＸ以下で最も大きな画素値ＸＸを特定する。調整値算出部１２４は、特定した画素値ＸＸを仮調整値とする。このようにして、調整値算出部１２４は、各色チャンネル（ここでは、Ｒ，Ｇ，Ｂ）に対する仮調整値ＸＸＲ，ＸＸＧ，ＸＸＢを求める。
【０１０１】
ここで、パラメータｔｈＰは、図１０に示す画質調整レベルバー５０により設定された画質調製レベルにより設定される。例えば、画質調整レベル「弱」に対してｔｈＰ：７０％、画質調整レベル「中」に対してｔｈＰ：５０％、画質調整レベル「強」に対してｔｈＰ：３０％が設定される。なお、画質調整レベル「なし」の場合、調整値算出部１２４は、仮調整値を出力しない。
【０１０２】
なお、調整値算出部１２４は、部分画像ごとに作成された各色チャンネルのヒストグラムにおいて、画素値の最大値に最も近いピークを基に仮調整値を求めるのではなく、最大画素数を有するピークを基に、上記と同様に仮調整値を求めてもよい。最大画素数を有するピークも、白色下地の原稿を撮像した場合、通常当該白色下地部分の画素で構成されることとなる。そのため、調整値算出部１２４は、白色下地部分の画素値を第１調整値として算出することができる。
【０１０３】
（４−５）検証部
検証部１２５は、部分画像ごとに、調整値算出部１２４により算出された仮調整値を適用することの適否を検証し、その検証結果を示す検証フラグを記録する。
【０１０４】
具体的には、検証部１２５は、以下の何れかの条件を満たす部分画像については仮調整値の適用が不適切であると判断し、当該部分画像について検証フラグを無効（ここでは０）に設定する。一方、検証部１２５は、以下の何れの条件をも満たさない部分画像について検証フラグを有効（ここでは１）を設定する。
【０１０５】
（条件Ａ）：少なくとも１つの色チャンネルにおいて、ｍａｘＸとＸＸの差が予め定められた閾値ｔｈＸ（例えばｔｈＸ＝３０）以上である。
【０１０６】
条件Ａに合致する部分画像では、ヒストグラムにおいて、画素値の最大値に近いピークがブロードであることを意味している。これは、部分画像が写真領域や図画のように、下地の領域が無いまたはきわめて少ないことを示している。例えば、図１７の領域Ｈのような写真領域が条件Ａを満たすこととなる。
【０１０７】
（条件Ｂ）：各色チャンネルについて求めた調整値ＸＸＲ，ＸＸＧ，ＸＸＢの最大値と最小値の差が、予め定められたｔｈＳ（例えばｔｈＳ＝６０など）以上である。
【０１０８】
仮調整値ＸＸＲ，ＸＸＧ，ＸＸＢの最大値と最小値の差が大きい領域は、局所的な有彩色の背景や図画を有する可能性が高い領域である。例えば、図１７の領域Ｊのような背景が有彩色の領域が条件Ｂを満たすこととなる。
【０１０９】
（条件Ｃ）：検証対象の部分画像の調整値と近傍の部分画像の仮調整値との差分が予め定められているｔｈＤ（例えばｔｈＤ＝８０など）以上である。
【０１１０】
ここで、差分は、例えばユークリッド距離により求められる。ユークリッド距離は、各色チャンネルの差分の二乗和の平方根により表される。例えば、検証対象の部分画像に対して求められた各色チャンネルの仮調整値をＸＸＲｉ，ＸＸＧｉ，ＸＸＢｉとし、近傍の部分画像に対して求められた各色チャンネルの仮調整値の平均値あるいは中央値をＸＸＲｏ，ＸＸＧｏ，ＸＸＢｏ）とする。このとき、差分Ｄｉを、
Di=SQRT[（XXRi-XXRo）2+（XXGi-XXGo）2+（XXBi-XXBo）2）]
により求め、Ｄｉ＞ｔｈＤであれば、検証対象の部分画像の仮調整値は不適切であると判断する。
【０１１１】
条件Ｃに合致する部分画像は、周囲のより多くの部分画像の特徴（例えば、図１７の領域Ｋの特徴）に比べ突出して異なる特徴を有する画像である。条件Ｂと同様に、局所的な有彩色の背景や図画を有する可能性が高い領域が条件Ｃを満たす。なお、条件Ｃの方が条件Ｂよりも精度よく、局所的な有彩色の背景や図画を有する可能性が高い領域を抽出することができる。
【０１１２】
（４−６）調整値補間部
調整値補間部１２６は、調整値算出部１２４により算出された仮調整値と検証部１２５により設定された検証フラグに基づいて、各部分画像の最終調整値を決定する。調整値補間部１２６は、検証部１２５により検証フラグが有効に設定された部分画像について、調整値算出部１２４により算出された仮調整値を最終調整値とする。一方、調整値補間部１２６は、検証部１２５により検証フラグが無効に設定された部分画像について、当該部分画像の周辺に位置し、検証フラグが有効に設定された部分画像の調整値に基づいて最終調整値を算出する。例えば、調整値補間部１２６は、検証フラグが有効に設定された周辺の部分画像の調整値のみを用いた平滑化フィルタなどを用いることで、最終調整値を算出すればよい。
【０１１３】
具体的には、調整値補間部１２６は、ｉ行目ｊ列目の部分画像（図１３参照）の色チャンネルＲに対する最終調整値ＸＸＲｉｊを、以下の式に従って算出する。
【０１１４】
【数１】
0005547243.tif 000002
【０１１５】
ここで、ＸＸＲｍｎは、ｍ行目ｎ列目の部分画像の色チャンネルＲに対する調整値であり、最終調整値が設定済である場合には最終調整値、最終調整値が未設定の場合には仮調整値である。ＦＬＧｍｎは、ｍ行目ｎ列目の部分画像に設定された検証フラグの値である。なお、上述したように、検証フラグ「１」は有効を示し、「０」は無効を示している。上記の式では、画像端の部分画像の最終調整値を求める際に、ｍまたはｎが０または取り得る最大値を超える値になることがある。この場合、ＸＸＸＲｍｎ＝ＦＬＧｍｎ＝０として演算すればよい。
【０１１６】
ＦＬＧｉｊ＝０、かつ、ｓｕｍＦＬＧｊ＞０の場合とは、設定対象の部分画像に対して検証部１２５が無効の検証フラグを設定し、かつ、有効の検証フラグが設定されている部分画像が少なくとも１つ周辺に存在している場合である。この場合、数１により、最終調整値ＸＸＲｉｊ＝ｓｕｍＶＲｉｊ／ｓｕｍＦＬＧｊとなる。つまり、検証フラグが有効に設定された周辺の部分画像のみの調整値の平均値が、設定対象となる部分領域の最終調整値として算出される。
【０１１７】
また、ＦＬＧｉｊ＝１の場合とは、設定対象の部分画像に対して検証部１２５が有効の検証フラグを設定した場合である。この場合、数１により、最終調整値ＸＸＲｉｊ＝仮調整値ＸＸＲｉｊとなる。
【０１１８】
さらに、ＦＬＧｉｊ＝０、かつ、ｓｕｍＦＬＧｊ＝０の場合とは、設定対象の部分画像に対して検証部１２５が無効の検証フラグを設定し、かつ、有効の検証フラグが設定されている部分画像が周辺に存在していない場合である。この場合、最終調整値を設定しない。
【０１１９】
また、設定対象となる部分領域に対する検証フラグを以下のように変更する。
【０１２０】
【数２】
0005547243.tif 000003
【０１２１】
すなわち、ＦＬＧｉｊ＝１の場合、そのままＦＬＧｉｊ＝１とする。また、ｓｕｍＦＬＧｊ＞０の場合、つまり、周辺の部分画像のうち検証フラグが有効の部分画像が周辺に少なくとも１つ存在する場合には、上記のように数１に従って最終調整値ＸＸＲｉｊ＝ｓｕｍＶＲｉｊ／ｓｕｍＦＬＧｊと設定するとともに、設定対象の部分画像の検証フラグを有効（ＦＬＧｉｊ＝１）に変更する。一方、ｓｕｍＦＬＧｊ＝０の場合、つまり、周辺の部分画像のうち検証フラグが有効の部分画像が１つも存在しない場合には、設定対象の部分画像の検証フラグを無効（ＦＬＧｉｊ＝０）のままとする。
【０１２２】
このような処理を全ての部分画像の検証フラグが有効（「１」）になるまで繰り返す。例えば、検証部１２５により設定された時点の検証フラグが図１８の（ａ）の場合、２回の本処理適用にて、全ての部分画像で最終調整量が確定される（図１８の（ｂ）参照）。このように、全ての検証フラグが有効に設定された時点の各部分画像の最終調整値を後段に出力する。
【０１２３】
なお、ＦＬＧｉｊ＝０、かつ、ｓｕｍＦＬＧｊ＞０の場合での最終調整値の算出方法は、数１に従った方法に限定されるものではない。例えば、周辺の部分画像の調整値の平均値ではなく、図１９に示すフィルタ係数を用いて加重平均を求めるようにしてもよい。
【０１２４】
また、分割処理部１２２により第１部分画像から第２部分画像への再分割処理がされている場合、図２０に示すように再分割された第２部分画像の大きさにあわせて周囲の第１部分画像または第２部分画像の調整値を用い、設定対象となる部分画像の最終調整値を算出してもよい。例えば、図２０の第２部分画像（１９−１）の検証フラグが無効である場合、周辺の部分画像として、左上に部分画像（１３）、上に（１４）の部分画像（１４）、右上にも部分画像（１４）、左に部分画像（１８）、左下にも部分画像（１８）、右に部分画像（１９−２）、下に部分画像（１９−４）、右下に部分画像（１９−５）が存在するものとして、数１に従って最終調整値を算出すればよい。
【０１２５】
また、第２部分画像に隣接する再分割されていない第１部分領域の検証フラグが無効である場合には、隣接する複数の第２部分領域の平均値を用いる。例えば、図２０の第１部分画像（１４）を設定対象の部分画像とするとき、下の第１部分画像（１９）の調整値として、第２部分画像（１９−１）、第２部分画像（１９−２）、および第２部分画像（１９−３）の調整値の平均値を用いる。また、第１部分画像（１８）を設定対象の部分画像とするとき、右の第１部分画像（１９）の調整値として、第２部分画像（１９−１）、第２部分画像（１９−４）、および第２部分画像（１９−７）の調整値の平均値を用いる。
【０１２６】
（４−７）調整部
調整部１２７は、調整値補間部１２６から出力された各部分画像の最終調整値に基づいて、部分画像ごとに階調補正データを生成する。具体的には、調整部１２７は、画像補正量読込部１２１が読み込んだ基準補正データのうち特徴点（ｄ）の入力値を最終調整値に置き換える。また、特徴点（ｂ）および特徴点（ｃ）の入力値については、（最終調整値）／（基準補正データにおける特徴点（ｄ）の入力値）  を乗じた値に置き換える。例えば、図１２に示す基準補正データが読み込まれ、最終調整値が１６０である場合、特徴点（ｄ）の入力値を２００から１６０に置換する。さらに、特徴点（ｂ）および特徴点（ｃ）の入力値も１６０／２００を乗じた値に置換する。そして、調整部１２７は、更新した特徴点（ａ）〜（ｅ）の値を用いて、３次のスプライン補間や線形補間を行い、特徴点以外の入力値に対する出力値を求める。調整部１２７は、全ての階調数分の入力値と出力値とを一対一で対応付けた階調補正用の１次元ルックアップテーブルを生成する。調整値は、部分画像ごとに、各色チャンネルに対応する１次元ルックアップテーブルを生成する。
【０１２７】
（４−８）補正処理部
補正処理部１２８は、出力対象画像データの各部分画像について、調整部１２７により求められた階調補正用の１次元ルックアップテーブルを基に階調補正を行うことにより、補正済画像データを生成する。補正処理部１２８は、生成した補正済画像データを出力対象画像データと対応付けて記憶部１０８に格納する。
【０１２８】
ただし、部分画像ごとに１次元ルックアップテーブルが異なるため、部分画像間の境界において不自然な線が現れる可能性がある。そこで、以下のように補間演算により階調補正を行うことが好ましい。
【０１２９】
まず、補正処理部１２８は、部分領域を中心を通る横方向の分割線および中心を通る縦方向の分割線により４分割したときの何れの分割領域に処理対象の画素が属するかを判断する。分割領域としては、左上領域、右上領域、左下領域、右下領域が存在する。
【０１３０】
対象画素が左上領域に属する場合、補正処理部１２８は、対象画素が属する部分領域（対象部分領域）を右下部分領域ＲＢとし、対象部分領域の上に位置する部分領域を右上部分領域ＲＵとし、対象部分領域の左に位置する部分領域を左下部分領域ＬＢとし、対象部分画像の左上に位置する部分領域を左上部分領域ＬＵとして決定する。
【０１３１】
対象画素が右上領域に属する場合、補正処理部１２８は、対象画素が属する部分領域（対象部分領域）を左下部分領域ＬＢとし、対象部分領域の上に位置する部分領域を左上部分領域ＬＵとし、対象部分領域の右に位置する部分領域を右下部分領域ＲＢとし、対象部分画像の右上に位置する部分領域を右上部分領域ＲＵとして決定する。
【０１３２】
対象画素が左下領域に属する場合、補正処理部１２８は、対象画素が属する部分領域（対象部分領域）を右上部分領域ＲＵとし、対象部分領域の下に位置する部分領域を右下部分領域ＲＢとし、対象部分領域の左に位置する部分領域を左上部分領域ＬＵとし、対象部分画像の左下に位置する部分領域を左下部分領域ＬＢとして決定する。
【０１３３】
対象画素が右下領域に属する場合、補正処理部１２８は、対象画素が属する部分領域（対象部分領域）を左上部分領域ＬＵとし、対象部分領域の下に位置する部分領域を左下部分領域ＬＢとし、対象部分領域の右に位置する部分領域を右上部分領域ＲＵとし、対象部分画像の右下に位置する部分領域を右下部分領域ＲＢとして決定する。
【０１３４】
次に、図２１の（ｂ）に示されるように、対象画素Ｐについて、左上部分領域ＬＵ（または左下部分領域ＬＢ）の中心からの横方向の距離と右上部分領域ＲＵ（または右下部分領域ＲＢ）の中心からの横方向の距離との比であるｓ：１−ｓを求める。同様に、左上部分領域ＬＵ（または右上部分領域ＲＵ）の中心からの縦方向の距離と左下部分領域ＬＢ（または右下部分領域ＲＢ）の中心からの縦方向の距離との比であるｔ：１−ｔを求める。
【０１３５】
そして、補正処理部１２８は、以下の式（１）に従って対象画素Ｐに対する階調補正後の出力値を算出する。なお、以下の式（１）において、ｘは、階調補正前の出力対象画像データにおける対象画素Ｐの濃度値（画素値）である。ＬＵ（ｘ）は、左上部分領域ＬＵに対して調整部１２７が求めた１次元ルックアップテーブルを用いたときの画素値ｘに対する出力値である。ＲＵ（ｘ）は、右上部分領域ＲＵに対して調整部１２７が求めた１次元ルックアップテーブルを用いたときの画素値ｘに対する出力値である。ＬＢ（ｘ）は、左下部分領域ＬＢに対して調整部１２７が求めた１次元ルックアップテーブルを用いたときの画素値ｘに対する出力値である。ＲＢ（ｘ）は、右下部分領域ＲＢに対して調整部１２７が求めた１次元ルックアップテーブルを用いたときの画素値ｘに対する出力値である。
【０１３６】
Out=（1-t）*{（1-s）*LU（x）+s*RU（x）} +t*{（1-s）*LB（x）+s*RB（x）}   
・・・式（１）。
【０１３７】
なお、図２１の（ａ）（ｃ）に示されるように、対象画素Ｐが端部に位置する部分画像の端部側に位置する場合、左上部分画像ＬＵ、右上部分画像ＲＵ、左下部分画像ＬＢ、右下部分画像ＲＢの一部が存在しない。画像の上端部に対象画素Ｐが存在する場合、左上部分画像ＬＵおよび右上部分画像ＲＵが存在しないため、ｔ＝１として上記式（１）に従って算出すればよい。同様に、画像の下端部に対象画素Ｐが存在する場合にはｔ＝０とし、画像の左端部に対象画素Ｐが存在する場合にはｓ＝１とし、画像の右端部に対象画素Ｐが存在する場合にはｓ＝０とする。
【０１３８】
（４−９）処理例
次に、画像処理部における具体的な処理例について説明する。ここでは、補正対象となる出力対象画像データで示される画像が図２２の場合を例にとり説明する。図２２に示されるように、撮像時の照明環境等の原因により、画像の右下領域が暗くなっている。また、撮像対象物である原稿の下地は白色であるのに対し、出力対象画像データでは全体的に黄色っぽくなっているとする。
【０１３９】
図２２に示される出力対象画像データに対して分割処理部１２２が複数の部分画像に分割する。複数の部分画像の中に、図２０に示されるように左上の部分画像（１）と、右下の部分画像（２）とが含まれている。
【０１４０】
図２３の左部は、部分画像（１）に対してヒストグラム作成部１２３により作成されたヒストグラムを示す。部分画像（１）のように撮像対象物の下地部分を多く含む領域では、画素値の最大値に最も近いピークは、下地部分の画素により構成される。上述したように、部分画像（１）では明るさの低下はないものの黄色っぽくなっているために、ＲおよびＧのピークの濃度値（画素値）は高いものの、Ｂのピークの濃度値（画素値）が低下している。
【０１４１】
図２３の右部は、ヒストグラムから調整値算出部１２４により算出された仮調整値を示している。仮調整値からもわかるように、Ｒ，Ｇでは高い値を示しているが、Ｂでは低い値を示している。
【０１４２】
図２４の左部は、部分画像（２）に対してヒストグラム作成部１２３により作成されたヒストグラムを示す。部分画像（２）でも撮像対象物の下地部分を多く含むため、画素値の最大値に最も近いピークは、下地部分の画素により構成される。ただし、上述したように、部分画像（２）では照明環境等の影響で暗くなっているとともに、黄色っぽくなっている。そのため、Ｒ，Ｇ，Ｂのピークの濃度値（画素値）が部分画像（１）に比べて低く、また、Ｂのピークの濃度値（画素値）がＲ，Ｇよりも低下している。
【０１４３】
図２４の右部は、ヒストグラムから調整値算出部１２４により算出された仮調整値を示している。図２３に示す部分画像（１）の仮調整値に比べて、Ｒ，Ｇ，Ｂの仮調整値が低く、かつ、Ｂの仮調整値がＲ，Ｇよりも低いことがわかる。
【０１４４】
次に、検証部１２５により各部分画像についての検証が行われるが、部分画像（１）（２）の両方との検証フラグが有効に設定されたとする。この場合、調整値補間部１２６は、図２３，２４に示す仮調整値を最終調整値として設定する。
【０１４５】
次に、調整部１２７は、図２５に示されるように、基準補正データの特徴点（ｄ）の入力値を最終調整値で置換し、階調補正用の１次元ルックアップテーブルを生成する。なお、上述したように、特徴点（ｄ）の入力値を最終調整値で置換するとともに、特徴点（ｂ）（ｃ）も合わせて調整する。
【０１４６】
図２６は、部分画像（１）について調整部１２７が求めた１次元ルックアップテーブルをグラフ化した図である。図示されるように、Ｒ，Ｇについては基準階調補正曲線よりも出力値が小さくなり、Ｂについては基準階調補正曲線よりも出力値が大きくなっている。図２６に示されるような１次元ルックアップテーブルにより、補正処理部１２８が部分画像（１）の階調補正を行うと、全体的な輝度はほとんど変化しないものの、黄色っぽい下地部分が白色に補正されることとなる。
【０１４７】
図２７は、部分画像（２）について調整部１２７が求めた１次元ルックアップテーブルをグラフ化した図である。図示されるように、Ｒ，Ｇ，Ｂの何れも基準階調補正曲線よりも出力値が大きくなっている。これにより、補正処理部１２８が部分画像（２）の階調補正を行うと、部分画像（２）の下地部分の輝度が、部分画像（１）と同程度に上がることとなる。また、Ｂの方がＲ，Ｇよりも、出力値が大きくなっている。そのため、黄色っぽい下地部分が白色に補正されることとなる。
【０１４８】
このような補正が実行されることにより、撮像画像の最大輝度付近を白色に置き換え、色かぶりや下地除去を行うことができる。つまり、撮像対象物の下地部分を均一な輝度で白色化させることができる。
【０１４９】
（５）出力対象画像データの画像形成装置への転送について
ユーザは、携帯端末装置１００を持って画像形成装置２００または画像表示装置３００の近くにきて、携帯端末装置１００を操作し、赤外線通信のような近距離無線通信方式を用いて出力対象画像データを画像形成装置２００または画像表示装置３００に送信させる。具体的には、ユーザは、携帯端末装置１００の入力部１０６に、出力対象画像データまたは補正済画像データの送信指示を入力する。
【０１５０】
制御部１０９は、送信指示に従って、記憶部１０８に格納された出力対象画像データまたは補正済画像データを特定する。ユーザは、図１０に示す画面を確認後、補正済画像データの方が好ましい場合には補正済画像データを送信対象として指定し、出力対象画像データで問題なければ補正済画像データを送信対象として指定すればよい。そして、制御部１０９は、出力対象画像データまたは補正済画像データを画像形成装置２００または画像表示装置３００に送信する送信処理を、通信部１０４に実行させる。なお、通信部１０４は、出力対象画像データまたは補正済画像データと、対応付けられているファイルネーム、出力処理情報、ならびに、記憶部１０８に格納されている機種情報およびユーザ情報とを合わせて送信する。
【０１５１】
（６）画像形成装置の構成
次に、本実施形態に係る画像形成装置２００の構成について説明する。本実施形態において、画像形成装置２００は、スキャナ、プリンタ、複写機等の機能を備えた複合機である。
【０１５２】
図２８は、画像形成装置２００の構成を示すブロック図である。画像形成装置２００は、画像読取部２０１、画像処理部２０２、認証部２０３、画像形成部２０４、表示部２０５、入力部２０６、第１通信部２０７、第２通信部２０８、記録媒体アクセス部２０９、記憶部２１０、および制御部２１２を備えている。
【０１５３】
画像読取部２０１は、原稿を読み取るものであり、ＣＣＤ（Charge Coupled Device）を備えたスキャナ部を有し、原稿から反射してきた光を、ＲＧＢに色分解された電気信号（アナログの画像信号）に変換し、この電気信号を出力するものである。
【０１５４】
画像処理部２０２は、画像データに対して、所定の画像処理を行うものである。本実施形態では、画像処理部２０２は、携帯端末装置１００または画像表示装置３００から受信した画像データに対して所定の画像処理を行う。画像処理部２０２における画像処理の詳細については後述する。
【０１５５】
認証部２０３は、携帯端末装置１００または画像表示装置３００から受信した画像データの出力処理を行う際に、ユーザ認証を行うものである。具体的には、認証部２０３は、携帯端末装置１００から受信したユーザ情報と、入力部２０６に入力されたユーザ情報（ユーザＩＤおよびパスワード）とを照合してユーザ認証を行う。認証部２０３は、認証結果を制御部２１２に送る。
【０１５６】
画像形成部２０４は、例えば電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するものである。すなわち、画像形成部２０４は、出力処理の一つとして、補正済画像データで示される画像を記録用紙やＯＨＰ用紙などの記録紙に印刷する印刷処理を実行するものである。
【０１５７】
表示部２０５は、例えば液晶ディスプレイ等より構成される。また、入力部２０６は、例えば液晶ディスプレイのタッチパネルやボタンを押すことなどによりデータの入力を行うためのものである。
【０１５８】
第１通信部２０７は、ＵＳＢ１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第１通信部２０７は、携帯端末装置１００または画像表示装置３００から、ファイルネーム、携帯端末装置１００の機種情報、ユーザ情報および出力処理情報が付加された画像データ（出力対象画像データまたは補正済画像データ）を受信する。
【０１５９】
第２通信部２０８は、（ａ）無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用したデータ通信、（ｂ）イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介した、ネットワークとのデータ通信、（ｃ）無線通信規格である、ＩＥＥＥ８０２．１５．１（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））やＩｒＳｉｍｐｌｅなどの赤外線通信規格、Ｆｅｌｉｃａ（登録商標）などの通信方式のいずれかに基づく無線技術を利用したデータ通信、の機能を有するものである。
【０１６０】
第２通信部２０８は、出力処理として、画像処理部２０２により所定の画像処理が施された画像データをサーバに格納するファイリング処理、もしくは、当該所定の画像処理が施された画像データを添付したメールを送信するメール送信処理を実行する。
【０１６１】
記録媒体アクセス部２０９は、プログラムが記録された記録媒体から、プログラムを読み出すものである。記憶部２１０は、上記各部が処理を実行するためのプログラムを記憶するためのものである。
【０１６２】
制御部２１２は、画像形成装置２００の各部の制御を行うものである。具体的には、制御部２１２は、第１通信部２０７が携帯端末装置１００または画像表示装置３００から画像データ（出力対象画像データまたは補正済画像データ）を受信すると、当該画像データを画像処理部２０２に出力し、画像処理を実行させる。また、制御部２１２は、画像データに付けられているユーザ情報を認証部２０３に出力し、認証部２０３に認証処理を実行させる。制御部２１２は、認証部２０３から認証成功の認証結果を受けると、画像データに付けられていた出力処理情報に従って処理を実行させる。すなわち、出力処理情報が印刷処理を示している場合、制御部２１２は、画像処理部２０２により画像処理が施された画像データに基づいた印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、画像処理部２０２により画像処理が施された画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。
【０１６３】
（７）画像処理部における画像処理について
次に、画像処理部２０２が実行する画像処理の詳細について説明する。なお、画像処理部２０２は、画像読取部２０１が読み取った画像データに対しても画像処理を行うが、ここでは、携帯端末装置１００または画像表示装置３００から受信した画像データ（出力対象画像データまたは補正済画像データ）に対する画像処理の内容について説明する。
【０１６４】
図２９は、画像処理部２０２の内部構成を示すブロック図である。図２９に示されるように、画像処理部２０２は、画質調整部２２１、幾何学補正部（写像生成部）２２２、レンズ歪み補正部２２３、高解像度補正部２２５および出力画像処理部２２４を備えている。以下、各部の具体的な処理内容を順に説明する。
【０１６５】
（７−１）画質調整部
画質調整部２２１は、出力対象画像データのカラーバランス、コントラストの補正を行うものである。画質調整部２２１は、受信した出力対象画像データについて、各色チャンネルの最大値・最小値を求め、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用する。具体的には、画質調整部２２１は、ルックアップテーブルとして、図３０に示すように、あるチャンネルの最大値がＭＸ、最小値がＭＮであり、データが８ｂｉｔのとき、ＭＮから（ＭＸ−ＭＮ）／２５５のステップで増加させていくようなテーブルを作成すればよい。そして、画質調整部２２１は、作成したテーブルに従って、各画素値を変換する。これにより、カラーバランスが補正される。
【０１６６】
また、画質調整部２２１は、コントラストの補正についても同様の方法で実行する。なお、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。
【０１６７】
なお、カラーバランス・コントラストの補正方法についてはその他の公知の技術を適用してもよい。
【０１６８】
また、携帯端末装置１００から補正済画像データを受信した場合には、既に画質調整が実施されているため、画質調整部２２１の処理を省略してもよい。
【０１６９】
（７−２）レンズ歪み補正部
レンズ歪み補正部２２３は、画像データについて、レンズ歪みの補正を実行するものである。
【０１７０】
レンズ歪み補正部２２３は、画像データについて、上記の（３−２）に記載した処理と同様にして、撮像画像における撮像対象物のエッジ画素群を検出する。そして、レンズ歪み補正部２２３は、検出されたエッジ画素群を曲線近似し、その曲線の式からレンズひずみ補正を行う。
【０１７１】
具体的には、レンズ歪み補正部２２３は、検出した撮像対象物のエッジ画素を検出し、上記の（３−２）に記載した処理と同様に、各エッジ画素を撮像対象物と背景との境界の４辺に対応する４つのエッジ画素群に分類する。そして、図３１の実線で示されるように、各群に属するエッジ点に対して２次曲線近似を行う。このようにして４つの群に対して求めた２次曲線は、撮像対象物の４辺に対応する。また、レンズ歪み補正部２２３は、４つの２次曲線で囲まれる領域の角部に相当する、４つの２次曲線の交点を求める。次に、レンズ歪み補正部２２３は、各辺に対して求めた２次曲線に外接し、かつ、４つの交点を結んだ四角形（図３１において点線で示される）と相似している外接四角形（図３１において１点鎖線で示される）を求める。そして、レンズ歪み補正部２２３は、このようにして求めた外接四角形が補正後の対象物のエッジ画素の位置となるように、撮像画像における撮像対象物の領域内の画素位置を変換する。この変換は、基準点（例えば撮像対象物の領域の重心点）からのベクトルを基に計算すればよい。これにより、携帯端末装置１００の撮像部１０１によるレンズ歪みを補正することができる。
【０１７２】
レンズ歪みの補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。
【０１７３】
（７−３）幾何学補正部
幾何学補正部２２２は、ポスターや原稿用紙のような矩形状の撮像対象物に対して、文書画像が形成された平面の法線方向とは異なる方向から撮像することによる撮像対象物の歪み（つまり、文書画像が形成された矩形状の平面の歪み）を補正するとともに、画像データにおける撮像対象物の傾きを補正するものである。
【０１７４】
具体的には、幾何学補正部２２２は、幾何学的配置検出部１１１と同様に、出力対象画像データに基づいて、矩形の撮像対象物と背景との境界となる４つのエッジ画素群に対応する直線の式を求める。そして、幾何学補正部２２２は、当該４つの直線で囲まれる四角形の領域（補正前領域）を特定し、特定した補正前領域を切り出す。
【０１７５】
次に、幾何学補正部２２２は、図３２のように、特定した四角形の補正前領域（図３２において一点鎖線で示される）を、上下の２辺が水平方向に略平行であり、所定のアスペクト比および大きさを有する、矩形状の標準領域（例えば、ビジネス文書出用いられているＡ判Ｂ判なら７：１０であるなど。図３２において実線で示される）に変換するための写像を求める。なお、標準領域の上下の２辺は水平方向と完全に平行でなくても良く、水平方向に対して僅かな所定範囲内の角度を有していても良い（略平行であっても良い）。ここで、写像とは、補正前領域の各画素の座標（ｘ１、ｙ１）から標準領域の対応する画素の座標（ｘ２、ｙ２）への写像変換（座標変換処理）するための規則ｆｘ、ｆｙのことであり、ｘ２＝ｆｘ（ｘ１、ｙ１）、ｙ２＝ｆｙ（ｘ１、ｙ１）で表される。当該写像変換としては公知の技術を用いることができる。なお、幾何学補正部２２２は、予め記憶部２１０に記憶されているアスペクト比に合うように変換してもよいし、入力部２０６に入力されたアスペクト比に合うように変換してもよい。また、標準領域の大きさとしては、入力部２０６に入力された大きさが設定されてもよいし、補正前領域と同じ面積となるような大きさが設定されてもよい。
【０１７６】
次に、幾何学補正部２２２は、求めた写像に従って、画像データから切り出した補正前領域に対して座標変換を行う。これにより、幾何学的歪みおよび傾きの補正（以下、幾何学補正という場合がある）することができる。
【０１７７】
幾何学補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。
【０１７８】
（７−４）高解像度補正部
高解像度補正部２２５は、画像データに対する高解像度補正を行うものである。本実施形態では、高解像度補正部２２５は、１つの画像データに基づいて高解像度補正を行ってもよく、複数の画像データを用いて高解像度補正を行ってもよい。
【０１７９】
一般的には、画像パターンのエッジ方向性を検知し、その向きに合わせた補間を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響などの除去を目的としたノイズ除去処理を行うことにより、高解像度補正を実行することができる。
【０１８０】
１つの画像データに基づいて高解像度補正を行う方法としては特開２０１０−２４５７８８に記載の方法を、複数の画像データを用いて高解像度補正を行う方法としては特開２０１０−２４５７８７に記載の方法を用いることができる。
【０１８１】
（７−５）出力画像処理部
出力画像処理部２２４は、画像データを出力する際の領域分離処理、色補正、黒生成下色除去処理、空間フィルタ処理、中間調処理を実行するものである。なお、これらの処理としては公知の技術を用いることができる。
【０１８２】
（８）変形例
本発明の撮像画像処理システムは、上記の実施形態に限定されることがなく、様々な変更が可能である。以下、変形形態の具体例について説明する。
【０１８３】
（８−１）出力対象画像決定部の決定方法について
上記の説明では、出力対象画像決定部１１３は、表示処理部１１２により撮像対象物が撮像範囲内に収まっていることを示す情報（例えば「ＯＫ」）が表示されているときにシャッタボタン（図７の符号１０）が操作されたタイミングで、表示部１０５に表示されている撮像画像を示す画像データを出力対象画像データと決定した。
【０１８４】
しかしながら、出力対象画像決定部１１３は、シャッタボタン１０の操作ではなく自動的に出力対象画像データを決定するオートシャッタ機能を有していてもよい。
【０１８５】
すなわち、オートシャッタ機能が有効である場合、出力対象画像決定部１１３は、撮像部１０１により連続して撮像された所定数の撮像画像（コマ画像）に対して、表示処理部１１２により撮像対象物が撮像範囲内に収まっていることを示す情報を表示している場合に、当該所定数の撮像画像の１つ（例えば、最後に撮像された撮像画像）を示す画像データを出力対象画像データとして決定する。
【０１８６】
より具体的には、出力対象画像決定部１１３は、撮像部１０１により連続して撮像された所定数（例えば３０）の撮像画像（コマ画像）に対して、幾何学的配置検出部１１１から出力された抽出結果情報で示される４つの頂点座標（仮頂点座標を除く）を記憶する。そして、各頂点について、所定数の撮像画像から得られた頂点座標の差の二乗が、予め定められた閾値未満である場合に、出力対象画像決定部１１３は、表示部１０５に表示されている撮像画像を示す画像データを出力対象画像データと決定すればよい。
【０１８７】
ここで、予め定められた閾値は、例えば、
（撮像範囲の高さＹｍａｘ×１／１６）２＋（撮像範囲の幅Ｘｍａｘ×１／１６）２
が設定される。
【０１８８】
これにより、ユーザがシャッタボタンを操作しなくても出力対象画像データを決定できるので、シャッタボタンを操作することによる撮像対象物のブレや撮像対象物が撮像範囲からはみ出すことを防止できる。
【０１８９】
（８−２）画像表示装置について
画像表示装置３００は、画像形成装置２００が備える画像処理部２０２を備えていても良い。そして、画像表示装置３００は、出力対象画像データに対して、幾何学補正や高解像度補正を行った補正済画像データで示される画像を表示させる表示処理を出力処理として行ってもよい。
【０１９０】
（８−３）携帯端末装置について
撮像対象物の撮像条件が悪い場合、画像処理部１０３にて画質調整を行ったとしても、画像を確認しにくいことがある。
【０１９１】
そこで、携帯端末装置１００において、出力対象画像データが、画像形成装置における画像処理が効果を生じさせる条件で撮像されたか否かを判定し、その判定結果に応じて再撮像をユーザに促してもよい。
【０１９２】
例えば、明るさ、コントラスト、カラーバランス、ブレ（激しい手ぶれ）などを判定してもよい。
【０１９３】
明るさについては、例えば露出オーバー（明るすぎる）やアンダー（暗すぎる）の場合に再度の撮像が必要となるケースが考えられる。例えば、制御部１０９は、出力対象画像データの画素値のうち、最大のものと最小のものを求め、最大値がある閾値（例えば８ビットで１００など）以下であれば露出アンダーと、最小値がある閾値（例えば８ビットで１５０など）以上であれば露出オーバーと判定する。
【０１９４】
コントラストについては、制御部１０９は、出力対象画像データの画素値のうちの最大・最小の差分値が所定閾値以下の場合、コントラスト不足と判定する。
【０１９５】
なお、明るさ・コントラストの判定において、制御部１０９は、各色チャンネルに対して判定を行っても良いし、平均値（Ｒ＋Ｇ＋Ｂ／３）や明度値（０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ：ＮＴＳＣ準拠）を用いても良い。
【０１９６】
カラーバランスについては、各色チャンネル（ＲＧＢ）の平均値や最大・最小値の比較を行うことで、ある一つのチャンネルに過度の偏りが発生していることを把握できる。そこで、制御部１０９は、例えば、出力対象画像データ中の最大明度値付近の値（最大明度〜最大明度−５程度）を持つ画素値の各色チャンネルの値の平均値（Ｒａ，Ｇａ，Ｂａ）を求め、その各色チャンネルの最大値と最小値の差分が値に応じた一定値以上［Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）−Ｍｉｎ（Ｒａ，Ｇａ，Ｂａ）＞０．１×Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）］である場合に、カラーバランス不良であると判定する。
【０１９７】
制御部１０９は、露出アンダー、露出オーバー、コントラスト不足、カラーバランス不良を判定した場合、再撮像を促すメッセージを表示部１０５に表示させる。
【０１９８】
（８−４）携帯端末装置から画像形成装置への画像データの送信タイミングについて
上記の説明では、文書撮像モードにより蓄積された画像データを携帯端末装置１００で蓄積しておき、送信指示が入力されたタイミングで、それまでに蓄積された出力対象画像データをまとめて送信するものとした。しかしながら、携帯端末装置１００から画像データを画像形成装置２００に送信するタイミングはこれに限定されない。
【０１９９】
例えば、出力対象画像データまたは補正済画像データが記憶部１０８に格納されるたびに、出力対象画像データまたは補正済画像データを画像形成装置２００に送信してもよい。この場合、ユーザは、画像形成装置２００の近傍にいない場合がほとんどである。そのため、携帯端末装置１００の通信部１０４は、携帯電話網およびインターネット網を介して、画像データを画像形成装置２００に送信すればよい。
【０２００】
（８−５）出力処理情報について
上記の説明では、出力処理情報を携帯端末装置１００が取得し、画像形成装置２００に送信するものとした。しかしながら、これに限らず、画像形成装置２００がユーザ認証のためにユーザ情報を取得する際に、出力処理情報（出力処理の種類、出力処理のための設定条件を示す情報）を取得してもよい。
【０２０１】
（８−６）出力処理について
画像形成装置２００において、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって生成された画像データを高圧縮ＰＤＦに変換してもよい。なお、高圧縮ＰＤＦデータとは、画像データの中の背景部分と文字分とを分離し、ぞれぞれの部分に最適な圧縮処理を行ったＰＤＦデータである。これにより、文字判読性が良好で、画像ファイルサイズも低減させることができる。
【０２０２】
また、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって生成された画像データに対してＯＣＲ処理を実行し、テキストデータを生成してもよい。そして、制御部２１２は、画像データをＰＤＦに変換し、生成したテキストデータを透明テキストとして付加してもよい。なお、透明テキストとは、認識された文字をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。そして、制御部２１２は、生成した透明テキスト付きＰＤＦデータを出力させてもよい。これにより、テキスト検索可能なファイルのように活用しやすい電子化文書を出力することができる。
【０２０３】
（９）プログラムおよび記録媒体
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した携帯端末装置１００で撮像した画像を画像形成装置２００に送信し画像形成装置２００より出力する方法を記録するものとすることもできる。
【０２０４】
この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなもの、そのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。
【０２０５】
いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される一時的でない有形の媒体（non-transitory tangible medium）であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。
【０２０６】
また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２０７】
上記記録媒体は、携帯端末装置１００や画像形成装置２００に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。
【０２０８】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２０９】
本発明は、携帯端末装置と画像形成装置や画像表示装置との間でデータ通信を行う撮像画像処理システムに適用することができる。
【符号の説明】
【０２１０】
１００  携帯端末装置（画像処理装置）
１０１  撮像部
１０３  画像処理部
１０４  通信部
１０５  表示部
１０６  入力部
１０７  記録媒体アクセス部
１０８  記憶部
１０９  制御部
１２１  画像補正量読込部（基準データ取得部）
１２２  分割処理部
１２３  ヒストグラム作成部
１２４  調整値算出部（調整値決定部）
１２５  検証部
１２６  調整値補間部（調整値変更部）
１２７  調整部（階調補正データ生成部）
１２８  補正処理部
２００  画像形成装置
３００  画像表示装置
【図１】
0005547243.tif 000004
【図２】
0005547243.tif 000005
【図３】
0005547243.tif 000006
【図４】
0005547243.tif 000007
【図５】
0005547243.tif 000008
【図６】
0005547243.tif 000009
【図１１】
0005547243.tif 000010
【図１２】
0005547243.tif 000011
【図１５】
0005547243.tif 000012
【図１６】
0005547243.tif 000013
【図１８】
0005547243.tif 000014
【図１９】
0005547243.tif 000015
【図２０】
0005547243.tif 000016
【図２１】
0005547243.tif 000017
【図２３】
0005547243.tif 000018
【図２４】
0005547243.tif 000019
【図２５】
0005547243.tif 000020
【図２６】
0005547243.tif 000021
【図２７】
0005547243.tif 000022
【図２８】
0005547243.tif 000023
【図２９】
0005547243.tif 000024
【図３０】
0005547243.tif 000025
【図３１】
0005547243.tif 000026
【図３２】
0005547243.tif 000027
【図７】
0005547243.tif 000028
【図８】
0005547243.tif 000029
【図９】
0005547243.tif 000030
【図１０】
0005547243.tif 000031
【図１３】
0005547243.tif 000032
【図１４】
0005547243.tif 000033
【図１７】
0005547243.tif 000034
【図２２】
0005547243.tif 000035