(57)【要約】【課題】しかしながら、ある画像とある画像とを統合して一つのファイルとする場合、画像の明るさやダイナミックレンジ等が異なってしまう。【解決手段】第一のデバイスから得られる第一の画像の特性を示す第一の画像情報と、前記第一のデバイスとは異なるデバイスである第二のデバイスから得られる第二の画像の特性を示す第二の画像情報とを取得する。そして、第一の画像情報と第二の画像情報とに基づいて、第一の画像を補正する。補正された第一の画像と、第二の画像とを合成する。【選択図】図８
2015103915.tif 000002
【特許請求の範囲】
【請求項１】
第一のデバイスから得られる第一の画像の特性を示す第一の画像情報と、前記第一のデバイスとは異なるデバイスである第二のデバイスから得られる第二の画像の特性を示す第二の画像情報とを取得する取得手段と、
前記第一の画像情報と前記第二の画像情報とに基づいて、前記第一の画像を補正する補正手段と、
前記補正手段で補正された前記第一の画像と、前記第二の画像とを合成する合成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記第一の画像がドキュメント画像であるかを判定する判定手段をさらに有し、
前記補正手段は、前記第一の画像がドキュメント画像であると前記判定手段で判定された場合、前記第一の画像を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、属性領域ごとの特性を示す第一の画像情報と第二の画像情報とを取得し、
前記補正手段は、前記属性領域ごとの特性を示す第一の画像情報と第二の画像情報とに基づいて、前記第一の画像を属性領域ごとに補正する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第一の画像に含まれる第一の属性領域がカラー画像であり、かつ、
前記第二の画像に含まれる、前記第一の属性領域と同じ属性の領域がモノクロ画像の場合、
前記第一の画像の前記第一の属性領域をモノクロ化する手段をさらに有することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記取得手段は、前記第一のデバイスのデバイス情報および前記第二のデバイスのデバイス情報を取得し、
前記補正手段は、前記デバイス情報にさらに基づいて前記第一の画像を補正することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記補正手段は、前記第一の画像情報に含まれるヒストグラムと、前記第二の画像情報に含まれる黒基準およびヒストグラムとに基づいて、前記第一の画像のダイナミックレンジを補正することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記補正手段は、前記第一の画像情報に含まれる下地色情報と、前記第二の画像情報に含まれる下地色情報とに基づいて、前記第一の画像の下地色を補正することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記補正手段は、前記第一の画像情報に含まれる画像ボケ情報と、前記第二の画像情報に含まれる画像ボケ情報とに基づいて、前記第一の画像をフィルタリングすることを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記第一のデバイスは読取手段を含む装置であり、前記第二のデバイスは撮影手段を含む装置であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記補正手段は、前記第一の画像に加えて前記第二の画像を補正することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
第一のデバイスから得られる第一の画像の特性を示す第一の画像情報と、前記第一のデバイスとは異なるデバイスである第二のデバイスから得られる第二の画像の特性を示す第二の画像情報とを取得する取得ステップと、
前記第一の画像情報と前記第二の画像情報とに基づいて、前記第一の画像を補正する補正ステップと、
前記補正ステップで補正された前記第一の画像と、前記第二の画像とを合成する合成ステップと
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータを請求項１から１０のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関するものである。例えば、スキャナ等の第１の画像取得装置で取得したドキュメント画像と、カメラ等の第２の画像取得装置で取得したドキュメント画像とを同じファイルとして統合する画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
ある装置で生成したデータを他の装置に送信することが行われている。例えば、パーソナルコンピュータ（ＰＣ）の文章作成ソフトウェアがドキュメントデータを生成し、生成したドキュメントデータを別のＰＣに送信・転送する処理が行われている。また、スキャナデバイスを持つＭＦＰやドキュメントスキャナが、紙媒体に印刷された写真画像やドキュメント画像をスキャンし、ＪＰＥＧやＴＩＦＦ、ＰＤＦ形式に変換してＰＣに電子メール機能等で送信する事がなされている。また、近年、スマートフォンやタブレットなどのモバイル端末で撮影した画像を例えばＪＰＥＧ形式に変換してモバイル端末からＰＣに対して電子メール機能等で送信する事もなされるようになっている。モバイル端末のカメラ機能の性能も向上しており、自然画像の取得だけでなく、ドキュメント文章の撮影を行い幾何補正や色補正を行う事でスキャナと同等の画像の取得も可能になっている。
【０００３】
特許文献１には、上記のドキュメントデータをビットマップしたデジタルデータや、画像データのすべて又は２種類を結合し一つのデータにまとめる技術が開示されている。
【０００４】
また、特許文献２は、スキャンして読み取った画像の一部を特定の画像に入れ替える技術を開示している。特許文献２のような技術を利用して、例えばあらかじめスキャンした申請書の一部を、あらかじめ撮影した画像に入れ替えて１つの文書とすることも考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２９９３４号公報
【特許文献２】特開２００１−２９２３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ある画像とある画像とを統合して一つのファイルとする場合、異なるデバイスで取得した画像をそのまま結合したり挿入したりすると、画像の明るさやダイナミックレンジ等が異なってしまうという課題がある。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、第一のデバイスから得られる第一の画像の特性を示す第一の画像情報と、前記第一のデバイスとは異なるデバイスである第二のデバイスから得られる第二の画像の特性を示す第二の画像情報とを取得する取得手段と、前記第一の画像情報と前記第二の画像情報とに基づいて、前記第一の画像を補正する補正手段と、前記補正手段で補正された前記第一の画像と、前記第二の画像とを合成する合成手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、異なるデバイスで取得した画像を結合したり挿入したりする際に、ダイナミックレンジ、色合い、または下地色などを合わせることが可能になる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態におけるシステムの一例を示す図である。
【図２】本発明の実施形態における画像形成装置の構成例を示すブロック図である。
【図３】本発明の実施形態におけるクラウドサービスサーバーの構成例を示すブロック図である。
【図４】本発明の実施形態におけるモバイル端末の構成例を示すブロック図である。
【図５】本発明の実施形態における画像形成装置のソフトウェア構成例を示す図である。
【図６】本発明の実施形態におけるモバイル端末のソフトウェア構成例を示す図である。
【図７】本発明の実施形態におけるクラウドサービスサーバーのソフトウェア構成例を示す図である。
【図８】本発明の実施形態におけるスキャン、画像処理、画面表示までの処理のシーケンスの一例を示す図である。
【図９】本発明の実施形態におけるスキャン及び撮影に用いるドキュメントの例を示す図である。
【図１０】本発明の実施形態における画像情報を取得する構成の一例を示すフローチャートである。
【図１１】本発明の実施形態における画像の補正を行うフローチャートの一例を示す図である。
【図１２】本発明の実施形態における画像処理の内容を示すイメージ図である。
【図１３】本発明の実施形態における内容を示すイメージ図である。
【図１４】本発明の実施形態における画像情報を取得する構成の一例を示すフローチャートである。
【図１５】本発明の実施形態におけるデバイス差分データベースの一例を示す図である。
【図１６】本発明の実施形態における画像の補正処理の一例を示すフローチャートである。
【図１７】本発明の実施形態におけるクラウドサービスサーバーの構成例を示すブロック図である。
【図１８】本発明の実施形態における内容を示すイメージ図である。
【図１９】本発明の実施形態における画像の補正処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を用いて本発明に係る実施形態を詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。
【実施例１】
【００１１】
実施例１では、スキャン端末において紙文書をスキャンしてスキャン画像を生成する。またモバイル端末のカメラ機能を用いて撮影画像を生成する。そして、スキャン画像と撮影画像とをサーバー内で統合する画像処理について説明する。
【００１２】
＜システム構成＞
図１は実施例１におけるシステムの全体構成の一例を示す図である。図１に示すように、実施例１におけるシステムは、画像形成装置１００と、ＰＣ１０１と、クラウドサービスサーバー１０３と、モバイル端末１０６とを有する。画像形成装置１００およびＰＣ１０１はイーサネット（登録商標）や無線ＬＡＮなどからなるＬＡＮ１０５に接続され、Ｉｎｔｅｒｎｅｔ１０２に接続されている。
【００１３】
また、クラウドサービスサーバー１０３はイーサネットや無線ＬＡＮなどからなるＬＡＮ１０５に接続され、Ｉｎｔｅｒｎｅｔ１０２に接続されている。更に、モバイル端末１０６は公衆無線通信網１０４などからＩｎｔｅｒｎｅｔ１０２に接続されている。画像形成装置１００、ＰＣ１０１、クラウドサービスサーバー１０３、及びモバイル端末１０６は、ＬＡＮ１０５、又は公衆無線通信網１０４からＩｎｔｅｒｎｅｔ１０２に接続され、相互に通信可能となっている。
【００１４】
画像形成装置１００は、操作部、スキャナ部、及びプリンタ部を有する複合機（ＭＦＰ）である。本実施例のシステムでは画像形成装置１００を紙文書のスキャン端末として利用する。画像形成装置１００は、第一の画像取得装置ということもできる。また、画像形成装置１００で取得するスキャン画像を第一の画像ということもできる。
【００１５】
モバイル端末１０６は、操作部、カメラ部、及び無線通信部を有するスマートフォンやタブレット端末である。本実施例のシステムでモバイル端末１０６は、スキャンされた紙文書の画像データの確認を行う。また、紙文書や自然画像を撮影して撮影画像を生成する撮影端末として利用する。モバイル端末１０６は、第二の画像取得装置ということもできる。また、モバイル端末１０６で取得する撮影画像を第二の画像ということもできる。
【００１６】
＜画像形成装置１００のハードウェア構成＞
図２は、画像形成装置１００の構成の一例を示すブロック図である。ＣＰＵ２０１を含む制御部２００は、画像形成装置１００全体の動作を制御する。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して読取制御や送信制御などの各種制御を行う。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。
【００１７】
ＨＤＤ２０４は、画像データや各種プログラムを記憶する。操作部Ｉ／Ｆ部２０５は、操作部２０６と制御部２００とを接続する。操作部２０６には、タッチパネル機能を有する液晶表示部やキーボードなどが備えられている。プリンタＩ／Ｆ部２０７は、プリンタ部２０８と制御部２００とを接続する。プリンタ部２０８で印刷される画像データはプリンタＩ／Ｆ部２０７を介して制御部２００から転送され、プリンタ部２０８において記録媒体上に画像が印刷される。
【００１８】
スキャナＩ／Ｆ部２０９は、スキャナ部２１０と制御部２００とを接続する。スキャナ部２１０は、原稿上の画像を読み取って画像データを生成し、スキャナＩ／Ｆ部２０９を介して画像データを制御部２００に入力する。
【００１９】
ネットワークＩ／Ｆ部２１１は、制御部２００（画像形成装置１００）をＬＡＮ１０５に接続する。ネットワークＩ／Ｆ部２１１は、ＬＡＮ１０５上の外部装置（例えば、クラウドサービスサーバー１０３）に画像データや情報を送信したり、ＬＡＮ１０５上の外部装置から各種情報を受信したりする。
【００２０】
＜クラウドサービスサーバー１０３のハードウェア構成＞
図３は、クラウドサービスサーバー１０３の構成の一例を示すブロック図である。ＣＰＵ３０１を含む制御部３００は、クラウドサービスサーバー１０３全体の動作を制御する。ＣＰＵ３０１は、ＲＯＭ３０２に記憶された制御プログラムを読み出して各種制御処理を実行する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３０４は、画像データや各種プログラム、或いは後述する各種情報テーブルを記憶する。
【００２１】
ネットワークＩ／Ｆ部３０５は、制御部３００（クラウドサービスサーバー１０３）をＬＡＮ１０５に接続する。ネットワークＩ／Ｆ部３０５は、ＬＡＮ１０５上の他の装置との間で各種情報を送受信する。
【００２２】
＜モバイル端末１０６のハードウェア構成＞
図４は、スマートフォンやタブレット端末等のモバイル端末１０６のハードウェア構成の一例を示すブロック図である。
【００２３】
ＣＰＵ４０１を含む制御部４００は、モバイル端末１０６全体の動作を制御する。図４において、制御部４００に含まれるＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＨＤＤ４０４、操作部Ｉ／Ｆ部４０５、カメラＩ／Ｆ部４０７、無線通信Ｉ／Ｆ部４０９がシステムバスを介して互いに通信可能に接続されている。
【００２４】
ＣＰＵ４０１は中央処理装置であり、ＲＯＭ４０２に記憶されたプログラム等に基づいて統括的に制御を行う。また、ＣＰＵ４０１は、操作部Ｉ／Ｆ部４０５、カメラＩ／Ｆ部４０７を介して接続されている、タッチパネル部４０６、カメラ部４０８の制御用通信を行う。ＲＯＭ４０２は不揮発性のフラッシュメモリであり、各種プログラムやデータが格納されている。また電子ファイルの記憶領域としても利用する。ＲＡＭ４０３はプログラムの実行時にワーク領域として利用される。
【００２５】
操作部Ｉ／Ｆ部４０５は、制御部４００とタッチパネル部４０６とを接続するためのものである。タッチパネル部４０６は、圧力、程度、及び各々のタッチ点の位置に関する処理データを含む多数の同時タッチ点に関する情報を処理することができる。また、タッチパネル部４０６は入力装置であると共に、ユーザーに表示を行う表示装置を兼ねる。
【００２６】
カメラ部４０８は、画像の撮影を行うためのカメラレンズ及びセンサを含むハードウェアを示している。無線通信Ｉ／Ｆ部４０９は、制御部４００と無線通信部４１０を接続するためのものである。無線通信部４１０は無線通信を行うためのハードウェアを示している。無線通信部４１０は公衆無線通信網１０４に接続する。無線通信部４１０は公衆無線通信網１０４上の他の装置との間で各種情報を送受信する。また、無線通信部４１０は、カメラ部４０８で撮影した画像等を公衆無線通信網１０４又はＬＡＮ１０５上の外部装置（例えば、クラウドサービスサーバー１０３）に送受信したりする。
【００２７】
＜画像形成装置１００のソフトウェア構成＞
図５は、本実施例でのスキャン処理にかかわる画像形成装置１００のソフトウェアモジュールの構成の一例を示した図である。これらソフトウェアモジュールは、画像形成装置１００のＨＤＤ２０４に格納され、ＣＰＵ２０１が実行する。
【００２８】
スキャンアプリケーション５００は、スキャンした画像をクラウドサービスサーバー１０３に送信するためのソフトウェアモジュールである。スキャンアプリケーションは、画面表示部５０１と、スキャン処理部５０２と、画像処理部５０３と、スキャンデータ管理部５０４と、通信部５０５とを含む。
【００２９】
画面表示部５０１は、操作部Ｉ／Ｆ部２０５を介して、スキャン処理を実行するための表示を操作部２０６に表示するためのソフトウェアモジュールである。
【００３０】
スキャン処理部５０２は、スキャナＩ／Ｆ部２０９を介してスキャナ部２１０を駆動し、紙文書を読み取る処理を行うソフトウェアモジュールである。スキャン処理部５０２は、スキャナ部２１０から画像データを受け取りＨＤＤ２０４に画像データを保存する。
【００３１】
画像処理部５０３は、ＨＤＤ２０４に保存されている画像データをＪＰＥＧ等の画像フォーマットに変換するためのソフトウェアモジュールである。また、画像処理部５０３は、スキャナ部２１０で取得した画像データに対し例えばエッジ強調処理や色調整処理などの画像処理を行う事も可能である。
【００３２】
スキャンデータ管理部５０４は、画像処理部５０３によってＪＰＥＧ等の画像フォーマットに変換された画像データをＨＤＤ２０４に保存し、スキャン画像として管理するためのソフトウェアモジュールである。本実施例では、スキャンアプリケーション５００によって取得され、管理される画像データのことをスキャン画像と称する。
【００３３】
通信部５０５は、ＨＤＤ２０４に保存されたスキャン画像を、ネットワークＩ／Ｆ部２１１を介してクラウドサービスサーバー１０３に登録するためのソフトウェアモジュールである。
【００３４】
尚、本実施例では図５のような画像形成装置１００のソフトウェア構成を紹介したが、スキャナ等でスキャン画像を取得し転送できるシステムであれば図５のような構成に限るものではない。
【００３５】
＜モバイル端末１０６のソフトウェア構成＞
図６は、本実施例でのカメラ撮影処理にかかわるモバイル端末１０６のソフトウェアモジュールの構成の一例を示した図である。これらソフトウェアモジュールは、モバイル端末１０６のＨＤＤ４０４に格納され、ＣＰＵ４０１が実行する。
【００３６】
撮影アプリケーション６００は、カメラで撮影した画像をクラウドサービスサーバー１０３に送信するためのソフトウェアモジュールである。撮影アプリケーション６００は、画面表示部６０１と、カメラ処理部６０２と、画像処理部６０３と、撮影データ管理部６０４と、通信部６０５と、Ｗｅｂブラウザ６０６とを含む。
【００３７】
画面表示部６０１は、操作部Ｉ／Ｆ部４０５を介してカメラ撮影処理を実行し、撮影した画像を確認するための表示をタッチパネル部４０６に表示するためのソフトウェアモジュールである。
【００３８】
カメラ処理部６０２は、カメラＩ／Ｆ部４０７を介してカメラ部４０８を駆動し、紙文書や、自然画像、風景など撮影して撮影画像を取得する処理を行うソフトウェアモジュールである。カメラ処理部６０２は、カメラ部４０８から画像データを受け取りＨＤＤ４０４に画像データを保存する。
【００３９】
画像処理部６０３は、ＨＤＤ４０４に保存されている画像データをＪＰＥＧ等の画像フォーマットに変換するためのソフトウェアモジュールである。また、画像処理部６０３は、カメラで撮影した画像に対して例えばエッジ強調処理や色調整処理などの画像処理を行う事も可能である。
【００４０】
撮影データ管理部６０４は、画像処理部６０３によりＪＰＥＧ等の画像フォーマットに変換された画像データをＨＤＤ４０４に保存し、撮影画像として管理するためのソフトウェアモジュールである。本実施例では、撮影アプリケーション６００によって撮影され、管理される画像データのことを撮影画像と称する。
【００４１】
通信部６０５は、ＨＤＤ４０４に保存された撮影画像を、無線通信Ｉ／Ｆ部４０９を介して、クラウドサービスサーバー１０３に送信するためのソフトウェアモジュールである。
【００４２】
Ｗｅｂブラウザ６０６は、クラウドサービスサーバー１０３とＨＴＴＰプロトコルによる通信を行い、受け取ったＨＴＭＬデータの表示とユーザーからの入力を受け付けるためのソフトウェアモジュールである。Ｗｅｂブラウザ６０６によって、例えばブラウザからカメラ部４０８の起動等を行う事が可能になる。
【００４３】
尚、本実施例では上記のモバイル端末１０６のソフトウェア構成を紹介したが、カメラ等で撮影画像を取得し転送できるシステムであれば上記に限るものではない。
【００４４】
＜クラウドサービスサーバー１０３のソフトウェア構成＞
図７は、本実施例でのクラウドサービスサーバー１０３における画像処理にかかわるソフトウェアモジュールの構成の一例を示した図である。これらソフトウェアモジュールは、クラウドサービスサーバー１０３のＨＤＤ３０４に格納され、ＣＰＵ３０１が実行する。クラウドサービスサーバー１０３は、画像処理アプリケーション７００と、通信部７０１と、画像結合位置判定部７０２と、スキャン画像データ管理部７０３と、撮影画像データ管理部７０４と、画像処理部７０５とを含む。また、クラウドサービスサーバー１０３はスキャン画像情報取得部７０６と、撮影画像情報取得部７０７と、画像結合部７０８とを含む。
【００４５】
以下で詳細は説明するが、クラウドサービスサーバー１０３内での全体的な処理の内容としては、画像形成装置１００で取得したスキャン画像と、モバイル端末１０６で取得した撮影画像との間のダイナミックレンジを合わせるなどの画像処理を行う。この画像処理を行うに際し、クラウドサービスサーバー１０３は、それぞれの画像からヒストグラムや有彩色数カウント等の画像情報を取得する。そして、クラウドサービスサーバー１０３は、取得した画像情報を元にスキャン画像及び撮影画像のうちの少なくとも一方の補正を行い、補正後の画像を結合して同じファイルにする。同じファイルにするとは、例えばスキャン画像と撮影画像とを合成した合成画像を示す画像ファイル（画像データ）とすることを意味する。また、スキャン画像のページと撮影画像のページとを統合したＰＤＦファイルとしてもよい。
【００４６】
画像処理アプリケーション７００は、クラウドサービスサーバー１０３上でＩｎｔｅｒｎｅｔ１０２を介して送られた画像に対する画像処理を画像処理部７０５に実行させるためのアプリケーションである。
【００４７】
通信部７０１は、他の装置から送信されたスキャン画像や撮影画像を受信してＨＤＤ３０４に保存したり、ＨＤＤに保存されている統合されたファイルをネットワークＩ／Ｆ部３０５を介して他の装置に送受信したりするソフトウェアモジュールである。
【００４８】
画像結合位置判定部７０２は、ＨＤＤ３０４に保存されたスキャン画像の中から、撮影画像を挿入する位置を決定したり、撮影画像の中からスキャン画像を挿入する位置を決定したりするソフトウェアモジュールである。
【００４９】
スキャン画像データ管理部７０３は、スキャン画像に対する画像処理を行って得られる中間生成物及び画像処理結果のデータを管理するソフトウェアモジュールである。
【００５０】
撮影画像データ管理部７０４は、撮影画像に対する画像処理を行って得られる中間生成物及び画像処理結果のデータを管理するソフトウェアモジュールである。
【００５１】
画像処理部７０５は、画像処理アプリケーション７００の指示に応じてスキャン画像や撮影画像に対して画像処理を実行するソフトウェアモジュールである。
【００５２】
スキャン画像情報取得部７０６は、スキャン画像からヒストグラム等の画像情報を取得するソフトウェアモジュールである。
【００５３】
撮影画像情報取得部７０７は、撮影画像からヒストグラム等の画像情報を取得するソフトウェアモジュールである。
【００５４】
画像結合部７０８は、画像処理部７０５で処理されＨＤＤ３０４に保存されたスキャン画像と撮影画像とを結合し、同じファイルにするソフトウェアモジュールである。
【００５５】
＜処理シーケンス＞
図８は、本実施例における、画像形成装置で取得した紙文書についてのスキャン画像と、モバイル端末で取得した紙文書についての撮影画像とをクラウドサービスサーバー１０３内で同じファイルに統合する際の処理シーケンスの一例を示す図である。図８に示す処理シーケンスでは、別のデバイスから取得した画像のダイナミックレンジ等を合わせて同じ色味のドキュメントになるよう補正を行い、スキャン画像と撮影画像とを結合する例を説明する。尚、本実施例では紙文書を複合機などでスキャンして取得したスキャン画像と、紙文書をカメラで撮影して取得した撮影画像とを結合する場合を説明するが、その組み合わせに限るものではない。例えば、ＰＣの文章作成ソフトウェアによって生成するビットマップ化されたＰＤＬデジタルデータと、ＭＦＰ等のスキャナデバイスによって取得するスキャンデータと、モバイル端末で撮影した撮影画像データとを用いると仮定する。この場合、これらのデータのそれぞれ、又はすべてを組み合わせたケースにおいても適用可能である。
【００５６】
より具体化するために本実施例では、ユーザーによって以下の業務を実施する場合の例を紹介する。ユーザーは業務の中で様々な紙文書を扱う。ユーザーは、定型用紙でプリントした申請書に対して、不定形型の例えば領収書などをスキャンし張り付けたうえで提出することが考えられる。以上のように、例えば定型用紙をスキャンした画像の中に、不定形用紙をスキャンした画像を挿入する場合、通常それぞれの用紙をスキャナで取り込み、ＰＣ等によるトリミングやサイズ変更などの作業を経て挿入作業を行う必要がある。以下では、定型用紙の紙文書に不定形の紙文書を挿入するユースケースを例に取り、上記のそれぞれをスキャンして得られた画像を挿入する手法とは異なる手法でより安易に行える手法を例に紹介する。
【００５７】
＜スキャン画像取得処理シーケンス＞
最初に本実施例におけるスキャン画像の取得処理について説明する。以下では、画像形成装置１００がスキャンを行って得られたスキャン画像をクラウドサービスサーバー１０３に送信し、クラウドサービスサーバー１０３が画像処理を行うまでの処理の流れを説明する。
【００５８】
尚、取得する画像の例として、図９（ａ）のような定型用紙をスキャンして得られるスキャン画像を用いる。最初に画像形成装置１００において処理が行われる。ステップＳ８００において、ユーザーは、まずスキャンを行うために画像形成装置１００の操作部２０６を操作してスキャンアプリケーション５００を実行する。
【００５９】
スキャンアプリケーション５００の起動を受け付けると、スキャンアプリケーション５００の画面表示部５０１が操作部２０６にスキャン開始を促す表示を行う。
【００６０】
ステップＳ８０１において、スキャンアプリケーション５００はユーザーから画面表示部５０１を介したスキャン開始指示を受け付けると、スキャン処理部５０２にスキャン指示を行う。スキャン処理部５０２はスキャナ部２１０を駆動し画像データを取得し、画像処理部５０３を使ってスキャン画像を生成する。スキャン処理部５０２は、生成したスキャン画像をスキャンデータ管理部５０４に格納する。
【００６１】
ステップＳ８０２において、スキャンアプリケーション５００の画像処理部５０３は、ステップＳ８０１で生成したスキャン画像に対し、例えばフィルタリング処理や色補正処理などのスキャナ画像取得後の画像処理を実施する。画像処理後のスキャナ画像はスキャンデータ管理部５０４に格納される。
【００６２】
次に、ステップＳ８０３において、格納したスキャン画像を通信部５０５がクラウドサービスサーバー１０３に送信する。
【００６３】
次に、クラウドサービスサーバー１０３において処理が行われる。ステップＳ８０４において、クラウドサービスサーバー１０３の画像処理アプリケーション７００は、画像形成装置１００から送信された画像データ（スキャン画像）を受信する。クラウドサービスサーバー１０３のスキャン画像データ管理部は、受信したスキャン画像を格納する。
【００６４】
ステップＳ８０５において、クラウドサービスサーバー１０３の画像結合位置判定部７０２は、スキャン画像において画像を結合する位置を検索する。具体的に説明するため、図９（ａ）を参照して説明する。図９（ａ）内に例えば二次元コード９００が埋め込まれている。本実施例では、二次元コードが画像結合の位置を示す情報として用いられる。二次元コード９００には、「カメラから取得した撮影画像を別紙貼り付け面に張り付ける」といった信号が含まれているものとする。なお、別紙貼り付け面は、図９（ａ）では領収書貼り付け欄９１０のことである。
【００６５】
図９（ａ）内の二次元コード９００を検知した場合、画像結合位置判定部７０２は、ステップＳ８０５において当該結合位置に結合される画像（本実施例では撮影画像）の紐付けを行う。なお、上記例では、二次元コードを元に説明したが、これに限られるものではなく、他の手法で結合位置を特定してもよい。また、画像形成装置１００やクラウドサービスサーバー１０３においてユーザーから結合したい領域の指定を受け付けることによって画像を結合する位置を特定してもよい。
【００６６】
ステップＳ８０６において、クラウドサービスサーバー１０３のスキャン画像情報取得部７０６はスキャン画像を用いてスキャン画像情報を取得する。たとえば、スキャン画像情報取得部７０６は、画像のヒストグラムや有彩・無彩色画素判定、無彩色画素ヒストグラム取得、ＭＴＦ特性などといったスキャン画像情報を取得する。ステップＳ８０６において取得したスキャン画像情報を元に、クラウドサービスサーバー１０３の画像処理アプリケーション７００は、後述のステップＳ８１４においてスキャナ画像と撮影画像とを同ダイナミックレンジになるよう調整を行う。クラウドサービスサーバー１０３の画像処理アプリケーション７００は、スキャン画像情報をＨＤＤ３０４に格納する。
【００６７】
スキャン画像情報の取得処理についてより具体的にするため、図１０を参照して説明する。図１０はスキャン画像情報取得部７０６の構成の一例を示す図である。スキャン画像情報取得部７０６は、ヒストグラム取得部１０００と、下地色判定部１００１と、有彩・無彩色画素判定部１００２と、無彩色部ヒストグラム取得部１００３と、黒基準判定部１００４とを有する。また、スキャン画像情報取得部７０６は、解像特性取得部１００５と、画像ボケ判定部１００６とを有する。
【００６８】
ヒストグラム取得部１０００は、画像のヒストグラムを取得する。ヒストグラム取得部１０００は、カラー画像の場合にはそのチャンネル分を、モノクロ画像の場合には１チャンネル分のヒストグラムを取得する。処理の高速化を実現するために、カラー画像に対しても１チャンネルの信号を用いたり、複数チャンネルを平均化して１チャンネルとして扱う事も可能である。
【００６９】
下地色判定部１００１は、ヒストグラム取得部１０００で取得したヒストグラムを元に下地及び背景色を判定する。有彩・無彩色画素判定部１００２は、画素ごとに、例えばＲＧＢ色空間のカラーデータの場合には、色空間をＬ＊ａ＊ｂ＊色空間に変換し、色差の値から有彩色か無彩色かを判定する。無彩色部ヒストグラム取得部１００３は、有彩・無彩色画素判定部１００２で判定した画素の中で無彩色画素のヒストグラムを取得する。黒基準判定部１００４は、無彩色部ヒストグラム取得部１００３で取得した無彩色画素のヒストグラムから最も黒い信号値を取得し、黒基準を決定する。解像特性取得部１００５は、画像中のＭＴＦ（Modulation Transfer Function）等を測定し画像内の解像力を取得する。画像ボケ判定部１００６は、解像特性取得部１００５で取得した画像の解像力の情報を元に画像のボケ具合を判定する。
【００７０】
以上のようにして、クラウドサービスサーバー１０３はスキャン画像情報を取得する。次に、図８のステップＳ８０７において、クラウドサービスサーバー１０３の画像処理アプリケーション７００は、ステップＳ８０２への応答として、画像アップロード結果を画像形成装置１００に返す。
【００７１】
＜撮影画像取得処理シーケンス＞
次に本実施例における撮影画像の取得処理について説明する。以下では、モバイル端末１０６で撮影を行って得られた撮影画像をクラウドサービスサーバー１０３に送信し、クラウドサービスサーバー１０３で画像処理を行うまでの処理の流れを説明する。
【００７２】
尚、取得する画像の例としては、図９（ｂ）のような、不定形用紙を撮影して得られる撮影画像を用いるものとする。
【００７３】
図８のシーケンス図を用いて撮影画像の取得処理の流れについて説明する。ステップＳ８０８において、ユーザーは、まず撮影を行うためにモバイル端末１０６のタッチパネル部４０６を操作して撮影アプリケーション６００を実行する。
【００７４】
撮影アプリケーション６００が起動を受け付けると、撮影アプリケーション６００の画面表示部６０１は、タッチパネル部４０６に撮影開始を促す表示を行う。
【００７５】
ステップＳ８０９において、撮影アプリケーション６００は、画面表示部６０１からの撮影開始指示を受け付けると、カメラ処理部６０２に撮影指示を行う。カメラ処理部６０２はカメラ部４０８を駆動し画像データを取得する。画像処理部６０３は、カメラ処理部６０２で得られた画像データを使って撮影画像を生成する。撮影データ管理部６０４は、生成された撮影画像を格納する。
【００７６】
ステップＳ８１０において、画像処理部６０３は、ステップＳ８０９で生成した撮影画像に対し、例えばフィルタリング処理や色補正処理、ダイナミックレンジ調整などの撮影画像取得後の画像処理を実施する。尚、ステップＳ８１０において、画像処理部６０３は、撮影画像の無駄な部分を除去するトリミング処理や、射影変換や台形補正といった処理も行ってよい。またこれらの処理に関しては、通信部６０５が撮影画像をクラウドサービスサーバー１０３に送信後に、クラウドサービスサーバー１０３内で実行してもよい。
【００７７】
次に、ステップＳ８１１において、通信部６０５が無線通信部４１０を用いて、格納した撮影画像をクラウドサービスサーバー１０３に送信する。
【００７８】
次に、クラウドサービスサーバー１０３の処理に移る。ステップＳ８１２において、クラウドサービスサーバー１０３の画像処理アプリケーション７００は、モバイル端末１０６から送信された画像データ（撮影画像）を受信し、撮影画像データ管理部７０４を用いて撮影画像を格納する。
【００７９】
ステップＳ８１３において、画像処理アプリケーション７００の撮影画像情報取得部７０７は、撮影画像のヒストグラムや有彩・無彩色画素判定、無彩色画素ヒストグラム取得、ＭＴＦ特性などといった撮影画像情報を取得する。ステップＳ８１３において取得した撮影画像情報を元に後述のステップＳ８１４においてスキャン画像と同じダイナミックレンジになるよう調整を行う。撮影画像情報取得部７０７は、取得した撮影画像情報をＨＤＤ３０４に格納する。尚、撮影画像情報の取得方法についてはステップＳ８０６で説明した図１０と同様とすることができる。すなわち、撮影画像情報取得部７０７は、スキャン画像情報取得部と同等の構成とすることができる。
【００８０】
＜画像処理シーケンス＞
次に引き続き図８を用いて、本実施例におけるスキャン画像及び撮影画像それぞれの画像処理について説明する。以下では、スキャン画像情報と、撮影画像情報とを元に画像処理を行い、スキャン画像と撮影画像とを統合する流れを説明する。なお、撮影画像情報とスキャン画像情報は、第一の画像情報と第二の画像情報ともいえる。
【００８１】
ステップＳ８１４において、クラウドサービスサーバー１０３の画像処理部７０５は、スキャン画像情報と撮影画像情報とに基づいてスキャン画像と撮影画像との画像の特徴を合わせる処理を行う。すなわち、画像処理部７０５は、スキャン画像情報および撮影画像情報に含まれるヒストグラム、有彩・無彩色画素判定結果、無彩色画素ヒストグラム、およびＭＴＦ特性などを元にスキャン画像の特徴と撮影画像の特徴とを合わせる補正を行う。画像の特徴を合わせる補正の具体例としては、スキャナ画像のダイナミックレンジに撮影画像のダイナミックレンジを合わせる処理が挙げられる。あるいは、カメラを介して取得した撮影画像の場合、黒基準を規定が難しいため、撮影画像の文字部に代表される無彩色の黒色の黒基準をスキャナ画像の黒基準を参考にして合わせる処理が挙げられる。また、スキャナ画像および撮影画像それぞれのＭＴＦ特性を取得し、解像力が低い場合には例えばエッジ強調フィルタなどを用いるフィルタリング処理が挙げられる。また、カメラで撮影した際に撮影画像に写り込む影等による影響を除去する閾値をスキャナ画像の背景色を元に決定する影除去処理などが挙げられる。
【００８２】
ステップＳ８１４における画像処理部７０５の処理をより具体的に説明するため、図１１を用いて説明する。尚、本例ではスキャン画像を基準とし、撮影画像を補正することで画像の特性を合わせる例を示すが、それに限るものではなく、撮影画像を基準にスキャナ画像を補正することや、双方の画像を補正する処理も可能である。
【００８３】
図１１は、ステップＳ８１４におけるクラウドサービスサーバー１０３の画像処理部７０５の処理の一例を示すフローチャートである。
【００８４】
ステップＳ１１０１において、画像処理部７０５は、スキャン画像情報と撮影画像情報とを取得する。ステップＳ１１０２において、画像処理部７０５は、補正対象となる画像を取得する。先に説明したように、本実施例では、スキャン画像を基準とし撮影画像を補正する処理を説明するので、ステップＳ１１０２において補正対象となる撮影画像を取得する。
【００８５】
ステップＳ１１０３において、画像処理部７０５は、ステップＳ１１０２で取得した撮影画像が文字や文章系のドキュメント画像か、または、写真や自然画像かを判定する。例えば、画像処理部７０５は撮影画像における所定範囲のブロックのエッジ特徴量を参照して文字か否かを判定する。ステップＳ１１０３においてドキュメント画像でないと判定した場合、画像処理部７０５は処理を終了する。これは、スキャン画像に合わせたヒストグラム調整を行うと写真や自然画像などの階調などが壊れたりする可能性があるからである。ステップＳ１１０３においてドキュメント画像であると判定した場合、画像処理部７０５はステップＳ１１０４に処理を進める。
【００８６】
ステップＳ１１０４において画像処理部７０５は、ステップＳ１１０２で取得した撮影画像のダイナミックレンジを調整する。具体的には、画像処理部７０５は、スキャン画像情報に含まれる黒基準の情報を用いて撮影画像の黒基準を補正する。また、画像処理部７０５は、スキャン画像情報に含まれるヒストグラムの情報と、撮影画像情報に含まれるヒストグラムの情報とを用いて、撮影画像のヒストグラム調整を行う。より詳細にする為、図１２を用いて説明する。図１２（ａ）は、８ｂｉｔのスキャナ画像から取得したヒストグラムのイメージを示す。また、図１２（ｂ）は８ｂｉｔの撮影画像から取得したヒストグラムのイメージを示す。図１２（ｂ）の撮影画像の階調をみるとレンジとして５０〜２００までとなっている。１２（ｂ）の撮影画像は８ｂｉｔの画像であるので階調が０〜２５５まで含まれ得る。しかしながら、図１２（ｂ）の例では、階調領域の範囲５０〜２００まであり階調領域が狭いことが分かる。このまま、スキャン画像内に撮影画像を挿入すると、スキャン画像の白の部分は白で、黒の部分は黒で再現できるが、撮影画像は全体的にグレーとなり、また、白の部分も黒の部分もグレーになってしまい、色味が合わない。そこで、図１２（ａ）のスキャナ画像と同等になるように図１２（ｂ）で示す撮影画像のヒストグラムの階調を広げることにより、スキャナ画像と撮影画像との色味を合わせたうえで、スキャナ画像に撮影画像を挿入することが可能になる。
【００８７】
次に、ステップＳ１１０５において、画像処理部７０５は、下地色を調整する処理を行う。画像処理部７０５は、スキャン画像情報に含まれる下地色情報と、撮影画像情報に含まれる下地色情報とから、撮影画像の下地色を決定し、下地色除去やトーンカーブ補正を行う。
【００８８】
次に、ステップＳ１１０６において、画像処理部７０５は、スキャン画像情報に含まれる画像ボケ情報と、撮影画像情報に含まれる画像ボケ情報とを元に、撮影画像のフィルタリング処理を行う。画像処理部７０５は、撮影画像がスキャン画像に比べボケがある場合は、エッジ強調フィルタを、逆にシャープすぎる場合には平滑化フィルタを用いてフィルタリングを行う。
【００８９】
次に、ステップＳ１１０７において、画像処理部７０５は、ステップＳ１１０４からステップＳ１１０６で補正がされた場合にはその補正後の画像を、補正がされていない場合には、ステップＳ１１０２で取得した画像を、出力する。
【００９０】
以上がステップＳ８１４における画像処理の説明である。次に、図８に戻り全体の処理シーケンスの続きを説明する。
【００９１】
ステップＳ８１５において、クラウドサービスサーバー１０３の画像処理アプリケーション７００は、補正を行った画像をＨＤＤ３０４に格納する。
【００９２】
ステップＳ８１６において、クラウドサービスサーバー１０３の画像結合部７０８は、スキャン画像と、補正された撮影画像とを結合する処理を行う。具体的には、ステップＳ８０５で決定した、スキャン画像内にある結合位置に補正後の撮影画像を挿入する。ステップＳ８１６での処理により、図９（ｃ）に示すようなドキュメントが完成する。
【００９３】
ステップＳ８１７において、画像処理アプリケーション７００は、ステップＳ８１１への応答として画像アップロード結果をモバイル端末１０６に返す。
【００９４】
＜画像閲覧シーケンス＞
最後に本実施例におけるスキャン画像と撮影画像とを結合した結果の画像の閲覧について説明する。ここではモバイル端末１０６を用いて閲覧する例を紹介するが、それに限らず、例えばＬＡＮ１０５に接続したＰＣ１０１などでも閲覧は可能である。加えて画像形成装置１００のようなＭＦＰであれば結合した画像をプリント出力することも可能である。
【００９５】
ステップＳ８１８では、モバイル端末１０６のＷｅｂブラウザ６０６が、クラウドサービスサーバー１０３上にある特定のＵＲＬ（Uniform Resource Locator）にアクセスする。このＵＲＬはクラウドサービスサーバー１０３に格納されている画像を閲覧するホームページを示しており、例えばステップＳ８１７の画像アップロードの応答においてモバイル端末１０６に通知されていてもよい。
【００９６】
ステップＳ８１９では、Ｗｅｂブラウザ６０６は、画像確認要求の応答としてクラウドサービスサーバー１０３から画像が閲覧できるＵＲＬの情報が返信される。
【００９７】
ステップＳ８２０では、Ｗｅｂブラウザ６０６は、ステップＳ８１９で返信されたＵＲＬにアクセスすることにより、統合された画像の閲覧を行う。
【００９８】
以上の処理を行う事で、異なるデバイスで取得した画像を結合し、または挿入する際に、ダイナミックレンジや色合い、下地色を合わせることが可能になる。尚、本実施例での説明ではスキャン画像とカメラで取得した撮影画像とを統合する際に、撮影画像の補正を行う例を説明したが、これに限るものではない。例えばＰＣによって生成される文章生成データと撮影画像、またはＰＣの文章生成データとスキャン画像、あるいは、ＰＣの文章生成データとスキャナとカメラとのすべてにおいても同様の処理が可能である。
【００９９】
また、本実施例では一枚の画像内に別デバイスから取得した画像を結合する例を示したが、それに限るものではなく、例えば図１３に示すようにページ間での挿入の場合にも行う事が出来る。図１３に示すように例えばスキャン画像Ａとスキャン画像Ｂがある中に、そのページ間にカメラで取得した画像を差し込んで一つのファイルとする場合にも適用できる。この場合、撮影画像の補正として前後のスキャン画像Ａ及びスキャン画像Ｂからヒストグラム等を読み込み撮影画像の補正に用いる形であってもよい。
【実施例２】
【０１００】
実施例１においては、異なるデバイスで取得した画像を結合または挿入する際に、画像の全体からヒストグラム等を取得し、ダイナミックレンジや色合い、下地色を合わせる手法を説明した。しかし、単純に画像全体からダイナミックレンジ等を決定して補正を行った場合、複数の属性が存在した場合に異なる属性の特徴に合わせて調整がなされてしまう。例えば、カメラで撮影したドキュメント文章内（撮影画像内）に一部写真が入っている場合が想定される。実施例１の手法に従って、たとえばスキャナ画像に合わせるように撮影画像を補正すると、スキャナで取得したドキュメントの画像（スキャナ画像）からダイナミックレンジやヒストグラムを決める。このため、撮影画像の文字属性部分は所望の補正がなされるが、写真属性部分は階調性が失われてしまう可能性がある。
【０１０１】
そこで、実施例２では、ヒストグラム等の情報を取得する処理と、その情報に従い画像補正を行う処理において、文字や写真などの属性を判定する処理を組み込み、属性ごとにヒストグラム調整などを行う例を説明する。
【０１０２】
図１４は、実施例２における、スキャン画像情報取得部や撮影画像情報取得部などの画像情報取得部の構成の一例を示す図である。図１４において、上述した図１０に示す構成と同一構成のものには同一番号を付ける。図１４の画像取得部は、図１０に示した構成に更に属性判定部１４０１を含む。属性判定部１４０１は、入力された画像の属性を判定する。より具体的に説明するため、図１５を用い説明する。図１５（ａ）は、画像形成装置１００のスキャナで取得して得られたスキャン画像の例を示す図である。図１５（ｂ）は、をモバイル端末１０６で取得して得られた撮影画像の例を示す図である。本実施例では、属性判定部１４０１は、スキャン画像および撮影画像の属性を判定する。例えば、属性判定部１４０１は、取得したスキャン画像および撮影画像の文字部分の領域と非文字部分の領域とをそれぞれ判定する。
【０１０３】
図１５の例で言えば、領域Ａ１５１１〜１５１４が文字部分に対応する領域であり、領域Ｂ１５２１〜１５２２が写真やイラストなどの文字以外の非文字部分の領域となる。本実施例では、領域を属性ごとに分け、同じ属性領域内から図１０で説明したヒストグラム等の画像の情報を取得する処理をそれぞれの画像に行う。図１４で示す処理は、属性判定部１４０１で判定された領域のうち、同じ属性を有する領域についての特性等を取得する。
【０１０４】
図１６は、実施例２における画像処理の流れの一例を示すフローチャートである。図１６において、ステップＳ１６０１からステップＳ１６０６は、図１１のステップＳ１１０１からステップＳ１１０６と同様の処理とすることができるので説明を省略する。本実施例では、ステップＳ１６１０の属性判定処理と、ステップＳ１６１１のモノクロ判定処理と、ステップＳ１６１２のモノクロ化処理とが図１１の処理に追加されている。
【０１０５】
ステップＳ１６０３において、画像処理部７０５は、撮像画像がドキュメント画像か否かを判定し、ドキュメント画像であると判定した場合、ステップＳ１６１０に処理を進める。ステップＳ１６１０において、画像処理部７０５は、図１４で説明したようにオブジェクトの属性を判定する。画像処理部７０５は、例えば文字属性の領域か非文字（写真やイラスト）属性の領域かを決定する。例えば、画像処理部７０５は撮影画像における所定範囲のブロックのエッジ特徴量を参照して文字か否かを判定する。そして、ステップＳ１６０４からステップＳ１６０６の処理を、属性ごとに行う。すなわち、撮影画像の文字属性の領域については、撮影画像の文字属性の領域の撮影画像情報と、スキャナ画像の文字属性の領域におけるスキャナ画像情報とを用いてステップＳ１６０４からステップＳ１６０６の処理を行う。
【０１０６】
なお、ステップＳ１６０３とステップＳ１６１０は、文字か否かを判定する共通の処理として一つの処理にまとめてもよい。例えば、画像処理部７０５は、撮影画像の所定範囲のエッジ特徴量に基づく判定を全画素に対して行う。その結果、撮影画像には文字領域が含まれていないと判定された場合には、ステップＳ１６０３のＮＯの処理に進む。一部でも文字領域が含まれている場合には、画像処理部７０５は、撮影画像の文字領域における情報とスキャナ画像情報の文字領域における情報とを用いてステップＳ１６０４からステップＳ１６０６の処理を撮影画像の文字領域に対して行う。
【０１０７】
図１５の例では、図１５（ａ）に示すスキャナ画像の二次元コード１５０１が配置されている位置に、図１５（ｂ）の撮影画像を挿入する処理を行うとする。この場合の画像処理においては、例えば図１５（ｂ）のカメラ画像の文字領域である領域Ａ１５１４に対しては、当該領域の画像情報と、図１５（ａ）のスキャナ画像の文字領域である領域Ａ１５１１〜１５１３の画像情報とに応じた処理を行う。一方で、図１５（ｂ）の撮影画像の非文字領域である領域Ｂ１５２２に対しては、当該領域の画像情報と図１５（ａ）の撮影画像の領域Ｂ１５２１の画像情報とに応じた処理を行う。
【０１０８】
次に、ステップＳ１６０４からステップＳ１６０６において図１１で説明したものと同様の処理を、属性ごとの領域に対して行う。なお、任意的にステップＳ１６１１とステップＳ１６１２の処理を行うことも可能である。すなわち、画像処理部７０５は、スキャナ画像情報と撮影画像情報とにそれぞれ含まれる有彩色・無彩色情報を取得し、それぞれの属性ごとにカラーかモノクロを切り替えることも可能である。例えば、図１５（ａ）に示すスキャン画像の文字領域Ａ１５１１〜１５１３が無彩色の場合には、挿入する図１５（ｂ）に示す撮影画像の文字領域Ａ１５１４も無彩色化してから挿入を行う事も可能である。その場合には、ステップＳ１６１１において画像処理部７０５は、有彩色・無彩色情報に基づいてモノクロ判定を行う。モノクロ判定は、画像補正の基準となるスキャン画像の第一の属性の領域がモノクロであれば、画像補正の対象である撮影画像の第一の属性の領域もモノクロとする判定である。この判定は、複数の属性の領域が含まれている場合には、それぞれの属性ごとに行われる。ステップＳ１６１１の結果、モノクロとすると判定された場合、画像処理部７０５は、ステップＳ１６１２においてモノクロ化処理を行う。なお、ステップＳ１６１１の判定は上述したような自動判定であってもよいし、ユーザーによる指示に基づく処理であってもよい。また、画像補正の基準となる画像の領域に無彩色の領域が多い場合には、画像補正の対象となる画像が有彩色原稿であったとしても無彩色化する処理を行ってもよく、上記の組み合わせの例に、限定するものではない。
【０１０９】
以上の処理を行う事で、画像内に文字以外の属性が存在する場合においても、文字以外の部分の階調などを壊すことなくデバイス間の色味の違いやダイナミックレンジの調整、色調整を行う事が可能になる。
【実施例３】
【０１１０】
実施例１及び実施例２においては、スキャン画像や撮影画像など、画像自体からヒストグラム等の画像情報を取得し、取得した画像情報を元に画像の補正を行う手法を説明した。しかし、それらの画像自体から取得できる画像情報には限りがある。第一のデバイスによって取得された画像を第二のデバイスで取得された画像と同等の画質に近づけるには取得したデバイスの情報があるとより効果的である。
【０１１１】
そこで、実施例３では、クラウドサービスサーバー内に画像を取得したデバイスのデバイス情報を格納し、その格納されたデバイス情報をさらに用いて補正を行うことでより同等の画質に補正することを可能とする構成を説明する。
【０１１２】
図１７は、実施例３におけるクラウドサービスサーバーの構成の一例を示す図である。図１７において、上述した図３に示す構成と同一構成のものには同一番号を付ける。図１７は、図３で示す構成に加えて、デバイス差分データベース１７０１を含む。
【０１１３】
図１８は、デバイス差分データベース１７０１に格納される情報の一例を示す図である。デバイス差分データベース１７０１内には、入力可能なデバイスの各種情報やデバイス特性がテーブルという形で格納されている。テーブルとしては、デバイス間差分であってもよいし、それぞれのデバイスのスペックを絶対値として格納しているものでも良い。格納する内容としては、例えば製品番号に紐付く形でスキャナかカメラかといったデバイス種や、そのデバイスが持つ再現可能な色域などの色情報、対応階調数が挙げられる。また、スキャナの場合には白色ＬＥＤ等の光源やその色温度、カメラの場合にはＩＳＯ感度範囲などそのデバイスの入力に関わるものを格納する。また、デバイス間差分として、再現可能な色域の差分などを格納し、それをテーブルという形でデバイス差分データベース１７０１に格納している。
【０１１４】
図１９はデバイス差分データベース１７０１を使用する実施例３における画像処理の流れの一例を示すフローチャートである。ステップＳ１９０１は、図１１のステップＳ１１０１と同様の処理である。ステップＳ１９１０において、画像処理部７０５は、ステップＳ１９０１で取得したスキャン画像情報および撮影画像情報の元のスキャン画像と撮影画像を取得したデバイスのデバイス情報を取得する。例えば、画像処理部７０５は、スキャン画像情報および撮影画像情報に含まれるデバイスを特定する情報に基づいてデバイス差分データベースを探索して、デバイスに対応するデバイスの各種情報やデバイス特性を取得する。本実施例では、図１８に示すようなデバイスの各種情報やデバイス特性を総称してデバイス情報と称することとする。画像処理部７０５は、以降のステップＳ１９０４〜Ｓ１９０６において、ステップＳ１９１０で取得したデバイス情報をさらに用いて各処理を行う。例えば、画像処理部７０５は、ステップＳ１９０４のダイナミックレンジ調整処理においては、デバイス情報に含まれる再現可能な色域などの色情報や光源の情報を用いてダイナミックレンジの調整や、黒基準を規定する。例えば、スキャン画像や撮影画像がそれぞれ暗い場合には、どちらにダイナミックレンジを合わせたとしても暗いままであるが、デバイス情報を用いることで、明るい画像に補正することが可能となる。
【０１１５】
以上に説明した通り、デバイスから取得した画像からヒストグラム等の情報を取得するだけでなく、デバイスの各種情報やデバイス特性を使用することで、画像間の色味・画質の調整の精度を向上させることが可能となる。
【０１１６】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015103915.tif 000003
【図２】
2015103915.tif 000004
【図３】
2015103915.tif 000005
【図４】
2015103915.tif 000006
【図５】
2015103915.tif 000007
【図６】
2015103915.tif 000008
【図７】
2015103915.tif 000009
【図８】
2015103915.tif 000010
【図９】
2015103915.tif 000011
【図１０】
2015103915.tif 000012
【図１１】
2015103915.tif 000013
【図１２】
2015103915.tif 000014
【図１３】
2015103915.tif 000015
【図１４】
2015103915.tif 000016
【図１５】
2015103915.tif 000017
【図１６】
2015103915.tif 000018
【図１７】
2015103915.tif 000019
【図１８】
2015103915.tif 000020
【図１９】
2015103915.tif 000021