(57)【要約】【課題】  文書を出力（印刷または送信）する段階でカテゴリ分類処理と画像処理（色、解像度変換、圧縮）を行う場合は、出力スピードが遅くなってしまう点。一方、文書の入力時に２つの処理を行い、画像処理後の文書を記憶装置に保存する場合は、文書をユーザーが出力（印刷または送信）する段階では、その時の使用用途や画像処理（色、解像度変換、圧縮）に関するユーザーの所望を反映できない点。【解決手段】  紙文書を入力する入力手段（２０１）と、入力された文書を記憶しておく記憶手段（２１１）と、文書内の各「写真」領域に対して、画像メタデータを作成、付加する画像メタデータ付加手段（２１８）と、該文書の出力（印刷または送信）時に、各「写真」領域に対して、画像メタデータをもとに画像処理を行う写真領域用画像データ処理手段（２１９）を有する画像処理装置。【選択図】  図１０
2013131942.tif 000002
【特許請求の範囲】
【請求項１】
紙文書を入力する入力手段（２０１）と、入力された文書を記憶しておく記憶手段（２１１）と、文書内に配置された「文字」、「写真」の領域を分割する領域分割手段（３０１）と、分割された各領域に『写真』、『本文』、『文字領域』の属性を付加する属性情報付加手段（３０２）と、『写真』属性が付加された各領域に対して特徴量抽出処理を行う特徴量抽出手段（４０１）と、抽出された特徴量をもとに各領域に対してカテゴリ分類を行うカテゴリ分類手段（４０２）と、カテゴリ分類結果として得られた、カテゴリごとの信頼度の値に関して、しきい値処理を行うしきい値処理手段（４０３）と、しきい値処理後に残ったカテゴリと対応する信頼度の値をもとに、画像メタデータを作成し、各領域に付加する画像メタデータ設定手段（４０４）と、記憶手段（２１１）に蓄積されている文書の中から、『写真』属性かつ画像メタデータが付加されている領域を抽出する写真領域抽出手段（５０１）と、ユーザーの入力するカテゴリ名、各領域に付加されている画像メタデータ、文書の使用用途（印刷または送信）をもとに、各領域に対して実行する画像処理の内容を決定する写真領域用画像処理内容決定手段（６０１）と、各領域に対して画像処理を実行する写真領域用画像処理実行手段（６０２）を有する画像処理装置において、
文書を記憶装置に記憶する際に文書内の各「写真」領域に対して画像メタデータを作成、付加し、該文書の出力（印刷、送信）時に、画像メタデータ内のカテゴリとユーザーの入力するカテゴリを比較し、同じカテゴリが含まれる場合、そのカテゴリを優先した画像処理（色、解像度変換、圧縮）を行い、さらに文書の使用用途が「送信」である場合には、「写真」領域に圧縮処理を加えることでデータ容量を削減することを特徴とする画像処理装置。
【請求項２】
前記カテゴリ分類手段（４０２）は、『写真』属性が付加された各領域に対し、前記特徴量抽出手段（４０１）によって抽出された特徴量をもとに、記憶手段（２１１）に格納されている、各カテゴリについての特徴量分布に関するデータベースを用いてカテゴリ分類を行い、注目領域が各カテゴリであると判定する場合の信頼度を計算することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量分布に関するデータベースは、各カテゴリに相当する「写真」、各「写真」から抽出される特徴量、カテゴリごとの特徴量の分布を近似した分布曲線から成るものであり、あらかじめ記憶手段（２１１）に記憶されていることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記しきい値処理手段（４０３）は、前記カテゴリ分類手段（４０２）によって求まった各カテゴリの信頼度に関するしきい値処理を行い、各領域に対して明らかに一致しないカテゴリを除外することで、画像メタデータを作成するために用いるカテゴリを選択することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画像メタデータ消去部（６０３）を含み、出力方法として送信が選択された場合は、「写真」領域に付加された画像メタデータを消去することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
紙文書を入力する入力手段（２０１）と、入力された文書を記憶しておく記憶手段（２１１）と、文書内に配置された「文字」、「写真」の領域を分割する領域分割手段（３０１）と、分割された各領域に『写真』、『本文』、『文字領域』の属性を付加する領域属性情報付加手段（３０２）と、『写真』属性が付加された各領域に対して特徴量抽出処理を行う特徴量抽出手段（４０１）と、抽出された特徴量をもとに各領域に対してカテゴリ分類を行うカテゴリ分類手段（４０２）と、カテゴリ分類結果として得られた、カテゴリごとの信頼度の値に関して、しきい値処理を行うしきい値処理手段（４０３）と、しきい値処理後に残ったカテゴリと対応する信頼度の値をもとに、画像メタデータを作成し、各領域に付加する画像メタデータ設定手段（４０４）と、記憶手段（２１１）に蓄積されている文書の中から、『写真』属性かつ画像メタデータが付加されている領域を抽出する写真領域抽出手段（５０１）と、ユーザーの入力するカテゴリ名、各領域に付加されている画像メタデータ、文書の使用用途（印刷または送信）をもとに、各領域に対して実行する画像処理の内容を決定する写真領域用画像処理内容決定手段（６０１）と、各領域に対して画像処理を実行する写真領域用画像処理実行手段（６０２）を有する画像処理装置において、
文書を機器に記憶する際に文書内の各「写真」領域に対して画像メタデータを作成、付加し、該文書の出力（印刷、送信）時に、画像メタデータ内のカテゴリとユーザーの入力するカテゴリを比較し、同じカテゴリが含まれる場合、画像メタデータ内のそれ以外のカテゴリを優先した画像処理（色、解像度変換、圧縮）を行い、さらに文書の使用用途が「送信」である場合には、「写真」領域に圧縮処理を加えることでデータ容量を削減することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記憶装置内に蓄積される文書データに対し、画像処理（色、解像度変換、圧縮）に用いるための画像メタデータを生成し、出力（印刷または送信）時にそれを用いて画像処理を行う画像処理装置、画像処理方法、コンピュータプログラム、及び、そのプログラムを記憶したコンピュータ読出可能な記憶媒体に関するものである。
【背景技術】
【０００２】
近年、記憶装置の大容量化が進み、大量の文書が装置内に蓄積されるようになってきている。その中でも、「写真」を含む文書は非常に大きな割合を占めている。例としては、学術論文、取扱説明書、商品カタログ、ビジネス文書などが挙げられる。それらの文書内の「写真」をユーザーが望む色味や解像度にするために、従来の手法には、個々の「写真」に対してカテゴリ分類を行うことで、それぞれのカテゴリに適した画像処理（色、解像度変換、圧縮）を施すものがある。（例えば、特許文献１参照）。カテゴリ分類処理と画像処理（色、解像度変換、圧縮）を行うタイミングについては２種類の手法が存在する。それらは、記憶装置に蓄積されている文書を出力（印刷または送信）する段階で２つの処理を行う手法と、文書の入力時に２つの処理を行い、画像処理後の文書を記憶装置に保存する手法である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2005-165684号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、記憶装置に蓄積されている文書に対し、出力（印刷または送信）する段階でカテゴリ分類処理と画像処理（色、解像度変換、圧縮）を行う場合は、出力時の計算コストが増えるため、出力スピードが遅くなってしまうという問題が発生する。これは、文書内の「写真」の枚数が多く、サイズが大きく、処理のアルゴリズムが複雑になる程顕著に表れる問題である。
【０００５】
また、文書の入力時に２つの処理を行い、画像処理後の文書を記憶装置に保存する場合は、蓄積しておいた文書をユーザーが出力（印刷または送信）する段階では、その時の使用用途や画像処理に関するユーザーの所望を反映できないという問題が発生する。ここでの使用用途とは、文書が印刷、送信のどちらに用いられるかということで、送信用の文書に対しては、できるだけ容量を削減できるような処理を行いたいということを意味している。また、ユーザーの所望とは、どのような「写真」に対してどんな画像処理を行いたいかという要望である。例えば、従来のキーワード検索技術を用いて、キーワードを入力することで、文書内から所望の「写真」を探し出し、その「写真」に対して特定の処理を行うということを意味している。
【０００６】
ここで、使用用途とユーザーの所望を反映した画像処理に関する例を挙げると、
送信用の文書に対しては、データ容量が小さくなるように「写真」部分の画像に圧縮をかける。
ユーザーが『自然画像』というキーワードを入力した場合は、文書内の自然が写っている「写真」に対してのみ、優先的に自然の色がきれいに見えるような『自然画像』の色変換処理を行う。
などが考えられる。
【０００７】
ここで、後者の例に関して説明する。自然の中で撮影した人の顔写真などは、カテゴリ認識を行った段階では、「写真」内に自然画像が含まれているにも関わらず、『顔画像』と認識されるものもある。その場合デフォルトでは、『顔画像』用の画像処理が加えられてしまうが、ユーザーが『自然画像』というキーワードを入力した場合は、そのような自然領域が含まれる「写真」に対してのみ、加える画像処理を『自然画像』用のものに変更するということである。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、紙文書を入力する入力手段（２０１）と、入力された文書を記憶しておく記憶手段（２１１）と、文書内に配置された「文字」、「写真」等の領域を分割する領域分割手段（３０１）と、分割された各領域に『写真』、『本文』、『文字領域』等の属性を付加する属性情報付加手段（３０２）と、『写真』属性が付加された各領域に対して特徴量抽出処理を行う特徴量抽出手段（４０１）と、抽出された特徴量をもとに各領域に対してカテゴリ分類を行うカテゴリ分類手段（４０２）と、カテゴリ分類結果として得られた、カテゴリごとの信頼度の値に関して、しきい値処理を行うしきい値処理手段（４０３）と、しきい値処理後に残ったカテゴリと対応する信頼度の値をもとに、画像メタデータを作成し、各領域に付加する画像メタデータ設定手段（４０４）と、記憶手段（２１１）に蓄積されている文書の中から、『写真』属性かつ画像メタデータが付加されている領域を抽出する写真領域抽出手段（５０１）と、ユーザーの入力するカテゴリ名、各領域に付加されている画像メタデータ、文書の使用用途（印刷または送信）をもとに、各領域に対して実行する画像処理の内容を決定する写真領域用画像処理内容決定手段（６０１）と、各領域に対して画像処理を実行する写真領域用画像処理実行手段（６０２）を有する画像処理装置において、
文書を記憶装置に記憶する際に文書内の各「写真」領域に対して画像メタデータを作成、付加し、該文書の出力（印刷、送信）時に、画像メタデータ内のカテゴリとユーザーの入力するカテゴリを比較し、同じカテゴリが含まれる場合、そのカテゴリを優先した画像処理（色、解像度変換、圧縮）を行い、さらに文書の使用用途が「送信」である場合には、「写真」領域に圧縮処理を加えることでデータ容量を削減することを特徴とする。
【発明の効果】
【０００９】
「写真」を含む文書に対して、出力（印刷または送信）時に画像処理を加える際に用いる情報を、画像メタデータとして、あらかじめ文書を記憶装置に蓄積する際に、各「写真」領域に添付しておくことで、従来よりも出力スピードを向上させることが可能になる。
【００１０】
さらに、画像メタデータや出力（印刷または送信）時の使用用途をもとに画像処理内容を決定することで、各「写真」領域に対して使用用途やユーザーの所望を反映した画像処理を行うことが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像処理システムを示すブロック図
【図２】図１におけるＭＦＰ１００を示すブロック図
【図３】図２の画像メタデータ付加部２１８の構成例を示すブロック図
【図４】図３の画像メタデータ作成部３０３の構成例を示すブロック図
【図５】図２の写真領域用画像データ処理部２１９の構成例を示すブロック図
【図６】図５の写真領域用画像処理部５０２の構成例を示すブロック図
【図７】文書データ３００に対して領域分割を行った結果を示す図
【図８】実施例１における画像メタデータ付加部の処理全体のフローチャート
【図９】実施例１における複数ページの文書例、及び領域分割、属性情報付加処理結果を示す図
【図１０】実施例１における画像メタデータ作成部の処理のフローチャート
【図１１】実施例１における記憶装置２１１にデータベースとして記憶されている各カテゴリについての特徴量分布を示す図
【図１２】実施例１におけるカテゴリ分類結果を示す図
【図１３】実施例１における信頼度に関するしきい値処理結果を示す図
【図１４】本発明における画像メタデータの構造を示す図
【図１５】実施例１における作成された画像メタデータを示す図
【図１６】実施例１における写真領域用画像データ処理部の処理全体のフローチャート
【図１７】実施例１における写真領域用画像処理部の処理全体のフローチャート
【図１８】実施例２における写真領域用画像処理部の処理全体のフローチャート
【発明を実施するための形態】
【００１２】
［実施例１］
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【００１３】
図１は本実施例の画像処理システムの構成を示すブロック図である。
【００１４】
図１において、オフィスＡ内に構築されたＬＡＮ１０２には、複数種類の機能（複写機能、印刷機能、送信機能等）を実現する複合機であるＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）１００が接続されている。ＬＡＮ１０２は、プロキシサーバ１０３を介して外部ネットワーク１０４にも接続されている。クライアントＰＣ１０１はＬＡＮ１０２を介してＭＦＰ１００からの送信データを受信したり、ＭＦＰ１００が有する機能を利用したりする。例えば、クライアントＰＣ１０１は、印刷データをＭＦＰ１００へ送信することで、その印刷データに基づく印刷物をＭＦＰ１００で印刷することもできる。
【００１５】
尚、図１の構成は一例であり、オフィスＡと同様の構成要素を有する、複数のオフィスがネットワーク１０４上に接続されていても良い。また、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等で実現される通信ネットワークである。これは、データの送受信が可能なものであれば、何でも良い。また、クライアントＰＣ１０１、プロキシサーバ１０３の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素を有している。例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等である。
【００１６】
図２は本実施例の画像処理装置であるＭＦＰ１００の詳細構成を示す図である。図２中、ＭＦＰ１００は、画像入力デバイスであるスキャナ部２０１と、画像出力デバイスであるプリンタ部２０２と、ＣＰＵ２０５等で構成される制御ユニット２０４と、ユーザインタフェースである操作部２０３等を有する。制御ユニット２０４は、スキャナ部２０１、プリンタ部２０２、操作部２０３と接続し、一方では、ＬＡＮ２１９や一般の電話回線網である公衆回線（ＷＡＮ）２２０と接続することで、画像情報やデバイス情報の入出力を行うコントローラである。ＣＰＵ２０５は、制御ユニット２０４に含まれる各ユニットを制御する。ＲＡＭ２０６はＣＰＵ２０５が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ＲＯＭ２１０はブートＲＯＭであり、システムのブートプログラム等のプログラムが格納されている。記憶部２１１はハードディスクドライブで、システム制御ソフトウェア、画像データを格納する。操作部Ｉ／Ｆ２０７は操作部（ＵＩ）２０３とのインターフェース部で、操作部２０３に表示するための画像データを操作部２０３に対して出力する。また、操作部Ｉ／Ｆ２０７は操作部２０３から本画像処理装置の使用者が入力した情報を、ＣＰＵ２０５に伝える役割をする。ネットワークＩ／Ｆ２０８は本画像処理装置をＬＡＮ２１９に接続し、パケット形式の情報の入出力を行う。モデム２０９は本画像処理装置をＷＡＮ２２１に接続し、データの復調・変調を行うことにより情報の入出力を行う。以上のデバイスがシステムバス２２１上に配置される。
【００１７】
イメージバスＩ／Ｆ２１２はシステムバス２２２と画像データを高速で転送する画像バス２２３とを接続し、データ構造を変換するバスブリッジである。画像バス２２３は、例えば、ＰＣＩバスやＩＥＥＥ１３９４で構成される。画像バス２２３上には以下のデバイスが配置される。ラスターイメージプロセッサ（ＲＩＰ）２１３はＰＤＬ（ページ記述言語）コードを解析し、指定された解像度のビットマップイメージに展開する、いわゆるレンダリング処理を実現する。この展開する際には、各画素単位あるいは領域単位で属性情報が付加されることになる。これを像域判定処理と呼ぶ。像域判定処理により、画素毎にあるいは領域毎に、文字（テキスト）や線（ライン）、グラフィクス、イメージ等といったオブジェクトの種類を示す属性情報が付与される。例えば、ＰＤＬコード内のＰＤＬ記述のオブジェクトの種類に応じて、ＲＩＰ２１３から像域信号が出力され、その信号値で示される属性に応じた属性情報が、オブジェクトに対応する画素や領域に関連づけて保存される。したがって画像データには、関連づけられた属性情報が付属している。デバイスＩ／Ｆ２１４は、信号線２２３を介して画像入力デバイスであるスキャナ部２０１、信号線２２４を介して画像出力デバイスであるプリンタ部２０２、をそれぞれ制御ユニット２０４に接続し、画像データの同期系／非同期系の変換を行う。スキャナ画像処理部２１５は、入力画像データに対し補正、加工、編集を行う。プリンタ画像処理部２１６は、プリンタ部２０２に出力すべきプリント出力画像データに対して、プリンタ部２０２に応じた補正、解像度変換等を行う。画像回転部２１７は入力された画像データが正立するように回転を行い出力する。画像メタデータ付加部２１８、写真領域用画像データ処理部２１９については後述する。
【００１８】
次に、図３を用いて、図２の画像メタデータ付加部２１８の詳細説明を行う。画像メタデータ付加部２１８は、領域分割部３０１、属性情報付加部３０２、画像メタデータ作成部３０３から構成される。データ処理部２１８は、スキャナ部２０１でスキャンした、またはLAN２２０やWAN２２１を通して外部から送信されてきた文書データ３００が入力されてくると、各処理部３０１〜３０３で処理を行うことにより、画像メタデータ付文書データ３１０を生成して出力する。
【００１９】
領域分割部３０１には、図２のスキャナ部２０１でスキャンされたイメージデータ、あるいはLAN２２０やWAN２２１を通して、外部から送信されてきた文書が入力される。そして、ページ内に配置された「文字」、「写真」等の領域を抽出する。
【００２０】
この際の領域分割方法としては公知の方法を用いればよい。一例を説明すると、まず、入力画像を２値化して２値画像を生成し、２値画像を低解像度化して間引き画像（縮小画像）を作成する。例えば、１／（Ｍ×Ｎ）の間引き画像を作成する際には、２値画像をＭ×Ｎ画素毎に分割し、Ｍ×Ｎ画素内に黒画素が存在すれば縮小後の対応する画素を黒画素とし、存在しなければ白画素とすることにより、間引き画像を作成する。次に、間引き画像において黒画素が連結する部分（連結黒画素）を抽出して当該連結黒画素に外接する矩形を作成していく。文字画像サイズに近い矩形（１文字の矩形）が並んでいる場合や、縦横のどちらかが文字画像サイズに近い矩形（数文字が繋がった連結黒画素の矩形）で短辺の近くに同様の矩形が並んでいる場合は、１つの文字行を構成している文字画像である可能性が高い。この場合は矩形同士を結合して、１つの文字行を表す矩形を得る。そして、１つの文字行を表す矩形の短辺の長さがほぼ同じで、列方向にほぼ等間隔に並んでいる矩形の集合は、本文部である可能性が高いので結合して本文領域を抽出する。
【００２１】
また、写真領域や図領域や表領域は、文字画像よりも大きいサイズの連結黒画素により抽出される。その結果、例えば、図７の７０１から７０５に示す領域が抽出されることとなる。なお、各領域の属性は、後述するように、そのサイズや縦横比や黒画素密度や、連結黒画素内部に含まれる白画素の輪郭追跡結果等に基づいて判断される。
【００２２】
属性情報付加部３０２は、領域分割部３０１で分割された領域毎に属性を付加する。図７を入力イメージデータの例として処理動作を説明すると、領域７０５は、そのページ内で文字数や行数がある程度あり、文字数、行数、段落等の形態を保有する点から、総合的に判定して、『本文』の属性を付加する。残りの領域については、まず、文字画像サイズに近い矩形が含まれている領域か否かを判断する。特に、文字画像が含まれている領域は、領域内で文字画像の矩形が周期的に現れるので、領域内に文字が含まれている領域であるか否かを判断することができる。その結果、領域７０１、領域７０４は文字が含まれる領域として『文字領域』の属性を付加する。ただし、こちらは、文字数、行数、段落等の形態を持たない点から、『本文』の属性は付加されないことになる。
【００２３】
一方、それ以外の領域については、領域の大きさが非常に小さければ『ノイズ』と判定する。また、画素密度が小さい連結黒画素について、その内部の白画素輪郭追跡を行ったときに、その白画素輪郭の外接矩形が整然と並んでいる場合は当該領域を『表』と判断し、整然と並んでいない場合は『線画』と判断する。それ以外の画素密度の高いものは絵や写真であるとして『写真』の属性を付加する。
【００２４】
以上のような属性情報付加処理を行うと、図７の例では、領域７０１、７０４は『文字領域』、領域７０２は『表』、領域７０３は『写真』、領域７０５は『本文』の属性が付加されることとなる。
【００２５】
画像メタデータ作成部３０３は、属性情報付加部３０２で、『写真』の属性が付加された領域に対して、画像メタデータを作成し、各領域に添付する。詳細は後述する。
【００２６】
このように、領域分割部３０１、属性情報付加部３０２、画像メタデータ作成部３０３において抽出された、領域の大きさや領域属性の情報、ページの情報、画像メタデータ情報等は、記憶部２１１に保存される。
【００２７】
図４は画像メタデータ作成部３０３の構成例を表すブロック図である。以下、４０１〜４０４の処理内容について説明する。
【００２８】
特徴量抽出部４０１は、『写真』の属性が付加された各領域に対して特徴量抽出を行う。ここでの特徴量としては、カラーヒストグラム、周波数成分、エッジ情報等、画像の特徴を表現できるものなら、どのようなものを用いても良いものとする。また、それらの複数の組み合わせを用いても構わない。
【００２９】
カテゴリ分類部４０２は、特徴量抽出部４０１で抽出した特徴量をもとに、各領域に対し、カテゴリ分類を行う。ここでのカテゴリとは、『顔画像』や『自然画像』、『人工物画像』のような、ある一定の特徴を持った画像群で、カテゴリ分類とは、各領域がそれぞれのカテゴリであると判断する場合の信頼度を計算する処理であるとする。なお、カテゴリ分類部４０２は、記憶部２１１に格納されている各カテゴリについての特徴量分布に関するデータベースを用いて分類を行う。
【００３０】
しきい値処理部４０３は、カテゴリ分類部４０２で計算した各カテゴリごとの信頼度に関してしきい値処理を行い、ある一定のしきい値以下のカテゴリに関しては、その情報を破棄する。
【００３１】
画像メタデータ設定部４０４は、しきい値処理後に残ったカテゴリと対応する信頼度の値をもとに、処理メタデータと検索メタデータから成る画像メタデータを作成し、各領域に付加する。
【００３２】
カテゴリ分類部４０２〜画像メタデータ設定部４０４の各部分の動作については、後述で実際に処理を行う例を扱うので、その中で再度取り上げられ、より詳細に説明されることとなる。
【００３３】
次に、文書がスキャナ部２０１によって、またはLAN２２０やWAN２２１を通して入力されてから画像メタデータが付加されるまでの間、システムで実行する処理全体の概要を、図７のフローチャートを用いて説明する。図７に示すフローチャートは、図２の画像メタデータ付加部２１８（図３の各処理部３０１〜３０３、図４の４０１〜４０４）によって実行されるものとする。本実施形態では、ＣＰＵ２０５が記憶部２１１に格納されたコンピュータプログラムを読み取り実行することで、画像メタデータ付加部２１８（図３の各処理部３０１〜３０３、図４の４０１〜４０４）として機能するものとするが、これに限るものではない。例えば、デ画像メタデータ付加部２１８（図３の各処理部３０１〜３０３、図４の４０１〜４０４）を、電子回路等のハードウェアで実現するように構成してもよい。
【００３４】
図８は、入力された複数ページの文書（イメージデータ）について、その中の『写真』の属性が付加された領域に対して、画像メタデータを付加する処理のフローチャートである。尚、複数ページの文書としては、例えば、図９（ａ）のような文書が入力されるものとする。以下、図８のフローチャートの各ステップについて説明を行う。
【００３５】
図８のステップS８０１において、領域分割部３０１は、入力された１ページ分の文書データから領域抽出を行う。例えば、図９（ａ）の文書データ９０１（１ページ目）に対しては領域９０４、９０５を抽出する。ステップＳ８０１において図９（ｂ）に示す「座標Ｘ」「座標Ｙ」「幅Ｗ」「高さＨ」及び「ページ」の情報が記憶部２１１に保存される。
【００３６】
ステップＳ８０２において、属性情報付加部３０２は、ステップＳ８０１で分割された各領域に属性を付加する。図９（ａ）の１ページ目の例では、領域９０４には『写真』、領域９０５には『文字領域』の属性を付加する。ステップＳ８０２において、図９（ｂ）に示す「属性」の情報が記憶部２１１に保存される。
【００３７】
ステップＳ８０３において、画像メタデータ付加部２１８は、属性情報付加部３０２が付加した属性が『写真』であったか否かを判断する。『写真』であった場合はステップS８０４へ、それ以外の場合はステップS８０５へ進む。
【００３８】
ステップＳ８０４において、画像メタデータ作成部３０３は、『写真』属性が付加された領域に対して、画像メタデータの作成を行う。ステップＳ８０４において、図９（ｂ）に示す「画像メタデータ」の情報が記憶部２１１に保存される。ステップＳ８０４で画像メタデータ作成部３０３が実行する処理の詳細については、図１０のフローチャートを用いて、後述するものとする。
【００３９】
ステップＳ８０５において、画像メタデータ付加部２１８は、ステップＳ８０１〜S８０４の処理をすべてのページに対して行ったか否かを判断する。全てのページを処理していれば、処理を終了する。未処理のページがあればステップＳ８０１から繰り返す。
【００４０】
以上で、図８の説明を終了する。
【００４１】
次に、図８中のステップS８０４の処理の詳細について、図１０のフローチャートを用いて説明する。
【００４２】
図１０のステップS１００１において、特徴量抽出部４０１は、『写真』属性が付加された領域に対して、特徴量抽出処理を行う。図９（ａ）のような文書が入力された場合は、領域９０４と９０７からのみ特徴量が抽出される。
【００４３】
ステップS１００２において、カテゴリ分類部４０２は、ステップS１００１で抽出された特徴量の値をもとに、カテゴリ分類を行う。本実施例では、分類を行うカテゴリとして、『顔画像』、『自然画像』、『人工物画像』の３つを想定している。カテゴリ分類には、記憶装置２１１に格納されている各カテゴリについての特徴量分布に関するデータベースを用いる。ここでのデータベースとは、各カテゴリに相当する「写真」、各「写真」から抽出される特徴量、特徴量の分布を近似した図１１のような分布曲線である。図１１の横軸は、「写真」から抽出される特徴量の値、縦軸は、それぞれのカテゴリであると判定する時の信頼度の値である。各カテゴリの信頼度の値はこの分布曲線を用いて計算される。図９（ａ）の領域９０４、９０７についてカテゴリ分類を行った結果は図１２（ａ）（ｂ）（ｃ）のように示される。図１２（ａ）に示されている各カテゴリについての特徴量の分布曲線は、データベースとして記憶部２１１に記憶されているもので、これをもとに領域９０４、９０７から抽出した特徴量の値から各カテゴリの信頼度を計算する。図１２（ｂ）（ｃ）はそれぞれ、領域９０４、９０７の各カテゴリの信頼度の値を表している。
【００４４】
ステップS１００３において、しきい値処理部４０３は、ステップS１００２で計算された各カテゴリの信頼度の値に対してしきい値処理を行う。しきい値処理を行うことで、各領域に対して明らかに一致しないカテゴリのみを除去でき、後のステップS１００５、S１００７で、残りのカテゴリとその信頼度だけを用いて画像メタデータを作成することが可能になる。図１２（ｂ）（ｃ）に対してしきい値処理を行った場合、図１３（ａ）（ｂ）のような結果が得られる。ここでは、図１３（ａ）における『人工物画像』、図１３（ｂ）における『顔画像』、『自然画像』に対し、しきい値以上の信頼度を持つカテゴリという判断を下す。
【００４５】
ステップS１００４において、画像メタデータ設定部４０４は、ステップS１００３でのしきい値処理後に残ったカテゴリの数が１個以上存在するか否かを判断する。１個以上存在する場合はステップＳ１００５へ、存在しない場合は処理を終了する。領域９０４、９０７の場合は、それぞれしきい値処理後に残ったカテゴリの数が１、２個なので、どちらもステップS１００５に進む。
【００４６】
ステップS１００５において、画像メタデータ設定部４０４は、ステップS１００４でしきい値処理後に残ったカテゴリの数が１つ以上存在すると判断された領域に対して、図１４に示されるような構造の画像メタデータの中の、処理メタデータ部分を作成する。処理メタデータには、信頼度が最も高いカテゴリの名称とその信頼度の値を格納する。
【００４７】
ステップS１００６において、画像メタデータ設定部４０４は、ステップS１００３でのしきい値処理後に残ったカテゴリの数が２個以上存在するか否かを判断する。２個以上存在する場合はステップＳ１００７へ、存在しない場合は処理を終了する。ここで、領域９０４の場合は、カテゴリ数が１個なので処理を終了し、領域９０７の場合は、カテゴリ数が２個なので、ステップＳ１００７へ進む。
【００４８】
ステップS１００７において、画像メタデータ設定部４０４は、ステップS１００６でしきい値処理後に残ったカテゴリの数が２つ以上存在すると判断された領域に対して、図１４に示されるような構造の画像メタデータの中の、検索メタデータ部分を作成する。検索メタデータには、しきい値処理後に残ったカテゴリの中で信頼度の大きさが２位以下のカテゴリに対して、その名称と信頼度の値を、信頼度の高いカテゴリから順に格納する。
【００４９】
以上で図の説明を終了する。領域９０４、９０７に関して、作成された画像メタデータは図１５（ａ）（ｂ）のようなものになる。なお、本実施例においては、画像メタデータを処理メタデータと検索メタデータに分割しているが、これは便宜的なものであり、分割せずに１つの画像メタデータとして取り扱っても構わない。
【００５０】
次に、図５を用いて、図２の写真領域用画像データ処理部２１９の詳細説明を行う。写真領域用画像データ処理部２１９は、写真領域抽出部５０１、写真領域用画像処理部５０２から構成されている。領域用画像データ処理部２１９は、操作部２０３を通してユーザーによって出力（印刷または送信）命令５１０が入力されると、記憶部２１１に保存されている画像メタデータ付文書データ３１０に対して、画像処理を行い、画像処理後文書データ５１２を生成する。画像処理は、画像メタデータ付文書データ３１０内の、『写真』属性が付加された領域に対して行われ、処理内容は、操作部２０３を通してユーザーによって入力された出力命令５１０とユーザー入力カテゴリ名５１１、画像メタデータによって決定される。ここで、出力命令５１０とは、出力の種類が『印刷』か『送信』のどちらであるかという情報であり、ユーザー入力カテゴリ名５１１とは、本実施例においては、ユーザーが優先して画像処理を加えたいと考えて入力したカテゴリ名であるとする。
【００５１】
なお、画像処理後文書データ５１２はプリンタ部２０２または、ＬＡＮ２２０やＷＡＮ２２１を通して外部に送信される。以下、写真領域抽出部５０１、写真領域用画像処理部５０２の処理内容について説明する。
【００５２】
写真領域抽出部５０１は、画像メタデータ付文書データ３１０の中から、『写真』属性が付加された領域を抽出する。
【００５３】
写真領域用画像処理部５０２は、写真領域抽出部５０１によって抽出された『写真』属性が付加された領域に対し、画像処理を行う。実行される画像処理は領域ごとに異なっており、出力命令５１０、ユーザー入力カテゴリ名５１１、画像メタデータによって決定される。
【００５４】
図６は写真領域用画像処理部５０２の構成例を表すブロック図である。以下、６０１〜６０３の処理内容について説明する。
【００５５】
写真領域用画像処理内容決定部６０１は、操作部２０３を通してユーザーによって入力された出力命令５１０とユーザー入力カテゴリ名５１１、領域に付加されている画像メタデータをもとに、各領域に対して実行する画像処理の内容を決定する。
【００５６】
写真領域用画像処理実行部６０２は、写真領域用画像処理内容決定部６０１が決定した画像処理内容を、注目領域に対して実行する。
【００５７】
画像メタデータ消去部６０３は、写真領域用画像処理実行部６０２によって注目領域に対して画像処理が実行された後、その領域に付加されている画像メタデータを消去する。
【００５８】
写真領域用画像処理内容決定部６０１〜画像メタデータ消去部６０３の各部分の動作については、後述で実際に処理を行う例を扱うので、その中で再度取り上げられ、より詳細に説明されることとなる。
【００５９】
図１６は、図２の記憶部２１１に蓄積されている複数ページの文書について、出力（印刷または送信）時に、文書内の『写真』の属性が付加された領域に対して画像処理を行う際のフローチャートである。図１６に示すフローチャートは、図２の写真領域用画像データ処理部２１９（図５の各処理部５０１〜５０２、図６の６０１〜６０３）によって実行されるものとする。本実施形態では、ＣＰＵ２０５が記憶部２１１に格納されたコンピュータプログラムを読み取り実行することで、写真領域用画像データ処理部２１９（図５の各処理部５０１〜５０２、図６の６０１〜６０３）として機能するものとするが、これに限るものではない。例えば、写真領域用画像データ処理部２１９（図５の各処理部５０１〜５０２、図６の６０１〜６０３）を、電子回路等のハードウェアで実現するように構成してもよい。尚、複数ページの文書としては、例えば、図９（ｂ）に示すような情報や画像メタデータが付加されている、図９（ａ）のような文書が入力されるものとする。以下、図１６のフローチャートの各説明を行う。
【００６０】
ステップＳ１６０１において、写真領域抽出部５０１は、入力された１ページ分の文書データから、『写真』の属性が付加されており、なおかつ画像メタデータが付加されている領域を抽出する。こうすることで、文書の出力（印刷または送信）時に一から領域分割を行わなくても良くなるため、計算コストを抑え、出力スピードを上げることが可能になる。図９（ａ）の例では、領域９０４、９０７が抽出される。
【００６１】
ステップＳ１６０２において、写真領域用画像処理部５０２は、ステップS１６０１で抽出された各領域に対して、画像処理を実行する。ここでは、検索メタデータ内のカテゴリとユーザー入力カテゴリ名５１１を比較し、同じカテゴリが含まれる場合、そのカテゴリを優先した画像処理（色、解像度変換、圧縮）を行う。さらに文書の使用用途が「送信」である場合には、「写真」領域に圧縮処理を加えることでデータ容量を削減するという処理を行う。こうすることで、ユーザーの所望や出力（印刷または送信）時の使用用途を反映した画像処理を行うことが可能になる。ステップS１６０２で写真領域用画像処理部５０２が実行する処理の詳細については、図１７のフローチャートを用いて、後述するものとする。
【００６２】
ステップＳ１６０３において、写真領域用画像データ処理部２１９は、ステップＳ１６０１とＳ１６０２の処理をすべてのページに対して行ったか否かを判断する。全てのページを処理していれば、処理を終了する。未処理のページがあればステップＳ１６０１から繰り返す。以上で、図１６の説明を終了する。
【００６３】
次に、図１６中のステップS１６０２の処理の詳細について、図１７のフローチャートを用いて説明する。本実施例では、処理の対象とする領域が図９（ａ）の領域９０４、９０７、それらの領域に付加されている画像メタデータが図１５（ａ）（ｂ）、出力命令５１０が『送信』、ユーザー入力カテゴリ名５１１が『自然画像』である場合であるとする。
【００６４】
図１７のステップS１７０１において、写真領域用画像処理内容決定部６０１は、ユーザー入力カテゴリ名５１１が、対象領域に付加されている画像メタデータ内の検索メタデータに含まれているか否かを判定する。含まれている場合はステップＳ１７０２へ、含まれていない場合はステップＳ１７０３へ進む。領域９０４、９０７のうち、領域９０４は、検索メタデータ内に『自然画像』というカテゴリ名が含まれていないので、ステップＳ１７０３へ進み、領域９０７は含まれているので、ステップＳ１６０２へ進む。
【００６５】
ステップS１７０２において、写真領域用画像処理内容決定部６０１は、検索メタデータ内の、ユーザー入力カテゴリ名５１１と一致するカテゴリ名と、対応する信頼度の値をもとに、各領域に対して実行する画像処理の内容を決定する。この時、実行する画像処理の種類についてはカテゴリ名をもとに決定し、処理の強さについては信頼度の値をもとに決定する。ここでの処理の強さとは、エッジ強調処理を例とすると、処理が強い程画像のエッジが強調されるような処理を行うということを意味している。図１５（ｂ）のような画像メタデータが付加されている領域９０７の例では、画像処理の種類は『自然画像』というカテゴリ名によって、例えば『自然画像』に適した自然な色味になるような色補正処理が選択される。また、処理の強さは、対応する信頼度、０．３５という値によって決定される。
【００６６】
ステップS１７０３において、写真領域用画像処理内容決定部６０１は、処理メタデータに格納されているカテゴリ名と信頼度の値をもとに、各領域に対して実行する画像処理の内容を決定する。ステップS１７０２の場合と同様に、実行する画像処理の種類についてはカテゴリ名をもとに決定し、処理の強さについては信頼度の値をもとに決定する。図１５（ａ）のような画像メタデータが付加されている領域９０４の例では、画像処理の種類は『人工物画像』というカテゴリ名によって、例えば『人工物画像』に適したエッジ強調処理が選択される。また、処理の強さは、対応する信頼度、０．８５という値によって決定される。
【００６７】
ステップＳ１７０４において、写真領域用画像処理実行部６０２は、対象領域に対してステップS１７０２、またはS１７０３で決定された画像処理内容を実行する。
【００６８】
ステップＳ１７０５において、写真領域用画像処理実行部６０２は、出力命令５１０が『印刷』、『送信』のどちらであるかを判定する。『送信』の場合はステップS１７０６へ進み、『印刷』の場合は処理を終了する。本実施例では、出力命令５１０が『送信』であるので、ステップＳ１７０６へ進む。
【００６９】
ステップＳ１７０６において、写真領域用画像処理実行部６０２は、対象領域に対して画像圧縮処理を行う。これは、『送信』用の文書データの容量を削減するために行う処理である。
【００７０】
ステップＳ１７０７において、画像メタデータ消去部６０３は、ステップＳ１７０６の後、その領域に付加されている画像メタデータを消去する。こうすることで、画像処理済みの文書が送信先の記憶装置に保存された後に出力（印刷または送信）される場合は、すでに画像処理済みであると判断され、その文書に対して画像処理を行わないようにすることが可能になる。写真領域９０４、９０７に付加されている、図１５（ａ）（ｂ）のような画像メタデータはすべて消去される。
【００７１】
以上で図１７の説明を終了する。
【００７２】
以上のように、本発明では、文書を記憶装置に記憶する際に文書内の各「写真」領域に対して画像メタデータを作成、付加する。また、該文書の出力（印刷、送信）時に、検索メタデータ内のカテゴリとユーザーの入力するカテゴリを比較し、同じカテゴリが含まれる場合、そのカテゴリを優先した画像処理（色、解像度変換、圧縮）を行う。さらに文書の使用用途が「送信」である場合には、「写真」領域に圧縮処理を加える。こうすることで、出力スピードを向上させることが可能になり、さらに文書の出力（印刷または送信）時に、ユーザーの所望（処理を優先させたいカテゴリに関する）や使用用途を反映した画像処理を行うことが可能になる。
【００７３】
［実施例２］
実施例１では、図１７に示すように、ユーザーが入力したカテゴリに対して、他のカテゴリより優先して画像処理を行う場合について説明を行った。しかしながら、実施例１の場合とは反対に、入力したカテゴリに対して、他のカテゴリを優先して画像処理を行いたい場合も存在すると考えられる。実施例２では、そのような場合に行う処理について図１８を用いて説明を行う。図１８に示すフローチャートは図２の写真領域用画像データ処理部２１９（図５の各処理部５０１〜５０２、図６の６０１〜６０３）によって実行されるものである。ここでは、実施例１との重複部分に関しては説明を省略する。
【００７４】
なお、処理の対象とする領域としては図９（ａ）の領域９０４、９０７、それらの領域に付加されている画像メタデータは図１５（ａ）（ｂ）、出力命令５１０は『送信』、ユーザー入力カテゴリ名５１１は『顔画像』であるとする。
【００７５】
図１８のステップS１８０１において、写真領域用画像処理内容決定部６０１は、ユーザー入力カテゴリ名５１１が、対象領域に付加されている画像メタデータ内の処理メタデータに含まれているか否かを判定する。含まれている場合はステップＳ１８０２へ、含まれていない場合はステップＳ１８０３へ進む。領域９０４、９０７のうち、領域９０４は、処理メタデータ内に『顔画像』というカテゴリ名が含まれていないので、ステップＳ１８０３へ進み、領域９０７は含まれているので、ステップＳ１８０２へ進む。
【００７６】
ステップS１８０２において、写真領域用画像処理内容決定部６０１は、 検索メタデータ内の信頼度の値が最も高いカテゴリの、カテゴリ名と対応する信頼度の値をもとに、各領域に対して実行する画像処理の内容を決定する。この時、実行する画像処理の種類についてはカテゴリ名をもとに決定し、処理の強さについては信頼度の値をもとに決定する。図１５（ｂ）のような画像メタデータが付加されている領域９０７の例では、画像処理の種類は『自然画像』というカテゴリ名によって、例えば『自然画像』に適した自然な色味になるような色補正処理が選択される。また、処理の強さは、対応する信頼度、０．３５という値によって決定される。
【００７７】
ステップＳ１８０３〜Ｓ１８０７については、実施例１のステップＳ１７０３〜Ｓ１７０７と重複するので、説明を省略する。
【００７８】
以上で図１８の説明を終了する。
【００７９】
以上のように、本発明では、文書を記憶装置に記憶する際に文書内の各「写真」領域に対して画像メタデータを作成、付加する。また、該文書の出力（印刷、送信）時に、処理メタデータ内のカテゴリとユーザーの入力するカテゴリを比較し、同じカテゴリが含まれる場合、画像メタデータ内のそれ以外のカテゴリを優先した画像処理（色、解像度変換、圧縮）を行う。さらに文書の使用用途が「送信」である場合には、「写真」領域に圧縮処理を加える。こうすることで、出力スピードを向上させることが可能になり、さらに文書の出力（印刷または送信）時に、ユーザーの所望（処理を優先させたくないカテゴリに関する）や使用用途を反映した画像処理を行うことが可能になる。
【符号の説明】
【００８０】
１００  ＭＦＰ
１０１  クライアントＰＣ
１０２  ＬＡＮ
【図１】
2013131942.tif 000003
【図２】
2013131942.tif 000004
【図３】
2013131942.tif 000005
【図４】
2013131942.tif 000006
【図５】
2013131942.tif 000007
【図６】
2013131942.tif 000008
【図７】
2013131942.tif 000009
【図８】
2013131942.tif 000010
【図９】
2013131942.tif 000011
【図１０】
2013131942.tif 000012
【図１１】
2013131942.tif 000013
【図１２】
2013131942.tif 000014
【図１３】
2013131942.tif 000015
【図１４】
2013131942.tif 000016
【図１５】
2013131942.tif 000017
【図１６】
2013131942.tif 000018
【図１７】
2013131942.tif 000019
【図１８】
2013131942.tif 000020