(57)【要約】【課題】ジョブ情報又はページ情報を検索情報としてファイル蓄積すると、カスタマイズされたアプリケーション等への対応が困難であり、またログという性格上、アプリケーションに自由に検索情報を設定させることは適切ではない。【解決手段】画像データを蓄積すると同時に、蓄積した画像データを検索するためのキーとして画像特徴量を抽出して蓄積する際に、ジョブやジョブツリー単位で使用したデバイスに応じて（ステップＳ１２）、特徴量の構成や各特徴量の重み付けを評価（変更）し、アプリケーションが使用したデバイスの組み合わせから最適だと予想される特徴量の構成や各特徴量の重み付けを選択する（ステップＳ１３〜Ｓ１５）。【選択図】図４
2007199797.tif 000002
【特許請求の範囲】
【請求項１】
入出力される画像データを入出力履歴として蓄積し、この蓄積した画像データを必要に応じて検索して出力する画像処理装置であって、
入出力される画像データから画像の特徴量を検索情報として抽出する抽出手段と、
ジョブ、ジョブツリー単位で使用した入出力デバイスに応じて、前記抽出手段で抽出された前記特徴量の構成および重み付けを評価する評価手段と、
前記評価手段で構成および重み付けが評価された特徴量を、入出力される画像データと関連付けて蓄積する蓄積手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記評価手段は、入出力される画像データおよびその特徴量に応じて、同一ジョブ、ジョブツリーの特徴量の重要度を決定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記評価手段は、入出力される画像データおよびその特徴量に応じて、同一ジョブ、ジョブツリーの代表的な特徴量の種類を選択する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記蓄積手段に蓄積されている特徴量を用いて前記蓄積手段に蓄積されている画像データを検索する際に、前記評価手段での特徴量に対する評価を基にして前記蓄積手段に蓄積されている特徴量を順次選択して検索し、検索候補を絞り込む検索手段をさらに備える
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記蓄積手段に蓄積されている特徴量を用いて前記蓄積手段に蓄積されている画像データを検索する際に、アプリケーションもしくは当該アプリケーションが使用する入出力デバイスの組み合わせを指定する操作手段と、
前記操作手段で指定された入出力デバイスの組み合わせと同じ組み合わせに応じて前記評価手段でなされた特徴量に対する評価を基にして検索対象の画像データを検索する検索手段とをさらに備える
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
入出力される画像データを入出力履歴として蓄積し、この蓄積した画像データを必要に応じて検索して出力する画像処理装置であって、
入出力される画像データから画像の特徴量を検索情報として抽出する抽出手段と、
前記抽出手段により前記検索情報として有効な特徴量を抽出できなかった場合、同一ジョブ、ジョブツリーの画像データおよびその特徴量から特徴量を生成する生成手段と、
前記生成手段で生成された特徴量または前記抽出手段で抽出された特徴量を、入出力される画像データと関連付けて蓄積する蓄積手段と
を備えることを特徴とする画像処理装置。
【請求項７】
入出力される画像データを入出力履歴として蓄積し、この蓄積した画像データを必要に応じて検索して出力する画像処理装置であって、
入出力される画像データから画像の特徴量を検索情報として抽出する抽出手段と、
前記抽出手段で抽出された特徴量が同一ジョブ、ジョブツリーの他の画像データから抽出された特徴量と、同一ジョブ、ジョブツリー内の画像データと識別できない程度に異なる場合、同一ジョブ、ジョブツリーの画像データおよびその特徴量から特徴量を生成する生成手段と、
前記生成手段で生成された特徴量または前記抽出手段で抽出された特徴量を、入出力される画像データと関連付けて蓄積する蓄積手段と
を備えることを特徴とする画像処理装置。
【請求項８】
入出力される画像データを入出力履歴として蓄積し、この蓄積した画像データを必要に応じて検索して出力する画像処理方法であって、
入出力される画像データから画像の特徴量を検索情報として抽出し、当該特徴量を抽出した画像データと関連付けて蓄積する際に、
ジョブ、ジョブツリー単位で使用した入出力デバイスに応じて、前記特徴量の構成および重み付けを評価する
ことを特徴とする画像処理方法。
【請求項９】
入出力される画像データを入出力履歴として蓄積し、この蓄積した画像データを必要に応じて検索して出力する画像処理方法であって、
入出力される画像データから画像の特徴量を検索情報として抽出し、当該特徴量を抽出した画像データと関連付けて蓄積手段に蓄積する際に、ジョブ、ジョブツリー単位で使用した入出力デバイスに応じて、前記特徴量の構成および重み付けを評価する一方、
前記蓄積手段に蓄積されている特徴量を用いて前記蓄積手段に蓄積されている画像データを検索する際に、前記特徴量に対する評価を基にして前記蓄積手段に蓄積されている特徴量を順次選択して検索し、検索候補を絞り込む
ことを特徴とする画像処理方法。
【請求項１０】
入出力される画像データを入出力履歴として蓄積し、この蓄積した画像データを必要に応じて検索して出力する画像処理方法であって、
入出力される画像データから画像の特徴量を検索情報として抽出し、当該特徴量を抽出した画像データと関連付けて蓄積手段に蓄積する際に、ジョブ、ジョブツリー単位で使用した入出力デバイスに応じて、前記特徴量の構成および重み付けを評価する一方、
前記蓄積手段に蓄積されている特徴量を用いて前記蓄積手段に蓄積されている画像データを検索する際に、アプリケーションもしくは当該アプリケーションが使用する入出力デバイスの組み合わせが指定されると、当該指定された入出力デバイスの組み合わせと同じ組み合わせに応じて前記特徴量に対する評価を基にして検索対象の画像データを検索する
ことを特徴とする画像処理方法。
【請求項１１】
入出力される画像データを入出力履歴として蓄積し、この蓄積した画像データを必要に応じて検索して出力する画像処理方法であって、
入出力される画像データから画像の特徴量を検索情報として抽出し、当該特徴量を抽出した画像データと関連付けて蓄積する際に、
前記入力される画像データから前記検索情報として有効な特徴量を抽出できなかった場合、同一ジョブ、ジョブツリーの画像データおよびその特徴量から特徴量を生成する
ことを特徴とする画像処理方法。
【請求項１２】
入出力される画像データを入出力履歴として蓄積し、この蓄積した画像データを必要に応じて検索して出力する画像処理方法であって、
入出力される画像データから画像の特徴量を検索情報として抽出し、当該特徴量を抽出した画像データと関連付けて蓄積する際に、
抽出した特徴量が同一ジョブ、ジョブツリーの他の画像データから抽出した特徴量と、同一ジョブ、ジョブツリー内の画像データと識別できない程度に異なる場合、同一ジョブ、ジョブツリーの画像データおよびその特徴量から特徴量を生成する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に入出力される画像データを入出力履歴として蓄積（いわゆる、ログ）し、この蓄積した画像データを必要に応じて検索して出力する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、文書や画像を電子データにより保存する電子化が一般化し、さらには、電子データを紙文書化する複写機やプリンタ等の画像形成装置も広く普及している。それに伴い、例えば、顧客名簿や開発中の製品の情報等といった機密性の高い情報が企業外部に流出するなど、企業内部からの機密情報漏洩が深刻な問題となっている。
【０００３】
この機密情報漏洩に対する対策を目的として、複写機や複合機等の画像処理装置では、入出力される総ての画像データを入出力履歴として蓄積して管理する管理システムが構築されている。この管理システムによれば、機密情報漏洩の疑いのある複写物が出回った際に、蓄積してある画像データの中から該当するものを検索することで、本画像処理装置でコピーされた複写物であるか否か、ひいては機密情報漏洩の疑いのある複写物をコピーした画像処理装置がどの画像処理装置であるかを追跡することができる。
【０００４】
ここで、入出力される総ての画像データをそのまま入出力履歴として蓄積したのでは、蓄積する画像データが膨大なデータ量となってしまうために、検索を容易に行えないことになる。そのため、従来は、原稿から読み取った画像データから原稿の特徴を抽出し、当該特徴を検索キーとして用いる一方、検索効率の良いファイル検索を実現するために、処理される画像データを当該画像データの処理に係わるジョブ情報又はページ情報と関連付けてファイル蓄積し、ファイル検索時にジョブ情報又はページ情報を検索情報として用いるようにしていた（例えば、特許文献１参照）。
【０００５】
【特許文献１】特開２００１−１６９０６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術では、ジョブ情報又はページ情報を検索情報としてファイル蓄積するようにしているために、カスタマイズされた（ユーザの好みに合わせて作り変えられた）アプリケーション等への対応が困難であり、またログ（入出力される総ての画像データを記録する）という性格上、アプリケーションに自由に検索情報を設定させることは適切ではない。
【０００７】
本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、カスタマイズされたアプリケーション等への対応が可能な画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明では、入出力される画像データを入出力履歴として蓄積し、この蓄積した画像データを必要に応じて検索して出力する画像処理装置において、入出力される画像データから画像の特徴量を検索情報として抽出し、この抽出した特徴量の構成および重み付けを、ジョブ、ジョブツリー単位で使用した入出力デバイスに応じて評価（変更）する。そして、この評価した特徴量を、入出力される画像データ（特徴量を抽出した画像データ）と関連付けて蓄積する。
【０００９】
上記構成の画像処理装置において、画像データを蓄積すると同時に、蓄積した画像データを検索するためのキー（検索情報）として画像の特徴量を抽出して蓄積する際に、ジョブ、ジョブツリー単位で使用した入出力デバイスに応じて、特徴量の構成や各特徴量の重み付けを評価（変更）し、アプリケーションが使用したデバイスの組み合わせから最適だと予想される特徴量の構成や各特徴量の重み付けを選択する。
【発明の効果】
【００１０】
本発明によれば、アプリケーションが使用したデバイスの組み合わせから最適だと予想される特徴量の構成や各特徴量の重み付けを選択することができるために、カスタマイズされたアプリケーション等への対応が可能であるとともに検索精度を向上できる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１２】
図１は、本発明が適用される画像情報処理システムの一例を示す構成図である。図１に示すように、本適用例に係る画像情報処理システムは、１台以上のクライアント、例えば３台のクライアント１，２，３と、１台以上のサーバ、例えば１台のサーバ４とを有し、クライアント１，２，３とサーバ４とがネットワーク５を介して相互に通信可能に接続された構成となっている。ただし、サーバとクライアントがネットワークを介して接続されるという構成は一例に過ぎず、この構成に限られるものではない。
【００１３】
ここでは、クライアント１，２，３として、例えばコピー機能、プリント機能、ファクシミリ（Ｆａｘ）機能等の各機能を複合的に備えたデジタル複合機を用い、サーバ４として、例えばパーソナルコンピュータを用いた画像情報処理システムを例に挙げて示している。ただし、デジタル複合機とパーソナルコンピュータとの組み合わせは一例に過ぎず、この組み合わせに限られるものではない。
【００１４】
上記構成の画像情報処理システムにおいて、本発明による画像処理装置は、クライアント（本例では、複合機）１，２，３個々において、あるいはクライアント１，２，３個々とサーバ（本例では、パーソナルコンピュータ）４との組み合わせにおいて構築される。また、本発明による画像処理方法は、クライアント１，２，３個々において、あるいはクライアント１，２，３個々とサーバ４との組み合わせにおいて実現される。
【００１５】
図２は、本発明による画像処理装置の基本構成を示すブロック図である。図２に示すように、本発明による画像処理装置１０は、画像データ入力部２０、処理制御部３０、検索操作部４０および画像データ出力部５０を有し、入出力される総ての画像データについて入出力履歴としてその画像特徴量を検索情報として関連付けて蓄積し、この蓄積した画像データを必要に応じて検索情報を基に検索して出力する構成となっている。
【００１６】
画像データ入力部２０は、例えば、スキャナ装置とその制御手段、磁気ディスクやメモリカード等の記憶媒体のリード／ライト装置とその制御手段、ネットワーク等を介してデータの授受を行うデータ転送手段、あるいはアプリケーションソフトウェアで作成したファイルをビットマップ画像にラスタライズする手段などによって構成され、スキャナ装置によって読み取った画像データ、リード／ライト装置によって記憶媒体から読み出した画像データ、データ転送手段によって受信した画像データ、あるいはビットマップ画像データを処理制御部３０に入力する。
【００１７】
処理制御部３０は、ＣＰＵ(Central Processing Unit:中央演算装置)３１、Ｉ／Ｏ回路３２、ＲＯＭ３３、ＲＡＭ３４およびＨＤＤ（ハードディスクドライブ装置）３５を有し、これら構成要素がバスライン３６を介して相互に通信可能に接続されており、画像データ入力部２０から入力される総ての画像データについて、画像データの画像特徴量を抽出するとともに、当該画像特徴量を検索情報として用いて画像データと関連付けて蓄積する構成となっている。
【００１８】
この処理制御部３０において、ＣＰＵ３１は、演算処理を含む本処理制御部３０全体の処理の制御を行う。Ｉ／Ｏ回路３２は、画像データ入力部２０、検索操作部４０および画像データ出力部５０の周辺機器との入出力を管理する。ＲＯＭ３３は、ＣＰＵ３１による制御の下に実行される各種処理の処理プログラムを格納する。ＲＡＭ３４は、当該各種処理の実行時に使用される一次記憶装置である。ＨＤＤ３５は、ＣＰＵ３１による制御の下に処理された画像データをその検索情報と関連付けて記憶する。
【００１９】
検索操作部４０は、例えば操作パネルである。この検索操作部４０では、ユーザによって検索操作の指示が行われる。画像データ出力部５０は、例えば、ＣＲＴディスプレイや液晶ディスプレイ等の表示装置とその制御手段、プリンタ装置とその制御手段、磁気ディスクやメモリカード等の記憶媒体のリード／ライト装置とその制御手段、またはネットワーク等を介してデータの授受を行うデータ転送手段等の単独またはそれらの組み合わせによって実現され、検索操作部４０での検索操作によって処理制御部３０から出力される画像データを表示装置による表示出力、プリンタ装置による印刷出力、リード／ライト装置による記憶媒体への記憶出力、データ転送手段による転送出力を行う。
【００２０】
なお、ここでは、入出力される総ての画像データについてその画像特徴量を検索情報として関連付けて本処理制御部３０内に蓄積するものとしているが、その蓄積は処理制御部３０内に限られるものではなく、図１において、ネットワーク５を介してサーバ４に送信して当該サーバ４内の蓄積部に蓄積する構成を採ることも可能である。以下の説明では、前者、即ち入出力される総ての画像データについてその画像特徴量を検索情報として関連付けて処理制御部３０内に蓄積する場合を例に挙げて説明するものとする。
【００２１】
［第１実施形態］
図３は、本発明の第１実施形態に係る画像処理装置１０Ａにおける処理制御部３０Ａの機能構成を示すブロック図である。
【００２２】
図３に示すように、本実施形態に係る処理制御部３０Ａは、画像データ蓄積部３０１、ジョブ・デバイス構成抽出部３０２、検索情報抽出部３０３、検索情報評価部３０４および検索情報蓄積部３０５を有する構成となっている。
【００２３】
画像データ蓄積部３０１は、図２のＨＤＤ３５に相当し、画像データ入力部２０から入力される画像データを蓄積（記憶）する。ジョブ・デバイス構成抽出部３０２は、複数のクライアントからの要求をデバイスに割り振って処理を実行する際に、ジョブ、ジョブツリーの構成やそこで使用されているデバイスの構成を取得する。
【００２４】
ここに、ジョブとは、複数のクライアントからの要求を、画像データを出力するデバイスに割り振って処理を実行する際の最小処理単位・最小課金単位を言う。また、ジョブツリーとは、一つのサービス、アプリケーションを実現するために、所定のルールで関連付けられた一つ以上のジョブ（群）を言う。
【００２５】
検索情報抽出部３０３は、例えば、画像データのレイアウトや、画像データを領域分割した際の各領域の平均輝度、平均色、エッジ量あるいはその分布など、複数の画像特徴量を検索情報として抽出する。画像特徴量を抽出する手法としては、周知の手法を用いることができる。ここでは、画像特徴量の抽出手法は問わないので、その具体的な説明については省略する。
【００２６】
検索情報評価部３０４は、ジョブ・デバイス構成抽出部３０２で取得されたジョブ、ジョブツリーの構成やそこで使用されているデバイスの構成、あるいは検索情報抽出部３０３で検索情報として抽出された画像特徴量自体の検索に対する寄与度を評価する。検索情報蓄積部３０５は、図２のＨＤＤ３５に相当し、検索情報抽出部３０３で抽出された検索情報を、検索情報評価部３０４で評価された寄与度（評価結果）と共に蓄積する。
【００２７】
ここで、ジョブ・デバイス構成抽出部３０２が取得するデバイスは、画像データ入力部２０におけるスキャナ装置とその制御手段、磁気ディスクやメモリカード等の記憶媒体のリード／ライト装置とその制御手段、データ転送手段、あるいはアプリケーションソフトウェアで作成したファイルをビットマップ画像にラスタライズする手段、画像データ出力部５０における表示装置、プリンタ装置、リード／ライト装置およびデータ転送手段である。さらに、ファクシミリ（Ｆａｘ）機能を備えている場合にはＦａｘモジュールもジョブ・デバイス構成抽出部３０２が取得するデバイスとなる。
【００２８】
以上説明した処理制御部３０Ａの各構成要素、即ち画像データ蓄積部３０１、ジョブ・デバイス構成抽出部３０２、検索情報抽出部３０３、検索情報評価部３０４および検索情報蓄積部３０５については、ＰＣ（パーソナルコンピュータ）のように、所定プログラムを実行することによって情報記憶処理機能、画像処理機能、演算処理機能等を実現するコンピュータ機器を利用して実現することが考えられる。
【００２９】
上記構成の第１実施形態に係る画像処理装置１０Ａでは、下記（１）〜（３）の点を特徴とする。
【００３０】
（１）ジョブ・デバイス構成抽出部３０２によるデバイス構成の抽出により、デバイスとしてプリンタ装置のみが使用されていることがわかった場合には、スキャン処理を経ていない画像データであると予測されることから、アプリケーションソフトウェアで作成したファイルをビットマップ画像にラスタライズした画像データが扱われていることになり、より精度の高い画像特徴量を得ることができるために、検索情報評価部３０４は、画像特徴量の抽出に際して、画像データのレイアウトや解像度を重視するように評価する。
【００３１】
このように、ある条件下において、より精度の高い検索を可能にできる（期待できる）度合いが特徴量の重要度となり、検索に対するある特徴量の寄与度となる。検索情報抽出部３０３は、検索情報評価部３０４の評価結果を受けて、レイアウトや解像度を重視した抽出手法にて画像特徴量を抽出し、検索情報として評価結果と共に検索情報蓄積部３０５に格納する。検索の際には、検索情報抽出部３０３は、検索キーとなる画像データから検索情報を抽出し、蓄積した画像データの検索情報と照合して類似した画像データを出力する。
【００３２】
（２）ジョブ・デバイス構成抽出部３０２によるデバイス構成の抽出により、デバイスとしてスキャナ装置とプリンタ装置とが使用されていることがわかった場合には、一旦プリント処理とスキャン処理を経た画像データを扱うことになり、画像データの精度がやや落ちることになるために、検索情報評価部３０４は、画像特徴量の抽出に際して、画像データを領域分割した各領域の平均輝度、平均色、エッジの量を重視するように評価する。
【００３３】
この検索情報評価部３０４の評価結果を受けて、検索情報抽出部３０３は、各分割領域の平均輝度、平均色、エッジの量を重視した抽出手法にて画像特徴量を抽出し、検索情報として評価結果と共に検索情報蓄積部３０５に格納する。検索の際には、検索情報抽出部３０３は、検索キーとなる画像データから検索情報を抽出し、蓄積した画像データの検索情報と照合して類似した画像データを出力する。
【００３４】
（３）ジョブ・デバイス構成抽出部３０２によるデバイス構成の抽出により、デバイスとしてＦａｘモジュールが使用されていることがわかった場合には、低解像度の白黒画像データが扱われていることになるので、検索情報評価部３０４は、画像特徴量の抽出に際して、画像データを領域分割した各領域の平均輝度の分布を重視し、色に関する情報は無視するように評価する。
【００３５】
この検索情報評価部３０４の評価結果を受けて、検索情報抽出部３０３は、各分割領域の平均輝度の分布を重視した抽出手法にて画像特徴量を抽出し、検索情報として評価結果と共に検索情報蓄積部３０５に格納する。検索の際には、検索情報抽出部３０３は、検索キーとなる画像データから検索情報を抽出し、蓄積した画像データの検索情報と照合して類似した画像データを出力する。
【００３６】
次に、上記構成の画像処理装置１０Ａの処理制御部３０Ａにおいて、ＣＰＵ３１による制御の下に実行される画像データの蓄積処理の手順の一例について、図４のフローチャートを用いて説明する。
【００３７】
先ず、アプリケーションの選択に基づいて、使用するデバイスの構成を確定し(ステップＳ１１)、次いで選択されたデバイスの構成を判断する（ステップＳ１２）。ここで、選択されたデバイスがプリンタ装置であれば、アプリケーションソフトウェアで作成したファイルをビットマップ画像にラスタライズした画像データが扱われていることになり、より精度の高い画像特徴量を得ることができるために、画像データのレイアウトや解像度を重視した抽出手法を選択する（ステップＳ１３）。
【００３８】
一方、選択されたデバイスがスキャナ装置の場合には、スキャン処理を経ていることによって画像データの精度がやや落ちるために、階調を重視した抽出手法を選択する（ステップＳ１４）。また、選択されたデバイスがＦａｘモジュールの場合には、扱う画像データが低解像度の白黒画像データであるために、白黒のみからなる画像特徴量を抽出する抽出手法を選択する（ステップＳ１５）。
【００３９】
ステップＳ１３、Ｓ１４又はＳ１５で抽出手法を選択したら、画像データ入力部２０から画像データを取り込み（ステップＳ１６）、その取り込んだ画像データから、選択した抽出手法を用いて画像特徴量を抽出し、検索情報として画像データと関連付けて蓄積する（ステップＳ１７）。
【００４０】
上述したように、本実施形態に係る画像処理装置１０Ａにおいては、画像データを蓄積すると同時に、蓄積した画像データを検索するためのキーとして画像特徴量を抽出して蓄積する際に、検索情報評価部３０４の作用により、ジョブやジョブツリー単位で使用した入出力デバイスに応じて、特徴量の構成や各特徴量の重み付けを評価（変更）することにより、アプリケーションが使用したデバイスの組み合わせから最適だと予想される特徴量の構成や各特徴量の重み付けを選択することができるために、カスタマイズされたアプリケーション等への対応が可能であるとともに検索精度を向上できる。
【００４１】
ここに、特徴量の構成とは、例えば、画像データを領域分割した各領域の平均輝度、平均色、エッジの量などの画像特徴量の組み合わせを言う。また、特徴量の重み付けとは、例えば、画像データを領域分割した各領域の平均輝度の分布を重視し、色に関する情報は無視するようなことを言う。この特徴量の重み付けは、検索情報評価部３０４において、検索情報を蓄積する際に行ったり、あるいは、検索情報を蓄積する際には行わずに、重み付けの情報を別途蓄積しておいて、照合の際に検索情報と共に読み出して考慮（変更）したりすることなどが考えられる。
【００４２】
また、本実施形態に係る画像処理装置１０Ａにおいては、検索情報評価部３０４の作用により、画像データおよびその特徴量に応じて、同一ジョブやジョブツリーの特徴量の重要度、即ちより精度の高い検索を可能にできる度合い（寄与度）を決定し、検索情報蓄積部３０５に登録することにより、検索の際に、特徴量の重要度を確定できるために、より少ない特徴量を比較することで、より精度の高い検索が可能になる。
【００４３】
さらに、本実施形態に係る画像処理装置１０Ａにおいては、検索情報評価部３０４の作用により、画像データおよびその特徴量に応じて、同一ジョブやジョブツリーの代表的な特徴量の種類を選択して登録し、検索する際の比較対象とすることで、検索に使用する特徴量の数を減らすことができるとともに、より少ない特徴量を比較することになるため、より精度の高い検索が可能になるとともに、検索速度を向上できる。例えば、デバイスとしてＦａｘモジュールが使用されていることが分かった場合には、先述したように、色に関する情報は無視し、画像データを領域分割した各領域の平均輝度の分布を代表的な特徴量の種類として選択して登録するようにする。
【００４４】
［第２実施形態］
図５は、本発明の第２実施形態に係る画像処理装置１０Ｂにおける処理制御部３０Ｂの機能構成を示すブロック図である。
【００４５】
図５に示すように、本実施形態に係る処理制御部３０Ｂは、画像データ蓄積部３１１、ジョブ・デバイス構成抽出部３１２、検索情報抽出部３１３、検索情報評価部３１４、検索情報蓄積部３１５および検索候補抽出部３１６を有する構成となっている。
【００４６】
画像データ蓄積部３１１は、図２のＨＤＤ３５に相当し、図３の画像データ蓄積部３０１と同様の機能を持つ。具体的には、画像データ入力部２０から入力された画像データを蓄積（記憶）する。ジョブ・デバイス構成抽出部３１２は、図３のジョブ・デバイス構成抽出部３０２と同様の機能を持つ。具体的には、複数のクライアントからの要求をデバイスに割り振って処理を実行する際の最小処理単位・最小課金単位であるジョブや、一つのサービス、アプリケーションを実現するために所定のルールで関連付けられた一つ以上のジョブ（群）であるジョブツリーの構成やそこで使用されているデバイスの構成を取得する。
【００４７】
検索情報抽出部３１３は、図３の検索情報抽出部３０３と同様の機能を持つ。具体的には、例えば、画像データを領域分割した際の各領域の平均輝度、平均色、エッジ量あるいはその分布など、複数の画像特徴量を検索情報として抽出する。画像特徴量を抽出する手法としては、周知の手法を用いることができる。ここでは、画像特徴量の抽出手法は問わないので、その具体的な説明については省略する。
【００４８】
検索情報評価部３１４は、図３の検索情報評価部３０４と同様の機能を持つ。具体的には、ジョブ・デバイス構成抽出部３１２で取得されたジョブ、ジョブツリーの構成やそこで使用されているデバイスの構成、あるいは検索情報抽出部３１３で検索情報として抽出された画像特徴量自体の検索に対する寄与度（特徴量の重要度）を評価する（特徴量の重み付け）。
【００４９】
検索情報蓄積部３１５は、図２のＨＤＤ３５に相当し、図３の検索情報蓄積部３０５と同様の機能を持つ。具体的には、検索情報抽出部３１３で抽出された検索情報を、検索情報評価部３１４で評価された寄与度と共に蓄積する。検索候補抽出部３１６は、検索情報評価部３１４での特徴量の重み付け（特徴量に対する評価）を基にして、検索操作部４０からのユーザの操作・指示にしたがって画像データを検索し、検索対象となる画像データの候補を絞り込んでいく。
【００５０】
ここで、ジョブ・デバイス構成抽出部３１２が取得するデバイスは、画像データ入力部２０におけるスキャナ装置とその制御手段、磁気ディスクやメモリカード等の記憶媒体のリード／ライト装置とその制御手段、データ転送手段、あるいはアプリケーションソフトウェアで作成したファイルをビットマップ画像にラスタライズする手段、画像データ出力部５０における表示装置、プリンタ装置、リード／ライト装置およびデータ転送手段である。さらに、Ｆａｘ機能を備えている場合にはＦａｘモジュールもジョブ・デバイス構成抽出部３１２が取得するデバイスとなる。
【００５１】
以上説明した処理制御部３０Ｂの各構成要素、即ち画像データ蓄積部３１１、ジョブ・デバイス構成抽出部３１２、検索情報抽出部３１３、検索情報評価部３１４、検索情報蓄積部３１５および検索候補抽出部３１６については、ＰＣのように、所定プログラムを実行することによって情報記憶処理機能、画像処理機能、演算処理機能等を実現するコンピュータ機器を利用して実現することが考えられる。
【００５２】
上記構成の第２実施形態に係る画像処理装置１０Ｂでは、下記（１），（２）の点を特徴とする。
【００５３】
（１）ジョブ・デバイス構成抽出部３１２によるデバイス構成の抽出によってデバイスの構成がわかり、検索情報評価部３１４が所定の画像特徴量を重視するように評価した場合には、検索情報蓄積部３１５へ検索情報とその評価（重み付け）情報を蓄積する。検索の際には、検索情報抽出部３１３は、検索キーとなる画像データから検索情報（特徴量）を抽出し、蓄積した各画像データの検索情報の中で最も高い評価の特徴量と照合して、類似度の高い複数の画像データを第一の候補として出力する。この第一の候補の中にユーザが希望する画像データが含まれていない場合には、次に評価の高い特徴量も含めて照合し、類似度の高い複数の画像データを第二の候補として出力する。ユーザが目的の画像を見つけるまでこの処理を繰り返す。
【００５４】
すなわち、同一ジョブやジョブツリーごとに、特徴量を登録する際に指定された特徴量に対する評価（重み付け）を基にして特徴量を順次選択して画像データを検索し、ユーザが目的の画像を見つけるまで候補を段階的に絞り込んでいくようにする。
【００５５】
（２）ジョブ・デバイス構成抽出部３１２によるデバイス構成の抽出によってデバイスの構成がわかり、検索情報評価部３１４が所定の画像特徴量を重視するように評価した場合には、検索情報蓄積部３１５へ検索情報とその評価（重み付け）情報を蓄積する。検索の際には、検索情報抽出部３１３は、検索キーとなる画像データから検索情報を抽出し、ユーザは画像データを蓄積した際に使用したアプリケーションもしくは当該アプリケーションが使用するデバイスの組み合わせを指定し、蓄積した画像データの検索情報をその評価を基に重み付けして照合し、類似した画像データを出力する。
【００５６】
すなわち、アプリケーションもしくは当該アプリケーションが使用するデバイスの組み合わせをユーザが指定し、同じデバイスの組み合わせに応じてなされた特徴量に対する評価（重み付け）を基にして目的の画像を検索するようにする。
【００５７】
次に、上記構成の画像処理装置１０Ｂの処理制御部３０Ｂにおいて、ＣＰＵ３１による制御の下に実行される画像データの検索処理の手順の一例について、図６のフローチャートを用いて説明する。ここで説明する検索処理は、上記（１）の特徴に対応したものである。
【００５８】
先ず、画像データ入力部２０から画像データを取り込み（ステップＳ２１）、次いで取り込んだ画像データの画像特徴量、例えば、画像データを領域分割した際の各領域の平均輝度、平均色、エッジ量あるいはその分布など、複数の画像特徴量を検索情報として抽出する（ステップＳ２２）。
【００５９】
次に、抽出した画像特徴量を、ＨＤＤ３５に蓄積されている画像データの各々の第一の画像特徴量（最も高い評価の特徴量）と比較し（ステップＳ２３）、類似度上位の複数の画像データを第一の候補として出力し（ステップＳ２４）、次いで当該第一の候補の中にユーザが希望する画像データ（目的の画像データ）があるか否かを判断する（ステップＳ２５）。第一の候補中に目的の画像データがあるか否かの判断は、出力結果を見たユーザによる検索操作部４０からの操作入力に基づいて行われる。
【００６０】
ステップＳ２５で第一の候補中に目的の画像データが無いと判断した場合は、次に評価の高い特徴量（次位の特徴量）も含めて比較し（ステップＳ２６）、類似度の高い複数の画像データを第二の候補として出力する（ステップＳ２４）。そして、この一連の処理をステップＳ２５で目的の画像データを見つけたと判定するまで繰り返して実行する。目的の画像データを見つけたと判定したら、当該目的の画像データを出力する（ステップＳ２７）。
【００６１】
上述したように、本実施形態に係る画像処理装置１０Ｂにおいては、同一ジョブやジョブツリーごとに、特徴量を登録する際に指定された特徴量に対する評価（重み付け）を基にして特徴量を順次選択して画像データを検索し、ユーザが目的の画像を見つけるまで候補を段階的に絞り込んでいくことにより、単に特徴量を基にして一律に一度に検索する場合よりも検索効率を上げることができるために、効率的に検索結果を示して行くことができる。
【００６２】
特に、本実施形態に係る検索処理の手法を、画像データおよびその特徴量に応じて、同一ジョブやジョブツリーの代表的な特徴量の種類を選択して登録するという第１実施形態に係る蓄積処理の手法との組み合わせで用いることで、検索に使用する特徴量の数が少なくて済み、より少ない特徴量を比較することになるために、より精度の高い検索処理を効率良く行うことができるとともに検索速度を向上できる。
【００６３】
また、別の検索処理の手法として、アプリケーションもしくは当該アプリケーションが使用するデバイスの組み合わせをユーザが指定し、同じデバイスの組み合わせに応じてなされた特徴量に対する評価（重み付け）を基にして目的の画像を検索するようにする。このようにすることにより、デバイスの組み合わせに関係なく、単に特徴量を基にして一律に一度に検索する場合よりも検索効率を上げることができるために、効率的に検索結果を示して行くことができる。
【００６４】
一例として、機密情報漏洩の疑いがある原稿がコピーされた原稿であることが分かる場合には、アプリケーションもしくは当該アプリケーションが使用するデバイスの組み合わせとしてスキャナ装置とプリンタ装置の組み合わせをユーザが指定することで、当該組み合わせに対応した特徴量を持つ画像データに検索対象を絞り込むことができるために、検索効率を上げることができる。
【００６５】
［第３実施形態］
図７は、本発明の第３実施形態に係る画像処理装置１０Ｃにおける処理制御部３０Ｃの機能構成を示すブロック図である。
【００６６】
図７に示すように、本実施形態に係る処理制御部３０Ｃは、画像データ蓄積部３２１、ジョブ構成抽出部３２２、検索情報抽出部３２３、検索情報評価部３２４および検索情報蓄積部３２５を有する構成となっている。
【００６７】
画像データ蓄積部３２１は、図２のＨＤＤ３５に相当し、図３の画像データ蓄積部３０１と同様の機能を持つ。具体的には、画像データ入力部２０から入力された画像データを蓄積（記憶）する。ジョブ構成抽出部３２２は、複数のクライアントからの要求をデバイスに割り振って処理を実行する際の最小処理単位・最小課金単位であるジョブや、一つのサービス、アプリケーションを実現するために所定のルールで関連付けられた一つ以上のジョブ（群）であるジョブツリーの構成を取得する。
【００６８】
検索情報抽出部３２３は、図３の検索情報抽出部３０３と同様の機能を持つ。具体的には、例えば、画像データを領域分割した際の各領域の平均輝度、平均色、エッジ量あるいはその分布など、複数の画像特徴量を検索情報として抽出する。画像特徴量を抽出する手法としては、周知の手法を用いることができる。ここでは、画像特徴量の抽出手法は問わないので、その具体的な説明については省略する。
【００６９】
検索情報評価部３２４は、ジョブ・デバイス構成抽出部３２２で取得されたジョブ、ジョブツリーの構成および同一ジョブ、ジョブツリー内の他の画像データから抽出された検索情報を基に検索情報の評価を行う。検索情報蓄積部３２５は、検索情報抽出部３２３で抽出された検索情報を、当該検索情報についての検索情報評価部３１４による評価と共に蓄積する。
【００７０】
以上説明した処理制御部３０Ｃの各構成要素、即ち画像データ蓄積部３２１、ジョブ構成抽出部３２２、検索情報抽出部３２３、検索情報評価部３２４および検索情報蓄積部３２５については、ＰＣのように、所定プログラムを実行することによって情報記憶処理機能、画像処理機能、演算処理機能等を実現するコンピュータ機器を利用して実現することが考えられる。
【００７１】
上記構成の第３実施形態に係る画像処理装置１０Ｃでは、下記（１），（２）の点を特徴とする。
【００７２】
（１）ジョブ構成抽出部３２２によりその構成が分かり、画像データ入力部２０により同一ジョブ、ジョブツリーによって処理されている一連の画像データが入力されているときに、何らかの障害、例えば原稿が傾いたまま入力されたり、原稿が詰まったりするなどの障害により、検索に有効な情報（特徴量）が取得できなかった場合に、検索情報評価部３２４は、これまでに入力された同一ジョブやジョブツリーの画像データから抽出された検索情報の代表値、例えば平均値や中央値をとり、画像データと関連付けて検索情報蓄積部３２５に蓄積する。
【００７３】
（２）ジョブ構成抽出部３２２によりその構成が分かり、画像データ入力部２０により同一ジョブ、ジョブツリーによって処理されている一連の画像データが入力されているときに何らかのアクシデント、例えば原稿が逆向きに入力されるなどのアクシデントにより、ある画像データから取得した検索情報（特徴量）が同一ジョブ、ジョブツリーの他の画像データから取得した検索情報と、同一ジョブ、ジョブツリー内の画像データと識別できない程度に大きく異なっている場合に、検索情報評価部３２４は、抽出した検索情報に加えて、これまでに入力された同一ジョブやジョブツリーの画像データから抽出した検索情報の代表値、例えば平均値や中央値をとり、画像データと関連付けて検索情報蓄積部３２５に蓄積する。
【００７４】
検索する際には、検索情報抽出部３２３は、検索キーとなる画像データから検索情報を抽出し、蓄積した画像データの検索情報と照合して類似した画像データを出力する。付加した検索情報が存在する場合には総て照合し、最も類似度の高かった照合結果を該当する画像データの類似度とする。
【００７５】
次に、上記構成の画像処理装置１０Ｃの処理制御部３０Ｃにおいて、ＣＰＵ３１による制御の下に実行される画像データの蓄積処理の手順の一例について、図８のフローチャートを用いて説明する。ここで説明する検索処理は、上記（１）の特徴に対応したものである。
【００７６】
先ず、画像データ入力部２０から画像データを取り込み（ステップＳ３１）、次いで取り込んだ画像データの画像特徴量、例えば、画像データを領域分割した際の各領域の平均輝度、平均色、エッジ量あるいはその分布など、複数の画像特徴量を検索情報として抽出する（ステップＳ３２）。次に、検索に適切な（有効な）特徴量を取得できたか否かを判断し（ステップＳ３３）、検索に適切な特徴量を取得できたのであれば、検索情報として画像データと関連付けてＨＤＤ３５に蓄積する（ステップＳ３４）。
【００７７】
一方、検索に適切な特徴量を取得できなかった場合は、何らかの障害、例えば原稿が傾いたまま入力されたり、原稿が詰まったりするなどの障害が発生したものと判断し、同一ジョブやジョブツリーから特徴量を取得する（ステップＳ３５）。具体的には、同一ジョブやジョブツリーの画像データおよびその特徴量から、代表的な特徴量（代表値）、例えば平均値や中央値を生成する。そして、この生成した代表的な特徴量を、検索に適切な特徴量を取得できなかった画像データの特徴量として付与し（ステップＳ３６）、しかる後ステップＳ３４に移行して代表的な特徴量を検索情報として画像データと関連付けて蓄積する。
【００７８】
上述したように、本実施形態に係る画像処理装置１０Ｃにおいては、原稿の紙送り時の障害など、何らかの障害により、検索に有効な特徴量を取得できなかった場合、特許請求の範囲の生成手段である検索情報評価部３２４による作用により、同一ジョブやジョブツリーの画像データおよびその特徴量から代表的な特徴量を生成し、検索情報として画像データに付与し、関連付けて蓄積することにより、検索に有効な特徴量を取得できない場合でも、同一ジョブあるいはジョブツリー内という関連性をもった特徴量を付与できるために、検索する際に、目的の原稿もしくはその候補、一緒に出力した原稿等を検索結果として出力することが可能になる。
【００７９】
また、別の蓄積処理の手法として、検索に有効な特徴量を取得できた場合であっても、ある画像データから取得した特徴量が同一ジョブ、ジョブツリーの他の画像データから取得とした特徴量と、同一ジョブ、ジョブツリー内の画像データと識別できない程度に大きく異なっている場合、特許請求の範囲の生成手段である検索情報評価部３２４による作用により、同一ジョブ、ジョブツリーの画像データおよびその特徴量から、代表的な（平均的な）特徴量を付加的に生成し、検索情報として画像データに付与し、関連付けて蓄積するようにする。
【００８０】
このようにすることで、同一ジョブ、ジョブツリー内の画像データについては、特徴量が大きく異なる画像データであっても、特徴量について他の画像データと関連性を持たせることができるために、検索する際に、特徴量が大きく異なる画像データ側からでも、他の画像データ側からでも、目的の原稿もしくはその候補、一緒に出力した原稿等を検索結果として出力することが可能になる。
【００８１】
なお、上記各実施形態では、入出力される総ての画像データについてその特徴量を検索情報として関連付けて処理制御部３０内のＨＤＤ３５に蓄積する場合を例に挙げて説明したが、これに限られるものではなく、図１において、ネットワーク５を介してサーバ４に送信して当該サーバ４内の蓄積部に蓄積する構成を採ることも可能である。
【図面の簡単な説明】
【００８２】
【図１】本発明が適用される画像情報処理システムの一例を示す構成図である。
【図２】本発明による画像処理装置の基本構成を示すブロック図である。
【図３】本発明の第１実施形態に係る画像処理装置における処理制御部の機能構成を示すブロック図である。
【図４】第１実施形態に係る画像処理装置の処理制御部において実行される、画像データの蓄積処理の手順の一例を示すフローチャートである。
【図５】本発明の第２実施形態に係る画像処理装置における処理制御部の機能構成を示すブロック図である。
【図６】第２実施形態に係る画像処理装置の処理制御部において実行される、画像データの検索処理の手順の一例を示すフローチャートである。
【図７】本発明の第３実施形態に係る画像処理装置における処理制御部の機能構成を示すブロック図である。
【図８】第３実施形態に係る画像処理装置の処理制御部において実行される、画像データの蓄積処理の手順の一例を示すフローチャートである。
【符号の説明】
【００８３】
１，２，３…クライアント、４…サーバ、５…ネットワーク、１０，１０Ａ，１０Ｂ，１０Ｃ…画像処理装置、２０…画像データ入力部、３０，３０Ａ，３０Ｂ，３０Ｃ…処理制御部、４０…検索操作部、５０…画像データ出力部、３０１，３１１，３２１…画像データ蓄積部、３０２，３１２…ジョブ・デバイス構成抽出部、３０３，３１３，３２３…検索情報抽出部、３０４，３１４，３２４…検索情報評価部、３０５，３１５，３２５…検索情報蓄積部、３２２…ジョブ構成抽出部
【図１】
2007199797.tif 000003
【図２】
2007199797.tif 000004
【図３】
2007199797.tif 000005
【図４】
2007199797.tif 000006
【図５】
2007199797.tif 000007
【図６】
2007199797.tif 000008
【図７】
2007199797.tif 000009
【図８】
2007199797.tif 000010