(57)【要約】【課題】検索のための前処理を効率化することを目的とする。【解決手段】電子文書から検索のための情報を含む透かし情報を読取る読取り手段と、読取り手段で検索のための情報を含む透かし情報が読取られなかった場合は、検索のための情報として、電子文書から特徴量、又はテキスト情報を抽出する処理を実行し、読取り手段で検索のための情報を含む透かし情報が読取られた場合は、電子文書から特徴量、又はテキスト情報を抽出する処理をスキップする前処理手段と、を有することによって課題を解決する。【選択図】図１
2011139363.tif 000002
【特許請求の範囲】
【請求項１】
電子文書から検索のための情報を含む透かし情報を読取る読取り手段と、
前記読取り手段で検索のための情報を含む透かし情報が読取られなかった場合は、検索のための情報として、前記電子文書から特徴量、又はテキスト情報を抽出する処理を実行し、前記読取り手段で検索のための情報を含む透かし情報が読取られた場合は、前記電子文書から特徴量、又はテキスト情報を抽出する処理をスキップする前処理手段と、
を有する画像形成装置。
【請求項２】
電子文書の画像情報を含むログを生成するログ生成手段と、
前記読取り手段で検索のための情報を含む透かし情報が読取られた場合は、前記透かし情報を、前記読取り手段で検索のための情報を含む透かし情報が読取られなかった場合は、前記前処理手段で抽出された検索のための情報を含む透かし情報を、前記ログ生成手段で生成されたログに含めて、前記ログをデータ処理サーバに送信する送信手段と、
を更に有する請求項１記載の画像形成装置。
【請求項３】
前記読取り手段で検索のための情報を含む透かし情報が読取られた場合は、前記透かし情報を、前記読取り手段で検索のための情報を含む透かし情報が読取られなかった場合は、前記前処理手段で抽出された検索のための情報を含む透かし情報を、前記電子文書に埋め込む埋め込み手段を更に有する請求項１又は２記載の画像形成装置。
【請求項４】
紙媒体の文書を読込み電子文書に変換する読込み手段と、
情報処理装置より電子文書を取得する取得手段と、
を更に有し、
前記ログ生成手段は、前記読込み手段で紙媒体の文書が電子文書に変換された場合は、前記電子文書の画像情報を含むログを生成し、前記取得手段で情報処理装置より電子文書が取得された場合は、前記電子文書の画像情報を含むログを生成し、
前記読取り手段は、前記読込み手段で紙媒体の文書が電子文書に変換された場合は、前記電子文書から検索のための情報を含む透かし情報を読取り、前記取得手段で情報処理装置より電子文書が取得された場合は、前記電子文書から検索のための情報を含む透かし情報を読取る請求項２記載の画像形成装置。
【請求項５】
電子文書から属性情報を取得する属性情報取得手段を更に有し、
前記前処理手段は、前記読取り手段で検索のための情報を含む透かし情報が読取られず、かつ、前記属性情報取得手段で検索のための情報を含む属性情報が取得されなかった場合は、検索のための情報として、電子文書から特徴量、又はテキスト情報を抽出する処理を実行し、前記読取り手段で検索のための情報を含む透かし情報が読取られた場合及び前記属性情報取得手段で検索のための情報を含む属性情報が取得された場合は、前記電子文書から特徴量、又はテキスト情報を抽出する処理をスキップする請求項１乃至４何れか１項記載の画像形成装置。
【請求項６】
電子文書から検索のための情報を含む透かし情報を読取る読取り手段と、
前記読取り手段で検索のための情報を含む透かし情報が読取られなかった場合は、検索のための情報として、前記電子文書から特徴量、又はテキスト情報を抽出する処理を実行し、前記読取り手段で検索のための情報を含む透かし情報が読取られた場合は、前記電子文書から特徴量、又はテキスト情報を抽出する処理をスキップする前処理手段と、
を有する情報処理装置。
【請求項７】
電子文書に関するジョブを実行し、電子文書の画像情報を含むログを生成するログ生成手段と、
前記読取り手段で検索のための情報を含む透かし情報が読取られた場合は、前記透かし情報を、前記読取り手段で検索のための情報を含む透かし情報が読取られなかった場合は、前記前処理手段で抽出された検索のための情報を含む透かし情報を、前記ログ生成手段で生成されたログに含めて、前記ログをデータ処理サーバに送信する送信手段と、
を更に有する請求項６記載の情報処理装置。
【請求項８】
前記読取り手段で検索のための情報を含む透かし情報が読取られた場合は、前記透かし情報を、前記読取り手段で検索のための情報を含む透かし情報が読取られなかった場合は、前記前処理手段で抽出された検索のための情報を含む透かし情報を、前記電子文書に埋め込む埋め込み手段を更に有する請求項６又は７記載の情報処理装置。
【請求項９】
前記埋め込み手段で検索のための情報を含む透かし情報を埋め込まされた電子文書を画像形成装置に送信する電子文書送信手段を更に有する請求項８記載の情報処理装置。
【請求項１０】
前記前処理手段は、前記読取り手段で検索のための情報を含む透かし情報が読取られず、かつ、前記電子文書に検索のための情報を含む属性情報が付加されていなかった場合は、検索のための情報として、前記電子文書から特徴量、又はテキスト情報を抽出し、
前記埋め込み手段は、前記読取り手段で検索のための情報を含む透かし情報が読取られた場合は、前記透かし情報を、前記読取り手段で検索のための情報を含む透かし情報が読取られず、かつ、前記電子文書に検索のための情報を含む属性情報が付加されていなかった場合は、前記前処理手段で抽出された検索のための情報を含む透かし情報を、前記電子文書に埋め込み、
前記電子文書送信手段は、前記埋め込み手段で検索のための情報を含む透かし情報を埋め込まされた電子文書及び前記電子文書に検索のための情報を含む属性情報が付加されていた電子文書を画像形成装置に送信する請求項９記載の情報処理装置。
【請求項１１】
画像形成装置及び情報処理装置の何れか又は双方より電子文書の画像情報を含むログを受信するログ受信手段と、
前記ログ受信手段で受信されたログに透かし情報が含まれていない場合は、検索のための情報として、前記画像情報から特徴量、又はテキスト情報を抽出する処理を実行し、前記ログ受信手段で受信されたログに透かし情報が含まれていた場合は、前記画像情報から特徴量、又はテキスト情報を抽出する処理をスキップする前処理手段と、
を有するデータ処理サーバ。
【請求項１２】
画像形成装置が実行する情報処理方法であって、
電子文書から検索のための情報を含む透かし情報を読取る読取りステップと、
前記読取りステップで検索のための情報を含む透かし情報が読取られなかった場合は、検索のための情報として、前記電子文書から特徴量、又はテキスト情報を抽出する処理を実行し、前記読取りステップで検索のための情報を含む透かし情報が読取られた場合は、前記電子文書から特徴量、又はテキスト情報を抽出する処理をスキップする前処理ステップと、
を有する情報処理方法。
【請求項１３】
情報処理装置が実行する情報処理方法であって、
電子文書から検索のための情報を含む透かし情報を読取る読取りステップと、
前記読取りステップで検索のための情報を含む透かし情報が読取られなかった場合は、検索のための情報として、前記電子文書から特徴量、又はテキスト情報を抽出する処理を実行し、前記読取りステップで検索のための情報を含む透かし情報が読取られた場合は、前記電子文書から特徴量、又はテキスト情報を抽出する処理をスキップする前処理ステップと、
を有する情報処理方法。
【請求項１４】
データ処理サーバが実行する情報処理方法であって、
画像形成装置及び情報処理装置の何れか又は双方より電子文書の画像情報を含むログを受信するログ受信ステップと、
前記ログ受信ステップで受信されたログに透かし情報が含まれていない場合は、検索のための情報として、前記画像情報から特徴量、又はテキスト情報を抽出する処理を実行し、前記ログ受信ステップで受信されたログに透かし情報が含まれていた場合は、前記画像情報から特徴量、又はテキスト情報を抽出する処理をスキップする前処理ステップと、
を有する情報処理方法。
【請求項１５】
コンピュータを、
電子文書から検索のための情報を含む透かし情報を読取る読取り手段と、
前記読取り手段で検索のための情報を含む透かし情報が読取られなかった場合は、検索のための情報として、前記電子文書から特徴量、又はテキスト情報を抽出する処理を実行し、前記読取り手段で検索のための情報を含む透かし情報が読取られた場合は、前記電子文書から特徴量、又はテキスト情報を抽出する処理をスキップする前処理手段と、
して機能させるプログラム。
【請求項１６】
コンピュータを、
画像形成装置及び情報処理装置の何れか又は双方より電子文書の画像情報を含むログを受信するログ受信手段と、
前記ログ受信手段で受信されたログに透かし情報が含まれていない場合は、検索のための情報として、前記画像情報から特徴量、又はテキスト情報を抽出する処理を実行し、前記ログ受信手段で受信されたログに透かし情報が含まれていた場合は、前記画像情報から特徴量、又はテキスト情報を抽出する処理をスキップする前処理手段と、
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置、情報処理装置、データ処理サーバ及び情報処理方法に関する。
【背景技術】
【０００２】
画像形成装置やユーザＰＣにおけるジョブ履歴とコンテンツ（画像情報、テキスト情報等）の履歴（以下、「コンテンツ履歴」と呼ぶ。）とを収集しデータベースに保存管理し、後から内容を参照する画像履歴監査システムがある。画像履歴監査システムを利用することで、管理者等は、誰が・いつ・どこで・どのような内容を・どのように処理（コピー、ＦＡＸ、プリント、スキャン、ＳＥＮＤ等。以下、「ジョブ」と呼ぶ。）したのか後から監査することができる。したがって、オフィス内で取り扱われる機密情報がデバイスを通して漏洩することを抑止できる。
監査にあたっては、管理人等は、ジョブ履歴やコンテンツ履歴に対する検索を行うことで、大量の履歴情報から情報漏えいの疑われるジョブを探し出す。画像履歴監査システムは、検索を、画像情報とテキスト情報とに対しても行うことができる。
画像での検索（以下、「画像検索」とも呼ぶ。）を行うため、画像履歴監査システムは、ジョブにかかる画像から特徴量を抽出し履歴と一緒にデータベースへ登録する。画像履歴監査システムは、テキストでの検索（以下、「全文検索」とも呼ぶ。）を、ジョブにかかる画像からＯＣＲ処理によって得たテキストをデータベースへ登録して実現する。特徴量の抽出処理、並びにＯＣＲ処理は、データ処理サーバで履歴情報を登録する前段階の処理（以下、「前処理」と呼ぶ。）として行う。ジョブ数が多い場合、大量の前処理を行うためデータ処理サーバの台数を増やす必要がある。しかしデータ処理サーバの台数増加はシステムコストの上昇につながるため、これらの前処理を効率的に行えるようにすることが求められている。
ところで画像に埋め込まれている隠し情報を画像から分離し、画像情報と対応付けてログ保存するシステムが提案されている（特許文献１参照）。元画像に埋め込まれた隠し情報は、画像情報としてログに保存することで消失する場合がある。そこで前記システムは、分離した隠し情報を画像情報とは別に保存し、情報消失の影響を少なくする。検索や閲覧の制限に関する隠し情報を別途保存するので、前記システムでは、元画像に対するアクセス制限に加えて、ログ保存した画像情報に対しても同様のアクセス制御を実現する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１４６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
検索や閲覧の制御情報を隠し情報として画像に埋め込んでおく考え方は、従来技術に見られる。しかしながら、画像検索や全文検索を行うために必要な情報を、予め画像に埋め込んでおく考え方については開示がない。従来技術は、ログ保存された画像情報の検索や閲覧の制限はできるが、その隠し情報に検索のための情報が無いため検索はできない。よって、検索のための情報を改めて画像から抽出する処理が、ジョブ毎に常に必要なため、前述した前処理を効率化することはできない問題があった。
【０００５】
本発明はこのような問題点に鑑みなされたもので、検索のための前処理を効率化することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明の画像形成装置は、電子文書の画像情報を含むログを生成するログ生成手段と、前記電子文書から検索のための情報を含む透かし情報を読取る読取り手段と、前記読取り手段で検索のための情報を含む透かし情報が読取られなかった場合、検索のための情報として、前記電子文書から特徴量、又はテキスト情報を抽出する前処理手段と、前記読取り手段で検索のための情報を含む透かし情報が読取られた場合は、前記透かし情報を、前記読取り手段で検索のための情報を含む透かし情報が読取られなかった場合は、前記前処理手段で抽出された検索のための情報を含む透かし情報を、前記ログ生成手段で生成されたログに含めて、前記ログを送信する送信手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、検索のための前処理を効率化することができる。
【図面の簡単な説明】
【０００８】
【図１】画像履歴監査システムのネットワーク構成図である。
【図２】画像履歴監査システムを構成しているサーバ並びにＰＣのハードウエア構成を示した図である。
【図３】画像履歴監査システムを構成している画像形成装置のハードウエア構成を示した図である。
【図４】画像形成装置のソフトウエアモジュール構成を示した図である。
【図５】ユーザＰＣのソフトウエアモジュール構成を示した図である。
【図６】データ処理サーバのソフトウエアモジュール構成を示した図である。
【図７】画像形成装置若しくはユーザＰＣでのログ生成処理の流れを説明したフローチャートである。
【図８】データ処理サーバにおけるログ登録処理の流れを説明したフローチャートである。
【図９】画像履歴監査システムにおける文書パターンと処理態様とについて示した図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
＜実施形態１＞
図１は、画像履歴監査システムのネットワーク構成図である。
画像履歴監査システムは、画像形成装置１０１、ユーザＰＣ１０２、データ処理サーバ１０３、データサーバ１０４、検索サーバ１０５、並びにログ監査ＰＣ１０６がネットワーク１００に接続されている。ネットワークは、社内で運用されるＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネット越しに広範囲に運用されるＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）である。画像履歴監査システムは、これらネットワークとネットワークに接続した各装置、ＰＣ、サーバによって構成される。
図１において、画像形成装置１０１にはネットワーク機能、スキャン機能、プリンタ機能、ファイルサーバ機能等が備わっており、これらの機能が複合的に動作して複写機やプリンタとして動作する。また、画像形成装置１０１には、履歴収集のためのエージェント機能が備わっている。エージェント機能は、ユーザが画像形成装置１０１で行ったコピーやＦＡＸ送信等といったジョブに関して、デバイスが取得したそのジョブ履歴やコンテンツ履歴を、データ処理サーバ１０３へ転送処理する。
【００１１】
ジョブ履歴には、ユーザを実行したジョブの種類、そのユーザ名、日時、ジョブを生成した装置名等といった情報が含まれている。また、コンテンツ履歴とは、ジョブ実行に伴って入力された、或いは出力された画像情報、又はテキスト情報等である。
ユーザＰＣ１０２は、エンドユーザが業務で使用するＰＣであり、情報処理装置とも呼ぶ。一般的にユーザＰＣ１０２では、電子文書の作成やメールの送受信、ＷＥＢブラウザを利用してＬＡＮやインターネットへアクセスすることができる。ユーザＰＣには所定のプリンタに印刷を実行するための印刷ドライバが設置されている。ユーザは、ユーザＰＣ１０２で電子文書を開き、所定のプリンタへ印刷することができる。
印刷ドライバには、印刷時にジョブ履歴とコンテンツ履歴を取得する機能が備わっている。また、ユーザＰＣ１０２には、履歴情報をデータ処理サーバ１０３へ送信する機能が備わっている。
なお、不図示のプリントサーバを設置し、ユーザＰＣ１０２からの印刷をプリントサーバ経由で実施する場合がある。この場合、履歴情報をデータ処理サーバ１０３へ送信する機能はプリントサーバに配置する。
【００１２】
データ処理サーバ１０３は、履歴情報に対するデータ処理とデータベースへのデータ登録の処理とを行う。データ処理には、画像情報の解像度変換、フォーマット変換、データ圧縮が含まれる。更に、データ処理には、画像検索のための特徴量抽出処理や全文検索のためのＯＣＲ処理が含まれる。
また、画像履歴監査システムにおいて、データ処理サーバ１０３は、多数の画像形成装置１０１及びユーザＰＣ１０２からの接続負荷やデータサーバ１０４へのデータ登録負荷を分散処理する目的も有している。画像形成装置１０１やユーザＰＣ１０２が少ない場合は、データ処理サーバ１０３への接続負荷等が少ないため、データサーバ１０４上にデータ処理サーバ１０３の機能を同居させ、サーバ台数を削減することも可能である。
データサーバ１０４は、データベースと大容量ストレージ（不図示）とを備えており履歴情報を一元的に管理する。データベースは、固有のテーブル構造を持つデータテーブルを一つ以上備えており、ジョブ履歴、コンテンツ履歴、特徴量、テキスト情報、システム管理情報を保持し、管理している。
データ処理サーバ１０３がデータサーバ１０４へ履歴情報を登録するにあたっては、ＯＤＢＣ（Ｏｐｅｎ  ＤａｔａＢａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ）やその他のデータアクセスプロバイダを使用する。
【００１３】
検索サーバ１０５は、データサーバ１０４で管理されている履歴情報を検索する機能を提供している。検索サーバ１０５は、ＷＥＢサーバ機能を備えている。監査者は、ログ監査ＰＣ１０６のＷＥＢブラウザを使用して検索サーバ１０５へアクセスし、履歴の検索と閲覧を行うことができる。検索機能には、ジョブ履歴を検索する機能（属性検索）、コンテンツ履歴を画像で検索する機能（画像検索）、並びにコンテンツ履歴をテキストで検索する機能（全文検索）が備わっている。検索サーバ１０５は、これらの検索機能を複合的に組み合わせて検索することもできる。
ログ監査ＰＣ１０６は、監査者が履歴情報を監査する目的で使用するＰＣである。ＷＥＢブラウザが備わっている。監査者は、ＷＥＢブラウザを使用して検索サーバ１０５へアクセスし、履歴情報の検索を実行する。監査者は、機密情報に関するキーワードや画像を指定してジョブ履歴を検索し、該機密情報のジョブ履歴を監査することができる。
ところで画像検索に使用される特徴量とは、画像の色に関する特徴、形に関する特徴（エッジ情報）、並びに輝度に関する特徴をそれぞれ定量的に表現したものである。コンテンツ履歴をデータサーバ１０４へ登録するとき、データ処理サーバ１０３で画像情報から既知のアルゴリズムによって特徴量が抽出される。
画像検索は、ログ監査ＰＣ１０６で検索したい画像をクエリ画像として与えることで実施される。クエリ画像は、検索サーバ１０５へアップロードされる。検索サーバ１０５では、クエリ画像から特徴量を抽出し、データサーバ１０４に登録されている特長量と所定の演算処理を行う。演算処理の結果は、クエリ画像との類似度として得られる。検索サーバ１０５は、検索結果に類似度を付与してＷＥＢページを生成する。監査者は、ログ監査ＰＣ１０６のＷＥＢブラウザを通して、このＷＥＢページを参照する。
【００１４】
図２は、画像履歴監査システムを構成しているサーバ並びにＰＣのハードウエア構成を示した図である。図２において、ＣＰＵ２０１は、ジョブ履歴取得に関する各種データ処理や検索のための演算処理を行い、ＢＵＳ２０８に接続された各構成要素を制御する。
ＲＯＭ２０２は、データ読出し専用のメモリである。コンピュータ２００の基本制御プログラムが格納されている。ＲＡＭ２０３は、データ読み書き用のメモリである。ＣＰＵ２０１の各種演算処理やデータの一時記憶用に用いられる。外部記憶装置２０６は、コンピュータ２００のオペレーティングシステム（ＯＳ）のシステムプログラム、並びに画像履歴監査システムのプログラムやデータ処理中の一時記憶領域として用いられる。ＲＡＭ２０３に比べてデータの入出力は遅いが、大容量のデータを保持することが可能である。所謂磁気記憶装置（ＨＤＤ）が主としてこれに該当し、更にＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードといった外部メディアを接続して、データの読込みや記録を行う装置も含まれる。
入力装置２０４は、コンピュータ２００に文字やデータを入力する。各種のキーボードやマウス等が該当する。表示装置２０５は、コンピュータ２００の処理結果を表示する。ＣＲＴないしは液晶モニタ等がこれに該当する。通信装置２０７は、ＬＡＮに接続してＴＣＰ／ＩＰによるデータ通信を行い、他のコンピュータと相互に通信を行う場合に使用される。
【００１５】
図３は、画像履歴監査システムを構成している画像形成装置のハードウエア構成を示した図である。図３において、ＣＰＵ３０１は、ジョブ処理に関する各種データ処理は制御のための演算を行い、ＢＵＳ３１０に接続された各構成要素を制御する。
ＲＯＭ３０２は、データ読み出し専用のメモリである。画像形成装置３００の基本制御プログラムが格納されている。ＲＡＭ３０３は、データ読み書き用のメモリである。ＣＰＵ３０１の演算処理やデータの一時記憶等に用いられる。外部記憶装置３０６は、画像形成装置３００の制御プログラム等の記憶領域として使用される。
操作部３０４は、画像形成装置３００の操作を行う各種ボタンとその制御機構である。表示部３０５は、ＬＣＤ等から構成され、操作部３０４から入力した値を表示したり、画像形成装置３００の状態を表示したりする。通信部３０７は、ローカルエリアネットワークケーブルや電話回線を接続し、ＴＣＰ／ＩＰによるネットワーク通信やＦＡＸ通信を行う。
プリンタ３０８は、印刷ユニットであり、所定のＰＤＬ情報を画像情報に変換し更に画像情報を紙媒体へ印刷する機構を備える。スキャナ３０９は、スキャナユニットであり紙媒体をスキャンし画像情報を取得する。
【００１６】
図４は、画像形成装置のソフトウエアモジュール構成を示した図である。図４において、スキャナ制御部４０１は、スキャナ３０９を制御するソフトウエアモジュールである。プリンタ制御部４０５は、プリンタ３０８を制御するソフトウエアモジュールである。
ジョブ管理部４０２は、コピー、ＦＡＸ、プリント、スキャン、ＳＥＮＤ等の各種ジョブの実行を制御し管理する。例えば、コピージョブは、スキャナ３０９で紙原稿から画像情報を取得し所定の画像処理を行った後、プリンタ３０８で紙媒体へ印刷する複合的な処理である。ジョブ管理部４０２は、コピージョブを生成しこれら一連の複合的な処理をコピージョブとして制御し管理する。
デバイスログ生成部４０７は、ジョブ実行に伴うジョブ履歴及びコンテンツ履歴を生成する。例えばスキャンジョブの場合、デバイスログ生成部４０７は、スキャンジョブに関連する属性情報をジョブ履歴として生成し、スキャナ３０９で読取った画像情報をコンテンツ履歴として生成する。ジョブ履歴には、ジョブの種類としてスキャンジョブが指定され、この他にユーザ名、ジョブ実行日時、ジョブ実行デバイス名、文書名等も記録される。
デバイスログ転送部４０６は、ジョブ履歴及びコンテンツ履歴を、ネットワーク１００を経由してデータ処理サーバ１０３へ送信し、データベースへ登録するための制御を行う。デバイスログ転送部４０６は、履歴情報の転送制御、通信エラー時のリトライ制御、各種の設定情報をデータベースから取得する処理も行う。
【００１７】
デバイス透かし処理部４０３は、紙原稿に埋め込まれている透かし情報を読み出す処理と、画像情報を紙媒体へ印刷する時に透かし情報を埋め込む処理と、をそれぞれ制御する。画像履歴監査システムで使用する透かし技術は、可視、不可視を問わず、画像へ情報を重畳するために使用される。また、画像履歴監査システムの透かし情報は、検索を実行するために使用される情報を含んでいる。画像検索のための特徴量と、全文検索のためのＯＣＲ結果、即ちテキスト情報と、である。なお、透かし情報の読み取りと埋め込みに関する処理とは、既知の技術によって行われる。
デバイス前処理部４０４は、特徴量を画像から抽出する処理とＯＣＲによってテキスト情報を取得する処理とを実行する。画像形成装置は、特徴量及びテキスト情報はジョブ履歴やコンテンツ履歴と関連付けてデータ処理サーバ１０３へ転送し、登録する。履歴情報の登録前の処理であることから、前処理としている。
デバイス前処理部４０４は、デバイス透かし処理部４０３で読み出した透かし情報が検索のための情報かどうかを判断する機構を備えている。判断の結果、検索のための情報が読み出せた場合は、デバイス前処理部４０４は特徴量を抽出する処理とＯＣＲ処理とをスキップする。検索のための情報が読み出せなかった場合は、デバイス前処理部４０４は、これらの処理を実行する。
なお、デバイス前処理部４０４は、透かし情報として埋め込まれた情報が検索のための情報であるかどうかの判断に、フラグを用いる。画像に埋め込む透かし情報には、検索のための情報自体と埋め込まれた情報が検索のための情報であることを意味するフラグとが追加される。したがって、デバイス前処理部４０４は、前記フラグを判断して読み出した透かし情報が検索のための情報かどうかを判断することができる。
【００１８】
図５は、ユーザＰＣのソフトウエアモジュール構成を示した図である。図５において、印刷ドライバ５０１は、アプリケーションの指示によって電子文書からプリンタ用の印刷データを生成する。ユーザＰＣで生成された印刷データは、印刷ドライバ５０１の指示によって、ネットワーク１００を経由してプリンタへ送信される（電子文書送信）。ユーザＰＣで生成された印刷データは、例えば、画像形成装置１０１のプリンタ３０８で印刷することもできる。
ＰＣログ生成部５０５は、印刷ジョブに伴うジョブ履歴及びコンテンツ履歴を生成する。ユーザＰＣにおける印刷ジョブなので、ジョブ履歴に指定されるユーザ名は、ユーザＰＣへのログイン認証によって識別されるユーザ名が割り当てられる。また、ジョブ実行デバイス名については、ユーザＰＣのコンピュータ名が指定される。この他、ユーザＰＣのＩＰアドレスやＭＡＣアドレス、ドメイン名等もジョブ履歴の中に指定される。
生成された履歴情報は、ＰＣログ転送部５０４によってデータ処理サーバ１０３へ転送され登録される。
ＰＣ透かし処理部５０２は、電子ファイルとして保持されている画像情報に重畳されている透かし情報を読み出す処理と、画像情報を紙媒体へ印刷するときに透かし情報を埋め込む処理と、をそれぞれ制御する。
更にＰＣ透かし処理部５０２は、電子ファイルとして作成された文書に付与されている属性情報を読み出す処理について制御する。本実施形態の画像履歴監査システムでは、文書に付与された属性情報に保持されている検索のための情報を読み取ることができる。
【００１９】
ＰＣ前処理部５０３は、デバイス前処理部４０４と同様の機能を備えている。印刷を実行時、文書属性に検索のための情報が無い場合は、ＰＣ前処理部５０３は、特徴量の抽出処理とＯＣＲ処理とを実行し検索のための情報を生成する。続けて、ＰＣ透かし処理部５０２は、検索のための情報を画像に埋め込む処理を実行する。印刷ドライバ５０１は、透かし情報が埋め込まれた画像の印刷データを生成する。
印刷処理は、電子文書を編集・閲覧するアプリケーションソフトの処理プロセス内で実行される。したがって、ＰＣログ生成部５０５、ＰＣ透かし処理部５０２、ＰＣ前処理部５０３は、印刷ドライバ５０１が動作するタイミングで印刷を実行するソフトウエアプロセスの中で動作する。一方、履歴情報の転送処理は印刷処理とは異なるタイミングで実行してよい。このため、ＰＣログ転送部５０４は、印刷を実行するソフトウエアプロセスとは別のプロセスとして動作している。
文書属性処理部５０６は、ＰＣ前処理部５０３で抽出した特徴量とテキスト情報とを、文書に属性情報として検索のための情報を付与する。文書属性処理部５０６は、文書を編集・閲覧するアプリケーションソフトと連携して動作するが、独立したアプリケーションとして動作させることも可能である。前もって検索に関する情報を電子文書に付与することで、印刷時の負荷を軽減することができる。
【００２０】
図６は、データ処理サーバ１０３のソフトウエアモジュール構成を示した図である。図６において、ログ受信部６０１は、デバイスログ転送部４０６及びＰＣログ転送部５０４の何れか又は双方から送信される履歴情報や検索のための情報等を受信する。情報の受信はＷＥＢサービスによるデータ転送を想定した設計にすることで、ファイアウォールやルータを越えて通信できるようになっている。本実施形態ではＳＯＡＰ（Ｓｉｍｐｌｅ  Ｏｂｊｅｃｔ  Ａｃｃｅｓｓ  Ｐｒｏｔｏｃｏｌ）を利用しているものとして説明を行う。
ジョブ履歴及びコンテンツ履歴は、デバイスログ生成部４０７、又はＰＣログ生成部５０５においてジョブ単位で生成される。ジョブ履歴やコンテンツ履歴は、ジョブの実行に伴って生成する情報だからである。これら情報の転送もジョブ単位で実行される。デバイスログ転送部４０６、並びにＰＣログ転送部５０４は、ジョブ単位で情報の送受信を制御する。情報の送受信が完了した後、デバイスログ転送部４０６、並びにＰＣログ転送部５０４は、画像形成装置１０１及びユーザＰＣ１０２の記憶領域から情報を削除する。受信された情報は、データ処理サーバ１０３の外部記憶装置２０６に一時的に保存する。
ジョブ履歴、コンテンツ履歴、並びに検索のための情報は、将来のシステム拡張に対応できるようデータ構造は拡張可能となっている。検索のための情報は、特徴量とテキスト情報の他に、テキスト情報から得た検索インデックス情報も含められる。しかしテキスト情報はコンテンツ履歴として送信できる。そのため、テキスト情報をコンテンツ履歴として送信する場合は、検索のための情報にテキスト情報は含めないよう制御される。
【００２１】
ログ解析部６０２は、受信した情報を解析する。ログ解析部６０２は、ジョブ履歴、コンテンツ履歴に加え、検索のための情報が含まれているかどうかを解析する。サーバ前処理部６０３の処理工程をスキップするか否かを判断するためである。
サーバ前処理部６０３は、画像情報から特徴量を抽出する処理と、ＯＣＲによるテキスト情報の抽出処理と、を備える。特徴量は画像検索のために使用される。テキスト情報は、画像情報に含まれる文字情報をコンピュータが判別できる文字情報として取り扱えるようにするためのものである。テキスト情報は、全文検索でも利用される。サーバ前処理部６０３の処理は、データ処理サーバ１０３に一時的に保存されたコンテンツ履歴に対してジョブ単位で実行される。
データ登録部６０４は、データサーバ１０４が管理するデータベースへ、ジョブ履歴、コンテンツ履歴、並びに検索のための情報等を登録する。データベースへの登録処理は、ＯＤＢＣや、データベース固有のデータベースアクセスプロバイダが使用できるように構成されている。
【００２２】
図７は、画像形成装置１０１若しくはユーザＰＣ１０２でのログ生成処理の流れを説明したフローチャートである。ユーザが画像形成装置１０１に原稿をセットし操作パネルでコピーやスキャン等のジョブを実行する。或いはユーザＰＣ１０２で文書作成等のアプリケーションソフトから印刷を実行する。図７のログ生成フローはこれらジョブ実行に伴って開始される（Ｓ７０１）。ジョブ実行は、ジョブ管理部４０２、又は印刷ドライバ５０１によって管理・制御される。原稿読み取りを伴うジョブの場合、スキャナ制御部４０１は、ジョブ管理部４０２の制御のもと、原稿をスキャンし画像情報を取得する。画像情報は、記憶装置に保持され、ジョブの出力結果に供される。
ジョブ実行とログ生成とは、ジョブ処理パフォーマンスとログ取得によるセキュリティ確保との両視点において、それぞれの処理を同期させてもよいし、ユーザの判断で処理を別プロセスで異なるタイミングで実行させることもできる。
デバイスログ生成部４０７又はＰＣログ生成部５０５は、ジョブ単位でログ生成を行う（Ｓ７０２）。ここでログとは、ジョブ履歴とコンテンツ履歴とである。デバイスログ生成部４０７は、ジョブ管理部４０２からジョブ履歴を生成し記憶装置に保持する。コンテンツ履歴は、取得した画像情報をジョブ履歴に紐付けて保持する。デバイスログ生成部４０７又はＰＣログ生成部５０５は、コンテンツ履歴をジョブ履歴に紐付けるために、ジョブ画像をユニークに識別するジョブ画像ＩＤを生成し、画像情報のファイル名に割り当てる。更に、デバイスログ生成部４０７又はＰＣログ生成部５０５は、ジョブ履歴の一部にもジョブ画像ＩＤを保持させる。
【００２３】
デバイス透かし処理部４０３又はＰＣ透かし処理部５０２は、画像情報から透かしを読取る（Ｓ７０３）。透かし情報は、例えば原稿画像の背景に微細なドッド模様を重畳された形で埋め込まれている。デバイス透かし処理部４０３又はＰＣ透かし処理部５０２は、ドット模様の特徴を識別して、埋め込まれた情報を復元する。透かし情報には、少なくとも特徴量とテキスト情報とが含まれるため、復元する処理では、これら情報を読取る処理まで行われる。
なお、ＰＣ透かし処理部５０２は、文書の属性情報を読取る機能も有しており、透かし情報の判別と同時に文書属性の読取りも行う。この場合、特徴量やテキスト情報は文書属性に保持されている。
Ｓ７０３によって、特徴量或いはテキスト情報の有無が判断できるようになる。まず、デバイス前処理部４０４又はＰＣ前処理部５０３は、特徴量が読取れたかどうかを判断する（Ｓ７０４）。特徴量があった場合は、デバイス前処理部４０４又はＰＣ前処理部５０３は、特徴量を抽出する工程（Ｓ７０５）をスキップする。テキスト情報の有無を判断する工程（Ｓ７０６）では、デバイス前処理部４０４又はＰＣ前処理部５０３は、テキスト情報が読取れたかを判断する（Ｓ７０７）。テキスト情報があった場合は、デバイス前処理部４０４又はＰＣ前処理部５０３は、更にテキスト情報を抽出する工程（Ｓ７０７）をスキップする。そして、デバイス透かし処理部４０３又はＰＣ透かし処理部５０２は、透かし埋め込み工程Ｓ７０８を実行する。
【００２４】
Ｓ７０４において、特徴量がなかった場合、デバイス前処理部４０４又はＰＣ前処理部５０３は、Ｓ７０５へ遷移する。Ｓ７０５は、画像の特徴を識別するための数値を抽出する処理工程である。Ｓ７０５はデバイス前処理部４０４又はＰＣ前処理部５０３によって実行される。Ｓ７０５は、ページ画像中の画像領域ごとに実行される。例えば、２ページの文書で画像領域が１ページ目に２個、２ページ目に５個ある場合、Ｓ７０５は、１ページ目に２回、２ページ目に５回行われる。抽出された特徴量は、コンテンツ履歴に関連付けられて保持される。
Ｓ７０６において、テキスト情報が無かった場合、デバイス前処理部４０４又はＰＣ前処理部５０３は、Ｓ７０７へ遷移する。Ｓ７０７は、既知のＯＣＲ技術によって画像情報からテキスト情報を取得する処理工程である。Ｓ７０７は、デバイス前処理部４０４又はＰＣ前処理部５０３によって実行される。
なお、特徴量とテキスト情報とは何れか一方のみが透かし情報として埋め込まれている場合がありうる。したがって、Ｓ７０５と、Ｓ７０７とは別々に実行できるようなフローになっている。また、これらの処理は互いに独立しているため、Ｓ７０７をＳ７０５よりも先に実行できるように実装してもよい。
【００２５】
Ｓ７０８は、出力する画像へ透かし情報を埋め込む工程である。Ｓ７０８は、デバイス透かし処理部４０３又はＰＣ透かし処理部５０２によって実行される。画像形成装置１０１が出力する画像としては、例えば、コピーやプリントにより紙媒体へ画像を記録し出力する等がある。また、画像形成装置１０１が出力する画像としては、例えば、メールに画像情報を添付して送信、或いはＦＡＸ受信の出力等がある。
紙媒体へ出力される場合、検索のための情報は透かし情報として画像に重畳して印刷出力される。検索のための情報は、デバイス前処理部４０４やＰＣ前処理部５０３で生成したものと、予め入力した画像情報の透かし情報から読取ったものと、がある。
Ｓ７０９は、ジョブ履歴、コンテンツ履歴、検索のための情報等をデータ処理サーバ１０３へ送信する処理工程である。Ｓ７０９は、デバイスログ転送部４０６、又はＰＣログ転送部５０４によって実行される。
【００２６】
Ｓ７０９によって送信された情報は、データ処理サーバ１０３のログ受信部６０１で受信される。図８は、データ処理サーバ１０３におけるログ登録処理の流れを説明したフローチャートである。履歴・透かし情報はジョブ単位で生成されるため、図８に示すログ登録処理もジョブ単位で行われる（Ｓ８０１）。なお、ログ受信部６０１での履歴・透かし情報の受信処理と、図８に示す登録処理と、は並列処理にすることができ、並列処理の方が効率もよい。
Ｓ８０２において、ログ解析部６０２は、受信されたデータに透かし情報が含まれているかの確認を行う。ログ解析部６０２は、受信された履歴・すかし情報に検索のための情報が含まれているかどうかを判別する。ログ受信部６０１が受信する情報は、ＸＭＬ等で定義された規定のフォーマットで通信される。そのため、ログ解析部６０２は、このデータフォーマットを認識することで受信したデータの種類を判別することができるようになっている。
検索のための情報は、特徴量とテキスト情報とであり、ログ解析部６０２によってこれらは別々に判別される。Ｓ８０３において、サーバ前処理部６０３は、ログ解析部６０２による解析の結果に基づき、特徴量が受信したデータに含まれているかどうかは識別し、含まれている場合はＳ８０４をスキップする。一方、特徴量が含まれていない場合、サーバ前処理部６０３は、受信された履歴情報から特徴量を抽出するＳ８０４へ移行する。
Ｓ８０４において、サーバ前処理部６０３は、画像の特徴を識別するための数値を抽出する。サーバ前処理部６０３は、抽出した特徴量をジョブ履歴やコンテンツ履歴に紐付けて保持する。
【００２７】
Ｓ８０５において、サーバ前処理部６０３は、受信されたデータにテキスト情報が含まれているかどうかを、受信データのフォーマットを基に識別する。ログ解析部６０２は、テキスト情報が含まれる場合は、Ｓ８０６の処理をスキップし、含まれない場合は、Ｓ８０６に遷移する。Ｓ８０６において、サーバ前処理部６０３は、既知のＯＣＲ技術によってログに含まれる画像情報からテキスト情報を取得する
Ｓ８０７において、データ登録部６０４は、受信されたジョブ履歴、コンテンツ履歴、検索のための情報として特徴量及びテキスト情報をデータサーバ１０４が管理するデータベースへ登録する。登録が完了すると、データ処理サーバ１０３におけるジョブに対するログ情報の処理が終了し、次のジョブデータについて登録処理が進行する。
ところで、画像履歴監査システムにおいて、データ処理サーバ１０３のサーバ前処理部６０３の処理は、必ずスキップされる。画像形成装置１０１、若しくはユーザＰＣ１０２において予め検索に関する情報が取得されるからである。したがって、従来は履歴情報を登録するたびに行っていたＳ８０４並びにＳ８０６は何れもスキップされる。よってデータ処理サーバ１０３の処理負荷は格段に軽減する。
データ処理サーバ１０３がサーバ前処理部６０３を備えているのは、画像形成装置１０１やユーザＰＣ１０２以外のデバイスからジョブ履歴やコンテンツ履歴を受信する場合に備えたものである。
【００２８】
図９は、画像履歴監査システムにおける文書パターンと処理態様とについて示した図である。図９において、パターンＡは、文書が紙媒体であり、透かし情報が付与されていない文書である。画像形成装置１０１でコピー、スキャンすると、検索のための情報がないためＳ７０５が実行される。
パターンＢは、文書が紙媒体であり、既に透かし情報が付与されている文書である。画像形成装置１０１でコピー、スキャンすると、検索のための情報があるために一連の前処理はスキップされる。本実施形態に係る画像形成装置１０１及びユーザＰＣ１０２を配置することで、オフィス内の文書は次第にパターンＢの文書が流通するようになる。この結果、データ処理サーバ１０３の処理負荷がより軽減されることとなる。
パターンＣは、文書が電子情報であり、透かし情報が付与されていない文書である。ユーザＰＣ１０２の印刷ドライバ５０１で印刷に関する処理が実行される。透かし情報が無いため、ＰＣ前処理部５０３でＳ７０５が実行される。なお、ユーザＰＣ１０２で既に検索のための情報が抽出されているため、画像形成装置１０１におけるデバイス前処理（Ｓ７０５及びＳ７０７）はスキップされる。
【００２９】
パターンＤは、文書が電子情報であり、画像情報に透かし情報が重畳されている場合である。例えば、画像形成装置１０１がＦＡＸ受信画像やｅ−ｍａｉｌ送信機能で受信した画像情報を、紙媒体へ印刷せずに電子情報として保持した場合がこのパターンに該当する。パターンＤの文書では、Ｓ７０３で検索のための情報が取得できるため、デバイス前処理部４０４の処理（Ｓ７０５及びＳ７０７）は何れもスキップされる。
パターンＥは、文書が電子情報だが、透かし情報の替わりに検索のための情報が文書属性として保持されている場合である。例えば、文書作成ソフトが特徴量やテキスト情報を取得し文書属性として保存する場合や、専用アプリケーションによって文書情報から特徴量とテキスト情報とを取得し文書属性として保持する形態が考えられる。パターンＥでは、検索のための情報が文書に付加しているため、ＰＣ前処理部５０３の処理（Ｓ７０５及びＳ７０７）は何れもスキップされる。
つまり、ＰＣ前処理部５０３は、検索のための情報を含む透かし情報が読取られず、かつ、電子文書に検索のための情報を含む属性情報が付加されていなかった場合は、検索のための情報として、Ｓ７０５及びＳ７０７の処理を実行する。そして、ＰＣ透かし処理部５０２は、検索のための情報を含む透かし情報が読取られた場合は、前記透かし情報を、前記電子文書に埋め込む。またＰＣ透かし処理部５０２は検索のための情報を含む透かし情報が読取られず、かつ、前記電子文書に検索のための情報を含む属性情報が付加されていなかった場合、ＰＣ前処理部５０３で抽出された検索のための情報を含む透かし情報を、前記電子文書に埋め込む。
一方、画像形成装置は、電子文書から属性情報を取得（属性情報取得）する機能を更に有する。デバイス前処理部４０４は、デバイス透かし処理部４０３で検索のための情報を含む透かし情報が読取られず、かつ、検索のための情報を含む属性情報が取得されなかった場合は、Ｓ７０５及びＳ７０７の処理を実行する。また、デバイス前処理部４０４は、でデバイス透かし処理部４０３で検索のための情報を含む透かし情報が読取られた場合や検索のための情報を含む属性情報が取得された場合は、Ｓ７０５及びＳ７０７の処理をスキップする。
パターンＥのごとく、検索のための情報を文書属性として保持できるアプリケーションを導入することで、オフィス内に流通する電子文書はパターンＤ又はＥに集約されてゆく。一方、紙媒体として取り扱われる文書についてもパターンＢが流通するため、データ処理サーバ１０３の処理負荷はますます軽減される。
【００３０】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００３１】
以上、上述した各実施形態によれば、検索のための前処理を効率化することができる。
【００３２】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図１】
2011139363.tif 000003
【図２】
2011139363.tif 000004
【図３】
2011139363.tif 000005
【図４】
2011139363.tif 000006
【図５】
2011139363.tif 000007
【図６】
2011139363.tif 000008
【図７】
2011139363.tif 000009
【図８】
2011139363.tif 000010
【図９】
2011139363.tif 000011