(57)【特許請求の範囲】
【請求項１】
画像処理装置であり、
入力画像データに基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する変更領域判定手段と、
前記変更領域判定手段の判定した変更領域についての画像解析を実行し、原本情報の画素領域と追記情報として判別される画素領域とが接触し又は近傍位置に存在し、かつ、前記原本情報の画素領域の画素数が、予め定められた閾値以上である場合に、当該追記情報を改ざんの可能性の高い追記情報であると判定する変更領域状態判定手段と、
前記変更領域状態判定手段の判定結果に基づいて、改ざんの可能性の高い追記情報を識別可能とした表示態様を設定する警告表示制御手段と、
前記警告表示制御手段の設定表示態様に応じた出力データの表示処理を実行する表示手段と、
を有することを特徴とする画像処理装置。
【請求項２】
画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
入力画像データに基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する変更領域判定ステップと、
前記変更領域判定ステップにおける判定の結果、検出された変更領域についての画像解析を実行し、原本情報の画素領域と追記情報として判別される画素領域とが接触し又は近傍位置に存在し、かつ、前記原本情報の画素領域の画素数が、予め定められた閾値以上である場合に、当該追記情報を改ざんの可能性の高い追記情報であると判定する変更領域状態判定ステップと、
前記変更領域状態判定ステップにおける判定結果に基づいて、改ざんの可能性の高い追記情報を識別可能とした表示態様を設定する警告表示制御ステップと、
前記警告表示制御ステップにおいて設定した表示態様に応じた出力データの表示処理を実行する表示ステップと、
を有することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、テキストやイメージデータなどから構成されるドキュメント、例えばプリント出力されたドキュメントに対して行なわれたメモ書きなどの追記等の変更情報を抽出し、変更情報が改ざんである疑いがある部分について解析し、警告提示することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
画像処理の分野において、例えばプリンタやＦＡＸなどから出力したドキュメントに、ユーザが記入したメモ書きなどの追記情報を抽出したり、セキュリティ文書が改ざんされていないかどうかを検証する処理について、様々な研究、開発が行なわれている。一般的に、このような追記、改ざん検証処理には、オリジナルのドキュメントデータと、追記等の可能性がある出力ドキュメントとの比較を行う処理が行なわれる。
【０００３】
例えば、特許文献１には、原本ドキュメントと、追記可能性のある新原稿ドキュメントを電子文書データとして保存して、これらの電子文書相互の差分抽出を実行して追記情報抽出を実行する構成が開示されている。
【０００４】
また、特許文献２は、原本ドキュメントに対して、追記、変更が行われた場合の変更情報を検出し、これを改ざんと判定する処理構成を開示している。さらに、特許文献３には、紙原稿上に追記禁止領域を設定し、追記禁止領域になされた追記情報については、画像情報としての取り込みを行なわず、不要なデータの取り込み、データ更新を防止した構成が開示されている。
【０００５】
しかし、ドキュメントに対する追記としては、単なるメモ書き、あるいはコメントなどの一般的な追記の他、原本を改ざんする目的で行なう追記がある。上述した従来技術も含め、これまでの追記検出システムは、追記情報の抽出は行なうものの、抽出した追記情報が、改ざんを目的としない追記であるのか、改ざんを目的とした追記であるのかについての解析を行う構成とはなっていない。
【特許文献１】特開平１０−２５５０２７号公報
【特許文献１】特開２００３−２６４６８５号公報
【特許文献１】特開２００１−２８３２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上述の問題点に鑑みてなされたものであり、テキストやイメージデータなどから構成されるドキュメント、例えばプリント出力されたドキュメントに対して行なわれた追記等の変更情報を抽出するとともに、変更情報が改ざん目的である疑いがある部分について解析し、警告提示することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の側面は、
画像処理装置であり、
入力画像データに基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する変更領域判定手段と、
前記変更領域判定手段の判定した変更領域についての画像解析を実行し、改ざん目的の追記情報の有無を判定する変更領域状態判定手段と、
前記変更領域状態判定手段の判定結果に基づいて、改ざんの可能性の高い追記情報を識別可能とした表示態様を設定する警告表示制御手段と、
前記警告表示制御手段の設定表示態様に応じた出力データの表示処理を実行する表示手段と、
を有することを特徴とする画像処理装置にある。
【０００８】
さらに、本発明の画像処理装置の一実施態様において、前記変更領域判定手段は、複数の入力画像データの差分に基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する構成であることを特徴とする。
【０００９】
さらに、本発明の画像処理装置の一実施態様において、前記変更領域判定手段は、１つの入力画像データに含まれる色情報に基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する構成であることを特徴とする。
【００１０】
さらに、本発明の画像処理装置の一実施態様において、前記変更領域状態判定手段は、前記変更領域判定手段の判定した変更領域についての画像解析において、原本画像と変更領域の重なり部分を検出する処理を実行し、原本情報に対する重なり部分を有する変更領域としての追記情報を改ざんの可能性の高い追記情報として判定する処理を実行する構成であることを特徴とする。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記変更領域状態判定手段は、前記変更領域判定手段の判定した変更領域についての画像解析において、変更領域または変更領域近傍に存在する原本情報を解析し、変更領域近傍の原本情報の情報量（画素数）と、予め定めた閾値との比較処理、すなわち、
原本情報の情報量（画素数）≧閾値
上記比較処理を実行して、上記式が成立する場合に、当該変更領域に含まれる追記情報を改ざんの可能性の高い追記情報として判定する処理を実行する構成であることを特徴とする。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記変更領域状態判定手段は、前記変更領域判定手段の判定した変更領域についての画像解析処理を、レイアウト単位で実行する構成であることを特徴とする。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記警告表示制御手段は、改ざんの可能性の高い追記情報を他の情報と識別可能な表示態様に設定する処理を実行する構成であることを特徴とする。
【００２１】
さらに、本発明の第３の側面は、画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、入力画像データに基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する変更領域判定ステップと、前記変更領域判定ステップにおける判定の結果、検出された変更領域についての画像解析を実行し、改ざん目的の追記情報の有無を判定する変更領域状態判定ステップと、前記変更領域状態判定ステップにおける判定結果に基づいて、改ざんの可能性の高い追記情報を識別可能とした表示態様を設定する警告表示制御ステップと、前記警告表示制御ステップにおいて設定した表示態様に応じた出力データの表示処理を実行する表示ステップとを有することを特徴とするコンピュータ・プログラムにある。
【００２２】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。
【００２３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２４】
本発明の構成によれば、入力画像データに基づいて、追記情報として判別される領域を含む変更領域を抽出するとともに、検出された変更領域についての画像解析を実行し、改ざん目的の追記情報の有無を判定し、判定結果に基づいて、改ざんの可能性の高い追記情報を識別可能とした表示を実行する構成としたので、ユーザに改ざん可能性の高い追記情報の存在を知らせて警告することが可能となる。
【００２５】
本発明の構成においては、原本画像と変更領域の重なり部分の検出や、変更領域または変更領域近傍に存在する原本情報の解析により、各追記情報が改ざん目的で行なわれたか否かを判定する構成としたので、改ざん目的で行われたと推定される追記情報を効率的に検出することが可能となる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照しながら本発明の実施形態に係る画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００２７】
まず、図１を参照して、本発明の画像処理装置を適用した処理の概要について説明する。図１に示す原本ドキュメント１１はＰＣなどの情報処理装置１０１に格納された電子データを、プリンタ１０２を介して出力した例えば紙媒体としてのドキュメントである。原本ドキュメント１１は、例えばスキャナなどのデータ読み取り処理装置によって読み取られ情報処理装置１０１の記憶部に電子データとして格納されたドキュメントでありイメージデータ、テキストデータ等いずれでもよく、例えばＯＣＲなどによってテキスト解析済みのデータとして取り込まれる場合もある。
【００２８】
なお、原本ドキュメントは、スキャナなどのデータ読み取り装置に読み取られるドキュメントのみならず、ＰＣなどの情報処理装置１０１において生成し、ハードディスクなどのデータベースに格納された電子データとしてのドキュメントであってもよい。例えばレイアウト情報などの様々な属性データが付与されている文書作成アプリケーションで生成した文書などであってもよい。
【００２９】
情報処理装置１０１のハードディスク等のデータベースに格納されたドキュメントデータは、原本ドキュメント１１として、プリンタ１０２を介して出力され、ユーザに配布される。プリンタの出力する出力ドキュメントは、図に示す原本ドキュメント１１である。
【００３０】
原本ドキュメント１１に対して、ユーザは、追記を行なう。追記には、単なるメモ書き、コメントなどの他、原本の改ざんを目的とした追記がある。このような様々な種類の追記の結果のドキュメントを追記ドキュメント１２とする。追記ドキュメント１２は、例えばスキャナ１０３を利用して読み取られ、読み取りデータが画像処理装置２００に格納される。
【００３１】
画像処理装置２００では、スキャナ１０３を介して取得した追記ドキュメント１２のデータと、原本ドキュメント１１のデータを例えばネットワークを介して情報処理装置１０１から取得して、原本ドキュメント１１および追記ドキュメント１２の両データの比較処理、差分抽出などの処理を実行し、出力データ２０を生成し、ディスプレイ等を介して解析結果を提示したり、あるいは図示しないプリンタを介して解析結果を出力する。なお、原本ドキュメントデータが取得できない場合には、追記ドキュメントのみから追記情報の抽出を行なう。これらの処理については、後段で説明する。
【００３２】
本発明の画像処理装置２００では、追記ドキュメント１２からの追記情報の抽出を行なうのみでなく、抽出された追記情報について、原本に対する改ざんの可能性を検証し、改ざんの可能性が高いと判断される追記情報を抽出し、改ざん可能性の高い追記情報を他の追記情報と区別してユーザに提示する。図に示す例では、出力データ２０に含まれる追記情報２１、２２中、追記情報２２の×印が原本に対する改ざんの可能性の高い追記情報であると判定された追記情報であり、例えば、追記情報２２の×印を他の追記情報２１と異なる色（例えば赤）で表示したり、あるいは図に示すような星印などの識別マークを表示して、この追記情報２１が原本に対する改ざんである可能性の高い追記情報であることをユーザに警告する。
【００３３】
図２を参照して、本発明の画像処理装置２００の実行する具体的な処理例について説明する。
【００３４】
図２の上段には、追記のなされていない原本ドキュメント１５１と、追記ドキュメントａ１５２、追記ドキュメントｂ１５３を示している。追記ドキュメントａ１５２は、原本ドキュメント１５１を渡されたユーザによる追記情報が含まれたドキュメントである。追記ドキュメントｂ１５３は、追記ドキュメントａ１５２に対して、さらに、新たな追記情報が加わった追記ドキュメントである。
【００３５】
図には、これら、
追記ドキュメントａ（追記１回目）１５２、
追記ドキュメントｂ（追記２回目）１５３、
として示しており、さらに、追記ドキュメント（追記３回目）・・が存在してもよい。
【００３６】
例えば、原本ドキュメント１５１は、画像処理装置２００に電子データとして保存されており、また、追記ドキュメントａ（追記１回目）１５２、追記ドキュメントｂ（追記２回目）１５３の各追記ドキュメントについても、例えばスキャナによるスキャン処理によって、電子データ（たとえばスキャン画像イメージデータ）として、画像処理装置２００に保存される。
【００３７】
画像処理装置２００は、これらの複数のデータに基づいて、追記情報の抽出を実行する。図に示す抽出追記情報１６１は、原本ドキュメント１５１と、追記ドキュメントａ１５２との差分情報などに基づいて生成される抽出追記情報１６１である。さらに、抽出追記情報１６２は、原本ドキュメント１５１と、追記ドキュメントｂ１５３との差分情報などに基づいて抽出追記情報１６１に含まれるデータを除去したデータとして生成される抽出追記情報１６２である。また、抽出追記情報１６２は、追記ドキュメントａ１５２と、追記ドキュメントｂ１５３との差分情報などに基づいて生成することも可能である。なお、差分抽出対象の過去のドキュメントデータが取得できない場合には、追記抽出対象ドキュメントのみから追記情報の抽出を行なう場合もある。これらの処理については、後段で説明する。
【００３８】
本発明の画像処理装置２００は、追記情報の抽出のみならず、さらに、抽出された追記情報について、原本に対する改ざんの可能性を検証し、改ざんの可能性が高いと判断される追記情報を抽出して、改ざん可能性の高い追記情報を他の追記情報と区別してユーザに提示する。
【００３９】
図２に示す例では、出力データ１７１に含まれる追記情報１７２〜１７５中、追記情報１７２，１７３は、追記ドキュメントａ（追記１回目）１５２に基づいて抽出された追記情報であり、追記情報１７４，１７５は、追記ドキュメントｂ（追記２回目）１５３に基づいて抽出された追記情報である。これらの追記情報中、追記情報１７３、１７５が原本に対する改ざんの可能性の高い追記情報であると判定された場合、例えば、これらの追記情報１７３，１７５を他の追記情報１７２，１７４と異なる色（例えば赤）で表示したり、あるいは図に示すような星印などの識別マークを表示するなど、改ざん可能性の高い追記情報と、それ以外のメモなどの追記情報とを区別して表示する処理を行なう。このような構成により、これらの追記情報１７３，１７５が原本に対する改ざんである可能性の高い追記情報であることをユーザに警告する。
【００４０】
次に、図３以下を参照して本発明の画像処理装置２００の構成および処理について説明する。図３は、本発明の画像処理装置２００の構成を示すブロック図である。画像処理装置２００は、画像入力手段２１０、変更領域判定手段２２０、変更領域状態判定手段２３０、警告表示制御手段２４０、画像／データ出力手段２５０を有する。
【００４１】
画像入力手段２１０は、解析対象となる画像データ、例えば追記ドキュメント、あるいは原本ドキュメントと追記ドキュメントを入力する。これらのデータは、例えばスキャナ、あるいはハードディスクなどのデータベースから入力する。なお、入力ドキュメントは、イメージデータ、テキストデータ、さらにレイアウト情報などの属性データを含むドキュメントなど様々なデータが含まれる。
【００４２】
ドキュメント入力手段２１０に入力された各ドキュメントデータは、変更領域判定手段２２０に入力される。変更領域判定手段２２０は、追記情報を抽出するために必要な画像データを選択して、追記情報を取得する処理を実行する。
【００４３】
変更領域判定手段２２０の詳細構成について、図４を参照して説明する。図４に示すように、変更領域判定手段２２０の処理構成は、
（ａ）原本文書または画像が存在する場合、
（ｂ）原本文書または画像が存在しない場合、
これら（ａ），（ｂ）の場合において、異なる処理構成となる。
【００４４】
まず、（ａ）原本文書または画像が存在する場合について説明する。原本文書または画像が存在する場合は、原本ドキュメント画像と、追記ドキュメント画像の２画像の差分抽出によって、追記情報抽出を実行する。
【００４５】
まず、画像情報位置合わせ手段２２１において、原本ドキュメント画像と、追記ドキュメント画像の２画像の位置合わせ処理を実行する。２つの画像の位置合わせ手法としては、既存の様々な手法が適用可能である。基本的には、画像各々から類似する特徴領域を抽出し、類似する特徴領域の対応付け処理によって行われる。対応特徴領域に基づいて、２つの画像間のずれ量を算出し、ずれ量に基づいて、画像データを補正しながら位置合わせを行なう。
【００４６】
画像情報差分算出手段２２２は、位置合わせの行われた原本ドキュメント画像データと追記ドキュメント画像データとの差分を抽出する処理である。この処理は、従来の処理と同様であり、たとえば、原本ドキュメント画像データの座標位置（ｘ，ｙ）と、追記ドキュメント画像データの対応座標位置（ｘ，ｙ）の差分の有無を検出し、差分が存在する場合にのみ、これを追記情報としてデータ抽出を実行する。
【００４７】
変更領域出力手段２２３は、画像情報差分算出手段２２２の抽出した追記情報の含まれる領域を選択して出力する。この領域抽出は、差分情報の存在する画素抽出、あるいは、差分画素を含む矩形領域など、予め定めた領域選択アルゴリズムに従った領域抽出を行なう。抽出された差分画像を含む領域データは、変更領域状態判定手段２３０に出力される。
【００４８】
次に、（ｂ）原本文書または画像が存在しない場合の変更領域判定手段２２０の処理について説明する。原本文書または画像が存在しない場合は、原本ドキュメント画像と、追記ドキュメント画像の２画像の差分抽出ができない。従って、追記ドキュメントのみから追記情報であると判定されるデータを抽出する処理を実行する。ここでは、追記情報が、原本ドキュメントの記録色と異なる色によって記録されているものとして、色彩判定によって追記情報抽出を行なう。具体的には、例えば原本ドキュメントはモノクロのプリントデータであり、追記ドキュメントに含まれる追記情報は赤色である場合、追記ドキュメントから赤色データを抽出することで追記情報抽出を実行する。
【００４９】
まず、使用色抽出手段２２５は、追記ドキュメントの画像分析（色分析）を実行して、追記ドキュメントに使用されている色を抽出する。例えば、黒と赤などの分析結果が得られる。
【００５０】
次に、変更色情報入力手段２２６は、追記情報として識別すべき色情報を入力する。たとえばオペレータによって色情報（赤など）を入力する。なお、オペレータによる色情報の入力を行なうことなく、例えば、黒以外の色情報を追記情報として判定する設定としてもよい。この構成の場合には、外部からの色情報の入力は不要である。
【００５１】
変更領域出力手段２２７は、使用色抽出手段２２５の追記ドキュメントの画像分析（色分析）結果と、変更色情報入力手段２２６において入力された色情報、あるいは予め設定済みの色情報に基づいて、追記ドキュメントから指定色を持つ画素を抽出する。あるいは、指定色を持つ画素を含む矩形領域などを抽出する。変更領域出力手段２２７は、予め定めた領域選択アルゴリズムに従った変更領域抽出を行なう。抽出された領域データは、変更領域状態判定手段２３０に出力される。
【００５２】
次に、変更領域状態判定手段２３０の処理について、図５を参照して説明する。図５に示すように、変更領域状態判定手段２３０の処理態様としては、
（ａ）入力画像内の情報に対して上書き変更が行われた場合を検出、
（ｂ）入力画像内の情報の近辺に変更が行われた場合を検出、
（ｃ）入力画像内の情報の各レイアウト内または近辺に変更が行われた場合を検出、
これら、（ａ）、（ｂ）、（ｃ）の検出処理態様がある。（ａ），（ｂ）は、入力画像内の情報、すなわち例えば文字や図などの情報を単位として、その情報に対する（ａ）上書き、または（ｂ）近辺に対する追記による変更を検出する処理であり、図５に示す変更領域周辺領域解析手段２３１と、変更領域改ざん性判定手段２３２によって判定処理が行なわれる。（ｃ）は、入力画像内の情報の各レイアウト内または近辺に変更が行われた場合を検出する処理であり、文字領域、写真領域などの領域解析によって検出されたレイアウト単位で、追記情報の解析を行う処理構成である。（ｃ）の処理を行なう場合は、図５に示すレイアウト解析手段２３５と、変更領域周辺領域解析手段２３６と、変更領域改ざん性判定手段２３７によって判定処理が行なわれる。
【００５３】
なお、変更領域状態判定手段２３０の処理は、（ａ）、（ｂ）に対応する変更領域周辺領域解析手段２３１と、変更領域改ざん性判定手段２３２による判定処理か、あるいは、（ｃ）に対応するレイアウト解析手段２３５と、変更領域周辺領域解析手段２３６と、変更領域改ざん性判定手段２３７による判定処理の少なくともいずれか一方を実行すればよい。
【００５４】
まず、
（ａ）入力画像内の情報に対して上書き変更が行われた場合を検出、
（ｂ）入力画像内の情報の近辺に変更が行われた場合を検出、
これら（ａ），（ｂ）に対応する変更領域周辺領域解析手段２３１と、変更領域改ざん性判定手段２３２による判定処理について説明する。
【００５５】
変更領域周辺領域解析手段２３１は、変更領域判定手段２２０において検出された追記情報を含む変更領域または変更領域の近辺に位置する原本画像中の画素を解析する処理を行なう。
【００５６】
具体的な判定処理例について、図６を参照して説明する。例えば原本ドキュメント３０１に対応する追記ドキュメント３０２があり、追記ドキュメントからの追記情報として、追記情報３１１〜３１３が抽出されたとする。追記情報抽出は、変更領域判定手段２２０において実行される。
【００５７】
変更領域周辺領域解析手段２３１は、このような変更領域判定手段２２０において検出された追記情報３１１〜３１３を含む変更領域または変更領域の近辺に位置する原本画像中の画素を解析する処理を行なう。処理は、
（１）原本画像と変更領域の重なり部分を検出する。
（２）変更領域または変更領域近傍に存在する原本情報を解析する。
変更領域周辺領域解析手段２３１は、これら２つの処理を実行し、変更領域改ざん性判定手段２３２が、これらの検出、解析結果に基づいて、追記情報の改ざん性、追記情報が改ざんである可能性を判定する。
【００５８】
例えば、（１）原本画像と変更領域の重なり部分を検出し、改ざん可能性の高い追記情報を検出する場合は、まず、変更領域周辺領域解析手段２３１は、例えば図６（１）に示す態様の変更領域（追記情報）を抽出する。図６（１）に示す追記情報３１１は、原本情報３３１に対する重なり部分、すなわち上書きされた部分を含む。変更領域周辺領域解析手段２３１は、このように、追記情報が原本情報に対して重なり部分を有する場合、このような追記情報を選択する。変更領域改ざん性判定手段２３２は、このように、追記情報が原本情報に対して重なり部分を有する場合に、この追記情報を改ざんである可能性が高い追記情報であると判定する。
【００５９】
また、（２）変更領域または変更領域近傍に存在する原本情報に基づいて、改ざん可能性の高い追記情報を検出する場合は、まず、変更領域周辺領域解析手段２３１は、例えば図６（２）に示す態様の変更領域（追記情報）を抽出する。図６（２）に示す追記情報３１２の近傍には、原本情報３３２が存在する。変更領域周辺領域解析手段２３１は、このように、原本情報と追記情報が接触または近傍位置に存在する場合、このような追記情報を選択する。変更領域改ざん性判定手段２３２は、このような追記情報に接触した原本情報、近傍の原本情報の情報量（画素数）と、予め定めた閾値とを比較して、
原本情報の情報量（画素数）≧閾値
上記式が成立する場合に、この追記情報を改ざんである可能性が高い追記情報であると判定する。変更領域改ざん性判定手段２３２の判定結果は、警告表示制御手段２４０に出力される。
【００６０】
次に、図５に示すレイアウト解析手段２３５と、変更領域周辺領域解析手段２３６と、変更領域改ざん性判定手段２３７によって判定処理が行なわれる場合の処理について説明する。この処理は、
（ｃ）入力画像内の情報の各レイアウト内または近辺に変更が行われた場合を検出する処理として実行される。
【００６１】
レイアウト解析手段２３５は、解析対象となるドキュメントの画像データを入力し、ドキュメントのレイアウト解析を実行する。なお、解析対象ドキュメントに属性情報としてレイアウト情報が含まれる場合は、その情報を適用してもよい。レイアウト情報が含まれない場合は、解析対象ドキュメントの画像データに基づいてレイアウト解析を実行する。なお、レイアウト解析手段２３５におけるレイアウト解析は、文字領域、写真領域などの領域解析であり、その目的は、主に余白位置と非余白位置の判別である。
【００６２】
例えば、図７に示す解析対象ドキュメント３５１について、ドキュメントに含まれる文字領域、写真領域などの領域が解析され、例えば図７に示すレイアウト解析結果３５２を得る。レイアウト解析結果３５２は、解析対象ドキュメント３５１に含まれる文字領域、写真領域などを判別して、レイアウト単位Ａ〜Ｄを抽出したデータである。
【００６３】
変更領域周辺領域解析手段２３６と、変更領域改ざん性判定手段２３７の処理は、レイアウト解析手段２３５が解析したレイアウト単位で処理を実行する。各処理は、図６を参照して説明した変更領域周辺領域解析手段２３１と、変更領域改ざん性判定手段２３２の処理と同様の処理である。処理結果としては、各レイアウトＡ〜Ｄについて、改ざん可能性の高い追記情報が含まれるか否かの判定結果となる。変更領域改ざん性判定手段２３７の判定結果は、警告表示制御手段２４０に出力される。
【００６４】
次に、警告表示制御手段２４０の処理について説明する。警告表示制御手段２４０は、改ざんの可能性が高いと判定された追記情報について、他の追記情報と区別した表示を行なう表示制御を実行する。
【００６５】
例えば、改ざんの可能性が高いと判定された追記情報について、
（ａ）異なる表示色に設定、
（ｂ）識別マークを表示、
（ｃ）警告メッセージの吹き出し表示
など、ユーザに対して、改ざん可能性の高い追記情報を識別可能とした表示を行なうための制御を実行する。なお、この設定は、ユーザ入力によって行なう構成としてもよい。あるいは予めデフォルトで設定された設定を適用する構成としてもよい。
【００６６】
画像／データ出力手段２５０は、警告表示制御手段２４０における表示制御データを表示する。図８に表示データの例を示す。図８には、それぞれ、改ざんの可能性が高いと判定された追記情報について、
（ａ）異なる表示色に設定、
（ｂ）識別マークを表示、
（ｃ）警告メッセージの吹き出し表示
の表示態様を示している。
【００６７】
図８（ａ）は、改ざんの可能性が高いと判定された追記情報について、異なる表示色に設定した表示例である。出力表示画像には、原本情報および複数の追記情報が含まれる。追記情報は、図に示す追記情報４０１〜４０４の４箇所が検出されているものとする。これらの追記情報４０１〜４０４中、前述の検出処理によって、追記情報４０１、追記情報４０３が改ざん可能性の高い追記情報であると判定されたものとする。この場合、追記情報４０１、追記情報４０３のみを他の情報と異なる表示色、例えば赤色の表示とする。なお、図では、点線で示しているがこの部分が赤色であることを示している。
【００６８】
図８（ｂ）は、改ざんの可能性が高いと判定された追記情報に対して、識別マークを付加して表示した例である。出力表示画像には、原本情報および複数の追記情報が含まれるが、改ざん可能性の高い追記情報である追記情報４０１、追記情報４０３の近傍に識別マーク、図の例では星印の識別マーク４２１，４２２を付与して表示する。
【００６９】
図８（ｃ）は、改ざんの可能性が高いと判定された追記情報に対して、警告メッセージの吹き出し表示を行なった表示例である。出力表示画像には、原本情報および複数の追記情報が含まれるが、改ざん可能性の高い追記情報である追記情報４０１、追記情報４０３に対して警告メッセージの吹き出し表示を行なっている。
【００７０】
このように、警告表示制御手段２４０の制御に従って、改ざん可能性の高い追記情報を他の情報と区別して表示することで、ユーザに改ざん可能性の高い追記情報の存在を知らせて警告することが可能となる。
【００７１】
次に、図９以下に示すフローチャートを参照して本発明の画像処理装置の実行する処理シーケンスについて説明する。図９の処理フローは、ステップＳ１０２〜Ｓ１０４が、変更領域判定手段２２０の処理であり、変更領域判定手段２２０が図４を参照して説明した
（ａ）原本文書または画像が存在する場合の処理
を実行する場合の処理フローである。
【００７２】
ステップＳ１０１において、スキャン画像を入力する。これは、図３に示す画像入力手段２１０における処理である。解析対象となる画像データ、例えば追記ドキュメント、あるいは原本ドキュメントと追記ドキュメントを入力する。なお、これらのデータは、スキャナに限らず、ハードディスクなどのデータベースから入力してもよい。
【００７３】
ステップＳ１０２〜Ｓ１０４は、変更領域判定手段２２０の処理である。ここでは、変更領域判定手段２２０は、図４を参照して説明した（ａ）原本文書または画像が存在する場合の処理を実行する。まず、ステップＳ１０２において、スキャン画像（追記ドキュメント）と原本画像の位置合わせを実行し、ステップＳ１０３において、スキャン画像と原本画像の差分を算出し、ステップＳ１０４において、差分情報の存在する画素または画素を含む領域を変更領域と判定する。
【００７４】
ステップＳ１０５は、変更領域状態判定手段２３０の処理である。変更領域状態判定手段２３０の処理については、先に図５を参照して説明したように、
（ａ）入力画像内の情報に対して上書き変更が行われた場合を検出、
（ｂ）入力画像内の情報の近辺に変更が行われた場合を検出、
（ｃ）入力画像内の情報の各レイアウト内または近辺に変更が行われた場合を検出、
これら、（ａ）、（ｂ）、（ｃ）の検出処理態様がある。（ａ），（ｂ）は、入力画像内の情報、すなわち例えば文字や図などの情報を単位として、その情報に対する（ａ）上書き、または（ｂ）近辺に対する追記による変更を検出する処理であり、図５に示す変更領域周辺領域解析手段２３１と、変更領域改ざん性判定手段２３２によって判定処理が行なわれる。（ｃ）は、入力画像内の情報の各レイアウト内または近辺に変更が行われた場合を検出する処理であり、文字領域、写真領域などの領域解析によって検出されたレイアウト単位で、追記情報の解析を行う処理構成である。（ｃ）の処理を行なう場合は、図５に示すレイアウト解析手段２３５と、変更領域周辺領域解析手段２３６と、変更領域改ざん性判定手段２３７によって判定処理が行なわれる。
【００７５】
これらの処理シーケンスについて、図１０に示すフローを参照して説明する。図１０（１）は、
（ａ）入力画像内の情報に対して上書き変更が行われた場合を検出、
（ｂ）入力画像内の情報の近辺に変更が行われた場合を検出、
これらの処理を行なう場合の処理シーケンスである。
【００７６】
まず、ステップＳ１５１において、変更が行われた領域又は近辺領域位置の画像解析を実行する。この処理は、図５に示す変更領域周辺領域解析手段２３１の処理であり、変更領域判定手段２２０において検出された追記情報を含む変更領域または変更領域の近辺に位置する原本画像中の画素を解析する処理を行なう。
【００７７】
具体的な判定処理例については、図６を参照して説明した通りであり、処理は、
（１）原本画像と変更領域の重なり部分を検出する。
（２）変更領域または変更領域近傍に存在する原本情報を解析する。
変更領域周辺領域解析手段２３１は、これらの処理を実行する。
【００７８】
次に、ステップＳ１５２において、画像解析結果に基づいて、変更領域の改ざん可能性を判定する。例えば、（１）原本画像と変更領域の重なり部分を検出し、改ざん可能性の高い追記情報を検出する場合は、まず、変更領域周辺領域解析手段２３１は、例えば図６（１）に示す態様の変更領域（追記情報）を抽出する。図６（１）に示す追記情報３１１は、原本情報３３１に対する重なり部分、すなわち上書きされた部分を含む。変更領域周辺領域解析手段２３１は、このように、追記情報が原本情報に対して重なり部分を有する場合、このような追記情報を選択する。変更領域改ざん性判定手段２３２は、このように、追記情報が原本情報に対して重なり部分を有する場合に、この追記情報を改ざんである可能性が高い追記情報であると判定する。
【００７９】
また、（２）変更領域または変更領域近傍に存在する原本情報に基づいて、改ざん可能性の高い追記情報を検出する場合は、まず、変更領域周辺領域解析手段２３１は、例えば図６（２）に示す態様の変更領域（追記情報）を抽出する。図６（２）に示す追記情報３１２の近傍には、原本情報３３２が存在する。変更領域周辺領域解析手段２３１は、このように、原本情報と追記情報が接触または近傍位置に存在する場合、このような追記情報を選択する。変更領域改ざん性判定手段２３２は、このような追記情報に接触した原本情報、近傍の原本情報の情報量（画素数）と、予め定めた閾値とを比較して、
原本情報の情報量（画素数）≧閾値
である場合に、この追記情報を改ざんである可能性が高い追記情報であると判定する。
【００８０】
次に、図１０（２）に示すフローを参照して、（ｃ）入力画像内の情報の各レイアウト内または近辺に変更が行われた場合を検出する場合の処理シーケンスについて説明する。この処理は、入力画像内の情報の各レイアウト内または近辺に変更が行われた場合を検出する処理であり、文字領域、写真領域などの領域解析によって検出されたレイアウト単位で、追記情報の解析を行う。この処理は、図５に示すレイアウト解析手段２３５と、変更領域周辺領域解析手段２３６と、変更領域改ざん性判定手段２３７によって行なわれる。
【００８１】
まず、ステップＳ１７１において、ドキュメントのレイアウト解析を実行する。なお、解析対象ドキュメントなどに属性情報としてレイアウト情報が含まれる場合は、その情報を適用してもよい。レイアウト情報が含まれない場合は、原本ドキュメントまたは追記ドキュメントの画像データに基づいてレイアウト解析を実行する。例えば先に説明した図７に示すレイアウト解析結果３５２を得る。レイアウト解析結果３５２は、解析対象ドキュメント３５１に含まれる文字領域、写真領域などを判別して、レイアウト単位Ａ〜Ｄを抽出したデータである。
【００８２】
次に、ステップＳ１７２において、解析された各レイアウト単位毎に追記情報を含む変更領域の解析を実行する。この処理は、ステップＳ１５１の処理と同様の処理であり、例えば、
（１）原本画像と変更領域の重なり部分を検出する。
（２）変更領域または変更領域近傍に存在する原本情報を解析する。
【００８３】
次に、ステップＳ１７３において、画像解析結果に基づいて、変更領域の改ざん可能性を判定する。この処理は、ステップＳ１５２の処理と同様の処理であり、例えば、原本画像と変更領域の重なり部分の検出する処理や、変更領域または変更領域近傍に存在する原本情報に基づいて、改ざん可能性の高い追記情報を検出する。具体的には、追記情報に接触した原本情報、近傍の原本情報の情報量（画素数）と、予め定めた閾値とを比較して、原本情報の情報量（画素数）≧閾値、これらの算出判定処理を行なう。
【００８４】
以上の変更領域状態判定処理が終了すると、図９のフローにおけるステップＳ１０６に進む。ステップＳ１０６は、警告表示制御手段２４０の処理であり、改ざん可能性の高い追記情報の表示態様を設定する処理である。
例えば、改ざんの可能性が高いと判定された追記情報について、
（ａ）異なる表示色に設定、
（ｂ）識別マークを表示、
（ｃ）警告メッセージの吹き出し表示
など、ユーザに対して、改ざん可能性の高い追記情報を識別可能とした表示の設定を行う。なお、この設定は、ユーザ入力によって行なう構成としてもよい。
【００８５】
次に、ステップＳ１０７は、画像／データ出力手段２５０の処理であり、ステップＳ１０６において決定した情報表示態様に従って、各種のデータを表示する。例えば図８を参照して説明したような表示を実行する。すなわち、図８に示したように、改ざんの可能性が高いと判定された追記情報について、
（ａ）異なる表示色に設定、
（ｂ）識別マークを表示、
（ｃ）警告メッセージの吹き出し表示
の表示態様での表示を行なう。このように、改ざん可能性の高い追記情報を他の情報と区別して表示することで、ユーザに改ざん可能性の高い追記情報の存在を知らせて警告することが可能となる。
【００８６】
次に、図１１を参照して、変更領域判定手段２２０の処理が、図４を参照して説明した（ｂ）原本文書または画像が存在しない場合の処理
を実行する場合の処理について説明する。
【００８７】
図９の処理フローとの差異は、ステップＳ２０２〜Ｓ２０４であり、その他のステップＳ２０１、Ｓ２０５〜Ｓ２０７は、図９の処理フローにおけるステップＳ１０１，Ｓ１０５〜Ｓ１０７と同様の処理であるので説明を省略する。
【００８８】
ステップＳ２０２〜Ｓ２０４の処理、すなわち、図４を参照して説明した（ｂ）原本文書または画像が存在しない場合に変更領域判定手段２２０の実行する処理について説明する。
【００８９】
原本文書または画像が存在しない場合は、原本ドキュメント画像と、追記ドキュメント画像の２画像の差分抽出ができない。従って、追記ドキュメントのみから追記情報であると判定されるデータを抽出する処理を実行する。ステップＳ２０２において、追記ドキュメントの画像分析（色分析）を実行して、追記ドキュメントに使用されている色を抽出する。例えば、黒と赤などの分析結果が得られる。
【００９０】
次に、ステップＳ２０３において、追記情報として識別すべき色情報を入力する。たとえばオペレータによって色情報（赤など）を入力する。なお、オペレータによる色情報の入力を行なうことなく、例えば、黒以外の色情報を追記情報として判定する設定としてもよい。この構成の場合には、外部からの色情報の入力は不要である。
【００９１】
次に、ステップＳ２０３において、追記ドキュメントの画像分析（色分析）結果と、ステップＳ２０２において入力された色情報、あるいは予め設定済みの色情報に基づいて、追記ドキュメントから指定色を持つ画素を抽出する。あるいは、指定色を持つ画素を含む矩形領域などを抽出する。
【００９２】
以下のステップＳ２０５以降の処理は、図９の処理フローにおけるステップＳ１０５以下の処理と同様である。
【００９３】
本発明の画像処理装置では、追記情報の抽出を行なうとともに、抽出した追記情報について、改ざんを目的とした追記情報であるか否かを判定し、改ざんの可能性が高いと判定された追記情報について、他の追記情報、原本情報と区別した表示、例えば、
（ａ）異なる表示色に設定、
（ｂ）識別マークを表示、
（ｃ）警告メッセージの吹き出し表示
などの表示を行なうことで、ユーザに改ざん可能性の高い追記情報の存在を知らせて警告することが可能となる。
【００９４】
最後に、図１２を参照して、本発明の画像処理装置のハードウェア構成例について説明する。図１２に示す構成は、例えばＰＣなどによって構成される画像処理装置であり、スキャナ等のデータ読み取り部５３１と、プリンタなどのデータ出力部５３２を備えたハード構成例を示している。
【００９５】
ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわち変更領域判定処理、変更領域状態判定処理、警告表示制御処理等の各処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。
【００９６】
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【００９７】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【００９８】
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。
【００９９】
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、入力された原本ドキュメントや追記ドキュメントデータなどを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【０１００】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。
【０１０１】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部５３１は、ドキュメントの読み取り処理を実行し、データ出力部５３２は、ドキュメントデータの出力処理を実行する。
【０１０２】
なお、図１２に示す画像処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の画像処理装置は、図１２に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
【０１０３】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１０４】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１０５】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１０６】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０８】
以上、説明したように、本発明の構成によれば、入力画像データに基づいて、追記情報として判別される領域を含む変更領域を抽出するとともに、検出された変更領域についての画像解析を実行し、改ざん目的の追記情報の有無を判定し、判定結果に基づいて、改ざんの可能性の高い追記情報を識別可能とした表示を実行する構成としたので、ユーザに改ざん可能性の高い追記情報の存在を知らせて警告することが可能となり、改善された追記情報抽出および改ざん検証を実行するシステムが実現される。
【０１０９】
本発明の構成においては、原本画像と変更領域の重なり部分の検出や、変更領域または変更領域近傍に存在する原本情報の解析により、各追記情報が改ざん目的で行なわれたか否かを判定する構成としたので、改ざん目的で行われたと推定される追記情報を効率的に検出することが可能となり、改善された追記情報抽出および改ざん検証を実行するシステムが実現される。
【図面の簡単な説明】
【０１１０】
【図１】本発明の画像処理装置を適用した処理の概要について説明する図である。
【図２】本発明の画像処理装置を適用した処理の概要およびドキュメントについて説明する図である。
【図３】本発明の画像処理装置の構成について説明する図である。
【図４】本発明の画像処理装置の変更領域判定手段の詳細構成について説明する図である。
【図５】本発明の画像処理装置の変更領域状態判定手段の詳細構成について説明する図である。
【図６】本発明の画像処理装置の変更領域状態判定手段の処理例について説明する図である。
【図７】本発明の画像処理装置の変更領域状態判定手段の処理例について説明する図である。
【図８】本発明の画像処理装置の出力する表示データ構成例について説明する図である。
【図９】本発明の画像処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１０】本発明の画像処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１１】本発明の画像処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１２】本発明の画像処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０１１１】
１１  原本ドキュメント
１２  追記ドキュメント
２０  出力データ
１０１  情報処理装置
１０２  プリンタ
１０３  スキャナ
１５１  原本ドキュメント
１５２，１５３  追記ドキュメント
１６１，１６２  抽出追記情報
１７１  出力データ
１７２〜１７４  追記情報
２００  画像処理装置
２１０  画像入力手段
２２０  変更領域判定手段
２２１  画像情報位置合わせ手段
２２２  画像情報差分算出手段
２２３  変更領域出力手段
２２５  使用色抽出手段
２２６  変更領域出力手段
２３０  変更領域状態判定手段
２３１  変更領域周辺領域解析手段
２３２  変更領域改ざん性判定手段
２３５  レイアウト解析手段
２３６  変更領域周辺領域解析手段
２３７  変更領域改ざん性判定手段
２４０  警告表示制御手段
２５０  画像／データ出力手段
３０１  原本ドキュメント
３０２  追記ドキュメント
３１１〜３１３  追記情報
３３１，３３２  原本情報
３５１  解析対象ドキュメント
３５２  レイアウト解析結果
４０１〜４０４  追記情報
４２１，４２２  識別マーク
５０１  ＣＰＵ(Central Processing Unit)
５０２  ＲＯＭ（Read-Only-Memory）
５０３  ＲＡＭ（Random Access Memory）
５０４  ホストバス
５０５  ブリッジ
５０６  外部バス
５０７  インタフェース
５０８  キーボード
５０９  ポインティングデバイス
５１０  ディスプレイ
５１１  ＨＤＤ（Hard Disk Drive）
５１２  ドライブ
５１４  接続ポート
５１５  通信部
５２１  リムーバブル記録媒体
５２２  外部接続機器
５３１  データ読み取り部
５３２  データ出力部
【図１】
0004591230.tif 000002
【図２】
0004591230.tif 000003
【図３】
0004591230.tif 000004
【図４】
0004591230.tif 000005
【図５】
0004591230.tif 000006
【図６】
0004591230.tif 000007
【図７】
0004591230.tif 000008
【図８】
0004591230.tif 000009
【図９】
0004591230.tif 000010
【図１０】
0004591230.tif 000011
【図１１】
0004591230.tif 000012
【図１２】
0004591230.tif 000013