(57)【特許請求の範囲】
【請求項１】
画像処理装置であり、
入力画像データに基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する変更領域判定手段と、
前記変更領域判定手段の判定した変更領域に関連して、該変更領域と連結線により接続されたレイアウト単位または文字列単位、または該変更領域中に含まれる追記指定識別子としての追記情報と類似する追記情報が検出されたレイアウト単位または文字列単位を、関連情報領域として判定する変更領域関連性判定手段と、
前記変更領域関連性判定手段の判定に基づき、変更領域と該変更領域に関連する関連情報領域とを選択する選択手段と、
前記入力画像データのうち、前記選択手段により選択された変更領域および該変更領域に関連する関連情報領域とを表示する表示手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像処理装置は、さらに、
変更領域関連性判定手段の判定した前記変更領域および該変更領域に関連する関連情報領域の間の関連性を関連性履歴情報として記憶する関連性履歴保持手段を有し、
該関連性履歴保持手段は、
複数の追記が行われる場合に、着目する追記ごとに、当該着目した追記の直前の追記の情報を原本として、前記変更領域および該変更領域に関連する関連情報領域の間の関連性を、当該着目する追記に関して関連性履歴情報として保持する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変更領域判定手段は、
複数の入力画像データの差分に基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記変更領域関連性判定手段は、
前記変更領域判定手段の判定した変更領域に対応する関連情報領域を、レイアウト単位で特定し、レイアウト領域と追記情報、または、追記情報間の関連性判定処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記変更領域関連性判定手段は、
前記変更領域判定手段の判定した変更領域に対応する関連情報領域を、文字列単位で特定し、文字列領域と追記情報、または、追記情報間の関連性判定処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記表示選択手段は、
複数の追記ドキュメントに対応した追記情報の各々について異なる表示態様とする設定を可能とした構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
上記コンピュータを、
入力画像データに基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する変更領域判定手段、
前記変更領域判定手段の判定した変更領域に関連して、該変更領域と連結線により接続されたレイアウト単位または文字列単位、または該変更領域中に含まれる追記指定識別子としての追記情報と類似する追記情報が検出されたレイアウト単位または文字列単位を、関連情報領域として判定する変更領域関連性判定手段、
前記変更領域関連性判定手段の判定に基づき、変更領域と該変更領域に関連する関連情報領域とを選択する選択手段、
前記入力画像データのうち、前記選択手段により選択された変更領域および該変更領域に関連する関連情報領域とを表示する表示手段
として機能させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、テキストやイメージデータなどから構成されるドキュメント、例えばプリント出力されたドキュメントに対して行なわれたメモ書きなどの追記情報を抽出するとともに、追記情報と原本情報との関連性や、追記情報相互の関連性について解析し、追記情報を関連情報とともにユーザに提示することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
画像処理の分野において、例えばプリンタやＦＡＸなどから出力したドキュメントに、ユーザが記入したメモ書きなどの追記情報を抽出する処理について、様々な研究、開発が行なわれている。一般的に、このような追記抽出処理は、オリジナルのドキュメントデータと、追記等の可能性がある出力ドキュメントとの比較を行う処理が行なわれる。
【０００３】
例えば、特許文献１には、原本ドキュメントと、追記可能性のある新原稿ドキュメントを電子文書データとして保存して、これらの電子文書相互の差分抽出を実行して追記情報抽出を実行する構成が開示されている。
【０００４】
しかし、上述の特許文献１も含め、これまでのシステムでは、追記情報の特定、抽出を実行するものであり、例えば、追記情報が原本情報のどの文に対応する関連情報として追記されたものであるのかといった、追記情報と原本情報との関連性を解析するものはなかった。また、追記情報相互の関連性などを解析する構成を開示しているものもない。
【０００５】
一般に、何らかの原本ドキュメントに対して、メモ書きなどの追記を行なう場合、追記を行なうユーザは、原本ドキュメントに記載済みの原本情報のいずれかの部分に関連する情報として追記を実行することが多い。このような原本情報に関連する追記情報が検出された場合、追記情報のみを抽出し提示しても、その追記情報の意味するところが不明確となる場合が多い。このような場合、追記情報に併せて、その追記情報に関連する原本情報を併せて提示することが可能であれば、追記情報の意味の把握が容易となる。
【０００６】
しかし、従来の追記情報抽出を実行するシステムは、追記情報の抽出を行なうのみの構成がほとんどであり、このような原本情報との関連性を解析し、ユーザに提示する処理を示しているものはない。
【特許文献１】特開平１０−２５５０２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上述の問題点に鑑みてなされたものであり、テキストやイメージデータなどから構成されるドキュメント、例えばプリント出力された原本ドキュメントに対して行なわれたメモ書きなどの追記情報を抽出するとともに、追記情報と原本情報との関連性や、追記情報相互の関連性について解析し、追記情報を関連情報とともにユーザに提示することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の側面は、
画像処理装置であり、
入力画像データに基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する変更領域判定手段と、
前記変更領域判定手段の判定した変更領域に対応する関連情報領域を特定し、領域相互の関連性判定処理を実行する変更領域関連性判定手段と、
前記変更領域関連性判定手段の判定した領域相互の関連性に基づき、追記情報および該追記情報の関連情報を選択する表示選択手段と、
前記表示選択手段の選択態様に応じた出力データの表示処理を実行する表示手段と、
を有することを特徴とする画像処理装置にある。
【０００９】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、変更領域関連性判定手段の判定した領域相互の関連性情報を記憶する関連性履歴保持手段を有し、該関連性履歴保持手段は、複数の追記ドキュメントに対応した追記情報およびその関連情報を各追記ドキュメント対応の履歴データとして設定した関連性履歴情報を保持する構成であることを特徴とする。
【００１０】
さらに、本発明の画像処理装置の一実施態様において、前記変更領域判定手段は、複数の入力画像データの差分に基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する構成であることを特徴とする。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記変更領域判定手段は、１つの入力画像データに含まれる色情報に基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する構成であることを特徴とする。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記変更領域関連性判定手段は、前記変更領域判定手段の判定した変更領域と他領域を接続する連結線、または、前記変更領域と他領域に検出される類似識別子に基づいて領域間の関連性を判定する処理を実行する構成であることを特徴とする。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記変更領域関連性判定手段は、前記変更領域判定手段の判定した変更領域に対応する関連情報領域を、レイアウト単位で特定し、レイアウト領域と追記情報、または、レイアウト単位間、または追記情報間の関連性判定処理を実行する構成であることを特徴とする。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記変更領域関連性判定手段は、前記変更領域判定手段の判定した変更領域に対応する関連情報領域を、文字列単位で特定し、文字列領域と追記情報、または、文字列間、または追記情報間の関連性判定処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記表示選択手段は、複数の追記ドキュメントに対応した追記情報の各々について異なる表示態様とする設定を可能とした構成を有することを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記表示選択手段は、複数の追記ドキュメントに対応した追記情報の各々について選択出力する設定を可能とした構成を有することを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記表示手段は、出力データに含まれる関連情報をハイパーリンクとして設定したハイパーテキストの表示を実行する構成であることを特徴とする。
【００２８】
さらに、本発明の第３の側面は、
画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
入力画像データに基づいて、追記情報として判別される画素領域を含む変更領域の判定処理を実行する変更領域判定ステップと、
前記変更領域判定ステップにおいて変更領域と判定された領域に対応する関連情報領域を特定し、領域相互の関連性判定処理を実行する変更領域関連性判定ステップと、
前記変更領域関連性判定ステップにおいて判定された領域相互の関連性に基づき、追記情報および該追記情報の関連情報を選択する表示選択ステップと、
前記表示選択ステップにおいて決定した選択態様に応じた出力データの表示処理を実行する表示ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００２９】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。
【００３０】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３１】
本発明の構成によれば、追記情報の抽出、提示処理を実行する画像処理装置において、追記情報として判別される画素領域を含む変更領域を抽出し、さらに変更領域に対応する関連情報を含む領域を検出し、関連情報を含む領域をレイアウト単位または文字列単位で抽出し、追記情報および該追記情報の関連情報を含む領域とを選択して表示手段に表示する構成としたので、ユーザは、追記情報のみならず、追記情報に関連する原本情報、他の追記情報を見ることができ、追記情報の意味把握、重要情報の把握などを効率的に行なうことができる。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照しながら本発明の実施形態に係る画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３３】
まず、図１を参照して、本発明の画像処理装置を適用した処理の概要について説明する。図１に示す原本ドキュメント１１はＰＣなどの情報処理装置１０１に格納された電子データをプリンタ１０２を介して出力した例えば紙媒体としてのドキュメントである。原本ドキュメント１１は、例えばスキャナなどのデータ読み取り処理装置によって読み取られ情報処理装置１０１の記憶部に電子データとして格納されたドキュメントでありイメージデータ、テキストデータ等いずれでもよく、例えばＯＣＲなどによってテキスト解析済みのデータとして取り込まれる場合もある。本発明において処理対象とするドキュメントは、イメージデータ、テキストデータのいずれでもよい。
【００３４】
なお、原本ドキュメントは、スキャナなどのデータ読み取り装置に読み取られるドキュメントのみならず、ＰＣなどの情報処理装置１０１において生成し、ハードディスクなどのデータベースに格納された電子データとしてのドキュメントであってもよい。例えばレイアウト情報などの様々な属性データが付与されている文書作成アプリケーションで生成した文書などであってもよい。
【００３５】
情報処理装置１０１のハードディスク等のデータベースに格納されたドキュメントデータは、原本ドキュメント１１として、プリンタ１０２を介して出力され、ユーザに配布される。プリンタの出力する出力ドキュメントは、図に示す原本ドキュメント１１である。
【００３６】
原本ドキュメント１１に対して、ユーザは、メモ書きなどを行なう。いわゆる追記を行なう。この結果、図に示す追記ドキュメント１２が生成される。追記ドキュメント１２は、例えばスキャナ１０３を利用して読み取られ、読み取りデータが画像処理装置２００に格納される。
【００３７】
画像処理装置２００では、スキャナ１０３を介して取得した追記ドキュメント１２のデータと、原本ドキュメント１１のデータを例えばネットワークを介して情報処理装置１０１から取得して、原本ドキュメント１１および追記ドキュメント１２の両データの比較処理、差分抽出などの処理を実行し、出力データ２０を生成し、ディスプレイ等を介して解析結果を提示したり、あるいは図示しないプリンタを介して解析結果を出力する。なお、原本ドキュメントデータが取得できない場合には、追記ドキュメントのみから追記情報の抽出を行なう。これらの処理については、後段で説明する。
【００３８】
本発明の画像処理装置２００では、原本ドキュメント１１と、追記ドキュメント１２の差分解析による追記情報の抽出を行なうのみでなく、追記情報と原本情報との関連性や、追記情報相互の関連性について解析し、追記情報を関連情報とともにユーザに提示することを可能とした構成を持つ。
【００３９】
図２を参照して、本発明の画像処理装置２００の実行する具体的な処理例について説明する。
【００４０】
図２の上段には、追記のなされていない原本ドキュメント１５１と、追記ドキュメントａ１５２、追記ドキュメントｂ１５３を示している。追記ドキュメントａ１５２は、原本ドキュメント１５１を渡されたユーザによるメモ書きなどの追記情報が含まれたドキュメントである。追記ドキュメントｂ１５３は、追記ドキュメントａ１５２に対して、さらに、新たな追記情報が加わった追記ドキュメントである。
【００４１】
図には、これら、
追記ドキュメントａ（追記１回目）１５２、
追記ドキュメントｂ（追記２回目）１５３、
として示しており、さらに、追記ドキュメント（追記３回目）・・が存在してもよい。
【００４２】
原本ドキュメント１５１は、画像処理装置２００に電子データとして保存されており、また、追記ドキュメントａ（追記１回目）１５２、追記ドキュメントｂ（追記２回目）１５３の各追記ドキュメントについても、例えばスキャナによるスキャン処理によって、電子データ（たとえばスキャン画像イメージデータ）として、画像処理装置２００に保存される。
【００４３】
画像処理装置２００は、これらの複数のデータに基づいて、追記情報の抽出を実行する。図に示す抽出追記情報１６１は、原本ドキュメント１５１と、追記ドキュメントａ１５２との差分情報などに基づいて生成される抽出追記情報１６１である。さらに、抽出追記情報１６２は、原本ドキュメント１５１と、追記ドキュメントｂ１５３との差分情報などに基づいて抽出追記情報１６１に含まれるデータを除去したデータとして生成される抽出追記情報１６２である。また、抽出追記情報１６２は、追記ドキュメントａ１５２と、追記ドキュメントｂ１５３との差分情報などに基づいて生成することも可能である。なお、差分抽出対象の過去のドキュメントデータが取得できない場合には、追記抽出対象ドキュメントのみから追記情報の抽出を行なう場合もある。これらの処理については、後段で説明する。
【００４４】
本発明の画像処理装置２００は、さらに、追記情報と原本情報の関連性、追記情報間の関連性の解析を実行し、出力データ１７１を出力する。出力データ１７１には、例えば、各追記情報と、各追記情報に関連する原本情報として選択された原本情報データの出力データとしてディスプレイあるいはプリンタなどに出力される。ユーザは、追記情報のみならず、追記情報に関連する原本情報も併せて確認することが可能となり、例えば追記情報の意味するところを容易に把握することができる。
【００４５】
次に、図３以下を参照して本発明の画像処理装置２００の構成および処理について説明する。図３は、本発明の画像処理装置２００の構成を示すブロック図である。画像処理装置２００は、画像入力手段２１０、変更領域判定手段２２０、変更領域関連性判定手段２３０、関連性履歴保持手段２４０、関連データ区別表示選択手段２５０、画像／データ出力手段２６０を有する。
【００４６】
画像入力手段２１０は、解析対象となる画像データ、例えば追記ドキュメント、あるいは原本ドキュメントと追記ドキュメントを入力する。これらのデータは、例えばスキャナ、あるいはハードディスクなどのデータベースから入力する。なお、入力ドキュメントは、イメージデータ、テキストデータ、さらにレイアウト情報などの属性データを含むドキュメントなど様々なデータが含まれる。
【００４７】
ドキュメント入力手段２１０に入力された各ドキュメントデータは、変更領域判定手段２２０に入力される。変更領域判定手段２２０は、追記情報を抽出するために必要な画像データを選択して、追記情報を取得する処理を実行する。
【００４８】
変更領域判定手段２２０の詳細構成について、図４を参照して説明する。図４に示すように、変更領域判定手段２２０の処理構成は、
（ａ）原本文書または画像が存在する場合、
（ｂ）原本文書または画像が存在しない場合、
これら（ａ），（ｂ）の場合において、異なる処理構成となる。
【００４９】
まず、（ａ）原本文書または画像が存在する場合について説明する。原本文書または画像が存在する場合は、原本ドキュメント画像と、追記ドキュメント画像の２画像の差分抽出によって、追記情報抽出を実行する。
【００５０】
まず、画像情報位置合わせ手段２２１において、原本ドキュメント画像と、追記ドキュメント画像の２画像の位置合わせ処理を実行する。２つの画像の位置合わせ手法としては、既存の様々な手法が適用可能である。基本的には、画像各々から類似する特徴領域を抽出し、類似する特徴領域の対応付け処理によって行われる。対応特徴領域に基づいて、２つの画像間のずれ量を算出し、ずれ量に基づいて、画像データを補正しながら位置合わせを行なう。
【００５１】
画像情報差分算出手段２２２は、位置合わせの行われた原本ドキュメント画像データと追記ドキュメント画像データとの差分を抽出する処理である。この処理は、従来の処理と同様であり、たとえば、原本ドキュメント画像データの座標位置（ｘ，ｙ）と、追記ドキュメント画像データの対応座標位置（ｘ，ｙ）の差分の有無を検出し、差分が存在する場合にのみ、これを追記情報としてデータ抽出を実行する。
【００５２】
変更領域出力手段２２３は、画像情報差分算出手段２２２の抽出した追記情報の含まれる領域を選択して出力する。この領域抽出は、差分情報の存在する画素抽出、あるいは、差分画素を含む矩形領域など、予め定めた領域選択アルゴリズムに従った領域抽出を行なう。抽出された差分画像を含む領域データは、変更領域関連性判定手段２３０に出力される。
【００５３】
次に、（ｂ）原本文書または画像が存在しない場合の変更領域判定手段２２０の処理について説明する。原本文書または画像が存在しない場合は、原本ドキュメント画像と、追記ドキュメント画像の２画像の差分抽出ができない。従って、追記ドキュメントのみから追記情報であると判定されるデータを抽出する処理を実行する。ここでは、追記情報が、原本ドキュメントの記録色と異なる色によって記録されているものとして、色彩判定によって追記情報抽出を行なう。具体的には、例えば原本ドキュメントはモノクロのプリントデータであり、追記ドキュメントに含まれる追記情報は赤色である場合、追記ドキュメントから赤色データを抽出することで追記情報抽出を実行する。
【００５４】
まず、使用色抽出手段２２５は、追記ドキュメントの画像分析（色分析）を実行して、追記ドキュメントに使用されている色を抽出する。例えば、黒と赤などの分析結果が得られる。
【００５５】
次に、変更色情報入力手段２２６は、追記情報として識別すべき色情報を入力する。たとえばオペレータによって色情報（赤など）を入力する。なお、オペレータによる色情報の入力を行なうことなく、例えば、黒以外の色情報を追記情報として判定する設定としてもよい。この構成の場合には、外部からの色情報の入力は不要である。
【００５６】
変更領域出力手段２２７は、使用色抽出手段２２５の追記ドキュメントの画像分析（色分析）結果と、変更色情報入力手段２２６において入力された色情報、あるいは予め設定済みの色情報に基づいて、追記ドキュメントから指定色を持つ画素を抽出する。あるいは、指定色を持つ画素を含む矩形領域などを抽出する。変更領域出力手段２２７は、予め定めた領域選択アルゴリズムに従った変更領域抽出を行なう。抽出された領域データは、変更領域関連性判定手段２３０に出力される。
【００５７】
次に、変更領域関連性判定手段２３０の処理について、図５を参照して説明する。図５に示すように、変更領域関連性判定手段２３０の処理構成は、
（ａ）レイアウト単位の関連付けと表示を実行する場合、
（ｂ）文字列単位の関連付けと表示を実行する場合、
これら（ａ），（ｂ）の場合において、異なる処理構成となる。
【００５８】
まず、（ａ）レイアウト単位の関連付けと表示を実行する場合の処理構成について説明する。レイアウト解析手段２３１は、原本ドキュメントまたは追記ドキュメントの画像データを入力し、ドキュメントのレイアウト解析を実行する。なお、原本ドキュメントに属性情報としてレイアウト情報が含まれる場合は、その情報を適用してもよい。レイアウト情報が含まれない場合は、原本ドキュメントまたは追記ドキュメントの画像データに基づいてレイアウト解析を実行する。なお、レイアウト解析手段２３１におけるレイアウト解析は、文字領域、写真領域などの領域解析であり、その目的は、主に余白位置と非余白位置の判別である。
【００５９】
例えば、図６（１）に示すドキュメントデータ３１１に示すように、ドキュメントに含まれる文字領域、写真領域などの領域が解析され、例えば図６（１）に示すように、文字領域、写真領域などからなるレイアウト単位Ａ〜Ｄが解析、抽出される。なお、図６（１）に示すドキュメントデータ３１１は追記ドキュメントデータであり追記情報の記録領域３２１が含まれる。
【００６０】
レイアウト単位追記指定箇所判定手段２３２は、レイアウト解析手段２３１によって解析された各レイアウト単位に追記情報の指定情報が含まれるか否かを判定する。例えば図６（２）に示すように、レイアウト単位Ｃに追記情報としての楕円３２２などが、含まれる場合、これを追記情報の指定情報として検出し、レイアウト単位Ｃに追記情報の指定情報が含まれると判定する。
【００６１】
次に、レイアウト単位関連性判定手段２３３は、レイアウト単位の関連性を判定する。たとえば、図６（２）に示すように、追記指定情報としての楕円３２２を含むレイアウト単位Ｃと、追記情報３２１は、追記指定情報としての連結線３２３によって連結されている。このような追記指定情報（追記情報の一部）が存在する場合、追記情報３２１とレイアウトＣは関連性があると判定する。
【００６２】
関連性判定処理の態様は、このような連結線のみならず、その他の追記指定情報を適用してもよい。図７を参照して関連性の判定処理態様について説明する。図７（２ａ）は、追記情報３２１とレイアウト単位Ｃが連結線３２３によって結ばれた関係である。図７（２ｂ）は、追記情報３２４に記録された追記指定情報としての識別子３２５と、追記指定情報としての楕円３２６を含むレイアウト単位Ｃに記録された追記指定情報としての識別子３２７が同一または類似する場合である。このように、追記情報とレイアウト単位に同一または類似する識別子が記録されている場合も、これらの識別子を追記指定情報と判断し、追記情報３２４とレイアウト単位Ｃとの関連性があると判定する。
【００６３】
なお、図に示す例は、１つの追記情報と１つのレイアウト単位間で関連性がある場合の例を示したが、複数の追記情報と複数のレイアウト単位間で関連性がある場合についても、同様の関連性判定が可能である。また、追記情報相互間の関連性、さらにレイアウト単位間の関連性も判定される。このように、レイアウト単位関連性判定手段２３３は、追記情報とレイアウト単位、追記情報間、レイアウト単位間の各関連性について判定を行なう。
【００６４】
次に、（ｂ）文字列単位の関連付けと表示を実行する場合の処理構成について説明する。図５に示すレイアウト解析手段２３５は、レイアウト解析手段２３１と同様、原本ドキュメントまたは追記ドキュメントの画像データを入力し、ドキュメントのレイアウト解析を実行する。なお、原本ドキュメントに属性情報としてレイアウト情報が含まれる場合は、その情報を適用してもよい。レイアウト情報が含まれない場合は、原本ドキュメントまたは追記ドキュメントの画像データに基づいてレイアウト解析を実行する。
【００６５】
例えば、図８（１）に示すドキュメントデータ３３１に示すように、ドキュメントに含まれる文字領域、写真領域などの領域が解析され、例えば図８（１）に示すように、文字領域、写真領域などからなるレイアウト単位Ａ〜Ｄが解析、抽出される。なお、図８（１）に示すドキュメントデータ３３１は追記ドキュメントデータであり追記情報の記録領域３４１が含まれる。
【００６６】
文字列単位追記指定箇所判定手段２３６は、文字列単位に追記情報の指定情報が含まれるか否かを判定する。例えば図８（２）に示すように、追記指定情報としての楕円３４３などがある文字列３４４に設定されている場合、これを追記情報の指定情報として検出し、文字列３４４単位に追記情報の指定情報が含まれると判定する。
【００６７】
次に、文字列単位関連性判定手段２３７は、文字列単位の関連性を判定する。たとえば、図８（２）に示すように、追記指定情報としての楕円３４３の設定された文字列３４４と、追記情報３４１は、追記指定情報としての連結線３４２によって連結されている。このような連結線などの追記指定情報が存在する場合、追記情報３４１と文字列３４４は関連性があると判定する。
【００６８】
文字列単位の関連性判定処理の態様は、先に図７を参照して説明したレイアウト単位の関連性判定処理と同様、連結線のみならず、その他の情報、例えば類似する識別子などに基づいて判定を行なってもよい。文字列単位の関連性判定においても、複数の追記情報と複数の文字列間で関連性判定が可能である。また、追記情報間の関連性、さらに文字列単位間の関連性も判定される。このように、文字列単位関連性判定手段２３７は、追記情報と文字列単位、追記情報間、文字列単位間の各関連性について判定を行なう。
【００６９】
変更領域関連性判定手段２３０は、上述したように、追記情報に基づいて、レイアウト単位または文字列単位で、追記情報、レイアウト単位、文字列単位、相互の関連性を判定する。この関連性情報は、関連性履歴保持手段２４０において履歴データとして保持される。
【００７０】
先に、図２を参照して説明したように、追記ドキュメントは、原本ドキュメントに対して複数生成可能である。これらの追記ドキュメントは、それぞれ画像データとしてスキャナによって読み取られ、
追記ドキュメントａ（追記１回目）
追記ドキュメントｂ（追記２回目）
追記ドキュメントｃ（追記３回目）
：
のように、複数の追記ドキュメント対応の画像データが画像処理装置の記憶部に記憶され、各追記ドキュメントにおける追記情報の抽出、関連性判定に基づく関連情報の取得が実行される。
【００７１】
変更領域関連性判定手段２３０は、
（ａ）追記ドキュメントａ（追記１回目）における追記情報に基づく関連性情報の取得、
（ｂ）追記ドキュメントｂ（追記２回目）における追記情報に基づく関連性情報の取得、
（ａ）追記ドキュメントｃ（追記３回目）における追記情報に基づく関連性情報の取得、
のように、各追記ドキュメントに基づいて抽出された追記情報に基づく関連性情報の取得を実行する。関連性履歴保持手段２４０は、これらの関連性情報を履歴データとして記憶部に保持する。
【００７２】
なお、前述したように、各追記ドキュメントに基づく追記情報抽出処理は、原本情報に対する追記情報取得処理として実行するか、あるいは前回の追記ドキュメントに対する追記情報取得処理として実行することが可能である。追記ドキュメント（追記ｎ回目）において、原本ドキュメントに対する追記情報抽出処理を実行した場合は、複数回の先行する追記ドキュメントにおける追記情報がすべて抽出されるが、これらの抽出追記情報から、先行する追記ドキュメント（追記ｎ−１回目）において抽出済みの追記情報を取り除くことで、追記ドキュメント（追記ｎ回目）において新たに追記された追記情報のみを抽出することが可能となる。
【００７３】
関連性履歴保持手段２４０の保持する関連性履歴情報の格納テーブルの例を図９に示す。図９に示す関連性履歴情報テーブルは、レイアウト単位の関連性判定処理によって取得した関連性情報を格納したテーブルの例である。原本ドキュメントには、レイアウトＡ〜Ｄが含まれ、追記ドキュメント（追記１回目）に基づく追記抽出処理によって得られた追記情報が追記Ｐ１，追記Ｐ２、追記Ｐ３であり、追記ドキュメント（追記１回目）に基づく関連性判定処理によって、原本に含まれるレイアウトＣと追記Ｐ１とが関連性のある情報であると判定され、その判定結果が入力されている。
【００７４】
図１０に、図９のテーブルに示されるデータが抽出される追記ドキュメント（追記１回目）の例を示す。図１０に示すように追記ドキュメント４００は、レイアウト単位Ａ〜Ｄを持つ原本ドキュメントに対して追記情報Ｐ１，４１１、追記情報Ｐ２，４１２、追記情報Ｐ３，４１３を有している。さらに追記情報Ｐ１，４１１とレイアウト単位Ｃ，４０１は、接続線によって接続されており、関連性があると判定される。この結果、図９に示す関連性履歴情報テーブルの追記ドキュメント１（追記１回目）の各欄に、追記ドキュメント１（追記１回目）に基づく追記抽出処理によって得られた追記情報が追記Ｐ１，追記Ｐ２、追記Ｐ３であり、原本に含まれるレイアウトＣと追記Ｐ１とが関連性のある情報であるとの判定結果が格納されることになる。
【００７５】
さらに、追記ドキュメント２（追記２回目）、追記ドキュメント３（追記３回目）、・・・についても、追記情報と関連性情報が格納され、図９に示すような関連性履歴情報テーブルが、記憶部としての関連性履歴保持手段２４０に記憶保持されることになる。
【００７６】
関連データ区別表示選択手段２５０は、関連性のあると判定されたデータについて区別した表示を行なうための表示態様を設定する手段である。例えば、
追記１回目の追記情報と、その関連情報のみを抽出して表示、
追記２回目の追記情報と、その関連情報のみを抽出して表示、
すべての追記情報と、その関連情報を抽出して表示、
など、各種の表示態様を選択する。この選択処理は、ユーザによる入力によって決定することができる。例えば、デフォルトの設定では、
すべての追記情報と、その関連情報を抽出して表示、
の設定がなされており、ユーザは、入力手段を介して
追記１回目の追記情報と、その関連情報のみを抽出して表示、
などの設定に変更することが可能である。なお、すべての追記情報と、その関連情報を抽出して表示する場合は、追記１回目の情報と、追記２回目の表示態様を変えて表示する場合、例えば表示色を変更して表示する場合、これらの表示態様についても、装置にあらかじめ設定されたデフォルト設定情報に従って表示することも可能であり、ユーザが入力手段を介して設定することもできる。
【００７７】
画像／データ出力手段２６０は、関連データ区別表示選択手段２５０において選択された表示情報を予め設定された表示態様、あるいは入力によって設定された表示態様に従って表示する。
【００７８】
図１１に表示データの例を示す。図１１に示す表示データは、追記１回目の追記情報と、追記２回目の追記情報の表示態様を変更して表示した表示データ４５０の例である。図に示す表示データ４５０には、追記１回目の追記情報Ｐ１，４５２と、追記２回目の追記情報Ｑ１，４５３が選択表示されている。これらのデータは、図では、実線と点線で区別しているが、例えば赤と青などの表示態様が異なるデータであることを示している。
【００７９】
さらに、追記１回目の追記情報Ｐ１，４５２に対する関連情報と判定された原本情報としてのレイアウト単位Ｃデータ４５１が、追記１回目の追記情報Ｐ１，４５２に接続された連結線とともに表示される。レイアウト単位Ｃデータ４５１と追記情報Ｐ１，４５２は、変更領域関連性判定手段２３０において関連性ありの判定がなされ、関連性履歴保持手段２４０において保持された関連性履歴情報テーブルに関連性のあるデータであることの登録がなされたデータであり、レイアウト単位Ｃデータ４５１も追記情報Ｐ１，４５２の関連情報として表示される。また、追記情報Ｐ２，４５３に対して、追記情報Ｐ１，４５２は関連情報であり、追記情報Ｐ２，４５３に対する関連情報表示処理としても追記情報Ｐ１，４５２の表示がなされることになる。画像／データ出力手段は、関連性履歴保持手段２４０において保持された関連性履歴情報テーブルの登録データに基づいて表示処理を実行する。
【００８０】
なお、表示データは、ハイパーテキストによって構成し、関連データをハイパーリンクによって関連付けた構成としてもよい。例えば画像／データ出力手段において、スキャン画像のレイアウト情報、文字列情報と、関連情報等に基づいて、スキャン画像に含まれる画像、テキストなどを分類し、関連するデータ間にハイパーリンクを設定し、ハイパーテキストとしての表示データを生成した後、表示する。
【００８１】
なお、先に、関連データ区別表示選択手段２５０の説明において述べたように、表示データは、
追記１回目の追記情報と、その関連情報のみを抽出して表示、
追記２回目の追記情報と、その関連情報のみを抽出して表示、
すべての追記情報と、その関連情報を抽出して表示、
など、各種の表示態様を選択して表示することができる。
【００８２】
複数の表示例について図１２に示す。図１２には、
（ａ）全追記情報と関連情報
（ｂ）追記１回目情報と関連情報
（ｃ）追記２回目情報と関連情報
これら３種類の表示例を示している。（ａ）全追記情報と関連情報の表示においては、各追記回数に対応して表示色などの表示態様を区別して表示させることができる。
【００８３】
次に、図１３以下に示すフローチャートを参照して本発明の画像処理装置の実行する処理シーケンスについて説明する。図１３の処理フローは、ステップＳ１０２〜Ｓ１０４が、変更領域判定手段２２０の処理であり、変更領域判定手段２２０が図４を参照して説明した
（ａ）原本文書または画像が存在する場合の処理
を実行する場合の処理フローである。
【００８４】
ステップＳ１０１において、スキャン画像を入力する。これは、図３に示す画像入力手段２１０における処理である。解析対象となる画像データ、例えば追記ドキュメント、あるいは原本ドキュメントと追記ドキュメントを入力する。なお、これらのデータは、スキャナに限らず、ハードディスクなどのデータベースから入力してもよい。
【００８５】
ステップＳ１０２〜Ｓ１０４は、変更領域判定手段２２０の処理である。ここでは、変更領域判定手段２２０は、図４を参照して説明した（ａ）原本文書または画像が存在する場合の処理を実行する。まず、ステップＳ１０２において、スキャン画像（追記ドキュメント）と原本画像の位置合わせを実行し、ステップＳ１０３において、スキャン画像と原本画像の差分を算出し、ステップＳ１０４において、差分情報の存在する画素または画素を含む領域を変更領域と判定する。
【００８６】
ステップＳ１０５は、変更領域関連性判定手段２３０の処理である。変更領域関連性判定手段２３０の処理については、先に図５を参照して説明したように、
（ａ）レイアウト単位の関連付けと表示を実行する場合、
（ｂ）文字列単位の関連付けと表示を実行する場合、
これら（ａ），（ｂ）の場合において、異なる処理となる。
【００８７】
これらの処理シーケンスについて、図１４に示すフローを参照して説明する。図１４（ａ）は、レイアウト単位の関連付けと表示を実行する場合の、変更領域関連性判定手段２３０の処理シーケンスである。
【００８８】
まず、ステップＳ１５１において、ドキュメントのレイアウト解析を実行する。なお、原本ドキュメントに属性情報としてレイアウト情報が含まれる場合は、その情報を適用してもよい。レイアウト情報が含まれない場合は、原本ドキュメントまたは追記ドキュメントの画像データに基づいてレイアウト解析を実行する。
【００８９】
次に、ステップＳ１５２において、解析された各レイアウト単位に追記情報の指定情報が含まれるか否かを判定する。例えば図６（２）に示すように、レイアウト単位Ｃに追記情報としての楕円３２２などが、含まれる場合、これを追記情報の指定情報として検出し、レイアウト単位Ｃに追記情報の指定情報が含まれると判定する。
【００９０】
次に、ステップＳ１５３において、レイアウト単位の関連性を判定する。たとえば、図６（２）に示すように、追記情報としての楕円３２２を含むレイアウト単位Ｃと、追記情報３２１は、追記指定情報としての連結線３２３によって連結されている。このような連結情報（追記指定情報）が存在する場合、追記情報３２１とレイアウトＣは関連性があると判定する。なお、前述したように、関連性判定処理の態様は、このような連結線のみならず、追記情報とレイアウト単位に含まれるマークなどの識別子を適用してもよい。
【００９１】
次に、図１４（ｂ）の文字列単位の関連付けと表示を実行する場合の、変更領域関連性判定手段２３０の処理シーケンスについて説明する。
【００９２】
ステップＳ１７１は、ステップＳ１５１と同様の処理であり、ドキュメントのレイアウト解析を実行する。次に、ステップＳ１７２において、解析された各レイアウトに含まれる文字列単位に追記情報の指定情報が含まれるか否かを判定する。例えば図８（２）に示すように、文字列単位に追記情報としての楕円３４４が記録されている場合、これを追記情報の指定情報として検出し、文字列単位３４３に追記情報の指定情報が含まれると判定する。
【００９３】
次に、ステップＳ１７３において、文字列単位の関連性を判定する。たとえば、図８（２）に示すように、追記情報としての楕円３４４を含む文字列３４３と、追記情報３４１は、追記指定情報としての連結線３４２によって連結されている。このような連結情報（追記指定情報）が存在する場合、追記情報３４１と文字列３４３は関連性があると判定する。なお、前述したように、関連性判定処理の態様は、このような連結線のみならず、追記情報とレイアウト単位に含まれるマークなどの識別子を適用してもよい。
【００９４】
以上の変更領域関連判定処理が終了すると、図１３のフローにおけるステップＳ１０６に進む。ステップＳ１０６は、関連性履歴保持手段２４０の処理であり、例えば、先に図９を参照して説明した関連性履歴情報テーブルを生成または更新して記憶部に格納する。関連性履歴情報テーブルには各追記ドキュメントに対応する追記情報、および追記情報に基づいて抽出された関連情報が含まれる。関連情報は、
追記情報とレイアウト単位（または文字列単位）の関連、
追記情報間の関連、
レイアウト単位（または文字列単位）間の関連、
等の各関連情報を含むものである。
【００９５】
次に、ステップＳ１０７において、情報の表示態様を選択する。これは、関連データ区別表示選択手段２５０の処理であり、表示するデータの選択処理や、各情報の表示態様（たとえば色）などを決定する処理である。
【００９６】
次に、ステップＳ１０８は、画像／データ出力手段２６０の処理であり、ステップＳ１０７において決定した情報表示態様に従って、各種のデータを表示する。例えば図１１、図１２を参照して説明したような表示が実行される。すなわち、図１２に示したように、
（ａ）全追記情報と関連情報
（ｂ）追記１回目情報と関連情報
（ｃ）追記２回目情報と関連情報
などの各種の表示が実行される。
【００９７】
ユーザは、追記情報のみならず、追記情報に関連する原本情報、他の追記情報を見ることができるので、追記情報の意味するところを容易に把握できる。
【００９８】
次に、図１５を参照して、変更領域判定手段２２０の処理が、図４を参照して説明した（ｂ）原本文書または画像が存在しない場合の処理
を実行する場合の処理について説明する。
【００９９】
図１３の処理フローとの差異は、ステップＳ２０２〜Ｓ２０４であり、その他のステップＳ２０１、Ｓ２０５〜Ｓ２０８は、図１３の処理フローにおけるステップＳ１０１，Ｓ１０５〜Ｓ１０８と同様の処理であるので説明を省略する。
【０１００】
ステップＳ２０２〜Ｓ２０４の処理、すなわち、図４を参照して説明した（ｂ）原本文書または画像が存在しない場合に変更領域判定手段２２０の実行する処理について説明する。
【０１０１】
原本文書または画像が存在しない場合は、原本ドキュメント画像と、追記ドキュメント画像の２画像の差分抽出ができない。従って、追記ドキュメントのみから追記情報であると判定されるデータを抽出する処理を実行する。ステップＳ２０２において、追記ドキュメントの画像分析（色分析）を実行して、追記ドキュメントに使用されている色を抽出する。例えば、黒と赤などの分析結果が得られる。
【０１０２】
次に、ステップＳ２０３において、追記情報として識別すべき色情報を入力する。たとえばオペレータによって色情報（赤など）を入力する。なお、オペレータによる色情報の入力を行なうことなく、例えば、黒以外の色情報を追記情報として判定する設定としてもよい。この構成の場合には、外部からの色情報の入力は不要である。
【０１０３】
次に、ステップＳ２０３において、追記ドキュメントの画像分析（色分析）結果と、ステップＳ２０２において入力された色情報、あるいは予め設定済みの色情報に基づいて、追記ドキュメントから指定色を持つ画素を抽出する。あるいは、指定色を持つ画素を含む矩形領域などを抽出する。
【０１０４】
以下のステップＳ２０５以降の処理は、図１３の処理フローにおけるステップＳ１０５以下の処理と同様である。
【０１０５】
本発明の画像処理装置では、追記情報に基づいて関連情報を特定し、データ表示の際に、追記情報のみならず、追記情報に関連する原本情報、他の追記情報を出力する構成としたので、ユーザは、追記情報のみならず関連情報を併せて見ることが可能となり、追記情報の意味の把握、全体情報の把握を容易に行なうことができる。
【０１０６】
最後に、図１６を参照して、本発明の画像処理装置のハードウェア構成例について説明する。図１６に示す構成は、例えばＰＣなどによって構成される画像処理装置であり、スキャナ等のデータ読み取り部５３１と、プリンタなどのデータ出力部５３２を備えたハード構成例を示している。
【０１０７】
ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわち変更領域判定処理、変更領域関連性判定処理、関連性履歴情報テーブルの生成、情報表示制御処理等の各処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。
【０１０８】
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【０１０９】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【０１１０】
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。
【０１１１】
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、入力された原本ドキュメントや追記ドキュメントデータ、さらに、関連性履歴情報テーブルなどを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【０１１２】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。
【０１１３】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部５３１は、ドキュメントの読み取り処理を実行し、データ出力部５３２は、ドキュメントデータの出力処理を実行する。
【０１１４】
なお、図１６に示す画像処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の画像処理装置は、図１６に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
【０１１５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１１６】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１１７】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１１８】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１１９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１２０】
以上、説明したように、本発明の構成によれば、追記情報の抽出、提示処理を実行する画像処理装置において、追記情報として判別される画素領域を含む変更領域を抽出し、さらに変更領域に対応する関連情報を含む領域を検出し、関連情報を含む領域をレイアウト単位または文字列単位で抽出し、追記情報および該追記情報の関連情報を含む領域とを選択して表示手段に表示する構成としたので、ユーザは、追記情報のみならず、追記情報に関連する原本情報、他の追記情報を見ることができ、追記情報の意味把握、重要情報の把握などを効率的に行なうシステムを提供できる。
【図面の簡単な説明】
【０１２１】
【図１】本発明の画像処理装置を適用した処理の概要について説明する図である。
【図２】本発明の画像処理装置を適用した処理の概要およびドキュメントについて説明する図である。
【図３】本発明の画像処理装置の構成について説明する図である。
【図４】本発明の画像処理装置の変更領域判定手段の詳細構成について説明する図である。
【図５】本発明の画像処理装置の変更領域関連性判定手段の詳細構成について説明する図である。
【図６】本発明の画像処理装置の変更領域関連性判定手段の処理例について説明する図である。
【図７】本発明の画像処理装置の変更領域関連性判定手段の処理例について説明する図である。
【図８】本発明の画像処理装置の変更領域関連性判定手段の処理例について説明する図である。
【図９】本発明の画像処理装置の関連性履歴保持手段の保持する関連性履歴情報テーブルのデータ構成例について説明する図である。
【図１０】本発明の画像処理装置の処理対象となる追記ドキュメントのデータ構成例について説明する図である。
【図１１】本発明の画像処理装置の出力する表示データ構成例について説明する図である。
【図１２】本発明の画像処理装置の出力する表示データ構成例について説明する図である。
【図１３】本発明の画像処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１４】本発明の画像処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１５】本発明の画像処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１６】本発明の画像処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０１２２】
１１  原本ドキュメント
１２  追記ドキュメント
２０  出力データ
１０１  情報処理装置
１０２  プリンタ
１０３  スキャナ
１５１  原本ドキュメント
１５２，１５３  追記ドキュメント
１６１，１６２  抽出追記情報
１７１  出力データ
２００  画像処理装置
２１０  画像入力手段
２２０  変更領域判定手段
２２１  画像情報位置合わせ手段
２２２  画像情報差分算出手段
２２３  変更領域出力手段
２２５  使用色抽出手段
２２６  変更領域出力手段
２３０  変更領域関連性判定手段
２３１  レイアウト解析手段
２３２  レイアウト単位追記指定箇所判定手段
２３３  レイアウト単位関連性判定手段
２３５  レイアウト解析手段
２３６  文字列単位追記指定箇所判定手段
２３７  文字列単位関連性判定手段
２４０  関連性履歴保持手段
２５０  関連データ区別表示選択手段
２６０  画像／データ出力手段
３１１  ドキュメントデータ
３２１  追記情報
３２２  楕円（追記指定情報）
３２３  連結線（追記指定情報）
３２４  追記情報
３２５  識別子（追記指定情報）
３２６  楕円（追記指定情報）
３２７  識別子（追記指定情報）
３３１  ドキュメントデータ
３４１  追記情報
３４２  連結線（追記指定情報）
３４３  楕円（追記指定情報）
３４４  文字列
４００  追記ドキュメント
４０１  レイアウト単位Ｃ
４１１  追記情報Ｐ１
４１２  追記情報Ｐ２
４１３  追記情報Ｐ３
４５０  表示データ
４５１  レイアウト単位Ｃ
４５２  追記情報Ｐ１
４５３  追記情報Ｑ１
５０１  ＣＰＵ(Central Processing Unit)
５０２  ＲＯＭ（Read-Only-Memory）
５０３  ＲＡＭ（Random Access Memory）
５０４  ホストバス
５０５  ブリッジ
５０６  外部バス
５０７  インタフェース
５０８  キーボード
５０９  ポインティングデバイス
５１０  ディスプレイ
５１１  ＨＤＤ（Hard Disk Drive）
５１２  ドライブ
５１４  接続ポート
５１５  通信部
５２１  リムーバブル記録媒体
５２２  外部接続機器
５３１  データ読み取り部
５３２  データ出力部
【図１】
0004591229.tif 000002
【図２】
0004591229.tif 000003
【図３】
0004591229.tif 000004
【図４】
0004591229.tif 000005
【図５】
0004591229.tif 000006
【図６】
0004591229.tif 000007
【図７】
0004591229.tif 000008
【図８】
0004591229.tif 000009
【図９】
0004591229.tif 000010
【図１０】
0004591229.tif 000011
【図１１】
0004591229.tif 000012
【図１２】
0004591229.tif 000013
【図１３】
0004591229.tif 000014
【図１４】
0004591229.tif 000015
【図１５】
0004591229.tif 000016
【図１６】
0004591229.tif 000017