(57)【要約】【課題】      文書原本に対する追記によって指定された被追記部分を抽出し、この被追記部分に各種処理を施すことを可能にする。【解決手段】  制御部１１は、入力部１３に入力された画像データが表す追記文書から追記画像を抽出し、その追記画像と所定の位置関係を有する被追記領域を特定する。さらに、制御部１１は、特定された被追記領域に配置された被追記画像データを抽出して、これら被追記画像に対し、追記の色によって指定された処理を実行する。従って、追記者は、処理の内容に応じた色のペンで文書の一部に追記を行うだけで、画像処理装置１に所望する処理を実行させることができる。【選択図】    図１
2006133960.tif 000002
【特許請求の範囲】
【請求項１】
画像データが入力される入力手段と、
入力された前記画像データが表す画像から、決められた条件に従って特定される追記画像を抽出する追記画像抽出手段と、
抽出された前記追記画像と所定の位置関係を有する画像領域を被追記領域として特定する領域特定手段と、
特定された前記被追記領域に配置されている画像を被追記画像として抽出する被追記画像抽出手段と、
抽出された被追記画像に対して指定された処理を行う処理手段と
を備えた画像処理装置。
【請求項２】
前記追記画像抽出手段によって抽出された追記画像が線を表した画像であり、その線に途切れた箇所がある場合には、その途切れた箇所を線で補完する補完手段を備え、
前記領域特定手段は、前記補完手段によって補完された追記画像と所定の位置関係を有する被追記領域を特定する請求項１記載の画像処理装置。
【請求項３】
前記追記画像抽出手段によって抽出された追記画像が閉じたループを表した画像である場合には、前記領域特定手段は、前記追記画像が表すループによって囲まれた画像領域を前記被追記領域として特定する請求項１記載の画像処理装置。
【請求項４】
入力された前記画像データが表す画像に対して、または、当該画像から前記追記画像が除去された画像に対して、レイアウト解析を行って該画像を複数のレイアウト単位領域に分割するレイアウト解析手段を備え、
前記領域特定手段は、前記レイアウト解析手段によって分割されたレイアウト単位領域のうち、前記追記画像抽出手段によって抽出された前記追記画像と所定の位置関係を有するレイアウト単位領域を前記被追記領域として特定する請求項１記載の画像処理装置。
【請求項５】
前記追記画像抽出手段によって抽出された追記画像が閉じたループを表した画像である場合に、前記領域特定手段は、前記追記画像が表すループによってほぼ全域が囲まれた前記レイアウト単位領域を前記被追記領域として特定する請求項４記載の画像処理装置。
【請求項６】
前記追記画像抽出手段によって抽出された追記画像が閉じたループを表した画像である場合に、前記領域特定手段は、前記追記画像が表すループが存在するかまたは当該ループによって包含される全ての前記レイアウト単位領域を前記被追記領域として特定する請求項４記載の画像処理装置。
【請求項７】
前記追記画像抽出手段によって抽出された追記画像に外接する外接矩形を生成する外接矩形生成手段を備え、
前記領域特定手段は、前記外接矩形によってほぼ全域が囲まれた前記レイアウト単位領域を前記被追記領域として特定する請求項４記載の画像処理装置。
【請求項８】
前記追記画像抽出手段によって抽出された追記画像に外接する外接矩形を生成する外接矩形生成手段を備え、
前記領域特定手段は、前記外接矩形が存在するかまたは当該外接矩形によって包含される全ての前記レイアウト単位領域を前記被追記領域として特定する請求項４記載の画像処理装置。
【請求項９】
前記領域特定手段は、前記追記画像抽出手段によって抽出された追記画像のほぼ全域が存在する前記レイアウト単位領域を前記被追記領域として特定する請求項４記載の画像処理装置。
【請求項１０】
前記領域特定手段は、前記追記画像抽出手段によって抽出された追記画像の少なくとも一部が存在する全ての前記レイアウト単位領域を前記被追記領域として特定する請求項４記載の画像処理装置。
【請求項１１】
前記領域特定手段は、前記追記画像と所定の位置関係を有するレイアウト単位領域に加えて、当該レイアウト単位領域に隣接するレイアウト単位領域を前記被追記領域として特定する請求項５〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記レイアウト単位領域に含まれる文字列に対し文字認識を行う文字認識手段と、
前記文字認識手段による認識結果に対して自然言語解析を行う自然言語解析手段と、
前記自然言語解析手段による解析結果に基づいて、関連のあるレイアウト単位領域どうしをグループ化するグルーピング手段とを備え、
前記領域特定手段は、前記追記画像と所定の位置関係を有するレイアウト単位領域に加えて、前記グルーピング手段によって当該レイアウト単位領域と同じグループに属するとされたレイアウト単位領域を前記被追記領域として特定する請求項５〜１０のいずれか１項に記載の画像処理装置。
【請求項１３】
前記処理手段は、抽出された被追記画像に対して、当該被追記画像の抽出処理、削除ないしマスク処理、他の画像との置換処理、文字認識処理、または当該文字認識の結果に対する翻訳処理のうち、少なくともいずれか１つの処理を行う請求項１記載の画像処理装置。
【請求項１４】
前記追記画像の色を識別する色識別手段と、
前記追記画像の色と処理の内容とを対応付けて記憶した記憶手段とを備え、
前記処理手段は、抽出された前記被追記画像に対し、当該被追記画像と所定の位置関係を有する前記追記画像の色に対応付けて前記記憶手段に記憶されている内容の処理を行う請求項１記載の画像処理装置。
【請求項１５】
前記追記画像の形状を識別する形状識別手段と、
前記追記画像の形状と処理の内容とを対応付けて記憶した記憶手段とを備え、
前記処理手段は、抽出された前記被追記画像に対し、当該被追記画像と所定の位置関係を有する前記追記画像の形状に対応付けて前記記憶手段に記憶されている内容の処理を行う請求項１記載の画像処理装置。
【請求項１６】
コンピュータに、
入力された前記画像データが表す画像から、決められた条件に従って特定される追記画像を抽出する追記画像抽出機能と、
抽出された前記追記画像と所定の位置関係を有する画像領域を被追記領域として特定する領域特定機能と、
特定された前記被追記領域に配置されている画像を被追記画像として抽出する被追記画像抽出機能と、
抽出された被追記画像に対して指定された処理を行う処理機能と
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書原本になされた追記によって指定された被追記部分に対して各種の処理を行うための技術に関する。
【背景技術】
【０００２】
文書には、各種のコメントが記されたり、その文書の内容を承認したことを示すための承認者のサインや印影などが付されることがある。従来から、このような追記部分だけを抽出するための技術が提案されている。例えば特許文献１には、文書原本と、その原本に追記がなされた追記文書を比較照合することにより、追記部分のみを抽出するという技術が記載されている。特許文献２には、ある文書がすでにデータベースに登録済みの文書Ａの追記文書Ｂであった場合には、その追記文書Ｂと文書Ａとを比較して追記部分の画像データを抽出し、抽出した画像データを文書Ａに対応付けるという仕組みが提案されている。そして、特許文献３には、特許文献２に記載されているように追記文書Ｂと文書Ａとを比較して追記部分の画像データを抽出したうえで、その追記部分の画像データに関する情報（例えばキーワードや更新日時）をユーザが入力し、これらの入力情報を追記部分の画像データと共に記憶しておくことが記載されている。
【０００３】
ところで、新聞や雑誌等の記事を参照している最中に、興味がある記事を切り出して保存したいとか、或いは、不要な記事にマスクをかけて塗りつぶしたいというような場合がある。このような場合に、例えばマーカーペンによるマーキング等の追記によって、その記事（被追記部分）を指定するだけで、上記のような記事の切り出し処理やマスク処理を行うことができれば非常に便利である。ところが、特許文献１〜３に記載されているような追記に関わる技術では、このような要請に応えることができない。
【特許文献１】特開昭６１−２６７１７７号公報
【特許文献２】特開平８−３１７１５５号公報
【特許文献３】特開２０００−１４８７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、このような背景に鑑みてなされたものであり、その目的は、文書原本に対する追記によって指定された被追記部分を抽出し、この被追記部分に各種処理を施すことが可能な技術を提供することにある。
【課題を解決するための手段】
【０００５】
上述の目的を達成するために、本発明は、画像データが入力される入力手段と、入力された前記画像データが表す画像から、決められた条件に従って特定される追記画像を抽出する追記画像抽出手段と、抽出された前記追記画像と所定の位置関係を有する画像領域を被追記領域として特定する領域特定手段と、特定された前記被追記領域に配置されている画像を被追記画像として抽出する被追記画像抽出手段と、抽出された被追記画像に対して指定された処理を行う処理手段とを備えた画像処理装置を提供する。この画像処理装置によれば、追記画像と所定の位置関係を有する画像領域を被追記領域として特定し、特定した被追記領域に配置されている被追記画像に対し、指定された処理を行うことが可能となる。
【０００６】
本発明の好ましい態様においては、前記追記画像抽出手段によって抽出された追記画像が線を表しており、その線に途切れた箇所がある場合には、その途切れた箇所を線で補完する補完手段を備え、前記領域特定手段は、前記補完手段によって補完された追記画像と所定の位置関係を有する被追記領域を特定する。
【０００７】
前記追記画像抽出手段によって抽出された追記画像が閉じたループを表した画像である場合には、前記領域特定手段は、前記追記画像が表すループによって囲まれた画像領域を前記被追記領域として特定するようにしてもよい。
【０００８】
本発明の好ましい態様においては、入力された前記画像データが表す画像に対して、または、当該画像から前記追記画像が除去された画像に対して、レイアウト解析を行い、該画像を複数のレイアウト単位領域に分割するレイアウト解析手段を備え、前記領域特定手段は、前記レイアウト解析手段によって分割されたレイアウト単位領域のうち、前記追記画像抽出手段によって抽出された前記追記画像と所定の位置関係を有するレイアウト単位領域を前記被追記領域として特定する。
【０００９】
例えば、前記追記画像抽出手段によって抽出された追記画像が閉じたループを表した画像である場合に、前記領域特定手段は、前記追記画像が表すループによってほぼ全域が囲まれた前記レイアウト単位領域を前記被追記領域として特定するようにしてもよい。また、前記追記画像抽出手段によって抽出された追記画像が閉じたループを表した画像である場合に、前記領域特定手段は、前記追記画像が表すループが存在するかまたは当該ループによって包含される全ての前記レイアウト単位領域を前記被追記領域として特定するようにしてもよい。また、前記追記画像抽出手段によって抽出された追記画像に外接する外接矩形を生成する外接矩形生成手段を備え、前記領域特定手段は、前記外接矩形によってほぼ全域が囲まれた前記レイアウト単位領域を前記被追記領域として特定するようにしてもよい。また、前記追記画像抽出手段によって抽出された追記画像に外接する外接矩形を生成する外接矩形生成手段を備え、前記領域特定手段は、前記外接矩形が存在するかまたは当該外接矩形によって包含される全ての前記レイアウト単位領域を前記被追記領域として特定するようにしてもよい。また、前記領域特定手段は、前記追記画像抽出手段によって抽出された追記画像のほぼ全域が存在する前記レイアウト単位領域を前記被追記領域として特定するようにしてもよい。前記領域特定手段は、前記追記画像抽出手段によって抽出された追記画像の少なくとも一部が存在する全ての前記レイアウト単位領域を前記被追記領域として特定するようにしてもよい。
【００１０】
さらに、前記領域特定手段は、前記追記画像と所定の位置関係を有するレイアウト単位領域に加えて、当該レイアウト単位領域に隣接するレイアウト単位領域を前記被追記領域として特定するようにしてもよい。また、前記レイアウト単位領域に含まれる文字列に対し文字認識を行う文字認識手段と、前記文字認識手段による認識結果に対して自然言語解析を行う自然言語解析手段と、前記自然言語解析手段による解析結果に基づいて、関連のあるレイアウト単位領域どうしをグループ化するグルーピング手段とを備え、前記領域特定手段は、前記追記画像と所定の位置関係を有するレイアウト単位領域に加えて、前記グルーピング手段によって当該レイアウト単位領域と同じグループに属するとされたレイアウト単位領域を前記被追記領域として特定するようにしてもよい。
【００１１】
前記処理手段は、抽出された被追記画像に対して、当該被追記画像の抽出処理、削除ないしマスク処理、他の画像との置換処理、文字認識処理、または当該文字認識の結果に対する翻訳処理のうち、少なくともいずれか１つの処理を行うようにしてもよい。
【００１２】
また、前記追記画像の色を識別する色識別手段と、前記追記画像の色と処理の内容とを対応付けて記憶した記憶手段とを備え、前記処理手段は、抽出された前記被追記画像に対し、当該被追記画像と所定の位置関係を有する前記追記画像の色に対応付けて前記記憶手段に記憶されている内容の処理を行うようにしてもよい。
【００１３】
また、前記追記画像の形状を識別する形状識別手段と、前記追記画像の形状と処理の内容とを対応付けて記憶した記憶手段とを備え、前記処理手段は、抽出された前記被追記画像に対し、当該被追記画像と所定の位置関係を有する前記追記画像の形状に対応付けて前記記憶手段に記憶されている内容の処理を行うようにしてもよい。
【００１４】
また、本発明は、コンピュータに、入力された前記画像データが表す画像から、決められた条件に従って特定される追記画像を抽出する追記画像抽出機能と、抽出された前記追記画像と所定の位置関係を有する画像領域を被追記領域として特定する領域特定機能と、特定された前記被追記領域に配置されている画像を被追記画像として抽出する被追記画像抽出機能と、抽出された被追記画像に対して指定された処理を行う処理機能とを実現させるためのプログラムを提供する。
【発明を実施するための最良の形態】
【００１５】
まず、本発明の実施形態で用いる主要な用語を定義しておく。
「文書原本」とは、プリンタ等の画像形成装置によって画像が形成されてから追記者による追記が一切なされていない文書を意味している。「原本画像データ」とは、この文書原本の内容を表した画像データである。
これに対し、「追記文書」とは、文書原本に対して追記がなされた状態の文書を意味している。また、「追記画像」とは文書原本の追記部分の画像を意味している。例えば或る文字列を線で囲むような追記の場合には、その線そのものが追記画像である。「追記画像データ」とは、追記画像の内容を表した画像データである。
そして、「被追記画像」とは、文書原本において追記によって指定された部分（被追記部分）の画像を意味している。例えば或る文字列を線で囲むような追記の場合には、その文字列が被追記画像である。「被追記画像データ」とは、被追記部分の内容を表した画像データである。
【００１６】
（１）第１実施形態
図１は、第１実施形態に係る画像処理装置１の構成を示したブロック図である。画像処理装置１は、例えばパーソナルコンピュータであり、制御部１１と、不揮発性記憶部１２と、入力部１３と、表示部１４と、操作部１５とを備えている。入力部１３には通信ケーブルを介してスキャナ等の画像読取装置２が接続されている。
【００１７】
制御部１１は、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２及びＲＡＭ（Random Access Memory）１１３を備えており、画像読取装置２から入力部１３を介して入力された画像データに対し、各種の画像処理を実行する。不揮発性記憶部１２は例えばハードディスクであり、制御部１１が実行する画像処理の手順が記述された画像処理プログラムＰＲＧを記憶している。操作部１５は、例えばキーボードやマウスを備えており、ユーザによる入力操作を受け付けて、その操作に応じた信号を制御部１１に供給する。表示部１４は例えば液晶ディスプレイ装置であり、制御部１１による制御の下で各種画像を表示する。
【００１８】
図２は、画像処理プログラムＰＲＧに記述された手順を示すフローチャートである。
追記者は文書原本に追記を行う。具体的には、ごく一般的なテキスト文書のように白色地の記録紙に黒色の画像が形成されたモノクロの文書原本に対し、追記者はペンを用いて、例えば切り出して保存したい文書内容を線で囲むような追記を行う。ここで用いられるペンは、例えば赤、黄、青などの色のペンである。第１実施形態では、追記を行う際のルールとして、切り出して保存する内容に対しては赤色の線で囲み、削除する内容に対しては青色の線で囲むということが事前に決められているものとする。このような追記に用いるべき色と処理の内容とは、それぞれ対応付けられて不揮発性記憶部１２に予め記憶されている。
【００１９】
ここで、図３の追記文書Ｄ１は、上記のようなルールで追記がなされた追記文書の一例を示している。この例では、青色の線ｌ１によって文書の一部の内容が囲まれている。画像処理装置１の操作者は、図３に示したような追記文書Ｄ１を画像読取装置２によって読み取らせる。画像読取装置２は、読み取った画像を表す画像データを画像処理装置１の入力部１３に入力する。
【００２０】
図２において、入力部１３に画像データが入力されると（ステップＳ１）、制御部１１は、その画像データから、予め決められた条件に従って追記画像を特定し、これらを抽出する（ステップＳ２）。上述したように追記の色は予め決められているので、ここでは、制御部１１は、画像データからその色の画素からなる画像を追記画像として抽出すればよい。図３の例では青色の線ｌ１が追記画像として抽出されることになる。
【００２１】
次いで、制御部１１は、ステップＳ２で抽出した追記画像に補完が必要か否かを判断する。例えば追記者が閉ループを記入しようとしても、完全な閉ループにならずに、ループの一部が途切れてしまうことがある。一例を挙げると、図４の追記文書Ｄ２のように、青色の線ｌ２が完全な閉ループを形成していないような場合である。このような場合、制御部１１は、追記画像（線ｌ２）の一端と他端との距離を算出し、その距離が閾値未満の場合には補完が必要だと判断して（ステップＳ３；Ｙｅｓ）、その一端と他端を線ｌ２’で結んで補完する（ステップＳ４）。この補完処理によって、文書Ｄ２’に示すように完全な閉ループが形成される。
【００２２】
次いで、制御部１１は、抽出した追記画像と所定の位置関係を有する被追記領域を特定する（ステップＳ５）。例えば、図３の追記文書Ｄ１のように青色の線ｌ１で閉ループが形成されているような場合には、その閉ループによって囲まれた画像領域ａ１（図３の斜線部分）が被追記領域である。同様に、図４の文書Ｄ２’のように補完された青色の線ｌ２によって閉ループが形成されているような場合には、その閉ループによって囲まれた画像領域ａ２（図４の斜線部分）が被追記領域である。
【００２３】
次に、制御部１１は、特定された被追記領域に配置されている画像を被追記画像として抽出する（ステップＳ６）。そして、制御部１１は、抽出した被追記画像に対し、追記の色に対応する処理を実行する（ステップＳ７）。ここでは、青色の追記に対応する処理は、被追記画像の削除であるから、図３，４に示した文書Ｄ１’、Ｄ２”のように、被追記領域ａ１，ａ２の画像が削除されることになる。そして、制御部１１は、その処理の結果（文書Ｄ１’、Ｄ２”を表す画像データ）を不揮発性記憶部１２に記憶する。
【００２４】
この第１実施形態によれば、制御部１１は、入力部１３に入力された画像データが表す追記文書から追記画像を抽出し、その追記画像と所定の位置関係を有する被追記領域を特定する。さらに、制御部１１は、特定された被追記領域に配置された被追記画像データを抽出して、これら被追記画像に対し、追記の色によって指定された処理を実行する。従って、追記者は、処理の内容に応じた色のペンで文書原本に追記を行うだけで、自身が所望する処理を画像処理装置１に実行させることができる。また、図４に示したように線ｌ２が途切れるなど、追記が不完全な場合であっても、その途切れた部分を画像処理装置１が補完するので、追記者にとっては追記作業が簡便になる。なお、黒色の文字の上に例えば青色の線で追記した場合、その追記画像を抽出しようとすると、実際には、文字と重なっている部分は青色の画素ではなく黒色の画素であるから、この部分が全て途切れてしまうことになる。第１実施形態では補完処理を行うので、このような場合であっても、被追記画像を適切に抽出することができる。
【００２５】
なお、第１実施形態は次のような変形が可能である。
追記画像を抽出する際には、上記のように追記画像の色の別に基づいて抽出するという方法の他にも、様々な方法がある。例えば、上述した特許文献１〜３に記載されているように、予め電子データ化して保存された文書原本と、その文書原本に追記がなされた追記文書とを比較することで追記部分を抽出するという方法を採用してもよい。
【００２６】
また、次のような方法もある。制御部１１は、画像処理装置１に入力された画像データに含まれる各画素の色をいわゆる限定色化し（つまり幾つかの代表色に変換し）、これらの代表色のうち少なくともいずれか２色を基本色として特定する。ここでいう基本色とは、文書原本の内容を表すために用いられている色であり、例えば白色の記録紙に黒色の文字が形成されているような場合には、白と黒が基本色である。そして、制御部１１は、代表色に変換された画像データを、基本色の画素からなる原本画像データと、その基本色以外の代表色の画素からなる追記画像データとに分離する。ここで、原本画像データは、基本色によって表される画像データであるから、文書原本の内容を表しているはずである。一方、基本色以外（黒と白以外）の代表色の画素によって構成された画像データは、追記画像を表しているはずである。
【００２７】
なお、被追記画像に施す処理の種類は、上述した切り出し処理や削除処理に限らず、任意の処理を適用し得る。例えば、他の画像との置換処理であってもよい。
【００２８】
また、画像処理装置１はパーソナルコンピュータによって実現してもよいし、この画像処理装置１の機能を備えた複合機によって実現してもよい。また、画像処理装置１の機能の一部を画像読取装置２によって実現してもよい。また、画像処理装置１の制御部１１は、抽出した被追記画像データを画像処理装置１に内蔵された不揮発性記憶部１２に記憶するのではなく、フロッピー（登録商標）ディスクやその他の記録媒体に記憶するようにしてもよい。なお、画像処理プログラムＰＲＧは、磁気ディスク、フロッピー（登録商標）ディスク、ＣＤ（Compact Disk），ＤＶＤ（Digital Versatile Disk），ＲＡＭ等の種々の記録媒体に記録した状態で提供することが可能である。
【００２９】
（２）第２実施形態
次に、本発明の第２実施形態について説明する。この第２実施形態では、追記文書に対してレイアウト解析を行ってから被追記画像を抽出する点が第１実施形態と異なっている。この第２実施形態に係る画像処理装置の構成は、画像処理プログラムＰＲＧに記述された手順の一部を除いて、図１に示した画像処理装置１と同じであるから、その詳細な説明は省略する。
【００３０】
図５は、第２実施形態に係る画像処理プログラムＰＲＧに記述された手順を示すフローチャートである。図５において図２の内容と異なる点は、ステップＳ２とステップＳ５の間に、レイアウト解析を行う処理（ステップＳ８）が挿入されているところである。なお、図５には、追記画像の補完処理（ステップＳ３，４）の図示を省略しているが、もちろんこの補完処理の後にステップＳ８を行うようにしてもよい。
【００３１】
ここで、レイアウト解析後に被追記領域を特定する具体的方法について、図６〜図９を参照しながら説明する。
（２−１）閉ループによって囲まれたレイアウト単位領域を被追記領域として特定する方法
図６に示す追記文書Ｄ３には、赤色の線ｌ３からなる閉ループが追記されている。制御部１１は、この閉ループを抽出してから（ステップＳ２）、この閉ループをいったん除去してレイアウト解析を実行し（ステップＳ８）、図６の点線で示すようなレイアウト単位領域にそれぞれ分割する。そして、制御部１１は、閉ループによって囲まれているレイアウト単位領域ａ３（図６の斜線部分）を特定する。ここで、レイアウト単位領域ａ３の全域が完全に閉ループによって囲まれていなくても、そのレイアウト単位領域ａ３のほぼ全域が囲まれていれば、制御部１１は、そのレイアウト単位領域ａ３を被追記領域として特定すればよい。
【００３２】
次いで、制御部１１は、特定されたレイアウト単位領域ａ３（被追記領域）に配置されている画像を被追記画像として抽出する（ステップＳ６）。ここで、追記の色は赤であるから、制御部１１は、抽出した被追記画像を切り出し、不揮発性記憶部１２に保存する処理を実行する（ステップＳ７）。なお、図６において、矢印ｐは追記画像をいったん除去してからレイアウト解析を行う場合の手順を示している。これに対し、矢印ｑは、追記画像を除去せずにレイアウト解析を行う場合の手順を示している（以降の図７〜図１１において同じ）。いずれの手順でレイアウト解析を実行するかについては適切な方を適宜選択すればよい。
【００３３】
（２−２）閉ループが存在するかまたは閉ループによって包含される全てのレイアウト単位領域を被追記領域として特定する方法
次に、図７は、閉ループが存在するかまたは閉ループによって包含される全てのレイアウト単位領域を被追記領域として特定する場合の例を示している。制御部１１は、図７の閉ループを示す線ｌ４（赤色）が存在するかまたはその閉ループによって包含される全てのレイアウト単位領域ａ４（図７の斜線部分）を被追記領域として特定する。その後、制御部１１は、特定されたレイアウト単位領域ａ４に配置されている画像を被追記画像として抽出する（ステップＳ６）。ここで、追記画像の色は赤であるから、制御部１１は、抽出した被追記画像を切り出し、不揮発性記憶部１２に保存する処理を実行する（ステップＳ７）。
【００３４】
（２−３）追記画像の外接矩形によって囲まれたレイアウト単位領域を被追記領域として特定する方法
次に、図８は、追記画像の外接矩形を用いて被追記領域を特定する場合の例を示している。図８に示す追記文書Ｄ５には、赤色の線ｌ５からなる閉ループが追記されている。制御部１１は、この閉ループを抽出してから（ステップＳ２）、この閉ループを除去してレイアウト解析を実行し（ステップＳ８）、図８の点線で示すようなレイアウト単位領域に分割する。そして、制御部１１は、閉ループの外接矩形ｓ５を生成し、その外接矩形ｓ５によって囲まれているレイアウト単位領域ａ５（図８の斜線部分）を特定する。ここで、レイアウト単位領域ａ５の全域が完全に外接矩形ｓ５によって囲まれていなくても、そのレイアウト単位領域ａ５のほぼ全域が囲まれていれば、制御部１１は、そのレイアウト単位領域を被追記領域として特定すればよい。
【００３５】
次いで、制御部１１は、特定されたレイアウト単位領域ａ５（被追記領域）に配置されている画像を被追記画像として抽出する（ステップＳ６）。ここで、追記の色は赤であるから、制御部１１は、抽出した被追記画像を切り出し、不揮発性記憶部１２に保存する処理を実行する（ステップＳ７）。
【００３６】
（２−４）追記画像の外接矩形が存在するかまたは外接矩形によって包含される全てのレイアウト単位領域を被追記領域として特定する方法
次に、図９は、追記画像の外接矩形が存在するかまたは外接矩形によって包含される全てのレイアウト単位領域を被追記領域として特定する場合の例を示している。制御部１１は、図９の外接矩形ｓ６が存在しているかまたは外接矩形ｓ６によって包含される全てのレイアウト単位領域ａ６（図９の斜線部分）を被追記領域として特定する。その後、制御部１１は、特定されたレイアウト単位領域ａ６に配置されている画像を被追記画像として抽出する（ステップＳ６）。ここで、追記画像の色は赤であるから、制御部１１は、抽出した被追記画像を切り出し、不揮発性記憶部１２に保存する処理を実行する（ステップＳ７）。
この第２実施形態においては、第１実施形態で述べた変形例と同様の変形が可能である。
【００３７】
（３）第３実施形態
第３実施形態では、被追記画像に施すべき処理が追記画像の形状によって指定される。具体的には、制御部１１は、追記の形状が閉ループの場合は、その追記によって指定された被追記画像を切り出して保存する処理を行い、追記の形状が×印の場合は、その追記によって指定された被追記画像を削除する処理を行う。このような追記画像の形状と処理の内容とは、それぞれ対応付けられて不揮発性記憶部１２に予め記憶されている。この第３実施形態に係る画像処理装置の構成は、図１に示した画像処理装置１と同じであるから、その詳細な説明は省略する。また、画像処理プログラムＰＲＧに記述された手順は、以下の点を除いて図５に示した手順と同じである。
【００３８】
図１０は、文書原本に×印の追記がなされた場合の例を示している。制御部１１は、この×印の追記画像ｌ７を抽出してから（ステップＳ２）、この追記画像ｌ７を除去してレイアウト解析を実行し（ステップＳ８）、図１０の点線で示すようなレイアウト単位領域に分割する。そして、制御部１１は、×印の追記画像ｌ７の全域或いはほぼ全域が含まれるレイアウト単位領域ａ７（図１０の斜線部分）を特定する。次いで、制御部１１は、特定されたレイアウト単位領域ａ７に配置されている画像を被追記画像として抽出する（ステップＳ６）。制御部１１は、抽出した被追記画像を削除する処理を実行する（ステップＳ７）。
【００３９】
次に、図１１は、×印の追記画像ｌ８が存在する全てのレイアウト単位領域を被追記領域として特定する場合の例を示している。制御部１１は、図１１の追記画像ｌ８が存在している全てのレイアウト単位領域ａ８（図１１の斜線部分）を被追記領域として特定する。その後、制御部１１は、特定されたレイアウト単位領域ａ８に配置されている画像を被追記画像として抽出する（ステップＳ６）。制御部１１は、抽出した被追記画像を削除する処理を実行する（ステップＳ７）。
この第３実施形態においては、第１実施形態で述べた変形例と同様の変形が可能である。
【００４０】
（４）第４実施形態
第４実施形態に係る画像処理装置は、追記画像と所定の位置関係を有するレイアウト単位領域に加えて、そのレイアウト単位領域に隣接するレイアウト単位領域をも被追記領域として特定するようになっている。このようにすれば、被追記画像のサイズが非常に大きい場合であっても、追記者は、その被追記画像の中央付近に追記を行うだけで済む。この第４実施形態に係る画像処理装置の構成は、画像処理プログラムＰＲＧに記述された手順の一部を除いて、図１に示した画像処理装置１と同じであるから、その詳細な説明は省略する。
【００４１】
図１２は、第４実施形態に係る画像処理プログラムＰＲＧに記述された手順を示すフローチャートである。図１２において図５の内容と異なる点は、ステップＳ５とステップＳ６の間に、ステップ９，１０の処理が挿入されているところである。このステップＳ９，１０の処理は具体的には次のようになる。
【００４２】
図１３は、文書原本に×印の追記がなされた場合の例を示している。制御部１１は、この×印の追記画像ｌ９を抽出してから（ステップＳ２）、この追記画像ｌ９を除去してレイアウト解析を実行し（ステップＳ８）、図１３の点線で示すようなレイアウト単位領域に分割する。そして、制御部１１は、×印の追記画像ｌ９の全域或いはほぼ全域が含まれるレイアウト単位領域ａ９を特定する（ステップＳ５）。次いで、制御部１１は、特定されたレイアウト単位領域ａ９に隣接するレイアウト単位領域があるか否かを判断し（ステップＳ９）、隣接するレイアウト単位領域があれば（ステップＳ９；Ｙｅｓ）、ステップＳ５で特定したレイアウト単位領域ａ９に、そのレイアウト単位領域に隣接するレイアウト単位領域（この場合、レイアウト単位領域ａ９’）を追加する（ステップＳ１０）。そして、制御部１１は、これらのレイアウト単位領域ａ９，ａ９’に配置されている画像を被追記画像として抽出する（ステップＳ６）。制御部１１は、抽出した被追記画像を削除する処理を実行する（ステップＳ７）。
この第４実施形態においても第１実施形態と同様の変形が可能である。
【００４３】
（５）第５実施形態
第４実施形態では、位置的に近いレイアウト単位領域同士を１つの被追記領域とみなしたものであった。これに対し、第５実施形態では、自然言語解析を用いて文書の意味内容が近いと判断されるレイアウト単位領域同士をグループ化し、同じグループに属するとされたレイアウト単位領域を被追記領域とみなすものである。このようにすれば、追記者が指定した被追記画像の内容に近い意味内容の被追記画像に対しても同種の処理を実行することができる。この第５実施形態に係る画像処理装置の構成は、画像処理プログラムＰＲＧに記述された手順の一部を除いて、図１に示した画像処理装置１と同じであるから、その詳細な説明は省略する。
【００４４】
図１４は、第５実施形態に係る画像処理プログラムＰＲＧに記述された手順を示すフローチャートである。図１４において図５の内容と異なる点は、ステップＳ５とステップＳ６の間に、ステップ１１〜Ｓ１４の処理が挿入されているところである。このステップＳ１１〜Ｓ１４の処理は、具体的には次のようになる。図１４において、制御部１１は、ステップＳ５において、図１５に示したような閉ループｌ１０の全域或いはほぼ全域が含まれるレイアウト単位領域ａ１０を特定したのち、文字認識を行って（ステップＳ１１）、さらに自然言語解析を行う（ステップＳ１２）。制御部１１は、この自然言語解析処理において、各種解析手法（例えば構文解析、意味解析、文脈解析或いは形態素解析など）を用いて、各レイアウト単位領域の内容を解析し、それぞれのレイアウト単位領域のうち意味的に関連するレイアウト単位領域があるか否かを判断する（ステップＳ１３）。
【００４５】
そして、関連するレイアウト単位領域があれば（ステップＳ１３；Ｙｅｓ）、制御部１１は、ステップＳ５で特定したレイアウト単位領域ａ１０に、そのレイアウト単位領域ａ１０に関連するレイアウト単位領域（ここではレイアウト単位領域ａ１０’とする）を追加する（ステップＳ１４）。そして、制御部１１は、これらのレイアウト単位領域ａ１０，ａ１０’に配置されている画像を被追記画像として抽出する（ステップＳ６）。制御部１１は、抽出した被追記画像を削除する処理を実行する（ステップＳ７）。
この第５実施形態においても第１実施形態と同様の変形が可能である。また、被追記画像を切り出して保存する場合には、制御部１１は、この被追記画像の文字認識結果に対しさらに翻訳処理を施してもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明の第１実施形態に係る画像処理装置の構成を示したブロック図である。
【図２】同実施形態に係る画像処理装置が実行する手順を示すフローチャートである。
【図３】同実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。
【図４】同実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。
【図５】本発明の第２実施形態に係る画像処理装置が実行する手順を示すフローチャートである。
【図６】同実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。
【図７】同実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。
【図８】同実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。
【図９】同実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。
【図１０】本発明の第３実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。
【図１１】同実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。
【図１２】本発明の第４実施形態に係る画像処理装置が実行する手順を示すフローチャートである。
【図１３】同実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。
【図１４】本発明の第５実施形態に係る画像処理装置が実行する手順を示すフローチャートである。
【図１５】同実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。
【符号の説明】
【００４７】
１、１ａ…画像処理装置、２…画像読取装置、１１…制御部、１１１…ＣＰＵ，１１２…ＲＯＭ，１１３…ＲＡＭ，１２…不揮発性記憶部，１３…入力部，１４…表示部、１５・・・操作部、ＰＲＧ・・・画像処理プログラム。
【図１】
2006133960.tif 000003
【図２】
2006133960.tif 000004
【図３】
2006133960.tif 000005
【図４】
2006133960.tif 000006
【図５】
2006133960.tif 000007
【図６】
2006133960.tif 000008
【図７】
2006133960.tif 000009
【図８】
2006133960.tif 000010
【図９】
2006133960.tif 000011
【図１０】
2006133960.tif 000012
【図１１】
2006133960.tif 000013
【図１２】
2006133960.tif 000014
【図１３】
2006133960.tif 000015
【図１４】
2006133960.tif 000016
【図１５】
2006133960.tif 000017