(57)【要約】【課題】  複数の入力画像に基づき出力される出力画像の内容を効率よくユーザに把握させられるようにした画像処理装置及びシステム、方法及びプログラムを提供する。【解決手段】  画像処理装置は、複数の入力画像を入力し、当該入力された複数の入力画像における各入力画像内を領域分割処理により複数の画像領域に分割し、当該分割された画像領域各々に対して画像領域の分割前の位置又は内容の少なくとも一方に基づき属性情報を付与するとともに、当該分割された画像領域間の類似度を算出し、属性情報及び類似度に基づき画像領域を配置し、入力された複数の入力画像に基づく出力画像を生成し、それを出力する。【選択図】  図１
2009123024.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力画像を入力する入力手段と、
前記入力手段により入力された複数の入力画像における各入力画像内を領域分割処理により複数の画像領域に分割する分割手段と、
前記分割手段により分割された画像領域各々に対して該画像領域の分割前の位置又は内容の少なくとも一方に基づき属性情報を付与する属性情報付与手段と、
前記分割手段により分割された画像領域間の類似度を算出する類似度算出手段と、
前記属性情報付与手段により付与された前記属性情報及び前記類似度算出手段により算出された類似度に基づき前記画像領域を配置し、前記入力手段から入力された複数の入力画像に基づく出力画像を生成する出力画像生成手段と、
前記出力画像生成手段により生成された出力画像を出力する出力手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記属性情報付与手段による前記位置に基づく属性情報の付与は、
前記画像領域の分割前における特定画像領域との位置関係に基づき行なわれる
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記出力画像生成手段は、
前記属性情報付与手段により付与された前記属性情報が同一となる画像領域同士を隣接するように配置し、前記出力画像を生成する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記類似度算出手段は、
前記属性情報付与手段により付与された前記属性情報が同一となる画像領域間の類似度を算出し、
前記出力画像生成手段は、
前記属性情報付与手段により付与された前記属性情報が同一となり、かつ前記類似度算出手段により算出された類似度が高い画像領域同士を隣接するように配置し、前記出力画像を生成する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記類似度算出手段は、
前記分割手段により分割された画像領域が有する文字情報の類似度を算出する
ことを特徴とする請求項１又は４記載の画像処理装置。
【請求項６】
前記類似度算出手段は、
前記分割手段により分割された画像領域が有する画像情報の類似度を算出する
ことを特徴とする請求項１又は４記載の画像処理装置。
【請求項７】
前記出力画像生成手段は、
前記類似度算出手段により算出された画像領域間の類似度が予め決められた値よりも高い場合、該画像領域を１つにまとめる
ことを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記入力手段により入力された複数の入力画像の内、何れの入力画像から分割されたものであるかを示す識別情報を前記画像領域に付与する
ことを特徴とする請求項１記載の画像処理装置。
【請求項９】
複数の入力画像を入力する入力手段と、
前記入力手段により入力された複数の入力画像における各入力画像内を領域分割処理により複数の画像領域に分割する分割手段と、
前記分割手段により分割された画像領域各々に対して該画像領域の分割前の位置又は内容の少なくとも一方に基づき属性情報を付与する属性情報付与手段と、
前記分割手段により分割された画像領域間の類似度を算出する類似度算出手段と、
前記属性情報付与手段により付与された前記属性情報及び前記類似度算出手段により算出された類似度に基づき前記画像領域を配置し、前記入力手段から入力された複数の入力画像に基づく出力画像を生成する出力画像生成手段と、
前記出力画像生成手段により生成された出力画像を出力する出力手段と
を具備することを特徴とする画像処理システム。
【請求項１０】
複数の入力画像を入力する入力工程と、
前記入力工程により入力された複数の入力画像における各入力画像内を領域分割処理により複数の画像領域に分割する分割工程と、
前記分割工程により分割された画像領域各々に対して該画像領域の分割前の位置又は内容の少なくとも一方に基づき属性情報を付与する属性情報付与工程と、
前記分割工程により分割された画像領域間の類似度を算出する類似度算出工程と、
前記属性情報付与工程により付与された前記属性情報及び前記類似度算出工程により算出された類似度に基づき前記画像領域を配置し、前記入力工程から入力された複数の入力画像に基づく出力画像を生成する出力画像生成工程と、
前記出力画像生成工程により生成された出力画像を出力する出力工程と
を含むことを特徴とする画像処理方法。
【請求項１１】
コンピュータを、
複数の入力画像を入力する入力手段、
前記入力手段により入力された複数の入力画像における各入力画像内を領域分割処理により複数の画像領域に分割する分割手段、
前記分割手段により分割された画像領域各々に対して該画像領域の分割前の位置又は内容の少なくとも一方に基づき属性情報を付与する属性情報付与手段、
前記分割手段により分割された画像領域間の類似度を算出する類似度算出手段、
前記属性情報付与手段により付与された前記属性情報及び前記類似度算出手段により算出された類似度に基づき前記画像領域を配置し、前記入力手段から入力された複数の入力画像に基づく出力画像を生成する出力画像生成手段、
前記出力画像生成手段により生成された出力画像を出力する出力手段
として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の入力画像に基づき出力画像を出力する技術に関する。
【背景技術】
【０００２】
従来、入力された文書画像を変倍、再レイアウトなどの加工をして新しい文書として出力する装置が提案されている。例えば、複写機においては、複数のページ画像を縮小して１ページに並べて印刷する縮小印刷が実現されている。また、新聞記事画像を読み取り、記事を行単位の画像で再配置して出力する技術が提案されている（特許文献１参照）。また、商品データをカテゴリで分類したデータベースにおいて、カテゴリ毎にデータの出力領域を決定し、出力領域内にデータを配置する装置が提案されている（特許文献２参照）。
【特許文献１】特開平５−３２８０９６号公報
【特許文献２】特開２００２−１４２０９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前述した特許文献１、特許文献２はいずれも、再配置する要素の並びを要素自体の内容等に基づき再配置するものではなく、再配置後、出力された文書の内容を把握する際には困難が伴った。
【０００４】
本発明は、上記課題に鑑みてなされたものであり、複数の入力画像に基づき出力される出力画像の内容を効率よくユーザに把握させられるようにした画像処理装置及びシステム、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の一態様による画像処理装置は、複数の入力画像を入力する入力手段と、前記入力手段により入力された複数の入力画像における各入力画像内を領域分割処理により複数の画像領域に分割する分割手段と、前記分割手段により分割された画像領域各々に対して該画像領域の分割前の位置又は内容の少なくとも一方に基づき属性情報を付与する属性情報付与手段と、前記分割手段により分割された画像領域間の類似度を算出する類似度算出手段と、前記属性情報付与手段により付与された前記属性情報及び前記類似度算出手段により算出された類似度に基づき前記画像領域を配置し、前記入力手段から入力された複数の入力画像に基づく出力画像を生成する出力画像生成手段と、前記出力画像生成手段により生成された出力画像を出力する出力手段とを具備することを特徴とする。
【０００６】
また、本発明の一態様による画像処理システムは、複数の入力画像を入力する入力手段と、前記入力手段により入力された複数の入力画像における各入力画像内を領域分割処理により複数の画像領域に分割する分割手段と、前記分割手段により分割された画像領域各々に対して該画像領域の分割前の位置又は内容の少なくとも一方に基づき属性情報を付与する属性情報付与手段と、前記分割手段により分割された画像領域間の類似度を算出する類似度算出手段と、前記属性情報付与手段により付与された前記属性情報及び前記類似度算出手段により算出された類似度に基づき前記画像領域を配置し、前記入力手段から入力された複数の入力画像に基づく出力画像を生成する出力画像生成手段と、前記出力画像生成手段により生成された出力画像を出力する出力手段とを具備することを特徴とする。
【０００７】
また、本発明の一態様による画像処理方法は、複数の入力画像を入力する入力工程と、前記入力工程により入力された複数の入力画像における各入力画像内を領域分割処理により複数の画像領域に分割する分割工程と、前記分割工程により分割された画像領域各々に対して該画像領域の分割前の位置又は内容の少なくとも一方に基づき属性情報を付与する属性情報付与工程と、前記分割工程により分割された画像領域間の類似度を算出する類似度算出工程と、前記属性情報付与工程により付与された前記属性情報及び前記類似度算出工程により算出された類似度に基づき前記画像領域を配置し、前記入力工程から入力された複数の入力画像に基づく出力画像を生成する出力画像生成工程と、前記出力画像生成工程により生成された出力画像を出力する出力工程とを含むことを特徴とする。
【０００８】
また、本発明の一態様による画像処理プログラムは、コンピュータを、複数の入力画像を入力する入力手段、前記入力手段により入力された複数の入力画像における各入力画像内を領域分割処理により複数の画像領域に分割する分割手段、前記分割手段により分割された画像領域各々に対して該画像領域の分割前の位置又は内容の少なくとも一方に基づき属性情報を付与する属性情報付与手段、前記分割手段により分割された画像領域間の類似度を算出する類似度算出手段、前記属性情報付与手段により付与された前記属性情報及び前記類似度算出手段により算出された類似度に基づき前記画像領域を配置し、前記入力手段から入力された複数の入力画像に基づく出力画像を生成する出力画像生成手段、前記出力画像生成手段により生成された出力画像を出力する出力手段として機能させる。
【発明の効果】
【０００９】
本発明によれば、複数の入力画像に基づき出力される出力画像の内容を効率よくユーザに把握させられる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明に係わる画像処理装置及びシステム、方法及びプログラムの一実施の形態について添付図面を参照して詳細に説明する。
【００１１】
（実施形態）
図１は、本発明に係わる画像処理装置１００の機能的な構成の一例を示す図である。
【００１２】
画像処理装置１００は、入力部１０１と、画像解析部１０２と、データ格納部１０３と、類似度算出部１０４と、出力画像生成部１０５と、出力部１０６とを具備して構成される。
【００１３】
入力部１０１は、複数の画像（以下、入力画像と言う場合もある）を入力する機能を果たす。入力部１０１は、例えば、平面読み取り型の画像スキャナや、或いはデジタルカメラなどで撮影された画像情報をデジタルデータに変換する装置等により実現される。この他、プリンタドライバによって送信されたＰＤＬ（Page Description Language）を受信する装置や、ストレージに記録されたデジタル画像データを読み込む装置などによっても実現される。
【００１４】
画像解析部１０２は、入力部１０１により入力された入力画像を解析する機能を果たし、画像分割部１０２ａと、文字判別部１０２ｂと、文字認識部１０２ｃと、属性情報付与部１０２ｄと、解析データ作成部１０２ｅとを具備して構成される。画像分割部１０２ａは、入力画像内を領域分割処理により複数の画像領域（以下、分割画像領域と言う）に分割する機能を果たし、文字判別部１０２ｂは、当該分割された分割画像領域に文字が含まれているか否かを判別する機能を果たす。文字認識部１０２ｃは、文字が含まれていると判別された分割画像領域の文字認識を行なう機能を果たす。
【００１５】
属性情報付与部１０２ｄは、分割画像領域に対して領域の属性を示す属性情報を付与する機能を果たす。なお、属性情報付与部１０２ｄにおける属性情報の付与方法の詳細については後述する。属性情報付与部１０２ｄでは、例えば、画像領域分割前における当該画像領域と特定画像領域との位置関係、また分割画像領域が有する内容等に基づき属性情報を付与する。また、解析データ作成部１０２ｅは、分割画像領域各々の解析結果をまとめた解析データを作成する機能を果たす。
【００１６】
データ格納部１０３は、各種データを格納する機能を果たし、本実施形態においては特に、分割画像領域及び解析データを格納する。
【００１７】
類似度算出部１０４は、分割画像領域間の類似度を算出する機能を果たし、類似文字算出部１０４ａと、類似画像算出部１０４ｂとを具備して構成される。
【００１８】
類似文字算出部１０４ａは、文字を含む分割画像領域から文字認識された文字情報に基づき分割画像領域間の類似度を算出する機能を果たす。なお、この類似度の算出は、既知の技術で行なえるためその詳細についての説明は省略する。文字情報に基づく類似度の算出には、例えば、文字情報を単語に分解し、同一単語の出現する頻度、逆文書頻度との積算を求める方法、単語を要素元とした意味ベクトルとの内積を求める方法などを用いればよい。
【００１９】
類似画像算出部１０４ｂは、文字を含まない分割画像領域内の画像情報に基づき分割画像領域間の類似度を算出する機能を果たす。なお、類似度の算出は、既知の技術で行なえるためその詳細についての説明は省略する。画像情報に基づく類似度は、例えば、画像をグリッド状に分割し、各グリッドごとに色若しくは輝度ラベル付けし、ラベルの並びの類似性をダイナミックプログラミングなどの曖昧性を許容するマッチング手法などにより評価して求めるようにすればよい。
【００２０】
出力画像生成部１０５は、出力画像を生成する機能を果たし、分割画像領域各々に付与された属性情報に基づき複数の分割画像領域をレイアウト（配置）するレイアウト部１０５ａを具備して構成される。出力画像生成部１０５において生成された出力画像は、出力部１０６に渡される。なお、出力画像生成部１０５では、各分割画像領域に付与された属性情報に加えて、類似文字算出部１０４ａ及び類似画像算出部１０４ｂの何れか或いはその両方による類似度算出結果に基づき分割画像領域を配置して出力画像を生成することもできる。
【００２１】
出力部１０６は、出力画像生成部１０５により生成された出力画像を視覚的に出力する機能を果たす。出力部１０６は、例えば、プリンタ又はディスプレイ等で実現される。以上が、画像処理装置１００についての説明である。なお、図１を用いて、画像処理装置１００の機能的な構成の一例について説明したが、ここで説明した機能的な構成は、必ずしも図示した通りに実現される必要はない。例えば、２以上の装置に分けた画像処理システムとして実現されてもよい。
【００２２】
図２は、図１に示す画像処理装置１００に入力される入力画像の一例を示す図である。ここでは、入力画像としてアンケート用紙を記入した文書を例に挙げて説明する。２０１は、入力画像を読み取り可能な最端部を表している。２０２は、文字を含む分割画像領域であり、アンケートの一つ目の「問い」に相当する。２０３、２０５も同様に文字を含む分割画像領域であり、前者は一つ目の「問い」に対する「回答」に相当し、後者は二つ目の「問い」に相当する。また、２０４、２０６は文字を含まない分割画像領域であり、前者は一つ目の「問い」に対する「回答」に相当し、後者は二つ目の「問い」に対する「回答」に相当する。なお、２０２〜２０６の各分割画像領域には、外接の破線矩形が示されているが、これは実際には描画されない。
【００２３】
図３は、図１に示す画像処理装置１００に入力される別の入力画像の一例を示す図である。図３には、図２と同一のアンケート用紙が示される。ただし、アンケート内における「問い」に対する「回答」が異なる。
【００２４】
３０１は、上述した図２の「問い」２０２に対する「回答」であり、文字を含む分割画像領域である。３０２は、上述した図２の「問い」２０５に対する「回答」であり、文字を含まない分割画像領域である。すなわち、図３のアンケート用紙においては、上述した図２のアンケート用紙とは異なる内容の「回答」が記載されている。なお、２０１、２０２及び２０５、３０１及び３０２の各分割画像領域には、外接の破線矩形が示されているが、これは実際には描画されない。
【００２５】
図４は、画像解析部１０２により生成された解析データの一例を示す図である。図４には、図２に示す入力画像を解析した結果が示される。なお、ここに示す解析データは、ＸＭＬ（Extensible Markup Language）形式で記述されているが、データ形式はこれに限らない。ここで、図４の左端には、説明を分かり易くするために行番号が付してある。
【００２６】
１行目には、画像解析結果である旨を示すタグが示されている。２行目、３行目には、入力画像の読み取り可能な最端部の巾と高さとが示される。４行目には、入力画像から分割された分割画像領域の総数が示される。６行目〜１４行目、１６行目〜２４行目、２６行目〜３３行目、３５行目〜４３行目、４５行目〜５２行目に示される各ｂｌｏｃｋ要素には、分割された分割画像領域に関する情報（以下、領域要素情報と言う）がそれぞれ示されている。ここで、６行目〜１４行目は、図２の分割画像領域２０２に対応している。また同様に、１６行目〜２４行目が図２の分割画像領域２０３、２６行目〜３３行目が図２の分割画像領域２０４、３５行目〜４３行目が図２の分割画像領域２０５、４５行目〜５２行目が図２の分割画像領域２０６にそれぞれ対応している。なお、ｂｌｏｃｋ要素は、対応する分割画像領域が文字を含むか文字を含まないかを示すｔｙｐｅ要素を持つ。
【００２７】
ここで、６行目〜１４行目に示される領域要素情報を例に挙げて重点的に説明する。なお、先に述べた通り、６行目〜１４行目の領域要素情報は、図２の分割画像領域２０２に対応する。
【００２８】
各分割画像領域に対応して設けられる領域要素情報各々には、分割画像領域の位置を示す情報、分割画像領域の領域の大きさを示す情報、分割画像領域の画像データを示す情報、分割画像領域のデータの種別を示す情報、分割画像領域の属性を示す情報が含まれる。なお、分割画像領域のデータの種別が文字である場合には更に、文字情報も含まれる。
【００２９】
ここでまず、７行目、８行目には、分割画像領域の位置のＸ座標、Ｙ座標が示される。すなわち、分割画像領域２０２の位置がＸ座標、Ｙ座標によって表される。座標は、入力画像の読み取り可能な最端部の左上を(０，０)とし、その位置を起点として右方向、下方向にいくほど値が大きくなる。
【００３０】
続いて、９行目、１０行目には、分割画像領域の領域の高さ（Ｙ方向の大きさ）、巾（Ｘ方向の大きさ）が示される。すなわち、分割画像領域２０２の高さ及び巾が示される。１１行目には、分割画像領域の画像データを示す参照情報が示される。この場合、１１行目には、図２の分割画像領域２０２に相当する文字を含む分割画像領域が「ｔｘｔ１．ｔｉｆｆ」という名称で画像ファイル化されていることが示されている。なお、画像データには、それぞれの内容に適した画像処理や圧縮処理が施される。
【００３１】
１２行目には、文字を含む分割画像領域を文字認識することで得られた文字情報が示される。１３行目には、分割画像領域の属性情報が示される。属性情報は、属性タイプと属性値とから構成される。分割画像領域２０２は、属性タイプが名前空間「ｑｕｅｓｔｉｏｎｎａｉｒｅ」のｉｄ属性「１」であり、その属性値が「ｑｕｅｓｔｉｏｎ」であることが示されている。なお、図４では、「問い」と、その「問い」に対応する「回答」とが同じ属性タイプとして括られている。また、「問い」に対しては「ｑｕｅｓｔｉｏｎ」、「回答」に対しては「ａｎｓｗｅｒ」が属性値としてそれぞれ割り当てられている。
【００３２】
以下、１６行目〜５４行目も上記同様に、分割画像領域毎に領域要素情報が設けられ、各分割画像領域に対応した解析結果が示されている。ここでは同様の説明の繰り返しになるため、その説明については省略する。
【００３３】
図５は、図１に示す画像処理装置１００から出力される出力画像の一例を示す図である。図５に示す出力画像は、図２、図３及び不図示の入力画像に基づき出力されたものである。
【００３４】
４０１は、文字を含む分割画像領域であり、図２及び図３の２０２に基づき配置されたものである。４０２、４０３、４０４、４０５、４０６、４０７はそれぞれ「問い」４０１に対する「回答」に相当する。４０７は文字を含まない分割画像領域であり、それ以外は文字を含む分割画像領域である。例えば、４０２は図２の２０３、４０３は図３の３０１に基づきそれぞれ配置されたものである。
【００３５】
４０８は、文字を含む分割画像領域であり、図２及び図３の２０５に基づき配置されたものである。４０９、４１０、４１１、４１２はそれぞれ「問い」４０８に対する「回答」に相当する。４０９、４１０、４１１、４１２は、文字を含まない分割画像領域である。例えば、４０９は図２の２０６、４１１は図３の３０２に基づきそれぞれ配置されたものである。
【００３６】
ここで、「問い」４０１に対する「回答」４０２、４０３、４０４、４０５、４０６、４０７が「問い」４０１の直ぐ下の領域に配置されるのは、「回答」各々の各分割画像領域に付与された属性情報に基づき配置されているためである。また、文字を含む「回答」４０２、４０３、４０４、４０５、４０６各々は、文字情報に関して類似性を有する分割画像領域同士が隣接するように配置されている。
【００３７】
上記同様に、「問い」４０８に対する「回答」４０９、４１０、４１１、４１２も「問い」４０８の直ぐ下の領域に配置されている。これも、「回答」各々の各分割画像領域に付与された属性情報に基づき配置されているためである。また、文字を含まない「回答」４０９、４１０、４１１、４１２各々は、画像情報に関して類似性を有する分割画像領域同士が隣接するように配置されている。なお、４０１〜４１２の各分割画像領域には、外接の破線矩形が示されているが、これは実際には描画されない。
【００３８】
図６は、図１に示す画像処理装置１００の動作を示すフローチャートである。
【００３９】
画像処理装置１００は、まず、入力部１０１において複数の入力画像を入力する（ステップＳ５０１）。そして、画像解析部１０２において、この入力画像の解析を順次行い、その解析結果となる解析データ及び複数の分割画像領域をデータ格納部１０３に格納する（ステップＳ５０２）。なお、この画像解析処理の詳細については後述する。
【００４０】
データ格納部１０３に解析データ等が格納されると、出力画像生成部１０５において、ステップＳ５０２で分割された各分割画像領域が配置された出力画像が生成される（ステップＳ５０３）。なお、この出力画像生成処理の詳細については後述する。
【００４１】
最後に、出力部１０６において、出力画像生成部１０５により生成された出力画像に基づく出力が行なわれ（ステップＳ５０４）、この処理は終了する。
【００４２】
図７は、図６に示すステップＳ５０２における画像解析処理の動作を示すフローチャートである。なお、ここでは説明を分かり易くするために、図２及び図３に示すアンケート用紙と、図４に示す解析データとを用いて説明する。
【００４３】
この処理は、画像解析部１０２が、入力部１０１から入力画像を受け取ると開始される（ステップＳ６０１）。この処理が開始されると、画像解析部１０２はまず、画像分割部１０２ａにおいて、入力画像を複数の領域に分割する（ステップＳ６０２）。なお、画像の分割には、例えば、特開２０００−２９３６７１号公報に開示された技術を用いればよい。
【００４４】
領域分割が行なわれると文字判別部１０２ｂにおいて、当該分割された分割画像領域の種別が文字であるか否かの判別を行なう。すなわち、文字が含まれる分割画像領域であるか否かを判別する。ここで、文字を含まない分割画像領域であった場合には（ステップＳ６０３でＮＯ）、ステップＳ６０５の処理へ進む。また、文字を含む分割画像領域であった場合には（ステップＳ６０３でＹＥＳ）、文字認識部１０２ｃにおいて、当該分割画像領域から文字認識を行った後（ステップＳ６０４）、ステップＳ６０５の処理へ進む。
【００４５】
次に、属性情報付与部１０２ｄにおいて、分割画像領域の領域情報等に基づき当該分割画像領域に属性情報を付与する（ステップＳ６０５）。文字を含む分割画像領域の場合、文字認識により抽出された文字情報と、テンプレート情報（不図示）内の文字情報とを照合させ、テンプレート情報内の一致した文字情報が有する属性を、当該分割画像領域に付与する。例えば、図２に示す分割画像領域２０２には、図４に示す６行目〜１４行目の領域要素情報に示されるように、属性タイプとして「ｑｕｅｓｔｉｏｎｎａｉｒｅ：ｔｙｐｅ  ｉｄ＝”１”」が付与され、その属性値として「ｑｕｅｓｔｉｏｎ」が付与される。図２における「問い」に相当する分割画像領域（２０５）に対しても同様の手順により属性情報を付与することができる。また、属性値「ｑｕｅｓｔｉｏｎ」が付与された分割画像領域のＹ座標よりも大きく、かつ次に出てくる属性値「ｑｕｅｓｔｉｏｎ」が付与された分割画像領域のＹ座標よりも小さい座標位置に配置された分割画像領域に対し属性値「ａｎｓｗｅｒ」を付与する。これにより、図２における「回答」に相当する分割画像領域（２０３、２０４、２０６）に対しても属性情報をそれぞれ付与することができる。
【００４６】
そして、解析データ作成部１０２ｅにおいて、当該分割画像領域に関する情報、すなわち領域要素情報を解析データに書き込む（ステップＳ６０６）。その後、画像解析部１０２は、当該処理した分割画像領域の画像データをデータ格納部１０３に格納する（ステップＳ６０７）。
【００４７】
ここで、入力画像からの領域分割が全て済んだか否かを判定し、未分割の領域がある場合には（ステップＳ６０８でＮＯ）、再度ステップＳ６０２の処理に戻る。全ての領域分割が済んだ場合には（ステップＳ６０８でＹＥＳ）、データ格納部１０３に解析データを格納した後（ステップＳ６０９）、全ての入力画像を処理済であるか否かの判定を行う。この結果、入力部１０１から入力された全ての入力画像が処理済となれば（ステップＳ６１０でＹＥＳ）、この処理を終了するが、そうでない場合には（ステップＳ６１０でＮＯ）、再度ステップＳ６０１の処理に戻る。
【００４８】
図８は、図６に示すステップＳ５０３における出力画像生成処理の動作を示すフローチャートである。なお、ここでは説明を分かり易くするために、図２及び図３に示すアンケート用紙と、図４に示す解析データとを用いて説明する。
【００４９】
出力画像生成部１０５はまず、データ格納部１０３に格納された解析データを取得し（ステップＳ７０１）、当該取得した解析データ内のｂｌｏｃｋ要素、すなわち領域要素情報をひとつ取り出す（ステップＳ７０２）。
【００５０】
領域要素情報を取り出すと、出力画像生成部１０５は、当該要素に対応する画像データを出力画像上に配置する（ステップＳ７０３）。すなわち、ｂｌｏｃｋ要素の子要素であるｃｏｎｔｅｎｔ要素に示される参照情報に基づき当該ｂｌｏｃｋ要素に対応する画像データを取得し、それを出力画像内のページ先頭（上部）からフロー配置する。
【００５１】
ここで、出力画像生成部１０５は、既に処理済の領域要素情報があるか否かの判定を行なう。処理済の領域要素情報がなければ（ステップＳ７０４でＮＯ）、ステップＳ７１０の処理に進み、ステップＳ７０１で取得した解析データ内の全ての領域要素情報が処理済であるか否かの判定を行なう。一方、既に処理済の領域要素情報があれば（ステップＳ７０４でＹＥＳ）、当該処理済の領域要素情報の中からステップＳ７０２で取得した領域要素情報と同一の属性情報を持つものを探す（ステップＳ７０５）。すなわち、属性タイプ、属性値の両方が一致するものを探す。なお、処理済の領域要素情報とは、出力画像内に既に配置されている画像データと対応する領域要素情報のことを指す。
【００５２】
この結果、属性情報が一致する領域要素情報が見つからなければ（ステップＳ７０６でＮＯ）、ステップＳ７１０の処理へ進み、見つかれば（ステップＳ７０６でＹＥＳ）、ステップＳ７０２で取得した領域要素情報の種別が文字であるか画像であるか判別を行う。領域要素情報の種別は、ｂｌｏｃｋ要素内のｔｙｐｅ要素を参照すれば分かる。
【００５３】
ここで、種別が文字であった場合には（ステップＳ７０７で文字）、当該ステップＳ７０２で取得した領域要素情報のｔｅｘｔ要素から文字情報を取り出す。文字情報を取り出すと、類似文字算出部１０４ａにおいて、当該取り出した文字情報と、ステップＳ７０５で一致した領域要素情報の中で種別が文字であるものの文字情報との類似度を算出する。そして、レイアウト部１０５ａにおいて、類似の文字情報を有する画像データ同士が隣接するように出力画像内の画像データを並び替えその順番で各画像データを配置する（ステップＳ７０８）。なお、このとき算出された類似度が予め決められた値よりも高く、極めて類似性が高いとされた画像データは、重複するデータとして一つにまとめられる。これにより、例えば、「問い」や同一内容の「回答」が出力画像内に重複することがなくなる。
【００５４】
また、ステップＳ７０７において、種別が画像であると判定された場合には（ステップＳ７０７で画像）、類似画像算出部１０４ｂにおいて、画像情報に基づく類似度の算出を行なう。すなわち、ステップＳ７０２で取得した領域要素情報に示された画像データの画像情報と、ステップＳ７０６で一致した領域要素情報の中で種別が画像であるものの画像情報との類似度を算出する。そして、レイアウト部１０５ａにおいて、当該算出された画像の類似度に応じて類似の画像情報を有する画像データ同士が隣接するように出力画像内の画像データを並び替えその順番で各画像データを配置する（ステップＳ７０９）。このとき、上記ステップＳ７０８同様に、極めて類似性の高い画像データは、重複するデータとして一つにまとめられる。
【００５５】
その後、出力画像生成部１０５は、ステップＳ７０１で取得した解析データ内の全ての領域要素情報が処理済であるか否かを判定し、未処理の領域要素情報があれば（ステップＳ７１０でＮＯ）、再度ステップＳ７０２の処理に戻り、上述した処理を繰り返す。また、全ての領域要素情報処理済であれば（ステップＳ７１０でＹＥＳ）、出力画像生成部１０５は、データ格納部１０３に格納された全ての解析データが処理済であるか否かの判定を行なう。未処理の解析データがあれば（ステップＳ７１１でＮＯ）、再度ステップＳ７０１の処理に戻り、上述した処理を繰り返す。全ての解析データ処理済みとなれば（ステップＳ７１１でＹＥＳ）、この処理を終了する。
【００５６】
なお、図８のステップＳ７０８及びステップＳ７０９の処理では、全ての画像データを対象として類似する文字や画像を持つ画像データ同士を隣接するように並べ替えを行なっていたが、必ずしも全画像データを対象としてこの処理を行なう必要はない。例えば、他の画像データの配置は変えずに、最も類似度の高い画像データとだけ隣接するように画像データを配置するようにしてもよい。
【００５７】
また、上記実施形態では、入力画像がアンケート用紙である場合を例に挙げて説明したが、処理対象となる入力画像はアンケート用紙に限られない。例えば、上記説明した属性情報を図や表、及び写真や文字、夫々に応じて付与するようにし、当該付与した属性情報及び類似度に応じて表や文字等を配置した出力画像を生成し出力するように構成してもよい。
【００５８】
以上説明したように本実施形態によれば、入力画像を分割した分割画像領域が、共通す属性により集められ、また類似する内容のものが隣接するように配置され、出力画像が生成されるため、複数の入力画像が整理されその内容把握が容易になる。例えば、回収したアンケート用紙を処理した場合、回答内容の種別が文字、画像を問わず、内容ごとにまとまって整理され出力されるため、回収結果の内容把握を効率よく行うことができる。
【００５９】
なお、本発明は、上記及び図面に示す実施例に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できる。
【００６０】
例えば、本発明では、複数の入力画像における各入力画像を複数の分割画像領域に分割するが、各分割画像領域がどの入力画像から分割されたものであるかを示す入力画像の識別情報を不可視或いは可視データとして分割画像領域に付与するようにしてもよい。例えば、図９に示すように、分割元の入力画像を特定するための識別情報（この場合、可視データ）を分割画像領域上或いはその近傍に付してもよいということである。なお、識別情報は、文字であってもよいし、またＱＲコード等を用いてもよい。
【００６１】
また、本発明は、例えば、システム、装置、方法、プログラム（例えば、画像処理プログラム）若しくは記憶媒体等としての実施態様をとることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、実施形態で説明した通り、一つの機器からなる装置に適用してもよい。
【００６２】
また、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置に内蔵されたコンピュータが該供給されたプログラムコードを読み出して実行することにより前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応した処理を行なうコンピュータプログラムとなる。
【００６３】
したがって、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳ（Operating System）に供給するスクリプトデータ等の形態であっても良い。
【００６４】
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などである。
【００６５】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、夫々のファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数の操作者に対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００６６】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納して操作者に配布するという形態をとることもできる。この場合、所定の条件をクリアした操作者に、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
【００６７】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部又は全部を行ない、その処理によって前述した実施形態の機能が実現される。
【００６８】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行なう。
【図面の簡単な説明】
【００６９】
【図１】本発明に係わる画像処理装置１００の機能的な構成の一例を示す図である。
【図２】図１に示す画像処理装置１００に入力される入力画像の一例を示す第１の図である。
【図３】図１に示す画像処理装置１００に入力される入力画像の一例を示す第２の図である。
【図４】画像解析部１０２により作成される解析データの一例を示す図である。
【図５】図１に示す画像処理装置１００から出力される出力画像の一例を示す図である。
【図６】図１に示す画像処理装置１００における動作の一例を示すフローチャートである。
【図７】図６に示すステップＳ５０２における画像解析処理の動作の一例を示すフローチャートである。
【図８】図６に示すステップＳ５０３における出力画像生成処理の動作の一例を示すフローチャートである。
【図９】変形実施形態の一例を示す図である。
【符号の説明】
【００７０】
１００    画像処理装置
１０１    入力部
１０２    画像解析部
１０２ａ    画像分割部
１０２ｂ    文字判別部
１０２ｃ    文字認識部
１０２ｄ    属性情報付与部
１０２ｅ    解析データ作成部
１０３    データ格納部
１０４    類似度算出部
１０４ａ    類似文字算出部
１０４ｂ    類似画像算出部
１０５    出力画像生成部
１０５ａ    レイアウト部
１０６    出力部
【図１】
2009123024.tif 000003
【図２】
2009123024.tif 000004
【図３】
2009123024.tif 000005
【図４】
2009123024.tif 000006
【図５】
2009123024.tif 000007
【図６】
2009123024.tif 000008
【図７】
2009123024.tif 000009
【図８】
2009123024.tif 000010
【図９】
2009123024.tif 000011