Source: https://patents.google.com/patent/JP2890482B2/en
Timestamp: 2019-08-17 11:29:23
Document Index: 534757806

Matched Legal Cases: ['art 3', 'art 3', 'arts 3', 'arts 3', 'art) 2', 'arts 3']

JP2890482B2 - Document image relocation filing device - Google Patents
Document image relocation filing device
JP2890482B2
JP2890482B2 JP14846389A JP14846389A JP2890482B2 JP 2890482 B2 JP2890482 B2 JP 2890482B2 JP 14846389 A JP14846389 A JP 14846389A JP 14846389 A JP14846389 A JP 14846389A JP 2890482 B2 JP2890482 B2 JP 2890482B2
JP14846389A
JPH0314184A (en
幸雄 林
1989-06-13 Application filed by 富士ゼロックス株式会社 filed Critical 富士ゼロックス株式会社
1989-06-13 Priority to JP14846389A priority Critical patent/JP2890482B2/en
1991-01-22 Publication of JPH0314184A publication Critical patent/JPH0314184A/en
1999-05-17 Publication of JP2890482B2 publication Critical patent/JP2890482B2/en
【発明の詳細な説明】 （産業上の利用分野） 本発明は、新聞切抜等の文書画像において、見出し、 DETAILED DESCRIPTION OF THE INVENTION (FIELD OF THE INVENTION) The present invention, in the document image, such as newspaper clippings, heading,
本文、図表、写真等異なる属性からなる領域の画像を自動的に抽出し、各項目ごとに蓄積した後、各項目全体を再配置して出力できる文書画像再配置ファイリング装置に関する。 Text, charts, photographs automatically extracts an image of a region of different attributes, after storing for each item relates to a document image rearrangement filing apparatus capable of outputting relocate the whole items.
（従来の技術） 新聞切抜等の文書画像をファイリングする装置において、その複雑なレイアウト形状を文書画像の属性（見出し、本文、図表、写真）領域に従って自動的にそれぞれの領域を抽出して、コンパクトに再配置するシステムが提案されている。 In (prior art) filing the document image, such as newspaper clippings device, the attributes of its complex layout shape document image (headings, text, charts, photos) are extracted automatically each region according to the region, compact relocating the system have been proposed.
たとえば、画像入力装置から入力した新聞画像をマンマシン対話によりパターンとして抽出し、構造記述によりデータを構造化してデータ量を削減して蓄積し、利用時にはその目的に合わせて再編集できるデータベース編集管理システムがある（信学技報 PRL84−101 P.65〜 For example, a newspaper image input from the image input apparatus is extracted as a pattern by man-machine interaction, and storing to reduce the amount of data by structuring the data by the structure description database editing management during use can be re-edited to fit the purpose there is a system (IEICE PRL84-101 P.65~
72）。 72).
また、文書の形態的情報やキーワードを用いて、標題、章、節等による階層構造と、本文と図表間の参照構造等の文書構造の自動抽出を行うことができ、さらに、 Further, by using the morphological information and keywords of a document, the title, chapter, and hierarchical structure by sections etc., automatic extraction of document structure such as the reference structure between body and charts can be performed, further,
文書構造に基づいた書式とレイアウト知識を用いて、文書のフォーマッティングや図表の割付けを行う自動レイアウトシステム等がある（情報処理研究会 「文書処理とヒューマンインタフェース」 20−３ 1988.9. Using the format and layout knowledge that is based on the document structure, there is an automatic layout system for performing the allocation of formatting and charts of the document (information processing Study Group "document processing and human interface" 20-3 1,988.9.
8.）。 8.).
（発明が解決しようとする課題） しかし、ファイリングされた文書画像から所望の文書画像を得るためには、文書画像全体を検索・チェックしなければならないので、検索に時間がかかった。 (SUMMARY invention) However, in order from the filing document image to obtain a desired document image, since it is necessary to search check the entire document image, took time to search. また、 Also,
文書画像には見出し、本文、図表、写真等が混在しているので、データの蓄積として無駄である場合があった。 Heading in the document image, text, charts, because photographs are mixed, there is a case where the waste as the accumulation of data.
本発明は文書画像の検索・表示時間を短縮させるとともに、文書画像を再配置することによって文書中の無駄な余白を取り除いてデータ圧縮をさせることができる文書画像再ファイリング装置を提供することを目的とする。 With the present invention is to shorten the search and display time of a document image, it aims to provide a document image re filing apparatus capable of data compression by removing unnecessary margin in a document by rearranging the document image to.
（課題を解決するための手段） 本発明は、第１図に示すように、新聞切抜等の文書画像をスキャン入力する文書画像入力手段１と、前記文書画像入力手段１により入力された文書画像の見出し（３ (SUMMARY for a) the present invention, as shown in FIG. 1, a document image input means 1 for scan input document image, such as newspaper clippings, document image inputted by the document image input means 1 heading of (3
−１）、本文（３−２）、図表（３−３）、写真（３− -1), the body (3-2), charts (3-3), photo (3-
４）等の各異なる属性の領域を自動的に抽出、分離する領域分離手段２と、前記領域分離手段２により抽出、分離された見出し、本文、図表、写真等の各項目を属性に対応して項目ごとに蓄積、格納する項目別ファイル蓄積手段３を、前記項目別ファイル蓄積手段３に蓄積されている各項目の内容をそれぞれの項目の属性に対応して個別に検索する項目別検索手段（６、７）により所望の文書画像を検索する検索手段と、前記検索手段により検索された所望の文書画像に対して、各項目の内容を再配置して全体の文書画像を出力する文書画像再配置手段８とから構成する。 4) Automatically extracts an area of ​​each different attribute, such as, the area separating unit 2 to separate, extracted by the area separating unit 2 corresponds separated headings, text, charts, each item such as a photograph to the attribute accumulating for each item Te, stores itemized file storage unit 3 for the item-specific file storage unit 3 to the content of each item stored in correspondence with the attribute of each item itemized retrieval means for retrieving individual search means for searching for a desired document image by (6,7), a document image to be output to the retrieved desired document image by the searching means, a document image of the entire relocates the contents of each item It consists rearrangement unit 8.
（作用） 文書画像入力手段１によって新聞等をスキャンして入力された入力文書画像は、領域分離処理手段２で、見出し３−１、本文３−２、図表３−３、写真３−４の各属性領域に分離され、それぞれの領域を囲む矩形の左上端座標（x,y）、幅ｗ、高さｈが抽出される。 Input document image input by scanning a newspaper or the like by (action) the document image input means 1, the region separation processing section 2, heading 3-1, body 3-2, Figure 3-3, the photo 3-4 is separated into each attribute area, the upper-left corner coordinates of the rectangle surrounding the respective region (x, y), width w, height h are extracted. この時、縦書き横書きの判別もなされる。 At this time, determination of vertical horizontal are also made. 次に、見出し３−１と本文３−２との領域については、文字認識処理が施されてコードデータに変換され、図表３−３と写真３−４との領域については、画像圧縮処理が施された後、各属性項目別にファイリングされる。 Next, the area of ​​the heading 3-1 and body 3-2, is converted character recognition process is performed on the code data for the area of ​​the chart 3-3 and photographic 3-4, image compression processing after having been subjected, it is filing for each attribute item. 項目別検索手段６では、見出し３−１あるいは本文３−２に対するキーワード検索（登録済部分キーによる部分一致ストリングマッチング）、また、他の項目別検索手段７では、図表３−３、 In itemized retrieval means 6, (broad string matching by registered partial keys) Keyword Search for headings 3-1 or body 3-2, also in other itemized retrieval means 7, Figure 3-3,
写真３−４に対する類似画像の検索のいずれかを選んで検索する。 Search by selecting one of the search of the similar image to the photo 3-4. 検索時には検索対象とした見出し３−１、本文３−２、図表３−３、写真３−４のいずれかのみ表示し、検索終了時には文書画像全体を再配置処理手段８で再配置処理を施して表示する。 Heading 3-1 when searching the searched, body 3-2, and displays only one of Chart 3-3, photographs 3-4, subjected to rearrangement processing by rearranging process unit 8 the entire document image at the time of end of search to display Te. 再配置処理手段８では、 The relocation processing section 8,
見出し３−１、本文３−２、図表３−３、写真３−４の順に、右上から左に配置し、左端になったら段落を変える（横書きの場合は左上から右に配置していく）事をくり返す。 Heading 3-1, 3-2 text, charts 3-3, in the order of photos 3-4, arranged from the upper right to the left, changing the paragraph When you become to the left (in the case of horizontal writing will be placed from the upper left to right) repeat the thing.
第２図および第３図には各属性領域に分離された結果と再配置された結果の一例をそれぞれ示す。 The FIGS. 2 and 3 shows an example of a result of the rearrangement and the results that are separated for each attribute area, respectively.
（実 施 例） 第１図を参照しつつ本発明の原理を説明する。 (Implementation example) illustrating the principles of the present invention with reference to Figure 1.
図において、文書画像入力手段１では、新聞切抜等の文書画像をスキャン入力し、領域分離手段２で、入力された入力文書画像から文書画像の属性別、たとえば、見出し３−１、本文３−２、図表３−３、写真３−４を自動的に抽出する。 In the figure, the document image input means 1, the newspaper document image to the scan input or the like cutout, in the area separating unit 2, another attribute of the document image from the inputted input document image, for example, heading 3-1 Text 3- 2, Figure 3-3, automatically extract the photo 3-4. この属性項目別に抽出された文書画像から文字として、見出し３−１および本文３−２を文字認識手段４で認識して文字コードに変換した後、項目別ファイル蓄積手段３に蓄積する。 As a character from the document image that has been extracted by the attribute item, after converting the character code recognizes headings 3-1 and Text 3-2 by the character recognition unit 4, and accumulates the itemized file storage unit 3. また、前記抽出された文書画像が画像である場合には、画像圧縮手段５によって圧縮して項目別ファイル蓄積手段３に蓄積する。 Also, when the document image that is the extraction is an image compresses the image compressing means 5 accumulates the itemized file storage unit 3. 蓄積されている文書画像を見たい場合には、文字として見出し３−１および本文３−２を項目別に検索するためのキーワード検索手段６と、画像として図表３−３および写真３−４を検索する類似画像検索手段７とにより検索できるようになっている。 If you want to see a document image that has been stored, the search and the keyword search means 6 for searching headings 3-1 and body 3-2 by item as character, charts 3-3 and photographic 3-4 as an image and to be able to search by the similar image search unit 7. そして、文書画像再配置手段８ Then, the document image rearrangement unit 8
には、これらの検索手段によって、最終検索結果を出力表示する。 The, these retrieval means, outputs and displays the final search result.
本文字領域、見出し領域、図表領域、および写真領域のそれぞれの大きさ、領域内の濃度、エッジの数…等の属性の相違に着目することにより、領域の識別および分離を任意に行うことができる。 This character area, headline region, each of the size of the chart area, and a photograph area, the concentration in the region, by focusing on the difference of the attribute number ..., etc. of the edge, be made arbitrarily identification and isolation regions it can.
第４図は領域分離手段２の構成例を示すブロック図である。 Figure 4 is a block diagram showing a configuration example of a region separation unit 2. これは本出願人の出願になる特願昭63−252920号（発明者 中村豊）、特願昭63−291095号（発明者 中村豊）、特願平１−87039号（発明者 中村豊）等の明細書に開示の技術によって構成した一例であり、２値化手段201、矩形化処理された画像を格納する矩形化領域画像メモリ202、矩形化処理を行う矩形化処理手段203、 This Applicant's become Patent Application No. Sho 63-252920 (inventor Yutaka Nakamura), Japanese Patent Application Sho 63-291095 (inventor Yutaka Nakamura), Japanese Patent Application No. Hei 1-87039 (inventor Yutaka Nakamura) an example constructed by the technique disclosed in the specification of equal, binarizing means 201, rectangular regions image memory 202 for storing the processed image squaring, rectangle processing unit 203 for performing squaring process,
２値化された画像を記憶する２値画像メモリ204、２値化された画像に対して孤立点除去を施す孤立点除去手段 Binary image isolated point removing means for performing isolated point removal with respect to the binary image memory 204,2 binarized image storing
205、孤立点除去後の画像に対して輪郭抽出処理を施す輪郭抽出手段206、抽出された輪郭画像を記憶する輪郭画像メモリ207、各画像メモリ202、204、207の記憶内容に基づいて画像領域の判定を行う領域識別手段とからなっている。 205, an image area based on the stored contents of the contour extraction unit 206, the contour image memory 207 for storing the extracted contour image, each image memory 202,204,207 performing contour extraction processing for the image after the isolated point removal It consists area identification means for judging. 領域判定手段は、矩形領域アドレス発生部20 Area determining means, the rectangular area address generator 20
8、黒画素数計数部209、210、本文文字識別部211、矩形面積算出部212、比算出部213、面積比較部（見出し／図表識別部）214、比比較部（写真／文字線画像識別部）2 8, the black pixel number counting unit 209, a text character identifying unit 211, the rectangular area calculating unit 212, the ratio calculation unit 213, the area comparison section (Heading / Chart identifying unit) 214, a ratio comparing unit (Photo / text line image identification part) 2
15等からなっている。 It is made up of 15 and the like.
入力画像はスキャナ等より多値で入力される。 The input image is input by the multi-value from the scanner or the like. 画像入力データは２値化手段201により２値化処理される。 Image input data is binarized by the binarization means 201. ２ 2
値化された画像は矩形化処理手段203によって黒画素を連結し連結した領域を矩形で囲む矩形化処理を施され、 Valued image is subjected to squaring process surrounding a region linked by connecting the black pixels by a rectangular processing means 203 with a rectangular,
得られた矩形領域は矩形化領域画像メモリ202に記憶され、画像の識別単位として利用される。 Rectangular region obtained is stored in the rectangular region image memory 202 is used as an identification unit of an image.
また、２値化された画像は、孤立点除去手段205により孤立点を除去された後、輪郭抽出手段206により輪郭即ちエッジ部分の抽出処理がなされ、輪郭画像メモリ20 Further, the binarized image, after removing isolated points by the isolated point removing section 205, extraction of the contour or edge portion is made by contour extracting means 206, the contour image memory 20
7に記憶される。 7 is stored in.
領域の識別は、矩形化処理手段203により得られた矩形で囲まれた領域を単位として、まず、本文文字識別部 Identifying regions in units of areas surrounded by the rectangle obtained by rectangular processing unit 203, first, a text character identifying unit
211により、矩形の高さの分布から本文の文字高さを推定して、本文を識別し、これを分離する。 The 211, the distribution of the height of the rectangle by estimating the character height of the body, to identify the body, to separate them. 次に残りの画像中の見出し領域、図表領域、写真領域を、矩形の大きさ、矩形内の濃度やエッジから判別する。 Next Heading region in the remaining image, figure area, a photograph area, the rectangle size to determine the density and the edge of the rectangle. 即ち、矩形領域アドレス発生部208において、本文文字以外の各矩形領域について矩形化領域画像メモリ202から読み出した矩形化処理した画像に基づき矩形領域の各画素のアドレスを発生する。 That is, in the rectangular region address generator 208 generates the address of each pixel of the rectangular area based on images processed squaring read from the rectangular region image memory 202 for each rectangular area other than the text characters. 発生したアドレスにより２値画像メモリ Binary image memory by the address generated
204および輪郭画像メモリ207からそれぞれ矩形領域内の画素を読みだし、その読み出した画素の黒画素の数をそれぞれ黒画素数計数部209、210で計数する。 204 and read the pixels of the contour image, respectively from the memory 207 within the rectangular area, and counts the number of black pixels of the pixels thus read out for each black pixel number counting unit 209 and 210. 計数した矩形内の２値画像の黒画素数と輪郭画像の黒画素数との比を比算出部213で算出する。 Calculating a ratio of the number of black pixels in the number of black pixels of the binary image and the contour image in the counted rectangle ratio calculating unit 213. 比比較部215は比算出部213 Ratio comparing unit 215 ratio calculating section 213
で算出した比を予め定めたしきい値と比較し、しきい値よりも大きい場合は文字線画像領域、小さい場合は写真領域と判定する。 In calculated ratio is compared with a predetermined threshold value, it determines if it is larger than the threshold value the character line image area, smaller than the photograph area.
文字線画像と判定されたときは、矩形の大きさによりそれが見出し領域であるかまたは図表領域であるかを判定する。 When it is determined that the character line image, determines whether it is either or graphical region is heading area by rectangle size. そのために、矩形化領域画像メモリ202から読み出した矩形化処理した画像に基づき矩形領域の面積を矩形面積算出部212で算出する。 Therefore, to calculate the area of ​​the rectangular area in the rectangular area calculation unit 212 based on the image processed squaring read from the rectangular region image memory 202. そして面積比較部（見出し／図表識別部）214において、算出した矩形の面積の大きさを予め定めたしきい値と比較し、その結果、しきい値より小さいときはその矩形領域は見出し領域であると判定（識別）する。 And in the area comparison section (Heading / Chart identifying unit) 214, the size of the rectangular area which is calculated by comparison with a predetermined threshold value, so that when smaller than the threshold the rectangular region in the heading area there the decision to (identify). 比較の結果しきい値よりも大きいときは、図表領域であると判定する。 Is greater than the comparison results threshold, it determines that the chart area.
これらの判定結果（識別信号）に基づいて、イメージメモリ等に記憶されている入力画像から各領域の画像データが分離抽出され、文字認識や符号圧縮、検索のための属性情報の付加等の必要な処理を施された後、項目別ファイル蓄積部３に登録される。 Based on these determination results (identification signal), the image picture data of each region from the input image stored in the memory or the like is separated and extracted, the character recognition and code compression required such as addition of the attribute information for the search after having been subjected to Do process, it is registered in the item-specific file storage section 3. すなわち、スキャンインされた入力画像は領域分離手段２によって、見出し３ That is, the scan-in input image by the area separating unit 2, Heading 3
−１、本文３−２、図表３−３、写真３−４の各属性領域に分離され、また、それぞれの領域を囲む矩形の左上端座標（x,y）、幅ｗ、高さｈが抽出される。 -1, body 3-2 are separated each attribute area of ​​figure 3-3 photo 3-4, also the upper-left corner coordinates in the rectangle surrounding the respective region (x, y), width w, height h It is extracted. この時、 At this time,
縦書き横書きの判別もなされる。 Determination of vertical horizontal are also made. 次に本文および見出し領域については文字認識手段４により文字認識処理が施されてコードデータに変換され、図表、写真領域については画像圧縮手段５により画像圧縮処理が施された後、 Next, the text and the heading area is converted character recognition processing by the character recognition unit 4 is applied to the code data, charts, after the image compression processing has been performed by the image compression means 5 for photographic region,
項目別ファイリング蓄積手段３において各属性項目別にファイリングされる。 It is filed for each attribute item in itemized filing storage unit 3.
以上のようにして、登録された画像に対する検索は、 As described above, the search for the registered image,
見出しあるいは本文に対してはキーワード検索手段６によりキーワード検索（登録済部分キーによる部分一致ストリングマッチング）で必要な画像の検索を行う。 To search the required image keyword search (broad string matching by registered partial key) by the keyword search means 6 for heading or body. 図表あるいは写真に対しては類似画像検索手段７により行う。 Carried out by the similar image retrieval unit 7 for charts or photographs.
次に、図表３−３および写真３−４に対する類似画像検索の一例について、第５図ないし第９図を参照しつつ説明する。 Next, an example of the similar image search on Charts 3-3 and photographic 3-4 will be described with reference to FIG. 5 through FIG. 9. この例は本出願人の出願になる特開平１−11 JP 1-11 This example according to the present applicant filed
3829号（発明者 広瀬真）の明細書に開示の技術によるものであり、必要とする画像を高速に検索できる利点のあるものである。 No. 3829 is due to the specification in the technique disclosed in (inventor Shin Hirose), in which an advantageous for searching an image requiring high speed.
第５図は、本発明の上記類似画像検索を行う機能を有する画像検索装置の一実施例の概略の構成を示すブロック図である。 Figure 5 is a block diagram showing the schematic configuration of an embodiment of an image retrieval apparatus having a function of performing the similar image search of the present invention. 本画像検索装置は、利用者あるいは管理者が画像を入力するための画像入力装置25、画像やその他の情報を利用者あるいは管理者に表示するための表示装置26、画像間の一致度の算出や検索された画像の提示順序や装置全体の制御をするための演算装置27、検索された画像を印刷などの形で出力するための画像出力装置2 The image retrieval apparatus, the calculation of the user or administrator image input device 25 for inputting an image, display device 26 for displaying images and other information to the user or administrator, the degree of coincidence between the images and retrieved image computing apparatus for the presentation order and the entire device control 27, the retrieved image output apparatus for outputting in the form of a printing image 2
8、画像間の一致の判定の際の許容範囲を利用者が入力するための制御入力装置29、画像や情報等を記憶しておく記憶装置30から成っている。 8, it consists of a control input unit 29, the storage device stores the images and information such as 30 for inputting the allowable range when the determination of coincidence between the images the user.
類似画像検索を効率的に行うために、図表および写真を項目別ファイリング蓄積手段３へ登録する時に加工を施し、特徴情報を付加しておく。 To perform similar image retrieval efficiently, giving the process when registering charts and photographs to itemized filing storage unit 3, to add appropriate feature information.
まず、その登録動作を説明する。 First, a description will be given of the registration operation. 第６図は、画像入力装置25から送られる二次元二値の画像情報の構造の例を示す図である。 6 is a diagram showing an example of a structure of a two-dimensional image information binary sent from the image input device 25. この画像情報は表示装置26によって画像として表示される。 The image information is displayed as an image by the display device 26. 画像情報全体はＭ×Ｎ個の二値情報であり、本実施例では値０は白、１は黒を表すものとする。 The whole image information is the M × N binary information, a value of 0 in this example white, 1 denote the black. 演算装置27は、Ｋ×Ｌ個の小領域毎に各領域内の値１の数を量子化した特徴量を第７図の形式にまとめた特徴情報32を作成する。 Arithmetic unit 27 creates a feature information 32 summarizes the feature value the number of values ​​1 in the area is quantized for each K × L number of small regions in the form of Figure 7. そして、特徴情報32とＭ×Ｎ個の画像情報33とを、記憶装置30に記憶する。 Then, the feature information 32 and the M × N image information 33 in the storage device 30. このようにして記憶装置30には、第８図に示すように多数の画像に対する特徴情報群34と画像情報群35とが記憶される。 This way, the storage device 30, and the feature information group 34 and the image information group 35 for a number of images, as shown in FIG. 8 are stored. なお、特徴情報32の先頭の画像番号31は、演算装置27が複数の画像情報を識別するための一意な番号である。 Note that the image number 31 in the beginning of the characteristic information 32 is a unique number for the arithmetic unit 27 to identify the plurality of image information.
次に画像の検索動作を第９図に示す処理動作フローチャートにより説明する。 Next will be described the processing operation flowchart illustrating the search operation of the image in FIG. 9. 制御入力装置29からは、一致判定の際の許容範囲として、利用者が必要とする画像の数Ｉが入力される（）。 From the control input device 29, as an allowable range when the match determination, the number I of the image required by the user is input ().
演算装置27は、検索の条件となる画像が与えられると、登録の場合と同様にして検索の条件となる画像に対する特徴情報a k1を作成する（）。 Arithmetic unit 27, given the image as a search condition, to create a feature information a k1 for the image as a condition of the search as in the case of registration ().
ｊを１に設定し、不一致度の小さい方からＩ番目の値を入れるレジスタD Iの値をＫ×Ｌに設定する（）。 Set j to 1, it sets the smaller inconsistency degree the value of the register D I put I-th value in the K × L ().
画像番号ｊの画像の特徴量b JK1を算出する（）。 Calculates a characteristic quantity b JK1 image number j of the image (). なお、第８図のように特徴量が登録時に計算され画像のインデックスとして画像と一緒に登録されている場合には、その値を記憶装置30から読み出す。 In the case where the feature quantity as FIG. 8 has been registered with the image as an index computed image at the time of registration, it reads the value from the storage device 30.
ここで演算装置27は、画像番号１番から順にｊ番目の画像と検索の条件となる画像との間の不一致度D jを計算していく（）。 Here computing device 27 will calculate the dissimilarity D j between 1 No. image number and an image to be j-th image and the search criteria in order ().
そしてD jが求まる度に、すでに計算してある不一致度の小さい方からＩ番目の値のD IとD jとを比較する（）。 And every time the D j is obtained, compares the D I and D j of the I-th value from the smaller degree of mismatch that has already been calculated ().
D j ＞D Iのときは、Ｉ番目までに入っていないので、次の画像についての処理に移るため、ｊの値を１増加する（）。 When the D j> D I, because not in to I th, for the routine to proceed to the next image to 1 increases the value of j ().
比較の結果、D j ≦D Iのときは、D IをD jの値で置き換える（）。 The result of the comparison, when the D j ≦ D I, replacing D I with the value of D j (). 不一致度が小さい方からＩ番目までの画像の番号を記憶しておく（）。 Stores the number of images to I-th from the side inconsistency is small (). そして、次の画像についての処理に移るため、ｊの値を１増加する（）。 Since the routine to proceed to the next image to 1 increases the value of j ().
最後に、記憶してある全ての画像について不一致度を計算し終ったときに、不一致度の小さい方から１枚の画像を表示装置26に表示する。 Finally, when the end to calculate the inconsistency of all of the image which is stored, displaying one image from the smaller inconsistency on the display device 26.
ところで、特徴情報群34中における各画像の特徴情報と検索の条件となる画像の特徴情報との間の不一致度を計算する方法を説明する。 Incidentally, a method of calculating the inconsistency between the characteristic information of an image to be a condition for retrieval and feature information of each image in the feature information group 34. 特徴情報は、画像番号31とＫ Feature information, the image number 31 and K
行Ｌ列の行列で表せる画像の特徴量から成る。 Consisting feature amount of an image represented by a matrix of rows and L columns. 検索の条件となる画像の特徴量をa k1 （ｋ＝１〜Ｋ、ｌ＝１〜 The feature amount of the search conditions to become image a k1 (k = 1~K, l = 1~
Ｌ）、特徴情報群34の中のｊ番目の画像の特徴量をb jkL L), the feature amount of the j-th image in the feature information group 34 b JKL
（ｋ＝１〜Ｋ、ｌ＝１〜Ｌ）を表す。 It represents the (k = 1~K, l = 1~L). そして、各小領域毎の領域内の１の数が２値に量子化されているとしたとき、条件となる画像とｊ番目の画像との不一致度は次式で表される演算によって求めることができる。 Then, be determined by calculating the number of 1 in the region of each small area is when a quantized to binary, inconsistency between the image and the j-th image to be a condition represented by the following formula can.
D j ＝ΣΣ（a k1 b jkL ） つまり、対応する要素間の排他的論理和の総和を不一致度と定義する。 D j = ΣΣ (a k1 b jkL) That is, the sum of the exclusive OR between the corresponding elements is defined as the degree of mismatch. なおは排他的論理和を表す記号とする。 Note is a symbol representing the exclusive OR.
なお、各小領域毎の領域内の１の数が多値に量子化されているとしたとき、即ち、a kLとb jkLが多値のときは、条件となる画像とｊ番目の画像との不一致度は次式で表される演算によって求められる。 Incidentally, when the number of 1 in the region of each small area is set to be quantized to multi-level, i.e., when a kL and b JKL is multi-valued, the image and the j-th image to the condition inconsistency of is determined by the calculation expressed by the following equation.
D j ＝ΣΣ|a kL −b jkL | 次に、検索した結果の画像を出力する際には、見出し３−１、本文３−２、図表３−３、写真３−４等文書全体の再配置処理を行う。 D j = ΣΣ | a kL -b jkL | Then, when outputting the image of the results retrieved finds 3-1, body 3-2, Figure 3-3, again such as a document whole photo 3-4 the placement process is performed. 第10図および第11図は再配置処理動作の手順を示すものである。 FIGS. 10 and 11 shows a procedure of the relocation process operation. なお、第10図と第11図とはイとロにおいて接続される。 Note that the FIG. 10 and FIG. 11 are connected at b and b.
先ず、検索された文書画像に対応する項目別ファイル蓄積手段３の見出し部の記憶位置を走査して見出し３− First, heading by scanning the storage position of the heading of the items by file storage unit 3 corresponding to the retrieved document image 3
１があるか否かを調べる（）。 1 is whether examined ().
見出し３−１がある場合には、その見出し３−１が縦長配置かあるいは横長配置かを調べる（）。 If there is a headline 3-1, that heading 3-1 checks arranged vertically or horizontally disposed (). 見出し３ Heading 3
−１が縦長配置のものであるときは、読み出した見出し文字を縦長配置手順に従って配置を行う（）。 When -1 is of vertical arrangement, the read headline characters perform arranged according arranged vertically procedure (). 横長配置のものであるときは、読み出した見出し文字を横長配置手順に従って配置する。 When those of horizontal arrangement, the read headline characters arranged according to horizontal position procedures.
見出し３−１が縦長配置（）および横長配置（） Heading 3-1 arranged vertically () and horizontal position ()
のいずれの場合でも、さらに他の見出し文字があるか否かを調べる（）。 Even in the case of either, investigate whether there is yet another headline characters ().
新たな見出し文字がなければ見出しの配置が終了し、 Placement of the heading is terminated if there is no new headline characters,
本文の文字列の配置に移る。 It moves to the placement of the body of the string. その際、次の行を文字列の右上端の座標として設定する（）。 At that time, it sets the next line as the coordinates of the upper right end of the string ().
文字列がまだあるか否かを調べる（）。 String investigate whether there are any more (). 文字列があればその文字列の右端からの余白と左側における所定のマージンとを比較して（）、左側マージンの方が小さい間は、文字列を配置する（）。 If the string is compared with a predetermined margin in the margin and the left from the right end of the string (), while towards the left margin is small, to place the string (). 文字列の配置は、現在の文字列の右端から文字幅だけ差し引いた位置が次の文字列の右端となる（）。 Text positioning, the position obtained by subtracting from the right edge of the current string by character width is the right end of the next character string ().
処理において、文字列配置の右端からの余白が、所定の左側マージンより小さくなった場合には、段落の変更と文字列の右端再設定を行う（）。 In the process, the margin from the right edge of the string arrangement, if it becomes smaller than the predetermined left margin, performs right end Re of the paragraph changes and string (). そして、処理と同様に文字列の配置を行う（）。 Then, the arrangement of the character string similar to the process (). 処理で配置すべき文字列がなくなると図表および写真の配置に移るが、 Although the character string to be arranged in the process is eliminated moves to diagrams and photographs of the arrangement,
まず図表、写真の配置の右上端の座標を設定する（）。 First Chart, sets the coordinates of the upper right end of the arrangement of pictures ().
処理で検索結果の文書画像に図表または写真があれば、それを配置すべき右端からの余白と左側における所定のマージンとを比較して（）、左側マージンの方が小さい間は、図表または写真を配置する（）。 If there is diagrams or photographs in the document image of the retrieval result in the processing, it is compared with a predetermined margin in the margin and the left from the right end to be positioned it (), while towards the left margin is small, diagrams or photographs the placing (). 図表または写真の配置は、現在の図表または写真の右端から図表または写真の幅だけ差し引いた位置が次の図表または写真の右端となる（）。 Arrangement of Figure or photographs, the position obtained by subtracting from the right edge of the current plot or photograph by the width of the table or a photograph is the right end of the next chart or photograph ().
処理において、左側マージンの方が大きくなった場合には、段落の変更と図表または写真の右端再設定を行う（）。 In the process, when the direction of the left margin is increased performs paragraph change and charts or photographs of the right end reconfiguration (). そして、処理と同様に図表または写真の配置を行う（）。 Then, the arrangement of Figure or photograph similar to the process (). 処理で図表または写真がなくなると再配置は終了する（）。 Relocation in Chart or photograph is eliminated by the process ends ().
（発明の効果） 本発明によれば、文書画像における見出し、本文、図表、写真等異なる属性の領域を自動的に抽出、分離し、 According to (Effect of the Invention) The present invention, automatically extracted, separated heading in the document image, text, diagrams, the area of ​​the photograph or the like different attributes,
項目（属性領域）ごとに分けて蓄積するとともに、検索においては属性の領域ごとに適した個別の検索方法により検索できるようにし、検索時の表示はその属性の領域のみとすることができので、検索を効率的に行うことができる。 With accumulated separately for each item (attribute region), to be able to search by individual search method suitable for each area of ​​the attribute in the search, display in the search because it is possible to only a region of the attribute, it is possible to carry out the search efficiently.
さらに、検索結果の文書画像を全体を項目ごとにそれぞれまとめて再配置するようにしたので、文書中の無駄な余白を取り除きデータを圧縮させることができ、また表示に要する時間を短縮させることができる。 Furthermore, since the entire document image search results so as to reposition collectively respectively for each item, it is possible to compress the data removes unnecessary margin in the document, also is possible to shorten the time required for display it can.
第１図は本発明の文書画像再配置ファイリング装置の構成を示す図、第２図および第３図は領域分離で抽出された各属性を項目別にファイルする様子を示した図、第４ Illustrates a configuration of a document image rearrangement filing apparatus of the first figure present invention, FIG. FIGS. 2 and 3 is shown how the file each attribute extracted by the segmentation for each item, 4th
図は領域分離手段のブロック構成図、第５図は画像検索装置のブロック構成図、第６図は二次元二値の画像情報の構成を示す図、第７図は特徴情報の構造を示す図、第８図は特徴情報群と画像情報群とを示す図、第９図は検索動作時の処理フローチャート、第10図および第11図は第１図図示における文書画像再配置処理手段８のフローチャートを示す。 Figure is a block diagram of a segmentation unit, Figure 5 is a block diagram of an image retrieval apparatus, FIG. 6 is a diagram showing a configuration of a two-dimensional image information binary, Figure 7 Figure shows the structure of the feature information , FIG. 8 is a diagram showing the feature information group and the image information group, Figure 9 is flowchart of the time search operation, FIGS. 10 and 11 are flowcharts of a document image rearrangement processing unit 8 in Figure 1 shown It is shown. １……文字画像入力手段 ２……領域分離手段 ３……項目別ファイル蓄積手段 ４……文字認識手段 ５……画像圧縮手段 ６……キーワード検索手段 ７……類似画像検索手段 ８……文書画像再配置手段 1 ...... character image input means 2 ...... segmentation means 3 ...... itemized file storage unit 4 ...... character recognition means 5 ...... image compressing means 6 ...... keyword searching unit 7 ...... similar image retrieval unit 8 ...... Article image relocation means
【請求項１】文書画像を入力する文書画像入力手段と、 前記文書画像入力手段により入力された文書画像の見出し、本文、図表、写真のそれぞれの異なる属性の領域を抽出、分離する領域分離手段と、 前記領域分離手段により抽出、分離された見出し、本文、写真の各項目を属性に対応して項目ごとに蓄積、格納する項目別ファイル蓄積手段と、 前記項目別ファイル蓄積手段に蓄積されている各項目の内容をそれぞれの項目の属性に対応して個別に検索する項目別検索手段により所望の文書画像を検索する検索手段と、 前記検索手段により検索された所望の文書画像に対して、各項目の内容を再配置して全体の文書画像を出力する文書画像再配置手段と を備えたことを特徴とする文書画像再配置ファイリング装置。 A document image input means for inputting 1. A document image, the heading of the document image inputted by the document image input means, body, charts, extracts an area of ​​each different attribute pictures, isolation regions separating means If the extracted by segmentation means, separate headings, text, storing photos each item for each item corresponding to the attribute, and item-specific file storage means for storing, stored in the item-by-item file storage means for a desired document image contents of each item retrieved search means for searching for a desired document image by itemized retrieval means for retrieving individually correspond to attributes of each item, by the searching means are, document image rearrangement filing apparatus comprising the document image relocation means for outputting the entire document image to rearrange the content of each item.
JP14846389A 1989-06-13 1989-06-13 Document image relocation filing device Expired - Fee Related JP2890482B2 (en)
JP14846389A JP2890482B2 (en) 1989-06-13 1989-06-13 Document image relocation filing device
JPH0314184A JPH0314184A (en) 1991-01-22
JP2890482B2 true JP2890482B2 (en) 1999-05-17
ID=15453314
JP14846389A Expired - Fee Related JP2890482B2 (en) 1989-06-13 1989-06-13 Document image relocation filing device
JP (1) JP2890482B2 (en)
JPH1186014A (en) 1997-09-08 1999-03-30 Fujitsu Ltd Method and device for displaying document image
JP2002150306A (en) 2000-09-04 2002-05-24 Minolta Co Ltd Image processing device, image processing method, image processing program, and computer-readable recording medium with image processing program recorded thereon
1989-06-13 JP JP14846389A patent/JP2890482B2/en not_active Expired - Fee Related
US8326090B2 (en) 2005-07-28 2012-12-04 Canon Kabushiki Kaisha Search apparatus and search method
JPH0314184A (en) 1991-01-22