(57)【要約】【課題】モバイル端末等の小画面に見やすい形で文書を表示できるように処理する文書処理装置又は方法。【解決手段】本発明の文書処理装置は例えばサーバ２０１上にプログラムにより実現される。レイアウト解析手段２２は文書２１をレイアウト解析し、オブジェクトを抽出するとともに構造情報２４を生成する。オブジェクトの実体はオブジェクト抽出手段２３により抽出される。構造変換手段であるＸＳＬＴプロセッサ２６は、ＸＳＬスタイルシート２５を用いて構造情報（ＸＭＬ文書）２４を、文書２１の内容をクライアント２０３側に適した表示形態で表示させるための構造情報（ＳＶＧ文書）２７に変換する。【選択図】図２
2006350867.tif 000002
【特許請求の範囲】
【請求項１】
文書のデータを解析することにより、前記文書中の文字領域又は非文字領域である文書要素を抽出し、所定の関連性があると判定される複数の文書要素からなるオブジェクト、及び、他の文書要素と所定の関連性がないと判定される個々の文書要素からなるオブジェクトを抽出するとともに、オブジェクトを単位とした前記文書のレイアウト構造、オブジェクトの属性、オブジェクトの読み順を含む構造情報を生成するレイアウト解析手段、
前記レイアウト解析手段により抽出されたオブジェクトの実体を前記文書のデータより抽出するオブジェクト抽出手段、
前記レイアウト解析手段により生成された構造情報を、前記文書の内容を所要の表示形態で表示させるための構造情報へ変換する構造変換手段を有することを特徴とする文書処理装置。
【請求項２】
前記レイアウト解析手段において、文書要素の間のサイズ関係、距離関係及び相対的位置関係についての条件判定を行うことにより文書要素間の関連性の有無を判定することを特徴とする請求項１記載の文書処理装置。
【請求項３】
前記レイアウト解析手段において、オブジェクトとして未抽出の最大サイズの文書要素を基準要素に選び、該基準要素のサイズに応じて設定したサイズ閾値及び距離閾値を用いて、該基準要素とその周囲の文書要素とのサイズ関係及び距離関係についての条件判定を行うことを特徴とする請求項２記載の文書処理装置。
【請求項４】
前記構造変換手段により変換後の構造情報は、文書の各オブジェクトを読み順に従って順次表示させるものであることを特徴とする請求項１，２又は３記載の文書処理装置。
【請求項５】
前記構造変換手段により変換後の構造情報は、文書の全オブジェクトを縮小表示させた後、指示されたオブジェクトを拡大表示させるものであることを特徴とする請求項１，２又は３記載の文書処理装置。
【請求項６】
前記レイアウト解析手段において、所定の関連性があると判定される複数のオブジェクトからなる上位オブジェクト、及び、他のオブジェクトと所定の関連性がないと判定される個々のオブジェクトからなる上位オブジェクトを抽出するとともに、上位オブジェクトとオブジェクトの階層関係を構造情報に記述することを特徴とする請求項１，２又は３記載の文書処理装置。
【請求項７】
前記レイアウト解析手段において、上位オブジェクトに含まれる見出し属性のオブジェクトの個数を１以下に制限することを特徴とする請求項６記載の文書処理装置。
【請求項８】
前記構造変換手段による構造変換において、上位オブジェクトをまたぐレイアウト変更を禁止することを特徴とする請求項６記載の文書処理装置。
【請求項９】
文書のデータを解析することにより、前記文書中の文字領域又は非文字領域である文書要素を抽出し、所定の関連性があると判定される複数の文書要素からなるオブジェクト、及び、他の文書要素と所定の関連性がないと判定される個々の文書要素からなるオブジェクトを抽出するとともに、オブジェクトを単位とした前記文書のレイアウト構造、オブジェクトの属性、オブジェクトの読み順を含む構造情報を生成するレイアウト解析工程、
前記レイアウト解析工程により抽出されたオブジェクトの実体を前記文書のデータより抽出するオブジェクト抽出工程、
前記レイアウト解析手段により生成された構造情報を、前記文書の内容を所要の表示形態で表示させるための構造情報へ変換する構造変換工程を有することを特徴とする文書処理方法。
【請求項１０】
前記レイアウト解析工程において、文書要素の間のサイズ関係、距離関係及び相対的位置関係についての条件判定を行うことにより文書要素間の関連性の有無を判定することをことを特徴とする請求項９記載の文書処理方法。
【請求項１１】
請求項１，２，３，６，７又は８記載の文書処理装置の各手段としてコンピュータを機能させるプログラム。
【請求項１２】
請求項１，２，３，６，７又は８記載の文書処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レイアウト情報を有する文書を、例えばモバイル端末の小さな画面に適した表示形態で表示可能にするための処理を行う文書処理装置及び方法に関する。
【背景技術】
【０００２】
特許文献１に、印刷文書の内容を抽出・構造化してコンピュータに自動入力するための文書処理装置が記載されている。この文書処理装置は、文書画像からレイアウトオブジェクトとレイアウト構造を抽出するレイアウト解析手段と、文書画像より得た文字の配置情報からタイポグラフィック情報を得て、これにより論理オブジェクトを抽出する手段と、レイアウトオブジェクトと論理オブジェクトの読み順を決定する手段と、この読み順に従って論理オブジェクト間の階層構造、参照構造、関係構造を論理構造として抽出する手段と、複数ページの文書構造を認識する手段とで構成される。
【０００３】
特許文献２に記載の文書検索システムでは、検索条件に合致したＨＴＭＬ文書の部分のみを検索結果として提示できるようにするため、文書データベースを作成する際に文書構造を解析する。この解析では、ＨＴＭＬ文書中のタグによって、文書セグメントのテキスト、イメージといった性質を把握し、イメージセグメント前後のテキストセグメントとイメージセグメントとの関連性を評価し、関連性大なら両者を統合し、さらに、タグから見出しを見つけて見出しの下に含まれるセグメントを統合し、ＨＴＭＬ文書を３層構造として把握する。
【０００４】
特許文献３に記載の文書画像認識装置は、印刷文書を読み取った入力文書画像から文字領域と図・写真等の領域を抽出し、文字領域に対しては文字認識を行い、また、レイアウト解析を行うことにより、入力文書画像に対応したＰｏｓｔＳｃｒｉｐｔ文書やＨＴＭＬ文書を生成する。レイアウト解析ではタイトルや小見出し等の識別も行われる。
【０００５】
特許文献４に記載の文書画像認識方法では、色のクラスタリング等によって文書画像の背景色を特定し、その背景色以外の色の画素を統合して連結成分を生成し、連結成分を少なくとも形状特徴を用いて文字領域、図形・写真領域等に分類する。
【０００６】
特許文献５に記載の領域分割方法では、文書画像のＯＲ圧縮画像より黒画素連結成分の外接矩形を抽出し、外接矩形をその形状及び内部データから文字、その他に分類し、文字矩形を文字行及び文字領域に統合し、また、文字に分類された外接矩形の高さ（文字行方向に垂直な方向の矩形サイズ）のヒストグラムをとり、最も頻度の大きい矩形高さを標準文字サイズとする。
【０００７】
【特許文献１】特開平１１−２５００４１号公報
【特許文献２】特開２０００−３３９３４７号公報
【特許文献３】特開平１１−６６１９６号公報
【特許文献４】特開２００１−２９７３０３号公報
【特許文献５】特開平７−７３２７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
インターネットや企業内ＬＡＮの普及により、ネットワークを介してパーソナルコンピュータ（以下ＰＣ）等の端末装置へ画像データを配信する技術が注目を集めている。例えば、従来型複写機にプリンタやスキャナ、画像配信サーバ等の機能を集約した複合機が画像配信装置として使用されている。
【０００９】
一方、携帯電話、ＰＤＡ(Personal  Digital  Assistant)等のモバイル端末の性能向上に伴い、モバイル端末上で文書画像等が閲覧可能となってきている。しかし、モバイル端末等では、携行性を重視するため表示画面が小さく、文書画像等は非常に見難いという問題があった。
【００１０】
すなわち、このようなモバイル端末では、ＱＶＧＡと呼ばれる規格が主流であり、その画面の表示画素数は320×240程度である。一方、３００ｄｐｉの解像度、Ａ４サイズの文書画像のデータは全体で3500×2500画素程度のサイズとなる。このような文書画像のデータをそのままモバイル端末へ送信し文書全体を表示させた場合、例えば図１５の文書は図２９の（ａ）に示すような縮小表示となるため、文字がつぶれてしまい判読不可能となる。文字を判読可能とするために拡大表示させた場合、図２９の（ｂ），（ｃ）のような表示となり、文書の内容を理解するためには何回も縦横スクロール操作を行わなければならない。
【００１１】
よって、本発明の目的は、レイアウト情報を有する文書を、例えば表示画面が小さなモバイル端末等に適した表示形態で表示可能にするための処理を行う文書処理装置及び方法を提供することにある。
【課題を解決するための手段】
【００１２】
請求項１記載の発明は、文書のデータを解析することにより、前記文書中の文字領域又は非文字領域である文書要素を抽出し、所定の関連性があると判定される複数の文書要素からなるオブジェクト、及び、他の文書要素と所定の関連性がないと判定される個々の文書要素からなるオブジェクトを抽出するとともに、オブジェクトを単位とした前記文書のレイアウト構造、オブジェクトの属性、オブジェクトの読み順を含む構造情報を生成するレイアウト解析手段、前記レイアウト解析手段により抽出されたオブジェクトの実体を前記文書のデータより抽出するオブジェクト抽出手段、前記レイアウト解析手段により生成された構造情報を、前記文書の内容を所要の表示形態で表示させるための構造情報へ変換する構造変換手段を有することを特徴とする文書処理装置である。
【００１３】
請求項２記載の発明は、請求項１記載の発明に係る文書処理装置であって、前記レイアウト解析手段において、文書要素の間のサイズ関係、距離関係及び相対的位置関係についての条件判定を行うことにより文書要素間の関連性の有無を判定することを特徴とする文書処理装置である。
【００１４】
請求項３記載の発明は、請求項２記載の発明に係る文書処理装置であって、前記レイアウト解析手段において、オブジェクトとして未抽出の最大サイズの文書要素を基準要素に選び、該基準要素のサイズに応じて設定したサイズ閾値及び距離閾値を用いて、該基準要素とその周囲の文書要素とのサイズ関係及び距離関係についての条件判定を行うことを特徴とする文書処理装置である。
【００１５】
請求項４記載の発明は、請求項１，２又は３記載の発明に係る文書処理装置であって、前記構造変換手段により変換後の構造情報は、文書の各オブジェクトを読み順に従って順次表示させるものであることを特徴とする文書処理装置である。
【００１６】
請求項５記載の発明は、請求項１，２又は３記載の発明に係る文書処理装置であって、前記構造変換手段により変換後の構造情報は、文書の全オブジェクトを縮小表示させた後、指示されたオブジェクトを拡大表示させるものであることを特徴とする文書処理装置である。
【００１７】
請求項６記載の発明は、請求項１，２又は３記載の発明に係る文書処理装置であって、前記レイアウト解析手段において、所定の関連性があると判定される複数のオブジェクトからなる上位オブジェクト、及び、他のオブジェクトと所定の関連性がないと判定される個々のオブジェクトからなる上位オブジェクトを抽出するとともに、上位オブジェクトとオブジェクトの階層関係を構造情報に記述することを特徴とする文書処理装置である。
【００１８】
請求項７記載の発明は、請求項６記載の発明に係る文書処理装置であって、前記レイアウト解析手段において、上位オブジェクトに含まれる見出し属性のオブジェクトの個数を１以下に制限することを特徴とする文書処理装置である。
【００１９】
請求項８記載の発明は、請求項６記載の発明に係る文書処理装置であって、前記構造変換手段による構造変換において、上位オブジェクトをまたぐレイアウト変更を禁止することを特徴とする文書処理装置である。
【００２０】
請求項９記載の発明は、文書のデータを解析することにより、前記文書中の文字領域又は非文字領域である文書要素を抽出し、所定の関連性があると判定される複数の文書要素からなるオブジェクト、及び、他の文書要素と所定の関連性がないと判定される個々の文書要素からなるオブジェクトを抽出するとともに、オブジェクトを単位とした前記文書のレイアウト構造、オブジェクトの属性、オブジェクトの読み順を含む構造情報を生成するレイアウト解析工程、前記レイアウト解析工程により抽出されたオブジェクトの実体を前記文書のデータより抽出するオブジェクト抽出工程、前記レイアウト解析手段により生成された構造情報を、前記文書の内容を所要の表示形態で表示させるための構造情報へ変換する構造変換工程を有することを特徴とする文書処理方法である。
【００２１】
請求項１０記載の発明は、請求項９記載の発明に係る文書処理方法であって、前記レイアウト解析工程において、文書要素の間のサイズ関係、距離関係及び相対的位置関係についての条件判定を行うことにより文書要素間の関連性の有無を判定することを特徴とする文書処理方法である。
【００２２】
請求項１１記載の発明は、請求項１，２，３，６，７又は８記載の発明に係る文書処理装置の各手段としてコンピュータを機能させるプログラムである。
【００２３】
請求項１２記載の発明は、請求項１，２，３，６，７又は８記載の発明に係る文書処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。
【発明の効果】
【００２４】
請求項１乃至１０の発明による文書処理装置又は方法は、文書のレイアウト解析によりオブジェクトを抽出するとともに構造情報を生成する手段又は工程、オブジェクトの実体を抽出する手段又は工程、生成された構造情報を文書を所要の表示形態で表示させるための構造情報へ変換する手段又は工程を有するため、モバイル端末のような小画面に適した表示形態で文書の内容を見やすく表示させることが可能となる。特定の関連性があると判定される複数の文書要素、具体的には、レイアウト関係を維持することが望ましい関連した複数の文書要素は１のオブジェクトとして抽出するため、例えば請求項３，４の発明のようにオブジェクト単位で文書内容を表示するような構造変換を行っても、文書の内容の把握に支障が生じない。請求項２，３，１０の発明によれば、後記実施例に関連して具体的に述べるように、画像とそれに関連した文字、本文と見出しといった別々のオブジェクトに分離したのでは相互の関係が不明瞭になるような複数の文書要素を確実に統合した形でオブジェクトとして抽出することが可能となる。請求項６の発明によれば、関連性のあるオブジェクトを統合した上位オブジェクトを抽出するため、上位オブジェクトに含まれる「タイトル」や「見出し」のオブジェクトの内容だけを表示し、ユーザからの指示に従って関連したオブジェクトの内容を拡大表示するような構造情報の変換が可能となる。また、請求項７の発明によれば、後記実施例に関連して述べるような文書内容の理解に支障となるようなオブジェクト変更を回避することができる。請求項１１，１２の発明のプログラム又は情報記録媒体によれば、ＰＣ等のコンピュータや、各種機器に組み込まれたマイクロコンピュータ等を利用し請求項１，２，３，６，７，８の発明による文書処理装置又は方法を実施することが可能になる、等々の効果を得られる。
【発明を実施するための最良の形態】
【００２５】
図１は、本発明の実施形態を説明するためのシステムの模式図である。図１において、２０１はサーバであり、このサーバ２０１に本発明が適用される。２００は文書（ドキュメント）をビットマップデータとして読み取ってサーバ２０１に入力するスキャナである。２０３はクライアントであり、２０４はクライアント２０３が画像を表示するモニタである。２０２はサーバ２０１とクライアント２０３を接続するインターネットやＬＡＮ等の転送路である。ここでは、クライアント２０３として、小画面のモニタ２０４を持つ携帯電話やＰＤＡ等のモバイル端末を想定する。このようなモバイル端末がクライアント２０３として用いられるシステムにおいて、本発明は顕著な効果を発揮することができる。ただし、本発明は、小画面の表示手段を持つ各種の機器に適用し得るものである。
【００２６】
サーバ２０１は、図２及び図３に簡略化して示すような本発明に係る文書処理装置を構成する機能手段を含むほか、図示しないが、スキャナ２００とのインターフェースや、ネットワーク経由でクライアント２０３との間でコマンドやデータの送受信を行うための手段、データの保存手段といったサーバとしての一般的な機能を実現するための手段からなる。
【００２７】
図２及び図３は、本発明に係る文書処理装置の機能的構成を説明するためのブロック図である。図２又は図３に示すように、本発明に係る文書処理装置は、処理対象の文書２１に対しレイアウト解析処理を行ってオブジェクトを抽出するとともに該文書の構造情報２４を生成するレイアウト解析手段２２と、該レイアウト解析手段２２のレイアウト解析処理によって抽出された各オブジェクトの実体を文書２１より切り出し、それぞれを別々の画像ファイル２８（これをオブジェクトと記することがある）として保存するオブジェクト抽出手段２３と、レイアウト解析手段２２により生成された文書の構造情報２４に対し所要の文書表示形態に適合させるための構造変換処理を施し、変換結果２７を生成する構造変換手段２６とからなる。
【００２８】
このようなサーバ１は、通常、図４に例示するようなコンピュータ上でプログラムにより実現される。なお、クライアント２０３は前述のようにモバイル端末を想定するが、その内部的な構成はコンピュータと同様であり、通常、プログラムによりクライアント２０３の機能が実現される。
【００２９】
図４において、１０１はプログラムに応じた演算等を行うＣＰＵ、１０２はプログラムのコードや画像の符号データ等のデータを一時的に記憶するワーク領域として使用される揮発性のメモリ、１０３はデータやプログラム等を保存するためのハードディスク(HDD)、１０４はモニタ１０８への表示データが書き込まれるビデオメモリである。ビデオメモリ１０４に書き込まれた表示データは、定期的にアクセスされてモニタ１０８に表示される。１０５はインターネットやＬＡＮ等を介してデータを送受信するためのインターフェース、１０７はスキャナ等のローカルな入出力機器とのインターフェース、１０６は上記各要素を接続するバスである。なお、ユーザが指示等を入力するためのマウスやキーボード等の入力デバイス、光ディスク等の情報記録媒体の読み書きのためのドライブなども一般に備えられるが、簡略化のために図示されていない。
【００３０】
このようなコンピュータを図２又は図３に示した各機能手段２２，２３，２６として機能させるためのプログラムは、例えば光ディスク等の情報記録媒体より読み込まれたり、ネットワーク経由で取り込まれてハードディスク１０３に保存され、このプログラムがメモリ１０２にロードされてＣＰＵ１０１に実行されることによって本発明に係る文書処理装置がコンピュータ上に実現される。このようなプログラムと、同プログラムが記録された光ディスクその他のコンピュータが読み取り可能な情報記録媒体も本発明に包含される。以下、このようなコンピュータを利用してサーバ２０１及びクライアント２０３が実現される形態を前提として説明する。
【００３１】
処理の対象となる文書２１の入力方法及び文書のデータ形式について説明する。文書は、例えば前述のようにサーバ２０１に接続されたスキャナ２００からビットマップデータとして入力することができる。あるいは、ネットワーク経由にてクライアント等から文書を電子データの形で受信する方法も可能である。文書の電子データとしては、PDF等の特定フォーマットのデータ、ビットマップデータをJPEGやJPEG2000等にて圧縮処理したデータ、WORDやEXCEL（いずれも商標）といった特定アプリケーションのデータ、ポストスクリプト（商標）やその他のページ記述言語（PDL）のデータも可能である。
【００３２】
サーバ２０１が、多数の文書を蓄積しておき、クライアント２０３からの要求に応じて文書を配信するような文書配信サーバやファイルサーバ等として利用される形態を考える（図２はこの形態の場合を示している）。この場合、入力された文書は、サーバ２０１のハードディスクに順次蓄積されてデータベース化される。この保存時の文書の形態であるが、各文書を入力時の形式のまま蓄積する形態（例えばJPEG圧縮画像データやPDFデータ等が混在する形態）、全ての文書を所定の共通のフォーマット（例えばJPEGフォーマット）へ変換して蓄積する形態等をとることができる。また、入力形式に応じて数種類のフォーマットを混在させるようにしてもよい。例えば、ビットマップ形式の文書であればJPEG圧縮画像データとして蓄積し、特定アプリケーションの電子データであればPDFフォーマットに変換して蓄積するというような形態としてもよい。
【００３３】
サーバ２０１が、クライアント２０３に対し文書構造変換サービスを提供するＡＳＰ（Application  Service  Provider）サーバとして利用される形態を考えることもできる（図３はこの場合を示している）。この場合、クライアントから処理の対象となる文書（電子データ）がサーバ２０１へ送信され、当該文書に対する構造変換が行われ、その結果が当該クライアント（又は他のクライアント）へ送信される。この場合には、サーバに入力された文書は、その処理が終了するまでの間、一時的にメモリ又はハードディスクに保存しておけばよく、データベース化は特に必要でない。なお、図３は、同一のクライアント２０３が、文書をサーバ２０１へ送信し、その文書の構造変換結果をサーバ２０１より受信する場合を示している。
【００３４】
図５は、サーバ２０１における本発明に係る文書処理装置の処理を説明するためのフローチャートである。なお、サーバ２０１が文書配信サーバやファイルサーバとして利用されるような場合には、図５中のステップＳ１０１，Ｓ１０２の処理を、入力された文書のデータベース化の際に予め実行し、その文書の構造情報及びオブジェクト（実体）を保存しておき、クライアント２０３から送信要求を受信した時に、要求された文書について、その保存されている構造情報を用いてステップＳ１０３を実行するようにしてもよいことは当然である。このようにすると、サーバ２０１の処理負荷を軽減でき、また送信要求に対する応答時間も短縮できる点で有利である。また、サーバ２０１がＡＳＰサーバとして利用されるような場合は、要求を受けた時に処理対象の文書に対しステップＳ１０１〜Ｓ１０３の処理を実行することになる。図２及び図３を参照し、図５に示す処理の概要を説明する。
【００３５】
ステップＳ１０１：処理対象の文書２１に対し、レイアウト解析手段２２によりレイアウト解析処理を行う。ここでのレイアウト解析処理では、文字領域又は非文字領域である文書要素を抽出し、関連性のある複数の文書要素からなるオブジェクト、及び、他の要素と関連性のない個々の文書要素からなるオブジェクトを抽出するとともに、オブジェクトの論理的な属性（見出し、タイトル等）及び物理的な属性（文字、写真等）やオブジェクトの読み順を識別して、オブジェクトを単位としたレイアウト構造、オブジェクトの属性、オブジェクトの読み順を含む構造情報２４を生成し保存する。構造情報２４のフォーマットに特に限定は無いが、ここではＸＭＬ(eXtensible  Markup  Language)で構造情報２４を記述するものとして説明する。レイアウト解析処理の詳細は後述する。
【００３６】
ステップＳ１０２：オブジェクト抽出手段２３により、レイアウト解析処理で抽出されたオブジェクトの実体が文書２１からオブジェクト単位で切り出され、それぞれ別々の画像ファイルとして保存される（この画像ファイルを単にオブジェクトと呼ぶことがある）。ここで、個々のオブジェクトは、好ましくは圧縮符号化されて保存されるのが望ましい。そのフォーマットとしては、例えばJPEGやJPEG2000、GIF、PING、TIFF等の公知のものを用いることができる。また、オブジェクトの属性に応じて付加的な処理を行った後に圧縮処理をするようにしてもよい。例えば、文字要素のオブジェクトに対しては、２値化処理を行ってからMMRやMR等で圧縮したり、ベクトルデータに変換してＳＶＧファイル等にしてもよい（ＳＶＧについては後述)。
【００３７】
ステップＳ１０３：文書転送先のクライアント２０３に適した表示形態で文書２１の内容を表示することができるように、文書２１のレイアウト解析によって生成された構造情報２４に対し、構造変換手段２６によって構造変換処理が施される。ここでは、構造変換手段２６として、ＸＭＬ文書を別のスタイルを持つＸＭＬ文書、ＨＴＭＬ文書あるいはＳＶＧ(Scalable  Vector  Graphics)文書等へ変換する処理（ＸＳＬＴ：XSL  Transformations)を行うエンジンであるＸＳＬＴプロセッサが用いられるものとする。ＸＳＬＴプロセッサ２６は、予め用意されたＸＳＬ(eXtensible  Stylesheet  Language)で記述されたスタイルシート２５の中から、配信先のクライアント２０３に適した表示形態に対応したスタイルシートを選択して構造変換処理に用いる。そして、ここでは、変換結果２７はＳＶＧフォーマットで生成されるものとして説明する。なお、ＳＶＧは、ＸＭＬで記述されるベクタグラフィックス言語であり、Ｗ３Ｃ(World  Wide  Web  Consortium)にてインターネットでのベクタグラフィックスの標準として提唱された言語であり、アニメーション表示やマウス操作によるインタラクティブ（対話的）な表示、オブジェクトの重ね合わせ表示、ベクター画像のほかPNG,JPEGなどのイメージデータをハイパーリンクにより埋め込んで表示するなど多様な機能を実現可能であり、本発明の目的に好適である。
【００３８】
ステップＳ１０４：これはサーバ２０１の本来備える機能によって実行されるステップであり、送信要求元のクライアント２０３に対し、変換結果２７（構造変換後の構造情報）とオブジェクト（実体）２８を送信する。クライアント２０３はＳＶＧに対応したブラウザ２９を備えており、受信した構造情報の変換結果２７（ＳＶＧ文書）及びオブジェクト２８に基づいて文書２１の内容を好適な表示形態により表示することができる。なお、表示形態に応じて、文書２１より抽出されたオブジェクト（実体）２８が全て一括してクライアント２０３へ送信される場合と、ブラウザ２９から要求されたオブジェクト２８だけが送信される場合とがある。
【００３９】
ここで、図６に示すような文書を例に用いて、レイアウト解析、構造情報とその構造変換、構造変換後の文書の表示形態について説明する。
【００４０】
図６の文書に対するレイアウト解析処理によって、例えば図７に矩形で示す領域がオブジェクトとして抽出され、また、それらの属性（タイトルや見出し、文字／画像の別など）が識別される。また、図８に矢印で示すようなオブジェクトの読み順が識別される。処理対象の文書がｐｄｆのような電子データである場合には、図形（グラフ）はグラフィックスコマンドで入力され画像と識別可能であるため、図形と画像を区別してもよい。
【００４１】
レイアウト解析処理によって生成される構造情報は、例えば図９に示すような階層的なツリー形式でＸＭＬにより記述される。簡単に説明すると、先頭の「ページInfo」には文書のページサイズ（Width，Hight）、解像度（Resolution）、それに含まれるオブジェクトの総数などが記述される。「ページInfo」と並列に「OBJ-1」「OBJ-2」「OBJ-3」‥‥と各オブジェクトの情報が記述される。「OBJ-ｉ」の下に、「OBJ属性」としてオブジェクトの「タイトル」「見出し」などの論理的な属性が記述され、また「Position」としてオブジェクトのページ内座標（ｘ、ｙ）及び矩形サイズ（width,height）が記述され、また「Info」として、オブジェクトの物理的属性もしくは種類（text、photo.Graphics等）、オブジェクトの読み順（先頭から何番目なのか）、オブジェクトの実体（画像ファイル）へのパス、解像度（resolution）及び圧縮方法が記述される。
【００４２】
図１０は、図６の文書中の各オブジェクトを読み順に従って順次表示するアニメーション表示を示している。図１１に、このようなアニメーション表示のための構造情報の変換結果（ＳＶＣ文書）の例を示す。図１１において、（１）のP-WIDTH、P-HEIGHTには、文書のページサイズが記入される。(2),(4),(5)には先頭のオブジェクトから読み順に従いオブジェクトの情報が記述される。(2)のWIDTH,HEIGHTには読み順が1番のオブジェクトのサイズが記入され、OBJにはそのオブジェクトの実体のアドレスが記述される。（３）には、オブジェクトの表示が、それが表示されていない状態から1秒後に開始し(begin=1s）、3秒後に（dur=3s）終了する（fill=ｒｅｍｏｖｅ）という指示が記述される。同様に、(4)、(5)で開始時間（begin）をずらして同様の指示が記述されることで、図１０のような文書のオブジェクト単位のアニメーション表示が可能となる。このようなアニメーション表示によれば、表示画面が小さい場合でも文書の閲覧が容易になる。なお、自動的に表示オブジェクトを切り替えるのではなく、その切替をユーザがブラウザ２９でページめくり指示を入力することによって行わせるような構造変換も容易である。
【００４３】
図１２は別の表示形態を示しており、最初に（ａ）のように文書の全オブジェクトを縮小表示し、ユーザがブラウザ２９により縮小画像上でオブジェクトを指示することにより（ｂ）のように当該オブジェクトを拡大表示させる。このような表示形態によれば、小画面でも文書の全体内容の把握と文字の判読が容易となる。このような表示形態のための構造情報の変換結果（ＳＶＣ文書）の例を図１３に示す。
【００４４】
以下、レイアウト解析処理（図５のステップＳ１０１）について詳細に説明する。レイアウト解析処理は、図１４に示すように文書要素抽出のステップＳ２０１と構造理解のステップＳ２０２からなる。
【００４５】
ステップＳ２０１においては、処理対象の文書から、文字領域又は非文字領域である文書要素を抽出する。処理対象の文書が電子データで与えられた場合、文字データがフォントと座標情報等で表されているため、ビットマット画像とは容易に区別することが可能であり、また、座標情報もデータ中に含まれているため、要素の矩形領域や属性等の抽出は極めて容易である。
【００４６】
一方、処理対象の文書が、スキャンデータのような全面ビットマップデータで与えられた場合には、ＯＣＲ処理の前処理等でよく使用される領域識別処理を行う。この処理には、前記特許文献４に記載されているように、文書画像の背景色を特定し、背景色を用いて文書画像から背景領域以外の画素を抽出し、該画素を統合して連結成分を生成し、該連結成分を少なくとも形状特徴を用いて文字領域や写真領域を識別する手法を用いることができる。また、前記特許文献５に記載されているように、文書のＯＲ圧縮画像より背景以外の画素の連結成分の外接矩形を抽出し、外接矩形をその形状及び内部データから文字、その他に分類し、文字矩形を統合して文字領域を抽出する手法等を用いることもできる。
【００４７】
図１５に示した文書の上半分に対する要素抽出の結果を、図１６に例示する。図１６において、矩形３００〜３１４が抽出された文書要素を示している。また、それら文書要素の矩形のみを図１７に示す。
【００４８】
しかし、このようにして抽出された各文書要素をそのままオブジェクトとして抽出し、前述のような構造変換を行って文書配信をした場合、例えば、要素３０１（カメラ画像）と、その寸法線の要素３０２や寸法値の要素３０３の関係あるいはオブジェクトの持つ意味が、受信したクライアント側へオブジェクトの持つ意味が正確に伝えられなくなる可能性がある。
【００４９】
このような不都合を回避するために、抽出された文書要素に対して、ステップＳ２０２で、文書要素間の関連性を調べ、所定の関連性のある複数の文書要素を統合して１つのオブジェクトとして抽出し、他の文書要素と所定の関連性のない個々の文書要素は単独でオブジェクトとして抽出する構造理解処理を行う。以下、この構造理解処理に関し２つの実施例を説明する。
【実施例１】
【００５０】
図１８は、本実施例における構造理解処理の内容を示したフローチャートである。ステップＳ３０１において、要素抽出処理（図１４のステップＳ２０１）により抽出された文書要素の中から、要素中の文字のサイズ、文字行数等の情報に基づいて「見出し」の要素を識別する。ただし、文書によっては「見出し」が存在しないこともある。次のステップＳ３０２において、「見出し」要素の中から、ページの「タイトル」の要素を識別する。「タイトル」は、ページの最上部中央付近に位置することが多く、文字サイズも他の要素中の文字サイズに比べ大きい等の一般的傾向があるため、ページ内の要素の位置、要素中の文字サイズ等の情報に基づいて「タイトル」を識別することができる。以上の見出しの識別とタイトルの識別は、それ自体は格別新しい技術ではなく、いずれも公知技術により可能であるが、若干説明を補足する。
【００５１】
まず、文字サイズであるが、要素中の１文字を切り出し、その高さ、幅もしくは面積を文字サイズとして用いてもよいが、より好適な方法としては、例えば、前記特許文献５に記載されているような手法によって要素中の文字矩形を統合して文字行を矩形領域として抽出し、その文字行の高さ(短手方向のサイズ)を検出し、それを文字のサイズとして用いることができる。なお、文書要素中に複数の文字行が抽出される場合には、その最大の文字行高さを文字サイズとして用いればよい。また、文字要素内の文字行数の情報は、上の手順で容易に抽出可能である。
【００５２】
また、見出しの識別は、公知の技術を利用可能であるが、例えば、
・要素が１行か２行程度の文字行からなり、かつ、文字サイズが大きい。
・要素中の文字行ピッチが本文領域に比べ異なる。
・要素が本文領域の先頭にあるか、本文領域から孤立している。
等の複数の条件が同時に成立するときに、その要素を見出しと判定するような方法を採用することができる。なお、前記特許文献３にも、見出しやタイトルの識別に関する手法の例が記載されている。
【００５３】
以上の見出しとタイトルの識別処理の後、ステップＳ３０３において、所定の関連性がある（相対的なレイアウト関係を維持すべき）複数の文書要素を統合して１のオブジェクトとして抽出し、他の文書要素と所定の関連性がない個々の文書要素を単独で１のオブジェクトとして抽出する処理を、ページ内の全要素に対して行う（この処理の詳細は後述する）。
【００５４】
図１５の文書に対し、ステップＳ３０３までの処理を行った結果を図１９に例示する。図１９中の矩形４００〜４０８がそれぞれオブジェクトとして抽出された矩形領域である。図１７と比較すると、文書要素３０１〜３０７は同じオブジェクト４０１に統合され、文書要素３０８〜３１０は同じオブジェクト４０２に統合され、文書要素３１１，３１２は同じオブジェクト４０３に統合されている。
【００５５】
次のステップＳ３０４において、これまでに抽出されたオブジェクトの読み順を識別する。横書きの文書の場合には、基本的に上から下、左から右にオブジェクトの探索を進め、段組などを考慮して読み順を識別する。例えば、図６に示した横書き文書の場合には、左側の段組をページの下まで探索して、右側のオブジェクトへ探索を進めるようにする。左右に段組が分かれていることは、左側と右側の各オブジェクトの幅が略一定になっている事から判別可能である。
【００５６】
通常の文書は、このような読み順とすればよい。しかし、図１９の例のような複雑な段組の場合には、読み順方向の判定が必要になる。図１９の例では、結果的に、各オブジェクトに付した番号順で読み順を探索することになる。
【００５７】
問題となるのは、カメラ正面画像のオブジェクト４０１の次の読み順の判定である。例えば、次のような手順で、その判定を行うことができる。
・まず、オブジェクト４０１と隣接し、オブジェクト４０１よりも下側でかつ最も左側のオブジェクトを探索して、オブジェクト４０３を得る。
・同時に、オブジェクト４０１と隣接した右側も探索してオブジェクト４０２を得る。
・オブジェクト４０２とオブジェクト４０３のオブジェクト４０１との相対的な位置関係から、読み順の判定を行う。ここでは、オブジェクト４０１とオブジェクト４０３の左端ｘ座標及びオブジェクト幅を比較し、オブジェクト４０１とオブジェクト４０２の上端ｙ座標及びオブジェクト高さそれぞれ比較する。
・もし、オブジェクト４０１とオブジェクト４０３の幅が略同一であれば、次の読み順はオブジェクト４０３とする(座標については両者とも類似性があるため)。しかし、この例ではそうではなく、しかも、オブジェクト４０２の高さがオブジェクト４０１の高さ以下であるので、次の読み順はオブジェクト4４０２と判定する。なお、オブジェクト４０２の高さがオブジェクト４０１の高さよりも十分に大きいときには、オブジェクト４０３を次の読み順とする。
【００５８】
図２０は、図１８中のステップＳ３０３におけるオブジェクト抽出処理の内容を説明するためのフローチャートである。
【００５９】
ステップＳ４０１において、未オブジェクト化（オブジェクトとして抽出されていない）文書要素の中からサイズが最も大きいものを基準要素として選ぶ。文書要素のサイズとしては幅と高さの両方を考慮するのが望ましい。要素の幅と高さの和又は積（面積）を用いてもよい。
【００６０】
次のステップＳ４０２において、まず基準要素を単独でオブジェクト化し、その周囲の文書要素について同一のオブジェクトに統合すべき所定の関連性があるか否かを判定し、関連性があると判定された文書要素を同一のオブジェクトに統合する処理を行う（この処理の詳細は後述する）。
【００６１】
以上の処理は、文書中の全ての文書要素が単独で、又は統合されてオブジェクト化されたとステップＳ４０３で判定されるまで繰り返される。
【００６２】
図２１は、図２０中のステップ４０２の処理内容を示すフローチャートである。まず、基準要素を単独でオブジェクト化する（ステップＳ５０１）。次に、基準要素のサイズに応じｗサイズ閾値と距離閾値を設定する（ステップＳ５０２）。ここで、基準要素のサイズとしては、上述のように幅と高さの両方を考慮するのが望ましく、要素の幅と高さの和又は積（面積）を用いてもよい。
【００６３】
次に、基準要素の周囲にある未オブジェクト化文書要素の中で最も距離の近い文書要素を対象要素として選ぶ（ステップＳ５０３）。そして、ステップＳ５０４で対象要素のサイズがサイズ閾値以下であると判定され、かつ、ステップＳ５０５で対象要素と基準要素との距離が距離閾値以下であると判定され、かつ、ステップＳ５０６で対象要素と基準要素との間に特定の相対的位置関係があると判定された場合に、ステップＳ５０７で対象要素を基準要素と同一のオブジェクトに統合する。
【００６４】
ステップＳ５０６における判定は基準領域と対象領域の２次元的な相対的位置関係を調べるものであり、例えば次の(1)から(3)の条件の一つでも当てはまるときに、特定の相対的位置関係が有ると判定する。
(1)２つの要素の中心のｘ座標、Ｙ座標のいずれかが略同一である。
(2)２つの要素の端部のｘ座標、Ｙ座標のいずれかが略同一である。
(3)基準要素の左端から右端までのｘ座標領域内または上端から下端までのy座標領域内に対象要素の領域が含まれる。
【００６５】
図１７の例で、文書要素３０１を基準要素とした場合に、文書要素３０３はサイズがサイズ閾値以下であり、その距離も距離閾値以下であり（サイズ、距離の条件は充足されている）、かつ、両要素の中心のｘ座標値が略同一であるので上記(1)の条件に当てはまるため（相対的位置関係の条件が充足されている）、文書要素３０３は基準要素３０１と同一のオブジェクトに統合される。文書要素３０６は、サイズがサイズ閾値以下であり、その距離も距離サイズ以下であり、また、基準要素３０１のｘ座標領域(左端から右端までの領域)に文書要素３０６のｘ座標領域が含まれるので上記(3)の条件に当てはまるため、文書要素３０６は基準要素３０１と同一オブジェクトに統合される。しかし、文書要素３１１は、そのサイズ(面積)がサイズ閾値より大きいため、基準要素と同一オブジェクトに統合されない（オブジェクト化されない）。
【００６６】
ステップＳ５０８で、基準要素の周囲要素に対して処理が終了したか否かを判定し、終了していなければステップＳ５０３に戻り、その時点で基準要素に最も近い未オブジェクト化文書要素を対象要素として選び、ステップＳ５０４以下の処理を実行する。
【実施例２】
【００６７】
図２２は、本実施例における構造理解処理（図１４のステップＳ２０２）の内容を示したフローチャートである。前記実施例１に係る図１９との違いはステップＳ３０５が追加されていることである。ステップＳ３０１，Ｓ３０２，Ｓ３０３，Ｓ３０４の処理内容は前記実施例１の場合と同じである。ただし、ステップＳ３０３で抽出されたオブジェクトは「下位」オブジェクトとして扱われ、ステップＳ３０５で下位オブジェクトを統合した「上位」オブジェクトを抽出する。なお、上位オブジェクトは論理的なオブジェクトであり、本実施例においてもオブジェクト抽出手段２３（図２，図３）により切り出されるのは下位オブジェクトの実体である。
【００６８】
例えば図１５の文書の場合、ステップＳ３０３の処理により図１９に示すような矩形領域４００〜４０８が下位オブジェクトとして抽出され、次のステップＳ３０５の処理により図２５に示すような上位オブジェクト５００，５０１，５０２が抽出される。
【００６９】
図２３はステップＳ３０５の処理内容を示すフローチャートである。図中のステップＳ６０１，Ｓ６０２，Ｓ６０３は、図２０に示したステップＳ３０３のフローチャート中のステップＳ４０１，Ｓ４０２，Ｓ４０３に対応した処理ステップであり、その相違は、ステップＳ４０１〜Ｓ４０３の処理の対象が文書要素であるのに対し、ステップＳ６０１〜Ｓ６０３の処理の対象が下位オブジェクトであることである。
【００７０】
図２４は、図２３中のステップＳ６０２の処理内容を示すフローチャートである。図中のステップＳ７０１〜Ｓ７０３，Ｓ７０５〜Ｓ７０９は、下位オブジェクトを対象として、図２１中の対応したステップＳ５０１〜Ｓ５０９と同様の処理を行う処理ステップである。
【００７１】
図２４中のステップＳ７０４は、基準下位オブジェクトと同一の上位オブジェクトに既に１つの「見出し（タイトルを含む）」属性の下位オブジェクトが統合されていて、２つ目の「見出し」属性の下位オブジェクトが対象下位オブジェクトであるときに、その同一上位オブジェクトへの統合を禁止するために追加された判定ステップである。この判定を追加することにより、見出しオブジェクトで上位オブジェクトの境界を設けることができる。文書においては、見出しによって内容の意味が切れることが多いため、このように見出しで上位オブジェクトを区切ると都合がよい。
【００７２】
下位オブジェクトは、構造変換手段（ＸＳＬＴプロセッサ）２６による構造変換によっても、その内部の文書要素のレイアウト関係が維持されるべきである。一方、上位オブジェクトは、その内部の下位オブジェクトのレイアウト関係を構造変換によって変更することは許されるが、異なった上位オブジェクトをまたぐ下位オブジェクトのレイアウト変更は禁止されるべきである。
【００７３】
その理由について例を用いて説明する。図６の文書の場合、例えば図２６に示すような上位オブジェクト８０１〜８０４が抽出されることになろう。上位オブジェクト８０２内の下位オブジェクト「画像１」と下位オブジェクト「文字１」（本文とみなすことができる）の位置が入れ替わっても意味を理解する上でそれほど影響はない。しかし、上位オブジェクト８０２内の下位オブジェクト「画像１」と上位オブジェクト８０３内の下位オブジェクト「画像２」の位置が入れ替わった場合には不都合であることは明らかである。
【００７４】
なお、図２６のような階層的なオブジェクト抽出を行った場合、上位オブジェクトと下位オブジェクトの階層構造も構造情報２４に記述される。そのような構造情報は例えば図２７に示すような形で記述することができる。図中の「Ｍ−ＯＢＪ」は上位オブジェクトに対応し、これに連なる形で当該上位オブジェクトに含まれる下位オブジェクトに関する情報が記述される。図２６の例では、図２７の一番上の「Ｍ−ＯＢＪ」は下位オブジェクト「タイトル」のみからなる上位オブジェクト８０１に対応し、その下の「Ｍ−ＯＢＪ」は下位オブジェクト「見出し１」、「文字１」及び「画像１」からなる上位オブジェクト８０２に対応する。
【００７５】
また、以上に説明したような階層的なオブジェクト抽出を行うことにより、図２６の例の場合に、全ての上位オブジェクト８０１〜８０４に含まれる「見出し」の下位オブジェクトのみを図２８（ａ）に示すように一覧表示させ、クライアント側で特定の見出し（ここでは「１．請求の範囲」）を指定したときに、図２８（ｂ）に示すように当該見出しと同じ上位オブジェクトに含まれる「本文」の下位オブジェクトを表示させるようなインタラクティブ表示のためのＳＶＣ文書をＳＸＬＴプロセッサ２８により生成させることは容易である。なお、前記実施例１と同様なオブジェクト単位のアニメーション表示やインタラクティブ表示のための構造変換も可能であることは当然である。
【００７６】
以上、文書を構造変換してクライアントへ配信するサーバを例に本発明を説明した。しかし、先に触れたように、ローカルな小画面の表示装置等に文書を構造変換して表示するような文書処理装置にも本発明を適用可能である。例えば、プリンタ機能、複写機能、スキャナ機能等を統合した複合機（ＭＦＰ）においては、スキャナで読み取った文書などを操作パネル上の小画面ディスプレイに表示させたいことがある。この場合に、文書をそのまま表示させると文字の判読が不可能であったり煩雑なスクロール操作が必要になるといった不便があるが、上に述べたような構造変換を行った文書を表示させるならば、そのような不都合を解消することができる。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施形態を説明するためのシステムの模式図である。
【図２】文書配信サーバやファイルサーバサーバ等に組み込まれた場合の本発明の文書処理装置の機能的構成を説明するためのブロック図である。
【図３】ＡＳＰサーバ等に組み込まれた場合の本発明の文書処理装置の機能的構成を説明するためのブロック図である。
【図４】本発明の文書処理装置をプログラムにより実現するためのコンピュータの構成例を示すブロック図である。
【図５】本発明の文書処理装置における全体的動作を説明するためのフローチャートである。
【図６】説明用の文書を示す図である。
【図７】図６の文書に対するオブジェクト抽出例を示す図である。
【図８】図７のオブジェクトの読み順を示す図である。
【図９】レイアウト解析により生成される構造情報の記述形式の例を示す図である。
【図１０】図６の文書のオブジェクト単位のアニメーション表示を示す図である。
【図１１】図１０のアニメーション表示のためのＳＶＧ文書を説明する図である。
【図１２】図６の文書のオブジェクト単位のインタラクティブ表示を示す図である。
【図１３】図１２のインタラクティブ表示のためのＳＶＧ文書を説明する図である。
【図１４】本発明の実施例１における図５のステップＳ１０１の処理内容を説明するためのフローチャートである。
【図１５】説明用の文書を示す図である。
【図１６】図１５の文書より抽出される文書要素を説明するための図である。
【図１７】図１６に示した各文書要素の矩形を示す図である。
【図１８】図１４のステップＳ２０２の処理内容を説明するためのフローチャートである。
【図１９】図１５の文書より抽出されるオブジェクトを示す図である。
【図２０】図１８のステップＳ３０３の処理内容を説明するためのフローチャートである。
【図２１】図２０のステップＳ４０２の処理内容を説明するためのフローチャートである。
【図２２】本発明の実施例２における構造理解処理（図１４のステップＳ２０２）を説明するためのフローチャートである。
【図２３】図２２のステップＳ３０５の処理内容を説明するためのフローチャートである。
【図２４】図２３のステップＳ６０２の処理内容を説明するためのフローチャートである。
【図２５】図１５に示した文書の上位オブジェクト抽出例を示す図である。
【図２６】図６に示した文書の上位オブジェクト抽出例を示す図である。
【図２７】上位オブジェクトとオブジェクトの階層構造を含む構造情報の記述形式の例を示す図である。
【図２８】図２６のように階層的にオブジェクト化された文書の表示形態例を説明するための図である。
【図２９】小画面に文書を表示する場合の問題点を説明するための図である。
【符号の説明】
【００７８】
２２    レイアウト解析手段
２３    オブジェクト抽出手段
２４    構造情報（ＸＭＬ文書）
２５    ＸＳＬスタイルシート
２６    構造変換手段（ＸＳＬＴプロセッサ）
２９    ブラウザ
２００    スキャナ
２０１    サーバ
２０３    クライアント
２０４    モニタ
【図１】
2006350867.tif 000003
【図２】
2006350867.tif 000004
【図３】
2006350867.tif 000005
【図４】
2006350867.tif 000006
【図５】
2006350867.tif 000007
【図６】
2006350867.tif 000008
【図７】
2006350867.tif 000009
【図８】
2006350867.tif 000010
【図９】
2006350867.tif 000011
【図１０】
2006350867.tif 000012
【図１１】
2006350867.tif 000013
【図１２】
2006350867.tif 000014
【図１３】
2006350867.tif 000015
【図１４】
2006350867.tif 000016
【図１５】
2006350867.tif 000017
【図１６】
2006350867.tif 000018
【図１７】
2006350867.tif 000019
【図１８】
2006350867.tif 000020
【図１９】
2006350867.tif 000021
【図２０】
2006350867.tif 000022
【図２１】
2006350867.tif 000023
【図２２】
2006350867.tif 000024
【図２３】
2006350867.tif 000025
【図２４】
2006350867.tif 000026
【図２５】
2006350867.tif 000027
【図２６】
2006350867.tif 000028
【図２７】
2006350867.tif 000029
【図２８】
2006350867.tif 000030
【図２９】
2006350867.tif 000031