(57)【特許請求の範囲】
【請求項１】
画像データに含まれる文字領域および／または図面のレイアウトを変更する画像処理装置において、
前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出する文字認識手段、
前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成する領域分離手段、
前記文字コードデータ中に含まれる図面位置を指し示す文字列である第１の図面位置指示語を検出する第１検出手段、
前記第１の図面位置指示語が指し示す方向、前記第１の図面位置指示語の座標位置、前記第１の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第１の図面位置指示語で位置を示された図面を検出する第２検出手段、
検出された前記第１の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第１の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブル、
前記文字領域および／または図面の配置を変更する配置変更手段、
前記配置変更に伴って、前記割当てテーブルの前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第１の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を更新する更新手段、
前記配置変更後における前記第１の図面位置指示語と前記第１の図面位置指示語に関連付けられた前記図面の位置関係を、認識する位置関係認識手段、および、
前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第２の図面位置指示語を生成し、前記第１の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットする指示語変更手段を有しており、
更新されかつ前記第２の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とする画像処理装置。
【請求項２】
前記第２検出手段は、前記第１の図面位置指示語が指し示す方向に基づいて、図面を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像データに含まれる文字領域および／または図面のレイアウトを変更する画像処理装置に適用される画像処理方法において、
前記画像処理装置の文字認識手段が、前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出するステップ、
前記画像処理装置の領域分離手段が、前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成するステップ、
前記画像処理装置の第１検出手段が、前記文字コードデータ中に含まれる図面位置を指し示す文字列である第１の図面位置指示語を検出するステップ、
前記画像処理装置の第２検出手段が、前記第１の図面位置指示語が指し示す方向、前記第１の図面位置指示語の座標位置、前記第１の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第１の図面位置指示語で位置を示された図面を検出するステップ、
前記画像処理装置の配置変更手段が、前記文字領域および／または図面の配置を変更するステップ、
前記画像処理装置の更新手段が、検出された前記第１の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第１の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブルにおける前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第１の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を、前記配置変更に伴って、更新するステップ、
前記画像処理装置の位置関係認識手段が、前記配置変更後における前記第１の図面位置指示語と前記第１の図面位置指示語に関連付けられた前記図面の位置関係を認識するステップ、および、
前記画像処理装置の指示語変更手段が、前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第２の図面位置指示語を生成し、前記第１の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットするステップを有しており、
更新されかつ前記第２の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とする画像処理方法。
【請求項４】
画像データに含まれる文字領域および／または図面のレイアウトを変更する画像処理方法をコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
前記プログラムは、
前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出するステップ、
前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成するステップ、
前記文字コードデータ中に含まれる図面位置を指し示す文字列である第１の図面位置指示語を検出するステップ、
前記第１の図面位置指示語が指し示す方向、前記第１の図面位置指示語の座標位置、前記第１の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第１の図面位置指示語で位置を示された図面を検出するステップ、
前記文字領域および／または図面の配置を変更するステップ、
検出された前記第１の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第１の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブルにおける前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第１の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を、前記配置変更に伴って、更新するステップ、
前記配置変更後における前記第１の図面位置指示語と前記第１の図面位置指示語に関連付けられた前記図面の位置関係を認識するステップ、および、
前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第２の図面位置指示語を生成し、前記第１の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットするステップを、前記コンピュータに実行させ、
更新されかつ前記第２の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データに含まれる文字列および／または図面のレイアウトを変更する画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
使用目的に応じ、画像データを有効に利用するための多様な編集方法が知られている。
【０００３】
特開平８−２５５１６０号は、文字・図形・写真・画像などの視覚的に認識可能な情報を、所定の領域内に自動レイアウトする編集方法を開示している。当該方法においては、電子化された画像データに対し、ディスプレイ装置に表示するためのレイアウト情報が自動的に付加される。
【０００４】
特開平１０−２２８４７３号は、画像に含まれる図面である図および表と、それに関連する本文との間にリンクを自動的に生成し、ハイパーテキスト化する編集方法を開示している。当該方法は、図および表が存在する領域とその近傍の文字領域との位置関係に基づいて、キャプションを検出するステップ、キャプションから図面に関連する所定の文字列を検出するステップ、検出された文字列と同一の文字列を文字領域から検出し、キャプション内の文字列と文字領域内の文字列との間にリンクを生成するステップを有している。
【０００５】
特開平１１−８５７４１号は、図面番号を最適な位置に自動レイアウトする編集方法を開示している。当該方法においては、設定された図面番号パラメータに応じて、図面に図面番号が自動的に割り付けられる。
【０００６】
【発明が解決しようとする課題】
一般に、文書に含まれる図面は、「図１」や「図２」などの一意的な数値を含んだ図面番号、あるいは「右図」や「上図」などの図面の位置を指し示す文字列を使用して参照される。
【０００７】
しかし、図面の位置を指し示す文字列は、一意的な数値を含んだ図面番号と異なり、レイアウト変更処理が適用される場合、問題を生じる。例えば、レイアウト変更によって、「右図」で参照されている図面が、「右図」を構成する文字列の左側に移動した場合や、「下図」で参照されている図面が、「下図」を構成する文字列の上方に移動した場合である。
【０００８】
つまり、図面の位置を指し示す文字列と、レイアウト変更を伴う編集処理後の図面の位置との関係が不一致となり、矛盾が生じる場合もある。このことは、資料としての価値が低下する問題を生じる。
【０００９】
一方、特開平８−２５５１６０号に記載の方法は、図面番号および図面の位置を指し示す文字列を有しない新聞・雑誌などのレイアウトを対象としている。特開平１０−２２８４７３号に記載の方法は、既存の図面番号および図面の位置を指し示す文字列を単に利用するものである。特開平１１−８５７４１号に記載の方法は、新たにの図面番号を割り付けるものである。つまり、上記公報に記載の方法によっては、この問題に対処することはできない。
【００１０】
本発明は、このような従来の問題を解決するために成されたものであり、レイアウト変更処理が実行される場合において、図面の位置を指し示す文字列と図面の位置との整合性を維持できる画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体の提供を目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するための本発明は次のように構成される。
【００１２】
（１）画像データに含まれる文字領域および／または図面のレイアウトを変更する画像処理装置において、
前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出する文字認識手段、
前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成する領域分離手段、
前記文字コードデータ中に含まれる図面位置を指し示す文字列である第１の図面位置指示語を検出する第１検出手段、
前記第１の図面位置指示語が指し示す方向、前記第１の図面位置指示語の座標位置、前記第１の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第１の図面位置指示語で位置を示された図面を検出する第２検出手段、
検出された前記第１の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第１の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブル、
前記文字領域および／または図面の配置を変更する配置変更手段、
前記配置変更に伴って、前記割当てテーブルの前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第１の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を更新する更新手段、
前記配置変更後における前記第１の図面位置指示語と前記第１の図面位置指示語に関連付けられた前記図面の位置関係を、認識する位置関係認識手段、および、
前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第２の図面位置指示語を生成し、前記第１の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットする指示語変更手段を有しており、
更新されかつ前記第２の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とする画像処理装置。
【００１３】
（２）前記第２検出手段は、前記第１の図面位置指示語が指し示す方向に基づいて、図面を検出することを特徴とする上記（１）に記載の画像処理装置。
【００１４】
（３）画像データに含まれる文字領域および／または図面のレイアウトを変更する画像処理装置に適用される画像処理方法において、
前記画像処理装置の文字認識手段が、前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出するステップ、
前記画像処理装置の領域分離手段が、前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成するステップ、
前記画像処理装置の第１検出手段が、前記文字コードデータ中に含まれる図面位置を指し示す文字列である第１の図面位置指示語を検出するステップ、
前記画像処理装置の第２検出手段が、前記第１の図面位置指示語が指し示す方向、前記第１の図面位置指示語の座標位置、前記第１の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第１の図面位置指示語で位置を示された図面を検出するステップ、
前記画像処理装置の配置変更手段が、前記文字領域および／または図面の配置を変更するステップ、
前記画像処理装置の更新手段が、検出された前記第１の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第１の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブルにおける前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第１の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を、前記配置変更に伴って、更新するステップ、
前記画像処理装置の位置関係認識手段が、前記配置変更後における前記第１の図面位置指示語と前記第１の図面位置指示語に関連付けられた前記図面の位置関係を認識するステップ、および、
前記画像処理装置の指示語変更手段が、前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第２の図面位置指示語を生成し、前記第１の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットするステップを有しており、
更新されかつ前記第２の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とする画像処理方法。
【００１５】
（４）画像データに含まれる文字領域および／または図面のレイアウトを変更する画像処理方法をコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
前記プログラムは、
前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出するステップ、
前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成するステップ、
前記文字コードデータ中に含まれる図面位置を指し示す文字列である第１の図面位置指示語を検出するステップ、
前記第１の図面位置指示語が指し示す方向、前記第１の図面位置指示語の座標位置、前記第１の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第１の図面位置指示語で位置を示された図面を検出するステップ、
前記文字領域および／または図面の配置を変更するステップ、
検出された前記第１の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第１の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブルにおける前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第１の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を、前記配置変更に伴って、更新するステップ、
前記配置変更後における前記第１の図面位置指示語と前記第１の図面位置指示語に関連付けられた前記図面の位置関係を認識するステップ、および、
前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第２の図面位置指示語を生成し、前記第１の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットするステップを、前記コンピュータに実行させ、
更新されかつ前記第２の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【００１６】
【発明の実施の形態】
次に、本発明に係る実施の形態を図面を参照して詳細に説明する。
【００１７】
図１に示される画像処理システムは、画像処理装置１０・コントローラ２０・操作パネル３０・画像入力装置４０・第１出力装置５０・第２出力装置６０を有する。
【００１８】
画像処理装置１０は、文字認識部１１・領域分離部１２・ビットマップ処理部１３・ベクタ変換部１４・２値化部１５・合成部１６・メモリ１７・フォーマット変換部１８を有する。
【００１９】
コントローラ２０は、操作パネル３０用のインターフェイス２２・画像入力装置４０用のインターフェイス２３・第１出力装置５０および第２出力装置６０用のインターフェイス２２・インターフェイス２２〜２４を制御する中央処理装置（ＣＰＵ）２１を有する。
【００２０】
操作パネル３０は、ユーザからの指示を入力するために使用される。画像入力装置４０は、カラースキャナなどの画像読み取り装置である。第１出力装置５０は、カラープリンタなどの画像形成装置であり、第２出力装置６０は、例えば、ディスプレイ装置を備えたコンピュータであり、出力される画像データを表示・データ処理する装置である。
【００２１】
次に、動作の流れに沿って、各部の機能を詳細に説明する。
【００２２】
ユーザは、操作パネル３０を使用して指示情報を入力する。指示情報は、例えば、動作開始指示やマニュアル設定項目の指示である。
【００２３】
マニュアル設定項目は、倍率設定・Ｎin１処理の指定・レイアウト変更設定・整合処理の指定・後処理の選択・読み取りモード・出力形式の選択を含んでいる。
【００２４】
Ｎin１処理は、複数枚の原稿画像を縮小・合成し、１頁の画像として出力する縮小レイアウト処理である。
【００２５】
レイアウト変更設定においては、優先無し・文字優先・図面優先の３種類のモードのいずれか一つが選択可能である。文字優先は、文字領域が縮小される場合において、縮小後の文字サイズを所定値以下にしないためのモードである。図面優先は、画像が拡大される場合において、文字領域のサイズを一定に保つモードである。
【００２６】
整合処理は、レイアウトが変更される場合において、図面の位置を指し示す文字列である指示語（図面位置指示語）と図面の位置との整合性を維持するための処理である。つまり、指示語に含まれる位置を表す文字と、レイアウト変更後の図面の位置との関係が不一致となり、矛盾が生じることを防ぐ処理である。
【００２７】
後処理の選択は、文字認識部１１および領域分離部１２において分離された領域つまり文字領域・図形領域・写真領域に対し適用される後処理を選択するモードである。後処理は、文字認識部１１における文字コード化、ビットマップ処理部１３におけるビットマップ処理、ベクタ変換部１４におけるベクタ変換、および２値化部１５における２値化などを含む。
【００２８】
読み取りモードは、画像入力装置４０において原稿の画像をカラー画像として処理するカラーモードと、原稿の画像をモノクロ画像として処理するモノクロモードからなる。
【００２９】
出力形式の選択は、フォーマット変換部１８において作成される出力ファイルの形式を選択するモードである。出力形式は、文書ファイル形式・頁記述言語形式・文書表示用のファイル形式・画像を記憶するためのファイル形式などの汎用ファイル形式である。例えば、文書ファイル形式はリッチ・テキスト、頁記述言語のファイル形式はポストスクリプト、文書表示用のファイル形式はPDF（Portable Document Format）、画像を記憶するためのファイル形式はJPEG（Joint Photographic Experts Group）あるいはTIFF（Tagged Image File Format）である。
【００３０】
次に、操作パネル３０から指示情報は、インターフェイス２２を経由して、コントローラ２０に送信される。
【００３１】
コントローラ２０は、マニュアル設定項目の指示情報を受信した場合、マニュアル設定を画像処理装置１０に入力する。さらに、コントローラ２０は、動作開始指示を受信した場合、読み取りモード設定に従って、カラーモードあるいはモノクロモードでの画像読み取りの開始を、画像入力装置４０に指示する。
【００３２】
画像入力装置４０は、コントローラ２０からの動作開始指示に基づいて、原稿の画像を読み取る。生成された画像データは、コントローラ２０のインターフェイス２３を経由して、画像処理装置１０の文字認識部１１に送信される。
【００３３】
文字認識部１１は、画像データから文字領域を分離し、文字領域に存在する文字画像を抽出する。文字画像が除去された画像データは、領域分離部１２に入力される。また、文字認識部１１は、文字コードデータおよび位置情報からなる文字情報と色情報とを、文字画像から抽出する。位置情報は、Ｘ−Ｙ座標・幅・長さ・文字数などを含んでいる。また、文字情報は、合成部１６に入力される。ユーザによって出力領域の後処理として２値化が指定されている場合、文字領域は、２値化部１５に入力される。
【００３４】
領域分離部１２は、画像データから図形領域と写真領域とを分離する。写真領域のデータは、Ｘ−Ｙ座標・幅・長さなど位置情報が付加され、ビットマップ処理部１３に入力される。一方、図形領域のデータは、位置情報が付加され、ベクタ変換部１４に入力される。後処理が指定されている場合は、指定内容に従って、領域分割後の画像データは、ビットマップ処理部１３またはベクタ変換部１４あるいは２値化部１５に入力される。
【００３５】
ビットマップ処理部１３は、写真領域のデータに対して、ビットマップ処理を適用する。ビットマップ処理においては、写真領域のデータは、エッジ補正・平滑化処理・ＭＴＦ補正などの画像処理が適用される。そして、ビットマップデータおよび位置情報からなるビットマップ情報は、合成部１６に入力される。ビットマップ処理部１３は、ビットマップ処理が後処理として指定されている画像データに対しても、同様な処理を実行する。
【００３６】
ベクタ変換部１４は、図形領域のデータをベクタ変換し、ベクタデータを生成する。ベクタデータは、属性データと共に、合成部１６に入力される。ベクタ変換は、網点によって構成される図形を、直線・円弧・ベジェ曲線などのベクタデータに変換することを意味する。属性データは、例えば、ベクタデータによって囲まれている閉領域の色・線幅・線種・線色・端点形状の特徴を抽出して得られるデータである。ベクタ変換部１４は、ベクタ変換が後処理として指定されている画像データに対しても、同様な処理を実行する。
【００３７】
２値化部１５は、２値化処理が後処理として指定されている場合、文字認識部１１および／または領域分離部１２から入力される画像データを、２値化する。２値化データは、位置情報と共に合成部１６に入力される。
【００３８】
合成部１６は、文字認識部１１・ビットマップ処理部１３・ベクタ変換部１４・２値化部１５からの入力データを合成する。合成データは、中間形式のデータに変換され、フォーマット変換部１８に入力される。中間形式のデータは、合成データと出力形式のデータとの間の中間データであり、フォーマット変換部１８における処理を容易にするために、生成される。さらに、合成部１６は、マニュアル設定項目に従い、割当てテーブルを使用して整合処理を実行する。
【００３９】
整合処理においては、レイアウト変更前の図面の位置を指し示す文字列である第１指示語と図面との対応関係が検出され、レイアウト変更に伴って第１指示語および図面の位置情報が更新され、前記対応関係および更新された第１指示語および図面の位置情報に基づいて、レイアウト変更後の図面の位置を指し示す文字列である第２指示語が生成され、第１指示語が第２指示語で置換される。第１指示語および第２指示語は、例えば、「右図」や「上図」である。
【００４０】
割当てテーブルは、図２に示されるように、指示語欄・図面欄・挿入部欄・文書部欄を有する。指示語欄には、第１指示語および第２指示語が、検出文字列および置換文字列としてセットされる。図面欄には、第１指示語に対応する図面のデータのアドレスと当該図面の位置情報とがセットされる。挿入部欄には、第１指示語のデータのアドレスと位置情報とがセットされる。文書部欄には、文字領域に属する文字コードデータのアドレスと位置情報とがセットされる。
【００４１】
メモリ１７は、割当てテーブルおよび合成部１６に対する入力データを記憶するために使用される。
【００４２】
フォーマット変換部１８は、中間形式のデータを、指定されている出力形式のデータに変換する。出力形式のデータは、インターフェイス２４を経由して、第１出力装置５０および／または第２出力装置６０に入力される。
【００４３】
例えば、第１出力装置５０はデータを用紙に印刷し、第２出力装置６０はデータを記憶すると共にモニタに表示する。
【００４４】
次に、図３のフローチャートを参照し、整合処理を説明する。
【００４５】
まず、画像データから文字領域が分離され（ステップＳ１）、文字情報が文字画像から抽出される（ステップＳ２）。文字画像を除去された画像データは、文字画像の周辺画素を用いて補間される（ステップＳ３）。次に、画像データから写真領域と図形領域とが分離される（ステップＳ４）。写真領域のデータは、ビットマップ処理が施され、また、図形領域のデータは、ベクタ変換処理が施される（ステップＳ５）。
【００４６】
次に、文字情報・ビットマップ情報・ベクタデータに基づいて、割当てテーブルに関する第１関連付け処理が実行される（ステップＳ６）。第１関連付け処理は、レイアウト変更前の図面の位置を指し示す文字列である第１指示語と図面との対応関係を検出する処理である。次に、次頁の画像データが存在するか否かが判断される（ステップＳ７）。次頁があると判断される場合、プロセスはステップＳ１に戻る。次頁が存在しないつまり最終頁の処理が完了したと判断される場合、割当てテーブル更新処理が実行される（ステップＳ８）。割当てテーブル更新処理は、レイアウト変更に伴って第１指示語および図面の位置情報を更新する処理である。次に、第２関連付け処理が実行され、データ合成に使用される最終的な割当てテーブルが得られる（ステップＳ９）。第２関連付け処理は、前記対応関係および更新された第１指示語および図面の位置情報に基づいて、レイアウト変更後の図面の位置を指し示す文字列である第２指示語を生成し、第１指示語を第２指示語で置換する処理である。
【００４７】
次に、割当てテーブルに基づいて、画像データが合成され（ステップＳ１０）、画像データは、中間形式のデータに変換される（ステップＳ１１）。中間形式のデータは、指定されている出力形式のデータに変換され（ステップＳ１２）、出力される（ステップＳ１３）。
【００４８】
最後に、割当てテーブルに基づいて、次頁が存在するか否かが判断される（ステップＳ１４）。次頁があると判断される場合、プロセスはステップＳ１０に戻る。次頁が存在しないつまり最終頁の処理が完了したと判断される場合、処理は終了する。
【００４９】
次に、図４のフローチャートを参照し、第１関連付け処理を説明する。
【００５０】
まず、文字領域に属する文字コードデータは、メモリ１７に記憶される（ステップＳ６１）。文字コードデータのアドレスおよび位置情報は、割当てテーブルの文書部欄にセットされる（ステップＳ６２）。次に、文字コードデータ中に含まれる第１指示語が検出され（ステップＳ６３）、第１指示語のデータはメモリ１７に記憶される（ステップＳ６４）。次に、第１指示語は、検出文字列として割当てテーブルの指示語欄にセットされ（ステップＳ６５）、第１指示語のアドレスおよび位置情報は、割当てテーブルの挿入部欄にセットされる（ステップＳ６６）。
【００５１】
次に、第１指示語が指し示す方向・第１指示語の座標位置・第１指示語の近傍に位置する写真領域のビットマップデータあるいは図形領域のベクタデータに基づいて、第１指示語に対応する図面が検出される（ステップＳ６７）。検出図面のデータは、メモリ１７に記憶される（ステップＳ６８）。そして、検出図面のデータのアドレスおよび位置情報は、第１指示語と関連付けられて、割当てテーブルの図面欄にセットされる（ステップＳ６９）。
【００５２】
次に、第１指示語に関連付けされていないビットマップデータおよび／又はベクタデータからなる残余図面のデータは、メモリ１７に記憶される（ステップＳ７０）。残余図面のデータのアドレスおよび位置情報は、指示語と関連付けられることなく、割当てテーブルの図面欄に、セットされる（ステップＳ７１）。
【００５３】
次に、図５に示される画像を例に挙げて、第１関連付け処理を具体的に説明する。
【００５４】
まず、文字領域８１，８２，８３に存在する文字コードデータは、メモリ１７の第１記憶域に記憶される。文字コードデータのアドレスおよび位置情報は、割当てテーブルの文書部欄にセットされる。なお、文字領域８１，８２，８３のデータの先頭アドレスは、Cadr１，Cadr３，Cadr５で示される。
【００５５】
次に、文字領域８１，８２，８３の文字コードデータに含まれる「下図」・「右図」・「左図」が、第１指示語９１，９２，９３として検出される。第１指示語９１，９２，９３のデータは、メモリ１７の第１記憶域に記憶される。また、第１指示語９１，９２，９３は、検出文字列として割当てテーブルの指示語欄にセットされる。第１指示語９１，９２，９３のアドレスおよび位置情報は、割当てテーブルの挿入部欄にセットされる。なお、第１指示語９１，９２，９３のデータの先頭アドレスは、Cadr２，Cadr４，Cadr６で示される。
【００５６】
次に、第１指示語９１である「下図」が指し示す方向に位置する図形領域のベクタデータからなる図面７１が、第１指示語９１に対応する図面として、検出される。同様にして、第１指示語９２，９３に対応する図面として、写真領域のビットマップデータからなる図面７２，７３が検出される。図面７１，７２，７３のデータは、メモリ１７の第２記憶域に記憶される。図面７１，７２，７３のアドレスおよび位置情報は、第１指示語９１，９２，９３と関連付けられて、割当てテーブルの図面欄にセットされる。なお、図面７１，７２，７３のデータの先頭アドレスは、Fadr１，Fadr２，Fadr３で示される。
【００５７】
したがって、割当てテーブルには、図６に示されるようなデータがセットされることになる。
【００５８】
次に、図７のフローチャートを参照し、割当てテーブル更新処理を具体的に説明する。なお、図５の画像において、文字領域８１〜８３を用紙の上方に配置して拡大すると共に、図形７１〜７３を用紙の下方に配置して縮小するレイアウト設定を例に挙げる。
【００５９】
まず、文字領域８１〜８３のデータが統合され（ステップＳ８１）、文字領域８１〜８３が配置される領域８０の拡大率が算出される（ステップＳ８２）。そして、拡大率およびレイアウト設定に基づいて、第２記憶域に記憶されている文字領域８１〜８３のデータが変更され、文書部欄のアドレスCadr３，Cadr５および位置情報が削除され、アドレスCadr１および位置情報が修正される（ステップＳ８３）。なお、第１指示語９１〜９３のデータも同時に変更され、挿入部欄のアドレスCadr２，Cadr４，Cadr６および位置情報が修正される。また、修正後のアドレスは、Cadr１’，Cadr２’，Cadr４’，Cadr６’で示される。
【００６０】
次に、図面７１〜７３が配置される領域つまり図面領域の縮小率が算出される（ステップＳ８４）。そして、縮小率およびレイアウト設定に基づいて、第２記憶域に記憶されている図面７１〜７３のデータが変更され、図面欄のアドレスおよび位置情報が更新される（ステップＳ８５）。また、修正後のアドレスは、Fadr１’〜Fadr３’で示される。
【００６１】
以上の結果、図６に示される割当てテーブルのデータが更新され、図８に示される割当てテーブルが得られる。
【００６２】
次に、図９のフローチャートを参照し、第２関連付け処理を説明する。
【００６３】
まず、関連付されている第２指示語を有しない第１指示語が、選択され（ステップＳ９１）、第１指示語の位置情報が読み出される（ステップＳ９２）。次に、第１指示語に関連付されている文字領域および図面の位置情報が読み出される（ステップＳ９３）。
【００６４】
次に、文字領域および図面の位置情報に基づいて、第１指示語と図面との位置関係を検出するための処理が実行される（ステップＳ９４）。次に、前記位置関係に基づいて、第２指示語が生成され（ステップＳ９５）、当該第２指示語は、置換文字列として割当てテーブルの指示語欄にセットされる（ステップＳ９６）。
【００６５】
最後に、関連付されている第２指示語を有しない第１指示語の有無が判断される（ステップＳ９７）。次の第１指示語が存在すると判断される場合、プロセスはステップＳ９４に戻り、処理が繰り返される。一方、次の第１指示語が存在しないと判断される場合、プロセスは終了する。
【００６６】
次に、図１０および図１１を参照し、第１指示語と図面との位置関係を検出するための処理を説明する。ただし、文字領域および図面の起点座標および長さを利用する場合を例に挙げる。
【００６７】
まず、第１指示語９４に関連付されているつまり第１指示語９４が存在する文字領域８４のＹ軸の値Ｙcと、第１指示語９４に関連付されている図面７４のＹ軸の値ＹFとが、比較される（ステップＳ９４１）。値Ｙcが、値ＹFより大きいと判断される場合、図面７４は、文字領域８４の上方向に位置していると見なされる（ステップＳ９４２）。したがって、ステップＳ９５において生成される第２指示語は、「上図」となる。
【００６８】
値Ｙcが、値ＹFと等しいあるいは小さいと判断される場合、更に、値Ｙcと文字領域８４の長さの値Ｌcとの合算値Ｔと、値ＹFとが、比較される（ステップＳ９４３）。合算値Ｔが、値ＹFより小さいと判断される場合、図面７４は、文字領域８４の下方向に位置していると見なされる（ステップＳ９４４）。したがって、ステップＳ９５において生成される第２指示語は、「下図」となる。
【００６９】
合算値Ｔが、値ＹFと等しいあるいは大きいと判断される場合、更に、文字領域８４のＸ軸の値Ｘcと、図面７４のＸ軸の値ＸFとが、比較される（ステップＳ９４５）。値Ｘcが値ＸFより小さいと判断される場合、図面７４は、文字領域８４の右方向に位置していると見なされる（ステップＳ９４６）。したがって、ステップＳ９５において生成される第２指示語は、「右図」となる。
【００７０】
値Ｘcが値ＸFと等しいあるいは大きいと判断される場合、図面７４は、文字領域８４の左方向に位置していると見なされる（ステップＳ９４７）。したがって、ステップＳ９５において生成される第２指示語は、「左図」となる。
【００７１】
以上の結果、図１２に示される割当てテーブルが得られる。そして、当該割当てテーブルに基づいて、データをメモリ１７から読み出して合成することによって、図１３に示される画像が出力される。つまり、レイアウト変更後の図面の位置を指し示す文字列である第２指示語１０１，１０２，１０３は、「下図」・「下図」・「下図」であり、図面７１，７２，７３の位置と一致している。
【００７２】
以上のように、レイアウト変更処理が実行される場合において、図面の位置を指し示す文字列である指示語と図面の位置との整合性を維持できる。したがって、指示語とレイアウト変更後の図面の位置との関係が不一致となり、矛盾が生じ、資料としての価値が低下する問題が、解消される。
【００７３】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲の範囲内で種々改変することができる。
【００７４】
例えば、Ｎin１処理や縦横用紙変換などのレイアウト変更処理にも適用可能である。この場合、レイアウト変更処理に依存する割当てテーブル更新処理が異なるだけで、第１および第２関連付け処理は、同様である。
【００７５】
また、複数の機器から構成されるシステムに限定されず、例えば、デジタル複写機などのスタンドアロンの機器にも適用可能である。
【００７６】
さらに、画像処理方法がプログラム化されたコードデータが記憶されているプログラム製品を、提供することで、コンピュータを画像処理装置として機能させることも可能である。なお、プログラム製品は、プログラムおよび当該プログラムが記憶されている記憶媒体を含んでいる。
【００７７】
【発明の効果】
以上説明した本発明によれば、画像データに含まれる文字領域および／または図面のレイアウトを変更するレイアウト変更処理が実行される場合において、文字領域に存在する文字画像から抽出される文字コードデータ中に含まれる図面の位置を指し示す文字列である図面位置指示語と、図面の位置との整合性を維持できる。
【図面の簡単な説明】
【図１】  本発明の実施の形態に係る画像処理システムのブロック図である。
【図２】  画像処理システムの画像処理装置における整合処理に使用される割当てテーブルの一例である。
【図３】  整合処理のフローチャートである。
【図４】  整合処理における第１関連付け処理のフローチャートである。
【図５】  入力画像の一例である。
【図６】  第１関連付け処理後の割当てテーブルの一例である。
【図７】  整合処理における割当てテーブル更新処理のフローチャートである。
【図８】  更新処理後の割当てテーブルの一例である。
【図９】  整合処理における第２関連付け処理のフローチャートである。
【図１０】  第２関連付け処理における第１指示語と図面との位置関係を検出するための処理のフローチャートである。
【図１１】  第１指示語と図面との位置関係を説明するための概念図である。
【図１２】  第２関連付け処理後の割当てテーブルの一例である。
【図１３】  出力画像の一例である。
【符号の説明】
１０…画像処理装置、
１１…文字認識部、
１２…領域分離部、
１３…ビットマップ処理部、
１４…ベクタ変換部、
１５…２値化部、
１６…合成部、
１７…メモリ、
１８…フォーマット変換部、
２０…コントローラ、
２１…中央処理装置（ＣＰＵ）、
２２，２３，２４…インターフェイス、
３０…操作パネル、
４０…画像入力装置、
５０…第１出力装置、
６０…第２出力装置
７１〜７４…図面、
８０〜８４…文字領域、
９１〜９４…第１指示語（検出文字列）、
１０１〜１０３…第２指示語（置換文字列）。
【図１】
0004599693.tif 000002
【図２】
0004599693.tif 000003
【図３】
0004599693.tif 000004
【図４】
0004599693.tif 000005
【図５】
0004599693.tif 000006
【図６】
0004599693.tif 000007
【図７】
0004599693.tif 000008
【図８】
0004599693.tif 000009
【図９】
0004599693.tif 000010
【図１０】
0004599693.tif 000011
【図１１】
0004599693.tif 000012
【図１２】
0004599693.tif 000013
【図１３】
0004599693.tif 000014