(57)【特許請求の範囲】
【請求項１】
原稿画像を表す電子文書情報に含まれる属性の異なる部分画像を抽出し、属性を付与して分離する分離手段と、
前記分離手段によって分離された前記部分画像のそれぞれの領域の包含関係に基づいて、付与した属性を変更する変更手段と、
を備え、
前記変更手段は、前記分離手段によって付与された属性が線画の部分画像で、且つ該線画の部分画像に包含される文字の部分画像の数が予め定めた数以上の場合に、表の部分画像に属性を変更する画像処理装置。
【請求項２】
原稿画像を表す電子文書情報に含まれる属性の異なる部分画像を抽出し、属性を付与して分離する分離手段と、
前記分離手段によって分離された前記部分画像のそれぞれの領域の包含関係に基づいて、付与した属性を変更する変更手段と、
を備え、
前記変更手段は、前記分離手段によって付与された属性が表の部分画像で、且つ該表の部分画像に包含される写真の部分画像の大きさ、写真の部分画像の総面積、及び表の部分画像に対する面積比率の少なくとも１つが予め定めた値以上の場合に、線画の部分画像に属性を変更する画像処理装置。
【請求項３】
前記変更手段は、前記分離手段によって付与された属性が表の部分画像で、且つ該表の部分画像に包含される写真の部分画像の大きさ、写真の部分画像の総面積、及び表の部分画像に対する面積比率の少なくとも１つが予め定めた値以上の場合に、線画の部分画像に属性を変更する請求項１に記載の画像処理装置。
【請求項４】
前記変更手段は、写真の部分画像、図形の部分画像、若しくは表の部分画像が線画の部分画像に包含される場合、または文字の部分画像以外の属性の部分画像が線画の部分画像に包含される場合に、属性の変更を禁止する請求項１に記載の画像処理装置。
【請求項５】
コンピュータを、請求項１〜４の何れか１項に記載の画像処理装置の各手段として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
写真、線画、文字、表等の属性の異なる複数の部分画像が含まれる原稿画像を読み取ることによって電子化した電子化文書情報から、複数の部分画像を分離して、分離した部分画像単位で扱えるように電子化文書情報を生成する技術が提案されている。
【０００３】
例えば、特許文献１に記載の技術では、画像入力部で入力された文書画像から黒連結成分を抽出して、その外接矩形のサイズから写真領域抽出部、図形領域抽出部、文字領域抽出部の何れかに振り分け、それぞれにおいて、各画像領域の特性に合った画像領域抽出処理を行い、写真領域抽出部、図形領域抽出部、文字領域抽出部のそれぞれで抽出された領域間に空間的重なりが見られる場合には、領域重複解消部で各領域間の排他関係と共存関係に基づいて組み合わせを抽出することが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０９−１６７２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、分離された部分画像に適切な属性を付与することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、原稿画像を表す電子文書情報に含まれる属性の異なる部分画像を抽出し、属性を付与して分離する分離手段と、前記分離手段によって分離された前記部分画像のそれぞれの領域の包含関係に基づいて、付与した属性を変更する変更手段と、を備え、前記変更手段は、前記分離手段によって付与された属性が線画の部分画像で、且つ該線画の部分画像に包含される文字の部分画像の数が予め定めた数以上の場合に、表の部分画像に属性を変更することを特徴としている。
【０００７】
請求項２に記載の発明は、原稿画像を表す電子文書情報に含まれる属性の異なる部分画像を抽出し、属性を付与して分離する分離手段と、前記分離手段によって分離された前記部分画像のそれぞれの領域の包含関係に基づいて、付与した属性を変更する変更手段と、を備え、前記変更手段は、前記分離手段によって付与された属性が表の部分画像で、且つ該表の部分画像に包含される写真の部分画像の大きさ、写真の部分画像の総面積、及び表の部分画像に対する面積比率の少なくとも１つが予め定めた値以上の場合に、線画の部分画像に属性を変更することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１に記載の発明において、前記変更手段は、前記分離手段によって付与された属性が表の部分画像で、且つ該表の部分画像に包含される写真の部分画像の大きさ、写真の部分画像の総面積、及び表の部分画像に対する面積比率の少なくとも１つが予め定めた値以上の場合に、線画の部分画像に属性を変更することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１に記載の発明において、前記変更手段は、写真の部分画像、図形の部分画像、若しくは表の部分画像が線画の部分画像に包含される場合、または文字の部分画像以外の属性の部分画像が線画の部分画像に包含される場合に、属性の変更を禁止することを特徴としている。
【００１０】
請求項５に記載の画像処理プログラムは、コンピュータを、請求項１〜４の何れか１項に記載の画像処理装置の各手段として機能させることを特徴としている。
【発明の効果】
【００１１】
請求項１に記載の発明によれば、部分画像の領域の包含関係に基づいて属性を変更する構成を有しない場合と比較して、分離された部分画像に適切な属性を付与することができる、という効果がある。
【００１２】
請求項２に記載の発明によれば、部分画像の領域の包含関係に基づいて属性を変更する構成を有しない場合と比較して、分離された部分画像に適切な属性を付与することができる、という効果がある。
【００１３】
請求項３に記載の発明によれば、表の部分画像と間違って属性が判定されても線画の部分画像に属性を変更することができる、という効果がある。
【００１４】
請求項４に記載の発明によれば、線画の部分画像を表の部分画像に属性を変更する際に、間違って属性変更することを防止することができる、という効果がある。
【００１５】
請求項５に記載の発明によれば、部分画像の領域の包含関係に基づいて属性を変更する構成を有しない場合と比較して、分離された部分画像に適切な属性を付与することができる、という効果がある。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態に係わる画像処理装置の概略構成を示す図である。
【図２】本発明の実施の形態に係わる画像処理装置の機能的構成を示すブロック図である。
【図３】部分画像の包含関係の一例を示す図である。
【図４】本発明の実施の形態に係わる画像処理装置で行われる属性変更処理の流れの一例を示すフローチャートである。
【図５】線画部分画像属性変更処理の流れの一例を示すフローチャートである。
【図６】（Ａ）は点線を含む表の部分画像の一例を示す図であり、（Ｂ）は点線を含む表の部分画像に含まれる部分画像の例を示す図である。
【図７】（Ａ）は写真や図形（ＣＧ）の部分画像を含む線画と判定された部分画像の一例を示す図であり、（Ｂ）は写真や図形（ＣＧ）の部分画像を含む部分画像に含まれる部分画像の例を示す図である。
【図８】表部分画像属性変更処理の流れの一例を示すフローチャートである。
【図９】（Ａ）は区切り線を有する原稿画像の例を示す図であり、（Ｂ）は区切り線を有する表の部分画像と判定された部分画像に含まれる部分画像の例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本発明の実施の形態に係わる画像処理装置の概略構成を示す図である。
【００１８】
本実施の形態に係わる画像処理装置１０は、図１に示すように、画像入力装置１２、記憶装置１４、通信部１６、操作部１８、作業用記憶領域２０、及び制御部２２を備えており、それぞれが接続されて制御部２２によって装置全体を制御される。
【００１９】
画像入力装置１２は、原稿画像を表す電子文書情報を入力する。例えば、画像入力装置１２は、原稿画像を読み取って電子文書情報に変換する画像読取装置を適用してもよいし、電子文書情報を記憶した記憶媒体を適用するようにしてもよい。
【００２０】
記憶装置１４は、画像入力装置１２によって入力された電子文書情報が記憶されると共に、電子文書情報に含まれる属性の異なる複数の部分画像（文字、コンピュータグラフィック等の図形（ＣＧ）、線画、写真、表等の属性の異なる部分画像）を分離して再利用可能な形式の文書情報を生成するためのプログラム等が記憶され、該プログラムが制御部２２によって実行される。
【００２１】
通信部１６は、ネットワーク等の通信手段に接続され、該通信手段を介して外部の情報処理機器（例えば、パーソナルコンピュータや画像形成装置等）と通信して、情報の授受を行う。
【００２２】
操作部１８は、操作ボタンや表示装置を含み、表示装置に表示された情報を元に、操作ボタン等を操作することにより、画像処理装置１０の各種設定や、上述のプログラムの実行指示等を行う。
【００２３】
作業用記憶領域２０は、上述のプログラムを実行する際の作業用の記録領域として機能したり、制御部２２が画像処理装置１０の各種制御を行う際の作業用の記憶領域として機能する。
【００２４】
図２は、本発明の実施の形態に係わる画像処理装置１０の機能的構成を示すブロック図である。
【００２５】
画像処理装置１０の制御部２２は、読取画像取得部２４、配置解析部２６、部分画像種類判定部２８、部分画像の種類毎の情報生成を行う各種情報生成部（文字情報生成部３０Ａ、図形（ＣＧ）情報生成部３０Ｂ、線画情報生成部３０Ｃ、写真情報生成部３０Ｄ、表情報生成部３０Ｅ）３０、包含情報抽出処理部３２、属性変更処理部３４、及びソフトウエア情報生成部３６として機能する。
【００２６】
読取画像取得部２４は、画像入力装置１２等によって入力された電子文書情報や、記憶媒体等に記憶された電子文書情報を取得する。
【００２７】
配置解析部２６は、読取画像取得部２４によって取得した電子文書情報を解析して、文字、図形（ＣＧ）、線画、写真等の領域を抽出することによって、部分画像の領域を判断する。配置解析部２６は、周知の技術を利用して部分画像領域を判断することが可能であり、例えば、電子文書情報を２値化してラベリング処理やラベリング処理された画像の連結を行う等の処理により、部分画像の領域を判断することができる。
【００２８】
部分画像種類判定部２８は、部分画像領域の濃度分布等の各種の特徴量に基づいて、部分画像の種類を判定し、部分画像を分離して属性を付与する。部分画像種類判定部２８についても周知の技術を利用して部分画像の種類を判定することができる。判定する部分画像の種類としては、例えば、文字、図形（ＣＧ）、線画、写真、表などを判定する。
【００２９】
各種情報生成部（文字情報生成部３０Ａ、図形（ＣＧ）情報生成部３０Ｂ、線画情報生成部３０Ｃ、写真情報生成部３０Ｄ、表情報生成部３０Ｅ）３０は、部分画像種類判定部２８によって判定された各部分画像の種類に応じた情報を生成する。
【００３０】
包含情報抽出部３２は、分離された部分画像の領域の関係に基づいて、各部分画像の包含関係を抽出する。例えば、包含情報抽出部３２は、図３に示すように、部分画像Ａ〜Ｄの各領域に基づいて、各部分画像の包含関係を抽出する。図３の場合には、部分画像Ｂは部分画像Ａに包含され、部分画像Ｃは一部が部分画像Ａに包含され、部分画像Ｄは部分画像Ａに包含されずに独立している例を示す。
【００３１】
属性変更部３４は、包含情報抽出部３２によって抽出された包含情報に基づいて、分離されて属性が付与された部分画像の属性が変更される。すなわち、部分画像種類判定部２８によって線画の部分画像と判定された場合や、表の部分画像と判定された場合に、包含される部分画像によっては部分画像の種類判定部２８によって適切な属性が付与されないことがある。そこで、本実施の形態では、属性変更部３４が、線画の部分画像に包含される文字の部分画像の数に基づいて属性を変更したり、表の部分画像に包含される写真の部分画像の大きさ等に基づいて属性を変更したりするようになっている。
【００３２】
ソフトウエア情報生成部３６は、各種情報生成部３０で生成された情報を再配置すると共に、属性変更部３４の属性変更に応じて属性を変更して、使用するソフトウエアに対応するソフトウエア情報を生成する。
【００３３】
ここで、属性変更部３４による属性変更について具体的に説明する。
【００３４】
例えば、原稿画像中に点線を含む表が存在する場合には、部分画像種類判定部２８によって線画の部分画像と判定されてしまうことがある。そこで、属性変更部３４では、表には、予め定めた数以上の文字の部分画像が含まれることを利用して、表の部分画像に包含される文字の部分画像の数が予め定めた数以上の場合に、線画の部分画像と判定された部分画像の属性を表の部分画像に変更する。これにより点線を含む表の部分画像の属性が適切な属性に変更される。
【００３５】
また、原稿画像中に区切り線が含まれるような場合には、部分画像種類判定部２８によって、区切り線が表の部分画像であると判定されてしまうことがある。そこで、属性変更部３４では、区切り線の場合は、写真の部分画像が含まれることが考えられるので、表の部分画像と判定された部分画像に包含される写真の部分画像のサイズや、総面積、面積比率が予め定めた値以上の場合に表の部分画像と判定された部分画像の属性を線画の部分画像に変更する。これにより区切り線の部分画像の属性が適切な属性に変更される。
【００３６】
続いて、上述のように構成された本発明の実施の形態に係わる画像処理装置１０の属性変更部３４で行われる処理について説明する。図４は、本発明の実施の形態に係わる画像処理装置１０で行われる属性変更処理の流れの一例を示すフローチャートである。なお、記憶装置１４に記憶されたプログラムが制御部２２によって実行された場合の処理の流れを示す。
【００３７】
ステップ１００では、部分画像種類判定部２８によって分離された部分画像が選択されてステップ１０２へ移行する。部分画像種類判定部２８によって分離された部分画像のうち何れかを選択する。例えば、原稿画像の右上の部分画像を注目対象として選択する。
【００３８】
ステップ１０２では、選択された部分画像が線画の部分画像か否かが判定され、該判定が肯定された場合にはステップ１０４へ移行し、否定された場合にはステップ１０６へ移行する。
【００３９】
ステップ１０４では、線画部分画像属性変更処理が行われてステップ１１０へ移行する。線画部分画像属性変更処理は、線画の部分画像に包含される文字の部分画像の数に応じて、線画の部分画像と判定された属性を表の部分画像に変更する処理を行う。なお、詳細な処理については後述する。
【００４０】
一方、ステップ１０６では、選択された部分画像が表の部分画像か否かが判定され、該判定が肯定された場合にはステップ１０８へ移行し、否定された場合にはステップ１１０へ移行する。
【００４１】
ステップ１０８では、表部分画像属性変更処理が行われてステップ１１０へ移行する。表部分画像属性変更処理は、表の部分画像に包含される写真の部分画像の大きさ等に応じて、表の部分画像と判定された属性を線画の部分画像に変更する処理を行う。なお、詳細な処理については後述する。
【００４２】
そして、ステップ１１０では、全部分画像について上記処理が終了したか否かが判定され、該判定が否定された場合にはステップ１１２へ移行して、続く部分画像が選択されてステップ１０２へ戻って上述の処理が繰り返され、ステップ１１０の判定が肯定されたところで一連の処理を終了する。
【００４３】
次に、上述の線画部分画像属性変更処理について説明する。図５は、線画部分画像属性変更処理の流れの一例を示すフローチャートである。
【００４４】
ステップ２００では、選択されている線画の部分画像が予め定めたサイズ以上か否かが判定され、該判定が肯定された場合にはステップ２０２へ移行し、否定された場合には線画部分画像属性変更処理をそのまま終了して上述のステップ１１０へ移行する。
【００４５】
ステップ２０２では、選択されている線画の部分画像が四角形か否かが判定され、該判定が肯定された場合にはステップ２０４へ移行し、否定された場合には線画部分画像属性変更処理をそのまま終了して上述のステップ１１０へ移行する。
【００４６】
ステップ２０４では、選択されている線画の部分画像を更に分離した場合に含まれる部分画像が選択されてステップ２０６へ移行する。
【００４７】
ステップ２０６では、線画の部分画像以外の属性の部分画像が包含されるか否かが判定される。すなわち、選択されている線画の部分画像に含まれる部分画像が線画の部分画像以外の属性か否かを判定し、該判定が否定された場合にはステップ２０８へ移行し、肯定された場合にはステップ２１０へ移行する。
【００４８】
ステップ２０８では、線画の部分画像中の続く部分画像が選択されてステップ２０６へ戻って上述の処理が繰り返される。
【００４９】
また、ステップ２１０では、包含される部分画像が文字の部分画像か否かが判定され、該判定が肯定された場合にはステップ２１２へ移行し、否定された場合には線画部分画像属性変更処理を終了して上述のステップ１１０へ移行する。なお、ステップ２１０の判定は、包含される部分画像が文字の部分画像か否かを判定するようにしたが、包含される部分画像が写真、図形、線画、または表の部分画像か否かを判定するようにしてもよい。この場合には、判定が否定された場合にステップ２１２へ移行し、肯定された場合に線画部分画像属性変更処理を終了して上述のステップ１１０へ移行する。
【００５０】
ステップ２１２では、線画の部分画像中に包含される文字の部分画像の数がカウントされてステップ２１４へ移行する。
【００５１】
ステップ２１４では、線画の部分画像中の部分画像について上記処理（ステップ２０６〜２１２）を終了したか否かが判定され、該判定が否定された場合にはステップ２０８に戻って上述の処理が繰り返され、判定が肯定された場合にはステップ２１６へ移行する。
【００５２】
ステップ２１６では、カウント値が予め定めた値以上か否かが判定される。すなわち、線画の部分画像中に包含される文字の部分画像が予め定めた数以上か否かを判定し、該判定が肯定された場合にはステップ２１８へ移行し、否定された場合には線画部分画像属性変更処理を終了して、上述のステップ１１０へ移行する。
【００５３】
ステップ２１８では、ステップ１００で選択された線画の部分画像の属性が表の部分画像に変更されて線画部分画像属性変更処理を終了して、上述のステップ１１０へ移行する。
【００５４】
ここで、上述の線画部分画像属性変更処理について具体例を挙げて説明する。
【００５５】
例えば、図６（Ａ）に示すように点線を含む表の場合には、部分画像種類判定部２８で表の部分画像であると判定されず、線画の部分画像と判定される場合がある。
【００５６】
図６（Ａ）の線画の部分画像と判定された部分画像の例では、当該部分画像を更に分離（一次分離）すると属性の異なる部分画像が図６（Ｂ）に示すように複数存在し、文字の部分画像の数が多く存在する。このように線画の部分画像中に文字の部分画像が予め定めた数以上含まれる場合には、表の部分画像である可能性があるので、線画部分画像属性変更処理では、包含関係に基づいて属性変更を行う。すなわち、ステップ２０６〜２１４の処理を繰り返すことにより、当該線画の部分画像中に包含される文字の部分画像の数を計数し、計数結果が予め定めた値以上の場合に、線画の部分画像の属性が表の部分画像に変更される。これによって、図６（Ａ）に示すような点線を含む表が線画の部分画像と判定されても適切な属性に変更される。
【００５７】
ただし、図７（Ａ）の部分画像のように、部分画像種類判定部２８によって線画の部分画像と判定された部分画像中に写真や図形（ＣＧ）の部分画像を含む場合、線画の部分画像と判定された部分画像を更に分離すると、図７（Ｂ）に示すように、文字の部分画像以外の部分画像が包含される。この場合（写真の部分画像や図形（ＣＧ）の部分画像や線画の部分画像の何れかが包含される場合）には、ステップ２１０の判定が否定されて、線画の部分画像の属性変更は行われない。
【００５８】
続いて、上述の表部分画像属性変更処理について説明する。図８は、表部分画像属性変更処理の流れの一例を示すフローチャートである。
【００５９】
ステップ３００では、選択されている表の部分画像が予め定めたサイズ以上か否かが判定され、該判定が肯定された場合にはステップ３０２へ移行し、否定された場合には表部分画像属性変更処理をそのまま終了して上述のステップ１１０へ移行する。
【００６０】
ステップ３０２では、選択されている表の部分画像を更に分離した場合に含まれる部分画像が選択されてステップ３０４へ移行する。
【００６１】
ステップ３０４では、表の部分画像以外の属性の部分画像が包含されているか否かが判定される。すなわち、選択されている表の部分画像に含まれる部分画像が表の部分画像以外の属性か否かを判定し、該判定が否定された場合にはステップ３０６へ移行し、肯定された場合にはステップ３０８へ移行する。
【００６２】
ステップ３０６では、表の部分画像中の続く部分画像が選択されてステップステップ３０４に戻って上述の処理が繰り返される。
【００６３】
ステップ３０８では、包含される部分画像が写真の部分画像か否かが判定され、該判定が否定された場合にはステップ３０６へ移行し、肯定された場合にはステップ３１０へ移行する。
【００６４】
ステップ３１０では、写真の部分画像が予め定めたサイズ以上か否かが判定され、該判定が肯定された場合にはステップ３１２へ移行し、否定された場合にはステップ３１８へ移行する。
【００６５】
ステップ３１２では、写真の部分画像の面積が加算、すなわち、表の部分画像に包含される写真の部分画像の面積が累積されてステップ３１４へ移行する。
【００６６】
ステップ３１４では、表の部分画像中に包含される全ての部分画像について上記処理（ステップ３０４〜３１２）を終了したか否かが判定され、該判定が否定された場合にはステップ３０６に戻って上述の処理が繰り返され、判定が肯定された場合にはステップ３１６へ移行する。
【００６７】
ステップ３１６では、加算された面積が予め定めた値以上か否かが判定される。すなわち、表の部分画像中に含まれる写真の部分画像の面積の累積値が予め定めた値以上か否かを判定し、該判定が肯定された場合にはステップ３１８へ移行し、否定された場合にはステップ３２０へ移行する。
【００６８】
ステップ３１８では、表の部分画像の属性が線画の部分画像に変更されて一連の表部分画像属性変更処理を終了して上述のステップ１１０へ移行する。
【００６９】
一方、ステップ３２０では、写真の部分画像の面積比率が予め定めた値以上か否かが判定され、該判定が肯定された場合には上述のステップ３１８へ移行して属性が変更され、否定された場合には一連の表部分画像属性変更処理を終了して上述のステップ１１０へ移行する。
【００７０】
ここで、表部分画像属性変更処理について具体例を挙げて説明する。
【００７１】
例えば、図９（Ａ）に示すように、原稿画像中に区切り線を有する場合には、部分画像種類判定部２８で線画の部分画像と判定されず、表の部分画像と判定される場合がある。
【００７２】
図９（Ａ）の表の部分画像と判定された部分画像の例では、当該部分画像を更に分離（一次分離）すると属性の異なる部分画像が図９（Ｂ）に示すように複数存在し、予め定めたサイズ以上の写真の部分画像が含まれることがある。このように表の部分画像中に予め定めたサイズ以上の写真の部分画像が含まれる場合や、写真の部分画像の面積が予め定めた値以上の場合や、表の部分画像中の写真の部分画像の面積比率が予め定めた値以上の場合には、表の部分画像ではなく、線画の部分画像である可能性があるので、表部分画像属性処理では、包含関係に基づいて属性変更を行う。すなわち、ステップ３０４〜３２０の処理を行うことにより、予め定めたサイズ以上の写真の部分画像を包含する場合、写真の部分画像の面積が予め定めた値以上の場合、及び表の部分画像中の写真の部分画像の面積比率が予め定めた値以上の場合に、表の部分画像の属性が線画の部分画像に変更される。これによって、図９（Ａ）に示すような原稿画像中に区切り線を有する場合に表の部分画像と判定されても適切な属性に変更される。
【００７３】
なお、上記の実施の形態では、画像処理装置として説明したが、原稿画像を読み取る画像読取装置を備えた画像形成装置等に適用するようにしてもよい。
【００７４】
また、上記の実施の形態における各処理は、プログラムを実行することによって行われる処理として説明したが、これに限るものではなく、ハードウエアによって実現するようにしてもよい。
【符号の説明】
【００７５】
１０    画像処理装置
２２    制御部
２６    配置解析部
２８    部分画像種類判定部
３０    各種情報生成部
３２    背景色設定部
３４    ソフトウエア情報生成部
【図１】
0005640403.tif 000002
【図２】
0005640403.tif 000003
【図３】
0005640403.tif 000004
【図４】
0005640403.tif 000005
【図５】
0005640403.tif 000006
【図６】
0005640403.tif 000007
【図７】
0005640403.tif 000008
【図８】
0005640403.tif 000009
【図９】
0005640403.tif 000010