(57)【要約】【課題】本発明は、傾きが均一ではない複数の領域を含む画像について、各領域の傾きを精度良く検知することを目的とする。【解決手段】本発明の情報処理装置４は、処理対象画像に含まれて構成要素で構成される情報単位の傾きを検知する情報処理装置４であって、情報単位から情報単位の構造を抽出する構造抽出手段１２０と、構造抽出手段が抽出した情報単位の構造を用いて処理対象画像から情報単位を抽出する情報単位抽出手段１３０と、情報単位の傾きを検知する検知手段１４０と、を備えることを特徴とする。【選択図】図４
2017045275.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像に含まれて構成要素で構成される情報単位の傾きを検知する情報処理装置であって、
前記情報単位から前記情報単位の構造を抽出する構造抽出手段と、
前記構造抽出手段が抽出した前記情報単位の構造を用いて前記処理対象画像から前記情報単位を抽出する情報単位抽出手段と、
前記情報単位の傾きを検知する検知手段と、を備えることを特徴とする情報処理装置。
【請求項２】
構造抽出手段は、前記構成要素の座標又は大きさの少なくとも一方を前記情報単位の構造として抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
ユーザの入力を受け付ける受付手段をさらに備え、
前記構造抽出手段は、前記受付手段で指定された前記処理対象画像の領域を前記情報単位として、前記情報単位の構造を抽出することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記構造抽出手段は、所定の範囲の画素値を持つ画素が連結する領域を含む連結領域を前記情報単位から取得し、前記構造抽出手段が取得した連結領域であって所定の範囲にある連結領域を前記構成要素として取得することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記構造抽出手段は、前記処理対象画像から、所定の画素のまとまりであるセグメントを取得し、前記構造抽出手段が取得したセグメントであって異なる種類のセグメントを含むセグメントの群を１つ取得し、取得した１つの前記セグメントの群に含まれるセグメントを前記構成要素として、前記情報単位の構造を抽出することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項６】
前記構造抽出手段は、前記構造抽出手段が取得したセグメントであって、所定の方向の長さの差が所定の範囲に含まれるセグメント、又は、所定の方向の座標の差が所定の範囲に含まれるセグメントを同じ種類のセグメントとすることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記構造抽出手段は、所定の範囲の画素値の画素が連結する領域を含む連結領域を前記処理対象画像から取得し、前記構造抽出手段が取得した連結領域であって所定の範囲にある連結領域をセグメントとして取得することを特徴とする請求項５又は６に記載の情報処理装置。
【請求項８】
前記情報単位抽出手段は、前記処理対象画像から所定の画素のまとまりであるセグメントを取得し、前記情報単位抽出手段が取得したセグメントと前記構成要素とを対応付けて、異なる前記構成要素に対応付けられたセグメントの群を前記情報単位として抽出することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記情報単位抽出手段は、所定の範囲の画素値を持つ画素が連結する領域を含む連結領域を前記処理対象画像から取得し、前記情報単位抽出手段が取得した連結領域であって所定の範囲にある連結領域をセグメントとして抽出することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
２つの前記情報単位の一方の前記情報単位に他方の前記情報単位が重なるとき、前記一方の前記情報単位から前記他方の前記情報単位を除去する補正手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記処理対象画像が周期性のある構造であるか否かに応じて、前記情報単位抽出手段が処理を行うか否かの制御をする制御手段をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記制御手段は、前記構造抽出手段が、前記処理対象画像から前記情報単位の構造を抽出できるか否かに基づいて、前記処理対象画像が周期性のある構造であるか否かを判断することを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記処理対象画像から文字領域を抽出する文字抽出手段をさらに備え、
前記検知手段は、前記情報単位、又は、前記文字抽出手段が抽出した文字領域の傾きを検知し、
前記制御手段は、前記情報単位抽出手段が処理を行わないときに前記文字抽出手段が処理を行うように制御をすることを特徴とする請求項１１又は１２に記載の情報処理装置。
【請求項１４】
前記構造抽出手段は、複数の種類の前記情報単位の構造を抽出し、
前記情報単位抽出手段は、前記構造抽出手段が抽出した複数の種類の前記情報単位の構造のそれぞれを用いて前記処理対象画像から前記情報単位を抽出することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
【請求項１５】
入力された画像から紙面の領域を前記処理対象画像として検出する検出手段をさらに備えることを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
【請求項１６】
処理対象画像に含まれて構成要素で構成される情報単位の傾きを検知する情報処理装置の制御方法であって、
前記情報単位から前記情報単位の構造を抽出する構造抽出ステップと、
前記構造抽出ステップで抽出した前記情報単位の構造を用いて前記処理対象画像から前記情報単位を抽出する情報単位抽出ステップと、
前記情報単位の傾きを検知する検知ステップと、を備えることを特徴とする情報処理装置の制御方法。
【請求項１７】
処理対象画像に含まれて構成要素で構成される情報単位の傾きを検知する情報処理装置を制御するためのプログラムであって、
前記情報単位から前記情報単位の構造を抽出する構造抽出ステップと、
前記構造抽出ステップで抽出した前記情報単位の構造を用いて前記処理対象画像から前記情報単位を抽出する情報単位抽出ステップと、
前記情報単位の傾きを検知する検知ステップと、をコンピュータに実行させるためのプログラム。
【請求項１８】
処理対象画像に含まれて構成要素で構成される情報単位の傾きを検知する情報処理装置を制御するためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体であって、
前記情報単位から前記情報単位の構造を抽出する構造抽出ステップと、
前記構造抽出ステップで抽出した前記情報単位の構造を用いて前記処理対象画像から前記情報単位を抽出する情報単位抽出ステップと、
前記情報単位の傾きを検知する検知ステップと、をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法、情報処理装置を制御するプログラム、及び、情報処理装置を制御するプログラムを記録した記憶媒体に関する。
【背景技術】
【０００２】
従来から、文書画像を入力するための装置として、デジタル複写機やイメージスキャナが利用されている。デジタル複写機やイメージスキャナの原稿台に、原稿が傾けて載置されると、得られた文書画像を処理する際に様々な不都合が生じるため、文書画像の傾き検知の技術や補正処理技術が必要である。
文書画像に含まれる文字列の傾きを基に文書画像の傾きを検知する技術が多く提案されている。例えば、特許文献１の文書画像の傾き検知方法では、まず、圧縮画像から黒画素の連結成分が抽出され、連結成分の方向から文字列方向が検出される。次に、横方向の傾きヒストグラムと縦方向の傾きヒストグラムが作成される。次に、各ヒストグラムにおいて候補角と確信度が算出され、確信度の高い方の傾きが決定される。また、特許文献２の文書画像の傾き検知方法では、文書画像から複数の検査領域の対が定められ、これらの検査領域の対のそれぞれに対し、射影による傾き角度が求められて、傾き角度の平均が文書画像の傾き量として算出される。
また、フォーマットが少し複雑な文書画像において、文書画像を複数の領域に分割し、領域毎に傾きを検知する技術が提案されている。特許文献３では、本の見開きや左右で傾きが異なる文書が混在した文書に対して、文書画像を画像の長手方向の二つの領域に分割し、分割した各領域に含まれる複数画素の連結領域を抽出して、傾きを検知する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３２８１４６９号公報
【特許文献２】特許第４１１４９５９号公報
【特許文献３】特許第４１４６０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１及び特許文献２の方法は、傾きが均一である文書画像を扱う方法であるため、傾きが均一でない文書画像、すなわち、傾きが異なる複数の領域から構成される文書画像の傾きは正確に検知できない。
また、特許文献３の方法は、文書画像を長手方向で二つの領域に分割し、領域毎に傾きを検知する方法である。しかし、傾きが複雑な文書画像、すなわち、多数の領域を含み、しかも、各領域の傾きが異なる文書画像では、それぞれの領域の傾きを正確に検知できない。
傾きが複雑な文書画像の例として、お薬手帳が挙げられる。お薬手帳は、薬の服用履歴、既往症等、医療関係者に必要な情報を記載するものである。お薬手帳には、シール状のラベルが薬局で貼り付けられる。シール状のラベルには、薬剤名や薬剤の用量・用法等の毎回の処方内容が記載される。作業員によってシール状のラベルが斜めに貼り付けられることはよくあるので、お薬手帳は、傾きが異なる文字領域が混在する文書画像の典型的な画像例である。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、複数の情報単位を含み、それら情報単位の傾きがばらついて配置されるような画像について、各情報単位の傾きを精度良く検知することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、処理対象画像に含まれて構成要素で構成される情報単位の傾きを検知する情報処理装置であって、前記情報単位から前記情報単位の構造を抽出する構造抽出手段と、前記構造抽出手段が抽出した前記情報単位の構造を用いて前記処理対象画像から前記情報単位を抽出する情報単位抽出手段と、前記情報単位の傾きを検知する検知手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明の情報処理装置は、処理対象画像から情報単位を抽出し、抽出した情報単位について傾きを検知する。したがって、複数の情報単位を含み、それら情報単位の傾きがばらついて配置されるような画像について、各情報単位の傾きを精度良く検知できる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態における情報処理装置の機能構成を示すブロック図である。
【図２】第１実施形態における情報処理装置のハードウェア構成を示すブロック図である。
【図３】処理対象画像の例を示す図である。
【図４】第１実施形態における情報処理装置による画像処理のフローチャートである。
【図５】第１実施形態における構造情報を抽出する処理のフローチャートである。
【図６】第１実施形態における情報単位を抽出する処理のフローチャートである。
【図７】第１実施形態における、ユーザにより指定された領域からの構造情報の抽出から、情報単位の抽出までの処理を示す模式図であり、（ａ）はユーザにより指定された領域を示す図、（ｂ）は連結成分の抽出を示す図、（ｃ）は連結成分の結合を示す図、（ｄ）は構成要素の同定を示す図、（ｅ）は情報単位の同定を示す図、（ｆ）は各処理で取得される情報を示す図である。
【図８】第２実施形態における情報単位の外接矩形領域の一部が重なる画像の例を示す図である。
【図９】第２実施形態における情報処理装置による画像処理のフローチャートである。
【図１０】第２実施形態における情報単位の重なり部分の削除例を示す図である。
【図１１】第３実施形態における情報処理装置の機能構成を示すブロック図である。
【図１２】第３実施形態における情報処理装置による画像処理のフローチャートである。
【図１３】第３実施形態における構造情報を抽出する処理のフローチャートである。
【図１４】第３実施形態における処理を示す模式図であり、（ａ）は情報構造の同定を示す図、（ｂ）はセグメントの関連付けを示す図、（ｃ）はセグメント領域情報示す図である。
【図１５】第４実施形態における情報処理装置による画像処理のフローチャートである。
【図１６】第５実施形態における異なる種類の情報単位が含まれる画像の例を示す図である。
【図１７】第５実施形態における情報処理装置による画像処理のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１実施形態）
はじめに、図１を参照して、情報処理装置４の機能構成を説明する。図１は、情報処理装置４の機能構成を示すブロック図である。情報処理装置４は、領域指定部１１０、構造情報抽出部１２０、情報単位抽出部１３０、及び、傾き検知部１４０を備える。
領域指定部１１０は、ユーザが手動で指定する領域を受け付ける。ユーザは、処理対象画像において、後述のデバイス１０１に含まれる入力装置を用いて情報単位をなす領域を指定する。領域指定部１１０は、ユーザが指定した情報単位をなす領域を受け付ける。ここで、情報単位とは、意味のある情報をなす単位であり、一又は複数の構成要素の塊である。例えば、お薬手帳の場合は、薬剤の情報単位として、ある薬剤において、薬の名称を示す部分と当該薬剤の服用方法を示す部分を含む。なお、領域指定部１１０は受付手段の一例である。
構造情報抽出部１２０は、領域指定部１１０で指定された情報単位となる領域から、情報単位の構造情報を抽出する。情報単位の構造情報には、情報単位を構成する構成要素、構成要素のレイアウトルールが含まれる。なお、構造情報抽出部１２０は構造抽出手段の一例である。
情報単位抽出部１３０は、構造情報抽出部１２０で抽出された構造情報に基づき、処理対象画像から、領域指定部１１０で指定された情報単位以外の情報単位を抽出する。なお、情報単位抽出部１３０は情報単位抽出手段の一例である。
傾き検知部１４０は、情報単位毎に傾きを検知する。なお、傾き検知部１４０は検知手段の一例である。
【００１０】
次に、図２を参照して、情報処理装置４のハードウェアの主要部の構成を説明する。図２は、情報処理装置４のハードウェア構成を示すブロック図である。
情報処理装置４は、処理部１、格納部２、及び、ネットワーク３を備える。なお、図２では、処理部１及び格納部２がそれぞれ１台記載されているが、処理部１及び格納部２の少なくとも一方が複数台であってもよい。
処理部１は、デバイス１０１、ＣＰＵ１０２、ＲＡＭ１０３、通信ＩＦ１０４、表示部１０５、プログラム記憶領域１０６、及び、データ記憶領域１０７を備える。
デバイス１０１には、カメラ又はスキャナ等が含まれ、カメラで撮影した画像、又は、スキャナで読み込んだ画像の取得ができる。また、デバイス１０１には、マウス等のユーザが操作をするための入力装置が含まれる。
【００１１】
ＣＰＵ１０２は、プログラム記憶領域１０６から読み込まれてＲＡＭ１０３に展開されたプログラムを解釈して実行する。ＣＰＵ１０２は、処理部１の各種制御をしたり、所定の計算をしたり、表示部１０５に所定の表示をさせたりできる。
ＲＡＭ１０３は、プログラム記憶領域１０６に記憶されているプログラムを展開したり、ＣＰＵ１０２が処理を実行するときに使用する数値を記憶したりする。
通信ＩＦ１０４は、格納部２との間の通信インタフェースであり、ネットワーク３に繋がる。
表示部１０５は、ＬＥＤや液晶パネル等であり、情報処理装置４の状態、処理部１の状態、画像情報、又は、傾き検知結果等を表示する。
【００１２】
プログラム記憶領域１０６は、ＣＰＵ１０２が実行するプログラムを記憶する。
データ記憶領域１０７は、構造情報抽出部１２０が抽出した構造情報１０、及び、傾き検知部１４０が検知した傾き情報１１等を記憶する。構造情報１０及び傾き情報１１等は、後述の格納部２に記憶してもよい。プログラム記憶領域１０６及びデータ記憶領域１０７は、ハードディスク又はフラッシュメモリで実現される。ただし、プログラム記憶領域１０６及びデータ記憶領域１０７には、その他の記憶媒体や記憶装置を用いてもよい。
【００１３】
格納部２は、ネットワーク３に接続する記憶装置であり、必要に応じて、構造情報１０及び傾き情報１１等を記憶する。また、情報単位を記憶してもよい。
ネットワーク３は、処理部１と格納部２とを繋ぐネットワークであり、有線であっても無線であってもよい。また、ネットワーク３は、組織内で運用されるイントラネットでもよく、インターネットでもよい。
【００１４】
図１に示す情報処理装置４の各機能を実現するプログラムは、図２のプログラム記憶領域１０６に保管され、ＣＰＵ１０２で実行される。ＣＰＵ１０２は、このプログラムを実行して、必要に応じて、通信ＩＦ１０４、不図示のＵＳＢインタフェース、又は、各種コントローラを制御することで、情報処理装置４の各機能が実現される。また、ＣＰＵ１０２は、通信ＩＦ１０４を介して受信する通信コマンド、マウス等のデバイス１０１によるユーザの操作、又は、自動操作を検出して、検出結果に応じた処理を実行する。
【００１５】
次に、図３を参照して、処理対象画像の一例となる文書画像１２１を説明する。図３は、文書画像１２１を示す図である。
文書画像１２１は、お薬手帳の１ページの画像の例であり、複数のシール状のラベル１２２が薬局で貼り付けられている。それぞれのラベル１２２は、通常、作業者によって貼り付けられるが、必ずしもまっすぐに貼り付けられるとは限らず、異なる傾きで貼り付けられることも多い。したがって、文書画像１２１の各ラベル１２２は、それぞれ異なる角度で配置されることになる。情報処理装置４は、文書画像１２１のように、所定の構造を持つ文字領域が繰り返して配置される文書画像を処理対象とする。この所定の構造を持つ文字領域が上記の情報単位に対応する。文書画像１２１においては、情報単位はラベル１２２に相当する。
【００１６】
次に、図４を参照して、情報処理装置４による画像処理を説明する。図４は、情報処理装置４による画像処理のフローチャートである。
ステップＳ１１において、領域指定部１１０は、図７（ａ）に示すように、処理対象画像１３１に対してユーザが手動で情報単位として指定する領域（情報単位１３２）を受け付ける。領域指定部１１０は、受け付けた領域の情報を、データ記憶領域１０７又は格納部２に、指定領域情報１８１として保存する。指定領域情報１８１は、図７（ｆ）に示すように、ユーザが指定した領域の起点Ｘ座標、起点Ｙ座標、横幅（Ｘ軸方向の幅）、及び縦幅（Ｙ軸方向の幅）を含む。
ステップＳ１２において、構造情報抽出部１２０は、領域指定部１１０が受け付けた情報単位をなす領域に含まれる画素の連結情報に基づき、情報単位の構造情報１０を抽出する。ステップＳ１２の詳細は後述する。
ステップＳ１３において、情報単位抽出部１３０は、処理対象画像から連結成分を抽出し、ステップＳ１２で抽出された構造情報１０を満たす連結成分の塊を情報単位として抽出する。ステップＳ１３の詳細は後述する。
ステップＳ１４において、傾き検知部１４０は、ステップＳ１３で抽出された情報単位毎に傾きを検知する。傾き検知部１４０は、検知した傾きを、傾き情報１１としてデータ記憶領域１０７又は格納部２に保存する。なお、傾き検知方法としては、例えば特許文献１や特許文献２に開示されているような公知の検知方法等を使用することができる。
【００１７】
次に、図５を参照して、図４のステップＳ１２の詳細を説明する。図５は、構造情報１０を抽出する処理のフローチャートである。
ステップＳ１２１において、構造情報抽出部１２０は、処理対象画像１３１においてユーザが情報単位をなす領域として指定した領域から、同じ画素値を持つ画素が連結する領域である連結成分１４１を取得する。構造情報抽出部１２０は連結成分１４１から、連結成分１４１の外接矩形領域である連結領域を取得する。図７（ｂ）に、連結成分１４１の例を示す。図７（ｂ）の符号のカッコ内に記載された数字は、連結成分１４１の識別番号を表す。図７（ｂ）の各連結成分１４１を囲む矩形枠線は、各連結成分１４１の連結領域を表す。なお、構造情報抽出部１２０は、所定の範囲内の画素値を持つ画素が連結する領域を、連結成分１４１として取得するようにしてもよい。
構造情報抽出部１２０は、構造情報抽出部１２０が抽出した連結領域と連結領域に関する情報とを対応付けて、データ記憶領域１０７又は格納部２に、連結領域情報１８２として保存する。連結領域情報１８２は、図７（ｆ）に示すように、各連結領域に割り当てられる識別番号、連結領域の起点Ｘ座標、起点Ｙ座標、横幅、及び、縦幅を含む。連結領域の識別番号は、連結領域に対応する連結成分１４１の識別番号と等しいものとする。なお、構造情報抽出部１２０は、連結領域情報１８２として、連結領域ではなく、連結成分１４１の情報を保存してもよい。
【００１８】
ステップＳ１２２において、構造情報抽出部１２０は、所定の方向、例えば、Ｘ方向の間隔が閾値Ｔ１以下である連結成分を統合する。以下では、統合後の各連結成分の群をセグメントと呼び、セグメントの外接矩形領域をセグメント領域と呼ぶ。構造情報抽出部１２０は、前述の連結成分を統合して、セグメント１５１及びセグメント領域を取得する。セグメント１５１の例を図７（ｃ）に示す。図７（ｃ）の符号のカッコ内に記載された数字は、セグメント１５１の識別番号を表す。また、図７（ｃ）の各セグメント１５１を囲む矩形枠線は、各セグメント１５１のセグメント領域を表す。
【００１９】
構造情報抽出部１２０は、取得したセグメント領域の情報を、データ記憶領域１０７又は格納部２に、セグメント領域情報１８３として保存する。セグメント領域情報１８３は、図７（ｆ）に示すように、各セグメント領域に割り当てられる識別番号、起点Ｘ座標、起点Ｙ座標、横幅、及び、縦幅を含む。セグメント領域の識別番号は、セグメント領域に対応するセグメント１５１の識別番号と等しいものとする。
また、構造情報抽出部１２０は、連結成分１４１とセグメント１５１との対応関係を、データ記憶領域１０７又は格納部２に、第１対応情報１８４として保存する。第１対応情報１８４は、図７（ｆ）に示すように、各連結成分１４１に割り当てられる識別番号、及び、各セグメント１５１に割り当てられる識別番号を含む。
【００２０】
ステップＳ１２３において、構造情報抽出部１２０は、情報単位の論理構造の構成要素を定め、構成要素のレイアウトルールを生成する。構成要素、及び、構成要素のレイアウトルールが構造情報１０に相当する。構造情報抽出部１２０は、取得したセグメント１５１を情報単位の論理構造の構成要素と定める。構成要素の識別番号は、構成要素に対応するセグメント１５１の識別番号に等しいものとする。
ここで、構成要素のレイアウトルールは、基準値と、許容変化範囲とを含む。基準値は、構成要素となるセグメントについてのセグメント領域情報である起点Ｘ座標、起点Ｙ座標、横幅、及び、縦幅からなる。許容変化範囲は、基準値を基に同じレイアウトとして認められる変化の範囲であり、起点Ｘ座標、起点Ｙ座標、横幅、及び、縦幅のそれぞれに対して定められる。
【００２１】
構造情報抽出部１２０は、図７（ｄ）に示すように、取得したセグメント１５１を情報単位の論理構造の構成要素１６１として定める。図７（ｄ）の符号のカッコ内に記載された数字は、構成要素１６１の識別番号を表す。構造情報抽出部１２０は、セグメント１５１についてのセグメント領域情報１８３を、セグメント１５１に対応する構成要素１６１のレイアウトルールの基準値とする。さらに、構造情報抽出部１２０は、許容変化範囲を定める。許容変化範囲は、予め定められた値を用いてもよく、基準値に基づいて算出してもよい。
構造情報抽出部１２０は、生成した構成要素のレイアウトルールを、データ記憶領域１０７又は格納部２に、レイアウトルール情報１８５として保存する。レイアウトルール情報１８５は、図７（ｆ）に示すように、各構成要素に割り当てられる識別番号、基準値（起点Ｘ座標、起点Ｙ座標、横幅、及び、縦幅）、及び、基準値の各値に対する許容変化範囲を含む。
構造情報抽出部１２０は、以上のように構造情報１０を抽出する。
【００２２】
次に、図６を参照して、図４のステップＳ１３の詳細を説明する。図６は、情報単位を抽出する処理のフローチャートである。
ステップＳ１３１において、情報単位抽出部１３０は、処理対象画像１３１においてユーザが指定した領域以外の領域から、同じ画素値を持つ画素の連結成分を取得する。次に、情報単位抽出部１３０は、所定の方向、例えば、Ｘ方向の間隔が閾値Ｔ１以下である連結成分を統合して、セグメントを取得する。なお、情報単位抽出部１３０は、所定の範囲内の画素値を持つ画素が連結する領域を、連結成分として取得するようにしてもよい。
【００２３】
ステップＳ１３２において、情報単位抽出部１３０は、ステップＳ１３１で取得したセグメントと、情報単位の論理構造の構成要素とを対応付ける。この対応付けの処理で、情報単位抽出部１３０は、図７（ｆ）に示すレイアウトルール情報１８５を参照して、次の処理を行う。構成要素の起点Ｘ座標とセグメントの起点Ｘ座標とが一致し、構成要素の起点Ｘ座標の横幅とセグメントの横幅とが一致するような構成要素があるとき、処理対象のセグメントに、この構成要素の識別番号を付与する。一致する構成要素がないとき、情報単位抽出部１３０は、セグメントの起点Ｘ座標が構成要素の起点Ｘ座標の許容変化範囲内であり、セグメントの横幅が構成要素の横幅の許容変化範囲内であるとき、処理対象のセグメントに、この構成要素の識別番号を付与する。こうして、情報単位抽出部１３０は、ステップＳ１３１で取得したセグメントと、情報単位の論理構造の構成要素とを対応付ける。なお、情報単位抽出部１３０は、セグメントの起点Ｘ座標等の情報の代わりに、セグメント領域の起点Ｘ座標等の情報を用いてもよい。
【００２４】
ステップＳ１３３において、情報単位抽出部１３０は、異なる構成要素の識別番号が付与されて近傍にあるセグメントの群を１つの情報単位１７１として抽出する。図７（ｅ）に、情報単位抽出部１３０が抽出した情報単位１７１の例を示す。図７（ｅ）の破線は情報単位１７１の外接矩形領域を示す。
ここで、情報単位１７１の抽出は、例えば、次のように行われる。すなわち、同じ構成要素の識別番号が付与されたセグメントを同種セグメント群としたとき、情報単位抽出部１３０は、文書画像１２１の＋Ｙ軸側から、同種セグメント群ごとに、同種セグメント群に含まれるセグメントに通番（１、２、３…）を振る。そして、同じ通番が振られたセグメントの群を、異なる構成要素の識別番号が付与されて近傍にあるセグメントの群とする。情報単位抽出部１３０は、このセグメントの群のそれぞれを、１つの情報単位１７１として抽出する。
【００２５】
また、情報単位抽出部１３０は、情報単位１３２、１７１の情報を、データ記憶領域１０７又は格納部２に、情報単位領域情報１８６として保存する。情報単位領域情報１８６は、図７（ｆ）に示すように、各情報単位１３２、１７１に割り当てられる識別番号、起点Ｘ座標、起点Ｙ座標、横幅、及び、縦幅が含まれる。
また、情報単位抽出部１３０は、セグメント１５１と情報単位１３２、１７１との対応関係をデータ記憶領域１０７又は格納部２に、第２対応情報１８７として保存する。第２対応情報１８７は、図７（ｆ）に示すように、各セグメントに割り当てられる識別番号、及び、各情報単位の識別番号を含む。
情報単位抽出部１３０は、以上のように情報単位を抽出する。
【００２６】
本実施形態では、処理対象画像においてユーザが指定した領域から情報単位の構造情報１０を抽出し、構造情報１０に基づいて情報単位を自動的に抽出することで、情報単位毎の傾き検知が可能になる。したがって、情報単位毎に表示方向を正しく補正したり、表示方向を補正した情報単位から文字情報を正しく認識したりすることが可能になる。
なお、本実施形態では、構造情報１０に、構成要素のレイアウトルールの情報である起点座標の情報及び幅の長さの情報を用いたが、これら以外の、例えば文字領域の配置関係を表わす情報等を用いてもよい。
【００２７】
（第２実施形態）
第１実施形態では、処理対象画像として、文書画像内の各情報単位の外接矩形領域が重ならない画像、すなわち、ある情報単位の外接矩形領域の中に他の情報単位の画素情報が含まれない画像が使われた。本実施形態では、処理対象画像として、文書画像内の各情報単位の外接矩形領域が重なる画像を処理対象画像とできる情報処理装置４について説明する。なお、本実施形態における上記実施形態と同様の部分の説明は簡略化又は省略する。
【００２８】
まず、本実施形態の情報処理装置４の機能構成を説明する。情報処理装置４は、図１に示す各機能、及び、情報単位補正部を備える。情報単位補正部は、情報単位抽出部１３０が抽出した情報単位の重なりを補正する。傾き検知部１４０は、情報単位補正部が補正した情報単位について傾きを検知する。なお、情報単位補正部は補正手段の一例である。
次に、本実施形態の情報処理装置４の処理対象画像の一例となる文書画像２０１を説明する。図８は、文書画像２０１を示す図である。文書画像２０１は、図３に示す文書画像１２１と同様に、お薬手帳の１ページの画像の例である。文書画像２０１には、３つの情報単位２０２Ａ、２０２Ｂ、及び、２０２Ｃが含まれる。情報単位２０２Ａ及び情報単位２０２Ｃの外接矩形領域は、図８に破線で示され、情報単位２０２Ｂの外接矩形領域は、図８に実線で示される。図８から分かるように、情報単位２０２Ｂの外接矩形領域及び情報単位２０２Ｃの外接矩形領域には、重なる領域２０３がある。なお、重なる領域２０３は図８に斜線で示される。
【００２９】
次に、図９を参照して、情報処理装置４による画像処理を説明する。図９は、情報処理装置４による画像処理のフローチャートである。
ステップＳ２１において、領域指定部１１０は、処理対象画像１３１に対してユーザが手動で情報単位として指定する領域を受け付ける。なお、ステップＳ２１は、図４のステップＳ１１と同様の処理である。
ステップＳ２２において、構造情報抽出部１２０は、領域指定部１１０で指定された情報単位をなす領域に含まれる画素の連結情報に基づき、情報単位の構造情報を抽出する。なお、ステップＳ２２は、図４のステップＳ１２と同様の処理である。
ステップＳ２３において、情報単位抽出部１３０は、処理対象画像から連結成分を抽出し、ステップＳ２２で抽出された構造情報を満たす連結成分の塊を情報単位として抽出する。なお、ステップＳ２３は、図４のステップＳ１３と同様の処理である。
【００３０】
ステップＳ２４において、情報単位補正部は、ステップＳ２２で抽出された情報単位の重畳具合を判断し、傾き検知の前処理を行う。ここで、情報単位の重畳の判断は、ある情報単位の外接矩形領域に他の情報単位の外接矩形領域の少なくとも一部が重なるか否か、又は、ある情報単位の外接矩形領域にその他の情報単位のセグメントの少なくとも一部が含まれるか否かに基づいて行われる。情報単位補正部は、ある情報単位の外接矩形領域に他の情報単位の外接矩形領域の少なくとも一部が重なるとき、又は、ある情報単位の外接矩形領域にその他の情報単位のセグメントの少なくとも一部が含まれるとき、情報単位同士が重畳すると判断する。情報単位補正部は、情報単位同士が重畳すると判断したとき、一方の情報単位の外接矩形領域から、他方の情報単位に属するセグメントの画素群を除去する補正を行い、補正後の情報単位を、データ記憶領域１０７又は格納部２に保存する。
【００３１】
図１０を参照して、情報単位補正部が行う処理の例を説明する。図１０の情報単位領域２０４Ｂ及び２０４Ｃは、それぞれ図８に示す情報単位２０２Ｂ及び２０２Ｃの外接矩形領域である。情報単位領域２０４Ｂと情報単位領域２０４Ｃとは互いに重なる部分がある。情報単位領域２０４Ｂには、情報単位２０２Ｂに属さない画素があり、情報単位領域２０４Ｃには、情報単位２０２Ｃに属さない画素がある。このままの状態で傾き検知を行うと、正しい傾き検知ができない。
情報単位補正部は、情報単位領域２０４Ｂに情報単位領域２０４Ｃの少なくとも一部が重なると判断し、情報単位領域２０４Ｂから、情報単位２０２Ｃに属するセグメントの画素群を除去する補正を行って、情報単位２０５Ｂを生成する。同様に、情報単位補正部は、情報単位領域２０４Ｃから、情報単位２０２Ｂに属するセグメントの画素群を除去する補正を行って、情報単位２０５Ｃを生成する。
【００３２】
ステップＳ２５において、傾き検知部１４０は、ステップＳ２４で補正された情報単位毎に傾きを検知する。傾き検知部１４０は、検知した傾きを、傾き情報１１としてデータ記憶領域１０７又は格納部２に保存する。なお、傾き検知方法としては、例えば特許文献１や特許文献２に開示されているような公知の検知方法等を使用することができる。
【００３３】
本実施形態では、情報単位の外接矩形領域が重なる場合でも、情報単位から重なった部分を除去する補正をした後に傾き検知を行う。したがって、処理対象画像の情報単位の外接矩形領域に重なる部分があっても、情報単位の傾きを高精度に検知できる。
【００３４】
（第３実施形態）
上記の各実施形態では、処理対象画像においてユーザが手動で情報単位をなす領域を指定するようにした。それに対して、本実施形態では、処理対象画像が、同じ構造が繰返し配置される構成であるとき、ユーザが手動で情報単位をなす領域を指定することなく、情報処理装置４が文字領域の構造情報を自動的に抽出し、抽出された構造情報から情報単位を抽出する。なお、本実施形態における上記実施形態と同様の部分の説明は簡略化又は省略する。
【００３５】
はじめに、図１１を参照して、情報処理装置４の機能構成を説明する。図１１は、情報処理装置４の機能構成を示すブロック図である。情報処理装置４は、構造情報抽出部３１０、情報単位抽出部３２０、及び、傾き検知部３３０を備える。
構造情報抽出部３１０は、処理対象画像から、情報単位の構造情報を抽出する。情報単位の構造情報には、情報単位を構成する構成要素、構成要素のレイアウトルールが含まれる。
情報単位抽出部３２０は、構造情報抽出部３１０で抽出された構造情報に基づき、処理対象画像から、情報単位を抽出する。
傾き検知部３３０は、情報単位毎に傾きを検知する。
【００３６】
次に、図１２を参照して、情報処理装置４による画像処理を説明する。図１２は、情報処理装置４による画像処理のフローチャートである。
ステップＳ３１において、構造情報抽出部３１０は、処理対象画像から画素の連結成分を取得し、連結成分の塊であるセグメントを取得する。そして、セグメントのレイアウト特性を解析し、情報単位の論理構造の構成要素及びレイアウトルールを抽出する。ステップＳ３１の詳細は後述する。
ステップＳ３２において、情報単位抽出部１３０は、ステップＳ３１で抽出された構造情報を満たすセグメントの塊を情報単位として抽出する。なお、ステップＳ３２は、図４のステップＳ１３と同様の処理である。ただし、ステップＳ３１においてセグメントが取得されているため、ステップＳ３２では、図６に示すステップＳ１３１の処理は行わなくてもよい。
ステップＳ３３において、傾き検知部３３０は、ステップＳ３２で抽出された情報単位毎に傾きを検知する。なお、ステップＳ３３は、図４のステップＳ１４と同様の処理である。
【００３７】
次に、図１３を参照して、図１２のステップＳ３１の詳細を説明する。図１３は、構造情報を抽出する処理のフローチャートである。
ステップＳ３１１において、構造情報抽出部３１０は、処理対象画像から同じ画素値を持つ画素の連結成分及び連結領域を取得する。なお、構造情報抽出部３１０は、所定の範囲内の画素値を持つ画素が連結する領域を、連結成分として取得するようにしてもよい。
構造情報抽出部３１０は、抽出した連結領域と連結領域に関する情報とを対応付けて、データ記憶領域１０７又は格納部２に、連結領域情報１８２として保存する。連結領域情報１８２は、図７（ｆ）に示すように、各連結領域に割り当てられる識別番号、連結領域の起点Ｘ座標、起点Ｙ座標、横幅、及び、縦幅を含む。なお、構造情報抽出部３１０は、連結領域情報１８２として、連結領域ではなく、連結成分の情報を保存してもよい。
【００３８】
ステップＳ３１２において、構造情報抽出部３１０は、所定の方向、例えば、Ｘ方向の間隔が閾値Ｔ１以下である連結成分を統合して、セグメント及びセグメント領域を取得する。図１４（ａ）に、構造情報抽出部３１０が処理対象画像３０１からセグメント３０２を取得した例を示す。なお、図１４の符号のカッコ内に記載された数字は、セグメント３０２の識別番号を表す。
構造情報抽出部３１０は、取得したセグメント領域の情報を、データ記憶領域１０７又は格納部２に、セグメント領域情報３０３として保存する。セグメント領域情報３０３は、図１４（ｃ）に示すように、各セグメント領域に割り当てられる識別番号、起点Ｘ座標、起点Ｙ座標、横幅、及び、縦幅を含む。
また、構造情報抽出部３１０は、連結成分とセグメントとの対応関係を、データ記憶領域１０７又は格納部２に、第１対応情報１８４として保存する。第１対応情報１８４は、図７（ｆ）に示すように、各連結成分に割り当てられる識別番号、及び、各セグメントに割り当てられる識別番号を含む。
【００３９】
ステップＳ３１３において、構造情報抽出部３１０は、起点Ｘ座標の差が閾値Ｔ２以下の複数のセグメントを、種類が同じセグメントとして関連付ける。種類が同じセグメントは、異なる情報単位を構成するものとして扱われる。
図１４（ｂ）に、構造情報抽出部３１０が、種類が同じセグメント３０２を関連付けた例を示す。図１４（ｂ）の例では、種類が同じセグメント３０２は、同種の枠線で示されている。例えば、セグメント３０２（１）、セグメント３０２（６）、及び、セグメント３０２（１１）が同じ種類のセグメントである。
なお、ステップＳ３１３では、構造情報抽出部３１０は、起点Ｘ座標の差が閾値Ｔ２以下の複数のセグメントを、種類が同じセグメントとして関連付ける。しかし、構造情報抽出部３１０は、これ以外の方法で、種類が同じセグメントを関連付けてもよい。例えば、構造情報抽出部３１０は、起点Ｙ座標、横幅、若しくは、縦幅のいずれか１つ、又は、起点Ｘ座標、起点Ｙ座標、横幅、若しくは、縦幅のいずれか２つ以上に基づいて、種類が同じセグメントを関連付けてもよい。
【００４０】
ステップＳ３１４において、構造情報抽出部３１０は、近傍にあるセグメントであって、種類が異なるセグメントのまとまりを１つ抽出して、抽出されたまとまりに含まれるセグメントを、情報単位の論理構造の構成要素として定める。そして、構造情報抽出部３１０は、図５のステップＳ１２３と同様に、構成要素のレイアウトルールを生成する。
ここで、近傍にあるセグメントであって種類が異なるセグメントのまとまりの抽出は、例えば、次のように行われる。すなわち、同じ種類のセグメントを同種セグメント群としたとき、構造情報抽出部３１０は、文書画像１２１の＋Ｙ軸側から、同種セグメント群ごとに、同種セグメント群に含まれるセグメントに通番（１、２、３…）を振る。そして、同じ通番が振られたセグメントの群を、近傍にあるセグメントであって、種類が異なるセグメントのまとまりとする。構造情報抽出部３１０は、このセグメントのまとまりを、近傍にあるセグメントであって種類が異なるセグメントのまとまりとして抽出する。
【００４１】
本実施形態では、ユーザが手動で情報単位をなす領域を指定することなく、構造情報を抽出し、情報単位を抽出することで、情報単位毎の傾き検知が可能になる。したがって、ユーザが手動で情報単位をなす領域を指定することなく、情報単位毎に表示方向を正しく補正したり、表示方向を補正した情報単位から文字情報を正しく認識したりすることが可能になる。
【００４２】
（第４実施形態）
上記の各実施形態は、同じ構造を持つ文字領域が繰り返して配置される画像を処理対象とする。本実施形態では、同じ構造を持つ文字領域が繰り返して配置されるか否かが不明な画像であっても、処理対象とする。したがって、本実施形態では、レイアウトに周期性がない画像を処理対象にできる。なお、本実施形態における上記実施形態と同様の部分の説明は簡略化又は省略する。
【００４３】
はじめに、図１５を参照して、情報処理装置４による画像処理を説明する。図１５は、情報処理装置４による画像処理のフローチャートである。
ステップＳ４１において、構造情報抽出部３１０は、処理対象画像から画素の連結成分を取得し、連結成分の塊であるセグメントを取得する。そして、セグメントのレイアウト特性を解析し、情報単位の論理構造の構成要素及びレイアウトルールを抽出する。なお、ステップＳ４１は、図１２のステップＳ３１と同様の処理である。
【００４４】
ステップＳ４２において、ＣＰＵ１０２は、処理対象画像のレイアウトに周期性があるか否かを判断する。ＣＰＵ１０２は、ステップＳ４２で構造情報が抽出されたとき、レイアウトに周期性があると判断する。構造情報が抽出されたか否かの判断は、次のように行われる。ステップＳ４１において、同じ種類のセグメントは互いに関連付けられている。ＣＰＵ１０２は、近傍にあるセグメントであって種類が異なるセグメントのまとまりが複数あるとき、それぞれのまとまりが情報単位であり、情報単位が複数あるとして、構造情報が抽出されたと判断する。なお、近傍にあるセグメントであって種類が異なるセグメントのまとまりの抽出は、図１３のステップＳ３１４で説明した処理と同様に行われる。
ＣＰＵ１０２は、処理対象画像のレイアウトに周期性があると判断したとき処理をステップＳ４３に進め、処理対象画像のレイアウトに周期性がないと判断したとき処理をステップＳ４５に進める。なお、ステップＳ４２は制御手段による処理の一例である。
ステップＳ４３において、情報単位抽出部１３０は、ステップＳ４１で抽出された構造情報を満たすセグメントの塊を情報単位として抽出する。なお、ステップＳ４３は、図４のステップＳ１３と同様の処理である。ただし、ステップＳ４１においてセグメントが取得されているため、ステップＳ４３では、図６に示すステップＳ１３１の処理は行わなくてもよい。
ステップＳ４４において、傾き検知部１４０は、ステップＳ４３で抽出された情報単位毎に傾きを検知する。なお、ステップＳ４４は、図４のステップＳ１４と同様の処理である。
【００４５】
ステップＳ４５において、ＣＰＵ１０２は、処理対象画像から文字領域を抽出する。なお、文字領域の抽出には、公知の文字領域の抽出技術を用いることができる。また、ステップＳ４５は文字抽出手段による処理の一例である。
ステップＳ４６において、傾き検知部１４０は、ステップＳ４５で抽出された文字領域毎に傾きを検知する。傾き検知部１４０は、検知した傾きを、傾き情報１１としてデータ記憶領域１０７又は格納部２に保存する。
【００４６】
本実施形態では、同じ構造を持つ文字領域が繰り返して配置されるような画像ではなくても、文字領域の傾き検知を正確に行える。また、上記の各実施形態と同様に、同じ構造を持つ文字領域が繰り返して配置されるような画像については、情報単位毎に表示方向を正しく補正したり、表示方向を補正した情報単位から文字情報を正しく認識したりすることが可能になる。
【００４７】
（第５実施形態）
上記の各実施形態には、単一の論理構造を持つ画像を対象とする処理が含まれる。単一の論理構造とは、情報単位が１種類である構造のことである。本実施形態では、複数の論理構造を持つ画像を対象にできる。複数の論理構造とは、情報単位が２種類以上ある構造のことである。なお、本実施形態における上記実施形態と同様の部分の説明は簡略化又は省略する。
【００４８】
はじめに、図１６を参照して、処理対象画像の一例となる文書画像５０１を説明する。図１６は、文書画像５０１を示す図である。文書画像５０１は、図１６に示す通り、異なる種類の情報単位５０２及び情報単位５０４がそれぞれ周期的に配置される。
次に、図１７を参照して、情報処理装置４による画像処理を説明する。図１７は、情報処理装置４による画像処理のフローチャートである。
ステップＳ５１において、領域指定部１１０は、文書画像５０１に対してユーザが手動で情報単位として指定する領域（情報単位）を受け付ける。第１実施形態と異なり、ユーザは、情報単位として、複数の領域を指定する。領域指定部１１０は、ユーザが指定したすべての情報単位を受け付ける。図１６に示す例では、ユーザは、情報単位５０２Ａ及び情報単位５０４Ａを指定し、領域指定部１１０は情報単位５０２Ａ及び情報単位５０４Ａを受け付ける。
【００４９】
ステップＳ５２において、構造情報抽出部１２０は、領域指定部１１０が受け付けた情報単位をなす領域のそれぞれについて、情報単位の構造情報１０を抽出する。情報単位の構造情報１０を抽出する処理は、図４のステップＳ１２と同様である。
ステップＳ５３において、情報単位抽出部１３０は、ステップＳ５２で抽出されたそれぞれの構造情報を満たすセグメントの塊を情報単位として抽出する。なお、情報単位の抽出処理は、図４のステップＳ１３と同様の処理である。
ステップＳ５４において、傾き検知部１４０は、ステップＳ５３で抽出された情報単位毎に傾きを検知する。なお、ステップＳ５４は、図４のステップＳ１４と同様の処理である。
【００５０】
本実施形態では、複数の論理構造を持つ画像であっても、それぞれの論理構造に対応する情報単位を抽出して、情報単位毎の正確な傾き検知が可能になる。
なお、本実施形態では、ユーザが予め処理対象画像に対して情報単位をなす領域を指定するものであった。ユーザが予め情報単位をなす領域を指定しない場合、情報処理装置４は、処理対象画像から構造情報を抽出し、複数の種類の構造情報があるか否かを判断して、それぞれの構造情報を満たす情報単位を抽出するようにしてもよい。
【００５１】
（その他の実施形態）
上記の実施形態では、情報処理装置４への入力画像は、１枚の文書の紙面に基づく文書画像であり、情報処理装置４は、この入力画像を処理対象画像として上述した画像処理が実施するものである。しかし、情報処理装置４への入力画像は、複数枚の文書の紙面に基づく複数の文書画像を含む画像であってもよい。入力画像が複数の文書画像を含む場合、文書画像は四辺に収まるという特徴を利用し、情報処理装置４は、入力画像に含まれるそれぞれの文書画像の領域を四辺検出により特定する。情報処理装置４は、特定した文書画像の領域のそれぞれを処理対象画像として上述した画像処理を行う。
また、上記の実施形態では、お薬手帳の画像のように文字領域のレイアウトが周期的に配置される画像を例にしたが、スタンプ等による図形が周期的に配置される画像を、情報処理装置４の処理対象画像としてもよい。
【００５２】
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
なお、記憶媒体として、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
上記の実施形態の機能の少なくとも一部がコンピュータ上で稼働しているＯＳ（オペレーティングシステム）により行われてもよい。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５３】
１１０  領域指定部
１２０  構造情報抽出部
１３０  情報単位抽出部
１４０  傾き検知部
【図１】
2017045275.tif 000003
【図２】
2017045275.tif 000004
【図３】
2017045275.tif 000005
【図４】
2017045275.tif 000006
【図５】
2017045275.tif 000007
【図６】
2017045275.tif 000008
【図７】
2017045275.tif 000009
【図８】
2017045275.tif 000010
【図９】
2017045275.tif 000011
【図１０】
2017045275.tif 000012
【図１１】
2017045275.tif 000013
【図１２】
2017045275.tif 000014
【図１３】
2017045275.tif 000015
【図１４】
2017045275.tif 000016
【図１５】
2017045275.tif 000017
【図１６】
2017045275.tif 000018
【図１７】
2017045275.tif 000019