(57)【要約】【課題】  照明などの撮像条件の影響を受けやすい物体の撮像画像から、印刷された文字の正しい認識が困難である場合がある。【解決手段】  画像処理装置は、複数の文字列が印字された物体の画像を入力する入力手段と、前記文字列を含む文字領域を前記画像から抽出する抽出手段と、前記文字領域に対して文字認識処理を行い、前記文字認識処理の結果としての文字列を出力する認識手段と、同一の文字列をそれぞれ含む複数の文字領域を推定する推定手段と、推定された複数の前記文字領域に対する前記文字認識処理の結果として出力された複数の前記文字列の同じ位置における前記文字から、一致する前記文字を選択する選択手段と、前記選択手段によって選択された前記文字で構成する文字列を出力する出力手段と、を備えることにより、画像の文字領域から一部の文字を正確に認識できない場合でも、繰返し印字されている文字列を精度良く認識することができる。【選択図】  図２
2017027530.tif 000002
【特許請求の範囲】
【請求項１】
複数の文字列が印字された物体の画像を入力する入力手段と、
前記文字列を含む文字領域を前記画像から抽出する抽出手段と、
前記文字領域に対して文字認識処理を行い、前記文字認識処理の結果としての文字列を出力する認識手段と、
同一の文字列をそれぞれ含む複数の文字領域を推定する推定手段と、
推定された複数の前記文字領域に対する前記文字認識処理の結果として出力された複数の前記文字列の同じ位置にある文字から、一致する文字を選択する選択手段と、
前記選択手段によって選択された前記文字で構成する文字列を出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
推定された複数の前記文字領域に対する前記文字認識処理の結果として出力された複数の前記文字列の同じ位置にある文字において、一致する文字がない場合、
前記認識手段は、前記文字列の同じ位置にある前記文字のそれぞれの信頼度をさらに出力し、前記選択手段は、前記信頼度の最も高い文字を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
推定された複数の前記文字領域に対する前記文字認識処理の結果として出力された複数の前記文字列の同じ位置にある文字において、一致する文字と、一致する該文字と異なる文字とがある場合、
前記認識手段は、一致する前記文字のそれぞれの信頼度をさらに出力し、前記選択手段は、一致する前記文字の前記信頼度が所定値以上である場合、一致する前記文字を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記推定手段は、前記文字領域の幅の差が所定値以下である複数の文字領域を、同一の前記文字列をそれぞれ含む複数の前記文字領域として推定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記推定手段は、隣り合う前記文字領域の間隔の差が所定値以下である複数の文字領域を、同一の前記文字列をそれぞれ含む複数の前記文字領域として推定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項６】
前記推定手段は、前記認識手段によって認識された前記文字列が一致する度合いが所定値以上である複数の文字領域を、同一の前記文字列をそれぞれ含む複数の前記文字領域として推定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項７】
前記推定手段は、前記認識手段によって認識された前記文字列に含まる前記文字の数が同じである複数の前記文字領域を、同一の前記文字列をそれぞれ含む複数の前記文字領域として推定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項８】
前記物体はカプセル又は錠剤を包装するＰＴＰシートであって、前記ＰＴＰシートに薬剤名又は薬剤規格の前記文字列が繰返し印字されていることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記認識手段は、繰返し印字されている前記薬剤名の領域に対する前記文字認識処理の結果としてカタカナの文字列を、繰返し印字されている前記薬剤規格の領域に対する前記文字認識処理の結果として英数字の文字列を、それぞれ出力し、
前記選択手段は、複数の前記カタカナの文字列の同じ位置にあるカタカナから、一致するカタカナを選択し、複数の前記英数字の文字列の同じ位置にある英数字から、一致する英数字を選択し、
前記出力手段は、前記選択手段によって選択された前記カタカナで構成する文字列を前記薬剤名として出力し、前記選択手段によって選択された前記英数字で構成する文字列を前記薬剤規格として出力することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記出力手段によって出力された前記薬剤名と、前記出力手段によって出力された前記薬剤規格と、を関連付ける関連付け手段とをさらに備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記抽出手段は、前記入力手段によって入力された前記画像から前記カプセル又は前記錠剤の画像領域をさらに抽出し、
前記画像領域から前記カプセル又は前記錠剤の色情報と形状情報とを特定し、前記色情報と前記形状情報とから前記薬剤名と前記薬剤規格との候補を特定する特定手段と、
前記出力手段によって出力された前記薬剤名又は前記薬剤規格は、前記特定手段によって特定された前記候補に含まれるかを判定する判定手段をと、をさらに備えることを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
前記出力手段によって出力された前記薬剤名又は前記薬剤規格は、前記特定手段によって特定された前記候補に含まれないと判定された場合、前記出力手段は、エラーメッセージを出力することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
複数の文字列が印字された物体の画像を入力する入力工程と、
前記文字列を含む文字領域を前記画像から抽出する抽出工程と、
前記文字領域に対して文字認識処理を行い、前記文字認識処理の結果としての文字列を出力する認識工程と、
同一の文字列をそれぞれ含む複数の文字領域を推定する推定工程と、
推定された複数の前記文字領域に対する前記文字認識処理の結果として出力された複数の前記文字列の同じ位置における前記文字から、一致する前記文字を選択する選択工程と、
前記選択手段によって選択された前記文字で構成する文字列を出力する出力工程と、
を備えることを特徴とする画像処理方法。
【請求項１４】
複数の文字列が印字された物体の画像を入力する入力ステップと、
前記文字列を含む文字領域を前記画像から抽出する抽出ステップと、
前記文字領域に対して文字認識処理を行い、前記文字認識処理の結果としての文字列を出力する認識ステップと、
同一の文字列をそれぞれ含む複数の文字領域を推定する推定ステップと、
推定された複数の前記文字領域に対する前記文字認識処理の結果として出力された複数の前記文字列の同じ位置における前記文字から、一致する前記文字を選択する選択ステップと、
前記選択手段によって選択された前記文字で構成する文字列を出力する出力ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字列が印字されている物体の画像から文字列を認識する技術に関するものである。
【背景技術】
【０００２】
従来、入力画像から抽出された文字領域に対して、文字認識辞書を用いて文字認識処理を行う画像処理装置が知られている。このような画像処理装置が応用される様々なケースでは、文字認識の精度が最も重要視されている性能の一つである。
【０００３】
特許文献１では、認識対象に含まれる文字ごとに認識候補文字を判定し、認識候補文字ごとに認識信頼度を求めて、単語候補生成時に各認識候補文字の認識信頼度に基づいて、各単語候補の優先度を求めることにより、単語の認識精度を高める試みがあった。
【０００４】
文字認識処理を行う画像処理装置の応用例として、調剤薬局などにおいて薬剤を包装するＰＴＰ（Ｐｒｅｓｓ  Ｔｈｒｏｕｇｈ  Ｐａｃｋａｇｅ）シートの包装材の画像から、薬剤の包装に印刷されている薬剤名が文字認識処理によって読み取られることがある。
【０００５】
特許文献２では、包装材で包装された薬剤の薬剤名を認識するための複数の参照画像を予め記憶する。包装された薬剤の画像と記憶された参照画像とを比較し、薬剤名画像部分の照合結果に基づき包装された薬剤の薬剤名を認識している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１６３８３０号公報
【特許文献２】特許第４９２３２８２号公報
【特許文献３】特開２００２−３１４８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、照明などの撮像条件の影響を受けやすい又は折れている物体の撮像画像、例えばＰＴＰ包装材などの物体の撮像画像から、印刷された文字の正しい認識が困難である場合が多い。
【０００８】
特許文献１の方法では、単語ごとに認識処理を行うので、ＰＴＰ包装材などに繰返し印刷された文字列でも、異なる認識結果が得られることがある。異なる認識結果のうち、どれが正しい認識結果か選ぶことが困難ので、正しい文字認識結果が得られることが困難である。
【０００９】
特許文献２の方法では、アルミフィルム材など、カブセルや錠剤を包装するＰＴＰシートの包装材の画像から薬剤名を認識するために、薬剤名画像部分と照合することが前提となっているので、薬剤の複数の参照画像を事前に用意しなければならない。また、包装材の撮像画像は照明などの撮像条件の影響を受けやすいので、部分画像の照合だけでは薬剤名の高精度の認識が困難である。
【００１０】
本発明は、このような問題点に鑑みてなされたものである。画像の文字領域から一部の文字を正確に認識できない場合でも、繰返し印字されている同一の文字列を用いて、正確に認識できなかった文字列の認識精度を高める画像処理装置を提供することを目的とする。また、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述の課題を解決するための画像処理装置は、以下の構成を備える。すなわち、複数の文字列が印字された物体の画像を入力する入力手段と、前記文字列を含む文字領域を前記画像から抽出する抽出手段と、前記文字領域に対して文字認識処理を行い、前記文字認識処理の結果としての文字列を出力する認識手段と、同一の文字列をそれぞれ含む複数の文字領域を推定する推定手段と、推定された複数の前記文字領域に対する前記文字認識処理の結果として出力された複数の前記文字列の同じ位置における前記文字から、一致する前記文字を選択する選択手段と、前記選択手段によって選択された前記文字で構成する文字列を出力する出力手段と、を備える。
【発明の効果】
【００１２】
画像の文字領域から一部の文字を正確に認識できない場合でも、繰返し印字されている同一の文字列を用いて、正確に認識できなかった文字列の認識精度を高めることができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態の画像処理装置のハードウェア構成例を示すブロック図
【図２】第１の実施形態の画像処理装置の機能構成例を示すブロック図
【図３】ＰＴＰに包装されている薬剤画像の一例を示す模式図
【図４】第１の実施形態に係る画像処理装置による文字認識処理の処理手順の一例を示すフローチャート
【図５】第１の実施形態の文字領域のグループ化処理の手順の一例を示すフローチャート
【図６】第１の実施形態の文字認識結果の選択処理の手順の一例を示すフローチャート
【図７】第１の実施形態において、入力画像から認識された文字列の一例を示す模式図である。
【図８】第２の実施形態の文字認識結果の選択処理の手順の一例を示すフローチャート
【図９】第２の実施形態において、入力画像から認識された文字列の一例を示す模式図
【図１０】第３の実施形態に係る画像処理装置による文字認識処理の処理手順の一例を示すフローチャート
【図１１】第３の実施形態の情報統合処理の手順の一例を示すフローチャート
【図１２】第３の実施形態において、情報統合処理の結果の一例を示す模式図
【図１３】第４の実施形態に係る画像処理装置による文字認識処理の処理手順の一例を示すフローチャート
【図１４】第４の実施形態において、入力画像から特定された情報の一例を示す模式図
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本実施形態の画像処理装置について詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術の範囲は、特許請求の範囲によって確定されるものであって、以下の個別の実施形態によって限定されるわけではない。
【００１５】
＜第１の実施形態＞
まず、本実施形態の画像処理装置のコンピュータ装置１０１の構成について、図１のブロック図を参照して説明する。なお、画像処理装置は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。
【００１６】
図１において、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０２は、各種処理のための演算や論理判断などを行い、バス１０６に接続された各種要素を制御する。ＲＯＭ１０３は変更を必要としないプログラムやパラメータを格納するＲｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙである。ＲＡＭ１０４は外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙである。ＣＰＵ１０２は、ＲＯＭ１０３のプログラム用記憶領域からＲＡＭ１０４に読み込んだプログラムを解釈・実行することによって画像処理装置の各種処理を行う。
【００１７】
記憶部１０５はコンピュータ装置１０１に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、記憶部１０５は、外部接続やネットワークに接続された不図示の外部記憶装置を用いてもよい。入力部１０７はユーザの操作を受け、外部の撮像装置の画像データ等を入力する入力デバイスである。表示部１０８はコンピュータ装置１０１の保持するデータやＣＰＵ１０２の処理で得られたデータを表示するための表示インターフェイスである。通信インターフェイス１０９はインターネットなどに接続し、外部とデータ入出力をするための通信インターフェイスである。
【００１８】
以下、本実施形態の画像処理装置の機能構成について図２を用いて説明する。
【００１９】
図２に示すように、画像処理装置２０１は、画像入力部２０２、抽出部２０３、文字認識部２０４、推定部２０５、選択部２０６および出力部２０７から構成されている。画像入力部２０２は、ＰＴＰシートの包装材の画像の入力を受け付ける。包装材の画像は画像処理装置２０１の外部にある非図示の撮像装置から入力される撮像画像である。また、包装材の画像は非図示のサーバから入力される画像であってもよい。抽出部２０３は、入力された画像を解析し、文字領域を抽出する。文字認識部２０４は、抽出された文字領域に対して、文字認識処理を行う。推定部２０５は、ＰＴＰシートの包装材に薬剤名や薬剤情報等の文字列が繰返し印字されている文字領域を推定する。選択部２０６は、文字認識処理の結果から薬剤名や薬剤情報等の文字列を構成する文字を選択する。出力部２０７は、選択された文字で構成した文字列を薬剤名や薬剤情報等の認識結果として出力する。以下、本実施形態の画像処理装置２０１の処理の詳細について、図３〜７を用いて説明する。
【００２０】
次に、本実施形態における処理対象となる入力画像の一例について説明する。図３は、本実施形態のＰＴＰに包装されている薬剤画像の一例を示す模式図である。図３に示すように、一般的に薬剤の包装においては、ＰＴＰの片面に薬剤の名称や規格などが繰返し印字されている。本実施形態に係る画像処理装置において、このような薬剤の名称や規格などの文字列が繰返し印字されている画像を処理対象とする。図３（ａ）は、薬剤の名称と規格とがペアで印字されている画像の例である。また、薬剤１つの位置と薬剤の名称１つの位置との関係が一定を保ち固定されている。図３（ｂ）は、薬剤１つの位置と薬剤の名称１つの位置との関係が一定ではない。しかも、薬剤の名称と規格との一部が切れている画像例である。薬剤の名称は、以下、薬剤名、とも呼ぶ。
【００２１】
次に、本実施形態に係る画像処理装置に入力された処理対象の入力画像に対して、本実施形態に係る画像処理装置による処理手順について図４のフローチャートを用いて説明する。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。ここで、図３に示す薬剤画像が画像入力部２０２によって入力されたとして、入力された薬剤画像に対する処理手順について説明する。まず、ステップＳ４０１において、画像処理装置の抽出部２０３は、入力画像のレイアウトを解析し、文字領域や写真領域に分割して、文字領域を抽出する。なお、領域を解析して文字領域を抽出する方法として、例えば特許文献３で開示されている公知の方法等を使用することができる。続いて、ステップＳ４０２において、画像処理装置の文字認識部２０４は、画像解析の結果から抽出された文字領域にある文字を認識する。なお、このステップの処理では、公知の文字認識方法を使用する。例えば特許文献１で開示されている公知の文字認識方法等を使用することができる。続いて、ステップＳ４０３において、画像処理装置の推定部２０５は、すべての文字領域の中から同じ文字列が繰返し印字されている文字領域を推定する。この文字領域の推定処理は、本実施形態では同じ文字列が繰返し印字されている文字領域のグループ化処理である。グループ化処理の詳細について後述する。続いて、ステップＳ４０４において、グループ処理化の結果、同じ文字列が含まれる複数の文字領域のグループができたかどうかを判断する。このグループ化処理の後に、同じ文字列が含まれる複数の文字領域のグループが生成されたのであれば、グループ化ができたと判断する。推定部２０５は、このグループ化処理によって、同じ文字列が繰返し印字されている文字領域を推定する。
【００２２】
ステップＳ４０５において、画像処理装置の選択部２０６は、同じ文字列が含まれると推定された文字領域のグループに含まれる各文字領域の文字認識結果から、最も正しいと判断される文字認識結果を選択する。なお、この文字認識結果の選択処理の詳細について後述する。
【００２３】
次に、ステップＳ４０３における文字領域のグループ化処理について図５を用いて詳細に説明する。図５は、本実施形態の文字領域のグループ化処理の手順の一例を示すフローチャートである。先ず、ステップＳ５０１において、抽出部２０３は、領域解析により抽出した文字領域の情報、即ち、各文字領域の位置を示す座標情報と各文字領域の大きさを示す幅情報を推定部２０５に入力する。そして、文字認識部２０４は、文字認識処理により取得された各文字領域にある文字パターンの認識結果を特定部２０５に入力する。文字パターンの認識結果は、例えば、文字パターンに対応する文字コードである。
【００２４】
続いて、推定部２０５は、ステップＳ５０２からステップＳ５０５までの処理において、抽出部２０３で抽出され文字領域のうち、同じ文字列が繰返し印字されている文字領域を推定する。具体的な推定方法として、ステップＳ５０２では、文字領域の幅の差が閾値Ｔ１以下（所定値以下）の文字領域であるかどうかを判断する。ステップＳ５０３では、隣り合う文字領域の間隔の差は閾値Ｔ２以下（所定値以下）であるかどうかを判断する。ステップＳ５０４では、推定部２０５は、文字認識部２０４による複数の文字領域の認識結果をそれぞれ比較し、認識結果が一致する度合い（一致する文字数の比率など）が閾値Ｔ３以上（所定値以上）であるかどうかを判断する。
【００２５】
ステップＳ５０２での判断処理によって、薬剤の包装（ＰＴＰ）に繰返し印字されている文字列の幅の差が所定値以下であれば、同じ文字列が印字されていると推定する。ステップＳ５０３での判断処理によって、薬剤の包装（ＰＴＰ）に繰返し印字されている文字列の隣り合う文字領域の間隔の差が所定値以下であれば、同じ文字列が印字されていると推定する。ステップＳ５０４での判断処理によって、認識結果が一致する度合いが所定値以上であれば、同じ文字列が印字されていると推定する。従って、ステップＳ５０２からステップＳ５０４までの処理において、いずれかの判断条件を満たす文字領域が見つかれば、ステップＳ５０５では、推定部２０５は、これらの文字領域を一つのグループとする。これにより、文字列が繰返し印字されている文字領域のグループが推定される。
【００２６】
続いて、ステップＳ５０６では、未処理の文字領域があるかどうかを判断する。まだ未処理の文字領域があれば、ステップＳ５０２に戻り、ステップＳ５０２からステップＳ５０５までの処理を繰り返して実行するが、未処理の文字領域がなければ、文字領域のグループ化処理が終了する。
【００２７】
次に、ステップＳ４０５における文字認識結果の選択処理について説明する。図６は、本実施形態の文字認識結果の選択処理の手順の一例を示すフローチャートである。先ず、ステップＳ６０１において、文字認識部２０４と推定部２０５とから各文字領域グループの情報が選択部２０６に入力される。各文字領域グループの情報に、各文字領域グループに含まれる各文字領域に含まれる各文字の認識結果と各文字の認識結果の信頼度が含まれる。ここで、文字の認識結果の信頼度は、認識結果が正解である確率を示す数字で、数字が高いほど、正解である確率が高い。本実施形態では、信頼度は、文字認識部２０４によって、例えば、文字認識用辞書に登録されている文字パターンの特徴との類似度に基づき計算される。また、信頼度は、例えば特許文献１で開示されている算出方法を用いて、文字認識部２０４が算出してもよい。
【００２８】
続いて、ステップＳ６０２からステップＳ６０６までの処理において、選択部２０６は、同じグループの各文字領域に含まれる各文字の認識結果から、各文字領域に含まれる各文字の認識結果として最も正しいと判断されるものを選択する。この選択処理について詳細に説明する。ステップＳ６０２では、処理対象となる文字領域グループに包含される複数の文字領域の文字認識結果である文字列の同じ位置の文字の文字認識結果は全部同じであれば、ステップＳ６０３では、その文字の文字認識結果を正しい文字認識結果として選択する。なお、文字の認識結果は同じであるかどうかは、例えば、文字パターンに対応する文字コードが同じであるかどうかによって判断される。また、複数の文字領域の文字認識結果である複数の文字列の同じ位置に、全ての文字認識結果が同じではなく、一部の文字認識結果だけが同じでも、その文字認識結果を当該文字の正しい認識結果として選択してもよい。この場合、選択部２０６は、さらに、その文字認識結果の信頼度が所定値以上であるかを判定し、所定値以上であれば、その文字認識結果として正しい文字認識結果として選択してもよい。
【００２９】
処理対象となる文字領域グループに包含される、複数の文字領域の文字認識結果である文字列の同じ位置の文字の認識結果が同じでなければ、ステップＳ６０４で各文字の文字認識結果から文字認識結果の信頼度の高いものを当該文字の認識結果として選択する。ステップＳ６０５では、処理対象となる文字領域グループに含まれる各文字の認識結果の選択処理が終わったかどうかを判断する。まだ未処理の文字があれば、ステップＳ６０２に戻り、ステップＳ６０２からステップＳ６０４までの処理を繰り返し実行する。未処理の文字がなければ、当該処理対象となる文字領域グループの情報特定処理を終了し、ステップＳ６０６に入る。
【００３０】
ステップＳ６０６では、全ての文字領域グループの処理が終わったかどうかを判断する。まだ未処理の文字領域グループがあれば、上記ステップＳ６０２からステップＳ６０５までの処理を繰り返し実行する。未処理の文字領域グループがなければ、文字認識結果の選択処理が終了する。
【００３１】
次に、本実施形態における文字認識結果の選択処理の結果の一例について説明する。図７は、本実施形態の一連の処理の結果の一例を示す模式図である。ここで、薬剤の情報として薬剤の名称や規格が挙げられる。図７（ａ）は、入力画像から複数の文字領域が抽出部２０３によって抽出された結果例である。矩形に囲まれる文字列の塊は個々の文字領域として抽出される。図７（ｂ）は、推定部２０５が、抽出された複数の文字領域の中から、文字列が繰返し印字されていると推定された文字領域のグループの例である。周期性のある文字領域は、同一の文字列が規則的に繰返し印字されている文字領域である。図７（ｂ）に示す例では、実線矩形に囲まれる文字領域のグループは文字領域グループ１として、点線矩形に囲まれる文字領域のグループは文字領域グループ２としてグループ化されたものである。
【００３２】
図７（ｃ）は、文字領域グループ１に含まれる各文字領域の文字認識結果から、文字領域に含まれる各文字の最も正しい文字認識結果として、選択部２０６が選択した結果の例である。文字領域グループ１に属する各文字領域の文字認識結果の中に、左から２番目の文字、３番目の文字、そして、５番目の文字の認識結果は全部同じである。そこで、当該文字領域の左から２番目の文字の認識結果を「イ」、２番目の文字の認識結果を「シ」、３番目の文字の認識結果を「ウ」として選択する。残りの左から１番目と４番目の文字に関して、文字認識結果は全部同じではなく、異なる文字認識結果もある。この場合は、各文字の認識結果の信頼度に基づき選択する。
【００３３】
文字領域１、文字領域５と文字領域６の左から４番目の文字の認識結果「ョ」で信頼度１００に対して、文字領域２の対応文字の認識結果「ヨ」で信頼度５０である。即ち、左から４番目の文字の文字認識結果が全部同じではないが、一部の文字認識結果が同じであって、且つその文字の文字認識結果の信頼度が異なる文字認識結果の信頼度より高い。ここで、文字領域の同じ文字認識結果「ョ」を４番目の文字の文字認識結果として選択する。同様に、左から１番目の文字の文字認識結果に対して、認識結果「メ」を選択する。また、異なる文字認識結果がある場合は、一致する文字認識結果の信頼度が所定値（例えば７０）以上である場合、一致する文字認識結果を選択してもよい。なお、図７の例では示していないが、一致する文字認識結果がなければ、異なる文字認識結果から、信頼度の最も高い文字を最も正しい認識結果として選択してもよい。
【００３４】
本実施形態では、文字列が繰返し印字されている文字領域をグループ化し、同一の文字列が印字されている文字領域のグループに属する各文字領域の文字ごとの文字認識結果およびその信頼度に基づき、文字認識結果を選択するものである。本実施形態では、文字領域のグループ化処理では、文字領域の幅、文字領域間の間隔、文字領域の認識結果の何れか一つ以上の所定条件を満たす文字領域を同一の文字列が印字されている文字領域と推定して同じグループとした。これら以外の文字特性を利用してグループ化処理を行っても良い。また、本実施形態では、一枚のＰＴＰ包装材画像を対象に行った処理例に示したが、複数枚のＰＴＰ包装材画像の文字認識結果の統計情報などを利用しても良い。
【００３５】
また、本実施形態では、同一の文字領域グループに含まれる全ての文字領域の認識結果を用いた処理例にしたが、同一の文字領域グループに含まれる一部の文字領域を使っても良い。例えば、文字領域グループに含まれる文字領域に対して、選択部２０６は、各文字領域の文字認識結果に対して順番に文字認識結果を選択する処理を行って、所定の信頼度以上の認識結果を選択できた時点で選択処理を終了しても良い。
【００３６】
本実施形態によれば、一部の文字を正しく認識できなくても、文字列が繰返し印字されている複数の文字領域の文字認識結果を用いて、文字領域の認識精度を高めることが可能になる。
【００３７】
＜第２の実施形態＞
次に、第２の実施形態について説明する。本実施形態の画像処理装置の構成は、第１の実施形態と基本的に同様である。第１の実施形態の構成と同様な構成について説明を省略する。
【００３８】
第１の実施形態では、画像にある各文字領域の記載は全て文字列の始まりから終わりまでが印字されている完全なものであった。本実施形態では、一部記載が切れている文字領域がある。本実施形態に係る画像処理装置の文字認識処理の手順は、図４に示す第１の実施形態に係る画像処理装置の処理手順と基本的に同様であるが、ステップＳ４０３の推定処理が異なるので、以下、その詳細を説明する。なお、本実施形態は、図３（ｂ）に示されるような画像を処理することを想定するものである。
【００３９】
次に、ステップＳ４０３における推定処理について説明する。図８は、本実施形態のステップＳ４０３における推定処理（グループ化処理）の手順の一例を示すフローチャートである。先ず、ステップＳ８０１において、推定部２０５に各文字領域の情報が入力される。文字領域の情報は、各文字領域の位置情報と認識情報を含む。また、文字領域の認識情報として文字領域に含まれる各文字の認識結果や文字数が含まれる。
【００４０】
続いて、ステップＳ８０２において、推定部２０６は、処理対象となる複数の文字領域の中に、同じ文字列が繰返し印字されている文字領域を推定する。ここで、印字されている文字列の表記が完全である文字領域を推定する。この処理では、各文字領域の文字認識結果に基づいて、文字列の文字数が多く、且つ文字数が同じである文字領域をグループ化する。さらに、画像の端に位置しないことをグループ化の条件として加えてもよい。
【００４１】
続いて、ステップＳ８０３において、選択部２０６は、第１の実施形態と同様に、グループ化された各文字領域の文字認識結果から、文字認識結果を選択する。
【００４２】
ステップＳ８０４では、推定部２０５は、全ての文字領域のグループ化処理が終わっているかどうかを判断する。まだ未処理の文字領域があれば、上記ステップＳ８０２からステップＳ８０３までの処理を繰り返し実行する。未処理の文字領域がなければ、処理を終了する。
【００４３】
次に、本件実施形態の処理結果の一例について図９を用いて説明する。
【００４４】
図９は、本実施形態の処理結果の一例を示す模式図である。図９（ａ）は、入力画像に対するステップＳ４０１〜ステップＳ４０３の処理によって、文字領域グループ１にグループ化された各文字領域の例で、各文字領域は矩形枠に囲まれている。
【００４５】
図９（ｂ）は、文字領域グループ１に含まれる各文字領域の特性情報、即ち、文字領域に含まれる文字列の文字数や文字領域の座標情報に基づき、完全な文字列が印字されている文字領域を推定する例である。ここで、文字領域の座標情報として、その文字領域のＸ起点、Ｙ起点、Ｘ終点、Ｙ終点を順番に記録する。○付き領域番号の示す文字領域は、グループ１にある複数文字領域の中から、文字数が同じであり、且つ文字数が多く、しかも、画像の端に位置しない文字領域であって、完全な文字列が印字されている文字領域として推定されたものである。この処理例では、文字領域グループ１にある六つの文字領域のうち、文字領域２、４、５、６が完全な文字列が印字されている文字領域として推定され、グループ化された。
【００４６】
図９（ｃ）は、全ての文字領域を対象に、文字認識部２０４が各文字領域に対する文字認識処理を行った結果を示した例である。推定部２０５は、各文字領域の認識結果の文字数に基づいて、完全な文字列が印字されている文字領域であると推定した文字領域２、４、５、６をグループ化する。選択部２０６は、同じグループの文字領域の文字認識結果から、全て一致する文字認識結果選択する。出力部２０７は、選択された文字ごとの文字認識結果で構成する文字列を最も正しい文字認識結果として出力する。その結果、「メイショウ」が最も正しい文字認識結果として出力された。
【００４７】
本実施形態では、薬剤の包装（ＰＴＰ）に繰返し印字されている文字列の一部の表記が切れてしまう場合を想定し、文字領域のグループ処理化の際に、各文字領域の文字数に基づき、完全な文字列が印字されている文字領域を特定するものである。本実施形態では、完全な文字列が印字されている文字領域の推定に文字領域にある文字数や文字領域の位置情報を用いたが、それ以外の特徴を用いて推定しても良い。
【００４８】
本実施形態によれば、印字されている文字列が不完全な文字領域がある場合でも、完全な文字列が印字されている文字領域を推定し、正しい文字認識結果を選択し、文字認識を高精度に行うことが可能になる。
【００４９】
＜第３の実施形態＞
次に、第３の実施形態について説明する。本実施形態の画像処理装置の構成は、第１の実施形態と基本的に同様である。第１の実施形態の構成と同様な構成について説明を省略する。
【００５０】
上述した第１、第２の実施形態では、文字情報を小さい単位で個別に抽出するものであった。第３の実施形態では、抽出される各文字情報の関係性を判定し、関連性のある文字情報を纏まった形で抽出するものである。
【００５１】
次に、本実施形態に係る画像処理装置の処理手順について説明する。図１０は、本実施形態に係る画像処理装置の処理手順の一例を示すフローチャートである。ステップＳ１０１０〜ステップＳ１０５０の処理は、ステップＳ４０１〜ステップＳ４０５の処理と同じであるので、その説明を省略する。
【００５２】
ステップＳ１０６０において、非図示の統合部又は関連付け部は、ステップＳ１０５０で選択された複数の文字の認識結果の中に、関連性のあるものを統合する、又は関連付ける。この処理の詳細について後述する。なお、この処理は、統合部又は関連付け部ではなく、選択部２０６が選択処理と合わせて行ってもよい。
【００５３】
次に、ステップＳ１０６０における統合処理について図１１を用いて説明する。図１１は、本実施形態のステップＳ１０６０における統合処理の手順の一例を示すフローチャートである。先ず、ステップＳ１１０１において、選択部２０６が各文字領域グループの情報を統合部に入力する。文字領域グループの情報は、各グループに含まれる各文字領域の位置情報や各グループの文字認識結果を含む。本実施形態の文字認識結果に、文字認識部２０４が認識処理した結果として、文字列の特性がさらに含まれる。
【００５４】
続いて、ステップＳ１１０２では、統合部が各文字領域グループの文字列の特性を判定する。ここで、文字列の特性として、カタカナや英数字が挙げられる。
【００５５】
続いて、ステップＳ１１０３からステップＳ１１０４までの処理では、各グループに含まれる各文字領域の位置情報や文字列の特性に基づき、統合部がそれぞれのグループの文字認識結果を統合すべきかを判断する。ステップＳ１１０３では、違うグループに含まれる文字領域の中に、位置が近い文字領域があるかどうかを判断する。違うグループの中に、位置が近い二つの文字領域があれば、ステップＳ１１０４では、この二つの文字領域にある文字列の特性は統合して良いものであるかどうかを判断する。文字列は統合して良い特性の組み合わせであれば、ステップＳ１１０５では、この二つのグループを統合し、それぞれのグループの文字認識結果を統合する。また、カタカナの文字列と英数字の文字列とが関連することを予め分かっている場合は、ステップＳ１１０３の判断を省略してよい。
【００５６】
また、統合部による統合処理は必ずしも行う必要はなく、非図示の関連付け部が、関連性のある文字領域グループの文字認識結果、例えば、薬剤名と薬剤規格とを関連付けるだけの処理を行ってもよい。
【００５７】
続いて、ステップＳ１１０６では、未処理の文字領域グループがあるかどうかを判断します。まだ未処理の文字領域グループがあれば、ステップＳ１１０３に戻り、ステップＳ１１０３からステップＳ１１０５までの処理を繰り返して実行するが、未処理の文字領域グループがなければ、統合処理を終了する。
【００５８】
次に、統合処理の結果の一例について説明する。図１２は、本実施形態の統合処理の結果の一例を示す模式図である。図１２（ａ）は、入力画像からの文字領域の抽出処理、文字領域のグループ化処理の結果例である。実線矩形に囲まれる各文字領域はグループ１として、点線矩形に囲まれる各文字領域はグループ２として、それぞれグループ化されている。
【００５９】
図１２（ｂ）は、それぞれの文字領域グループに含まれる各文字領域の位置情報、文字列の特性の判定結果例である。ここで、文字領域グループ１にある文字列は「カタカナ」から構成されるもので、文字領域グループ２は「英数」から構成されるものと判定された。
【００６０】
図１２（ｃ）は、文字領域の位置情報と文字列の特性に基づき、文字領域グループを統合した結果例である。グループ１とグループ２とに位置が近い文字領域があり、しかも、グループ１とグループ２の文字列の特性は組み合わせて良いと判断される。ここで、この二つのグループを一つに統合し、グループ１の文字認識結果「メイショウ」とグループ２の文字認識結果「２００ｍｇ」とを統合し、最終的に「メイショウ２００ｍｇ」という文字認識結果が得られた。なお、異なるグループに近い文字領域があることは必須条件ではなく、例えば、薬剤名のグループと薬剤規格のグループとの二つのグループしかない場合は、二つのグループの文字認識結果を統合し、又は関連付けしてもよい。
【００６１】
本実施形態では、各文字領域グループの文字認識結果が得られた後に、グループ間に関連性があるかどうかを判断し、関連性のある文字領域グループの文字認識結果を統合するものである。本実施形態では、薬剤名はカタカナで、薬剤規格は英数字で記載することを想定し、薬剤情報は薬剤名と薬剤規格という構成要素を含むものとし、構成要素の組み合わせ条件をカタカタと英数と設定した。処理対象に応じて、構成要素および構成要素の統合条件を設定しても良い。
【００６２】
本実施形態では、非図示の統合部又は関連付け部が、関連性のある文字領域グループの文字認識結果、例えば、薬剤名と薬剤規格とを統合する、又は関連付ける処理を行う。
【００６３】
本実施形態によれば、文字領域グループごとに得られた文字認識結果の関連性を考慮した文字認識処理が可能になる。これによって、薬剤名と薬剤規格とを含む薬剤情報が得られるので、薬剤の特定がより正確になる。
【００６４】
＜第４の実施形態＞
次に、本実施形態について説明する。本実施形態の画像処理装置の構成は、第１の実施形態と基本的に同様である。第１の実施形態の構成と同様な構成について説明を省略する。
【００６５】
本実施形態では、文字領域に加えて画像領域の情報を利用して薬剤情報を特定するものである。
【００６６】
次に、本実施形態に係る画像処理装置の処理手順について説明する。
図１３は、本実施形態に係る画像処理装置の処理手順の一例を示すフローチャートである。
【００６７】
ステップＳ１３０１の処理では、抽出部２０３は、文字領域を抽出するだけではなく、物体（カプセルや錠剤）の色情報や、エッジ情報や形状を利用して、物体（カプセルや錠剤）の画像領域を同時に抽出する。ステップＳ１３０２からステップＳ１３０３までの処理は、文字領域に対する処理であって、第１の実施形態のステップ４０２からステップＳ４０３までの処理と同様である。
【００６８】
ステップＳ１３０４の処理は、抽出された画像領域に対する処理である。この処理では、非図示の特定部は、物体（カプセルや錠剤）の色情報や、エッジ情報や形状情報（特性情報とも言う）を、非図示のデータベースにある参照情報との照合により、物体の候補（カプセルや錠剤の薬剤名や薬剤規格の候補）を特定する。
【００６９】
最後に、ステップＳ１３０５において、非図示の判定部は、出力部２０７によって出力された文字列が、特定部によって特定された物体の候補（カプセルや錠剤の薬剤名や薬剤規格の候補）に含まれるかどうかを判定する。出力部２０７によって出力された文字列が、特定部によって特定された物体の候補（カプセルや錠剤の薬剤名や薬剤規格の候補）に含まれないのであれば、得られた文字列が間違っている可能性があるので、出力部２０７は、エラーメッセージを出力する。
【００７０】
次に、本実施形態の処理結果の一例について説明する。図１４は、本実施形態処理結果の一例を示す模式図である。
【００７１】
図１４（ａ）は、入力画像例である。図１４（ｂ）は、物体の一特性であるエッジ情報の例である。強いエッジに囲まれるところは物体がある所とする。図１４（ｃ）は、物体の色情報や形状情報を示す例である。
【００７２】
本実施形態では、文字領域の文字認識結果から得られた文字列を確認するために、画像領域にある物体の物理特性に基づき、物体の候補（カプセルや錠剤の薬剤名や薬剤規格の候補）を特定するものである。物体の物理特性として、物体の色情報や形状情報を用いったが、それ以外の情報、例えば、厚み情報などを利用しても良い。また、物体の形状情報の特定方法として、エッジ情報に基づく方法を用いたが、厚み情報を特定する場合は、例えば、複数カメラからの画像情報に基づく測定方法を用いる。
【００７３】
本実施形態によれば、物体の特性情報の利用により、物体の候補（カプセルや錠剤の薬剤名や薬剤規格の候補）を特定し、特定された候補に文字認識によって得られた文字列が含まれるか判定することにより、文字認識をより精度良く実現することが可能になる。
【００７４】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７５】
２０１  画像処理装置
２０２  画像入力部
２０３  抽出部
２０４  文字認識部
２０５  推定部
２０６  選択部
２０７  出力部
【図１】
2017027530.tif 000003
【図２】
2017027530.tif 000004
【図３】
2017027530.tif 000005
【図４】
2017027530.tif 000006
【図５】
2017027530.tif 000007
【図６】
2017027530.tif 000008
【図７】
2017027530.tif 000009
【図８】
2017027530.tif 000010
【図９】
2017027530.tif 000011
【図１０】
2017027530.tif 000012
【図１１】
2017027530.tif 000013
【図１２】
2017027530.tif 000014
【図１３】
2017027530.tif 000015
【図１４】
2017027530.tif 000016