(57)【要約】【課題】配達先を自動認識するシステムの調整に必要な情報を提供することである。【解決手段】配達物区分処理システムは、撮影画像に基づき配達物から認識可能な意味情報を認識し、意味情報から各配達先領域の候補を抽出するとともに、配達物の配達先領域に該当する可能性に応じた優先順位を決定し、所定の条件を満たした場合に、最優先順位の配達先領域に含まれる情報に基づき配達物を処理し、満たさなかった場合に、入力部に対する操作者の操作により選択された配達先領域に含まれる情報に基づき配達物の配達先を決定する処理を行うとともに、優先順位が高いと決定された配達先領域と入力部に対する操作者の操作により選択された配達先領域とを対応付けて記憶部に記憶させ、これらが一致するか否かを判定した結果を出力する。【選択図】図１
2015167905.tif 000002
【特許請求の範囲】
【請求項１】
配達物を撮影した撮影画像を取得する画像取得部と、
操作者の操作が入力される入力部と、
前記画像取得部が取得した前記撮影画像に基づき前記配達物から認識可能な意味情報を認識する認識部と、
前記認識部により認識された前記意味情報から配達先領域の候補を抽出するとともに、配達物の配達先領域に該当する可能性に応じた優先順位を決定する画像処理部と、
所定の条件を満たした場合に、最優先順位の配達先領域に含まれる情報に基づき配達物を処理し、前記所定の条件を満たさなかった場合に、前記入力部に対する操作者の操作により選択された配達先領域に含まれる情報に基づき配達物の配達先を決定する処理を行うとともに、前記画像処理部により優先順位が高いと決定された配達先領域と前記入力部に対する操作者の操作により選択された配達先領域とを対応付けて記憶部に記憶させる対応付処理部と、
前記記憶部を参照し、前記記憶部に記憶された画像処理部により優先順位が高いと決定された配達先領域に関する情報と、前記操作者が選択した配達先領域と一致するか否かを判定し、判定結果を出力する判定部と、
を備える配達物区分処理システム。
【請求項２】
前記対応付処理部は、前記所定の条件を満たさなかった場合に、前記操作者に対して前記画像処理部により抽出された各配達先領域を表示部に表示させる、
請求項１記載の配達物区分処理システム。
【請求項３】
前記対応付処理部は、前記認識部により認識された意味情報を前記記憶部に記憶させる、
請求項１または２に記載の配達物区分処理システム。
【請求項４】
前記対応付処理部は、前記認識部により認識された意味情報を、前記画像処理部により抽出された前記各配達先領域の候補と、前記画像処理部により決定された前記配達物の配達先領域に該当する可能性に応じて決定した優先順位とに対応付けて前記記憶部に記憶させる、
請求項１から３のうちいずれか１項に記載の配達物区分処理システム。
【請求項５】
前記対応付処理部は、前記画像取得部が取得した画像と、前記配達物の画像に対応する座標値と、前記配達物の各配達先領域に対応する座標値と、前記各配達先領域の各文字行に対応する座標値と、前記画像処理部により抽出された前記各文字行の位置関係をもとに複数行をまとめて構成された領域に対応する座標値と、前記画像処理部により決定された前記優先順位と前記優先順位に対応する前記配達先領域に関する情報と、前記各配達先領域に対して認識部により認識された意味情報とのうちいずれか１つを、前記画像処理部により優先順位が高いと決定された配達先領域と前記入力部に対する操作者の操作により選択された配達先領域とに対応付けて前記記憶部に記憶させる、
請求項１から４のうちいずれか１項に記載の配達物区分処理システム。
【請求項６】
前記判定部による判定結果、または前記記憶部に記憶された情報に基づき、配達先領域の設定、または配達先領域に該当する可能性に応じた優先順位の決定に対応するパラメータを算出する領域設定パラメータ算出部を備える、
請求項１から５のうちいずれか１項に記載の配達物区分処理システム。
【請求項７】
前記領域設定パラメータ算出部は、前記判定部が、前記記憶部を参照して前記記憶部に記憶された優先順位が高いと決定された配達先領域に関する情報と、前記操作者により選択された配達先領域とが一致するか否かを判定した結果、一致しない場合が所定の回数以上になったときに、前記パラメータの算出を実行する、
請求項６記載の配達物区分処理システム。
【請求項８】
前記判定部は、前記記憶部を参照し、前記記憶部に記憶された異なる前記撮影画像から、画像処理部により抽出された前記配達先領域の意味情報について、優先順位が高いと決定された配達先領域に関する情報と、前記操作者により選択された配達先領域とが所定の回数、連続して一致しないと判定した場合に、前記判定結果を出力する、
請求項１から７のうちいずれか１項に記載の配達物区分処理システム。
【請求項９】
前記領域設定パラメータ算出部は、前記判定部による判定が所定の回数行われた場合に、パラメータの算出を実行する、
請求項６から８のうちいずれか１項に記載の配達物区分処理システム。
【請求項１０】
前記対応付処理部は、前記所定の条件を満たした場合の最優先順位の配達先領域で配達物を処理した結果に対応する情報を前記記憶部に記憶し、
前記領域設定パラメータ算出部は、前記記憶部に記憶された情報をもとに、シミュレーションを実行し、前記意味情報から各配達先領域の候補を抽出するとともに配達物の配達先領域に該当する可能性に応じた優先順位の決定に対応するパラメータを算出する、
請求項６から９のうちいずれか１項に記載の配達物区分処理システム。
【請求項１１】
前記対応付処理部は、前記所定の条件を満たした場合の最優先順位の配達先領域で配達物を処理した結果に対応する情報を前記記憶部に記憶させ、
前記領域設定パラメータ算出部は、前記記憶部に記憶された情報をもとに、機械学習により、前記意味情報から各配達先領域の候補を抽出するとともに配達物の配達先領域に該当する可能性に応じた優先順位の決定に対応するパラメータを算出する、
請求項６から１０のうちいずれか１項に記載の配達物区分処理システム。
【請求項１２】
コンピュータが、
配達物を撮影した撮影画像を取得し、
前記撮影画像に基づき前記配達物に対応付けられた意味情報を認識し、
前記意味情報から各配達先領域の候補を抽出するとともに配達物の配達先領域に該当する可能性に応じた優先順位を決定し、
所定の条件を満たした場合に、最優先順位の配達先領域で配達物を処理し、所定の条件を満たさなかった場合に、操作者の操作により選択された配達先領域に基づき配達物の配達先を決定する処理を行うとともに、前記優先順位が高いと決定された配達先領域と操作者の操作により選択された配達先領域とを対応付けて記憶部に記憶させ、
前記記憶部を参照し、前記記憶部に記憶した画像処理部により優先順位が高いと決定された配達先領域に関する情報と、前記操作者が選択した配達先領域と一致するか否かを判定し、判定結果を出力する、
配達物区分処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、配達物区分処理システム、および配達物区分処理方法に関する。
【背景技術】
【０００２】
従来、配達物を撮影した画像から文字を認識し、認識した結果から配達先の住所を特定して、配達物を自動的に区分することが行われていた。しかしながら、システムの調整が不十分であると、文字認識処理が不適切なものとなり、特定した住所が配達先住所に該当しない場合があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１９２９６９号公報
【特許文献２】特許第４８５５６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、配達先を自動認識するシステムの調整に必要な情報を提供することが可能な配達物区分処理システム、および配達物区分処理方法を提供することである。
【課題を解決するための手段】
【０００５】
実施形態の配達物区分処理システムは、画像取得部と、入力部と、認識部と、画像処理部と、対応付処理部と、判定部とを持つ。画像取得部は、配達物を撮影した撮影画像を取得する。入力部には、操作者の操作が入力される。認識部は、前記画像取得部が取得した前記撮影画像に基づき前記配達物から認識可能な意味情報を認識する。画像処理部は、前記認識部により認識された前記意味情報から配達先領域の候補を抽出するとともに、配達物の配達先領域に該当する可能性に応じた優先順位を決定する。対応付処理部は、所定の条件を満たした場合に、最優先順位の配達先領域に含まれる情報に基づき配達物を処理し、前記所定の条件を満たさなかった場合に、前記入力部に対する操作者の操作により選択された配達先領域に含まれる情報に基づき配達物の配達先を決定する処理を行うとともに、前記画像処理部により優先順位が高いと決定された配達先領域と前記入力部に対する操作者の操作により選択された配達先領域とを対応付けて記憶部に記憶させる。判定部は、前記記憶部を参照し、前記記憶部に記憶された画像処理部により優先順位が高いと決定された配達先領域に関する情報と、前記操作者が選択した配達先領域と一致するか否かを判定し、判定結果を出力する。
【図面の簡単な説明】
【０００６】
【図１】実施形態の配達物区分処理システム１０の機能構成例を示す図である。
【図２】実施形態による区分処理の一例を示すフローチャートである。
【図３】記憶部２００に記憶される情報を説明するための図である。
【図４】区分が確定できない場合に、画像表示部１１０に表示されるインターフェース表示画面の一例である。
【図５】オペレータにより領域Ａ２が選択されることで、領域Ａ２が拡大表示されるインターフェース表示画面の一例である。
【図６】オペレータにより選択された配達先候補領域に対応する情報であって、領域選択情報記憶部２２０に記憶される情報の一例を示す図である。
【図７】実施形態による判定処理の一例を示すフローチャートである。
【図８】警告表示端末５００の警告表示部５１０に表示される、判定部４１０の判定結果を示すインターフェース表示画面の一例である。
【図９】配達物区分処理システム１０の他の構成例を示す図である。
【図１０】変形例における処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下、実施形態の配達物区分処理システム１０を、図面を参照して説明する。図１は、実施形態の配達物区分処理システム１０の機能構成例を示す図である。図１に示す配達物区分処理システム１０は、配達物２１を配達先に応じて区分するシステムである。例えば、宅配便により配達される配達物２１は、差出人により持ち込まれる１次受取場所を経由して、配達物区分センターに届く。配達物区分センターでは、配達業者によって配達物２１がコンベアやローラなどの搬送機構に乗せられて、配達先に応じた区分箱に搬送される区分処理が行われる。
【０００８】
図１に示す例では、配達先情報が記載された帳票２０−１、２０−２、２０−３などが貼られた配達物２１−１、２１−２、２１−３が、それぞれの配達先に応じた区分先に、ベルトコンベア７０により搬送される。以下、帳票２０−１、２０−２、２０−３を区別せずに帳票２０と称し、配達物２１−１、２１−２、２１−３を区別せずに配達物２１と称する。なお、ここで配達先情報が記載された帳票２０が配達物２１に貼られている例としているが、これに限られるものではなく、例えば、配達先情報が記載されたタグが配達物２１に取り付けられていてもよいし、配達先情報が配達物２１に直接記載または印字されていてもよい。すなわち、配達先情報は配達物２１に表示される意味情報として、対象物である配達物２１に対応付けられていればよい。また、帳票２０に記載されている配達先情報は、住所等の文字情報であってもよいし、配達先をコード化した識別情報（例えば、数字列、バーコードなど）であってもよい。
【０００９】
配達物区分処理システム１０は、例えば、複数のスキャナ５０と、読取処理部３００と、判定処理部４００と、画像表示端末１００と、警告表示端末５００と、記憶部２００と、搬送部６０とを備える。
複数のスキャナ５０は、所定の撮影位置に到達した配達物２１に付された帳票２０を撮影し、画像データを出力する。スキャナ５０は、例えば、移動する配達物２１を高解像度に撮影できるラインスキャン方式のスキャナ５０などである。複数のスキャナ５０は、異なる角度から配達物２１を撮影できる位置に設置されている。例えば、複数のスキャナ５０は、配達物２１の上面、４つの側面が撮影できる位置に、それぞれ設置されている。なお、スキャナ５０は、例えば、所定の平面領域を、一度に撮影可能なカメラであってもよい。
【００１０】
搬送部６０は、ベルトコンベア７０と、ベルトコンベア７０を駆動する搬送制御部８０とを備えている。搬送部６０は、搬送制御部８０から出力された信号に基づいてベルトコンベア７０を駆動することにより、ベルトコンベア７０に乗せられている配達物２１を移動させる。搬送部６０は、読取処理部３００や判定処理部４００の処理結果に基づき、予め定められた複数の区分箱のうち、読取処理部３００等の処理結果に応じた区分箱まで搬送する。搬送制御部８０は、搬送部６０の搬送状態を制御する。例えば、搬送制御部８０は、ベルトコンベア７０の駆動する速度や配達物２１の区分箱への経路などを制御する。
【００１１】
画像表示端末１００は、画像表示部１１０と入力部である第１入力部１２０とを備えている。画像表示部１１０は、読取処理部３００により出力された信号に基づき、読取処理部３００が読み取った情報を表示する。また、第１入力部１２０は、画像表示部１１０に表示された情報の一部を選択、或いは一部に所定の処理を指示する等の操作を入力するための装置である。第１入力部１２０は、入力された操作に応じた情報を読取処理部３００に出力する。
【００１２】
配達物区分処理システム１０の読取処理部３００や判定処理部４００は、ＣＰＵ（Central  Processing  Unit）等のプロセッサを備える。また、配達物区分処理システム１０は、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）、ＨＤＤ、フラッシュメモリなどの記憶部２００を備える。また、配達物区分処理システム１０は、プロセッサが記憶部２００に格納されたプログラムを実行することで機能するソフトウェア機能部として、画像取得部３１０と、認識部３２０と、画像処理部３３０、対応付処理部３４０と、判定部４１０と、領域設定パラメータ算出部４２０とを備える。なお、これらのソフトウェア機能部のうち一部または全部は、ＬＳＩ（Large  Scale  Integration）やＡＳＩＣ（Application  Specific  Integrated  Circuit）等のハードウェア機能部であってもよい。
【００１３】
記憶部２００は、領域抽出情報記憶部２１０と、領域選択情報記憶部２２０とを備える。領域抽出情報記憶部２１０には、後述する配達先候補領域に対応する情報が記憶されている。また、領域選択情報記憶部２２０には、後述する操作者の配達先領域の操作により選択された配達先領域と、最優先順位の配達先領域とが対応付けて記憶されている。
【００１４】
読取処理部３００は、画像取得部３１０と、認識部３２０と、画像処理部３３０と、対応付処理部３４０とを備えている。
画像取得部３１０は、スキャナ５０が撮影した対象物である配達物２１の撮影画像を取得する。
【００１５】
認識部３２０は、画像取得部３１０が取得した撮影画像から認識可能な配達先情報を含む意味情報を認識する。つまり、配達物２１に貼られた帳票２０や配達物２１に表示された意味情報を認識する。例えば、認識部３２０は、スキャナ５０が撮影した撮影画像から、配達先情報としての文字情報などの情報をＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）により認識してもよい。なお、認識部３２０は、スキャナ５０が撮影した撮影画像から、コード化された配達先情報（数字列、バーコードなど）を認識してもよい。また、配達物区分処理システム１０に、各方向から配達物２１にレーザーを照射するレーザー装置等（不図示）を配置して、反射光に基づき、配達物２１の形状を計測し、この測定結果に応じた補正を行った画像を用いて意味情報を認識してもよい。これにより、配達物２１の形状に応じて焦点を合わせて補正した画像を取得できるため、より高精度に意味情報を認識することができる。
【００１６】
画像処理部３３０は、認識部３２０が認識した意味情報から配達物２１に記載された情報や帳票２０に記載された意味情報、文字などを認識する。また、画像処理部３３０は、画像表示端末１００より入力された信号を処理する。さらに、認識部３２０は、認識した意味情報に基づき、撮影画像において、配達先情報が記載された領域の候補となる領域を抽出する。ここで、意味情報に基づき、画像処理部３３０により抽出された各配達先領域の候補を「配達先候補領域」という。また、画像処理部３３０は、抽出した配達先候補領域について、配達物２１の配達先領域に該当する可能性に応じた優先順位を決定する。以下、最も配達物の配達先領域の可能性が高い配達先候補領域を、「最優先順位の配達先候補領域」という。
【００１７】
対応付処理部３４０は、所定の条件を満たした場合に、最優先順位の配達先候補領域に記載された情報に基づき、配達物２１を処理する。配達物２１を処理するとは、例えば、宛先に応じた区分箱に配達物２１を搬送するように搬送制御部８０に指示することをいう。また、所定の条件とは、後述するように「配達先の区分を確定できる」ことをいう。対応付処理部３４０は、所定の条件を満たさなかった場合に、画像表示端末１００の画像表示部１１０に、画像処理部３３０が抽出した配達先候補領域を出力し、操作者の操作により選択された配達先候補領域に基づき配達物２１の配達先を決定する。
【００１８】
さらに、対応付処理部３４０は、優先順位が高いと決定された配達先候補領域と、第１入力部１２０に対する操作者の操作により選択された配達先候補領域とを対応付けて領域抽出情報記憶部２１０に記憶させる。なお、対応付処理部３４０は、認識部３２０が認識した意味情報を記憶部２００に記憶させてもよい。また、対応付処理部３４０は、認識部３２０により認識された意味情報を、画像処理部３３０により抽出された各配達先領域の候補と、画像処理部３３０により決定された配達物の配達先領域に該当する可能性に応じて決定した優先順位とを対応付けて記憶部２００に記憶させてもよい。
【００１９】
判定処理部４００は、判定部４１０と、領域設定パラメータ算出部４２０とを備える。判定部４１０は、領域抽出情報記憶部２１０と領域選択情報記憶部２２０とを参照し、画像処理部３３０により優先順位が高いと決定された配達先領域（最優先順位の配達先候補領域）と、対応付処理部３４０により画像表示部１１０に表示された配達先候補領域から操作者により選択された配達先候補領域とを判定して、一致するか否かの結果を警告表示端末５００に出力する。
警告表示端末５００は、警告表示部５１０と第２入力部５２０とを備える。警告表示部５１０は、判定部４１０、または領域設定パラメータ算出部４２０により処理された結果、及び算出された結果を表示する。第２入力部５２０は、判定部４１０、及び領域設定パラメータ算出部４２０に対して操作入力するための装置である。
【００２０】
領域設定パラメータ算出部４２０は、領域抽出情報記憶部２１０と領域選択情報記憶部とに記憶された情報に基づき、配達先候補領域となる領域を抽出するためのパラメータを算出する。さらに、領域設定パラメータ算出部４２０は、領域抽出情報記憶部２１０と領域選択情報記憶部とに記憶された情報に基づき、最優先順位の配達先候補領域を決定するためのパラメータを算出する。
領域設定パラメータ算出部４２０は、算出したパラメータを示す情報を読取処理部３００と搬送制御部８０へ出力する。読取処理部３００と搬送制御部８０は、領域設定パラメータ算出部４２０により算出されたパラメータを、画像処理部３３０に出力する。画像処理部３３０は入力されたパラメ―タを用いて処理を行う。
【００２１】
領域設定パラメータ算出部４２０は、領域抽出情報記憶部２１０に記憶された配達先候補領域を示す情報や、領域抽出情報記憶部２１０に記憶された配達先候補領域の優先順位を示す情報を用いて、配達先候補領域を抽出し、配達先候補領域の優先順位を決定するに適用するパラメータを算出する。事前に性能差分確認用のテスト画像を複数用意しておき、領域設定パラメータ算出部４２０が算出したパラメータをテスト画像に適用することにより、領域設定パラメータ算出部４２０が算出したパラメータの適正や、パラメータに対する悪影響などについて判断することができる。
【００２２】
（区分処理の動作）
以下、図２を参照して、実施形態の配達物区分処理システム１０において行われる区分処理の動作について説明する。図２は、実施形態の区分処理の一例を示すフローチャートである。この図は、図１に示す配達物区分処理システム１０において、配達物２１を配達先に応じて区分する処理の基本的な流れを示している。例えば、１次受取場所を経由し配達業者によって集められた配達物２１がベルトコンベア７０に乗せられると、区分処理が開始される。
【００２３】
まず、スキャナ５０は、ベルトコンベア７０に乗せられて搬送されている配達物２１を撮影し、撮影画像を出力する。画像取得部３１０は、スキャナ５０から出力された撮影画像を取得し、認識部３２０に出力する（ステップＳ３００）。
認識部３２０は、画像取得部３１０が取得したスキャナ５０による撮影画像に対応する信号を受信し、撮影画像から配達物２１に貼られた帳票２０に記載されている意味情報を認識する処理を行う（ステップＳ３０２）。
【００２４】
画像処理部３３０は、認識部３２０が認識した意味情報に基づき、撮影画像において、配達先情報が記載されている配達先領域の候補となる領域（配達先候補領域）を抽出する（ステップＳ３０４）。なお、配達先候補領域の抽出の方法については、後述する。
【００２５】
次に、画像処理部３３０は、抽出した配達先候補領域について、配達先領域に該当する可能性に応じた優先順位を決定する（ステップＳ３０６）。また、画像処理部３３０は、決定した優先順位に基づき、抽出した配達先候補領域の中から優先順位が最も高い配達先領域を決定する。なお、配達先領域に該当する可能性に応じた優先順位の決定の方法については、後述する。
対応付処理部３４０は、配達先領域に該当する可能性に応じた優先順位と対応付けて、配達先領域に該当する候補となる領域（配達先領域候補）を領域抽出情報記憶２１０に記憶させる（ステップＳ３０８）。
【００２６】
ここで、領域抽出情報記憶部２１０に記憶される情報について、説明する。認識部３２０により認識された撮影画像には、画像上の位置を示す座標値や所定の識別情報が付されている。図３は、領域抽出情報記憶部２１０に記憶される情報を説明するための図である。図３の上図は、画像における領域や文字列を示し、図３の下図は、領域抽出情報記憶部２１０に記憶される情報の形式を例示した図である。図３の上図は、配達物２１において３つの領域（領域１〜領域３）が抽出された例を示す。領域１が最も優先順位が高く、領域２が次に優先度が高く、領域３が最も優先度が低く決定されたものである。領域１は、文字列１１、１２、１３を含み、領域２は、文字列２１、２２、２３を含み、領域３は、文字列３１を含む。画像上の座標値は、画像の画素の位置と対応しており、画像の中で特定の画素が縦横何画素目に存在するかを示す。例えば、図３の下図に示すように、領域抽出情報記憶部２１０には、画像ごとに自動的に割り振られる識別コード（「２０１４０１１６１５２１３４Ｔ」）、撮影画像内における対象物（配達物２１）の位置範囲を示す対象物座標（「ｍｓｘ」、「ｍｓｙ」、「ｍｅｘ」、「ｍｅｙ」）、次の項目から領域情報が始まることを示す印である領域開始マーク（「ｓ」）、認識した配達先候補領域の優先順位を示す領域番号、領域座標（「ａｓｘ」、「ａｓｙ」、「ａｅｘ」、「ａｅｙ」）、各文字列（行）の番号や画面上の座標値（「ｌｓｘ」、「ｌｓｙ」、「ｌｅｘ」、「ｌｅｙ」）、などが設定されている。これらの情報は、対応付処理部３４０により領域抽出情報記憶部２１０に記憶される。
【００２７】
また、領域抽出情報記憶部２１０には、例えば、画像処理部３３０により抽出された各文字行座標の位置関係をもとに、複数行まとめて構成された文字行の領域に対応する座標値、画像処理部により決定された優先順位と優先順位に対応する配達先領域に関係する情報、各配達先領域に対して認識部３２０により認識された意味情報などが記憶されてもよい。また、対応付処理部３４０は、画像取得部３１０で取得した画像を領域抽出情報記憶部２１０に記憶させてもよい。
【００２８】
図２に戻って、フローチャートについて説明を続ける。画像処理部３３０は、ステップＳ３０６で最優先順位として決定された配達先領域で、配達先の区分を確定できるか否か（所定の条件を満たすか否か）を判定する（ステップＳ３１０）。配達先の区分を確定できると判定した場合、画像処理部３３０は、配達先の区分の結果を出力して区分処理を終了する（ステップＳ３２０）。配達先の区分が確定できない場合、画像処理部３３０は、ステップＳ３１２の処理へ進む。
【００２９】
区分を確定できない場合とは、次のような場合をいう。例えば、最優先順位の配達先領域の情報の全部、または一部が不鮮明で、画像処理部３３０が配達先情報である郵便番号、住所、氏名などを正確に認識でなかった場合である。また、例えば、画像処理部３３０が、画像から配達先候補領域を抽出することができなかった場合や、得られた意味情報だけでは区分先を確定するには不足している場合、も区分を確定できない場合に含まれる。また、例えば、画像処理部３３０が、配達先領候補領域を抽出することできたが、最優先順位の配達先領域を決定できなかった場合も、区分を確定できない場合に含まれる。なお、区分を確定できない場合の条件は適宜設定できる。
【００３０】
ステップＳ３１０の処理において、区分を確定できないと判定された場合、対応付処理部３４０は、画像を画像表示部１１０に表示させる（ステップＳ３１２）。図４は、区分が確定できない場合に、画像表示部１１０に表示されるインターフェース表示画面の一例である。図４に示す領域Ａ１は、ステップＳ３０６の処理で、画像処理部３３０により、最優先順位であると決定された配達先候補領域である。また、図４に示す領域Ａ２は、ステップＳ３０６で、画像処理部３３０により、領域Ａ１の次に配達先領域としての可能性が高いため、優先順位が２番目であると決定された配達先候補領域である。同様に、図４に示す領域Ａ３は、ステップＳ３０６で、画像処理部３３０により、領域Ａ２の次に配達先領域の可能性が高いため、優先順位が３番目であると決定された配達先候補領域である。図４に示すように、画像表示部１１０は、各領域の左端に、各領域と対応させて、画像処理部３３０により決定された優先順を示す数字（図４、「１」「２」「３」）を表示する。例えば、画像表示部１１０は、対応付処理部３４０からの出力により最優先順位の配達先候補領域と決定された領域Ａ１の近くに「１」を表示する。また、画像表示部１１０は、対応付処理部３４０からの出力により領域Ａ２の近くに「２」を、領域Ａ３の近くに「３」を表示する。
【００３１】
そして、配達物区分処理システム１０のオペレータは、第１入力部１２０を介して、ステップＳ３１２で画像表示部１１０に表示された画面から配達先候補領域を選択する（ステップＳ３１４）。第１入力部１２０は、例えば、クリックによる入力、キーボードによる入力、或いはタッチパネルからの入力により、所望の配達先候補領域の選択を受け付ける。画像表示端末１００は、選択された配達先候補領域を拡大して表示させてもよい。
【００３２】
オペレータがいずれかの領域を選択すると、その領域が拡大表示される。図５は、オペレータにより領域Ａ２が選択されることで、領域Ａ２が拡大表示されるインターフェース表示画面の一例である。上述の通り、図４に示す場合、画像処理部３３０は、領域Ａ１を最優先順位の配達先候補領域として決定した。しかし、領域Ａ１に記載されている意味情報は、画像処理部３３０により認識されなかった情報である。このため、画像処理部３３０は、配達先の区分が確定できないとして処理している。図５の例では、オペレータが最も配達先である可能性が高いとして第１入力部１２０を介して選択した配達先候補領域と、画像処理部３３０が決定した最優先順位の配達先候補領域とは、異なる結果となる。
【００３３】
画像処理部３３０は、画像表示端末１００の第１入力部１２０を介して、オペレータにより入力された区分情報を取得する（ステップＳ３１６）。画像表示部１１０は、区分情報の入力を、図５に示すインターフェース画面で受け付ける。画像表示部１１０には、例えば、図５に示すように、インターフェース画面では、画像処理部３３０が認識できなかった意味情報である区分コードと、氏名をそれぞれ入力する入力欄Ｂ１、Ｂ２が設けられる。オペレータが第１入力部１２０を操作して、区分コード、氏名を入力する。オペレータは、画像表示部１１０に表示された画像から領域Ａ２に記載されている情報を認識して、入力欄に情報を入力する。なお、画像表示部１１０は、画像処理部３３０が認識できなかった情報をオペレータが入力する入力欄として、区分コード、氏名のほか、郵便番号、住所、街区、建物名、電話番号などを表示してもよい。
【００３４】
対応付処理部３４０は、オペレータにより選択された配達先候補領域の情報と、オペレータにより入力された区分情報、および氏名などの配達先情報とを対応付けて、領域選択情報記憶部２２０に書き込む（ステップＳ３１８）。図６は、オペレータにより選択された配達先候補領域に対応する情報であって、領域選択情報記憶部２２０に記憶される情報の一例を示す図である。例えば、図６に示すように、配達先領域候補として、領域Ｃ１、領域Ｃ２、領域Ｃ３が、画像処理部３３０により抽出されたが、画像処理部３３０において配達先情報が正確に認識できない場合、オペレータに画像が提示され、オペレータにより手動で配達先候補領域が選択される。オペレータが配達先候補領域である領域Ｃ１から領域Ｃ３のうちのいずれか一つを選択した場合、対応付処理部３４０は、配達先候補領域の情報として、次のような情報を保存する。対応付処理部３４０は、例えば、画像取得部３１０により取得された画像のＩＤ番号である選択画像ＩＤ、オペレータにより選択された配達先候補領域を示す選択領域番号、オペレータにより入力された入力郵便番号（街区番号付）、入力電話番号、入力氏名、画像ごとに自動的に割り振られる識別コード（「２０１４０１１６１５２１３４Ｔ」）などを領域選択情報記憶部２２０に書き込む。
そして、読取処理部３００は、オペレータにより選択された配達先候補領域の情報と入力された区分情報とを対応付けた情報を、配達先情報として、画像表示端末１００、または警告表示端末５００に出力する（ステップＳ３２０）。なお、読取処理部３００は、オペレータにより選択された配達先候補領域の情報と入力された区分情報とを対応付けた情報を、配達先情報として、別途設けたディスプレイ、遠隔地に独立して設置された画面表示部等の表示画面に表示させてもよい。
【００３５】
次に、上述のステップＳ３０４に対応する配達先領域の候補となる領域の抽出の方法について、説明する。例えば、次のような方法がある。画像処理部３３０は、取得した画像に対して、隣接画素の濃度差が一定以上の部分を「１」とし、それ以外の部分を「０」とした微分画像を作成し、「１」が連結する部分をラベリングする。画像処理部３３０は、このラベリングに対して、縦方向もしくは横方向で近い位置にあるものを波及的に連結したものを、文字行の候補とする。画像処理部３３０は、同一方向の文字行候補が近い位置にあるものをまとめて配達先領域候補とする。
【００３６】
また、例えば、次のような方法がある。画像処理部３３０は、配達物の画像を電気信号に変換し、画素値（輝度、色彩）を閾値と比較することで、黒画素と白画素の２値画像に変換する。画像処理部３３０は、この変換結果から黒画素が連結された領域を検出し、検出された黒画素の連結領域から、黒画素の連結領域に外接する矩形情報を求め、この矩形情報内に記載された文字情報を検出する。そして、画像処理部３３０は、予め用意されている基準となる情報を参照して、あるいは基準情報との判定に基づく類似度の大小により配達先領域の候補となる領域の検出を行ってもよい。さらに、画像処理部３３０は、矩形情報に含まれる矩形領域の形状、配達物上の位置などと、予め用意された基準情報とを判定して、この判定結果をもとに１つもしくは複数箇所の配達先領域の候補となる領域を抽出する。
【００３７】
次に、上述のステップＳ３０６に対応する配達先領域に該当する可能性に応じた優先順位の決定の方法について、説明する。例えば、次のような方法がある。画像処理部３３０は、配達先領域の候補となる領域のなかに、行がいくつ含まれているか、あるいは行数が所定数ｎよりも多いか少ないか、検出された行の平均幅が所定の寸法より大きいか、小さいか、あるいは検出された行の幅の分布がどのようになっているか、あるいは検出された行の位置の分布がどのようなものかなどを評価する。画像処理部３３０は、評価された配達先領域の候補となる領域の行、列の位置、分布などと予め用意された基準情報とを比較し、比較結果を総合的に判断することで、配達先領域に該当する可能性に応じた優先順位を決定する。
【００３８】
このように、配達物２１の配達先情報が認識できない場合に、オペレータにより選択された配達先候補領域、あるいはオペレータにより入力された区分情報を取得する画像処理部３３０を持つことにより、取得した配達先候補領域、および区分情報を基に配達先情報を取得して、適切に配達物２１の区分けすることができる。
【００３９】
（判定処理の動作）
以下、図７を参照して、実施形態による判定処理の動作について説明する。図７は、実施形態による判定処理の一例を示すフローチャートである。
【００４０】
判定部４１０は、領域抽出情報記憶部２１０と領域選択情報記憶部２２０とを参照し、画像処理部３３０により決定された最優先順位の配達先候補領域と、オペレータにより選択された配達先候補領域とを比較し、これらが一致するか否かを判定する（ステップＳ４００）。判定部４１０は、ステップＳ４００で判定した結果を、警告表示端末５００に出力する（Ｓ４０２）。
【００４１】
ここで、図８を参照して、警告表示端末５００に出力される表示画面例について説明する。図８は、警告表示端末５００の警告表示部５１０に表示される、判定部４１０の判定結果を示すインターフェース表示画面の一例である。警告表示端末５００は、例えば、図８に示すように、正解領域Ｄ１、誤り領域Ｄ２、その他の領域Ｄ３などを表示している。正解領域とは、オペレータが視認することによって選択した配達先領域である。誤り領域とは、正解領域と異なる領域であって、画像処理部３３０が最優先順位の配達先候補領域として決定した領域である。その他の領域とは、正解領域と誤り領域のいずれにも該当しない領域である。このような表示を行うことで、配達先を自動認識する配達物区分処理システム１０の調整が適切であるか否かを、オペレータが認識することができる。オペレータは、警告表示部５１０による表示画面に表示されたこの結果を参照して、配達先候補領域の設定の不良、及び最優先順位の配達先候補領域の決定の不良を確認し、配達物区分処理システム１０の調整を行うことができる。また、判定部４１０は、判定の結果を示す情報を、画像表示部１１０や、別途設けたディスプレイ、遠隔地に独立して設置された保守センター等の表示画面に表示させてもよい。さらに、警告表示端末５００は、音声などでオペレータや保守員が不良の疑いを知らせてもよい。また、警告表示部５１０へ撮影画像や対応する座標の表示を、判定がされた毎、判定が所定の回数行われた毎、不一致の判定結果が所定の回数以上になった場合、判定処理部４００は判定結果を出力、または警告表示端末５００は判定結果を表示してもよい。また、判定処理部４００による判定結果は、判定結果が一定数以上累積した場合、判定結果が連続して一定数累積した場合、不一致の判定結果が一定割合以上累積した場合、判定処理部４００が判定結果を出力、または警告表示端末５００が画像表示部１１０などに表示してもよい。
【００４２】
図７に戻って、フローチャートについて説明を続ける。領域設定パラメータ算出部４２０は、領域抽出情報記憶部２１０と領域選択情報記憶部２２０とに記憶された情報に基づき、画像処理部３３０が意味情報から配達先候補領域を抽出するためのパラメータを算出する。さらに、領域設定パラメータ算出部４２０は、画像処理部３３０が抽出した配達先候補領域について、配達先領域に該当する可能性に応じた優先順位を決定するためのパラメータを算出する（ステップ４０４）。なお、領域設定パラメータ算出部４２０は、判定部４１０による判定が所定の回数行われた場合に、パラメータの算出を自動的に実行するようにしてもよい。領域設定パラメータ算出部４２０がパラメータの算出を実行するタイミングは適宜設定できる。
【００４３】
領域設定パラメータ算出部４２０は、例えば、予め複数用意しておいた領域設定のためのパラメータを使用して、領域設定の優先順位を決定するシミュレーションを行い、最適なパラメータを算出する。領域設定パラメータ算出部４２０は、領域設定の優先順位を、複数の条件を用いて決定する。領域設定パラメータ算出部４２０は、例えば、領域の高さＸが所定値Ｘ１以上で、領域開始の位置座標の和（ｓｘ+ｓｙ）Ｙが所定値Ｙ１以下であるものを最優先の配達先領域とする。また、領域設定パラメータ算出部４２０は、例えば、所定値Ｘ１と所定値Ｙ１にそれぞれ５種類の値を設定し、Ｘ１とＹ１の全ての組み合わせについて、配達先領域が適切でない異常群に対する配達先領域の優先順位の決定のシミュレーションを行う。そして、領域設定パラメータ算出部４２０は、撮影画像から抽出した配達先領域とシミュレーション結果とを判定して、Ｘ１とＹ１の全ての組み合わせの正解率を算出する。領域設定パラメータ算出部４２０は、その中で最も高い正解率となる領域が設定されたパラメータＸ１、Ｙ１を、最適なパラメータとして決定する。領域設定の優先順位の決定処理に関係するパラメータがｎ個あって、すべてを調整したい場合、領域設定パラメータ算出部４２０は、それぞれ２種の変動値を用意して総当たりをするとｎの２乗回のシミュレーションを行えばよい。シミュレーションの回数が多すぎる場合、領域設定パラメータ算出部４２０は、実験計画法などにより適正な設定値を算出してもよい。
【００４４】
また、最適なパラメータの算出方法は、例えば、機械学習によって最適なパラメータを算出する方法がある。例えば、勾配法を用いて最適なパラメータを設定する方法である。領域設定パラメータ算出部４２０は、例えば、パラメータの設定値候補が複数あった場合に、それぞれのパラメータを少し変化させて、変更前後の正解数の増減をみることで改善方向を特定する。そして、領域設定パラメータ算出部４２０は、正解数の増減が発生しなくなる等の終了条件を満たすまで、それぞれのパラメータを調整する。終了条件を満たしたパラメータが、最適なパラメータとなる。また、最適なパラメータの設定は、上述した方法に限らず、オペレータが設定してもよい。
【００４５】
次に、領域設定パラメータ算出部４２０は、上記のように算出した配達先候補領域を抽出するためのパラメータと、優先順位を決定するためのパラメータを、読取処理部３００に出力する。読取処理部３００は、領域設定パラメータ算出部４２０から入力されたパラメータに基づき、内部で設定していたパラメータを調整する（ステップＳ４０６）。また、読取処理部３００は、調整されたパラメータの調整結果について出力する（ステップＳ４０８）。なお、領域設定パラメータ算出部４２０から出力される調整後のパラメータは、画像表示部１１０、警告表示部５１０、別途設けたディスプレイ、遠隔地に独立して設置された画面表示部等の表示画面に表示させてもよい。
【００４６】
以上、実施形態による配達物区分処理システム１０の判定処理では、配達物２１の配送先への区分けが適切に行われているか否かを検出できる。判定部４１０は、領域抽出情報記憶部２１０と領域選択情報記憶部２２０とを参照し、配達先領域に該当する可能性が最も高いと決定された配達先候補領域と、オペレータにより選択された配達先候補領域とを比較し、これらが一致するかどうか判定したした結果を、警告表示端末５００に出力する。これにより、オペレータは、配達物２１を配達先へ区分処理するために設定したパラメータが適切であるかを判断することができる。
【００４７】
また、実施形態による配達物区分処理システム１０の判定処理では、領域設定パラメータ算出部４２０は、画像処理部３３０に設定されている意味情報から配達先候補領域を抽出するためのパラメータと、優先順位を決定するためのパラメータとを算出することができる。領域設定パラメータ算出部４２０により算出されたパラメータを配達物区分処理システム１０に適用することにより、配達物２１の配達先への区分を、より適切に行うことができる。
【００４８】
このように、判定部４１０は、領域抽出情報記憶部２１０に記憶された配達先領域として優先順位が高いと決定された配達先候補領域に関する情報と、領域選択情報記憶部２２０に記憶された操作者により選択された配達先候補領域とが一致するか否かの結果を出力し、一致しない場合には配達物区分処理システム１０に設定されているパラメータが不良である出力をする。この結果、配達物区分処理システム１０に適用されたパラメータの不良を検出することができる。
【００４９】
さらに、領域設定パラメータ算出部４２０は、領域抽出情報記憶部２１０に記憶された情報と領域選択情報記憶部２２０に記憶された情報とを参照して、配達先候補領域を抽出するためのパラメータと、配達先候補領域の優先順位を決定するためのパラメータを算出することができる。パラメータの不良に対して、領域設定パラメータ算出部４２０が算出したパラメータを適用すれば、オペレータの操作を介さずに配達物２１の区分処理の精度を向上させることができる。
【００５０】
以下、上記実施形態に関する変形例について説明する。
実施形態では、スキャナ５０により取得された画像を処理することで、配達物２１の区分処理を行っていたが、これに限定されない。例えば、実施形態の構成に加えて、バーコードを認識するための構成を備えてもよい。図９は、配達物区分処理システム１０の他の構成例を示す図である。配達物区分処理システム１０は、図１に示す構成に加えて、バーコードスキャナ６００と、バーコード読取部３５０と、バーコード認識部３６０とを備えてもよい。
バーコードスキャナ６００は、配達物２１に表示されたバーコードを読み取る。
バーコード読取部３５０は、バーコードスキャナ６００が読み取ったバーコードに対応する情報を取得する。バーコード認識部３６０は、バーコード読取部３５０により取得された情報から、バーコードに対応する配達先情報を認識する。
【００５１】
バーコードスキャナ６００は、例えば、配達物２１に配達先情報をコード化した識別情報であるバーコードが印字、または帳票２０に記載されている場合に、バーコードを読み取る。バーコード読取部３５０は、バーコードスキャナ６００が読み取ったバーコードに対応する情報を取得し、バーコード認識部３６０が、バーコード読取部３５０で取得したバーコードに対応する配達先情報を認識する。これにより、配達物２１の配達先情報を認識し、区分を確定することができる。また、係る変形例では、認識部３２０は、バーコードに基づく配達先情報を取得するだけでなく、スキャナ５０が撮影した画像から、配達先情報としての文字情報をＯＣＲにより認識する。画像処理部３３０は、ＯＣＲにより認識された情報をもとに、配達先情報を取得する。
【００５２】
図１０を参照し、上記変形例の処理について説明する。図１０は、変形例における処理の流れの一例を示すフローチャートである。図１０に示されるフローチャートに示される処理手順に従って、配達物区分処理システム１０は、配達物２１の区分を行う。この図１０に示される処理において、前述の図２と同じ処理を行う処理手順には、同じ符号を付し、処理を省略する。
【００５３】
まず、バーコードスキャナ６００は、配達物２１に印字、または帳票２０に記載されたバーコードを読み取る。バーコード読取部３５０は、読み取られたバーコードが示す情報を取得し、バーコード認識部３６０は、取得したバーコードに対応する配達先を認識する（ステップＳ２００）。そして、バーコード認識部３６０は、配達物２１の配達先を区分できるか否か判定する（ステップＳ２０２）。区分が確定できた場合には、配達先情報が出力される（ステップＳ３２０）。
【００５４】
バーコード認識部３６０が配達先の区分を確定できない場合には、スキャナ５０は、ベルトコンベア７０に乗せられて搬送されている配達物２１の撮影画像を取得する。（ステップＳ２０４）。認識部３２０は、配達物２１に貼られた帳票２０に記載されている情報を撮影画像から認識する。画像処理部３３０は、認識部３２０により認識された情報をＯＣＲにより読み取る処理を実行する。そして、画像処理部３３０は、ＯＣＲにより読み取った情報をもとに、配達先情報を認識する処理を行い、配達先情報を取得する（ステップＳ２０６）。これにより、配達先情報の区分の確定ができた場合には、配達先情報を出力する。配達先情報の区分の確定ができない場合には、ステップＳ３００の処理へ進む。なお、ステップＳ３００の処理を省略し、ステップＳ２０４で撮影した画像をステップＳ３０２で用いてもよい。
【００５５】
これにより、変形例の配達物区分処理システム１０は、ＯＣＲによる認識処理に加えてバーコードが示す意味情報を取得することができるため、更に適切に、配送先への区分を確定することができる。
【００５６】
以上説明した少なくともひとつの実施形態によれば、画像処理部３３０により優先順位が高いと決定された配達先領域と第１入力部１２０に対する操作者の操作により選択された配達先領域とを対応付けて記憶部２００に記憶させ、記憶部２００に記憶された優先順位が高いと決定された配達先領域に関する情報と、操作者が選択した配達先領域と一致するか否かを判定し、判定結果を出力する機能を持つことにより、配達先を自動認識するシステムの調整に必要な情報を提供することができる。
【００５７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として表示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００５８】
１０…配達物区分処理システム、２０…帳票、２１…配達物、５０…スキャナ、６０…搬送部、７０…ベルトコンベア、８０…搬送制御部、１００…画像表示端末、１１０…画像表示部、１２０…第１入力部、２００…記憶部、２１０…領域抽出情報記憶部、２２０…領域選択情報記憶部、３００…読取処理部、３１０…画像取得部、３２０…認識部、３３０…画像処理部、３４０…対応付処理部、３５０…バーコード読取部、３６０…バーコード認識部、４００…判定処理部、４１０…判定部、４２０…領域設定パラメータ算出部、５００…警告表示端末、５１０…警告表示部、５２０…第２入力部、６００…バーコードスキャナ
【図１】
2015167905.tif 000003
【図２】
2015167905.tif 000004
【図３】
2015167905.tif 000005
【図４】
2015167905.tif 000006
【図５】
2015167905.tif 000007
【図６】
2015167905.tif 000008
【図７】
2015167905.tif 000009
【図８】
2015167905.tif 000010
【図９】
2015167905.tif 000011
【図１０】
2015167905.tif 000012