(57)【要約】【課題】  効率的にオペレータが荷物の区分先を決定することが可能な検査装置及び検査プログラムを提供する。【解決手段】  一実施形態に係わる検査装置は、通信インタフェースと、プロセッサとを具備する。通信インタフェースは、荷物を区分するソータにより搬送されている前記荷物に関する荷物情報と、オペレータによる操作に基づいて生成された操作信号とを取得する。プロセッサは、前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記荷物情報とが対応付けられた過去履歴と、新たに取得した前記荷物情報と、に基づいて、参考情報を出力する。【選択図】図２
2020042860.tif 000002
【特許請求の範囲】
【請求項１】
荷物を区分するソータにより搬送されている前記荷物に関する荷物情報と、オペレータによる操作に基づいて生成された操作信号とを取得する通信インタフェースと、
前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記荷物情報とが対応付けられた過去履歴と、新たに取得した前記荷物情報と、に基づいて、参考情報を出力するプロセッサと、
を具備し、
前記荷物情報は、前記荷物のＸ線画像を含み、
前記プロセッサは、
オペレータが前記Ｘ線画像を確認し、荷物が規制品候補であるか否かの入力に基づき生成された前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断したか否かを示す前記検査結果情報を生成し、
前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由を、前記検査結果情報に付加し、
前記Ｘ線画像を問題とし、前記検査結果情報を答えとした学習用データに基づいて生成されたパラメータと、新たに取得した前記Ｘ線画像とに基づいて、前記参考情報を生成し、
前記パラメータと、前記Ｘ線画像とに基づいて、前記荷物が規制品候補であると推定される理由を、前記参考情報に付加する検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、検査装置及び検査プログラムに関する。
【背景技術】
【０００２】
税関を通過する荷物を検査する検査システムでは、ソータ（区分処理機構）に供給された荷物の外観の画像（外観画像）及びＸ線の画像（Ｘ線画像）をオペレータに視認させる。オペレータは、荷物を確認する必要があるか否か判断し、検査システムに操作を入力する。検査システムは、操作入力に基づいて、荷物を確認が必要な荷物と、確認が不要な荷物とに区分する。
【０００３】
この方法は、オペレータが荷物の区分先を決定するため、荷物の区分先の決定に時間を要する、確認すべき荷物を見逃す、確認する必要のない荷物を確認用として区分してしまうなどの課題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−１３９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、効率的にオペレータが荷物の区分先を決定することが可能な検査装置及び検査プログラムを提供することである。
【課題を解決するための手段】
【０００６】
一実施形態に係わる検査装置は、通信インタフェースと、プロセッサとを具備する。通信インタフェースは、荷物を区分するソータにより搬送されている前記荷物に関する荷物情報と、オペレータによる操作に基づいて生成された操作信号とを取得する。プロセッサは、前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記荷物情報とが対応付けられた過去履歴と、新たに取得した前記荷物情報と、に基づいて、参考情報を出力する。前記荷物情報は、前記荷物のＸ線画像を含み、前記プロセッサは、オペレータが前記Ｘ線画像を確認し、荷物が規制品候補であるか否かの入力に基づき生成された前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断したか否かを示す前記検査結果情報を生成し、前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由を、前記検査結果情報に付加し、前記Ｘ線画像を問題とし、前記検査結果情報を答えとした学習用データに基づいて生成されたパラメータと、新たに取得した前記Ｘ線画像とに基づいて、前記参考情報を生成し、前記パラメータと、前記Ｘ線画像とに基づいて、前記荷物が規制品候補であると推定される理由を、前記参考情報に付加する。
【図面の簡単な説明】
【０００７】
【図１】図１は、一実施形態に係る検査システムの概略的な構成例について説明する為の説明図である。
【図２】図２は、一実施形態に係る検査システムの構成例について説明する為の説明図である。
【図３】図３は、一実施形態に係る登録情報の例について説明する為の説明図である。
【図４】図４は、一実施形態に係る確認画面の例について説明する為の説明図である。
【図５】図５は、一実施形態に係る検査システムの動作の例について説明する為のフローチャートである。
【図６】図６は、他の実施形態に係る確認画面の例について説明する為の説明図である。
【図７】図７は、他の実施形態に係る登録情報の例について説明する為の説明図である。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照して説明する。  
図１は、一実施形態に係る検査システム１の概略的な構成例について説明する為の説明図である。
【０００９】
検査システム１は、検査対象である荷物２を区分するシステムである。検査システム１は、税関などで、規制品の発見などに用いられる。規制品は、国内への輸入及び国外への輸出が規制されているものである。規制品は、例えば、武器、麻薬、動植物などである。
【００１０】
荷物２は、検査システム１によって検査されるものである。荷物２には、Ｅｌｅｃｔｒｏｎｉｃ  Ａｄｖａｎｃｅ  Ｄａｔａ（ＥＡＤ）タグ３が張り付けられている。ＥＡＤタグ３は、他国の税関での検査結果であるＥＡＤ情報に含まれる識別コード（ＥＡＤ識別コード）が印刷されたものである。ＥＡＤ識別コードは、例えばバーコードとして印刷される。ＥＡＤ情報は、ＥＡＤ識別コード、住所氏名情報、及び内容物の品名及び重量などを示す情報（内容物情報）などを含む情報である。住所氏名情報は、例えば、荷物２の受取人（宛先）を示す情報（受取人情報）、及び／または差出人を示す情報（差出人情報）である。
【００１１】
また、荷物２には、帳票４が張り付けられている。帳票４は、受取人情報及び／または差出人情報を示す住所氏名情報、並びに内容物を示す情報（内容物情報）などが記載されたものである。
【００１２】
なお、図１に示されるように、荷物２には、ＥＡＤタグ３と帳票４との両方が貼られているもの、帳票４が貼られＥＡＤタグ３が貼られていないものなどがある。
【００１３】
検査システム１は、ソータ１１、ソータ制御装置１２、ＥＡＤタグリーダ１３、カメラ１４、Ｘ線撮影装置１５、帳票リーダ１６、操作端末１７、第１のストレージ装置１８、第２のストレージ装置１９、及び検査装置２０を備える。ソータ１１、ソータ制御装置１２、ＥＡＤタグリーダ１３、カメラ１４、Ｘ線撮影装置１５、帳票リーダ１６、操作端末１７、第１のストレージ装置１８、第２のストレージ装置１９、及び検査装置２０は、ネットワーク２１を介して互いに通信可能に構成されている。
【００１４】
ソータ１１は、ソータ制御装置１２の制御に基づいて、荷物２を区分する装置である。ソータ１１は、例えば荷物２を第１の仕分先３１と第２の仕分先３２とに区分する。第１の仕分先３１は、オペレータにより確認が行われない荷物２が搬送される仕分先である。第２の仕分先３２は、オペレータにより確認が行われる荷物２が搬送される仕分先である。第２の仕分先３２に搬送された荷物２は、例えばオペレータにより開封されて確認される。
【００１５】
例えば、ソータ１１は、第１のコンベア４１、第２のコンベア４２、及び区分機構４３を備える。
【００１６】
第１のコンベア４１は、上流側から下流側に荷物２を搬送する。第１のコンベア４１の上流側の端部に、ロボットアームなどによって荷物２が供給される。第１のコンベア４１の下流側の端部に、第１の仕分先３１が設けられている。即ち、第１のコンベア４１は、上流側に供給された荷物２を、第１の仕分先３１に搬送する。
【００１７】
第２のコンベア４２は、上流側から下流側に荷物２を搬送する。第２のコンベア４２の上流側の端部は、第１のコンベア４１に隣接するように設けられている。第２のコンベア４２の下流側の端部に、第２の仕分先３２が設けられている。即ち、第１のコンベア４１は、上流側に供給された荷物２を、第２の仕分先３２に搬送する。
【００１８】
区分機構４３は、第１のコンベア４１を搬送されている荷物２を、第２のコンベア４２に供給する機構である。例えば、区分機構４３は、回動することにより、第１のコンベア４１を搬送されている荷物２に対して、水平方向から力を加え、荷物２を第２のコンベア４２に移動させるアームを備える。
【００１９】
ソータ制御装置１２は、検査装置２０の制御に基づいて、ソータ１１の第１のコンベア４１及び第２のコンベア４２の動作を制御し、荷物２を搬送させる。また、ソータ制御装置１２は、区分機構４３の動作を制御し、第１のコンベア４１の下流の端部である第１の仕分先３１と、第２のコンベア４２の下流の端部である第２の仕分先３２とで荷物２の仕分先を切り替える。
【００２０】
ＥＡＤタグリーダ１３は、第１のコンベア４１により搬送されている荷物２からＥＡＤタグ３を読み取る。ＥＡＤタグリーダ１３は、ＥＡＤタグ３からＥＡＤ識別コードを読み取り、読み取ったＥＡＤ識別コードを検査装置２０に供給する。例えば、ＥＡＤタグ３にＥＡＤ識別コードがバーコードとして印刷されている場合、ＥＡＤタグリーダ１３は、例えばバーコードリーダとして構成される。
【００２１】
カメラ１４は、第１のコンベア４１により搬送されている荷物２の外観の画像（外観画像）を取得する。カメラ１４は、取得した荷物２の外観画像を検査装置２０に供給する。例えば、カメラ１４は、レンズと、レンズにより結像された光を画像に変換する撮像素子とが組み合わされて構成される。
【００２２】
Ｘ線撮影装置１５は、第１のコンベア４１により搬送されている荷物２のＸ線画像を取得する。Ｘ線撮影装置１５は、取得した荷物２のＸ線画像を検査装置２０に供給する。例えば、Ｘ線撮影装置１５は、Ｘ線を荷物２に照射するＸ線管と、荷物２を透過したＸ線を検出するＸ線検出器とが組み合わされて構成される。
【００２３】
帳票リーダ１６は、第１のコンベア４１により搬送されている荷物２に張り付けられた帳票４から、種々の情報を読み取る。例えば、帳票リーダ１６は、帳票４から受取人情報、差出人情報、及び内容物情報を取得する。なお、以下帳票４から取得した受取人情報、差出人情報、及び内容物情報を帳票情報と称する。帳票リーダ１６は、帳票情報を検査装置２０に供給する。例えば、帳票リーダ１６は、例えば光を画像に変換する画素がライン状に配列された撮像素子と、画素に光を結像させるレンズとを有し、帳票４の画像（帳票画像）を取得するラインイメージセンサを備える。また、帳票リーダ１６は、ラインイメージセンサにより読み取った帳票画像から受取人情報、差出人情報、及び内容物情報などの帳票情報を認識する光学文字認識処理を行うプロセッサを備える。
【００２４】
次に操作端末１７について説明する。  
操作端末１７は、操作入力に基づき信号（操作信号）を生成し、操作信号を検査装置２０に供給する。また、操作端末１７は、オペレータに種々の情報を提供する。
【００２５】
図２は、操作端末１７及び検査装置２０の構成例を示す。操作端末１７は、通信インタフェース５１、制御部５２、及びタッチパネル５３を備える。
【００２６】
通信インタフェース５１は、操作端末１７以外の他の機器と通信する為のインタフェースである。通信インタフェース５１は、ネットワーク２１を介して、検査装置２０と通信する。
【００２７】
制御部５２は、種々の処理を実行する処理部である。制御部５２は、プロセッサ５４及びメモリ５５を備える。
【００２８】
プロセッサ５４は、演算処理を実行する演算素子である。プロセッサ５４は、例えばＣＰＵとして構成される。プロセッサ５４は、メモリ５５に記憶されているプログラムに基づいて種々の処理を行う。
【００２９】
メモリ５５は、プログラム及びデータを記憶する記憶媒体である。メモリ５５は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。
【００３０】
タッチパネル５３は、画面の表示と、操作に基づく操作信号の生成とを行う装置である。タッチパネル５３は、一体に構成されたディスプレイ５６及びタッチセンサ５７を備える。操作端末１７は、タッチパネル５３の代わりに画面を表示するディスプレイと、操作に基づき操作信号を生成する操作部とを備える構成であってもよい。操作部は、マウス、トラックボール、キーボード、トラックパッドなど如何なるものであってもよい。
【００３１】
ディスプレイ５６は、制御部５２または図示されないグラフィックコントローラから供給される表示用のデータ（画面データ）に基づいて画面を表示する。
【００３２】
タッチセンサ５７は、ディスプレイ５６に表示された画面上において操作端末１７を操作するオペレータがタッチした位置を示す操作信号を生成する。
【００３３】
第１のストレージ装置１８は、検査装置２０における処理の結果である登録情報を記憶する。図３は、登録情報の例について説明する為の説明図である。登録情報は、過去の荷物２に関する種々の情報と、検査結果とが対応付けられた過去履歴である。例えば、登録情報は、登録情報を登録した登録日時、オペレータ識別コード、荷物情報、及び検査結果情報を含む。オペレータ識別コードは、オペレータを識別するためのコードである。荷物情報は、ソータ１１により搬送されている荷物２に関する情報である。荷物情報は、住所氏名情報及びＸ線画像の少なくとも一方を含む。例えば、荷物情報は、ＥＡＤ情報、帳票情報、荷物の外観画像、及び荷物のＸ線画像を含む。検査結果情報は、オペレータにより入力された区分先情報及び規制品有無情報を含む。
【００３４】
区分先情報は、荷物２を第１の仕分先３１と第２の仕分先３２とのどちらに区分したかを示す情報である。オペレータは、荷物２の中身を確認する必要がないと判断した場合、荷物２を第１の仕分先３１に区分するように、操作端末１７を操作する。また、オペレータは、荷物２の中身を確認する必要がある、即ち、荷物２が規制品候補であると判断した場合、荷物２を第２の仕分先３２に区分するように、操作端末１７を操作する。言い換えると、区分先情報は、オペレータが荷物２を規制品候補であると判断したか否かを示す情報である。検査装置２０は、オペレータが操作端末１７を操作した結果、生成された操作信号に基づいて、荷物２毎に区分先情報を生成する。
【００３５】
規制品有無情報は、荷物２に規制品が含まれていたか否かを示す情報である。オペレータは、第２の仕分先３２に区分された荷物２を開封する。オペレータは、荷物２を開封した結果に基づいて、規制品が含まれていたか否かに応じて、操作端末１７を操作する。この結果、検査装置２０において、規制品有無情報が生成される。
【００３６】
第２のストレージ装置１９は、第１のストレージ装置１８に記憶されている登録情報に基づいて生成されたデータベースを記憶する。データベースは、例えば、ＥＡＤ情報の差出人情報、ＥＡＤ情報の受取人情報、帳票情報の差出人情報、または帳票情報の受取人情報などと、過去の検査結果情報とが対応付けられたものである。具体的には、データベースは、差出人情報毎または受取人情報毎に、過去に荷物の中身が確認された回数、及び荷物に規制品が含まれていた回数を抽出可能に構成されている。また、データベースは、差出人情報毎または受取人情報毎に、トラブルの有無などの情報をさらに有していてもよい。なお、第２のストレージ装置１９は、第１のストレージ装置１８と１つの記憶装置として構成されていてもよい。
【００３７】
次に、検査装置２０について説明する。  
図２に示されるように、検査装置２０は、通信インタフェース６１及び制御部６２を備える。検査装置２０は、オペレータに情報を提供し、オペレータによる操作入力に基づいて、確認が不要な荷物と、荷物の確認が必要な荷物とを判別する装置である。オペレータは、認証の為の情報（認証情報）を検査装置２０に入力することにより、検査装置２０にログインする。なお、検査装置２０は、上記の登録情報を生成する場合、ログイン中のオペレータの識別情報（オペレータ識別コード）を登録情報に付加する。
【００３８】
検査装置２０は、パーソナルコンピュータ（ＰＣ）などの、データの処理及びデータの保存を行うことができる装置により構成される。検査装置２０は、荷物の確認が不要な荷物２を第１の仕分先３１に搬送し、荷物の確認が必要な荷物２を第２の仕分先３２に搬送するように、ソータ制御装置１２を制御する。検査装置２０は、通信インタフェース６１及び制御部６２を備える。
【００３９】
通信インタフェース６１は、他の機器と通信する為のインタフェースである。通信インタフェース６１は、ネットワーク２１を介して、ＥＡＤタグリーダ１３、カメラ１４、Ｘ線撮影装置１５、帳票リーダ１６、操作端末１７、第１のストレージ装置１８、及び第２のストレージ装置１９と通信する為の通信規格などに対応した端子及び回路を備える。
【００４０】
制御部６２は、種々の処理を実行する処理部である。制御部６２は、プロセッサ６３及びメモリ６４を備える。
【００４１】
プロセッサ６３は、演算処理を実行する演算素子である。プロセッサ６３は、例えばＣＰＵとして構成される。プロセッサ６３は、メモリ６４に記憶されている検査プログラムに基づいて種々の処理を行う。
【００４２】
メモリ６４は、プログラム及びデータを記憶する記憶媒体である。プログラムは、後述する荷物２を検査する処理をプロセッサ６３に実行させるためのプログラム（検査プログラム）である。メモリ６４は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、及びデータを記憶するストレージの少なくとも１つ以上を備える。即ち、メモリ６４は、検査プログラムを記録した非一時的記録媒体である。また、メモリ６４は、データを一時的に記憶するＲＡＭをさらに備えていてもよい。
【００４３】
また、メモリ６４は、複数のＥＡＤ情報を記憶している。例えば、メモリ６４には、ＵＳＢメモリなどの記憶媒体からインポートされたＥＡＤ情報が記憶される。また、メモリ６４には、ネットワークを介して供給されたＥＡＤ情報が記憶されてもよい。
【００４４】
検査装置２０の制御部６２のプロセッサ６３は、メモリ６４に記憶されているプログラムを実行することにより、ＥＡＤタグリーダ１３、カメラ１４、Ｘ線撮影装置１５、及び帳票リーダ１６の動作を制御する。これにより、プロセッサ６３は、ＥＡＤタグリーダ１３からＥＡＤ識別コードを取得する。また、プロセッサ６３は、カメラ１４から荷物２の外観画像を取得する。また、プロセッサ６３は、Ｘ線撮影装置１５から荷物２のＸ線画像を取得する。また、プロセッサ６３は、帳票リーダ１６から、荷物２に張り付けられた帳票４に記載された帳票情報を取得する。
【００４５】
また、プロセッサ６３は、ＥＡＤタグリーダ１３から取得したＥＡＤ識別コードに基づいて、メモリ６４から、ＥＡＤ情報を取得する。プロセッサ６３は、ＥＡＤタグリーダ１３から取得したＥＡＤ識別コードを含むＥＡＤ情報をメモリ６４から抽出する。これにより、プロセッサ６３は、ＥＡＤ情報を取得する。
【００４６】
さらに、プロセッサ６３は、新たに取得した荷物情報と、過去履歴と、に基づいて、住所氏名情報が一致する荷物の検査の履歴を抽出する。例えば、プロセッサ６３は、荷物情報としての住所氏名情報に基づいて、第２のストレージ装置１９に格納されているデータベースから、検査の履歴を抽出する。また、例えば、プロセッサ６３は、荷物情報としての住所氏名情報に基づいて、第１のストレージ装置１８に格納されている過去履歴から、検査の履歴を抽出する構成でもよい。なお、住所氏名情報に基づいて、第２のストレージ装置１９のデータベースまたは第１のストレージ装置１８の過去履歴から抽出された情報を、抽出情報と称する。
【００４７】
住所氏名情報は、ＥＡＤ情報の差出人情報、ＥＡＤ情報の受取人情報、帳票情報の差出人情報、及び帳票情報の受取人情報の少なくとも１つ以上の情報である。
【００４８】
抽出情報は、規制品候補であると判断された荷物の数に基づいて、オペレータの注意を促すための情報である。例えば、抽出情報は、規制品候補であると判断された荷物の数に基づいて生成される情報である。また例えば、抽出情報は、規制品を実際に含んでいた荷物の数に基づいて生成される情報であってもよい。
【００４９】
具体的には、プロセッサ６３は、差出人情報が一致し、且つ過去に荷物の中身が確認された回数、差出人情報が一致し、且つ過去に荷物に規制品が含まれていた回数をデータベースから抽出する。また、プロセッサ６３は、受取人情報が一致し、且つ過去に荷物の中身が確認された回数、受取人情報が一致し、且つ過去に荷物に規制品が含まれていた回数をデータベースから抽出する。また、プロセッサ６３は、差出人情報及び受取人情報の両方が一致し、且つ過去に荷物の中身が確認された回数、差出人情報及び受取人情報の両方が一致し、且つ過去に荷物に規制品が含まれていた回数をデータベースから抽出する構成であってもよい。
【００５０】
また、プロセッサ６３は、過去履歴に基づいて、機械学習によって生成されたパラメータを用いて、Ｘ線画像から規制品の位置を推測する。例えば、プロセッサ６３は、規制品の位置の推測結果をＸ線画像に重ね、候補画像を生成する。例えば、プロセッサ６３は、規制品が存在する可能性に基づいて、Ｘ線画像上の所定の領域毎にスコアを算出する。プロセッサ６３は、算出したスコアに応じて、各領域を異なる表示にすることにより、候補画像を生成する。例えば、プロセッサ６３は、算出したスコアに応じて、各領域を異なる色で表示することにより、候補画像を生成する。
【００５１】
パラメータは、大量の学習用データに基づいて調整されたものである。学習用データは、問題と答えとを有するものである。学習用データの問題及び答えは、登録情報の任意のデータである。上記のように、Ｘ線画像から規制品の位置を推測する例では、Ｘ線画像が問題に相当し、Ｘ線画像中において規制品が存在する位置が答えに相当する。即ち、パラメータは、Ｘ線画像（問題）と、Ｘ線画像中における規制品の位置（答え）とを有する学習用データに基づいて、例えばセグメーテーション用のニューラルネットワークなどにより機械学習を行うことにより生成されたものである。
【００５２】
プロセッサ６３は、ソータ１１により搬送されている荷物２に関する種々の情報を示す画面（確認画面）を生成し、操作端末１７に送信し、表示させる。プロセッサ６３は、ＥＡＤ情報、帳票情報、外観画像、Ｘ線画像、候補画像、及びデータベースから抽出した抽出情報に基づいて、確認画面を生成する。
【００５３】
図４は、確認画面７１の例について説明する為の説明図である。  
確認画面７１は、操作端末１７のディスプレイ５６に表示される画面である。確認画面７１には、荷物２を開封確認する必要があるか否かをオペレータが判断する際に用いられる情報が表示される。即ち、確認画面７１に表示される情報は、オペレータの判断の参考に用いられる参考情報である。確認画面７１は、外観画像７２、Ｘ線画像７３、候補画像７４、ＥＡＤ情報７５、帳票情報７６、抽出情報７７、配達ボタン７８、及び確認ボタン７９などの表示を有する。
【００５４】
外観画像７２は、カメラ１４により取得した荷物２の外観画像である。Ｘ線画像７３は、Ｘ線撮影装置１５により取得した荷物２のＸ線画像である。候補画像７４は、プロセッサ６３がＸ線画像と上記のパラメータとに基づいて生成した画像である。ＥＡＤ情報７５は、ＥＡＤタグリーダ１３により荷物２から取得したＥＡＤ識別コードに基づいて取得したＥＡＤ情報である。なお、ＥＡＤタグ３が荷物２に貼られていない場合、ＥＡＤ識別コード及びＥＡＤ情報を取得することができない為、確認画面７１中のＥＡＤ情報７５は空欄となる。帳票情報７６は、帳票リーダ１６により、荷物２の帳票４から読み取った帳票情報である。即ち、ＥＡＤ情報７５及び帳票情報７６は、荷物情報としての住所氏名情報を含むものである。
【００５５】
抽出情報７７は、上記のように、プロセッサ６３が、住所氏名情報に基づいて、過去履歴から抽出した情報である。例えば、抽出情報７７は、ソータ１１により搬送されている荷物２と受取人情報が一致する荷物の数「ＺＺ」のうち、規制品候補であると判断された荷物の数「ＹＹ」、規制品が含まれていた荷物の数「ＸＸ」などの情報を含む。また、抽出情報７７は、ソータ１１により搬送されている荷物２と受取人情報が一致する荷物の数「ＣＣ」のうち、規制品候補であると判断された荷物の数「ＢＢ」、規制品が含まれていた荷物の数「ＡＡ」などの情報を含む。またさらに、抽出情報７７は、ソータ１１により搬送されている荷物２の差出人または受取人の、過去のトラブルの有無を含んでいてもよい。
【００５６】
また、確認画面７１は、アラーム表示８０をさらに含んでいてもよい。図４では、アラーム表示８０として「要確認」の文字列を確認画面７１に表示させている。プロセッサ６３は、例えば、抽出情報が所定の条件を満たす場合に、アラーム表示８０を確認画面７１に表示させる。例えば、プロセッサ６３は、抽出情報における規制品の数が、予め設定された閾値以上である場合、アラーム表示８０を確認画面７１に表示させる。また、例えば、プロセッサ６３は、抽出情報における規制品候補の数が、予め設定された閾値以上である場合、アラーム表示８０を確認画面７１に表示させる。上記の条件は、オペレータごとに設定されてもよい。
【００５７】
配達ボタン７８及び確認ボタン７９は、タッチセンサ５７により選択可能なボタンである。オペレータは、確認画面７１の参考情報を確認し、荷物２を開封確認する必要があるか否か判断する。即ち、オペレータは、確認画面７１の、外観画像７２、Ｘ線画像７３、候補画像７４、ＥＡＤ情報７５、帳票情報７６、及び抽出情報７７などを確認して、荷物２を開封する必要があるか否か判断し、配達ボタン７８と確認ボタン７９とのいずれかを選択する。
【００５８】
オペレータにより配達ボタン７８が選択された場合、検査装置２０は、荷物２が規制品候補ではないと判断し、荷物２を第１の仕分先３１に搬送するように、ソータ制御装置１２を制御する。
【００５９】
オペレータにより確認ボタン７９が選択された場合、検査装置２０は、荷物２が規制品候補であると判断し、荷物２を第２の仕分先３２に搬送するように、ソータ制御装置１２を制御する。この後、オペレータは、第２の仕分先３２に搬送された荷物２を開封し、規制品の有無を確認し、確認の結果を操作端末１７に入力する。これにより、検査装置２０は、図３に示されるような登録情報を生成する。検査装置２０は、生成した登録情報を第１のストレージ装置１８に保存する。これにより、過去履歴が第１のストレージ装置１８に蓄積される。また、これにより、差出人情報及び受取人情報をインデックスとして、過去に規制品候補と判断された荷物の数、及び規制品が含まれていた荷物の数を抽出可能なデータベースを、第２のストレージ装置１９に生成することができる。
【００６０】
次に、検査システム１の動作について説明する。  
図５は、検査システム１の動作について説明する為のフローチャートである。
【００６１】
検査システム１のＥＡＤタグリーダ１３は、第１のコンベア４１により搬送されている荷物２のＥＡＤタグ３から、ＥＡＤ識別コードを読み取る（ステップＳ１１）。ＥＡＤタグリーダ１３は、ＥＡＤ識別コードを検査装置２０に供給する。
【００６２】
検査システム１のカメラ１４は、第１のコンベア４１により搬送されている荷物２の外観画像を取得する（ステップＳ１２）。カメラ１４は、外観画像を検査装置２０に供給する。
【００６３】
検査システム１のＸ線撮影装置１５は、第１のコンベア４１により搬送されている荷物２のＸ線画像を取得する（ステップＳ１３）。カメラ１４は、Ｘ線画像を検査装置２０に供給する。
【００６４】
検査システム１の帳票リーダ１６は、第１のコンベア４１により搬送されている荷物２の帳票４から、帳票情報を取得する（ステップＳ１４）。帳票リーダ１６は、帳票情報を検査装置２０に供給する。
【００６５】
検査装置２０の制御部６２のプロセッサ６３は、ＥＡＤタグリーダ１３によりＥＡＤ識別コードを取得したか否か判断する（ステップＳ１５）。これにより、プロセッサ６３は、ＥＡＤタグリーダ１３からＥＡＤ識別コードが供給されたか否か判断する。
【００６６】
プロセッサ６３は、ＥＡＤタグリーダ１３によりＥＡＤ識別コードを取得したと判断した場合（ステップＳ１５、ＹＥＳ）、ＥＡＤ識別コードに基づいてＥＡＤ情報を取得する（ステップＳ１６）。上記の処理により、検査装置２０は、荷物２に関する種々の情報である荷物情報を取得する。
【００６７】
さらに、プロセッサ６３は、ＥＡＤ情報に基づいて、第２のストレージ装置１９のデータベースから抽出情報を取得し（ステップＳ１７）、後述するステップＳ１９の処理に移行する。即ち、プロセッサ６３は、ＥＡＤ情報の差出人情報及び受取人情報に一致する過去の荷物の数、規制品候補と判断された荷物の数、規制品が含むと判断された荷物の数を、それぞれデータベースから取得する。
【００６８】
プロセッサ６３は、ＥＡＤタグリーダ１３によりＥＡＤ識別コードを取得していないと判断した場合（ステップＳ１５、ＮＯ）、帳票情報に基づいて、第２のストレージ装置１９のデータベースから抽出情報を取得し（ステップＳ１８）、後述するステップＳ１９の処理に移行する。即ち、プロセッサ６３は、帳票情報の差出人情報及び受取人情報に一致する過去の荷物の数、規制品候補と判断された荷物の数、規制品が含むと判断された荷物の数を、それぞれデータベースから取得する。
【００６９】
プロセッサ６３は、機械学習によって生成されたパラメータを用いて、Ｘ線画像から規制品の位置を推測し、候補画像を生成する（ステップＳ１９）。
【００７０】
プロセッサ６３は、ＥＡＤ情報、帳票情報、外観画像、Ｘ線画像、候補画像、及びデータベースから抽出した抽出情報に基づいて、図４に示す確認画面７１を生成する（ステップＳ２０）。プロセッサ６３は、確認画面７１を操作端末１７に出力し、表示させる（ステップＳ２１）。これにより、オペレータに確認画面７１を視認させ、荷物２が規制品候補であるか否かを判断させる。オペレータは、荷物２が規制品候補であると判断した場合、確認画面７１の確認ボタン７９を選択する。オペレータは、荷物２が規制品候補ではないと判断した場合、確認画面７１の配達ボタン７８を選択する。操作端末１７は、確認画面７１の確認ボタン７９及び配達ボタン７８の選択結果に基づいて、操作信号を検査装置２０に供給する。
【００７１】
検査装置２０のプロセッサ６３は、操作端末１７からの操作信号に基づいて、荷物２が規制品候補であるか否か判断する（ステップＳ２２）。例えば、プロセッサ６３は、操作端末１７から配達ボタン７８が選択されたことを示す操作信号を受信した場合、荷物２が規制品候補ではないと判断する。また、例えば、プロセッサ６３は、操作端末１７から確認ボタン７９が選択されたことを示す操作信号を受信した場合、荷物２が規制品候補であると判断する。
【００７２】
プロセッサ６３は、荷物２が規制品候補ではないと判断した場合（ステップＳ２２、ＮＯ）、荷物２が第１の仕分先３１に搬送されるように、ソータ制御装置１２に制御信号を入力する（ステップＳ２３）。また、プロセッサ６３は、荷物２が規制品候補であると判断した場合（ステップＳ２２、ＹＥＳ）、荷物２が第２の仕分先３２に搬送されるように、ソータ制御装置１２に制御信号を入力する（ステップＳ２４）。
【００７３】
この後、オペレータは、第２の仕分先３２に搬送された荷物２を開封し、規制品の有無を確認し、確認の結果を操作端末１７に入力する。プロセッサ６３は、上記の処理結果に基づいて、登録情報を生成し、登録情報を第１のストレージ装置１８に記憶し（ステップＳ２５）、処理を終了する。これにより、規制品が実際に荷物２に含まれていたか否かを示す規制品有無情報が登録情報に付加される。なお、第２の仕分先３２に搬送された荷物２を開封するオペレータは、操作端末１７を操作するオペレータとは別であってもよい。この場合、検査システム１は、第２の仕分先３２に搬送された荷物２を開封し、規制品が含まれていたか否かを、オペレータが入力する為の装置をさらに備えていてもよい。即ち、検査システム１は、規制品が含まれていたか否かを示す情報を、オペレータの入力に基づいて、検査装置２０に送信する装置をさらに備えていてもよい。
【００７４】
なお、登録情報には、規制品の有無の確認結果が含まれていなくてもよい。この場合、確認画面７１の抽出情報７７からも、規制品の数の項目が省略される。
【００７５】
上記したように、検査装置２０のプロセッサ６３は、通信インタフェース６１により、ソータ１１により搬送されている荷物２に関する荷物情報と、オペレータが操作端末１７を操作することにより生成された操作信号とを取得する。プロセッサ６３は、操作信号に基づいて、荷物２が規制品候補であるか否かを示す検査結果情報を生成する。プロセッサ６３は、過去の荷物２の荷物情報と検査結果情報とが対応付けられた過去履歴と、新たに取得した荷物情報と、に基づいて、参考情報を出力する。これにより、検査装置２０は、オペレータが荷物の区分先を判断する為に有用な情報を提供することができる。この結果、効率的にオペレータが荷物の区分先を決定することが可能な検査装置を提供することができる。
【００７６】
また、荷物情報は、荷物２に対応する住所氏名情報であり、プロセッサ６３は、住所氏名情報が一致し、且つ規制品候補であると判断された荷物の数に基づいて、参考情報を生成する。これにより、検査装置２０は、オペレータが荷物の区分先を判断する為に有用な情報を提供することができる。
【００７７】
また、プロセッサ６３は、荷物２が規制品を含むことを示す操作信号を取得した場合、荷物２が規制品を含むことを示す情報を、検査結果情報に付加する。プロセッサ６３は、住所氏名情報が一致し、且つ規制品を含んでいた荷物の数に基づいて、参考情報を生成する。これにより、検査装置２０は、オペレータが荷物の区分先を判断する為に有用な情報を提供することができる。
【００７８】
また、プロセッサ６３は、通信インタフェース６１により、荷物２から読み取られたＥＡＤ識別コードと一致するＥＡＤ情報を取得する。プロセッサ６３は、ＥＡＤ情報に含まれている差出人情報及び受取人情報の少なくともいずれかを、住所氏名情報として用いる。これにより、検査装置２０は、オペレータが荷物の区分先を判断する為に有用な情報を提供することができる。
【００７９】
また、プロセッサ６３は、通信インタフェース６１により、荷物２に表示された差出人情報及び受取人情報を取得する。プロセッサ６３は、差出人情報及び受取人情報の少なくともいずれかを、住所氏名情報として用いる。これにより、検査装置１は、荷物２にＥＡＤタグ３が貼られていない場合であっても、履歴を残すことができる。
【００８０】
検査装置２０のプロセッサ６３は、荷物２のＸ線画像をＸ線撮影装置１５から取得する。プロセッサ６３は、機械学習によって生成されたパラメータを用いて、Ｘ線画像から規制品の位置を推測する。プロセッサ６３は、規制品の位置の推測結果をＸ線画像に重ね、候補画像を生成する。プロセッサ６３は、候補画像を参考情報に付加し、出力する。これにより、オペレータの注意を促すことができる。
【００８１】
なお、上記の実施形態では、確認画面７１は、配達ボタン７８と確認ボタン７９とのいずれかをオペレータに選択させる画面であると説明したが、この構成に限定されない。確認ボタン７９が複数の区分理由によって分かれていてもよい。また、Ｘ線画像上において、規制品が存在する位置をオペレータに指示させるように構成されていてもよい。
【００８２】
図６は、図４の確認画面７１の他の例である確認画面７１Ａについて説明する為の説明図である。
【００８３】
プロセッサ６３は、ＥＡＤ情報、帳票情報、外観画像、Ｘ線画像、候補画像、及びデータベースから抽出した抽出情報に基づいて、確認画面７１Ａを生成する。
【００８４】
確認画面７１Ａは、操作端末１７のディスプレイ５６に表示される画面である。確認画面７１Ａには、荷物２を開封確認する必要があるか否かをオペレータが判断する際に用いられる情報が表示される。即ち、確認画面７１Ａに表示される情報は、オペレータの判断の参考に用いられる参考情報である。確認画面７１Ａは、外観画像７２、Ｘ線画像７３Ａ、候補画像７４、ＥＡＤ情報７５、帳票情報７６、抽出情報７７、配達ボタン７８、規制品ボタン８１、危険物ボタン８２、内容物不一致ボタン８３、過去履歴ボタン８４、及びその他ボタン８５などの表示を有する。
【００８５】
オペレータは、確認画面７１Ａの参考情報を確認し、荷物２を開封確認する必要があるか否か判断し、配達ボタン７８、規制品ボタン８１、危険物ボタン８２、内容物不一致ボタン８３、過去履歴ボタン８４、及びその他ボタン８５のいずれかを選択する。規制品ボタン８１、危険物ボタン８２、内容物不一致ボタン８３、過去履歴ボタン８４、及びその他ボタン８５は、確認画面７１における確認ボタン７９に相当する。即ち、規制品ボタン８１、危険物ボタン８２、内容物不一致ボタン８３、過去履歴ボタン８４、及びその他ボタン８５のいずれかがオペレータにより選択された場合、検査装置２０は、荷物２を第２の仕分先３２に搬送するようにソータ制御装置１２を制御する。
【００８６】
規制品ボタン８１は、オペレータが確認画面７１Ａを視認した結果、荷物２に規制品が含まれている可能性があると判断した場合に選択されるボタンである。
【００８７】
危険物ボタン８２は、オペレータが確認画面７１Ａを視認した結果、荷物２に規制品が含まれている可能性があると判断した場合に、選択されるボタンである。
【００８８】
内容物不一致ボタン８３は、オペレータが確認画面７１Ａを視認した結果、ＥＡＤ情報７５または帳票情報７６に記載されている荷物２と一致しないものが荷物２に含まれている可能性があると判断した場合に、選択されるボタンである。
【００８９】
過去履歴ボタン８４は、オペレータが確認画面７１Ａを視認した結果、抽出情報７７から荷物２を開封して確認する必要があると判断した場合に、選択されるボタンである。
【００９０】
その他ボタン８５は、上記の理由に該当しないものの、荷物２を開封して確認する必要があるとオペレータが判断した場合に、選択されるボタンである。
【００９１】
Ｘ線画像７３Ａは、Ｘ線撮影装置１５により取得した荷物２のＸ線画像である。さらに、Ｘ線画像７３Ａは、画像上の領域をタッチセンサ５７により指示可能に構成されている。即ち、操作端末１７は、オペレータがタッチセンサ５７によりＸ線画像７３Ａ上の領域を選択（タップ、ドラッグなど）する操作を行った場合、オペレータが選択した領域を示す情報（Ｘ線画像領域情報）を生成する。
【００９２】
例えば、オペレータは、Ｘ線画像７３Ａにおいて、規制品が存在することが推定される領域を選択する。即ち、Ｘ線画像領域情報は、Ｘ線画像７３Ａ中における規制品の位置を示す情報である。これにより、Ｘ線画像７３Ａが問題であり、オペレータによる領域の選択結果（Ｘ線画像領域情報）が答えである学習データを生成することができる。
【００９３】
上記の確認画面７１Ａにおけるボタンの操作結果に基づいて、操作端末１７は、操作信号を検査装置２０に供給する。
【００９４】
検査装置２０のプロセッサ６３は、操作端末１７から配達ボタン７８が選択されたことを示す操作信号を受信した場合、荷物２が規制品候補ではないと判断する。この場合、プロセッサ６３は、荷物２が第１の仕分先３１に搬送されるように、ソータ制御装置１２に制御信号を入力する。さらに、プロセッサ６３は、登録情報を生成し、第１のストレージ装置１８に保存する。
【００９５】
また、プロセッサ６３は、規制品ボタン８１、危険物ボタン８２、内容物不一致ボタン８３、過去履歴ボタン８４、及びその他ボタン８５のいずれかが選択されたことを示す操作信号を操作端末１７から受信した場合、荷物２の開封確認が必要であると判断する。この場合、プロセッサ６３は、荷物２が第２の仕分先３２に搬送されるように、ソータ制御装置１２に制御信号を入力する。
【００９６】
この後、オペレータは、第２の仕分先３２に搬送された荷物２を開封し、荷物２の中身を確認し、確認結果を操作端末１７に入力する。プロセッサ６３は、上記の処理結果に基づいて、登録情報を生成する。これにより、規制品が実際に荷物２に含まれていたか否かを示す規制品有無情報を検査結果情報に含む登録情報が生成される。
【００９７】
また、プロセッサ６３は、規制品ボタン８１、危険物ボタン８２、内容物不一致ボタン８３、過去履歴ボタン８４、及びその他ボタン８５などのボタンが選択されて、荷物２が第２の仕分先３２に区分されたのかを示す情報（区分理由情報）を、登録情報に付加する。例えば、規制品ボタン８１が選択された場合、プロセッサ６３は、区分理由情報として「規制品」を登録情報に付加する。例えば、危険物ボタン８２が選択された場合、プロセッサ６３は、区分理由情報として「危険物」を登録情報に付加する。例えば、内容物不一致ボタン８３が選択された場合、プロセッサ６３は、区分理由情報として「内容物不一致」を登録情報に付加する。例えば、過去履歴ボタン８４が選択された場合、プロセッサ６３は、区分理由情報として「過去履歴」を登録情報に付加する。例えば、その他ボタン８５が選択された場合、プロセッサ６３は、区分理由情報として「その他」を登録情報に付加する。
【００９８】
また、プロセッサ６３は、Ｘ線画像７３Ａ上における規制品の位置を示すＸ線画像領域情報を登録情報に付加する。
【００９９】
これにより、図７に示される登録情報が生成される。図７の登録情報は、登録情報を登録した登録日時、オペレータ識別コード、荷物情報、及び検査結果情報を含む。荷物情報は、ソータ１１により搬送されている荷物２に関する情報である。荷物情報は、住所氏名情報及びＸ線画像の少なくとも一方を含む。例えば、荷物情報は、ＥＡＤ情報、帳票情報、荷物の外観画像、及び荷物のＸ線画像を含む。検査結果情報は、オペレータにより入力された区分先情報、区分理由情報、規制品有無情報、及びＸ線画像領域情報を含む。
【０１００】
プロセッサ６３は、上記の処理により生成された登録情報を、第１のストレージ装置１８に過去履歴として記憶する。プロセッサ６３は、第１のストレージ装置１８に保存された過去履歴に基づいて、データベースを生成し、第２のストレージ装置１９に保存する。例えば、プロセッサ６３は、住所氏名情報毎に、区分先情報、区分理由情報、及び規制品有無を対応付けて、データベースを生成する。これにより、プロセッサ６３は、住所氏名情報に基づいて、区分理由毎に、規制品候補であると判断された過去の荷物の数、規制品を含んでいた過去の荷物の数をそれぞれ抽出可能なデータベースを生成することができる。
【０１０１】
このような構成によると、プロセッサ６３は、過去履歴から抽出された、予め設定された区分理由が付加された荷物の数に基づいて、参考情報を生成することができる。即ち、プロセッサ６３は、予め設定された区分理由の過去の荷物の数、予め設定された区分理由によって規制品候補であると判断された過去の荷物の数、予め設定された区分理由によって区分され且つ規制品を含んでいた荷物の数を、データベースより抽出することができる。さらに、プロセッサ６３は、抽出した情報を、抽出情報７７として確認画面７１Ａに付加することができる。
【０１０２】
また、上記の実施形態において、プロセッサ６３は、住所氏名情報に基づいて、データベースから抽出情報を取得し、抽出情報にもとづいてアラーム表示を行うと説明したが、この構成に限定されない。プロセッサ６３は、区分理由情報によってアラーム表示を行わないように構成されていてもよい。
【０１０３】
例えば、上記の実施形態では、プロセッサ６３が、ＥＡＤ情報または帳票情報に基づいて、第２のストレージ装置１９から抽出情報を抽出する。さらに、プロセッサ６３は、抽出情報における規制品候補の数が、予め設定された閾値以上である場合、アラーム表示８０を確認画面７１に表示させると説明した。しかし、区分理由が過去履歴である場合、１度荷物２が規制品候補であると判断されることにより、住所氏名情報が一致する荷物２に対して、アラーム表示が出され続けることになる。この為、プロセッサ６３は、区分理由によって、規制品候補としてカウントしないように構成されていてもよい。これにより、プロセッサ６３は、住所氏名情報が一致する抽出情報の規制品候補の数のうち、予め設定された区分理由により規制品候補として区分された荷物の数をカウントすることができる。
【０１０４】
また、上記したように、図７の登録情報は、Ｘ線画像（問題）と、Ｘ線画像上における規制品の位置を示すＸ線画像領域情報（答え）とを有する。即ち、登録情報から学習用データを生成することができる。検査装置２０は、学習用データを用いて、例えばセグメーテーション用のニューラルネットワークなどにより機械学習を行うことにより、パラメータを更新することができる。即ち、オペレータが入力したＸ線画像領域情報に基づいて、パラメータを更新することができる。
【０１０５】
さらに、検査装置２０は、学習用データを用いた機械学習におけるパラメータの更新の重みを、オペレータごとに設定する構成であってもよい。重みは、パラメータの更新の度合、上限及び下限、または係数などを示す情報である。重みが大きいほど、１度の学習でパラメータが大きく変化する。例えば、プロセッサ６３は、登録情報のオペレータ識別コードに基づいて、重みを取得する。例えば、プロセッサ６３は、登録情報に付加されているオペレータ識別コードと重みとか対応付けられたテーブルを参照することにより、重みを取得する。プロセッサ６３は、取得した重みと、学習用データとに基づいて、パラメータの更新を行う。これにより、Ｘ線画像中の規制品の検出精度が高いオペレータの登録情報に基づく学習用データを、パラメータの更新の際に重視させることができる。
【０１０６】
またさらに、検査装置２０は、図７の登録情報を用いたパラメータの更新の重みを、区分理由情報ごとに設定する構成であってもよい。これにより、区分理由が「その他」である場合、「内容物不一致」である場合、または「過去履歴」である登録情報に基づき生成された学習用データを、パラメータの更新の際に重視しないようにすることができる。
【０１０７】
またさらに、検査装置２０は、実際に第２の仕分先３２に区分された荷物２を確認した結果に基づいて、図７の登録情報をパラメータの更新に用いない構成であってもよい。例えば、実際に第２の仕分先３２に区分された荷物２を確認した結果、規制品が含まれていなかった場合、登録情報のＸ線画像（問題）及びＸ線画像領域情報（答え）をパラメータの更新に用いることは、好ましくない。この為、例えば、検査装置２０は、実際に第２の仕分先３２に区分された荷物２を確認した結果、規制品が含まれていなかった登録情報を、パラメータの更新に用いないように構成されていてもよい。
【０１０８】
上記したように、プロセッサ６３は、荷物情報として荷物２のＸ線画像を取得し、Ｘ線画像７３を含む参考情報としての確認画面７１Ａを出力する。オペレータは、Ｘ線画像７３を確認し、荷物２が規制品候補であるか否かを操作端末１７に入力する。プロセッサ６３は、操作信号に基づいて、オペレータが荷物２を規制品候補であると判断したか否かを示す検査結果情報を生成する。さらに、プロセッサ６３は、Ｘ線画像を問題とし、検査結果情報を答えとした学習用データに基づいて、機械学習によりパラメータを生成する。このような構成によると、プロセッサ６３は、新たに取得したＸ線画像と、パラメータとに基づいて、荷物２が規制品候補であるか否かを推定する。プロセッサ６３は、荷物２が規制品候補であるか否かの推定結果を、参考情報としての確認画面７１Ａに付加することができる。これにより、検査装置２０は、オペレータに注意を促すことができる。
【０１０９】
また、プロセッサ６３は、荷物情報として荷物２のＸ線画像を取得し、Ｘ線画像７３を含む参考情報としての確認画面７１Ａを出力する。オペレータは、Ｘ線画像７３を確認し、荷物２が規制品候補であるか否か判断する。オペレータは、荷物２が規制品候補であると判断した場合、荷物２が規制品候補であると推定される理由（すなわち区分理由）を、操作端末１７に入力する。プロセッサ６３は、操作信号に基づいて、オペレータが荷物２を規制品候補であると判断したか否かと、オペレータが荷物２を規制品候補であると判断した理由を示す区分理由と、を示す検査結果情報を生成する。さらに、プロセッサ６３は、Ｘ線画像を問題とし、検査結果情報を答えとした学習用データに基づいて、機械学習によりパラメータを更新する。即ち、プロセッサ６３は、Ｘ線画像を問題とし、オペレータが荷物２を規制品候補であると判断した理由を示す区分理由が分類先として設定されたパラメータを生成する。このような構成によると、プロセッサ６３は、新たに取得したＸ線画像と、パラメータとに基づいて、荷物２が規制品候補であるか否かと、荷物２が規制品候補である理由と、を推定することができる。これにより、プロセッサ６３は、荷物２が規制品候補であるか否かと、荷物２が規制品候補である理由と、の推定結果を、参考情報としての確認画面７１Ａに付加することができる。これにより、検査装置２０は、オペレータに注意を促すことができる。
【０１１０】
また、プロセッサ６３は、荷物情報として荷物２のＸ線画像を取得し、Ｘ線画像７３を含む参考情報としての確認画面７１Ａを出力する。オペレータは、Ｘ線画像７３を確認し、荷物２が規制品候補であるか否か判断する。オペレータは、荷物２が規制品候補であると判断した場合、荷物２が規制品候補であると推定される理由（すなわち区分理由）を、操作端末１７に入力する。また、オペレータは、荷物２が規制品候補であると判断した場合、Ｘ線画像７３Ａ上で、規制品の位置を、操作端末１７に入力する。プロセッサ６３は、操作信号に基づいて、オペレータが荷物２を規制品候補であると判断したか否かと、オペレータが荷物２を規制品候補であると判断した理由を示す区分理由と、規制品の位置を示すＸ線画像領域情報と、を示す検査結果情報を生成する。さらに、プロセッサ６３は、Ｘ線画像を問題とし、検査結果情報を答えとした学習用データに基づいて、機械学習によりパラメータを更新する。即ち、プロセッサ６３は、Ｘ線画像を問題とし、オペレータが荷物２を規制品候補であると判断した理由を示す区分理由と、Ｘ線画像上において規制品が存在する位置と、を推定する為のパラメータを生成する。言い換えると、プロセッサ６３は、Ｘ線画像７３Ａ上でのオペレータの操作に基づいて生成されたＸ線画像領域情報と、オペレータが荷物２を規制品候補であると判断した理由を示す区分理由とが答えである学習用データに基づいて、パラメータを生成する。このような構成によると、プロセッサ６３は、新たに取得したＸ線画像と、パラメータとに基づいて、荷物２が規制品候補であるか否かと、荷物２が規制品候補である理由と、Ｘ線画像上の規制品が存在することが推定される領域と、を推定することができる。プロセッサ６３は、パラメータと、新たに取得したＸ線画像とに基づいて、Ｘ線画像上の規制品が存在することが推定される領域と、区分理由とを示した候補画像を生成する。プロセッサ６３は、生成した候補画像を、参考情報としての確認画面７１Ａに表示させる。これにより、検査装置２０は、オペレータに注意を促すことができる。
【０１１１】
また、プロセッサ６３は、Ｘ線画像が問題であり、Ｘ線画像上における規制品の位置を答えとした学習用データを用いて、機械学習によりパラメータの更新を行う場合、機械学習に用いるＸ線画像をクロップしてもよい。例えば、プロセッサ６３は、Ｘ線画像領域情報に基づいて、Ｘ線画像をクロップし、クロップしたＸ線画像を学習用データの問題として用いる。即ち、プロセッサ６３は、オペレータがＸ線画像上で選択した領域のＸ線画像を学習用データの問題として用いる。これにより、検査装置２０は、学習用データの問題から余計な情報が除去される為、より規制品候補を検出しやすいパラメータを生成することができる。
【０１１２】
また、上記の実施形態では、規制品ボタン８１、危険物ボタン８２、内容物不一致ボタン８３、過去履歴ボタン８４、及びその他ボタン８５などのボタンの選択に基づいて、「規制品」、「危険物」、「内容物不一致」、「過去履歴」、及び「その他」などの区分理由情報を検査結果情報に付加すると説明したが、この構成に限定されない。「規制品」及び「危険物」は、それぞれさらに種々の項目に分かれていてもよい。例えば、「規制品」は、「特定の生体」、「指定薬物」、「銃及び銃部品」、及び「偽造物」などに分かれていてもよい。また、「危険物」は、「爆発物」、「火薬類」、及び「特定化学物質」などに分かれていてもよい。区分理由情報がこのように分かれていることにより、検査結果情報により詳細な区分理由情報が付加される。これにより、検査装置２０は、より詳細な区分理由を参考情報に付加することができる。
【０１１３】
また、上記の検査プログラムを実行するのは、検査装置２０のプロセッサ６３に限定されず、通信インタフェースと、プロセッサとを備える装置であれば如何なる装置であってもよい。即ち、検査プログラムは、通信インタフェースと、プロセッサとを備える装置のプロセッサにより実行される検査プログラムであって、プロセッサに、通信インタフェースにより、荷物を区分するソータにより搬送されている荷物に関する荷物情報と、オペレータによる操作に基づいて生成された操作信号とを取得することを実行させる。また、検査プログラムは、プロセッサに、操作信号に基づいて生成された荷物が規制品候補であるか否かを示す検査結果情報と荷物情報とが対応付けられた過去履歴と、新たに取得した荷物情報と、に基づいて、参考情報を出力することを実行させる。
【０１１４】
また、上記したように、検査プログラムは、検査プログラムを実行するプロセッサを備える装置により読み出し可能な状態で、非一時的記録媒体に記録されていてもよい。
【０１１５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
なお、以下に出願当初の特許請求の範囲を付記する。
［Ｃ１］
荷物を区分するソータにより搬送されている前記荷物に関する荷物情報と、オペレータによる操作に基づいて生成された操作信号とを取得する通信インタフェースと、
前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記荷物情報とが対応付けられた過去履歴と、新たに取得した前記荷物情報と、に基づいて、参考情報を出力するプロセッサと、
を具備する検査装置。
［Ｃ２］
前記荷物情報は、前記荷物に対応する住所氏名情報であり、
前記プロセッサは、前記住所氏名情報が一致する前記過去履歴から抽出された規制品候補である荷物の数に基づいて、前記参考情報を生成するＣ１に記載の検査装置。
［Ｃ３］
前記荷物情報は、前記荷物に対応する住所氏名情報を含み、
前記プロセッサは、
前記荷物が規制品を含むことを示す前記操作信号を受信した場合、前記荷物が規制品を含むことを示す情報を前記検査結果情報に付加し、
前記住所氏名情報が一致する前記過去履歴から抽出された規制品を含む荷物の数に基づいて、前記参考情報を生成するＣ１に記載の検査装置。
［Ｃ４］
前記荷物情報は、前記荷物に対応する住所氏名情報を含み、
前記プロセッサは、
前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由を、前記検査結果情報に付加し、
前記過去履歴から抽出された、予め設定された区分理由が付加された荷物の数に基づいて、前記参考情報を生成するＣ１に記載の検査装置。
［Ｃ５］
前記荷物情報は、前記荷物のＸ線画像を含み、
前記プロセッサは、
オペレータが前記Ｘ線画像を確認し、荷物が規制品候補であるか否かの入力に基づき生成された前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断したか否かを示す前記検査結果情報を生成し、
前記Ｘ線画像を問題とし、前記検査結果情報を答えとした学習用データに基づいて生成されたパラメータと、新たに取得した前記Ｘ線画像とに基づいて、前記参考情報を生成するＣ１に記載の検査装置。
［Ｃ６］
前記プロセッサは、
前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由を、前記検査結果情報に付加し、
前記パラメータと、前記Ｘ線画像とに基づいて、前記荷物が規制品候補であると推定される理由を、前記参考情報に付加するＣ５に記載の検査装置。
［Ｃ７］
前記プロセッサは、
前記Ｘ線画像を問題とし、前記Ｘ線画像上における規制品の位置を答えとした学習用データに基づいて生成された前記パラメータと、前記Ｘ線画像とに基づいて、前記Ｘ線画像上の規制品が存在することが推定される領域を示した候補画像を生成し、
前記候補画像を、前記参考情報に付加するＣ５に記載の検査装置。
［Ｃ８］
前記学習用データは、前記Ｘ線画像上でのオペレータの操作に基づいて、Ｘ線画像上の領域を示すＸ線画像領域情報が前記答えとして生成されたデータであるＣ７に記載の検査装置。
［Ｃ９］
前記学習用データは、前記Ｘ線画像上でのオペレータの操作に基づいて、Ｘ線画像上の領域を示すＸ線画像領域情報と、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由とが前記答えとして生成されたデータであるＣ７に記載の検査装置。
［Ｃ１０］
前記プロセッサは、
前記パラメータと、前記Ｘ線画像とに基づいて、前記Ｘ線画像上の規制品が存在することが推定される領域と、前記区分理由とを示した前記候補画像を生成するＣ９に記載の検査装置。
［Ｃ１１］
前記プロセッサは、前記学習用データに基づいて前記パラメータを更新するＣ５に記載の検査装置。
［Ｃ１２］
前記プロセッサは、オペレータを識別するためのオペレータ識別コードを前記検査結果情報に付加し、
前記プロセッサは、前記学習用データを生成したオペレータごとに、異なる重みで前記パラメータの更新を行うＣ１１に記載の検査装置。
［Ｃ１３］
前記通信インタフェースは、前記荷物に表示された差出人情報及び受取人情報から住所氏名情報を取得し、
前記荷物情報は、前記住所氏名情報の前記差出人情報及び受取人情報の少なくともどちらかを含むＣ１に記載の検査装置。
［Ｃ１４］
前記通信インタフェースは、差出人情報及び受取人情報を含むＥＡＤ情報が予め複数記憶された記憶媒体から、前記荷物から読み取られたＥＡＤ識別コードと一致するＥＡＤ情報を取得し、取得した前記ＥＡＤ情報に含まれている住所氏名情報を取得し、
前記荷物情報は、前記住所氏名情報の前記差出人情報及び受取人情報の少なくともどちらかを含むＣ１に記載の検査装置。
［Ｃ１５］
通信インタフェースと、プロセッサとを備える検査装置により実行される検査プログラムであって、
前記検査装置に、
前記通信インタフェースにより、荷物を区分するソータにより搬送されている前記荷物に関する荷物情報と、オペレータによる操作に基づいて生成された操作信号とを取得することを実行させ、
前記プロセッサにより、前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記荷物情報とが対応付けられた過去履歴と、新たに取得した前記荷物情報と、に基づいて、参考情報を出力することを実行させる、
検査プログラム。
【符号の説明】
【０１１６】
１…検査システム、２…荷物、３…ＥＡＤタグ、４…帳票、１１…ソータ、１２…ソータ制御装置、１３…ＥＡＤタグリーダ、１４…カメラ、１５…Ｘ線撮影装置、１６…帳票リーダ、１７…操作端末、１８…第１のストレージ装置、１９…第２のストレージ装置、２０…検査装置、２１…ネットワーク、３１…第１の仕分先、３２…第２の仕分先、４１…第１のコンベア、４２…第２のコンベア、４３…区分機構、５１…通信インタフェース、５２…制御部、５３…タッチパネル、５４…プロセッサ、５５…メモリ、５６…ディスプレイ、５７…タッチセンサ、６１…通信インタフェース、６２…制御部、６３…プロセッサ、６４…メモリ。
【図１】
2020042860.tif 000003
【図２】
2020042860.tif 000004
【図３】
2020042860.tif 000005
【図４】
2020042860.tif 000006
【図５】
2020042860.tif 000007
【図６】
2020042860.tif 000008
【図７】
2020042860.tif 000009
【手続補正書】
【提出日】令和1年12月25日(2019.12.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
搬送されている荷物を撮像した画像から文字認識処理により取得した住所氏名情報及び前記荷物のＸ線画像を含む荷物情報と、オペレータによる操作に基づいて生成された操作信号と、を取得する通信インタフェースと、
前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記荷物情報とが対応付けられた過去履歴から、新たに取得した前記住所氏名情報が一致する前記荷物情報と前記検査結果情報とを抽出結果として抽出するプロセッサと、
を具備する検査装置。
【請求項２】
前記プロセッサは、前記抽出結果に含まれる前記検査結果情報を確認画面に出力する請求項１に記載の検査装置。
【請求項３】
前記プロセッサは、前記抽出結果に含まれる前記Ｘ線画像を確認画面に出力する請求項１又は２に記載の検査装置。
【請求項４】
前記プロセッサは、前記抽出結果に含まれる前記荷物を撮像した画像を確認画面に出力する請求項１乃至３のいずれか一項に記載の検査装置。
【請求項５】
前記プロセッサは、前記住所氏名情報が一致する前記過去履歴から抽出された規制品候補である荷物の数に基づく情報を出力する請求項１に記載の検査装置。
【請求項６】
前記プロセッサは、
前記荷物が規制品を含むことを示す前記操作信号を受信した場合、前記荷物が規制品を含むことを示す情報を前記検査結果情報に付加し、
前記住所氏名情報が一致する前記過去履歴から抽出された規制品を含む荷物の数に基づく情報を出力する請求項１に記載の検査装置。
【請求項７】
前記プロセッサは、
前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由を、前記検査結果情報に付加し、
前記過去履歴から抽出された、予め設定された区分理由が付加された荷物の数に基づく情報を出力する請求項１に記載の検査装置。
【請求項８】
前記プロセッサは、
前記Ｘ線画像を問題とし、前記Ｘ線画像上における規制品の位置を答えとした学習用データに基づいて生成されたパラメータと、前記Ｘ線画像とに基づいて、前記Ｘ線画像上の規制品が存在することが推定される領域を示した候補画像を生成し、
前記候補画像を出力する請求項１に記載の検査装置。
【請求項９】
前記学習用データは、前記Ｘ線画像上でのオペレータの操作に基づいて、Ｘ線画像上の領域を示すＸ線画像領域情報が前記答えとして生成されたデータである請求項８に記載の検査装置。
【請求項１０】
前記学習用データは、前記Ｘ線画像上でのオペレータの操作に基づいて、Ｘ線画像上の領域を示すＸ線画像領域情報と、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由とが前記答えとして生成されたデータである請求項８に記載の検査装置。
【請求項１１】
前記プロセッサは、
前記パラメータと、前記Ｘ線画像とに基づいて、前記Ｘ線画像上の規制品が存在することが推定される領域と、前記区分理由とを示した前記候補画像を生成する請求項１０に記載の検査装置。
【請求項１２】
前記プロセッサは、前記学習用データに基づいて前記パラメータを更新する請求項８に記載の検査装置。
【請求項１３】
前記プロセッサは、オペレータを識別するためのオペレータ識別コードを前記検査結果情報に付加し、
前記プロセッサは、前記学習用データを生成したオペレータごとに、異なる重みで前記パラメータの更新を行う請求項１２に記載の検査装置。
【請求項１４】
前記通信インタフェースは、前記荷物に表示された差出人情報及び受取人情報を取得し、
前記荷物情報は、前記差出人情報及び受取人情報の少なくともどちらかを前記住所氏名情報として含む請求項１に記載の検査装置。
【請求項１５】
前記通信インタフェースは、差出人情報及び受取人情報を含むＥＡＤ情報が予め複数記憶された記憶媒体から、前記荷物から読み取られたＥＡＤ識別コードと一致するＥＡＤ情報を取得し、
前記荷物情報は、前記差出人情報及び受取人情報の少なくともどちらかを前記住所氏名情報として含む請求項１に記載の検査装置。
【請求項１６】
通信インタフェースと、プロセッサとを備える検査装置により実行される検査プログラムであって、
前記検査装置に、
前記通信インタフェースにより、搬送されている荷物を撮像した画像から文字認識処理により取得した住所氏名情報及び前記荷物のＸ線画像を含む荷物情報と、オペレータによる操作に基づいて生成された操作信号と、を取得することを実行させ、
前記プロセッサにより、前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記住所氏名情報及び前記Ｘ線画像とが対応付けられた過去履歴から、新たに取得した前記住所氏名情報が一致する前記荷物情報と前記検査結果情報とを抽出結果として抽出することを実行させる、
検査プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
一実施形態に係わる検査装置は、通信インタフェースと、プロセッサとを具備する。通信インタフェースは、搬送されている荷物を撮像した画像から文字認識処理により取得した住所氏名情報及び前記荷物のＸ線画像を含む荷物情報と、オペレータによる操作に基づいて生成された操作信号と、を取得する。プロセッサは、前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記住所氏名情報及び前記Ｘ線画像とが対応付けられた過去履歴から、新たに取得した前記荷物情報と前記検査結果情報とを抽出結果として抽出する。