(57)【要約】【課題】提供商品と注文商品との照合における誤判定を低減することができる、提供商品確認システム、提供商品確認方法、並びに提供商品確認プログラムを提供する。【解決手段】トレイ４３の画像からコード認識によって提供商品３３を特定し、ＰＯＳターミナル１１から入力された一の注文に含まれる注文商品とコード認識により特定された提供商品３３の情報とを照合して相違を判定する第一の判定機能と、トレイ４３の画像に写っている提供商品３３を物体認識により特定し、注文商品と物体認識によって特定された提供商品３３とを照合して相違を判定する第二の判定機能とを有する画像処理部と、一の注文に含まれる注文商品について、第一の判定機能による判定結果と第二の判定機能による判定結果とを表示する表示部と、を有する制御タブレット４１を備える。【選択図】図１
2015141696.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像からコード情報を認識し、前記コード情報に基づき前記画像に写っている提供商品を特定し、注文受付手段から入力された一の注文に含まれる注文商品と前記コード情報に基づき特定された前記提供商品とを照合し、前記注文商品と前記提供商品との相違を判定する第一の判定機能と、
前記入力された画像に写っている前記提供商品を物体認識により特定し、前記注文商品と前記物体認識によって特定された前記提供商品とを照合し、前記注文商品と前記提供商品との相違を判定する第二の判定機能と、
を有する画像処理部と、
前記一の注文に含まれる前記注文商品について、前記第一の判定機能による第一の判定結果と、前記第二の判定機能による第二の判定結果と、前記入力された画像とを表示する表示部と、
を有するタブレットを備え、
前記画像に写っている前記提供商品のうち、前記第一の判定結果と前記第二の判定結果の少なくとも一方の判定結果が得られたものについては、得られた前記判定結果を用いて前記提供商品と前記注文商品との相違を判定して第三の判定結果を得て、前記表示部に表示された前記画像に重畳して前記第三の判定結果を表示し、
前記第一の判定結果もしくは前記第二の判定結果において、全ての前記注文商品と不一致である前記提供商品が存在する場合、前記不一致である前記提供商品を識別可能とする情報を前記表示部に表示する、提供商品確認システム。
【請求項２】
入力された画像からコード情報を認識し、前記コード情報に基づき前記画像に写っている提供商品を特定し、注文受付手段から入力された一の注文に含まれる注文商品と前記コード情報に基づき特定された前記提供商品とを照合し、前記注文商品と前記提供商品との相違を判定する第一の判定機能と、
前記入力された画像に写っている前記提供商品を物体認識により特定し、前記注文商品と前記物体認識によって特定された前記提供商品とを照合し、前記注文商品と前記提供商品との相違を判定する第二の判定機能と、
を有する画像処理部と、
前記一の注文に含まれる前記注文商品について、前記第一の判定機能による第一の判定結果と、前記第二の判定機能による第二の判定結果とを表示する表示部と、
を備える提供商品確認システム。
【請求項３】
前記表示部に前記入力された画像を表示する表示領域が設けられており、前記画像に写っている前記提供商品のうち前記第一の判定結果と前記第二の判定結果の少なくとも一方の判定結果が得られたものについては、得られた前記判定結果を用いて前記提供商品と前記注文商品との相違を判定して第三の判定結果を得て、前記表示領域内に、第三の判定結果を表示する、請求項２に記載の提供商品確認システム。
【請求項４】
前記画像に写っている前記提供商品のうち前記第一の判定結果と前記第二の判定結果の少なくとも一方の判定結果が得られたものについては、得られた前記判定結果を用いて前記提供商品と前記注文商品との相違を判定して第三の判定結果を得て、前記第三の判定結果を前記提供商品に重畳して投影する投影部を備える、請求項２又は請求項３に記載の提供商品確認システム。
【請求項５】
前記第一の判定結果もしくは前記第二の判定結果において、全ての前記注文商品と不一致である前記提供商品が存在する場合、前記不一致である前記提供商品を識別可能とする情報を前記表示部に表示する、請求項２乃至請求項４に記載の提供商品確認システム。
【請求項６】
入力された画像からコード情報を認識し、
前記コード情報に基づき前記画像に写っている提供商品を特定し、
注文受付手段から入力された一の注文に含まれる注文商品と前記コード情報に基づき特定された前記提供商品とを照合し、
前記注文商品と前記提供商品との相違を判定して第一の判定結果を取得し、
前記入力された画像に写っている前記提供商品を物体認識により特定し、
前記注文商品と前記物体認識によって特定された前記提供商品とを照合し、
前記注文商品と前記提供商品との相違を判定して第二の判定結果を取得し、
前記一の注文に含まれる前記注文商品について、前記第一の判定結果と第二の判定結果とを表示する、提供商品確認方法。
【請求項７】
前記第一の判定結果と前記第二の判定結果と共に前記入力された画像を表示し、前記画像に写っている前記提供商品のうち前記第一の判定結果と前記第二の判定結果との少なくとも一方の判定結果が得られたものについては、得られた前記判定結果を用いて前記提供商品と前記注文商品との相違を判定して第三の判定結果を得て、前記表示された画像に重畳して前記第三の判定結果を表示する、請求項６に記載の提供商品確認方法。
【請求項８】
入力された画像からコード情報を認識し、
前記コード情報に基づき前記画像に写っている提供商品を特定し、
注文受付手段から入力された一の注文に含まれる注文商品と前記コード情報に基づき特定された前記提供商品とを照合し、
前記注文商品と前記提供商品との相違を判定して第一の判定結果を取得し、
前記入力された画像に写っている前記提供商品を物体認識により特定し、
前記注文商品と前記物体認識によって特定された前記提供商品とを照合し、
前記注文商品と前記提供商品との相違を判定して第二の判定結果を取得し、
前記一の注文に含まれる前記注文商品について、前記第一の判定結果と第二の判定結果とを表示する処理をコンピュータに実行させる、提供商品確認プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、提供商品確認システム、提供商品確認方法、並びに提供商品確認プログラムに関する。
【背景技術】
【０００２】
従来、顧客の発注内容が記された注文票などに基づき商品などを取り揃えた後、誤った商品提供を防ぐために、注文票どおりに商品が揃っているか否かを照合してから商品を出荷する。例えば、飲食店などの店舗では、顧客から注文を受けると、注文内容に即した商品を準備し、準備した商品が注文された商品であるか否かを照合し、一致している場合に顧客に提供している。
【０００３】
顧客に提供するために準備した商品が、顧客から注文された商品であるか否かを照合する方法としては、例えば、準備した商品をカメラなどで撮影して画像データとしてイメージプロセッサなどに取り込み、画像データに含まれる商品が注文された商品であるか否かを、物体認識技術を用いて自動的に判定する方法があげられる。しかしながら、この方法では、見た目が類似する商品の識別が困難であるという問題があった。
【０００４】
これを解決するものとして、商品情報を識別可能なコード（例えば、バーコードやＱＲコード（登録商標）など）が印字されたラベルを準備した商品に添付しておき、商品をカメラなどで撮影してイメージプロセッサなどに取り込み、画像データに含まれるラベルのコードから商品を特定し、準備した商品が注文された商品であるか否かを自動的に判定する方法が提案されている。
【０００５】
しかしながら、上述の方法では、提供商品に対して間違った商品情報を示すコードが印字されたラベルが添付されていると、誤判定をしてしまうという問題があった。例えば、注文商品と異なる商品が準備されている場合でも、準備した商品に対して注文商品の商品情報を示すコードが印字されたラベルが添付されていれば、注文商品と提供商品とが一致していると誤判定されてしまう。また、ラベルが所定の場所に添付されていないと、画像データからコード情報が正しく読み取れないために、商品情報が識別できず正しい判定ができなくなってしまう。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−８０１３号公報
【特許文献２】特開２０１１−１３４０７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本実施形態は、提供商品と注文商品との照合における誤判定を低減することができる、提供商品確認システム、提供商品確認方法、並びに提供商品確認プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本実施形態の提供商品確認システムは、入力された画像からコード情報を認識し、前記コード情報に基づき前記画像に写っている提供商品を特定し、注文受付手段から入力された一の注文に含まれる注文商品と前記コード情報に基づき特定された前記提供商品とを照合し、前記注文商品と前記提供商品との相違を判定する第一の判定機能と、前記入力された画像に写っている前記提供商品を物体認識により特定し、前記注文商品と前記物体認識によって特定された前記提供商品とを照合し、前記注文商品と前記提供商品との相違を判定する第二の判定機能とを有する画像処理部を備える。また、前記一の注文に含まれる前記注文商品について、前記第一の判定機能による第一の判定結果と、前記第二の判定機能による第二の判定結果とを表示する表示部とを備える。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係わる提供商品確認システムの構成を説明する概略ブロック図。
【図２】提供商品確認方法の手順を説明するフローチャート。
【図３】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図４】提供商品が搭載されたトレイの一例を説明する図。
【図５】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図６】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図７】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図８】同一注文の複数の提供商品が複数のトレイに分けて搭載された一例を説明する図。
【図９】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図１０】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図１１】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図１２】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図１３】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図１４】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図１５】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図１６】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図１７】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図１８】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図１９】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図２０】制御タブレット４１に表示される提供商品確認画面の一例を説明する図。
【図２１】本発明の第２の実施形態に係わる提供商品確認システムの構成を説明する概略ブロック図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して実施形態を説明する。
【００１１】
（第１の実施形態）
図１は、第１の実施形態に係わる提供商品確認システムの構成を説明する概略ブロック図である。図１に示すように、本実施形態の提供商品確認システムは、顧客から注文された商品を入力する注文受付部１と、注文受付部１で入力された商品情報に基づき提供する商品を準備する商品準備部２と、準備された商品に対して商品情報が記述されたラベルを添付するラベリング部３と、提供商品と注文商品とを照合して顧客に商品を提供する商品確認部４とから構成される。
【００１２】
注文受付部１には、顧客から注文された商品の情報を入力するＰＯＳ（Point Of Sales）ターミナル１１が設けられている。ＰＯＳターミナル１１には、例えば注文された商品の種類、個数などが入力される。これらの注文内容は、注文を一意に識別する情報（例えば注文番号など）と関連付けられて登録される。
【００１３】
商品準備部２には、注文受付部１における顧客からの注文内容を表示する注文表示部２１が設けられている。注文表示部２１はＰＯＳターミナル１１とネットワーク接続されており、ＰＯＳターミナル１１に入力された注文内容（例えば、商品の種類と個数）が表示される。商品準備部２では、注文表示部２１の表示内容に従って商品２２が準備される。
【００１４】
ラベリング部３には、注文受付部１における顧客からの注文内容に基づき、注文商品の情報を識別するコードを印字してラベル３２を作成するラベルプリンタ３１が設けられている。ラベルプリンタ３１はＰＯＳターミナル１１とネットワーク接続されており、ＰＯＳターミナル１１に入力された注文内容に基づきラベル３２を作成する。ラベリング部２では、商品準備部２で準備された商品２２に対し、ラベルプリンタ３１で作成されたラベル３２が添付され、提供商品３３が準備される。なお、ラベル３２には、注文商品の情報だけでなく、注文番号や商品２２が準備された日時など、その他必要な情報を印字することもできる。
【００１５】
商品確認部４には、顧客から注文された商品と準備された商品との照合を行うための制御タブレット４１が設けられている。また、商品確認部４には、提供商品の画像を取得するためのカメラ４２が設置されている。制御タブレット４１は、ＰＯＳターミナル１１及びカメラ４２とネットワーク接続されている。従って、制御タブレット４１には、ＰＯＳターミナル１１から注文商品の情報が入力され、カメラ４２から提供商品３３の画像が入力される。なお、提供商品３３は注文ごとにトレイ４３にまとめられており、カメラ４２ではトレイ４３ごとに画像が撮像される。
【００１６】
制御タブレット４１は、図示しない画像処理部を有しており、該画像処理部ではカメラ４２で撮像された提供商品３３の画像解析が行われる。具体的には、提供商品３３に添付されているラベル３２のコードを読み取り、該コードが示す商品に関する情報（商品名など）を抽出することにより、提供商品３３の識別を行う。ラベル３２のコードから識別された商品情報は、ＰＯＳターミナル１１から入力される注文商品の情報と照合され、両者が一致するか否かが判定される。
【００１７】
また、画像処理部では、カメラ４２で撮像された提供商品３３の画像と上記コードが示す商品として予め登録されている基準画像とを照合することにより、提供商品３３の物体認識も行われる。なお、図１に示すように、トレイ４３上に複数の提供商品３３が搭載されている場合、個々の提供商品３３についてコードの読み取りと物体認識とが行われる。制御タブレット４１の表示部には、注文商品の情報と、注文商品と提供商品との照合結果（ラベル３２のコードによる判定結果、及び物体認識の結果）とが表示される。なお、制御タブレット４１の表示部の表示内容については、後に詳述する。
【００１８】
次に、上述のように構成された提供商品確認システムにおける提供商品確認方法について、図２から図７の各図を用いて説明する。図２は、提供商品確認方法の手順を説明するフローチャートである。図３、図５、図６、及び図７は、制御タブレット４１に表示される提供商品確認画面の一例を説明する図である。図４は、提供商品が載せられたトレイの一例を説明する図である。ここではまず、提供商品が注文商品と全て一致しており、全ての提供商品には正しいコードが記載されたラベルが正しい位置に添付されている場合について説明する。
【００１９】
まず、ステップＳ１１において、注文単位で提供商品３３をまとめるためにトレイ４３を準備し、カメラ４２で撮像可能な領域内の所定位置にセットする。次に、ステップＳ１２に進み、提供商品の確認を行う注文を特定し、制御タブレット４１に注文情報を表示する。確認を行う注文は、作業者が制御タブレット４１に注文番号などを指定（入力）することで設定してもよいし、ＰＯＳターミナル１１に注文の入力が完了した順に、自動的に設定されるようにしてもよいし、その他の方法で設定してもよい。
【００２０】
ステップＳ１２が終了した時点において、制御タブレット４１に表示される画面の一例を図３に示す。図３では、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの商品が発注された注文について提供商品の確認を行う場合を、一例として示している。制御タブレット４１の表示部の提供商品確認画面には、提供商品の確認を行う注文を識別するための情報（注文番号）と、注文商品の情報（注文商品の商品名、商品番号）とが表示されている。
【００２１】
また、後のステップで行われる提供商品と注文商品との相違に関する判定結果を示す欄が、個々の商品毎に設けられている。なお、提供商品と注文商品との相違判定は、コード認識による判定と物体認識による判定とが行われるため、全ての商品について両方の判定結果を表示するための欄が設けられている。図３の一例では、商品Ａ〜商品Ｅの５つの商品のそれぞれについて、商品名の右側にコード認識による判定結果を示す欄が設けられており、その右側に物体認識による判定結果を示す欄が設けられている。なお、この時点では、トレイ４３には提供商品が置かれていないので、判定結果を示す欄には、未判定もしくは商品が存在しないことを示す表示がなされている。図３の一例では、注文商品と同一の商品がトレイ４３上に存在しないと認識されていることを示す“なし”の文字列を表示している。
【００２２】
次にステップＳ１３において、ステップＳ１２で特定された注文内容に従い、提供商品３３を選択してトレイ４３に載せる（図４参照）。図４に示す一例では、それぞれ適切なラベル３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅが添付された５つの提供商品３３ａ、３３ｂ、３３ｃ、３３ｄ、３３ｅがトレイ４３に載せられている。なお、図４に示す一例では、提供商品３３ａ〜３３ｅは、注文商品である商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅ、と全て一致している。
【００２３】
続いて、ステップＳ１４からステップＳ１７の一連の手順を用い、提供商品３３に添付されたラベルに記述されているコードを用い、提供商品３３と注文商品との相違を判定する。（第一の判定機能の実行。）
まず、ステップＳ１４に進み、トレイに乗せられた提供商品３３をカメラ４２で撮像し、提供商品３３の画像から該商品に添付されたラベル３２のコードを読み取る。図４に示す一例の場合、提供商品３３ａ〜３３ｅの５つの商品について、それぞれのラベル３２ａ〜３２ｅのコードを読み取るため、５個のコードを読み取ることになる。
【００２４】
そして、続くステップＳ１５において、コードが示す商品に関する情報（商品名など）を制御タブレット４１で識別し、識別された商品が確認を行う注文に含まれているか否かを判定する。図４に示す一例の場合、提供商品３３ａのコードは商品Ａであり、提供商品３３ｂは商品Ｂであり、提供商品３３ｃは商品Ｃであり、提供商品３３ｄは商品Ｄであり、提供商品３３ｅは商品Ｅであると、それぞれ識別される。従って、提供商品３３ａ〜３３ｅの５つの商品は全て注文商品と一致していると判定される。
【００２５】
次に、ステップＳ１６において、コードによる判定結果（第一の判定結果）を制御タブレット４１の提供商品確認画面に表示する。本ステップにおいて制御タブレット４１に表示される画面の一例を図５に示す。図５に示す一例では、コードによる判定結果は、各注文商品の右側に設けられた「コード認識結果」の欄に表示されている。ステップＳ１５において、５つの注文商品が全て提供商品と一致していると判定されているので、図５の一例では、注文商品と同一の商品がトレイ４３上に存在すると認識されていることを示す“あり”の文字列を該当する欄に表示している。
【００２６】
次に、ステップＳ１７において、ステップＳ１５においてコードから識別された商品のうち、注文情報に含まれてない商品が存在するか否かを判定する。注文商品と異なる余分な商品がトレイ４３上に存在する場合、画面上に誤混入商品が存在することを示し、誤混入であると識別された商品情報（例えば商品名など）を明示する。図５の一例では、注文商品にない余分な商品がトレイ４３上に存在しないことを明確に示すため、画面右下部に“誤混入：なし”の文字列を表示している。
【００２７】
続いて、ステップＳ１８からステップＳ２１の一連の手順を用い、提供商品３３をカメラ４２で撮像して得られた画像による物体認識を用い、提供商品３３と注文商品との相違を判定する。（第二の判定機能の実行。）
まずステップＳ１８において、カメラ４２により撮像された画像から提供商品３３を識別し、予め登録されている商品の基準画像とカメラ４２で撮像された提供商品３３の画像とを照合することにより、提供商品３３の物体認識が行われる。図４に示す一例の場合、提供商品３３ａは商品Ａであり、提供商品３３ｂは商品Ｂであり、提供商品３３ｃは商品Ｃであり、提供商品３３ｄは商品Ｄであり、提供商品３３ｅは商品Ｅであると、それぞれ識別される。
【００２８】
次に、ステップＳ１９において、物体認識により識別された商品が確認を行う注文に含まれているか否かを判定する。図４に示す一例の場合、提供商品３３ａ〜３３ｅの５つの商品は全て注文商品と一致していると判定される。
【００２９】
次に、ステップＳ２０において、物体認識による判定結果（第二の判定結果）を制御タブレット４１の提供商品確認画面に表示する。本ステップにおいて制御タブレット４１に表示される画面の一例を図６に示す。図６に示す一例では、物体認識による判定結果は、各注文商品の右側に設けられた「物体認識結果」の欄に表示されている。ステップＳ１９において、５つの注文商品が全て提供商品と一致していると判定されているので、図６の一例では、注文商品と同一の商品がトレイ４３上に存在すると認識されていることを示す“あり”の文字列を該当する欄に表示している。
【００３０】
なお、制御タブレット４１の提供商品確認画面は、図３、図５、図６に示すように、コードによる判定結果と物体認識結果とを注文商品ごとに文字で表示するだけでなく、例えば図７に示すように、カメラ４２により撮像された画像を用いて、提供商品と注文商品との一致不一致をより視覚的にわかりやすく表示してもよい。図７に示す一例では、図３、図５、図６に示したような文字による判定結果や認識結果の表示領域の右側に、カメラ４２により撮像されたトレイ４３の画像を表示する画像表示領域４１２が設けられている。そして、コードによる判定結果と物体認識結果とが両方とも注文商品と一致している提供商品については、ステップＳ２０において、画像表示領域４１２の当該提供商品に“一致”を示す記号（例えば丸印）を重畳して表示させる。（第三の判定結果の表示。）
このようにトレイ４３の画像に確認結果を示す記号を重畳して表示させることで、注文商品と提供商品が一致しているか、不一致がある場合はその提供商品が不一致であるのかを短時間かつ視覚的に把握することができ、確認作業時間を短縮したり確認ミスを低減したりすることができ、作業効率の向上を図ることができる。
【００３１】
次に、ステップＳ２１において、ステップＳ１８において物体認識された商品のうち、注文情報にない商品が存在するか否かを判定する。注文商品にない余分な商品がトレイ４３上に存在する場合、画面上に誤混入商品が存在することを示し、誤混入であると識別された商品情報（例えば商品名など）を明示する。図７の一例では、注文商品にない余分な商品がトレイ４３上に存在しないことを明確に示すため、画面左下部に“誤混入：なし”の文字列をそのまま表示している。
【００３２】
続いて、ステップＳ２２に進み、ステップＳ１２で特定された注文に含まれる全ての注文商品について、対応する提供商品が認識されたか否かを判定する。本ステップでは、コードによる提供商品の認識、及び、物体認識のどちらにおいても、全ての注文商品について対応する提供商品が認識された場合にのみ、全ての注文商品について対応する提供商品が認識されたと判定する。（図７に示す一例のように、物体認識を行った後に、全ての注文商品に関するコード認識結果と物体認識結果の両認識結果が“あり”の場合に、全ての注文商品について対応する提供商品が認識されたと判定する。）本ステップにおいて、全ての注文商品について対応する提供商品が認識されたと判定された場合、ステップＳ２３に進み、作業の完了を識別させるための音やメッセージなどを出力し、提供商品の確認を終了する。
【００３３】
一方、ステップＳ２２において、対応する提供商品が認識されていない注文商品が存在する場合、まだ確認作業が行われていない提供商品について、ステップＳ１３からステップＳ２１における提供商品の確認作業を実施する。トレイ４３の交換や追加などが必要ない場合（ステップＳ２４、ＮＯの場合）、現在セットされているトレイ４３をそのまま用いる。
【００３４】
一方、提供商品を載せるトレイ４３を追加したり交換したりする必要がある場合（ステップＳ２４、ＹＥＳの場合）、ステップＳ２５において、次のトレイ４３を準備してカメラ４２で撮像可能な領域内の所定位置にセットする。
【００３５】
トレイの交換や追加が必要な具体的な一例として、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの商品が発注された注文について５つの提供商品が準備されており、図８に示すように、３つの提供商品３３ａ、３３ｂ、３３ｃが１枚目のトレイ４３ａに載せられ、残り２つの提供商品３３ｄ、３３ｅが２枚目のトレイ４３ｂに載せられている場合について、図９から図１２の各図を用いて具体的に説明する。図８は、同一注文の複数の提供商品が複数のトレイに分けて搭載された一例を説明する図である。また、図９〜図１２は、制御タブレット４１に表示される提供商品確認画面の一例を説明する図である。図９と図１１とは、１枚目のトレイ４３ａについて提供商品と注文商品との一致判定が終了した時点での提供商品確認画面を示しており、図１０と図１２とは、２枚目のトレイ４３ｂについて提供商品と注文商品との一致判定が終了した時点での提供商品確認画面を示している。
【００３６】
この場合、まずステップＳ１１において、カメラ４２で撮像可能な領域内の所定位置に１枚目のトレイ４３ａがセットされ、続くステップＳ１２において確認を行う注文の特定がなされる。次に、ステップＳ１３に進み、１枚目のトレイ４３ａに３つの提供商品３３ａ、３３ｂ、３３ｃを載せる。続いて、トレイ４３ａに載せられた３つの提供商品３３ａ、３３ｂ、３３ｃについてステップＳ１４からステップＳ２１の一連の手順を行い、提供商品３３ａ、３３ｂ、３３ｃが注文商品と一致しているか否かの判定を行う。
【００３７】
コードによる識別においても、物体認識においても、提供商品３３ａは注文商品である商品Ａと一致しており、提供商品３３ｂは注文商品である商品Ｂと一致しており、提供商品３３ｃは注文商品である商品Ｃと一致していると判定された場合、ステップＳ２１が終了した時点における制御タブレット４１の表示部には、例えば図９に示すような提供商品確認画面が表示される。すなわち、商品Ａ、商品Ｂ、商品Ｃについてのコード認識結果と物体認識結果の欄に、対応する提供商品がトレイ４３ａ上に存在すると認識されていることを示す“あり”の文字列を該当する箇所に表示される。この時点では商品Ｄ、商品Ｅと一致する提供商品がトレイ４３ａの上には存在しないため、提供商品確認画面のコード認識結果と物体認識結果の欄には“なし”の文字列が表示されたままになっている。
【００３８】
なお、カメラ４２により撮像されたトレイの画像を表示する画像表示領域４１２が提供商品確認画面に設けられている場合、図１０に示すように、コードによる判定結果と物体認識結果とが両方とも注文商品と一致していることを示す記号（例えば丸印）が、画像表示領域４１２の３つの提供商品の画像に重畳して表示される。
【００３９】
５つの注文商品のうち、商品Ｄと商品Ｅについては対応する提供商品が確認されていないため（ステップＳ２２、ＮＯ）、ステップＳ２４に進む。残り２つの提供商品は２枚目のトレイ４３ｂに載せるため、ステップＳ２５に進み、カメラ４２で撮像可能な領域内の所定位置から他の場所へ１枚目のトレイ４３ａを移動させ、同位置に２枚目のトレイ４３ｂをセットする。その後、ステップＳ１３に戻り、２枚目のトレイ４３ｂに残りの２つの提供商品３３ｄ、３３ｅを載せる。続いて、トレイ４３ｂに載せられた２つの提供商品３３ｄ、３３ｅについてステップＳ１４からステップＳ２１の一連の手順を行い、提供商品３３ｄ、３３ｅが注文商品と一致しているか否かの判定を行う。
【００４０】
コードによる識別においても、物体認識においても、提供商品３３ｄは注文商品である商品Ｄと一致しており、提供商品３３ｅは注文商品である商品Ｅと一致していると判定された場合、ステップＳ２１が終了した時点における制御タブレット４１の表示部の画面の表示が更新され、例えば図１１に示すような提供商品確認画面が表示される。すなわち、商品Ｄ、商品Ｅについてのコード認識結果と物体認識結果の欄に、対応する提供商品がトレイ４３ｂ上に存在すると認識されていることを示す“あり”の文字列を該当する箇所に表示される。
【００４１】
なお、カメラ４２により撮像されたトレイの画像を表示する画像表示領域４１２が提供商品確認画面に設けられている場合、図１２に示すように、既に提供商品と注文商品とが一致していることが確認されている１枚目のトレイ４３ａの画像に加え、２枚目のトレイ４３ｂの画像も画像表示領域４１２に表示される。そして、コードによる判定結果と物体認識結果とが両方とも注文商品と一致していることを示す記号（例えば丸印）が、画像表示領域４１２のトレイ４３ｂにおける２つの提供商品の画像に重畳して表示される。すなわち、２枚目のトレイ４３ｂについてステップＳ２１が終了した時点において、画像表示領域４１２に表示されている５つの提供商品の全てに丸印が重畳して表示される。
【００４２】
既に、商品Ａ、商品Ｂ、商品Ｃについては対応する提供商品が存在すると判定されているため、２枚目のトレイ４３ｂについての判定が終了した時点で、全ての注文商品について提供商品が確認されたことになり（ステップＳ２２、ＹＥＳ）、ステップＳ２３へ進む。最後にステップＳ２３において、作業の完了を識別させるための音やメッセージなどを出力し、提供商品の確認を終了する。
【００４３】
このように、同一の注文にかかわる提供商品が複数のトレイに分散して乗せられている場合でも、一つのトレイに乗せられている場合と同様に、注文単位で提供商品と注文商品とが一致しているか否かの判定を行うことができる。
【００４４】
次に、上記の一連の提供商品確認作業において、提供商品と注文商品とが不一致であると判定された場合の確認結果の表示方法について説明する。提供商品と注文商品が不一致であると判定される主なケースとしては、次の四つのケースがあげられる。一つ目のケースは、注文商品と異なる提供商品がトレイに搭載されており、提供商品に添付されているラベルには正しいコード（ラベルが添付された商品を示すコード）が印字されている場合である。例えば、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの商品が発注された注文について、商品Ａ、商品Ｆ、商品Ｃ、商品Ｄ、商品Ｅの５つの提供商品が準備されており、商品Ｆには商品Ｆを示すコードが印字されたラベルが添付されている場合がこれに該当する。
【００４５】
二つ目のケースは、注文商品と異なる提供商品がトレイに搭載されているが、正しい注文商品を示すコードが印字されたラベルが提供商品に添付されている場合である。例えば、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの商品が発注された注文について、商品Ａ、商品Ｆ、商品Ｃ、商品Ｄ、商品Ｅの５つの提供商品が準備されており、商品Ｆには商品Ｂを示すコードが印字されているラベルが添付されている場合がこれに該当する。
【００４６】
三つ目のケースは、提供商品と注文商品とは一致しているが、提供商品に添付されているラベルが間違った商品を示すコードが表示されている場合である。例えば、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの商品が発注された注文について、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの提供商品が準備されているが、商品Ｂには商品Ｆを示すコードが印字されているラベルが添付されている場合がこれに該当する。
【００４７】
四つ目のケースは、注文商品に添付されたラベルからコードの読み取りができない場合である。例えば、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの商品が発注された注文について、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの提供商品がトレイ４３３上に準備されているが、商品Ｂのラベルが適切に添付されておらず、コードを読み取ることができない場合がこれに該当する。これらの二つのケースについて、以下に図面を用いて詳細に説明する。
【００４８】
まず、一つ目のケースについて、図１３及び図１４を用いて説明する。図１３及び図１４は、制御タブレット４１に表示される提供商品確認画面の一例を説明する図である。
【００４９】
一つ目のケースの一例として、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの注文商品に対し、トレイ４３上に準備された提供商品が、商品Ａ、商品Ｆ、商品Ｃ、商品Ｄ、商品Ｅであり、商品Ｆには商品Ｆを識別するコードが印字されたラベルが添付されている場合について説明する。まず、コードによる判定が行われ、商品Ｂが未検出であり商品Ｆが誤混入していると判定される。続いて、物体認識による判定が行われ、ここでも商品Ｂが未検出であり商品Ｆが誤混入していると判定される。従って、トレイ４３上に載せられた全ての提供商品に対し、コード認識による判定と物体認識による判定とが終了した時点で、制御タブレット４１には図１３に示すような画面が表示される。すなわち、注文商品のうち商品Ｂについて、コード認識結果を示す欄と物体認識結果を示す欄の２つの欄に、トレイ上に当該商品が存在しないことを示す文字列（例えば“なし”）が表示される。また、画面上に、注文商品に存在しない商品である商品Ｆがトレイ上に載っていることを示す表示（図１３に示す一例では、画面の右下部における“商品Ｆ誤混入あり”の表示）がなされる。
【００５０】
このように、コード認識による判定と物体認識による判定を併用することで、誤判定を防ぐことができる。また、双方の結果を提供商品確認画面に併記することで、どの注文商品について準備がなされていない（もしくは誤った提供商品を準備してしまった）のかが明確になり、誤った提供商品を正しい提供商品に置き換える作業が迅速にできるため、作業効率の向上を図ることができる。
【００５１】
なお、提供商品確認画面には、図１４に示すように、カメラ４２により撮像された画像を用いて、提供商品と注文商品との一致不一致をより視覚的にわかりやすく表示してもよい。注文商品に含まれない提供商品があると判定された時点で、画像表示領域４１２の当該提供商品に“不一致”を示す記号（例えばバツ印）を重畳して表示させる。（第三の結果の表示。）上述の例の場合、コードによる判定を行った時点で、商品Ｆは注文商品に存在せず誤混入していることが判明する。従って、コードによる判定結果を確認画面に表示する際に、画像表示領域４１２の商品Ｆの画像にも“不一致”を示す記号（図１４ではバツ印）を重畳して表示する。
【００５２】
このように、注文商品と提供商品に不一致が生じた時点で、トレイ４３の画像に不一致であることを示す記号を重畳して表示させることで、どの提供商品が不一致であるのかを迅速かつ視覚的に把握することができる。確認作業時間を短縮したり確認ミスを低減したりすることができ、作業効率の向上を図ることができる。
【００５３】
次に、二つ目のケースについて、図１５及び図１６を用いて説明する。図１５及び図１６は、制御タブレット４１に表示される提供商品確認画面の一例を説明する図である。
【００５４】
二つ目のケースは、例えば、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの注文商品に対して、商品Ａ、商品Ｆ、商品Ｃ、商品Ｄ、商品Ｅの５つの提供商品がトレイ４３上に準備されており、商品Ｆには商品Ｂを識別するコードが印字されたラベルが添付されている場合があげられる。まず、コードによる判定が行われ、全ての提供商品と注文商品とが一致していると判定される。続いて、物体認識による判定が行われ、商品Ｂが未検出であり商品Ｆが誤混入していると判定される。
【００５５】
従って、トレイ４３上に載せられた全ての提供商品に対し、コード認識による判定と物体認識による判定とが終了した時点で、制御タブレット４１には図１５に示すような画面が表示される。すなわち、注文商品のうち商品Ｂについて、コード認識結果を示す欄には、トレイ上に当該商品が存在することを示す文字列（例えば“あり”）が表示され、物体認識結果を示す欄には、トレイ上に当該商品が存在しないことを示す文字列（例えば“なし”）が表示される。また、画面上に、注文商品に存在しない商品である商品Ｆがトレイ上に載っていることを示す表示（図１５の一例の場合、画面の右下部における“商品Ｆ誤混入あり”の表示）がなされる。
【００５６】
このように、注文商品に存在しない提供商品に対し、注文商品を識別するコードが印字されたラベルが添付されている場合、コード認識のみで判定を行うと提供商品が正しく準備されていると誤判定されてしまう。しかし、本実施形態によれば、コード認識による判定を行った後に、物体認識による判定も行うので、このような誤判定を防ぐことができる。
【００５７】
また、双方の結果を提供商品確認画面に併記することで、どの注文商品について不備があるのかが明確になる。また、双方の結果を提供商品確認画面に併記することで、どの注文商品について準備がなされていない（もしくは誤った提供商品を準備してしまった）のかが明確になり、誤った提供商品を正しい提供商品に置き換える作業が迅速にできるため、作業効率の向上を図ることができる。
【００５８】
なお、提供商品確認画面には、図１６に示すように、カメラ４２により撮像された画像を用いて、提供商品と注文商品との一致不一致をより視覚的にわかりやすく表示してもよい。注文商品に含まれない提供商品があると判定された時点で、画像表示領域４１２の当該提供商品に“不一致”を示す記号（例えばバツ印）を重畳して表示させる。このように、注文商品と提供商品に不一致が生じた時点で、トレイ４３の画像に不一致であることを示す記号を重畳して表示させることで、どの提供商品が不一致であるのかを迅速かつ視覚的に把握することができる。確認作業時間を短縮したり確認ミスを低減したりすることができ、作業効率の向上を図ることができる。
【００５９】
次に、三つ目のケースについて、図１７及び図１８を用いて説明する。図１７及び図１８は、制御タブレット４１に表示される提供商品確認画面の一例を説明する図である。
【００６０】
三つ目のケースは、例えば、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの注文商品に対し、トレイ４３上には、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの提供商品が準備されているが、商品Ｂには別の商品（例えば商品Ｆ）を識別するコードが印字されたラベルが添付されている場合があげられる。まず、コードによる判定が行われ、商品Ｆを識別するコードが印字されたラベルが添付されている提供商品がトレイ４３上に存在し、かつ、注文商品Ｂに対応する提供商品がトレイ４３上に存在しないと判定される。続いて、物体認識による判定が行われ、全ての注文商品と提供商品が一致していると判定される。
【００６１】
従って、トレイ４３上に載せられた全ての提供商品に対し、コード認識による判定と物体認識による判定とが終了した時点で、制御タブレット４１には図１７に示すような画面が表示される。すなわち、注文商品のうち商品Ｂについて、物体認識結果を示す欄には、トレイ上に当該商品が存在することを示す文字列（例えば“あり”）が表示され、コード認識結果を示す欄には、トレイ上に当該商品が存在しないことを示す文字列（例えば“なし”）が表示される。また、画面上に、注文商品に存在しない商品である商品Ｆがトレイ上に載っていることを示す表示（図１７の一例の場合、画面の右下部における“商品Ｆ誤混入あり”の表示）がなされる。
【００６２】
このように、注文商品と一致する提供商品に対し、異なる商品を識別するコードが印字されたラベルが添付されている場合、コード認識のみで判定を行うと提供商品が正しく準備されていないと誤判定されてしまう。しかし、本実施形態によれば、コード認識による判定を行った後に、物体認識による判定も行うので、このような誤判定を防ぐことができる。また、双方の結果を提供商品確認画面に併記することで、どの注文商品について不備があるのかが明確になる。また、双方の結果を提供商品確認画面に併記することで、どの提供商品について正しいコードが印字されたラベルが添付されていないのかが明確になり、間違っているラベルを張替える、もしくは提供商品は注文商品と一致しているため、そのまま顧客に提供する、などの適切なアクションを選択して迅速に実行できるため、作業効率の向上を図ることができる。
【００６３】
なお、提供商品確認画面には、図１８に示すように、カメラ４２により撮像された画像を用いて、提供商品と注文商品との一致不一致をより視覚的にわかりやすく表示してもよい。注文商品に含まれない提供商品があると判定された時点で、画像表示領域４１２の当該提供商品に“不一致”を示す記号（例えばバツ印）を重畳して表示させる。このように、注文商品と提供商品に不一致が生じた時点で、トレイ４３の画像に不一致であることを示す記号を重畳して表示させることで、どの提供商品が不一致であるのかを迅速かつ視覚的に把握することができる。従って、確認作業時間を短縮したり確認ミスを低減したりすることができ、作業効率の向上を図ることができる。
【００６４】
最後に、四つ目のケースについて、図１９及び図２０を用いて説明する。図１９及び図２０は、制御タブレット４１に表示される提供商品確認画面の一例を説明する図である。
【００６５】
四つ目のケースは、例えば、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの注文商品に対し、トレイ４３上には、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅの５つの提供商品が準備されているが、商品Ｂのラベル位置が所定の添付位置からずれたりラベルが汚れていたりするなどして、コードを読み取ることができない場合があげられる。まず、コードによる判定が行われ、正しくラベルが添付されている４つの提供商品については、それぞれ対応する注文商品と一致しており、商品Ａ、商品Ｃ、商品Ｄ、商品Ｅはトレイ４３上に存在すると判定される。一方、ラベルが正しく添付されていない提供商品については、ラベルからコードが読み取れず、商品情報が識別できない。このため、ラベルが正しく添付されていない商品Ｂについては、トレイ４３上に存在しないと判定される。続いて、物体認識による判定が行われ、全ての注文商品と提供商品が一致していると判定される。
【００６６】
従って、トレイ４３上に載せられた全ての提供商品に対し、コード認識による判定と物体認識による判定とが終了した時点で、制御タブレット４１には図１９に示すような画面が表示される。すなわち、注文商品のうち商品Ｂについて、物体認識結果を示す欄には、トレイ上に当該商品が存在しないことを示す文字列（例えば“なし”）が表示され、コード認識結果を示す欄には、トレイ上に当該商品が存在することを示す文字列（例えば“あり”）が表示される。なお、注文商品にない余分な商品がトレイ４３上に存在しないことを明確に示すため、画面上に、注文商品に存在しない商品である商品Ｆがトレイ上に載っていることを示す表示（図１９の一例の場合、画面の右下部における“誤混入：なし”の表示）がなされる。
【００６７】
このように、ラベルが適切に添付されていなかったり、ラベルが汚れたり破損していたりするなどして、コードの読み取りができない提供商品がある場合、コード認識のみで判定を行うと提供商品が正しく準備されていないと誤判定されてしまう。しかし、本実施形態によれば、コード認識による判定を行った後に、物体認識による判定も行うので、このような誤判定を防ぐことができる。また、双方の結果を提供商品確認画面に併記することで、どの注文商品について不備があるのかが明確になる。また、双方の結果を提供商品確認画面に併記することで、どの提供商品についてコードが読み取れなかったのかが明確になり、ラベルの添付位置を調整する、もしくは提供商品は注文商品と一致しているため、そのまま顧客に提供する、などの適切なアクションを選択して迅速に実行できるため、作業効率の向上を図ることができる。
【００６８】
なお、提供商品確認画面には、図２０に示すように、カメラ４２により撮像された画像を用いて、提供商品と注文商品との一致不一致をより視覚的にわかりやすく表示してもよい。コード認識において検出されない注文商品には、画像表示領域４１２の当該提供商品にはそのままの表示である。このため、物体認識の結果を示す所定の欄に、トレイ上に当該商品が存在することを示す文字列（例えば“あり”）が表示されていても、画像表示領域４１２に一致を示す記号（例えば丸印）が重畳して表示されていない商品については、コード認識による判定ができなかったことが迅速かつ視覚的に把握することができる。
【００６９】
このように、本実施形態によれば、予め提供商品に商品情報を識別可能なコードが印字されたラベルを添付しておき、該コードの画像を取得しこれが添付されている商品情報を認識し、提供商品が注文商品と一致しているか否かを判定するコード認識による判定と、提供商品そのものの画像を取得し、予め登録されている注文商品の画像と照合することで、提供商品が注文商品と一致しているか否かを判定する物体認識による判定との二種類の判定方法を相補的に用いることで、誤判定を低減することができる。
【００７０】
また、本実施形態によれば、提供商品の確認結果を表示する画面に、確認対象の注文に含まれる全ての注文商品についての判定結果が表示されるので、提供商品が複数のトレイに分散されて準備されている場合にも、それぞれの注文商品に対して提供商品の準備が完了したか否かを短時間で把握することができ、作業効率の向上を図ることができる。
【００７１】
更に、注文商品に対応する提供商品が検出されない場合、コード認識による判定結果と、物体認識による判定結果との組み合わせパターンによって、検出されない原因を迅速に把握することができ、作業効率の向上を図ることができる。
【００７２】
また、提供商品の確認結果を表示する画面に、コード認識結果及び物体認識結果の表記と共に、確認を行っている提供商品の画像を表示し、注文商品と一致するか否かの判定結果を提供商品の画像に重畳して表示させることで、注文商品と不一致であると判定された提供商品がどこにあるか短時間で特定することができ、よりいっそう作業効率の向上を図ることができる。
【００７３】
なお、上述した一例において、提供商品確認画面におけるコード識別結果や物体識別結果の表記方法は、注文商品と一致する提供商品が検出された場合と、注文商品と一致する提供商品が検出されない場合とで、文字色や背景色を変えるなど異なる表記方法を用いてもよい。また、提供商品確認画面に確認対象である提供商品の画像を表示させ、判定結果を提供商品の画像に重畳して表示する場合、注文商品と一致する提供商品に表示する記号（例えば、丸印）と、注文商品と不一致である提供商品に表示する記号（例えばバツ印）をで、色を変えるなど異なる表記方法を用いてもよい。このように表記方法を変えることで、より直接的に短時間で確認結果を把握することができ、更なる作業効率の向上を図ることができる。
【００７４】
また、上述した一例において、提供商品確認画面に確認対象である提供商品の画像を表示させる場合に、確認対象トレイをカメラが動画で撮影しており制御タブレット４１にも動画が入力される場合、撮像した動画の特定のフレーム（１画像）を抽出して静止画として表示させてもよいし、動画のまま表示させてもよい。確認対象の提供商品が複数のトレイに分散して準備されている場合、確認作業中のトレイについては静止画で表示しても動画のまま表示してもよいが、確認作業が終了してカメラでの撮像領域から撤去されたトレイについては、確認作業中に撮影された動画の中から特定フレームを抽出して保存しておくことで、複数のトレイの画像を同時に確認画面に表示させることができる。
【００７５】
（変形例）
第１の実施形態の変形例について説明する。本変形例では、提供商品の確認方法において、コード認識によって注文商品と一致していると判定された提供商品についてのみ、物体認識による判定を行う点が、第１の実施形態と異なっている。本変形例の提供商品確認システムの構成は、図１に示す第１の実施形態と同様であるので、説明を省略する。
【００７６】
本変形例の提供商品確認方法は、トレイ上に乗せられた全ての提供商品に対してコード認識を行い、注文商品と一致すると判定された提供商品についてのみ物体認識を行う。具体的には、図２のステップＳ１４において、提供商品に添付されたラベルのコードを読み取る際に、ラベルの位置も同時に読み取る。ステップＳ１５におけるコードによる判定の結果、注文商品と一致すると判定された提供商品についてのみ、提供商品の物体認識を行う。（図２におけるステップＳ１８からＳ２１の手順。）
提供商品の物体認識を行う具体的な手順は次の通りである。まず、ステップＳ１８の手順について説明する。最初に、ステップＳ１５において注文情報と一致すると判定されたコードが印字されたラベルについて、ラベル検出位置周辺の所定の範囲を物体認識対象領域として設定する。例えば、トレイ上に提供商品が５つ乗せられているが、コード認識において、うち１つの提供商品が注文商品と異なると判定された場合、注文商品と一致すると判定された４つの提供商品について、添付されたラベル位置の周辺の所定の範囲を物体認識対象領域として設定する。なお、物体認識対象領域は、検出されたラベルの位置に基づき設定されるため、添付位置の不具合などによりラベルが検出されなかった場合にも、物体認識対象領域は設定されない。そして、設定された物体認識対象領域内についてのみ、提供商品の物体認識を行う。このように、提供商品が存在する可能性がある領域のみを対象領域として物体認識を行うことで、物体認識対象範囲を狭めることができ、物体認識に要する時間を短縮することができる。
【００７７】
続くステップＳ１９では、上述した第１の実施形態においては物体認識結果と注文情報とを照合して相違を判定しているが、変形例では物体認識結果とコード認識結果とを照合して相違を判定する。すなわち、物体認識により得られた結果とコード認識結果とを照合し、両者が同じ商品である場合は一致と判定され、違う商品である場合は不一致と判定される。なお、物体認識において物体認識対象領域内に提供商品が検出されなかった場合は、コード認識結果との照合ができないために、未判定となる。第１の実施形態では、注文情報に複数の注文商品が含まれている場合、１つの物体認識結果について複数の注文商品と照合する必要があるが、本変形例では１つの物体認識結果をこれと対応する１つのコード認識結果と照合すればよいので、誤判定を低減し、照合に要する時間を短縮することができる。
【００７８】
そして、ステップＳ２０に進み、物体認識による判定結果を表示する。表示方法としては、ステップＳ１９で得られた判定結果をそのまま表記してもよいし、ステップＳ１９で得られた判定結果から注文情報と物体認識結果との相違を導出して表記してもよい。例えば、物体認識結果とコード認識結果とが一致している場合、物体認識結果の欄にはコード認識結果の表記内容をそのまま示す。また、コード認識結果が“あり”で物体認識結果とコード認識結果とが不一致の場合、物体認識結果の欄には“なし”と示す。なお、 コード認識結果が“なし”の場合、上述の通り物体認識が行われないので、 “不明”や “未判定”など、物体認識結果と注文商品との相違の判定結果が得られていないことを示す表記をすればよい。
【００７９】
なお、図２におけるステップＳ２１（物体認識による誤混入商品の判定）は、本変形例では省略してステップＳ２２に進む。
【００８０】
このように、本変形例では、コード認識結果に基づき物体認識の対象領域を限定し、また、物体認識結果を注文情報でなくコード認識結果と照合することで、誤判定をさらに低減することができ、また、提供商品の確認に要する時間を短縮することができるので作業の更なる効率化を図ることができる。
【００８１】
（第２の実施形態）
上述した第１の実施形態の提供商品確認システムは、提供商品と注文商品との照合結果を提供商品の画像に重畳して表示する場合、制御タブレット４１の表示部に同画像を表示していた。これに対し、本実施形態においては、提供商品そのものに照合結果を投影して表示させる点が異なっている。本実施形態の提供商品確認システムは、提供商品３３に照合結果を投影するためのプロジェクタ４４以外の構成要素は第１の実施形態と構成要素が同じであるので、同じ符号を付して説明は省略する。
【００８２】
本実施形態の提供商品確認システムの構成について、図２１を用いて説明する。図２１は、第２の実施形態に係わる提供商品確認システムの構成を説明する概略ブロック図である。
【００８３】
図２１に示すように、本実施形態の提供商品確認システムは、カメラ４２の撮像領域の所定の位置に設置されたトレイ４３に乗せられている提供商品に重畳するように、提供商品と注文商品との照合結果を投影するためのプロジェクタ４４が、商品確認部４´に設けられている。プロジェクタ４４は、制御タブレット４１からの指示に従って、所定の提供商品に重畳するように照合結果を投影する。
【００８４】
例えば、注文商品との一致不一致の判定が行われていない提供商品には何も投影せず、コードによる判定、または物体認識による判定の結果すくなくともどちらか一方で注文商品と不一致であると判定された場合、当該提供商品に重畳するように、不一致であることを示す記号（例えばバツ印）を投影する。また、コードによる判定も、物体認識による判定も、どちらも注文商品と一致すると判定された場合、当該提供商品に重畳するように、一致であることを示す記号（例えば丸印）を投影する。例えば図２１では、トレイの左下部に載せられている提供商品３３ｇについて、注文商品と不一致であると判定されており、他の提供商品３３については注文商品と一致していると判定された場合を示しており、提供商品３３ｇにはプロジェクタ４２からバツ印が投影されており、他の提供商品３３には丸印が投影されている。
【００８５】
なお、制御タブレット４１に表示される提供商品確認画面や、提供商品の確認方法については、上述した第１の実施形態と同様である。従って、注文商品と提供商品が不一致である原因については、制御タブレット４１の提供商品確認画面を参照することで特定することができる。
【００８６】
このように、本実施形態においては、プロジェクタ４４を用いて提供商品と注文商品との照合結果を実際の提供商品に重畳して表示することで、注文商品と不一致である提供商品を一目で間違いなく認識することができる。従って、作業時間を短縮することができ、更に作業効率を向上させることができる。
【００８７】
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。
【００８８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８９】
１…注文受付部、２…商品準備部、３…ラベリング部、４…商品確認部、１１…ＰＯＳターミナル、２１…注文表示部、２２…商品、３１…ラベルプリンタ、３２…ラベル、３３…提供商品、４１…制御タブレット、４２…カメラ、４３…トレイ、
【図１】
2015141696.tif 000003
【図２】
2015141696.tif 000004
【図３】
2015141696.tif 000005
【図４】
2015141696.tif 000006
【図５】
2015141696.tif 000007
【図６】
2015141696.tif 000008
【図７】
2015141696.tif 000009
【図８】
2015141696.tif 000010
【図９】
2015141696.tif 000011
【図１０】
2015141696.tif 000012
【図１１】
2015141696.tif 000013
【図１２】
2015141696.tif 000014
【図１３】
2015141696.tif 000015
【図１４】
2015141696.tif 000016
【図１５】
2015141696.tif 000017
【図１６】
2015141696.tif 000018
【図１７】
2015141696.tif 000019
【図１８】
2015141696.tif 000020
【図１９】
2015141696.tif 000021
【図２０】
2015141696.tif 000022
【図２１】
2015141696.tif 000023