(57)【特許請求の範囲】
【請求項１】
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識してから所定時間の経過後に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する出力制御手段と、
前記注文情報を出力するまでの時間をカウントダウン表示する表示制御手段と、
を備えたことを特徴とする商品注文装置。
【請求項２】
商品注文装置が実行する商品注文方法であって、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識してから所定時間の経過後に、該認識された副提供物に対応づけられて記憶手段に予め記憶されている商品について、注文情報を出力するステップと、
前記注文情報を出力するまでの時間をカウントダウン表示するステップと、
を有することを特徴とする商品注文方法。
【請求項３】
コンピュータを、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識してから所定時間の経過後に、該認識された副提供物に対応づけられて記憶手段に予め記憶されている商品について、注文情報を出力する出力制御手段、
前記注文情報を出力するまでの時間をカウントダウン表示する表示制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト認識を利用した商品注文装置、商品注文方法およびプログラムに関する。
【背景技術】
【０００２】
セルフ方式のうどん屋において顧客は、トングを用いて陳列台から所望のちくわや天ぷらなどを取ってトレー上の皿に載せて、ＰＯＳ端末（レジ）で代金の精算を受ける。ここでＰＯＳとは、販売時点情報管理（Point Of Sale system）の略称である。このようなうどん屋では、ちくわや天ぷらなどの調理品は、陳列台にそのまま陳列することが多い。これにより、出来たての調理品をそのまま味や食感を落とすことなしに顧客に提供でき、かつ皿に載せる工数を省略することができる。その反面、調理品を皿に載せないことによりこの調理品を電子的に管理することが困難であるという問題がある。
【０００３】
調理品の種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。うどん屋の店員は、トレー上の調理品の種類を正確に見分けて手作業でＰＯＳ端末に入力する必要がある。よって、店員に対する所定の訓練期間が必要であった。
このため近年では、トレー上の食品をカメラで撮影し、この画像情報からトレー上の食品の種類と数量とを自動認識して、商品登録を自動化するＰＯＳ端末が出現している。これにより、店員の訓練期間を短縮することができる。
【０００４】
特許文献１の課題には、「画像認識によりパンの種類を正確に識別する。」と記載され、構成には、「パンのカラー画像を内側領域のカラー画像と外側領域のカラー画像とに分割する。パンの画像からパンの輪郭に関する特徴量と、パンのテクスチャーに関する特徴量と、パンの内側領域のカラースペース内での特徴量と、パンの外側領域のカラースペース内での特徴量とを求め、パンの種類を識別する。」と記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１７０７４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
うどん屋は、顧客が店内で飲食できるように構成されている。そのような店舗において顧客は、トングを用いて調理品の陳列台から所望の調理品をトレーに取り、店員に飲み物を注文する。このとき店員は、顧客が要求する飲み物をキッチンやバックヤード等に注文（オーダ）して、この飲み物を作成させると共に、これを売上登録することが必要である。
【０００７】
飲み物は液体であり、それ自体では固有の形態を有さない。また、飲み物の容器は、商品の種類によらず共通のものが提供される。よって、飲み物またはその容器の外観によって、商品の種類を識別することは困難である。また、カメラで撮影する際に、所定の高さを有する飲み物の容器は、背の低い調理品と共にフォーカスできず、明瞭に撮影できない虞がある。更に飲み物をオブジェクト認識して売上登録する場合でも、この飲み物をキッチンやバックヤード等に注文する手間を省くことはできない。
【０００８】
そこで、本発明は、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係る商品注文装置は、商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識してから所定時間の経過後に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する出力制御手段と、前記注文情報を出力するまでの時間をカウントダウン表示する表示制御手段と、を備えたことを特徴とする。
【００１０】
また、本発明に係る商品注文方法は、商品注文装置が実行する商品注文方法であって、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識してから所定時間の経過後に、該認識された副提供物に対応づけられて記憶手段に予め記憶されている商品について、注文情報を出力するステップと、前記注文情報を出力するまでの時間をカウントダウン表示するステップと、を有することを特徴とする。
【００１１】
また、本発明に係るプログラムは、コンピュータを、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識してから所定時間の経過後に、該認識された副提供物に対応づけられて記憶手段に予め記憶されている商品について、注文情報を出力する出力制御手段、前記注文情報を出力するまでの時間をカウントダウン表示する表示制御手段、として機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法およびプログラムを提供することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態における商品注文装置を示す斜視図である。
【図２】商品注文装置を示す概略の構成図である。
【図３】商品注文装置を示す論理ブロック図である。
【図４】画面遷移の例を示す図である。
【図５】商品注文装置の動作を示すアクティビティ図である。
【図６】オブジェクト認識用データの一例を示す図である。
【図７】商品内容データの一例を示す図である。
【図８】商品等の認識処理を示すフローチャートである。
【図９】商品等の登録処理を示すシーケンス図である。
【発明を実施するための形態】
【００１５】
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、複数の図面において、同一の要素には同一の符号を付与し、重複する説明を適宜省略する。
図１は、本実施形態における商品注文装置１−１，１−２を示す斜視図である。
図１に示すように、商品注文装置１−１は、顧客用ディスプレイ１１と、撮影装置１２と、照明装置１３とを備えており、店舗のレーン１５に設置される。商品注文装置１−２も、商品注文装置１−１と同様に構成され、レーン１５に設置される。以下、商品注文装置１−１，１−２を特に区別しないときには、単に商品注文装置１と記載する。なお、店員は、接客するにあたりレーン１５の図面奥側に立つ。顧客は、レーン１５の図面手前側の左端付近に立ち、レーン１５にトレー３を載せて左から右に移動する。
レーン１５には、複数種類のコースター５ａが置かれ、その右側には、商品注文装置１−１が設置されている。このコースター５ａまたはその近傍には、このコースター５ａと共に顧客が提供を受けるコーヒーとその種別が記載されている。この商品注文装置１−１は、顧客によってトレー３に置かれたコースター５ａを認識して、このコースター５ａに対応する飲み物を注文する。
商品注文装置１−１の右側にはストロー５ｂが置かれ、更にその右側には、商品注文装置１−２が設置されている。このストロー５ｂまたはその近傍には、このストロー５ｂと共に顧客が提供を受けるジュースとその種別が記載されている。この商品注文装置１−２は、顧客によってトレー３に置かれたストロー５ｂを認識して、このストロー５ｂに対応する飲み物を注文する。なお、商品注文装置１−２は、ストロー５ｂを認識するが、コースター５ａを認識せず、これに対応するコーヒーの注文を出力しない。これにより、下流側の商品注文装置１−２は、重ねて同一の飲み物を注文しないように動作する。
本実施形態のコースター５ａに対応するコーヒーは、ストロー５ｂに対応するジュースよりも作成期間が長い。よって、作成期間が相対的に長いコーヒーに対して、より多くの準備期間を割り当てることができる。これにより、商品登録システム７（図２参照）は、顧客を待たせることが少なくなり、より多くの顧客の注文を受けることが可能となる。
商品注文装置１は、飲料の注文情報を受けると、キッチンに設置されたキッチンプリンタ４（図２参照）により注文を印刷する。この動作については、後記する図４から図９で詳細に説明する。
【００１６】
顧客用ディスプレイ１１は、例えば液晶表示装置であり、顧客側である図面手前側を向いている。顧客用ディスプレイ１１は、顧客に対して取扱商品に関する情報（商品名、金額等）を表示する。
【００１７】
撮影装置１２は、レーン１５に置かれたトレー３、および、トレー３の上の取扱商品または／および副提供物を真上から撮影する。副提供物とは、例えばコースター５ａ、ストロー５ｂ、割り箸５ｃ（図４参照）、スプーン、フォーク、ナイフ、砂糖袋、ガムシロップ容器、ミルク容器、ナプキン等であり、取扱商品に付随して顧客に提供するものである。以下、取扱商品と副提供物のことを、「取扱商品等」と記載する場合がある。撮影領域１２１は、撮影装置１２によって撮影可能なレーン１５上の領域である。
照明装置１３は、例えばＬＥＤ（Light Emitting Diode）光源であり、撮影装置１２に隣接して設置される。照明装置１３は、レーン１５に置かれたトレー３、および、トレー３の上の取扱商品または／および副提供物に真上から照らす。これにより、撮影装置１２は、トレー３の上の取扱商品等をより鮮明に撮影することができる。撮影装置１２が撮影する際、トレー３上のコースター５ａには、照明装置１３の照明光が照射される。このトレー３の色は白色または淡色とすることが望ましい。更にトレー３は、その上面に微細なマット加工を付すことが望ましい。これにより、照明光や環境光の反射を抑止することができる。
顧客は、トレー３に副提供物であるコースター５ａを載せて、このトレー３を滑らせて撮影領域１２１に移動させる。図１の例では１枚のコースター５ａがトレー３の上に載せられている。店員は、商品注文装置１−２よりも右側でＰＯＳ端末２（図２参照）を操作している。店員は、ＰＯＳ端末２により顧客の注文を精算すると共に、取扱商品である飲み物をキッチンから受け取ってコースター５ａの上に載せる。
【００１８】
商品注文装置１は、撮影装置１２によって撮影された画像を処理することで、トレー３の上の取扱商品を特定する。商品注文装置１は更に、コースター５ａ、ストロー５ｂ、スプーン、箸、砂糖袋、ガムシロップ容器、ミルク容器等の副提供物に基づいて、飲み物の種類を判定し、判定した飲み物（取扱商品）のオーダ情報をキッチンプリンタ４により印刷する。これにより、商品注文装置１は、外部であるキッチン側に飲み物のオーダを通知することができる。商品注文装置１は更に、外部であるＰＯＳ端末２に、飲み物の商品名、個数、価格等の情報を送信し、この飲み物を売上登録させる。即ち、商品注文装置１は、取扱商品の価格情報を出力する商品価格出力装置として機能する。
【００１９】
図２は、商品注文装置１−１，１−２と、これらを含む商品登録システム７とを示す概略の構成図である。
商品注文装置１−１は、図１で示した構成以外に、ＣＰＵ（Central Processing Unit）１０１と、ＲＡＭ（Random Access Memory）１０２と、ＲＯＭ（Read Only Memory）１０３と、記憶部１０４と、通信部１４とを備えている。各構成は、内部バスや各入出力回路（不図示）を介して互いに通信可能に接続されている。商品注文装置１−１は、ネットワークを介してキッチンプリンタ４とＰＯＳ端末２とに接続されている。商品注文装置１−２も同様に、ネットワークを介してキッチンプリンタ４とＰＯＳ端末２とに接続されている。
【００２０】
ＣＰＵ１０１は、中央制御装置であり、商品注文装置１全体の制御を司る制御手段である。
ＲＡＭ１０２は、ＣＰＵ１０１によって使用される一時記憶手段であり、ＣＰＵ１０１が実行するプログラムに係る画像データや各種変数等を一時的に記憶する。
ＲＯＭ１０３は、不揮発性の記憶手段であり、ＣＰＵ１０１によって実行されるプログラム等を記憶する。
【００２１】
顧客用ディスプレイ１１は、ＣＰＵ１０１によって制御され、顧客に対して取扱商品等の撮影画像や取扱商品の会計に関する情報（商品名、金額等）を表示する表示手段である。
【００２２】
記憶部１０４は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等によって構成され、各種プログラムや各種ファイルを記憶する記憶手段である。記憶部１０４に記憶されている各種プログラムや各種ファイルは、商品注文装置１の起動時に、その全部または一部がＲＡＭ１０２にコピーされてＣＰＵ１０１により実行される。この記憶部１０４には、各種のデータが記憶されている。
【００２３】
撮影装置１２は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から構成される。撮影装置１２は、ＣＰＵ１０１の制御の下で撮影を行う撮影手段である。撮影装置１２は、例えば３０ｆｐｓ（frame per second）の動画像の撮影を行う。撮影装置１２が所定のフレームレートで順次撮影したフレーム画像（撮影画像）は、ＲＡＭ１０２に保存される。
【００２４】
照明装置１３は、ＣＰＵ１０１の制御の下で、撮影装置１２によってトレー３やトレー３の上の取扱商品等を撮影する際に撮影画像がより鮮明になるように、トレー３の上から下向きに光を照射する。これにより、画像処理の精度を高めることができる。照明装置１３による光の照射のタイミングは、例えば、撮影装置１２の撮影のタイミングに合わせてもよいし、あるいは、常時でもよい。
【００２５】
通信部１４は、例えばネットワークインタフェースコントローラであり、キッチンプリンタ４とＰＯＳ端末２とに接続されている。ＣＰＵ１０１は、この通信部１４を介して、オーダ内容をキッチンプリンタ４に印字させ、ＰＯＳ端末２に商品登録させる。
ＰＯＳ端末２は、会計を登録する端末である。ＰＯＳ端末２は、商品注文装置１−１，１−２から取扱商品であるちくわや天ぷら等の識別情報と、飲料の識別情報とを受信し、合計代金等の表示や、販売管理・売上実績管理等の演算・入出力を実行する。
【００２６】
図３は、商品注文装置１を示す論理ブロック図である。
商品注文装置１のＣＰＵ１０１（図２参照）は、ＲＯＭ１０３（図２参照）に格納された不図示のプログラムを実行することにより、処理部８を具現化する。処理部８は、画像記憶部８１と、オブジェクト認識処理部８２と、確定通知部８３と、オーダ印刷部８４と、情報出力部８５とを含んで構成される。このオブジェクト認識処理部８２は、物体検出部８２１と、類似度演算部８２２と、類似度判断部８２３とを備えている。
処理部８は、記憶部１０４に格納されたオブジェクト認識用データ１０５と、商品内容データ１０６と、売上マスタ１０７とを参照する。処理部８は、撮影装置１２によって撮影された物体が取扱商品であるか否かを、物体の画像情報に基づいて認識する。また、処理部８は、撮影装置１２によって撮影された物体が副提供物であると認識された場合に、この認識された副提供物に対応づけられて記憶されている取扱商品の注文情報をキッチンプリンタ４（図２参照）などに出力する。
なお、処理部８は、記憶部１０４に格納されたオブジェクト認識用データ１０５と、商品内容データ１０６と、売上マスタ１０７とを参照する。
【００２７】
オブジェクト認識用データ１０５は、調理品や副提供物の種類毎にモデル化された特徴量を組み合わせたテンプレート情報等が予め登録されている。即ち、オブジェクト認識用データ１０５は、店舗に陳列して販売する取扱商品等の各々について、商品名または商品ＩＤと、その取扱商品等の特徴量との関連付けが設定されたデータファイルであり、取扱商品等の認識用の辞書として機能する。オブジェクト認識用データ１０５には、取扱商品と共に顧客に提供される副提供物ごとに、副提供物またはその組み合わせと共に顧客に提供されることとなる取扱商品が対応づけて記憶されている。
ここで、各商品注文装置１が格納するオブジェクト認識用データ１０５には、各装置が認識対象とする調理品や副提供物に関する情報が格納される。これにより、各商品注文装置１が対象とする調理品や副提供物のみをそれぞれキッチンに注文するので、商品の注文が重複することがなくなる。
【００２８】
商品内容データ１０６は、取扱商品の内容情報が設定されたデータファイルである。商品内容データ１０６には、取扱商品の内容情報として、商品ＩＤ（IDentifier）、商品名、単価、値引き情報等が設定される。
売上マスタ１０７は、取扱商品の売上登録を記録するデータファイルであり、顧客に売り上げた商品ＩＤと、これに対応する商品分類、商品名、単価、販売個数等が記録される。
画像記憶部８１は、撮影されて撮影装置１２が撮影したフレーム画像（カラーデジタル画像）を順次取り込んで記憶する。
【００２９】
物体検出部８２１は、エッジ検出等の技術を用いて、取り込んだフレーム画像における取扱商品等の候補となる画像を背景から分離する、すなわち識別対象の物体だけを切り出して検出する。具体的にいうと、処理部８は、常に撮影装置１２によってレーン１５上の撮影領域１２１を所定周期で撮影する。物体検出部８２１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部８２１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して画像を各領域に分離して、物体を検出する。
【００３０】
類似度演算部８２２は、個々の取扱商品等の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部８２２は、各分離画像について、大きさ、形状、色合い、表面の凹凸具合等の表面の状態を特徴量として演算する。類似度演算部８２２は更に、各分離画像の特徴量と、オブジェクト認識用データ１０５に記録された取扱商品等の各特徴量とをそれぞれ比較することで、各分離画像とオブジェクト認識用データ１０５に記録された取扱商品等との類似度をそれぞれ算出する。
即ち、類似度とは、オブジェクト認識用データ１０５に記録されている取扱商品等が想定する特徴量を１００％の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。つまり類似度は、物体の分離画像と、取扱商品等に想定される基準画像とがどの程度まで類似しているかを示している。なお、類似度演算部８２２は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。
【００３１】
このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。下記の柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年１０月３１日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
【００３２】
また、画像をオブジェクト（物体）ごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年１０月３１日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>
【００３３】
なお、撮影された商品画像等の特徴量と、オブジェクト認識用データ１０５に記録された取扱商品の商品画像等の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影された商品画像等の特徴量と、オブジェクト認識用データ１０５に記録された各取扱商品等の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００３４】
類似度を絶対評価として算出する場合には、分離画像の特徴量と、オブジェクト認識用データ１０５として記憶された取扱商品等の特徴量とを１対１で比較し、この比較の結果算出される類似度（０〜１００％）をそのまま採用すればよい。
また、類似度を相対評価として算出する場合には、各取扱商品等との類似度の総和が１．０（１００％）となるよう算出する。例えば、オブジェクト認識用データ１０５として商品Ａ，Ｂ、副提供物Ｍ，Ｎの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Ａに対して類似度が０．６５、商品Ｂに対しては類似度が０．２、副提供物Ｍに対しては類似度が０．１、副提供物Ｎに対しては類似度が０．０５、等のように算出する。
【００３５】
類似度判断部８２３は、物体の分離画像ごとに、類似度演算部８２２が算出した類似度に基づいて、対応する取扱商品等を一意に決定する。
【００３６】
確定通知部８３は、類似度判断部８２３が取扱商品等を一意に決定した分離画像の物体について、この取扱商品等が一意に確定されたことを、顧客用ディスプレイ１１への表示や音声出力等によって顧客に報知する。
より詳細には、確定通知部８３は、類似度判断部８２３が取扱商品等を一意に決定した分離画像を、緑の枠線と共に顧客用ディスプレイ１１に表示することで、分離画像に対応した取扱商品等が一意に確定されたことを示す。
【００３７】
オーダ印刷部８４は、キッチンプリンタ４に飲み物の注文を印刷させる。これにより顧客は、店員に対して口頭で飲み物の注文を伝えることなしに、キッチンに飲み物の注文情報を伝えることができる。なお、商品注文装置１は、顧客用ディスプレイ１１に飲み物が注文された旨を表示するように構成されてもよい。
【００３８】
情報出力部８５は、上述のようにして確定された確定商品等の商品ＩＤに基づいて商品内容データ１０６を参照し、これに対応する商品分類、商品名、単価、販売個数等を取得する。情報出力部８５は、取得した情報を顧客用ディスプレイ１１に表示すると共に、ＰＯＳ端末２に送信する。
【００３９】
図４（ａ）〜（ｃ）は、画面遷移の例を示す図である。この画面は、顧客用ディスプレイ１１（図１参照）に表示される。
【００４０】
図４（ａ）は、黒色のコースター５ａとちくわ６と割り箸５ｃを載せたトレー３がレーン１５上の撮影領域１２１に移動されたときの画面の例を示す図である。黒色のコースター５ａは、ホットコーヒーと共に顧客に提供する副提供物であり、かつ、このホットコーヒーの注文を示す指標である。
顧客用ディスプレイ１１には、撮影装置１２によるスルー画が常に表示される。顧客は、トレー３にちくわ６とコースター５ａと割り箸５ｃとを載せて、トレー３を撮影領域１２１に移動させる。これにより、顧客用ディスプレイ１１には、図４（ｂ）の画面が表示される。
この画面では、コースター５ａには緑の輪郭が付与され、コースター５ａの分離画像に対応した副提供物が一意に確定されたことを示す。コースター５ａの上には、これに対応する商品の内容を示す、「ホットコーヒーＳ・１００円」のウインドウ５１が表示される。
【００４１】
ちくわ６は、取扱商品そのものである。この画面では、ちくわ６には緑の輪郭が付与され、ちくわ６の分離画像に対応した取扱商品が一意に確定されたことを示す。ちくわ６の上には、これに対応する商品の内容を示す、「ちくわ・１８０円」のウインドウ６１が表示される。
割り箸５ｃは、取扱商品を示す指標ではない。割り箸５ｃは、この商品注文装置１の認識対象ではないため、輪郭やウインドウは表示されない。
画面最上部には、「あと５秒でキッチンにオーダします」のメッセージが表示されている。ここで５秒とは、商品の注文情報を出力するまでの時間である。このメッセージは顧客用ディスプレイ１１に、リアルタイムにカウントダウン表示される。５秒が経過すると、図４（ｂ）の画面に遷移する。
【００４２】
図４（ｂ）は、キッチンに飲み物がオーダされたときの画面の例を示す図である。
図４（ｂ）の例では、トレー３が撮影領域１２１の右側に移動している。画面最上部には、「キッチンにコーヒーをオーダしました」のメッセージが表示されている。このメッセージは、所定時間の経過後に消去される。こののち顧客は、取扱商品であるコーヒー・Ｓサイズを店員から受け取る。
商品注文装置１は、所定時間だけトレー３を認識しつづけることにより、この飲み物の注文を確定して、この注文情報をキッチンプリンタ４に印刷する。これにより、商品注文装置１は、非接触で顧客の商品注文を確定することができ、衛生的である。なお、顧客が注文を取り消すときには、所定時間内に、トレー３または黒のコースター５ａを商品注文装置１の撮影領域１２１から外せばよい。これにより、商品注文装置１は、非接触で顧客の商品注文のキャンセル処理が行える。
【００４３】
図５は、商品注文装置１の動作を示すアクティビティ図である。
商品注文装置１は、電源がオンされると、モードＭ１０のトレー認識処理に遷移する。
モードＭ１０は、トレー認識処理モードである。このとき商品注文装置１は、撮影装置１２による撮影画像にオブジェクト認識処理を行い、新規のトレーを認識する。モードＭ１０においてトレー認識処理が終了すると、商品注文装置１はモードＭ１１に遷移する。
モードＭ１１は、スルー画表示モードである。このとき商品注文装置１は、撮影装置１２のスルー画をそのまま顧客用ディスプレイ１１に表示し、モードＭ１２に遷移する。具体的にいうと、このスルー画の表示とは、図４（ａ）に例示した画面である。
モードＭ１２は、スルー画表示モードにおける判断である。このとき商品注文装置１は、撮影画像に新規トレーが検知されたならば、モードＭ１３に遷移し、その他の場合は、モードＭ１０に戻り、トレーの認識処理を繰り返す。
【００４４】
モードＭ１３は、商品等認識処理モードである。このとき商品注文装置１は、撮影装置１２による撮影画像にオブジェクト認識処理を行い、取扱商品等を認識する。モードＭ１３において商品等認識処理が終了すると、商品注文装置１はモードＭ１４に遷移する。
モードＭ１４は、認識結果表示モードである。このとき商品注文装置１は、商品等認識処理の結果を顧客用ディスプレイ１１に表示する。具体的にいうと、この商品等認識処理の結果の表示とは、図４（ａ）に例示した画面である。
モードＭ１５は、認識結果表示モードにおける判断である。このとき商品注文装置１は、所定時間が経過したならば、モードＭ１６に遷移し、所定時間内ならば、モードＭ１３に戻り、商品等の認識処理を繰り返す。
【００４５】
モードＭ１６は、所定時間経過後の判断である。このとき商品注文装置１は、コースターなどの指標および取扱商品を検知したならば、モードＭ１７に遷移し、取扱商品のみを検知したならば、モードＭ１８に遷移し、指標を検知していないならば（非検知）、図５の動作を終了する。
モードＭ１７は、キッチンへのオーダ印刷処理モードである。このとき商品注文装置１は、コースター等の指標に対応した取扱商品の注文を、キッチンプリンタ４により印刷する。
モードＭ１８は、ＰＯＳ端末２への通知モードである。このとき商品注文装置１は、撮影装置１２で認識した取扱商品の注文と、コースター等の指標に対応した取扱商品の注文とを、ＰＯＳ端末２へ通知する。
モードＭ１９は、オーダ済モードである。このとき商品注文装置１は、オーダした旨を表示する。具体的にいうと、このオーダした旨の表示とは、図４（ｂ）に例示した画面である。モードＭ１９のオーダ済モードが終了すると、図５の動作を終了する。
【００４６】
図６は、オブジェクト認識用データ１０５の一例を示す図である。
オブジェクト認識用データ１０５は、取扱商品等に係る特徴量欄１０５ａと、画像リンク欄１０５ｂと、種別欄１０５ｃと、大きさ欄１０５ｄと、商品名欄１０５ｅとを含んで構成される。
特徴量欄１０５ａは、この取扱商品等に係る種類毎にモデル化された特徴量を格納する。
【００４７】
画像リンク欄１０５ｂは、この取扱商品等に係るリファレンス画像のリンクを格納する。特徴量欄１０５ａに格納された特徴量は、このリファレンス画像の形状、色合い、表面の状態等を示す情報である。類似度判断部８２３は、特徴量欄１０５ａを参照することにより、分離画像に係る物体がどの取扱商品等と類似度が高いかを判断することができる。
【００４８】
種別欄１０５ｃは、この取扱商品等が、取扱商品そのものであるか、または取扱商品を指し示す指標であるかの種別を格納する。本実施形態において取扱商品を指し示す指標は、取扱商品に付随して顧客に提供される副提供物であり、コースター、ストロー、スプーン、箸、砂糖袋、ガムシロップ容器、ミルク容器、ナプキン等である。
【００４９】
大きさ欄１０５ｄは、この取扱商品等のサイズ情報を格納する。確定通知部８３は、この大きさ欄１０５ｄを参照することにより、例えば副提供物であるコースターやストロー、スプーン等の大きさに応じて、それぞれ異なるサイズの取扱商品や、異なる種類の商品をキッチンに注文することが可能となる。
【００５０】
商品名欄１０５ｅは、この取扱商品等の商品名を格納する。種別欄１０５ｃに「商品」が格納されているとき、商品名欄１０５ｅには、取扱商品の商品名が格納される。種別欄１０５ｃに「指標」が格納されているとき、商品名欄１０５ｅには、この指標に対応する商品名が格納される。確定通知部８３は、一意に確定した取扱商品等に係る種別欄１０５ｃが「指標」であるとき、副提供物であると判断し、キッチンプリンタ４に前記した指標に対応する商品名欄１０５ｅの注文を印刷させる。
【００５１】
図７は、商品内容データ１０６の一例を示す図である。
商品内容データ１０６には、商品名欄１０６ａと、商品画像リンク欄１０６ｂと、単価欄１０６ｃとを含んで構成される。なお、商品内容データ１０６は、これらの欄に限定されず、値引き情報など取扱商品に係る任意の情報欄を含んでもよい。
商品名欄１０６ａには、取扱商品の商品名が格納される。
商品画像リンク欄１０６ｂには、取扱商品の画像リンクが格納される。
単価欄１０６ｃには、取扱商品の単価が格納される。商品注文装置１の確定通知部８３は、この単価欄１０６ｃを参照して、顧客用ディスプレイ１１に単価を表示する。
【００５２】
図８は、商品等認識処理を示すフローチャートである。適宜、図１から図３を参照して説明する。
顧客がトレー３をレーン１５に載せて、撮影領域１２１に移動させると、処理部８はこのトレー３を認識して一連の処理を開始する。
ステップＳ３０において、処理部８は、タイマを設定する。このタイマは、トレー３を認識してから、トレー３上のコースター等に対応した飲み物を決定してキッチンに注文するまでの時間を測定するものである。このタイマの値は、後記するステップＳ４１の処理で参照される。
ステップＳ３１において、処理部８は、撮影装置１２に撮影オン信号を出力して商品画像のキャプチャ（撮影）を開始する。画像記憶部８１は、撮影装置１２が撮影したフレーム画像（撮影画像）をＲＡＭ１０２に記憶する。
ステップＳ３２において、オブジェクト認識処理部８２は、画像記憶部８１が記憶したフレーム画像に対して、一連のオブジェクト認識処理を行う。この処理において、物体検出部８２１は、取扱商品等である物体の分離画像の認識（検出）を試みる。類似度演算部８２２は、検出した分離画像から特徴量を読み取る。更に類似度判断部８２３が、特徴量の類似度が所定閾値以上となる取扱商品等がオブジェクト認識用データ１０５に存在するか否かを判定する。
【００５３】
具体的にいうと、トレー３にちくわと黒コースターとが載っているとき、物体検出部８２１は、ちくわの分離画像と黒コースターの分離画像とを検出する。類似度演算部８２２は、ちくわの分離画像と黒コースターの分離画像とから、それぞれの特徴量を読み取る。類似度判断部８２３は、ちくわの分離画像の特徴量に基づいてオブジェクト認識用データ１０５を検索することにより、即ち、ちくわの分離画像の特徴量とオブジェクト認識用データ１０５の各特徴量との類似度を判定することにより、このオブジェクトがちくわであると判定する。更に類似度判断部８２３は、黒コースターの分離画像の特徴量に基づいてオブジェクト認識用データ１０５を検索することにより、即ち、黒コースターの分離画像の特徴量とオブジェクト認識用データ１０５の各特徴量との類似度を判定することにより、このオブジェクトが黒コースターであると判定する。
【００５４】
ステップＳ３３〜Ｓ３９において、処理部８は、認識したオブジェクトについて処理を繰り返す。この繰り返し処理により、キッチンプリンタ４への注文とＰＯＳ端末２の商品登録が行われる。
ステップＳ３４において、類似度判断部８２３は、このオブジェクトがトレー上に新たに載置された指標であるか否かを判断する。類似度判断部８２３は、このオブジェクトが新たに載置された指標であったならば（Ｙｅｓ）、ステップＳ３５の処理に進み、このオブジェクトが新たに載置された指標でなかったならば（Ｎｏ）、ステップＳ３７の処理に進む。具体的にいうと、商品注文装置１が商品等認識処理を繰り返し実行しているときに、顧客が新たな副提供物をトレー上に載せたならば、ステップＳ３５，Ｓ３６の処理が１回だけ行われる。ここで指標とは、認識した副提供物のことをいう。
【００５５】
ステップＳ３６において、類似度判断部８２３は、オブジェクト認識用データ１０５（図６参照）を検索して商品名や商品ＩＤ（不図示）を決定し、商品内容データ１０６を検索してこの商品の商品単価を決定する。これにより、商品注文装置１は、この取扱商品を確定することができる。
【００５６】
ステップＳ３７において、類似度判断部８２３は、このオブジェクトがトレー上に新たに載置された取扱商品であるか否かを判断する。類似度判断部８２３は、このオブジェクトが新たに載置された取扱商品であったならば（Ｙｅｓ）、ステップＳ３８の処理に進み、このオブジェクトが新たに載置された取扱商品でなかったならば（Ｎｏ）、ステップＳ３９の処理に進む。
ステップＳ３８において、類似度判断部８２３は、オブジェクト認識用データ１０５を検索して取扱商品を特定し、商品内容データ１０６を検索してこの取扱商品の商品単価を決定する。
【００５７】
ステップＳ３９において、処理部８は、認識した全オブジェクトについて処理を繰り返したか判断する。処理部８は、認識した全オブジェクトについて処理を繰り返していなかったならば（Ｎｏ）、ステップＳ３３の処理に戻り、認識した全オブジェクトについて処理を繰り返したならば（Ｙｅｓ）、ステップＳ４０の処理に進む。
ステップＳ４０において、確定通知部８３は、顧客用ディスプレイ１１に商品名と単価とを表示する。このとき商品注文装置１は、商品の価格を出力する商品価格出力装置として機能する。
ステップＳ４１において、処理部８は、ステップＳ３０の処理から所定時間が経過したか否かを判断する。処理部８は、所定時間が経過していないと判断したならば（Ｎｏ）、ステップＳ３１の処理に戻り、所定時間が経過したと判断したならば（Ｙｅｓ）、図８の処理を終了する。
このように処理することにより、商品注文装置１は、顧客がトレー３上にコースター５ａ等の副提供物を載せて、このトレー３を撮影領域１２１に移動させることにより、この副提供物が指し示す飲み物の注文情報を確定させることができる。確定した注文情報は、キッチンプリンタ４により印刷される。
【００５８】
図９は、商品等の登録処理を示すシーケンス図である。
顧客がトレー３を持ち、このトレー３に取扱商品や副提供物を載せて商品注文装置１−１の位置を通ると、シーケンスＱ１０の動作が開始する。
シーケンスＱ１０において、商品注文装置１−１は、撮影画像によって新規のトレー３を検出し、トレー３上の取扱商品と副提供物とを認識する。商品注文装置１−１は、この副提供物に対応づけられて記憶部１０４に記憶されている取扱商品を特定する。
シーケンスＱ１１において、商品注文装置１−１は、特定した取扱商品の注文情報をキッチンプリンタ４に出力する。
シーケンスＱ１２において、キッチンプリンタ４は、受信した取扱商品の注文情報を所定の用紙に印字する。これにより、キッチン側の店員は、顧客か選んだ当該副提供物と共に顧客に提供されることとなる取扱商品を知ることができる。また、商品注文装置１−１は、この顧客の注文情報を最も早くキッチンに伝えることができるので、もっとも準備時間の掛かる取扱商品の注文を好適に行うことができる。
シーケンスＱ１３において、商品注文装置１−１は、取扱商品の価格等の情報をＰＯＳ端末２に出力する。
シーケンスＱ１４において、ＰＯＳ端末２は、商品注文装置１−１から受信した取扱商品の価格等の情報により、この取扱商品を仮登録する。
【００５９】
更にこの顧客が、このトレー３に取扱商品や副提供物を載せて商品注文装置１−２の位置を通ると、シーケンスＱ２０の動作が開始する。
シーケンスＱ２０において、商品注文装置１−２は、撮影画像によって新規のトレー３を検出し、トレー３上の取扱商品と副提供物とを認識する。商品注文装置１−２は、この副提供物に対応づけられて記憶部１０４に記憶されている取扱商品を特定する。
シーケンスＱ２１において、商品注文装置１−２は、特定した取扱商品の注文情報をキッチンプリンタ４に出力する。特定した取扱商品は、この商品注文装置１−２が新たに認識したものである。
シーケンスＱ２２において、キッチンプリンタ４は、受信した取扱商品の注文情報を印刷する。これにより、キッチン側の店員は、顧客が選んだ当該副提供物と共に顧客に提供されることとなる取扱商品を知ることができる。
シーケンスＱ２３において、商品注文装置１−２は、取扱商品の価格等の情報をＰＯＳ端末２に出力する。
シーケンスＱ２４において、ＰＯＳ端末２は、受信した取扱商品の価格等の情報により、この取扱商品を追加で仮登録する。
【００６０】
更にこの顧客が、このトレー３に取扱商品や副提供物を載せてＰＯＳ端末２の位置を通ると、シーケンスＱ３０の動作が開始する。
シーケンスＱ３０において、ＰＯＳ端末２の店員は、キッチンから注文商品を受け取り、この注文商品をトレー３上に置いて引き渡す。
シーケンスＱ３１において、ＰＯＳ端末２は、この顧客に係る注文商品の精算処理を行い、図９の処理を終了する。
【００６１】
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｄ）のようなものがある。
【００６２】
（ａ）  商品注文装置は、ちくわ・天ぷら等の調理品以外の食品、例えばパンや、キャベツやにんじん等に代表される野菜や、リンゴや梨等に代表される果物を認識するように動作してもよい。つまり、形態として完全な同一物ではないが、同じような似通った形態を有する製造物・生産品が、オブジェクト認識を利用した商品注文装置の認識対象となり得る。
（ｂ）  上記実施形態では、一例として、うどん屋における取扱商品の注文に商品登録システムを用いることを記載している。しかし、これに限られず、店内で飲食可能なベーカリーや、ハンバーガやチキン、ドーナッツ、サンドイッチ等を提供するファーストフード店に、この商品登録システムを適用してもよい。
（ｃ）  上記実施形態では、コースター、ストロー、スプーン、砂糖袋、ガムシロップ容器、ミルク容器等によって取扱商品である飲み物を注文している。しかし、これに限られず、取扱商品は、食べ物または飲食物以外であってもよい。また、副提供物としては、例えば取扱商品と共に提供するフォーク、ナイフ、レンゲ、紙エプロンであってもよく、限定されない。
（ｄ）  上記実施形態において、商品注文装置１は、トレー３や副提供物等を認識してから所定時間に亘って認識し続けると注文を確定し、この副提供物と共に顧客に提供する取扱商品の注文情報をキッチンプリンタ４により印刷している。しかし、これに限られず、商品注文装置１は、例えば、撮影領域１２１の右端をトレー３が通り過ぎたときに、取扱商品の注文を確定してもよい。更に商品注文装置１は、例えばレーン１５かつ撮影領域１２１の右端に近接センサを設けて、この近接センサがトレー３を検知したときに、取扱商品の注文を確定してもよい。これにより、商品注文装置１は、非接触で顧客の注文を確定させることができる。
【００６３】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置。
＜請求項２＞
前記制御手段は、副提供物を認識した場合に、該認識してから所定時間の経過後に前記商品の注文情報を出力する、
ことを特徴とする請求項１に記載の商品注文装置。
＜請求項３＞
前記注文情報を出力するまでの時間をカウントダウン表示する表示手段を備えた、
ことを特徴とする請求項２に記載に記載の商品注文装置。
＜請求項４＞
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
を有することを特徴とする商品注文方法。
＜請求項５＞
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格を出力する制御手段と、
を備えたことを特徴とする商品価格出力装置。
＜請求項６＞
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする商品価格出力方法。
【符号の説明】
【００６４】
１，１−１，１−２  商品注文装置  （商品価格出力装置）
１１  顧客用ディスプレイ  （表示手段）
１２  撮影装置  （撮影手段）
１２１  撮影領域
１３  照明装置
１４  通信部
１５  レーン
１０１  ＣＰＵ  （制御手段）
１０２  ＲＡＭ
１０３  ＲＯＭ
１０４  記憶部  （記憶手段）
１０５  オブジェクト認識用データ
１０６  商品内容データ
１０７  売上マスタ
２  ＰＯＳ端末
３  トレー
４  キッチンプリンタ
５ａ  コースター  （副提供物）
５ｂ  ストロー  （副提供物）
５１  ウインドウ
６  ちくわ
６１  ウインドウ
７  商品登録システム
８  処理部  （制御手段）
８１  画像記憶部
８２  オブジェクト認識処理部
８２１  物体検出部
８２２  類似度演算部
８２３  類似度判断部
８３  確定通知部
８４  オーダ印刷部
８５  情報出力部
【図１】
0006459448.tif 000002
【図２】
0006459448.tif 000003
【図３】
0006459448.tif 000004
【図４】
0006459448.tif 000005
【図５】
0006459448.tif 000006
【図６】
0006459448.tif 000007
【図７】
0006459448.tif 000008
【図８】
0006459448.tif 000009
【図９】
0006459448.tif 000010