(57)【特許請求の範囲】
【請求項１】
食器取り分け用の盆を所定の台の上の所定の位置に載置し、その上方から撮像した画像データに基づいて、前記盆に載置された食器の種別と個数を判別して飲食代金を自動的に精算する方式の飲食代金自動精算装置において、
前記台の上に、上記盆以外の物体が存在していないことを確認してから前記食器判別に必要な処理を開始するように構成したことを特徴とする飲食代金自動精算装置。
【請求項２】
食器取り分け用の盆を所定の台の上の所定の位置に載置し、その上方から撮像した画像データに基づいて、前記盆に載置された食器の種別と個数を判別して飲食代金を自動的に精算する方式の飲食代金自動精算装置において、
前記所定の位置と前記台の一端縁との間に、物体検出用の画像データ取込線を設定し、該画像データ取込線に沿って前記台の上面を撮像して得た画像データにより、前記台の上に存在する物体を検出する手段を設け、
該手段により物体が検出されなくなった時点で、前記食器判別に必要な処理を開始するように構成したことを特徴とする飲食代金自動精算装置。
【請求項３】
請求項２の発明において、
前記物体を検出する手段は、前記台の面上に予め物体が存在しない状態で撮像し記憶しておいた画像データと、現に撮像して得た画像データの比較により、前記物体の有無を検出するように構成されていることを特徴とする飲食代金自動精算装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、食堂などにおける飲食代金の自動精算装置に係り、特にカフェテリア方式の食堂に好適な飲食代金自動精算装置に関する。
【０００２】
【従来の技術】
予め所定の容器に盛り付けた状態で用意してある多種類の総菜や米飯などの欲品を、利用者が任意に選択し取り分けて利用するカフェテリア式の食堂では、各種の飲食代金の自動精算装置が提案されているが、これらは、使用する食器に予め価格を設定しておき、食器を判別することにより各食品の種別に対応した飲食代金の自動精算を行うものである。
【０００３】
例えば、特開昭５５−４７５５８号公報では、食器取り分け用のトレイ（盆）として、特別に透明なもの、又は半透明のものを用い、これに乗せられている食器を下からテレビカメラによって撮像し、底面（糸じり）の大きさを検出することにより食器を判別し、食器毎に予め設定されている価格によって代金を精算する装置について提案しており、特公平５−７７４５号公報では、食器の底面の大きさだけでは、判別できる食器の種類が限られるため、食器の糸じりに識別可能な情報を付加することにより、多種類の食品に対応できるようにした装置について提案している。
【０００４】
一方、特開平４−３０４５９７号公報では、トレイの上に乗せられている食器を上からテレビカメラによって撮像し、食器の平面形状によって食器を判別し、食器毎に予め設定されている価格によって料金を精算する装置について提案している。
【０００５】
【発明が解決しようとする課題】
上記従来技術は、食器識別用の画像データを取り込むタイミングについて特に配慮がされておらず、画像データ取り込み時点で、利用者の腕など、食器識別に障害となる物体の画像を取り込んでしまい、正確な食器の識別が困難になってしまうという問題があった。
【０００６】
すなわち、食器を識別するための画像データの取り込みは、利用者が所定の台の上にトレイを載置した後、トレイを掴んでいた腕を台の面上から引っ込めた状態で行なうのが理想的であるが、従来技術では、特に、このような状態になったか否かの確認について配慮することなく、画像データの取り込みを行なっているので、上記の問題が生じてしまうのである。
【０００７】
本発明の目的は、食器識別用の画像データの取り込みに必要なタイミングが明確に検出でき、常に正確な食器の識別が得られるようにした食堂用飲食代金自動精算装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的は、食器取り分け用のトレイを所定の台の上の所定の位置に載置し、その上方から撮像した画像データに基づいて、前記トレイに載置された食器の種別と個数を判別して飲食代金を自動的に精算する方式の飲食代金自動精算装置において、前記台の上に、上記トレイ以外の物体が存在していないことを確認してから前記食器判別に必要な処理を開始するようにして達成される。
【０００９】
他に障害になる虞れのある物体が存在していない状態で、食器の認識処理が行なえるため、飲食代金の精算に誤りが生じる虞れを充分に抑えることができ、常に正確な飲食代金の自動精算を得ることができる。
【００１０】
【発明の実施の形態】
以下、本発明による飲食代金自動清算装置について、図示の実施形態により詳細に説明する。
図３は、本発明の一実施形態で、図において、１は認識装置で、後述するハードウエア構成を備え、この装置において、食器の認識と料金の精算に必要な制御と演算を行う。
【００１１】
２はテレビカメラで、３はパターン照射装置であるが、この実施形態では、パターン照明装置３として、スリット光を発生し、それによる照射位置を規則的に変化させ、被写体を走査して照明することができるようにしたものを用い、これによりテレビカメラ２で撮像した被写体の画像データから、被写体が有する立体情報の検出が行なえるようにしてある。
【００１２】
４はカードリーダで、例えば非接触読取型のカードリーダからなり、食堂利用者が挿入したＩＤカードを読み取る働きをする。
５は表示パネルで、認識した結果と、精算された合計金額などを表示する働きをする。
６はトレイ（盆）、７はこのトレイ６を載せる台、それに８は食器であり、この図の例では、食器８として、２個の食器８ａ、８ｂがトレイ６に取り分けられた状態を示してある。
そして、食堂利用者は、トレイ６に、総菜などが盛りつけられた食器８ａ、８ｂを乗せた後、このトレイ６を台７の上に載せ、料金の精算を受けるようになっている。
【００１３】
このため、台７の上には、後述するようなマークが描かれていて、これによりトレイ６を載置すべき位置が大まかに指示されており、利用者が、この指示に従って、トレイ６を載置した状態で、パターン照射装置３から照射されるスリット光の走査のもとでテレビカメラ２により撮像が行なわれ、画像データが取り込まれるようになっている。
【００１４】
次に、図４は、認識装置１のハードウエア構成図で、この認識装置１の内部には以下の装置が格納されている。
まず１０はデータバスで、各機器間を接続し、任意にデータの授受を可能にする働きをする。
１１はＣＰＵで、この装置で必要とする全ての演算を行なうものである。
１２はＲＯＭで、電源投入時にＣＰＵ１１で実行されるべき初期化プログラムを格納するものである。
【００１５】
１３はＲＡＭで、ＣＰＵ１１が実行するプログラムと演算の途中結果、テレビカメラ２から取り込んだ画像データなどを格納する働きをする。
１４はシリアルＩ／Ｏで、ＣＰＵ１１は、このシリアルＩ／Ｏ１４を介して非接触カードリーダ４及び表示パネル５と情報のやりとりを行う。
１５はカメラインターフェースで、このカメラインターフェース１５は、ＣＰＵ１１からの撮像命令によりテレビカメラ２の撮像制御を行い、取り込んだ画像データを、バス１０を介してＲＡＭ１３に転送する働きをする。
【００１６】
１６は照射制御部で、ＣＰＵ１１の命令に従ってパターン照射装置３を制御する働きをする。
１７はＤＩＳＫインターフェースで、ハードディスク１８とのインターフェースを可能にする働きをする。
ここで、このハードディスク１８には、この装置で実行すべきプログラムと、食器の教示データ、食器の金額テーブルなどが格納されている。
【００１７】
１９はＬＡＮインターフェースで、上位コンピュータとのデータのやりとりを行う。
この実施形態例では、清算結果は上位コンピュータに転送され、給与からの天引きにより、或いは銀行などの預金からの引き落しにより、実際の代金の決済が行われる。
【００１８】
図５はＣＰＵ１１で実行されるプログラムの全体処理フローである。
この処理は、電源の投入により開始され、まずステップ１０１で初期化が行われる。そして、この初期化処理では、ハードディスク１８に格納されているプログラムと教示データ、金額テーブルなどをＲＡＭ１４に転送し、さらに、Ｉ／Ｏ１４、１５とＬＡＮインターフェース１９の初期化も行う。
【００１９】
次にステップ１０２では、カードリーダ４とタッチパネル５からの入力をチェックし、なんらかの入力があるまで待つ。
そして、タッチパネル５からの終了キーの入力があったときには、ここで処理を終了する。
そして、カードリーダ４からＩＤカードの読み取り入力があったとき、ステップ１０３の処理に進む。
【００２０】
ステップ１０３では、食器の種別認識を行う。なお、処理の詳細については後述する。
認識結果は、食器番号として出力される。
ステップ１０４では、認識された食器番号から、食器番号と食器の名称、それに、その金額が表形式で格納されているテーブルの検索などにより、代金の合計金額を計算する。
【００２１】
ステップ１０５では、タッチパネル５に金額の表示を行う。表示内容は合計金額と認識した食器の名称、それに、それぞれの金額である。
そして、処理が終了したら、ステップ１０２に戻る。
このとき、カードリーダ４で読み取ったＩＤカードの番号と合計金額が、清算情報としてハードディスク１８に書き込まれ、要求に応じて上位コンピュータに転送される。
【００２２】
次に、図５のステップ１０３による食器認識処理について、説明する。
この実施形態では、食器の平面的な形状だけでなく、更にその高さを情報として取り込むことにより、例えばラーメン用の食器と大きな平皿といった、２次元形状が同じでも、高さが異なった食器の識別ができ、これにより判別可能な食器の種類が充分に増やせるようにしてある。
【００２３】
そして、この食器の高さを情報として取り込むため、この実施形態では、本件出願人が既に特願平８−２２６７３１号として出願してある発明と同じく、３角測量の原理を用いた検出手段を用いるようになっている。
図６は、図３に示した実施形態において、食器の高さを情報として取り込むための構成を示したもので、まず図６の（ａ）に示すように、パターン照射装置３により、照射面にスリット状の照明が得られるように平板状の光を発生させ、これにより、トレイ６の上に載置されている茶碗や皿などの食器８ａ、８ｂにスリット光９ａ、９ｂを照射し、この照射部分をテレビカメラ２により撮像して画像信号を得るようになっている。
【００２４】
このとき、テレビカメラ２の撮像光軸Ｘと、パターン照射装置３の照射光軸Ｙに、図示のように、一定の角度θ０を付けておき、この状態で撮像する。
そうすると、その画像は図６（ｂ）に示すようになり、食器の高い部分に照射された光は、トレイ６の表面の光からずれ、例えば図示のように、右側に観測される。
【００２５】
そして、このときのスリット光の照射角度と光のずれの程度により、光が照射された位置の高さ、すなわち、食器の高さを計算することができる。
この図６の例では、茶碗などの食器８ａの部分の光のずれかたが、皿などの食器８ｂより大きいので、食器８ａの高さの方が高いことが判別できる。
【００２６】
そして、このとき、矢印Ａに示すように、スリット光９ａ、９ｂを、例えば、図の左から右に振りながら照射してトレイ６全体を走査することにより、トレイ６の表面からの高さ方向の情報を含んだ画像データが生成され、従って、この画像データの解析により３次元的な食器の種別判別ができるようになり、メニューの多様化に容易に対応することができるのである。
【００２７】
ところで、この実施形態では、図５のステップ１０２の後、ステップ１０３の処理に進んだとき、直ちに上記した食器８ａ、８ｂの認識処理を開始するのではなく、まず、以下に説明する処理を実行するように構成してある。
【００２８】
図２（ａ）は、台７を上側から見た図であるが、ここでトレイ６を載置すべき位置と、台７の一端縁、この場合では図の上側の端縁との間に、一点鎖線で示すように、物体検出用の画像データ取込線１０が設定してあり、認識装置１は、テレビカメラ２がパターン照射装置３によるスリット光の照射のもとで撮像して得た画像データの中から、この画像データ取込線１０に沿った部分の画像データを取り込み、この画像データ取込線１０による画像データの中に、台７以外の物体による像が存在しているか否かを判定する処理を実行し、物体が検出されないと判断されたとき、上記した食器８ａ、８ｂの認識処理を開始するように構成されている。
【００２９】
従って、この画像データ取込線１０は、実際に台７の面に描かれている訳ではなく、認識装置１の内部における画像データの処理に際して、フレーム単位の画像データのフレーム内での位置（アドレス）として設定されているものである。  また、このとき、トレイ６を載置する位置を指示するため、図示のように、マーク７ａが、台７の表面に描いてある。
【００３０】
次に、この実施形態における、画像データ取込線１０に沿った画像データによる物体の検出方法について説明する。
まず、予め台７の上に何も物体が存在していない状態で、テレビカメラ２で撮像したときの画像データ取込線１０による画像データから高さ情報１０Ａを抽出し、認識装置１の内部に格納しておく。
このとき、台７の上面には何も物体が無いのであるから、この高さ情報１０Ａは、図２（ｂ）に示すようになっている。
【００３１】
次に、食堂利用者が各種のメニューを選択し、選択した総菜などが盛られた食器８をトレイ６に乗せ、台７に近寄り、カードリーダ４にＩＤカードを挿入し、適正なものと判定されたら、図５のステップ１０３の処理に進むので、ここでテレビカメラ２が撮像を開始し、認識装置１が画像データ取込線１０による画像データ繰り返し取り込み、その都度、この画像データによる高さ情報１０Ｂを上記格納してある高さ情報１０Ａと比較する。
【００３２】
このとき、台７の上の画像データ取込線１０に相当する部分に何も物体が無ければ、検出された画像データによる高さ情報は、既に格納してある高さ情報１０Ａと同じになるので、このときは物体無しとして、ここで上記した食器の認識処理を開始する。
【００３３】
しかして、このとき、図１（ａ）に示すように、台７の画像データ取込線１０が設定されている部分に、利用者の腕９ａ、９ｂなどの物体が存在していたとすると、このときの画像データ取込線１０による画像データから得られる高さ情報１０Ｂは、図１（ｂ）に示すようになり、利用者の腕９ａ、９ｂによる高さ成分１１ａ、１１ｂが現われ、この結果、既に格納してある高さ情報１０Ａと比較したとき、この高さ成分１１ａ、１１ｂによる差分が検出されるので、このときは、物体ありと判定する。
【００３４】
そして、このときは、以後、物体無しと判断されるまで食器の認識処理には移行せず、テレビカメラ２による撮像を繰り返し、画像データ取込線１０による画像データが得られる毎に、その高さ情報１０Ｂを取り込み、高さ情報１０Ａと比較する処理を繰り返えし、その後、差分１１ａ、１１ｂの何れもが検出されなくなった時点で、本来の食器の認識処理を開始するのである。
【００３５】
従って、この実施形態によれば、カードリーダ４にＩＤカードが挿入され、適正なものと判定されて図５のステップ１０３の処理に移行したときでも、ここで直ちに食器の認識処理が開始されるのではなく、台７の上にトレイ６以外の物体が存在していないことを確認してから、食器の認識処理に移行するようになるので、食器の認識処理に移行するのに最適なタイミングを明確に知ることができ、常に確実に食器８の種別と個数を認識し、正確な飲食代金の自動精算を短時間で得ることができる。
【００３６】
従って、この実施形態による効果について列挙すれば、以下通りである。
▲１▼  食器の識別に際して、他に認識の障害になる虞れのある物体が存在していないことが確認できるので、常に正確に飲食代金を精算することができ、高い信頼性を得ることができる。
▲２▼  食堂利用者は腕などのトレイからの離脱を気にしなくてよいため、操作性が向上する。
【００３７】
▲３▼  障害になる物体が存在していない状態を確認しているので、誤精算による認識処理のやり直しが無くなり、全体として精算時間の短縮が得られる。
▲４▼  ３次元情報により障害物体を検出しているので、利用者の着衣の袖の色や周囲の照度などの影響を受ける虞れが少なく、安定した障害物体の検出が可能である。
【００３８】
なお、上記実施形態では、物体の高さを含む３次元情報により物体を検出するようになっているが、単純な２次元画像データを用い、画像の明るさの差により物体を検出するように構成してもよいことは言うまでもない。
【００３９】
【発明の効果】
本発明によれば、台の上にトレイ以外の物体が存在しない状態で、食器の認識が行なわれるので、誤認識の虞れが充分に抑えられる。
従って、本発明によれば、常に正確に飲食代金を自動精算することができ、信頼性の高い飲食代金自動精算装置を容易に得ることができる。
【図面の簡単な説明】
【図１】本発明による飲食代金自動精算装置の一実施形態による物体の検出方法の説明図である。
【図２】本発明による飲食代金自動精算装置の一実施形態による物体の検出方法の説明図である。
【図３】本発明による飲食代金自動精算装置の一実施形態を示すブロック図である。
【図４】本発明による飲食代金自動精算装置の一実施形態における認識装置の内部構成を示すブロック構成図である。
【図５】本発明による飲食代金自動精算装置の動作を説明するためのフローチャートである。
【図６】本発明による飲食代金自動精算装置の一実施形態による食器認識動作の説明図である。
【符号の説明】
１  認識装置
２  テレビカメラ
３  パターン照射装置
４  カードリーダ
５  表示パネル
６  トレイ（盆）
８  食器
９  食堂利用者の腕
１０  画像データ取込線
１０Ａ、１０Ｂ  高さ情報
１１ａ、１１ｂ  高さの差分
【図１】
0003552872.tif 000002
【図２】
0003552872.tif 000003
【図３】
0003552872.tif 000004
【図４】
0003552872.tif 000005
【図５】
0003552872.tif 000006
【図６】
0003552872.tif 000007