Source: https://patents.google.com/patent/JP2001216571A/en
Timestamp: 2020-01-21 21:23:36
Document Index: 307528734

Matched Legal Cases: ['arts 11', 'art 13', 'art 13', 'art 13', 'art 14', 'art 13']

JP2001216571A - Method and device for adjusting charge - Google Patents
Method and device for adjusting charge
JP2001216571A
JP2001216571A JP2000026164A JP2000026164A JP2001216571A JP 2001216571 A JP2001216571 A JP 2001216571A JP 2000026164 A JP2000026164 A JP 2000026164A JP 2000026164 A JP2000026164 A JP 2000026164A JP 2001216571 A JP2001216571 A JP 2001216571A
JP2000026164A
Toshio Onoe
Hirotaka Tsubota
浩貴 坪田
壽男 尾上
2000-02-03 Application filed by Glory Ltd, グローリー工業株式会社 filed Critical Glory Ltd
2000-02-03 Priority to JP2000026164A priority Critical patent/JP2001216571A/en
2001-08-10 Publication of JP2001216571A publication Critical patent/JP2001216571A/en
PROBLEM TO BE SOLVED: To provide a method and device for adjusting a charge capable of automatically adjusting the charge by recognizing merchandise itself. SOLUTION: Based on images picked up by image pickup parts 11-1 and 11-2, a height recognition part 13a recognizes the height of the merchandise, a shape recognition part 13b recognizes the shape of the merchandise, a color recognition part 13c recognizes the color of the merchandise, and an identification part 14 recognizes the merchandise directly.
【発明の属する技術分野】この発明は、料金精算方法および装置に関し、特に、カフェテリア方式の飲食店等において、料金を自動精算する料金精算方法および装置に関する。 TECHNICAL FIELD The present invention relates to a fee settlement method and apparatus, in particular, in restaurants and the like cafeteria system, Pricing settlement method and apparatus for automatically settling rates.
【従来の技術】カフェテリア方式の飲食店では、客（購買者）が購入する商品を自由に選択してトレイ等に載せ、精算所で店員が商品を確認して料金の精算を行っている。 In the restaurant of the Prior Art cafeteria system, placed on a tray or the like is free to choose the products that the customer (purchaser) to purchase, the clerk at the checkout counter is performing a settlement of the fee to check the goods. このようなカフェテリア方式の飲食店では、固定メニューの飲食店と比較すると、その特性上、料金精算の自動化が遅れている。 In such a restaurant such cafeteria method, when compared to restaurants fixed menu, its characteristics, automation of fee settlement is delayed.
【０００３】カフェテリア方式の料金精算を自動化する方法としては、例えば、特開平１０−６９５７９号公報に記載されている「飲食代金自動精算装置」を適用することが考えられる。 As a method to automate the fee settlement cafeteria system, for example, it is conceivable to apply the "total bill automatic accounting device" described in JP-A-10-69579 JP. この「飲食代金自動精算装置」は、 This "total bill automatic checkout device",
トレイ上に載置された食器にスリット光を照射して走査し、これをテレビカメラにより撮像して得た画像から食器の３次元情報を取得するもので、取得した食器の３次元情報に基づいて料金を識別している。 Scanned by irradiating slit light onto the placed dishes on the tray, which is configured to acquire three-dimensional information of the dishes from the image obtained by imaging by the TV camera, based on the obtained three-dimensional information of tableware identifying the fee Te.
【発明が解決しようとする課題】ところが、上述の「飲食代金自動精算装置」は、商品自体の識別を行っていないため、価格に応じた食器に商品を盛りつける必用があり、特に、食器を必用としないファーストフード店等においては、利用することが困難である。 The object of the invention is to be Solved However, "total bill automatic checkout device" described above, because it does not go the identity of the product itself, there is a necessity to Serve the goods to tableware in accordance with the price, especially, necessity dishes and in fast food restaurants or the like, not, it is difficult to use.
【０００５】そこで、この発明は、商品自体の認識を行い、料金の自動精算を行うことのできる料金精算方法および装置を提供することを目的とする。 [0005] Therefore, the present invention performs recognition of the product itself, and to provide the price settlement method and apparatus capable of performing automatic fare payment.
【課題を解決するための手段】上述した目的を達成するため、請求項１の発明は、トレイ上に載置された商品を識別し、該識別した商品の精算を行う料金精算方法において、所定の間隔で配設された第１の撮像手段および第２の撮像手段によりトレイ上に載置された商品の画像をそれぞれ取得し、前記第１の撮像手段により取得された第１の画像と前記第２の撮像手段により取得された第２ To achieve the above object, according to an aspect of, the invention of claim 1, identifying the placed item on the tray, the fee settlement method for performing settlement of the products that the identified predetermined wherein the first imaging means and a second image of the product placed on the tray by the image pickup means disposed at an interval respectively acquired, a first image acquired by the first image pickup means the acquired by the second imaging means 2
の画像とに基づいて前記商品の高さ情報を取得し、前記第１の画像と前記第２の画像の少なくとも一方に基づいて前記商品の形状情報と色情報とを算出し、該算出した高さ情報、形状情報、色情報に基づいて商品を識別して料金を精算することを特徴とする。 Of acquired height information of the product on the basis of the image, the first image and on the basis of at least one of the second image to calculate the shape information and color information of the product, high the calculated is information, shape information, characterized in that settling rates to identify the product based on the color information.
【０００７】また、請求項２の発明は、請求項１の発明において、前記識別は、前記高さ情報に基づいて、前記第１の画像と前記第２の画像の少なくとも一方から所定の高さの商品のみを示す複数の距離画像を作成し、該作成した複数の距離画像のそれぞれに対して形状情報、色情報を算出して行うことを特徴とする。 [0007] According to a second aspect of the invention, in the invention of claim 1, wherein the identification is on the basis of the height information, from at least one of the predetermined height of the first image and the second image create a plurality of range images showing only product, the shape information for each of the plurality of distance images the creation, and carrying out to calculate the color information.
【０００８】また、請求項３の発明は、請求項１または２の発明において、前記形状情報は、前記商品の大きさを示す情報を含むことを特徴とする。 Further, the invention of claim 3, in the invention of claim 1 or 2, wherein the shape information is characterized by including information indicating the size of the product.
【０００９】また、請求項４の発明は、トレイ上に載置された商品を識別し、該識別した商品の精算を行う料金精算装置において、所定の間隔で配設された第１の撮像手段および第２の撮像手段と、前記第１の撮像手段により取得された第１の画像と前記第２の撮像手段により取得された第２の画像とに基づいて前記商品の高さ情報を取得する高さ認識手段と、前記第１の画像と前記第２の画像の少なくとも一方に基づいて前記商品の形状情報を取得する形状認識手段と、前記第１の画像と前記第２の画像との少なくとも一方に基づいて前記商品の色情報を取得する色認識手段と、前記高さ認識手段が取得した高さ情報、前記形状認識手段が取得した形状情報、前記色認識手段が取得した色情報に基づいて商品を識別する商品識別手段とを具 Further, the invention of claim 4, identifying the placed item on the tray, the fee settlement apparatus that performs settlement of goods that the identified, first imaging means arranged at a predetermined interval a and the second imaging means to acquire the height information of the product on the basis of the second image acquired by the first image and the second image pickup means which is acquired by the first image pickup means the height recognition means, a shape recognition means for obtaining shape information of said product based on at least one of the first image and the second image, at least between the first image and the second image on the other hand the color recognition means for acquiring color information of the product on the basis of, based on the height information the height recognition means obtained, said shape recognition means shape information acquired color information and the color recognition means obtains ingredients and product identification means for identifying a product Te することを特徴とする。 Characterized in that it.
【００１０】また、請求項５の発明は、請求項４の発明において、前記高さ認識手段は、取得した高さ情報に基づいて、前記第１の画像と前記第２の画像の少なくとも一方から所定の高さの商品のみを示す複数の距離画像を生成し、前記形状認識手段および前記色認識手段は、前記高さ認識手段が生成した複数の距離画像毎に、それぞれ形状情報と色情報とを取得することを特徴とする。 [0010] The invention of claim 5 is the invention of claim 4, wherein the height recognition means, based on the obtained height information, from at least one of the first image and the second image generating a plurality of distance images showing only items of a predetermined height, said shape recognition means and the color recognition means, wherein the height recognition means each of the plurality of range images generated, respectively the shape and color information the and acquiring.
【００１１】また、請求項６の発明は、請求項４または５の発明において、前記形状認識手段は、取得する形状情報に前記商品の大きさを示す情報を含むことを特徴とする。 [0011] The invention of claim 6 is the invention of claim 4 or 5, wherein the shape recognition means is characterized by including information indicating the size of the item into the shape information acquired.
【発明の実施の形態】以下、この発明に係る料金精算方法および装置の一実施の形態について、添付図面を参照して詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, an embodiment of the fee settlement method and apparatus according to the present invention will be described in detail with reference to the accompanying drawings.
【００１３】図１は、この発明に係る料金精算装置の外観を示した図である。 [0013] Figure 1 is a diagram showing the appearance of the fee settlement device according to the present invention. 料金精算装置１０は、トレイ２０ Fee settlement device 10, tray 20
上に載置された商品を撮像して得た画像データに基づいて商品を識別し、料金の精算を行う。 Identify the item based on the placed on goods in image data obtained by imaging, perform settlement of fees.
【００１４】図２は、料金精算装置１０の構成を示すブロック図である。 [0014] Figure 2 is a block diagram showing the configuration of a fee settlement device 10. 同図に示すように、料金精算装置１０ As shown in the figure, fee settlement device 10
は、２つの撮像部１１−１および１１−２と、記憶部１ Includes two imaging units 11-1 and 11-2, a storage unit 1
２、認識部１３、識別部１４、精算部１５、表示部１ 2, the recognition unit 13, the identification unit 14, settlement unit 15, a display unit 1
６、入力部１７、データ転送部１８を具備して構成される。 6, the input unit 17, and comprises a data transfer unit 18. また、認識部１３は、高さ認識部１３ａと形状認識部１３ｂ、色認識部１３ｃを具備して構成される。 Further, the recognition unit 13, the height recognition unit 13a and the shape recognition unit 13b, configured to include a color recognition unit 13c.
【００１５】撮像部１１−１および１１−２は、それぞれトレイ２０およびトレイ２０上に載置された商品を撮像する。 The imaging unit 11-1 and 11-2 captures the product placed on the respective tray 20 and the tray 20. 記憶部１２は、撮像部１１−１、１１−２が撮像した画像データを記憶し、認識部１３が、この画像データに基づいて各商品の画像を認識する。 Storage unit 12 stores the image data by the imaging unit 11-1 and 11-2 is captured, the recognizing unit 13 recognizes the image of each product on the basis of the image data. 認識部１３では、高さ認識部１３ａが２つの画像データから各商品の高さを認識し、形状認識部１３ｂが２つの画像データのいずれかから各商品の形状を認識し、色認識部１３ｃが２つの画像データのいずれかから各商品の色を認識する。 The recognition unit 13, the height recognition unit 13a recognizes the height of each product from the two image data, shape recognizing unit 13b recognizes the shape of each item from one of the two image data, color recognition section 13c There recognizing the color of each item from one of the two image data.
【００１６】識別部１４は、認識部１３により得られた各商品の高さ、形状、色の各情報に基づいて商品の識別を行い、この識別結果に基づいて精算部１５が料金の精算を行う。 The identifying unit 14, the recognition unit of each product obtained by the 13 height, shape, performs identification of the product based on the color pieces of information, the settlement of the settlement section 15 based on the identification result Rates do. このとき、識別部１４により識別できなかった商品が存在した場合には、表示部１６にその旨を表示し、これを受けた店員が商品の識別を行い、入力部１７ At this time, if the goods that could not be recognized by the recognition unit 14 is present, and displays it by display section 16, the clerk receiving this performs identification of the product, the input unit 17
より商品名（種別）を入力し、精算部１５が精算を行う。 Enter more trade name (type), settlement unit 15 performs the settlement. 精算部１５が精算した料金データは、データ転送部１８よりＰＯＳシステム等へ転送される。 Rate data settlement unit 15 is settled, it is transferred from the data transfer unit 18 to the POS system or the like.
【００１７】ここで、認識部１３における各情報の取得方法について説明する。 [0017] Here it will be described in the recognition unit 13 a method for acquiring the information. 認識部１３では、まず、高さ認識部１３ａが商品の高さ情報を取得する。 The recognition unit 13, firstly, the height recognition unit 13a acquires the height information of the product. 高さ情報の取得は、図３に示すようにカメラ１０１−１、１０１−２ Obtaining height information, the camera as shown in FIG. 3 101 -
（撮像手段１１−１、１１−２に相当、１０２−１、１ (Corresponding to the imaging means 11-1 and 11-2, 102-1,1
０２−２は光源）の間隔をＡ、焦点距離をＦ、後述する視差をＤとすれば、カメラからの距離Ｚ、つまり、商品の高さ情報は式１から得ることができる。 02-2 is if the distance between the light source) A, the focal length F, the disparity to be described later is D, the distance from the camera Z, i.e., the height information of the product can be obtained from Equation 1.
【００１９】ここで、視差Ｄについて説明する。 [0019] Here, a description will be given of parallax D. 視差Ｄ Parallax D
は、カメラ１０１−１、１０１−２が撮像した２枚の画像から取得する。 The camera 101-1 and 101-2 are obtained from two images captured. 例えば、図４（ａ）および図４（ｂ） For example, FIGS. 4 (a) and 4 (b)
に示す２枚の画像から、それぞれトレイ２０のエッジを基準にＸ方向にトレイ２０（画像）を抽出する。 Of two images shown in, for extracting the tray 20 (image) in the X direction relative to the edge of the tray 20, respectively. 抽出したトレイ２０の画像右端からの距離をそれぞれΔＸ１， It extracted the distance from the image right end of the tray 20, respectively .DELTA.X1,
ΔＸ２とする。 And ΔX2.
【００２０】ここで、抽出されたトレイ２０が、カメラ１０１−１、１０１−２から等距離にあることを利用し、Ｘ方向の濃度変化（一次元情報、図４（ａ）中矢印で示したライン上の濃度変化を図４（ｃ）に示し、図４ [0020] Here, the extracted tray 20, by utilizing the fact that the camera 101-1 and 101-2 are equidistant, the concentration change of the X direction (one-dimensional information, shown in FIGS. 4 (a) arrow and the density change on the line shown in FIG. 4 (c), 4
（ｂ）中矢印で示したライン上の濃度変化を図４（ｄ） Figure concentration change on the line indicated by (b) in an arrow 4 (d)
に示す。 To show. ）をＤＰマッチング（動的計画法）により対応付けを行い、視差を算出する。 ) Was subjected to mapping by DP matching (Dynamic Programming), and calculates the parallax. ただし、ＤＰマッチングを行う際には、両端固定（トレイ２０の長さが一定）、 However, when performing DP matching, (constant length of the tray 20) fixed at both ends,
パス幅制限Ｍ（それ以上ずれることはないという最大の幅で、Ｍ＜｜ΔＸ１−ΔＸ２｜）、後戻り対応なし（対応付けの順序の逆は生じない）であることを条件とする。 Path width limiting M (a maximum width that is not greater shift it, M <| ΔX1-ΔX2 |), with the proviso that a no backtracking corresponding (reverse order of correspondence does not occur).
【００２１】このようにして、既知であるΔＸ１，ΔＸ [0021] In this way, it is known ΔX1, ΔX
２を利用すると、各点の視差Ｄｘは、式２のようになる。 Utilizing 2, parallax Dx of each point is as shown in Equation 2.
【式２】 [Equation 2] ただし、ｄｘは、トレイ２０の端部を基準に切り出された左右画像（カメラ１０１−１、１０１−２による画像）における、ある１ラインの対応付けにより求められた視差である。 However, dx is the left and right images of the end cut out in the reference of the tray 20 (an image by the camera 101-1, 101-2), a parallax obtained by correspondence of a certain line. また、ＤＰの距離計算（コスト関数）については、色情報（Ｒ，Ｇ，Ｂ）または濃度情報（（Ｒ As for the DP calculation of distance (cost function), color information (R, G, B) or density information ((R
＋Ｇ＋Ｂ）／３）での正規化相関を用い、式３のように定義し、各画素毎の対応付けを行う。 + G + B) / 3) using the normalized correlation in, and defined by the equation 3, to associate for each pixel. 図５に対応付けを示す。 Figure 5 shows the correspondence. なお、式３の右辺の第２項が正規化相関を表す。 Note that the second term on the right-hand side of Equation 3 represents the normalized correlation.
【００２３】また、２枚の左右画像に対して対応付けを行うための条件として、図６に示すように３次元空間中にｘ−ｙ−ｚ座標をとったとき、各画像の画像面は、ｘ Further, as a condition for performing association against two left and right images, when taken x-y-z coordinates in 3-dimensional space as shown in FIG. 6, the image plane of each image , x
−ｙ平面に平行な同一面にあり、走査線方向はｘ軸に平行になるようにする。 -y is in the same plane parallel to the plane, the scanning line direction to be parallel to the x-axis.
【式３】 [Equation 3] このように、視差Ｄを求めることで、カメラ１０１− Thus, by obtaining the parallax D, a camera 101-
１、１０１−２からの距離を計算し、深さ方向の距離画像を得る。 The distance from 1,101-2 calculated to obtain a distance image in the depth direction. つまり、各画素毎にカメラ１０１−１、１０ In other words, the camera 101-1,10 for each pixel
１−２からの距離情報を持った距離画像を得ることができ、この距離画像から商品の高さ情報を取得することができる。 Distance image having distance information from 1-2 can be obtained, it is possible to acquire the height information of the product from the distance image.
【００２５】なお、高さ情報の精度については、カメラ１０１−１、１０１−２により取得された画像の大きさにより限定されるため、１画素のずれ量による精度に限界がある。 [0025] Note that the accuracy of the height information, because it is limited by the size of the image acquired by the camera 101-1 and 101-2, there is a limit in accuracy due to the deviation amount of 1 pixel. この精度を向上させるためには、図７に示すように、隣り合うＸ方向の画素、ｎとｎ＋１の平均値Ｎ To improve the accuracy, as shown in FIG. 7, X-direction adjacent pixels, n and n + 1 of the average value N
を求め、式４により補正を行うことで、距離精度を必用な精度まで向上させることが可能となる。 The calculated, by performing the correction by the equation 4, it is possible to improve the distance accuracy to necessity accuracy.
【００２７】次に、認識部１３は、高さ認識部１３ａが生成した距離画像に基づいて、画像（左右画像のいずれか一方）を加工する。 Next, the recognition section 13, based on the distance image height recognition unit 13a to generate and process the image (either the left and right images). ここでの加工は、各画像から距離に応じた点（画素）の集合を抽出するもので、これにより、所定の範囲内の高さにある商品の領域を抽出する。 Here processing, the extracts a set of points in accordance with the distance from each image (pixel), thereby extracting a region of the product at a height within a predetermined range.
【００２８】例えば、図８（ａ）に示すように、トレイ２０上にコップ２１とコーヒーフレッシュ２２、ハンバーガー２３、ダブルバーガー２４、アップルパイ２５、 [0028] For example, as shown in FIG. 8 (a), cups 21 and coffee fresh 22 on the tray 20, Hamburgers 23, double Burger 24, apple pie 25,
チキン２６、ポテト２７の各商品が存在する画像から、 From the image of chicken 26, each item of potato 27 is present,
高さが１０ｃｍ以上の商品を抽出すると同図（ｂ）に示すように、コップ２１とダブルバーガー２４のみが存在する画像を得ることができる。 Height as shown in FIG Extracting or more items 10 cm (b), it is possible to obtain an image in which only the cup 21 and a double burger 24 is present. 同様に、高さが５ｃｍ以上１０ｃｍ未満の商品の画像を抽出すると、同図（ｃ） Similarly, the height to extract the product image below 10cm above 5 cm, FIG. (C)
に示すように、ハンバーガー２３とチキン２６、ポテト２７のみが存在する画像を得ることができ、高さが５ｃ As shown in, it is possible to obtain an image hamburger 23 chicken 26, only potatoes 27 are present, the height 5c
ｍ未満（実際には、２ｃｍ以上５ｃｍ未満とし、トレイ２０との区別を容易にするとともに、ナプキン等の紙類を排除する）の画像を抽出すると、同図（ｄ）に示すように、コーヒーフレッシュ２２とアップルパイ２５のみが存在する画像を得ることができる。 Less than m (in fact, be less than 2cm above 5 cm, while facilitating the distinction between the tray 20, to eliminate the paper such as napkins) when extracting the image, as shown in FIG. 2 (d), Coffee it is possible to obtain an image in which only fresh 22 and apple pie 25 is present.
【００２９】このようにして商品の高さ毎に分類された画像を得た後に、認識部１３は、形状認識部１３ｂにより商品の形状を認識し、色認識部１３ｃにより商品の色を認識する。 [0029] After this manner give a high classified images for each of the products, the recognition unit 13 recognizes the shape of the product by the shape recognizing section 13b, recognizes the color of the product by the color recognizing unit 13c .
【００３０】形状認識部１３ｂでは、商品の高さ毎に分類された画像から商品の形状および大きさを認識する。 [0030] In the shape recognizing section 13b, recognizing the shape and size of the items from the images classified into each height of the product.
認識する形状は、矩形、正方形、長方形、円形（真円度を含む）等であるが、対象の商品がファーストフードである場合には、所定の包装が施されており、その包装の特徴（箱類は長方形、コップ類は円形など）のみに分類することができればよい。 Recognizes shapes, rectangular, square, rectangular, but a like circular (including roundness), when the target item is a fast food has been subjected to a predetermined packaging, the packaging features ( box such rectangle, drinking glasses may if it can be classified only circular, etc.).
【００３１】色認識部１３ｃでは、各商品の画像の色空間をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）からＨＬＳ [0031] In the color recognition unit 13c, the color space of each product image RGB (R: red, G: green, B: blue) from the HLS
（Ｈ：色相、Ｌ：明度、Ｓ：彩度）に変換し、商品の色を認識する。 (H: Hue, L: luminosity, S: saturation) was converted to recognize the color of the product. 式５にＲＧＢからＨＬＳへの変換式を示す。 From RGB to equation 5 shows a conversion formula to HLS.
【式５】 [Equation 5] 色の認識は、基本的にＨ、Ｓを用いて色の成分の分布をチェックすることで行う。 Color recognition is performed by checking the distribution of the color components using fundamentally H, S. 例えば、ある商品Ａの包装紙の特有の色Ｉが、Ｈ平面でα１＜Ｉ＜α２、かつ、Ｓ平面でβ１＜Ｉ＜β２である画素の数が、一定数以上存在する場合には、当該商品はＡであると認識できる。 For example, if specific color I wrapping paper of a product A is, [alpha] 1 in H-plane <I <[alpha] 2, and the number of pixels is .beta.1 <I <.beta.2 in S plane, it occurs more than a predetermined number, the product can be recognized as a.
【００３３】また、青系統のＨ、Ｓのみでの色判定が困難なものに対しては、必用に応じて明度Ｌも判定に用いる。 Further, H of bluish, against those difficult to color determination only in S, the lightness L also used for the determination in accordance with the necessity.
【００３４】このようにして、認識部１３が認識した商品の高さ、形状、色に基づいて識別部１４が商品の識別を行うが、この識別は、図９に示すようなテーブルを参照して行う。 [0034] In this way, the height of the product recognition part 13 recognizes the shape, but the identification unit 14 performs identification of the product based on color, the identification, with reference to a table as shown in FIG. 9 carried out. この際、コーヒーフレッシュ２２のように課金外のものは、精算対象から除外する。 In this case, of those charged outside as coffee fresh 22, excluded from the settlement target. なお、図９に示す商品とその価格とは、別途テーブルとして精算部１ Incidentally, and its price items shown in FIG. 9, settlement section 1 as a separate table
５に持っておくか、図９のテーブルに価格も含めておく。 5 to either leave have, in advance, including the price in the table of FIG. 9.
【００３５】なお、トレイ２０上に商品が接触している状態で載置されていた場合であっても、商品の高さが異なれば高さ認識部１３ａで別個の商品として分離され、 [0035] Even when the item into the tray 20 on had been placed in a state of being in contact, it is separated as a separate product at a height recognition unit 13a Different height of the product,
色が異なっていれば色認識部１３ｃで別個の商品として分離される。 It is isolated as a separate product the color recognizing unit 13c if different colors. また、高さ、色が同じであっても、形状認識部１３ｂで商品の大きさを認識しているため、別個の商品としての認識は可能である。 The height, even the color is the same, because it recognizes the size of the product in the shape recognizing section 13b, it is possible recognition as a separate product. ただし、商品が垂直方向に重ねられていた場合にはこの限りではない。 However, this does not apply if the goods have been stacked in a vertical direction.
【００３６】次に、料金精算装置１０を利用した料金精算の流れを説明する。 [0036] Next, the flow of fee settlement using the charge settlement device 10. 図１０は、料金精算の流れを示した図である。 Figure 10 is a diagram showing the flow of fee settlement.
【００３７】まず、利用客が任意の商品をトレイ２０上に載置し、このトレイ２０を料金精算装置１０の所定の位置にセットする（ステップ３０１）。 Firstly, patron placed any items on the tray 20, sets the tray 20 at a predetermined position of the fee settlement device 10 (step 301). すると、料金精算装置１０が商品を撮像して得た画像から商品を認識し（ステップ３０２）、認識不能な商品が存在した場合には不明物を問い合わせる表示を行う（ステップ３０ Then, rates settlement device 10 recognizes the merchandise from the image obtained by imaging the item (step 302), if the unrecognizable products exist performs display for inquiring the unknown product (Step 30
３）。 3). これを受けて、店員が商品を視認し、不明商品の種別を選択する操作を行う（ステップ３０４）。 In response to this, the clerk is viewing the goods, performs an operation to select the type of the unknown commodity (step 304). なお、 It should be noted that,
料金精算装置１０が全ての商品を認識した場合には、ステップ３０３および３０４の処理は省略される。 Rates settlement device 10 when recognizing all products, the processing of steps 303 and 304 are omitted.
【００３８】料金精算装置１０が全ての商品を認識した場合、または、店員により不明商品を選択する操作が為されると、料金精算装置１０は、金額を表示し（ステップ３０５）、店員により確認の意味としての「ＯＫキー」の押下が為されると（ステップ３０６）、ＰＯＳシステム等へ精算データが入力され（ステップ３０７）、 [0038] If the charge settlement device 10 recognizes all of the goods, or, when an operation of selecting an unknown commodity by the clerk is made, the fee settlement device 10 displays the amount of money (step 305), confirmed by the clerk When depression of the "OK key" as meaning the is made (step 306), the adjustment data is input to the POS system or the like (step 307),
精算処理が終了となる。 Settlement process is completed.
【００３９】続いて、料金精算装置１０の動作の流れを説明する。 [0039] Next, an operation flow of the charge settlement device 10. 図１１は、料金精算装置１０の動作の流れを示すフローチャートである。 Figure 11 is a flowchart showing a flow of operations of the fee settlement device 10.
【００４０】料金精算装置１０は、所定の位置にトレイ２０がセットされると動作を開始し、撮像部１１−１、 The rates settlement device 10 starts operation and the tray 20 to a predetermined position is set, the imaging unit 11-1,
１１−２が撮像を行い、トレイ２０および載置された商品の画像を取得する（ステップ４０１）。 11-2 performs imaging, acquires the tray 20 and placed on the product image (step 401). 続いて、取得した画像（２枚）を記憶部１２に記憶し、認識部１３が記憶部１２に記憶されている２枚の画像から距離画像を生成し（ステップ４０２）、これに基づいて、商品の画像領域を抽出する（ステップ４０３）。 Then, store the acquired images (two) in the storage unit 12, recognition unit 13 generates a distance image from two images stored in the storage unit 12 (step 402), and based on this, extracting an image area of ​​the product (step 403). 認識部１３が領域を抽出すると、識別部１４が商品の識別を行う（ステップ４０４）。 When recognizing unit 13 extracts an area, the identification unit 14 performs identification of the product (step 404).
【００４１】次に、識別部１４の識別結果に基づいて精算部１５が料金の精算を行うが、当該識別結果に不明商品が存在していた場合には（ステップ４０５でＹＥ Next, the settlement unit 15 performs the settlement of the fee based on the identification result of the identification portion 14, when on the identification result is unknown item was present YE in (step 405
Ｓ）、精算部１５は、表示部１６に不明商品に関するデータの入力を促す表示を行い（ステップ４０６）、店員による入力部１７からのデータ入力を待つ（ステップ４ S), the settlement unit 15, performs a display that prompts you to enter the data about the unknown items on the display unit 16 (step 406), and waits for data input from the input unit 17 by the clerk (step 4
０７でＮＯ）。 NO 07).
【００４２】この後、店員によりデータの入力があった場合（ステップ４０７でＹＥＳ）、または、識別部１４ [0042] Thereafter, when the input of data by the clerk (YES at step 407), or, the identification unit 14
の識別結果に不明商品が存在しなかった場合には（ステップ４０５でＮＯ）、精算部１５は、表示部１６に全商品の金額を表示し、店員により確認の意味としての「Ｏ "O of when the identification result to the unknown item is not present (NO in step 405), settlement unit 15 displays the amount of all items on the display unit 16, as the meaning of the confirmation by the clerk
Ｋキー」の入力を待つ（ステップ４０９でＮＯ）。 Wait for the input of the K key "(NO in step 409).
【００４３】続いて、店員により入力部１７に「ＯＫキー」の入力があると（ステップ４０９でＹＥＳ）、精算部１５は、データ転送部１８から精算データをＰＯＳシステム等に転送し（ステップ４１０）、処理を終了する。 [0043] Subsequently, when the input unit 17 by the clerk has entered a "OK key" (YES in step 409), settlement unit 15 transferred from the data transfer unit 18 the adjustment data to the POS system or the like (step 410 ), the process is terminated.
【００４４】なお、上述の説明では、精算対象の商品をファーストフードとして説明したが、対象商品は、ファーストフードに限らず、カフェテリア形式のようなセルフピッキング方式で販売する商品の精算に適用することができる。 [0044] In the above description, has been described of the settlement subject merchandise as fast food, the subject goods is not limited to fast food, it is applied to the settlement of the commodity to be sold in a self-picking system, such as the cafeteria format can.
【発明の効果】以上説明したように、この発明によれば、商品の高さや形状、色等に基づいて商品を直接識別して精算を行うように構成したので、自動精算用の皿やタグなどを準備することなく精算を自動化することが可能となり、効率よく商品の販売を行うことができる。 As described in the foregoing, according to the present invention, the height and shape of the product, since it is configured to perform settlement by identifying the item directly based on the color or the like, plates and tags for automated checkout it is possible to automate the settlement without preparing, etc., can be efficiently carried out the sale of goods.
【図１】この発明に係る料金精算装置の外観を示した図である。 1 is a diagram showing the appearance of the fee settlement device according to the present invention.
【図２】料金精算装置１０の構成を示すブロック図である。 2 is a block diagram showing the configuration of a fee settlement device 10.
【図３】高さ情報を取得方法を説明するための図（１） [Figure 3] for explaining a method of obtaining the height information Figure (1)
【図４】高さ情報を取得方法を説明するための図（２） [Figure 4] for explaining a method of obtaining the height information Fig (2)
【図５】コスト関数の対応付けを示した図である。 5 is a diagram showing the correspondence of the cost function.
【図６】２枚の左右画像に対して対応付けを行うための条件を説明するための図である。 6 is a diagram for explaining a condition for performing association against two left and right images.
【図７】距離精度の向上方法を説明するための図である。 7 is a diagram for explaining a distance accuracy method.
【図８】距離画像を示した図である。 8 is a diagram showing a distance image.
【図９】商品識別テーブルを示した図である。 FIG. 9 is a diagram showing the product identification table.
【図１０】料金精算の流れを示した図である。 FIG. 10 is a diagram showing the flow of fee settlement.
【図１１】料金精算装置１０の動作の流れを示すフローチャートである。 11 is a flowchart showing a flow of operations of the fee settlement device 10.
１０ 料金精算装置 １１−１、１１−２ 撮像部 １２ 記憶部 １３ 認識部 １３ａ 高さ認識部 １３ｂ 形状認識部 １３ｃ 色認識部 １４ 識別部 １５ 精算部 １６ 表示部 １７ 入力部 １８ データ転送部 ２０ トレイ ２１ コップ ２２ コーヒーフレッシュ ２３ ハンバーガー ２４ ダブルバーガー ２５ アップルパイ ２６ チキン ２７ ポテト １０１−１、１０１−２ カメラ １０２−１、１０２−２ 光源 10 Rate settlement device 11-1 and 11-2 imaging unit 12 storage unit 13 the recognition unit 13a height recognizing section 13b shape recognizing unit 13c color recognition unit 14 identifies portion 15 settlement unit 16 display unit 17 input unit 18 the data transfer unit 20 tray 21 cups 22 coffee fresh 23 hamburger 24 double burger 25 Apple pie 26 chicken 27 potato 101-1, 101-2, 102-1, 102-2 camera light source
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 3E042 AA04 BA17 CC10 5B057 AA02 BA19 CA01 CA12 CA16 CB01 CB12 CB16 CE08 CE09 DB02 DB06 DC09 5L096 AA02 CA02 EA27 EA35 FA66 FA69 ────────────────────────────────────────────────── ─── front page of continued F-term (reference) 3E042 AA04 BA17 CC10 5B057 AA02 BA19 CA01 CA12 CA16 CB01 CB12 CB16 CE08 CE09 DB02 DB06 DC09 5L096 AA02 CA02 EA27 EA35 FA66 FA69
【請求項１】 トレイ上に載置された商品を識別し、該識別した商品の精算を行う料金精算方法において、 所定の間隔で配設された第１の撮像手段および第２の撮像手段によりトレイ上に載置された商品の画像をそれぞれ取得し、 前記第１の撮像手段により取得された第１の画像と前記第２の撮像手段により取得された第２の画像とに基づいて前記商品の高さ情報を取得し、 前記第１の画像と前記第２の画像の少なくとも一方に基づいて前記商品の形状情報と色情報とを算出し、 該算出した高さ情報、形状情報、色情報に基づいて商品を識別して料金を精算することを特徴とする料金精算方法。 [Claim 1] identifies the placed item on the tray, the fee settlement method for performing settlement of the products that the identified, by the first imaging means and second imaging means arranged at a predetermined interval the placed image of the commodity on the tray respectively acquired, on the basis of the said second image acquired by the first image and the second image pickup means which is acquired by the first imaging means product height information acquired in the first image and the based on at least one of the second image to calculate the shape information and color information of the product, the calculated height information issued, shape information, the color information rates settlement method characterized by checking out the price to identify the product based on.
【請求項２】 前記識別は、 前記高さ情報に基づいて、前記第１の画像と前記第２の画像の少なくとも一方から所定の高さの商品のみを示す複数の距離画像を作成し、該作成した複数の距離画像のそれぞれに対して形状情報、色情報を算出して行うことを特徴とする請求項１記載の料金精算方法。 Wherein said identification, on the basis of height information, creating a plurality of range images showing only items of a predetermined height from at least one of the first image and the second image, the shape information for each of the plurality of range images created, rates settlement method according to claim 1, characterized in that to calculate the color information.
【請求項３】 前記形状情報は、 前記商品の大きさを示す情報を含むことを特徴とする請求項１または２記載の料金精算方法。 Wherein the shape information, rates settlement method according to claim 1, wherein it contains information that indicates the size of the product.
【請求項４】 トレイ上に載置された商品を識別し、該識別した商品の精算を行う料金精算装置において、 所定の間隔で配設された第１の撮像手段および第２の撮像手段と、 前記第１の撮像手段により取得された第１の画像と前記第２の撮像手段により取得された第２の画像とに基づいて前記商品の高さ情報を取得する高さ認識手段と、 前記第１の画像と前記第２の画像の少なくとも一方に基づいて前記商品の形状情報を取得する形状認識手段と、 前記第１の画像と前記第２の画像の少なくとも一方に基づいて前記商品の色情報を取得する色認識手段と、 前記高さ認識手段が取得した高さ情報、前記形状認識手段が取得した形状情報、前記色認識手段が取得した色情報に基づいて商品を識別する商品識別手段とを具備することを特徴とする 4. Identify the placed item on the tray, the fee settlement apparatus that performs settlement of goods that the identification, in the first imaging means and second imaging means arranged at a predetermined interval , the height recognition means for obtaining the height information of the commodity based on the second image acquired by the first image the second image pickup device obtained by the first imaging means, the a shape recognition means for obtaining shape information of said product based on at least one of the first image and the second image, the first image and the second color of the product based on at least one of the image a color recognition means for obtaining information, height information the height recognition means obtained, said shape recognition means acquired shape information, product identification means for identifying the items based on the color information and the color recognition means obtains characterized by comprising a preparative 金精算装置。 Gold settlement device.
【請求項５】 前記高さ認識手段は、 取得した高さ情報に基づいて、前記第１の画像と前記第２の画像の少なくとも一方から所定の高さの商品のみを示す複数の距離画像を生成し、 前記形状認識手段および前記色認識手段は、 前記高さ認識手段が生成した複数の距離画像毎に、それぞれ形状情報と色情報とを取得することを特徴とする請求項４記載の料金精算装置。 Wherein said height recognition means, based on the obtained height information, a plurality of range images showing only items of a predetermined height from at least one of the first image and the second image generated, said shape recognition means and said color recognizer rates of claim 4, characterized in that the height recognition means for each of the plurality of range images generated, acquires the shape information and color information, respectively settlement device.
【請求項６】 前記形状認識手段は、 取得する形状情報に前記商品の大きさを示す情報を含むことを特徴とする請求項４または５記載の料金精算装置。 Wherein said shape recognition means, rates settlement apparatus according to claim 4 or 5, wherein it contains information indicating the size of the item into the shape information acquired.
JP2000026164A 2000-02-03 2000-02-03 Method and device for adjusting charge Pending JP2001216571A (en)
JP2000026164A JP2001216571A (en) 2000-02-03 2000-02-03 Method and device for adjusting charge
JP2001216571A true JP2001216571A (en) 2001-08-10
ID=18551928
JP2000026164A Pending JP2001216571A (en) 2000-02-03 2000-02-03 Method and device for adjusting charge
JP (1) JP2001216571A (en)
CN103116952A (en) * 2013-01-25 2013-05-22 大连壹鑫通科技发展有限公司 Intelligent catering settlement system based on internet of things technology application
CN103208156A (en) * 2013-02-06 2013-07-17 浙江科技学院 Automatic catering settlement system and automatic catering settlement method
CN103646475A (en) * 2013-11-14 2014-03-19 成都博约创信科技有限责任公司 Cashier system integrating image identification and label identification
JP2014092960A (en) * 2012-11-05 2014-05-19 Toshiba Tec Corp Commodity recognition device and commodity recognition program
CN104269003A (en) * 2014-09-12 2015-01-07 李龙龙 Food recognition method, device and system
JP2015194791A (en) * 2014-03-31 2015-11-05 日本電気株式会社 Pos terminal equipment
JPWO2015125478A1 (en) * 2014-02-24 2017-03-30 日本電気株式会社 Object detection device, POS terminal device, object detection method, and computer program
2000-02-03 JP JP2000026164A patent/JP2001216571A/en active Pending
WO2010016281A1 (en) 2010-02-11 Search support system, search support method, and search support program