(57)【要約】【課題】客の嗜好性を容易に把握することを可能とする。【解決手段】嗜好データ処理装置１０では、カメラ１ａ、１ｂ〜ｎａ、ｎｂによりテーブル上に配膳された食器及びテーブルに着いている客の画像が撮影され、撮影された食器画像から食器内の料理及び食べ残された料理が判定されて嗜好データとして客テーブル１６２に記憶されるとともに、客の画像から客の属性が判定され、その属性データが客テーブル１６２に記憶される。そして、客の属性データ、その客が飲食した料理名称及び食べ残された料理名称等の嗜好データがレポートとして印刷出力される。【選択図】図１
2005044170.tif 000002
【特許請求の範囲】
【請求項１】
食器内の飲食物及びその残量を判定するための判定用画像を記憶する画像記憶手段と、
客が飲食する飲食物が収容された食器画像を撮影する撮影手段と、
前記撮影された飲食物の食器画像と、前記記憶された判定用画像とを照合し、食器内の飲食物及びその残量を判定する判定手段と、
前記判定された飲食物及びその残量に応じたデータを客の嗜好データとして記憶する嗜好記憶手段と、
前記記憶された嗜好データを出力する出力手段と、
を備えることを特徴とする嗜好データ処理装置。
【請求項２】
前記撮影手段は、客の画像を撮影し、
前記判定手段は、前記撮影された客の画像に基づいて客の属性を判定し、
前記嗜好記憶手段は、前記判定された客の属性のデータと嗜好データとを対応付けて記憶し、
前記出力手段は、前記記憶された客の属性データ及び嗜好データを出力することを特徴とする請求項１に記載の嗜好データ処理装置。
【請求項３】
飲食が終了したことを通知するための指示手段を備え、
前記指示手段からの指示に応じて前記撮影手段による撮影及び前記判定手段による判定が開始されることを特徴とする請求項１又は２に記載の嗜好データ処理装置。
【請求項４】
前記判定手段は、前記撮影手段により撮影された食器画像と、前記画像記憶手段に記憶された判定用画像とを照合し、食器内にともに収容されている複数の飲食物のそれぞれについて、飲食物の種類及びその残量を判定することを特徴とする請求項１〜３の何れか一項に記載の嗜好データ処理装置。
【請求項５】
コンピュータに、
食器内の飲食物及びその残量を判定するための判定用画像を画像記憶手段に記憶させる機能と、
客が飲食する飲食物が収容された食器画像を撮影手段に撮影させる機能と、
前記撮影された飲食物の食器画像と、前記記憶された判定用画像とを照合し、食器内の飲食物及びその残量を判定する機能と、
前記判定された飲食物及びその残量に応じたデータを客の嗜好データとして嗜好記憶手段に記憶させる機能と、
前記記憶された嗜好データを出力手段に出力させる機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
客が飲食する飲食物が収容されている食器画像及びその客を撮影し、当該撮影された画像から客の嗜好データを収集する嗜好データ処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来から、客の趣味、嗜好等の嗜好データをデータベース化しておき、客に商品を紹介する際には、嗜好データに基づいて客の嗜好に応じた商品を紹介するシステムが開発されている（例えば、特許文献１参照）。
【特許文献１】特開２００１−２２９２２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述したような方法では、予め嗜好データを入力しておかなければならず、客数が膨大である場合、その入力作業は煩雑である。また、固定客が多い場合は、上記システムは有効であるが、レストラン等の不特定多数の客が来店することが多い飲食店では、上記システムは利用することができない。
【０００４】
本発明の課題は、客の嗜好性を容易に把握することができる嗜好性データ処理装置を提供することである。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、
食器内の飲食物及びその残量を判定するための判定用画像を記憶する画像記憶手段と、
客が飲食する飲食物が収容された食器画像を撮影する撮影手段と、
前記撮影された飲食物の食器画像と、前記記憶された判定用画像とを照合し、食器内の飲食物及びその残量を判定する判定手段と、
前記判定された飲食物及びその残量に応じたデータを客の嗜好データとして記憶する嗜好記憶手段と、
前記記憶された嗜好データを出力する出力手段と、
を備えることを特徴とする嗜好データ処理装置。
【０００６】
請求項３項５に記載の発明は、
コンピュータに、
食器内の飲食物及びその残量を判定するための判定用画像を画像記憶手段に記憶させる機能と、
客が飲食する飲食物が収容された食器画像を撮影手段に撮影させる機能と、
前記撮影された飲食物の食器画像と、前記記憶された判定用画像とを照合し、食器内の飲食物及びその残量を判定する機能と、
前記判定された飲食物及びその残量に応じたデータを客の嗜好データとして嗜好記憶手段に記憶させる機能と、
前記記憶された嗜好データを出力手段に出力させる機能と、
を実現させるためのプログラムであることを特徴とする。
【発明の効果】
【０００７】
請求項１、３５に記載の発明によれば、食器画像を撮影し、その食器画像と判定用画像との照合により、食器内の飲食物及びその残量を判定し、判定結果を嗜好データとして記憶、出力するので、どの飲食物が食べ残されたのか、客の嗜好性を容易に把握することができる。
【０００８】
請求項２に記載の発明によれば、飲食物を飲食する客の属性を判定し、その属性データを嗜好データに対応付けて記憶、出力するので、どのような客がどの飲食物を好んで飲食するのか、客の属性と嗜好性との相関関係を容易に把握することができる。
【０００９】
請求項３に記載の発明によれば、飲食が終了した指示があると、撮影及び判定が行われるので、適切なタイミングで飲食物の残量を判定することができる。
【００１０】
請求項４に記載の発明によれば、同一食器に盛られている複数の飲食物のそれぞれについて飲食物の種類及びその残量が判定されるので、１つの料理の中でもどの飲食物が好まれているのか、より詳細な嗜好性を把握することができる。
【発明を実施するための最良の形態】
【００１１】
本実施の形態では、テーブル上に配膳された食器及びテーブルに着いている客の画像を撮影し、食器内の料理の種類及び食べ残された料理を判定するとともに客の属性を判定し、客の属性、その客が飲食した料理名称及び食べ残された料理名称を客の嗜好データとして記憶及び印刷出力する例を説明する。
【００１２】
まず、構成を説明する。
図１に、嗜好データ処理装置１０の構成を示す。
図１に示すように、嗜好データ処理装置１０は、本体部１０ａと、撮影手段であるカメラ１ａ、１ｂ〜ｎａ、ｎｂとから構成され、本体部１０ａとカメラ１ａ、１ｂ〜ｎａ、ｎｂとは本体部１０ａのＩ／Ｆ１４を介して接続される。
【００１３】
まず、カメラ１ａ、１ｂ〜ｎａ、ｎｂについて説明する。
カメラ１ａ、１ｂ〜ｎａ、ｎｂは、飲食店内の客用の各テーブルに設置される撮影装置である。各テーブルには、テーブルを識別するためのテーブル番号Ｔが付与されており、１台のテーブルに対して２台のカメラが設置される。この２台のカメラには同一のカメラ番号Ｃが付与され、このカメラ番号Ｃにより同一テーブルを撮影したカメラとして識別される。
【００１４】
カメラ１ａ〜ｎａは、食器の立体的な画像や客の画像を撮影するために、テーブル番号Ｔのテーブルをその上斜め方向から撮影するよう設置される。カメラ１ｂ〜ｎｂは、テーブル上に配膳された食器の座標位置や客の着席位置を特定するために、テーブル番号Ｔのテーブルをその真上から撮影するよう設置される。カメラ１ａ、１ｂ〜ｎａ、ｎｂは、撮影により取得されたテーブル画像の画像データを本体部１０ａに出力する。
【００１５】
また、各テーブルには、飲食が終了した食器を下げてもらう場合に店員を呼び出すのためのスイッチＳＷが設けられており、当該スイッチＳＷが押下されると、スイッチＳＷが設けられているテーブルのテーブル番号の情報とともにその押下信号が本体部１０ａに出力される。すなわち、スイッチＳＷにより、料理が終了したことを通知するための指示手段を実現することができる。
【００１６】
次に、本体部１０ａについて説明する。
本体部１０ａは、ＣＰＵ（Central Processing Unit）１１、入力部１２、表示部１３、Ｉ／Ｆ（InterFace）１４、通信部１５、ＲＡＭ（Random Access Memory）１６、記憶部１７、印刷部１８から構成され、各部はバス１９により接続される。
【００１７】
ＣＰＵ１１は、記憶部１７に格納されているシステムプログラムの他、本発明に係る嗜好データ処理プログラム（図６参照）、その嗜好データ処理プログラム内の各処理プログラム、即ち客の属性判定処理プログラム（図７参照）、料理引下処理プログラム（図８参照）、配膳料理判定処理プログラム（図１０参照）をＲＡＭ１６に展開し、当該プログラムとの協働により処理動作を統括的に制御する。
【００１８】
ＣＰＵ１１は、客の属性判定処理において、客の撮影画像を画像解析して人物特徴量を抽出し、当該人物特徴量に基づいて客の属性を判定する。また、配膳料理判定処理では、テーブル上に配膳された食器の撮影画像と判定用画像である詳細料理画像とを照合して、その食器内の料理を判定するとともに、食器画像の位置と客の位置とから、客とその客が飲食している料理の組み合わせを判定する。さらに、料理引下処理では、撮影された食器画像と、判定用画像である空食器画像及び詳細料理画像とを照合してその食器内の料理の残量を判定する。すなわち、各処理プログラムに従ってＣＰＵ１１が動作することにより、判定手段を実現することができる。
【００１９】
入力部１２は、文字キー、数字キー、各種機能キーからなるキーボードを備えて構成され、押下されたキーに対応する押下信号をＣＰＵ１１に出力する。なお、マウスやタッチパネル等のポインティングディバイスを含むこととしてもよい。
【００２０】
表示部１３は、ＬＣＤ（Liquid Crystal Display）等の表示ディスプレイを備えて構成され、メニュー画面等の操作画面や、ＣＰＵ１１の処理結果等の各種表示情報を表示出力する。
【００２１】
Ｉ／Ｆ１４は、本体部１０ａと、各カメラ１ａ、１ｂ〜ｎａ、ｎｂ、テーブルに設置されたスイッチＳＷとを接続するためのインターフェイスであり、データの転送速度の調整やデータ形式の変換等を行って、データのやり取りを仲介する。
【００２２】
通信部１５は、ネットワークインターフェイスカード、モデム、ターミナルアダプタ等の通信用インターフェイスから構成され、通信ネットワーク上の外部機器と各種情報の送受信を行う。例えば、料金データを処理して精算処理を行う精算システムや、厨房内の注文管理システムに接続することが可能である。
【００２３】
ＲＡＭ１６は、ＣＰＵ１１によって実行される各種プログラムやこれら各種プログラムによって処理されたデータ等を一時的に記憶するワークエリアを形成する。
【００２４】
また、ＲＡＭ１６は、カメラ１ｂ〜ｎｂによって撮影されたテーブル画像に含まれる各種食器画像の位置情報を管理するため位置テーブル１６１と、客の属性及び嗜好データを管理するための客テーブル１６２とを格納する嗜好記憶手段である。
【００２５】
例えば、撮影により取得されたテーブル画像が図２に示すような画像であった場合、テーブル上の各食器に対し、テーブル基準位置（図２では、テーブル上の点Ｐで示す位置）に近い食器から時計回りの順に、各食器を識別するための器番号Ｄが付与される。同時に、各食器の画像領域がその食器を含む矩形領域で認識され、各食器画像の位置情報として、その矩形領域を特定する２点の座標値Ｚ１［Ｄｎ］（ｘ１、ｙ１）、Ｚ２［Ｄｎ］（ｘ２、ｙ２）が検出される。また、テーブル周りに着席する客の画像領域が認識され、テーブル基準位置に近い客から順に客番号Ａが付与される。
【００２６】
位置テーブル１６１には、図３に示すように、撮影されたテーブルのテーブル番号Ｔの項目ａ１、そのテーブルを撮影したカメラのカメラ番号Ｃの項目ａ２、テーブル画像に含まれる各食器画像を特定する器番号Ｄの項目ａ３、その食器画像の位置情報である座標Ｚ１［Ｄｎ］、Ｚ２［Ｄｎ］の座標値データを格納する項目ａ４、ａ５、その食器内の飲食物を飲食していると判定された客の客番号Ａを格納する項目ａ６の各項目情報が対応付けて格納されている。
【００２７】
客テーブル１６２には、図４に示すように、テーブル番号Ｔの項目ｂ１、そのテーブルに着席している客の客番号Ａの項目ｂ２、客の属性を示す項目ｂ３（例えば、"大人、男性"等）の各項目情報が客の属性データとして格納され、その客が飲食していると判定された料理の食器の器番号Ｄを格納する項目ｂ４、その客が飲食している料理名称の項目ｂ５（例えば、"コロッケ定食"等）、食べ残されたと判定された料理の名称を示す項目ｂ６（例えば、食器が空状態であれば"完食"、食べ残されたと判定されればその料理名称"サラダ"が格納される。）の各項目情報が嗜好データとして格納されている。
【００２８】
記憶部１７は、プログラムやデータが予め記憶されている記憶媒体（図示せず）を有しており、この記憶媒体にシステムプログラム、本発明に係る嗜好データ処理プログラム、その嗜好データ処理プログラム内の各処理プログラム、即ち客の属性判定処理プログラム、料理引下処理プログラム、配膳料理判定処理プログラム及びこれらプログラムで処理されたデータ等を記憶する。この記憶媒体は、磁気的、光学的記憶媒体、若しくは半導体メモリで構成されており、記憶部１７に固定的に設けられるもの、若しくは着脱自在に装着するものである。
【００２９】
記憶部１７は、各種判定に用いる基準画像の画像データ群及び基準画像を管理するための判定テーブル１７１を記憶する画像記憶手段である。この判定用の基準画像としては、食器が空の状態か否かを判定するための空食器画像と、１つの食器内に盛られた各種飲食物を判定するための詳細料理画像とが予め撮影されて準備されている。
【００３０】
判定テーブル１７１には、図５に示すように、料理名称の項目ｃ１（例えば、"ビール"等）、その料理を盛る食器の空食器画像のファイル名を格納する項目ｃ２（例えば、ビールを入れるジョッキが空状態の画像ファイル名"ｊｕｇ．ｇｉｆ"）、その食器にともに盛られる各種料理毎の画像のファイル名を格納する項目ｃ３（例えば、ハンバーグ定食で１つの食器に盛られるハンバーグ、サラダの料理の画像ファイル名"ｈａｍ．ｇｉｆ"、"ｓａｒａｄａ．ｇｉｆ"）の各項目情報が格納される。
【００３１】
印刷部１８は、電子写真方式、熱転写方式、インクジェット方式等の各種印刷方式により紙などの印刷記録媒体に印刷を行う。印刷部１８は、ＣＰＵ１１からの指示に応じて各テーブル画像から判定された客の属性、その客が飲食した料理名称及び食べ残された料理名称をまとめたレポートを印刷出力する。すなわち、印刷部１８により出力手段を実現することができる。
【００３２】
次に、本実施の形態における動作を説明する。
図６は、嗜好データ処理装置１０により実行される嗜好データ処理を説明するフローチャートである。
【００３３】
図６に示す嗜好データ処理では、まずカメラ番号Ｃ（テーブル番号と一致することとする）に１が代入され、Ｃ＝１に設定される（ステップＳ１）。次いで、何れかのテーブルにおいてスイッチＳＷが押下され、その押下信号が入力されたか否かが判別される（ステップＳ２）。例えば注文が行われたばかりで何れのテーブルからもスイッチＳＷの押下信号が入力されない場合は（ステップＳ２；Ｎ）、ステップＳ３の客属性判定処理に移行し、注文された料理の飲食を終えて何れかのテーブルからスイッチＳＷの押下信号が入力された場合は、そのスイッチＳＷ毎にテーブル番号と対応する信号が出力され（ステップＳ２；Ｙ）、ステップＳ７の料理引下処理に移行する。つまり、スイッチＳＷの押下により割り込み処理として料理引下処理が開始される。
【００３４】
まず、注文されたばかりでスイッチＳＷの押下信号が入力されない客の全員がテーブルに着いている可能性の高い場合、例えば、注文入力端末（図示せず）から最初の注文データが入力された場合に開始される客属性判定処理について説明する。
図７は、ステップＳ３の客の属性を判定する客属性判定処理を説明するフローチャートである。この客の属性判定処理は、テーブルに着いている客の性別、大人／子供の区別等の属性を判定する処理である。
図７に示す客の属性判定処理では、カメラ番号Ｃのカメラによりテーブル上の撮影が行われ、図２に示したようなテーブル画像が取得される（ステップＭ１）。次いで、取得されたテーブル画像からテーブルに着いている客の画像領域が認識され、テーブル基準位置に近い客から時計回りの順に客番号Ａが付与される（ステップＭ２）。
【００３５】
次いで、客番号Ａに１の数値が代入され、Ａ＝１に設定される（ステップＭ３）。客番号Ａが設定されると、その客番号Ａの客画像の画像解析が行われ、眉、目、鼻、口等の顔を構成する各パーツや、肩の輪郭等が認識され、例えば顔のサイズ、目と眉の距離間隔、目の円形度、髭の有無、髪の長さ、肩幅等の人物特徴量が抽出される（ステップＭ４）。
【００３６】
次いで、ステップＭ５では、抽出された人物特徴量と、予め客の属性判定用に準備されている閾値との比較により、客の年齢層（大人か子供か）、性別（男性か女性か）の判定が行われる。例えば、子供と大人の判定時には、顔のサイズが閾値より小さければ子供、大きければ大人に判定され、髭が無ければ子供、有れば大人に判定されるといったように、各人物特徴量について順次判定が行われる。そして、人物特徴量の項目毎に子供と大人のどちらに判定されたかがカウントされる。例えば、顔のサイズ、肩幅の特徴量からは大人と判定され、目の円形度からは子供と判定された場合には、「大人：２」、「子供：１」とカウントされる。同様に、抽出された人物特徴量から男女の判定が行われ、人物特徴量の項目毎に女性と男性のどちらに判定されたのか、その判定回数がカウントされる。例えば、髭が有れば男性、口紅を塗っていれば女性、また、体型によって男性あるいは、女性に判定されるといったように、各人物特徴量について順次性別も判定が行われる。
【００３７】
最終的には、子供より大人と判定された回数が多い場合には年齢層は大人と判定され、女性より男性と判定された回数が多い場合には客の性別は男性であると判定されるといったように、判定されたカウント数が多い方に属性が判定される。なお、判定方法はこれに限らず、例えば大人と子供の区別をする場合には、顔のサイズが大きければ５ポイント、小さければ１ポイント、髭が有れば５ポイント、無ければ１ポイントと、ポイント換算し、ポイントが大きければ大人、小さければ子供といったように重み付けを行って客の属性を判定することとしてもよい。
【００３８】
客の属性が判定されると、客テーブル１６２の現在指定されているカメラ番号Ｃの数値のテーブル番号のエリアにおいて、属性が判定された客の客番号Ａに対応付けてその属性のデータが記憶される（ステップＭ６）。属性データの記憶が終了すると、撮影されたテーブル画像から認識された全ての客について属性の判定が行われたか否かが判別される（ステップＭ７）。全ての客について属性の判定が終了していない場合は（ステップＭ７；Ｎ）、客番号Ａに、現在設定されているＡの値を１だけインクリメントした値が代入され（ステップＭ８）、ステップＭ４の処理に戻って次の客番号Ａ＋１の客について属性の判定が繰り返し行われる。一方、全ての客について属性の判定が終了した場合は（ステップＭ７；Ｙ）、次の処理、つまり図６に示すステップＳ４の配膳料理判定処理に移行する。
【００３９】
ステップＳ４の配膳料理判定処理について、図８を参照して説明する。この配膳料理判定処理は、客に配膳された料理を判定するとともに、客とその客が飲食している料理の組み合わせを判定する処理である。
【００４０】
図８に示す配膳料理処理では、カメラ番号Ｃのカメラの撮影により取得されたテーブル画像からテーブル上の各食器の画像領域がその食器を含む矩形領域で認識され、テーブル基準位置に近い食器から時計回りの順に器番号Ｄが付与される（ステップＲ１）。次いで、各食器画像の矩形領域を特定する２点の座標がＺ１［Ｄｎ］（ｘ１、ｙ１）、Ｚ２［Ｄｎ］（ｘ２、ｙ２）がその食器の位置情報として器番号Ｄと対応付けて位置テーブル１６１に記憶される（ステップＲ２）。
【００４１】
各食器の位置情報が記憶されると、器番号Ｄに１の値が代入され、Ｄ＝１に設定される（ステップＲ３）。器番号Ｄが設定されると、記憶部１７から判定用の詳細料理画像が読み出され、器番号Ｄの食器画像と詳細料理画像とが照合されて、相似する詳細料理画像の有無が判別される（ステップＲ４）。器番号Ｄの食器画像と相似する詳細料理画像が無い場合は（ステップＲ４；Ｎ）、ステップＲ９に移行し、相似する詳細料理画像が有る場合は（ステップＲ４；Ｙ）、器番号Ｄの料理が判定される（ステップＲ５）。
【００４２】
料理の具体的な判定例について、図９を参照して説明する。
例えばハンバーグ定食の料理に卵、サラダ、ハンバーグの３種の料理が含まれている場合、ハンバーグ定食の料理に対して卵の詳細料理画像、サラダの詳細料理画像、ハンバーグの詳細料理画像が準備されて記憶部１７に格納されている。
図９に示すように、撮影された食器画像中に、ハンバーグ定食の詳細料理画像と相似する料理画像が含まれている場合は、器番号Ｄの食器内の料理はハンバーグ定食であると判定される。
【００４３】
料理が判定されると、判定された料理とその料理を飲食する客の組み合わせが判定される（ステップＲ６）。具体的には、位置テーブル１６１に基づいて器番号Ｄの位置に最も近い客がその器番号Ｄの食器の料理を飲食している客として判定される。
【００４４】
次いで、判定された客と料理の組み合わせで、既に客テーブル１６２において客に対応する料理名称が記憶されているか否かが判別される（ステップＲ７）。客に対応する料理名称が記憶されていると判別された場合は（ステップＲ７；Ｙ）、ステップＲ９の処理へ移行する一方、客に対応する料理名称が記憶されていないと判別された場合は（ステップＲ７；Ｎ）、客テーブル１６２においてその客番号Ａに対応付けて相似する詳細料理画像の料理名称が記憶される（ステップＲ８）。
【００４５】
ステップＲ９では、全ての食器画像について判定が行われたか否かが判別される。全ての食器画像について判定が終了していない場合（ステップＲ９；Ｎ）、器番号Ｄに、現在設定されているＤの値を１だけインクリメントした値が代入され（ステップＲ１０）、ステップＲ４の処理に戻って次の器番号Ｄ＋１の食器画像について料理及び料理と客の組み合わせの判定が繰り返し行われる。一方、全ての食器画像について判定が行われた場合は（ステップＲ９；Ｙ）、次の処理、つまり図６に示すステップＳ５に移行する。
【００４６】
図６に示すステップＳ５では、全てのテーブルについて客の属性の判定及び配膳された食器内の料理の判定が終了したか否かが判別される。全てのテーブルについて判定が終了していない場合は（ステップＳ５；Ｎ）、カメラ番号Ｃに、現在設定されているＣの値を１だけインクリメントした値を代入してステップＳ２の処理に戻り、カメラ番号Ｃ＋１のカメラにより撮影された画像から客の属性の判定及び料理の判定が繰り返し行われる。一方、全てのテーブルについて判定が終了した場合は（ステップＳ５；Ｙ）、ステップＳ１に戻り、カメラ番号１から順に再度、各判定が繰り返される。
【００４７】
次に、嗜好データ処理中にテーブルに設置されたスイッチＳＷが押下され、図６に示すステップＳ２においてスイッチＳＷの押下信号が入力されたと判別されて料理引下処理に移行した場合について説明する。
【００４８】
図１０は、料理引下処理を説明するフローチャートである。
図１０に示す料理引下処理では、スイッチＳＷ毎に出力される信号と対応したテーブル番号まずカメラ番号Ｃのカメラによりテーブル上の撮影が行われ、図２に示したようなテーブル画像が取得される（ステップＱ１）。次いで、撮影により取得されたテーブル画像からテーブル上の各食器の画像領域がその食器を含む矩形領域で認識され、テーブル基準位置に近い食器から時計回りの順に器番号Ｄが付与される（ステップＱ２）。
【００４９】
器番号Ｄが付与されると、各食器画像の矩形領域を特定する２点の座標がＺ１［Ｄｎ］（ｘ１、ｙ１）、Ｚ２［Ｄｎ］（ｘ２、ｙ２）がその食器の位置情報として器番号Ｄと対応付けて位置テーブル１６１に記憶される（ステップＱ３）。
【００５０】
各食器の位置情報が記憶されると、器番号Ｄに１の値が代入され、Ｄ＝１に設定される（ステップＱ４）。次いで、客テーブル１６２に基づいて配膳料理判定処理で判定された器番号Ｄに対応する料理の空食器画像及び詳細料理画像が判定テーブル１７１から読み出されて（ステップＱ５）、撮影で得られた器番号Ｄの食器画像と、読み出された空食器画像及び詳細料理画像とが照合される（ステップＱ６）。そして、その照合結果から器番号Ｄの食器は空の状態であるか否かが判別される（ステップＱ７）。
【００５１】
食器が空状態か否かの判別は、撮影された食器画像と空食器画像とが照合され、相似している場合は空状態であると判別され、逆に非相似である場合は料理が食器に残っていると判別される。例えば、空食器画像が図１１（ａ）に示すような画像であり、撮影された食器画像が図１１（ｂ）に示すような画像である場合、各画像は相似ではないので、料理が残っていると判別される。
【００５２】
食器が空状態であると判別された場合は（ステップＱ７；Ｙ）、客により料理が全て食べられたとして、客テーブル１６２において、残量の項目に"完食"のデータが書き込まれ（ステップＱ８）、ステップＱ１０の処理へ移行する。
【００５３】
一方、食器が空状態ではないと判別された場合には（ステップＱ７；Ｎ）、その食器の中で食べ残された料理の特定が行われる。まず撮影された食器画像と詳細料理画像とが照合され、食器画像中に詳細料理画像と相似する画像が含まれるか否かが判別される。そして、詳細料理画像と相似する画像が含まれる場合は、その詳細料理が残っているとして、詳細料理の名称が客テーブル１６２に書き込まれる（ステップＱ９）。図１１（ｂ）に示す例では、撮影された食器画像中にサラダの詳細料理画像と相似する画像領域が含まれるので、食べ残された料理はサラダであると判定される。食べ残された料理が判定されると、ステップＱ１０の処理へ移行する。
【００５４】
ステップＱ１０では、全ての食器について食べ残された料理の判定が行われたか否かが判別される。全ての食器について判定が終了していない場合は（ステップＱ１０；Ｎ）、器番号Ｄに、現在設定されているＤの値に１だけインクリメントされた値が代入され（ステップＱ１１）、ステップＱ５に戻って器番号Ｄ＋１の食器について食べ残された料理の判定が行われる。
【００５５】
一方、全ての食器について判定が終了した場合には（ステップＱ１０；Ｙ）、客テーブル１６２に基づいて、テーブルにおける客の属性、飲食された料理名称及び食べ残された料理名称を示したレポートが印刷部１８により図１２のように印刷出力され（ステップＱ１２）、料理引下処理を終了する。料理引下処理終了後は、図６に示すステップＳ４の嗜好データ配膳料理判定処理のステップＳ４に移行する。なお、嗜好データ処理装置１０がＰＯＳ端末装置などの売上げデータ処理装置であった場合、客の属性別、且つ料理別に完食数、食べ残し数を累計加算して、点検モードや精算モードに設定されると、その各データを点検モードや精算モードにすることでレポートとして出力するような構成にしてもよい。
【００５６】
以上のように、配膳された食器画像を撮影し、その食器内の料理を判定するとともに、料理を下げる際に再度食器画像を撮影し、食べ残された料理を判定して、その判定結果をレポートとして出力するので、どの料理が食べ残されたのかを容易に把握することができ、客の嗜好性を判断することが可能となる。
【００５７】
また、客の画像を撮影し、当該撮影画像から客の属性を判定するとともに、客とその客が飲食している料理を判定してその判定結果をレポートとして出力するので、どのような客がどの料理を飲食するのかを容易に把握することができ、客の属性と嗜好性との相関性を判断することが可能となる。
【００５８】
なお、本実施の形態における記述内容は、本発明を適用した嗜好データ処理装置１０の好適な一例であり、これに限定されるものではない。
【００５９】
例えば、上述した説明では、テーブル上に配膳された食器画像を撮影し、その食器内の料理及び料理の残量を判定することとしたが、これに限らず、バイキング等で用意された料理の器を定期的に撮影することにより、バイキング料理の残量を定期的に判定して客の嗜好性を把握できるようにしてもよい。
【００６０】
また、上述した客の属性の判定方法もその一例であり、これに限らない。例えば、客の属性としてグループ構成を判定することとしてもよい。例えば、撮影されたテーブル画像から１テーブルに１人の客だけ検出された場合は「１人」、１テーブルに大人の男性と女性が１人づつ検出された場合は「カップル」、１テーブルに大人が数人と子供が数人検出された場合は「家族連れ」と判定し、客の属性として客テーブル１６２に記憶する。これにより、さらに詳細な客の嗜好性を把握することができる。
【００６１】
また、客の属性として、年齢を判定することとしてもよい。例えば、撮影された客の画像から、しわ、たるみ、肌色、髪色等の人物特徴量を抽出し、この人物特徴量に基づいて、しわやたるみが多ければ６０歳以上、中程度であれば４０〜５０歳代、少なければ２０〜３０歳代といったように、年齢を判定する。これにより、さらに詳細な客の嗜好性を把握することができる。
【００６２】
また、上述した説明では、客の属性、客が飲食した料理の名称及び食べ残された料理名称等の嗜好データをレポートとして印刷出力する例を示したが、これに限らず、例えば大人の女性ではハンバーグ定食が一番多く飲食され、サラダが一番多く食べ残された客の属性毎に飲食された等のように、料理名称及び食べ残された料理名称の統計をとり、当該統計結果を嗜好データとして印刷出力することとしてもよい。また、その出力形態も印刷出力ではなく表示部１３に表示出力することとしてもよい。
【００６３】
その他、本実施の形態における嗜好データ処理装置１０の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明を適用した実施の形態における嗜好データ処理１０の内部構成を示す図である。
【図２】カメラ１ｂ〜ｎｂにより真上から撮影されたテーブル画像を示す図である。
【図３】位置テーブル１６１のデータ構成例を示す図である。
【図４】客テーブル１６２のデータ構成例を示す図である。
【図５】判定テーブル１７１のデータ構成例を示す図である。
【図６】嗜好データ処理装置１０により実行される嗜好データ処理を説明するフローチャートである。
【図７】嗜好データ処理装置１０により実行される客の属性判定処理を説明するフローチャートである。
【図８】嗜好データ処理装置１０により実行される配膳料理判定処理を説明するフローチャートである。
【図９】詳細料理画像について説明する図である。
【図１０】嗜好データ処理装置１０により実行される料理引下処理を説明するフローチャートである。
【図１１】食器が空状態であるか否かの判定例を示す図である。
【図１２】客毎にその客層及び飲食された料理について出力されたレポート例を示す図である。
【符号の説明】
【００６５】
１０    嗜好データ処理装置
１１    ＣＰＵ
１２    入力部
１３    表示部
１４    Ｉ／Ｆ
１５    通信部
１６    ＲＡＭ
１６１    位置テーブル
１６２    客テーブル
１７    記憶部
１７１    判定テーブル
１８    印刷部
１ａ、１ｂ〜ｎａ、ｎｂ    カメラ
ＳＷ    スイッチ
【図１】
2005044170.tif 000003
【図２】
2005044170.tif 000004
【図３】
2005044170.tif 000005
【図４】
2005044170.tif 000006
【図５】
2005044170.tif 000007
【図６】
2005044170.tif 000008
【図７】
2005044170.tif 000009
【図８】
2005044170.tif 000010
【図９】
2005044170.tif 000011
【図１０】
2005044170.tif 000012
【図１１】
2005044170.tif 000013
【図１２】
2005044170.tif 000014