(57)【要約】【課題】被計量物に混在する重量取得対象物の正味重量を正確かつ容易に取得することを可能とする。【解決手段】カメラ部１４によって第１の物体と第２の物体とが混在した状態の被計量物を撮影して撮影画像を取得する。画像認識エンジン１７により、重量データベース１５に記憶されている複数の物体の撮影画像の中から、被計量物の撮影画像における第２の物体に一致すると判断できる特定の物体の撮影画像を特定し、撮影画像と対応付けて記憶されている特定の物体の重量を取得する。電子秤部１３によって計測された被計量物の総重量から前記特定の物体の重量を差し引くことにより、第１の物体の正味重量を取得する。【選択図】図１
2014167388.tif 000002
【特許請求の範囲】
【請求項１】
複数の物体の重量と撮影画像とが予め対応付けて記憶された重量情報記憶手段と、
第１の物体と第２の物体とが混在した状態の被計量物の総重量を取得する第１の重量取得手段と、
前記第１の物体と前記第２の物体とが混在した状態の前記被計量物の撮影画像を取得する画像取得手段と、
前記重量情報記憶手段に記憶されている複数の物体の撮影画像の中から、前記画像取得手段により取得された前記被計量物の撮影画像における前記第２の物体に一致すると判断できる特定の物体の撮影画像を特定する特定手段と、
前記特定手段より特定された前記特定の物体の撮影画像と対応付けて前記重量情報記憶手段に予め記憶されている重量を取得する第２の重量取得手段と、
前記第１の重量取得手段によって取得された前記被計量物の総重量から、前記第２の重量取得手段により取得された前記特定の物体の重量を差し引くことにより、前記第１の物体の正味重量を算出する重量算出手段と
を備えたことを特徴とする重量取得支援装置。
【請求項２】
前記第１の重量取得手段は、任意の物体の重量を計測する計量手段で計測された重量を取得し、
前記画像取得手段は、任意の物体の撮影画像を撮影する撮像手段で撮影された撮影画像を取得し、
前記第１の重量取得手段により総重量を取得する被計量物と、前記画像取得手段により撮影画像を取得する被計量物とが、前記第１の物体と前記第２の物体とを含む同じ被計量物となるように、前記計量手段による計測動作または前記撮像手段による撮影動作を制御する第１の制御手段を更に備えることを特徴とする請求項１記載の重量取得支援装置。
【請求項３】
前記第１の制御手段は、前記計量手段による計測動作と前記撮像手段による撮影動作のタイミングが同じになるように、前記計量手段による計測動作または前記撮像手段による撮影動作を制御する制御することを特徴とする請求項２記載の重量取得支援装置。
【請求項４】
前記第１の制御手段は、前記計量手段により前記被計量物の総重量が計測されたことに応答し、前記撮像手段により自動的に前記被計量物の撮影画像を撮影させるか、あるいは、前記撮像手段により前記被計量物の撮影画像が撮影されたことに応答し、前記計量手段により自動的に前記被計量物の総重量を計測させることを特徴とする請求項３記載の重量取得支援装置。
【請求項５】
前記第１の重量取得手段による前記被計量物の総重量の取得と、前記第２の重量取得手段による前記特定の物体の重量の取得が行われたことに応答し、前記重量算出手段による前記第１の物体の正味重量の算出を行う第２の制御手段を更に備えることを特徴とする請求項１乃至４のいずれかに記載の重量取得支援装置。
【請求項６】
前記計量手段として機能する、前記被計量物の重量の計測に際し前記被計量物を載置する計量部と、
前記撮影手段として機能する、前記計量部と一体的に設けられるとともに、前記計量部の位置及び大きさに応じた所定の範囲を撮影範囲として設定された撮影部と、
を更に備えることを特徴とする請求項２乃至５のいずれかに記載の重量取得支援装置。
【請求項７】
計量手段により計測された任意の物体の重量を、撮影手段により取得された当該任意の物体の撮影画像と対応付けて前記重量情報記憶手段に記憶させる記憶制御手段をさらに備えたことを特徴とする請求項１乃至６のいずれかに記載の重量取得支援装置。
【請求項８】
前記特定手段は、前記画像取得手段により取得された前記被計量物の撮影画像から前記第２の物体に該当する特定部分を認識し、認識した特定部分を、前記重量情報記憶手段に記憶されている複数の物体の撮影画像の各々と比較することによって、前記第２の物体に一致すると判断できる特定の物体の撮影画像を特定することを特徴とする請求項１乃至７のいずれかに記載の重量取得支援装置。
【請求項９】
前記第１の物体は料理であり、かつ前記第２の物体は前記料理が盛られた器であり、
複数の料理の単位重量当たりの熱量と撮影画像とが予め対応付けて記憶された熱量情報記憶手段と、
前記熱量情報記憶手段に記憶されている複数の料理の撮影画像の中から、前記画像取得手段により取得された前記被計量物の撮影画像における前記料理に一致すると判断できる特定の料理の撮影画像を特定する第２の特定手段と、
前記第２の特定手段より特定された前記特定の料理の撮影画像と対応付けて前記熱量情報記憶手段に予め記憶されている単位重量当たりの熱量を取得する第１の熱量取得手段と、
前記重量算出手段により算出された前記正味重量に、前記第１の熱量取得手段により取得された前記熱量を乗じることにより、前記料理の総熱量を取得する第２の熱量取得手段と
をさらに備えたことを特徴とする請求項１乃至８のいずれかに記載の重量取得支援装置。
【請求項１０】
第１の物体と第２の物体とが混在した状態の被計量物の総重量を取得する工程と、
前記第１の物体と前記第２の物体とが混在した状態の前記被計量物の撮影画像を取得する工程と、
複数の物体の重量と撮影画像とが予め対応付けて記憶された重量情報記憶手段に記憶されている複数の物体の撮影画像の中から、前記被計量物の撮影画像における前記第２の物体に一致すると判断できる特定の物体の撮影画像を特定する工程と、
前記特定の物体の撮影画像と対応付けて前記重量情報記憶手段に記憶されている重量を取得する工程と、
前記被計量物の総重量から前記特定の物体の重量を差し引くことにより、前記第１の物体の正味重量を算出する工程と
を含むことを特徴とする重量取得支援方法。
【請求項１１】
コンピュータに、
第１の物体と第２の物体とが混在した状態の被計量物の総重量を取得する処理と、
前記第１の物体と前記第２の物体とが混在した状態の前記被計量物の撮影画像を取得する処理と、
複数の物体の重量と撮影画像とが予め対応付けて記憶された重量情報記憶手段に記憶されている複数の物体の撮影画像の中から、前記被計量物の撮影画像における前記第２の物体に一致すると判断できる特定の物体の撮影画像を特定する処理と、
前記特定の物体の撮影画像と対応付けて前記重量情報記憶手段に記憶されている重量を取得する処理と、
前記被計量物の総重量から前記特定の物体の重量を差し引くことにより、前記第１の物体の正味重量を取得する処理と
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被計量物の重量を取得する支援を行う重量取得支援装置、重量取得方法、プログラムに関するものである。
【背景技術】
【０００２】
近年、重量を電気的に計測する電子秤の普及によって、単純な計量作業を行うだけで被計量物の計量結果を正確、かつ簡単に取得しとり、記録することが可能となっている。また、例えば、下記特許文献１には、皿を含めた食事の重量を食事の前後にそれぞれ計量し、食事前の計量結果から食事後の計量結果を差し引くことにより、食事摂取量を自動的に計算する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１６１７２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の技術は、例えば料理として仕上げられたもの（以下、料理という。）の重さを知りたい場合には不向きであった。すなわち料理の重さを知るためには、まず、料理を盛りつける皿等の重さを計測し、さらに料理を盛りつけた状態で同一の皿の重さを計測する必要がある。つまり料理の重さのみを知りたにも拘わらず、最低でも２回の計測作業が不可欠であり、計測が煩雑となるという問題があった。
【０００５】
本発明は、かかる従来の課題に鑑みてなされたものであり、被計量物に混在する重量取得対象物の正味重量を正確かつ容易に取得することが可能となる重量取得支援装置、重量取得方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明にあっては、複数の物体の重量と撮影画像とが予め対応付けて記憶された重量情報記憶手段と、第１の物体と第２の物体とが混在した状態の被計量物の総重量を取得する第１の重量取得手段と、前記第１の物体と前記第２の物体とが混在した状態の前記被計量物の撮影画像を取得する画像取得手段と、前記重量情報記憶手段に記憶されている複数の物体の撮影画像の中から、前記画像取得手段により取得された前記被計量物の撮影画像における前記第２の物体に一致すると判断できる特定の物体の撮影画像を特定する特定手段と、前記特定手段より特定された前記特定の物体の撮影画像と対応付けて前記重量情報記憶手段に予め記憶されている重量を取得する第２の重量取得手段と、前記第１の重量取得手段によって取得された前記被計量物の総重量から、前記第２の重量取得手段により取得された前記特定の物体の重量を差し引くことにより、前記第１の物体の正味重量を算出する重量算出手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被計量物に混在する重量取得対象物の正味重量を正確かつ容易に取得することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る電子キッチンスケールの外観斜視図である。
【図２】電子キッチンスケールのブロック図である。
【図３】制御部の処理手順を示すフローチャートである。
【図４】図３に続くフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態について説明する。図１は、本発明の重量取得支援装置としての機能を備えた電子キッチンスケール１を示す外観斜視図である。
【００１０】
本実施形態の電子キッチンスケール１は、任意の被計量物の重量を電気的に計測する電子秤としての計量機能と、皿に盛りつけられた状態の料理の正味重量、さらにその料理の熱量（カロリー）を自動的に取得する機能を備えたものである。
【００１１】
図１に示したように電子キッチンスケール１は、スケール本体２と、スケール本体２の上方側に支柱３，３を介して固定されたカメラ保持部４とから構成される。
【００１２】
スケール本体２の上部には、被計量物の皿が載置される計量部５が設けられ、スケール本体２の側部には、計量結果等が表示される表示部６と、電源スイッチや、動作モードの設定に使用されるモードスイッチを含む複数のスイッチからなる操作部７が設けられている。
【００１３】
カメラ保持部４には、計量部５の載置された皿を撮影するためのカメラ８が計量部５の中央直上に位置して設けられている。カメラ８の撮影エリアは、予め計量部５の全域に設定されている。
【００１４】
図２は、電子キッチンスケール１の電気的構成の概略を示すブロック図である。電子キッチンスケール１は、制御部１１と、電源部１２、電子秤部１３、カメラ部１４、重量データベース１５、熱量データベース１６、画像認識エンジン１７、重量計算エンジン１８、熱量計算エンジン１９、前記表示部６、前記操作部７から構成される。
【００１５】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read only memory）、ＲＡＭ（Random Access memory）、及びその他の周辺回路により実現され、ＣＰＵがＲＯＭに格納されたプログラムに従い動作することによって電子キッチンスケール１を制御する。
【００１６】
電源部１２は、例えば充電池とＤＣ／ＤＣコンバータ、又は商用電源からの電量を調整する電源回路等であり、電子キッチンスケール１の各部に電力を供給する。
【００１７】
電子秤部１３は、前記スケール本体２の計量部５に加わる加重を、例えばロードセル式や電磁式により検出する検出器、及び検出器の出力信号をデジタルデータに変換するＡ／Ｄコンバータ等により構成される。電子秤部１３は、前記計量部５に載置された被計量物の重量を計測し、計測結果を制御部１１へ供給する。
【００１８】
カメラ部１４は、前記カメラ８を構成する部分であり、前記計量部５に対向する撮影レンズを介して被計量物を撮像する撮像素子、撮像素子から出力される撮像信号に基づく画像データを生成する複数段の信号処理回路等により構成される。撮像素子は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）イメージセンサである。
そして、カメラ部１４は、生成した画像データ、つまり被計量物の撮影画像のデータを制御部１１へ供給する。ここで、被計量物は任意の皿や、皿に盛られた状態の料理である。
【００１９】
重量データベース１５及び熱量データベース１６は、フラッシュメモリ等の不揮発性の半導体メモリや、ハードディスクドライブ等の記憶媒体により構成される。
【００２０】
重量データベース１５には、重量が既知である多数の皿の画像データと、各皿の重量データとが互いに対応付けられて蓄積されている。熱量データベース１６には、多数の料理の画像データと、各料理の単位重量当たりの熱量（以下、単位熱量という。）データとが互いに対応付けられて蓄積されている。
【００２１】
画像認識エンジン１７は、被計量物の撮影画像を対象として、画像の二値化や輪郭抽出、パターンマッチング等による種々の画像認識処理を行う画像処理プロセッサや作業用メモリ等から構成される。
【００２２】
画像認識エンジン１７は、被計量物の撮影画像から皿、又は皿に該当する皿部分や、皿に盛られている料理に該当する料理部分を認識する。
【００２３】
また、画像認識エンジン１７は、重量データベース１５に蓄積されている多数の皿の画像の各々と、撮影画像の上記皿部分とを比較し、両者間における特徴の一致度を演算することにより、上記皿部分と同一の皿の画像データを検索し、検索結果等を制御部１１へ供給する。
【００２４】
また画像認識エンジン１７は、熱量データベース１６に蓄積されている多数の料理の画像の各々と、撮影画像の上記料理部分とを比較し、両者間における特徴の一致度を演算することにより、上記料理部分と同一の料理の画像データを検索し、検索結果等を制御部１１へ供給する。
【００２５】
重量計算エンジン１８は、被計量物が皿に盛られた状態の料理である場合に、制御部１１から供給される被計量物の総重量と、当該被計量物における皿の重量とに基づき、皿に盛りつけられている料理の正味重量を計算し、計算結果を制御部１１へ供給する。
【００２６】
熱量計算エンジン１９は、被計量物が皿に盛られた状態の料理である場合に、制御部１１から供給される料理の正味重量と、当該料理の単位熱量とから、皿に盛りつけられている料理の総熱量を計算し、計算結果を制御部１１へ供給する。
【００２７】
前記表示部６は、スケール本体２の側部に固定されたカラー液晶パネルと、カラー液晶パネルの駆動回路により構成され、制御部１１から供給される文字データや画像データに基づく文字や画像を表示する。
【００２８】
前記操作部７は、前述した複数のスイッチと、ユーザによる各スイッチの操作状態を検出する検出回路により実現され、各スイッチの操作情報を制御部１１へ供給する。
【００２９】
そして、以上の構成を備えた電子キッチンスケール１には、動作モードとして通常モードと料理計測モードとが予め用意されている。
【００３０】
通常モードは、通常の電子秤としての計量機能を使用するための動作モードであり、ユーザにより電源オンされた直後に自動的に設定される。
【００３１】
料理計測モードは、皿に盛りつけられた状態の料理の総熱量（カロリー）を自動計算したり、前述した重量データベース１５に新たな皿に関する撮影画像及び重量を登録したりするための動作モードであり、ユーザのスイッチ操作により適宜設定される。
【００３２】
以下、ユーザにより料理計測モードが設定された場合の電子キッチンスケール１動作を、前記制御部１１の処理手順を示した図３、及び図４のフローチャートに従い説明する。
【００３３】
図３に示したように制御部１１は、料理計測モードが設定されると、まずユーザにスイッチ操作によって、撮影対象が皿と料理とのいずれであるか設定（選択）させる（ステップＳ１）。ここで、料理は、任意の皿に盛りつけられた状態の料理である。
【００３４】
次に、制御部１１は、電子秤部１３に被計量物の重量計測を行わせる（ステップＳ２）。係る処理によって制御部１１は、ユーザが撮影対象を設定する以前に計量部５に被計量物を載せた場合には、被計量物の重量を直ちに取得し、またユーザが撮影対象を設定してから計量部５に被計量物を載せた場合には、その時点で被計量物の重量を取得する。
【００３５】
次に、制御部１１は、被計量物の重量が取得できた時点で、カメラ部１４に写真撮影を行わせ、被計量物の撮影画像を取得する（ステップＳ３）。
【００３６】
以後、制御部１１は、設定された撮影対象（被計量物）が皿である場合には（ステップＳ４：皿）、後述するステップＳ５〜Ｓ１２の処理を行い、撮影対象が料理である場合には（ステップＳ４：料理）、図４に示した後述するステップＳ１３〜Ｓ３０の処理を行う。なお、撮影対象が料理であるか皿であるかの判断は、ユーザ操作に基づいて行ってもよいし、以下に説明する画像認識処理により、撮影した画像から認識される皿部分に、皿の縁部分の柄との連続性が低い部分が含まれていたり、特定の料理に対応する食材の色や形状が含まれている場合には料理と判断し、その他の場合には皿であると自動判定するようにしてもよい。また、画像から認識される皿が登録されており、かつ、登録されている皿の重量と実際に測定された重量とが異なる場合には料理が載っていると自動判定するようにしてもよい。
【００３７】
まず、撮影対象が皿であった場合について説明する。この場合、制御部１１は、ステップＳ３で取得した撮影画像のデータを画像認識エンジン１７に送り、画像認識エンジン１７に、二値化や輪郭抽出を含む公知の画像認識技術により、撮影画像において皿に該当する皿部分を認識させる（ステップＳ５）。
【００３８】
さらに、制御部１１は、画像認識エンジン１７に、重量データベース１５に蓄積されている多数の皿の画像データの中から、撮影対象の皿に一致すると判断できる皿の画像データを検索させる（ステップＳ６）。
【００３９】
このとき、画像認識エンジン１７においては、既説したように重量データベース１５に蓄積されている多数の皿の画像について、認識した皿部分との間で特徴の一致度をそれぞれ演算し、一致度が規定以上の皿の画像データが存在する場合には、一致度が最大の画像データの皿が、撮影対象の皿に一致する皿であると判断し、その皿に関するデータを示すレコード番号を制御部１１へ供給する。また、画像認識エンジン１７は、一致度が規定以上の皿の画像データが存在しない場合には、その旨を制御部１１へ通知する。
【００４０】
なお、画像認識エンジン１７が上記特徴の一致度を演算する際には、例えば皿の外径形状、画像内での大きさ、色あい、絵柄等の複数項目について一致度を取得し、項目毎の一致度に重み付けを行った上で平均値を算出し、それを最終的な一致度を決定する。
【００４１】
そして、撮影対象の皿に一致する皿に関するデータが重量データベース１５に存在しない場合（ステップＳ７：ＮＯ）、制御部１１は、ステップＳ３で取得した撮影画像（撮影画像から皿部分のみを抽出した画像でもよい）のデータと、ステップＳ２の処理で取得した皿の重量とを対応付け、重量データベース１５に新たなレコードとして追加する（ステップＳ８）。なお、その際、制御部１１は、新たな皿を登録した旨をユーザに知らせるメッセージ等を表示部６に表示させる（図３では省略する）。これにより、制御部１１は処理を終了する。
【００４２】
一方、撮影対象の皿に該当する皿に関するデータが重量データベース１５に存在する場合（ステップＳ７：ＹＥＳ）、制御部１１は、撮影対象の皿の重量と、ステップＳ２の処理で取得した皿の重量とが一致するか否かを確認する（ステップＳ９）。
【００４３】
ここで、双方の重量が一致している場合（ステップＳ９：ＹＥＳ）、制御部１１は、撮影対象の皿が既に登録済である旨をユーザに知らせるメッセージ等を表示部６に表示させた後（ステップＳ１０）、処理を終了する。
【００４４】
また、双方の重量が一致していない場合（ステップＳ９：ＮＯ）、制御部１１は、さらに、登録済である撮影対象の皿の重量を今回の計量結果と置き換えるか否かを、所定のスイッチ操作によりユーザに指示させ、置き換え不要が指示されたら（ステップＳ１１：ＮＯ）、そのまま処理を終了する。
【００４５】
逆に、ユーザにより置き換える旨が指示されたら（ステップＳ１１：ＹＥＳ）、制御部１１は、重量データベース１５における撮影対象の皿の重量を今回の計量結果と置き換えた後（ステップＳ１２）、処理を終了する。
【００４６】
したがって、ユーザにおいては、料理計測モードにおいて撮影対象（被計量物）として皿を設定するだけで、簡単に重量データベース１５へ新たな皿を登録したり、登録済みの皿の重量を更新したりすることができる。
【００４７】
次に、ステップＳ３の処理で被計量物の撮影画像を取得した後、ユーザにより撮影対象として料理が設定された場合（ステップＳ４：料理）、つまり撮影画像が皿に盛りつけられた状態の料理である場合の処理について説明する。
【００４８】
この場合、図４に示したように制御部１１は、まず、撮影画像のデータを画像認識エンジン１７に送り、画像認識エンジン１７に、二値化や輪郭抽出を含む公知の画像認識技術により、撮影画像において皿に該当する皿部分を認識させる（ステップＳ１３）。なお、ここで認識される皿部分は、撮影画像のうちで皿の背景部分と、皿に盛られている料理部分とを除いた部分である。
【００４９】
さらに、制御部１１は、画像認識エンジン１７に、重量データベース１５に登録されている皿の画像データの中から、料理が盛りつけられている実際の皿に該当する皿の画像データを検索させる。具体的に説明すると、画像認識エンジン１７に、重量データベース１５に蓄積されている多数の皿の画像データのうちから、上記の皿部分と特徴が一致する領域を含む画像データを検索させる（ステップＳ１４）。
【００５０】
このとき、画像認識エンジン１７においては、既説したように重量データベース１５に蓄積されている多数の皿の画像データの各々と上記の皿部分とを比較し、両者間で特徴の一致度をそれぞれ演算し、一致度が規定以上の画像データが存在する場合には、そのうちで一致度が最大の画像データの皿が実際の皿に一致する皿であると判断し、その皿に関するデータを示すレコード番号を制御部１１へ供給する。
【００５１】
また、画像認識エンジン１７は、一致度が規定以上の画像データが存在しない場合には、その旨を制御部１１へ通知するとともに、上記一致度が規定以上ではないが、画像間の一致度が、近似すると判断できる所定の値以上である１又は複数の画像データについて、その皿に関するデータを示すレコード番号を制御部１１へ供給する。
【００５２】
なお、上記一致度の演算においても、画像認識エンジン１７は、例えば皿の外径形状、画像内での大きさ、色あい、絵柄等の複数項目について一致度を取得し、項目毎の一致度に重み付けを行った上で平均値を算出し、その計算結果を最終的な一致度とする。
【００５３】
そして、撮影対象の皿に一致する皿のデータが重量データベース１５に存在する場合（ステップＳ１５：ＹＥＳ）、制御部１１は、当該皿の重量を重量データベース１５から取得する（ステップＳ２０）。
【００５４】
一方、重量データベース１５に、撮影対象の皿に一致する皿のデータが存在ないが（ステップＳ１５：ＮＯ）、近似すると判断できる皿のデータが存在する場合（ステップＳ１６：ＹＥＳ）、制御部１１は以下の処理を行う。
【００５５】
制御部１１は、まず、近似すると判断できる（一致度が所定の値以上である）１又は複数の皿の画像データを重量データベース１５から読み出し、表示部６に１又は複数の皿の画像を一覧表示させる（ステップＳ１７）。このとき、制御部１１は、ユーザに所定のスイッチ操作を行わせることより、一覧表示した皿の中から実際の皿に該当するもの指定させたり、一覧表示した皿の中に実際の皿に該当するものない旨を指示させたりする。
【００５６】
ここで、一覧表示した皿の中から任意の皿がユーザにより指定された場合（ステップＳ１８：ＹＥＳ）、制御部１１は、指定された皿の重量を重量データベース１５から取得する（ステップＳ２０）。また、該当するものがない旨の指示があった場合（ステップＳ１８：ＮＯ）、制御部１１は、その時点で処理を終了する。
【００５７】
また、上記の処理中に、重量データベース１５に撮影対象の皿に一致する皿のデータが存在せず（ステップＳ１５：ＮＯ）、さらに近似すると判断できる皿のデータも存在しなかった場合（ステップＳ１６：ＮＯ）、制御部１１は、該当する皿の登録が無い旨を表示部６に表示させた後（ステップＳ１９）、その時点で処理を終了する。
【００５８】
なお、上記の近似すると判断できる皿のデータが存在しない場合とは、その皿に対応するデータが登録されていない場合の他に、例えば、皿全体の面積のほとんどを料理部分が占めているために皿を認識することができない場合を含む。このような場合には処理を中断せずに、データベース内に記憶されている全ての皿の中から対応する皿をユーザに検索させるようにしてもよい。
【００５９】
そして、前述したステップＳ２０の処理で撮影対象の皿の重量を取得した後、制御部１１は、引き続き以下の処理を行う。
【００６０】
制御部１１は、まず、画像認識エンジン１７に、二値化や輪郭抽出を含む公知の画像認識技術により、前述した撮影画像において料理部分を認識させる（ステップＳ２１）。
【００６１】
さらに、制御部１１は、画像認識エンジン１７に、熱量データベース１６に蓄積されている複数の料理の画像データの中から、皿に盛りつけられている実際の料理に該当する料理の画像データを検索させる。具体的に説明すると、画像認識エンジン１７に、熱量データベース１６に蓄積されている多数の料理の画像データのうちから、上記の料理部分と特徴が一致すると判断できる画像を検索させる（ステップＳ１４）。
【００６２】
このとき、画像認識エンジン１７においては、既説したように熱量データベース１６に蓄積されている多数の料理の各々の画像データと上記の料理部分とを比較し、両者間で特徴の一致度をそれぞれ演算し、一致度が規定以上の画像が存在する場合には、そのうちで一致度が最大の画像データの料理が実際の料理に一致する料理であると判断し、その料理に関するデータを示すレコード番号を制御部１１へ供給する。
【００６３】
また、画像認識エンジン１７は、一致度が規定以上の料理が存在しない場合には、その旨を制御部１１へ通知するとともに、上記一致度が規定以上ではないが、画像間の一致度が、近似すると判断できる所定の値以上である１又は複数の画像データについて、その料理に関するデータを示すレコード番号を制御部１１へ供給する。
【００６４】
なお、上記一致度の演算において、画像認識エンジン１７は、例えば色の分布を表す色ヒストグラム、明るさのヒストグラム等の複数項目について一致度を取得し、項目毎の一致度に重み付けを行った上で平均値を算出し、その計算結果を最終的な一致度とする。
【００６５】
そして、撮影対象の料理に一致する料理のデータが熱量データベース１６に存在する場合（ステップＳ２３：ＹＥＳ）、制御部１１は、該当する料理の単位熱量を熱量データベース１６から取得する（ステップＳ２８）。
【００６６】
一方、熱量データベース１６に、撮影対象の料理に一致する料理のデータが存在ないが（ステップＳ２３：ＮＯ）、近似すると判断できる料理のデータが存在する場合（ステップＳ２４：ＹＥＳ）、制御部１１は以下の処理を行う。
【００６７】
制御部１１は、まず、近似すると判断できる（一致度が所定の値以上である）１又は複数の料理の画像データを熱量データベース１６から読み出し、表示部６に１又は複数の料理の画像を一覧表示させる（ステップＳ２５）。このとき、制御部１１は、ユーザに所定のスイッチ操作を行わせることより、一覧表示した料理の中から実際の料理に該当するもの指定させたり、一覧表示した料理の中に実際の料理に該当するものない旨を指示させたりする。
【００６８】
ここで、一覧表示した料理の中から任意の料理がユーザにより指定された場合（ステップＳ２６：ＹＥＳ）、制御部１１は、指定された料理の単位熱量を熱量データベース１６から取得する（ステップＳ２８）。また、該当するものがない旨の指示があった場合（ステップＳ２６：ＮＯ）、制御部１１は、その時点で処理を終了する。
【００６９】
また、上記の処理中に、熱量データベース１６に撮影対象の料理に一致する料理のデータが存在せず（ステップＳ２３：ＮＯ）、さらに近似すると判断できる料理のデータも存在しなかった場合（ステップＳ２４：ＮＯ）、制御部１１は、該当する料理の登録が無い旨を表示部６に表示させた後（ステップＳ２７）、その時点で処理を終了する。
【００７０】
そして、前述したステップＳ２８の処理で熱量データベース１６から単位熱量を取得した後、制御部１１は、料理分の重量（正味重量）と、熱量（総熱量）をそれぞれ計算する（ステップＳ２９）。すなわち、制御部１１は、ステップＳ２の処理で取得した被計量物の重量、つまり皿及び料理の総重量から、ステップＳ２０の処理で重量データベース１５から取得した皿の重量を減算し、料理分の重量を求める。また、制御部１１は、料理分の重量に上記の単位熱量を乗じ、料理の総熱量を取得する。
【００７１】
しかる後、制御部１１は、計算した料理分の重量、及び熱量を表示部６に表示させ（ステップＳ３０）、これにより、料理計測モードによる処理を終了する。
【００７２】
以上説明したように本実施形態においては、料理計測モードが設定されているときには、皿に盛りつけた状態の料理を被計量物として重さを計測する一方、被計量物を撮影して撮影画像を取得し、取得した撮影画像の皿部分と一致すると判断できる特定の皿の画像を重量データベース１５で検索し、該当する画像に対応して記憶されている特定の皿の重量を取得し、取得した重量を被計量物の計測結果から差し引くことにより、料理の正味重量を取得する。
【００７３】
したがって、ユーザは、皿に盛りつけた状態で料理の重さを知りたいとき、その状態の皿を計量部５におき、撮影対象として料理を選択するといった極めて単純な１回の計測作業を行うだけで、料理だけの重さを正確かつ容易に知ることができる。
【００７４】
また、重量データベース１５において撮影画像の皿部分と一致すると判断できる特定の皿の画像が検索できない場合には、類似する画像を候補としてユーザに提示し、実際の皿に該当するものがあれば、それをユーザに指定させ、指定された画像の皿を実際の皿として料理の正味重量を取得する。
【００７５】
その際、例えば皿全体の面積に対する料理部分の面積の割合が高く、重量データベース１５において特定の皿の画像が検索できない場合には、少しでも皿部分が見えていれば、ユーザが選択する候補を絞り込むことができる。よって、重量データベース１５において実際の皿と一致する特定の皿の画像が検索できない場合であっても、ユーザは必要且つ最小限の操作を行うだけでよく、ユーザに負担をかけることなく、より確実に料理の正味重量を取得することができる。
【００７６】
しかも、料理計測モードでは、皿に盛りつけた状態の料理の重さを計測すると、それに応答し自動的に撮影が行われる。よって、上記計測作業において撮影操作が不要であり、これによっても料理だけの重さを容易に知ることができる。
【００７７】
また、カメラ８の撮影エリアが予め計量部５の全域に設定されているため、ユーザに撮影エリアの設定等の負担をかけることなく、料理の計量に適した撮影画像を得ることができる。
【００７８】
また、料理計測モードでは、皿のみを計量部５においた状態で撮影対象として皿を選択すれば、任意の皿の画像、及び重さを対応付けて重量データベース１５に新たに記憶される。よって、ユーザは極めて単純な操作を行うだけで重量データベース１５に新たな皿を登録することができる。
【００７９】
さらに、料理計測モードでは、被計量物の料理部分の画像と一致すると判断できる特定の料理の画像を熱量データベース１６で検索し、該当する画像に対応して記憶されている特定の料理の単位熱量を取得し、取得した熱量に被計量物を乗じることにより、料理の総熱量を取得する。よって、ユーザは、皿に盛りつけた状態で料理の重さと同時に、料理の総熱量を容易に知ることができる。
【００８０】
また、熱量データベース１５において撮影画像の料理部分と一致すると判断できる特定の料理の画像が検索できない場合には、類似する画像を候補としてユーザに提示し、実際の料理に該当するものがあれば、それをユーザに指定させ、指定された画像の料理を実際の料理として料理の総熱量を取得する。よって、より確実に料理の総熱量を取得することができる。
【００８１】
なお、本実施形態においては、便宜上、被計量物が皿、及び皿に盛りつけられた状態の料理であることを前提として説明したが、被計量物は、当然どんぶり等の皿以外の容器、及び容器に盛られた料理でもよい。その場合は、重量データベース１５に、皿以外の容器の撮影画像と重量とを対応付けて予め記憶しておけばよい。
【００８２】
また、被計量物の撮影画像から料理が盛りつけられた皿等が複数認識できた場合に、例えば複数の皿等の各々についてその重量を重量データベース１５から個別に取得し、それらの重量を加算したものを被計量物の計量結果から差し引くことによって全料理の合計重量、合計熱量を取得する構成としてもよい。
【００８３】
ここで、本実施形態においては、本発明を単一の装置である電子キッチンスケール１において実現した場合について説明した。しかし、これに限らず本発明は、有線や無線を問わず任意の通信方式により相互にデータの送受信が可能な複数の装置からなるシステムによっても実現することができる。
【００８４】
上記システムの一例としては、計量結果を外部に出力可能な電子秤と、デジタルカメラと、携帯電話機やスマートフォンと、インターネット上のサーバとからなるシステムや、係るシステムからサーバを除いたシステムがある。また、デジタルカメラも、携帯電話機やスマートフォンにデジタルカメラが内蔵されていれば省略可能である。さらには、電子秤とデジタルカメラのみからなるシステムもある。
【００８５】
いずれのシステムにおいても、デジタルカメラや携帯電話機と電子秤との間における計量結果（重量データ）の通信には、ＵＳＢ（Universal Serial Bus）やブルートゥース等が使用できる。また、携帯電話機とサーバとの間のデータ通信には、Ｗｉ−Ｆｉや無線ＬＡＮを使用することもできる。
【００８６】
また、インターネット上のサーバを含むシステムにあっては、本発明をインターネット上のサービスによって実現することができる。その場合には、サーバに、図２に示した重量データベース１５、熱量データベース１６を設けるとともに、サーバにおいて画像認識エンジン１７、重量計算エンジン１８、熱量計算エンジン１９を実現させれば、より高度の画像認識処理が可能である。
【００８７】
したがって、重量データベース１５、熱量データベース１６において皿等の容器や料理等の検索処理をより正確に、かつ高速に行うことができ、その結果、皿に盛りつけられた状態の料理の重量、さらには総熱量をより正確に、かつ高速に取得することができる。
【００８８】
また、本発明における重量取得対象物（第１の物体）は前述した料理に限らず他の任意の物体であってもよい。例えば重量取得対象物は服を着用した状態の人間であってもよく、本発明は、服を着用したままで体重を取得する場合にも適用することができる。
【００８９】
なお、その場合、前述した電子秤部１３を体重計として利用できる計測範囲を備えたものとし、重量データベース１５に、例えばユーザが購入した服や既に所有している服の撮影画像と重量とを対応付けて記憶させる。
【００９０】
そして、計測時には、撮影画像から認識できる全ての服の重量を重量データベース１５から個別に取得し、それらの重量を加算したものを被計量物の計量結果から差し引くことによって最終的な体重を取得する構成とすればよい。
【００９１】
上記のように、本発明を単独の装置、又はシステムで構成される体重計に適用すれば、ユーザは、体重計に載るだけで、シャツやズボン等を履いていた状態であっても、撮影画像から認識できる服の重量だけ除いた実際の体重に近い重さを知ることができる。
【００９２】
以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。
以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
複数の物体の重量と撮影画像とが予め対応付けて記憶された重量情報記憶手段と、第１の物体と第２の物体とが混在した状態の被計量物の総重量を取得する第１の重量取得手段と、前記第１の物体と前記第２の物体とが混在した状態の前記被計量物の撮影画像を取得する画像取得手段と、前記重量情報記憶手段に記憶されている複数の物体の撮影画像の中から、前記画像取得手段により取得された前記被計量物の撮影画像における前記第２の物体に一致すると判断できる特定の物体の撮影画像を特定する特定手段と、前記特定手段より特定された前記特定の物体の撮影画像と対応付けて前記重量情報記憶手段に予め記憶されている重量を取得する第２の重量取得手段と、前記第１の重量取得手段によって取得された前記被計量物の総重量から、前記第２の重量取得手段により取得された前記特定の物体の重量を差し引くことにより、前記第１の物体の正味重量を算出する重量算出手段とを備えたことを特徴とする重量取得支援装置。
［請求項２］
前記第１の重量取得手段は、任意の物体の重量を計測する計量手段で計測された重量を取得し、前記画像取得手段は、任意の物体の撮影画像を撮影する撮像手段で撮影された撮影画像を取得し、前記第１の重量取得手段により総重量を取得する被計量物と、前記画像取得手段により撮影画像を取得する被計量物とが、前記第１の物体と前記第２の物体とを含む同じ被計量物となるように、前記計量手段による計測動作または前記撮像手段による撮影動作を制御する第１の制御手段を更に備えることを特徴とする請求項１記載の重量取得支援装置。
［請求項３］
前記第１の制御手段は、前記計量手段による計測動作と前記撮像手段による撮影動作のタイミングが同じになるように、前記計量手段による計測動作または前記撮像手段による撮影動作を制御する制御することを特徴とする請求項２記載の重量取得支援装置。
［請求項４］
前記第１の制御手段は、前記計量手段により前記被計量物の総重量が計測されたことに応答し、前記撮像手段により自動的に前記被計量物の撮影画像を撮影させるか、あるいは、前記撮像手段により前記被計量物の撮影画像が撮影されたことに応答し、前記計量手段により自動的に前記被計量物の総重量を計測させることを特徴とする請求項３記載の重量取得支援装置。
［請求項５］
前記第１の重量取得手段による前記被計量物の総重量の取得と、前記第２の重量取得手段による前記特定の物体の重量の取得が行われたことに応答し、前記重量算出手段による前記第１の物体の正味重量の算出を行う第２の制御手段を更に備えることを特徴とする請求項１乃至４のいずれかに記載の重量取得支援装置。
［請求項６］
前記計量手段として機能する、前記被計量物の重量の計測に際し前記被計量物を載置する計量部と、前記撮影手段として機能する、前記計量部と一体的に設けられるとともに、前記計量部の位置及び大きさに応じた所定の範囲を撮影範囲として設定された撮影部と、を更に備えることを特徴とする請求項２乃至５のいずれかに記載の重量取得支援装置。
［請求項７］
計量手段により計測された任意の物体の重量を、撮影手段により取得された当該任意の物体の撮影画像と対応付けて前記重量情報記憶手段に記憶させる記憶制御手段をさらに備えたことを特徴とする請求項１乃至６のいずれかに記載の重量取得支援装置。
［請求項８］
前記特定手段は、前記画像取得手段により取得された前記被計量物の撮影画像から前記第２の物体に該当する特定部分を認識し、認識した特定部分を、前記重量情報記憶手段に記憶されている複数の物体の撮影画像の各々と比較することによって、前記第２の物体に一致すると判断できる特定の物体の撮影画像を特定することを特徴とする請求項１乃至７のいずれかに記載の重量取得支援装置。
［請求項９］
前記第１の物体は料理であり、かつ前記第２の物体は前記料理が盛られた器であり、複数の料理の単位重量当たりの熱量と撮影画像とが予め対応付けて記憶された熱量情報記憶手段と、前記熱量情報記憶手段に記憶されている複数の料理の撮影画像の中から、前記画像取得手段により取得された前記被計量物の撮影画像における前記料理に一致すると判断できる特定の料理の撮影画像を特定する第２の特定手段と、前記第２の特定手段より特定された前記特定の料理の撮影画像と対応付けて前記熱量情報記憶手段に予め記憶されている単位重量当たりの熱量を取得する第１の熱量取得手段と、前記重量算出手段により算出された前記正味重量に、前記第１の熱量取得手段により取得された前記熱量を乗じることにより、前記料理の総熱量を取得する第２の熱量取得手段とをさらに備えたことを特徴とする請求項１乃至８のいずれかに記載の重量取得支援装置。
［請求項１０］
第１の物体と第２の物体とが混在した状態の被計量物の総重量を取得する工程と、前記第１の物体と前記第２の物体とが混在した状態の前記被計量物の撮影画像を取得する工程と、複数の物体の重量と撮影画像とが予め対応付けて記憶された重量情報記憶手段に記憶されている複数の物体の撮影画像の中から、前記被計量物の撮影画像における前記第２の物体に一致すると判断できる特定の物体の撮影画像を特定する工程と、前記特定の物体の撮影画像と対応付けて前記重量情報記憶手段に記憶されている重量を取得する工程と、前記被計量物の総重量から前記特定の物体の重量を差し引くことにより、前記第１の物体の正味重量を算出する工程とを含むことを特徴とする重量取得支援方法。
［請求項１１］
コンピュータに、第１の物体と第２の物体とが混在した状態の被計量物の総重量を取得する処理と、前記第１の物体と前記第２の物体とが混在した状態の前記被計量物の撮影画像を取得する処理と、複数の物体の重量と撮影画像とが予め対応付けて記憶された重量情報記憶手段に記憶されている複数の物体の撮影画像の中から、前記被計量物の撮影画像における前記第２の物体に一致すると判断できる特定の物体の撮影画像を特定する処理と、前記特定の物体の撮影画像と対応付けて前記重量情報記憶手段に記憶されている重量を取得する処理と、前記被計量物の総重量から前記特定の物体の重量を差し引くことにより、前記第１の物体の正味重量を取得する処理とを実行させることを特徴とするプログラム。
【符号の説明】
【００９３】
１    キッチンスケール
２    スケール本体
３    支柱
４    カメラ保持部
５    計量部
６    表示部
７    操作部
８    カメラ
１１    制御部
１２    電源部
１３    電子秤部
１４    カメラ部
１５    重量データベース
１６    熱量データベース
１７    画像認識エンジン
１８    重量計算エンジン
１９    熱量計算エンジン
【図１】
2014167388.tif 000003
【図２】
2014167388.tif 000004
【図３】
2014167388.tif 000005
【図４】
2014167388.tif 000006