(57)【要約】【課題】食卓を撮影することで食品の分析と体積の測定を可能にする撮像システムを提供すること。【解決手段】被写体までの距離を取得するための距離取得手段を有する撮像システムにおいて、前記撮像システムは撮像装置と、画像処理装置を有し、前記画像処理装置は、認識部と、決定部と、体積算出部を有し、前記撮像装置は前記被写体の画像を取得する撮像部を有し、前記認識部は、前記被写体の画像に基づいて前記被写体を認識する認識手段を有し、前記決定部は、前記認識結果に基づいて前記被写体の体積を算出する部分を決定する決定手段を有し、前記体積算出部は、前記決定結果と前記距離取得手段によって取得した前記被写体までの距離に基づいて、前記被写体の体積を算出することを特徴とする。【選択図】図１
2018190259.tif 000002
【特許請求の範囲】
【請求項１】
被写体までの距離を取得するための距離取得手段を有する撮像システムにおいて、前記撮像システムは撮像装置と、画像処理装置を有し、
前記画像処理装置は、認識部と、決定部と、体積算出部を有し、
前記撮像装置は前記被写体の画像を取得する撮像部を有し、
前記認識部は、前記被写体の画像に基づいて前記被写体を認識する認識手段を有し、
前記決定部は、前記認識結果に基づいて前記被写体の体積を算出する部分を決定する決定手段を有し、
前記体積算出部は、前記決定結果と前記距離取得手段によって取得した前記被写体までの距離に基づいて、前記被写体の体積を算出することを特徴とする撮像システム。
【請求項２】
前記撮像装置は２回以上の静止画撮影、または１回以上の動画撮影によって得た２つの静止画像である撮影画像１と撮影画像２に基づいて、前記体積算出部は前記被写体の体積を算出することを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記撮像システムは前記撮像システム内、もしくはネットワーク上の外部サーバーに被写体データについてのデータベースを有することを特徴とする請求項１又は請求項２に記載の撮像システム。
【請求項４】
前記決定部は、前記撮影画像１と前記撮影画像２と前記データベースに基づいて体積を算出すべき被写体の部分を決定することを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記認識部は前記データベースに基づいて被写体認識を行って食器と食品を認識し、前記決定部は、前記認識結果に基づいて体積を算出する部分を決定することを特徴とする請求項３に記載の撮像システム。
【請求項６】
前記体積算出部が被写体である食器の体積を算出する時は、食器の内部形状と外部形状を前記データベースに基づいて推定し、前記内部形状を任意の形状に近似して体積を算出することを特徴とする請求項５に記載の撮像システム。
【請求項７】
前記食器の体積と前記撮影画像１と前記撮影画像２に基づいて、前記食器内の食品の体積を算出することを特徴とする請求項６に記載の撮像システム。
【請求項８】
前記決定部によって、前記食器の中に食品が入っていると決定された場合は、前記食器の体積中何割程度食品が占めているかについて前記体積算出部が前記撮影画像１と前記撮影画像２に基づいて算出することを特徴とする請求項７に記載の撮像システム。
【請求項９】
前記体積算出部は前記認識結果と前記決定結果に基づいて、食器内の食品の体積を算出するだけで良いか、もしくは食器外にはみ出ている食品の体積をも算出し、前記食器内の食品の体積との和を取るべきかを決定することを特徴とする請求項５に記載の撮像システム。
【請求項１０】
前記撮像装置によってユーザーが食前と食後の２回撮影することで、前記体積算出部が前記２回の撮影結果に基づいて算出した食品の体積の差分を取り、実際にユーザーが摂取した食品の体積を算出することを特徴とする請求項１乃至請求項９の何れか一項に記載の撮像システム。
【請求項１１】
前記体積算出部が算出した体積と前記認識結果に基づいて、食品のカロリーを算出することを特徴とする請求項１乃至請求項１０の何れか一項に記載の撮像システム。
【請求項１２】
前記撮像システムは複数の撮像装置を有することを特徴とする請求項１乃至請求項１１の何れか一項に記載の撮像システム。
【請求項１３】
前記撮像システムが有する複数の撮像装置のうち、ステレオカメラを構成している撮像装置を少なくとも１セット有し、前記画像処理装置は前記ステレオカメラによって前記被写体までの距離を算出し、前記撮影画像１と前記撮影画像２と前記被写体までの距離に基づいて食器や食品の大きさや体積を算出することを特徴とする請求項１２に記載の撮像システム。
【請求項１４】
前記撮像システムは、赤外波長領域における前記被写体の光透過率情報もしくは光反射率情報を取得可能な赤外情報取得部を少なくとも１つ有することを特徴とする請求項１乃至請求項１３の何れか一項に記載の撮像システム。
【請求項１５】
前記撮像システムは、前記赤外情報取得部で取得した情報に基づいて前記被写体の成分を分析する成分分析部を有することを特徴とする請求項１４に記載の撮像システム。
【請求項１６】
前記撮像システムは前記撮像システム内、もしくはネットワーク上の外部サーバーに被写体データについてのデータベースを有し、
前記撮像システムは、赤外波長領域における前記被写体の光透過率情報もしくは光反射率情報を取得可能な赤外情報取得部を少なくとも１つ有し、
前記認識部は、前記撮像装置で取得した情報と前記赤外情報取得部で取得した情報と前記データベースに基づいて前記被写体を認識し、
前記認識結果に基づいて算出された前記被写体の体積に基づいて前記被写体のカロリーを算出することを特徴とする請求項１又は請求項２に記載の撮像システム。
【請求項１７】
前記赤外情報とは赤外波長領域における分光スペクトルであることを特徴とする請求項１４乃至請求項１６の何れか一項に記載の撮像システム。
【請求項１８】
被写体までの距離を取得するための距離取得手段を有する撮像システムを用いた被写体の体積を算出する方法において、
被写体の一側面を撮影することで、撮影画像１を取得するステップと、
前記撮影画像１と同一被写体であり、かつ前記撮影画像１とは異なる一側面を撮影することで撮影画像２を取得するステップと、
前記撮影画像１または前記撮影画像２に基づいて、被写体を認識するステップと、
前記認識結果に基づいて、体積を算出すべき被写体の部分Ａを決定するステップと、
前記距離取得手段を用いて、前記撮影画像１における前記撮像システムから被写体までの距離１を算出するステップと、
前記距離取得手段を用いて、前記撮影画像２における前記撮像システムから被写体までの距離２を算出するステップと、
前記部分Ａについて、前記距離１と前記距離２に基づいて被写体の体積を算出するステップを有することを特徴とする体積算出方法。
【請求項１９】
被写体までの距離を取得するための距離取得手段を有する撮像システムを用いた被写体の体積を算出するプログラムにおいて、
被写体の一側面を撮影することで、撮影画像１を取得するステップと、
前記撮影画像１と同一被写体であり、かつ前記撮影画像１とは異なる一側面を撮影することで撮影画像２を取得するステップと、
前記撮影画像１または前記撮影画像２に基づいて、被写体を認識するステップと、
前記認識結果に基づいて、体積を算出すべき被写体の部分Ａを決定するステップと、
前記距離取得手段を用いて、前記撮影画像１における前記撮像システムから被写体までの距離１を算出するステップと、
前記距離取得手段を用いて、前記撮影画像２における前記撮像システムから被写体までの距離２を算出するステップと、
前記部分Ａについて、前記距離１と前記距離２に基づいて被写体の体積を算出するステップと、をコンピュータに実行させるように構成されていることを特徴とする体積算出プログラム。
【請求項２０】
請求項１９に記載の体積算出プログラムを記憶していることを特徴とする記憶媒体。
【請求項２１】
被写体までの距離を取得するための距離取得手段を有する体積算出装置において、前記体積算出装置は前記被写体の画像を取得する撮像手段と、前記被写体の画像に一定の処理を加える画像処理手段を有し、
前記画像処理手段は、更に認識手段と、決定手段と、体積算出手段を有し、
前記認識手段は、前記被写体の画像に基づいて前記被写体を認識し、
前記決定手段は、前記認識結果に基づいて前記被写体の体積を算出する部分を決定し、
前記体積算出手段は、前記決定結果と前記距離取得手段によって取得した前記被写体までの距離に基づいて、前記被写体の体積を算出することを特徴とする体積算出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ、カメラ付きモバイル端末（携帯電話、スマートフォン、タブレット端末など）などに好適な撮像システムに関する。
【背景技術】
【０００２】
近年、撮像機器のデジタル化やスマートフォンやタブレットなどの高機能小型コンピュータの普及により、様々な情報を取得保存し、それを解析することで日常生活に役立てることができるようになってきた。例えば、ステレオカメラによる距離測定技術や画像データからの顔認識技術など様々な技術が製品に搭載されている。また食事管理やダイエット関連においてもデジタル化が進み、画像認識技術を応用して食品を認識するスマートフォン用アプリケーションなども市場に出てきている。
【０００３】
特許文献１には、近赤外光を利用し、食品の成分を分析してカロリーを算出する技術が開示されている。また特許文献２には食品名と基本単位のカロリーをデータベースで持っておき、体積をユーザーの身体の部位を用いて表すことで、食べた量を簡単に入力できるようにした技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１２６５５９号公報
【特許文献２】特開平１０−１７１７６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術では、精度の高いカロリー計算が可能であるが、装置が大型化するため、スマートフォンのように手に持って手軽にカロリーを算出できるような規模ではなかった。
【０００６】
また特許文献２に開示された技術では、食品名をユーザーが入力する必要があった。食品名を毎食入力することはユーザーの負荷となり、長く続けることが難しかった。また体積データも身体の部位の大きさに置き換えているため離散的な値しか取れないなどの課題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、食卓を撮影することで食品の分析と体積の測定を可能にする撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る撮像システムは、
被写体までの距離を取得するための距離取得手段を有する撮像システムにおいて、前記撮像システムは撮像装置と、画像処理装置を有し、
前記画像処理装置は、認識部と、決定部と、体積算出部を有し、
前記撮像装置は前記被写体の画像を取得する撮像部を有し、
前記認識部は、前記被写体の画像に基づいて前記被写体を認識する認識手段を有し、
前記決定部は、前記認識結果に基づいて前記被写体の体積を算出する部分を決定する決定手段を有し、
前記体積算出部は、前記決定結果と前記距離取得手段によって取得した前記被写体までの距離に基づいて、前記被写体の体積を算出することを特徴としている。
【０００９】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１０】
本発明によれば、食卓を撮影するだけで食品の分析と体積の測定を可能にする撮像システムを提供することが可能である。
【図面の簡単な説明】
【００１１】
【図１】実施例１における本発明の撮像システムのブロック図である。
【図２】実施例１における本発明の説明図である。
【図３】実施例１における本発明の撮像システムの処理フロー図である。
【図４】実施例１における本発明の撮像システムの説明図である。
【図５】実施例２における本発明の撮像システムのブロック図である。
【図６】実施例２における本発明の撮像システムの処理フロー図である。
【図７】実施例２における本発明の撮像システムの説明図である。
【図８】実施例３における本発明の撮像システムのブロック図である。
【図９】実施例３における本発明の撮像システムの説明図である。
【図１０】実施例４における本発明の撮像システムの処理フロー図である。
【図１１】実施例４における本発明の撮像システムの処理フロー図である。
【図１２】実施例４における本発明の説明図である。
【図１３】実施例４における本発明の説明図である。
【発明を実施するための形態】
【００１２】
本発明の撮像システムは以下のような考えに基づいて発明されたものである。
【００１３】
パソコンやスマートフォン用のアプリケーションで身長・体重などの個人データを入力して解析することで、目標体重に達成するための１日あたりの摂取カロリーを計算できる食事管理プログラムは従来から存在していた。また、市販されている菓子類や飲料、またはレストランのメニューなどにはそれぞれカロリーが記載されているものも多い。
【００１４】
しかし、食材を個別に購入し自炊する場合は、作った料理に対して、どの程度カロリーがあるかをすぐに知ることはできなかった。また、スマートフォン用のアプリケーションで、写真を撮ることによって画像認識により食卓の料理を推定してカロリーを計算可能なものも存在する。しかし、大まかな料理名は自動的に入力されるものの、詳細な料理名や食べた量はユーザーが毎食入力する必要があった。このためユーザーの負荷が多く、長続きしないという課題があった。また、料理の写真を撮って民間施設に送信することで、管理栄養士が料理とその量を写真から推定しカロリーを算出するサービスもある。しかし、多くは有料サービスであり、ユーザーの経済的な負担が大きいため、糖尿病患者など一部のユーザー以外は長続きしないという課題があった。
【００１５】
一般的に、カロリーを算出するためには、食品の栄養成分（もしくは、大雑把な計算で良いなら料理名）とその食品の体積がわかる必要がある。上記のようにデータベースを利用するなどで大雑把な食品名（料理名）は推定できるようになったが、食品の体積がわからないため、ユーザーが入力しなければならなかったのが従来の大きな課題である。
【００１６】
そこで本発明は、食事を撮影するだけで、食品名の推定と体積を見積もり、自動的にカロリーを計算可能な構成とした。こうすることで、毎食ユーザーの負担を大きくすること無く、ユーザーは料理のカロリーを知ることができる。
【実施例１】
【００１７】
ここから本発明の撮像システム１００の基本的な概略構成について図１を参照して説明する。
【００１８】
図１は前記撮像装置１０１と前記画像処理装置１０２を有する撮像システム１００の全体図である。
【００１９】
前記撮像装置１０１は結像光学系１０３ａと結像光学系１０３ｂを有するステレオ光学系を有している。結像光学系１０３ａと結像光学系１０３ｂで結像された像は、撮像素子１０４ａと撮像素子１０４ｂとを介してＡ／Ｄコンバータ１０５でデジタル信号に変換される。該デジタル信号は画像処理装置１０２で所定の処理を施されて各部へ出力される。
【００２０】
前記画像処理装置１０２は、被写体を認識する認識部１０８、体積を算出する部分を決定する決定部１０９、そして被写体の体積を算出する体積算出部１１０を有する。システムコントローラ１１２は前記撮像装置１０１の各部材を制御する。システムコントローラ１１２からの信号によって、画像処理装置１０２を介して表示部１１１は表示のＯＮ／ＯＦＦ及び、表示画像の切換えや表示を行う。システムコントローラ１１２からの指令によって撮影が実行される際は、光学系制御部１０６が結像光学系１０３ａと結像光学系１０３ｂの露出を調節し、撮影が実行される。この時、撮像素子１０４ａと撮像素子１０４ｂで取得された画像は、前述と同様の経路を辿って画像処理部１０２に入力され、所定の処理を施された後、半導体メモリなどの画像記録媒体１１４に所定のフォーマットで保存される。また同時に、状態検知部１０７から得られた撮影時の画像取得条件も記録される。また高速化のため、所望の設定を予め記憶部１１３に記憶し、画像記録媒体１１４を介さず撮影画像を表示部１１１で表示させてもよい。
【００２１】
本実施例では距離を取得する手段としてステレオ光学系を用いる。ステレオ光学系とは、一定の間隔を離して設置した２つのカメラを用いた光学系である。前記ステレオ光学系を用いて撮影すると、前記２つのカメラから得られる視差画像を用いて被写体までの距離を求める事が出来る。前記ステレオ光学系を用いて距離を取得する具体的な方法については既存の技術を用いて構わないため詳細は省略する。
【００２２】
また、本実施例の撮像システムの具体的な構成を図４に示す。
【００２３】
図４（Ａ）は本実施例における撮像システムの表側を示した図であり、表示部１１１とボタンである操作部材を有している。前記表示部１１１はタッチパネルを有していることが好ましい。そうすることで実際のハードウェアとしてのボタン類を最小限にすることができ、可動部を少なくすることで堅牢性も向上可能である。そして図４（Ｂ）は本撮像システムの裏面側を示した図である。裏面側には撮像装置１０１に記述した前記結像光学系１０３ａと１０３ｂを有している。この２つの光学系で被写体までの距離を算出する。
【００２４】
次に本実施例における、体積算出までの手順を図２と図３を用いて説明する。図２にはこれから体積を算出する料理の例が描かれている。
【００２５】
例えば図２（Ａ）（Ｃ）に描いた料理は茶碗に盛られた白米である。図２（Ａ）は横から見た図であり、図２（Ｃ）は上から見た図である。そして図２（Ｂ）（Ｄ）に描いた料理は皿に盛られたチャーハンである。図２（Ｂ）は横から見た図であり、図２（Ｄ）は上から見た図である。図３に本実施例で説明する処理のフローを記述した。
【００２６】
ステップＳ１０１でユーザーが料理の体積を算出するために料理の撮影を開始する。
【００２７】
ステップＳ１０２ではユーザーは料理の一側面からの撮影を行い、撮影画像１を得る。ここでいう「一側面」とは、図２（Ａ）（Ｃ）の白米が入った茶碗を例にとると、横から（図２（Ａ））、もしくは上から（図２（Ｃ））前記白米が入った茶碗を撮影することに対応する。
【００２８】
ステップＳ１０３ではユーザーはステップＳ１０２で撮影した被写体と同一の被写体で、かつ、撮影画像１とは異なる一側面の撮影を行い、撮影画像２を得る。これは、例えば、ステップＳ１０２において、前記白米が入った茶碗を横から撮影して撮影画像１を得た場合は、ステップＳ１０３においては、前記白米が入った茶碗を上から（図２（Ｃ））撮影して撮影画像２を得ることに対応する。また、ステップＳ１０２において、前記白米が入った茶碗を上から撮影して撮影画像１を得た場合は、ステップＳ１０３においては、前記白米が入った茶碗を横から（図２（Ａ））撮影して撮影画像２を得ることに対応する。このように被写体を少なくとも２方向から撮影することで、被写体の縦横の長さに加えて高さを知ることができる。前述した例では、前記白米が入った茶碗の高さと前記茶碗の直径である。
【００２９】
次にステップＳ１０４では、前記認識部１０８は、撮影した撮影画像１または撮影画像２に基づいて、被写体を認識する。このステップでは、被写体に何が含まれているか認識するステップである。具体的には茶碗や皿などの食器と、そして前記食器に乗っている食品をそれぞれの塊として認識する。更に認識した食品について食品名を推定する。例えば、図２（Ａ）（Ｃ）の前記白米が入った茶碗の例では、茶碗の部分と、白米の部分を認識する。認識するための具体的な方法としては、ネットワーク上の外部サーバー内などにデータベースを持っておき、データベースと照合して撮像システム１００が自動的に判定しても良いし、ユーザーがいつも利用する食器を事前に前記記憶部１１３に登録しておいても良い。前述のように、前記白米が入った茶碗を横から撮影した時には、ほとんど茶碗しか見えず、上から撮影した場合には白米が見えている。また、図２（Ｂ）（Ｄ）の例では、同様に、皿の部分と、チャーハンの部分を認識する。図２（Ｂ）（Ｄ）の例では、横から撮影した時には、皿と皿に乗ったチャーハンが見え、上から撮影した場合にも皿とチャーハンが見えている。
【００３０】
ここまでのように、被写体を２方向から合計２回撮影すると、被写体の縦横の長さと高さを知ることができるが、更に好ましくは動画で上から横までの撮影を連続的に撮影するのが良い。動画で撮影すれば情報が増えるため、被写体の認識もしやすくなり好ましい。また、食品名を推定するためにはインターネット上のデータベースを利用して前記撮影画像１または撮影画像２に基づいて前記認識部１０８が機械的に判断する。もしくは何度も自炊で作っている料理であれば、専用のデータベースをあらかじめ作成しておいても良い。従来のスマートフォン用アプリケーションでもある程度は推定可能である部分であるため、食品名を推定する部分については従来技術を利用してもよい。
【００３１】
次にステップＳ１０５では、前記決定部１０９は、前記認識結果に基づいて、体積を算出すべき被写体の部分Ａを決定する。最終的に体積を算出したい被写体は食品である。したがって、ステップＳ１０３までの撮影で得られた食器と食品の画像から、食品の体積を算出するのに適した部分の体積を算出する必要がある。例えば、図２（Ａ）（Ｃ）に描いた前記白米が入った茶碗の例では、食品（白米）が食器（茶碗）の中に入っている。このため、いかなる角度から撮影しても食品（白米）だけの体積は直接わからない。しかし、茶碗の体積から推定することは可能である。このときの前記部分Ａは茶碗に対応する。また、図２（Ｂ）（Ｄ）に描いた前記チャーハンが皿に盛られた例では、食品（チャーハン）が食器（皿）の上に乗っている。このため、上からと横からの撮影で食品（チャーハン）の大きさや高さがわかるため、体積を直接計算することが可能である。よって皿の大きさや体積を算出する必要が無い。このときの前記部分Ａはチャーハンに対応する。このようにどのような食器に食品が盛られているかで、直接食品の体積を算出できるかどうかが決まる。また、それは少なくとも上からと横からの２方向から撮影することで判断することが可能である。
【００３２】
そこで前記決定部１０９は、前記撮影画像１と前記撮影画像２に基づいて、食品の体積を算出するために適切な被写体の部分について体積を算出することを決定する。具体的には図２（Ａ）の例では、茶碗の体積を算出することを決定し、図２（Ｂ）の例では、食品の体積を直接算出することを決定する。またこのとき、更に好ましくは、前記撮影画像１と前記撮影画像２と前記データベースに基づいて体積を算出すべき被写体の部分Ａを決定すると良い。前記データベースも判断材料の１つとすることで、誤判断を防ぐことができる。
【００３３】
次にステップＳ１０６では、前記体積算出部１１０は、前記撮影画像１における被写体までの距離１を算出する。具体的には図２（Ａ）の例では、前記撮影画像１が上から撮った画像であれば茶碗の直径が距離１に対応する。また、図２（Ｂ）の例では、前記撮影画像１が上から撮った画像であればチャーハンの直径が距離１に対応する。
【００３４】
次にステップＳ１０７では、前記体積算出部１１０は、前記撮影画像２における被写体までの距離２を算出する。具体的には図２（Ａ）の例では、前記撮影画像２が横から撮った画像であれば茶碗の高さが距離２に対応する。また、図２（Ｂ）の例では、前記撮影画像２が横から撮った画像であればチャーハンの高さが距離２に対応する。
【００３５】
次にステップＳ１０８では、前記体積算出部１１０は、前記部分Ａについて、前記距離１と前記距離２に基づいて被写体の体積を算出する。具体的には図２（Ａ）の例では、茶碗の直径と高さから茶碗の体積が算出できる。また図２（Ｂ）の例では、チャーハンの直径と高さからチャーハンの体積が算出できる。更に好ましくは、図２（Ａ）の例のように、食器の中に食品が入っていると判定された場合は、食器の体積中何割程度が食品を占めるかについて、前記認識部１０８が上からの撮影画像などから推定しても良い。そうすることで、より高精度な食品の体積を知ることが可能となる。
【００３６】
次にステップＳ１０９では、体積算出結果を前記表示部１１１に表示する。もしくは前記画像記憶媒体１１４に保存する。前記表示部１１１に表示した場合はユーザーが体積算出結果を確認することができる。また前記画像記憶媒体１１４に保存した場合は、その後のカロリー計算処理で体積情報を利用することが可能となる。前記カロリー計算処理については既存の技術で可能であるため詳細は省略する。
【００３７】
以上のような概略構成にすることで、従来の課題を解決したのが本発明である。
【実施例２】
【００３８】
次に、本発明の実施例２の撮像システム１００の基本的な概略構成について図５を参照して説明する。実施例１と異なる点は、前記撮像システム１００の中に成分分析装置２００を有する点である。実施例１では、前記食品名の推定をデータベースなどから行っていたのに対し、本実施例では前記成分分析装置２００が直接測定して食品を推定する点が異なる。
【００３９】
前記成分分析装置２００は赤外情報取得部２０１と分析部２０２を有している。撮像部２０１は不図示の結像光学系と撮像素子を有している。またノイズ対策のために照明装置を有していても良い。前記赤外情報取得部２０１は前記撮像装置１０１とは異なる波長帯域で被写体を撮像する。具体的には波長０．７μｍ〜２５μｍの赤外領域である。また結像光学系の内部に分光光学系を有しており、被写体の赤外領域における光の透過率情報もしくは反射率情報から分光スペクトルを前記撮像素子で得る。前記分光スペクトルを分析部２０２で分析し、分析結果を前記表示部１１１に表示する。もしくは一時的に前記記憶部１１３に記憶して、カロリー計算時に前記算出した体積とともに使用しても良い。前記分析部２０２での分析手法は従来の近赤外分光法による技術が利用できるため詳細は省略する。
【００４０】
また、本実施例の撮像システムの具体的な構成を図７に示す。図４と異なる点は図７（Ｂ）に前記赤外情報取得部２０１を有している点である。結像光学系１０３ａや１０３ｂと近い場所に配置することで、視点が近くなり、同時に撮影しても同じ領域を見ることが可能である。そうすることで分光スペクトル取得用に撮り直す手間を低減することができる。その他の点は実施例１と同じであるため説明は省略する。
【００４１】
図６に本実施例で説明する処理のフローを記述した。ステップＳ２０１からステップＳ２０９までは実施例１で説明したステップＳ１０１からステップＳ１０９に対応しているため説明は省略する。ステップＳ２１０とステップＳ２１１が本実施例で加わった部分である。
【００４２】
ステップＳ２１０は成分分析装置２００内に有する赤外情報取得部２０１で被写体を撮影し、分光スペクトルを得る。このとき、ステップＳ２０２において撮像装置１０１で被写体を撮影している時に、同時にステップＳ２１０を実行しても良い。また、ステップＳ２０２からステップＳ２０３にかけて複数の撮影画像を得るが、同時にステップＳ２１０においても複数の分光スペクトルを得てもよい。そうすることで食品と食器の認識においても分光スペクトルデータが利用できるため、食品と食器の境界などをより高精度に認識することが可能となる。もしくは、ステップＳ２０２やステップＳ２０３の前後にステップＳ２１０を独立して実行しても良い。そうすることで、食品のみを前記赤外情報取得部２０１で撮影することができ、食器を考慮しなくて良いため食品の分析がシンプルにできる。
【００４３】
次にステップＳ２１１では、得られた分光スペクトルに基づいて被写体を認識する。このとき、データベースを利用して被写体認識精度を上げることが好ましい。近赤外分光法による食品認識技術において、成分分析装置をより小型化簡略化をするためには、データベースが必要である。データベースがあれば分析時間の短縮や誤分析を低減させる事ができるため好ましい。データベースは前記成分分析装置２００内で持っておいても良いし、インターネット上に持っておいて、分析のたびにアクセスしても良い。このときのデータベースとは食品のある温度下での一般的な分光スペクトルのデータである。このデータベースに基づいて、得られた分光スペクトルから食品を認識する。詳細な特定手法は従来技術であるケモメトリックスなどを用いて行うことができるため詳細の説明は省略する。
【００４４】
体積算出方法や、カロリー算出方法は実施例１と同じであるため説明は省略する。
【００４５】
以上のような概略構成にすることで、従来の課題を解決したのが本発明である。
【実施例３】
【００４６】
次に、本発明の実施例３の撮像システム１００の基本的な概略構成について図８を参照して説明する。実施例１と異なる点は、前記撮像装置１０１内に結像光学系が１つしかない点である。また測距装置３００を有しており、前記撮像装置１０１のステレオ光学系で測距を行う代わりに前記測距装置３００で被写体までの距離を測定する。
【００４７】
前記測距装置３００内には測距部３０１を有しており、例えばレーザー距離計を前記測距部３０１内に有している。もしくは、結像光学系１０３ａから得た画像情報に基づいて被写体までの距離を推定しても良い。前記結像光学系１０３ａから得た画像情報のみで被写体までの距離を測定する手法の例を説明する。例えば、あらかじめ決められた距離に置いた基準被写体を撮影しておき、後で撮影した際の基準被写体の大きさから基準被写体までの距離を推測する方法がある。この方法は被写体が毎回変わる場合は使用できないが、自炊時の食器は決まった食器を使うことが多い。これを利用して、自宅の食器を基準被写体として事前に撮影して登録しておけば、食器までの距離が推定可能である。この場合は、結像光学系１０３ａで得られた画像データを測距部３０１で基準被写体情報に基づいて食器までの距離を算出しても良いし、測距装置３００ではなく、画像処理装置１０２の前記体積算出部で一括して計算しても良い。その場合、測距装置３００は不要である。
【００４８】
そして本実施例の撮像システムの具体的な構成を図９に示す。図４と異なる点は図９（Ｂ）に前記測距部３０１を有している点である。
【００４９】
例えば前記測距部３０１内にレーザー距離計が含まれている場合は、図９（Ｂ）で示す測距部３０１はレーザーが射出する開口部を意味する。前記測距部３０１は前記結像光学系１０３ａと近い場所に配置することで、視点が近くなり、撮影と同時に距離測定を行っても同じ領域を測定することが可能である。そうすることで距離を測るために再度前記撮像システム１００を食品に向ける必要をなくすことができる。その他の点は実施例１と同じであるため説明は省略する。
【００５０】
以上のような概略構成にすることで、従来の課題を解決したのが本発明である。
【実施例４】
【００５１】
次に、本発明の実施例４の撮像システム１００の基本的な概略構成について図１０から図１２を参照して説明する。実施例１と異なる点は、食器の大きさと食品の大きさに基づいて、食品の見えている部分と見えていない部分を決定して体積を算出する点である。そして、食前と食後の２回撮影することで残した分を考慮して摂取したカロリーを算出する点である。
【００５２】
図１０は食事前に撮影するフローを示している。基本的には実施例１の図３と同じでありステップＳ４０１からステップＳ４０３が実施例１のステップＳ１０１からステップＳ１０３までに対応しているため、ここの説明は省略する。
【００５３】
次のステップＳ４０４では撮影画像１または撮影画像２とデータベースに基づいて、被写体を認識する。ここでいうデータベースとは主に食器のデータベースのことである。なぜ食器のデータベースが必要かは後述するステップＳ４０６の説明時に行う。
【００５４】
次のステップＳ４０５とステップＳ４０６で、前記認識結果に基づいて、体積を算出すべき被写体の部分を２箇所決定している。具体的な例を図１２に示す。図１２は茶碗に盛られた白米の例であるが、実施例１と異なる点は白米の量である。実施例１では白米は茶碗の中におさまっていたが、本実施例では茶碗よりも高く盛られている。このため茶碗の中に食品があり、更に茶碗の外側にも食品がある例である。この場合は実施例１で説明したように茶碗の直径と高さを求めて茶碗の体積を算出する必要がある。これがステップＳ４０５で決定する部分Ａに相当する。また、茶碗からはみ出た白米の高さと茶碗の直径から白米の体積を算出する必要がある。これがステップＳ４０６で決定する部分Ｂに相当する。この場合、この食器が茶碗なのか、実は深さがない皿状の食器なのかは、撮影画像１や撮影画像２からはわからない。よってこの食器がどのような食器なのかをデータベースであらかじめ知っておく必要がある。そのためにステップＳ４０４でデータベースが必要となる。
【００５５】
そして、ステップＳ４０７とステップＳ４０８で食品と食器の距離を各々算出する（算出方法は実施例１や実施例２で説明したものと同様である）。次にステップＳ４０９にて茶碗の体積（≒茶碗の中にある白米の体積）と茶碗からはみ出ている白米の体積を合算して最終的な体積として算出する。
【００５６】
最後のステップＳ４１０では、算出した体積データを前記記憶部１１３に保存する。これは次に説明する食後の残した食品量を考慮して最終的に摂取したカロリーを算出するためである。ここまでで食前の食品の体積が算出できた。
【００５７】
次に図１１に示すように食後にもう一度同じように撮影し、食後の残した食品の体積を算出する。フローのほとんどは図１０と同じであるため、図１０とは異なる部分のステップＳ４１５とステップＳ４１８とステップＳ４１９について説明する。
【００５８】
食前の例では図１２に示すように茶碗よりも白米が高く盛られていたが、食後は図１３（Ａ）に示すように白米が減って、白米の高さが茶碗のフチの高さよりも低くなったとする。
【００５９】
ステップＳ４１５ではこのときの体積を算出すべき被写体の部分Ｃを決定する。この前記部分Ｃは残った白米の体積である。具体的な算出方法は、図１３（Ｂ）に示すように、上から撮影した時の茶碗の上端（フチ）での直径と残った白米と茶碗の境界の直径と、横から撮影した時に予想される白米の高さに基づいて、白米の体積を算出する。前記予想される白米の高さを算出するために、横から見たときの茶碗の形状を球と近似する、もしくは三角錐形状と近似しても良い。このようにすることでステップＳ４１８で前記部分Ｃについて体積を算出することができる。このとき、上から撮影した時の撮影画像が撮影画像１、そして横から撮影したときの撮影画像が撮影画像２とする。撮影画像１における被写体までの距離１から算出できるのが茶碗の上端（フチ）の直径や、茶碗と白米の境界の直径に対応する。また撮影画像２における被写体までの距離２から算出できるのが白米の高さに対応する。
【００６０】
そして、ステップＳ４１９では、食前にステップＳ４０９で算出した白米の体積と、ステップＳ４１８で算出した白米の体積に基づいて、実際に摂取した白米の体積を算出する。具体的には、ステップＳ４０９で算出した白米の体積からステップＳ４１８で算出した白米の体積を引いた値が摂取した白米の体積である。これに白米の単位体積あたりのカロリーをかけることで摂取した白米のカロリーを算出することができる。
【００６１】
以上のような概略構成にすることで、従来の課題を解決したのが本発明である。
【００６２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６３】
１００  撮像システム、１０１  撮像装置、２００  成分分析装置、
３００  測距装置
【図１】
2018190259.tif 000003
【図２】
2018190259.tif 000004
【図３】
2018190259.tif 000005
【図４】
2018190259.tif 000006
【図５】
2018190259.tif 000007
【図６】
2018190259.tif 000008
【図７】
2018190259.tif 000009
【図８】
2018190259.tif 000010
【図９】
2018190259.tif 000011
【図１０】
2018190259.tif 000012
【図１１】
2018190259.tif 000013
【図１２】
2018190259.tif 000014
【図１３】
2018190259.tif 000015