(57)【要約】【課題】  食前および食後の画像を比較し、あらかじめ作成された食物成分表から摂取されたカロリーを算出することからなり、簡単な操作で自動的に食事の摂取量を正確にかつ短時間で計測して記録できる院内における食事摂取量を計測する方法を提供する。【解決手段】  食事の終了後、各人の食膳Ａをつぎつぎと撮像装置２内に収納することにより、デジタルカメラ８によって自動的に上方から食膳Ａが撮影される（step１）。食膳Aの画像から食器Bの部分だけが抽出される（step２）。食器Bについて、食器データベースから食器に関する情報が取得され、食器の種類等が特定される。さらに、各食器B上に残っている食物Cがそれぞれ抽出される（step３）。そして、各食物Cの残量の面積が算出される（step４）。最後に、各食器B上の食前の食物Cの面積と食後に残っている食物の面積とが比較され、両者の面積の差から摂取された食物Cのカロリー、及び栄養素が算出される。【選択図】        図４
2005070908.tif 000002
【特許請求の範囲】
【請求項１】
１)撮像装置でトレイ上の各食器に食物が載った一人分の食膳をその食前状態と食後状態についてそれぞれ撮像する。
２)食前状態の画像において前記トレイ上の各食器を抽出し、あらかじめ入力した食器データベースに照らして食器の種類とトレイ上の位置をニューラルネットワークに入力して判別する。
３)前記各食器画像上の食物部分だけを抽出し、食前と食後の食物部分の変化量を面積で求めたのち、あらかじめ作成した食物データベースに照らして摂取カロリーおよびビタミンなどの各種栄養素を算出する。
−上記工程を備えることを特徴とする院内用食事摂取量の計測方法。
【請求項２】
前記各食器の種類をニューラルネットワークで判別するとき、各食器上に載っている食物部分と食器部分の濃度値を比較し、一時的に食物部分の濃度値が食器部分の濃度値に一致するように画像を修正し、すなわち食器上の食物を一時的に消去し、この修正した画像であらかじめ撮影した食器のみの画像データデータに基づいて食器の種類を判別する請求項１記載の院内用食事摂取量の計測方法。
【請求項３】
前記食膳画像において前記各食器の一つをそれぞれ包含可能かつ最小面積の長方形又は円形などの所定形状にて一定間隔ごとに切り出し、各切り出し画像を各食器上の食物部分を食器の濃度値に一致する画像に修正して前記ニューラルネットワークに入力し、出力ユニットの反応値（出力値）が前記食器データベースを入力した際の反応値（出力値）に一致した場合に所定形状が食器登録時の完全な食器画像を含んだ切り出し画像であると判断し、食器およびその位置を抽出する請求項２記載の院内用食事摂取量の計測方法。
【請求項４】
前記ニューラルネットワークに入力する前記各食器の半径、縦および横の長さ（画素数）を、
１)２値化のためのしきい値を設定する。しきい値より大きいか小さいかで、”1”画素と”0”画素に分ける。
２)８近傍収縮処理を実施し、２値化画像のノイズ除去を行なう。
３)“1”画素が集合している（８近傍に”1”画素がある）部分にそれぞれラベル番号を付ける。
４)ラベル領域のx軸、y軸のそれぞれ最大値、最小値を求める。
５)上記４）にて求めた最大値、最小値から前記食器の半径、縦および横の長さを求める。
−によって行う請求項１〜３のいずれか記載の院内用食事摂取量の計測方法。
【請求項５】
前記各食器上からの食物の抽出を、
１)２５６色ビットマップファイルから前記食膳画像を取り出したのち、RGBの内、青色画像だけを取り出す。
２)しきい値を用いて前記青色画像を２値化する。すなわち、ａ）しきい値以上の画素を“1”画素（食物部分）とする。ｂ）しきい値より小さい画素を“0”画素（背景部分）とする。
３)８近傍収縮処理を行なって前記青色画像内のノイズを除去する。収縮回数を１〜１００とする。
４)ラベル処理を行なう。すなわち、ａ）“1”画素を探索する。ｂ）探索した“1”画素に、現在のラベル番号を付ける。ｃ）現在のラベル番号の８近傍に“1”画素があれば、その画素に同じラベル番号を設定する。
５)各々のラベル領域の中心位置を求め、求めたラベル領域ごとに、領域の位置の最大値および最小値を求める。
−によって行う請求項１〜３のいずれか記載の院内用食事摂取量の計測方法。
【請求項６】
前記摂取量の算出を、
１）食物の残量が１００％の場合のカロリーＡcalと面積（画素数）Ｓを算出する。
２）食後における食物の残りを各食器毎に抽出する。
３）食物の残り部分の面積（画素）ｓを算出する。
４）食器毎の摂取カロリーａは下記の式で算出する。
ａ cal=｛１−ｓ/Ｓ｝×Ａ cal
−によって行う請求項１〜３のいずれか記載の院内用食事摂取量の計測方法。
【請求項７】
算出した食事摂取量を電子化して各患者ごとにデータベースに記録し、管理に使用する請求項１〜６のいずれか記載の院内用食事摂取量の計測方法。
【請求項８】
正方形や長方形など所定形状のトレイ上に複数の食器を配置した状態の食膳を出し入れ可能な筐体状撮像装置と同撮像装置に接続したパーソナルコンピュータとを備えた計測システムであって、
前記撮像装置内には複数方向から画像を撮像するためのデジタルカメラと照明装置が配備され、同デジタルカメラにより撮影された食膳の画像が前記パーソナルコンピュータに自動的に取り込まれ、
前記パーソナルコンピュータは、撮影した画像の２値化による食器形状取得手段、ニューラルネットワークによる食器確定手段、食器上からの食物抽出手段および食事摂取量の計算手段を備え、
前記の食器確定手段は食器データベースに、また前記の食事摂取量の計算手段は食事献立などの食物データベースに接続可能に構成されていることを特徴とする院内用食事摂取量の計測システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、病院内や介護施設内など（以下、単に院内という）において入院患者や高齢者などが食事を摂取した際の摂取量を計測する方法と計測システムに関する。
【背景技術】
【０００２】
現在、例えば入院患者の食事管理に関する一般的な方法は、個々の患者に対し、栄養士が食事の食前状態と患者が食事を終えた食後状態を目で確認し、食物成分表と照らし合わせて食事の摂取量を測定している。したがって、測定基準は目分量であり判定者（通常は栄養士）によってばらつきがあり一定しているとはいえない。また、入院患者数および食事のメニュー数、さらには、患者ごとに異なる食事摂取量と、それらを記録として残す作業を考慮すると、膨大な手間と時間が費やされている。そのため、これらの作業を栄養士に代わって機械で計測・記録したいという病院関係者の強い要望がある。
ニューラルネットワークに関する先行技術がある（例えば、特許文献１参照）。
【特許文献１】特開平１１−９６４３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
院内における入院患者の食事管理方法は、上記したように栄養士が患者に食膳を配膳する前の状態と患者が食事を終えた後の状態の２つの状態を目で確認し、食物成分表と照らし合わせて、個々の患者毎の摂取量を計測している。
【０００４】
こうした現状の食事摂取量計測に関する問題点は、患者が摂取した食事の量を計測する際に、栄養士が目視で食物の残量から患者の食事摂取量を決定している点である。このため、測定値はあいまいで測定基準が栄養士によって異なる。また、図２０に示すように個々の患者の食事をすべて栄養士の目で計測するために作業効率も低い。さらに、患者個人の計測データの管理において電子化されていないなど、種々の問題点がある。
【課題を解決するための手段】
【０００５】
本発明は上記した従来の食事管理における問題点を解決するためになされたもので、その基本コンセプトは、食前および食後の画像を比較し、あらかじめ作成された食物成分表から摂取されたカロリーを算出することからなり、簡単な操作で自動的に食事の摂取量を正確にかつ短時間で計測して記録できる院内における食事摂取量を計測する方法とその計測システムを提供しようとするものである。
【０００６】
本発明に係る計測方法および計測システムの基本コンセプトは、食前および食後の画像を比較観察し、患者等が摂取したカロリーを算出するものである。本計測システムの処理の流れは、図４に示すように撮像装置で食膳を撮影後、トレイから食器部分および食物部分をそれぞれ抽出し、つぎに食前と食後における食物部分の画像の変化量を面積で計測する。本計測システムでは、トレイ画像から個々の食器を瞬時（２〜３秒）に特定するためにニューラルネットワーク（以下、NNともいう）を応用して用いている。また、食器画像からの食物画像の抽出には、ラベリングと８近傍収縮処理などの画像処理を併用している。そして、食前後の食物の画像の変化量を面積で評価し、食物データベースとリンクして摂取カロリーを算出するものである。
【０００７】
上記の目的を達成するために本発明の請求項１に係る計測方法は、
１)撮像装置でトレイ上の各食器に食物が載った一人分の食膳をその食前状態と食後状態についてそれぞれ撮影する、
２)食前状態の画像において前記トレイ上の各食器を抽出し、あらかじめ入力した食器データベースに照らして食器の種類をニューラルネットワークに入力して判別する、
３)前記各食器画像上の食物部分だけを抽出し、食前と食後の食物部分の変化量を面積で求めたのち、あらかじめ作成した食物データベースに照らして摂取カロリーを算出する
−上記の複数の工程を備えたことを特徴としている。
【０００８】
請求項１記載の院内用食事摂取量の計測方法によれば、各人の食事摂取量を一定の基準の下に正確に計測でき、しかも短時間で各人の食事摂取量を自動的にかつ正確に計測できる。さらに、一人一人の食事摂取量のデータを電子化して容易に管理できる。
【０００９】
請求項２に記載のように、
前記各食器の種類をニューラルネットワークに入力して判別（データベースに登録されてある各食器に適した一定の間隔で食膳画像から所定の画像を切り出し、その切り出し画像から抽出された形状をニューラルネットワークに入力する。食器データベースシステムより取得した情報をニューラルネットワークに入力した場合の反応値とニューラルネットワークの反応値が食器登録時と同様に最大発火した場合、その切り出し画像が目的の食器を含むものと判断される。すなわち、ニューラルネットワークによって出力された値のうち、最も高い値を出力したパターンに相当する食器が、入力された食器と確定される。それにより食器の種類が判別され、その位置も特定される。）するとき、各食器上に載っている食物部分と食器部分の濃度値を比較し、一時的に食物部分の濃度値が食器部分の濃度値に一致するように食器画像を修正し、この修正した画像であらかじめ撮影した食器のみの画像データに基づいて食器の種類を判別する。
【００１０】
請求項２記載の院内用食事摂取量の計測方法によれば、一人当たりの食事摂取量等に関する計測結果を２〜３秒程度の極めて短い時間内に算出できるうえに、撮影した画像がやや不鮮明、あるいは食器の一部が重なっても食器をその位置も含めて正確に特定できるから、多数の食膳をデジタルカメラで瞬時に撮影し、食器ごとの食物の摂取量を計測できる。
【００１１】
請求項３に記載のように、
前記食膳画像において前記各食器の一つをそれぞれ包含可能かつ最小面積の長方形又は円形などの所定形状にて一定間隔ごとに切り出し（一部の切り出し量のオーバラップは許容し）、各切り出し画像を各食器上の食物部分を食器の濃度値に一致する画像に修正して前記ニューラルネットワークに入力し、出力ユニットの反応値（出力値）が前記食器データベースを登録した際の反応値（出力値）にほぼ一致した場合に食器を抽出することができる。
請求項３記載の院内用食事摂取量の計測方法によれば、食物の載っていない状態の画像に修正して食器を特定するから、２〜３秒の短時間で食器の種類を確実に特定できる。
【００１２】
請求項４に記載のように、
前記ニューラルネットワークに入力する前記各食器の半径、縦および横の長さ（画素数）を、
１)２値化のためのしきい値を設定する。しきい値より大きいか小さいかで、”１”画素と”０”画素に分ける。
２)８近傍収縮処理を実施し、２値化画像のノイズ除去を行なう。
３)“１”画素が集合している（８近傍に“１”画素がある）部分にそれぞれラベル番号を付ける。
４)ラベル領域のｘ軸、ｙ軸のそれぞれ最大値、最小値を求める。
５)上記４）にて求めた最大値、最小値から前記食器の縦および横の長さを求める。
−上記の複数の工程によって行うことが好ましい。
【００１３】
請求項４記載の院内用食事摂取量の計測方法によれば、トレイ上で食器が移動して食前の位置からずれている場合（例えば、トレイからはみ出している場合や他の食器の一部が重なっている場合）、いいかえれば、切り出した部分の画像に他の食器の一部が浸入して目標とする食器の画像に対しノイズとして影響している場合においても、食物抽出時に使用した切り出し部分の画像に対し数回の収縮処理を用いる、ノイズである小さな孤立領域を消去することができ、また、非線形識別能力を有するニューラルネットワークにより食器の識別判断をしていることから、食器の位置を正確に特定できる。これにより、以後の食器上における食物の面積を正確に算出できる。
【００１４】
請求項５に記載のように、
前記各食器上からの食物の抽出を、
１)２５６色ビットマップファイルから前記食膳画像を取り出したのち、RGB（赤・青・緑）のうち、例えば、青色画像だけを取り出す。
２)しきい値を用いて前記青色画像を２値化する。すなわち、ａ）しきい値以上の画素を“１”画素（食物部分）とする。ｂ）しきい値より小さい画素を“０”画素（背景部分）とする。
３)８近傍収縮処理を行なって前記青色画像内のノイズを除去する。収縮回数を１〜１００（実験では最適値は４）とする。
４)ラベル処理を行なう。すなわち、ａ）“１”画素を探索する。ｂ）探索した“１”画素に、現在のラベル番号を付ける。ｃ）現在のラベル番号の８近傍に“１”画素があれば、その画素に同じラベル番号を設定する。
５)各々のラベル領域の中心位置を求め、求めたラベル領域ごとに、領域の位置の最大値および最小値を求める。
−上記の複数の工程によって行うことができる。
【００１５】
請求項５記載の院内用食事摂取量の計測方法によれば、食物が固形物である場合に限らず、流動物であっても食物の面積を正確に特定でき、とくに食物の残量の特定に有効性を発揮する。
【００１６】
請求項６に記載のように、
前記摂取量の算出を、
１）食物の残量が１００％の場合のカロリーＡcalと面積（画素）Ｓを算出する。
２）食後における食物の残りを各食器毎に抽出する。
３）食物の残り部分の面積（画素）ｓを算出する。
４）食器毎の摂取カロリーａは下記の式で算出する。
ａcal=｛１−ｓ/Ｓ｝×Ａcal
−上記の複数の工程によって行うことができる。
【００１７】
請求項６記載の院内用食事摂取量の計測方法によれば、瞬時に食物の残量を算出できるから、多人数の食事の摂取量を短時間で正確に算出できる。
【００１８】
請求項７に記載のように、
算出した前記食物の摂取量を電子化して各患者ごとにデータベースに記録し、患者の短期あるいは長期の食事管理に使用することができる。
【００１９】
請求項７記載の院内用食事摂取量の計測方法によれば、病院や高齢者養護施設などで多人数の栄養管理を簡単にしかも素早く行え、栄養師などの管理者の負担を大幅に軽減できる。
【００２０】
請求項８記載の院内用食事摂取量の計測システムは、正方形や長方形など所定形状のトレイ上に複数の食器を配置した状態の食膳を出し入れ可能な筐体状撮像装置と同撮像装置に接続したパーソナルコンピュータとを備えた計測システムであって、
前記撮像装置内には１つ以上のデジタルカメラと照明装置が配備され、同デジタルカメラにより撮像された複数の食膳の画像が前記パーソナルコンピュータに自動的に取り込まれ、前記パーソナルコンピュータは、撮像した画像の２値化による食器形状取得手段、ニューラルネットワークによる食器確定手段、食器上からの食物抽出手段および食事摂取量の計算手段を備え、前記の食器確定手段は食器データベースに、また前記の食事摂取量の計算手段は食事献立などの食物データベースに接続可能に構成されていることを特徴とする。
【００２１】
請求項８記載の計測システムによれば、上記の計測方法を確実に実施することができ、しかもシステムが比較的簡単で低コストで達成できる。
【発明の効果】
【００２２】
本発明に係る院内用食事摂取量の計測方法およびその計測システムには、以下の効果がある。
【００２３】
・各人の食事摂取量を正確に計測できる。
・一人一人の食事摂取量のデータを容易に管理できる。
・短時間で各人の食事摂取量を自動的にかつ正確に計測できる（５秒以内に院内において食膳撤去に許容される時間）。
・一定の基準の下に食事摂取量を測定できる。
・長期的な入院患者の栄養の管理が可能である。
・独居老人などの遠隔地居住者に対しても（ＬＡＮ或いは電話回線による通信を併用することにより）食事の指導が可能である。
【発明を実施するための最良の形態】
【００２４】
以下に、本発明に係る院内用食事摂取量の計測システムについて、病院内の入院患者用食事における食事摂取量の計測システムに適用した実施例を図面に基づいて説明し、併せて計測方法についても説明する。
【実施例１】
【００２５】
図１は本発明の計測システムの実施例を示す正面図で、図１のように計測システム１は食膳Ａの撮像装置２とパーソナルコンピュータ（以下、パソコンという）３とから構成されている。図２に示すように撮像装置２は前面を開放した筐体４を備え、この筐体４の前面開放部には蓋板５が開閉可能に配備されている。蓋板５は下端部中央の持ち手５ａをもって上方にスライドさせることによって、筐体４内の上端空間部４ａに水平にスライドして収納されるようになっている。
【００２６】
筐体４内の底部には、食膳ＡがトレイTごと収納可能である。食膳Ａは通常、略正方形のトレイTとこのトレイT上に載置される複数の種類の食器Ｂを備え、各食器Ｂには調理済みの食物Ｃが収容もしくは載せられている。また、筐体４内の天井４ｂの下面の４隅には、白色のくもり電球（２５Ｗ）６をそれぞれ取り付けている。さらに、食膳Ａの撮影時に、電球６の照射による反射光の影響を最小にするため、図３（ａ）に示すような半透明なアクリル板製の拡散板７を、図３（ｂ）のように４個の電球６の下方を覆うように装着している。この結果、図３（ｃ）のような反射光が図３（ｄ）のように最小限化された。
【００２７】
天井４ｂの中央部付近（やや後側寄り）には、撮影用のカラーデジタルカメラ（解像度：３２０×２４０ピクセル）８を下向けに取り付け、またソフトウエア部分を格納するパソコン３への接続はＵＳＢポート（図示せず）を使用している。なお、蓋板５は筐体２の前面下端部両側の磁石９に吸着されて閉鎖状態に維持される。
【００２８】
図４は本実施例の計測システム１の主要部（ソフトウエア部分）の全体構成における処理の手順を示すフローチャートである。
【００２９】
本例の計測システム１では、後述するように、まず、食事前の一つの食膳Ａを上記の撮像装置２内に収納することにより、複数のデジタルカメラ８によって自動的に上方から食膳Ａが撮影される（step１’）。食膳Aの画像から食器Bの部分だけが抽出される（step２’）。食器Bについて、食器データベースから食器に関する情報が取得され、食器の種類等が特定される。つづいて、各食器B上の食物Cがそれぞれ抽出され（step３’）、各食物Cの面積があらかじめデータとして算出される（step４’）。
【００３０】
食事の終了後、各人の食膳Ａをつぎつぎと撮像装置２内に収納することにより、デジタルカメラ８によって自動的に上方から食膳Ａが撮影される（step１）。食膳Aの画像から食器Bの部分だけが抽出される（step２）。食器Bについて、食器データベースから食器に関する情報（横・縦の寸法（幅、高さ）、半径、２値化しきい値など）が取得され、食器の種類等が特定される。さらに、各食器B上に残っている食物Cがそれぞれ抽出される（step３）。そして、各食物Cの残量の面積が算出される（step４）。ここまでは、上記のstep１’〜step４’と全く共通する。最後に、各食器B上の食前の食物Cの面積と食後に残っている食物の面積とが比較され、両者の面積の差から摂取された食物Cの量がカロリーで算出され、出力される（step５）。カロリー計算の際に、あらかじめ入力されている食物データベースから各食器B上の食物Cの種類や個数およびカロリーなどに関するデータが取得される。なお、直前のメニュー登録においてはあらかじめ食前の食膳Aについて、使用される食器の種類や数ならびに各食器に載せられる食物の種類や数ならびにカロリーなどを各種データベース情報として取得しておく。データベースはパソコン３に存在し、階層構造としてシステムにより管理される。図４のフローチャートではメニュー登録におけるstep１’〜step４’を省いている。
【００３１】
また計測システム１の主要部は、２値化による食器形状取得手段（サブシステム）１１、ニューラルネットワークによる食器確定手段（サブシステム）１２、食器上からの食物抽出手段（サブシステム）１３、食事摂取量計算手段（サブシステム）１４に大分類される。これらのサブシステム１１〜１４はメインシステムとリンクしてプログラムとしてパソコン３に格納される。そして、食器確定手段１２には食器データベース１５が、また摂取量計算手段１４には食物（本例では食事の献立）データベース１６が、それぞれ付属システムとして接続されている。また、それらのサブシステムはメインシステムとリンクされるプログラムとしてパソコン３のハードデスクに格納され、食事のメニュー登録から食事摂取量の計測判定までを、パソコン３によるオンライン処理にて可能にしている。なお、摂取カロリーの算出には食事トレイ全体での画像ではなく、食器ごとに残留する食物の画像を食前画像とを面積上で比較することによって実施される。
【００３２】
以下に、上記の各サブシステム１１〜１４について詳しく説明する。
【００３３】
◎食器確定のための前処理である食物除去処理
食器上に食物が載った状態で食器の抽出処理を行ったところ、食器位置の特定の成功率が低いとう問題が生じた。この理由として、食膳画像を２値化処理する際に、食物部分がノイズになることが挙げられる。そこで、食膳の２値化画像から正しい食器画像を切り出してニューラルネットワークに入力するために、切り出し画像の食物部分を除去する必要がある。以下に、食物除去処理の流れを説明する。図１６は食物除去のアルゴリズムを示す食膳２値化画像から食物部分を除去する処理を図解した説明図、図１７同フローチャートである。図１８（ａ）はニューラルネットワークへの食器の正しい入力画像を示し、図１８（ｂ）は食物がノイズになっている食器の入力画像を示す。
【００３４】
食物除去処理の方法は、図１６に示すように、NN入力画像の元となる食膳２値化画像の全画素を探索する際に、食器上の食物があると推測されるX座標において食物部分のＹ座表の最小値、最大値を検出し（図１６（ａ））、最小値から最大値に当たる部分を黒画素で埋める（図１６（ｂ））。詳しくは、切り出し画像を上から下へ走査していき、食物部分の上端の座標と下端の座標を検出し、それらの座標の間を黒画素で埋めるという作業を、全てのX座標において行いながら、NN入力画像を作成する（図１６（ｂ））。上記した処理の流れは図１７のフローチャートに示すとおりである。ここで、食器は黒（０画素）で、トレイと食物部分は白（１画素）である。
【００３５】
なお、ニューラルネットワークへの入力画像をモノクロ濃淡画像からカラー画像に変更し、さらに２値化のためのしきい値設定においても、モノクロ濃淡値によるしきい値設定から、明度・色相値によるしきい値設定に変更した。これらの変更により、上記の食膳画像の２値化画像が鮮明になった。
【００３６】
そこで、上記の食物除去処理を導入したプログラムと、導入前のプログラムとを使用して食器位置確定の試験を行った。結果は、図１９に示すとおりで、図１９（ａ）はプログラム変更後のもの、図１９（ｂ）はプログラム変更前のものである。なお、図１９のサークルは本計測システム食器位置と断定した部分を表している。図１９（ａ）から確認されるように、食物が食器上に載っている場合でも食器位置を正確に確定している。この理由は、食器抽出の際に、ニューラルネットワークに入力される切り出し画像の食物部分が上記食物除去アルゴリズムにより食器上から一時的に除去されているので、ニューラルネットワークへの食器登録状態と同じ条件になるからである。したがって、切りだし画像内の食器画像はノイズを含まない画像としてＮＮ認識される。
【００３７】
◎トレイ上からの食器の確定
ここでは、食器確定サブシステム１１の基本構成を説明する。本サブシステム１１は食器データベースシステム１５より得られる食器の情報を用いて、食膳の画像からトレイ上の食器を確定する。なお、食器Ｂの情報は、図８に示すように、通常、トレイに載っている食器の数・食器の種類・食器の形状・２値化されたしきい値である。
【００３８】
食器確定用NNの構造は、図５に示すように、３層の階層型である。このNNの入力層には、食器の外縁を取り出す際に使用するしきい値、食膳画像における食器の半径、縦および横の長さ（画素数）、食器の濃淡画像が、それぞれ食器データベースより入力値として入力される。また、出力ユニット数は登録された食器の種類の数に対応する（予め出力ユニットに食器1、食器2…、食器Nと対応づけておく）。学習アルゴリズムは下記の数１で示される改良型ＢＰ法（与えられた入力パターンの結果である出力パターンが、正しい結果（教師値）に近づくように確率的降下法によりウェイトを修正し誤差を減少させていく学習アルゴリズム）を使用する。NNによって出力された値のうち、最も高い値を出力したパターンに対応する食器が、入力された食器と確定され、抽出される。
【００３９】
その処理流れは、まずデジタルカメラで食器画像を取り込み、その画像の２値化処理を行う。つぎに、処理部分と食器データベースシステム間で食器の種類などに関する情報を取得する。この際の食器の情報とは、トレイに載っている食器の数、食器の形状、大きさ、２値化のしきい値などを示している。なお、図６は食膳Ａの撮影画像がパソコン３のディスプレイに表示されたメインの画面を示す。また、図９はトレイ上の食器の画像とこれを２値化した画像を示す。
【数１】
2005070908.tif 000003
ここで、ΔＷはウエイトの修正量、ε、α、βは定数、δは一般化誤差、ｏは出力をそれぞれ示す。
【００４０】
図７は上記したトレイ上からの食器の抽出処理の流れを順に示すフローチャートで、最終的に下記の切り出し画像によってトレイ上における食器の位置も特定される。なお、図８は食器データベースの一つの食器に関するデータを表示した画面である。
【００４１】
図１１に示すように、食膳の全体画像から食器を取り囲み可能な最小面積の所定形状（本例では長方形）の枠で、一定間隔ごとに位置をずらせて画像を切り出す。切り出した画像から抽出された形状および画像をニューラルネットワークに入力する。食器登録時の反応に切り出し画像を入力した場合の反応とがほぼ一致したときに、切り出し画像内に食器が包含されたものと判断される。こうして食器の種類などが、その位置とともに確定される。
【００４２】
ところで、本発明の計測システムでは食器の確定にニューラルネットワークを採用したが、それは以下の理由による。すなわち、撮影画像の全ての画素を画像処理により探索して食器を確定する方法が考えられる。しかし、本計測システム１では、患者一人当たりの食事摂取量等に関する計測結果を２〜３秒程度の極めて短い時間内に算出して表示する必要がある。また、多数の食膳をデジタルカメラで瞬時に撮影するため、撮影した画像がやや不鮮明になるおそれがあるが、NNを使用すれば、画像が多少不鮮明な場合でも充分に対応できる。そこで、多くの演算時間を要する画像処理ではなく、部分切り出し画像を用いたニューラルネットワークによる食器の種類確定方法を採用した。
【００４３】
また、NNに入力する食器の半径、縦および横の長さ（画素数）は、以下のようなアルゴリズムによって求められる。
【００４４】
(a)  ２値化のためのしきい値を設定する。しきい値より大きいか小さいかで、“１”画素と“０”画素に分ける。
(b)  ８近傍収縮処理を実施し、２値化画像のノイズ除去を行なう。
(c)  “１”画素が集合している（８近傍に“１”画素がある）部分にそれぞれラベル番号を付ける。
(d)  ラベル領域のｘ軸、ｙ軸のそれぞれ最大値、最小値を求める。
(e)  求めた最大値、最小値から食器の半径、縦および横の長さを求める。
なお、図１２（ａ）は本実施例において使用される１０種類の食器を示す平面図、図１２（ｂ）はトレイ上における６種類の食器の配置例を示す平面図である。
上記の１０種類の食器を組み合わせてトレイ上に配置した５９通りのパターンからなる画像を用いてＮＮに入力して抽出試験を行ったが、５９通りの全ての配置について食器を特定できた。
【００４５】
◎食器から食物の抽出
本計測システム１において、食物の計測を行なう場合の前処理として食器から食物を抽出する処理が必要となる。食物の抽出処理のアルゴリズムを以下に示す。
【００４６】
２５６色ビットマップファイルから食膳画像を取り出し、RGB（赤・緑・青）のうち、例えば青色画像だけを取り出す。次に、しきい値を用いて画像を２値化する。
【００４７】
（a）しきい値以上の画素を“１”画素とする。
（b）しきい値より小さい画素を“０”画素とする。
【００４８】
ここで、“１”画素は食物の部分に該当し、“０”画素は他の背景部分になる。つぎに、画像内のノイズを除去するために８近傍収縮処理を行なう。この収縮処理に関しては、収縮回数を１回から１００回までのうちから任意に決めることが可能であり、実験にて試行錯誤的に最適な収縮回数を４としている。そして、８近傍収縮処理の後に以下のラベル処理を行なう。
【００４９】
(a)“１”画素を探索する。
(b)探索した“１”画素に、現在のラベル番号を付ける。
(c)現在のラベル番号の８近傍に“１”画素があれば、その画素に同じラベル番号を設定する。
【００５０】
その後、各々のラベル領域の中心位置を求める。最後に、求めたラベル領域ごとに、領域の位置の最大値、最小値を求める。
【００５１】
図１３は上記した食器上からの食物抽出処理の流れを順に示すフローチャートである。
【００５２】
◎食物の摂取量の計測
面積による摂取量判定
NNによる食物計測を検討したが、実務上多種多様な食物の残部分の画像には対応できないことが推測される。例えば、食物の回転に対しては、回転補正を抽出画像に施すか回転不変な情報（モーメント、面積など）に変換する必要があるため、かなり複雑な処理工程になると考えられる。そこで、本発明の計測システム１では、残った食物の面積（画素数）を計測する方法を採用して計測システム１の計測サブシステム１４の主体とした。そのアルゴリズムは、以下のとおりである。
【００５３】
(a)  食物残量100%に対するカロリーＡcalと面積（画素数）Ｓを算出する。
(b) 食後の残った食物を食器から抽出する
(c)  残った食物の面積（画素数）ｓを計算する。
(d)  食器毎の摂取カロリーａを下記の式で算出する。
ａcal=（１−ｓ/Ｓ）×Ａ cal
【００５４】
◎確認試験
ここでは、本発明の計測システム１を用いた食器画像の確定試験と、食器からの食物の抽出試験と、さらに食事摂取量の計測試験とを実施したので、以下にそれぞれの性能を検討する。
【００５５】
1)食器の確定試験
ここでは、上記で述べたＮＮによる食器確定法による食器確定試験を行なう。食器の情報は、食器データベースシステムとのプロセス間通信により獲得する。図８に食器確定サブシステムのメニュー画面を示す。また、表１にＮＮの学習および評価条件を示す。
【００５６】
【表１】
2005070908.tif 000004
同試験では１０種類の食器を５９通りに組み合わせた画像を使用し、食器についての確定試験を行なった。トレイ上の食器画像の例を図９に示す。また、表２にNNに入力する食器情報の例を示す。
【００５７】
【表２】
2005070908.tif 000005
試験を行った結果、５９パターン全ての食器の種類や位置等を確定することが可能であることが確認された。しかしながら、食器の種類の特定には成功しても正確な食器位置の特定を行なうことが出来ない場合があった。この原因は、切り出した部分の画像に他の食器の一部が浸入することがあるので、これが目標とする食器の画像に対し、ノイズとして影響しているものと推測される。一方、本発明の計測システムで１は、食物抽出時に使用した切り出し部分の画像に対し数回の収縮処理を用いるようにしたことにより、ノイズである小さな孤立領域を消去することができ、食器の位置も正確に特定できた。
【００５８】
図１０（ａ）に正確な位置で食器を抽出できた例を、図１０（ｂ）に正確な位置で食器を抽出できなかった例を示す。ただし、これらの成功例および失敗例は食器の上に食物の載っていない状態で行った試験である。
【００５９】
そこで、食器上に食物を載せた状態で食器の抽出処理を行ったところ、上記したとおり、食器位置の特定の成功率が低いとう問題が生じたので、食膳の２値化画像から正しい食器画像を切り出してニューラルネットワークに入力するために、プログラムに切り出し画像において食器上の食物部分を除去するアルゴリズムを組み込む変更を行った。そしてプログラム変更後とプログラム変更前とで比較試験を行った。成功例（図１９（ａ））は、食器上の食物を食物除去アルゴリズムにより一時的に除去してノイズが消去されているので、ＮＮへの食器登録状態と同じ条件になって食器位置を正確に確定できたが、失敗例（図１９（ｂ））では食物部分がノイズとなっているため、ＮＮに入力した際に食器位置が正確に認識されていない。
【００６０】
2)食物の抽出試験
図１４（ａ）に５分割した魚の切り身に対して抽出処理を行った結果を示す。また、図１４（ｂ）に流動食に対する抽出処理結果を示す。このように、８近傍収縮処理とラベリングによる残食物の抽出についてアルゴリズムの有効性が確認できた。
【００６１】
3)食事摂取量の計測試験
ここでは、ＮＮによる摂取量計測と面積による摂取量計測との試験を行なった。ただし、ここでのＮＮによる計測試験は面積による計測試験の比較対象として位置付ける。
【００６２】
(1) NNによる摂取量判定
まず食器確定と同様なNNの構成で残った食物の画像を判定し、それに対応するカロリーを算出する方法を検討する。そのアルゴリズムを以下に示す。
(a)  典型的な食事摂取量をレベル分類（例えば、Level-1=0%,
Level-2=20%, Level-3=40%, …, Level-6=100%）し、食物残量100%に対するカロリーＡcalを算出する。
(b)  食後に残った食物を食器毎に抽出し、残食物レベルを確定する。
(c)  食器毎の摂取カロリーａは（２）式で算出する。
ａ cal=｛１−（確定レベルの％）／１００｝×Ａ cal
【００６３】
試験１では図１５（ａ）に示すように残量が0％、20％、60％、100％の4レベルに分類したダミーとんかつ（発砲スチロールで製作し、ベージュに着色）を使用する。この画像を使用して学習および識別実験を実施する。NNによる計測部では入力画像の特徴量の抽出法として、入力画像全体をメッシュで格子状に区切り、縦、横および斜めの方向から走査し、メッシュ内の濃淡情報の合計値を画像の特徴量としてNNに入力する。実験では、NNの学習画像をそれぞれのレベルで５個使用し、未学習の食物の画像をそれぞれ１０個使用した。未学習画像には位置ずれとわずかな回転ずれしたものを加えている。食物抽出のアルゴリズムの特性上、食物の位置ずれにNNの反応値は影響されないが、回転にはNNの反応値が低下するなどの影響が見られた。ただし、一部反応値が0.5を下回るNNユニットもあるが、全体の識別率は１００％であった。
【００６４】
つぎに、試験2においては、図１５（ｂ）に示す４レベルに分類した実物の炊飯米を使用し実験を行った。試験２の実験結果は97.5％であった。ただし、炊飯米の評価においては回転ずれの影響よりはむしろ、炊飯米が無い場合の食器底面反射光の影響が大きく、これが炊飯米が無いにもかかわらず白い炊飯米と識別されていた。ただし、ここでの実験ではサブシステムは食物のデータベースとプログラム的にリンクしていないので、式(2)を用いたカロリー計算まで算出せず、残食物のレベル分類に留めている。
【００６５】
(2) 面積による摂取量判定
サブシステム単独として動作させた結果は、NNによる残った食物のレベル分類とほぼ同等な性能（９７％）が得られた。また、その結果は、(1)の場合と同様に最終的な摂取カロリー計測ではなく、残った食物の画素数としている。実験条件は(1)と同様とする。
【図面の簡単な説明】
【００６６】
【図１】本発明の計測システムの実施例を示す正面図である。
【図２】図２（ａ）は撮像装置を示す斜視図で、蓋板の全開状態を表す。図２（ｂ）は撮像装置を示す斜視図で、蓋板の閉鎖途中の状態を表す。
【図３】図３（ａ）は反射光軽減用拡散板（フィルター）の平面図、図３（ｂ）は反射光軽減用拡散板を撮像装置２に装着した状態の斜視図、図３（ｃ）は反射光軽減用拡散板なしで食膳を撮影した画像図（トレイからの反射あり）、図３（ｄ）は反射光軽減用拡散板装着状態で食膳を撮影した画像図である（トレイからの反射減少）。
【図４】本発明の実施例に係る計測システム１の主要部（ソフトウエア部分）の全体構成における処理の手順を示すフローチャートである。
【図５】本発明の計測システムに適用するＮＮによる食器確定手段の主要部の構成を示すブロック図である。
【図６】本発明の計測システムにおいて食膳Ａの撮影画像がパソコン３のディスプレイに表示されたメインの画面である。
【図７】本発明の計測システムに適用したトレイ上からの食器の抽出処理の流れを順に示すフローチャートである。
【図８】食器データベースの一つの食器に関するデータを表示した画面である。
【図９】トレイ上の食器の画像とこれを２値化した画像とを示す図面である。
【図１０】図１０（ａ）は食器抽出試験において正確な位置で食器（食物なし）を抽出できた画像例を示す図面で、図１０（ｂ）は食器抽出試験において正確な位置で食器（食物なし）を抽出できなかった画像例を示す図面である。
【図１１】本発明の計測システムに適用したトレイ上からの食器抽出過程において食器を切り出し、それをＮＮへ入力する態様を示す画像である。
【図１２】図１２（ａ）は本発明の実施例に係る計測方法適用した１０種類の食器を示す平面図、図１２（ｂ）は本発明の実施例に係る計測方法に適用したトレイ上における６種類の食器の配置例を示す平面図である。
【図１３】本発明の実施例に係る計測方法に適用した食器の抽出処理の流れを順に示すフローチャートである。
【図１４】図１４（ａ）は本発明の実施例に係る計測方法に適用した５分割した魚の切り身に対して抽出処理を行った画像を示す図面、図１４（ｂ）は本発明の実施例に係る計測方法に適用した流動食に対して抽出処理を行った画像を示す図面である。
【図１５】図１５（ａ）は残量が0％、20％、60％、100％の4レベルに分類したダミーとんかつを示す平面図、図１５（ｂ）は残量が0％、20％、60％、100％の4レベルに分類した炊飯米を示す平面図である。
【図１６】本発明の実施例に係る計測方法に適用した食物除去のアルゴリズムを示す食膳２値化画像から食物部分を除去する処理を図解した説明図である。
【図１７】食物除去のアルゴリズムを示すフローチャートである。
【図１８】図１８（ａ）はニューラルネットワークへの食器の正しい入力画像を示し、図１８（ｂ）は食物がノイズになっている食器の入力画像を示す。
【図１９】図１９（ａ）は食器抽出試験において正確な位置で食器（食物あり）を抽出できたプログラム変更後の成功例を示す画像で、図１９（ｂ）は食器抽出試験において正確な位置で食器（食物あり）を抽出できなかったプログラム変更前の失敗例を示す画像である。
【図２０】従来の一般的な病院食をワゴンに搭載した状態の正面斜視画像を示す図面である。
【符号の説明】
【００６７】
１  計測システム
２  撮像装置
３  パソコン
４  筐体
５  蓋板
６  電球
７  拡散板（フィルター）
８  デジタルカメラ
【図２】
2005070908.tif 000006
【図４】
2005070908.tif 000007
【図７】
2005070908.tif 000008
【図１３】
2005070908.tif 000009
【図１６】
2005070908.tif 000010
【図１７】
2005070908.tif 000011
【図１８】
2005070908.tif 000012
【図１９】
2005070908.tif 000013
【図１】
2005070908.tif 000014
【図３】
2005070908.tif 000015
【図５】
2005070908.tif 000016
【図６】
2005070908.tif 000017
【図８】
2005070908.tif 000018
【図９】
2005070908.tif 000019
【図１０】
2005070908.tif 000020
【図１１】
2005070908.tif 000021
【図１２】
2005070908.tif 000022
【図１４】
2005070908.tif 000023
【図１５】
2005070908.tif 000024
【図２０】
2005070908.tif 000025