平成 13 年度
学士学位論文

医療用食事摂取量計測システムの開発に関する研究
Research on development of a measurement system
for food intake for medical treatment

学籍番号：1020314
氏名：服部 真一郎
指導教員：竹田史章 教授
年月日 ：2002 年 2 月 8 日所属：高知工科大学 竹田研究室

要旨
現在、入院患者の食事摂取量管理は食前状態と食後状態を栄養士が目で確認を行い、摂取量を計測･記録する方法を採用している。この計測方法は入院患者数、食事メニ
ュー数、患者ごとに異なる摂取量を考慮すると、栄養士は膨大な手間と時間を費やす。
さらに、計測基準は栄養士によって異なるため一定ではない。そこで、一定した計測と作業効率の向上を実現するため、ニューラルネットワークを核とする食事摂取量計
測システムの開発を提案する。これまでの研究では、食事摂取量計測用に開発したニューロ学習・識別システムを使用した食材残量識別実験を行ない、その有用性を示した。しかしながら、電球によるノイズの発生や、実データを使用していないなどの問題が残されている。本研究では、これまでの問題点を考慮し、提案システムの改良を行ない、システム性能の向上を図る。
キーワード：ニューラルネットワーク、ニューロ学習･識別システム、食器抽出、
食材面積、食材残量識別-i-

Abstract
The present meal management measures and records the amount of foodconsumption by using a dietitian’s eye investigation which compare food before
and after meal. This measurement method makes a dietitian spend a lot of time
because there are many inpatients and meal menus, and the amounts of foodconsumption differ in every patient. Since, a measurement standard is different
for every dietitian, then, the measurement system of the amount of food consumption
using the neural network is developed for the purpose of fixed measurement andimproved for working efficiency. Previous research executed the discernible experiment of
the food by neuro study-identification system which developed to measure the amount offood consumption, and it showed the usefulness. However, there are problems, such as anoise occurs from a light bulb and the data that used is not real food. In this research, inconsideration of the problem of previous research, a proposal system and a system
performance are improved.

Key word: Neural Network, Neuro Study-Identification System,
Extraction of Tableware, Areas of food ,Discernment Experiment of the Food

- ii -

目次
第1 章

1

はじめに

第2 章
これまでの研究
2.1.
病院の食事摂取量管理方法における問題点
2.2.
これまでの実験
2.2.1. ニューロ学習・識別システムによる食材残量識別実験
2.2.1.1. ニューラルネットワーク
2.2.2. 食器からの食材抽出実験
2.3.
これまでの問題点

2

第3 章
3.1.
3.2.

13

改良点
電球とトレイの検討
ノイズ除去

第4 章
システム構成4.1.
システム構成案
4.2.
動作フローチャート
4.2.1. 食膳画像取得
4.2.2. 食器抽出処理
4.2.3. 食材抽出処理
4.2.4. 摂取量計測
4.2.4.1. ニューロ学習・識別システムによる摂取量計測
4.2.4.2. 食材面積による摂取量計測
4.2.5. 摂取栄養素算出

21

第5 章
5.1.
5.2.
5.3.

食材残量識別実験
実験条件
実験結果
考察

34

第6 章

まとめ

45

第7 章

謝辞

46

第8 章

参考文献

47

- iii -

図目次
第2 章
図 2.1
図 2.2
図 2.3
図 2.4
図 2.5
図 2.6
図 2.7
図 2.8
図 2.9

配膳風景
アンケート内容
アンケート結果
ニューロンのモデル化
ニューラルネットワークの情報伝達
シグモイド関数
誤差逆伝播アルゴリズム
食材抽出結果光によるノイズ

第3 章
図 3.1
図 3.2
図 3.3
図 3.4
図 3.5
図 3.6
図 3.7
図 3.8
図 3.9
図 3.10
図 3.11
図 3.12
図 3.13
図 3.14

トレイの種類
ダミー魚の原画像
25W のくもりガラス球・ピンク色トレイを使用した食材抽出実験
25W のくもりガラス球・黒色トレイを使用した食材抽出実験
25W の透明ガラス球・ピンク色トレイを使用した食材抽出実験
25W の透明ガラス球・黒色トレイを使用した食材抽出実験
40W のくもりガラス球・ピンク色トレイを使用した食材抽出実験
40W のくもりガラス球・黒色トレイを使用した食材抽出実験
40W の透明ガラス球・ピンク色トレイを使用した食材抽出実験
25W の透明ガラス球・黒色トレイを使用した食材抽出実験
拡散板材料（アクリル板）
拡散板完成図
撮影筐体内に拡散板を設置した状態
拡散板の効果

第4 章
図 4.1
図 4.2
図 4.3
図 4.4
図 4.5
図 4.6
図 4.7
図 4.8
図 4.9
図 4.10
図 4.11
図 4.12システム構成図システムの概観
動作フローチャート
食膳画像
食器抽出処理食器の 2 値画像
食材抽出結果 1（エビチリソース）
食材抽出結果 2（ダミー魚）
ニューロ学習・識別システムの初期画面
ニューラルネットワーク構造設定画面
データファイル作成画面
データベースの更新画面- iv -

図 4.13
図 4.14
図 4.15
図 4.16
図 4.17
図 4.18
図 4.19
図 4.20

学習用データ抽出画面
スラブ値ファイル作成画面
学習ファイル作成画面
ニューラルネットワーク学習画面
学習の流れ
識別処理画面
識別処理の流れ
食材画像

第5 章
図 5.1
図 5.2
図 5.3
図 5.4
図 5.5
図 5.6
図 5.7
図 5.8
図 5.9
図 5.10
図 5.11
図 5.12
図 5.13
図 5.14食器配置の違いによる画像データの違い（残量 60%の画像データでの例）
食器の配置
炊飯米残量 0%の学習用データ
炊飯米残量 20%の学習用データ
炊飯米残量 40%の学習用データ
炊飯米残量 60%の学習用データ
炊飯米残量 80%の学習用データ
炊飯米残量 100%の学習用データ
炊飯米残量 0%の学習用データ
炊飯米残量 20%の学習用データ
炊飯米残量 40%の学習用データ
炊飯米残量 60%の学習用データ
炊飯米残量 80%の学習用データ
炊飯米残量 100%の学習用データ

-v -

表目次
第2 章
表 2.1
表 2.2
表 2.3
表 2.4
表 2.5
表 2.6

残量 0%画像の識別結果
残量 20%画像の識別結果
残量 40%画像の識別結果
残量 60%画像の識別結果
残量 80%画像の識別結果
残量 100%画像の識別結果

第5 章
表 5.1
表 5.2
表 5.3
表 5.4
表 5.5
表 5.6
表 5.7
表 5.8
表 5.9
表 5.10
表 5.11
表 5.12

残量 0%の識別画像結果
残量 20%の識別画像結果
残量 40%の識別画像結果
残量 60%の識別画像結果
残量 80%の識別画像結果
残量 100%の識別画像結果
残量 0%の識別画像結果
残量 20%の識別画像結果
残量 40%の識別画像結果
残量 60%の識別画像結果
残量 80%の識別画像結果
残量 100%の識別画像結果- vi -

第1 章

はじめに

本研究では、人の手に代わり機械による食事の摂取量計測を実現するため、食事摂取量計測システムの開発を提案する[1]〜[4]。本研究の背景として、現在の病院内における入院患者の食事摂取量管理方法の問題がある。病院内における食事摂取量管理方法の現状は、入院患者の摂取した食事を栄養士が目で確認を行い、食品成分表と照らし合わせて食膳全体の摂取栄養素を計測する方法が採用されている。そのため、計測基
準は目分量であり不定である。また、入院患者数、食事メニュー数、メニューごとの食材数、患者ごとに摂取量が異なることなどを考慮すると、栄養士は摂取量計測に膨大な時間を費やされる。次に、計測したデータが電子化されていないためデータ管理についても記録時間の問題がある。以上の点より、機械で摂取量計測、記録したいという病院関係者の強い要望があるため、ニューラルネットワークを核とする新しい食事摂取量計測システムの開発を提案する。
提案システムのコンセプトは 食前と食後の画像を比較して、摂取された栄養素を算出する ことである。このコンセプトをもとに、ニューラルネットワークを食事摂取量管理方法に応用した。ニューラルネットワークによる識別手法は、紙幣識別や筆圧による個人認証などの識別分野において幅広い応用力を有していることが報告されている[5]〜[9]。
これまでの研究[1]〜[4]では、提案システムの処理である食材抽出処理と食事摂取量の基礎となる食材残量識別実験を行った。食材抽出処理では、食膳画像から任意に抽出した食器画像を使用し、食器画像からラベル処理、8−近傍収縮処理により食材画像を抽出した。また、ニューロ学習・識別システムによる食材残量識別実験を行った。
実験は、食材にダミー食材を使用し、6 パターンの食材残量パターンで行い、食事摂取量計測に対する基本性能を確認しその有用性を示した。しかしながら、これまでの研究より、電球によるノイズの発生や、無限に分類される食材残量パターンなどの問題点がある。
本研究では、これまでの研究の問題点を考慮し、電球とトレイの検討、拡散板によるノイズの除去、食器抽出処理の方法論の提案、食材面積による摂取量計測の方法論の提案を行う。また、ニューロ学習・識別システムによる食器抽出実験と、市場での環境を考慮し、食材やトレイ上の食器配置を変更しての食材残量識別実験を行う。電球とトレイの検討では、4 種類の電球と 2 種類のトレイから今後の実験で使用する電球とトレイを検討する。拡散板によるノイズの除去では、電球により発生するノイズを除去するため拡散板を製作しその効果を示す。食器抽出処理の方法論の提案では、
ニューラルネットワークにより食器を抽出する方法論を提案する。このニューラルネ
ットワークの入力層には、食器の特徴である半径、縦、横の長さ（ピクセル数）や食器画像の濃淡値を入力値として入力する。食材面積による摂取量計測の方法論の提案
では、食器画像から抽出した食材画像の食材部分の面積を使用し、摂取量を計測する方法論を提案する。ニューロ学習・識別システムを使用しての食材残量識別実験では、食材に実際の食材を使用し、これまで固定されていた食器配置を 25 箇所に増加し実験を行う。この実験により、食事摂取量計測用ニューロ学習・識別システムの有用性を再検討する。また、学習用データの変化による識別率の変化についても検討する。
本研究では、上記の改良を行い提案システムの性能を向上させる。

-1 -

第2 章
2.1.

これまでの研究

病院の食事摂取量管理方法における問題点

現在の病院において、患者が摂取した食事の量を計測する場合、栄養士が目視により食事残量から摂取量を計測し、食品成分表と照らし合わせて栄養摂取量を算出するという方法が採用されている。現状の食事摂取量計測方法における問題とは、計測基準が栄養士によって異なるため計測値があいまいであること、図 2.１に示すような入院患者の食事をすべて人の手で計測するため、作業時間が膨大になることである。患者個人の計測データの管理においても同様の問題がある。そのため、これらの作業を人の手に代わって機械で計測・記録したいという病院関係者の強い要望がある。

図 2.1

配膳風景

-2 -

そこで、高知県内の給食事業に従事する病院関係者を対象に図 2.2 のようなアンケートを実施した。
病院内において患者個人のエネルギー及び栄養素摂取量を正確に把握することは、栄養管理上非常に重要であるが、聞き取りによる残食料の調査等は人手の関係で大変です。そこで、短時間に各人の摂取量を検査するシステムがあればと考えます。高知工科大学との共同研究により、人手がかからず、短時間に給食の摂取量を検査し、エネルギーや栄養素の摂取量を正確に算出するシステムの開発に取り組みたいと考えます。これまでの研究では、カメラを内臓した画像認識装置を応用して、食事前後のトレイ上の食物の差からエネルギーや栄養素の摂取量を算出するシステムの開発が可能であると思われます。そこで給食事業に携わっている先生方のご意見をお聞かせ願いたく、アンケート調査をさせていただきます。
質問 1. このようなシステムについてどう思いますか？
（1）必要性を感じる（2）必要性を感じない（3）考えていなかった
質問 2. このようなシステムが開発されれば、導入したいと思いますか？
（1）導入したい（2）興味がある（3）検討してみた（4）興味がない
質問 3. 導入できる価格はどの範囲ですか？
（1）10〜20 万円（2）20〜30 万円（3）30〜50 万円
図 2.2

アンケート内容-3 -図 2.2 のアンケートに対し、栄養士 55 名、医師 1 名、看護婦 1 名の計 57 名の方か
ら回答を得た。回答の集計結果は図 2.3 のとおりである。
質問１の回答では、（1）必要性を感じる…26 人（46%）（2）必要性を感じない…２人（4%）（3）考えていなかった…29 人（50%）
質問１で必要性を感じると答えた人で、質問２では、（1）導入したい…5 人（9%）（2）興味がある…16 人（28%）（3）検討してみたい…5 人（9%）（4）興味がない…０人
質問１で考えていなかったと答えた人で、質問２は、（1）導入したい…０人（2）興味がある…12 人（21%）（3）検討してみたい…5 人（9%）（4）興味がない…4 人（7%）
無記入…8 人（14%）
質問 3 の回答では、（1）10〜20 万円…33 人（58%）（2）20〜30 万円…7 人（12%）（3）30〜50 万円…0 人
分からない、無記入…17 人（30%）
図 2.3

アンケート結果

アンケートの結果、必要性を感じる人が 57 人中 26 人で 46%と半数に満たないが、「考えていなかった」と回答した 29 人のうち 17 人は「興味がある」「検討してみたい」と回答した。この結果、57 人のうち 43 人（75%）が本システムに関心をよせていることが分かり、有用性が示された。
したがって、これまでの研究では、ニューラルネットワークを核とした食事摂取量
計測システムを提案し、その開発に着手してきた。

2.2.

これまでの実験

これまでの研究[1]〜[4]では、食事摂取量計測用に開発したニューロ学習・識別システ
ムを用いた食材残量識別実験を行った。次に、食器から食材を抽出する処理の実験を実施した。以下はその実験概要と実験結果である。

-4 -

2.2.1.

ニューロ学習・識別システムによる食材残量識別実験

次に、食事摂取量計測用ニューロ学習・識別システムを使用し、食材残量識別実験を行った。実験条件として、電球は 25W の透明ガラス球、トレイはピンクトレイ、
食材はダミーごはんを使用する。食材残量は 0%、20%、40%、60%、80%、100%の
6 パターンである。学習用データは 2 枚である。表 2.1〜表 2.6 に実験結果を示す。
表 2.1

残量 0%画像の識別結果

表 2.2

残量 20%画像の識別結果

識別画像 出力値 識別結果 判定
0%̲1
0.99451
0%○0%̲20.99820%○0%̲30.98384
0%○0%̲40.94333
0%○0%̲50.894450%○

識別画像 出力値 識別結果 判定
20%̲1
0.970920%○20%̲2 0.86897
20%○
20%̲3 0.88988
20%○
20%̲4 0.79062
20%○
20%̲5 0.95038
20%
○

表 2.3

表 2.4

残量 40%画像の識別結果

残量 60％画像の識別結果

識別画像 出力値 識別結果 判定
40%̲1
0.961640%○40%̲2 0.37064
40%
○
40%̲3
0.343940%○
40%̲4 0.13786
60%
×40%̲5 0.22622
20%
×識別画像 出力値 識別結果 判定
60%̲1 0.98552
60%○
60%̲2 0.19732
60%○
60%̲3 0.00003
0%×60%̲4 0.55408
60%○
60%̲5 0.02428
40%
×

表 2.5

表 2.6 残量 100％画像の識別結果

残量 80%画像の識別結果

識別画像 出力値 識別結果 判定
80%̲1
0.993780%○
80%̲2 0.40239
80%
○
80%̲3
0.506680%○
80%̲4 0.27981
80%○
80%̲5 0.21103
80%○

識別画像 出力値 識別結果 判定
100%̲1 0.99795
100%○
100%̲2 0.98714
100%○
100%̲3 0.89312
100%○
100%̲4 0.97783
100%○
100%̲5 0.96758
100%○

この実験結果より、100%画像の識別では識別率＝100%、80%画像の識別では識別率＝100%、60%画像の識別では識別率＝60%、40%画像の識別では識別率＝60%、
20%画像の識別では識別率＝100%、0%画像の識別では識別率＝100%を示した。総合的な識別率は約 87%を示し、食材画像の識別においてニューロ学習・識別システムの有用性が示された。

-5 -＜2.2.1.1.

ニューラルネットワーク＞

提案システムの核となるニューラルネットワーク[1],[10],[11]とは、人間の脳の情報処理
方式を計算機で実現しようというものである。したがって、人間の脳の神経細胞（ニューロン）をモデル化したものを多数つなげてネットワークを構成し、新しい情報処
理原理を追求しようというものである。図 2.4 はニューロンをモデル化した様子である。
丸印で表されたのがニューロンで、各ニューロンは、入力層、中間層、出力層のそれ
ぞれ独立した層に配置される。各層のニューロンはそれより 1 つ前の層のニューロン
から入力を受ける。同じ層のニューロン間には結合がない。しかしながら、各層間ではすべてのニューロンが結びついるのが特徴である。
入力層

出力層

中間層

図 2.4 ニューロンのモデル化-6 -ニューラルネットワークの構成にはパターン認識に適した階層型ニューラルネッ
トワークと、連想記憶や組み合わせ最適問題に適した相互結合型ニューラルネットワ
ークに分類できる。本研究では、食器パターン、食材残量パターンの識別を目的とす
るため、階層型ニューラルネットワークを使用する。そこで本節では、階層型ニューラルネットワークの情報伝達の方法と学習方法について説明する。図 2.5 はニューラ
ルネットワークの情報伝達を示している。
s1

r1

S1

a1

W11

R1

W21

s2

W31

S2

r2

R2

W12

a2
W22

s3

r3

W32

S3

図 2.5

R3

ニューラルネットワークの情報伝達

情報は、入力パターンが入力層の各ニューロンに与えられ、中間層で変換されて、出力層の各ニューロンから出力パターンが得られる。図 2.5 で、s1、s2、s3 はそれぞれ入力層の第 1、2、3 ユニット、a1、a2 はそれぞれ中間層の第 1、2 ユニット、r1、r2、r3 はそれぞれ出力層の第 1、2、3 ユニットである。また、S1、S2、S3 は入力層への入力値（スラブ値）、R1、R2、R3 は出力層の出力値を表す。また、Wij は入力層の第 i ユニットから中間層の第 j ユニットへの重み（結合の強さ）である。a1 への入力の総和を I 1 とすると
I

1 = W 11 S 1 ＋W 2 1 S 2 ＋W 3 1 S 3(2.1)となり、a2 への入力の総和を I 2 とすると
I

2 = W 12 S 1 ＋W 2 2 S 2 ＋W 3 2 S 3(2.2)となる。つまり、一般的に中間層ｊへの入力の総和は
Ij = ΣW ijSi
i

-7 -

(2.3)

となる。また、中間層第ｊユニットの出力 Oj はシグモイド関数を使用して式(2.4)
で表される。式(2.4)において、θはユニット単位のしきい値である。T はネットワー
クの温度と呼ばれる正の数で、T が大きくなるほど図 2.6 に示すシグモイド関数のグラフはなだらかになる。
Oj =1−I j + θ
1+exp()T(2.4)

シグモイド関数は、出力がなめらかに変化しているため、微分しても連続な関数となり数学的に扱いやすいという大きな特徴がある。
10.9
T = 0.7

T = 1.3

0.8
0.7

T = 1.0

0.6
0.5
0.4
0.3
0.2
0.1
0
-5.0

-4.2

-3.4

-2.6

-1.8

-1.0

図 2.6

-0.2

0.6

1.4

シグモイド関数

-8 -

2.2

3.0

3.8

4.6

次に、学習方法について述べる。学習は、入力パターンに対して期待する出力パターンを得るために、各ユニット間の結合の重み（ウェイト）を適切な値に設定するための作業である。学習アルゴリズムには誤差逆伝播（Error Back Propagation）アル
ゴリズムを採用する。これは、いくつかの入力パターンの例（学習用データ）を与え、そのときの出力パターンと期待する出力パターン（教師値）との誤差が減少するようにウェイトを修正するアルゴリズムである。図 2.7 は誤差逆伝播アルゴリズムでの学
習を表す。
教師データ
s1

S1

r1
a1

W11

O1

R1

T1

R2

T2

R3

T3

W21

s2

r2

W31

S2

W12

O2

a2
s3

S3

W22

r3

W32

O3
図 2.7

誤差逆伝播アルゴリズ

ある入力パターンを与えたときの出力層の第 j ユニットの出力値を Oj、このときの出力層の第 j ユニットの期待値（教師値）を Tj とすると、第 j ユニットの誤差 Ej は
1
2

Ej =

(T j −Oj)

2

(2.5)

で定義される。また、1 つの学習パターン P における出力層の誤差を Ep とし、全学習パターンの誤差の総和を E とすると、Ep、E はそれぞれ式(2.6)、式(2.7)で表される。E は総合誤差と呼ばれる。

Ep =

1
2

E =∑Ep =p∑j (T j −Oj)
1
2

-9 -

2

∑
∑(T j −Oj)
p j

(2.6)

2

(2.7)

誤差逆伝播アルゴリズムは、総合誤差 E が最小になるように各ユニット間のウェイ
トを修正する。修正の方法としては最急降下法を用い、各学習パターンごとに、各ユニットの誤差 Ej が最小になる方向へ微小な変更を加えていく。第 t 回目の学習における k‐1 層の第 i ユニットから k 層の第 j ユニットへの重み Wij の修正量
⊿Wij(k‐1、k)(t)は式(2.8)で求まる。
k −1,k

⊿W ij

k

k −1

k −1,k(t)= −εδｊ O i + α⊿W ij

k −1,k(t −1)+ β⊿W i j(t −2 )

(2.8)

式(2.8)において、 ε は学習定数、 α は慣性定数、 β は振動定数である。
慣性定数とは、総合誤差の振動を減らし、学習の収束を加速させるための定数のことである。振動定数とは、総合誤差を上下に振動させて局所極小値（ローカルミニマム）から脱出させるための定数である。また学習定数とは、重みの修正量を調整するための定数である。 δj(k) は k 層の第 j ユニットの一般化誤差で、k 層が中間層の場合と出力層の場合によって算出方法が異なる。まず、k 層が中間層の場合の一般化誤差
を式(2.9)に示す。ただし、m は出力層のユニット番号を表す。
kδ ｊ = (∑ ⊿Wmk ,k + 1
jm

k+1

δ m

k

)f (I j )(2.9)

次に、k 層が出力層の場合の一般誤差化を式(2.10)に示す。Ij(k)は k 層の第 j ユニットの総和を表す。
kδ ｊ= (T j −Okk)f (I j )j(2.10)

以上が誤差逆伝播法によるウェイト修正の概略である。
上記の構成で設計されるニューラルネットワークはコンピュータが不得意としていた非線形識別であるパターン認識や、学習、自己組織化などを得意とし、様々な分
野でその技術が応用されている。

- 10 -

2.2.2.

食器からの食材抽出実験

提案システムでは、画像処理で食器上の食材を抽出する処理を行う[1]〜[4],[12]。この抽出処理を使用して食器画像から食材画像を抽出する実験を行った。図 2.8 に食材の抽出処理結果を示す。

（a）対象画像（b）抽出結果
図 2.8

2.3.

食材抽出結果これまでの問題点

これまで、食事摂取量計測用に開発したニューロ学習・識別システムを使用し、ダミー食材の 6 パターンの残量パターンにおける食材残量識別実験において高い識別性能を得ている。しかしながら、実際に起こりうる無限の食材残量パターンが考えられるため、識別性能の低下が考えられる。さらに、摂取状態ごとの学習用データの作成を考慮すると膨大な時間が費やされることも問題となる。
また、スープや牛乳などの飲料物、カレーや親子丼のように流動的で複数の食材が重なり合うメニューは、上から撮影した画像では残量が判定し難くニューラルネット
ワークでその差異を識別するのは困難と考えられる。
さらに、食膳を撮影する際に起こる問題として、撮影筐体に設置した電球の光によるノイズの発生という問題がある。撮影を行った際、光源である 4 個の電球が直接トレイに反射し図 2.9 で示すような光によるノイズが発生する。このノイズが食器もし
くは食材と判定され、トレイから食器を抽出する処理、食器から食材を抽出する処理や食事摂取量を計測する場合に影響を及ぼすことが考えられる。さらに、このノイズ発生の問題により同じ食器でも食器の配置が変化することにより 2 値化処理におけるしきい値が変化することが考えられ、最終的に提案システムで 2 値化処理が必要な場合の固定のしきい値を決定する場合に大きな問題となる。
また、提案システムの一部であるトレイから食器を抽出する処理が考慮されていな- 11 -

いことや、食器同士の重複により下方に位置する食器の一部が隠れる場合、トレイから食器を抽出する処理が正常に行われないなどの問題がある。

ノイズ

ノイズ

図 2.9

光によるノイズ- 12 -

第3 章

改良点

本章では、以前から懸念されていた撮影条件について検討する。検討の必要性がある撮影条件のおもな項目として
1. 電球とトレイを検討する。
2. ノイズ除去を行う。
の 2 点が挙げられる。本章では上記の 2 点について検討を行う。
また、2.4.節で記述したように摂取量計測に使用する食事摂取量計測用ニューロ学
習・識別システムは、無限に分類される食材の残量パターンの識別問題と、液体・流動食の摂取量計測における問題の 2 つの問題点がある。これらの問題点を解決するため本研究では食材の面積による摂取量計測の方法論を提案する。また、これまで不考慮であったトレイ上の食器を抽出する処理に関して、ニューラルネットワークを使用した食器抽出処理を提案する。上記 2 点の詳細は第 4 章で述べる。

3.1.

電球とトレイの検討

これまでの研究では、25W の透明ガラス球を撮影筐体に設置し、また図 3.1(a)に示
すようなピンク色のトレイを使用してきた。電球が異なることで光によるノイズの発生量が異なるが、その違いにより提案システムにおける処理に影響を与えることが予測される。そのため、電球の種類の差異による処理結果の変動について検討する必要がある。また、共同研究先で使用されるトレイの色はピンク色以外に図 3.1（b）に示
す黒色もある。そのため、黒色トレイを使用しての提案システムにおける処理の動作確認も行う必要がある。この電球とトレイに対する検討には提案システムの処理の 1つである食材抽出処理を使用する[1]〜[4],[12]。食材には図 3.2 に示すようなダミー魚を使用する。検討の対象となる電球は、25W の透明ガラス球以外に 25W のくもりガラス
球、40W の透明ガラス球、40W のくもりガラス球の 4 種類とする。

（a）ピンク色トレイ（b）黒色トレイ
図 3.1

トレイの種類- 13 -

図 3.2

ダミー魚の原画像＜食材抽出実験結果＞
1. 25W のくもりガラス球を使用した食材抽出結果
・ピンク色トレイを使用した場合（b）抽出結果（a）対象画像
図 3.3

25W のくもりガラス球・ピンク色トレイを使用した食材抽出結果

・黒色トレイを使用した場合（a）対象画像
図 3.4（b）抽出結果

25W のくもりガラス球・黒色トレイを使用した食材抽出結果- 14 -

2. 25W の透明ガラス球を使用した食材抽出結果
・ピンク色トレイを使用した場合（b）抽出結果（a）対象画像

図 3.5 25W の透明ガラス球・ピンク色トレイを使用した食材抽出結果

・黒色トレイを使用した場合（b）抽出結果（a）対象画像
図 3.6

25W の透明ガラス球・黒色トレイを使用した食材抽出結果- 15 -

3. 40W のくもりガラス球を使用した食材抽出結果
・ピンク色トレイを使用した場合（a）対象画像（b）抽出結果

図 3.7 40W のくもりガラス球・ピンク色トレイを使用した食材抽出結果

・黒色トレイを使用した場合（b）抽出結果（a）対象画像

図 3.8 40W のくもりガラス球・黒色トレイを使用した食材抽出結果- 16 -

4. 40W の透明ガラス球を使用した食材抽出結果
・ピンク色トレイを使用した場合（b）抽出結果（a）対象画像

図 3.9 40W の透明ガラス球・ピンク色トレイを使用した食材抽出結果

・黒色トレイを使用した場合（a）対象画像（b）抽出結果

図 3.10 40W の透明ガラス球・黒色トレイを使用した食材抽出結果

実験結果より、黒色トレイを使用した場合、すべての電球において食材の抽出が不可能となった。また、ピンク色を使用した場合 40W の透明ガラス球以外は抽出が可能となった。以上の点を考慮し、今後の研究ではピンク色トレイを使用する。また電球においては、ピンク色トレイで食材抽出が可能となった 25W の透明ガラス球、25Wのくもりガラス球、40W のくもりガラス球のうち、提案システムの処理に影響を与えるノイズの発生量が見た目で最も少ない 25W のくもりガラス球を使用する。

- 17 -

3.2.

ノイズ除去

2.4.節で述べたように電球の光によるノイズ発生の問題がある。そこで、トレイへの直接反射を抑え光により発生するノイズの除去を行うため、拡散板を制作し筐体内部に設置する。拡散板を製作する上での考慮すべき事項は以下の通りである。
1. 医療用であることを前提に抗菌・滅菌できる素材を使用する。
2. テープなどの接着素材は衛生面を考慮して使用しない。
3. 光源から発生する熱で影響を受けない。
4. 安価で加工しやすい。
以上の 4 点を満たす素材として本研究ではアクリル製の板による拡散板の製作を行う。
＜製作手順＞
1. 撮影筐体の奥行き、横幅に合わせ、図 3.11（a）に示す 40×36cm のアクリル板
1 枚 と図 3.11（b）に示す 14×14cm のアクリル板 8 枚を用意する。
2. 14×14cm のアクリル板を紙やすりで両面全体をむらなく削り、半透明にする。
3. 40×36cm のアクリル板の四隅に 14×14cm のアクリル板を２枚重ねにしたもの
を接着剤で固定する。
4. 40×36cm のアクリル板の中心にはカメラにアクリル板が写らないように穴をあける。
図 3.12 は拡散板完成図、図 3.13 はプロトタイプ筐体内に拡散板を設置した状態を示す。図 3.14 は拡散板設置前と設置後のノイズを比較した結果である。拡散板の設置によりノイズをほぼ完全に除去することが可能となった。
36cm

14cm
40cm

×1
14cm

×8

（b）

（a）
図 3.11 拡散板材料（アクリル板）- 18 -

図 3.12 拡散板完成図

図 3.13 撮影筐体内に拡散板を設置した状態- 19 -

ノイズ（a）拡散板なし（b）拡散板あり
図 3.14 拡散板の効果- 20 -

第4 章
4.1.

システム構成システム構成案

システム構成[1]〜[4]は図 4.1、図 4.2 に示すように、摂取量計測用 PC に画像撮影用の USB カメラを USB-Bus で接続し、PC の内部には摂取量を食材面積で判定する面
積判定用ユニット、食器抽出用ニューラルネットワーク、摂取量計測用ニューラルネ
ットワークを組み込んだものを本体とする。食事の摂取量計測は撮影用 USB カメラと計測スイッチの操作のみで行う。トレイには RFID チップを取り付け、個人に対応する食膳の自動判定を行う。

図 4.1

システム構成図

図 4.2

システムの概観- 21 -

4.2.

動作フローチャート

この節では第 3 章で述べた改良点を考慮し、提案システムの動作フローチャートを示す。まず、食膳全体の画像を取得し、トレイ上の食器を抽出する。さらに、食器から食材を抽出する。食器の抽出にはラベル処理とニューラルネットワークを使用し、食材の抽出には食器の抽出と同様のラベル処理を使用する。最後に、2 種類の摂取量
計測方法により食事摂取量を計測し、演算式により摂取栄養素を算出する。以下に各処理の詳細を述べる。図 4.3 に食事摂取量計測システムの動作フローチャートを示す。
食膳画像習得

食器抽出

食材抽出

食事摂取量計測
1.ニューロ学習・識別システムによる摂取量計測
2.食材面積による摂取量計測

摂取栄養素算出

図 4.3

4.2.1.

動作フローチャート

食膳画像取得

食膳画像の取得には、図 4.2 に示す提案システム用に開発した撮影筐体を使用する。
撮影筐体の内側上部には USB カメラを設置し、ノート PC と接続する。USB カメラ
は固定することで撮像距離と撮影アングルのばらつきをなくす。これにより、すべての撮影画像に一定の条件を持たせることが可能となる。また、3.2.節で製作した拡散板を設置することによりノイズの除去が可能となる。図 4.4 はこの撮影筐体により撮影した食膳画像である。USB カメラにより撮影された画像は 256 階調のビットマッ
プ画像であり、画像のサイズは 320×240 ピクセルである。しかし、提案システムで使用するニューロ学習・識別システムでは使用できる画像サイズに制限があるため、64×64 ピクセルサイズに変換する必要がある。そのため、食膳画像を任意に 64×64
ピクセルサイズに変換する。この変換処理は将来的に自動化される。

- 22 -

図 4.44.2.2.

食膳画像

食器抽出処理4.2.1.項で取得し、64×64 ピクセルサイズに変換された食膳画像から、トレイ上に存在するすべての食器を個々に抽出する。これまでの研究では、トレイからの食器抽出が考慮されていなかった。そのため、本項では図 4.5 に示すようなニューラルネッ
トワークを用いた食器抽出処理を提案する。

図 4.5

食器抽出処理- 23 -

食器抽出用ニューラルネットワークの構造は、中間層の数を 1 に固定した 3 層の階層型ニューラルネットワークである。各層（入力層、中間層、出力層）のニューロン
数は 2〜50 の範囲で設定が可能である。ニューラルネットワーク内部では、64×64
ピクセルの食膳画像が 16×16 ピクセルの画像に変換され処理される。病院内で使用される食器をすべて 1 つのニューラルネットワークに登録するため、総食器数が食器
抽出用ニューラルネットワークの出力層ニューロン数となる。このニューラルネット
ワークの入力層には、食器の外縁を取り出す際に使用するしきい値、64×64 ピクセルの食膳画像における食器の半径・縦・横の長さ（ピクセル数）、食器の形状、食膳
画像の濃淡値が入力値として入力される。ニューラルネットワークにより出力された
出力値のうち、最も高い出力値を出力したパターンに相当する食器が入力された食器と特定され、抽出される。入力値の作成方法を以下に述べる。
食器の半径、縦、横の長さや食器の形状などの情報を得る場合、まずラベル処理を応用し各食器を抽出する[1]〜[4],[12]。
1．しきい値を用いて、食膳画像を 2 値化する。
（a） しきい値以上の画素を 1 画素とする。
（b） しきい値より小さい画素を 0 画素とする。
ここで １ 画素は食器部分で 0 画素は他の背景部分になる。
２．複数の重複した食器を切り離すために 8−近傍収縮処理を行う。8−近傍収縮処理を行うために以下のラベル処理を行う。
（ⅰ） 1 画素をさがす。
（ⅱ）探した 1 画素に、現在のラベル番号を付ける。
（ⅲ）現在のラベル番号の 8 近傍に 1 画素があれば、その画素にラベル番号を設定する。
これにより、 1 画素が食器と認識される。食器と認識された画素の半径、縦、横、形状は以下のように求める。まず、図 4.6 で示すように食器の X 座標の最小値と最大値、Y 座標の最小値と最大値を求める。
X 座標の最大値
X 座標の最小値
Y 座標の最小値
食器
Y 座標の最大値
W

64 ピクセル
図 4.6

食器の 2 値画像- 24 -

H

64
ピ
ク
セ
ル

次に、X 座標の最大値から X 座標の最小値を引く。さらに Y 座標の最大値から Y
座標の最小値を引く。X 座標の最大値から X 座標の最小値を引いた値が食器の高さ（H）であり、Y 座標の最大値から Y 座標の最小値を引いた値が食器の幅（W）である。食器の形状は、H と W の差を D とすると D=0 ならば正方形、円形となり、D≠
0 ならば長方形、楕円形となる。
また、食器画像の濃淡値は食器画像にマスク処理[13]を施し、マスクされていない画
素の濃淡値(0〜255)の総和を加算し生成する。
上記のラベル処理の際に使用したしきい値、H、W、D、食器画像の濃淡値がニュ
ーラルネットワークへの入力値である。

4.2.3.

食材抽出処理トレイから食器を抽出した後、食器から食材を抽出する処理を行う。この食材抽出
処理では食器抽出処理と同様に、ラベル処理を応用し食材を抽出する[1]〜[4],[12]。
1． 食器画像から RGB の内、青だけを取り出して画像処理を行う。
2． しきい値を用いて、食器画像を 2 値化する。
（a） しきい値以上の画素を 1 画素とする。
（b） しきい値より小さい画素を 0 画素とする。
ここで １ 画素は食材部分で 0 画素は他の背景部分になる。
3．
重複した食器を切り離すために 8−近傍収縮処理を行う。8−近傍収縮処理を行うために以下のラベル処理を行う。
（ⅰ） 1 画素をさがす。
（ⅱ）探した 1 画素に、現在のラベル番号を付ける。
（ⅲ）現在のラベル番号の 8 近傍に 1 画素があれば、その画素にラベル番号を設定する。
3． 最後に、求めたラベル領域ごとに、領域の位置の最大値、最小値を求める。
その後、各々のラベル領域の中心位置を求める。
以上の処理により、 1 画素が食材と認識される。図 4.7 はエビチリソース、図 4.8はダミー魚を用いた食材抽出実験の結果である。

（a）対象画像
図 4.7（b）抽出結果
食材抽出結果 1(エビチリソース)- 25 -

（a）対象画像
図 4.8

4.2.4.

（b）抽出結果
食材抽出結果 2（ダミー魚）

摂取量計測

食材抽出処理により抽出された食材の摂取量を計測する。計測方法として、ニューロ学習・識別システムによる摂取量計測方法と、食材面積による摂取量計測方法の 2
種類がある。本項ではこの 2 種類の摂取量計測方法について詳細を述べる。

＜4.2.4.1.

ニューロ学習・識別システムによる摂取量計測＞

この計測方法には、食事摂取量計測用ニューロ学習・識別システムを使用する[1]〜[4]。
本システムでは、状況に応じて使用する各層の細胞数、学習パターン数（ニューラル
ネットワークで識別するパターンの数）、1 パターンの学習枚数（1 つの学習パターン
における学習用データの数）が変更でき、学習・識別も容易に行うことが可能である。
以下に本システムのユーティリティプログラムを記述する。
本システムを実行すると図 4.9 に示す初期画面が表示される。

図 4.9

ニューロ学習・識別システムの初期画面- 26 -

「ニューラルネット構造設定」ボタンにより図 4.10 の設定画面が表示されニュー
ラルネットワークの構造が設定できる。

図 4.10 ニューラルネットワーク構造設定画面

ここで使用されるニューラルネットワークは食器抽出で使用されるニューラルネ
ットワーク同様、各層の最大細胞数が 50 の 3 層階層型ニューラルネットワークで、学習方式も誤差逆伝搬アルゴリズムが使用される。ニューラルネットワーク構造定義
ファイル（Neuro.cfg）、教師ファイル（teach.t）、重みファイル（weight.dat）、はア
プリケーションに応じて作業フォルダが指定できる。「 設 定 ・ 終 了 」 ボ タ ン でNeuro.cfg が書きかえられ、teach.t が作成される。スラブ作成モードはこれまでの研究で、スラブ作成モードが 0 の場合（手動マスク設定）に比べ 1 の場合（自動マスク設定）の方が識別率が高いことが判明しているため、1 に設定する。1 に設定した場
合、入力層は 46 に固定される。作成時変数（濃淡しきい値）は「スラブ値ファイル
作成」時にも変更可能である。学習パターン数（出力層ニューロン数）は、食材残量
が 0%〜100%の 101 パターンで出力されなければならないため 101 を入力しなければならないが最大数が 50 であるため、今後、分類パターン数に制約を付けて限定するなどの検討が必要である。
次に、メイン画面の「データファイル作成」ボタンで図 4.11 の画面を表示し、ニューラルネットワークの処理に必要な画像データファイルを作成する。

- 27 -

図 4.11

データファイル作成画面「画像データ取込」ボタンにより USB カメラで撮影したビットマップ画像を取り込み、64×64 ピクセルに変換した後、データファイルを作成する。複数の画像デー
タをデータファイルに格納する場合は上記の作業を繰り返し、次の画像データを取り込み追加する。
次に「データベースの更新」ボタンにより図 4.12 を表示させる。ここでは、複数の画像データを選択して、データベースファイル（DATABASE.CFG）を作成する。

図 4.12 データベースの更新画面- 28 -

次に「学習用データ抽出」で図 4.13 を表示させ学習用データを抽出する。データ
ベースに登録された画像データファイルの先頭から、1 枚あたりの学習枚数分を抽出し、学習用のデータファイル（LDATA）を作成する。

図 4.13 学習用データ抽出画面
続いて「スラブ値ファイル作成」ボタンで図 4.14 を表示させ、学習用データファ
イル（LDATA）からスラブ値を生成する。スラブ値とはニューラルネットワークへの入力値である。64×64 ピクセルの画像を 16×16 ピクセルの画像に変換し、縦 16
ライン、横 16 ライン、斜め 14 ラインの計 46 ラインの濃淡値によりスラブ値を生成する。

図 4.14 スラブ値ファイル作成画面- 29 -

次に「学習ファイル作成」ボタンで図 4.15 を表示させ、ニューラルネットワークに与える学習用データファイルを作成する。

図 4.15 学習ファイル作成画面
引き続き「学習」ボタンで図 4.16 を表示させ、学習を行う。

図 4.16 ニューラルネットワーク学習画面- 30 -

「開始」ボタンを押すことで、学習用スラブ値ファイル（LEARN.S）と教師ファイル （ teach.t ） か ら ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 学 習 し 、 結 果 を 重 み フ ァ イ ル（weight.dat）に格納する。学習は設定学習回数に達したとき、または、誤差が指定した誤差内に収束したときに終了する。図 4.17 は学習の流れである。ニューラルネ
ットワークの構造・初期条件は、Neuro.cfg ファイルから読み込む。学習終了時の総合誤差、学習定数、慣性定数、振動定数、温度勾配もこのファイルに格納され、継続学習時に使用される。

学習用データ(スラブ値)

ニューラル（LEARN.S）

ネットワーク

重みデータ

重みデータ

定数データ

（weight.dat）

＋

振動定数

慣性定数

学習定数

教師データ
（teach.t）

ニューラルネット
構造定義データ（Neuro.cfg）

図 4.17 学習の流れ
最後に「判定」ボタンで図 4.18 を表示させ識別処理を行う。

図 4.18 識別処理画面- 31 -

「データファイル作成」で作成した画像データファイルの先頭データの画像を読み取り、スラブ値を作成し、ニューラルネットワークに入力して結果を表示する。図4.19 は識別処理の流れである。認識を行うためのデータファイル（***.DAT）を入力し、結果を RESULT.DAT ファイルに格納する。ニューラルネットワークの動作に必
要なデータは、学習された重みファイル（weight.dat）から読みこむ。
データファイル（***.DAT）

スラブデータ作成

ニューラル

結果データ

ネットワーク（RESULT.DAT）（MASK.M）

定数データ

重みデータ

マスクデータ

重みデータ（weight.dat）

図 4.19 識別処理の流れ「出力層の出力値」には各パターンの出力値が出力され、最も出力値の高いパター
ンが、入力されたデータファイルのパターンとなる。この出力されたパターンを食材
残量の割合とし、摂取量演算処理部に通知する。

＜4.2.4.2.

食材面積による摂取量計測＞

この計測方法には、4.2.4.で抽出した食材画像の食材部分の面積を使用する。図 4.20に示す食材部分の面積をピクセル数として求め、摂取量演算処理部へ通知する。
64 ピクセル

64
ピ
ク
セ
ル

食材

図 4.20 食材画像

- 32 -

4.2.5.

摂取栄養素算出

4.2.4.1.で計測した食材残量の割合と 4.2.4.2.で計測した食材画像のピクセル数は摂取率演算処理部に通知され、それぞれの演算式で摂取栄養素を算出する。
ニューラルネットワークによる摂取量計測方法で出力された食材残量パーセント
を X（%）としたとき、式(4.1)により摂取栄養素を算出する。

摂 取 栄 養 素(cal)=X
100

×1 0 0 % の 食 材 残 量 に お け る 栄 養 素(cal)(4.1)

また、食材面積による摂取量計測方法で出力された食材画像のピクセル数を X とした
とき、式(4.2)により摂取栄養素を算出する。

摂 取 栄 養 素(cal)=X
100% の食材ピクセル数
×1 0 0 % の 食 材 残 量 に お け る 栄 養 素(cal)- 33 -

(4.2)

第5 章

食材残量識別実験

食事摂取量計測用ニューロ学習・識別システムを使用し、食材残量識別実験を行う。
これまでの研究では、食器の配置はトレイの中心に固定されていた。図 5.1 に示すよ
うに同じ残量パターンにおいて食器の配置変動により違った画像と認識される。また、識別実験の対象食材がダミー食材から実際の食材に変更された点、拡散板を設置した点も再検討の要因である。本項では、実際の摂取量計測時の状況に限りなく近い状況
で識別実験を実施し、本システムの汎化能力を確認し、有用性を示す。同時に、学習用データの違いにより識別率が変化することから、学習用データの検討も行う。

図 5.1

5.1.

食器配置の違いによる画像データの違い（残量 60%の画像データでの例）

実験条件

本実験では実際の食材として炊飯米を使用する。25W のくもりガラス球、拡散板
をプロトタイプ筐体に設置し、トレイはピンク色トレイ、茶碗は黒いプラスティック製の茶碗を使用する。炊飯米の分類パターンは、残量がそれぞれ 0%、20%、40%、
60%、80%、100%の 6 パターンとする。「ニューラルネット構造設定」は入力層、中間層の細胞数を 46、出力層の細胞数を 6、学習パターン数を 6、1 パターンの学習枚
数を 5、最終誤差判定値を 0.0001、最大学習回数を 30000、作成時変数を 70 にそれぞれ設定する。1 つのパターンには食器の回転や位置ずれを考慮し、図 5.2 で示すト
レイ上の 25 の配置に食器を回転させながら置き直し、撮影した画像を使用する。実験は、学習用データ 5 枚に図 5.2 の 1、3、5、7、9 の食器配置で撮影した画像データを使用した場合と、1、13、17、21、25 の食器配置で撮影した画像データを使用した
場合の 2 種類で行う。前者を学習用データパターン 1、後者を学習用データパターン
2 とし、実験結果を次項で述べる。なお、学習用、評価用データに用いた画像データ
はマニュアルで食器部分を抽出している。

- 34 -

撮影筐体

17

18

19

20

21

16

５

６

７

22

15

４

１

８

23

14

３

２

９

24

13

12

11

10

25

図 5.2

5.2.

トレイ

食器の配置

実験結果

＜学習用データパターン 1 の場合＞
図 5.3〜図 5.8 は各残量パターンの学習用データで、左から順に図 5.2 に示される 1、3、5、7、9 の食器配置で撮影された画像データである。この 5 枚の学習用データを使用した場合の実験結果を表 5.1〜表 5.6 に示す。評価用データは学習用データの 5
枚を除いた 20 枚の画像データとする。

図 5.3

炊飯米残量 0%の学習用データ- 35 -

図 5.4

炊飯米残量 20%の学習用データ

図 5.5

炊飯米残量 40%の学習用データ

図 5.6

炊飯米残量 60%の学習用データ

図 5.7

炊飯米残量 80%の学習用データ

図 5.8

炊飯米残量 100%の学習用データ- 36 -

画像データ名である riceX-Y の X は炊飯米の残量パターンを、Y は図 5.2 の 1〜25の食器配置を表す。表内の ○ は、評価用データの残量パターンと、ニューラルネ
ットワークにより出力された各パターンの出力値のうち最も高い出力値を出力したパターンとが一致したことを表す。 △ は、評価用データの残量パターンと出力値の最も高いパターンとが一致したが、出力値が 0.5 に達していない状態を表す。 ×は、評価用データの残量パターンと出力値の最も高いパターンが一致していないことを表す。なお、各残量パターンの識別率および全体の識別率に、学習用データである
riceX-1、riceX-3、riceX-5、riceX-7、riceX-9 の識別結果は含まないものとする。

表 5.1

残量 0%画像の識別結果

画像データ
rice0-1
rice0-2
rice0-3
rice0-4
rice0-5
rice0-6
rice0-7
rice0-8
rice0-9
rice0-10
rice0-11
rice0-12
rice0-13
rice0-14
rice0-15
rice0-16
rice0-17
rice0-18
rice0-19
rice0-20
rice0-21
rice0-22
rice0-23
rice0-24
rice0-25

表 5.2

識別結果
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○

残量 20%画像の識別結果

画像データ
rice20-1
rice20-2
rice20-3
rice20-4
rice20-5
rice20-6
rice20-7
rice20-8
rice20-9
rice20-10
rice20-11
rice20-12
rice20-13
rice20-14
rice20-15
rice20-16
rice20-17
rice20-18
rice20-19
rice20-20
rice20-21
rice20-22
rice20-23
rice20-24
rice20-25- 37 -

識別結果
○
○
○
○
○
○
○
○
○
○
○
○
×
○
○
○
○
○
○
○
○
○
○
○
○

表 5.3

残量 40%画像の識別結果

画像データ
rice40-1
rice40-2
rice40-3
rice40-4
rice40-5
rice40-6
rice40-7
rice40-8
rice40-9
rice40-10
rice40-11
rice40-12
rice40-13
rice40-14
rice40-15
rice40-16
rice40-17
rice40-18
rice40-19
rice40-20
rice40-21
rice40-22
rice40-23
rice40-24
rice40-25

識別結果
○
○
○
○
○
○
○
△
○
○
○
○
×
×
×
×
×
×
×
○
○
○
○
×
○

表 5.4

残量 60%画像の識別結果

画像データ
rice60-1
rice60-2
rice60-3
rice60-4
rice60-5
rice60-6
rice60-7
rice60-8
rice60-9
rice60-10
rice60-11
rice60-12
rice60-13
rice60-14
rice60-15
rice60-16
rice60-17
rice60-18
rice60-19
rice60-20
rice60-21
rice60-22
rice60-23
rice60-24
rice60-25- 38 -

識別結果
○
○
○
○
○
○
○
○
○
×
○
○
○
○
○
○
○
○
○
△
×
×
×
×
×

表 5.5

残量 80%画像の識別結果

画像データ
rice80-1
rice80-2
rice80-3
rice80-4
rice80-5
rice80-6
rice80-7
rice80-8
rice80-9
rice80-10
rice80-11
rice80-12
rice80-13
rice80-14
rice80-15
rice80-16
rice80-17
rice80-18
rice80-19
rice80-20
rice80-21
rice80-22
rice80-23
rice80-24
rice80-25

識別結果
○
○
○
○
○
×
○
×
○
○
○
○
○
×
×
○
○
○
○
×
×
○
○
×
○

表 5.6

残量 100%画像の識別結果

画像データ
rice100-1
rice100-2
rice100-3
rice100-4
rice100-5
rice100-6
rice100-7
rice100-8
rice100-9
rice100-10
rice100-11
rice100-12
rice100-13
rice100-14
rice100-15
rice100-16
rice100-17
rice100-18
rice100-19
rice100-20
rice100-21
rice100-22
rice100-23
rice100-24
rice100-25

識別結果
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○

実験の結果、残量 0%の識別率＝100%、残量 20%の識別率＝95%、残量 40%の識別率＝60%、残量 60%の識別率＝70%、残量 80%の識別率＝65%、残量 100%の識別率＝100%であった。学習用データパターン 1 における全体識別率は 82%を示した。
この結果は、これまでの研究で得た 87%の識別率より低い結果となり、識別率向上のための考慮が必要となる。

＜学習用データパターン 2 の場合＞
図 5.9〜図 5.14 は各残量パターンの学習用データで、左から順に図 5.2 の 1、13、
17、21、25 の食器配置で撮影された画像データである。この 5 枚の学習用データを使用した場合の実験結果を表 5.7〜表 5.12 に示す。評価用データは学習用データの 5
枚を除いた 20 枚の画像データとする。なお、各残量パターンの識別率および全体の識別率に学習用データである riceX-1、riceX-13、riceX-17、riceX-21、riceX-25 の識- 39 -

別結果は含まないものとする。

図 5.9

炊飯米残量 0%の学習用データ

図 5.10 炊飯米残量 20%の学習用データ

図 5.11

炊飯米残量 40%の学習用データ

図 5.12 炊飯米残量 60%の学習用データ

図 5.13 炊飯米残量 80%の学習用データ- 40 -

図 5.14 炊飯米残量 100%の学習用データ

表 5.7

残量 0%画像の識別結果

画像データ
rice0-1
rice0-2
rice0-3
rice0-4
rice0-5
rice0-6
rice0-7
rice0-8
rice0-9
rice0-10
rice0-11
rice0-12
rice0-13
rice0-14
rice0-15
rice0-16
rice0-17
rice0-18
rice0-19
rice0-20
rice0-21
rice0-22
rice0-23
rice0-24
rice0-25

表 5.8

識別結果
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○

残量 20%画像の識別結果

画像データ
rice20-1
rice20-2
rice20-3
rice20-4
rice20-5
rice20-6
rice20-7
rice20-8
rice20-9
rice20-10
rice20-11
rice20-12
rice20-13
rice20-14
rice20-15
rice20-16
rice20-17
rice20-18
rice20-19
rice20-20
rice20-21
rice20-22
rice20-23
rice20-24
rice20-25- 41 -

識別結果
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
×
×
○

表 5.9

表 5.10 残量 60%画像の識別結果

残量 40%画像の識別結果

画像データ
rice40-1
rice40-2
rice40-3
rice40-4
rice40-5
rice40-6
rice40-7
rice40-8
rice40-9
rice40-10
rice40-11
rice40-12
rice40-13
rice40-14
rice40-15
rice40-16
rice40-17
rice40-18
rice40-19
rice40-20
rice40-21
rice40-22
rice40-23
rice40-24
rice40-25

識別結果
○
○
○
△
○
○
○
○
○
○
○
×
○
○
○
○
○
○
×
○
○
○
○
○
○

画像データ
rice60-1
rice60-2
rice60-3
rice60-4
rice60-5
rice60-6
rice60-7
rice60-8
rice60-9
rice60-10
rice60-11
rice60-12
rice60-13
rice60-14
rice60-15
rice60-16
rice60-17
rice60-18
rice60-19
rice60-20
rice60-21
rice60-22
rice60-23
rice60-24
rice60-25- 42 -

識別結果
○
○
○
○
○
○
○
△
×
○
○
○
○
○
○
○
○
○
○
×
○
○
○
○
○

表 5.11

残量 80%画像の識別結果

画像データ
rice80-1
rice80-2
rice80-3
rice80-4
rice80-5
rice80-6
rice80-7
rice80-8
rice80-9
rice80-10
rice80-11
rice80-12
rice80-13
rice80-14
rice80-15
rice80-16
rice80-17
rice80-18
rice80-19
rice80-20
rice80-21
rice80-22
rice80-23
rice80-24
rice80-25

識別結果
○
○
○
○
○
×
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○

表 5.12 残量 100%画像の識別結果
画像データ
rice100-1
rice100-2
rice100-3
rice100-4
rice100-5
rice100-6
rice100-7
rice100-8
rice100-9
rice100-10
rice100-11
rice100-12
rice100-13
rice100-14
rice100-15
rice100-16
rice100-17
rice100-18
rice100-19
rice100-20
rice100-21
rice100-22
rice100-23
rice100-24
rice100-25

識別結果
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○

実験の結果、残量 0%の識別率＝100%、残量 20%の識別率＝90%、残量 40%の識別率＝90%、残量 60%の識別率＝90%、残量 80%の識別率＝95%、残量 100%の識別率＝100%であった。学習用データパターン 2 における全体識別率は 94%を示した。この結果、これまでの研究と比較し識別性能が向上したことが確認できる。

5.3.

考察

実験の結果、学習用データの違いにより識別率が変化するものの、学習用データパ
ターン 2 における全体識別率が 94%と、これまでの研究の中で最も高い識別性能を示した。これより、提案システムが食器配置の変化や回転による画像データの違いにも十分に対応できることが示された。
学習用データパターン 1、学習用データパターン 2 の両パターンで残量 0%、100%- 43 -

の識別率は高くなった。逆にその他の残量では識別率が低下している。0%の識別率が高い理由は、0%に近い残量パターンが 20%の 1 パターンのみであり、60%のように 40%と 80%の 2 パターンに近い残量パターンに比べ、誤認識の要因が少ないからであると考える。また 100%の識別率が高い理由も 0%と同じ理由であると考える。
学習用データパターン 1 の識別率に比べ、学習用データパターン 2 の識別率が全体的に高い要因として、学習用データの違いによりニューラルネットワークの汎化能力に差がでていることが予測できる。学習用データパターン 1 における各残量パターンの識別結果を見ると、図 5.2 に示す食器配置のうち 10〜25 の間で誤認識が多くなっていることが確認できる。これに比べ学習用データパターン 2 における各残量パター
ンの識別結果を見ると、図 5.2 に示す 10〜25 の食器配置においても識別率が高いことが確認できる。この識別率の違いの原因を、図 5.2 に示す食器配置のうち 1、5、
17 の 3 枚のみを例にとり考慮する。学習用データパターン 1 では 1、5 が学習用デー
タで 17 が評価用データである。学習用データパターン 2 では 1、17 が学習用データ
で 5 が評価用データである。学習用データパターン 1 では、学習用データである 1 と5 の間に位置する食器や、その食器付近の食器に対する汎化能力が高いことが予測できる。しかしながら、17 の食器配置や 17 より外側に位置する食器に対しての汎化能力は低いと考えられる。学習用データパターン 2 では学習用データである 1 と 17 の間に位置する食器や、その食器付近の食器に対する汎化能力が高いと予測でき、結果的に全体の食器配置に対し高い識別率がえられたのではないかと考える。
上記より、高い識別率で提案システムを動作させるためには学習用データの選択が
1 つの大きな要因になると考える。

- 44 -

第6 章

まとめ

本研究では、これまでの研究における問題点を考慮し、以下に記す提案システムの改良を行った。
・電球によるノイズは、拡散板を撮影筐体に設置することでほぼ除去することが可能となった。
・食器抽出処理に対し、ニューラルネットワークによる食器抽出処理の方法論を提案した。
・無限に分類される食材パターンに対する識別に対し、食材面積による摂取量計測の方法論を提案した。
・食材をダミー食材から実際の食材に変更し、食器配置を増加しての食材残量識別実験を行った。全体識別率は 94%を示し、食事摂取量計測用ニューロ学習・識別シス
テムの有用性を定量的に示した。
今後の課題は以下のとおりである。
・食器抽出機構の実用化を図る。
・食材面積による摂取量計測の実用化を図る。
・食膳の撮影から栄養摂取量の算出に至るまでを組み合わせ１つの統合システムとして完成する。
以上の点を、検討する。

- 45 -

第7 章

謝辞

著者の恩師で日頃からご指導していただいた高知工科大学情報システム工学科の竹田史章教授に心から感謝いたします。また、本システムの研究開発に協力していた
だいたグローリー工業（株）の吉田邦夫様、グローリー商事（株）の長田司郎様、ヴィスト（有）の小林茂樹社長殿、形部麗子様、エヌビーサイト（有）の尾江俊昭社長
殿、高知学園短期大学の安房田司郎教授、高知潮江高橋病院の山本早智先生に深く感謝いたします。さらに、本論文の執筆の際、著者の研究室の院生、学部生にもお世話になりました。特に修士の内田久也様、学部の藤原浩一君には多くのご協力をしていただきました。そして本論文の執筆の機会を与えてくださった高知工科大学に心からお礼申し上げます。

- 46 -

第8 章

参考文献

［1］松本拓也：「ニューラルネットワークを用いた食事摂取量計測システムの構築に関する研究」、平成 12 年度高知工科大学学士学位論文、2001［2］内田久也・竹田史章：「ニューラルネットワークを用いた食事摂取量計測システ
ムの構築」、システム制御情報学会論文集、pp107-108、2001［3］竹田史章・内田久也・服部真一郎：「食事摂取量計測システムの構築」、高速信号処理応用技術学会 2001 年秋季研究会論文集、pp75-80、2001［4］Hisaya UCHIDA and Fumiaki TAKEDA： Development of a Measurement
System for Food Intake Using Neural Network , ICMIT’01 , pp19-24 , 2001
［5］竹田史章・大松 繁：「ニューロ紙幣識別ボードの開発」、電気学会論文誌 C、
pp1-6、1996［6］竹田史章・西蔭紀洋：「紙幣用ニューロテンプレートマッチング識別手法の開発」、
電気学会論文誌 C、pp1-7、2001［7］長尾 崇：
「電子ペンによる個人認証システムにおける前処理の改善に関する研究」、平成 12 年度高知工科大学学士学位論文、2001［8］森山 剛・竹田史章：「電子ペンによる個人認証システムにおける前処理」、高速信号処理応用技術学会春季研究会論文集、pp124-125、2001［9］森山 剛・竹田史章：「電子ペンによる個人認証システムにおける前処理の改善」、
システム制御情報学会論文集、pp111-112 、2001［10］内田久也：「ニューラルネットワークを用いた米用色彩選別機開発に関する研究」、平成 12 年度高知工科大学学士学位論文、2001［11］萩原将文：「ニューロ・ファジィ・遺伝的アルゴリズム」、産業図書、pp25-61、
1994［12］一柳賀子・竹田史章：「ニューロテンプレートマッチング識別手法を用いた米用色彩選別機の開発」、高速信号処理応用技術学会 2001 年秋季研究会論文集、
pp81-86、2001［13］竹田史章・大松 繁：「マスク方式によるニューロ紙幣識別機の開発」、システ
ム制御情報学会論文集、Vol.6、pp31-36、2001- 47 -