全方位カメラを用いた複数人食事動作同時認識
電気通信大学 寺内 健人
柳井 啓司
University of Electro-Communication

研究背景

食事管理
• 健康志向の高まりとともに食事管理の重要性は高まっている• 取った食事や摂取カロリー量を記録することで自らの食生活を把握• スマートフォンを用いて画像認識により食事記録を作成© Presentation Design

1

研究背景

画像認識による食事認識• 画像認識を用いた食事認識手法は1人分の食事のみ, もしくは摂食動作を記録するものが存在• 複数人分同時に食事認識することはできない• 食卓全てを記録するには手間がかかってしまう
面倒…

University of Electro-Communication

2

研究背景

全方位カメラ• 近年VRの普及, 低価格化などから全方位カメラは身近に• リアルタイムに全方位の映像を取得可能

https://www.insta360.com/jp/product/insta360University of Electro-Communication
onex2

3

研究目的

本研究の目的• 全方位カメラとスマートフォンを用いた食事管理アプリ• リアルタイムに食卓全体のカロリー量, 食べた量が分かるシステムの構築

食卓全体の食事認識システムを実現
University of Electro-Communication

4

関連研究

関連研究

University of Electro-Communication

5

関連研究

食事認識アプリ
カロリー量推定アプリDepthCalorieCam• 安蒜ら(2019)の研究• 食事を撮影することで体積を推定• 高精度の食事のカロリー量推定を実現
食事動作認識アプリGrillCam• 岡元ら(2013)の研究• 卓上にスマートフォンを設置し,映り込んだ食事動作を認識• 摂取カロリーを記録するシステム
どちらも1人分の食事しか認識していない全方位カメラを用いることで、食卓全体の食事認識を実現する
University of Electro-Communication

6

関連研究

全方位物体認識
一般的な物体認識方法のいくつかの適用法が存在

・正距円筒図法の画像に直接アノテーションしたもので学習

Chou et al, 360-Indoor: Towards Learning Real-World Objects
in 360° Indoor Equirectangular Images

・学習は一般的な画像を用いて行い, 推論時に正距円筒図法の画像を補正

我々の研究では…

推論時に平面投影を用いて正距円筒図法の画像を補正

Yang et al, Object Detection in Equirectangular Panorama

University of Electro-Communication

7

CalorieCam360

提案手法

University of Electro-Communication8

CalorieCam360

提案手法概要• 全方位カメラ，スマートフォンを用いて食卓全体の人物ごとの摂取カロリー量推定を行う「CalorieCam360」を提案• 深層学習モデルは全てAppleのVisionフレームワークで完結するようにCoreMLモデルに変換して実装

University of Electro-Communication

CalorieCam360

提案手法概要リファレンスサイズ
決定

料理物体検出

料理物体の人物ごとの摂食カロリー量推定

カロリー量推定University of Electro-Communication

CalorieCam360

テーブルを対象とした平面投影
投影前画像の下部に写った歪んだテーブル・食事の歪みが補正され, 投影後画像に表示されている

University of Electro-Communication

11

CalorieCam360

リファレンスサイズの決定• 物体の面積を求めるためにカメラに写った物体の実寸が必要となる．
• ユーザーが面積が既知な矩形物体を検出，面積を入力する
ことで実寸計算• AppleのVisionフレームワー
クを用いて矩形検出
University of Electro-Communication

矩形の面積が分かる物体を置き,検出できていることを確認する検出に用いた矩形物体を選択する

矩形物体の面積を入力する

12

CalorieCam360

料理物体検出• UEC-FOOD100で学習したYOLO v7を用いて検出, 100カテゴリの料理について検出する．
• 小さい物体の検出に対応するため，学習において画像スケールを0.04~0.3倍に, 料理が全方位から写るため-180°~180°に回転させるデータ拡張をする．
• 学習は640x640，推論時は1280x1280の解像度の画像に対して検出

University of Electro-Communication

13

CalorieCam360

料理領域分割• 検出バウンディングボックスを切り抜いて領域分割し，料理のピクセル数を求め，ピクセル数から面積を計算• Deeplab v3+をUEC-FoodPIXCompleteで学習したモデルを用いる

University of Electro-Communication

14

CalorieCam360

食事カロリー量推定の流れ• 食事領域分割で求めた面積から回帰曲線を用いてカロリー量を求める

University of Electro-Communication15

CalorieCam360

食事カロリー量推定を行うカテゴリ• 丹野らが求めた回帰曲線を用いてカロリー量推定を行う• カロリー量推定を行うカテゴリは15カテゴリ，他の85カテゴリは行わない

Ryosuke Tanno, Takumi Ege, and Keiji Yanai. Ar
deepcaloriecam v2: Food calorie estimation with cnn and arbased actual size estimation. In Proc. of ACM Symposium on
Virtual Reality Software and Technology, 2018.
University of Electro-Communication

16

CalorieCam360

人物ごとの摂取カロリー量推定の流れ• 人物検出にはAppleのVisionフレームワークの骨格検出を用いる

University of Electro-Communication17

CalorieCam360人物と料理の対応付け• 各料理に対し正距円筒図法の距離で最も近い手首，肘の人物を対応付け

University of Electro-Communication

18

実験

実験

University of Electro-Communication

19

実験

使用例：リファレンスサイズの決定

University of Electro-Communication

20

実験

使用例：食事前

University of Electro-Communication

21

実験

使用例：食事中

University of Electro-Communication

22

実験

使用例：食事後

University of Electro-Communication

23

実験

使用例：食事と人物の対応

University of Electro-Communication

24

実験
デモ

University of Electro-Communication

25

実験

食事途中の料理画像に対する麻婆豆腐，寿司など分かりやすいものはしっかり検出さ領域分割れているが，ごはんなどはあまり検出されなかった．
料理物体検出カロリー量推定誤差
ほとんどの測定において提案手法は測定カロリー量が上振れしていた
University of Electro-Communicationカテゴリによっては少し欠けるだけで正しく領域分割できなくなる

26

まとめ• 全方位カメラとスマートフォンを用いた食卓全体の食事認識アプリケーション「CalorieCam360」を提案した• 実験により，実際にアプリケーションが正しく動作することを示し，同時に改善点も特定した．

• 今後の課題は各段階のモデルの改良，顔検出による人物追跡，物体追跡による料理物体の追跡などの実装による使いやすさの向上など．
University of Electro-Communication

27