情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2A142021/3/10

Sketch2Bento：スケッチベース弁当具材配置支援システム
金山 春香1

王 寒歌1

彭 以琛1

吉田 匠吾1

謝 浩然1

岡田 将吾1

宮田 一乘1

概要：近年，SNS 等で弁当を作品として公開することが広まっている．その中でも，キャラ弁は特に人気である．しかし，キャラ弁を作るには，具材の加工や配置に繊細な技術が必要であったり，作りたいキャラクタのレシピが見当たらないことがある．本研究では，ユーザの手書きスケッチを入力とし，具材の配置を支援するガイダンスシステム Sketch2Bento を提案する．提案システムは，空間拡張現実技術を用いて，弁当箱にユーザの作業状況に応じた配置ガイダンスをインタラクティブに提示する．また，本システ
ムによる支援がユーザへどのような影響を与えるのか評価実験を行い，有効性を検証した．

1. はじめに
近年，SNS やブログの普及により，弁当は空腹を満たすための携帯食というだけではなく，見た目を重視し，芸術性を高めた作品としてインターネット上で公開することが広まっている．その中でも，弁当の中身を漫画やアニメのキャラクタ，風景などを模したキャラ弁は特に人気であり，
図 1 研究概要図

キャラ弁作成のための道具や食材，弁当箱の種類，キャラ弁関連の書籍など，様々な広がりを見せている [1]．
しかし，キャラ弁を作ることは，普通の弁当を作ること

2. 関連研究に比べて，具材の加工や配置が重要となり，繊細な技術を要求される場合もある．また，キャラ弁のレシピを探しても，作りたいキャラクタのレシピが見当たらないこともある．
また，近年 VR，AR などの空間拡張現実技術を用いた研究が盛んに行われている．特に実世界の空間に仮想空間の情報を投影することで，新たな情報提示を行うプロジェ
クションマッピングを代表とする空間拡張現実技術は様々な分野への応用が検討されている．
本研究では，ユーザの描いたスケッチをもとにした弁当の具材配置支援システム Sketch2Bento を提案する．提案システムでは，空間拡張現実技術を用いて，弁当箱にユーザの作業状況に応じた具材の配置ガイダンスをインタラクティブに提示する．これにより，ユーザは既存のレシピに頼ることなく創作意図に沿った弁当を作ることができる．

2.1 弁当制作支援
これまで行われてきた弁当制作支援の研究事例の１つが，画像処理を用いたキャラ弁のレシピ生成システム [2] である．キャラクター画像を色と形の情報から分割し，それぞれの範囲に適した料理のレシピを推薦することで，任意のキャラ弁の制作支援を行っている．
また，食材の味の相性や色味を考慮した弁当の食材推薦システム [3] がある．食材の色や食べ合わせをデータベースに登録し，ベースとなる食材と相性の良い食材の繋がりをネットワーク図を用いて可視化することで食材の推薦を行っている．
このように，弁当の食材・具材を推薦する研究が行われている一方で，本研究のような具材の配置については触れていない．本研究では事前に用意した具材を利用して，ユーザの描くスケッチに沿った弁当を作るための具材配置支援システムを実装した．

2.2 プロジェクションマッピングを用いた制作支援
制作支援の研究事例では，ドミノ倒し制作のガイダンス
1

北陸先端科学技術大学院大学© 2021 Information Processing Society of Japanを行う研究 [4] がある．ユーザの描いたスケッチからドミ318

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2A14
2021/3/10ノの配置を自動生成し，プロジェクションマッピングを用ト (Wacom Intous CTL-6100WL ) を使用する．プロジェ

いてドミノの配置を指示することで，作成時間の削減や作

クターは机上 89 cm，Kinect は机上 80 cm の位置にそれぞ

成途中におけるドミノの転倒リスクを回避することに貢献れの最下面を垂直に設置した．また，使用した弁当箱のサできることを確認している．

イズは 20 cm × 13.5 cm × 4 cm である．弁当箱の光の反射

また，大規模なバルーンアートの制作を簡易化する研究 [5] がある．制作対象のモデルを各層ごとに分割し，層により Kinect がうまく認識しない箇所があったため，弁当箱内にキッチンペーパーを敷くことで対応した．
弁当箱に対して適切なガイダンスを投影するため，キャごとに実空間とのキャリブレーションを行う手法を提案しリブレーションを行う必要がある．キャリブレーションはている．
このように，プロジェクションマッピングを用いた制作

Processing のライブラリである keystone を使用した．

支援の研究は数多く行われている．本研究では，プロジェクションマッピングを用いて弁当の具材配置ガイダンスを行い，ユーザの描いたスケッチに沿った弁当の実現と，弁当の制作時間の短縮を可能にすることを目的としたシステ
ムを提案する．

3. システム概要

図 3
図 2 提案システムのフレームワーク

本提案システムのフレームワークを図 2 に示す．システ
ムのプロセスは以下の 4 つで構成する．

( 1 ) ユーザによるスケッチの作成( 2 ) スケッチをもとに弁当箱にガイダンスを投影( 3 ) ユーザによる具材配置( 4 ) 具材配置状況を読み取り，ガイダンスに反映
事前に用意した具材に対し，対応する色と配置順番を定めておく．配置順番は，具材の大きい順とする．始めに，実験環境の設置

4.2 スケッチの作成
スケッチ作成ソフトは，Drawer*1 を参考に開発した．ブ
ラシと消しゴム，直線，長方形，円，連続直線ツールがあり，ブラシサイズを変更できる．UI を図 4 に示す．
キャンバスサイズの初期値は 600 px × 620 px であるが，使用する弁当箱のサイズ比に合わせて変更することができる．今回はで用意した弁当箱のサイズ比に合わせて600 px × 405 px とした．カラーセットは事前に用意した具材の色によって変更することができる．

スケッチ作成ソフトを用いてユーザがスケッチを作成する．
次に，スケッチ画像の色情報もとにしてプロジェクションマッピングによるガイダンスを行い，ユーザの具材の配置を支援する．ユーザの具材配置状況を検出し，リアルタイムにガイダンスに反映する．(3)(4) のプロセスを繰り返すことで，ユーザによる弁当完成を目指す．

4. システム構成
4.1 実装環境
実装環境は図 3 のように設定した．作業スペースとなる机の高さは 77 cm とし，使用機器は，プロジェクター(EPSON dreamio EF-100，2000 lumen)，深度センサ (Microsoft Kinect V2，解像度 512 px × 424 px)，ペンタブレッ© 2021 Information Processing Society of Japan

図 4*1

スケッチ作成ソフト

pikipity/Drawer,
url:https://github.com/pikipity/Drawer

319

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

4.3 投影画像と弁当箱内の深度情報の対応付け

2A14
2021/3/10

したと判断されると配置終了とし，緑色を投影する．そし深度データを直接利用して具材配置位置をガイダンスにて，赤色の範囲が配置未完了の範囲の 2 割以下となった場反映する．そのため，深度データ内の弁当箱のサイズに一合，次の色の具材の配置に移る．スケッチ画像の全ての色致するように弁当箱に投影するガイダンス画像を縮小すにおいて配置終了と判断した場合，全体の配置終了とみなる．また，具材ごとのガイダンスを行うために，縮小したし，白色を投影する．

ガイダンス画像において，色ごとの画素位置を保存したリストを作成する．リスト作成のイメージを図 5 に示す．

5. 評価実験
本システムは，Processing を用いて実装した．なお，実行環境は以下の通りである．

OS: Windows 10
CPU: Intel(R) Core(TM) i7-9700K CPU3.00GHz
使用 SDK: keystone

5.1 実験内容
本システムによる配置支援の有効性を調べるため，弁当図 5

リスト作成イメージ制作についての実験を行った．評価実験では，被験者 6 人をシステムなし・システムありの 2 つのグループに分け，4.4 具材配置位置の検出それぞれのグループに設定した条件下で弁当制作を行い，深度センサを用いて，ユーザが配置した具材の位置の検制作時間と被験者による完成度の評価を行った．システム出を行う．具材が何も配置されていない場合の作業スペーなしのグループは 2 名が参加し，システムありのグループ

スの深度データを初期値とし，具材を配置した場合の深度は 4 名が参加した．システムなしのグループでは，被験者と比較を行う．具材配置を認識する検証を行った結果，深の思い描いた弁当を本システムの支援無しで制作した．そ度差が 8 mm 以上の位置に対して，具材が配置されたと判の際に，弁当のイメージを紙に描き，それを参考にしなが断することとした．

ら制作も可能とした．システムありのグループでは，被験者の思い描いた弁当を本システムの支援を用いて制作し，4.5 ガイダンスの提示制作後にアンケートを実施した．アンケートには，本研究配置順番に沿って具材を配置できるように，ガイダンスで実装したスケッチ作成ソフトや配置支援ガイダンスに対画像を弁当箱に投影する．このとき，保存したリストを深しての設問を設け，本研究の有効性を被験者による評価か度データに対応させ，各色の具材配置範囲を求める．具材ら検証する．

を配置する範囲はその具材に対応する色，配置しない範囲

今回の実験で用いた具材はブロッコリー，卵焼き，ソーは黒色を投影する．また，正しい範囲に具材を配置した場

セージであり，スケッチ作成ソフトでは緑，黄，ピンクの合は緑色，誤った範囲の場合は赤色を具材の配置した位置色を使用可能とした．に投影する．ガイダンス例を図 6 に示す．

図 7 に被験者が本システムを利用して弁当制作を行った様子を示す．

図 6

具材配置ガイダンス

具材配置範囲を認識する検証を行った結果，深度データにおいて常にある程度のノイズが混入するため，配置終了

図 7システムを利用して実験を行う様子

判定について調整を行った．ユーザが具材配置を進め，投影している色の範囲のうち，7 割の範囲において具材配置© 2021 Information Processing Society of Japan320

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2A142021/3/10

験者の制作しようとした弁当のイメージが複雑であったた

6. 結果と考察

めに，制作自体が難しかったことが考えられる．

図 8 に本システムを利用して制作された弁当の例を示す．

図 8

図 10 に，システムありのグループで実施したアンケート結果を示す．

スケッチと制作された弁当
図 10

本実験において，具材の加工は被験者の自由としたが，アンケート結果ガイダンスに合うように具材を加工した被験者は少なかった．ガイダンスの通りに具材を配置することを優先し，ス設問 1〜4 は以下のアンケート項目を指す．5 段階評価はケッチの厳密な再現については重要視していないのではな5 に近づくほど評価が高いことを示している．

いかと推察する．また，今回の実験において，システムあ( 1 ) スケッチは作成しやすかったかりの被験者が 4 人と少ないことから，制作事例を増やすた( 2 ) ガイダンスを参考にしたかめに追加実験を行う必要があると考える．

( 3 ) ガイダンスの見やすさ

図 9 に，システムなし・システムありにおける制作時間( 4 ) ガイダンスの分かりやすさと 5 段階の完成度評価の関係を示す．5 段階評価は 5 に近アンケート結果より，本システムの評価は比較的高いことづくほど完成度が高かったことを示している．

がわかった．設問 3 と設問 4 において低い評価になった理由は，作成したスケッチが複雑であったため，弁当箱に具材配置画像を鮮明に投影することができず，ガイダンスとして分かりづらいものになったためと考えられる．
また，アンケートの自由記述欄において，認識の精度をもっと高くしてほしいという意見があった．これについては，深度センサの性能に依存するため，本システムで使用した Kinect V2 より性能が良い深度センサ，例としてRealSense D455 を用いることで改善できることを期待している．また，スケッチを投影するとき，細かい部分の再現ができていないという意見があった．これについては，スケッチ画像を深度データの解像度に合わせた場合に，解像度が極端に低くなることが原因だと推察される．解像度
図 9

システムなしとの比較が高い深度センサを用いることや，弁当箱に投影する際に解像度を上げ，ノイズを補完する処理を行うことで解決で制作時間について，システムなしでは平均 313.5 秒となった．システムありでは平均 190.25 秒となった．この結果から，システムなしと比較してシステムありの方が平きると考える．

7. まとめ

均制作時間が短縮できていることがわかる．また，完成度

本研究では，創作意図に沿ったキャラ弁を作るために，についてはシステムなしでの平均評価が 2，システムあり

ユーザの描いたスケッチをもとにした弁当の具材配置支援

での平均評価が 3.5 であり，システムありのほうが平均評システムを提案し，実装を行った．深度センサとプロジェ価が高かった．しかし，図 9 より評価のばらつきが見られクターを用いることで，インタラクティブな配置支援を行ることがわかる．このような結果となった理由として，被うことができた．また，評価実験では従来手法との比較と© 2021 Information Processing Society of Japan321

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2A14
2021/3/10

アンケート調査によって，提案システムの有効性を確認できた．
今後は，具材の認識精度を向上させることや，複雑なスケッチにも対応できるように具材の加工に対しても支援を行えるようなシステムを開発する予定である．また，既存
研究 [2][3] で提案されている具材推薦システムと連携することで，見た目だけではなく，味や栄養もこだわった弁当制作が可能になると考える．
参考文献
[1]
[2]

[3]

[4]

[5]旭真里奈，弁当の魅力―キャラ弁・食育・絆―，エクメー
ネ研究，Vol.3，pp.49-82，2014．
下込拓哉，小池隆太，松尾沙都美，濱川礼，画像の領域分割を用いたキャラクター弁当のレシピ作成システム，情報処
理学会第 74 回全国大会講演論文集，2012(1)，pp.711-712．
高野夕紀，植竹朋文，相性や色味を考慮したお弁当の材料推薦システムの提案，情報処理学会第 77 回全国大会講演論文集，2015(1)，pp.337-338．
Yichen Peng, Yuki Mishima, Yamato Igarashi, Ryoma
Miyauchi, Masahiro Okawa, Haoran Xie, Kazunori Miyata, Sketch2Domino: Interactive Chain Reaction Designand Guidance, Nicograph International, 2020.
Haoran Xie, Yichen Peng, Naiyun Chen, Dazhao Xie,Chia-Ming Chang, and Kazunori Miyata, BalloonFAB:
Digital Fabrication of Large Scale Balloon Art, ACM
CHI Conference on Human Factors in Computing Systems (CHI 2019), Late Breaking Work, 2019.

© 2021 Information Processing Society of Japan322