沖縄地区

教育システム情報学会 2018年度学生研究発表会

深層学習による画像認識を用いた外国人向け沖縄郷土料理紹介アプリの制作
Creation of an Application for Introducing Local Cuisine of Okinawa
for Foreigners using Image Recognition based on Deep Learning
國仲 広大，小渡 悟
Kodai KUNINAKA，Satoru ODO
沖縄国際大学産業情報学部
Department of Industry and Information Science, Okinawa International University
Email: 15DB056@okiu.ac.jp
あらまし：外国人の沖縄での観光時の食事のシーンにおける，沖縄料理の見ただけでは味や材料などが分かりづらいという問題を解決するため，画像認識を用いて料理を写真から推定し，詳細を提示する外国人観光客向けの沖縄料理紹介アプリケーションの制作を行った．
キーワード：画像認識，深層学習，ディープラーニング，郷土料理

1.

沖縄県の主な産業として，他県には無い独自の伝
統・歴史・自然・食・国際色を生かした観光業が挙げられる．沖縄県への観光客数は年々増加しており，
平成 29 年度の入域観光客数は 957 万 9,900 人で，前年度比で 81 万 700 人，割合にして 9.2％の増加となった．900 万人台を記録し，5 年連続で過去最高を更新した．特に外国人観光客数の増加は著しく，10 年連続で過去最高となる 269 万 2,000 人で，対前年比で 56 万 2,900 人，26.4％の増となった．
また，沖縄への外国人観光客の多くは台湾，韓国，中国本土，香港などの東アジア圏からの観光客となっており，これは沖縄発着航空線の新規就航および既存路線の増便や，クルーズ船の寄港回数の増加などが起因していると思われる．(1)
また，沖縄県へ訪れる外国人観光客の主な活動を見ると，多くの外国人観光客が「都市観光、街歩き」，「自然・景勝地観光」，「沖縄料理を楽しむ」，「ショッピング」を挙げている．

しかし，海外からの観光客が増える一方で，観光客受け入れ側の問題も出てきている．図 2 に沖縄県へ訪れた外国人観光客の項目別満足度の調査結果を示す．
「おもてなし」などの沖縄で受けるサービスが高い満足度を得ている一方，「案内表記のわかりやすさ」，「外国語対応能力」の満足度が低い結果になっており，未だに外国語に対応できるサポート環境が整っていないことが読み取れる．今後，「おもてなし」などのサービス関連の満足度の更なる向上を図るには，外国人に対する言語サポートを高める必要があると思われる．特に沖縄の郷土料理は外国人にとってはほとんど馴染みの無いものであるため，例え外国語対応のメニュー表でも料理の写真や名前だけではどのような味，材料かなどの判断が難しいという問題が考えられる．
本研究では，観光中における「食事」のシーンに焦点を当て，料理を写真や映像などから推定し，詳細を提示する外国人向け言語サポートのシステム開発を行うことを目指す．

外国人観光客の主な活動

外国人観光客 満足度

はじめに0
観光・街歩き自然・景勝地観光
沖縄料理を楽しむ
ショッピングマリンレジャー
エコツアー
戦跡地参拝

2040

27.7
16.5
11.4

60

80%0100
83.3
81.7
81.4
81.3

2040

おもてなし
食事施設
宿泊施設
観光施設
案内表記のわかりやすさ
外国語対応力出所）平成 29 年度 外国人観光客実態調査
より作成．(1)図 1 外国人観光客の主な沖縄での活動

40.2
29.2

60 (%)
57.4
57.3
57.1
53.7

出所）平成 29 年度 外国人観光客実態調査
より作成．(1)図 2 外国人観光客の満足度

245

沖縄地区

教育システム情報学会 2018年度学生研究発表会

2.

開発環境

3.

提案システム

あった画像ファイルをカメラロールなどからアップロード出来る他，その場で写真を撮り直接アップロードすることも可能となっている．
「Upload」ボタンを押すと選択した画像ファイルから料理の判定が開始され，自動で判定結果のページへと遷移される．

本研究では開発 OS を Windows7 で行い，開発言語は Python，html を使用した．ディープラーニングのライブラリとして Keras を使用し，バックエンドに TensorFlow を使用した．またウェブアプリケーションフレームワークに Flask を使用した．

本研究では，沖縄への外国人観光客の「食事」のシーンにおける言語面でのサポートを高めるためのウェブアプリケーションを提案する．機能としては，沖縄郷土料理の名前，味，おおまかな材料などを英語訳にて紹介するページを作成する．加えて画像認識を用いてメニューの写真や食品サンプルなどの視覚的な情報だけから料理を推定し，前述した料理紹介ページへ遷移できるシステムを制作する．これよりメニューを見ただけでは判断できない料理の詳細を知ることが可能となる．また，アプリケーション内での表示言語は世界的に利用者の多い英語を使用する．
3.1 ホーム画面
ホーム画面では，調べたい沖縄料理の画像ファイルを選択し，アップロードすることができる．
「ファイルを選択」ボタンを押すと，あらかじめ保存して3.2 判定結果画面
判定結果画面では，アップロードした画像ファイルから推定された結果などが表示される．「cuisine」の項目では判定された沖縄料理の名前が表示される．
「probability」の項目では，「cuisine」項目で表示された結果がどれほどの確率で正しいのかが表示される．「Detail」のリンクを押すと，判定された料理のより詳細な情報が掲載されたページへと遷移できる．
3.3 詳細ページ
詳細ページでは判定された料理の詳細な情報を確認することが出来る．掲載されている情報としては主に見ただけでは判断がしづらい味や料理に使われる材料などである．

4.

5.
図3

ホーム画面

図4

判定結果画面

評価実験「ゴーヤーチャンプルー」，「ラフテー」，「タコライス」，「沖縄そば」の 4 つの沖縄料理の画像をそれぞれ 150 枚学習させたモデルを作成し，本アプリケーションの画像判定システムに使用した．本モデル
にて画像識別実験を行った結果，それぞれの料理を認識することが確認できた．しかし，料理が誤認識されているものがあり，これは同じ料理でも盛り付けや，皿の色などで違う料理と認識され，判定が難しくなったためと思われる．

まとめ

本研究では，沖縄へ訪れる外国人観光客の「食事」のシーンにおける言語面でのサポートを高めるためにアプリケーションの制作を行った．理由としては観光地である沖縄県の外国語対応力が低く，食堂やレストランなどでは外国語対応のメニューを置く場所も増えているが，外国人にとって馴染みのない沖
縄郷土料理はメニューの写真や名前だけではどのような料理か把握が難しいという問題があった．そのため本研究では，料理の写真などの視覚的な情報だ
けから料理の詳細を知ることが出来るアプリケーシ
ョンの制作を目指した．本アプリを通して外国人観
光客の食事に関する言語面の問題が解決できれば幸いである．
参考文献

図5

(1) 沖縄県: 【概要版】平成 29 年度外国人観光客実態調査（平成 30 年度 7 月 5 日公表）
http://www.pref.okinawa.jp/site/bunka-sports/kankoseisaku/kikaku/report/inbound_survey_report/h28inbound_survey_gaiyou.html

詳細ページ246