1204
事前学習済みモデルと音声対話エージェントを用いた顔識別システムの開発
Developing a Facial Identification System Using Pre-Trained Model and Spoken Dialogue Agent○正 陳 思楠*1*2，中村 匡秀*1*3
Sinan CHEN*1*2, Masahide NAKAMURA*1*3*1

神戸大学 Kobe University
日本学術振興会 Japan Society for the Promotion of Science*3
理化学研究所・革新知能統合研究センター RIKEN AIP*2

Our research group is currently studying and developing listening services using spoken dialogue agent and IoTtechnologies to assist the "mind" of the elderly at home. However, the user identification function, an essential part of theservice, has not yet been realized. It is difficult to determine the identity of the person who interacts with the spoken
dialogue agent. Although with the rapid development of the artificial intelligence field, various smart devices and services
using deep learning have appeared in the face recognition technology, problems exist, including costs and computational
resources to build and apply a recognition model. This study aims to develop a facial identification system using prelearned model and spoken dialogue agent. Our key ideas include the automatic generation of learning data by spoken
dialogue between the user and the agent and the acquisition and comparison of facial features using a pre-trained model.
In this way, our face identification system can be quickly introduced and expected with only a general-purpose computerand a Web camera, without needing a conventional Internet connection and manual labeling of learning data.
Key Words : User identification, Face recognition, Pre-trained model, Spoken dialogue agent, Assistive technology

1. 緒

言

近年，世界の人口高齢化や介護人材・施設の不足の問題が深刻する中，日本では施設から在宅へ転換する要介
護高齢者の人数が年々増加している．住み慣れた自宅で介護生活する反面，社交の希薄による高齢者の孤独感が高まり，軽度認知症やコミュニケーション能力の低下のリスクが存在する．このような背景を受け，我々の研究グループでは，在宅高齢者の「こころ」見守り支援を目指し，IoT センサやバーチャルエージェント(VA)，クラウ
ド技術を統合した音声対話エージェント傾聴サービスの研究開発を行っている(1)(2)(3)．
我々の先行研究では，対話ログを個人ダイアリーとして振り返りする機能(4)，動画視聴(5)や情報検索機能，カレ
ンダーイベント登録等，様々なマイクロサービスをエージェントに組み込み(6)，高齢者とエージェントと音声対話で様々な機能を制御することが実現している．また，ウェアラブルヘルスデバイスで高齢者の特徴量変化を捉え，その計測結果を音声対話エージェントと連携する個人適応型のヘルスクエスチョン機能(7)や，対話ログから健康変化の原因を推定するアプローチ(8)も考察されている．
しかしながら，サービスの重要な一貫とするユーザ識別の機能はまだ実現していない．音声対話エージェントとインタラクションを行う相手の身分判断は難しいという問題が生じる．これまでの顔識別技術は，人工知能分野の迅速な発展に伴い，クラウドコンピューティングや深層学習を用いた様々なスマートデバイスやサービス(9)(10)が登場されているが，認識モデルを構築・適用するコストや計算資源がかかるという課題が存在する．

昨今，機械学習向けに開発されたエンドツーエンドのオープンソースプラットフォーム TensorFlow(11)が登場されており，機械学習モデルを JavaScript で開発し，Web ブラウザまたは Node.js で直接に機械学習を使う．これ
らを，一般的に TensorFlow.js 事前学習済みモデルと呼び，画像分類，手のポーズ検出，人間のポーズ検出，オブ[No.22-20] 日本機械学会 第 32 回設計工学・システム部門講演会講演論文集〔2022.9.20.-22, 岡山県立大学（岡山県総社市）〕

ジェクト検出，セマンティックセグメンテーション，および人間の顔認識のモデルが含まれている．これらの技術の特徴として，リアルタイムにデータから特徴を抽出し，オフラインでも実行可能となる．
本研究の目的は，事前学習済みモデルと音声対話エージェントを用いた顔識別システムの開発を目的とする．
キーアイデアは，ユーザとエージェントの音声対話による学習データの自動生成と，事前学習済みモデルを用いた顔特徴量の取得・比較である．提案手法では，ステップ 1 では，既存データの読み込みと特徴抽出を行う．ステップ 2 では，新たな学習データの取得と特徴抽出を行う．ステップ 3 では，既存データと学習データの特徴比較を行う．最後，ステップ 4 では，識別結果に基づくエージェント対話を行う．
ケーススタディでは，在宅認知症高齢者の生活リズムの見守り支援と，複数人とエージェント対話時の個別ロ
グ記録，および独居高齢者のリアルタイムな住居侵入推定の 3 つの例から，拡張可能な付加価値サービスの考察を行う．また，考察では，本研究の提案システムの利点として，ユーザのプライバシー課題とデータを学習・県連するプロセス，およびシステム導入容易性を改善することができている．それに対し，提案システムの制限として，生画像からの顔マスク検出はできないこと，既存データの読み込みに時間かかること，および学習データの真偽性は判断できない問題点が残っている．さらに，関連研究を述べた上，我々は今後の課題を明確している．
2. 準

備

2・1 先行研究：在宅高齢者の「こころ」見守り支援
日本やイタリア，ドイツ，フランス等，先進国を代表する人口高齢化や介護人材・施設の不足の問題が深刻する中，施設から在宅へ転換する要介護高齢者の人数が年々増加している．住み慣れた自宅で介護生活する反面，社交の希薄による高齢者の孤独感が高まり，軽度認知症やコミュニケーション能力の低下のリスクが存在する．
我々の研究グループでは，在宅高齢者の「こころ」見守り支援を目指し，IoT センサやバーチャルエージェント(VA)，クラウド技術を統合した音声対話エージェント傾聴サービスの研究開発を行っている．本サービスシス
テムの中，汎用コンピュータとセンサ機器（即ち，人感と圧力センサー）と繋ぎ，バーチャルエージェント（即ち，MMD Agent(12)のキャラクター素材と音声合成）と Web ブラウザ（即ち，音声認識 Web Speech API）と連携することにより，高齢者がセンサ機器の傍にいる間のみ，エージェントと音声対話インタラクションが自発的に始まるという仕組みを行う．エージェントからランダムな相槌を自動的に返事し，在宅高齢者が毎日の自叙伝（例，
今日は何をしたか，体調はどんな感じか等）を「対話」の形で定期的に収集することを狙う．図 1 に汎用コンピ
ュータとセンサを利用した VA 傾聴サービスの実物を示す．

Figure 1 Virtual agent listening service using purpose-general computer and sensor modules.
Copyright 2009-2018 Nagoya Institute of Technology (MMDAgent Model “Mei”)

具体的に，我々は Pub/Sub や Web Socket のアーキテクチャ技術を活用し，対話ログをリアルタイムにクラウドのデータベース（例，MongoDB や Next Cloud 等）へ記録保存する．高齢者の記録支援や自己管理のために，これらのログを個人ダイアリーとして振り返りする機能も実装されている．また，スマート機器の操作に不明な高齢者に向け，動画視聴や情報検索，カレンダーイベント登録等，様々なマイクロサービスをエージェントに組み込み，音声対話でこれらの機能を制御することも実現されている．さらに，高齢者の気付かなかった健康の変化をリマインド・原因解明するために，ウェアラブルヘルスデバイス（例，Garmin ウェアラブルアクティビティト
ラッカー等）で特徴量変化（例，活動量，心拍数，歩数等）を捉え，その計測結果を音声対話エージェントと連[No.22-20] 日本機械学会 第 32 回設計工学・システム部門講演会講演論文集〔2022.9.20.-22, 岡山県立大学（岡山県総社市）〕

携する個人適応型のヘルスクエスチョン機能も提案されており，対話ログから健康変化の原因を推定するアプローチも考察されている．しかしながら，サービスの重要な一貫とするユーザ識別の機能はまだ実現していない．
音声対話エージェントとインタラクションを行う相手の身分判断は難しいという問題が存在する．
2・2 技術的なチャレンジ
ユーザの身分判断を自動化するために，我々は顔の特徴量を利用したユーザ識別システムの開発に着目する．
そこで我々は 2 つの技術的なチャレンジがあると考えている．
一つは顔認識時におけるユーザのプライバシーの課題である．これまでに Microsoft Azure Face API や Google
Cloud Vision API，IBM Watson Visual Recognition API 等，顔認識に関する多くのクラウドサービスが Application
Programming Interface (API) の形で登場されている．強大なクラウド計算資源で駆使する顔認識は，当然に高精度な結果が得られるが，リアルタイムに利用する際に，利用料金の問題やインターネット通信のオーバーヘッドが大きい．さらに，ユーザの顔特徴データを抽出・分析するために，時系列における生の画像データをグローバル
ネットワークへ送信する際に，ユーザのプライバシーの課題が存在する．
一方，もう１つは学習データを取得・訓練する時間がかかる課題である．世帯ごとに顔識別モデルを構築する
ために，深層学習（例，CNN，LSTM 等）を利用する最も単純なアプローチはあるが，膨大な計算資源や大量なラベル済み学習データが必要となる．しかしながら，ユーザの住宅で開発者が提供した顔識別システムを実際に設置・運用する際に，事前の学習データが必ずしも手に入るとは限らない．世帯ごとのユーザに個別で学習デー
タを取得・訓練するために準備の時間がかかる．システムの準備段階において，ユーザから数回の協力が必要とされ，学習データを取得した後に訓練する効果も不明である．
2・3 TensorFlow.js 事前学習済みモデル
昨今，機械学習向けに開発されたエンドツーエンドのオープンソースプラットフォーム TensorFlow が登場されており，開発者は機械学習搭載のアプリケーションをより簡単に開発してデプロイできる．TensorFlow 中には，
ワークフローを支援する Colaboratory (Colab)や，再利用可能な機械学習用のライブラリ TensorFlow Hub，開発者間のアイディア交換を支援する TensorFlow Forum 等，多様なツールやライブラリ，コミュニティリソースを備えており，総合的で柔軟性の高いエコシステムが確立されている．
TensorFlow ライブラリの中には，機械学習用 JavaScript ライブラリ TensorFlow.js がある．機械学習モデルを
JavaScript で開発し，Web ブラウザまたは Node.js で直接に機械学習を使う．これらを，一般的に TensorFlow.js
事前学習済みモデルと呼び，画像やテキスト，一般的なユーティリティの 3 つの方面を関わるモデルがある．そこで，画像を関わるモデルの中には，リアルタイムに，画像分類，手のポーズ検出，人間のポーズ検出(13)(14)，オ
ブジェクト検出，セマンティックセグメンテーション，および人間の顔認識のモデルが含まれている．これらの技術の特徴として，リアルタイムにデータから特徴を抽出し，オフラインでも実行可能となる．図 2 に事前学習済みモデルの検出結果を用いたブラウザのキャンバス描写の例を示す．

(a)
(a)

(b)
(b)

(c)
(c)

Figure 2 Examples of drawing results in the Web browser using tensorFlow.js pre-trained models:(a) Face detection. (b) Hand pose recognition. (c) Human pose estimation.

2・4 Face-API.js
Face-API.js(15)は TensorFlow.js 事前学習済みモデルの中の 1 つ方面を関わる JavaScript ライブラリであり，
Node．
js または Web ブラウザで駆使する 2 次元画像に対する顔検出，顔ランドマークの検出，顔識別，および年齢・性別・感情の推定の機能が備えられている．表 1 に Face-API.js に有する機能と，事前学習済みモデル，およびその特徴を示す．また，これらの事前学習済みモデルでは，一人モードと複数人モードがあり，それぞれ個別の関数[No.22-20] 日本機械学会 第 32 回設計工学・システム部門講演会講演論文集〔2022.9.20.-22, 岡山県立大学（岡山県総社市）〕

で呼び出すこととなる．さらに，2 次元画像のほか，ビデオやリアルタイムな映像ストリームに対し，これらの機能も利用可能となる．これらの機能の実行スピードに関し，30fps で実現していることが一般的である．
Table 1 Functions, pre-trained models, and features in the face-api.js library.

3. 事前学習済みモデルと音声対話エージェントを用いた顔識別システムの開発手法の提案
3・1 目的とキーアイデア
本研究では，章 2・2 の技術的チャレンジを改善するために，ローカルで学習データの準備時間がかからなく実現可能な顔識別システムの開発手法を提案することを目的とする．我々のキーアイデアは，事前学習済みモデルと音声対話エージェントを統合することである．学習データの個数が 0 でも，ユーザとエージェントと対話する
うち，学習データを蓄積することができ，認識制度を向上することも期待できる．これによって，より軽量であり導入容易な顔識別システムを，VA 傾聴サービスの重要な一環として，普及することも期待できる．
3・2 全体アーキテクチャ
図 3 に本研究における提案手法の全体アーキテクチャを示す．本提案では，汎用コンピュータとその内蔵カメ
ラ，内蔵マイクを利用し，人間の顔を検出・識別する結果に基づく，VA との Web ブラウザ内の音声対話シナリ
オの自発的な始まりから，ユーザと対話しながら，学習データを蓄積する仕組みとなる．提案手法の流れは次の4 つのステップから構成される．ステップ 1 では，既存データの読み込みと特徴抽出を行う．ステップ 2 では，新たな学習データの取得と特徴抽出を行う．ステップ 3 では，既存データと学習データの特徴比較を行う．最後，ステップ 4 では，識別結果に基づくエージェント対話を行う．具体的に，以下の章節で詳細内容を述べる．

Figure 3 Overall architecture of the proposed method.

[No.22-20] 日本機械学会 第 32 回設計工学・システム部門講演会講演論文集〔2022.9.20.-22, 岡山県立大学（岡山県総社市）〕

3・3 ステップ 1: 既存データの読み込みと特徴抽出ステップ 1 では，まず，JavaScript で顔識別に必要となる事前学習済みモデルをローカルの保存先から読み込
む．次に，既存データの有無をチェックすることを行うために，Web ブラウザと Node.js サーバを利用し，NodePackage Manager (NPM) における Glob パッケージを用い，ローカルの指定したフォルダーパスパーツパターンを解析するローカルで実行する API を作る．そこで既存データの個数が 0 の場合に，自動的にスキップし，ステッ
プ 2 に移す．一方，既存データが存在する場合，生画像データのセットごとを，顔認識の事前学習済みモデル（即ち，顔識別機能，参考章 2・4）に入力し，セットごとの顔記述子が出力される．顔記述子の一例として，{“label”:“Sinan”, “descriptors”: [Float32Array(128)]}のように，ラベル名と 128 個の 32 ビット浮動小数点数が構成される型付き配列を含む．このように，既存の生画像データから特徴を抽出し，ラベリングした顔記述子が得られる．
3・4 ステップ 2: 新たな学習データの取得と特徴抽出ステップ 2 では，まず，汎用コンピュータの内蔵カメラから撮影した映像ストリームを Web ブラウザに映し，顔検出をループ処理としてリアルタイムに行う．次に，ユーザの顔が映像ストリームに存在することをトリガー条件として，
そのスナップショット画像を学習データとして事前学習済みモデルに入力し，顔記述子を抽出する．
3・5 ステップ 3: 既存データと学習データの特徴比較
ステップ 3 では，Face-API.js の Face Matcher 関数を利用し，事前学習済みモデルから出力された新たな顔記述
子を，既存のセットごとの顔記述子と比較する．一般的に，Face Matcher に設定されている 0.6 は判別基準値とする．Face Matcher の Find Best Match 関数を利用し，複数の顔記述子の差分距離を計算し，最適値を出力する．
その出力内容の中，識別結果の確率を 0 から 1 までの数字で表す．0 に近ければ，その顔画像はラベリングした
結果に正しく対応する可能性が高い．それに対して，1 に近ければ，ラベリングした結果の中に存在しなく，「知らない人」の可能性が高いことを意味する．
3・6 ステップ 4: 顔識別結果に基づくエージェント対話ステップ 4 では，まず，識別結果を最終的に確定するために，我々は多数決のアプローチを考える．例えば，
10 回連続で識別する結果の中，最も多い結果を最終結果とする．そこで，我々はその最終結果をトリガー条件とし，次のエージェント対話シナリオを設計する．
図 3 の中に示したように，ラベリングした結果が最終結果の場合，エージェントから自発的に「〇〇さんですか（はい/いいえ）」を問いかける．ユーザから「はい」を答えた場合，システムは直接にその学習データを既存データの対応したセットの中に保存する．それに対し，ユーザは「いいえ」を答えた場合，エージェントから「お名前を教えていただけませんか？」を再度に問いかける．ユーザの答えを得て正しいラベルを学習データに付けた上，それを既存データの中に保存する．また，対話が終了した場合，リアルタイムな顔検出が再度に始まる．
このように，「対話」の形で学習データを取得・蓄積でき，ユーザの身分判断を正しくした上，個人の好みに適応できる雑談やビデオ視聴等，様々な付加価値サービスが期待できる．
4. ケーススタディ
4・1 概要本章では，ケーススタディとして，章 3. で提案した事前学習済みモデルと音声対話エージェントを用いた顔識別システムを用い，在宅介護支援サービスを個人適応化することを考える．具体的に，在宅認知症高齢者の生活リズムの見守り支援と，複数人とエージェント対話時の個別ログ記録，および独居高齢者のリアルタイムな住居侵入推定の 3 つの例から，拡張可能な付加価値サービスの考察を行う．
4・2 在宅認知症高齢者の生活リズムの見守り支援
在宅の認知症高齢者は，室内で徘徊したり無意識のうちに，外出したりすることがおおく，昼夜逆転する不規則な生活リズムを持っている問題点が存在する．従来，センサ機器やカメラを用いたデータ記録・分析のシステ
ムが多くあるが，家族メンバーと認知症高齢者のデータを区別できない場合が多く，特定の対象者に対する見守り支援にはまだ届いていない．我々は，提案した顔識別システムをスマートロック機器（例，Switch Bot Lock 等）と連携し，出入り口にシステムを設置することで，認知症高齢者の無断な外出を防止することを想定している．
[No.22-20] 日本機械学会 第 32 回設計工学・システム部門講演会講演論文集〔2022.9.20.-22, 岡山県立大学（岡山県総社市）〕

また，赤外線カメラを用いた場合，深夜の時間帯にも，顔の特徴を抽出・識別することが有望である．認知症高齢者とエージェントと対話することを問わず，カメラ撮影範囲内の認知症高齢者の活動時間帯を生活リズムの一部として記録できる．さらに，複数の高齢者が互いにケアする場合，我々は提案システムを用い，個別に見守り支援を行い，必要なタイミングに家族や介護施設へタイムリーな連絡を自動的に行う仕組みも考えている．
4・3 複数人とエージェント対話時の個別ログ記録
現在，スマートスピーカー（例，Google Assist，Amazon Alexa 等）を含め，様々な音声対話エージェントが年々に登場されている．これらのスマート機器を利用するユーザの中，見守り支援に必要となる在宅高齢者の世帯構成が異なるため，
普段には複数人とエージェントと対話する場が多く存在する．
そこで，「だれが〇〇を言ったか」
を一台の機器で自動的に識別することは容易ではない．我々は提案した顔識別システムを用い，ユーザの身分を識別した上，エージェントと対話時に，機械が個別にログを記録することを想定している．個人個人の対話ログを自動的に分類することで，個人を適応した答えや付加価値サービスの自動生成が有望である．また，複数人の対話ログから，話者間の家族関係の分析や個人要望の推定等，様々な拡張機能が期待できる．さらに，我々は提案システムを用い，在宅高齢者の世帯構成が変わっても，「対話」の形でエージェントに新たなメンバーの顔画像を登録してあげることも可能となり，学習データの準備時間がかからずに，自然な対話でシステムを実行できる．
4・4 独居高齢者のリアルタイムな住居侵入推定
日本では，高齢者の一人暮らし世帯の急増とともに，高齢者の住宅を対象とした侵入窃盗事件が年々増加しており，監視カメラを含む様々な見守り手段が多く利用されているが，リアルタイムな身分認識ができず，タイム
リーな見守り支援の実現にはまだ至っていない．当然，専門的なスマート設備を用いた管理人呼びかけサービス
や住宅訪問サービス等，多くの住宅見守りサービスが登場されているが，機器やサービス導入のコストや高齢者のプライバシー課題が存在する．そこで，我々は提案した顔識別システムを用い，一定期間内で連続的に識別した結果の変化頻度とラベリングした結果の変化頻度との違いを分析し，「知らない人」という結果の可能性を推定するアプローチを想定している．このように，提案した顔識別システムは，「知らない人」が住宅に入ったことを推定し，高齢者とエージェント対話で確認できない場合，遠方の家族や警察に自動的に連絡する付加価値サービスの実現ができ，独居高齢者の住居安全見守りを，システム導入しやすく支援することが期待できる．
5. 考察

5・1 利点本研究で提案した事前学習済みモデルと音声対話エージェントを用いた顔識別システムの利点に関し，我々は以下の 3 つを考える．
・ユーザのプライバシー課題の改善：本研究で提案したシステムでは，事前学習済みモデルを利用して顔識別を行うので，扱う全てのデータ通信は，グローバルネットワークの接続が必要とせず，ローカルで行うことが可能であり，ユーザのプライバシー課題が改善できる．
・データを学習・訓練するプロセスの改善：本研究では，顔識別システムを音声対話エージェントと連携し，学習データの個数が 0 でも，リアルタイムにユーザとエージェントと「対話」の形でデータを取得・蓄積することができる．これを踏まえ，事前学習済みモデルを用い，顔識別を行う軽量なプロセスが実現できる．
・システム導入容易性の改善：本研究で提案したシステムは，汎用コンピュータと内蔵カメラ，内蔵マイクをのみを利用し，従来のセンサ機器（即ち，人感と圧力センサー）が必要としない．コンピュータ画面には，VA（即ち，MMDAgent）と Web ブラウザを連携するインターフェイスを提供し，高いコストや計算資源がか
からずに，より導入容易な顔識別システムを在宅高齢者の住宅に設置することが期待できる．
5・2 制限本研究で提案した事前学習済みモデルと音声対話エージェントを用いた顔識別システムの制限に関し，我々は以下の 3 つを考える．
・生画像からの顔マスク検出はできない：新型コロナウィルスの感染拡大の影響とともに，高齢者は住宅内でも顔にマスクを掛けることは少なくない．そこで，本研究で提案した顔識別システムが動作する中，顔マス[No.22-20] 日本機械学会 第 32 回設計工学・システム部門講演会講演論文集〔2022.9.20.-22, 岡山県立大学（岡山県総社市）〕

クを含む画像データを学習データとすることもよくある．しかしながら，顔にマスクを掛けることで，顔記述子の精度が低下になる恐れが高く，顔識別の精度が不安定の場合が存在する．それに対し，我々は生画像の中に，「人間顔が存在するか」と「顔にマスクを掛けているか」の 2 つを，事前学習済みモデルで，あらかじめチェックする必要がある．
・既存データの読み込みに時間がかかる：本研究で提案したシステムの中，学習データを「対話」の形で蓄積するが，学習データの個数が増加するとともに，既存データとして顔記述子を読み込む時間がかかる問題が存在する．そこで，我々は生画像データの大部を保存せずに，顔記述子のテキストデータのみを，ラベリング
して保存することを検討している．このように，既存データを読み込む時間が短くでき，プライバシー課題
もより改善できる．
・学習データの真偽性は判断できない：本研究で提案したエージェント対話シナリオの中，ユーザからの答えの真偽性が判断できないことが重大な問題となる．即ち，学習データのラベルの正確性が保証することはまだできていない．この問題に対し，我々はエージェントから複数人のユーザに問いかけ，過去の画像データの真偽性を確認することを想定している．このように，多数人の視点からの答えによって，顔画像のラベルの正確性を改善することが期待できる．
5・3 関連研究
これまでにクラウドコンピューティングを利用した顔識別に関する研究が多かった．Hu et al.ら(16)は顔画像を効率的に解決し，個人データアクセスを制御し，個人の ID 情報を取得するために，並列マッチングメカニズムとクラウドコンピューティングベースの解決フレームワークを提案している．また，クラウドでプライバシーを保護する顔認識を実現するための斬新で効率的なスキームとランダム性手法を用い，顔のプライバシーを保護する
ために，順列，拡散，およびシフト変換で構成されるアフィン変換を提案する研究(17)もある．これらの研究は本研究と異なり，顔認識の効率とプライバシー課題を重視し，住宅というプライベートな場合より公共的な場合で利用することが多い．
それに対し，
我々は在宅高齢者や家族メンバー向けの顔識別システムが個人適応の部分（例，
個人の好みによる対話シナリオの設計(18)，顔識別動作による個別サービスの実現等）が重視するべきと考える．
一方，エッジコンピューティングを利用したローカルで実現可能な顔識別システムに関する研究も存在する．
Kong et al.ら(19)は公衆衛生上の予防措置を支援するために，エッジコンピューティングベースのマスク (ECMask)
識別フレームワークを提案し，ビデオの復元と顔検出，マスクの識別という 3 つの主要な段階で構成されている．
また，最小限の帯域幅を使用し，ユーザのプライバシーを維持しながら，出席を追跡できるインテリジェントなオンライン出席追跡システムである IOSTS という名前のシステムを開発する研究(20)もある．これらの研究は本研
究のアプローチと異なるが，ローカルでネットワーク通信の最小化やユーザプライバシー課題の改善という目的が同じである．特に，顔からマスクを識別する機能に関し，我々の今後の研究方向性に役立つことを期待できる．
6. 結語

本稿では，音声対話エージェントとインタラクションを行う相手の身分判断は難しいという問題を改善するた
めに，事前学習済みモデルと音声対話エージェントを用いた顔識別システムの開発手法を提案した．提案手法では，ユーザとエージェントの音声対話による学習データの自動生成と，事前学習済みモデルを用いた顔特徴量の取得・比較を行う．このように，従来のインターネット接続や学習データの手動ラベリングが必要とせず，汎用コンピュータと Web カメラのみで，導入容易な顔識別システムの実現が期待できる．今後の研究課題として，我々は，提案システムの実装と評価を行い，顔からマスク検出する事前学習済みモデルへ拡張することも考察する．また，我々は，章 4. に述べたケーススタディの案を用い，実際の高齢者の住宅で臨床実験を行いたい．
謝

辞本研究の一部は JSPS 科研費 JP19H01138, JP20H05706, JP20H04014, JP20K11059, JP22H03699, JP19K02973, 特別研究員奨励費 22J13217，および，立石科学技術振興財団の研究助成を受けて行われている．

[No.22-20] 日本機械学会 第 32 回設計工学・システム部門講演会講演論文集〔2022.9.20.-22, 岡山県立大学（岡山県総社市）〕

文

献(1) Miura, C., Chen, S., Saiki, S., Nakamura, M., & Yasuda, K. (2022). Assisting Personalized Healthcare of Elderly People:
Developing a Rule-Based Virtual Caregiver System Using Mobile Chatbot. Sensors, 22(10), 3829.
(2) Chen, S., Nakamura, M., & Saiki, S. (2021, July). Developing a platform of personalized conversation scenarios for in-homecare assistance. In 2021 IEEE International Conference on Industry 4.0, Artificial Intelligence, and Communications Technology(IAICT) (pp. 148-153). IEEE.
(3) Chen, S., & Nakamura, M. (2021, November). Designing an elderly virtual caregiver using dialogue agents and WebRTC. In
2021 4th International Conference on Signal Processing and Information Security (ICSPIS) (pp. 53-56). IEEE.
(4) Sinan Chen and Masahide Nakamura, ``Study of Multi-Modal Diary Service Using Spoken Dialogue Agent for Self-Care in
Elderly People,'' In 2022 1st International Conference on Software Engineering and Information Technology (ICoSEIT), (toappear).
(5) Hiro Horie, Sinan Chen, Masahide Nakamura, and Kiyoshi Yasuda, ``Study of Stress Relief Service by Watching Personalized
Videos for Elderly People at Home,'' In 2022 IEEE International Conference on Industry 4.0, Artificial Intelligence, andCommunications Technology (IAICT), (to appear).
(6) Ozono, H., Chen, S., & Nakamura, M. (2021, November). Study of microservice execution framework using spoken dialogue
agents. In 2021 IEEE/ACIS 22nd International Conference on Software Engineering, Artificial Intelligence, Networking andParallel/Distributed Computing (SNPD) (pp. 273-278). IEEE.
(7) Ozono, H., Chen, S., & Nakamura, M. (2022). Encouraging Elderly Self-care by Integrating Speech Dialogue Agent andWearable Device. In International Conference on Human-Computer Interaction (pp. 52-70). Springer, Cham.
(8) Chen, S., Ozono, H., & Nakamura, M. (2022). Integration Analysis of Heterogeneous Data on Mind Externalization of Elderly
People at Home. In International Conference on Human-Computer Interaction (pp. 197-209). Springer, Cham.
(9) Hirayama, K., Saiki, S., & Nakamura, M. (2019, July). Developing Real-Time Face Identification Device Composable withDistributed Applications. In International Conference on Human-Computer Interaction (pp. 420-432). Springer, Cham.
(10) Hirayama, K., Chen, S., Saiki, S., & Nakamura, M. (2021). Toward capturing scientific evidence in elderly care: Efficient
extraction of changing facial feature points. Sensors, 21(20), 6726.
(11) Smilkov, D., Thorat, N., Assogba, Y., Nicholson, C., Kreeger, N., Yu, P., ... & Wattenberg, M. M. (2019). Tensorflow. js: Machinelearning for the web and beyond. Proceedings of Machine Learning and Systems, 1, 309-321.
(12) Lee, A., Oura, K., & Tokuda, K. (2013, May). MMDAgent—A fully open-source toolkit for voice interaction systems. In 2013
IEEE International Conference on Acoustics, Speech and Signal Processing (pp. 8382-8385). IEEE.
(13) Chen, S., Saiki, S., & Nakamura, M. (2020). Nonintrusive fine-grained home care monitoring: Characterizing quality of in-homepostural changes using bone-based human sensing. Sensors, 20(20), 5894.
(14) Chen, S., Saiki, S., & Nakamura, M. (2021, March). Using Human Pose Estimation for User-Defined Indoor Location Sensing.
In 2021 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events(PerCom Workshops) (pp. 495-501). IEEE.
(15) Li, C., & Li, C. (2019, October). Web Front-End Realtime Face Recognition Based on TFJS. In 2019 12th International Congress
on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI) (pp. 1-5). IEEE.
(16) Hu, P., Ning, H., Qiu, T., Xu, Y., Luo, X., & Sangaiah, A. K. (2018). A unified face identification and resolution scheme using
cloud computing in Internet of Things. Future Generation Computer Systems, 81, 582-592.
(17) Guo, S., Xiang, T., & Li, X. (2019). Towards efficient privacy-preserving face recognition in the cloud. Signal Processing, 164,320-328.
(18) Chen, S., & Nakamura, M. (2021, November). Generating personalized dialogues based on conversation log summarization andsentiment analysis. In The 23rd International Conference on Information Integration and Web Intelligence (pp. 217-222).
(19) Kong, X., Wang, K., Wang, S., Wang, X., Jiang, X., Guo, Y., ... & Ni, Q. (2021). Real-time mask identification for COVID-19:
An edge-computing-based deep learning framework. IEEE Internet of Things Journal, 8(21), 15929-15938.

[No.22-20] 日本機械学会 第 32 回設計工学・システム部門講演会講演論文集〔2022.9.20.-22, 岡山県立大学（岡山県総社市）〕

(20) Parhi, M., Roul, A., Ghosh, B., & Pati, A. (2022). IOATS: an Intelligent Online Attendance Tracking System based on Facial
Recognition and Edge Computing. International Journal of Intelligent Systems and Applications in Engineering, 10(2), 252-259.

[No.22-20] 日本機械学会 第 32 回設計工学・システム部門講演会講演論文集〔2022.9.20.-22, 岡山県立大学（岡山県総社市）〕