顔認識技術とスケジューラを用いた
過去に出会った人との記憶を呼び起こすシステム○阿部彗菜，大島千佳，中山功一（佐賀大学）
A System That Evokes Memories of Users Spending Time with People
Whom They Met in the Past Using Face Recognition Technology andSchedule Management Tool
* K. Abe, C. Oshima and K. Nakayama (Saga University)
Abstract－ This paper developed a system that discriminated whether the user of the system has met a person in front of him/her and displayed where and what he/she did when meeting of the person using a facerecognition technology and a schedule management tool. In daily life, there are many negative effects of notbeing able to remember the names and faces of people. However, there are few systems to assist these people.
The developed system allows the user to immediately identify whether he/she has met the person. Moreover,the user can talk with the person while referring where and what he/she did when the last encounter with theperson. Namely, the system will contribute a smooth relationship with the person. It is expected that the user
will use the system continuously in daily life because the system does not require the user to shoot the face ofthe person and register the person’s name in the database of the system. The result of an experiment suggested
that the system is useful for recalling memories of the last encounter with the person.
Key Words: Dementia, Smartphone, Cognitive Support

1 はじめに
本研究では，人物の顔を覚えることが苦手で，再会しても思い出せないユーザが，「スーパーレコグナイ
ザー1)」のように，前回その人物と会ったときに，どこでどんなことをしたか思い出せるように支援するシステムを構築する．それにより，ユーザは人物の顔を覚えることが得意になったと感じ，人間関係が円滑になることを目指す．
日常生活において，人物の顔や名前を覚えられないことによる不都合は多い．例えば，廊下ですれ違ったときや，外出先で予定外に会ったときなど，思いがけない再会時には，その人が誰であるか瞬時にはわからないため，挨拶し損ねてしまったり，会話が噛み合わなかったりしてしまう．
名刺は人物情報の記憶の一助となる． OCR とクラウドソーシングを併用したクラウド名刺管理サービス（例えば，Sansan（株））では，99.9％の高精度で名刺のデータ化に成功している 2)．人物情報に顔画像を含むことも可能である．しかし，思いがけない再会時に，その人物が誰で，前回どこでどんなことをしたか，瞬時に思い出す支援にはなっていない．
対談において，相手との関係性を築くためには，相手が述べた話者自身の情報（好みや経験など）を覚えて発話に織り交ぜることが有用である 3)．また雑談のうち，約 26％の発話が話者自身に関する情報を述べた自己開示文であるという報告がある 4)．これらのことから，人間関係を円滑にする上で，人物の顔と名前を一致させて覚えるだけではなく，前回の会話の内容を思い出すことも重要であると分かる．
本研究では，顔認識技術とスケジューラを使って，その人物と前回会った時に自分がどこで何をしていたかという情報を表示することにより，この問題の解決を目指す．近年，ウェアラブルカメラにより得られた一人称視点映像を用いて，社会活動を計測する試みがある 5)．本研究では，ウェアラブルカメラで会った人物の顔を常時撮影し，顔画像を，ユーザが日常的に使用しているスケジューラから推定される撮影情報（日時，場所，ユーザがしていたこと（予定）など）とともに自動登録するシステムを開発する．システムは同時に，顔認識技術を用いて会ったことがある人物を識別し，以前に会った人物の場合には撮影情報を表示する．この手法により，名刺交換をしていない人物や，システムに名前を登録する機会がなかった場合でも，その人物とどこでどんなこと，どんな話をしたかという記憶をユーザは瞬時に思い出せると考える．
近年の顔認識にはディープラーニングが用いられ，人の認識性能レベルに近づくことに成功している 6)．
実用例として，大規模イベントのチケット本人確認が挙げられる．このシステムでは，2 つの異なるカメラで撮影し，二種類の画像と登録情報を照合して顔認証を行うことで，歩行中の入場者を 91％の精度で認識できている 7)．一方でプライバシーの侵害が問題になる．
Hoyle, et al. 8)は，一人称視点映像のライフログから得られるデータに対して，自動的に共有されるのではなく，手動でアップロードするなど適切な設定を行うことで快適性が変わることを示している．
本研究では，プライバシー侵害の問題についても言及し，配慮したユーザインタフェースの提案を目指す．
本稿の第 2 章では，顔認識技術とスケジューラを利用した人物の記憶支援システムの概要とその構成について述べる．第 3 章では，実験参加者が 1 日毎に 14名の動画投稿者と同行したという実験設定において，動画投稿者と再会したときの記憶の呼び起こしにおける本システムの有用性を調べた実験について述べる．
第 4 章では，まとめと今後の展望について述べる．

2 システム
2.1 システムデザイン
本研究が最終的に目指すシステムのデザインを
Figs. 1 と 2 に示す．

Fig. 1: When you first meet someone.

Fig. 2: When you meet the same person more than once.
システムのユーザは小型のウェアラブルカメラ（眼鏡型カメラ，ペンダント型カメラなど）を身に着けており，システムは常時画像を監視する．ただし，今回の試作機では，スマートフォンを用いて，顔の撮影と登録および登録情報の確認を行う．システムは人物の顔を認識すると自動的に撮影・登録し（Fig. 1），過去に撮影した人物の顔のデータベースに照会する（Fig.
2）．撮影した人物の顔と同じ顔が登録されていた場合には，システムは顔の登録日時（ユーザがその人物とこれ以前，最後に会った日時）のユーザの Google カレンダー9)を照会する．ユーザがその日時の枠に入力していた予定を自動的に表示する．ユーザは予定に書かれていた内容や場所などのメモを読むことで，この日時に会っていたこの人物とどこでどんなことをしたか思い出すきっかけになると期待できる．
以上のデザインにより，ユーザは「人物に会うたびに写真を撮影して自ら記録する」といった手間が一切不要である．また Google カレンダーへの入力は「人物の記憶を呼び起こすため」ではなく，あくまでもユーザが自発的に自分の利益のために行うことであるため，継続してデータが蓄積される．
これらのシステムは，Calendar API10)を用いたスマートフォンアプリとして作成される．Monaca11)とは，アシアル株式会社が提供するアプリ開発プラットフォームである．JavaScript と HTML を用いて，モバイル用アプリ（iOS，Android），デスクトップアプリ（Windows，macOS），Web アプリ（SPA，PWA）を開発することがで
きる．Face++12)とは，Megvii 社が開発した Web API である．本システムでは，顔の登録及び認証にこの APIを用いる．Google Calendar API10)とは，Google カレンダーを操作するための API である．主に，Google カレンダーに登録されている予定の取得，削除，追加を行うことができる．
本システムは，大きく以下の登録部，認証部，予定表示部の三つに分けられる．
2.2 登録部
登録部とは，人物の顔を撮影し，Face++を用いて顔の登録をする部分を指す．登録部の流れを Fig. 3 に示す．まず，初回起動ならば，Face++の FaceSet 作成 APIを用いて，FaceSet を作成する（①）．FaceSet とは，後述するface token を格納するための場所のことである．次に，人物の顔を撮影し，Face++の顔検出 API に撮影した顔画像のデータを渡す（②）．顔検出 API は，顔画像を受け取ると顔を検出し，その顔の face tokenを返す（③）．face token とは，検出された顔に対して Face++が定める一意の ID である．そして，返ってきた face token と，作成していた FaceSet を Face++の顔登録 API に渡す（④）．顔登録 API とは，FaceSetに face token を格納するための API のことである．顔登録 API では，FaceSet に face token を保存する．最後に，face token と現在の日時をスマートフォンに保存する（⑤）．これは，認証した時に前回出会った日時を表示するためである．また，この時，備考としてその人物の名前や所属などを自由に入力することができる．以上で，顔の登録が完了する．

Fig. 3: Flow of the registration section
2.3 認証部
認証部とは，人物の顔を撮影し，Face++を用いて顔の登録をする部分を指す．認証部の流れを Fig. 4 に示

す．まず，人物の顔を撮影し，Face++の顔検出 API に認証する顔の顔画像データを渡す（①）．顔検出 API
から返ってきた認証する顔の face token が返ってくる（②）．その face token と作成していた FaceSet をFace++の顔認証 API に渡す（③）．顔認証 API とは，受け取った顔画像データと FaceSet に登録されている顔を比較し，一つ，もしくは似ている顔が複数あれば二つ以上見つけ出し，その結果を返す API である．このとき，受け取った顔画像データと登録されていた顔が，どの程度似ているかを表す信頼度も一緒に返される．本システムでは，この信頼度が 70％以上であれば，同一人物であると判定している．顔認証 API から，FaceSet に格納されていた顔の中で最も似ている顔のface token が返ってくる（④）ため，スマートフォンに保存していた face tokenと前回出会った日時のリストから，その人と前回出会った日時を呼び出す（⑤）．
最後に，前回出会った日時に現在の日時を上書きし，前回出会った日時を更新する（⑥）．

3 実験
3.1 目的実験の目的は，その人物と前回出会った日時及びその時の予定を Google カレンダーから取得することにより，その人物に関する情報を思い出すかどうか確かめることである．また思い出した場合，どれほどその人物の情報を思い出すかを確かめる．
3.2 方法
実験参加者は男子大学生 12 人である．被験者は，14日間毎日 1 本ずつ，1 分半から 2 分の動画を視聴する．
動画は，毎日，異なる女性の動画投稿者が国内外の様々な場所に旅行に行っている内容である．動画視聴の際，被験者は，自分がフリーのカメラマンであり，女性の動画投稿者の動画撮影に同行していたという想定で動画を視聴する．その後，アンケートに答える．アンケートの内容は以下の通りである．
① その動画投稿者を本実験以外で見たことがあるか．
② 女性の動画投稿者の名前，場所．もう一度同じ場所に行きたいか．画質はどうだったか．声は聞きとりやすいか．あなたが撮影したこの動画投稿者は人気が出ると思うか．

女性の動画投稿者にはそれぞれ偽名を与えており，動画内には常に，その動画投稿者の偽名と撮影場所が表示されている．偽名は平仮名で表示されており，場所の名前は「国名 都市名」のように表示されている．
Fig. 4: Flow of the authentication section
被験者は，最後の動画を視聴した日の 1 週間後，どのくらい女性の動画投稿者のことを覚えていたかをア
2.4 予定表示部
ンケートに答える．アンケートは，被験者が 14 日間で予定表示部とは，Google Calendar API を用いて，見た動画に登場する女性の動画投稿者 14 人と，ダミー
前回出会った日時に何をしていたかを取得し，表示すとして被験者が見ていない女性の動画投稿者 4 人の合る部分を指す．予定表示部の流れを Fig. 5 に示す．ま計 18 人に関するものである．回答するにあたって，被ず，認証部で取得した前回出会った日時を Google験者 12 人を A グループ 6 人と B グループ 6 人に分ける．
Calendar API に渡す（①）．次に，Google Calendar API
が，Google カレンダーに登録されている予定の中から， A グループは前半システムあり，後半システム無しでアンケートに回答する．B グループは前半システム無前回出会った日時より開始時間が早く，前回出会ったし，後半システムありでアンケートに回答する．被験日時よりも終了時間が遅い予定が無いかを調べる．もし該当するものがあれば，その予定の名前を返す（②）． 者は，18 人の女性の動画投稿者のうち，いずれかの写真を見ながら，以下のアンケートに答える．これを 18最後に，返ってきた予定の名前と，登録部で登録した人の女性の動画投稿者全員に対して繰り返す．
備考を表示する（③）．なおこの時，前回出会った日時に予定が存在しなかった場合，「予定のデータがあシステムありの場合りません．」と表示される．また，登録部で備考を登録しなかった場合，備考欄には「登録無し」と表示さ
1-1. （システムを使用する前に回答）この女性の動画れる．
投稿者の撮影に同行したことがあるか．
1-2. （システムの認識結果画像を見た後に回答）この女性の動画投稿者の撮影に同行したことがあるか．
1-3. （1-2 で同行したと答えた場合のみ）その女性の動画投稿者の名前，場所，動画内で食事をしていたか，食事をしていた場合食べていたものは何か，その他覚えていること．
Fig. 5: Flow of the schedule display section

性の動画投稿者の撮影に同行したことがあるか．」を2 回（システム使用前/後）行っており，以後本論文では，システムの認識結果画像を見る前の質問を「システムあり 1 回目」，見た後の質問を「システムあり 2回目」と呼ぶ．また，システム無しの条件は，「システム無し」と呼ぶ．
Table 1～3 は，「質問 1-1, 1-2, 2-1：この女性の動画投稿者の撮影に同行したことがあるか．」に対する，システムあり 1 回目，システムあり 2 回目，シス「動画内で食事をしていたか」という質問をした理テム無しの，正解数，不正解数，正解率を表す．動画
由は，被験者が視聴した動画のうち，半数の動画に食投稿者 A～N は実際に同行しているので，「同行しまし事をしている場面があるため，動画の内容を覚えているかどうかの指標の一つになると判断したためである． た」「たぶん，同行しました」を正解とし，「分からないです」「たぶん，同行していません」「同行してシステムの認識結果は Fig. 6のように表示されるたいません」を不正解とした．ダミーの動画投稿者 1～4
だし，登録されていない顔を認識した場合，つまりダの場合は，「同行していません」「たぶん，同行してミーの女性の動画投稿者を認識した場合は，「登録さいません」を正解とし，「分からないです」「たぶん，れていない顔です」と表示される．
同行しました」「同行しました」を不正解とした．
Table 1 と 3 はシステムを使用していない条件であり，どちらも正解率が低かった．しかし，Table 1 では動画投稿者 D の正解率が高かった．一方で，Table 2はシステムを使用した条件であるため，全動画投稿者の正解率が 100%になることを想定していた．しかし，正解率が 100%になったのは，ダミーも合わせて，全体の半分以下の人数である 8 人のみだった．
Table 4 は，システムあり 1 回目とシステムあり 2回目の正解数と不正解数をまとめた表である．「システムあり 1 回目／2 回目と正解数には関連がない」という帰無仮説でカイ二乗検定を行った結果，帰無仮説は棄却され，1 回目／2 回目で正解数に有意な差が認められた（χ2= 37.10, df=1, p<0.01）．
システム無しの場合
2-1. この女性の動画投稿者の撮影に同行したことがあるか．
2-2. （2-1 で同行したと答えた場合のみ）その女性の動画投稿者の名前，場所，動画内で食事をしていたか，食事をしていた場合食べていたものは何か，その他覚えていること．

Table 4: Number of correct and incorrect answers forthe first and second with system.

Fig. 6: When a registered face is recognized
なお新型コロナ感染拡大防止のため，被験者は自宅でアンケートに回答した．そのため，システムが入ったスマートフォンを配布できなかったため，システムが表示する画面と同じ画面表示する Web サイトを使用した．システムについて事前にデモビデオも用いて説明し，システムの認識結果画像をアンケート内に表示させることで，システムを使った時と同じ情報を得られるようにした．

3.3 結果3.3.1 動画投稿者との同行に関する結果
システムありの条件では，「質問 1-1, 1-2：この女

また，Table 5 は，システムあり 2 回目とシステム無しの正解数と不正解数をまとめた表である．「システムのあり／無しと正解数には関連がない」という帰無仮説でカイ二乗検定を行った結果，帰無仮説は棄却され，あり／無しで正解数に有意な差が認められた（χ
2= 36.30, df=1, p<0.01）．
Table 5: Number of correct and incorrect answers forthe second time with the system and without thesystem

Table 1: Results of responses regarding accompanying video contributors before using the system

Table 2: Results of responses regarding accompanying video contributors after using the system

Table 3: Results of responses regarding accompanying video contributors without the system

3.3.2 動画投稿者の食事の有無に関する結果
Table 6 は，システムあり／無し条件での「動画投稿者がいた場所」「動画内で食事をしていたか」「食事をしていた場合食べていたものは何か」「その他覚えていること（キーワード）」の合計の正解数を表す．なお，「動画投稿者がいた場所」および「その他覚えていること（キーワード）」に関して
は，システムの結果表示画面で表示された場所（国名など）を書いた場合は，正解としない．アンケー
トの説明で示した例のように，「動画投稿者がいた場所」は，「レストラン」「街中」「山」など被験者の記憶により記入できる場所を対象とした．動画
内に少しの時間でもキーワードに書かれた場所や食べ物などが登場した場合には正解とする．「動画投稿者の名前」は，正答が一つも無かったため，表 6には入れていない．

Table 6: Number of questions answered correctlywith and without the systemマン・ホイットニ検定を行った結果，システムあり／無しの条件間で有意な差が得られた（検定統計量 U=141，p<0.05）．
3.3.3 被験者へのインタビュー
システムあり 2 回目（Table 4）は，正解率が 100%になることを想定していたにもかかわらず，ばらつきがあった．そこで，動画投稿者と同行したことが正解にもかかわらず，1 つでも「分からないです」「たぶん，同行していません」「同行していません」のいずれかを回答した被験者 5 名に，実験後にインタビューを行った．その結果，本システムが，過去に同行した動画投稿者の顔を認識して，その投稿者と一緒にいた日付や場所を示していたことは全員理解していた．しかし，今回は「実験」であったため，被験者らは「もしかしたら同行していないのにシステムが同行したように見せかけて，記憶をチェックしているのではないか」といった不信感を持ち，確実に同行したことを思い出せない限り，上記のように不正解の回答をしていたことがわかった．
3.4 考察本システムが，顔認識したその人物と以前に会った日付や場所を表示することにより，何をしたか（動画内容）を，多少なりとも思い出せる可能性が示唆された（Table 6）．しかし，人物の名前を正確に思い出せた被験者は一人もいなかった．
本実験は 14 日間，毎日代わる代わる同年代の女性の動画を視聴することで，その女性の動画撮影に同行したとする非日常的な設定で行われた．Tables 1と 3 の結果からもわかるように，その女性の顔を後日見ても，同行したことすら思い出せなかった．
人物の名前を思い出すことは，行動を思い出す以上に難しいといえる．しかし，新型コロナの感染拡大に伴い，最近では紙の名刺でやりとりをせずに，名刺アプリ 13)の活用が広まりつつある．本システムに名刺アプリの情報も，名刺交換した時点で追加することで，顔認識の結果の中に名刺情報を含むことも容易といえる．

4 おわりに4.1 まとめ本研究では，顔認識技術を用いて，以前出会ったことのある人物を識別し，その人物の情報を表示するシステムを開発した．実験の結果，本システムは，その人物と前回話していた内容や話していた場所を思い出すことに役立つ可能性が示唆された．
プライバシー保護の観点では，本システムではクラウド型の顔認識システムである Face++を使用しており，顔画像を手元のスマートフォンに残す必要はない．そのためインターネット上へシステムのユーザ名とともに顔画像が流出する可能性は限りなく低い．

4.2 今後の課題と展望
現在，本システムの使用者が写真を撮らなければ，人物の登録や認証ができない．そのため，人物の登録および認証を自動化することが今後の課題である．
一方で，撮影される側の抵抗感も否定できない．本システムでは自動化しても，ユーザと会話をしている可能性が高い 2m 以内の範囲の人物の顔認識に限定するといった対策を施す予定である．さらに，撮影される側の抵抗感を減らすアバタを利用したシステムなども検討していく．
また，現在の本システムでは，人物の名前を思い出すことに有用とはいえない．そのため，名刺アプ
リや音声認識の技術を利用し，登録に手間がかからず，人物の名前を思い出すことに有用な機能を考案する必要があると考える．

参考文献
1) R. Russell, B. Duchaine, and K. Nakayama:
Super-recognizers: People with extraordinary
face recognition ability, Psychonomic bulletin &review, 16-2, 252/257 (2009)2) 髙橋, 糟谷, 真鍋, 中野, 吉村, 常樂：クラウド
ソーシングによる名刺データ化プロセスの実践, デジタルプラクティス, 9-4, 808/822 (2018)3) 角森, 東中, 吉村, 礒田：ユーザ情報を記憶する雑談対話システムの構築とその複数日にまたがる評
価, 人工知能学会論文誌, 35-1,DSI-B_1 (2020)4) 平野, 小林, 東中, 牧野, 松尾：パーソナライズ
可能な対話システムのためのユーザ情報抽出, 人工知能学会論文誌, 31-1,DSF-B_1-10 (2016)5) 奥野, 角：一人称ライフログ画像からの顔検出に基づいた社会活動計測, マルチメディア, 分散協調とモバイルシンポジウム 2017 論文集, 1171/1177(2017)
6) 山下隆義：顔画像センシング技術の最新動向. シ
ステム／制御／情報，システム制御情報学会 59-2,44/46 (2015)7) 奥村, 星野, 半田, 西山, 田淵：ノンストップ顔認証システムによる大規模イベントのチケット本人確認の性能改善. 情報処理学会論文誌コンシューマ・デバイス & システム (CDS), 8-1, 27/38 (2018)8) R. Hoyle, R. Templeman, S. Armes, D. Anthony,
D. Crandall, and A. Kapadia: Privacy behaviors oflifeloggers using wearable cameras, In Pro-

ceedings of the 2014 ACM International Joint
Conference on Pervasive and Ubiquitous Computing,571/582 (2014)9) https://calendar.google.com/calendar/u/0/r/
10) https://developers.google.com/calendar11) https://ja.monaca.io/12) https://www.faceplusplus.com/
13) https://people.wantedly.com/