2023 年度情報処理学会関西支部 支部大会

C-08

生成 AI を用いたマルチモーダル情報に基づくセルフマネジメントアプリの提案
Proposal for a Self-Management App Based on Multimodal Information Using Generative AI.

1.

洲澤 春樹 †松田 裕貴 †諏訪 博彦 †安本 慶一 †

石丸 翔也 ††

Haruki Suzawa

Yuki Matsuda

Hirohiko Suwa

Keiichi Yasumoto

Shoya Ishimaru

はじめに情報が氾濫する現代社会において，インターネットや

2.

関連研究

2.1

セルフマネジメントアプリ

スマートフォンへの依存が個人のセルフマネジメントのUlrik らは，367 の自己管理アプリを調査し，核となる難しさを増大させている．SNS から絶え間なく供給され機能と介入方法について分析した [2]．そして，自己管る大量の情報により，脳の報酬系が刺激され，日常生活理アプリを “block/removal” と，“self-tracking”，“goalでのモチベーションが低下してしまう．SNS の通知やいadvancement”，“reward/punishment” の４つに分類しいね，ショート動画から絶え間なく得られる情報は，快楽た．Goal Activity はさらにいくつかのカテゴリに分類物質であるドーパミンを脳に放出させるため，アルコーされるが，本研究は，その中でも Redirect activity に該

ルやギャンブルと同じように，依存性が高いと言われて当する．そして，block/removal のうち，Block の機能いる [1]．ドーパミンはモチベーションの基本システムでも兼ねている．

あり，スマートフォンが気になって，思うように時間やRedirect activity の例として，Nanna らは，時間を浪タスクの管理ができなくなるという弊害が生じている．

費する Web ページから，設定された時間が経過後にプ

このような課題にテクノロジーで対処することは，人間ログラミング学習サイトに自動で遷移させる拡張機能をの自己管理能力を拡張し，生産性の向上とウェルビーイ開発し，ユーザが時間を浪費する Web サイトに費やす時ングの追求にも寄与すると考えられる．

間平均を減少させ，プログラミングに関する知識を増加

そこで我々は，生成 AI を用いたコーチングシステムさせることに成功した [3]．しかし，Redirect のみを機能を開発し，元々モチベーションがあった活動（英語学習としてもつセルフマネジメントアプリではユーザが得らなど）に意識を戻すシステムを構築する．コーチングシ

れる報酬は限定的であり，長期的なセルフマネジメント

ステムは，スマートフォンの使用時間や SNS へのアクセには最適であるとは言えない．そこで我々は，Redirectスを制限する機能を備えている．これにより，個人は不をベースとするセルフマネジメントアプリに，スマート必要な情報の洪水から解放され，本来の目標や活動に集フォンや SNS へのアクセス権の管理を生成 AI に委ねた中することができる．さらに，生成 AI を用いたシステ機能を追加することで，継続性を高める．

ムを構築することで，人間らしいシステムを実現できる．
厳しすぎるスマートフォン依存対策アプリでは強制力はあっても継続させることが難しい．カウンセリングや集団でのデジタルデトックスなど，人と協力して乗り切る手段は有効であるが，費用や人的資源の面でハードルが高い．そこで，生成 AI とコミュニケーションをとりながら，ユーザの体調や心理状態に応じて，ロック解除の難易度を下げたり，スキップしたりできる機能を備えたシステムを想定している．これにより，まるで人間を相手にしているかのようなシステムを構築し，ユーザが継続して使いやすいシステムを目指す．
本稿では，英語学習の習慣化に焦点を当て，生成 AIとのチャットを通して，学習した英語フレーズを用いて適切な例文を生成できるまでスマートフォンのアプリがロックされるというシステムを提案する．
†††

2.2

生成 AI-based System

本システムは，エージェントベースのシステムとして機能する．ソフトウェア工学におけるエージェントとは，自律的なシステムという意味を持ち，その発展として内部状態と意思決定能力，通信機能を備えるモデルを意味している．そこで我々は，ユーザと生成 AI の間に中間エージェントを設けることで，それぞれのユーザにパーソナライズさせたシステムを構築する．ユーザからの指令とユーザの状態を中間エージェントにおいて管理し，ChatGPT に送るプロンプトを生成することで，これを実現する．また，本稿では英語学習に焦点を当ててシステムの提案を行う．世界で最もダウンロードされている英語学習アプリとして，Duolingo∗ が挙げられる．
そして，Duolingo は 2023 年 3 月に OpenAI と共同し，GPT-4 を活用した新サービス，Duolingo Max を開始した．Duolingo Max の新機能は「スマート解説」と「ロー奈良先端科学技術大学院大学，Nara Institute of Scienceand Technology
大阪公立大学, Osaka Metropolitan Univeraity

ルプレイ」である．
「スマート解説」はユーザがなぜ間違∗ https://ja.duolingo.com/

表 1: 生成 AI-Based システムの優位性.

キップできるかどうかの判定のすべてを生成 AI に任せる．これが本システムの新しさであり，ルールベースの問題作成

正誤判定

システムのような Yes か No の二択ではなく，返答の曖

生成 AI-Based

自動で生成

柔軟な回答を許容

昧さから生まれる，ユーザが継続しやすいシステムを考

Rule-Based

人的コスト大

学習済みの回答のみえる．

Human-Based

人的コスト大人的コスト大3.1

アプリの使用制限機能

本システムは iOS アプリとして開発を行う．Apple はえたのかを説明してくれる機能で，チャットベースで追Screen Time API を提供しており，iOS16 からはユーザ加の質問にも答えてくれる．
「ロールプレイ」は，チャッが自分で使用中のアプリの Screen Time API へのアクト形式で AI と会話をするトレーニングで，カフェや空セスを承認できるようになった．初めに，図 2 の左画面

港などのシチュエーションが用意されており，会話の最のようにユーザが制限するアプリケーションを選択し，後に文法などについてのフィードバックが得られる．

アプリのロック解除を報酬として，英語学習などの習慣生成 AI を中間エージェントとして利用した語学学習形成に取り組む．ロックするアプリの種類を選択すると，アプリを作るメリットは，表 1 のようにまとめられる．

図 2 の右画面の右上のアイコンで示されているように，問題作成や正誤判定において，人間がベースのシステムアプリがロックされる．そして，ロック解除の決定権をでは人間が全ての作業を行う必要があり，ルールベース

ChatGPT に委ねることで，より Human-like なシステであっても人間が問題や解答例を用意し，それぞれにパムの実現を目指す．

ターンマッチングを行う必要があり，システムに登録済
みの模範回答しか正解にならない．生成 AI ベースのシステムではこれら全てを自動化することができる．そして，柔軟で人間らしいシステムを作る上で，ルールベースのシステムでは，返答は Yes か No のみであり，例外が認められない．人間ベースのシステムでは柔軟にそれぞれのユーザに合わせた学習を提供できるが，人的資源が必須である．生成 AI を語学学習アプリに導入することで，より人間らしいシステムを提供することができ，ユーザのモチベーションに繋げることができる．そこで
我々は，より人間らしく柔軟なセルフマネジメントアプ
リを構築するために，ユーザから取得したマルチモーダ
ルデータを中間エージェントに記憶させ，その情報に基づいた意思決定を生成 AI に委ねる．
生成 AI を活用したシステム開発はすでに盛んに行われている．Maurice らは，GPT-3 による文章生成アシスタントが，ユーザの書く文章に影響を与えるか，そして，ユーザの意見に影響を与えるかを評価した [4]．しかし，スマートフォンのロック解除の決定権など，意思決定の3.2

英語フレーズの提案と判定機能

英語フレーズの提案と，ユーザが回答した文章の正誤判定は ChatGPT API を用いて行う．ユーザは sessionの最後に新しい英語フレーズをシステムから習い，次回の session でそのフレーズを用いた例文作成を行う．図 3の左画面がメインの画面であり，ユーザは前回の sessionの最後に学習した “piece of cake” というフレーズを用いて例文を作成することを求められる．作成した文章が適切でない場合には，false と間違いの理由が返される．そして，適切な文章を回答すると，true が返され，スマートフォンや SNS のロックが解除されるという仕組みである．ロックが解除されていることは，図 3 の各右上のアイコンで確認できる．ChatGPT API では，SystemPrompt と User Prompt を指定してメッセージを受けさせることができる．System Prompt に指定したメッセー
ジは，API がそれを保持できるため，初めに ChatGPTに役割を与え，JSON フォーマットでのみ返答をするように指示している．さらに，システムの最終系として，権限を生成 AI に与えるシステムに関する文献は現時点では見つかっていない．

3.

提案システム

本稿では，英語学習の習慣化に焦点を当て，スマートフォンを開くたびに SNS 関連のアプリにロックがかかり，システムから提案された英語フレーズを使って適切な文章をユーザが作ることができれば，SNS のロックが解除されるというシステムを提案する．本システムでは，ChatGPT API を使用して，英語フレーズ生成と正誤判定，難易度調整，健康・心理状態に基づく試験をス

図 1: システム構成図．

図 1 の B に Preferences として示すように，個人の性格や趣味に合わせてカスタマイズすることで，よりユーザの興味をそそる内容でのチャットを実現できると考えている．

3.3

試験をスキップできる機能

スマートフォンを開くたびに必ず試験を受ける必要があると，ユーザにかかる負担が大きく継続できない可能性がある．そこで，Excuse モードとして，試験をスキップできないかシステムを説得できる機能を設ける．
スマートフォンや SNS のロック解除の権限を生成 AI が握っているというのが本提案の核であるが，ここにマルチモーダルデータを導入することで，さらに人間らしいシステムを構築できると考えている．図 3 の B に示す
ように，各ユーザから取得した感情や睡眠を考慮して，

図 3: プロトタイプアプリの画面例（左：Main 画面／試験をスキップするかの判定を行うことで，より柔軟な

右：Excuse 画面）．

システムを実現する．
本稿では簡易的に，ユーザの入力した言い訳（Excuse）

4.

おわりにが許容できるものであるかの判断を ChatGPT に任せる．

本稿では，生成 AI を用いたマルチモーダル情報に基

図 1 の左画面の右上に表示されている Excuse ボタンをづくセルフマネジメントアプリの提案を行なった．今後クリックすると図 1 の右画面に遷移する．ここでは，試の展望として，ユーザ実験による本システムのセルフマ験をスキップしたい理由をシステムに伝えて，システムネジメントに対する有効性の検証を行う．そして，プロとより人間らしいコミュニケーションを図ることができトタイプでは英語学習の習慣化に焦点を当てて開発を行る．図 1 の右画面では，”I just don’t want to.”という言なったが，最終的には筋トレなど，セルフマネジメントい訳は許容されず，”I’m sick.”と伝えると，アプリのロッ全般に活用できるシステムの開発と評価に取り組む．

クが解除されている．他の例として，”I’ve ﬁnished ﬁvesessions of English tests today. Let me skip this time.”

参考文献と伝えると，false が返ってくるが，ﬁve sessions を 100[1] Trevor

sessions に置き換えると，true が返ってきた．Systemyou:

Prompt として ChatGPT API に役割を伝える際に，判https://sitn.hms.harvard.edu/flash/2018/

定の難易度を調整することもできる．

dopamine-smartphones-battle-time/

Haynes.

Dopamine,

smartphones

A battle for your time, MAY 1, 2018.
参 照

2023-07-19.
[2] Ulrik Lyngs, Kai Lukoﬀ, Petr Slovak, ReubenBinns,Adam Slack,Michael Inzlicht,

Max

Van Kleek, and Nigel Shadbolt. Self-control in cyberspace: Applying dual systems theory to a reviewof digital self-control tools. In Proceedings of the2019 CHI Conference on Human Factors in Computing Systems, CHI ’19, p. 1–18, New York, NY,USA, 2019. Association for Computing Machinery.
[3] Nanna Inie, Bjørn Hjorth Westh, John Henrik
Muller, and Mircea Filip Lungu. Challenges andopportunities of using redirection of activity for selfregulation online. In Proceedings of the 2023 CHI
図 2: 制限アプリ設定画面．

Conference on Human Factors in Computing Systems, CHI ’23, New York, NY, USA, 2023. Association for Computing Machinery.

[4] Maurice Jakesch, Advait Bhat, Daniel Buschek,Lior Zalmanson, and Mor Naaman. Co-writing withopinionated language models aﬀects usersviews.

In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, CHI ’23, NewYork, NY, USA, 2023. Association for Computing
Machinery.