生成ＡＩを活用した子育て分野のチャットボットサービス
実証運用のまとめ

令和６年５月２日
別府市

企画戦略部

情報政策課

実証運用の概要
1■ 実証運用期間：

令和６年３月８日～４月１日（２５日間）

2■ 実証運用実施の背景■ 「生成ＡＩを活用した子育て分野のチャットボットサービス」の実証運用は、令和６年１月２３日に“大分大学医学部”、“ＳＤＴ株式会社”、“別府市”の三者で締結した「生成ＡＩを活用した事業の実証運用に関する連携協定」に基づき実施しました。
■ 本サービスは、市民がご自宅からいつでもご自身のスマートフォンを利用して子育てに分野に関する質問を受付け回答することにより、デジタルファースト宣言の「いかなくていい市役所」の実現、市民の利便性の向上を目指した取り組みです。
※チャットボットサービス：「チャット」と「ボット」を組み合わせた言葉で、人工知能などを活用した「自動会話プログラム」のこと

3■ 生成AIを活用した子育て分野のチャットボットサービスの概要
質問内容で子育てデータベースを検索

市民

検索結果を基に回答の生成を指示

子育てについて気になったことをご自宅から、いつでも、ご自身のスマホで日常使うような言葉で質問すると回答がもらえる

回答を行う

質問で検索
検索結果

別府市の子育て分野のデータベース（約180件）生成ＡＩ

Panorama AI(SDT株式会社)
1

実証運用の概要
4■ 実証運用の利用方法
公式LINEアカウントメニューから利用質問を入力して送信生成AIが回答します

5■ 実証運用で確認したいこと① 自然言語での質問に対して、正しい情報を回答する
・誤った回答、あやふやな回答を行わない、そのような場合は回答しないことを確認する

・生成AIの“生成する能力”を調整し、提供されたデータの中で再現性のある回答を行うことを確認する② 利用者がどのような質問を行うか把握する・自然言語での質問として、どのような内容、どのような形式（短文、長文、単語、文章など）で質問を行うのか傾向を把握する

6■ 実証運用の目的
市役所への問い合わせ対応において、将来的に生成AIの活用が可能か評価する「いかなくていい市役所」を実現する取組みの一つとして、市役所に対する様々な問い合わせに対して自動的に回答を行う総合窓口的な自動問合せ機能（チャットボットサービス）の実現が可能かどうか評価する2

子育てチャットボットサービスの質問と回答例
質問：子どもが生まれたときの手続きについて教えて

質問：子どもの検診について

質問：保育園に入りたい。手続きを教えて

質問：子どもの医療費について教えて

質問：家事を手伝ってほしい

質問：小学校の入学手続き

3

実証運用期間の利用状況■ 利用回数：

139 回■ 日ごとの利用回数：3月11日が最多28回
利 40
用
回 30
数

2822201015
4146132124797
1163

1110

3月11日、31日

別府市公式LINEアカウントの子育て分野での情報発信を行った■ 時間帯ごとの利用回数：16時台が最多25回
30
利
用回
数 20

25

11
10510

1012500045613911121011753215110378910111213141516171819202122234

実証運用期間の利用状況■ 質問に対して回答ができた件数■ 回答ができた回数の内、正しい回答の件数

全体数：139

全体数：755647570
回答ができた正しい回答回答ができなかった■ 未回答の質問分野の件数■ 質問の仕方についての分類の件数
全体数：64

全体数：13922677242

子育て

不十分な回答※不十分な回答：
回答内容に一部情報の不足があるもの

対象外

※対象外：
質問内容が子育て分野ではないもの

単語形式

質問形式

※単語形式：「児童手当」のように単語のみの質問
5

実証運用の評価■ 確認したいこと①「自然言語での質問に対して、正しい情報を回答する」について
・質問数139件中回答ができた75件について質問内容に対して正しく回答した件数は70件、正答率は93.3%
・完全に誤った回答はなく、回答内容に一部情報の不足があるもの（不十分な回答）が5件、不十分な回答率は6.7%
・満足いく回答が得られなかった場合に質問を少し変えて再質問する傾向が見受けられ、不十分な回答と判断した質問は3種類に分類される（下表）NO

質問

回答が不十分とした理由

1・子ども関係の給付金について教えて2課の制度を回答しているが問合せ先が1課のみ表示されていた

2・幼稚園入園・幼稚園に入るためには？
・幼稚園 申し込み

幼稚園は市立、私立等あるが、私立幼稚園に限定した回答になっていた

3

・別府の子育て支援

子育て支援サービスについては正しく回答しているが、3か所ある子育て支援セン
ターの中の2か所のみ回答していた・回答ができなかった質問の中で子育てに関するものは42件、未回答全体の65.6%あった● 正しい回答は93.3%、生成AIが勝手に作り出したような完全に誤った回答はなかった● 回答内容に一部情報の不足がある不十分な回答は6.7%であった● また、回答ができなかった質問の中で子育てに関するものが42件あった★ 正しく回答を行うため継続した取組みが必要【課題①】6

実証運用の評価■ 確認したいこと②「利用者がどのような質問を行うか把握する」について
・利用者の質問は「児童手当」といったような単語形式が51.8%、「児童手当について教えて」のような質問形式が48.2%とほぼ半々であった・「～について教えて」という質問が多くあったが、注意事項に質問例として記載したものであり、この質問例の記載の影響であったと思われる
・質問の文字数は平均11.4文字であった・質問内容がシーンを限定した具体的な場合（例：3月31日の小児科担当はどこ？）に回答ができない場合が見受けられる● 質問は単語、または、単語に“について教えて”をつける程度の短い文での質問が多く、質問文字数は平均11.4文字● シーンを限定した具体的な質問に対して回答ができない場合が見受けられる★ 具体的な質問に対して回答ができるような対応を考慮することが必要【課題①に含む】■ 利用数について・利用数は139回、1日平均5.6回であり、現状のサービスと同等の利用回数であった
参考数値：サービス提供中のシナリオ形式のチャットボットの利用回数は166回／月、1日平均5.5回
・別府市公式LINEアカウントで本実証運用についてメッセージ配信を実施した3月11日と31日の利用数が多く、周知を行うと利用数が伸びる
・今回の利用形態は別府市公式LINEアカウントからのみ利用できるよう制限していた●（利用数は今回の評価対象と考えていないが）1日平均5.8回の利用があり、既存のシナリオ型チャットボットとほぼ同じ★ 今後、利用数を向上していくための対応が必要【課題②】■ 大規模言語モデルLLMについて・商用で利用できるLLMは数多く存在し、さらに新たなLLMが公開されており、成長が著しい技術分野である・実証運用においては、商用で利用できるLLMを比較検討しGoogle社の製品を利用した・LLMの利用選定においては、機能面、費用面、安定面から評価した
・LLMは、機能面が注目されがちであるが、サービスを継続し多くの利用を想定した場合、費用面の考慮も重要と考える
・また、市民向けのサービスに利用することを想定した場合、いつでも利用できるようにサービスの安定性も重要と考える★ 成長が著しい技術分野であり今後さらに優れたLLMが提供されることが想定される、利用するLLMの変更も想定した仕組みを考慮しておくことが必要【課題③】7

課題と対応の方向性
今回の実証運用の結果、課題と対応の方向性は以下のとおり
課題① 正しい回答を行う【対応の方向性】本市のデータベースの拡充を行う
利用状況を常に監視しながら回答の調整を行う運用ルールを確立する
課題②

利用数を増やす【対応の方向性】利用者の入り口を公式ホームページから利用可能にする
サービス内容と利用方法を積極的に周知する

課題③

費用対効果に優れた最新のLLMを採用する【対応の方向性】生成AI関連の技術動向を常に確認する
新たな技術の利用について検討する

総合評価
今回の実証運用において、生成AIが勝手に作り出したような回答はなく、正しい回答は93.3%、不十分な回答（回答内容に一部情報の不足があったもの）が6.7%であった。利用者に不利益を与えるような回答は見受けられなかったが、子育て関連の質問で回答ができなかったものが全体の30%あった。正しい回答を行うため、データの拡充と利用状況を監視しながらデータの調整を行うなど、継続した取り組みが行える“仕組みづくり”が必要と感じた。
一方、生成AIの能力は素晴らしいものがあり、将来的な市役所の問合せ対応業務の未来像を感じることができた。

課題対応を進めることにより、市役所への問い合わせ対応に生成AIの活用は可能と評価する
8