# ホライゾン・スキャニングの自動化のための言語処理応用

未来学分野におけるホライゾン・スキャニング (Sardar 2010) の自動化を目指し，文書探索㧍よびコメント生成問題とデータセットを提案する。 ホライゾン・スキャニ ングは未来に起こりうる社会変化を分析する枠組みで，1）新聞記事等を大量に収集 ᄂ，2）重要な記事には主観的な意見や記事の要約をコメントとして記述する。収集 された記事とコメントは社会変化についてのシナリオ記述に活用される。本研究で はデータセットの分析, 探索拈よびコメント生成モデルの構築, 評価を行うことで,問題の特徴を明らかにする。データセットの分析より，1）探索すべき記事は特徴語 および意味的な距離の観点から一般的な記事と異なること，2) コメントは談話構造 の観点から類型に分類できることがわかった．また，学習した探索モデルは適合率 @100において $70 \%$ の性能を示した. さらに，探索モデルの出力記事は専門家による 採点，および実際のシナリオ記述作業の中で用いることで評価され，実利用に耐え うる品質であることを確認した。一方，コメント生成問題は主観的なテキスト部分 の生成が特に挑戦的で, 生成技術のさらなる高度化が必要であることがわかった. キーワード：言語処理応用，文書探索，言語生成，言語資源
## Applying NLP for Automating Horizon Scanning

\author{
Suzuko Nishino ${ }^{\dagger, \dagger \dagger,+\dagger \dagger \dagger \dagger}$, Tatsuya Ishigaki ${ }^{\dagger \dagger, \dagger \dagger \dagger \dagger \dagger}$, Sohei Washino ${ }^{\dagger \dagger}$, \\ Hiroki Igarashi ${ }^{\dagger \dagger}$, Akihiko Murai ${ }^{\dagger \dagger, \dagger \dagger \dagger}$, Yuichi Washida ${ }^{\dagger \dagger \dagger \dagger}$ and \\ YUKARI NAGAI ${ }^{\dagger}$
}

We propose document retrieval and comment generation tasks for automating horizon scanning (Sardar 2010). The steps used are: 1) retrieving news articles that imply drastic changes of society, and 2) writing subjective comments on each article for others' ease of understanding. We manually collected articles to be retrieved and subjective comments. We compare several methods for two proposed settings. Our experiments show that 1) manually collected articles are different from general articles regarding the words used and semantic distances, 2) the contents in the comment can

be classified into several categories. Our experiments showed that our BERT model achieves sufficiently high performance while the comment generation is challenging.

Key Words: Application, Document Retrieval, Generation, Language Resource

## 1 はじめに

「自動消毒ロボットは将来, 駅だけでなくオフィスビルや飲食店など他の業種にも幅広く適用され，人手不足の深刻な人間の清掃員の代替となるだろう」. 未来学の分野では, このように中長期的な未来に起こりうる大きな社会変化やリスクについて, シナリオを記述する取り組みが行われている。シナリオは企業や政府における意思決定における重要な役割を果たすため,高品質なシナリオを生成するための手法が活発に研究されている. 当該分野における代表的なシナリオ作成手法である Systemic Foresight Methodology (SFM) (Saritas 2013)では, シナリオ作成を1) ホライゾン・スキャニング，2) プランニングという 2 の部分問題に分割して解く.前者は社会変化の兆候を示唆する情報を含む新聞記事等を大量に収集し, 各記事にコメントを付与する情報収集作業である。後者は収集した記事を専門家同士で議論しながら集約し, 最終的なシナリオを記述する作業である。本研究で特に着目するホライゾン・スキャニングは, 専門家による大規模な記事収集とコメント作成に多大なコストがかかっている．言語処理技術による自動化はその解決の一助となりうる.

本研究ではホライゾン・スキャニングを自動化するため，1) 未来を示唆する文書の探索問題および，2）主観的な意見を含むコメント生成という自然言語処理における新たな問題を提案する.図 1 に現在専門家により手作業で行われている, 既存研究 (Washida and Yahata 2021; Sardar 2010)におけるホライゾン・スキャニングの手順を示す. 入力は大規模なテキスト集合で，本研究では一例として日本語の新聞記事を想定する. 出力は事前に定義されたフォーマットによる文書で，スキャニングマテリアルと呼ばれる。ホライゾン・スキャニングでは，まず入力記事集合から未来の社会変化を示唆する記事を探索する。例えば, 図 1 の記事 2 は「高輪ゲートウェイ駅での消毒ロボットの実証実験」についての記事である。この記事は鉄道以外の産業にも将来的にロボットが配置されるという社会変化を示唆するため, 記事の探索をした結果, 選択されるべき記事となる。一方，記事 4 は天気予報であり，未来についての言及は含むが日常的に必要な情報を提示しているにすぎず，社会変化について示唆しない. よって, 記事の探索をした結果，選択されるべきではない。スキャニングマテリアルは未来の社会変化を示唆する各記事に対し作成され, 記事タイトル, 要約, 主観的なコメントを含む. 記事タイトルと要約については, 多くの場合, 記事の冒頭を用いる. よって, 本研究ではリード法, ヘッドライン生成 (Rush et al. 2015), 単一文書要約 (Nallapati et al. 2016; Cheng and Lapata 2016) などの既存技術を用いる想定とし研究対象としない. コメント部分には記事の短い要約，主観的な意

図 1 ホライゾン・スキャニングの手順.

見, 主張や将来おこりうる社会変化が記述される。探索した新聞記事本文を入力し, 主観的なコメントを自動生成する問題を 2 つ目の設定として扱う.

本研究で提案する文書探索は, 将来の社会の変化を示唆するか否かを判断基準とする点において，既存設定（例えば (Mitra and Craswell 2018)など）と異なる。コメント生成問題は言語生成問題の一つとみなすことができる。本研究での設定は将来起こりうるイベントについて記述する点が特徴的である。多くの既存言語生成研究の設定では，トラッキングした時系列デー 夕を用いたスポーツの試合の要約 (Puduppully and Lapata 2021; Iso et al. 2019; Ishigaki et al. 2021) など，過去のイベントに着目した記述やリアルタイムに現在起こっているイベントについて記述する実況生成 (Tanaka-Ishii et al. 1998; Taniguchi et al. 2019) が存在するが, 中長期的な未来について言語生成する設定は新しい.

いずれの問題設定についても, データセットの欠如が問題となる。そこで, 本研究では 2,266 件の未来の社会変化を示唆する新聞記事をホライゾン・スキャニングに関する専門教育を受けた者により収集し, データセットを構築する。提案データセットには, 各記事に対し人手作成した主観的なコメントも付与する。本研究ではまず，収集した記事に対し，特徴語についての分析，および一般的な新聞記事との意味的な距離の観点からの分析を行い探索すべき記事の言
語的な特徴を分析する．特に，コメント中の文に対しては，独自に設計した意味ラベルを付与し，その分布を分析することで，ホライゾン・スキャニングに関する専門教育を受けた者がどのようなコメントを記述するか調査する，最後に教師あり学習，教師なし学習に基づく文書探索モデルおよび言語生成モデルをこのデータセットを用いて構築しその性能を評価する.

データセットの分析により収集した新聞記事は，一般的な新聞記事とは意味的な距離が離れており，さらに異なる特徴語を持つことがわかった，文書探索モデルは，BERTによる教師あり学習による手法が適合率@100において $70 \%$ の性能を示し，教師なし学習およびヒューリスティックによる手法よりも良い性能を示すことが分かった. さらに，自動探索された記事について専門家による採点評価およびSFM におけるプランニング段階において実際に用いる人手評価実験より，シナリオ作成に有益な記事が収集可能であることを確認した。コメント生成問題では，BART (Lewis et al. 2020) による言語生成モデルが流暢なコメントを生成するが，意見や主張といった主観的なコメントを生成するのが難しく，主観的なコメント生成は性能向上の余地がある挑戦的な課題であることが分かった.

本稿の貢献は以下である：1) ホライゾン・スキャニングを自動化するための文書探索および言語生成問題を新たに提案し, 2) そのためのデータセットを構築および分析し，3)いくつかのベースライン手法の自動評価指標による性能および人手評価実験の結果を報告する.

## 2 関連研究

本研究は未来学分野におけるシナリオ生成手法に，自然言語処理分野における文書探索および言語生成技術を活用する応用研究である。これらを 3 つの基盤技術について順に説明する.

## 2.1 ホライゾン・スキャニング

未来学分野におけるシナリオ生成手法の中でも特に代表的な SFM (Saritas 2013) は, ホライゾン・スキャニングとプランニングという 2 段階でシナリオを作成する。前者のホライゾン・ スキャニングの段階では大量の新聞記事を目視し，中長期的な社会変化を示唆する情報を含む記事のみを収集する．後者のプランニングの段階では収集した記事を専門家によってクラスタリング (Kunifuji 2016) や合成 (Nagai et al. 2009) することで集約し, 集約結果からシナリオとして生成する。本研究では専門家による目視確認のコストが問題となる, 前段のホライゾン・ スキャニングに着目する。ホライゾン・スキャニングの性能は後段の専門家によるプランニングに影響するため特に重要である。プランニング部分については専門家同士の議論が重視されており, 本研究では自動化の対象としない. SFM に関する研究の観点からは, 専門家の収集する記事の言語的な特徴を分析する研究は我々の知る限り存在しない. 専門家がどのような点に着目しながら記事を収集しているか分析すること自体，未来学分野においての関心が高い。本
研究では, 收集した記事の特徴について, 特徴語および意味的な距離の観点からその特徴を分析する。

## 2.2 文書探索と言語生成

情報探索は古くから研究対象とされてきた問題である（例えば (Singhal 2001)を参照. ）。近年はニューラルネットワークを用いた教師あり学習および教師なし学習を用いる手法が多く提案されている (Mitra and Craswell 2018; Kwon et al. 2020). 特にトリビア抽出 (Kwon et al. 2020) は，驚きのある情報を含むテキストをWikipedia から探索する設定を扱っており，我々の設定に近い．Kwon らは驚きのある情報を含む記事と一般的な記事には意味的な距離が離れている点に着目し，ニューラルネットワークにより獲得した記事の分散表現と IDF の値を用い記事探索する手法を提案した．本研究でも教師あり学習に加え，Kwon らのようにIDF および BERT による分散表現を用いる教師なし学習によるモデルでも記事探索を試みる.

コメント生成問題も古くから研究されている言語生成問題の一つと捉えられる。本稿で提案するコメント生成問題は中長期的な未来について述べるという時間の観点，および主観性の観点から既存研究と異なる。時間の観点からは，スコアデータからバスケットボールの試合の要約を生成する過去のイベントに着目する設定 (Puduppully and Lapata 2021; Iso et al. 2019) や, サッカー (Tanaka-Ishii et al. 1998; Taniguchi et al. 2019), 野球 (Kim and Choi 2020), ゲーム映像 (Ishigaki et al. 2021)のリアルタイムに起きているイベントについて実況を生成する設定が存在する。未来についてのテキストを生成する我々に近い設定としては，短期的な未来について言及する天気予報生成 (Murakami et al. 2021) が存在する. 本研究では中長期的な未来に着目する点が異なる。また，生成する言語が主観的であるか，客観的であるかという観点からも既存手法を分類できる．多くの言語生成問題がスポーツの試合の要約など，客観的な状況説明を生成するのに対し, 本研究で扱うコメント生成は意見や将来起こるイベントの見込みといった主観的な言及も含む。

## 3 データセット

本研究で提案する 2 つの問題では, データセットの欠如が問題となり, どのような記事をそもそも探索すべきか, どのようなコメントを生成すべきかなど, タスクの特徴が明らかでない. そこで，提案タスクのためのデータセットを新たに作成する。データセットには1) 未来の社会変化を示唆する新聞記事，2）記事に対する主観的なコメントが含まれる。新聞記事は日本語を対象とする。

データセットの作成手順について具体的に述べる。データセットの作成にはSFM に関する専門知識が必要となる。したがって，本研究ではクラウドソーシングではなくホライゾン・ス

キャニングに関する専門教育を受けた者が手作業で収集した新聞記事を用いる方針を採用する。具体的には，ホライゾン・スキャニングに関する講義を担当する大学教員とその学生ら゙ ${ }^{1} 2003$年から 2020 年の 17 年間に渡り講義の一環として収集した記事の提供を受け，データセットとする．当該講義の担当大学教員とその学生ら, 計 33 名が記事を収集し, 各記事に以下の指示の下記事の収集とコメントの付与を行った:

（1） 中長期的な未来に起こりうる社会変化を示唆する記事を Web 上から手作業で探索する.

(2) タイトル，要約，コメントを記述する.

(3) 図 1 に例示するスキャニングマテリアルのフォーマットにまとめる.

最終的に 2,266 記事を収集し, 各記事に平均 2.8 文のコメントが人手で付与された. 多くの収集者はまず検索エンジンにカテゴリなどのキーワードを入力し，記事を絞り込み，その後記事タイトルや本文を手がかりに中長期的な社会変化を示唆する情報を含む記事を探索した．収集者は記事の分野ができる限り多様になるよう配慮した。収集した各記事について，記事の要約や収集した者自身が記事が示唆する中長期的な社会変化の内容, さらに想定される変化に対する主観的な意見をコメントとして記述しだ．

## 4 分析

データセット中の記事およびコメントについて分析を行い，探索すべき記事やコメントの特徴を明らかにする。記事の分析は一般的な新聞記事との意味的な距離 (4.1 節), 特徴語 (4.2 節) の観点から行う．コメントの分析には表 1 に示すような意味ラベルを設計し，分布を分析することで特徴について考察（4.3 節）する.

## 4.1 一般的な新聞記事との意味的な距離

收集した記事は一般的な記事とは意味的な距離が離れていると考えられる。そこで，Kwon ら (Kwon et al. 2020)の手法を参考にデータセット中の記事と一般的な新聞記事との距離を単語分散表現を用いて計算する。具体的には 2020 年の朝日新聞コーパス³中の記事を一般的な記事とし，各記事中の名詞に対する日本語 word2vec (Mikolov et al. 2013)4の平均ベクトルを各記事の分散表現とする。名詞は記事を MeCab (Kudo et al. 2004) を用いて形態素解析することで獲得した. すべての記事に対し word2vec の平均べクトルを計算し，その中心べクトル $\mathbf{c}_{g}$ を一般的


} \\

表 1 意味ラベルの定義と例. 意味ラベル名の右のカッコ内の数字は分析対象とした 30 コメントのうち,当該意味ラベルが出現したコメントの数を表す.

な新聞記事を表現した表現とする。 $\mathbf{c}_{g}$ から提案データセット中の各記事を表現する分散表現 $\mathbf{d}$ への距離を，以下のようにコサイン類似度を用いて定義する:

$
\operatorname{dist}\left(\mathbf{c}_{g}, \mathbf{d}\right)=1-\operatorname{cosine}\left(\mathbf{c}_{g}, \mathbf{d}\right) \text {. }
$

から朝日新聞コーパス中の記事への距離は平均すると 0.30 であった. この差が統計的有意であることを $\mathrm{t}$ 検定を用いて確認した．よって，探索すべき記事は意味空間上の距離の観点から，一般的な新聞記事と異なることがわかる.

## 4.2 特徴語

一般的な記事と収集した記事の違いを具体的な語彙使用の観点からさらに分析する。本分析では, 提案データセット中の記事を特徴づける語に高いスコアを与え, 一般的な記事を特徴づける語には低いスコアを与えるモデルを設計し，特徴語の分析を行う，具体的には以下の式で提案データセット中の単語集合 $C$ および一般的な新聞記事データ中の単語集合 $G$ の和集合中の単語 $x \in C \cup G$ に対しスコア diff を計算する:

$
\operatorname{diff}(x)=\mathrm{TF}_{C}(x) \operatorname{IDF}_{C+G}(x)-\mathrm{TF}_{G}(x) \operatorname{IDF}_{C+G}(x)
$

ここで, $\mathrm{TF}_{C}$ は単語 $x$ の $C$ における出現回数を $C$ に含まれる単語の総数で割った值で定義する. $\mathrm{TF}_{G}$ も同様に, 単語 $x$ の $G$ におり出現回数を $G$ に含まれる単語の総数で割った値で定義する. $\mathrm{IDF}_{C+G}$ は $C G$ の和集合における Inversed Document Frequency (IDF) で定義し, 出現頻度の高い機能語に高いスコアが付くことを抑制する. 第 1 項 $\mathrm{TF}_{C}(x) \operatorname{IDF}_{C+G}(x)$ は $x$ がどの程度提案データセット中の記事を特徴づける語であるかを表したスコアであり, 第 2 項 $\operatorname{TF}_{G} \operatorname{IDF}_{C+G}(x)$

 \\

表 2 探索対象とする記事を特徴づける語と一般的な記事を特徴づける語.

は $x$ がどの程度一般的な記事を特徴づける語であるか表したスコアとなる. $\operatorname{diff}(x)$ が正の方向に振れると $x$ は探索対象とする記事の特徴語であり $\operatorname{diff}(x)$ が負の方向に振れると一般的な記事の特徴語である。

表 2 に提案データセット中の記事および，2020 年の朝日新聞コーパスに含まれる全記事を一般的な記事として用いた場合のスコア上位の語を示す. 正の方向に振れた語には「ツイッター の新機能」「台湾での干ばつ」といったように，稀に起こるイベントについての言及が多い．また，技術分野に関する語も高いスコアを得た。一方，一般的な新聞記事を特徴づける語としては「知事の会見」「容疑者の逮捕」「今夜の天気」など，日常的に起こりうるイベントについての言及が多い。一部,「PCR 検査」のような 2020 年において $\mathrm{TF}_{G}$ が極端に高くなった語がノイズとして含まれる。

## 4.3 コメントへの意味ラベル付与による分析

次に, 提案データセット中のコメント部分についての分析を行う。データセットから無作為に 30 コメントを抽出し, 網羅的に目視することで表 1 に定義する, 意味ラベルを設計した。 さらに，手作業でコメントに含まれる各文に対し，意味ラベルを付与し，その出現回数やコメント内での出現順序を分析した。 付与作業においては 1 つの文に対し, 複数ラベルの付与を許容

する.

ラベルの定義のうち，“要約”と“背景”は主観的な意見などを含まず事実を述べる文に付与される。“要約”はそれぞれ記事に記述された事実を要約する内容に付与し，“背景”はもととなる新聞記事には含まれず記述者の知識から導き出された情報を含む文に付与する。例えば，「トミーがバイオリンのおもちゃを発売した」という記事に対し，「様々なおもちゃが近年発売されている.」というコメント記述は元の記事の“要約”ではなく“背景”とラベル付ける。一方， “主張（現在）”, “主張（未来）”, “見込み”は記述者の主観的な意見や予測を含む．表 1 において，意味ラベル名の右のカッコ内の数字は分析対象とした 30 コメントのうち，当該意味ラベルが出現したコメントの数を表す.

1つのコメントに対し付与された意味ラベルの, 出現順について分析する. 83\%（30コメント中 25 コメント）は “要約”もしくは“背景”という事実について言及する文から始まり，“主張” や“見込み”といった主観的な意見が続いた．30コメントのうち4コメントは事実を含まず，主観的な意見のみ述べた．たた 1 つ例外的に主観的な意見を含まず，“感想”のみのコメントが存在した．客観的な記述と主張などの主観的な記述を含む 83\%部分に着目すると， $76 \% （ 25$ コメント中 19コメント）は“要約” からコメントを始め，24\%（25コメント中 6コメント）は元の記事には含まれない“背景”情報を提示した。

## 5 手法

提案タスクの特徵を明らかにするため, いくつかの文書探索および言語生成モデルを比較する.

## 5.1 文書探索モデル

文書探索モデルは記事集合を入力とし，各記事に対し中長期的な社会変化を示唆するか否か表現するスコアを計算する，スコアが上位 $N$ 件の記事が最終的な出力となる． $N$ の決定方法は以後の実験設定によって異なり，1）スコアのしきい値を定めて決定する（6.1.2 節の自動評価実験), 必要な記事数を事前に定義し用いる（6.1.3 節の人手評価実験）の 2 つの手法を用いる. スコア計算の手法として, 教師ありおよび教師なしのニューラルネットワークに基づく手法と, ヒューリスティックによる手法を比較する.

## 5.1.1 ニューラルネットワークによる教師あり・教師なし手法

教師あり学習に基づく手法として，BERT (Devlin et al. 2019)による二値分類モデルを記事のスコアリングに用いる。学習データとして, 提案データセットに含まれる記事を正例とし,無作為に朝日新聞コーパスから抽出した記事を負例とする。記事はまずサブワード列に分割され，先頭に特別なトークン $([\mathrm{CLS}])$ を付与する，BERT によるエンコーダでサブワード列を埋

め込み表現列に変化する:

$
\mathbf{e}_{0}, \mathbf{e}_{i}, \ldots, \mathbf{e}_{n}=\operatorname{BERT}\left(x_{0}, x_{i}, \ldots, x_{n}\right)
$

ここで， $e_{i}$ は $i$ 番目のサブワード $x_{i}$ に対応する埋め込み表現である. したがって， $\mathbf{e}_{0}$ は [CLS $]$ トークンに対応する埋め込み表現となる。 $\mathbf{e}_{0}$ を全結合層による二值分類のためのネットワークで中長期的な社会変化を示唆する記事であるかを表現する確率分布に変換する:

$
\mathbf{y}=\operatorname{Softmax}\left(\mathbf{e}_{0} \mathbf{W}_{e}\right)
$

ここで, $\mathbf{W}_{e}$ は埋め込み表現を大きさ 2 のベクトルに変換する重み行列で, 各要素の值をそれぞれ探索すべき記事であるか否かを表すスコアとみなす. BERT 層, 単語埋め込み層, および重み行列 $\mathbf{W}_{e}$ は交差エントロピー損失を最小化するよう学習する。このモデル自体, 自然言語処理において一般的によく用いられるものであるが，本研究ではこのモデルが中長期的な社会変化を示唆する記事の分類においても有効であるか確かめる.

次に類似度に基づく教師なし学習手法について説明する．4 節で分析したように，探索すべき記事は一般的な記事とは意味的な類似度が離れている特徴がある。そこで, 意味的な距離を用いたスコアを考える。このモデルでは，朝日新聞コーパスに含まれる記事の中心べクトル $\mathbf{c}_{g}$ との距離を探索すべき記事であることを表現するスコアとみなす:

$
1-\operatorname{cosine}\left(\mathbf{e}_{0}, \mathbf{c}_{g}\right) \text {. }
$

ここで， cosine はコサイン類似度を返す関数である。

## 5.1.2 ヒューリスティックによる手法

この手法では探索すべき記事はより多くの特徴語を含むと仮定する。このような特徴を捉えるためのヒューリスティックとして，以下のようにIDF の平均値を用いて文書にスコアを与えることを考える：

$
\frac{\sum_{1}^{n} \operatorname{IDF}\left(x_{i}\right)}{n}
$

ここで, $\operatorname{IDF}\left(x_{i}\right)$ は分類対象記事中の各単語 $x_{i}$ に対する IDF を返す関数である. IDF の値は朝日新聞コーパスから事前に計算した. $n$ は記事に含まれる単語数で, 式 (6)を用いて単語あたりのIDF を計算する。

## 5.2 コメント生成モデル

コメント生成は探索した記事を 1 つ入力として受け取り，コメントを出力する問題である. 4.3 節において議論したように，データセット中の多くのコメントが例えば要約などの事実に基

づく記述に加え主観的なコメントも含む，そこで，本研究では単一文書要約において良い性能が報告されている事前学習モデルである BART (Lewis et al. 2020)を用い, さらに提案データセットで追加の学習を行う。事前学習モデルには BART (Lewis et al. 2020)を用い, 提案デー タセットのコメントに対する交差エントロピー損失を最小化するよう追加の学習を行った.

## 6 実験

本節では文書探索モデルおよびコメント生成モデルの評価実験について述べる．実験に用いたデータ，パラメータ，比較手法および評価指標について， 2 ののモデルに分けて順に説明する.

## 6.1 文書探索モデルの評価

はじめに，文書探索モデルについて実験データと設定，自動及び人手による評価手法について述べる。

## 6.1.1 データと設定

教師あり学習に基づくモデルの学習には提案データセットに含まれる記事のうち, 2020 年に発行された 320 記事を正例として用いる ${ }^{5}$. 負例には朝日新聞コーパスに含まれる 2020 年に発行された記事を無作為に 8,000 記事抽出し用いる ${ }^{6}$. 実験に用いるこれら 2 種類のデータセットの統計量を表 3 に示す.二値分類器の学習と評価は 5 分割交差検定により行う. 実験に用いる合計 8,320 記事は無作為に並べ替え，3:1:1の比率で分割した。分割部をそれぞれ学習, 開発,評価セットに用いる．開発セットは比較手法のスコアをもとに正例と負例を分類するためのしきい値調整に用いる。異なる組み合わせでの分割を 5 回繰り返し，その平均の評価値を報告する。前処理として，記事は MeCabを用いて形態素解析した．MeCab の辞書には IPA 辞書を用いる.さらに, Sentencepiece (Kudo and Richardson 2018)を用いて形態素列をサブワード列に変換し, Wikipedia から事前学習した BERT ${ }^{7} により$ 読み达んた.

表 3 探索問題の実験に用いたデータの統計. 平均文長は $\mathrm{MeCab}$ で解析した場合の形態素数である.


## 6.1.2 自動評価

文書探索問題の評価は二値分類器の分類性能と文書探索モデルとしての性能を分けて評価する. 分類器自体の評価には適合率, 再現率および $\mathrm{F}$ 値を用いる. 文書探索性能は, 情報探索問題の評価に一般的に用いられる適合率@Nを用いて評価する (Blair and Maron 1985).

## 6.1.3 人手評価

本研究で着目する未来学における SFM (Saritas 2013) では，探索した記事の集合を，さらに専門家が最終的なシナリオ作成に用いる。そこで，探索された記事を実際に専門家にシナリオ作成に使用させる人手評価を行う，具体的には，まず，BERT による教師あり手法でスコアの大きな 75 記事と, 人手作業で収集した記事に対し専門家が手作業で採点し，採点スコアの大きな 75 記事を混ぜ合わせ, 合計 150 記事からなるデータセットを作成する. ここで, 自動探索記事は 2020 年の朝日新聞コーパスに含まれる 92,592 記事を BERT による手法のスコアが大きな順にランキングし獲得する。 その後, 各記事を図 1 に示すスキャニングマテリアルと呼ばれる事前定義されたフォーマットに手作業で変換し作業者に提示する. 作業には大学教員とその学生ら 17 名が参加した. 参加者は 150 個のスキャニングマテリアルを読み, 最終的なシナリオを記述した. 1 人につき 5 つのシナリオを生成し, シナリオに対し元になった新聞記事を最大 9 個アノテーションさせた。シナリオとその元となった記事の対を分析し，探索文書と人手収集記事の最終的なシナリオへの寄与を比較する.

## 6.2 コメント生成モデルの評価

次に，コメント生成モデルについて実験データと設定, 自動及び人手による評価手法について述べる。

## 6.2.1 データと実験設定

コメント生成には日本語 Wikipedia から事前学習された BART 8 を用いる。この BART を自動要約においてよく用いられるパラメータ設定9でファインチューニングした.

## 6.2.2 自動評価

コメント生成には 4 節で述べたように多くのコメントが入力記事の要約を含むことから，評価指標として自動要約でよく用いられる ROUGE-1, ROUGE-2 および ROUGE-L (Lin 2004)を採用する．ROUGE-1 は参照コメントに対する出力コメントの uni-gram の再現率, ROUGE-2


は bi-gram の再現率を表す. ROUGE-L は参照コメントと出カコメントでのトークンの最長一致を用い再現率を計算する。同様の理由から，自動要約においてべースラインとして用いられる先頭 3 文を抽出するリード 3 法と比較する評価を行う。本評価ではコメントの末尾を表す特別なトークンを出力するまで BART のデコードを繰り返すため, 出力長の制約がない. ROUGE は再現率を測る指標のため，長い系列を出力すると有利である。そこで，ROUGEだけでなく，言語生成においてよく用いられる評価指標として, 表層べースの適合率を測る BLEU (Papineni et al. 2002) および埋込表現べースの類似度指標である BERTScore (Zhang et al. 2020) の評価値も報告する。

## 6.2.3 人手評価

ROUGE を用いた自動評価は未来の社会変化についてのコメントを正しく捉えられるか明らかではない，そこで，生成コメントがホライゾン・スキャニングの出力として適切であるか否かを人間の被験者に評価させる実験も行う．評価者は参照コメント，BART およびリード 3 による自動生成コメントをランキングし評価した．提案タスクに特化した評価基準として，生成コメントが中長期的な未来に起こりうる社会変化を想起させるか否か判定するよう指示した.情報探索自体長らく研究されているが，このような基準での人手評価は本研究独自のものである.この基準に加え，「流暢さ」「正しさ」という従来から用いられれている基準での評価も行う．流暢さについては，テキストが文法的および意味的に破綻していないかを目視により確認し，正しさについては新聞記事で述べられた事実と矛盾することがコメントに記述されていないか判定する。優劣の判定が難しい場合, 同位の判定も許容した.

## 7 結果

本節では文書探索およびコメント生成の性能を報告する.

## 7.1 文書探索問題

はじめに文書探索問題の実験結果について述べる.

## 7.1.1 自動評価

表 4 に自動評価実験の結果を示す．BERT による教師あり学習に基づく手法は $\mathrm{F}$ 値において 58.1 で，他の手法よりも良い值を示した，学習に用いたデータのうち $3.8 \%$ （8,320 記事のうち 320 記事）のみが正例となる不均衡な設定のため, 高い $\mathrm{F}$ 値を得ることは本質的には難しい設定である，従って，意味的な距離による手法や IDF による手法は極端に低い値を示す．4 節の分析において述べたように，探索すべき記事は一般的な記事から意味的な距離が離れている。し

かし, 意味的な距離の情報のみを用いて探索すべき記事を分類することは難しいことがわかる.同様にIDF の値だけを用いたとしても，探索すべき記事の分類は難しい.

BERT による教師あり学習に基づく手法は適合率 @ 5 において，0.80の値を示し，意味的な距離や IDF による手法の適合率@5 の 0.40 よりも高い値を示した。よって, 作成したデータセットによる教師あり学習手法が有効に作用することがわかる，適合率 $@ N$ における $N$ の値を大きくすると，教師あり学習に基づく手法は $N=100$ まで大きくしても値の低下は 0.70 に抑えられるのに対し, 意味的な距離に基づく手法およびIDF による手法はそれぞれ 0.02 と 0.09 で, 性能が著しく低下する。よって, 提案データセットによる教師あり学習は, 適合率 $@ N$ の観点からより頑健なモデルといえる.

## 7.1.2 シナリオ作成での実利用による人手評価

自動探索した記事をSFM における後段処理であるシナリオ作成に用いることで，その効果を検証する。この実験では，まず，自動探索モデルが高いスコアを与えた 75 記事と人手収集した 75 記事を無作為に混ぜ合わせデータを作成する．SFM に関する知識を持つ 17 人が SFM を学習するワークショップの一環として，実験に参加した，各人には 150 記事が与えられ，一人あたり 5 シナリオを作成し，合計 $85 （ 17$ 人 $\times 5)$ のシナリオを得た. 各シナリオは 1 つ以上の記事を基に作成され，参考にした記事も併せてアノテーションさせた．結果，1つのシナリオは平均して 4.8 個の記事を基に作成された.

表 5 に被験者が作成したシナリオの統計を示す. 85 シナリオのうち 71 シナリオは自動探索した記事と人手収集した記事を組み合わせて作成したものであった。探索文書のみを組み合わ

表 4 文書探索問題の自動評価結果.（P は適合率を示す）

表 5 被験者が作成したシナリオについての統計.

せ作成したシナリオが 11 存在し, これは人手収集記事のみを組み合わせ作成した 3 つのシナリオよりも多い.この観点からは, 85 シナリオのうち $96.4 \%$ （82 シナリオ）という高い割合で， 1 記事以上の自動探索記事が使用された.

その一方, 表 6 に示すように，記事の使用回数の観点からは人手収集した記事の方がシナリオにより寄与している。この表において，例えば，自動探索された 18 記事はどのシナリオにも使用されない（使用されたシナリオ数が 0 回）低品質な記事であった. 人手収集した記事でシナリオ作成に活用されなかった記事はわずかに 9 であり，差が大きい。一方， 7 シナリオに使用されるような有益な記事を自動探索している点は興味深い。人間による人手収集では，9シナリオに使用されるさらに重要な記事を探索している. 自動探索モデルは交差エントロピー損失により学習されており, 分類器の与えるスコアは 0.0 もしくは 1.0 に極端に振れる傾向がある.探索すべき記事の中でも，細かなスコアの差を与えるようなモデル拡張が考えられる.

## 7.2 コメント生成問題

コメント生成の評価について述べる.

## 7.2.1自動生成コメントの自動評価

表 7 に BART およびリード 3 法の ROUGE を示す. BART は ROUGE- 1 と ROUGE-L においてリード 3 よりも高い值を示した。一方，ROUGE-2においてはリード 3 法よりも低い値であった. 4.3 節で述べたように人間のコメントの冒頭部分には入力文書の要約が含められやすく, この要約部分の多くは原文書を言い換えない抽出型の要約となっている. BART が原文書の表現の言い換えを許容する生成型の要約手法であるのに対し, リード 3 は文抽出型の手法である。よって, 正解コメントとリード 3 法の出力で単語の重複が多くなり, ROUGE-2 の値が大きくなるものと考えられる．BLEU およびBERTScore についてもBART による自動生成コメントがリード 3 よりも高い値を得た。

表 6 自動探索した記事と人手収集した記事がプランニング段階で使用された回数.

表 7 コメント生成問題の自動評価結果.

表 8 人間による採点評価の結果. ホライゾン・スキャニングに関する専門教育を受けた者によるコメント（参照コメント），BART およびリード 3 を比較し，行の手法が列の手法に対しより良いと判定された回数 (勝ち), 列の手法に対して悪いと判定された回数（負け）. 同位と判定された回数（分け）を示す.

## 7.2.2 人手採点による自動生成コメントの人手評価

か，2）流暢さ，3）正しさの 3 つの観点における值を示す. 表に示す値は行に示す手法が列に示す手法より良いと判定された回数，悪いと判定された回数，同位と判定された回数である．例えば，参照コメントは BART に対し「72 勝 29 敗 19 分」であり，より多くの回数良いと判定された. 未来の変化を想起させるかという観点では, BART が 51 回リード 3 法よりも良いと判定されたのに対し，リード 3 は BART よりも良いと判定されたのは 41 回であった. よって， BART の出力にはリード 3 法よりもより未来の変化を想起させる記述が含まれる。 一方, 参照コメントはBARTよりも 72 回良いと判定されており, BART がより良いと判定された回数は 29 回である. そのため, 依然このタスクには性能向上の余地が残されていると考えられる.

BARTによる多くの自動生成コメントを目視すると, 要約や背景を言及したあとに, 主観的な意見を述べる談話構造を持つ出力を多く観測した．4節で述べたようにこのような構造がデータセット中にも多く含まれることから，BART はこの構造に近い出力を行ったものと考えられる.

## 8 エラー分析

本節では自動探索された文書と自動生成されたコメントのエラーを分析する.

## 8.1 自動探索記事のエラー

表 9 に BERT による教師あり学習に基づく手法, 意味的な距離に基づく手法およびIDFによる手法の出力スコアを例示する。表に示す 4 つの記事はいずれも負例である。すなわち，これら4つの記事に対し低いスコアを与えれば，良いモデルといえる。

1 つ目の例は BERT 手法が正しく負例に対し低いスコアを与えた例である．2つ目から4つ目の例は，負例に対し BERT 手法が比較的高いスコアを与えた代表的なエラー事例である。この分析では，まずBERTによる手法が分類に失敗した事例をスコアの大きな順に 20 事例を抽出した.これらのエラー事例を手作業で類型化した.

スコアの大きな 20 事例のうち, 16 事例は実際には正例とみなすことのできる記事であった. これは，実験に用いた 8,000 記事の擬似的な負例の中にも少数ではあるが正例とみなすことのできる記事が含まれており，それらが正しく正例として判定されたものと考えられる。

残りの 4 記事については，表 9 における 2 番目および 3 番目の記事のように，カタカナ語やアルファベットを多く含む記事，「新型コロナウイルス」のような学習データの収集時期に特有な時事用語を含む記事がみられた．２番目の例は“半導体” “開発”といった語を含み一見，中長期的な変化として, 革新的な製品開発を示唆するように見える. しかし, “取りやめ”という否定表現も含むことから, 大きな社会変化を示唆しない. BERT による手法では, 否定表現を含み長期的な社会変化の手がかりではない事例に対しても，半導体やLSI といった用語の影響が強く，高いスコアを与えるエラーがみられる．3番目の例についても同様に「ETF」や「NISA」 といったアルファベットが連続する語の影響を受け高いスコアとなる. しかし, 中長期的な社会変化は示唆しない.「新型コロナウイルス」といった時事用語を含む 4 つ目のような記事は,短期的な社会変化に着目し, 本研究で着目する中長期的な社会変化を示唆しない. 学習デー夕の収集時期によって，「新型コロナウイルス」といった特定の時事用語が正例に多く含まれると，

 \\

表 9 各手法がテキストに与えたスコア.

BERT の出力スコアもそのような語の影響を受ける。時事用語を含む記事は収集段階では正例とみなせても，時間の経過によって正例とはみなせなくなるケースが存在する。そのため, 学習データの収集時期の影響を受けづらくするため，時事用語を含む記事を出力しないといったヒューリスティックとの組み合わせは実応用上有効であると思われる.

また，コサイン類似度による距離尺度だけでは探索すべき記事とそうでない記事の分類が難しい事例が多く存在した。例えば，表 9 中の 1 つ目の例は通常のニュース記事ではなくエッセイである。このように，一般的な記事との意味的な距離は遠いが中長期的な変化を示唆しない記事は多く存在する．IDF や意味的な距離による手法はこれらを正しく負例と分類できないことがある.

## 8.2 コメント生成の出力例

自動生成されたコメントについて議論する。表 10 に 4 つ記事に対し生成されたコメントを示す. 1 番目の記事に対しては，記事の要約に加え「この技術は飲食業での消毒や清掃にも応用されるかもしれない.」という主観的なコメントも正しく生成した. 2 番目から 4 番目の記事とコメントは，人手評価のおいてエラーを含むと判定されたコメントを 3 つの類型に分け，各類型を例示したものである。

2 番目のコメントは元の記事から文を抽出し要約を出力したのみで，意見を含めなかったエラー類型の例である。このようなエラーは分析した 20 記事のうち 3 件みられた. 生成コメントが流暢だとしても，本設定では主観的なコメントを含まない出力はエラーとなる．学習に用いるデータに主観的なコメントが含まれるとしても，BART 自体には主観的なコメントをより出力に含めるような機構を持っているわけではない. 本研究では，もっとも基本的な BARTによるべースライン性能を報告することとし，言語生成モデルそのものに主観的なコメントをより含めるような新たな機構や，より説得力を持つコメントを生成するための談話構造の制御技術 (Ishigaki et al. 2019) については, 将来的な拡張のアイデアとして述べるに留める。言語生成技術の研究の観点からは, そのような生成テキストの制御機構の開発は重要な方向である.

3 番目の例において，自動生成されたコメントの 2 文目は “日本食ブーム”について言及している。しかし， 入力記事には日本食に関連する記述はなく，原文書とは関係のない記述が含まれる正しさに関するエラーとなっている。原文書と関連する背景情報を正しく主観的なコメントとして言及するのが難しい例である。このようなエラーは分析した 20 コメントのうち 11 コメントを占めた.

最後の 4 番目は，「温泉自体への投資も活発化してきているようだし、温泉自体への投資も活発化してきているようだ。」といった言及のように，同じ文言の繰り返しや，常識的には考えられない現象についての言及のため，意味を把握することのできない出力の例である。このような事例が 20 コメントのうち 6 コメントみられた.

2. 入力記事: 徳島大学発のベンチャー企業グリラスは、食用コオロギ事業を拡大するため、総額 2 億 3000 万円を調達した。今回の資金調達を機に、株式公開に向けた体制整備を進める予定だ。グリラスは 5 月にジェイテクトと業務提携し、全自動生産システムを共同開発した。 (2020 年 12 月 23 日日経新聞)

参照コメント:

最近、日本でも 10 匹と 30 匹のコオロギを使ったフイナンシェが発売され、2 日で売り切れたそうだ。私はおせんべい以外、コオロギを使った食品を見たことがないが、いよいよ昆虫食が社会に浸透していく兆しがあるようた。

## BART:

徳島大学発のベンチャー企業グリラスが、食用コオロギの事業拡大のため、ベンチャーキャピタルから総額 2 億 3000 万円の資金調達を行った。全自動生産システムの共同開発に取り組んでいる。

3. 入力記事: 飲料水の自動販売機の扉の鍵を不正に開けて売上金などを盗んだとして、警視庁杉並署... (中略）... 窃盗容疑で逮捕していた。

(2020 年 10 月 5 日朝日新聞デジタル)

参照コメント:

ATM や自動販売機が危ない。東京や神奈川では、年間 100 件以上発生いる模様。これだけ被害が増えると、お金を扱う自動販売機の本格的な電子化が最終的には必要だろう。

## BART:

コロナ禍で 2 名の容疑者が逮捕されました。日本食ブームは世界中で大人気。日本の食文化は世界に広がる可能性を秘めている。

4. 入力記事: 湯けむりの里、鬼怒川温泉を救え! 経営不振に加え、メーンバンクの足利銀行の破綻というダブルパンチを食らっている鬼怒川温泉（栃木県藤原町）の再生に向け、産業再生機構が温泉街を丸ごと支援する方向で検討を始めた。... (中略) (2004 年 2 月 10 日夕刊フジ)

参照コメント:

団体客の減少で、老舗の温泉街である鬼怒川温泉が丸ごと経営危機になっている。そこで産業再生機構が街まるごと支援に乗り出すことになったという。（中略）しかし問題は、その「丸ごと」発想なのではないか?

BART:

昨今の景気後退の中、温泉ブームも熱を帯びてきているが、どうやら最近、温泉街を丸ごと再生させようとする動きが活発化してきているようた。温泉自体への投資も活発化してきているようだし、温泉自体への投資も活発化してきているようだ。

表 10 コメントの生成例.

## 9 おわりに

本稿では未来学におけるホライゾン・スキャニングを自動化するため, 新たな文書探索及び言語生成問題を提案した，2,266の新聞記事と中長期的な未来に起こりうる変化に関する主観的なコメントが対になったデータセットを整備した。探索すべき記事について，特徴語および意味的な距離の観点から分析し, BERT による教師あり学習手法において適合率@N において良い探索性能が得られることを示した. コメント生成問題については, 最先端の言語生成モデルを用いたとしても主観的なコメントを正しく生成するのが難しく挑戦的な課題であることが分かった。本稿で提案したコメント生成問題をさらに高度に解くためには, 主観的な記述と客観的な記述を正しく制御可能な言語生成技術が必要となるだろう.

## 謝 辞

本研究は, JST 次世代研究者挑戦的研究プログラム JPMJSP2102 の支援を受けたものです.整備したデータセットの元となる記事およびコメントを提供くださった一橋大学のMBAコー ス学生の皆様, ワークショップの参加者に感謝します. 本原稿に対し適切なご助言を頂きました二人の匿名査読者および編集委員に感謝します。人手評価におけるデータ収集は, JAISTの倫理審査委員会の承認を得ています. 計算には産総研の $\mathrm{AI}$ 橋渡しクラウド $(\mathrm{ABCI})$ 利用しました。実験には朝日新聞コーパスを使用しました。

## 参考文献

Blair, D. C. and Maron, M. E. (1985). "An Evaluation of Retrieval Effectiveness for a Full-Text Document-Retrieval System." Communication of the Association for Computing Machinery, 28 (3), pp. 289-299.

Cheng, J. and Lapata, M. (2016). "Neural Summarization by Extracting Sentences and Words." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 484-494, Berlin, Germany. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL2019), pp. 4171-4186, Minnesota, USA. Association for Computational Linguistics.

Ishigaki, T., Kamigaito, H., Takamura, H., and Okumura, M. (2019). "Discourse-Aware Hierarchical Attention Network for Extractive Single-Document Summarization." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 497-506, Varna, Bulgaria. INCOMA Ltd.

Ishigaki, T., Nishino, S., Washino, S., Igarashi, H., Nagai, Y., Washida, Y., and Murai, A. (2022). "Automating Horizon Scanning in Future Studies." In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 319-327, Marseille, France. European Language Resources Association.

Ishigaki, T., Topic, G., Hamazono, Y., Noji, H., Kobayashi, I., Miyao, Y., and Takamura, H. (2021). "Generating Racing Game Commentary from Vision, Language, and Structured Data." In Proceedings of the 14th International Conference on Natural Language Generation, pp. 103-113, Aberdeen, Scotland, UK. Association for Computational Linguistics.

Iso, H., Uehara, Y., Ishigaki, T., Noji, H., Aramaki, E., Kobayashi, I., Miyao, Y., Okazaki, N., and Takamura, H. (2019). "Learning to Select, Track, and Generate for Data-to-Text." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2102-2113, Florence, Italy. Association for Computational Linguistics.

Kim, B. J. and Choi, Y. S. (2020). "Automatic Baseball Commentary Generation Using Deep Learning." In Proceedings of the 35th Annual ACM Symposium on Applied Computing, SAC '20, pp. 1056-1065, New York, NY, USA. Association for Computing Machinery.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium. Association for Computational Linguistics.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain. Association for Computational Linguistics.

Kunifuji, S. (2016). "A Japanese Problem-solving Approach: The KJ Ho Method." In Knowledge, Information and Creativity Support Systems: Recent Trends, Advances and Solutions, pp. 165-170. Springer.

Kwon, J., Kamigaito, H., Song, Y.-I., and Okumura, M. (2020). "Hierarchical Trivia Fact Extraction from Wikipedia Articles." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4825-4834, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), pp. 7871-7880, Online. Association for Computational Linguistics.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain. Association for Computational Linguistics.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Burges, C. J. C., Bottou, L., Welling, M., Ghahramani, Z., and Weinberger, K. Q. (Eds.), Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc.

Mitra, B. and Craswell, N. (2018). An Introduction to Neural Information Retrieval. Now Foundations and Trends.

Murakami, S., Tanaka, S., Hangyo, M., Kamigaito, H., Funakoshi, K., Takamura, H., and Okumura, M. (2021). "Generating Weather Comments from Meteorological Simulations." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 1462-1473, Online. Association for Computational Linguistics.

Nagai, Y., Taura, T., and Mukai, F. (2009). "Concept Blending and Dissimilarity: Factors for Creative Concept Generation Process." Design Studies, 30 (6), pp. 648-675.

Nallapati, R., Zhou, B., dos Santos, C., Gulçehre, c., and Xiang, B. (2016). "Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond." In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290, Berlin, Germany. Association for Computational Linguistics.

Nishino, S., Washida, Y., Ishigaki, T., Washino, S., Igarashi, H., Murai, A., and Nagai, Y. (2022). "Validation of a Foresight Support System to Imagine an Uncertain Future." In Proceedings of Knowledge, Information and Creativity Support Systems (KICSS2022), Kyoto, Japan. IIAI Letters on Informatics and Interdisciplinary Research.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318.

Puduppully, R. and Lapata, M. (2021). "Data-to-text Generation with Macro Planning." Transactions of the Association for Computational Linguistics, 9, pp. 510-527.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, Lisbon, Portugal. Association for Computational Linguistics.

Sardar, Z. (2010). "The Namesake: Futures; Futures Studies; Futurology; Futuristic; ForesightWhat's in a Name?" Futures, 42 (3), pp. 177-184.

Saritas, O. (2013). "Systemic Foresight Methodology." In Science, Technology and Innovation Policy for the Future, pp. 83-117. Springer.

Singhal, A. (2001). "Modern Information Retrieval: A Brief Overview." IEEE Data Eng. Bull., 24 (4), pp. 35-43.

Tanaka-Ishii, K., Hasida, K., and Noda, I. (1998). "Reactive Content Selection in the Generation of Real-time Soccer Commentary." In COLING 1998 Volume 2: The 17th International Conference on Computational Linguistics.

Taniguchi, Y., Feng, Y., Takamura, H., and Okumura, M. (2019). "Generating Live Soccer-Match Commentary from Play Data." In the AAAI Conference on Artificial Intelligence, No. 01, pp. 7096-7103.

Washida, Y. and Yahata, A. (2021). "Predictive Value of Horizon Scanning for Future Scenarios." Foresight, 23 (1), pp. 17-32.

Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., and Artzi, Y. (2020). "BERTScore: Evaluating Text Generation with BERT." In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020.

## 略歴

西野涼子：IT 企業でシステム開発に従事後, 2020 年より産総研技術研修員, 2021 年北陸先端科学技術大学院大学博士前期課程修了, 同年, 同大学院博士後期課程および研究補助員, 2022 年より一橋大学研究補助員, 現在に至る. 専門は知識科学. 言語処理学会, 情報処理学会, 日本創造学会各会員.

石垣達也：2019 年東京工業大学総合理工学研究科博士学位取得 (工学)。同年, 同大学科学技術創成研究院研究員. 2020 年 4 月より産総研特別研究員,同年 10 月より同研究員, 現在に至る。専門は自然言語処理. 特に自動言語生成と自動要約. 言語処理学会, 情報処理学会各会員.

熟野壮平：2019 年 3 月鹿屋体育大学大学院体育学研究科体育学専攻博士後期課程修了．博士（体育学)。2019年 4 月より産業技術総合研究所情報人間・工学領域人間拡張研究センター特別研究員, 2022 年 4 月より同研究員, 現在に
至る. 専門は, バイオメカニクス, スポーツ工学. ヒトの運動パフォーマンス向上に関連する研究を，スポーツ工学的アプローチより進めている。

五十嵐広希：2013 年電気通信大学大学院電気通信学研究科博士課程後期中退,

工学 (博士). 日本電気株式会社, 長岡技術科学大学, 産総研等を経て, 2022 年より東京大学大学院工学系研究科, 特任研究員, 現在に至る. 専門は無人航空機（ドローン）に関する標準化や，安全工学.日本信頼性学会会員.

村井昭彦: 東京大学大学院情報理工学系研究科博士課程修了, 博士（情報理工学)。三菱重工，ディズニーリサーチ等を経て現職。専門はロボティクス， バイオメカニクス. JST さきがけでの「DATSURYOKU: マルチレベルな介入による運動スキル獲得支援の実現」等において，ヒトの神経・筋骨格システムにより運動生成・制御の機序を解明し，運動力学・認知的介入により運動・感覚能力を拡張する研究を行い，ヒトをより動けるようにすることを目指す。

鷲田祐一: 一橋大学経営管理研究科教授 (データ・デザイン研究センター長).専門は, マーケティング, イノベーション研究. 1991 年一橋大学商学部を卒業.（株）博報堂に入社し，イノベーション・ラボ等で消費者研究，技術普及研究に従事. 2003 年にマサチューセッツ工科大学に研究留学. 2008 年東京大学大学院総合文化研究科修了（学術博士）.

永井由佳里 : 国立大学法人北陸先端科学技術大学院大学理事・副学長・教授. 1989 年武蔵野美術大学大学院修士課程修了 (造形学), 2002 年千葉大学大学院博士課程修了 (学術), 2009 年シドニー工科大学大学院博士課程修了 (Computing Sciences). 日本学術会議連携会員. 専門は知識科学, デザイン学, 特に創造性.日本創造学会会長.

$(2022$ 年 12 月 1 日 $\quad$ 受付 $)$
$(2023$ 年 3 月 1 日再受付 $)$
$(2023$ 年 4 月 12 日採録)