一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
一般社団法人 電子情報通信学会
INFORMATIONAND COMMUNICATION ENGINEERS

信学技報
IEICE Technical Report
信学技報
IMQ2023-31,IE2023-86,MVE2023-60(2024-03)

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

IEICE Technical Report

大規模言語モデルを用いた評価グリッド法自動化のためのキーフレーズ生成
北野 泰成† 張 帆† 杉本 匡史† 橋本 翔†‡ 佐々木 香暖† 宮嶋 大輔† 長田 典子††関西学院大学理工学部/感性価値創造インスティテュート 〒669-1330 兵庫県三田市学園上ヶ原 1 番
E-mail:‡西南学院大学商学部 〒814-8511 福岡市早良区西新 6-2-92{ kitanott99, zhangfan, sugimoto.masashi, k-sasaki, daisukemiyajima, nagata} @kwansei.ac.jp†

あらまし ユーザニーズを構造的に把握する方法として,評価グリッド法による個別インタビュー手法が知られているが,人的,時間的負荷が問題となる.本研究では評価グリッド法の自動化の一処理として，大規模言語モデルを用いたキーフレーズ生成手法を提案する．カテゴリ内にある文章の評価項目の含有率に応じて 2 種類の生成手法を使い分け，含有率が大きいカテゴリに
対し大規模言語モデルを用いることでカテゴリ内外の単語情報をもとにキーフレーズを生成した．また，含有率が小さい残りのカテゴリは単語重要度に基づいてカテゴリ内からキーフレーズを選出した．既存のキーフレーズ抽出手法との結果を比較したところ，提案手法が高精度かつ適切な長さのキーフレーズを生成できることが確認された．

キーワード キーフレーズ生成，評価グリッド法，大規模言語モデル，GPT4

Keyphrase generation for automation of the evaluation grid method
using a large-scale language model
Taisei KITANO† Fan ZHANG†Masashi SUGIMOTO†Sho HASHIMOTO†‡
Kanon SASAKI†Daisuke MIYAJIMA† Noriko NAGATA††School of Science and Technology / Kwansei Gakuin Institute of Kansei Value Creation, Kwansei Gakuin University 1
Uegahara, Gakuen, Sanda-shi, Hyogo, 669-1330 Japan‡Faculty of Commerce, Seinan Gakuin University , Nishiara, Hukuoka-shi, Hukuoka, 814-8511 Japan
E-mail: †{ kitanott99, zhangfan, sugimoto.masashi, k-sasaki, daisukemiyajima, nagata}@kwansei.ac.jp
Abstract The individual interview method, by means of the evaluation grid method, is known as a technique for structurally
understanding users’ needs; however, it takes much time and effort to experiment and analyze. In this research, we aim toautomate a step of the evaluation grid method by constructing a keyphrase-generation system using a large-scale language
model. We employ two generation methods based on the number of sentences within clusters, utilizing a large language model
to generate keyphrases using both intra- and extra-cluster word information. By comparing and analyzing the results of our
proposed method with previous studies, we seek to gain insights into the effectiveness of our approach.
Keywords

Keyphrase

generation,

Evaluation

grid

1. はじめにmethod,Large-scalelanguagemodel,

GPT4

ビューを通して対象刺激に対する評価理由を聴取し，ユーザニーズの多様化に伴い，個人の価値観や嗜その原因と結果を引き出すことで個人の評価構造を構

好を具体的なデザインに反映する方法論が求められて築する手法である．抽象的な価値判断・心理的な価値いる．ユーザニーズを発掘・抽出・把握する方法は，から客観的な判断・物理的な状態までを階層的に整理

プロダクトやサービスにおけるパーソナライズや感性し評価構造として可視化する．また，ラダリングと呼価値（経験価値，体験価値）向上に必須の技術であり，ばれる上位概念・下位概念を聞き出す対話手順を行う

心理学的手法，マーケティングリサーチ手法，行動観ことで，効率的な評価構造の構築が可能である．この察手法，感性評価手法，機械学習手法など，多様な分手法はその有用性から多くの研究開発に用いられてい野で研究が進められている． 従来，ユーザニーズをるものの，人的・時間的な負荷が高いという問題があ把握する手法として，インタビュー調査や主観評価実る．実施を支援するツールの開発なども試みられてい験など心理学的データを用いた手法が有効とされてきる が[2,3]， 更 な る 効 率化 の ため の 施 策 と して ， 評 価た．この中でも代表的なインタビュー手法として評価

グリッドの作業全てを自動化するという試みが行われグリッド法[1]がある．評価グリッド法では，インタて い る [4] ． こ の 研 究 に お け る 自 動 化 シ ス テ ム は 図 1- 102 Thisarticle
articleisisa atechnicaltechnicalreportreportwithout
withoutpeer
peerreview,
review,and
anditsitspolishedpolishedand/or
and/orextended
extendedversion
versionmay
maybebepublishedpublishedelsewhere.
elsewhere.
This
Copyright©2024 byby IEICE
Copyright ©20●●
IEICE

に示す通り 4 つのサブシステムにより構成されてい位付けしてもらい，その判断理由についてインタビュ

る．大規模言語モデルによるインタビュー対話を通しーを行う．そこで得られた評価項目(回答)に対し，抽て得られた評価項目をクラスタリングした後，そのカ

象的な価値判断や心理的な価値といった上位概念を引

テゴリごとに代表的な名前(キーフレーズ)を付与し，き出すラダーアップと，具体的かつ客観的な判断や物評価構造として可視化する．この中でも 3 番目の処

理的な状態といった下位概念を引き出すラダーダウン

理であるキーフレーズ生成は評価項目の集合ごとに最を行う．その後，評価項目の中で意味が類似したものも適切なフレーズでタグ付けを行い，評価構造を簡潔を一つのカテゴリとしてまとめ，カテゴリごとに名前化するという点で重要な役割を持つ．

を付与する．最後に，評価項目を階層構造として整理することで評価構造が構築される．

図 1 評価グリッド法自動化システム
図 2 評価グリッド法の手順

また，この研究においてキーフレーズ生成の対象となるのはカテゴリと呼ばれる評価項目の集合である．
評価項目は，主語述語を伴った文章形式のものや単語

この手法は，人間が持つ固有の理解や判断の仕組

１つだけのものが混在している．しかし，キーフレー

みにより，何を知覚しどのように評価を下しているか

ズ抽出・生成の既存手法では連続した文書を入力するを把握することが可能である．また，手順が決められことが前提であり，本研究のデータのように集合内にているため，インタビュアーにスキルや知識を要求し文章や単語が両方含まれることが考慮されていない．

ないこともメリットとして挙げられる．しかし，イン

本研究では，評価グリッド法の完全自動化を目的

タビューで得られた評価項目の構造化を手作業で行わとし，その一処理として，大規模言語モデルを用いてなければならず，人的・時間的負荷が大きいため，大評価項目のカテゴリごとにキーフレーズを生成する手

規模なデータの取得が困難である．このため評価グリ法を提案する．カテゴリ内の評価項目ごとに文章か否

ッド法の全処理を自動化することで，作業をより効率かの判定を行い，文章判定を受けた評価項目のカテゴ

的かつ低負荷で行う必要がある．評価グリッド法の工リ内における含有率を算出する．この含有率に応じて程の中でも評価項目のカテゴリ化に着目し，大規模言2 種類のキーフレーズ生成手法を使い分ける．含有率

語モデルを用いてキーフレーズの生成を自動的に行う．

が大きいカテゴリは大規模言語モデルを用いてキーフ

2.2. キーフレーズ抽出・生成

レーズを生成し，残ったカテゴリに対しては単語重要度に基づきカテゴリ内からフレーズを選出する．

キーフレーズ抽出は自然言語処理における基本的なタスクであり，文書から最も網羅的かつ代表的な表現 を 識 別 お よ び 抽 出 す る 処 理 で あ る ． Tf-Idf や

2. 関連研究Te x t R a n k な ど 多 く の 既 存 手 法 は ， 最 初 に キ ー フ レ ー

2.1. 評価グリッド法

ズ候補のリストを文書内から取得し，文書への重要度

評価グリッド法は，インタビューにより個人の持を数値化することでその候補をランク付けするというつ評価構造を階層的に表現する手法である．Kelly ら

2 つのステップを踏んでいる．また，言語モデルの発が臨床心理学の分野で開発したレパートリー・グリッ

展に伴い，文書に現れないフレーズを再帰型ニューラ

ド法[5]を実務向けに改良した面接手法とされる．

ルネットワーク(RNN)や chatGPT によって生成する

図 2 に示す通り，評価グリッド法は「実験刺激に

キーフレーズ生成タスクを行った事例も確認されてい対 す る 選 好 判 断 ( イ ン タ ビ ュ ー ) 」「 ラ ダ リ ン グ 」「 評 価る[6][7]．しかし，これらの手法は入力が文書である

項目のカテゴリ化」の 3 つの処理に分類される．まことが前提であり，文章や単語が混在した集合に対しず実験参加者に対して複数の実験刺激を嗜好度順に順てキーフレーズを抽出・生成した例は確認されていな- 103 -

い．本研究で扱う評価項目は文章と単語の両方が含まれており，カテゴリにも文章に偏ったものや単語に偏ったものがあるため，キーフレーズを獲得するための最適な手法がカテゴリ全体で共通していないことが考えられる．このため，文章・単語のカテゴリごとにキーフレーズ生成を分ける必要がある．

3. 評価グリッド法のためのキーフレーズ生成
3.1. キーフレーズ生成手法の概要
本研究では，評価グリッド法自動化のための一処
図 3 文章ベースのキーフレーズ生成手法

理として，評価項目のカテゴリごとにキーフレーズを生成する手法を提案する．カテゴリは文章の評価項目が多いものと単語の評価項目が多いものに分かれる．

出力された評価項目は文章長が大きく評価構造に

カテゴリの構成要素が異なる場合，それに応じて出力適した形式になっていない可能性があり，短く簡潔なされるキーフレーズの抽象度も変化することが望まし表現に変換する必要がある．このため， GPT4[10]をいため，キーフレーズの生成手法をカテゴリ内の構成

用いて文章長の大きい評価項目を簡潔化する．出力さ要素に基づいて切り替える必要がある．このため，最れ た 評 価 項 目 ご と に G P T 4 に 入 力 し ，「 入 力 の 評 価 項

初にカテゴリ内の評価項目ごとに文章か否かの判定を目に対して短いタイトルを複数生成する」ようにプロ行う ． 文章 判 定の 基 準 は ，金 谷 [8] に基 づ き， 1. 述 語

ンプトを与えることで簡潔化された表現を獲得する．

があるかどうか，2.体言止めされていないかの 2 点とGPT4 に入力するプロンプトを図 4 に記載する．プ

する．カテゴリ内における文章の評価項目の含有率を

ロンプトは命令・制約・出力例・確認の 4 つから成

算出し，その値に応じて生成手法を切り替える．含有

る．命令パートでは選出された評価項目を入力し，評率が大きければ，最初に重要な評価項目を抜き出し，価項目の単語をもとに短いタイトルをカンマ区切りで大規模言語モデルにより簡潔化する「文章ベースのキ複 数 作 る よ う に GPT4 に 命 令 す る ． 制 約 パ ー ト で はーフレーズ生成」を行う．残ったカテゴリに関しては，望まない出力結果を排除するために記述する．また，単語重要度と係り受け解析を活用してキーフレーズをCh ai n o f T hou gh t s [11 ] の プ ロ ン プ ト 手 法 に 基 づ き ，

選出する「単語ベースのキーフレーズ生成」を行う．

モデルに問題を解かせる際にその思考過程も同時に学

なお，本研究では大規模言語モデルとして，習させることで，タイトル生成時に段階的に試行しつ

transformer を ベ ー ス と し た OpenAI の 生 成 モ デ ル

つ結果を出力するよう要求する．出力例パートでは入GPT4 を活用する．

力する評価項目とそれに対して出力が期待されるタイ

3.2. 文章ベースのキーフレーズ生成

トル候補を提示する．最後の確認パートでは，命令パ

文章形式の評価項目がカテゴリ内に多く含まれる
場合，出力されるキーフレーズも可能な限り情報が損ートで記述したプロンプトを再度説明し，間違った形式の結果が得られないようにする.
最後に，カテゴリごとにキーフレーズの候補からなわれない文章形式であることが望ましい．このため，最初にカテゴリ全体の情報を最も表現している要素をEmbedRank ア ル ゴ リ ズ ム [9] に よ っ て 抜 き 出 し ，GP T 4 [11 ] を 用 い て 短 く 簡 潔 な 表 現 に 変 換 す る こ と でキーフレーズを生成する(図 3).
最初に，カテゴリ全体の情報を最も表現できる評価項目を EmbedRank アルゴリズムにより選出する．
カテゴリの評価項目を全て連結した文字列をカテゴリ
全体の情報と捉え，この文字列とカテゴリ内の全評価

最適なキーフレーズを選出する．その表現が一般的に多用されるものか否かを選出基準とし，検索件数が多いほど一般的によく用いられる表現であると仮定する．
キーフレーズ候補をそれぞれブラウザ上で検索し，表示 さ れ た ペ ー ジ に 対 し て We b ス ク レ イ ピ ン グ を 行 う
ことで検索件数を取得する．検索件数が最大となる表現を最終的なキーフレーズとする．検索件数を取得する対象ブラウザには Google Chrome を活用した．

項目を分散表現に変換する．分散表現に変換したカテ
ゴリと各評価項目のコサイン類似度を計算し，類似度最大の評価項目を抽出する．

- 104 -

用し，対応する辞書として固有名詞や新語に対応可能<命令>
以下の<評価項目群>の評価項目ごとにそれぞれ短いタイトルを作ってください．評価項目ごとに複数タイトルの候補を生成し，半角カンマで区切ってください．
<評価項目群>{入力する文章}<\評価項目群><\命令>

な NeologD 辞書を採用する．全評価項目を単語に分割し，意味を持たない単語を除去するために単語の品詞を名詞・動詞・形容詞・副詞の 4 つに限定する．
次に，単語のカテゴリに類義語があれば出現頻度の大きい方に統一する．EDR 概念体系辞書から抽出した類義語・非類義語のペアから類義語判定の閾値を自動的に決定し，カテゴリ内の単語ペアの中で閾値を<制約>
丁寧語は使わない
文 末 を 「 ～ と 思 う 」「 ～ と 思 い ま す 」 で 締 め な いステップバイステップで考えること：<\制約>超えるものがあれば類義語として統一する．
類義語統一を行ったカテゴリの単語それぞれに対して Tf-Idf を適用し，単語集合の中から重要度の高い単語(重要語)を複数選出する．Tf-Idf はある文書に含まれる単語 の出現頻 度(TF)と，単語 の希少性(IDF)<例><評価項目>評価項目例 1</評価項目><回答>回答例 1</回答><評価項目>評価項目例 2</評価項目><回答>回答例 2</回答>….
<\例>

図 4

の積により求められる．カテゴリ C の単語 w における Tf-Idf のスコア s は式(1)のように表される．
式 1 Tf-Idf のスコア
s = (C における w の出現回数/C における全単語のGPT4 に与えたプロンプト出現回数) ∗ (log(全カテゴリ数/w が出現する
カテゴリ数) + 1)……(1)3.3. 単語ベースのキーフレーズ生成
カテゴリに含まれる文章の割合が少ない場合，カ

その後，係り受け解析を活用することで重要語に

テゴリ内の評価項目は単語，名詞句形式のものが多い

関連する単語を抽出し，適切な形式で重要語に付与すと考えられる．この場合は，GPT4 を用いてキーフレる．単語の抽出には単語間の関係をタグで表現できるーズを生成するよりも，カテゴリ内で重要度の高い単

日本 語の 形態 素 解析 器 Ginza を 用い る． カテ ゴリ 内

語を抜き出した方がカテゴリの特徴を捉えたキーフレの評 価項 目 を Ginza で解 析し ，重 要語 と 係り 受け 関ーズを獲得しやすいと考えられる．このため，カテゴ

係にある単語を全て抽出する．抽出した単語のうち大リ 内 の 評 価 項 目 を 単 語 に 分 割 し ， Tf-Idf の ス コ ア が部分を占める単語があれば重要語に付加する．
最後に，重要語群から最もキーフレーズとして適上位の単語に係り受け解析を適用して関連の強い単語

切な言葉を選択する．キーフレーズの選出にあたり，を付加することでキーフレーズを生成する(図 5)．

教師データを必要とせずに文書内で重要なキーフレー
ズを選び出す EmbedRank アルゴリズムを応用する．
各重要語とカテゴリ内の評価項目群を分散表現化し，評価項目群の分散表現と重要語ごとのコサイン類似度を算出する．全重要語の評価項目群とのコサイン類似
度と Tf-Idf の値の積を重要度スコアとし，最も値の大きいものをキーフレーズとする．

4. キーフレーズの生成結果と考察
2 種類のキーフレーズ生成手法を用いて，複数の評
価項目カテゴリからキーフレーズを生成し，手作業で割り振ったキーフレーズと比較した結果を示す．また，

図 5 単語ベースのキーフレーズ生成手法

これらの結果に対して，評価項目ごとのデータの観点，
最初に，形態素解析を行いカテゴリ内の全評価項

キーフレーズの手法ごとの観点から考察を行う．

目を単語の集合に分割する．解析器には MeCab を使- 105 -

表 1 キーフレーズ生成における各手法の正解率

4.1. 検証において用いたデータ

のみ，並びに単語ベースの手法のみでキーフレーズを本検証において用いるデータは評価グリッド法に生成した場合の正解率を提案手法と比較した．その結よって抽出したクラスタリング済みの評価項目データ
である．意味の類似した評価項目がまとまって 1 つ果，提案手法は全データでどちらの場合よりも正解率のカテゴリを形成しており，各カテゴリには手作業でが高くなった．全カテゴリに対し文章ベースの生成手

キーフレーズが付与されている．評価項目データは，法のみ適用する場合， カテゴリによっては，重要語

オンラインライブに関する評価データ(41 カテゴリ)，が GPT4 に よ り 不 必 要 な 変 換 を 受 け た こ と で 意 味 が兵 庫 県 朝 来 市 ・ 三 宮 の 観 光 に 関 す る 評 価 デ ー タ ( 11 0

異なるものになってしまった可能性がある．一方で提カ テ ゴ リ ) ， ネ ク タ イ の 印 象 評 価 デ ー タ （ 115 カ テ ゴ

案手法はカテゴリ内の評価項目が文章であるかを考慮

リ)の全 3 種類である．

し，単語が多いカテゴリに対しては重要度に基づいて

4.2. 評価の方法

キーフレーズを選出するため，余分な変換が行われず

被験者 3 名に対し，評価項目データごとに手作業と適切なキーフレーズが得られたと考えられる．

提案手法のキーフレーズを比較してもらい，その類似

また，単語ベースの手法のみを用いる際は単語がキ度を 5 段階で評価してもらう．全カテゴリ数のうちーフレーズとなる場合が多いため，キーフレーズの抽

類似度の合計が 15 点満点中 12 点以上のカテゴリの象度が高くなる場合が多い．このため，文章の評価項

割合をキーフレーズ生成の正解率として算出する．今目が多いクラスタにおいて，手作業で得られたキーフ

回はキーフレーズの比較対象として 4 つの先行研究

レーズとの類似度が下がったと考えられる．提案手法( T f - I d f ， Te x t R a n k ， YA K E ， E m b e d R a n k ) の 手 法 にでは，文章の評価項目が多いクラスタに対して GPT4より抽出されたキーフレーズの正解率も提示する．

を使い詳細なキーフレーズを生成できるため，正解率

4.3. キーフレーズ生成結果

が比較的大きくなったと推察する．

各 評 価 項 目 デ ー タ の 正 解 率 を 表 1 に 記 載 す る ．（ 24.4.3. 先行研究との比較

つの生成手法の切り替えの閾値を，文章形式の評価項

提案手法と 4 つの先行研究について，正答率を比

目の含有率 65％とした）提案手法におけるネクタイ

較した．表 1 に示す通り，全データを通して提案手

データの正解率が 80% と最高であり，オンラインラ

法 は T f - I d f ， Te x t R a n k ， YA K E の 正 答 率 を 上 回 っ て

イブデータの正解率は 61%で最低となった．

いた．これらの先行研究の手法は予め文書を単語に分4.4. 考察

割し重要度順にランク付けしたうえでキーフレーズを抽出するため，1 つの単語のみ，もしくは似た意味の4.4.1. 評価項目データごとの結果比較
評価項目 1 つあたりの平均単語数をデータごとに算出した結果，オンラインライブは 7.78 語，朝来・三宮は 6.03 語，ネクタイは 2.88 語だった．提案手法
はオンラインライブにおける正解率が最も低く，ネクタイが最大であるため，評価項目の単語数が大きいほど精度が下がる傾向がみられた．単語数の多い評価項
目のカテゴリは手作業においてより具体的なキーフレーズが割り振られる傾向にあるため，カテゴリによっては手作業と比較して抽象的なキーフレーズが生成され，全体的な精度が下がると推察された．

単語の羅列が抽出されるなど，抽象的なキーフレーズが多く見られた．手作業で割り振られたキーフレーズには修飾語を伴った具体的なものも多いため，キーフレーズ間の類似度が下がり，全体的に正答率に影響したと考えられる．一方，提案手法は文章ベース・単語
ベースという 2 種類の生成手法を使い分けているた
め，文章の評価項目が多いカテゴリ・単語の評価項目が多いカテゴリそれぞれに対応することができる．これにより，キーフレーズの形式が柔軟に変化し，先行研究より正答率が上がったと考えられる(表 2)．

4.4.2. 提案手法の有効性検証
提案手法の有効性を確認するため，文章ベースの手法- 106 -

表 2 提案手法と先行研究の手法

グリッド法の自動化を目的とし，その 1 プロセスと( T f - I d f ， Te x t R a n k ， YA K E ) と の 比 較

して，評価項目のカテゴリごとにキーフレーズを生成する手法を提案した．単一の生成手法のみで得られた
キーフレーズの精度を提案手法と比較したところ，2種類の生成手法を使ったことによる有効性を確認できた．また，出力結果を先行研究と比較したところ，精度の高さと適切な長さを両立したキーフレーズが得ら
れ，手法の有用性が示された．

文

また，EmbedRank で得られたキーフレーズの抽出
精度はネクタイ以外の 2 つのデータで提案手法を大きく上回った．ここでの EmbedRank は分散表現に基づいて評価項目をそのまま抜き出すため，カテゴリに
よっては極端に文章長の長いキーフレーズが抽出される．オンラインライブと朝来三宮観光のデータは評価項目に含まれる単語数が多いため，手作業でも単語数が多いキーフレーズが得られている．このため，キーフレーズの詳細さという点で EmbedRank との相性がよく，提案手法より精度が高くなったと推察する．しかし，評価項目に一切の処理を加えずキーフレーズとして抽出したことで，EmbedRank の結果の中には文章長が極端に大きいキーフレーズが多く含まれる．このため，キーフレーズの妥当性も考慮するとEmbedRank の出力結果は最良とは言い難い．反面，
提 案 手 法 で は GPT4 に よ る 文 章 の 簡 潔 化 に よ り カ テ
ゴリにない単語を用いて 1 フレーズに含まれる単語数を抑えているため，手作業で割り振られたキーフレーズとの類似度は落ちるものの，妥当な長さのフレーズが得られている(表 3)．
表 3 提案手法と EmbedRank との比較

5. まとめ献[ 1 ] 讃 井 純 一 郎 , 乾 正 雄 ，“ レ パ ー ト リ ー グ リ ッ ド 発
展手法による住環境評価構造の抽出－認知心理学 に 基 づ く 住 環 境 評 価 に 関 す る 研 究 ( 1 ) － ，” 日本建築学会計画系論文, no.367, pp.15-22, 1986.
[ 2 ] 大 谷 俊 太 , 橋 本 翔 , 杉 本 匡 史 , 長 田 典 子 ，“ 単 語 の係 り 受 け 関 係 に 基 づ く 印 象 評 価 構 造 の 自 動 構 築 ，”第 17 回日本感性工学会春季大会, 2D2-04, 2022.
[ 3 ] M . S u g i m o t o , Y. Ya g i , a n d N . N a g a t a , “ H o w
differen t
touristsites
evoke
different
emotions: Investigation focusing on the urban
and rural sites in Japan,” Human-Computer
Interaction. HCII 2023. Lecture Notes in
Computer Science, vol.14012, pp. 332–343,
S p r i n g e r, C h a m , 2 0 2 3 .
[4] 宮嶋大輔, 張帆, 杉本匡史, 佐々木香暖, 北野泰成,
橋本翔, and 長田典子, “大規模言語モデルを用いた評価グリッド法に基づくインタビュー対話シ
信 学 技 報 , vol.123, no.180,
ス テ ム ,”
MVE2023-20, pp.33-38.
[ 5 ] G . A . K e l l y, “ T h e p s y c h o l o g y o f p e r s o n a l
c o n s t r u c t s , ” W W N o r t o n & C o m p a n y, 1 9 6 3 ．
[ 6 ] R . M e n g , S . Z h a o , S . H a n , D . H e , P.
B r u s i l o v s k y, a n d Y. C h i , “ D e e p k e y p h r a s e
generation,” arXiv preprint arXiv:1704.06879,
2017.
[ 7 ] M . S o n g , H . J i a n g , S . S h i , S . Ya o , S . L u , Y.
Feng, H. Liu, and L. Jing, “Is chatgpt a goodk e y p h r a s e g e n e r a t o r ? a p r e l i m i n a r y s t u d y, ”
arXiv preprint arXiv:2303.13001, 2023.
[8] 金 谷 武 洋 , 日 本 語 に 主 語 は い ら な い 百 年 の 誤 謬を正す, 講談社, 2002.
[9] K. Bennani-Smires, C. Musat, A. Hossmann, M.
Baeriswyl,
andM.
Jaggi,“Simpleunsupervised
keyphrase
extractionusing
sentence embeddings,” in Proceedings of the
22nd Conference on Computational Natural
Language Learning, CoNLL 2018, pp. 221–229,
Association for Computational Linguistics,
2018.
[10]
J . A c h i a m , S . A d l e r, S . A g a r w a l , L .
A h m a d , I . A k k a y a , F. L . A l e m a n , D . A l m e i d a ,J. Altenschmidt, S. Altman, S. Anadkat, et al.,
“GPT4 technical report,” arXiv preprint
arXiv:2303.08774, 2023.
[11]
J . We i , X . Wa n g , D . S c h u u r m a n s , M .
B o s m a , F. X i a , E . C h i , Q . V. L e , D . Z h o u , e tal.,“Chain-of-thought
promptingelicits
reasoninginlarg elanguagemodels,”Advances in Neural Information Processing
Systems, vol. 35, pp. 24824–24837, 2022.

本研究では，人的・時間的コストを伴わない評価- 107 -