言語処理学会 第30回年次大会 発表論文集（2024年3月）

ChatGPT を用いた複数文章からの表生成
野田直哉 1 村田真樹 1,2
1 鳥取大学大学院 持続性社会創生科学研究科 工学専攻
2 鳥取大学工学部附属クロス情報科学研究センター
m23j4039b@edu.tottori-u.ac.jp
murata@tottori-u.ac.jp

概要
本研究は, 村田ら [1] の単語ベクトルとクラスタリングを用いた表生成と, ChatGPT を利用した表生成の精度を比較した. 実験では, 人手で作成した正解として定義した表との比較評価において, 村田らの先行研究と ChatGPT を利用した手法の F 値が 0.61 と0.64 であり, 同程度の性能であった. また, 正解のラベル (列の項目名) を用いて表を作成し場合の精度はF 値で 0.78 となった.

1

この実験で用意した基準となる表との比較評価において, 先行研究と ChatGPT を利用した手法の F 値が0.61 と 0.64 であり, 同程度の性能であった. 二つ目に, 文の分類精度のみに着目し, 正解のラベルで表を作成し場合の精度は F 値で 0.78 となった.

はじめに近年, Web 上のテキストデータの構造化や, 情報抽出に関する様々な手法 [2][3] が提案されている. その一環として, 本研究では関連した文章から項目ごとに情報を整理することで表の作成を行う. 一般的に要約は, 長文から情報の取捨選択をし, それ以外の情報を捨てることになる. しかし, 捨てられた情報の中にも場合によっては必要な情報となる場合もある. そこで, 情報の取捨選択ではなく項目ごとに整理することで, もとの文章の情報量を維持しつつ, 読み手は項目に注目することで素早く必要な情報を取得できる. そこで図 1 の文章を, 表 1 のように重要情報を自動で抽出し表の形で整理することで, 人手で文章を読む労力を減らし, 可読性と利便性の向上をはかる.
村田ら [1] の研究では表データの学習なしで文章をベクトル化しクラスタリングを行うことで表を作成していた. また, 類似の研究として, 赤野ら [4] の研
究では単語を抜き出し, 単語単位での表生成を行っているほか, 村田ら [5][6] の研究では, ChatGPT と表生成技術を用いて, 株価記事に対する分析を行っている. 本研究は, この表生成の手法を ChatGPT に置き換え, 既存の手法との精度を比較する.
本研究の主な主張は以下の 2 点である. 一つ目に,

図1

入力例 (力士)

表1

出力例 (力士)

身長
文章 1
文章 2

文章 3

身長 183cm,体重 191kg
身長 175cm,体重 130kg,
血液型は O 型
現役時代の体格は身長179cm, 体重 149kg,
血液型は AB 型

最高位
最高位は東十両 12 枚目
最高位は西幕下 2 枚目

最高位は東幕下 4 枚目単語ベクトルを用いた手法

2

村田らの研究では, 複数の文章から重要情報を抽出し表の形で整理して表示していた. 図 2 と図 3 にあるように, 文の単語のベクトルの平均を文のベクトルとして, クラスタリングし, 各クラスタの中から重要項目となりうるクラスタを選別し表の形で整理していた.
1. 事前準備として Wikipedia から FastText[7] を用いて単語ベクトルのデータベースを作成する.
2. 複数文書を句点区切りの文に分割する.
3. 文を形態素解析により名詞のみを抽出する.
4. 名詞の単語ベクトルを平均し文ベクトルを求める.
5. 文ベクトルを階層化クラスタリングでクラスタリングする.

― 2966 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表2

ラベル生成のプロンプト

表 3 各文へのラベル付け

対象の記事を示す＜厳選されたラベル＞でラベル付けを行う

入力

入力

＜記事＞

＜厳選されたラベル＞ を用いて以下の文のラベリングをお願いします.

すべての文にラベル付けできる十分な数の“‘xml

ラベルを生成＜ bun labels=”?”＞ 文 1 ＜/bun ＞

入力

表を作成する際のラベルを 30 個程度＜ bun labels=”?”＞ 文 2 ＜/bun ＞

生成出力してください＜ bun labels=”?”＞ 文 3 ＜/bun ＞＜出力されたラベル 30 個＞

“‘

出力

出力

“‘xml

一度厳選を行い, ラベルの数を調整＜ bun labels=”ラベル a”＞ 文 1 ＜/bun ＞

入力

出力されたラベルの厳選をお願いします.

＜ bun labels=”ラベル b”＞ 文 2 ＜/bun ＞

出力＜厳選されたラベル＞＜ bun labels=””＞ 文 3 ＜/bun ＞“‘

6. クラスタリング結果からセルが最も多く埋まっているクラスタ数のクラスタを採用する.

ラベル付けされなかった文を

7. クラスタリングの結果を表にまとめる.

使用していないラベルでラベル付け
入力＜出力されたラベル 30 個＞ を用いて以下の文のラベリングをお願いします.
“‘xml＜ bun labels=”?”＞ 文 3 ＜/bun ＞

図2“‘

単語ベクトルを用いた手法の手法

出力

“‘xml
＜ bun labels=”ラベル c”＞ 文 3 ＜/bun ＞“‘

されたラベルを用いて, 分割した文にラベル付けを指示している. このとき, どのラベルとも関連がなくラベル付けされない文が出現することがあり, これらの文は, 使用されなかったラベルを用いて再度ラベル付けを行っている.
図 3 単語ベクトルを用いた手法 文ベクトルの作成

34

実験

4.1

実験方法

提案手法
本研究では, ChatGPT を用いて表生成を行い, 手順としては表に用いるラベルを生成と, そのラベルで,ChatGPT の対話システムを用いて, 表生成を行う.
使用するモデルは GPT4 である. 実験に用いるデー各文へラベル付けをしている.
表 2 はラベルを生成させるプロンプトで, すべて

タは web から収集した日本語記事を種類ごとにまとの文にラベル付けできる十分な数のラベルの生成を指示している. しかし, ラベル数が多い場合, 各文でめ記事群とし, 15 個の記事群を用いる. また各記事群に約 20 記事が含まれ, 一つの記事群から表を一つつけられるラベルにまとまりがなくなる. そこで, そ作成する. これら各記事の長さはおおよそ, 370 字, 8の中から必要度が高いと考えられるラベルを適宜,文程度となっている.

厳選しラベル付けで使用できるように出力させてこれらの記事の全ての文には, 正解として表のどいる.
表 3 は文にラベル付けをするプロンプトで, 厳選

こに割り当てられるか, 情報をラベルとして持ち, このラベルはあらかじめ人手で決めている. 表 4 は実― 2967 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

際に使用する記事中の文と, そのラベルである.
Recall =表 4 エアコン記事の文とラベル

発売日
11 月 1 日より発売する。

| 𝐴 ∩ 𝑅|| 𝐴|

(1)

| 𝐴 ∩ 𝑅|
|𝑅|

(2)

Precision =3 月下旬より発売する。
10 月下旬より順次発売する。

F=

掃除・手入れさらに、吹き出し口周辺のルーバーやダスト

前面パネルにはホコリが付きにくい帯電防止

本研究では, 単語ベクトルを用いた手法と提案手法において, 15 個の表を作成しそれぞれ評価した.
表 5 に, 出力された各表の結果の平均を示す. 先行研加工を施し、清潔性を向上させている。

究と ChatGPT を利用した手法の F 値が 0.61 と 0.64であり, 同程度の性能であった.

20 畳相当（4.0kW 以上/200V タイプの場合）の表 5 実験結果に対する評価高い集じん能力を実現した。

4.2(3)

実験結果

5ボックスなどは簡単に取り外し、水洗いが可能。

211
Recall + Precision

評価方法

単語ベクトルを用いた手法

提案手法

適合率

0.61

0.55

再現率

0.75

0.81

F値

0.610.64

実験によって得られた表を, 正解と定義した表と 比 較 し 評 価 す る. こ の 評 価 に 基 づ い て, 再 現 率(Recall), 適合率 (Precision), F 値を算出することで情5.1

ラベル生成の例

報抽出の精度を求める. 生成された表の精度を以下実験で作成されたラベルの例を表 6 に示す. 正解の手順で算出する. この実験では表で使用されるラの表でのラベルと出力されたラベルでは「価格」,ベルが固定されていないため, 正解と出力された表「発売日」, 「省エネ・エネルギー効率/消費電力」なの列同士をマッチングする必要がある. ラベル名でのマッチングは表現の揺れを考慮すると, 正常に判ど共通の事柄が出力されている一方, 「掃除・手入れ」, 「AI」, 「掃除・手入れ」など共通していない定することができないため, 含まれている文が最もラベルが含まれている.

近い列同士をマッチングさせている.

表6

1. 図 4 において, 正解のデータの 列 1 に注目する.
2. 列 1 と 出力の列 a〜x のそれぞれを比較し, 式 3をもとに 𝐹 値を求める. ただし, A を正解の列に含まれる文の集合, R を結果の列に含まれる文の集合とし, これらの絶対値は集合に含まれる要素数とする.
3. 出力の列 a〜x で 𝐹 値が最も高いものを列 1 とマッチングし, 評価する.
4. 上記を正解のデータの他の列についても行う.

生成されたラベルの例 (エアコン記事)

正解の表でのラベル出力されたラベル価格

価格

発売日

発売日

省エネ
ラインアップエネルギー効率/消費電力
モデル名

カラー

色/デザイン

冷暖房性能

冷房能力（kW）

気流の制御

暖房能力（kW）

サイズ

適用畳数（冷房時）

掃除・手入れ適用畳数（暖房時）

除菌・清浄

空気清浄機能

除湿

主な特徴

デザイン
AI
人物検知
メーカー発表他の機器との連携

図4

評価方法― 2968 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ラベリング結果の例

5.2

おわりに

7

実験で得られたラベリングの結果を表 7 に示す.

近年, Web 上のテキストデータの要約や, 情報抽出

ラベル「発売日」に関しては表の例では正解と一に関する様々な手法が提案されている. その一環と致しているが, 出力のラベル「色/デザイン」で判定して, 本研究では関連した文章から項目ごとに情報された文が正解の表では「掃除・手入れ」「カラー」を整理することで表の作成を行った. 一般的に要約「デザイン」の 3 つのラベルで分類されている. このは, 長文から情報の取捨選択をし, それ以外の情報をように, 文へのラベル付けは, 用いるラベルに依存す捨てることになる. しかし, 捨てられた情報の中にもることがわかる.

場合によっては必要な情報となる場合もある. そこ

表7で, 情報の取捨選択ではなく項目ごとに整理するこ

ラベリングされた文の例とで, もとの文章の情報量を維持しつつ, 読み手は正解 / 出力

発売日

発売日

11 月 1 日より発売する。

発売日

3 月下旬より発売する。

発売日

10 月下旬より順次発売する。

正解 / 出力

色/デザイン

掃除・手入れさらに、吹き出し口周辺のルーバーやダスト項目に注目することで素早く必要な情報を取得できる.
本研究は, 村田ら [1] の単語ベクトルとクラスタリ

ボックスなどは簡単に取り外し、水洗いが可能。
カラー

ボディカラーは、パウダースノウとングを用いた表生成と, ChatGPT を利用した表生成の精度を比較した. 実験では, 人手で作成した正解として定義した表との比較評価において, 村田らの先ボルドーレッドの 2 色を用意した。

行研究と ChatGPT を利用した手法の F 値が 0.61 とデザイン風の流れをイメージして曲面を基調とした0.64 であり, 同程度の性能であった. また, 正解のラ「ウェーブデザイン」の前面パネルを採用。

ベル (列の項目名) を用いて表を作成し場合の精度はF 値で 0.78 となった.

6考察

6.1

生成されるラベルへの依存

参考文献

5 節では, GPT4 を用いて, ラベル生成と文へのラベル付けにより, 表生成をした. 実験では表 7 のように, 文へのラベル付けは, 用いるラベルに依存することがわかる. 同一の文書であっても, 用いるラベルにより多様な表が生成できることにより, 一概に正解を定義することは困難で, 表生成の性能測定は難しいものと考えられる.

ラベル付けの性能6.2

実験で, F 値は正解とした表と出力された表のラベルの差に依存することを確かめた. 文の分類精度のみに着目し, ラベル付けの精度のみを抽出するため, 正解のラベルを用いて, GPT4 でラベル付けのみを行った. このとき評価は 表 8 の「ラベル付けのみ」である. このことより, ラベル生成の問題が解決で[1] Masaki Murata, Kensuke Okazaki, and Qing Ma. Improved
method for organizing information contained in multiple
documents into a table. 自然言語処理, Vol. 28, No. 3, pp.
802–823, 2021.
[2] Chia-Hui Chang, kayed Mohammed, Girgis Moheb, Ramzy,and F. Shaalan Khaled. A survey of web information extraction systems. IEEE Transactions on Knowledge andData Engineering, Vol. 18, p. 1411–1428, 2006.
[3] Ali Farman, Kwak Daehan, Khan Pervez, Shaker Hassan A.
Ei-Sappagh, Islam S. M.Riazul, Park Daeyoung, and Kwak
Kyung, Sup. Merged ontology and svm-based information
extraction and recommendation system for social robots.
IEEE Access, Vol. 5, No. 7962152, 2017.
[4] Akano Hokuto, Murata Masaki, and Ma Qing. Detectionof inadequate descriptions in wikipedia using information
extraction based on word clustering. IFSA-SCIS 2017, pp.
1–6, 2017.
[5] Masaki Murata. Content analysis of items in newspaper
data using table arrangement technology and chatgpt forstock price prediction. In Proceedings of The 22nd International Conference on Information & Knowledge
Engineering on CSCE 2023, pp. 1–8, 2023.

きた場合の精度は F 値で 0.78 程度出せると考えられる.
表8
単語ベクトル

ラベル付け性能の評価
ラベル生成+ラベル付け ラベル付けのみ

適合率
再現率

0.61
0.75

0.55
0.81

0.70
0.88

F値

0.61

0.64

0.78

[6] Masaki Murata. Leveraging chatgpt and table arrangement
techniques in advanced newspaper content analysis for stockinsights. Big Data, Data Mining and Data Science: Algorithms, Infrastructures, Management and Security,2024. (submitted).
[7] Piotr Bojanowski, Edouard Grave, Armand Joulin, andTomas Mikolov. Enriching word vectors with subword in-― 2969 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

formation. arXiv preprint arXiv:1607.04606, 2016.

― 2970 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).