言語処理学会 第30回年次大会 発表論文集（2024年3月）

大規模言語モデルを用いたマイソク PDF からの情報抽出
本郷 槙一 1,3

叶内 晨 2,3
齊藤 佑太郎 3
岩成 達哉 3
1 京都大学大学院 情報学研究科
2 NLPeanuts Inc.
3 株式会社 estie
hongo@nlp.ist.i.kyoto-u.ac.jp
shin.kanouchi@nlpeanuts.com{yutaro.saito, tatsuya.iwanari}@estie.co.jp

概要
本研究では，不動産業界で物件情報の流通に使用される PDF データからの効率的な情報抽出を目指す．実験では，PDF を入力として，あらかじめ指定したカテゴリに対してどの程度情報抽出できるか検証した．実験の結果，OCR による出力後に大規模言語モデルを用いて必要な情報を抽出する 2 ステップの手法の精度が最も高く，Accuracy 0.92 を達成した．また，データ入力業務において本研究の出力結果を活用することで，65%の業務時間削減が可能なことを確認した．

1

はじめに

不動産業界では情報のデジタル化に伴い，情報の収集や管理の効率化が進められている．一方，多くの物件情報はマイソクと呼ばれる PDF フォーマット（図 1 左側．以下「マイソク PDF」と呼ぶ）で提供され，物件情報が 1 枚の PDF に取りまとめられている．しかし，PDF からの情報抽出が依然として難しい問題や，マイソク PDF の記載方法が各社によって異なる問題により，これらの情報を収集・管理する業務が業界で大きな課題となっている．
そこで本研究では，マイソク PDF から必要な情報を抽出する新しいタスクを定義し，検証する．提案手法として，近年急成長を続ける光学文字認識技術（OCR）と大規模言語モデル（LLM）を活用する．既存の商用 OCR サービスでは，レイアウトが複雑な PDF に対しては出力が崩れてしまい，情報を正確に抽出することは依然として難しい．そこで，
OCR の出力結果を LLM への入力とし，プロンプトにより出力項目とフォーマットを指定することで，必要な情報の抽出を目指す．また，OCR を利用せずに LLM のみで画像から必要な情報を直接抽出する
End-to-End な手法もあわせて検証する．

実験では，不動産業界で実際に使用されているマ
イソク PDF を評価データとし，あらかじめ定義した11 カテゴリに対しての情報抽出の精度を評価した．
実験の結果，OCR 処理後に GPT-4[1] を用いて情報を抽出する 2 ステップの手法の精度が最大となり，Accuracy 0.92 を達成した．また，本研究の出力結果を活用することで，どの程度データの入力業務を効率化できるか計測した．計測の結果，提案手法による抽出結果を事前入力として利用することにより，手作業で情報を入力する場合に比べて約 65%の時間削減が可能なことを確認した．

2

先行研究

近年，不動産業界におけるデジタル化が進み，自然言語処理や機械学習，深層学習の活用が進展している．不動産取引のための自動価格査定 [2, 3, 4, 5]
や，利用者に対する最適な物件の提案 [6, 7]，物件情報の管理や運用における効率化 [8, 9] の研究などが進められている．
GPT-4[1] をはじめとした大規模言語モデル（LLM）は，テキストデータの理解と生成において顕著な能力を示しており，情報抽出や情報の構造化においても有用である [10]．これらのモデルは不動産領域のような専門的な情報に対しても活用可能であると考えられる．
OCR 技術も深層学習の進歩により精度が大幅に向上しており [11]，商用サービスの開発も盛んである [12]．PDF や画像から情報抽出する研究も注目を集め，OCR 処理後に OCR 結果に対して LLM を活用して情報抽出をする研究 [13, 14] や，End-to-Endで画像から情報抽出する研究 [15]，画像情報を構造化するベンチマーク [16] などがある．本研究では，OCR 後に LLM を利用する 2 ステップの手法と，LLM のみで画像から直接情報抽出する End-to-Endな手法の両手法を検証する．

― 2886 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 1 マイソク PDF からの情報抽出の流れ
カテゴリ名
物件名
住所
フロア面積 (坪)
部屋番号
契約開始日
賃料総額 (円)
共益費総額 (円)
礼金 (ヶ月)敷金 (ヶ月)
契約期間 (年)

3型
文字列
文字列
整数
小数
文字列
文字列
整数
整数
小数
小数
小数

表 1 抽出するカテゴリ情報
概要
Null 比率
ビルの名前．ただしフロアや部屋番号は除く（例: Estie ビル）
0%ビルの所在地（例: 東京都新宿区西新宿 1-X）
0%
募集物件の位置する階．ただし地下はマイナスで表現 (例: B3F → -3)0%
募集物件の坪面積．ただし 𝑚 2 のみの場合，単位の変換が必要．
（例: 25.0）
3%
募集物件の部屋番号．ただしフロア全体を借りる場合は Null（例: 301A）
67 %契約を始められる日．別名，引渡時期/入居時期（例: 即日, 相談）
6%
月ごとに支払う賃料の総額（例: 400000）
2%
月ごとに支払う共益費の総額（例: 40000）
3%
礼金は賃料の何ヶ月分か．ただし記載がない場合は 0 とする（例: 1）0%
敷金は賃料の何ヶ月分か．ただし記載がない場合は 0 とする（例: 3）0%
定期借家契約の場合の契約年数（例: 2）5%4. 例外対応: 例えば「301」とあればフロアは「3タスク概要階」と予想するが，地下 3 階が正解の場合もあ

不動産の物件情報はさまざまな形式で流通していり，PDF 全体を考慮して判断する必要がある．

るが，そのうちの一つとして図 1 左側に示すような本研究ではこれらの課題を解決するため，マイソ「マイソク PDF」と呼ばれるフォーマットがある．

ク PDF から情報を抽出する新たなタスクを定義す

このフォーマットでは，物件の概要・間取り図・契る．タスクの流れを図 1 に示す．PDF を入力とし，約情報などが 1 枚に取りまとめられている．物件の決められたカテゴリに対する情報抽出を行う．ま貸主が物件を紹介する際に利用する資料で，不動産た，抽出する情報はその後データベースに登録され業者間で欠かすことのできない情報となっている．

ることを考慮して，型を指定した上で抽出する．

しかし，マイソク PDF は各不動産会社が作成する各カテゴリについての説明を表 1 に示す．カテゴ

独自のフォーマットで提供され，これらの情報を効

リは不動産取引において重要視される 11 種類に限率的に集約し蓄積するには，多大な労力を要する．

定した．また，マイソク PDF には特定のカテゴリ情以下の課題が，処理の自動化を困難にしている．

報が含まれない場合もがあるため，その比率を Null

1. カテゴリ情報の定義のずれ: PDF の書き方に正式な決まりがないため，個社ごとに定義が異な比率として示す．部屋番号は記載されない場合も多く，Null 比率が 67%となっている．
検証に用いるデータは実際の賃貸オフィス用のり，情報の統合が困難である．
2. カテゴリ名の省略: 例えば，図 1 で「Estie ビル」

マイソク PDF とし，200 件に対して正解情報をアノテーションした．利用する PDF はランダムに抽出が物件名であることは明示されていない．
3. カテゴリ情報の混在: 例えば 「Estie ビル 301A」

するが，1 枚のマイソク PDF に複数の物件情報が記と書いてある場合，物件名が「Estie ビル」，部載されているものや，物件が重複しているものなど屋番号が「301A」と推測する必要がある．

は事前に目視で確認し除外した．

― 2887 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

モデル名
OCR + GPT-4
OCR + GPT-3.5-turbo
GPT-4V
Gemini Pro Vision

物件名0.910.87
0.230.26

表 2 マイソク PDF に対する情報抽出精度 (Acc)
部屋契約
住所 フロア 面積 番号 開始日 賃料 共益費
0.99
0.97 0.85 0.95
0.88 0.97
0.95
0.98
0.92 0.81 0.83
0.69 0.91
0.80
0.26
0.82 0.75 0.27
0.21 0.72
0.59
0.17
0.68 0.36 0.44
0.35 0.73
0.54

敷金
0.92
0.69
0.24
0.15

契約
期間
0.99
0.96
0.74
0.72

マクロ
平均
0.936
0.852
0.469
0.449

した．評価方法は，カテゴリ毎の完全一致による提案手法

4

礼金
0.92
0.90
0.33
0.54

Accuracy とした．ただし文字列型のカテゴリに関し

本研究では，OCR 結果に対して LLM を用いる 2ステップの手法と，LLM のみで画像から直接情報ては表記揺れを吸収する処理として，空白・改行の除去と NFKC 正規化などを行った．

抽出する End-to-End な手法の 2 つを提案する．

LLM のパラメータとして，𝑡𝑒𝑚 𝑝𝑒𝑟𝑎𝑡𝑢𝑟𝑒 = 0 に固OCR+LLM による 2 ステップの抽出定した．また，一部モデルにおいて JSON フォー
マットが崩れる問題などにより処理に失敗するケー4.1

マイソク PDF に対して OCR を行いテキスト情報スがあった．そのため，エラーが出た場合は機械的を取得後，さらに LLM を用いて必要なカテゴリ情に 5 回まで処理を再実行し，それでも出力に失敗す報を抽出する 2 ステップの処理を提案する．OCRる場合は抽出に失敗したものとした．には Azure AI Document Intelligence1）を利用する．
LLM には OpenAI の GPT-3.5-turbo（1106）と GPT-4

5.1

実験結果

（0613） [1] を 用 い る．OCR に よ る 出 力 結 果 と プ

マイソク PDF に対する各カテゴリの抽出精度を

ロ ン プ ト を LLM の 入 力 と し，OpenAI の Function

表 2 に示す．OCR+GPT-4 の精度が最大となり，マcalling 機能を利用することで出力形式を指定する．

クロ平均 Accuracy は 0.936 となった．カテゴリ毎のFunction calling は OpenAI API の機能であり，JSONスコアを見ると，住所や契約期間などの正解となりSchema を推論時のパラメータとして付与することうる候補が少ない項目の精度が最も高くなっていで，指定した形式通りの JSON を出力することがでる．一方で，面積や契約開始日などは 0.90 を下回る

きる． プロンプトには，ドメインが不動産であるこ結果となった．と，入力テキストは PDF データを OCR した結果であること，Function calling に指定された Key 情報をOCR+LLM vs End-to-End OCR+LLM の 2 ステップの手法に比べ，End-to-End の手法の精度は著しく抽出することなどを指示した．

下回った．特に物件名や住所など，日本語の抽出を4.2必要とするカテゴリにおける差が顕著となった．2

LLM による End-to-End な抽出

ステップの手法では正解したが End-to-End の手法

End-to-End の手法では，OCR を介さずに，LLMで間違えてた事例を確認すると，例えば物件名ではを用いて画像情報から直接カテゴリ情報を抽出す「カメヤビル」を間違えて「カメヒビル」と抽出しる．LLM には，GPT-4 Turbo with Vision（GPT-4V）とていたり，住所では「渋谷区」を間違えて「四谷区」

Gemini Pro Vision [17] を用いた．ただし，モデルへと抽出しており，日本語の認識精度に課題があるこの入力のため，PDF データは一度 PNG に変換した．とを確認した．

プロンプトの一部として出力用の JSON Schema の情報を与えることで，出力を制御した．

5

GPT-4 vs GPT-3.5-turbo

OCR+LLM の 2 ス テ ップの手法において，GPT-4 を用いた手法が GPT-3.5turbo を用いた手法に比べて 8.4 ポイント高い結果と実験

マイソク PDF を入力とし，あらかじめ指定した11 個のカテゴリに対してどの程度抽出できるか実なった．敷金や共益費について大幅な精度の低下が見られたためミス事例を個別に目視で確認した結果，GPT-3.5-turbo では関連性の高いカテゴリがある験を行った．100 件の検証用データでプロンプト

場合に値の入れ替えや格納ミスが多いことを確認しチューニングを行い，100 件のテストデータで評価た．例えば「敷金と礼金」や「共益費と賃料」のペ1） https://azure.microsoft.com/ja-jp/products/
ai-services/ai-document-intelligence

アは情報が似ており，それぞれの値を入れ替えてしまったり，片方の値に引っ張られるケースが散見さ― 2888 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表3編集
距離1.00.80.6

編集距離ごとの抽出精度 (Acc)
部屋
契約
マクロ
物件名 住所 番号 開始日
平均0.91 0.99 0.95
0.88
0.933
0.93 0.99 0.95
0.89
0.940
0.95 0.99 0.95
0.900.948

表 4 抽出に失敗した事例の分類
エラーの種類件数 (割合)抽出位置に関するミス21 (30%)
抽出後に推論が必要
20 (29%)抽出漏れ
12 (17%)
勝手な補完
7 (10%)
その他
10 (14%)

れた．GPT-4 ではこれらの誤りが少なく，モデル間や，前後にノイズを含んでしまう事例が該当する．の処理能力の差が顕著に表れていた．

次に誤りの多い抽出後に推論が必要なケースは，前

表 3 に，文字列型のカテゴ述の敷金や面積などにおいて情報の変換が必要な事

リに関して編集距離が 0.6，0.8，1.0 の閾値以上の場例である．残りは正解が空にもかかわらず勝手に値合は正解とした際の OCR+GPT-4 の精度を示す．編

を補完するケースと，予測結果が空である抽出漏れ

集距離の閾値を下げることで表記揺れなどによる誤りが減ったため，各カテゴリで Accuracy が改善し，の誤りである．その他は，PDF データの欠陥により編集距離と抽出精度

特に物件名に関して，4 ポイント上昇した．編集距離の閾値を下げたことで正解となった事例を確認す判別がつかないケースなどがある．

業務効率化の測定

6

ると，正解が「2023 年 11 月上旬」に対して抽出結実際にデータ入力業務を行っているオペレータに果が「西暦 2023 年 11 月上旬」のように，意味的に協力を依頼し，どの程度業務を効率化できるか検証同義な事例を正解に含めることができるようになった．一方で，情報が 2 行に分かれているにもかかわした．一定時間データの入力作業をしていただき，
1 時間あたり何件のマイソク PDF を処理できたかをらず 1 行目しか抽出できていない事例や，前後にノ計測した．比較対象は以下とする．

イズを含んでしまっている事例も誤って正解として

1. PDF 情報の事前入力なしに手入力した場合しまうケースも確認された．

2. OCR+GPT4 による 2 ステップの手法による出力推論が必要なケースへの対応

ほとんどの場合は結果を事前入力として利用した場合

PDF の情報をそのまま抽出することで正解となるが，抽出後に推論が必要なケースがある．例えば敷金において，一般的には賃料の 𝑛 ヶ月分と表現されるが，円で表記されることがある．賃料が 98,000 円の物件で敷金が 196,000 円と記載されているとき，正解は 196, 000/98, 000 = 2 という計算に基づいた月単位の値である．GPT-3.5 モデルではこの種の推論に基づく応答が難しい一方で，GPT-4 モデルは正解している事例を複数確認した．この事例は，GPT-4が単なるテキストからの情報抽出に加えて，推論を行った結果を出力できることを示している．
同様に，面積 (坪) を抽出する際にも推論が必要となることがあった．PDF に 𝑚 2 単位の記載しかない
場合，その値を 3.3 で割って坪単位に変換した値が正解となる．こちらも GPT4 モデルでは数件正解していたが，敷金の場合と比べると計算結果の誤りや𝑚 2 単位のまま記載する失敗が目立った．
抽出結果の誤り事例の分類

OCR+GPT-4 の手法による出力のうち，テストデータに対する誤り事例
全 70 件を分類した結果を表 4 に示す．最も多い誤りは抽出位置に関するもので，OCR によってテキストの位置情報を失ったために生じた値の入れ違い計測の結果，（1）の事前入力がない場合が平均 20件/ h だったのに対して，（2）の提案手法による事前入力ありの場合は平均 57 件/ h となり，約 65%の時間削減が可能なことを確認した．(1) の場合は，すべての情報をタイピングする必要があるが，(2) の場合は事前入力された情報を確認し，修正するのみであるため，大幅に速度が向上した．オペレーターに対するヒアリングの結果, タイピングの負担が大幅に軽減されてより情報の内容に集中できたという意見が得られた．特に住所については文字数が多く正解率の高いカテゴリであるため，好評であった．

おわりに

7

本研究では，不動産業界における物件情報の情報抽出に関する新しいタスクを提案し，その有効性を実証した．OCR と GPT-4 を組み合わせた方法は，マイソク PDF の処理において高い精度を達成し，実業務における効率化を実現した．今後は，さらなる精度向上と自動化の範囲拡大を目指したい．また，この技術は他の業界における類似の課題にも応用可能であり，多方面への展開が期待される．

― 2889 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献

Greaves, and Adrian Lam. A survey of deep learn-[1]

arXiv:2011.13534, 2020.

[2]

[3]
[4]

ing approaches for ocr and document understanding.

Josh Achiam, Steven Adler, Sandhini Agarwal,
Lama Ahmad, Ilge Akkaya, Florencia Leoni Ale-[12] Mathew Salvaris, Danielle Dean, and Wee Hyongman, Diogo Almeida, Janko Altenschmidt, Sam Alt-Tok. Deep learning with azure. Building and De-man, Shyamal Anadkat, et al. GPT-4 technical re-ploying Artiﬁcial Intelligence Solutions on Mi-port. arXiv:2303.08774, 2023.

crosoft AI Platform, Apress, 2018.

Gordon S. Linoﬀ and Michael J. A. Berry. Data min-[13] Vincent Perot, Kai Kang, Florian Luisier, Guo-ing techniques: For marketing, sales, and customer

long Su, Xiaoyu Sun, Ramya Sree Boppana, Zilong

relationship management. Wiley Publishing, 2011.

Wang, Jiaqi Mu, Hao Zhang, and Nan Hua. Lmdx:

清水千弘. 市場分析のための統計学入門. 朝倉

Language model-based document information ex-書店, 2016.

traction and localization. arXiv:2309.10952, 2023.

Hamza Usman, Mohd Lizam, and Muhammad Us-[14] 佐藤栄作, 木村泰知. Topix100 の有価証券報告man Adekunle. Property price modelling, market
segmentation and submarket classiﬁcations: A re-

書の表を対象とした chatgpt による pdf からjson への自動変換の試み. 第 22 回情報科学技view. Real Estate Management and Valuation,術フォーラム（FIT2023）, 9 2023.

Vol. 28, No. 3, pp. 24–35, 2020.
[5]

[6]

[15] Geewook Kim, Teakgyu Hong, Moonbin Yim,Vilius Kontrimas and Antanas Verikas. The mass

JeongYeon Nam, Jinyoung Park, Jinyeong Yim,

appraisal of the real estate by computational intelli-Wonseok Hwang, Sangdoo Yun, Dongyoon Han,gence. Applied Soft Computing, Vol. 11, No. 1,and Seunghyun Park.

Ocr-free document unIn European Confer-pp. 443–448, 2011.

derstanding transformer.

大知正直, 関喜文, 川上登福, 小野木大二, 野

ence on Computer Vision, pp. 498–517. Springer,村 眞 平, 吉 永 恵 一, 松 尾 豊. 推 薦 そ の も の が2022.

ユーザに与える影響を考慮した情報推薦. 人

[7]

[8]

[16] Zilong Wang, Yichao Zhou, Wei Wei, Chen-Yu

工知能学会全国大会論文集, Vol. JSAI2014, pp.

Lee, and Sandeep Tata.

2M32–2M32, 2014.

for visually-rich document understanding. In ACM

Alireza Gharahighehi, Konstantinos Pliakos, andSIGKDD Conference on Knowledge Discovery

Celine Vens. Recommender systems in the real es-and Data Mining, pp. 5184–5193, 2023.

VRDU: A benchmark

tate market―a survey. Applied Sciences, Vol. 11,
No. 16, 2021.

[17] Gemini Team, Rohan Anil, Sebastian Borgeaud,
Yonghui Wu, Jean-Baptiste Alayrac, Jiahui Yu,

Danielle Sanderson and Dustin Read. Recognizing

Radu Soricut, Johan Schalkwyk, Andrew M Dai,and realizing the value of customer-focused property

Anja Hauth, et al. Gemini: a family of highly capa-management. Property Management, Vol. ahead-ble multimodal models. arXiv:2312.11805, 2023.

of-print, , 07 2020.
[9]Taran Kaur and Priya Solomon. A study on automated property management in commercial realestate: a case of india. Property Management,Vol. 40, pp. 247–264, 09 2021.

[10] Alexander Dunn, John Dagdelen, Nicholas Walker,
Sanghoon Lee, Andrew S. Rosen, Gerbrand Ceder,
Kristin Persson, and Anubhav Jain.

Struc-tured information extraction from complex scientiﬁc text with ﬁne-tuned large language models.
arXiv:2212.05238, 2022.
[11] Nishant Subramani, Alexandre Matton, Malcolm― 2890 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).