法規・規格文書PDFからの階層ツリー型データセット構築

法規・規格文書とは，行政機関や標準化団体が定める規則・要件・試験方法などを記述した文書である．産業分野では適合性評価や設計要件の参照に用いられる．章・節・条・項といった階層構造を持ち，さらに「第○条」「（1）」「ア」「（ア）」といった複数系列の箇条書きが多段にネストする（図1）．こうした文書を検索拡張生成（RAG）等のアプリケーションで活用する場合，固定長チャンクによる単純な分割では，上位の文脈情報（所属する章・節）や項目間の参照関係が失われやすい．そのため，親子関係や兄弟順序を保持したツリー型データセットを自動構築できることが望ましい．しかし，実運用においてこれらの文書はPDF形式で配布されることが多く，以下の課題が伴う．•レイアウト由来の分断：ページ境界により，論理的に連続する文が物理的に分断される．•図表由来のノイズ：図表内のテキストや罫線文字が本文と混在して抽出される．•テキストレイヤの品質問題：PDFのテキストレイヤに文字欠落や誤認識が存在する．•番号体系の多様性：日本語法規文書特有の番号∗ORCID:0000-0001-5030-625X†ORCID:0000-0003-1987-5336系列（イロハ順など）は，本文中の語彙（カタカナ語など）との衝突により誤検出しやすい．本研究では，これらの課題を考慮した，PDFから階層ツリー型データセットを自動構築するパイプラインを提案する．貢献は以下の通りである．1.pdfplumberによる座標抽出から階層ツリー生成までを一貫処理するパイプラインを提案する．