P-BEE:プレースホルダを用いた送信者情報抽出用ビジネスメール生成フレームワークの初期検討

電子メールは多くの人々が利用する代表的なコミュニケーションツールの一つである．特にビジネスシーンでは，業務連絡や合意形成等の重要なプロセスは依然としてメールを中心に行われている[1,2,3,4]．NLP技術の発展により，これらのプロセスの自動化を目的としたタスクがいくつか研究されている[5,6,7]．その中でも送信者情報抽出は送信者の属性(氏名や所属等)を抽出するタスクであり，送受信履歴や企業間関係の解析などに貢献するため，その性能改善は重要な課題である[8,9,10]．送信者情報抽出タスクにおいて，既存の公開されているメールデータセットでは2つの限界が存在する．1つ目は代表的なデータセットの多くが英語かつ旧来のものであり，日本語や現代のビジネスシーンの文脈に対応できていない点である．例えば，EnronEmailCorpus[11]やAvocadoEmailCollection1）は2015年以前に公開された英語のみのデータセットであり，現代の社会情勢などを網羅できていな1）https://catalog.ldc.upenn.edu/LDC2015T03い．2つ目はこれらのデータセットがプライバシー保護を目的とした過度な匿名化が施されている点である．実際に，属性情報が汎用的な文字列へ置換・削除されており，現実的な出現パターンが損なわれている2）．結果として，実用的な属性情報を保持しつつ現代のビジネスシーンに即した日本語のメールデータを十分に確保することは困難である．本研究では，LLMを用いて擬似的な日本語ビジネスメールを生成するフレームワークPlaceholder-basedBusiness-EmailExemplar(P-BEE)を提案する(Fig.1)．LLMは近年のデータを含む膨大なコーパスを用いた事前学習をしており，現代の社会情勢やビジネス表現を高度に再現可能である．また，P-BEEはプロンプトのプレースホルダを介して任意の属性情報を動的に注入する機構を持つため，安全な属性情報を自在に組み込んだメール生成が可能となり，匿名化に伴う情報の欠落やプライバシー上の制約を回避できる．我々はP-BEEを用いて5,000件のメールデータを生成し，語彙や文脈の類似度・多様性の観点から品質を定量評価した．さらに，生成したメールデータと社内で分析可能なメールデータ(実メール)を使用して，抽出性能の比較を検証した．その結果，生成したメールでは実メールほどの抽出性能を引き出すことはできず，改善の余地があることが確認できた．2）https://www.cs.cmu.edu/~enron/Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).SimilarityDiversityLLMJaccard↑BERTScore↑Distinct-1↑Distinct-2↑BERTScore↓GPT-4.10.14010.81490.96720.69320.8432Qwen330B0.13980.81530.96980.72770.8415Gemma327B0.13360.81630.96760.74420.8422Sarashina2.23B0.16370.80640.97810.83050.83493実験3.1品質評価P-BEEにより生成された疑似メールデータの品質を定量的に評価する．具体的には，社内で分析可能なメールデータ(実メール)との類似度(Similarity)および生成データ内の多様性(Diversity)の観点から，複数のLLMによる生成品質の差異を検証する．3.1.1評価用データセットとモデル設定本評価では，実メール1,000件と，P-BEEが生成したメール5,000件から無作為に抽出した1,000件を比較対象とする．実メールは社内で分析可能なメールデータより選定した．また，生成モデルにはクローズモデルであるGPT-4.1および3つのオープンモデルであるQwen3[12]30B3）,Gemma3[13]27B4）,Sarashina2.25）3B6）の計4つのLLMを用いてモデル間のメールの品質差を検証する．全モデルにおいて，多様性と再現性のバランスを考慮し，パラメータはtemperatureを1.0,top_pを0.9に固定した．3.1.2評価方法生成メールの品質を，実データへの忠実性とデータセット内のバリエーションの両面から評価するため，SimilarityおよびDiversityの2項目を定義し，それぞれ2つの指標を用いて定量的に評価する．Similarity実メールと生成メールの類似度を検証し，P-BEEの実メールに対する再現性を測るために以下の2つの指標を用いる．1つ目はJaccard係数による語彙の共通性の評価である．これは実メール群と生成メール群から抽出されたユニークな単語(1-gram)の集合を対象とし，両集合間での語彙の一3）Qwen/Qwen3-30B-A3B-Instruct-25074）google/gemma-3-27b-it5）https://www.sbintuitions.co.jp/blog/entry/2025/03/07/0931436）sbintuitions/sarashina2.2-3b-instruct-v0.1致率を計算する．2つ目はBERTScore[14]を用いた意味的な類似度の評価である．これは事前学習済みモデル7）の分散表現間のコサイン類似度に基づき，文脈的な意味の類似性を評価する．本研究では，実メールと生成メールの全ペアにおけるF1スコアの平均値を用いる．Diversity生成データが特定のパターンに偏らず，多様な表現を保持しているかを検証するため以下の2つの指標を用いる．1つ目はDistinct-n[15]による語彙の多様性評価である．生成メールに含まれる全𝑛-gram(𝑛∈{1,2})に対するユニークな𝑛-gram数の割合を算出する．2つ目はBERTScore[14]を用いた意味的な多様性の評価である．本指標では，評価用生成メールに対する全ペア(1000𝐶2)のBERTScoreを計算し，その平均値を算出する．Distinct-nはスコアが高く，BERTScoreのスコアは低いほど生成メールの語彙や文脈が重複せず，広範な表現を獲得できていることを示す．3.2送信者情報抽出性能P-BEEにより生成されたメールに対して，情報抽出タスクのデータとしての有効性を検証するため，実メールに対する送信者情報の抽出実験を行った．設定抽出エンジンとしてGemma3[13]の12BInstruct8）を使用し，パラメータは再現性を重視してtemperatureを0.0，top_pを0.5とした．抽出の際のFew-shot(3-shot)として与えるメールのソースを以下の5パターンで切り替え，それぞれの抽出性能を比較した:1)実メール，2)GPT-4.1，3)Qwen330B，4)Gemma327B，5)Sarashina2.23B．実メールを用いた際の結果を本設定のベースラインとし，各LLMの生成メールがどの程度代替可能かを評価する．なお，抽出用プロンプトの詳細は付録A.4に示す．評価方法評価対象として，実メール1,000件から送信者情報(氏名，会社名，部署，役職)の抽出を7）FacebookAI/xlm-roberta-large8）google/gemma-3-12b-itorg/licenses/by/4.0/).氏名会社名部署役職Few-shotPrec.Rec.F1Prec.Rec.F1Prec.Rec.F1Prec.Rec.F1実メール0.6600.6510.6550.6410.6380.6390.3720.4670.4140.0680.4780.118GPT-4.10.5310.5250.5280.4930.4910.4920.2340.2980.2620.1180.5740.196Qwen330B0.4780.4780.4780.5830.5740.5790.2320.2890.2580.0840.4870.143Gemma327B0.4760.4690.4730.6230.6190.6210.2600.3250.2890.1080.6170.183sarashina2.23B0.6010.5950.5980.5940.5930.5930.2380.3260.2760.1070.6350.183試みた．各抽出ターゲットに対し，スペースおよび改行文字を無視した完全一致により判定を行った．モデルが情報を出力した数を𝑁𝑜𝑢𝑡𝑝𝑢𝑡，正解データが存在する数を𝑁𝑒𝑥𝑖𝑠𝑡，正解が存在する場合に正解とモデルの出力が一致した数を𝑁𝑡𝑝と定義し，以下の通りPrec，Rec，F1スコアを算出した．Prec=𝑁𝑡𝑝𝑁𝑜𝑢𝑡𝑝𝑢𝑡,Rec=𝑁𝑡𝑝𝑁𝑒𝑥𝑖𝑠𝑡,F1=2×Prec×RecPrec+Rec4結果4.1品質評価各LLMで生成したメールの品質評価の結果を表2に示す．Similarityにおいて，JaccardはSarashina2.2が最も高く，BERTScoreはQwen3[12]が最も高かったが，大差はなかった．これより，実メールと語彙は異なるもののビジネス的な文脈は再現できていることがわかった．またDiversityにおいては，すべての指標でSarashina2.2が最も優れた結果となった．4.2送信者情報抽出タスク実メールと各LLMで生成したメールごとの送信者情報抽出性能の結果を表3に示す．氏名・会社名・部署名では実メールを使用すると最も性能が高く，生成メールに比べて5∼15%も高い結果となった．一方で，役職名では実メールを使用すると最も性能が低く，GPT-4.1が最も高く，生成メールの中で一番低いQwen3[12]でも2.5%の差が生じた．5DiscussionSarashinaが優れた値を示した．そこでJaccardやDistinctの算出対象(名詞,動詞,形容詞,副詞,連体詞,感動詞)のユニークな単語数を確認したところ，実メールの44,868語に対し，GPT-4.1やGemma3[13]，Qwen3[12]は約15,000∼が16,000語であったが，Sarashina2.2は25,812語と顕著に多かった．しかし，プロンプトで指定した文字数以下で生成できた割合は他モデルが9割を超える一方で，Sarashinaは約1割に留まった．これより，P-BEEの複雑なプロンプトの理解は3Bのモデルでは困難であり，指示追従性と実メールに近い語彙を実現するためは語彙とモデルサイズが伴ったモデルがが必要である．また，表2ではモデル間に品質指標に差があるものの，表3では抽出性能に同様の傾向が見られなかった．これは生成メールの語彙や文脈の多様性が抽出性能に与える影響が限定的であることを示唆する．一方で，実メールに比べ抽出性能が比較的高かったGemma3[13]の生成メールでもユニークな送信者の会社名の数が約200件不足していた．これはFakerの生成パターンが「法人格+苗字+任意のドメイン(ex.建設，情報)」に固定されており，多様性に欠けることが要因である．また実メールでは1人に対する複数部署の所属や日英や省略形などの役職の表記揺れなどの多様性が一定数存在した．以上より，非匿名性を維持しつつ属性情報のパターンをさらに増強する必要がある．6おわりに本研究ではLLMを用いて擬似的な日本語ビジネスメールを生成するフレームワークP-BEEを提案した．P-BEEは，プレースホルダを介して属性情報を動的に注入する機構を持ち，柔軟なメール生成を可能にする．定量評価の結果，単語単位での重なりは少ないものの，文脈レベルでは実メールと高い類似性を有することを確認した．しかし，抽出タスクの例としての利用にはまだ実メールとの性能乖離が残る．今後は，この乖離を捉える評価指標の策定に加え，モデルの選定や属性情報のパターンの多様性を図ることで，更なる性能改善が期待できる．org/licenses/by/4.0/).