会議有効性の再考：時間的細粒度自動会議評価向けのベンチマークとフレームワーク

会議は共同作業に不可欠である一方で、非効率の原因として挙げられることも多い[1,2,3,4,5]。会議の生産性を向上させるには会議の有効性を正確に評価する必要があるが、評価手法に関する統一的な見解は未だに得られていない[6]。既存の評価手法は、主に参加者への事後アンケートに依存しており、会議全体に対して粗い粒度の単一スコアを与えるのみである[6,7,8,9,10,11,12]。これは会議の事後的な印象に過ぎず、議論の動的な推移や、生産的な時間帯とそうでない時間帯の区別を捉えきれない。加えて、人手評価はコストが高く、規模化や再現性の確保が困難である。また、会議データはプラ評価者評価者人間LLM評価基準評価基準満足度？アジェンダ完了度？個人の作業目標？目的達成度時間コスト時間的粒度時間的粒度開始スコア:1スコア:3スコア:4スコア:2開始終了スコア:3終了開始終了先行研究本研究イバシーの問題を含み、収集が難しいため、データ不足も研究のボトルネックとなっていた。そこで本研究では、図1に示すように、2つの原則に基づく新たな評価パラダイムを提案する。第一に、有効性を「単位時間あたりの目標達成率」と定義し、客観的かつ普遍的な評価基準を導入する。第二に、時間的細粒度評価手法を提案する。会議全体に単一のスコアを割り当てるのではなく、会議をトピックセグメントに分割し、セグメントごとの有効性を評価する。このアプローチにより、会議のダイナミクスの詳細な分析が可能になり、評価の精度が向上するとともに、モデルの学習・評価に利用可能なデータの規模を大幅に増やせる。このパラダイムに基づき、本研究では、模擬ビジネス会議データセットであるAMICorpus[13]をベースに会議のメタ評価データセット「AMI-ME」を構築した。まず、AMICorpusの元のセグメンテーションを連続的な細粒度の単位に修正した。そして、各セグメントの有効性をスコアリングする包括的な人手アノテーションを実施した結果、130会議から2,460のセグメントとそれに対応する有効性スコアが得られた。さらに、会議の有効性を評価するLLMベースのフレームワークを提案する。フレームワークではトランスクリプトに対してトピック分割を行い、会議Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).マルチラベル分類会議目標トピック分割会議セグメント会議トランスクリプトスライディングウィンドウによる文脈セグセグセグ有効性=目的達成度時間コスト評価基準発話がタイムスタンプ付きで表示され、アノテーターが有効性を評価する際にセグメントの時間コストを考慮できるようにした。各セグメントについて、アノテーターはそのセグメントが寄与した目標を特定し、5段階評価で有効性スコアを付与した。各会議セグメントは、3人のアノテーターによって独立して評価された。4.3データセットの分析構築されたAMI-MEデータセットには、130会議からの2,460セグメントが含まれており、それぞれに3つの有効性スコアとマルチラベル形式での目標アノテーションが付与されている。有効性スコアの分布を付録A図3(d)に示す。アノテーション対象を63会議と67会議の2つのグループに分けて、アノテーター間の一致度を級内相関係数ICC(2,푘)[14]で評価した結果、スコアはそれぞれ0.8769および0.8202となり、共に「良好(Good)」な水準の信頼性が確認された。5自動評価フレームワーク動評価するフレームワークを提案する。このフレームワークは、会議全体の目標の特定、トピック分割の実行、およびセグメントの有効性評価を行う。予測された分割と正解の分割の不一致を考慮し、メタ評価をサポートするためのセグメンテーションアライメント手順も実装している。5.1セグメント有効性評価セグメントの有効性を評価するために、評価ステップの生成にChain-of-Thoughtを用いたフォーム入力パラダイムを使用するG-Eval[15]を採用した。セグメンテーションアライメント予測正解eセグメント有効性評価e!ee!ee!LLMsee!eモデルへの入力は、異なるレベルの有効性を定義する詳細な評価基準、会議目標、ターゲットセグメントのトランスクリプト、およびその周囲のコンテキストセグメントから構成される。これらの入力に基づき、モデルはセグメントが時間を効率的に利用しつつ会議全体の目標にどの程度効果的に貢献したかを評価し、対応する有効性スコアを割り当てる。会議の目標はマルチラベルアプローチを使用して、文献調査および探索的インタビューから作られた19の会議目標のセット[10]から最大3つを選択する。トピック分割については、評価用LLMと同じLLMを用いて行う。評価に十分なコンテキストを提供するために、スライディングウィンドウ方式を採用し、ターゲットセグメントとともに一定数の先行および後続セグメントを提示する。5.2セグメンテーションアライメントセグメントレベルの有効性スコアをメタ評価する際の重要な課題は、モデルが予測した割境界と正解の分割境界の間の不一致である。セグメントの数と長さが異なることが多いため、直接的な一対一の比較は不可能である。これに対処するために、予測スコアを正解セグメントにマッピングするセグメンテーションアライメントを行う。形式的には、正解セグメントを{[푡푖,푡푖+1]}푛−1푖=0、対応する有効性スコアを{푒푡푖+1푖=0とする。同様に、푡푖}푛−1予測セグメントを{[ˆ푡푗,ˆ푡푗+1]}ˆ푛−1푗=0、対応する予測スコアを{ˆ푒푗=0とする。各푖番目の正解セグメントˆ푡푗+1ˆ푡푗}ˆ푛−1について、それと時間的に重複するすべての予測セグメントから導出される単一のアライメント済み予測スコアˆ푒푡푖+1푡푖を計算する。このアライメント済みスコアは、重複する予測セグメントのスコアの加重平org/licenses/by/4.0/).ContextWindowSize=1ContextWindowSize=3モデルSpearman(흆)Kendall-Tau(흉)Spearman(흆)Kendall-Tau(흉)Qwen3-32B(non-reasoning)0.64450.48030.59960.4423+FromSegmentation0.22560.16040.23200.1644+FromSpeech0.21800.15470.24930.1766GPT-4o0.63410.47560.56180.4153+FromSegmentation0.23600.16640.24120.1706+FromSpeech0.20060.14300.20030.1421均であり、重みは重複期間によって決定される。!ˆ푛−1ˆ푡푗+1ˆ푡푗·Δ푖,푗!ˆ푛−1푗=0ˆ푒ˆ푒푡푖+1(1)푡푖=푗=0Δ푖,푗ここで、Δ푖,푗は푖番目の正解セグメントと푗番目の予測セグメントの間の時間的重複の期間を表す。このプロセスでは、重複する各予測セグメントの最終的なアライメント済みスコアへの寄与は、重複期間に比例する。このプロセスにより、正解スコアと並列なアライメント済み予測スコアのリストが得られ、相関メトリクスの直接計算が可能になる。6実験6.1実験設定実験には、Qwen3-32BおよびGPT-4oを含む主要なオープンソースおよびプロプライエタリなLLMを選定し、推奨されるハイパーパラメータ設定を使用した。予測された有効性スコアと正解の有効性スコアとの間の相関係数を、セグメントレベルのSpearman(휌)およびKendall-Tau(휏)を用いて評価した。ここで、各セグメントの正解スコアは、その３つのアノテーションスコアの平均とした。6.2実験結果正解入力、モデル予測によるセグメント入力、および生の音声入力の3つの設定の下でフレームワークの性能を調査した。正解入力を用いた設定では、正解トピック分割と会議目標を提供し、上流タスクの性能の影響を排除した。また、コンテキストウィンドウサイズを1および3として調査を行った。結果を表1に示す。正解分割を用いた場合、モデルは高い一貫性を示した。しかし、コンテキストについては、両モデルともウィンドウサイズ1が最適であった。これは、正解セグメントの完全性により、追加のコンテキストが不要であるためと推測される。ほかのモデルを含む比較結果を付録Bに示す。一方、モデル予測による分割（+FromSegmentation）を用いた場合、正解分割を用いた場合と比較して相関係数が大幅に低下した。セグメントの不一致による性能低下を分離して評価するために、予測されたセグメントが与えられた場合の近似的な相関係数上限を計算した。これは、正解の有効性スコアを予測されたセグメントにアライメントし、これらのアライメントされたスコアを新しい予測として扱い、相関計算のために再度正解セグメントにアライメントし直すことで行った。その結果、Qwen3のスピアマン上限は0.6417、GPT-4oは0.6828であり、それぞれのKendall-Tauの上限は0.5095と0.5513であった。これは、トピック分割の品質が最終的な相関に影響を与える重要な要因であることを示している。各モデルの分割性能については付録Cに示す。最後に、ダイアライゼーションにpyannote[16]、ASRにWhisper-Large-V3[17]を使用したエンドツーエンド（+FromSpeech）は、正解トランスクリプトから開始した場合（+FromSegmentation）と同等の相関係数を達成した。これは、有効性評価コンポーネントが音声認識の誤りに対して比較的頑健であることを示唆しており、ノイズの多いテキストに対するLLM固有の耐性によるものと考えられる。7おわりに本研究では、会議有効性評価の新しいパラダイムを提案した。このパラダイムを実現するために、新しいメタ評価データセットを構築し、自動評価のためのLLMベースのフレームワークを提案した。実験ではベンチマークを確立し、LLMが人間の判断と強い相関を達成できることを実証した。エンドツーエンドシステムのベースラインを確立することで、本研究は会議分析および知的会議支援アシスタントにおける将来の研究のための強固な基盤を提供する。org/licenses/by/4.0/).