有価証券報告書を対象とした機械判読が困難な表構造の分析

表構造解析は，自然言語処理において，テキストに記述されている根拠を表データから抽出する技術として注目されている[1,2]．表データは，データベースのような整然とした構造化データだけではなく，不規則または半構造化された形式で存在する．表のデータを構造化されたデータへ変換する方法としては，HTMLやXMLなどのマークアップ言語を解析する手法などがある．また，RDF（ResourceDescriptionFramework）やOWL（WebOntologyLanguage）などの技術を使用してデータに構造と意味を与え，セマンティック・ウェブの技術を利用する方法などがある．しかしながら，データベース以外の表データは，人間には判読しやすいものの，機械判読可能な形式へ変換する処理が課題となっている．人間にとって判読しやすい表は，各セルに含まれる数値や値などを「自然言語文に変換しつつ理解している」と考えられる．例えば、図1の有価証券報告書の表に含まれる「43銘柄」というセルは，表中の他のセルを用いて「非上場株式の銘柄数は43銘柄である」というような自然言語文に変換して説明することができる．ここで用いた表中のセルについて[At-tribute][Header][Data]という分類方法に当てはめると[3]，表中のDataセルは「[Attribute]の[Header]は[Data]である」という枠組みの自然言語文になる．このように，表中のセルから「Attribute」「Header」「Data」の三つ組を過不足なく用意し，セルを適切な自然言語の文に変換できる表は，機械的なデータ抽出に理想的である．評価型ワークショップであるNTCIR-17UFOタスクにおける表データ抽出の研究においても，この[Attribute][Header][Data]の三つ組を過不足なく用意してセルを適切な自然言語の文に変換できる表を用いている[4]．しかしながら，有価証券報告書には図2のようなセルが結合されている表や，属性が多数設定されている表も多く存在しており，機械的なデータ抽出が困難な事例がある．NTCIR-17UFOのサブタスクであるTDE(TableDataExtraction)では，このような[At-tribute][Header][Data]の三つ組を過不足なく用意できない表は，利用データから除かれている[4]．TDEサブタスクのデータセットでは，セルの属性分類が不可能だった表を対象としていない．また，有価証券報告書内の表の数については，正確な実態は明らかになっていない1）[5]．1）2名のアノテータが扱った表の延べ数で示されており，詳細の分析が行われていなかった．.そこで，本研究では「[Attribute]の[Header]は[Data]である」という形式で，セルを自然言語の文に変換する際の困難さを明らかにすることを目的とする．本稿では，表のセルを機械的に自然言語の文に変換することが困難な表はどのような特徴を持つのか，また，そうした表が有価証券報告書にどの程度含まれているかを明らかにする．本研究の貢献は以下の3つである．•機械判読が困難な体裁の表が，対象とした有価証券報告書には約37%含まれていることを明らかにした．•機械判読が困難な表を，小見出しや空白セル，非スカラ値のセルを含む表，複数のHeaderやAttributeをもつセルを含む表，特殊な形の表の5つのタイプに分類した．•対象とした有価証券報告書には，順に複数のHeaderやAttributeをもつセルを含む表，小見出し行を含む表，空白セルを含む表などが多く存在することを明らかにした．