JAIST Repository
https://dspace.jaist.ac.jp/

Title

プレゼンテーションスライド情報の構造抽出

Author(s)羽山, 徹彩; 難波, 英嗣; 國藤, 進

Citation

電子情報通信学会論文誌 D, J92‑D(9): 1483‑1494

Issue Date

2009‑09‑01

Type

Journal Article

Text version

publisher

URL

http://hdl.handle.net/10119/9564

RightsCopyright (C)2009 IEICE. 羽山 徹彩, 難波 英嗣,
國藤 進, 電子情報通信学会論文誌 D, J92‑D(9),2009, 1483‑1494.
http://www.ieice.org/jpn/trans̲online/

Description

Japan Advanced Institute of Science and Technology

知識基盤社会を支える情報技術論文特集

論 文

プレゼンテーションスライド情報の構造抽出
羽山 徹彩† a)難波 英嗣††

國藤進†

Structure Extraction from Presentation Slide Information
Tessai HAYAMA†a) , Hidetsugu NANBA†† , and Susumu KUNIFUJI†

あらまし 近年の電子化プレゼンテーションの普及により，講義や会議などの多くの場面で電子的なプレゼン
テーション資料（スライド）が利用され，蓄積されてきた．蓄積されたスライドデータは知識資源として膨大となりつつあるため，その高い利活用性が求められている．スライドデータの利活用性を高めるための効果的な方法の一つとして，レイアウトや視覚的効果など人間の理解を促すための有意な構造情報を利用することが挙げられる．しかしながら，そのような構造情報は，スライドデータの中で明確に定義されていないため，計算機で直接的に扱うことが困難である．そこで，本研究ではスライドに含まれる情報からその構造を抽出する手法を提案する．提案手法は，まずスライド上のオブジェクトを “タイトル”，“図”，“表”，“本文”，“装飾” のいずれかの属性のまとまりに組織化し，それらまとまりをトップダウンに木構造へ組み上げる構造化を行う．評価実験では人手で作成した正解データをもとに，オブジェクトの位置関係に基づいた構造化手法と比較することで，提案手法の有効性を確認した．
キーワード

情報抽出，プレゼンテーションスライド，視覚的レイアウト，Web データ

1. ま え が き

純なテキストに変換し，キーワードによるアクセス方

近年の電子化プレゼンテーションの普及により，講

データ管理がなされてきた．このような構造情報を保義や会議などの多くの場面で電子的なプレゼンテー

持したデータ管理ができれば，スライドに含まれる情ション資料（スライド）が利用されるようになった．

報をより知的に処理することができるが，構造情報は利用されたスライドは遠隔講義資料や Web コンテン

スライドデータの中で明確に定義されていないため，

ツとして逐次的に蓄積され，膨大かつ重要な知識資源計算機で直接的に扱うことができない．また，人手にとなりつつある．そのため，スライドに含まれる情報

より構造情報を付与することは，膨大なコストがかかに対して，アクセス性やデータ加工性などの利活用性るため，計算機による自動的な構造情報の抽出が望まを高める技術が知識基盤技術として求められている．

れる．

法をとっており，そのような有意な構造情報を排した

スライドに含まれる情報の利活用性を高める有用な

これまで様々なドキュメントを対象とした構造抽出

方法の一つとして，レイアウトや視覚的情報などの人手法が研究されてきた [1], [7], [8]．Rosenfeld ら [6] や間の視覚的な理解を促すために情報のまとまりやそ

Zhai ら [9] は，それぞれ PDF ドキュメントや Web ドの関係を表現している有意な構造情報を利用するこ

キュメントを対象として，機械学習及び木構造テンプとが挙げられる．しかしながら，これまでのスライド

レート照合を用いた確率的方法に基づく構造抽出手法を扱ったシステムのほとんどは，スライドデータを単を開発してきた．彼らの手法は，構造情報が付与され†††た大量のアノテーション付きデータを必要とし，また
北陸先端科学技術大学院大学知識科学研究科，能美市
Graduate School of Knowledge Science, Japan Advanced In-

その作成された確率モデルが収集データに依存する．

stitute of Science and Technology, 1–1, Nomi-shi, 923–1218

そのため，構造パターンが少ないデータを対象に適用Japanすることは有効であるが，スライドデータのような多広島市立大学情報科学研究科，広島市
Faculty of Information Sciences, Hiroshima City University,

様な構造パターンを含むデータを対象に適用すること

3–4–1, Ozukahigashi, Asaminami-ku, Hiroshima-shi, 731–

は難しい．南野ら [5] は，Web ページに含まれる繰返

3194 Japana) E-mail: t-hayama@jaist.ac.jp

電子情報通信学会論文誌

し要素に着目し，Web ページに含まれるテキストのc （社）電子情報通信学会 2009
D Vol. J92–D No. 9 pp. 1483–1494 

1483

電子情報通信学会論文誌 2009/9 Vol. J92–D No. 9構造を抽出する手法を開発してきた．彼らの手法をス

れらプリミティブなオブジェクトのタイプとともに，

ライドデータに適用した場合には，HTML タグのよ

各オブジェクトのスライド上の縦横位置やフォントサ

うな規則性を示す形式的な要素が含まれていないた

イズの情報が自動的に得られることと，オブジェク

め，そのまま利用することができない．石原ら [3] はトの重なりがあったとしても個々としてオブジェクト

スライド音声読み上げシステム構築のために，図に焦を認識できることである．また，インデントや，箇条点を当てたスライドページ上のオブジェクトの構造抽

書き，フォント，表のデータなどの情報は，オブジェ

出手法を開発している．彼らの手法は，オブジェクト

クトの位置や情報タイプから判断を行うこととする．

の距離関係に基づき，構造情報を抽出している．しかこのような前提を満たす情報は，Microsoft 社 Pow-

しながら，スライド上のオブジェクトは，自由に作成

erPoint，Apple 社 Keynote，OpenOﬃce プロジェク

され，手動で配置されているため，不正確な配置や重ト Impress といった主要なスライド作成ソフトで作成なりを避けることができない．そのような場合，オブされたスライドファイルにおいて，データとして保存

ジェクトの距離関係の利用だけでは，スライドページ

され，XML データとして取り出すことができる．そ全体のオブジェクトの構造情報を適切に抽出することのため，前提条件となるデータは容易に得ることがでが難しい．以上のように，従来研究ではレイアウトパ

きる．

ターン数に限りがあったり，レイアウト内でオブジェ

このようなプリミティブなオブジェクトは，“タイクトが正確に配置されていたりするような比較的整っトル”，“本文”，“図”，“表” 及び “装飾” といったスたドキュメント形式をもつデータを対象とし，有効なライド内容を伝える基本表現とするまとまりをなして成果が得られてきたが，それら手法を多彩なレイアウ

いる．各スライドには，発表の流れに沿ったそのスラトや不正確なオブジェクト配置を含んだスライドデー

イドの内容を表現しているタイトルが付与され，そのタに適用することが難しい．

スライド内容を説明するための項目や補助資料としそこで，本研究ではスライドに含まれる情報を対象て，本文，図及び表などの基本表現が利用されている．

とした構造抽出手法を開発することを目的とする．本

また，それ以外のスライドに含まれているオブジェク

研究で提案する手法は，まずスライドに含まれるオトとしては，特定の内容を強調する記号や関係線，あブジェクトを “タイトル”，“本文”，“図”，“表”，“装るいは発表日付などのスライド内容と直接関係のない

飾” のいずれかの属性のまとまりに組織化し，それら“装飾” 表現がある．このように，スライドに含まれるまとまりをトップダウンに木構造へ組み上げる構造化

オブジェクトは，内容に関係する “タイトル”，“本文”，

を行う．

“図”，“表” の 4 種類の属性と，内容に直接関係のな

このような構造情報が利用可能になれば，これまでい “装飾” 属性のいずれかに分類することができる．

のスライドを利用した様々なアプリケーションの有用

例えば，図 1 の例が示すように，オブジェクト (A)，性を高めることができる．例えば，スライド音声読み(C) 及び (F) は，テキストタイプのプリミティブなオ上げシステムではこれまでほとんど利用不可能であった視覚的な構造表現を音声ガイドへ反映させることで，スライド内容をより容易に理解できるような技術が開発可能となる．また，モバイルデバイスなどの小型画面表示領域をもつスライド閲覧システムでは，一度に表示する情報を領域に応じた分割や画面形態に応じたレイアウト割当の技術も開発可能となる．

2. スライド情報とその構造
2. 1 スライドに含まれる情報
スライドに含まれる情報には，“テキスト”，“写真”，“線” 及び “基本図形” などのプリミティブなオブジェ
クトから構成されている．本研究におけるスライドに含まれる情報を処理するための前提条件としては，こ1484

Fig. 1

図 1 スライドに含まれる情報とその構造の例
An example of slide information and its structure.

論文／プレゼンテーションスライド情報の構造抽出

ブジェクトであるが，それぞれを “タイトル”，“本文”，えることで，スライドの内容に関する本質的な情報だ

あるいは “図” と異なった内容を表現する属性としてけを内容に即した順序で読み上げることができる．そ認識することができる．その際，(F) は (E) やその他の結果，ユーザがスライド内容をより正確かつ容易にのオブジェクトとともに，一つの “図” として内容を理解できることが期待される．また，スライド情報検もつようなまとまりをなしている．このように，たと索システムではこれまでスライド上のテキストに対しえ同じ種類のオブジェクトであっても，異なる属性と検索子と一致するスライドの周辺テキストを結果としなったり，単体でなく複数のオブジェクトから組織さていたが，情報の属性をもったまとまりとその関係がれたまとまりとなったりすることがある．ここで本論扱えるようになることで，図/表などの属性を指定し文では，スライド内容を伝える基本表現の性質，及びたテキスト以外の結果を返す情報検索方法や結果に付

その基本表現となるオブジェクトのまとまりを，それ随する情報を補助的に提示する情報提示方法への柔軟

ぞれ機能的属性，及び機能的なまとまりと定義する．

な拡張が可能となる．

2. 2 スライドに含まれる情報の構造

本研究で抽出するスライド情報の構造情報はスライ

スライドに含まれる情報のもつ構造はスライドの内ドの内容を伝える基本表現である機能的なまとまりと容を表現するような，オブジェクトの機能的なまとまその属性を特定し，そのまとまりをタイトルをもとにりを木構造として表現することができる．そのまとました木構造を組み上げることを抽出することを行うたり関係の検出には，スライド上のレイアウトや視覚的め，スライド情報の利活用性を高めるための構造情報効果などに含まれるオブジェクトの位置情報や距離情の要件を満たしているといえる．更にスライド情報の報を利用することができる．

利活用性を高めるためには，表理解や図理解，機能的

図 1 の例では，オブジェクト (A) が “タイトル” となまとまり関係における修辞構造解析などの意味理解して機能しており，(A) は木構造の根ノードに相当す

処理を要するが，これら技術を実現するためには大規る．また，周囲のオブジェクトよりも開始位置を下げ模な開発が必要となるため，本研究では対象外とする．

る字下げは，その前後にあるオブジェクトの階層関係を表現している．その字下げの使用で関係づけられて3. 提 案 手 法いるオブジェクト (B) と (C) は親子ノードとして，ま本研究では，スライドページ上の情報からその構造た同レベルの箇条書き項目であるオブジェクト (C) とを抽出する手法を提案する．提案手法は，組織化処理(D) は兄弟ノードとして，それぞれ木構造に割り当てと構造化処理の 2 段階からなる．組織化処理と構造化ることができる．更に，囲み線 (G) に含まれている複処理の概要と詳細について，それぞれ 3. 1 と 3. 2 で数のオブジェクト (H) と (I) は，(G) が視覚的な閉空

述べる．

間を表現しているため，部分木を構成するとみなすこ

3. 1 組織化処理とができる．以上のように，スライド内容を表現する

図 2 に組織化処理のフローチャートを示す．本手法

木構造はレイアウトや視覚的効果に含まれる情報を利の組織化では，まず各オブジェクトの属性を “タイト用することで，主にタイトル属性の機能的なまとまり

ル”，“本文”，“図”，“表” のいずれかに特定し，次にがその根ノードに割り当て，それと関連する機能的な近い距離関係にある同じ属性のオブジェクトをまとめまとまりをノードとして順次関係づけ，組み上げていることを行う．オブジェクトの属性特定では，まず各くことで構築される．その際，スライド内容に直接関オブジェクトに候補となる属性とその確信度を割り当係しない装飾属性のまとまりはその構造に含まれない．

て，既に属性が確定されたオブジェクトの属性を特定

一方，スライド情報の利活用性を高めるための構造するために影響する他のオブジェクトとの関係を考慮

情報とは，情報が適切に伝わるようなまとまりとそのして，より確信度の高いオブジェクトの属性から順次

属性，及びスライドの内容が反映されたそれらまとま

確定していく．ここで本論文では，あるオブジェクトりの関係が定義されていることである．その利活用例

が機能的属性を特定するために影響する他のオブジェとして，スライド音声読み上げシステムではこれまで

クトとの関係を機能的関係と定義する．

各スライド内のオブジェクトの位置順序や作成順序に属性の種類を確信的に認識できるオブジェクトから従って読み上げることを行っていたが，スライド上の

優先的に属性特定していくことで，オブジェクトの機

内容に関係する情報を適切な分節とそれらの関係を扱

能的な属性関係の情報をより正確に扱うことができ，
1485

電子情報通信学会論文誌 2009/9 Vol. J92–D No. 9

Table 1表 1 属性類ごとの属性らしさを示す得点表
Score sheet of attribute based on the likelihood of the attribute.

“タイトル”属性のための評価項目
T i1) フォントの大きさ > T hreshold(f ontsize1)
T i2) トップからの位置 > T hreshold(y axis position)T i3) スライド上のオブジェクトの最上位置にあるT i4) スライドに含まれる中で最大のフォントサイズをもつT i5) 文字数 > T hreshold(number of characters)“図”属性のための評価項目
F 1) グラフ/画像タイプのオブジェクト
F 2)完全にグラフ/画像タイプのオブジェクトと重複している
F 3)部分的にグラフ/画像タイプのオブジェクトと重複している
F 4)近距離で/間接的にグラフ/画像タイプのオブジェクトと接している
F 5)グラフ/画像の重複したグループの中で最高/最低に位置するテキストタイプのオブジェクト
F 6) テキストを含まない基本図形である
F 7) 文字数 < T hreshold(number of characters)

+1
+1
+1
+1
+1

5
4
4
3
−1
4
+1

“本文”属性のための評価項目
S1) 箇条書き項目のシンボルがある
S2)同じ左位置で同じフォントのテキストタイプのオブジェクトがあるS3)左上/右下の位置にテキストタイプのオブジェ
クトがある
S4) フォントサイズ > T hreshold(f ontsize2)
S5) 文字数 > T hreshold(number of characters)“表”属性のための評価項目
T a1) 表に含まれるセルの半数以上にデータが含まれているT a2) 表に含まれるセルの半数以下にデータが含まれているT a3)完全に表のセル領域と重複しているT a4)部分的に表のセル領域と重複している
T a5)近距離で/間接的に表のセル領域と接している
T a6)表と重複したグループの中で最高/最低に位置するテキストタイプのオブジェクト

+1
+1
+1
+1
+1

5
4
4
3
3
−1

T hreshold(f ontsize1) , T hreshold(f ontsize2) , T hreshold(Ya xis position) 及び T hreshold(number of characters) は，文字サイズ，文字サイズ，トップからの距離，及び文字数のパラメータを表しており，下線の項目は他のオブジェクトの関係によって評価されることを示している．

を割り当てる各オブジェクトの候補となる属性とその数値的な確信度を決めるために，各オブジェクトの属性類ごとへ得点付けを行う．オブジェクトの属性類への得点付けには，表 1 の属性類ごとに属性らしさを評価項目とした得点表が利用される．表 1 の各属性類の評価項目の詳細について，以下に示す．

“タイトル” 属性の評価項目：大きなフォントサイズと高い位置にあるオブジェクトに対し，タイトルらし
いと考え，高く評価する．規則 T i1 と T i2 ではしきい値より大きいフォントの大きさと高い位置のオブジェ
クトにそれぞれ加点をし，更に規則 T i3 と T i4 では
スライド内の最高に位置にあるオブジェクトと最大のフォントサイズのオブジェクトにそれぞれ加点をする．
また，タイトルはスライドの内容を表現した長さの文字列であると考え，T i5 ではしきい値より長い文字数のオブジェクトに対し，加点をする．

“本文” 属性の評価項目：箇条書き項目の一つ，あるいは周囲の文と開始配置が字下げされたテキストなど，
レイアウト構造上で他の本文と関係づけられているオ
図 2 組織化処理のフローチャート
Fig. 2 Flow chart of organizing processing.

ブジェクトに対し，本文らしいと考え，高く評価する．
規則 S1 と S2 では箇条書き項目らしいとして加点をし，規則 S3 では周囲の文との間に字下げが適用されその結果，不確かな属性のオブジェクトに対してもよているとして加点をする．また，本文は内容があり，り的確に属性特定することができる．

見やすい文字列であると考え，規則 S4 と S5 では文

組織化処理の詳細な手順を以下に示す．

字数の長さ，あるいはしきい値より大きなフォントサ(1) 各オブジェクトの属性類ごとに属性らしさの値

イズのオブジェクトに対しそれぞれ加点をする．

1486

論文／プレゼンテーションスライド情報の構造抽出“図” 属性の評価項目：グラフや画像のオブジェク
トと，それと近距離にあるオブジェクトに対し，図らしいと考え，高く評価する．規則 F 1 ではグラフと画像のオブジェクトに対し，最大点を付ける．規則 F 2と F 3 ではそれぞれグラフや画像のオブジェクトと重複するオブジェクトに対し得点付けをしており，部分的に重複するよりも完全に重複するオブジェクトに対し高い得点を与える．更に，グラフや画像のオブジェ
クトとは直接的に重複しないが，近距離に位置してたり，他のオブジェクトを介して間接的に接している
オブジェクトに対して，規則 F 4 ではそのようなオブジェクトに対し得点を与える．また，以上の重複関係

Fig. 3図 3 属性得点が含まれるスライドの例
An example of a slide including attributes
scores.

から形成されるグループにおいて最上/最下位置では誤配置されたオブジェクトと重複しやすいと考え，規オブジェクトの属性類ごとの得点付けの例を図 3 に

則 F 5 ではそのようなオブジェクトの中で図以外の属示す．Object(b) の属性類 [“タイトル”，“本文”，“図”，

性となりやすいテキストタイプのオブジェクトに対し，“表”] には，[3, 5, 0, 0] の得点が付けられる．その際，減点をする．規則 S6 では図に含まれやすいテキスト

Object(b) の “本文” 属性の機能的関係リストには，が単語のような短い文字列であると考え，しきい値よObject(c)，(g) 及び (h) が含められる．

りも文字数の少ないオブジェクトに対し加点をする．

(2) オブジェクトの属性を決定する“表” 属性の評価項目：格子状の囲み線とその囲みに(1) で設定された属性類ごとの属性らしさの値を利位置するオブジェクトに対し，表らしいと考え，高く用することで，各オブジェクトの候補となる属性とそ評価する．規則 T a1 と T a2 では格子状の囲み線におの確信度を算出し，その確信度が高いオブジェクトか

いて表のセルデータが占められている方が表らしいとら順に他のオブジェクトとの機能的関係を考慮しなが考え，表の格子中にデータが多く満たされている格子

ら属性を確定していくことで，すべてのオブジェクト

状の囲み線となるオブジェクトに対し高い得点を与えの属性を決定する．

る．規則 T a3 では表に含まれるデータとして，格子その手順の詳細を，(2.1) から (2.3) に示す．

状の囲みと重複しているオブジェクトに対し，得点を与える．更に，表データへの注釈も表の一部であると(2.1) 属性が未確定のオブジェクトの中から，そのみなし，規則 T a4 と T a5 では格子状の囲み線の領域候補となる属性の確信度が最も高いオブジェクトを選と部分的に重複，あるいは近距離に位置したり，他の出し，その属性を確定する．

オブジェクトを介して間接的に接しているオブジェク

はじめに，まだ属性が確定されていない各オブジェ

トに対し，それぞれ得点を与える．また，誤配置されクトに対し，“タイトル”，“本文”，“図”，“表” の四つたオブジェクトが表とその重複するオブジェクトのグの属性類の中で得点が最も高い属性類の一つを候補とループにおいて最上/最下位置で重複しやすいと考え，なる属性とする．次に，それらオブジェクトの候補と

規則 T 6 ではそのようなオブジェクトの中で表以外のなる属性の確信度を算出する．属性の確信度は，その属性となりやすいテキストタイプのオブジェクトに対属性らしさが高いだけでなく，その他の属性類の項目

し，減点をする．

において属性らしくなさも考慮する必要がある．そこ

オブジェクトの属性類ごとの得点付けでは，適合すで，候補となる属性の確信度（Li Attri）はその両方る評価項目の総得点が割り当てられる．その際，他のの性質を考慮した式 (1) と (2) によって算出される．

オブジェクトと関係づけることで属性らしさを評価する項目（表 1 の下線項目）が適用された場合には，その関係したオブジェクトを属性類ごとにリスト化する．
本論文では，そのリストを機能的関係リストと呼ぶこ
ととする．
1487

電子情報通信学会論文誌 2009/9 Vol. J92–D No. 9⎧
Attri V al(attri)
⎪
⎪
⎪
⎪
⎪
⎨ (if attri cand == attri)
Ev(attri) =

⎪
⎪
⎪
⎪
⎪
⎩

M axScore(attri)の他のオブジェクトの “タイトル” 属性らしさの値を0 に設定する．
(1)− Attri V al(attri)

ストに含まれている object(f) の “図” 属性らしさの値(otherwise)

は 3 に再設定される．また，object(a) が “タイトル”

Li Attri = Ev(‘title ) ∗ Ev(‘body−text )∗ Ev(‘f igure ) ∗ Ev(‘table ) .

(2)

こ こ で ，attri，Attri V al(attri) ，attri cand 及 び

M axScore (attri) は，ある属性とそれに付けられた得点，候補となる属性及び属性類ごと最大得点（注 1）を示している．式 (1) の Ev(attri) は，attri が候補となる属性である場合にその属性に付けられた値をとり，attri
がそれ以外の属性類である場合にその属性の最大得点からその属性に付けられた得点を引いた値，つまり属性らしくなさの値をとる．次に，式 (2) の Li Attri は各オブジェクトにおいて式 (1) で得られたすべての属性の値を積算した結果となる．その結果では，候補となる属性の得点が高く，それ以外の属性類の得点が低い場合に，確信度が高い値となる．一方，候補となる属性の得点とそれ以外の属性類の得点が拮抗していた場合には，確信度が低い値となる．これらの式を用いて，属性が未確定なオブジェクトの中で確信度が最大のオブジェクトに対し，その候補となる属性を属性として確定する．また，その確信度が最高のオブジェク
トが複数ある場合には，その中でスライド上の上位置にあるオブジェクトに対し，属性を確定する．
図 2 の例において，Object(b) と (g) の候補となる
属性はともに “本文” 属性となり，その確信度にはそれ
ぞれ 375 及び 300 が算出される．その結果，object(b)は object(g) よりも候補となる属性の確信度が高いた
め，優先的に属性が確定される．

(2.2) 新たなオブジェクトの属性確定に伴い，その機能的関係の影響を他のオブジェクトへ与える．

(2.1) で新たに確定されたオブジェクトに対して，その属性以外の属性の得点付けで機能的関係にあると判断されたオブジェクトとの関係は不適切である．そのため，そのオブジェクトの属性以外の属性の機能的関係リストに含まれているオブジェクトに対し，その属性らしさの値を再計算するとともに，確定されたオブジェクトを機能的関係リストから取り除くことを行う．
また，各ページのタイトルを唯一とするために，そのオブジェクトが “タイトル” 属性と確定されたなら，そ1488

図 3 の例では，object(d) が “本文” として属性確定されたなら，object(d) の “図” 属性の機能的関係リとして属性確定されたなら，その他のオブジェクトの“タイトル” 属性らしさの得点は 0 に再設定される．
(2.3) スライドページ上のすべてのオブジェクトの属性が特定されるまで，(2.1) と (2.2) の手順を繰り返す．

(3) 距離関係に基づきオブジェクトを組織化する
す べ て の オ ブ ジェク ト の 属 性 が 特 定 さ れ た 後 ，“図”/“表” 属性のオブジェクトに対し，“図”/“表” 属性の機能的関係リストに含まれるオブジェクトを一つにまとめる．その際，(2.2) で属性確定されたオブジェ
クトに関連する他のオブジェクトの機能的関係リス
トも更新されているため，同じオブジェクトが異なる“図”/“表” 属性の機能的なまとまりに含まれることがなく組織化される．

(4) 装飾属性を割り当てる
本文を内包する基本図形や図に含まれない矢印図形
は，オブジェクトを明示的に関係づける表現として使用されるため，内容と直接関係のない装飾とみなすことができる．そこで，“本文” 属性のまとまりを内包している基本図形のオブジェクトといずれのまとまりにも組織化されていない矢印図形のオブジェクトに対し，“装飾” 属性を割り当てる．
3. 2 構造化処理
本手法の構造化では，トップダウンによる領域分割に基づいた方法で行う．つまり，オブジェクトの機能的なまとまりを含む領域を段階ごとに分割していき，各分割段階を親子ノードとして関係づけていくことで階層構造を得ることができる．この領域分割では，スライドページに含まれる視覚的なレイアウト構造の規則性を検出し，利用する．またレイアウト構造の規則性の検出が難しい場合には，各領域に含まれるまとまりの属性の並びによって，領域分割の位置を判断する．
視覚的な位置だけでなく，異なる属性の並びの規則性も利用することで，位置関係だけに依存しない領域分割が可能となり，不規則なレイアウト構造に対しても柔軟に対応することができる．
（注 1）：表 1 の得点表では，すべての属性類の最大得点が 5 である．

論文／プレゼンテーションスライド情報の構造抽出

今回の構造化処理では，対象データが Web から収集された情報科学技術分野の発表資料を多く含んでいたため，横書きを基本とした方法となっている．そのため，横書きを基本としたスライドのレイアウト構造
はページをブロック単位に分ける段組みが縦方向の分割点をもつため，本構造化処理の手順では，まず縦方向への領域分割を試みてから，横方向への領域分割を行う．
構造化処理の詳細な手順を以下に示す．

(1) 初期設定
領域分割を行うための初期領域と木構造の根ノードを設定する．スライドページに “タイトル” 属性のまとまりを含んでいるなら，根ノードと初期領域にはそれぞれそのまとまりとそのまとまり以外のページ領域が割り当てる．一方，“タイトル” 属性のまとまりが含

図 4 領域に含まれるまとまりの属性の並びとその分割
位置
Fig. 4 Units’ attribute sequence in a block and it’s
dividing point.

まれていないならば，根ノードは空ノードとし，初期領域にはページ全体が割り当てる．

る “図”/“表” 属性のまとまりがあるが，(b) には最上

(2) 縦方向への領域分割位置にあるまとまりよりも左位置に他のまとまりがな

領域内に縦断する空領域が含まれているなら，そのい例である．block(d) は，領域内の最上位置にあるま領域は空領域によって分割される．

とまりが箇条書き項目とする “本文” 属性である例で(3) 横方向への領域分割ある．また，block(c) は，領域内の最上位置にあるま

領域処理の操作では領域内の左上に位置するまとまとまりが “図”/“表” 属性の例である．

りを基準として，レイアウトの規則性や属性の並びを(i) 領域内の最上位置にあるまとまりが “本文” 属性

調べることで，異なる条件によって分割を行う．そのであり，そのまとまりよりも左位置にある “図”/“表”

分割条件として以下の三つのうち，いずれか一つの条

属性のまとまりが含まれているなら，その領域はその件が適用される．その際，領域全体を占めている “装“図”/“表” 属性のまとまりの上位置で分割される．た飾” 属性の囲み記号が複数の機能的なまとまりを囲んだし，その “図”/“表” 属性が箇条書き項目の間に位置でいる場合にはこれ以上の領域分割処理を進めることする場合は除く．この規則によって，block(a) には適ができないため，その囲み記号をまず除外してから，用され，破線位置で分割されるが，block(b) と (d) に分割条件の適用を行う．それによって，“装飾” 属性のは適用されない．

囲み記号に内包されている複数の機能的なまとまりに(ii) 領域内の最上位置にあるまとまりの属性が対し，部分木となるように構造化することができる．

“図”/“表” 属性であるなら，その領域はその “図”/“表”

三つの分割条件の詳細を以下に述べる．

属性のまとまりの下位置で分割される．この規則によっ

分割条件 1：領域内に横断する空領域を検出する．

て，block(c) には適用され，破線位置で分割される．

もし，その空領域が指定したしきい値以上の分割幅で分割条件 3：領域内の左上位置の機能的なまとまりあるならば，領域はその空領域によって分割される．

を調べる．もし，そのまとまりが箇条書き項目に含ま分割条件 2：領域内のまとまりの属性を調べる．もれている “本文” 属性であるなら，その領域はその箇しその属性の並びが “本文” 属性と “図”/“表” 属性と条書きの各項目の上位置で分割される．もし，そのまの関係からなる以下の規則に適合するなら，その領域とまりが箇条書き項目に含まれない “本文” 属性であは各規則に従って分割される．各規則について，領域

るなら，その領域はそのまとまりとそれ以外に分割さに含まれるまとまりの属性の並びとその分割位置を示れる．

した図 4 をもとに説明する．block(a) 及び (b) は，領(4) すべての領域に対して，まとまりがたかだか一

域内の最上位置に “本文” 属性のまとまりがあり，更つ含まれるまで，(2) と (3) の分割処理を繰りに (a) には最上位置にあるまとまりよりも左に位置す

返す
1489

電子情報通信学会論文誌 2009/9 Vol. J92–D No. 9

4. 評 価 実 験

スライドデータをランダムに選択し，利用した．その4. 1 概ジ数は 2366 ページとなる．正解データの作成には属

データの平均ページ数は 24.14 ページであり，総ペー

要

我々は提案手法の有効性を明らかにするために，以下の点に焦点を当てて，評価実験を実施した．

•

た作成者の選定と，項目説明と手順のマニュアル化を組織化において，オブジェクトの距離関係とともに機能的関係の情報を用いることの有効性•

人性の影響を配慮し，スライドの閲覧することに慣れ行った．正解データの作成者は，7 回以上の学会発表経験をもつ博士課程の大学院生 2 人が選ばれ，独自

構造化において，視覚的な手掛りの規則性とともに属性関係の規則性を用いることの有効性に開発した編集ツールを使用し，オブジェクトの機能的なまとまりとその属性，及び構造関係の定義付けをこれまでスライド上の情報を対象とした構造抽出手行った．その際，構造の識別が難しい場合には，無理法やそのための評価データは存在しないため，我々はな定義付けを与えないようにした．作成者への事前指比較手法とその評価データを作成した．まず組織化の導ではサンプルとして 5 種類の正解データ（平均 18

比較では，距離関係の情報だけを利用した方法を用い枚のスライド）を与え，まず属性類の意味の説明を行た．その具体的な処理としては，“図”/“表” タイプのい，次に作成手順として，1）属性類を指定したオブオブジェクトと重複や近距離に位置するオブジェクト

ジェクトのまとまりを作成，2）タイトルをもとにしに対し，“図”/“表” 属性のまとまりとして組織化する

たまとまり同士の関係付け，3）関係づけられないまことを行った．次に構造化の比較では，視覚的な手掛とまりを “装飾” 属性と同定，に従って実施するようりの規則性だけを利用した方法を用いた．その具体的に説明が与えられた．

な処理としては，レイアウトや視覚的効果に含まれる

本実験では，提案手法と比較手法を実装した実験シまとまりを以下の関係づけ表現に基づいた規則によっステムが用いられた．実験システムは，スライドファて，トップダウンに領域分割を行った．

イルから自動的に各ページに含まれているオブジェク

・“タイトル” 属性のオブジェクトを根ノードに割当

トを抽出し，構造抽出処理が実行され，その結果と・字下げされたまとまりとその直前のまとまりを親してオブジェクトのまとまりやその属性，及び構造に子関係のノードとする

関する情報をメタデータとした XML 形式のファイル

・同じレベルの箇条書き項目や左位置がそろっているまとまりを兄弟関係のノードとする・“装飾” 属性の囲み記号で内包されたまとまりを部分木として扱う（PPT）ファイルを入力としている．我々は PPT ファ
イルのオブジェクト抽出において，オブジェクトとそ

組織化の評価方法として，P recision，Recall，及び F − measure の指標が利用された．その値は以下の (3)〜(5) の式で算出される．

M atched CorrectData
Recall =T otal CorrectData
M atched CorrectData
P recision =T otal DetectedData
2 ∗ Recall ∗ P recisionF − measure =Recall + P recisionが出力される．現在のシステムは，Microsoft Visual

Studio C#によって実装され，Microsoft PowerPointの情報タイプと位置，フォントサイズの情報だけを使用し，PPT ファイルデータに含まれるレイアウトテ
ンプレートの論理構造の情報に対しては，必ずしもレイアウトの規定に沿ったデータ入力となっていないた(3)

め，利用しなかった．

(4)

結果を図 5 に示す．図 5 では，まとまりを示すタグ

システムの出力例として図 1 のスライドを入力した(5)（“Unit”）にオブジェクトを示すタグ（“Object”）が内包されることで機能的なまとまりを表現しており，まここで M atched CorrectData，
T otal CorrectData，

た各まとまりの属性は属性を示すタグ（“attribute”）

及び T otal DetectedData は，正解データとの適合数，に含まれている．各スライドページに含まれる情報の正解データの総数，及び検出データの総数を示す．ま構造は，それらまとまりの関係を示すタグ（“Node-

た，構造化の評価では，各スライドページ内でのまとList”）に，まとまり番号（“Unit ID” タグに含まれる

まりの関係づけの正確さによって比較した．

数）によって関係づけられている．

評価データとその正解データには，Web からの自動収集データを含むデータベース [4] から 98 組の日本語
1490

本実験で用いた提案手法のパラメータ設定値は表 2のとおりである．

論文／プレゼンテーションスライド情報の構造抽出

図 5 提案手法に基づいて構築された実験システムによる XML データの出力例
Fig. 5 An example of XML data outputted by an experimental system developted
based on proposal method.
表 2 本実験で使用した提案手法のパラメータ
Table 2 Parameters of proposal method used in thisexperiment.
パラメータ
T hreshold(f ontsize1)
T hreshold(f ontsize2)
T hreshold(Y axis position)
T hreshold(number of charactors)
構造化処理の分割条件 1 の幅

値
24 pt
32 pt
スライドの縦1/4 のサイズ
8 文字
24 pt

ての属性において精度が高かった．特に，“図” 属性のオブジェクトのまとまり検出では，F − measure が提案手法 0.89 に対し比較手法 0.69 と，顕著に効果的であることが確認された．“図” 属性のオブジェクトのまとまりは，重なりや近さの距離情報によってまとまりを構成されることが多いため，不適切なオブジェク
トの配置に影響を受けやすい．そのため，提案手法で用いているオブジェクトの機能的関係の情報を利用することが，オブジェクトの不適切な配置を検出し，適4. 2 結果と考察
組織化と構造化を行った実験結果を，それぞれ表 3と表 4 に示す．

切な属性へ割り当てることに有効であったといえる．
表 4 は，各ページにおいてまとまりを関係づけた精度ごとの割合を表した結果である．表 4 が示すよう

表 3 は，オブジェクトのまとまりとその属性の正確に，提案する構造化手法は比較手法よりも，それらまさを属性ごとに分類した評価結果である．表 3 が示すとまりを完全に関連づけられている割合が 0.95 に対ように，提案する組織化手法は比較手法よりも，すべし 0.90 と高かった．そのため，構造化手法では不規則
1491

電子情報通信学会論文誌 2009/9 Vol. J92–D No. 9

Table 3表 3 組織化処理の属性ごとの精度
Accuracy for each attribute results in the organizing process.

属性類とそれらまとまりの正解データ数
提案手法
RecallPrecision
F-measure
比較手法
RecallPrecision
F-measure

Table 4

タイトル (2333)
0.97
0.99
0.98
0.87
0.96
0.92

本文 (9285)
0.89
0.85
0.85
0.69
0.88
0.77

図 (1905)
0.93
0.85
0.89
0.64
0.63
0.64

表 (46)
0.96
0.98
0.97
0.93
0.93
0.93

装飾 (2201)
0.96
0.81
0.87
0.91
0.63
0.74

表 4 構造化処理におけるページ内のまとまりの関連付け精度の割合
Ratio in pages for each correct ratio of results in the structuring process.

ページ内のまとまりの関連付け精度の範囲
提案手法（組織化：提案手法）
比較手法（組織化：提案手法）
比較手法（組織化：比較手法）

1.00
0.95
0.90
0.76

0.99〜0.80
0.03
0.05
0.07

0.79〜0.60
0.04
0.06
0.08

0.59〜0.00
0.05
0.07
0.15

N/A
0.12
0.12
0.12

図 6 本構造化手法の抽出結果が正解データと一致した例 [I] と一致しなかった例 [II]Fig. 6 Slide samples matching/mis-matching structure data extracted by the
proposal method to its’ correct data.

なレイアウトを補うために，属性関係の規則性を利用

スライドに含まれる情報の構造抽出には，属性情報をすることが有効であるといえる．更に，提案する一連

利用することが有効であるといえる．

の構造抽出手法の特徴としては，属性を特定し，その我々は実験結果より，提案手法が引き起こした主な情報を利用することが挙げられる．本実験結果においエラーの原因を確かめた．その原因の一つは，オブて，一連の提案手法の適用によって完全に構造抽出でジェクト間の関係を視覚的な構造で表現するのでなく，きる割合は 0.95 であり，属性情報を用いない比較手テキストの記述内容で定義されている場合ある．例え法の 0.76 に比べ，大幅な向上が見られた．そのため，

ば，図のオブジェクトとその説明テキストが切り離さ

1492

論文／プレゼンテーションスライド情報の構造抽出れた位置にあり，記号などで対応付けされている場合

関係の規則性を利用した．評価では人が作成した正解がある．そのような原因に対し，オブジェクトの構造

データをもとにした比較実験により，提案手法の有効関係を適切に検出するためには，簡単なテキスト分析

性が確認された．

を行う必要がある．

現在のシステムはまだ改善が必要であるが，本実験また提案手法は横書きを基本とした研究発表スライ

結果からスライドに含まれる情報の構造抽出を 95%のドをもとにして本手法のルール群が作成されているお精度の正確さで可能であることが分かった．今後は，り，本実験結果から本手法の様々な適用制限が明らか

提案手法で抽出された構造情報をメタデータとして利となった．まず，中ぞろえ，あるいは右ぞろえの箇条用することで，スライドデータを扱った様々な技術を書き項目が含まれていた場合には，各項目の左開始位

開発していきたい．その一例として，構造情報を利用

置が異なるため字下げの使用と判断されることもあり，したスライド中の情報の検索システムや，レイアウト

それが不適切な構造化へ導くこととなる．また，縦書構造を変換することで検索結果の複数スライドページ

きと横書きが混在している場合には，それらを正確にを分かりやすい形で提示する閲覧インタフェースの開構造化することができない．このような場合の対処方発が挙げられる．また，スライド上の言語表現分析技

法としては前処理として，箇条書き項目のそろえ位置

術 [2] の開発も行っていきたい．

や横/縦書きの判断を行うことで，そのためのルール

謝辞 本研究成果の一部は，財団法人電気通信普及を適用する必要がある．以上のようなエラー原因は横財団 平成 21 年度研究調査助成金，及び科研費（基盤

書きを基本とするルールの適用によるものであるが，研究 B，20300046）の助成により実施されたもので本実験において 95%の精度で構造抽出が可能であるたある．

め，まれな場合であるといえる．
最後に，本構造化手法の抽出結果が正解データと一

文
[1]

献

A. Anjewierden, “AIDAS: Incremental logical struc-

致した例 [I] と一致しなかった例 [II] を図 6 に示す．

ture discovery in PDF documents,” Proc. 6th In-

本構造化手法の抽出結果が正解データと一致した例

ternational Conference on Document Analysis andRecognition, pp.374–378, 2001.

では，“本文” 属性のオブジェクト (C)，(D)，(E) が図 (B) と重なっていたにもかかわらず適切に構造情報[2]

between a technical paper and presentation sheetsを抽出することができていた．また，本構造化手法のusing a hidden Markov model,” Proc. Active Media
Technology 2005, pp.102–106, 2005.

抽出結果が正解データと一致しなかった例では，正解
データにおいて “本文” 属性のオブジェクト (C)，(D)，[3]

T. Ishihara, H. Takagi, T. Itoh, and C. Asakawa,“Analyzing visual layout for a non-visual presen-(E) が兄弟関係ノートとして構造化されていたにもか

tation-document interface,” Proc. 8th International

かわらず，中ぞろえとなっていたため，(E) が (D) に

ACM SIGACCESS Conference on Computers andAccessibility, pp.165–172, 2006.

対して字下げされていると判断され，親子関係ノード
として構造化されていた．

T. Hayama, H. Nanba, and S. Kunifuji, “Alignment[4]

H. Nanba, T. Abekawa, M. Okumura, and S. Saito,“Bilingual presri: Integration of multiple research pa-

5. む す び

per databases,” Proc. 7th RIAO Conference: Cou-

本論文では，膨大かつ重要な知識資源となりつつあ

Languages for Information Retrieval, pp.195–211,

るスライドデータの利活用性を高めるための基礎技術

pling Approaches, Coupling Media and Coupling
2004.
[5]

として，スライドページに含まれる情報の構造抽出手法を提案した．提案手法では，まずスライドに含まれるプリミティブなオブジェクトを機能的なまとまりへ[6]

tural extraction from visual layout of documents,”

組織化を行い，それらまとまりをトップダウンに木構

Proc. 11th International Conference on Information

造へ組み上げる構造化を行う．その際，組織化ではス
ライド上のオブジェクトの不正確な配置や重なりに対and Knowledge Management, pp.203–210, 2002.
[7]

T. Watanabe, Q. Luo, and N. Sugie, “Layout recognition of multi-kinds of table-form documents,” IEEE

処するために，距離関係だけでなく機能的な関係に関Trans. Pattern Anal. Mach. Intell., vol.17, no.4,

する情報を利用した．また，構造化ではレイアウトの規則性が損なわれる問題に対し，例外的な対応に属性

南野朋之，斎藤 豪，奥村 学，“繰返し構造に基づいた
Web ページの構造化，” 情処学論，vol.45, no.9, pp.2157–
2167, 2004.
B. Rosenfeld, R. Feldman, and Y. Aumann, “Struc-

pp.432–445, 1995.
[8]

Y. Yang and H. Zhang, “HTML page analysis based1493

電子情報通信学会論文誌 2009/9 Vol. J92–D No. 9
on visual cues,” Proc. 6th International Conference
on Document Analysis and Recognition, pp.859–864,
2001.
[9]

Y. Zhai and B. Liu, “Structured data extraction fromthe Web based on partial tree alignment,” IEEE
Trans. Knowl. Data Eng., vol.18, no.12, pp.1614–
1628, 2006.

（平成 20 年 12 月 15 日受付，21 年 4 月 13 日再受付）

羽山

徹彩 （正員）2001 同志社大・工・知識工学卒．2003

北陸先端科学技術大学院大学知識科学研究
科博士前期課程了．2006 同大学院大学知識科学研究科博士後期課程了．同年北陸先端科学技術大学院大学知識科学研究科助手．
2007 助教．博士（知識科学）．現在は主として，知識システム，創造性支援システム，ヒューマンインタ
フェースの研究に従事．人工知能学会，情報処理学会，日本創造学会各会員．

難波

英嗣

1996 東京理科大・理工・電気卒．1998

北陸先端科学技術大学院大学情報科学研究科博士前期課程了．2001 同大学院大学情報科学研究科博士後期課程了．同年日本学術振興会特別研究員．2002 東京工業大学
精密工学研究所助手．同年広島市立大学情報科学部講師．2007 広島市立大学大学院情報科学研究科講師，
現在に至る．博士（情報科学）．テキストマイニング，情報検索，自動要約，特許情報処理に関する研究に従事．言語処理学
会，人工知能学会，ACL，ACM 各会員．

國藤進 （正員）

1974 東京工業大学理工学研究科修士課程
了．同年（株）富士通国際情報社会科学研究所入所．1982〜1986 ICOT 出向．1992
北陸先端科学技術大学院大学情報科学研究科教授．1998 知識科学研究科教授．現在は主として発想支援システム，グループウェ
ア，知識システムの研究に従事，情報処理学会創立 25 周年記
念論文賞．人工知能学会 1996 年度研究奨励賞，日本創造学会
2004 年論文賞などを受賞．博士（工学）．情報処理学会，計測
自動制御学会，日本創造学会等各会員．

1494