学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約

学術研究論文場所と旅行者の行動に焦点を当てた
複数旅行ブログエントリの自動要約飯沼俊平†, ‡，難波英嗣†，竹澤寿幸††

広島市立大学大学院情報科学研究科††
現在，リクルートテクノロジーズ
あらまし

情報通信技術の発達により，旅行に関する情報の収集方法が多様化している．一般的な旅行ガイドブッ

クと比べると，ブログなどのソーシャルメディアでは実際に観光地を訪れた旅行者の経験に関する情報を得ることができ，それらは訪問場所や宿泊施設を選択する際に大いに役立つ情報である．本研究では，画像を含む複数旅行
ブログエントリの要約を自動生成する手法を提案する．提案手法では，グラフベースの文の重要度計算手法である
LexRank を拡張し，ブログエントリのタイプを考慮しながら文と同様の仕組みで画像の重要度を算出することで，代表画像付きの要約を出力する．提案手法の有効性を検証するために評価実験を行った結果，ベースラインよりも高い性能で要約を作成できることが確認できた．また，旅行ブログエントリ閲覧システムを構築し，ユーザが指定した地理的範囲およびユーザの目的に合致するエントリの要約を動的に生成・提示する機能を実装した．
キーワード

旅行ブログ，マルチメディア要約，観光情報処理

Automatic summarization of multiple travel
blog entries focusing on travelers' behavior
Shumpei Iinuma†, ‡，Hidetsugu Nanba†，Toshiyuki Takezawa†

types and locations

Graduate School of Information Sciences, Hiroshima City University†

Presently with Recruit Technologies, Co., Ltd.

††

Abstract

Evolution of information and communication technology makes it possible for collecting travel

information in various ways. Social media including blogs is one of such useful information source whenplanning a trip. In this study, we propose a method for generating a summary from multiple travel blog
entries containing images. Our method identifies important sentences as well as images using a graph-based
approach, which takes account of travelers’ behavior types. In order to confirm the effectiveness of our method,
we conducted some experiments, and found that our method outperformed some baseline methods. We also
implemented a system, which can generate summaries based on our method.
Keywords

Travel Blog, Multimedia Summarization, Travel Information Processing

1

観光情報学会誌，第 13 巻，第 1 号，2017 年

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約
案されている[2]．上述の旅行ブログエントリの検出・分類技術を利用して収集されたブログエントリ
は，実際に広島 P2 ウォーカーで公開されている“ぶらり広島電停散歩 MAP”1で使用されている．このシステムは地図上に旅行ブログエントリをマッピン
グすることで，目的の場所に関する情報を地図上で検索できるようにしたシステムである（図 1）．
本研究では，上述の既存システムの利便性を向上させるため，ユーザが指定した地理的範囲2および行
動タイプの旅行ブログエントリを要約して提示する機能を実装する．そのために，テキストだけでなく画像も対象とした要約手法を提案する．旅行者が旅行中での経験を記した旅行ブログエントリを情報源に用いることにより，市販のガイドブックや公式の観光ポータルサイトとは異なる情報の入手が期待できる．画像付きの要約を提示することで，旅行者は目的地の特徴を容易に把握することができる．また，行動タイプを利用することで旅行者の目的に合った情報を提示することができる．

１．はじめに旅行者が旅先の観光情報を収集するために利用する情報源の一つとして，旅行ガイドブックが挙げられる．一般的な旅行ガイドブックには，有名な観光
名所，土産物，宿泊施設，飲食店など，観光に関連する基本的な情報が掲載されている．一方，ブログなどのソーシャルメディアでは，実際に観光地を訪れた旅行者の経験に関する情報を得ることができ，それらは訪問場所や宿泊施設を選択する際に，大いに役立つ情報である．
これまでに，旅行者が旅行中での経験を記した“旅行ブログエントリ”を情報源として活用するための研究が行われてきている．石野らは，機械学習を用いてブログエントリ集合から旅行ブログエントリを自動検出する手法を提案している[1]．また，旅行者の目的に合致する情報へのアクセスを支援するために，エントリを旅行者の行動タイプ（買う，食べる，体験する，泊まる，見る）に自動分類する手法が提図１ ぶらり広島電停散歩 MAP
http://p2walker.jp/peace/ja/blog/
ここで述べる「地理的範囲にあるブログエント
リ」とは，「ある緯度/経度の範囲内に存在するブログエントリ」を指す．具体的には，2 節の図 2において，画面内に表示されるブログエントリを
指す．
1
2

1

観光情報学会誌，第 13 巻，第 1 号，2017 年

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約

図 2 旅行ブログエントリ閲覧システム

本論文の構成は以下の通りである．2 節では実装
したシステムの概要および動作例，3 節では関連研
究，4 節では旅行ブログエントリの自動要約手法，5
節では評価実験について述べ，6 節で本稿をまとめる．

トリ閲覧システム3を示す．地図上にエントリ集合を表示しており，画面下のボタンで，
“見る”，
“体験す
る”，“買う”，“食べる”，“泊まる”などの，旅行者の目的に沿ったエントリタイプ（表 1）を選択することができる．また，マーカーをクリックするとポップアップでエントリへのリンク付きのタイトルを表示する．ここまでの機能は，既存システム（ぶらり広島電停 MAP）とほぼ同等である．
次に，本研究で構築した自動要約システムを中心に，既存システムからの拡張点について説明する．
拡張点は以下の通りである．

2．旅行ブログエントリ閲覧システム
本節では，実装したシステムの概要および動作例について説明する．なお，システムで用いている旅
行ブログエントリは，前節で言及した石野らの手法で自動検出され，藤井らの手法で自動分類されたものである．図 2 に本研究で開発した旅行ブログエン

表 1 旅行ブログエントリのタイプ[2]
観光

判定基準

タイプ
見る

画面左下の緑のボタンをクリックするとリストビ
ューおよびサマリービューが表示され，上部のタブ
でビューを切り替えることができる．リストビューには画面中の表示されているすべてのエントリ一覧を表示する．既存システムでは地図上のマーカーをクリックすることでエントリのタイトルを表示することができたが，上述のリストビューのように，ある地点に関して書かれたエントリの一覧を表示する
ビューは実装されていなかった．

観光名所などの見て楽しめる物やイベントについての情報が記載されている食べる飲食に関する情報が記載されている買う

お土産に関する情報が記載されている○○体験やスキューバダイビングな体験する

ど，自分の体を使って楽しめる物についての情報が記載されている

泊まるリストビュー：表示範囲のエントリ一覧
サマリービュー（図 3-5）
：表示範囲の指定したタイプのエントリ集合の要約

宿泊に関する情報が記載されている

3

1

http://www.ls.info.hiroshima-cu.ac.jp/blogMap/

観光情報学会誌，第 13 巻，第 1 号，2017 年

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約

(a)

(b)
図 3 広島県 宮島付近，タイプ“見る”の要約例

図 4 広島県 宮島付近，タイプ“食べる”の要約例

図 5 東京都 浅草周辺，タイプ“見る”の要約例

サマリービューでは，ユーザが指定した地理範囲，
タイプのエントリ集合をトピックごとに自動要約した結果と，関連するエントリへのリンクを表示する．
図 3，4 は広島県の宮島付近でタイプ“見る”，“食べる”に該当するエントリ集合をそれぞれ自動要約した例である．同じ地点でも，“見る”を選択したときは「厳島神社」や「水中花火大会」，“食べる”を選択したときは「牡蠣祭り」のように，選択したタイプに沿った要約を自動生成することができる． 同様に，
図 5 は東京の浅草付近でタイプ“見る”を選択して要約した結果である．このように，任意の場所に関しても要約を自動生成することができる．
既存システムでは，目的の地域の情報を閲覧する
ために，1．地図上のマーカーをクリック，2．ブロ
グリンクをクリック，という操作を興味あるエントリの数だけ行う必要があった．サマリービューを導入することで，ユーザは画面遷移することなくエントリ集合の要約を閲覧できるので，指定した地域の見所が発見しやすくなり，さらに，個々のエントリへのリンクを示すことで，より詳細な情報へのアクセスが容易になる．また，エントリのタイプを利用することで，より旅行者の目的に合った要約を自動生成・提示することができる．

1

観光情報学会誌，第 13 巻，第 1 号，2017 年

3．関連研究3.1 旅行地の推薦および観光情報の提示
旅行地の推薦は，テキスト情報に加えて動画像なども扱うマルチメディア分野で盛んに研究が行われている．特定の場所を推薦する際に，「目的の場所をどう表現するか」（タグ，代表画像，スニペットなど）
は，最終的に旅行者が旅行先を決定する際に重要な手がかりとなる．
Wu らは，観光情報を要約するシステムを提案しており，クエリのカテゴリごとに，テキストや画像，動画などの異なるメディアを情報源として選択する手法を提案している[3]．Hao らは，旅先の特徴を表すタグやスニペットを要約として出力するモジュー

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約

ルなど，地域特有の情報をブログから発見する手法を提案している[4]．また，ブログを情報源に用いる研究として安田らの研究があげられる．安田らは，“歴史”や“食べ物”といったトピックと地理的範囲を入力として受け取り，対象範囲の情報を簡潔にまとめた文書を生成する要約手法を提案しており，ブログを要約対象として実験を行っている[5]．本研
究では，旅行地の情報源として旅行ブログエントリを対象としているが，それらには，テキスト情報だ
けでなく旅行者が撮影した写真が数多く含まれている．画像はユーザに視覚的理解を促す有用な情報源であるため，本研究では代表画像付きの要約生成を目標とする．
3.2 テキスト要約
テキスト要約はテキスト情報から重要な情報のみを選択し，要点の迅速な把握を支援する技術である．
Web 上に膨大なテキスト情報が蓄積されるようになり，ユーザが必要な情報に効率的にアクセスするのを支援する技術が求められている状況で活発に研究がなされてきた．
現在でも多くの研究で用いられている重要文抽出
手法は，テキスト中から重要なセグメント（文や段落）を抜き出し，抜き出したセグメントを適切に並べて出力することで要約とする手法である．文の重要度計算には，文が持つ特徴から回帰モデルで重要度を計算する手法やグラフベースの手法などが用いられてきた．
ここで，グラフベースの重要度計算手法であり，本研究で提案する手法のベースとなる LexRank を以下に紹介する．LexRank は，テキスト要約に関する評
価ワークショップ TAC4をはじめとする多くのテキスト要
約研究において，その有効性が確認されている代表的なテキスト要約手法のひとつである[6]．
LexRank は文のグラフ表現における固有ベクトル中心性の概念に基づいて文の重要度を計算する．
LexRank では，まず対象テキストに含まれる文間の類似度を計算し，ノードを文，類似度が閾値以上の文間をエッジとすることで，類似度グラフを作成する（図 6）．

図 6 類似度グラフの例
次に，類似度が閾値以上であれば 1，それ以外は 0を要素とする隣接行列を用意する．作成したグラフ
から，ノード（文）𝑢の重要度は式(1)で求められる．
これは，PageRank と同様，隣接行列に対してべき乗法を用いて主固有ベクトルを計算することで得られ
る．

𝑝(𝑢) =1−𝑑+𝑑𝑁𝑣∈𝑎𝑑𝑗[𝑢]𝑝(𝑣)⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡(1)deg⁡(𝑣)

ここで，𝑁はノードの数（文の数），𝑑はダンピング
ファクタ[7]，adj[u]はノード𝑢に隣接するノード集合，deg(v)はノード𝑣の次数を表す．計算される重要度は，他の多くの文と類似する文ほど高く，さらに，重要度の高い文と類似する文の重要度も高くなる．また，Erkan らは隣接行列の各成分を類似するか否かの離散値ではなく，ノード間の重み（類似度）に設定した Continuous LexRank を提案している．式(2)において，weight(u,v)がノード間の重みを示している．

𝑝(𝑢) =
⁡⁡+𝑑

1−𝑑
𝑁

∑
𝑣∈𝑎𝑑𝑗[𝑢]4∑

𝑤𝑒𝑖𝑔ℎ𝑡(𝑢, 𝑣)
𝑝(𝑣) ⁡⁡⁡⁡⁡(2)∑𝑧∈𝑎𝑑𝑗[𝑣] 𝑤𝑒𝑖𝑔ℎ𝑡(𝑧, 𝑣)

テキストと画像をリンクさせることができれば，テキストと同様の枠組みで画像の重要度を計算できると考え，
本研究ではグラフベースの手法を採用した．前田らの研究[8]では LexRank を画像の類似性グラフに適用していたが，本研究では画像と文を一つのグラフで扱う点

http://www.nist.gov/tac/1

観光情報学会誌，第 13 巻，第 1 号，2017 年

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約が異なる．また，我々の手法では LexRank を拡張した
biased LexRank [9]のアプローチを用いることでエントリのタイプに焦点を当てた要約を実現する．
近年では，テキスト要約を組み合わせ最適化問題
として定式化することが多くなっている[10]．例えば，指定した要約長を超えないように，重要度の和を最大化して冗長性を最小化するなど，同時に様々な制約を設定できるという特徴がある．本研究では画像も要約の対象としているが，画像から得られる
特徴量はテキストから得られる特徴量と性質が異なるため，これらの手法を画像に適用することは困難である．このような理由から，我々はグラフベースの手法を採用した．

文は被写体の説明をしている可能性が高いと仮定し，画像とその前後に出現した文の関係を表す隣接行列の成分は 1 に設定する．これにより，重要な文に隣接する画像の重要度が高くなり，文，画像ともに重要かつ関連性の高いものが選ばれやすくなると考えた．まとめると，隣接行列の各成分は次のように決定する．
sim(𝑠𝑖 ,𝑠𝑗 )⁡⁡(type(𝑠𝑖 ) = ⁡type(𝑠𝑗 ))𝑎𝑖,𝑗 = {1⁡⁡(type(𝑠𝑖 ) ≠ ⁡type(𝑠𝑗 )⁡and⁡|𝑖 − 𝑗| = 1) ⁡⁡⁡⁡(3)0⁡⁡(otherwise)
ここで，𝑠はエントリを構成する要素（文または画像）のシーケンスを表し，𝑠𝑖 はその𝑖番目5の要素を示す．
type(𝑠𝑖 )は要素𝑠𝑖 の型（文または画像），simは類似度関数を表している．なお，類似度関数は要素の型ごとに用意する．要素間の類似度計算に関しては次節で説明する．図 6 は実際に存在するエントリをもとに作成した類似度グラフである．白いノードは文，
灰色のノードは画像を表している．また，ノードの大きさは 4.2 節で説明する式(4)を用いて計算した重要度を表している．

4．旅行ブログエントリの自動要約
本研究で扱う旅行ブログエントリは，藤井らの手法により 5 種類のタイプに分類されていると仮定す
る．システムは，エントリタイプと地理的範囲を入力として，該当するエントリ集合の要約を出力する．
なお，閲覧システムの表示領域を考慮して，1 トピ
ックにつき画像 3 枚，3 文から 5 文程度の短い要約を目標とする．要約は大まかに次の手順で作成する．
1.
2.
3.

4.2 文間および画像間の類似度
エントリ集合をクラスタリング
クラスタごとに文と画像の重要度を計算
重要度が高い順に文と画像を選択

文は，文中の単語(名詞，動詞，形容詞)の tf*idf
値を要素とするベクトルで表し，類似性尺度にはコサイン類似度を用いる．画像は 2 種類のベクトルで表現し，それぞれのコサイン類似度を計算し，その平均値を画像間の類似度とする．利用するベクトル
表現は，色ヒストグラムと Bag of Visual Words ベク
トルである．
色ヒストグラムは，HSV 色空間を用いて H，S，Vの値域をそれぞれ 10，4，4 分割することで画像中の各ピクセルを 160 色に減色させ，色ごとにピクセルの出現頻度を求めることでヒストグラムを計算する．
Bag of Visual Words は画像から得られる複数の局所特徴をベクトル量子化してヒストグラムを化したものである[11]6．本研究では，まず，画像集合から SIFT
特徴量を，スケールを固定して格子状に抽出し，得られた特徴量を k-means 法によりクラスタリングする．次に，個々の画像から抽出した SIFT 特徴量を，クラスタリングにより得たセントロイドを用いてベエントリにはすでに“見る”や“食べる”といったタイプが付与されているが，ユーザが指定した範囲には，さらに複数のトピックが混在する可能性があるため，これらをグループ化する必要がある．本
研究では，最遠隣法を用いた階層的クラスタリングを行い，クラスタ間の距離が閾値以下の時にクラス
タを統合する方法をとる．なお，エントリは tf*idf
値を要素とする文書ベクトルとして扱い，距離関数
は 𝑓(𝑐𝑖 , 𝑐𝑗 ) = 1 − cos⁡(𝑐𝑖 , 𝑐𝑗 ) を 用 い る ． こ こ で ，cos⁡(𝑐𝑖 , 𝑐𝑗 )はコサイン類似度を表す．
4.1 LexRank による文と画像の重要度計算
3.2 節 で 説 明 し た よ う に LexRank （ Continuous
LexRank）は文の類似度グラフを用意して，ノードの PageRank 値を計算することで文の重要度を計算している．同様に，エントリ集合に含まれる画像間の類似度を計算し，隣接行列を用意すれば，多くのエントリに出現する物体が写った代表画像を得ることができると考えられる．本研究では，文および画像をノードとしてグラフを作成し，文と画像の重要度を同時に計算する．なお，画像の前後に出現する

ここで述べる i 番目とは，HTML より，テキス
トを文分割し画像タグも分割した断片における i
番目のことを指す．
6 Bag of Visual Words に関する詳細な説明は，
文献[12]などを参考にされたい．
5

1

観光情報学会誌，第 13 巻，第 1 号，2017 年

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約

クトル量子化ヒストグラムを作成する．

当するエントリ集合である．

4.3 タイプ情報を利用した LexRank の拡張式(5)の log の底は e とする．式(5)において，count(w,Dt) <= count(w,D) が常に成り立つので，log(1+ count(w,Dt)/count(w,D)) の値域は，log(1)以上 log(2)以下，すなわち 0 以上 loge2=0.693 以下となる．w は type t にのみ頻出する場合，count(w,Dt)/count(w,D)の値が 1 に近くなり，逆に w があらゆるタイプのエントリに出現する場
合は，count(w,Dt)よりも count(w,D)の値が大きくなり，count(w,Dt)/count(w,D)の値が 0 に近くなる．なお，log(1+ count(w,Dt)/count(w,D))単語
w のタイプらしさを表す上での係数であり，単語ごとの係数の大小関係のみが重要であるため，上述の上限値が 0.693 であることそのものについて
は特に意味はない．

旅行ブログエントリには“見る”や“食べる”などの旅行者の行動タイプが付与されているが，なかには複数の事柄に関して書かれたエントリも存在する．
例えば，食べ物に関する記述と，桜などの見て楽しむ物に関する記述が混在するエントリが要約対象であるとする．この時，ユーザがタイプ“食べる”を指定した場合は，食べ物に関して言及している文の重要度を高く，タイプ“見る”を指定した場合は桜に関する文の重要度を高く設定したい．このように，ユーザの指定したタイプと文の内容の関連度を考慮するために，biased LexRank のアプローチを導入する．ここではまず，文の“タイプらしさ”を算出する．
そして，PageRank 値を計算する際，算出したスコアを各ノード（文）へのランダムジャンプ確率に設定する．すなわち，式(2)を次のように修正する．

𝑝(𝑢) = (1 − 𝑑)+𝑑∑𝑣∈𝑎𝑑𝑗[𝑢]4.4 冗長性の削減
LexRank で計算したスコアの高い順に文を抽出す
ると，冗長性のある要約が作成される可能性がある．
Radev らは，文中の情報の包含関係(CSIS) [13]に基づき，文をリランキングすることでこれを解決している．本研究では，文を重要度順に選択する際，要素(文または画像)間の類似度に閾値を設定しておき，類似度が閾値以上の要素がすでに選ばれているときは対象要素を要約に追加しないという処理を最後に行う．

𝑡𝑦𝑝𝑒𝑆𝑐𝑜𝑟𝑒(𝑢)∑𝑣 𝑡𝑦𝑝𝑒𝑆𝑐𝑜𝑟𝑒(𝑣)𝑤𝑒𝑖𝑔ℎ𝑡(𝑢, 𝑣)
𝑝(𝑣) ⁡⁡⁡⁡(4)∑𝑧∈𝑎𝑑𝑗[𝑣] 𝑤𝑒𝑖𝑔ℎ𝑡(𝑧, 𝑣)

本研究では，上述の“タイプらしさ”（𝑡𝑦𝑝𝑒𝑆𝑐𝑜𝑟𝑒(𝑢)）をタイプに関する単語の情報利得と頻度から単語レベルで算出し，文に含まれる単語の“タイプらしさ”の最大値を文全体のスコア𝑡𝑦𝑝𝑒𝑆𝑐𝑜𝑟𝑒(𝑢)とする．単語のタイプら
しさは次のように算出する．

5．評価実験
提案手法の有効性を調べるため，2 種類の実験を行った．実験 1 では，要約そのものの品質を評価した．実験 2 では，旅行者が旅先の情報をブログ集合
から得るという状況において，ある範囲内にあるブログエントリを検索し，そのすべてを読むという状
況と比べ，検索提案手法で作成した要約がどの程度有効であるか評価した．実験 1 については 5.1 節，
実験 2 については 5.2 節でそれぞれ述べる．

𝑡𝑦𝑝𝑒𝑆𝑐𝑜𝑟𝑒(𝑤) =𝐼𝐺(𝑤, 𝑡) log (1 +𝑐𝑜𝑢𝑛𝑡(𝑤, 𝐷𝑡 ))⁡⁡(5)
𝑐𝑜𝑢𝑛𝑡(𝑤, 𝐷)

ここで，𝐼𝐺(𝑤, 𝑡)は「単語𝑤が含まれているか否か」という情報が，エントリをタイプ𝑡とそれ以外のタイ
プに分類する時のエントロピーをどのくらい減少させるかを表している7．ある単語がエントロピーを大幅に減少させるということは，それだけその単語はエントリをタイプ t に分類するかどうかに貢献する
有効な単語であると考えられる．𝑐𝑜𝑢𝑛𝑡(𝑤, 𝐷)はエン
トリ集合𝐷（要約対象のエントリではなく，コーパ
スに含まれるすべてのエントリ集合）のうち，単語𝑤を含むエントリ数を表す．また，𝐷𝑡 はタイプ𝑡に該

5.1 要約の品質の評価(実験 1)
5.1.1
実験設定
石野らの手法で収集し，藤井らの分類手法でタイプを自動付与した旅行ブログエントリを用いる．なお，旅行
ブログエントリとして適切であること，また，タイプが適切に付与されていることを人手で確認済みのエントリを用いる．日本全国 20 地点に関して地点ごとに平均 10 件のエントリを選択し，タイプごとに画像 3 枚，5 文程度の正解要約を合計 47 件人手で作成し，ROUGE [15]による評価と被験者 2 人による主観評価を行い，提案手法の有効性を検証した．
比較手法は以下の通りである．いずれの手法でも，抽7情報利得に関するより詳細な説明は，例えば，書籍[13]の 4.6.2 節を参照されたい．
1

観光情報学会誌，第 13 巻，第 1 号，2017 年

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約

出する文字数と画像の数は正解と同じになるように調整
した．
•
•

•

•

•

動評価するための指標である．ROUGE は，テキスト要約に関する評価ワークショップ TAC でも採用されているテキスト要約分野の代表的な自動評価指標のひと
つ で あ る ． な お ， 今 回 は N=1(ROUGE-1) お よ び
N=2(ROUGE-2)で評価を行った．
ROUGE に加えて，以下の観点から人手による主観評価も行った．

Lead 法（baseline）：要約対象のすべてのエントリの先頭から文と画像を抜き出す手法．
LR 法（baseline）：文と画像，それぞれの類似度グラフに対して LexRank を適用する手法．
（式 2）
LR+IMG 法：隣接する文と画像をリンクさせることで，文と画像の類似度グラフを統合したものにLexRank を適用する手法．（式 2，式 3）
LR+TYPE 法 ： タ イ プ 情 報 を 利 用 し た
LexRank（式 4）により，文の重要度を計算する
手法．
LR+IMG+TYPE 法：上述の LR+IMG 法で作成した文と画像の類似度グラフに対し，
LR+TYPE 法を適用した手法．

1.
2.

要約元のブログエントリの内容が適切にまとめられているか？
要約に含まれている画像とテキストの内容は違っていないか？

人手による評価では，原文を読んだ上で要約を読み，評価するように被験者に指示した．観点 1 は，人手による正解要約を比較手法に加えた 6 種類の要約を読み比べ，1〜6 位の順位を付けた．この評価方法は
NTCIR-3 のテキスト要約タスクでも用いられている[16]．
なお，要約がほぼ同じ場合は同一順位にすることも許可している．観点 2 に関しては，要約結果を 5 点満点で
評価した．
5.1.2
実験結果
表 2 に ROUGE による評価結果を示す．t 検定を行ったところ，LR+TYPE 法と LR+IMG+TYPE 法はベースライン手法のひとつである LR 法と比べ，有意水準5% で 有 意 に 差 が あ る こ と が 確 認 で き た ． な お ，
ROUGE-1 および ROUGE-2 による判定結果の p 値を，表 3 および表 4 にそれぞれ示す．9また，表 5 に画像の選択精度・再現率（全タイプの平均）を示す．顕
著な改善はみられないが，LR+IMG+TYPE 法が最も有効であることが確認できた．
表 6，7 に人手による主観評価の結果を示す．表 6 は複数の手法で生成した要約を被験者 2 人に良い順に並べてもらった時の平均順位を表している．表 7 はテキストと画像の内容が合っているかを 5 点満点で評価した結果である．どちらの観点でも，文と画像を一つのグラフで扱った LR+IMG 法が最も良い評価値を得ていることが分かる．また，t 検定を行ったところ，Lead 法と提案
手法（LR+IMG 法，LR+TYPE 法，LR+IMG+TYPE法）の評価値に有意水準 5%で有意差を確認することができた．

LexRank の計算は，Python で自作したコードを用いた．なお，各種パラメータは次のように設定した．エン
トリを階層的クラスタリングする際のクラスタの距離の閾値を 0.9（4 節），Bag of Visual Words ベクトルを計算する際は SIFT 特徴量のスケールを 16 ピクセルに固定
して 8 ピクセルごとにサンプリング行い，k-means 法はクラスタ数を 1,000 に設定した（4.2 節）．SIFT 特徴量の抽 出 に は ， OpenCV(http://opencv.jp/) を 用 い た ．
LexRank を計算する際のダンピングファクタは 0.85 に設定し（式 2），冗長性を削減するためのコサイン類似度の閾値は文の場合 0.9，画像の場合 0.5 と設定した（4.4節）．4.3 節で説明した単語のタイプらしさは，日本全国の要約対象外のエントリも含めた 1,836 件の旅行ブログ
エントリ（買う：147 件，見る：1,145 件，体験する：119 件，
泊まる：38 件，食べる：693 件）を用いて算出したものを用いた．
システムの出力した要約は，テキスト部分は ROUGE
による自動評価，画像に関しては精度・再現率を用いて評価する．正解画像は，要約作成者にブログエントリ集
合から代表画像を選択してもらい，それらを評価に用いる．
ROUGE-N は正解要約とシステムの出力の両方に共
通 し て 含 ま れ る N-gram 8 の 数 を ， 正 解 要 約 中 のN-gram の数で割った数値（再現率）である．すなわち，正解に含まれる情報をどれだけ網羅できているかを自

9検定には Python のモジュール
8

本実験では，単語単位で，また単語はすべて原形にして ROUGE-N の計算を行った．なお，ここで述べる N-gram とは，単語の連鎖確率ではな
く，単語の連鎖そのものを指す。

“scipy.stats.ttest_rel”を用い，対応のある t 検定を行った．
https://docs.scipy.org/doc/scipy-0.14.0/reference/
generated/scipy.stats.ttest_rel.html
1

観光情報学会誌，第 13 巻，第 1 号，2017 年

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約

表 2 ROUGE による評価結果

表 5 代表画像の選択精度および再現率

ROUGE-1

ROUGE-2

Lead 法（baseline）

0.318

0.222

Lead 法（baseline）

0.351

0.359

LR 法（baseline）

0.316

0.207

LR 法(baseline）

0.341

0.341

LR+IMG 法

0.331

0.227

LR+IMG 法

0.338

0.342

LR+TYPE 法

0.345

0.240

LR+TYPE 法

0.351

0.359

0.237

LR+IMG+TYPE 法

0.372

0.367

LR+IMG+TYPE 法

0.340

精度

表 6 要約の内容に関する主観評価

表 3 ROUGE-1 による評価における p 値

順位の平均値

Baseline
Lead

再現率

LR

提 LR+IMG
0.3993 0.1380
案
LR+TYPE
0.0791 0.0105
手法 LR+IMG+TYPE 0.1325 0.0110

正解要約

1.28

Lead 法（baseline）

4.01

LR 法（baseline）

3.09

LR+IMG 法

2.85

LR+TYPE 法

3.22

LR+IMG+TYPE 法

2.99(背景がグレーのものは有意差なし)
表 7 テキストと画像の内容の一致度に関する
主観評価

表 4 ROUGE-2 による評価における p 値
Baseline
Lead

評価値の平均値

LR

正解要約

4.33

提 LR+IMG
0.7964 0.0643
案
LR+TYPE
0.2454 0.0039
手法 LR+IMG+TYPE 0.7685 0.0381

Lead 法（baseline）

2.80

LR 法（baseline）

3.09

LR+IMG 法

3.12

LR+TYPE 法

2.96(背景がグレーのものは有意差なし)

LR+IMG+TYPE 法

3.05

LR 法と提案手法の優劣関係をカウントしたものである．
表 10 より，100 文字未満の場合は LR+IMG 法のみが優勢であるが，文字数が 100 文字以上の場合であればLR+IMG 法と LR+IMG+TYPE 法が優勢であることが分かる．

次に，要約のタイプ別に LexRank（LR）と提案手法を比較する．表 8 は人手による内容評価（順位付け）結果をもとに，LR 法と提案手法の優劣関係をタイプ別にカウントした結果である．同様に，人手によるテキストと画像の内容一致に関する評価結果をもとに，手法の優劣関係を表 11 にまとめた．なお，表の中で背景が灰色の部分は提案手法が優勢の箇所である．表 8 から，画像と文の類似度グラフを結合した手法（LR+IMG）がどのタイプでも LR よりも優勢であることが分かる．しかし，
LR+TYPE 法はどのタイプに関しても LR と比べて劣勢である．テキストと画像の内容一致に関する評価（表 9）では，タイプ“見る”に関しては LR+TYPE 法を含めたすべての提案手法が優勢であるが，“食べる”に関してはどの手法も LR 法と同等または劣っていることが分かる．同様に，要約対象エントリに含まれるテキストの量と画像の量のバランスと，要約性能の関係を調査した．表10 は，エントリに含まれる“画像あたりの文字数”別に

1

観光情報学会誌，第 13 巻，第 1 号，2017 年

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約
表 8 LexRank と提案手法のタイプ別の比較（人手による内容評価）

手法の比較

見る

食べる

買，体験，泊全タイプ

LR 法 < LR+IMG 法

12

12

4

28

LR 法 > LR+IMG 法

7

6

3

16

LR 法 = LR+IMG 法

23

12

15

50

LR 法 < LR+TYPE 法

7

9

2

18

LR 法 > LR+ TYPE 法

14

9

6

29

LR 法 = LR+TYPR 法

21

12

14

47

LR 法 < LR+IMG+TYPE 法

13

15

7

35

LR 法 > LR+IMG+TYPE 法

13

11

6

30

LR 法 = LR+IMG+TYPE 法

16

4

9

29

表 9 LexRank と提案手法のタイプ別の比較（人手によるテキストと画像の内容一致度評価）
手法の比較
LR 法 < LR+IMG 法

見る

食べる

買，体験，泊810

LR 法 > LR+IMG 法

5

LR 法 = LR+IMG 法

29

LR 法 < LR+TYPE 法
LR 法 > LR+ TYPE 法

全タイプ

4

22

10

3

18

10

15

54

6

6

2

14

4

11

7

22

LR 法 = LR+TYPE 法

32

13

13

58

LR 法 < LR+IMG+TYPE 法

12

9

6

27

LR 法 > LR+IMG+TYPE 法

9

12

6

27

LR 法 = LR+IMG+TYPE 法

21

9

10

40

5.1.3 考察
実験の結果，対象とする要約タイプやエントリに含まれる画像あたりの文字数によって最適な手法が異なることが分かった．例えば，文と画像の類似度グラフを結合する手法（LR+IMG）はどのタイプでも LR 法より性能が良いため，最適な手法であると言える．文字数別に比較すると，画像あたりの文字数が 100 文字以上であれば，LR+IMG 法よりも LR+IMG+TYPE 法の方が優れている事例が多いため，タイプ情報を用いた後者の方が適していると言える．画像あたりのテキスト量が多い時に
LR+IMG+TYPE 法の性能が良いのは，提案手法ではテキストのタイプ情報を利用しているためであると考えられる．
次に，実際に閲覧システム（図 2-5）を使用して明らかになった提案手法の問題点について述べる．まず，本研究で用いている旅行ブログエントリには複数のタイプが付与されたエントリも多く存在する．特に，タイプごとの情報量（文，画像の数）の偏りが大きいと，タイプに沿った要約がうまくできない傾向にある．たとえば，宮島
では牡蠣祭り（タイプ“食べる”）が毎年行われているが，参加者の中には，同時に厳島神社（タイプ“見る”）や，宮島に到着するまでにフェリーに乗ったことなども記述する人が多い．本研究では，この問題
を 解 決 す る た め に LR+TYPE 法 お よ び
LR+IMG+TYPE 法を提案したが，LexRank の特性上，多くのエントリで言及される事柄の重要度が高くな
りやすいため，“食べる”の要約に，船や風景画像が混入することがある．実験では，PageRank 値を計算するダンピングファクタは 0.85 に固定したが，これをエントリに含まれるタイプ情報のばらつきなどによって調整することで，この問題は解決できると考えている．
旅行ブログエントリには観光情報として有用な情報以外にも，個人的な事柄に関する記述も多く含まれるため，それらを要約から除外することも重要な課題である．エントリ数が多いクラスタに関しては，
内容の共通部分を重要箇所として検出できるが，エントリが少ないクラスタに関してはその検出が難しくなるため，観光には関係のない情報が要約に含まれる可能性も高くなる．LR+TYPE 法では，タイプに関する単語の情報利得値を用いて“タイプらしさ”を表現した．同様に，旅行ブログエントリと一般的

1

観光情報学会誌，第 13 巻，第 1 号，2017 年

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約
表 11 観光情報の収集課題における要約の有用性の評価(実験 2)に用いた課題
場所
観光
全ブログ
当該観光
タイプ
エントリ数
タイプの
ブログエ
ントリ数
厳島神社
見る
63
50
柴又
買う
26
8
上野
見る
12
4

表 10 “画像あたりの文字数”別 LexRank と提案手法の比較
手法の比較

100 文字100 文字未満

以上

LR 法 < LR+IMG 法

18

LR 法 > LR+IMG 法

106

LR 法 = LR+IMG 法

30

20

LR 法 < LR+TYPE 法

117

LR 法 > LR+ TYPE 法

20

9LR 法 = LR+TYPR 法

2720

LR 法 < LR+IMG+TYPE 法

2114

LR 法 > LR+IMG+TYPE 法

228

LR 法 = LR+IMG+TYPE 法

15

14

10

5.2 観光情報の収集課題における要約の有用性の評
価(実験 2)5.2.1
実験設定
表 11 に示す 5 地点において，表中のそれぞれの観光タイプに関する情報をブログ集合から得る，という状況を想定し，実際に情報を得るのに，どのくらい時間がかかったのか，また，得られた情報の質について，被験者による実験を行った．
実験では，被験者に以下の 3 種類のブログエント
リ集合を与え，それぞれをすべて読むのにかかった時間を算出した．




見る

102

77

高野山
広島市
(繁華街)

見る
食べる

11
37

10
36

5.2.2 実験結果
実験結果を表 12 に示す．まず，全ブログエントリ
を読むよりも，特定のタイプのエントリだけ読む方がかかる時間は短い．ただし，観光タイプだけでどの程度まで目的のブログを絞りこめるのかは地域による．例えば，高野山では寺社を見ることが観光の主目的であり，表 11 からもわかるとおり，この地域
で「見る」以外のタイプのブログはほとんど存在しない．このような場所では，観光タイプはほとんど絞り込みの役には立たない．一方で，上野や柴又のように観光スポットと飲食店が混在している地域には，複数のタイプのブログエントリが存在しうるので，観光タイプによる絞り込みが有効に機能する．

なブログエントリから，単語や表現の“旅行ブログ
らしさ”を算出し，重要度計算の際に利用すれば，上述のようなノイズを軽減できると考えられる．



浅草

表 12 観光情報の収集課題における要約の有用性の評価(実験 2)に用いた課題の実験結果(単位：分)(集合 1)ある緯度/経度の範囲にあるすべてのブログエントリ(集合 2)集合 1 のうち，特定のタイプのもの(集合 3)集合２から提案手法により自動作成された要約

さらに，提案手法により自動作成された要約の質についても調査した．実験 2 では，実験 1 のような正解データは作成していないが，被験者は各課題の地
域のブログすべてを読むことになるため，正解デー
タがなくても自動作成された要約の品質については判断できると考え，ひとつの課題が終わるごとに被験者にインタビューを行った．実験では，2 名の被験者が 1 課題につき 1 名ずつ評価した．

1

場所

観光
タイプ

全ブログ
エントリ
を読むの
にかかっ
た時間

要約を
読むの
にかか
った時
間

40

当該観
光タイ
プのブ
ログエ
ントリ
を読む
のにか
かった
時間
30

厳島
神社
柴又
上野
浅草

見る
買う
見る
見る

12
14
143

6
3
110

1
1
2

高野山

見る

27

26

1

広島

食べる

36

36

1

2

観光情報学会誌，第 13 巻，第 1 号，2017 年

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約提案手法で生成された要約については，被験者はすべての課題について 1〜2 分で読むことができた．集
合 1〜3 を読む速度は，被験者が集合 1〜3 をどの順番で読むのかにも影響されると思われるが，その可能性を考慮しても，読む速度という点において要約がある程度効率的であることがわかる．
次に被験者へのインタビューによる要約の品質に関して報告する．インタビューの結果，どの課題についても，概ね妥当な要約が作成されているということが分かった．被験者の報告によると，類似した内容のブログエントリを何度も読まなければならず，その作業に時間がかかるとのことであった．一方で，提案手法は 4.4 節でも説明したとおり，冗長性を削減する処理を行っているため，同じ内容を何度も読まなければならないという状況にはならない．
実際に作成された要約には，市販のガイドブック
や公式の観光ポータルサイトとは異なる情報が含まれていた．例えば，厳島神社の要約では，満潮時と干潮時の両方の大鳥居の写真が要約に含まれていた．
満潮時の大鳥居の写真は有名であるが，干潮時には鳥居の下まで歩いて行くことができる，ということが要約から分かる．また，毎年夏に開催される宮島
水中花火大会に関するブログエントリが要約の中で大きな割合をしめていた．これは，宮島水中花火大会に関して記述されたブログエントリが非常に多かったためである．各ブログエントリには執筆日時が記載されているので，例えば，ユーザが夏に本システムを利用する時には，夏に開催されるイベントを重点的に要約に含めるといったユーザのコンテキス
トに応じた要約作成も，将来的には可能になると思われる．このような柔軟性が，おそらく市販のガイドブックなどとの一番大きな違いになると思われる．

6．おわりに
本研究では，旅行ブログエントリ閲覧システムを構築し，ユーザが指定した地理的範囲，タイプのエントリを自動要約して提示する機能を実装した．グ
ラフベースの文の重要度計算手法である LexRank を拡張し，文と画像に適用することで画像付きの要約を作成する手法を提案した． また，タイプ情報を利用することで旅行者の目的に合った要約手法を提案
し，その有効性を実験により示した．

謝辞
本研究の一部は，総務省による戦略的情報通信研
究開発推進制度(SCOPE)の支援を受けて行われた．

[1] 石野亜耶，難波英嗣，竹澤寿幸，“旅行ブログ
エントリからの観光情報の自動抽出，”『知能と情報』，Vol.22，No.6，pp. 667-679，2010．
[2] 藤井一輝，石野亜耶，藤原泰士，前田剛，難波英嗣，竹澤寿幸，“多言語旅行ブログエントリ
を用いた観光情報提示システム，”第 6 回デー
タ工学と情報マネジメントに関するフォーラ
ム，2014．
[3] X. Wu, J. Li, and S.-Y. Neo, “Personalized
Multimedia Web Summarizer for Tourist,” Proc. ofWorld Wide Web Conference, 2008.
[4] Q. Hao, R. Cai, C. Wang, R. Xiao, J.-M. Yang, Y.
Pang, and L. Zhang, "Equip Tourists with
Knowledge Mined from Travelogues," Proc. ofWorld Wide Web Conference, 2010.
[5] 安田宜仁, 西野正彬, 片岡良治，“地理範囲とトピックに応じた動的要約生成，” 第 26 回人工知能学会全国大会，2012．
[6] G. Erkan and D. R. Radev, “LexRank: Graph-based
Lexical Centrality as Salience in Text
Summarization,” Journal of Artificial Intelligence
Research, pp. 457-479, 2004.
[7] S. Brin and L. Page, “The Anatony of a Large-scale
Hypertextual Web Search Engine,” Computer
Networks and ISDN Systems, pp. 107-117, 1998.
[8] 前田剛，難波英嗣，竹澤寿幸，“場所に焦点を当てた複数旅行ブログの自動要約，”第 7 回データ工学と情報マネジメントに関するフォー
ラム，2015．
[9] J. Otterbacher, G. Erkan, D. R. Radev, “Biased
LexRank: Passage Retrieval Using Random Walks
with
Question-based
Priors,”Information
Processing & Management, Vol. 45, Issue 1, pp.
42-54, 2009.
[10] H. Takamura and M. Okumura, “TextSummarization Model Based on Maximum
Coverage Problem and its Variant,” Proc. of the
12th Conference of the European Chapter of the
Association for Computational Linguistics (EACL‘09), pp. 781-789, 2009.
[11] G. Csurka, C. R. Dance, L. Fan, J. Willamowski,
and C. Bray, “Visual Categorization with Bags of
Keypoints,” Proc. of ECCV International Workshop
on Statistical Learning in Computer Vision, pp.
1-22, 2004.
[12] 柳井啓司，“物体認識技術の進歩,” 日本ロボット学会誌，Vol. 28，No. 8, pp. 257-260, 2010.
[13] 高村大也，“言語処理のための機械学習入門,”
コロナ社，2010．
[14] D. R. Radev, H. Jing, and M. Budzikowska,“Centroid-based Summarization of Multiple
Documents: Sentence Extraction, Utility-based
Evaluation, and User Studies,” Proc. of the
NAACL-ANLP
Workshopon
Automatic
summarization, Vol. 4, pp. 21-30, 2000.
[15] C. Y. Lin, “ROUGE: a Package for Automatic
Evaluation of Summaries,” Proc. of Workshop on
Text Summarization Branches Out, pp. 74-81, 2004.
[16] T. Fukushima, M. Okumura, and H. Nanba, “TextSummarization Challenge 2 / Text Summarization
Evaluation at NTCIR Workshop 3,” in Working
Notes of the 3rd NTCIR Workshop Meeting, PARTV, pp. 1-7, 2002.

参考文献
1

観光情報学会誌，第 13 巻，第 1 号，2017 年

学術研究論文

場所と旅行者の行動に焦点を当てた複数旅行ブログエントリの自動要約

謝辞
本研究は，総務省による戦略的情報通信研究開発推進制度(SCOPE)の支援を受けて行われた．
飯沼 俊平 （非会員）1990 年生．2014 年 広島市立大学情報科学部知能工学科卒業．
2016 年 広島市立大学大学院情報科学研究科知能工学専攻 博
士前期課程修了．2016 年 株式会
社リクルートホールディングスに入社，リクルートテクノロジーズに配属．現在に至る．検索基盤ユニットで，検索 UX 向上のための分析，検索ロジック開発，アー
キテクチャ設計に従事．
難波 英嗣 （正会員）
1972 年生．1996 年東京理科大学
理工学部電気工学科卒業．2001
年北陸先端科学技術大学院大学
情報科学研究科博士後期課程修了．博士(情報科学)．2001 年日本
学術振興会特別研究員．2002 年
東京工業大学精密工学研究所助手．同年広島市立大学情報科学部講師．2010 年広島市立大学大学院情報科学研究科准教授．現在に至る．テキストマイニン
グ，情報検索，テキスト要約に関する研究に従事．
観光情報学会，情報処理学会，人工知能学会，言語処理学会会員．
竹澤 寿幸（正会員）
1961 年生．1984 年早稲田大学理
工学部電気工学科卒業．1989 年
早稲田大学大学院理工学研究科
博士後期課程修了．工学博士．
1987 年早稲田大学情報科学研究
教育センター助手．1989 年（株）
ATR 自動翻訳電話研究所研究員．音声対話翻訳の研究開発に従事．2007 年より広島市立大学大学院情報科学研究科教授．現在に至る．音声対話や観光情報学の研究と教育に従事．観光情報学会，電子情報通信学会，情報処理学会，人工知能学会，日本音響学会，言語処理学会会員．

1

観光情報学会誌，第 13 巻，第 1 号，2017 年