DEIM Forum 2017 D3-1

マイクロブログにおける画像投稿の文脈に基づくオンデマンド検索手法
小泉

実加†

吉永

直樹††

豊田 正史††† 東京大学大学院情報理工学系研究科 〒 113-8656 東京都文京区本郷 7-3-1†† 東京大学生産技術研究所 〒 153-8505 東京都目黒区駒場 4-6-1
E-mail: †{mkoizumi,ynaga,toyoda}@tkl.iis.u-tokyo.ac.jp
あらまし

マイクロブログに投稿される大量の画像の中には，実世界で起こっている事象の理解を助けるような有用な画像も多数存在しており，画像投稿をユーザの目的に応じて効率的に収集できればユーザにとって有益となる．マ
イクロブログにおける画像検索においては，たとえば「犬の写真」のように画像中に存在する具体物に基いて検索を行いたい場合と，「地震の被害の写真」「心温まる画像投稿」のように画像投稿がなされた状況や意図，あるいはそれを見た人が返す反応や抱く感情のような，投稿が持つ文脈に基いて検索を行いたい場合がある．しかし，文脈を表現す
る説明的な語が投稿文に含まれることは少ないため，その文章情報を用いて投稿を適切な投稿文脈に紐付けるのは困難である．画像特徴を用いたとしても，類似した画像が投稿文脈に応じて異なる意味を持つことが多いため，画像から投稿文脈を獲得するのは難しい．そこで本研究では，ユーザが求める投稿文脈を持つ少数の画像投稿をクエリとして，文脈に沿って画像投稿を収集するタスクに取組む．投稿内の文章や画像の情報に加え、リプライや前後の投稿などを用いて画像投稿の投稿文脈をベクトルで表現し，入力クエリの投稿どうしのベクトル距離が小さくなるようオン
デマンドで距離学習を行うことで，投稿文脈の類似した投稿を獲得する．実験では，人手で投稿文脈への分類を行った Twitter のデータを用いて，提案手法の有効性を評価した．
キーワード

マイクロブログ，画像投稿検索，文脈獲得

1. は じ め に
現在，多くのソーシャルメディアではテキストだけでなく画像の投稿が可能となっており，投稿された画像は情報発信やている Web サイトのスクリーンショットなどが挙げられる．
このように，マイクロブログに投稿された画像はそのとき起こっているできごとに関する理解や判断を助けるための有用な情報源となる．

ユーザ同士のコミュニケーションにおいて重要な役割を果たしTwitter で投稿画像を収集する際には，たとえば「火事の写ている．画像投稿が可能なソーシャルメディアは多岐にわたり，真」のように画像に含まれる具体物に基づいて検索を行いたい

Instagram や flickr など画像投稿が主体のものも存在するが，場合もあるが，「地震の被害を写した写真」や「災害への備えに

それぞれのソーシャルメディアごとに投稿内容の傾向は異なる．

関する情報」，「心温まる画像投稿」といった，画像投稿がなさ

Twitter を始めとするマイクロブログは使い方の自由度が高く，れた状況や意図，あるいはそれを見た人が返す反応や抱く感情

その分投稿画像の内容も幅広い．実際に投稿される画像として（以下，これを投稿文脈と呼ぶ）に基いて検索を行いたい場合もは，日常の体験に関する画像，ニュース性の高い画像や情報の多い．特に，マイクロブログにおける画像投稿の特徴として上共有や拡散を目的とした画像，イラストをはじめとする創作物

述したような画像を収集する際には，投稿文脈に基づく検索がの画像などが挙げられる．

必要になることが多い．たとえば，「地震の被害を写した写真」

マイクロブログにおける画像投稿に顕著な特徴として以下のというクエリに対して，スーパーの陳列棚の商品が落下してい2 点がある．

る様子や，自宅の本棚が倒れている写真，あるいは家屋が倒壊（ 1 ） 災害や事故の瞬間を 現場で捉えた写真のような，速報

している写真など，「被害」に当てはまる様々な画像投稿が提示性のある画像が投稿されやすい．

されることが望ましい．このような文脈に基づく抽象的な検索（ 2 ） 情報伝達を主眼とした画像が投稿されやすい．

を，画像に付随する文章情報や，画像情報のみを用いて行うこ(1) は，地震や火事などが起こった際に，たまたま現場に居合とは困難である．以下でその理由を述べる．

わせたユーザがその様子を撮影した画像を投稿するものである．

まず，投稿文を対象として検索を行う場合，「地震の被害」や報道機関が現場で撮影する映像より即時性が高いため，マイク「心温まる画像」などの具体性に欠く検索語は投稿文中に出現ロブログに投稿された画像がテレビや新聞の報道で利用される

しにくいという問題や，画像の内容を説明する十分な文章情報

こともある．(2) に関しては，マイクロブログには知識や注意が付随しているとは限らないという問題が存在する．特に，マ喚起などを広めることを目的とした投稿も多く，その伝達性のイクロブログにおける画像投稿の特徴 (1) で挙げたような写真向上のために画像が利用されることがある．具体例としては，は急いで投稿されることが多く，さらに写真からある程度状況

災害時の対処法を図解したイラストや，有用な情報の掲載されが理解できることから，説明が不十分であることが多い．一方

で画像を検索対象とした場合，画像が類似していても投稿文脈て拡張している研究について述べる．

が異なる場合や，逆に画像が類似していていなくても投稿文脈

2. 1 文章を用いた画像検索が同じ場合があり，画像特徴は投稿文脈の推定に十分ではない．

画像や動画など多様なメディアを扱うソーシャルメディアのたとえば，愛犬の日常を捉えた写真と保護された迷子の犬の写普及に伴い，テキストから画像を検索するようなクロスモーダ

真は，画像自体は似ているものの投稿意図は異なる．

ル検索の必要性が高まり，多くの研究がなされている．

そこで投稿文と画像の両方を用いて検索を行うことを考える

テキストを用いた画像検索手法に関しては，正準相関分析をと，今度は検索の際にどの特徴量を重視するべきかはクエリのはじめとする手法でテキスト特徴と画像特徴を同一空間にマッ

投稿文脈によって異なるという点が問題となる．例を挙げると，

ピングし，その空間内で近接するデータを検索結果とする手自然災害が発生した際に投稿されることが多い「災害の備えに

法 [2] [3] や，異なるモダリティのデータの結合分布を学習する

関する情報」という文脈の画像投稿に関しては，災害時に道具ことで画像とテキスト間の相関を得る手法 [4] などがある．まがない状態で米を炊く方法の手順を示す画像から，避難時に持た，画像と文章のより複雑な対応関係を捉えるため，深層学習

ち出すべきものリストの画像まで様々な表層的特徴を持つ画像

によってモダリティ間のマッピングを非線形に行う手法 [5] [6]が存在する．そのため，画像情報よりも文章情報を重視する必も提案されている．これらの研究が対象としているのは，文章要がある．一方で，「被災地への応援イラスト」という文脈の画と画像の表現の間で表層的な対応がとれているデータであり，像投稿では，同じキャラクターを扱ったイラストが多いなど画Twitter のように，文脈次第で表層が類似した画像に全く異な像に類似性があるため，画像特徴も重要となる．

る文章が付与されたり，逆に全く異なる画像に似た文章が付く

そこで本研究では，マイクロブログとして Twitter を取り上げ，Twitter における画像投稿を投稿文脈に基いて収集するこようなデータに対してそのまま適用するのは困難である．

2. 2 マイクロブログの投稿推薦とを目的とし，上で述べた課題に対処した手法を提案する．ま

本研究では，投稿文脈を収集するためのクエリとして，テキず，投稿文脈に基づく検索では単語や画像をクエリとして用い

ストではなく，目的とする投稿文脈を持つ既知の画像投稿を用ることが困難であることから，投稿文脈を表現するクエリとしいる．これはマイクロブログ上の投稿推薦に近いタスクであるて，目的とする投稿文脈を持つ既知の少数の画像投稿を用い，といえる．しかし以下で挙げる既存研究はいずれもユーザの過クエリ投稿と文脈が類似している画像投稿を獲得するというタ

去のリツイートの特徴からそのユーザの興味を引きそうな投稿

スクを設定する．提案手法では，画像投稿内の文章と画像に加を推薦するというものであり，本研究のように任意に選んだ投え，投稿内の文章に不足する情報を補うため，その前後に投稿稿をクエリとするものではない．

されたツイートやその投稿に対する他ユーザの反応のツイート

投稿推薦タスクへの取り組みとしては，まず，ユーザとそのを用いて画像投稿の投稿文脈ベクトルを構築する．この投稿文

ユーザが過去にリツイートした投稿の関係を利用して協調フィ

脈ベクトルを利用して，検索対象の画像投稿の中から，クエリ

ルタリングを適用するものが挙げられる [7] [8] [9]．投稿されたの投稿と投稿文脈ベクトル間距離の近いものを検索結果としてばかりでユーザの反応がまだ少ないツイートに関しては，どの取り出す．ここで，ベクトル間の距離を計算する際にクエリのようなユーザに好まれるかの情報が存在しないことから，ツ性質に応じてその各次元に重み付けを行うことで，重視する特イート内の単語とユーザ間の関係を用いた手法 [7] や，ハッシュ

徴量の調整を行う．次元ごとの重みは，クエリとして与えられタグとユーザ間の関係を用いた手法 [8] などが用いられている．

た投稿について，それらの投稿文脈ベクトル間の距離が近くな

また，文脈を考慮した画像投稿推薦に関する研究としては，るように距離学習 [1] を行うことでオンデマンドで算出する．

投稿文章に加え，画像を OCR したデータ，URL が投稿に含実験では，多数の文脈で関連画像が投稿され，それらが多くまれる場合はそのリンク先の内容，画像を Google 画像検索にの有用な情報を含んでいたできごととして熊本地震を選び，熊かけた結果を画像の文脈として用いて画像投稿の推薦タスク

本地震に関する複数の文脈について画像投稿の検索を行い，手に取り組んだものがある [10]．この手法では，特徴量の性質か法の性能を評価した．まず，熊本地震が発生した時期の画像投ら，画像中に文章が含まれるような加工済み写真やスクリーン

稿を約 1 万件収集し，その一部を投稿文脈で分類してデータ

ショット，ニュース記事などの外部ページの写真，既に検索エセットを構築した．そして，各文脈について画像投稿の検索をンジンで内容の推測が可能な内容を捉えることに特化しており，行い，提案手法の有効性の確認と提案手法が有効な文脈の検証．

一般ユーザが投稿した写真や出現したばかりのトピックの文脈

クエリの投稿数を変化させたときの検索性能の評価を行った．

の考慮は難しい．

2. 関 連 研 究

2. 3 マイクロブログにおける文脈情報の利用
Twitter には，一投稿あたりの文章量が少ないために同一の投稿文脈を考慮した Twitter における画像投稿検索という目トピックに関する投稿を連続した複数の投稿に分けることが多的に対して，本研究では画像投稿をクエリとするタスクを設定

い，リツイート機能により他人の投稿に対するコメントが気軽している．同様のタスクに取り組んだ研究は筆者の知る限りでに行える，といった特徴があり，対象となる投稿以外に，そのは存在しないため，本章ではまず，テキストをクエリとした画

内容を理解するのに役に立つ投稿が存在する．そのため，投稿像検索および Twitter における投稿推薦に関する研究についてが持つ文脈を表現するツイート資源として，同一ユーザが同じ述べ，その後，Twitter における投稿の内容を関連投稿を用いトピックについて行った前後の投稿や，投稿に対する他のユーザの反応を利用できる．ここでは，それらの文脈情報の収集やたものの分散表現の平均をとった．分散表現は画像投稿を収集活用を行っている研究について述べる．

した期間のツイートで学習を行うことで，その期間に適応的な同一ユーザの連続した投稿におけるトピックの共有に着目し表現を獲得するものとする．

た研究としては，LDA を用いてツイートのトピック分類を行

ま た ，画 像 情 報 と し て ，Convolutional Neural Network

う際に隣接する投稿が一定確率で連続していると仮定する手(CNN) を用いた画像分類のためのモデル AlexNet [16] に，投法 [11] や，時間的に連続するツイートが同文脈で投稿されたか

稿中の画像を入力した際の第 7 層における出力を用いる．これを判別する研究 [12] が挙げられる．また，特定の投稿に対するは 4096 次元のベクトルとなる．モデルとして，ImageNet デー

ユーザの反応を用いてその性質の分類を行っている研究として

タにおける学習済みモデル [17] を用いた．画像投稿中に複数のは，ある投稿が人を笑わせることを目的に投稿された「ネタ投画像が含まれる場合は，1 枚目の画像のみを用いた．文章と画稿」であるかどうかの判別を行ったもの [13] がある．[13] にお像両方の情報を併用する際には，PCA (Principal Component

いてはユーザの反応として投稿へのリプライ，引用リツイート

Analysis) を用いて次元圧縮を行い，文章情報に基づいて構築のコメント，リツイートした直後の投稿内容を利用して二値分したベクトルと次元数を統一する．

3. 1. 2 関連投稿のベクトル表現

類問題を解いている．

以下で述べる 3 種類の関連投稿の文章をそれぞれベクトル表

3. 提 案 手 法

現する．ベクトルの構築方法は，投稿本文ベクトルの構築方法

本章では，クエリとして与えられた画像投稿と類似する文脈に準じる．各関連投稿の定義を以下に示す．

を持つ投稿を収集するための手法について述べる．全体の流れ

同一ユーザの周辺投稿[12] より，同一ユーザの投稿においてとしては，は，時間的に近接した連続する投稿は文脈を共有している可（ 1 ） クエリおよび検索対象の画像投稿を，投稿文脈を表す

能性が高い．そこで，対象となる画像投稿の前後について，投ベクトル表現に変換する．

稿間隔が 3 分以内である一連の通常ツイート（リプライ，リツ（ 2 ） (1) のクエリ投稿のベクトル表現を用いてオンデマン

イート，引用リツイートを除いたツイート）をまとめて周辺投ドで距離学習を行い，そのクエリに適した距離行列を学習する．

稿とし，投稿文脈として利用する．投稿間隔が 3 分以内である（ 3 ） (2) の距離行列を用いてクエリと画像投稿の距離を計

一連のツイートというのは，たとえば対象投稿の 2 分後と 4 分

算し，クエリと距離が近い投稿を類似文脈投稿とする．

後に投稿があれば，その両方を指す．リプライやリツイートはの 3 ステップである．以下でそれぞれの手順の詳細を述べる．

そこで話題が切り替わる可能性が高いため，それらが現れたらそれ以前/以降のツイートの収集を止める．また，URL を含む

3. 1 投稿文脈のベクトル表現
単体の画像投稿に含まれる情報は少ないため，その投稿を取ツイートは，外部 Web ページの共有や何らかの Web サービス

り巻く数種類の投稿を併せて用いて，画像投稿の投稿文脈のからの連携投稿である場合が多く，やはり話題が切り替わる可ベクトル表現を構築する．投稿文脈は，ユーザがどのような状能性が高いため，URL を含むツイートが現れた段階で同様に

況・意図でその投稿を行ったかという投稿経緯と，投稿に対し収集を止める．

て他のユーザがどのような反応をしているかという投稿の受けリプライ対象となる画像投稿に対して投稿されたリプライを，止められ方という 2 つの要素から構成されるとする．前者を表

その投稿に対する他ユーザの反応として扱う．

すものとして，画像投稿自体に加えて，投稿の時間的前後にそリツイートに対する反応 Twitter においては，ユーザがリツのユーザがどのような投稿を行ったかという情報を用いる．後イートの直後にその内容に関するコメントを投稿することが者を表すものとして，他のユーザがその投稿にどのようなリプ多い [18]．そのため，リツイートから 3 分以内に投稿された通ライを送っているか，また，その投稿をリツイートした時にど常ツイートをリツイートに対する反応として利用する．周辺投のような反応をしているかという情報を用いる．以下で各特徴

稿と同様に，話題が切り替わっている可能性の高い，URL を

量の詳細を述べる．

含むツイートは除外する．リプライは，その内容がリプライ

また，以下の各特徴量のベクトルは，それぞれ 0-1 の範囲で元のツイートに関連している確率は非常に高い．しかしなが要素の正規化を行ったうえで連結することでその画像投稿の投ら，Twitter においてリプライの頻度は低く，それだけで十分稿文脈を表現するベクトルとする．

なデータ量を確保することは難しい．一方で，リツイート後の3. 1. 1 画像投稿自体のベクトル表現

投稿は，その内容がリツイートに関係している確率はリプライ

投稿文のベクトル表現として，文中の単語の分散表現（CBOWに比べて下がるものの，リプライより多くの投稿を安定して収に基づく word embedding [14] を採用）の平均を用いる．投稿（注 1）

文中の単語は，形態素解析器 MeCab

および MeCab 用辞書

集することができる．

3. 2 オンデマンド距離学習の Neologd [15] を使用して投稿文の形態素解析を行い，単語分

投稿文脈のベクトル表現は，投稿の本文及び画像，関連投稿割を行うことで獲得した．そのうち，名詞（一般名詞および固のベクトルを連結したものであり，クエリによって重視する特有名詞），動詞，形容詞，形容動詞からストップワードを除い

徴量が異なると考えられる．たとえば似たリプライをもらいやすい投稿文脈ならリプライ，画像が似ている投稿なら画像の次（注 1）：http://taku910.github.io/mecab/

元に投稿間距離の計算時に重みをかけることで，それらの次元

の要素が類似している投稿との類似度をより高めることがで

表 1 リプライ数の分布
リプライ数

きる．
この次元の重みを学習する手法としては，距離学習 [1] を用

投稿数

0

1

2

3

4

5

6-10 11-20 21-

3166 2355 1267 792 458 325

いる．距離学習は主にクラスタリングにおいて用いられる半教

637

205

40

表 2 周辺投稿数の分布

師あり手法で，分類対象のデータの一部にラベル付けを行い，周辺投稿数

それらのうち，同じラベルを持つ要素同士の距離が近く，異な

投稿数

0

1

2

3

4

5

7558 920 309 142 72 36

6-10 11-20 2193

72

43

るラベルを持つ要素動詞の距離が遠くなるよう，距離行列を学
表 3 リツイートへの反応投稿数の分布

習するものである．本研究では，距離学習の手法として Large

Margin Nearest Neighbor (LMNN) [19] を用いた．LMNN で

反応投稿数

0-9

10-19 20-29 30-39 40-49 50-99 100-199 200-

投稿数

1507

2078

1567

1027

681

1360

668

357

は，異なるクラスタに属する要素同士が大きなマージンを持つ
ようにしつつ，K 近傍の要素は同じクラスタに属するように距
離行列の学習を行う．
距離学習時には，与えられるクエリに含まれる投稿を全て同じクラスに属する要素として扱い，クエリとは投稿文脈の異なる投稿を異なるクラスに属する要素として扱う．クエリと投稿文脈の異なる投稿は，投稿文が 30 字以上の画像投稿の中から，その投稿文ベクトルとクエリの画像投稿の投稿文ベクトル間のユークリッド距離が小さい順に一定の数を取得して用いた．本文の長さに閾値を設けたのは，本文が長いほど内容に具体的な内容の説明が含まれる可能性が高くなり，投稿文ベクトルの信頼度が上がるためである．

4. 実

験

実験では，まず多様な関連画像が投稿されるようなできごとが発生した前後の期間の画像投稿を収集し，そのできごとに関する画像投稿を投稿文脈に人手で分類することで画像投稿デー
タセットを構築した後，それぞれの投稿文脈に基づく画像投稿
検索を行い，その評価を行った．

4. 1 実 験 設 定
4. 1. 1 評価用データセット
評価実験用に独自に構築した Twitter データセットについて述べる．以下で使用したデータはいずれも筆者が所属する研究室において継続的に収集・蓄積しているツイートデータから抽出したものである．このツイートデータは，約 278 万のツイー
ト公開ユーザの投稿を継続的に収集したものであり，収集対象のユーザとしてまず，2011 年 3 月に 30 名程度の著名な日本人ユーザを選択し，それらのユーザがメンションやリツイートを行ったユーザをさらに再帰的に収集対象とし，順次拡大していったものである．
今回の実験では，多数の文脈で関連画像投稿が行われ，有用な投稿が多く観測されたできごととして熊本地震を選んだ．熊
本地震は主に 2016 年 4 月 14 日から 16 日にかけて熊本県及び大分県で相次いで発生した最大震度 7 の一連の地震である．
地震が発生した日を含む，2016 年 4 月 11 日から 4 月 23日までの 2 週間において，その期間中にリツイートされた回数が上位の 10,000 件の画像投稿を抽出し，そこから画像が取得できなかった投稿を除いた 9245 件を画像投稿データセットとした．リツイート回数上位の投稿を収集したのは，リツイート
回数が多ければ，その投稿に価値を見出したユーザの数も多いと考えられるためである．次に，上記のリツイート回数上位の

画像投稿データに対して，それらの投稿へのリプライ，周辺投稿，リツイートへの反応投稿を収集した．リプライに関しては，
リツイート数の多いツイートに自動でリプライを飛ばすような

bot アカウントからの投稿は除外した．その結果，リプライが取得できたのは 6079 件，周辺投稿が取得できたのは 1687 件であった．独自に収集したツイートデータから抽出しているため，リプライやリツイートへの反応については特に，実際よりも少ない投稿しか獲得できていないものが多い．それぞれ収集した数の分布を表 1，表 2，表 3 にまとめた．表より，周辺投稿が取得できている投稿は全体の約 15 ％と非常に少ないことが分かる．一方，リツイート直後の投稿は安定してある程度の数を集めることができている．
評価用に，上記データセットからランダムに選択した 2500
件を検索対象投稿とし，同じ投稿文脈を有する画像投稿の分類を筆者が手動で行うことで投稿文脈を付与した．これらの投稿のうち，熊本地震に関する投稿全てを投稿文脈によって分類し，その中からその文脈に属する画像投稿が多い代表的な投稿文脈について，それらに基づく画像投稿の検索実験を行うこととした．以下で，その 9 文脈について詳細を述べる．また，各文脈の代表的な画像投稿を図 1 に，投稿数の分布を表 4 に示す．各
投稿文脈のラベルは筆者が分類した投稿文脈に対し，便宜的に付与したものである．
災害時に役立つ情報

災害時の安全や生活環境の改善のための知識を与える投稿．たとえば避難所にあるもので作れる簡易オ
ムツの作り方の図解，避難時に持ち出すものリスト，地震における避難の際にペットをどう扱えばよいのかという情報をまとめた画像などを含む．
被災者に役立つ情報

給水や炊き出し，避難所の案内，被災地

で空き巣が出現しているという注意喚起の文章のスクリーン
ショットなど，即時的に被災者に役に立つ投稿に加え，上記の災害時に役立つ情報を合わせたもの．
地震の情報

地震の速報や震度の情報，あるいは活断層の位置の解説など，地震に関する情報を伝える投稿．報道機関のアカ
ウントが発信したものや，テレビや Web サイトのスクリーン
ショットを投稿したものなどがある．
地震の被害

地震被害に立ち会ったユーザが投稿した，地震の被害を写した写真．スーパーの棚やユーザ自身の家の本棚が崩れている写真や，熊本城が崩れている写真など．
マスコミ批判

被災地でのマスコミの振る舞いを批判するもの

被災者の役に立つ情報

災害時に役に立つ情報

迷子のペット

マスコミ批判

熊本駅前、ホテルニューオー
タニの 1 階で、生活用水、飲み水無料無制限で支給してます。現在 1 人もいません。移動できて水が必要な方は 是非
行かれてください。

救助が必要な方はこのようにして ツイートを！ 特に熊本の方で救助が必要な方は このようにツイートを！

熊本市 南区 田崎のローソ
ンに迷子の犬がいました。
拡散お願いします。

ロータリーに 群がる報道陣とか本当に邪魔で邪魔で仕方が無いんですよ。ただでさえ運搬でてんやわ んやしてるのに搬入スペースをこの人達で半分無くしてるんですよ（出典 : https://t.co/cCpdOq2KCS）（出典 : http://t.co/X8rZLBDyfD ）（出典 : https://t.co/YG0AS0fAju）

地震の情報（出典 : https://t.co/q5DW5HVOqq）

地震の被害

応援

いい話

（再掲）午前 3 時頃の地震で、台湾海軍の軍艦「高雄」の震度 5 強を熊本県阿蘇地方
艦長さんが FB にアップさ
スーパーなうなんだけれていた画像。（中略）「熊で観測しました。この地震
本縣…加油！！早日從地震
による津波の心配はありま
どやばい事になってる
災害中走出來！！」（原文）（出典 : https://t.co/jJZEtRQlQD ）せん。
と のメッセージも頂いてい（出典 : https://t.co/V62LrADVeT ）ます。
（出典 : https://t.co/z4L47YwDa2）

自衛隊などの災害出動

避難所で「ガラス踏んだ
足指を手当てしましょう
か」と話しかけたお医者さん。近くの病院まで連れて行かれ、レントゲン
取って麻酔後摘出し縫合までしてくれた。
（後略）（出典 : https://t.co/UMgyBHuvr9）

空輸航空団は本日、日本政府による熊本地震被災地救援活動を支援するため、2機の C-130 と乗員を九州地方へ派遣しました。大型
車両と千歳基地からの人員を輸送します。

（出典 : https://t.co/ZQsY6bDDDc）

図 1 熊本地震における代表的な投稿文脈の投稿例

表 4 代表的な文脈における画像投稿数のツイートを用いて 100 次元の単語の分散表現を学習した．投被災者に役立つ情報65

稿文のベクトル表現と画像のベクトル表現を連結する際には，災害時に役立つ情報32

画像ベクトルを 100 次元に次元削減した．

地震の情報

60

地震の被害

41

迷子のペット25

自衛隊などの災害出動

31

述べた方法で 100 件取得した．距離学習の実装は python のいい話（支援や応援への感謝・評価）

24

metric-learn ライブラリ（注 2） を用いた．検索対象の画像投稿と応援

82

クエリの間の投稿文脈ベクトルの距離は，学習した距離行列を

マスコミ批判15

用いて計算したクエリ内の各投稿との距離を全て足し合わせた

4. 1. 3 距 離 学 習
クエリの投稿を正例とし，負例は全データセットから 3. 2 でものとした．
や，記者の Twitter の投稿における配慮にかけた振る舞いを避

4. 2 実 験 結 果

難するものなど．テレビのスクリーンショットや文字ベースの4. 2. 1 文脈ごとの性能評価
以下で述べる各手法について，各文脈で画像投稿検索を行っ画像が多い．
熊本地震では，「#くまモン頑張れ絵」というハッシュタ

た．1 つのクエリに用いる画像投稿の数は 3 件とし，各投稿文

グで，熊本への応援のメッセージを伝えるくまモンのイラスト

脈で 4 種類のクエリを用いて検索を行った. このときの，検索が多く投稿された．そのような，熊本への応援メッセージを表

結果の上位 30 件における正答数の平均によって評価を行う．

現する投稿．イラストが大部分を占める．

その結果を表 5 に示す．なお，その文脈の正答数と平均の差の迷子のペットの情報

地震によって逃げたペットを探している最大値を ± の後に記している．実際の Twitter における運用

人や，逃げてきたペットを預かっている人による，その情報をではリツイートで見かけた投稿をクエリとする機会が多くなる伝えるための投稿．

ことが予測される．すなわち，リツイートの頻度が高い画像投応援

被災地で活動する稿ほどクエリになりやすいと考えられる．そこで，本研究にお自衛隊や支援物資を送ってくれた人への感謝を述べる投稿など．

いてクエリを選択する際も，その文脈の投稿をリツイートの多自衛隊などの災害出動

い順に並べ，上位から順に重複なく 3 つづつ， 4 パターン取得

いい話（支援や応援への感謝・評価など）

自衛隊や海上保安庁，在日米軍などによる災害出動に関する画像投稿．大部分がそれらの期間の公式した．

アカウントから投稿されたものである．

ベースライン

投稿内の文章のみを利用し，距離学習を行わ

4. 1. 2 投稿文脈ベクトル
リツイート回数上位の画像投稿データと同期間の約 670 万件（注 2）：https://all-umass.github.io/metric-learn/index.html

表5

文脈ごとの top30 正答数の平均
投稿文脈

手法

迷子のペット

災害時に役立つ情報

応援

いい話

被害

災害出動

地震の情報

マスコミ批判

ベースライン

17.0±2.0

3.0±3.0

10.0±6.0

5.25±2.25

2.25±2.25

13.5±2.5

19.25±1.75

2.25±2.25

被災者に役立つ情報15.5±5.5

ベースライン+画像

12.75±5.25

2.75±1.75

6.25±3.75

1.5±1.5

3.0±3.0

12.0±4.0

18.25±2.25

1.25±1.25

9.75±4.25
15.75±6.75

本文

14.0±4.0

8.75±1.75

11.25±4.75

1.5±1.5

6.5±3.5

16.0±3.0

20.5±1.5

3.25±3.75

本文+画像

8.25±2.75

4.5±2.5

6.75±4.25

0.5±1.55.75±3.75

14.0±1.0

20.5±4.5

1.0±1.0

10.0±7.0

本文+関連投稿

11.0±1.0

6.5±3.5

13.0±3.0

1.75±1.25

10.25±6.25

14.5±1.5

21.25±2.25

5.25±2.75

10.75±5.75

本文+関連投稿+画像

8.25±2.25

4.25±0.75

7.0±2.0

1.75±1.75

8.0±7.0

13.5±1.5

21.5±2.5

2.5±2.5

8.5±5.5

ない

位置を示した地図など類似したものが多かったため，画像投稿

ベースライン+画像 投稿内の文章と画像を利用し，距離学習が有効に働いている．

を行わない
本文

投稿内の文章のみを利用し，距離学習を行う

本文+画像 投稿内の文章と画像を利用し，距離学習を行う
本文+関連投稿

投稿内の文章に加え関連投稿を利用し，距離

本稿では，マイクロブログにおける投稿文脈に基づく画像投稿獲得を目的とし，所望の投稿文脈を持つ複数の画像投稿自身をクエリとして，類似投稿文脈を持つ画像投稿を獲得するタス

学習を行う
本文+関連投稿+画像

5. まとめと今後の課題

投稿内の文章と画像に加え関連投稿を利用し，距離学習を行う

クを設定した．そして，多様な関連投稿を用いて投稿内容を拡張して投稿ベクトルを構築し，クエリ内の投稿ベクトル間の類

表 5 より，「迷子のペット」および「いい話」文脈以外の 7 文

似度が高くなるようオンデマンドに距離学習を行った後，検索

脈で距離学習の効果が確認できた．また，「応援」「地震の被害」

対象の投稿ベクトルとの類似度を計算し類似度の高い投稿を収「地震の情報」「マスコミ批判」文脈において関連投稿の効果が集する手法を提案した．実験では，実際の Twitter の画像投稿確認できた．一方で「災害時に役に立つ情報」「被災者の役に立に文脈のアノテーションを行ったうえで各文脈について投稿検つ情報」「災害出動」といった文脈の投稿は，本文のみを用い索を行い，多くの文脈で距離学習および関連投稿が有効である

たほうが正答数が多い．これらの文脈の投稿は，情報の伝達をことを確認した．

主眼とし，本文中に多くの情報が含まれていることが多い．し今後の課題としては，まず，より Twitter に適した画像特徴

かし，各特徴量の重みとして働く距離行列の要素の合計を見るの利用やリツイートへの反応のノイズ軽減，投稿を行ったユーと，これらの文脈ではリプライとリツイートへの反応に本文よ

ザやリツイートをしたユーザの情報の利用など，利用する特徴

りも大きな重みが付与されていた．特にリツイートへの反応は，量の改善・拡張が挙げられる．次に，クエリの投稿数が少ない

リツイートに関係ない内容の投稿も多く含まれるため，ノイ

場合や，クエリに含まれる投稿の表層的な特徴の分散が大きい

ズとして働きうる．一方で，画像情報の利用はほぼ全ての文脈時に過学習を避けるため，次元ごとではなく，特徴量ごとに重において精度を下げる結果となっている．今回用いた画像特徴

み付けをする距離学習を行うことを検討している．また，本文は CNN の学習済モデルの中間層であったが，このモデルは一に十分な情報を含むような，本文の情報のみを用いた場合に非般画像認識のための ImageNet データセットで学習されたもの

常に高い精度を示す文脈も存在したことから，距離学習に加え，で，学習データには Twitter にアップロードされているようなクエリ内の投稿の単語の重複や文章長など，より表層的な文章

イラストやスクリーンショットなどは含まれていないため，よ特徴から特徴量への重み付けを行う手法も検討したい．

り Twitter の画像に適した画像特徴を選ぶ必要があるだろう．

4. 2. 2 クエリの投稿数の変化と正答数
クエリの投稿数を変化させた場合の正答数の変化を，図 2 に示す．これは，各文脈について，まずリツイート数上位の 2 投稿をクエリとし，その後リツイートが多い順に順次 1 投稿ずつクエリを拡張してそれぞれのクエリにおける正答数を数えたものである．
「応援」や「被害」は文章の少ない投稿が多く，文章ベースの検索が難しい文脈であるが，提案手法ではクエリの投稿数が少ない段階で有効性を示している．
「被災者の役に立つ情報」「災
害時の役に立つ情報」はクエリ数の増加に伴い関連投稿を利用した際の精度が上昇する．特徴量ごとの重みを確認すると，クエリの投稿数が少ない時点ではリツイートへの反応への重みが大きかったが，投稿数の増加に伴い本文への重みも増加している．また「地震の情報」の画像は．震度を示した地図や断層の文

献[1] Liu Yang and Rong Jin. Distance metric learning: A comprehensive survey. Michigan State Universiy, Vol. 2, No. 2,
2006.
[2] Nikhil Rasiwasia, Jose Costa Pereira, Emanuele Coviello,
Gabriel Doyle, Gert RG Lanckriet, Roger Levy, and Nuno
Vasconcelos. A new approach to cross-modal multimedia
retrieval. In Proceedings of the 18th ACM international
conference on Multimedia, pp. 251–260. ACM, 2010.
[3] Yunchao Gong, Qifa Ke, Michael Isard, and Svetlana Lazebnik. A multi-view embedding space for modeling internet
images, tags, and their semantics. International journal ofcomputer vision, Vol. 106, No. 2, pp. 210–233, 2014.
[4] David M Blei and Michael I Jordan. Modeling annotateddata. In Proceedings of the 26th annual international ACM
SIGIR conference on Research and development in informaion retrieval, pp. 127–134. ACM, 2003.
[5] Fei Yan and Krystian Mikolajczyk. Deep correlation formatching images and text. In Proceedings of the IEEE Con-

凡例

本文
本文+画像
本文+関連投稿
本文+関連投稿+画像
ベースライン30

30

被災者の役に立つ情報

25

30

災害時に役に立つ情報

25

20

20

20

15

15

15

10

10

10

5

5

5

0

2

3

4

5

6

7

8

9

30

0

2

3

4

5

6

7

8

9

30

マスコミ批判

25

0

25

20

15

15

15

10

10

10

5

5

5

3

4

5

6

7

8

9

30

0

2

3

4

5

6

7

8

9

30

応援

25

0

いい話

25

20

15

15

15

10

10

10

5

5

5

3

4

5

6

7

8

9

0

2

5

6

7

8

9

3

4

5

6

7

8

9

2

3

4

7

8

9

自衛隊などの災害出動

25

20

2

4

30

20

0

3

地震の被害

25

20

2

2

30

地震の情報

20

0

迷子のペット

25

5

6

7

8

9

0

2

3

4

5

6

図 2 クエリの投稿数と正答数（縦軸: 正答数, 横軸: クエリの投稿数）

[6]

[7]

[8]

[9]

ference on Computer Vision and Pattern Recognition, pp.
3441–3450, 2015.
Andrej Karpathy, Armand Joulin, and Fei Fei F Li. Deepfragment embeddings for bidirectional image sentence mapping. In Advances in neural information processing systems,
pp. 1889–1897, 2014.
Kailong Chen, Tianqi Chen, Guoqing Zheng, Ou Jin, Enpeng Yao, and Yong Yu. Collaborative personalized tweet
recommendation. In Proceedings of the 35th international
ACM SIGIR conference on Research and development in
information retrieval, pp. 661–670. ACM, 2012.
Wei Feng and Jianyong Wang. Retweet or not?: personalized tweet re-ranking. In Proceedings of the sixth ACM
international conference on Web search and data mining,pp. 577–586. ACM, 2013.
Liangjie Hong, Aziz S Doumith, and Brian D Davison. Cofactorization machines: modeling user interests and pre-

[10]

[11]

[12]

[13]
[14]

dicting individual decisions in twitter. In Proceedings ofthe sixth ACM international conference on Web search anddata mining, pp. 557–566. ACM, 2013.
Tao Chen, Xiangnan He, and Min-Yen Kan. Context-aware
image tweet modelling and recommendation. In Proceedings of the 2016 ACM on Multimedia Conference, pp. 1018–
1027. ACM, 2016.
中村直哉, 笹野遼平, 高村大也, 奥村学ほか. 隣接するツイート間の関係を考慮したマイクロブログのトピック推定. 研究報告自然言語処理 (NL), Vol. 2012, No. 4, pp. 1–6, 2012.
新谷歩生, 関洋平, 佐藤哲司. 投稿間隔に基づくマイクロブログ
からの話題チャンク抽出に関する一検討. In DEIM Forum, 第2011 巻, 2011.
林田宗一郎, 牛尼剛聡. ユーザの反応を利用したネタツイート自動分類手法. In DEIM Forum, 2014.
Tomas Mikolov, Kai Chen, Greg Corrado, and Jeﬀrey Dean.
Eﬃcient estimation of word representations in vector space.

arXiv preprint arXiv:1301.3781, 2013.
[15] Sato Toshinori. Neologism dictionary based on the language
resources on the web for mecab, 2015.
[16] Alex Krizhevsky, Ilya Sutskever, and Geoﬀrey E Hinton.
Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pp. 1097–1105, 2012.
[17] BVLC AlexNet Model. http://dl.caffe.berkeleyvision.
org/bvlc_alexnet.caffemodel.
[18] 塚本悠馬, 笹野遼平, 高村大也, 奥村学ほか. マイクロブログ上の告知投稿に対する非明示的な関連投稿の収集. 研究報告自然言語
処理 (NL), Vol. 2013, No. 14, pp. 1–8, 2013.
[19] Kilian Q Weinberger and Lawrence K Saul. Distance metric learning for large margin nearest neighbor classification.
Journal of Machine Learning Research, Vol. 10, No. Feb,
pp. 207–244, 2009.