ウェブ上の画像・映像・⾳楽のマルチメディアデータからの知識発⾒ - NII SEEDs / 国立情報学研究所

研究シーズ2017情報メディア科学

# ウェブ上の画像・映像・⾳楽のマルチメディアデータからの知識発⾒

ユ イコンテンツ科学研究系 助教

研究分野マルチメディアデータマイニング／マルチモーダル解析／深層学習

## 研究背景・目的

技術進歩によって、ユーザーはいつでもどこでも写真やビデオで撮影してウェブ上に共有したり、ウェブ上の写真・歌曲などに対してコメントしたりすることができるようになり、大量のデータがソーシャルプラットフォーム上に蓄積されつつあります。ユーザーのマルチメディアデータの作成・閲覧履歴などを解析することにより、ユーザーの嗜好に適したコンテンツ検索や推薦ができます。また、ユーザーの参加型センシングにより、社会動向などを考察することができます。私たちは個人レベルから社会レベルまでの、データマイニング（データ同士の相関関係、パターンを探ること）と知識の発見を中心に、身の回りの面白いものを解析、理解し、モデルをつくる研究・開発を進めています。

### 研究内容

私たちの研究対象は、異なった種類のデータ、例えばマルチメディアコンテンツ（画像・映像・音楽）、ユーザーのコンテンツ作成・閲覧・聴取履歴、コンテンツに対するコメントなど多岐にわたります。人々の日常生活を的確にサポートするために、検索やおすすめの情報を提供するアルゴリズムとインテリジェントシステムをつくり出すのが目的です。

ソーシャルイベント検索

ユーザー生成のマルチメディアデータからユーザーのプレファレンスの解析
ソーシャルマルチメディアコンテンツの解析とディープラーニング

パーソナライズド音楽推薦

簡潔な音楽特徴量の抽出
異なった属性の音楽データの解析
音楽コンテンツベースの深層学習

ウェブ上の学習資料推薦

動画内容を的確に表現するためのレクチャー動画解析
個別指導のためのユーザーの学習パターン解析

### 産業応用の可能性

パーソナライズド音楽ストリーミングサービス
ユーザーのニーズや嗜好に合わせたオンライン広告
ユーザーの学習パターンに合わせた教科書作成

##### 連絡先

ユ イ［コンテンツ科学研究系 助教］
yiyu[at]nii.ac.jp　※[at]を@に変換してください

##### 関連リンク

ユ イ - コンテンツ科学研究系 - 研究者紹介

## Recommend

### 映像・センサーデータの解析による
社会基盤のモニタリングシステム

情報メディア科学

高須 淳宏

コンテンツ科学研究系 教授

### 言語理解システムの長所や短所を明確にし
説明性・信頼性の高いタスクを設計する

情報メディア科学

菅原 朔

コンテンツ科学研究系 助教

### 光をデザインして物体の中を見る非接触・非侵襲のイメージング技術

情報メディア科学

佐藤 いまり

コンテンツ科学研究系 教授

### 研究用データセットの有効活用へ
データを核とした産学連携を橋渡し

情報メディア科学

大山 敬三

コンテンツ科学研究系 教授／データセット共同利用研究開発センター長

### 改ざん領域を特定し判断根拠示す
フェイクメディアの自動検知技術

情報メディア科学

越前 功

山岸 順一

### クラウド（crowd）とともに
社会課題の解決を図る

相原 健郎