感性や意味を計量するデータベースシステム◆特集＊招待論文◆

感性や意味を計量するデータベースシステム
人間と情報システムの記憶系について

A Database System for “Kansei and Semantic Computing”
Memory Functions of Humans and Information Systems

清木 康

慶應義塾大学環境情報学部教授

Yasushi Kiyoki
Professor, Faculty of Environment and Information Studies, Keio University

データベース、知識ベース研究の主要な対象は、グローバルに繋がれた多様なマルチメディア情報源、知識源を対象とし、それらの分析を伴った検索、統合による新たな情報、知識の獲得や生成を行う記憶系の実現である。本稿では、データ間の意味的、感性的な等価性、類似性、関連性を“状況や文脈”に応じて動的に計算する計量モデルとして提案した“意味の数学モデル (MMM)”の概要を示し、そのモデルを基礎として実現した応用システムを示す。
“意味の数学モデル”は、文脈依存の意味的連想記憶モデルであり、その発想の原点は、辞書のような言葉の意味を記述した“人類の知識や英知が集約された集合”を用いた“意味空間の形成”という概念にある。我々は、基本英単語約 2000 語による約 2000 次元の意味空間（意味を計算する空間）を構築することにより、実にさまざまな文脈（原理的には 22000 の文脈）を内包し、また、記憶想起する記憶系を構築した。その意味空間上に、言葉や画像、音楽といったオブジェクトを配置し、その空間上での距離計算による画像、音楽などのメディアデータの記憶想起系を実現した。このモデルの環境情報分析への応用として、地球規模での社会、自然環境を対象としたグローバル環境システムである“5D WORLD MAP システム”の構成を示す。5D World Map は、３次元の地理的空間軸、１次元の時間軸、および、多次元の意味空間軸上に配置される自然環境、社会環境事象を５次元空間（３次元地理的空間軸、１次元時間軸、１次元に縮退した意味空間軸）の世界地図上に写像し、自然環境、社会環境の事象の状況、および変化を検索、共有、分析するシステムである。

In the multimedia system design and implementation, one of the most important issues is how tosearch and analyze media data (images, music, movies and documents), according to user's impressions
and contexts. We have proposed “the Mathematical Model of Meaning (MMM)” and its application
to "Kansei" and semantic associative search. The concept of "Kansei" includes several meanings on
sensitive recognition, such as “emotion”, “impression”, “human senses”, “feelings”, “sensitivity”,“psychological reaction” and “physiological reaction.” This model realizes “Kansei” processing andsemantic associative search for media data, according to user's impressions and contexts, and is applied
to compute semantic correlations between keywords, images, music, movies and documents dynamicallyin a context-dependent way. The main feature of MMM is to realize semantic associative search in the2000 dimensional orthogonal semantic space with semantic projection functions. This space is createdfor dynamically computing semantic equivalence or similarity between keywords and media data.
As a global environmental system, we have also designed “5 Dimensional World Map System,”as a multimedia semantic computing system for global environmental analysis. One of the important
applications of this system is “Global Environment-Analysis,” which aims to evaluate various
influences caused by natural disasters in global environments. Our experimental results have shown thefeasibility and effectiveness of our semantic associative computing system based on “MMM” in global
environmental analysis.
Keywords: 意味的連想検索、データベースシステム、知識ベース、マルチメディアシステム

KEIO SFC JOURNAL Vol.13 No.2 2013

19

特集

コンピュータシステムの新潮流

１

はじめに

境問題を抱える地域の国際的大学・研究機関との国近年のデータベース、知識ベースシステム研究の際産・学・NPO 連携研究指導体制を確立し、グロー主要な対象は、グローバルに繋がれた多様なマルチバル環境システム構築の国際的なリーダーとなる人

メディア情報源、知識源を連結し、それらを対象と材を育成する。そのために必要となる意識、知識おした共有、検索、統合、分析、配信による情報、知よび創造的技能を育む価値生成プロセスを構築し、識の記憶系の実現である。現在、記憶系を適用するそのプロセスを社会へ広く伝搬する。本プログラム

基本的な対象として、（１）時空間コンピューティ

は、多様な側面を有する環境問題に対して、科学技

ングシステム (Spatio-Temporal Computing System)、術基盤と社会ルール立案基盤を有し、国際社会を先（２）マルチメディアシステム、（３）ビッグデータ導できる人材を、政策・メディア研究科、理工学研分析 (Big Data Analysis)、（４）ソーシャル・コン究科、国際研究機関が協力してグローバル環境シスピューティング、（５）環境分析システム、（６）ユテムリーダーとして育成し、国際社会への貢献を目

ビキタス・コンピューティング、（７）クロスカルチェ指す。

ル・コンピューティングなどがあり、それらを応用我々の研究は、このようなグローバル環境システしたシステムの構築が活発である。これらの機能は、ムにおいても中心的な機能群となるマルチメディア

メディア・データを対象とした新たな記憶蓄積、共データベース、知識ベースを対象とした“マルチメ有、統合、想起、配信環境を実現する本質的な機能

ディア・システム記憶系”の実現を目指すものであであり、社会やコミュニティーが情報および知識をり、その主要な機能として、（１）メディア・デー生成、伝達、発信するための新しい多くの応用を開タを有する情報源への高機能アクセス、検索、統拓するベースとなるものとして期待されている。

合機能、（２）メディア・データの自動解析、自動情報化社会におけるメディア・データ（画像、音楽、分析によるメタデータ自動生成機能、（３）異種メ動画、文書など）の創造や利用の拡大は、我々の情ディアデータの統合による知識表現機能、（４）融報共有・獲得の環境を劇的に変化させている。それ合されたメディアデータの動的配信機能、（５）画らのメディア・データを共有・検索・統合する記憶像、音楽メディアデータによる感性的装飾機能の実系であるデータベース、知識ベースは、情報化社会現を行っている (http://www.mdbl.sfc.keio.ac.jp/)。

を支える最も主要な要素として重要である。メディ本研究では、“マルチメディア・データベースシスア・データの供給の多様化・大規模化に伴って、そテム研究”および、“マルチメディア感性装飾シスれらを対象とした新たな記憶系の構築が期待されてテム研究”を主要テーマとして、次のような多様いる。また、映像、メディアアートなど、芸術の分なデータベース、知識ベースシステムに関する研野とデータベースの新たな融合についても、新しい究活動を行ってきた。画像感性データベース、音方法論を開拓していくことが重要である。

楽感性データベース、映像メディアデータベース、

こ の よ う な 背 景 の 中 で、2011 年 度 よ り、SFC

音楽・画像感性装飾データベース、アクティブ・政策・メディア研究科と理工学研究科の連携によ

マルチメディアデータベースシステム、CROSS-り、地球規模での社会、自然環境を対象としたグCULTURAL MULTIMEDIA DATABASE（FINLAND

ロ ー バ ル 環 境 シ ス テ ム の 探 求 と そ の リ ー ダーをTUT, Thailand NECTEC）、時空間メタデータ自動育成する大学院コースとして、GESL プログラム生成システム、時空間 DB によるユビキタス情報(http://gesl.sfc.keio.ac.jp/) が ス タ ー ト し た。 本 プ

発見システム、教育用 DB 構築研究 - インドネシ

ログラムは、世界を牽引するリーダーを養成する世ア・データベース教材作成プロジェクト ( インドネ

界レベルの大学院教育拠点の形成を目指し、“グローシア、ITS/EEPIS スラバヤ工科大学 )、世界的事象

バル環境システム”大学院教育拠点の国際展開力と5D（5 次元）マップデータベース、ダイナミックして、国際的な高水準大学・研究機関、および、環装飾メディアデータベース、WWW 情報内容表現

20

感性や意味を計量するデータベースシステム

データベース機構、スポーツスキル情報分析システなパターンの照合による記憶想起を行うことを特徴

ム、DIGITIZED THAILAND PROJECT（THAILANDとする。

NECTEC）、地域特性事象表現地図データベース機構、交通運輸プロジェクト (SFC-JR 東日本交通運

コンピュータ科学の分野での代表的な記憶系は、

輸情報システム研究 ) などである。さらに、海外データベース、あるいは、知識ベースといわれるもの大学との間でマルチメディア知識ベースに関すので、それらは実際の社会で広く用いられている。

る共同研究を進めている。(University of California

この分野が目指すシステムの構成は、図１に示すよat San Diego, University of Washington, Tampere

うな機能群である。

University of Technology(Finland), ITS/EEPIS ス ラ
バヤ工科大学 (Indonesia)、NECTEC(Thailand))マルチデータベース、メタデータベースシステムにFi:（関数、機能）：空間（space）
よる記憶系（記憶系への蓄積、記憶想起の実現）と距離系（Metric）
記憶想起
パターンマッチング（文字・数値照合）機能

２ “意味の数学モデル”感性や意味の計量による記憶系の実現

Meta
Database
System

人間のもつ基本機能には、大きく分けて肉体的機

相関量計算

F1

F2

F3

F4

F5

F6

Fn-1Fn

メタデータベース

記憶系への蓄積
空間的関係計量

時間的計量のための関数

能と精神的機能があり、肉体的機能の代表的なものには、運動と呼吸がある。精神的機能には、感情、DB

因果的関係計量DB

推論計算

DB

意識、記憶、思考などがあり、具体的には、認知
図１(Recognition) 、知覚 (Perception)、記憶 (Memory,学 習 (Learning)、 記 憶 定 着 (Consolidation)、 記 憶

マルチデータベースとメタデータベースシステム
による記憶系の構成

保 持 (Maintenance)、 想 起 (Recall）、 感 情・ 感 性

データベース、知識ベース研究を進めていくと、(Emotion)、意識 (Consciousness, Awareness)、注目

人間とコンピュータでは記憶系には大きな差がある(Attention）、思考 (Thought) 、想像 (Imagination) 、ことがわかる。人間は文脈や状況に応じて記憶想起

創造 (Creativity) 、抽象 (Abstraction) 、言語 (Language)をダイナミックに変えることができる。例えば「ブがある。コンピュータ科学 (Computer Science) 分ルー」という単語について考える。人間は交差点で野の研究の多くは、人間のもつこれらの精神的機能“ブルー”と聞くと信号の青を想起して「進め」、一の実現に向けてのアプローチである。ここでは，人人で部屋にいる時にブルー”聞くと「なにか寂しい間の記憶系と情報システムの記憶系について考えてな」と解釈することができる。このように、人間はみる。人間の記憶系には、1 つの情報が外界から入状況や文脈を判断して記憶想起するという大変優れると、自分の脳が憶えている記憶の中から、文脈、た記憶系をもっている。

状況に応じて、その情報と意味の近い、あるいは、そこで、人間の記憶系が有する優れた機能の一部関連する記憶を瞬時に想起する優れた能力がある。

だけでもコンピュータシステム上に実現できれば、一方、コンピュータシステムにおける記憶系は、1

我々は、より深い知識を世界規模に広がった広範囲つの情報が外界から入ると、広く世界規模で連結さの情報源から獲得できることになる。そのような記れたネットワークを介して、多くの情報源を対象と憶系の実現を目指した研究を紹介する。

して、それらの中から同じパターン（文字列など）

これまでのデータベースの多くは、「一つの言葉を有する情報源を瞬時に引き出すことができる。すは一つの意味を持つ」という前提で作られていたが、なわち、人間の記憶系は、自分の記憶系が蓄積した筆者ら（清木康、北川高嗣）は、「一つの言葉は無記憶だけを対象とするが、意味や文脈の解釈を伴っ限の意味を持つ」という前提で記憶系を構成できなた、とても深い記憶想起を行い、一方、情報システいかと考えた。状況や文脈が与えられてはじめて意ムの記憶系は、広範囲の情報源を対象として、単純味が確定するデータベースを作れないかと発想を変KEIO SFC JOURNAL Vol.13 No.2 2013

21

特集

コンピュータシステムの新潮流えてみた。そして、データ間の意味的、感性的な同であるが、その中で“力強い”“豪快な”北斎の浮一性、類似性、関連性は、静的な関係によって決定世絵を見つけ出してほしいといわれると難しい。
“意されるのではなく、文脈や状況に応じて動的に変化味の数学モデル”は、そのような“感性”や“意味”するものと考え、データ間の意味的、感性的な等価を対象とした記憶想起を可能にする。

性、類似性、関連性を“状況や文脈”に応じて動的絵画や音楽などのマルチメディアデータをシステに計算する計量モデルとして、“意味の数学モデル”

ムが記憶想起（検索）する場合、画像ならば印象やを考案し、1993 年に最初の論文を発表し、今に続色彩など、音楽ならば印象、和音、調性など、感性く研究のベースとなっている[1],[2],[3]。“意味の数学的な特徴から連想される画像や音楽を見つけ出さなモデル”の概念を図２に示す。

ければならない。人間は、そのような記憶想起を大このモデルは文脈依存の意味的連想記憶モデルで変得意としているが、システムが感性による記憶想あり、その発想の原点は、辞書のような言葉の意起を行うためには、どうすればよいのだろうか。こ

味を記述した“人類の知識や英知が集約された集のシステムは、情報システムの利用者が「悲しい」合”を用いた“意味空間の形成”という概念にある。

「明るい」「幸福な」などの感性を表わすキーワード“Longman Dictionary of Contemporary English” とを発行すると、その意味を解釈して、それらと意味いう英英辞書では、約 2000 語の基本英単語だけを的、感性的に関連の強いメディアデータ（絵画や音用いて、約 56000 語の全ての事象（英単語）の意味楽）を動的に選択する。利用者は、システムの記憶を説明している。我々は、基本英単語約 2000 語に内に、どのような画像や音楽が蓄積され、それらがよる約 2000 次元の意味空間（意味を計算する空間）どのような表現であるか意識することなく、自分のを構築することにより、実にさまざまな文脈（原理好きな言葉で検索することが可能となる。

的には 22000の文脈）を記述でき、また、記憶想起「ある概念とある概念の間の近さ」「物と物の間できるはずであり、この考えをもとに、“意味”や“感の意味的な近さ」「言葉と言葉の関係」「言葉とメ性”を計算する記憶系を構築できるのではないかとディアデータの関係」「メディアデータとメディア考えた。

データの関係（例えば、絵画と音楽の感性的類似そして、その意味空間を構築し、その上に言葉や性）」は、文脈によって動的に決定される。我々は、画像、音楽といったオブジェクトを配置した。この2 つの概念（オブジェクト）の間にはほぼ無限の関空間の様子は、直観的には、星が散りばめられてい係があり、その 2 つの関係が決まるのは文脈が与る宇宙空間をイメージすると分かり易い。その空間えられた時だけであると考え、文脈の計量を伴っ上で 2 つのオブジェクト（2 つの星）を指定するとて、2 つの概念（オブジェクト間）の関係を意味空それらの間の距離を計算できる。このモデルでは、間（多次元ベクトル空間）上の距離として計算す文脈に対応した部分空間を 2000 次元の意味空間のる仕組みを構築した。

中から選び（部分空間選択による文脈の解釈、原理
2000

的には 2

例えば、この意味空間の中に、「悲しく」「暗い」の部分空間（文脈の解釈）が存在）、さ感じの絵画がほしいという「文脈」を与えると、らに、その部分空間の中での距離によって関係性を「悲しい」と「暗い」という文脈から、その文脈に判断して関連する情報を記憶想起することができ対応した部分空間を意味空間中から選び、さらに、る。言葉以外に、絵画や音楽、映像などについてその部分空間の中で相関の近い順に絵画を並べるも、今までは得られなかった関係性を約 2000 次元ことができる。文脈に対応する部分空間を選ぶこの意味空間の距離計算によって求めることが可能にとを文脈理解の機能として実現している。その部なる。

分空間上において一番相関の強いものを選べば、ここでは、例として、絵画の意味的記憶想起につ与えられた文脈に一番印象の近い絵画や音楽を記いて考えてみる。葛飾北斎の浮世絵は実にさまざま憶想起できる。対象とするメディア情報は、絵画

22

感性や意味を計量するデータベースシステム

でも音楽でも映像でも可能であり、言葉から絵画

味空間と 436 次元の医学意味空間の“統合意味空間”、を選んだり、絵画から音楽を選んだりすることも（３）画像を対象とした 130 次元の“色彩意味空間できる。この意味的、感性的記憶系の本質は、意形成”と画像分析による自然環境分析システム、（４）

味空間の中に、多様な言葉、画像、音楽を散りば130 次元の色彩意味空間による“クロスカルチャー・めておき、それらの間の関係について、文脈に応コミュニケーションシステム（異文化コミュニケーじて部分空間を選択し、その部分空間において、2ション・システム）”、（５）意味空間に加えて物理つの概念の距離を計算する仕組みを使って計量す空間として３次元地理軸と時間軸を加えた多次元空ることによって意味的、感性的な記憶想起を実現間を形成し、世界規模での知識蓄積、共有、検索、する点にあり、この機能は、人間の記憶系のもの統合、分析、可視化を実現する“5D WORLD MAPと近いのではないかと考えている。

システム”について、それらの概要を示す。

Overview of MMM (Mathematical Model of Meaning)

3.1

Query1

多言語対応画像・感性検索システム

図３に示すように、画像・感性検索の対象とする

Subspace1

Semantic Space Context1

印象語群の英単語とそれに対応する多言語の単語(viewpoint)の対応を知識として設定すると、それらの単語を2000 次元の意味空間へ写像することが可能になる。
このシステムは、この対応関係によって、意味空間Query2
Context2に写像された画像群とこれらの多言語の単語との間で、意味的連想記憶系での距離計算により意味的な近さを計量し、近い距離の順に画像あるいは単語をSubspace2ランキングすることにより、記憶想起系を実現する。

図２ “意味の数学モデル（MMM）”による 2000 次元の意味空間とその意味的連想記憶系そのシステムの構成を図４に示す。ここでは、メタレベル・システム (Meta-level System) に”意味の３ “意味の数学モデル”：感性や意味の計量による記憶系の応用数学モデル（MMM）”システムを設定し、異文化意味的、感性的計量機能をもつ”意味の数学モデの距離計算により、多言語対応画像・感性検索を実の画像、多言語をその意味空間上に写像し、そこで現する [9]。

ル”は、異種メディア間の感性的な統合、あるいは、方法論の間の境界を超えて、それぞれの学術分野が有する知識の統合／集約と共有の実現の可能性を拡Cross-cultural Communication
with “Kansei” information

大する（図３、４）。本モデルの基本は、対象分野のEnglish意味空間を形成し、その空間上に記憶蓄積、想起のFinnish

Japanese

ChineseThai

対象となる言葉やメディアデータ（画像、動画、文書）を写像し、さらに、部分空間選択により文脈を計量し、その部分空間において、言葉と言葉、言葉とメダイナミックなディアデータ、メディアデータ間の距離を計量することにより、文脈解釈を伴った意味的な記憶想起を実現することである。このモデルを対象によって構築した代表的な応用システムとして、（１）英英辞図３ “多言語対応画像・感性検索システム”の構成書を用いた 2000 次元意味空間上での“多言語対応画像・感性検索システム”、（２）415 次元の環境意

KEIO SFC JOURNAL Vol.13 No.2 2013

23

特集

コンピュータシステムの新潮流

Semantic Space Integration

MMM Application toMultilanguage Semantic Associative Search

図５

図４ “意味の数学モデル”による“多言語対応画像・感性検索システム”の構成

3.2

環境空間と医療空間の統合による異分野横断・意味空間の構築
Music decoration with images by automatic
decorative-multimedia creation

異分野の意味空間統合による統合意味空間の構築 [3],[5],[6]♪ Main-Media
Object(music)

統合意味空間の構築では、第１プロセスとして、“意味の数学モデル”を 469 環境主要語（キーワード）

Main-Media objectと 425 特徴属性語により、425 次元の環境意味空間、
690 医学主要語（キーワード）と 437 特徴属性語にlighting color(Sub-Media)
music(Main-Media)

image(Sub-Media)
fragrance(Sub-Media)

Result:Main media decorated by Sub-Media data

Main-MediaObject(Music)より、437 次元の医学意味空間を構築する。これらの空間は、環境分野、医学分野を対象とする異なるSubMedia(Imagesand colors)空間であるが、それらの間には共通するキーワードや特徴属性が存在する。そこで、第２プロセスとし図６ “意味の数学モデル”による“感性・音楽・画像鑑賞システム”の構成て、それらの共通部分については共通キーワード、共通特徴属性として統合（統一化）し、異なる部分3.3については独立なキーワード、独立特徴属性として画像を対象とした 130 次元の“色彩意味空間表現し、環境空間と医学空間の統合意味空間を構築形成”と画像分析による自然環境分析システムする。この方法により、図５に示すように、環境空130 色の色彩により約 130 次元の色彩意味空間を間と医学空間による異分野横断・統合意味空間の構形成し、画像および言葉を 130 色の色彩によって表築を実現する。この統合空間の構成により、環境分現することにより、画像間や画像と言葉の意味的距野のキーワードに関連する医療情報源の獲得、医療離を計量するシステムを構築した。このシステム上分野のキーワードに関連する環境情報源の獲得が可に、自然災害の兆候や現象を表す画像を写像し、実能になり、それら異分野知識の記憶想起を他分野の世界を表す映像を画像列として写像し、実世界にお知識からアプローチ可能になる。この方法の他の重ける環境変化や異常を検知、分析する自然環境分要な応用として、図６に示すように、音楽の感性・析システムを実現した。図７に示すように、この意味空間と画像の感性・意味空間の統合空間の構築

システムは、ビデオカメラによる実世界映像のセにより、音楽の印象に合致する画像の記憶想起系、ンシング (sensing)、その画像を対象とした色彩意あるいは、画像の印象に合致する音楽の記憶想起系

味空間での距離計算による環境変化や異常の検知を実現することができる。

(processing)、変化や異常検知時の警告情報配信と可視化 (analysis and actuation) からなる“SPA プロ

24

感性や意味を計量するデータベースシステム

セス”として実現している。
Monitoring cameras

Mapping media data onto a feature/impression vector spaceRecognizing The warning messages
the Semantic
GAS signal
Japanese Art Images
JI=｛Ij-1, Ij-2, ..., Ij-m｝

Finnish Art Images
FI=｛If-1, If-2, ..., If-n｝

Video signal
processing
Store

Commonality and difference are calculated
Mapping the calculated results
onto the 3D CCS(Cross-cultural Art Museum)

Warningmessage DB

Video DBDistances among media items on the 3D CCS
represent the calculated results on thefeature/impression space

図９ 3D Cross-Cultural Image Museum System
図７3.4

色彩意味空間上での画像分析による自然環境分析
システムの SPA プロセス

3.5

意味空間と物理空間を連結する５D WORLD
MAP システム [4],[8]130 次 元 色 彩 意 味 空 間 に よ る“ ク ロ ス カ ル

5D WORLD MAP は、図 10 に示すように、“意味チャー・コミュニケーションシステム（異文化[5] , [7]の数学モデル”による“多次元意味空間”に加えて、コミュニケーション・システム）”

異 文 化 間 で の 感 性 と 画 像 に よ る 異 分 野理解の物理空間として“３次元地理軸”と“１次元時間軸”ための異文化コミュニケーション・システムとしを加えた多次元空間を形成し、世界規模での知識蓄て、KEIO SFC MDBL と Tampere University of

積、共有、検索、統合、分析、可視化を実現するシTechnology(Finland) と の 間 で 3D Cyber Spaceステムである。世界中で発生する各事象（環境変化、Museum（図８）を構築し、図９に示す 130 次元色

災害、紛争、事件など）について、その意味的、時彩意味空間上に、フィンランドと日本の文化を表す間的、地理的な内容、特徴を“多次元意味空間”“３画像を配置し、それらの画像および印象を表す言葉次元地理軸”と“１次元時間軸”に写像し、意味、を配置し、双方の文化を画像と印象語だけを用いて地理、時間によって表現される文脈に応じて、それ表す異文化コミュニケーション・システムを構築しに対応する部分空間を選択し、その部分空間上でのた。その後、このシステムは、タイの NECTEC 研

距離計算により記憶想起を行い、その結果を、その究所における Digitized Thailand Project において採文脈に対応する時間と地理を表す世界地図上に可視用され、タイの伝統絵画を鑑賞し、文化を表すシス化するシステムである。図 11 は、“森林火災”につテムとして利用されている。

いての分析を行う場合を示している。この分析では、
5D WORLD MAP に“森林火災”の画像が入力され

3D Cyber Space Museum for Art works
3D Space Sharing Server
3D Object
Database

ると、システムは、130 次元色彩意味空間を適用して、入力画像に関連の深い画像群を想起し、それら

Reflection ofenvironmental information
by ubiquitous sensorsの画像について、それぞれが対応する時間と地理的Common 3D Multimedia

Internet位置に写像し、“森林火災”についての広域での事象を可視化する。本システムは、様々な時代の歴史
Thailand Side
Ubiquitous Sensor

Japan Side
Ubiquitous Sensor

地図の配置を行い、事象が発生した時点（その時代）

Interactive Collaborationの世界地図によって、事象の関連事象を可視化する

Finland and Thailand Sides

Japan Side

ことにより、大局的な俯瞰、分析環境を実現する。

・Jointly Creation
・Real Time Sharing
・Cooperative Manipulation

現在、本システムを“グローバル環境システム”のプロジェクトにおいて、環境分野の知識蓄積、共有、

図８ “3D Cross-Cultural Communication System”の構成

KEIO SFC JOURNAL Vol.13 No.2 2013

25

特集

コンピュータシステムの新潮流

検索、統合、分析、可視化のプラットフォームのシステムへの応用を探究していく。

ステムとして活用している。
参考文献

The concept of 5D World Map
Correlation
Calculation

Spatiotemporal
Analysis

Visualization
Chronologically-orderedWorld Map Set(5D World Map)

mappingdata[1] Kiyoki, Y. Kitagawa, T. and Hayama, T., “A metadatabasesystem for semantic image search by a mathematical modelof meaning”, ACM SIGMOD Record, vol. 23, no. 4, 1994,
pp.34-41.
[2] Kiyoki, Y, Kitagawa, T. and Hayama, T., A Metadatabasesystem for semantic image search by a mathematicalmodel of meaning, Multimedia Data Management -- usingmetadata to integrate and apply digital media--, A. Shethand W. Klas(editors), Chapter 7, McGrawHill(book), 1998.
[3] Kiyoki, Y. and Ishihara, S., A Semantic Search Space
Integration Method for Meta-level Knowledge Acquisition
from Heterogeneous Databases, Information Modeling andKnowledge Bases, IOS Press, Vol. 14, May 2002, pp.86-103.
[4] Kiyoki, Y., Sasaki, S., Nhung Nguyen Trang, Nguyen Thi
Ngoc Diep, “Cross-cultural Multimedia Computing with
Impression-based Semantic Spaces”, Conceptual Modellingand Its Theoretical Foundations, Lecture Notes in ComputerScience, Springer, March 2012, pp.316-328.
[ 5 ] K i yo k i , Y. , “A “ K a n s e i ” M u l t i m e d i a C o m p u t i n g
System for Environmental Analysis and Cross-CulturalCommunication,” keynote speech, 7th IEEE International
Conference on Semantic Computing, Sept. 2013.
[6] Kiyoki, Y. and Chen, X., “A Semantic Associative
Computation Method for Automatic Decorative Multimedia
Creation with "Kansei" Information”, Invited paper, The
Sixth Asia-Pacific Conference on Conceptual Modelling(APCCM 2009) , 9 pages, Jan. 2009.
[7] Trang, N. N., Sasaki, S. and Kiyoki, Y., “A Cross-CulturalMusic Museum System with Impression-based Analyzing
Functions,” Proceedings of IADIS e-Society 2011
Conference, Avila, Spain, 8 pages, March 2011.
[8] Sasaki, S., Takahashi, Y, Y., Kiyoki, Y., “The 4D World Map
System with Semantic and Spatiotemporal Analyzers,”
Information Modelling and Knowledge Bases, Vol.XXI, IOS
Press, 18 pages, 2010.
[9] Suhardijanto, T., Kiyoki, Y., Ali Ridho Barakbah, “A Termbased Cross-Cultural Computing System for Cultural
Semantics Analysis with Phonological-Semantic Vector
Spaces,” Information Modelling and Knowledge BasesXXIII, IOS Press, 2012, pp.20-38.
[10] Research papers related to “The Mathematical Model of
Meaning: MMM”.
<http://www.mdbl.sfc.keio.ac.jp/~kiyoki/kiyoki-kansei-0.pdf><http://www.mdbl.sfc.keio.ac.jp/~kiyoki/kiyoki-kansei-1.pdf><http://www.mdbl.sfc.keio.ac.jp/~kiyoki/kiyoki-kansei-2.pdf><http://www.mdbl.sfc.keio.ac.jp/~kiyoki/kiyoki-kansei-3.pdf><http://www.mdbl.sfc.keio.ac.jp/~kiyoki/kiyoki-kansei-4.pdf>

Information
Resources
Multimedia Data
With time and space
information
Related toHistory/Society/Culture

data
data

Semantic Spacefor Document

mappingdatamapping

Domain A
Domain A
Document data Image data

mappingdataTime series Analysis

dataColor Space
for image data

Multidimentional
Semantic/FeatureSpaces

Domain B
Domain B
Document data Image data

図 10 ５次元 WORLD MAP（５D WORLD MAP）システム

5D PicMap system for environment analysis

図 11

５次元 WORLD MAP（５D WORLD MAP）シス
テムによる森林火災の分析

４

おわりに意味的、感性的計量機能をもつ“意味の数学モデル”は、異種メディア間の感性的な統合、あるいは、方法論の間の境界を超えて、それぞれの学術分野が有する知識の統合／集約と共有の実現の可能性を拡大する。意味や感性を計算する記憶系の実現に向けて、極めて重要で本質的な機能群を強化し、記憶系システムとしての体系化を探っていくことが重要である。
我々は、今後も“マルチメディア・データベース〔受付日システム研究”、“マルチメディア感性装飾システム研究”において、映像、音楽、画像、行動情報、移動情報などの多様なメディアデータを対象とし、意味、感性、時間、空間といった高度な連想機能を有する新しいマルチメディアデータベース、知識ベースおよびシステムの設計・構築とグローバル環境シ

26

2013. 10. 15〕