採択課題名：データベース統合に関わる基盤技術開発

データベース統合の実現に向けて基盤技術開発 (I)(II)は明日10:10〜

片山 俊明 <ktym@dbcls.jp>
http://jp.linkedin.com/in/toshiakikatayama
情報・システム研究機構
ライフサイエンス統合データベースセンター
2013/10/4 @ トーゴーの日シンポジウム 2013 〜ここまできたライフサイエンスデータベースの統合〜

CC-BY © 2013 片山 俊明 licensed under CC表示2.1日本

基盤技術開発プログラム

データベース統合に関わる基盤技術開発
研究開発課題
1. データベースの RDF による統合化
2. 解析プラットフォームによる統合利用環境の整備
3. インターネットを活用した高度検索技術の開発
4. RDF 化に資するオントロジー、辞書、コーパス整備、標準化技術開発
5. 大規模データの利用技術開発
6. 情報統合化・知識発見のためのキューレション支援
7. 統合データベースに関わるコンテンツの作成、整備
生命科学分野におけるデータベース統合化のための基盤技術開発
ライフサイエンス統合データベースセンター
研究代表者：小原雄治
解析プラットフォームによる統合利用環境の整備

データ統合と新規分野データ活用のための基盤技術開発

産総研・生命情報工学研究センター

京都大学・化学研究所研究代表者：浅井潔研究代表者：五斗進

基盤技術開発プログラム

データベース統合に関わる基盤技術開発 (I)
研究開発課題
1. データベースの RDF による統合化
2. 解析プラットフォームによる統合利用環境の整備
3. インターネットを活用した高度検索技術の開発
4. RDF 化に資するオントロジー、辞書、コーパス整備、標準化技術開発
5. 大規模データの利用技術開発
6. 情報統合化・知識発見のためのキューレション支援
7. 統合データベースに関わるコンテンツの作成、整備?

そもそも RDF とは何なのか？
RDF によるデータベース統合とは？
なぜ RDF なのか？

セマンティック・ウェブ = ウェブ 3.0
RDF は次世代のインターネットといわれるセマンティック・ウェブの標準データ形式
では、セマンティック・ウェブとは何か？

• すべてのモノに ID を付けましょう→ URI: ID には世界中でユニークである URL を使用• モノを説明するときは共通のコトバを使いましょう→ Ontology: 意味を説明する標準語彙としてオントロジーを利用• モノとモノの関係を記述して世界中の情報を繋げましょう→ Linked Data: 上記 URI と Ontology を用いて作った RDF を公開
何のために？
→ コンピュータで知識発見をするために、曖昧な記述をやめよう！
（効率的な検索技術なしでは、もはや生きていけませんよね？）

セマンティック・ウェブ: RDF とは• RDF: Resource Description Framework• 主語 (Subject) - 述語 (Predicate) - 目的語 (Object) からなるデータモデル• 主語 - モノの ID (URI)

RDFのトリプルp• 述語 - オントロジーで定義された属性 (URI)s• 目的語 - 別のモノのID(URI) または 値 (literal)

<URI>

o

<URI> <URI>/literal• つまり RDF は非常にシンプルなデータ形式• <http://genome.db/gene1> rdf:type so:0000704 .
<http://genome.db/gene1> rdfs:label ”APOE” .

RDFのグラフ

literalliteralliteral• そして RDF では多様なデータを容易に統合できる• 同じモノは ID = URI も同じ

URI
literal• 重ねあわせていくとグラフになる

URI

URI

literal

URI

literalliteral

URI
URI

URI

URI
URI

URI

literal

URI
literal

URI

literalliteralliteralセマンティック・ウェブ: RDF (イメージ)• 例として遺伝子と薬のデータを RDF 化して統合した（混ぜこんだ）とします

遺伝子のイメージ

Gene

name

薬のイメージDrugeffectRDFのグラフ

literalliteralliteralGenesequence

Drug

structure

Drug

URI

URI

literal

URI
literal

URI

literalliteral

URI
URI

URI

URI
URI

URI

literal

URI
literal

URIliteral

literalliteralセマンティック・ウェブ: SPARQL 検索• SPARQL: SPARQL Protocol and RDF Query Language• RDF を検索するための標準言語

literalliteral• パターンマッチにより部分グラフ検索を行う
SELECT ?gene ?name ?drug ?effect
WHERE {?gene rdf:type
so:0000704 .
?gene rdfs:label?name .
?gene :dose?drug .
?drug :has_effect ?effect .
}RDFのグラフ

literal

URI

URI

name

Gene
effectURI

literalliteral

URI
literalDrugliteralliteral

URI

URI

URI
URI

URI

literalliteral

URI
URI
literal

URI
literal

URI
literal→ データベース間が有機的につながっていることが重要京都大学：データベース間のリンク情報のRDF化• LinkDB: 京都大学で開発されているリンク情報のデータベース

http://www.genome.jp/linkdb/

京都大学：データベース間のリンク情報のRDF化• KEGG を含む国内外の様々な DB 間のリンク情報を RDF でも取得可能に# KEGGのヒト遺伝子ID

リンクのタイプ<http://www.kegg.jp/entry/hsa:2><http://www.kegg.jp/entry/hsa:9><http://www.kegg.jp/entry/hsa:9>:<http://www.genome.jp/linkdb/original> <http://www.kegg.jp/entry/hsa04610> .
<http://www.genome.jp/linkdb/original> <http://www.kegg.jp/entry/hsa00232> .
<http://www.genome.jp/linkdb/original> <http://www.kegg.jp/entry/hsa00983> .

リンク先のパスウェイID

例：全てのヒト遺伝子からパスウェイへのリンク情報をRDF(N-triple)形式でダウンロード

CBRC：解析ワークフローの入出力をRDF化• 各種ツールをRDFデータを元に利用できる解析プラットフォームを構築
入力：タンパク質や化合物などのRDFデータ

SADI フレームワークを使用しデータに合ったサービスを選択

ドッキングシミューレションなどの計算

出力：解析結果のRDFデータ
http://togo.cbrc.jp/

DBCLS+京大+CBRC連携でのワークフロー構築例• Galaxy - ウェブ上で解析ワークフローを構築・実行するフリーソフトウェア• DBCLS でも独自に拡張したものを提供中 http://galaxy.dbcls.jp/• 例：タンパク質と化合物のドッキングシミュレーションを実行してみる

DBCLS+京大+CBRC連携でのワークフロー構築例• DBCLS Galaxy からインフルエンザのノイラミニダーゼの立体構造を取得• このタンパク質と結合が知られている化合物としてシアル酸を指定

DBCLS+京大+CBRC連携でのワークフロー構築例• 京都大学の simcomp サービスでシアル酸の類似化合物を検索• ノイラミニダーゼと類似化合物をRDFデータとしてCBRCに送信

ノイラミニダーゼの立体構造を指定
シアル酸の構造をSMILESで指定
京都大学の類似化合物検索を実行

類似化合物の計算結果一覧

CBRCのサービスにRDFデータを送信

DBCLS+京大+CBRC連携でのワークフロー構築例• CBRC の AutoDock サービスでドッキングシミュレーションを実行• 結果をRDFで取得・可視化

ドッキングシミュレーションの結果
CBRCのサービスにRDFデータを送信

DBCLS+京大+CBRC連携でのワークフロー構築例• サービスの連携や統合には標準化や相互運用性が必須
DBCLS Galaxy の RDF/SADI 対応
CBRC サービスの RDF/SADI 対応}

京都大学サービスの REST API 対応

それぞれが標準仕様への対応を進めていた

短期間でワークフロー連携できた• さらに多くのデータやサービスと連携するためには、国際的な技術開発とオントロジーなどの標準化のための継続的な取り組みが必要• → 国際開発者会議 BioHackathon の開催へ

Twitter #biohack13
Mailing list http://groups.google.com/group/biohackathon

BioHackathon - 国際開発者会議• 国内外の実務レベルのDB開発者が参集、１週間にわたる合宿会議を開催• 生命科学におけるウェブサービスやセマンティック・ウェブの標準化と技術開発• いま直面している技術的な課題をその場で解決

BioHackathon= bio + hack + marathon= bioinformatics coding camp
= emergence of
new ideas,
new technologies,
and a community

Happy hacking!

http://2013.biohackathon.org

BioHackathon 2013 - 第6回 NBDC/DBCLS BioHackathon• BioHackathon 2008 in Tokyo• http://hackathon.dbcls.jp• Web Services の標準化と相互運用性• BioHackathon 2009 in Okinawa• http://hackathon2.dbcls.jp• Web Services による解析ワークフロー構築• BioHackathon 2010 in Tokyo• http://hackathon3.dbcls.jp• Semantic Web による生命科学の知識統合• BioHackathon 2011 in Kyoto• http://2011.biohackathon.org• 生命科学の Linked Data を活用するための技術開発• BioHackathon 2012 in Toyama• http://2012.biohackathon.org• Semantic Web を利用した生命科学のアプリケーション開発

Web Services から Semantic Web へ2008 - 2009
分散したDBをどのように統合・相互利用するか？
DBDB
DB
DBWeb Services!
DBDB

ハッカソン参加者

DB

2010 - 2013

DBのコンテンツを有機的に活用するには？
DBDB
DB

Semantic Web!
ハッカソン参加者

DB

DBDB

DB

BioHackathon の参加グループ概要
ウェアハウス
BioMart, InterMine,
TogoDB etc.

データベース
UniProt, Reactome,
Glycoinformatics etc.

オントロジー
NCBO BioPortal, EDAM,RDF Foundry etc.
標準化
BioDBCore, W3C-HCLS
BioSharing, ISA etc.
Open Bio*,
textmining,visualization etc.

サービス
SADI, Bio2RDF,
BioGateway etc.

BioInterchange

ツール
Semantic interoperability and standardization of bioinformatics data and Web services

BioHackathon 最近の成果• 各分野のデータベースでセマンティック・ウェブ対応が加速• Identifiers.org や BioPortal など共通の URI/オントロジー 利用の促進• UniProt/DDBJ 共通の配列位置情報オントロジー FALDO
RDF data
Domain specific models

Metadata
Service quality indicators

Genome and proteome data

Database content descriptors

Glycome data

Generic metadata for dataset description

文献データからの知識抽出

Text processing
Text extraction from PDF

DBの内容やクオリティの評価

Platforms

Named entity recognition

RDFization tools

Natural language queries

Triple stores

Ontology

Applications

IRI mapping and normalization

Semantic Web exploration & visualization

Environmental ontologies

Ontology mapping visualization

Lexical resources

Identifier conversion service

Enzyme reaction equations

Semantic query via voice recognition

RDF生成ツールの開発
RDFデータベースの性能評価
各種オントロジーの開発
アプリケーション開発
可視化などの技術開発

国内版 BioHackathon と SPARQLthon• 国内版 BioHackathon - 国際版で得られた知見を国内の開発者にも還元• BH10.10, BH11.11, BH12.12 と3年間継続、BH13.13は次の1月に予定• 日本語で国内のリソースについて議論し情報共有できるメリット• SPARQLthon - ライフサイエンスデータベース統合推進事業の推進• 2012年10月から今日のトーゴーの日に向けて月1回で計12回の開催• RDFデータベースの構築とSPARQL検索に関わる諸技術はまだ発展途上• 統合に必要なRDFデータの生成• RDFで利用するオントロジーの開発• RDFを格納するトリプルストアの運用• より効率的なSPARQLの書き方• RDFとSPARQLを活用したアプリケーションの開発• スパークリングな懇親研究課題の基盤技術とアプリケーション• TogoDB - ユーザのデータを受け入れて DB 化、RDF 化• 1, 3, 6, 7. RDF による統合, 高度検索技術, 情報統合化, コンテンツ整備• TogoWS - ネット上の公共 DB を検索、データ取得、RDF 化• 3. インターネットを活用した高度検索技術の開発• TogoGenome - 基盤となるゲノム情報を RDF で集積、DB 化• 1, 5. データベースの RDF による統合化, 大規模データの利用技術開発• BioHackathon - これらに必要な技術開発と国際標準• 4. RDF 化に資するオントロジー、辞書、コーパス整備、標準化技術開発• CBRC, 京大連携 - 解析プラットフォーム, 新規分野データ活用

http://togodb.org

TogoDB - あなたのデータをDB化・RDF化• TogoDB - ユーザのデータを受け入れて DB 化、RDF 化• 知識やデータは論文の中に埋まっているが表やサプリメントデータは再利用されにくい• TogoDB では表形式のデータをアップロードするだけで高機能 DB を簡単に公開できます• TogoDB の特徴• 手軽に DB を作って公開したい？ → 表形式のデータを簡単に DB 化
• 共同研究者や公開時期を調整したい？ → アクセス権や公開・非公開を設定• 見た目や作り込みにもこだわり？ → HTML/CSS/JS を柔軟にカスタマイズ• 中身の分からない DB が多すぎる？ → 最初から中が見えているデータベース• 検索機能が貧弱でうまく絞り込めない？ → 正規表現を含む豊富な検索オプション• 大量のデータを見るのに一苦労？ → 矢印キーで効率的な結果のブラウジング• プログラムから処理したい？ → Open Search 対応 REST API と JSON 出力• オントロジーやメタデータを追加して RDF を自動生成、SPRAQL 検索にも対応

TogoDB - 表形式のデータから高機能DBを構築
TogoDB

Create your DB in 5minconfigure

外部URL

uploadCSVファイル

DBごとに汎用のオントロジー管理

RDF生成
SPARQL検索

deployhttp://togodb.org/sparql/yourdb

endpoint

HTML, CSS, JS
カスタマイズ

分散REST検索 → Atom
http://togodb.org/search/yourdb/query

http://togodb.org/entry/yourdb/123
http://togodb.org/db/yourdb?column=/regexp/

TogoDB - カスタマイズ・検索・高速ブラウズ

TogoDB - カスタマイズ・検索・高速ブラウズ
１エントリごとにURLが振られる（RDFの主語）

表示用の HTML/CSS/JavaScript をカスタマイズ

TogoDB - カスタマイズ・検索・高速ブラウズ

正規表現を含むカラム毎の高度な検索機能

TogoDB - カスタマイズ・検索・高速ブラウズ

絞り込んだエントリを矢印キーで次々と高速ブラウジング

http://togows.org

TogoWS - 公共DBの検索・取得・RDF化• TogoWS - ネット上の公共 DB を検索、データ取得、RDF 化• NCBI, EBI, DDBJ, UCSC, KEGG, PDBj などの DB を REST API で検索・取得• BioPerl, BioRuby などの機能を内蔵し、エントリをパース、JSON/RDF への変換

• これまでの課題• データベースごとに異なるアクセス方法• 結果が HTML ページでは大量処理が難しい• 得られた結果をさらにプログラムを書いてパースする必要がある• TogoWS での解決
• 全てのデータベースに同じ URL 形式 (REST API) でアクセス可能• 取得したデータを XML, JSON, RDF, FASTA など様々なフォーマットに自動変換• パーザをサーバに内蔵し、プログラミングなしにエントリの一部を取得可能

TogoWS - 公共DBの検索・取得・RDF化• 検索• http://togows.org/search/db/query[/offset,limit][.format]• NCBI, EBI, KEGG, PDB などの主要 DB を query に指定したキーワードで検索• 取得• http://togows.org/entry/db/id[/field][.format]• 主要な配列DB, KEGG, PDB, dbSNP, PubMed などのエントリ取得• エントリ中の一部を field で指定して切り出せる• RDF化• http://togows.org/entry/db/id[/field][.format]• 取得したエントリを format で指定して XML, JSON, RDF, FASTA などに自動変換

New!

TogoWS - UCSCからヒトゲノム等の検索・取得• 塩基配列の取得• http://togows.org/api/ucsc/db/position[.format]• e.g. http://togows.org/api/ucsc/hg19/chr1:1,000,000-1,234,567.fasta>chr1:1,000,000-1,234,567
TGGGCACAGCCTCACCCAGGAAAGCAGCTGGGGGTCCACTGGGCTCAGGGAAGACCCCCTGCCAGGGAGACCCCAGGCGCCTGAATGGCCACGGGAAGGAAAACCTACCAGCCCCTCCGTGTGTCCTCCTGGCACATGGCGACCTCCATGACCCGACGAGGGTGCGGGGCCCGGGGCAGG:• アノテーションの取得• http://togows.org/api/ucsc/db/table/[column=]query[.format]• e.g. http://togows.org/api/ucsc/hg19/refGene/name2=UVSSA.json• e.g. http://togows.org/api/ucsc/hg19/snp137/chrom=chr22;refUCSC=A[{"bin": 595,
"name": "NM_020894","name2": "UVSSA","chrom": "chr4","strand": "+",
"txStart": 1341103,"txEnd": 1381837,"cdsStart": 1341879,"cdsEnd": 1379749,"exonCount": 14,"exonStarts": "1341103,1341877,1343311,1345502,1346817,1348522,1348904,1360107,1369151,1369821,1373834,1374667,1377553,1379655,","exonEnds": "1341548,1341977,1343642,1345623,1347201,1348635,1349033,1360219,1369296,1369956,1374018,1374776,1377728,1381837,","score": 0,"cdsStartStat": "cmpl",

TogoWS - RDFへの変換例• エントリをウェブサービスで取得、TogoWS サーバ内でパースして動的に変換• http://togows.org/entry/pubmed/20472643.ttl@prefix dc: <http://purl.org/dc/elements/1.1/> .
@prefix dcterms: <http://purl.org/dc/terms/> .
@prefix rdfs: <http://www.w3.org/2000/01/rdf-sch@prefix prism: <http://prismstandard.org/namespa@prefix medline: <http://togows.org/ontology/ncb

TogoWS<http://pubmed.org/20472643>
medline:pmid
rdfs:label"pmid:20472643" ;dc:title"pmid:20472643" ;dc:identifier<http://pubmed.org/20472
medline:own"NLM" ;
medline:stat"MEDLINE" ;medline:da"2010-06-25" ;medline:dcom"2010-09-27" ;medline:lr"2013-05-29" ;medline:is"1362-4962 (Electronic)"
medline:is"0305-1048 (Linking)" ;medline:vi"38" ;
prism:volume"38" ;
medline:dp"2010 Jul" ;prism:publicationDate"2010-07" ;medline:ti"TogoWS: integrated SOAP
dc:title"TogoWS: integrated SOAP
medline:pg"W706-11" ;prism:startingPage"W706" ;medline:ab"Web services have becom
medline:ad"Human Genome Center, In
medline:fau"Katayama, Toshiaki" ;dcterms:creator "Katayama, Toshiaki" ;medline:fau"Nakao, Mitsuteru" ;dcterms:creator "Nakao, Mitsuteru" ;medline:fau"Takagi, Toshihisa" ;dcterms:creator "Takagi, Toshihisa" ;medline:au"Katayama T" ;

http://togogenome.org

TogoGenome - RDFによるゲノムのDB• 生命科学の白地図であるゲノムにモノをマッピングし、IDと型と座標をつける• ゲノムを中心にあらゆる情報をRDFで足しこんでゆき、関連情報にリンクする
制御領域

ゲノム↓
生物種↑ ↑↑ ↑ ↑↑<exon>

rdf:type<gene>

rdf:type
obo:SO_0000704 ;
faldo:location [ ... ] ;rdfs:label"geneA" ;rdfs:seeAlso <UniProt> .

↑obo:SO_0000147 .
← Sequence オントロジーの型← FALDO オントロジーの座標← 遺伝子名などのラベル← 関連情報へのリンク}

↓↓
↓
菌株
表現型
環境：

↑rRNA遺伝子

コーディング遺伝子

全てのデータをRDFに統一して蓄積し、SPARQLで検索する• セマンティック・ウェブを活かしたアプリケーションを開発

TogoGenome - RDFによるゲノムのDB• データとオントロジーの整備• RefSeq のゲノム配列データ• UniProt のタンパク質アノテーション• INSDC と Taxonomy のオントロジー

足りないオントロジーやデータは自前で整備• FALDO 配列座標オントロジー• GOLD の生物種サンプル情報• MEO, MPO, GMO, MCCV 環境・微生物表現型・培地・菌株ストックのオントロジー• BioPortal/OBO の各種オントロジー•:• セマンティック・ウェブでのアプリケーション開発• データを様々な切り口で絞り込めるファセット検索

TogoGenome - RDFファセット検索
TogoGenomeでは全ゲノム情報に対し複数のオントロジーをファセットとして用いた絞り込み検索が可能で、検索結果から環境・生物種・遺伝子などのレポートを表示
活用例は明日のプレゼンで

TogoStanza - RDF可視化パーツ
ゲノムDBで多用される部品をスタンザと名付け、組み合わせて再利用可能なカタチで提供 (MicrobeDB.jp等と共同開発)

TogoStanza - ウェブページへの埋め込み<!DOCTYPE html><head><title>TogoStanza example</title><script src="jquery.min.js" type="text/javascript"></script><script src="http://togogenome.org/stanza/assets/stanza.js" type="text/javascript"></script></head><body>

基本的には１行 HTML を書くだけでスタンザの埋め込み完了！

<div data-stanza="http://togogenome.org/stanza/protein_names"
data-stanza-tax-id="103690" data-stanza-gene-id="alr4977"></div></body>✓スタンザのURLに /help をつけるとパラメータのヘルプが表示される✓スタンザのURLを stanza/ で終わるとスタンザの一覧が表示される

TogoStanza - スタンザサーバの開発と利用
スタンザのユーザ
各地のサーバから自由にスタンザを組み合わせて自分のDBで利用

スタンザの開発者

StanzaStanzaStanzaスタンザサーバを提供
SPARQL検索の結果を

SPARQL検索結果

HTMLのIFRAMEで可視化

RDF DBRDF DBRDF DBRDF DB→ DBCLSではスタンザを容易に作成しサーバを公開するためのフレームワークも開発・提供

TogoGenome - RDF利用のメリット• 多種多様なデータをユニークな ID (URI) とゲノム座標にもとづいて集積可能• Linked Open Data (LOD) では地理情報を Google map などに集約した成功例が多数• TogoGenome では、ゲノムの白地図としての座標系とリファレンスデータセットを提供• ファセット検索でデータを絞り込み目的のデータセットを取得• キーワードや ID では困難なオントロジーを活用した多様な切り口での検索を可能に• 世界標準となるオントロジーやデータの開発と提供• これまで暗黙知だった作成者やデータ形式に依存する「意味」を明示的に分かりやすく• 塩基配列DBでも INSDC (米NCBI, 欧EBI, 日DDBJ) の RDF 化を DDBJ/DBCLS 発で推進

TogoGenome - 今後の課題• セマンティック・スタティスティクス• データが統合されてはじめて可能となる横断的な統計解析• 統合すべきデータの拡充と標準化• ヒトゲノムを含む真核生物のサポートとドラフトゲノムへの対応• UniProt, NCBO などとの国際連携による RDF データの標準化• キュレーション• Nanopublication による研究者個々人のアノテーション集約• データ更新• バージョンコントロール (hg19→hg20問題など)