分散コンピューティング部会の紹介

2021年3⽉5⽇
株式会社 ノーチラス・テクノロジーズ
http://www.nautilus-technologies.com/
mailto:contact@nautilus-technologies.com
Tel: 03-6712-0636
NAUTILUS

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Confidential

部会紹介

分散コンピューティング部会の紹介

NAUTILUS

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Conﬁdential2分散コンピューティング部会の概要
n

活動⽬的– Hadoop/Spark や Asakusa Framework 等、オープンソースの分散コンピューティング技術の導⼊活⽤に向けた普及促進活動n

活動内容– ビジネス⾯・技術⾯での情報収集や情報交換– 普及促進に向けた情報展開（Web やセミナー等）– ユーザコミュニティ／開発コミュニティとの相互協⼒
n参加企業

新⽇鉄住⾦ソリューションズ株式会社、東芝デジタルソリューションズ株式会社、株式会社ノーチラス・テクノロジーズ、株式会社⽇⽴ソリューションズ、三菱電機インフォメーションシステムズnリーダー

株式会社ノーチラス・テクノロジーズ
株式会社⽇⽴ソリューションズ

NAUTILUS

⽬⿊ 雄⼀
才所 秀明

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Conﬁdential

3

活動実績
n 勉強会の主催– 2018年6⽉– 2020年11⽉– 2021年3⽉

BigGolliraの紹介
Databricks勉強会
マイクロソフトデータ分析基盤勉強会（開催予定）

n コミュニティ活動⽀援– Project Tsurugi ユーザ会後援（2019年2⽉、2020年10⽉）

n 部会活動– Asakusa FrameworkDayの開催（2014年〜2016年）– Asakusa Framework適⽤判断ポイントのまとめ（2016年公開）

NAUTILUS

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Conﬁdential

4ここ最近の分散界隈の話n 昨年より⼀層サービスへの道を歩んでいます– 分散処理のソリューションがサービス化されている

n ⾃分たちで構築する、という前提よりは、サービスを利⽤することが前提とされてきている– クラウドが前提としており 、OSSを使ったマネージド・サービスという観点が⾊濃い» 様々なOSSソリューションを組み合わせて⼯夫するのはなかなか難易度が⾼いため、サービサー（主にクラウド事業者）側で、ある程度の組み合わせをしてサービス化しているものを使う、という観点になっている– “⾃分たちで構築する”という観点が薄くなってきている» それぞれのミドルウェアやアプリケーションを特徴を理解し、適切に組み合わせて構築し、運⽤まで実施していく、ということができる⼈が限られている» レディメイドのサービスを使うことがよりコストメリットがあり、⼿間がかからないことが浸透してきている

n 分散のミドルウェアについては、主流がMapReduceからSparkに変わった– ⼀⾒するとSparkをサービス化しているものかどうかわからない（隠蔽されている）

NAUTILUS

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Conﬁdential

5新しい取り組み

Project Tsurugi(劔)〜OSSの分散DB開発〜

NAUTILUS

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Conﬁdential

6Project Tsurugiとはn RDBMSの開発を⽬的としたプロジェクト– DB系Tx系の企業・有志グループ・ユーザ会等により現 在開発中です

n NEDO案件(経産省)– このProjectの成果は、国⽴研究開発法⼈新エネルギー・産業 技術総合開発機構(NEDO)の委託業務の結果得られたも のになるものがあります

NAUTILUS

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Conﬁdential

7

開発の⽬的n 選択肢の確保– 現状のH/Wアーキテクチャに合致したRDBMSの選択肢をより増やす

n 透明性– より広く利⽤可能であること– 実装透明性を確保するためにOSSで開発する

n 受け⼊れやすいものを– エンジンを中⼼:外側はPostgresそのものとする– 既存ユーザに受け⼊れやすいようにする

n HTAPで利⽤可能な形態にする– 分析と書き込みの両⽅ニーズを満たす必要がある

n コミュニティベースの開発を企図– 可能な限り国内のDB研究者や開発者を集めて共同でつくり上げる– すでにユーザ企業を中⼼としたコミュニティが発⾜している– 協調関係をとりながら加速させる

NAUTILUS

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Conﬁdential

8

システム概要
n 全体像– PostgreSQLをベースに「新たに開発するOLTPエンジン」と「任意のOLAP」を組み合わせた「HTAPシステム」
n 現時点では、OLAPとしてPostgreSQL(リファレンス)とApache Sparkを想定
n その他のOLAPについても組み込みのためのフレームワークを提供予定– フロントエンド(表⾒え)はPostgreSQLだが、実際にクエリを処理するエンジンは別になる
n クエリの⼊⼒や結果セットの取得はPostgreSQLのインタフェースから可能– 1つの接続先からOLTP、OLAPそれぞれのデータにアクセス可能– OLTPに書き込まれたデータはOLAPにも反映される(HTAP)– SQLはPostgreSQLの仕様をベースに基本的な命令⽂から対応予定– 運⽤管理機能(バックアップなど)は独⾃拡張予定

n 基本的にはPostgreSQLに近い使い勝⼿になることを⽬指す

NAUTILUS

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Conﬁdential

9システム概要図

NAUTILUS

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Conﬁdential10

今後についてn 研究事業は2022年度まで

n 事業終了段階でα版の提供を予定– PoCの実施を可能とする– SIとの組み合わせであれば、システムへの組み込みは可能なレベルにする予定

n もっと知りたい⽅は、以下のページに昨年の10⽉にユーザ会で説明した資料を公開しているので御覧ください– https://www.osscons.jp/distributed_computing/download/

NAUTILUS

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Conﬁdential

11分散コンピューティング部会

NAUTILUS

Copyright © 2021 Nautilus Technologies, Inc. All rights reserved.
Proprietary & Conﬁdential

12