TECHNOLOGYREPORT
IT基盤編

株式会社ディー・エヌ・エー

Technology Report

IT Infrastructure Edition

CONTENTS
12

まえがき

5P.3〜

IT基盤 基本方針

3

IT基盤 ポリシー

4

IT基盤 体制

インフラに対する取り組み
5-1
5-2
5-3
5-4
5-5

P.5〜

P.7〜

6P.9〜

高い技術力 / クラウドへの応用
クラウド事業者との連携
クラウド管理QCD : クオリティ/ コスト / デリバリー
事例：Pococha

IT基盤 実績

P.17〜

6-1 数値で見るDeNAのインフラ技術
6-2 業界への情報発信- 02 -P.11〜

01

まえがき

01

事業を加速させるコア部門
IT基盤部の高いインフラ技術力は、DeNAのコアコンピタンスであり、ケイパビリティです。
IT基盤部では、事業サービスから社内ITまで全てのITインフラ（基盤）を全社横断で管理・提供しています。
一言でITインフラと言っても、その技術領域は非常に幅広く、ソフトウェアからハードウェアまで多岐に渡ります。
我々はITインフラを世界水準の高いレベルで追求し、創業以降の大小全ての事業を支え続けてきた実績があります。
今後もその技術力を駆使してDeNAの事業を加速させ続けていきます。

IT本部IT基盤部 部長- 04 -

鳥越 昇

02

IT基盤基本方針

02

QCD 全てで世界最高の水準を達成する。
IT基盤 基本方針

システムのクオリティ（Quality）、コスト（Cost）、デリバリー（Delivery）これらの一見、両立/鼎立が非常に難しい 3 つの要素、QCD 全てで世界最高の水準を達成することが我々IT基盤部のミッションです。
● システムを 24 時間 365 日、安定して動かし「続ける」ためには何が必要なのか● 数十万リクエスト/秒のトラフィックや、ペタバイトクラスのデータを取り扱うには、どのようなインフラ構成が必要になるのか● システムの基盤やアーキテクチャはどのような基準で選択すべきなのか● システムの運用コストを 1 円でも安くするためには何をすればよいのか
ミッションを達成するため、上記のような様々な問題を日々エンジニアリングで解決しています。

- 06 -

03

IT基盤 ポリシー

03

高品質で低コストなインフラを素早く提供し、DeNAの事業活動を牽引する。
IT基盤 ポリシー

クラウドの躍進と普及、インフラ運用ノウハウのコモディティ化により、この部分はこうすれば良いという部分最適な情報は世の中に大量にあります。しかしながら、インフラ運用として部分最適は当然ですが、全体最適も常に追求し、多様で大規模なシステムを高品質、低コストに運用することが重要です。そのノウハウや知見はどこにもなく、組織の中で集約できるかがポイントです。
クラウドをただ使えれば良い、動けば良いというわけではなく、どう使いこなすかを高いレベルで追求しなければなりません。クラウドの一利用者に留まることなく、クラウドをクラウド事業者とともにどう変えていくか、という観点で取り組む必要があります。
高品質で低コストなインフラを素早く提供し、DeNAの事業活動を牽引することにフォーカスしていますが、これらはシステム横断部門でノウハウの集中と蓄積があり、幅広い経験と高度な専門性を持っているからこそ実現できています。

- 08 -

04

IT基盤体制04

DeNAグループ全体のインフラを管理 / 改善します。

グループ・チーム構成
IT基盤部全体で約40名のエンジニアが在籍しています。サービスインフラ、社内インフラを担当するグループ群は、事業領域を分担する形で４グループあり、ネットワークグループと合わせると全体で計5グループあります。

組織の体制図など

また、クラウドの総合的な運用管理は IT 基盤部内の横断組織で、各グループから集まってチームとして動いています。クラウドの組織管理、コスト管理、セキュリティ施策の推進など、様々なクラウドの管理業務を遂行しています。

- 10 -

05

インフラに対する取り組み05

高度なインフラ技術をクラウドでも使い倒す。
Mobageから培われてきた高いインフラ技術

オンプレミスからクラウドへ大規模なインフラを管理するために、オンプレミス時代には、カーネル・プログラム（オペレーティングシステムの中核的なプログラム）まで踏み込んでチューニングを行なっていました。

元々データセンターでラックを借りて、サーバーをチューニングしながら運用していましたが、QCD全てを満たすための最適な選択としてクラウドをフル活用するという意思決定のもと、大規模で多岐に渡るサービスや社内で利用されていたものすべて、2018年から3年間かけてクラウドに移行しました。

万が一、稼働中のシステムに何らかの障害が起きた際にも、高性能なフェイルオーバー（待機システムに切り替える仕組み）によってダウンタイムを限りなくゼロにすることができています。

クラウド化するとコスト増となってしまうケースも多いですが、オンプレミス時代からの技術をクラウドの中で活かしながら、安定性とコストダウンを両立しています。

2022年現在、DeNA全体で1日50億リクエスト、データ量はペタバイト級のトラフィックを捌いています。

入社初日から最先端の技術を安心してすぐに使える環境が提供されていることで、DeNAのエンジニアは創造的な仕事にフォーカスすることができています。

- 12 -

05

クラウド事業者と連携し、さらなるクラウドの駆使と機能改善に努めています。
クラウド事業者とのコミュニケーションライン
クラウド事業者のエンジニアとオフィスアワーを週次で実施し、技術的な課題をタイムリーに相談，解決策の提案を受けています。また、定例会議を月次で開催しており、クラウド事業者のテクニカルマネージャーから、新サービスの紹介や詳細なコストレポートの提供が行われます。
加えて、クラウド事業者から提供されているEBC（Executive BriefingCenter）の仕組みを利用して、クラウド事業者の製品責任者や開発陣と定期的にディスカッションを実施しています。中長期的な事業課題や技術課題の共有、クラウドサービスの改善要望を伝えています。
また、クラウド事業者のDeNA担当チームとホットラインを設置しているため、常にコミュニケーションが取れる環境があり、万が一の事態にも早急に対応ができるよう備えています。

- 13 -

05

クラウドにまつわる適切な標準化と管理も行なっています。
クラウドに必要な標準化
クラウドを大規模に利用するにあたって、「アカウント管理」「権限管理」「コスト管理」など、各種管理手法の標準化を行なう必要がありました。そこでパブリッククラウド管理チームを発足し、これらの標準化、および管理を執り行っています。
クラウドを利用するためのアカウントに命名規則を設けたり、各種サービスやシステム環境ごとのアカウント運用、技術による管理工数の削減等を行なっています。
DeNAでは毎月数十件単位でクラウド用のアカウントが作成 / 削除されており、総アカウント数も日々増えています。これらを放置すると、利用されないアカウントが発生しがちですが、現在そのようなアカウントはありません。
また、安全且つ効率よくクラウドを利用するために、クラウドの新技術検証も行っており、最新技術のキャッチアップにも努めています。

- 14 -05

QCDで世界最高の水準にするために。
QCDへのこだわり

QCDの優先度判断システムのクオリティ（Quality）、コスト（Cost）、デリバリー（Delivery）をバランスよく提供することは、人的リソースや外的要因を含め、判断が難しい局面が多いです。
IT基盤部では、事業フェーズに合わせながら、優先度判断を実施しています。例えば、新規事業の場合には、ファストデリバリーとハイクオリティを優先事項とし、コストマネジメントはセカンドプライオリティとして取り組んでいます。

インフラ起因での障害やダウンタイムを限りなくゼロにすることを、インフラ環境の品質としてIT基盤部では追求しています。サービスによって異なるインフラ環境に合わせた、高速なフェイルオーバー等の仕組みを駆使することで実現しています。

インフラ環境の提供スピードを怠ることもありません。過去には、サービスローンチ初日で数千万ユーザーの方にご利用いただいたグローバル規模のサービスインフラ環境を、クラウドを駆使し6ヶ月で構築しました。

コスト面では、高性能なクラウド環境を最適化されたオンプレミスと同等のコストで実現することを目標にしています。通常のクラウド利用の手法であれば、オンプレミスの倍額になってしまうような状況でも、最適なチューニングを施し極限までコストを抑えた設計にしています。

DeNAがオンプレミス時代から培ってきたインフラ技術や、クラウド事業者との連携などによって、事業や開発のスピードを落とさずにインフラ品質を向上させ、高品質なインフラ環境を維持したまま、コスト削減が可能になっています。

- 15 -

05【事例】Pocochaの成長フェーズに合わせたインフラ整備
インフラ専門部隊のサポートでよりよい品質の提供

ユーザー増加とAmazon IVSの利用さらなる改善のために2017年にサービスをスタートさせたPocochaの初期のインフラ環境は、エンジニア2名によって3ヶ月で構築され、サービスの機能開発も同時並行で進んでいたため、スピードを優先した開発が進められました。

2020年頃から流行したコロナウイルスの影響で「巣ごもり需要」が加速し、Pocochaの利用者数も一気に増加しました。急速な利用者の増加に伴って、サービス内のトラフィックも増大し、またグローバル化を見据えていたことから、インフラ構成の見直し、課題への対処を進めていました。

1つの技術や配信基盤に依存することなく、いかなる場合でもサービスを落とさないようにするために、様々な技術を検証し、「控え」の仕組みを用意することで、万が一の事態でもサービスをご提供できるよう備えています。

その後、インフラの品質を向上させるべく、IT基盤部がサポートし、難度が高いデータベース管理の最適化などの工夫を通して、インフラシステムを高速化 / 効率化させ、より安定したサービスをご提供できるように努めていました。

このような背景から、配信基盤の一層の安定化・高品質化のためにAmazon Ineteractive
Video Service(Amazon IVS)を導入しました。
Amazon IVSは、DeNAが世界で最初のユーザーであり、多くの機能リクエストを依頼し、それらを実現していただけたことで、トラフィックをより管理しやすく、さらに利用者の様々なネットワーク環境に対応することができています。

- 16 -

クラウド環境をただ利用するのではなく、仕様を理解した上で使い倒し、安定性も保ったままDeNAが培ってきた技術力によってコスト削減を実施しています。
さらに、クラウド事業者と二人三脚でクラウドサービスの改善点についても議論し、より安定したサービスをご提供できるように努めています。

06

IT基盤実績

06

数値で見るDeNAのインフラ技術
過去トラフィックピーク時

過去ピーク時 1日あたり約35億 PV約

2022年 IT基盤部
インスタンス管理数

約30Gbps

2022年 DeNA全体で1日5,000インスタンス

約- 18 -

50億リクエスト

06

インフラ技術のノウハウを発信し、業界全体の発展に貢献しています。
クラウド完全移行への経営レベルでの意思決定

インフラ技術の発信

オンプレミスからクラウドへの移行は難しい経営の意思決定でした。当時DeNAがどのようなことに悩み、どのような軸で決断したのか。また、クラウド移行するにあたってどのような手順を踏んできたのか公開しています。

エンジニア向けの技術カンファレンス「DeNA TechCon」や、エンジニアブログにて、DeNAが育んでいるインフラ技術のノウハウを随時公開しています。また、インフラエンジニア向けのイベントも主催し、業界内での情報交換も活発に行なっています。

■ 代表取締役会長 南場 智子の登壇実績● DeNA TechCon 2022
○ https://techcon2022.dena.dev/● Google Cloud Next '19 Tokyo○ https://fullswing.dena.com/archives/4762● AWS Summit Online （2021開催）○ https://fullswing.dena.com/archives/7425● エンジニアブログ○ https://engineering.dena.com/blog/tags/infrastructure/■ その他● インフラエンジニア向けのイベント「DeNA インフラ/SRE MEET UP」の実施● オンプレミスに強みをもつDeNAはなぜクラウド化を決めたのか？ その舞台裏と今後の展望● モバゲーをオンプレからクラウドに移行した裏側● DeNAのインフラ戦略 〜クラウドジャーニーの舞台裏〜 [DeNA TechCon 2019]● 主要なカンファレンスイベントへの登壇○ 2019年 AWS re:Invent○ 2020年 AWS Summit Online- 19 -

本資料について本資料は、2022年12月時点の情報に基づき作成しております。
今後、DeNAグループ内の組織変更やご提供するサービスの多様化、また社会情勢や経済の変動など、様々な観点から総合的に判断したうえで、本資料に記載している体制や仕組みなどの変更を行う場合があります。

お問い合わせ先

以下からお問い合わせください。
https://dena.com/jp/contact/- 20 -

株式会社ディー・エヌ・エー