実務に役立つ分析コンペ
なぜ発表者が分析コンペで機械学習に取り組むか
2022/04/28
株式会社 日立製作所
Lumada Data Science Lab.
諸橋 政幸
© Hitachi, Ltd. 2022. All rights reserved.

自己紹介• 株式会社 日立製作所
Lumada Data Science Lab.
データサイエンス・エキスパート• 1999年に日立製作所へ入社。
• 2012年にデータ分析部署（その年度に新設）に異動し、データ分析を使って顧客課題を解決する業務に従事。金融・小売など多種多様な分野のプロジェクトを担当
分析経験ゼロからスタートし、約10年間の実務経験を経て今に至る。
• 分析コンペ歴は約6年。Kaggle Master。
© Hitachi, Ltd. 2022. All rights reserved.

2ところで分析コンペって知ってますか？

• 学生や若者がやっているもの• 興味はあるけど参加の敷居が高そう• そもそも聞いたことがない© Hitachi, Ltd. 2022. All rights reserved.

3

１．コンペとの出会い© Hitachi, Ltd. 2022. All rights reserved.

4

ゼロからの分析人生スタート• 1999年入社して情報セキュリティ業務(8年) ＞ 金融事業部(4年)• 2012年に現在のデータ分析／AI推進部署へ異動
当時はビッグデータブーム真っ最中• その後もAI、ディープラーニングと名称を変えつつも「データ利活用」の機運が続く• 一見花形部署だけども、自身は当時30後半かつ未経験の分野、、、© Hitachi, Ltd. 2022. All rights reserved.

5

こんな仕事してます• ざっくり言うと、顧客の課題をデータを使って解決する仕事
••
•
•
•
•
•

顧客が解決したい課題の明確化
どんなデータを活用してどうやって解決するのかを具体化（大規模）データの前処理加工
データの集計・可視化
機械学習やディープラーニングを用いたモデル学習
報告書作成
顧客との打ち合わせ・報告© Hitachi, Ltd. 2022. All rights reserved.

6

スキルセットの多さに絶望• 大きくは３つのスキル• 各スキルの広さと深さ© Hitachi, Ltd. 2022. All rights reserved.

7

とにかく独学の日々• とりあえず書籍で勉強の日々（100冊以上、本だらけ）• 何が正解か分からないまま現場での実務• いっそのこと大学で学び直そうか。。。

© Hitachi, Ltd. 2022. All rights reserved.

8

取り組み方に気付く• 知ってるだけでは結局は不十分
磨いてはじめて生きたスキルとなる• 経験から得てしまうのが最短ルート
それが実務と『コンペ』

知識
実務

コンペ
© Hitachi, Ltd. 2022. All rights reserved.

9２．分析コンペとは© Hitachi, Ltd. 2022. All rights reserved.

10

分析コンペのプラットフォーム• 企業とデータサイエンティストをつなぐ仕組み
分析案件

コンペ

顧客
コンペの依頼/費用支払い
分析の依頼/費用支払い

自社サービス・業務の問題解決の場として利用。

企業

モデル／
報告書
システム開発

分析者

入賞モデル

運営者
コンペ提供/
賞金

コンペの企画・設計および運営。
分析コンペのプラットフォームを提供。

コンペ参加/
予測値・モデル

参加者

賞金やメダル獲得およびスキルアップを目的にしてコンペに参加。
© Hitachi, Ltd. 2022. All rights reserved.

11

国内外のコンペサイト• 日本国内にも有用なサイトがいくつかある• 世界的にはKaggleが規模・知名度ともにトップ• 基本的には予測精度を競う– 店舗別の商品の販売個数を予測– 画像の分類ラベルを予測

コンペサイト

URL

Kagglehttps://www.kaggle.com/

SIGNATEhttps://signate.jp/

Nishikahttps://www.nishika.com/

ProbSpacehttps://comp.probspace.com/

atmaCuphttps://www.guruguru.science/• 参加者のモチベーションは– 順位、メダル、称号 ★ゲーム性が高い– スキルアップ、力試し– 趣味として© Hitachi, Ltd. 2022. All rights reserved.

12コンペのカバー範囲：技術• 教師あり学習• 強化学習
• ディープラーニング– 画像分類、領域検出、セマンティックセグメンテーション– 自然言語の分類– 音声分類• 最適化問題© Hitachi, Ltd. 2022. All rights reserved.

13コンペのカバー範囲：業務プロセス• 実務の一部。しかしスキルが問われる重要なタスク。

機械学習モデルのシステム導入プロセス
企画

業務課題の理解PoC

データの準備開発

分析
設計

データの前処理

運用

特徴量
生成

モデリング

結果報告

コンペのカバー範囲© Hitachi, Ltd. 2022. All rights reserved.

14

３．得られたこと© Hitachi, Ltd. 2022. All rights reserved.

15コンペで得られたこと① 分析設計・ベースライン作成の高速化② 技術の使いこなしスキル③ 新しい技術を知るチャネル© Hitachi, Ltd. 2022. All rights reserved.

16

① 分析設計・ベースライン作成の高速化• 多くの経験からコードへの落とし込みが早くなる– ビジネス課題 ⇒ 分析設計 ⇒ ベースライン– データ利活用で解ける課題へ誘導• 検証の仕組みの重要性を体感– 手元のスコアと、リーダーボードのスコアのギャップ– シェイクダウンなどの失敗経験を実務へ活かす© Hitachi, Ltd. 2022. All rights reserved.

17

② 技術の使いこなしスキル• 分析にはライブラリや技術がたくさんある– LightGBM, tensorflow, torch, BERT,,, etc.
– チューニングスキルが必要、未経験だと学習コストが必要– 多くのタスクで多くのライブラリ利用経験を持つべき• 知っている << 使ったことがある– 理論は大事だが、極端に言うと実践は理論を上回る• 経験に裏付けされた技術の取捨選択– 技術の有用性・限界を知っているからこその適切な分析設計へ© Hitachi, Ltd. 2022. All rights reserved.

18

③ 新しい技術を知るチャネル• 新しい技術を知る／試すチャンス– コンペ駆動型の勉強法– コンペで使ってみて本当に役立つかを判断できる• コンペから得た人脈– チームを組めるので会社や国の枠を超えた人脈が出来る– そこから新しい技術やノウハウを知ることができる© Hitachi, Ltd. 2022. All rights reserved.

19

４．私の活用の仕方© Hitachi, Ltd. 2022. All rights reserved.

20

こんな感じで取り組んでます• まず学習目的を定める• 振り返りは大事

1. 学習目的の設定

2. コンペの選択

3. 分析環境の準備• 仕事ではないので楽しいと思うコンペを選ぶ• メダルや順位は気にしない

4. コンペの推進

5. 技術の調査

6. 振り返り© Hitachi, Ltd. 2022. All rights reserved.

21

とある平日• 仕事で分析しながら、早く家に帰って分析したいと思う日々。。。

9時

睡眠

10時

17時

通勤

21時

仕事資料
作成

社内
打合せ

資料
作成

22時

帰宅

顧客
打合せ

23時

夕食

2時

分析（コンペ）睡眠分析© Hitachi, Ltd. 2022. All rights reserved.

22コンペの魅力とは興味持った方は是非試しにやってみてください！
嵌りすぎて寝不足になってしまったらすみませんｗ© Hitachi, Ltd. 2022. All rights reserved.

23

書籍の紹介Kaggleで磨く 機械学習の実践力──実務xコンペが鍛えたプロの手順
•
••
•
•
•

出版社: リックテレコム
B5変型判 376ページ
定価：3,300円（税込）
ISBN：978-4-86594-326-9
2022年5月23日刊行
諸橋政幸 著■本書の主な内容
第I部 分析実務とKaggle
第1章 実務に必要なスキルとは
第2章 Kaggleの概要
第3章 Kaggleを学習ツールに
第II部 機械学習の進め方
第4章 ベースライン作成
第5章 特徴量エンジニアリング
第6章 モデルチューニング
第III部 実践例
第7章 2値分類のコンペ
第8章 回帰問題のコンペ
第9章 データサイエンティストの未来© Hitachi, Ltd. 2022. All rights reserved.

24