「帰ってきた前向きデータ整備人が語る！コロナ禍におけるデータ整備の姿」まとめ

# 概要
- 本記事は、2021年11月26日に開催された「CROSS Party online 2021」内の「帰ってきた前向きデータ整備人が語る！コロナ禍におけるデータ整備の姿」での内容をまとめたものです。

    - CROSS公式サイト：https://cross-party.com/2021
    - connpass：https://cross-party.connpass.com/event/230293/
    - Youtube：https://www.youtube.com/watch?v=S_r6XACxe2M&t=6067s

        - 記載内容については、上記Youtubeから確認して記載しています。

- また、この２０２１年のセッションは、以下２０２０年に開催された、「[CROSS Party Online２０２０](https://cross-party.com/2020)」の「[データ整備人が語る！DXにも不可欠なデータ整備の姿](https://cross-party.com/sessions/58Hvs6ep)」の第２段として企画されました。
    - Youtube : https://youtu.be/1_p6c8nOs7k?t=6501


# 登場人物（所属は登壇当時のもの）
- パネリスト
    - しんゆうさん（フリーランス） https://twitter.com/data_analyst_
    - 高橋さん（アクセンチュア）  https://twitter.com/light940
    - 吉田さん（MonotaRO）    https://twitter.com/syou6162
- モデレータ
    - 久保（日本IBM）  https://twitter.com/_bou_3


# トピック

## 他の職種の人とどう関わりを持って仕事をしているか
- しんゆうさん
    - 分析者からの依頼を受けて、データやBIを提供する形で関わる。
    - 不明なデータについては、データエンジニアに聞いたり、ほか部署で似たような使い方がないか、あたりをつけて確認していく。
    - _
- 高橋さん
    - 前職は事業会社で、様々な職種と関わっていた。エンジニア系、ビジネス系が入り交じる。
    - 話す言葉に気をつける。共通言語で話すように気をつける。間に立って翻訳する。職種による言葉やニュアンスに気をつける。
    - 現職はコンサルなので、会社をまたぐと言葉が代わるので、お客様の言葉の意味に気をつける。
    - 用語集まで作らないけど、相手の立場に立って考える。
- 吉田さん
    - 4つの職種の人と関わりがある。
        - システムエンジニア（システム・アーキテクチャについて会話）
        - データ管理者。部門の人でドメイン知識ある。DWH/BIを駆使している。（データアーキテクチャについて会話）
        - データユーザ。問い合わせ対応。
        - 意思決定者。経営層。（リソースやコストの優先順位などについて会話）
    - (久保質問)様々な立場の人との間で、板挟みになりませんか？
        - 都度対応すると板挟みになるのだが、チームとしてのビジョンをまずつくって、その認識をあわせていくことで自分の立場を確保していくことで板挟みにはならないようにしている。

## 再現性のない思いつき依頼をどう捌く(時にはうまくあしらう)
- しんゆうさん
    - 基本的には叶えてあげたいが、そもそも再現性のない思いつきの依頼なんだっけ？ときちんと確認する。
    - 相手はなにか知りたいと思って聞いてきているので、あまり最初から決めつけをしないで話を聞くようにしている。
    - 確認していく中で、相手の要件を抑えることができるので、その上で、かかるコスト（手間ひま、時間、）を説明すると、実行要否も含めて整理される。
    - ゴリ押しされる依頼も有るが、依頼側でできてしまう事はやってもらう等、うまく分担するようにしている。
    - 要件調整・コミュニケーションのほうがデータ整備の分野ではより大事。

- 高橋さん
    - 前職では結構あるある。
    - まずはコミュニケーションとりましょう。
    - 何のために使うのか？無いとどうなるのか？などと要件を確認していくことが大事。
    - すぐ終わる件だったらすぐやる。
    - データの取り方を教えてあげて、かんたんなものは自分でできるようにしてあげる。

- 吉田さん
    - 基盤を創る立場としては、ガイドラインを創る。そこから外れる人には注意する。

## データ整備人としてのモチベーション
- 高橋さん
    - データをどう使って、それが事業にどう役立つか、という点がやりがい。
    - 人によってモチベーションは異なるはずだが、自分にとって何が楽しいか、という点が大事。

- 吉田さん
    - データ分析の8割が前処理。いい感じに前処理をしてあげたい。
    - もともとデータ分析やっていたけど、前処理にやりがいを感じる人は要る。
    - その仕事の意義を唱えて仲間を増やす。

- しんゆうさん
    - もともと分析をやろうとしていたら、前処理が多すぎてそれが本業になった。
    - 後の工程で優れた分析をやってくれると期待して整備するのがやりがいになっている。
    - パズルを解くようにカオスな状況をさばくのが自分では楽しみ。
    - （久保）前向きデータ整備人は2019年後半から。あの勉強会はモチベーションと関連する？
        - 自分の考えをまとめる為に始めたが、案外同じ悩みを持つ人が多かった。
        - 仕事として有るんだけれども、明示的に存在していなかった職務に名前を与えたら案外存在がデカかった。

## 整備人はエンジニアやアナリストと別に存在していたほうがいいのか。
- 吉田さん
    - 規模による。
    - 前職は小規模だったので、自分でひきうけてやっていた。

- 高橋さん
    - 前職の場合、チーム10人いた。分析や整備、開発も実施していた。整備専門はいなくて片手間だった。
    - 整備は専任がいたほうが良かった。

- しんゆうさん
    - 役割としては別だけれども、専任を置くかどうかは規模による。マーケと営業のように。
    - 人をおけるような余裕があればおいたほうが良い。


## データアーキテクト（整備人）として、今後どのようなスキル・経験が求められるのか
- 高橋さん
    - いろんな職種と関わる仕事なので、個別のスキルよりもコミュニケーションや推進力が大事。
    - データ整備は総合格闘技。幅広いスキルが求められる。

- しんゆうさん
    - 技術側ともビジネス側ともコミュニケーションできるが大事。
    - 多様な事をやるので、優先順位づけ、取捨選択をきちんとできないといけない。
    - 経験としては、エンジニア或いはアナリストとしての経験が合ったほうが良い。整備したデータがどう使われるかが想像できたほうが良い。
    - そういった周辺領域がわかっていたほうが、おかしな事言われた際に提案もできないので。
    - あえて言えばアナリストのスキルが大事。（次の工程がわかるから）

- 吉田さん
    - 次の3つ。
        - アーキテクトを名乗るならエンジニアリング力は大事。そもそものデータの流れを抑えておけるので。
        - データ利用の用途に対して、高い解像度を持つことが大事。
        - 組織設計。データ戦略に沿って活動できるように。
    - 全部できる人がいたらうちに来て下さい。
    - 現状3人でやっているが、おもにその3つを分担してやっている。

## データアーキテクト（データ整備人）のキャリアパス
- しんゆうさん
    - データ整備人のキャリアパス。そんなもの有るんでしたっけ。
    - そもそもデータ関連の分野って若いので、もともとデータ分析が合って、その後データ整備が出てきて、その後どうなるかはわからない。
    - データマネジメントの方向や組織運営をみる立場、というのはあるかもしれない。データ整備はデータマネジメントの1要素。
    - データ整備人としてのキャリアは全くわからない。
    - 前向きデータ整備人に出てくる人も千差万別。基本的に現場の人。

- 吉田さん
    - むしろ教えてほしい。やりたいようにやればいいんじゃない？
    - データ整備が落ち着いたら分析のほうをやっていきたい。
    - データの生成に問題があればそっちに行くし、解くべき課題や興味を感じる方向に行けば良い。
    - 生成・整備・利用、というデータのサイクルに関わっていければ良い。

- 高橋さん
    - 僕も教えてほしい。
    - 歴史が新しい分野なので、今も模索中。
    - エンジニアリングやビジネスと関わる事が多い。必要なスキルセットも多い。いろんな横へのキャリア変化をしやすい立場かも。
    - 全部はできないので、どこに軸足を置くのかで、キャリアは変わってくる。
    - 自分はもともとエンジニアだったが、アナリストになって、コンサルに変わってきた。自分としては望んだ通りビジネス系に寄ってきている。

## 視聴者からの質問：データアーキテクトを設置する目安として、それぞれのデータ量など規模感はどのようにお考えですか？

- しんゆうさん
    - 整備という仕事自体は必ず発生する。量によらない。
- 吉田さん
    - テーブルの数とか種類が多い場合には必要かもしれない。
    - データが小さくても複雑だと必要かもしれない。量以外の側面をみる必要が有る。
    - 量・質・複雑さ、など、データにつまずく人が多ければ設置したほうがいいかも。
- 高橋さん
    - 組織の人数による。
    - 専門の人を置く、というのは組織の意思表示・覚悟である。


## 環境がぐちゃぐちゃの中、整備という概念が伝わらない。
- 高橋さん
    - それをやる組織としての意思があるかどうか、というのが大事。
    - 自分がデータ組織を立ち上げた際は、人が潤沢にいたから組織ができたわけではなくて、最初は兼業で自分でやりながら組織化していった。

- 吉田さん
    - 整備という概念を伝える必要があるか？困っているから整備という概念が出てくる。
    - 困っている場合は、その事例を集めてFACTを示していくことで、組織としての優先順位をあげられるのでは。

- しんゆうさん
    - 整備という概念を伝える必要は大事。やり方は色々有る。