データサイエンス業務の準備





::: note
2023年からサラリーマンをいったん辞めてまして、次に就職できるまでの間、フリーのコンサルを地味めにやっております。お仕事のご相談はお気軽に。　合同会社パプカイヤ　https://bit.ly/papuka
:::



# はじめに

2022年、ChatGPTが登場して、テレビ新聞などでも生成AIの話が多く取り上げられるようになり、個人会社でも、AIやML、データサイエンス業務のご相談がたまにくるのじゃ。なので、具体的にどんな相談がきて、どのようなパターンなら、受けてもいいかというのを自分向けに整理しました。　2023年のデータサイエンスのトレンド。元の情報の出展はこちらー。　https://www.mygreatlearning.com/data-science/courses/data-analytics　

# 背景
として、まずハイパフォーマンスデータ分析。ビッグデータの処理がどんどん進化してるんじゃ。この分野、[2023年から2028年にかけて、かなり成長](https://www.globenewswire.com/news-release/2023/08/29/2733801/0/en/High-Performance-Data-Analytics-Market-Size-Share-Analysis-Growth-Trends-Forecasts-2023-2028.html)する予定なんじゃよ。　


# エッジコンピューティング

### 個人のお仕事になるかどうかのおすすめ度　★☆☆☆☆
規模がでかい案件が多いので知っておいて損はないけど受注機会は少なそう


データをその場でサクッと処理する技術じゃ。工場とか交通網など、リアルタイムの意思決定が要るところで大活躍してるんじゃ。


[Gartnerの予想！](https://www.gartner.com/smarterwithgartner/what-edge-computing-means-for-infrastructure-and-operations-leaders) によると、2025年までにはね、組織が扱う企業生成データの約75%が、従来のデータセンターやクラウドの外で生み出されて処理されるようになるんじゃよ。

このエッジ分析の流れがどんどん強まっていって、リアルタイムデータの迅速な対応が必要な場面で特に重要になっとるんじゃ。それをさらに進めるために、「エッジ」っていう考え方が「フォグコンピューティング」というもっと広範囲な概念に進化していくんじゃな。

フォグコンピューティングはね、小さいデータセンターを作って、処理能力をデータの源に近づけることで、コンピューティングやストレージ、通信能力を強化するんじゃ。メタバースのネットワークの可能性を広げる中で、エッジコンピューティングが公共のクラウドリソースにかかる負担を減らし、それが結果的に顧客体験の向上につながることに、みんなが気付き始めてるんじゃよ。





# データ・アズ・ア・サービス


### 個人のお仕事になるかどうかのおすすめ度　★★★★★
基本、ツールやデータセットはクラウドで提供されている。個人のお仕事では必須。

[DaaS（Data as a Service）について理解する](https://reckoner.io/rec_blog/learn-the-web/what-is-daas/#section2)
> DaaSには、主に以下の4つのパターンがあります。
> データ計算・処理リソース提供サービスプラットフォーム
> データ分析ツール
> データセット提供
> カスタマイズサービス

データを上手く管理して、ビジネスの機動性を高める手法じゃね。2030年までに大きく成長する見込みじゃ。
[Market Research Future](https://www.marketresearchfuture.com/reports/data-as-a-service-daas-market-6057)の記事を要約してみる。

Data as a Service（DaaS）っていうのはね、データを貴重な企業資産として活用し、ビジネスの機敏性を高めるためのデータ管理戦略なんじゃ。1990年代のインターネットが盛り上がり始めた頃と一緒に、Software as a Service（SaaS）とともに人気を集めた「as a Service」カテゴリの一部なんじゃよ。

他の「サービスとして」のモデルみたいに、DaaSも企業が毎日の大量のデータを上手く管理できるようにしてくれるんじゃ。これによって、組織全体に大事なデータを簡単に分配できるようになり、情報に基づいた決定がしやすくなるんじゃな。

DaaSのいいところは、従来のデータセンターの制約からデータを解放することなんじゃが、SaaSと違って、DaaSはローカルにインストールせず、ビジネスユーザーにアプリケーション機能を提供しないんじゃ。Platform as a Service（PaaS）が提供するアプリ開発環境もないんじゃよ。

Market Research Futureによると、DaaS市場は36.9%の年間複合成長率（CAGR）を達成すると予測されていて、2030年までには678億5,000万ドルに達する見込みなんじゃよ。



# フェデレーテッドラーニング 



### 個人のお仕事になるかどうかのおすすめ度　★★★☆☆
Microsoft の Fabricなどもそうだが、この考え方は理解しておくとよさそう。直接の受注にはならなくても概念的には押さえておくべき。



モバイルデバイスで、データを一元管理せずに共有モデルを作れる技術じゃ。プライバシーも守りつつ、効率的に学習できるんじゃよ。


Federated Learning（フェデレーテッドラーニング）っていうのはね、携帯電話がトレーニングデータをクラウドに一元管理せずに、共有予測モデルを共同で開発できるようにする技術なんじゃ。これは、モバイルデバイス上での予測を行うローカルモデルを拡張するものじゃよ。

仕組みはこんな感じじゃ。まず、デバイスが既存のモデルを取得してね、デバイスのデータから学習してモデルを強化するんじゃ。そして、その変更をコンパクトなアップデートにまとめて、暗号化された通信を介してクラウドに送るんじゃ。クラウドに到着すると、他のユーザーからの更新と混ざって、共有モデルがさらに強化されるわけじゃ。大切なのは、データはデバイス上に残り、個人情報はクラウドに保存されないことじゃね。

フェデレーテッドラーニングは、プライバシーを保ちながら、賢いモデルを提供し、待ち時間を短縮し、電力消費を減らすんじゃ。それに、このアプローチはすぐに利点をもたらすんじゃよ。共有モデルが強化されるだけじゃなく、デバイス上で改善されたモデルがすぐに使われるようになり、電話の使用パターンに合わせてカスタマイズされた体験ができるようになるんじゃ。



[MSIISM 連合学習とは？Federated Learningの基礎知識をわかりやすく解説](https://www.msiism.jp/article/federated-learning.html)より以下を抜粋
> 連合学習とは何か
> 連合学習は、学習データセットが分散している環境での機械学習モデルの汎用的な学習法の一つです。一般に機械学習における成功のカギはなるべく多くのデータをモデルに学習させることです。従来の機械学習では、下図のように分散している学習データセットを初めに一つの大きなデータセットに集約し、それから機械学習モデル (例: 線形回帰モデル、深層ニューラルネットワーク) を学習するということを行ってきました。 





# ロボティックプロセスオートメーション



### 個人のお仕事になるかどうかのおすすめ度　★★★★☆
あんまりやりたくないけど、オープンソースも多いし、個人でも扱いやすい。何より基幹システムから離れているので受注しやすい。
https://boxil.jp/mag/a2909/?via=as-recArticleLink-mainBottom


そもそも、RPAというのは、繰り返しの作業を自動化する技術じゃ。むかしでいうところの、Excelマクロ。秀丸のマクロ。

人事や財務、在庫管理など、いろいろな分野で使われとるんじゃ。


ロボティックプロセスオートメーション（RPA）は、人事、カスタマーサポート、財務、会計、小売の在庫管理など、ビジネスのさまざまな分野で効率化と自動化を進める手段なんじゃ。

人事部門では、採用プロセスや新人研修に関わる反復的な作業を自動化し、コストを削減して効率を上げることができるんじゃよ。例えば、応募者の管理、履歴書の評価、フォームの記入などの作業をRPAが手伝ってくれるんじゃ。

カスタマーサポートでは、日常的な業務を自動化することで、より迅速な対応と顧客満足度の向上を実現するんじゃ。問い合わせの分類やチャットボットの導入で、効率よく対応できるようになるんじゃね。

財務と会計部門では、RPAを使って、例えば請求書の処理や承認ルーティングを自動化し、作業負担を減らしてエラーを減らすことができるんじゃ。このようにして、会計や財務の作業を効率化してくれるんじゃよ。

小売の在庫管理では、RPAが在庫レベルの自動調整や不一致の減少など、在庫管理を合理化し効率を上げる手段を提供してくれるんじゃ。これにより、小売業者は市場の動向に素早く対応できるようになるんじゃよ。






# 生成AI

### 個人のお仕事になるかどうかのおすすめ度　★★★★★
今時。とくにやりたい人が多いもの。個人のお仕事では必須。

どうやらこれが一番人気っぽい。

AIが人間の創造性やコミュニケーションを模倣する技術じゃ。2030年までに市場がすごいことになると予想されとるんじゃ。

以上が、2023年のデータサイエンスの注目トレンドじゃ。この分野、めちゃくちゃ進化してるから、目が離せんわい。興味がある人は、ぜひもっと深く調べてみるといいんじゃよ。

生成AIと自然言語処理（NLP）の組み合わせは、チャットボットや仮想アシスタントの機能を大幅に強化するんじゃ。特にGPT-3のような生成AIモデルは、NLPを使った会話分析を進化させ、より人間らしい応答を可能にするんじゃよ。

この融合により、チャットボットがよりインテリジェントな応答を提供できるようになり、カスタマーサポートなどでの顧客体験が向上するんじゃ。NLPは、書かれた言葉や話された言葉を解析し、AIがこれらの情報を理解して整理するのに役立つんじゃ。

NLPによる会話分析は、AIに人間の言語の複雑さを理解させ、さまざまな会話から洞察を得る手助けをするんじゃ。この進歩により、AIは音声を処理し、長期間にわたる会話からのデータを抽出できるようになるんじゃよ。そして、自然言語処理市場は、2025年までに2017年と比較して14倍の速度で成長すると予測されとるんじゃ。