[ Data-Centric / HITL ]を⽤いた
AI開発の実践例
株式会社APTO
⾼品 良

1

About APTO
- Investors

会社概要
AI開発の80%以上を占めるデータの収集、アノテーションに特化したサービスを提供。

村口和孝

サービス
1) アノテーションツール提供
2) アノテーション受託/AI開発受託- Programs & Award

3) データセット販売事業
4) ノーコード/ローコードプラットフォーム提供
会社情報
会社名

株式会社APTO

設立

2020年1月20日

代表者

高品

拠点

東京都渋谷区神南1-5-14 三船ビル403- Media Coverage

良- Collaboration

APTO Mission

AI Solution
日本を代表する企業に対してAI開発の課題を解決し、日本をAI先進国へ

HITL System
全国にいるクラウドワーカー/エキスパートワーカーによってリアルタイムでデータ収集、アノテーションが可能

⾃⼰紹介
株式会社APTO

高品代表取締役CEO良＜学歴＞
大学で経営工学を専攻（プログラミングに触れる）＜職歴＞
2013年4月：インフラ/バックエンドエンジニア（大規模機関系システム開発）
2015年10月：IT案件にエンジニアとして参画（ ITコンサル会社）
2017年11月：VRコンテンツ制作会社を設立（VR物件、エンタメコンテンツ制作）
2020年1月： APTOを創業
AI開発に興味をもち、自動炎上検知サービスを開発しようとしたが、精度があがらず頓挫（データ不足が課題）
AI開発にはデータが非常に重要だと気づき、データに特化したAPTOを創業
2020年12月：プロダクト開発を本格化（ シードの資金調達を完了）

2021年10月：harBest（データ収集、データ作成プラットフォーム）をローン

AI開発のフロー

データ収集
作成

（アノテーション）

評価
AI構築

組み込み

AI開発の80%

出典：MLOps: From Model-centric to Data-centric AI
著者：Andrew Ng

「データ」、「教師データ」収集の課題

AI開発・データ活用をしたいけど・・・

自社にデータあるけどとても整理しきれない・・・作業をしたいが人員が足りない・・・

肝心なデータがない・・・

意外な現状！！
・高給AIエンジニアがアノテーション作業
・専門知識不要な作業も多い現実ビジネスモデル①

Web発注プラットフォーム

お客様（管理者）

月額課金+従量課金

クラウド
ワーカー

手数料

アノテーション料金

ビジネスモデル②

アノテーションツール

1) アノテーションチーム管理
2) アノテーション品質管理
3) メジャーなデータフォーマットへの対応■ダッシュボード■アノテーションツール

月額3万円〜

ビジネスモデル③

アノテーション受託

LLMデータセット販売
LLM開発に必要な権利クリアなデータセットを提供

バーチャルデータ作成/販売
現場で収集困難な異常データのバーチャル作成■鉄板のサビを仮想的に再現

バーチャル上で作成されたデータを、学習用データ、評価用データとして利用することで精度向上を実現

利⽤実績⼀覧
製造業/メーカー

情報・ITサービス

生成系AI

商社

学術機関

警備

化粧品

金融

EC

印刷

小売

マーケティング

食品

ハウスメーカー

衛星

農業

植物

鉄道

前提となる考え⽅ – Data-Centric / Model-Centric
Model-Centric AI
・データ収集を⾏い、データに含まれるノイズに耐えられるようなモデルを開発する
・データを固定し、「コード/モデル」を繰り返し改良していく

Data-Centric AI
・データの⼀貫性を最重要として、アノテーションツールなどを使って、データの品質を改善する・コード/モデルを固定し、元となる「データ」を繰り返し改良していく
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI「第1回 Data-Centric AI勉強会」 Data-Centric AI Community, YouTube

前提となる考え⽅ – Data-Centric / Model-Centric
Model-Centric AI

データ収集
データ作成/アノテーション

AI実装

評価

デプロイ

データ収集

評価

デプロイ

Data-Centric AI

AI実装

データ作成/アノテーション

A Chat with Andrew on MLOps: From Model-centric to Data-centric AI「第1回 Data-Centric AI勉強会」 Data-Centric AI Community, YouTube

前提となる考え⽅ – Data-Centric / Model Centric

Model-Centric vs. Data-Centric
鉄製品の⽋陥検査

ソーラーパネルの⽋陥検査

表⾯検査

Baseline

76.2%

75.68%85.05%

Model-Centric

76.2% (+0%)

75.72% (+0.04%)

85.05% (+0%)

Data-Centric

93.1% (+16.9%)

78.74% (+3.06%)

85.45% (+0.4%)・外観検査プロジェクトにおいて、ベースライン⽅式をどれだけ改善できるか「Model-Centric」と「Data-Centric」を⽐較

500件中のノイズデータ削除

新規で500件のデータを追加

・Data-Centricでは⼤きな改善に成功。また、別の実験では新規でデータを追加するよりもノイズデータを削除した⽅が⼤幅に精度改善につながったとする報告も。
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI「第1回 Data-Centric AI勉強会」 Data-Centric AI Community, YouTube

前提となる考え⽅ – Data-Centric / Model Centric

Data-Centric Approach
アノテーターA

アノテーターB

アノテーターC・アノテーターによるラベルの偏りを限りなく減らした、アノテーション規則が⼀貫したデータセットの構築を⽬指す?

・⼀貫性の⽋如など、データ上の問題の発⾒、解決をシステマティックに⾏う必要がある

A Chat with Andrew on MLOps: From Model-centric to Data-centric AI「第1回 Data-Centric AI勉強会」 Data-Centric AI Community, YouTube

前提となる考え⽅ – Data-Centric / Model Centric

Big Data → Good Data
・定義が⼀貫している（曖昧性のないラベルを定義）
・重要なケースをカバーしている（レアケースなど⼊⼒を⼗分にカバー）
・本番データからのタイムリーなフィードバック（データ分布がデータドリフトやコンセプトドリフトをカバーしている）
・サイズが適切である
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI「第1回 Data-Centric AI勉強会」 Data-Centric AI Community, YouTube

前提となる考え⽅ – Data-Centric / Model Centric

Summery (Prerequisite Concepts)
Model Centric AI
・データ収集を⾏い、データに含まれるのノイズに耐えられるような良いモデルを開発する
・データを固定し、「コード/モデル」を繰り返し改良していく

Data Centric AI
・データの⼀貫性を最重要として、アノテーションツールなどを使って、データの品質を改善する
・コード/モデルを固定し、元となる「データ」を繰り返し改良していく

・MLOpsの最重要タスクは、機械学習プロジェクトのライフサイクル全体を通じて、⾼品質なデータを保証すること・今後はData-CentricなAI開発を継続的に、効率的に、システマティックに実現するためのデータ作成/アノテーションツールが重要になる
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI「第1回 Data-Centric AI勉強会」 Data-Centric AI Community, YouTube

Human In The Loop (HITL)

Data-Centric + HITL
Data Centric AI
・データの⼀貫性を最重要として、アノテーションツールなどを使って、データの品質を改善する
・コード/モデルを固定し、元となる「データ」を繰り返し改良していく

・MLOpsの最重要タスクは、機械学習プロジェクトのライフサイクル全体を通じて、⾼品質なデータを保証すること・今後はData-CentricなAI開発を継続的に、効率的に、システマティックに実現するためのデータ作成/アノテーションツールが重要になる「じゃあ、どうやって⾼品質なデータを⼀定量収集するの？」「収集したはいいけど、どうやって⾼品質なラベリング/アノテーョンをすればいいの？」[ ⼈ / Human-in-the-Loop ]参照: 「Human-in-the-Loop 機械学習 – ⼈間参加型AIのための能動学習とアノテーション」 共⽴出版

Human-in-the-Loop (HITL)

Human-in-the-Loopとは機械学習モデルと人間が相互補完しながら動作するシステムを意味します。機械学習を利用するアプリケーションにおいて、人間と機械の知能を融合するための一連の戦略であり…
早い話が、l モデルの精度向上
l 機械学習モデルが⽬標とする精度に到達するまでの時間を短縮する
l ⼈間と機械の知能を融合し、モデルの精度を最⼤化する
l 機械学習を⽤いて⼈間の作業効率を上げる
以上を目的とした戦略のこと
参照: 「Human-in-the-Loop 機械学習 – ⼈間参加型AIのための能動学習とアノテーション」 共⽴出版

Human-in-the-Loop (HITL)

Human-in-the-Loopとはラベル付けされていないデータセット

？

？
？ ？

？

学習データ：
ラベル付けされたデー
タは学習データとなる

アノテ―ション

⼈間がラベル付けする？
能動学習：
⼈間がアノテーションする価値があるデータをサンプリングする

デプロイされた
機械学習モデル

転移学習

既存の機械学習モデルを再利⽤して効率的に学習する

機械学習モデルの学習モデル構築のための学習デーた利⽤

ラベルを予測する

機械学習モデルのデプロイ：学習したモデルをラベル付けされていないデータに適⽤するラベルAのデータ
ラベルBのデータ

ラベルA付けされていないデータ？

ラベル付け対象に選択されたデータ

予測されたデータ
参照: 「Human-in-the-Loop 機械学習 – ⼈間参加型AIのための能動学習とアノテーション」 共⽴出版

Human-in-the-Loop (HITL)

メルカリ × Human-in-the-Loop
違反出品検知システムにおけるHITL＜前提＞
・違法出品検知はアルゴリズムは基本的に劣化・ポリシー変更は正解ラベル定義の変更と同義（=教師データ変更が必要）＜解決策＞
メルカリはシステムによって検知された違反商品はCSが必ずすべて確認する運用をとっている
蓄積された正確で新しいデータを用いてモデルの再学習を行うことで機械学習システムの精度が保っています。
ルールベースシステムがCSオペレーターに候補を送信することでMLモデルへのラベルを新たに蓄積し、このラベルからMLモデルが新しい違反を学習することが可能
ポリシーの変更に伴い、無効となる教師データがどうしても存在するが、予めうまく切り分けられるログを残すことで急なポリシーの変更に対して無効となったデータを、最小限の大きさでデータセットから除外することができる

参照: https://engineering.mercari.com/blog/entry/2020-03-25-180000/

harBestの特徴①
奇数のデータで⽐較する⾃動チェック機能

信頼度：⾼評価

⾯倒だから適当に塗ろう

信頼度：低評価

信頼度が⾼い良質のデータを集めることが可能

25

クラウドワーカー/APTO-BPOに通知⽬次

・イントロダクション（3分）
・前提となる考え⽅ – Data-Centric / Model-Centric（3分）
・Human-in-the-Loop (HITL) （3分）
・各業界における Data-Centric AI開発事例（10分）
・アノテーションプラットフォーム「harBest」が⽬指す社会（1分）

データ収集
データ作成
（アノテーション）

AI構築

組み込み

出典：MLOps: From Model-centric to Data-centric AI（Andrew Ng）

評価

各業界における Data-Centric AI開発事例

Data-Centric × Human-in-the-Loop × 農業 × harBest
課題：ピーマン⾃動収穫機の精度向上
2019年から「農作物の⾃動収穫機」 の開発に着⼿- 収穫機に付帯するAIカメラが、収穫可能かどうかを判断
実際の依頼内容- 機器に搭載されているカメラで動画/画像を撮影、⼿作業で切り出し、分類、アノテーションを実施
アノテーション要件- ①取れるピーマン、②枝が刈り取りの邪魔しているピーマン、③葉っぱに隠れているピーマン、④⼤きさが適正でないもの、⑤その他の例外に分類・ラベリング
Point:
収集: どうやってカテゴリごとに適切かつ⼤量のピーマン画像を収集するか
Labeling: 教師データに量、質ともに⾼精度なアプローチが求められる
Firtering: 枝を⽋損することなく、適当な成⻑度のピーマンを検出
結果：10%〜精度向上に成功。また、枝を切ってしまうことによって起きていた⽣産量にも寄与。
https://harbest.io/case/34

各業界における Data-Centric AI開発事例

Data-Centric × Human-in-the-Loop × 製造業 × harBest
課題：実装ラインの稼働率向上 / ⼈的な監視・管理コストの削減
⾼額な機械、実装ラインの稼働率が低減していた- 機械1台ごとに「シグナルライト」を設置- 稼働状況を8パターンに分けて分類、アノテーション
Point:
収集: ⼯場内に設置したカメラの動画から画像を切り出し
Labeling: 稼働パターンに沿って、8種類のラベルを想定
Firtering: 曖昧な信号、確認難度の⾼いシチュエーションも想定
結果：15%〜30%前後認識率の向上に成功。各ラインの稼働率も⼤幅に伸び、⽣産の最適化を実現。

https://harbest.io/case/178

各業界における Data-Centric AI開発事例

Data-Centric × Human-in-the-Loop × インフラ × harBest

https://harbest.io/case/178

各業界における Data-Centric AI開発事例

Data-Centric × Human-in-the-Loop × ⾷品メーカー

鶏⾁の⾎合い（ニチレイフーズの公式サイトから引⽤）

課題：機器による選別後に、⼈⼿や⽬視による検品が必要でコストを圧迫。
2016年から「原料の選別に⽤いる画像認識AI」 の開発に着⼿- ⼯程を分解 ①原料の⽬視確認 ②⾎合いの有無・位置確認 ③除去- ①’ベルトコンベヤーに流れてくる鶏⾁を、⽬視ではなくカメラで撮影
夾雑物(きょうざつぶつ)箇所を独⾃の撮影技術で強調- ②’カメラで撮影した画像と、ベルトコンベヤーがどれだけ動いたか計測できる「エンコーダー」で取得した座標情報を基に、⾎合いの有無や位置を検出- ③’独⾃技術で開発した機器により除去（詳細⾮公開）
結果：⾷⽤にできず飼肥料にリサイクルしていた鶏⾁を7割減らすことに成功
また処理速度が約4倍に向上し、除去率も1.5倍に。
参照: AI⽩書2023 ⽣成AIのインパクトとAIガバナンス (KADOKAWA)
https://www.itmedia.co.jp/news/articles/2110/26/news111.html

⽬次

・イントロダクション（3分）
・前提となる考え⽅ – Data-Centric / Model-Centric（3分）
・Human-in-the-Loop (HITL) （3分）
・各業界における Data-Centric AI開発事例（10分）
・アノテーションプラットフォーム「harBest」が⽬指す社会（1分）

データ収集
データ作成（アノテーション）

AI構築

組み込み

出典：MLOps: From Model-centric to Data-centric AI（Andrew Ng）

評価

アノテーションプラットフォーム「harBest」が⽬指す社会はデータ提供No.1 プラットフォームへ
希少データの収集/アノテーション
製薬会社 / AI企業
①データセット提供
MRI画像/CT画像⑥⼿数料⽀払収集困難な医療⽤データセットを提供（⽇刊⼯業新聞様）④データセット販売②データ収集/アノテーション③品質管理⑤データセット購⼊料⾦

現場で収集困難な異常データのバーチャル作成

LLM開発に必要な権利クリアなデータセットを提供

アノテーションプラットフォーム「harBest」が⽬指す社会

あらゆる業界において「AIインフラ」の礎となる

We are hiring！
ご清聴ありがとうございました。