Development Stories
開発事例集～ 研究開発・Poc編 ～当社R&D・顧客からのPoCなど様々な形態で日々研究開発を行っております。
主に、AI、機械学習、GPGPU、点群データ処理など、日進月歩の最新技術を使用し開発を行っております。

CTLG_2024_04

目次

製造

建築

医療

農水産 インフラ 金融

その他

ページ

共同研究｠外観検査における異常知手法v●

p.4

共同研究｠CutPaste手法の高度化による精度改善●

p.5

共同研究｠実データを用いた拡張CutPaste手法の検証●

p.6

半教師あり学習モデル

●

●

●

p.7

少ラベルデータでの教師あり学習の精度検証

●

●

●

p.8

少量データにおける不良判定学習手法の検証

●

●

●

p.9

AI

LLMの歴史、学習方法、マルチモーダルLLMの調査

●

p.10

LLMにおける処理高速化、分散学習技術の調査

●

p.11

LLMを使用したスポーツ試合映像分析

●

p.12

微小領域のセグメンテーション研究開発

●

●

●

p.13

スポーツ中継映像におけるDLホモグラフィー推定

●

p.14

AIを用いた物理方程式解析

●

p.15

GPGPU

GANの技術調査

●

●

p.16

破面起点解析

●●p.17

深層学習バイナリモデルのエッジデバイス実装評価

●

●

●

●

●

●

●

p.18

充足性判定に向けたニューロンカバレッジの実装評価

●

●

●

●

●

●

●

p.19

説明可能AI

●

●

●

●

●

●

●

p.20

FISH-QUANT CUDA開発●

X線CT画像3D復元高速化

●

●

●

●

p.22

●

●

p.23

目次
点群データ関連最新技術の調査・実装

製造

建築

医療

●

●

●

農水産 インフラ 金融
●

その他

ページ

●

p.25

3Dデータ解析

ドローン制御用自己位置推定モジュール

●

●

p.26

AIによるVisual SLAM技術の検証

●

●

p.27

大規模環境の三次元計測に向けたNeRF技術調査

●

●

p.28

電顕3次元再構築

●

●

p29

ロボット

アームロボットを使用した強化学習

●

●

p.31

ロボット制御支援

●

●

p.32

人工衛星の制御ソフトウェア開発支援●

数値データ分析

半導体製造装置 データ解析モジュール開発●

半導体製造装置 計測箇所最適化●

時系列データにおける外乱の検知手法の検討●●

マテリアルズインフォマティクス

●

●

p.33

p.35
●

p.36

p.37
●

p.38

AI
～ artificial intelligence ～2012年のILSVRCをきっかけに、第3次AIブームが始まっています。
当社でもいち早くDeepLearningに着目し、これまでに様々な製品、システムを開発してきました。

戻る

外観検査における異常検知手法
山梨大学との共同研究
外観検査は製造業を中心に様々な業界で品質を保つために必要な工程としてあります。
従来の異常検知では、画像処理などを用いてルールベースで行っておりますが、その方法では未知の異常は検知出来ない為、新たな異常パターンが発生しても見落としてしまう可能性がありました。そのような中、未知の異常パターンであっても検知できるとして数年前よりDeepLearningを用いた異常検知に注目が集まり、様々な検知アルゴリズムが提案されてきました。
弊社ではこれらの技術のキャッチアップを行うべく、山梨大学安藤教授との共同研究でDeepLearningを用いた異常検知手法について比較検証を実施しました。

異常検知の最新手法を比較検証
DeepLearningを用いた異常検知が注目されるきっかけとなった手法から、昨今注目されている最新手法までを網羅的に評価し、手法ごとの精度や判定の傾向について一般公開されているMVTecAD※1データセットを利用して比較検証を行いました。
また、お客様が持っている画像データセットを用いて検証を行うことが出来るように検証環
境を整えており、簡単にPoCを取り組むことが可能となっております。
• 検証を行った手法一覧
f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks
EFFICIENT GAN-BASED ANOMALY DETECTION
CutPaste : Self Supervised Learning for Anomaly Detection and Localization
Modeling the Distribution of Normal Data in Pre Trained Deep Features for Anomaly Detection

Towards Total Recall in Industrial Anomaly Detection

今後は既存手法をベースにして、実際にお客様が持っているデータに対して高精度になるような特定のドメインに特化した異常検知手法の開発などを共同研究を通して進めていきます。

※1 P. Bergmann, M. Fauser, D. Sattlegger, and C. Steger,"Mvtec ad–a comprehensive real-world dataset for
unsupervised anomaly detection," in CVPR, 2019.

項目

詳細情報

OS

Ubuntu 18.04 LTS

開発期間

12ヶ月

開発規模

10人
（学生：3人、弊社：7人）

開発言語

Python使用ネットワーク

f-AnoGAN
EfficientGAN
GaussianAD
CutPaste
PatchCoreGPU

Tesla T4(AWS g4dn.2xlarge)

学習データ数

6642枚 (15クラス)

関連技術

・深層学習
・異常検知

4

戻る

CutPaste手法の高度化による精度改善
2022年度 山梨大学との共同研究
異常検知手法の一つである「CutPaste ※1 」と呼ばれるモデルに着目し、ただ切り貼りを行うカット＆ペースト手法ではなく、より対象の異常パターンに似せた疑似異常画像を生成することで高精度化を実現できないか検証を行いました。
CutPasteとは、正常画像に対してランダムに一部の画像を切り出して別の領域に貼り合わせ
疑似異常画像を作成し、正常と疑似異常の2クラスで自己教師あり学習を行うモデルになります。

※1 CutPaste : Self Supervised Learning for Anomaly Detection and Localization, Chun Liang Li, Kihyuk Sohn, Jinsung
Yoon, Tomas Pfister, 2021

独自手法による精度向上
独自の画像処理により実際の異常画像に近い疑似異常画像を生成することで自己教師あり学習の精度が改善し、従来手法よりも高精度なモデルを作成することが出来ました。
例) ニット生地の画像に「歪み」を付与

正常画像「歪み」で生成した疑似異常画像評価の結果、MVTecADデータセットの
ほぼ全てのカテゴリで精度が改善し、全項目
OSUbuntu 18.04 LTS

開発期間

12ヶ月
（2021年10月から継続）

開発規模

10人
（学生：3人、弊社：7人）

開発言語

Python使用ネットワーク

CutPasteGPU

Tesla T4(AWS g4dn.2xlarge)

画像に対してであれば、有効な手段の一

学習データ数

6642枚 (15クラス)

つとして考えられます。

関連技術

・深層学習
・異常検知

体平均でも約4%の向上が見られました。

工業製品などの正常品が画一的な形状の

5

詳細情報

戻る

実データを用いた拡張CutPaste手法の検証
2023年度 山梨大学との共同研究
2022年度の共同研究に引き続き、独自手法を組み込んだ「拡張CutPaste」を用いた研究を行いました。
2023年度は 「実社会データを用いた多様な正常画像に対する異常検知の高精度化」というテーマで青果画像と病理画像を用いて拡張CutPasteの性能評価や課題の抽出を行いました。
青果画像のデータセットは弊社と取引のあるお客様から提供頂いたものを使用し、病理画像
は「Camelyon16」という医療系のコンペティションで公開されているオープンデータセッ
トを使用しました。
それぞれのデータセットに含まれる異常に合わせた疑似異常の付与パターンを拡張CutPasteに組み込んで学習を行い、複数の疑似異常パターンでどの付与パターンが有効であるか精度評価を行いました。
施策項目

枚数

評価

Model

分割サイ
ズ

N-way

異常の生成割
合の調整

CutPaste モザイク

拡大

拡大日焼
け

3622

GoogleNet

512

3-way

無

3622

GoogleNet

512

4-way

無

3622

GoogleNet

512

4-way

無

3622

GoogleNet

512

4-way

無

〇

3622

GoogleNet

512

5-way

無

〇

3622

GoogleNet

512

3-way

無

448

GoogleNet

512

2-way

無

3066

GoogleNet

512

3-way

無

〇

〇

3622

Resnet50

512

4-way

無

〇

〇

3622

Resnet50

512

5-way

無

〇

3622

GoogleNet

512

4-way

有

3622

GoogleNet

512

5-way

有

3622

GoogleNet

512

2-way

3622

GoogleNet

512

3622

GoogleNet

512

Random
ぼかし

Crop

〇
〇

歪み複数 Resized

Stain正Stain正

色分け

色分け

規化

規化

(赤)

(紫)

(学習／

(推論の

推論)

み)

〇

normal anomaly

Recall

88.0%

47.0%

47.0%

85.0%

39.0%

40.0%

Precisioi

F1Score

AUC

44.0%

46.0%

79.0%

35.0%

37.0%

76.0%

n

〇

〇

〇

〇

〇

91.0%

47.0%

48.0%

52.0%

50.0%

85.0%

〇

〇

67.0%

43.0%

44.0%

20.0%

28.0%

61.0%

〇

〇

〇

75.0%

52.0%

52.0%

29.0%

37.0%

73.0%

〇

〇

81.0%

82.0%

82.1%

45.5%

58.6%

89.2%

70.0%

68.0%

68.0%

8.0%

14.0%

72.0%

86.0%

78.0%

78.9%

59.4%

67.8%

90.2%

〇

99.0%

7.0%

7.0%

88.0%

13.0%

85.0%

〇

〇

92.0%

36.0%

37.0%

49.0%

42.0%

78.0%

〇

〇

〇

86.0%

63.0%

64.0%

47.0%

54.0%

85.0%

〇

〇

〇

87.0%

51.0%

52.0%

43.0%

47.0%

81.0%

無

〇

〇

68.0%

23.0%

24.0%

11.0%

15.0%

51.0%

4-way

無

〇

〇

89.0%

68.0%

68.0%

54.0%

60.0%

87.0%

4-way

無

〇

〇

88.0%

77.0%

77.0%

57.0%

66.0%

90.0%

〇
〇

〇
〇

〇
〇

〇
〇

表：病理画像における組み合わせパターン別精度評価結果一覧表（一部抜粋）

実データにおける検証結果
評価の結果、青果画像ではAUC 0.67、病理画像ではAUC 0.90を達成しました。特に、病理画像においては、病理医の診断精度であるAUC 0.81を超える性能となっており非常に良い成果を得ることが出来ました。一方で、いずれも正常画像が画一的なものではなく多様な形状のものが多い為、正常な特徴量と異常な特徴量の分離が上手くいかないケースもあり、項目

特に青果画像ではそれが顕著に表れたこと

詳細情報

OS

Ubuntu 18.04 LTS

端に落ちるといった課題も浮き彫りになり

開発期間

12ヶ月

ました。

開発規模

大学3名 CM6名

2024年度は、拡張CutPasteの疑似異常パ

開発言語

Python

ターン・ハイパーパラメータ・特徴量抽出使用ネットワーク

CutPaste

器の最適な組み合わせを効率的に自動探索

GPU

Tesla V100するシステムの開発を行い、お客様のニー

学習データ数青果 11436枚、病理 3622枚ズに合ったモデルを素早く提供出来るよう

関連技術

・深層学習
・異常検知

で、特定の異常パターンでは分離性能が極にしたいと考えております。

6

戻る

半教師あり学習モデル
一般的に、深層学習では精度を高めるために大量のデータを必要とします。学習データを用意する上で、重要かつコストを要するのが正解ラベルを設定するアノテーション作業です。

特にセグメンテーションでは、物体ごとに画像の領域を指定する必要があるため、アノテー
ション作業にかかるコストは画像分類と比較して高くなります。
アノテーション作業にかかるコストを削減する方法として、半教師あり学習が知られています。半教師あり学習は、大量のアノテーションなしの画像と、少量のアノテーション済みの画像を用いて学習する手法です。
産業界では、データは大量に取得できるもののアノテーショ
ンコストが高く、学習に利用できないことがあります。
アノテーションなしの画像も学習に利用できる半教師あり学
習は、非常に実用的な技術です。

教師あり学習半教師あり学習

論文から学習スクリプトを作成
深層学習は多くの手法が提案され、そのスクリプトもオープンソースソフトウェアとして公開されていますが、全ての手法のスクリプトが公開されているわけではありません。
本案件で使用した半教師あり学習手法は、画像分類タスクとして提案された半教師あり学習手法をセグメンテーションに拡張したものであり、スクリプトは非公開となっていました。
そのため、公開されている画像分類用半教師あり学習スクリプ

論文

トや論文の記述をもとに、半教師ありセグメンテーションスクプログラム

リプトを作成しました。
上記のように弊社では実装の公開されていない深層学習手法であっても、論文をもとにスクリプトを作成し、提供することが可能です。
また、スクリプトの提供だけでなく、迅
速かつ安価で検証作業だけを請け負うこともでき、学習においても理論に基づいた精度向上の提案までサポート致します。
7

項目

詳細情報

OS

UbuntuCentOS

開発期間

2ヶ月

開発規模

1人

開発言語

Python、PyTorch

関連技術

・深層学習
・セグメンテーション
・半教師あり学習戻る

少ラベルデータでの教師あり学習の精度検証
画像認識のタスクにおけるアノテーション作業（データに教師ラベルを付ける作業）は非常にコストが掛かる作業です。そこで、少量のラベルデータで学習を行える「教師なし学習、
自己教師あり学習、半教師あり学習」などの手法から有効そうなアルゴリズムを調査・ピックアップし、その中から課題に適したアルゴリズムを１つ選択して実際にお客様のデータで精度検証を行ってアノテーションコストを抑えた有効な学習方法を検討しました。
教師なし学習訓練データにラベルを与えずにモデルを生成する学習手法。

自己教師あり学習
教師なし学習と同じく訓練データにラベルを与えませんが、データから擬似的なラベルを自動で生成し、そのラベルを用いて教師あり学習を行う手法。

半教師あり学習
少量のラベルありデータと大量のラベルなしデータを用いて学習を行う手法。

調査したアルゴリズム一覧

学習手法

アルゴリズム名

教師なし学習k-means

自己教師あり学習

DeepCluster
UMDL
SPICE
SimCLR

半教師あり学習

FixMatch

半教師あり学習(FixMatch)を用いた精度検証
11クラスの分類問題に対して、1クラス当たり100枚の画像を用意し、その内25枚にラベル付けを行ってtrain/testに振り分けて学習・評価を行いました。その結果、比較的簡単な分類問題であったこともあり、均等にラベル付きデータがある場合ほぼ100%に近い精度が出ていました。
一方で、均等にラベルを付けないでクラスごとにラベル付きデータの枚数を変更して

項目

詳細情報

OS

Ubuntu開発期間

6ヶ月

端にラベル数が少ない不均衡データセット

開発規模

2名

の場合に精度低下が顕著にみられました。

開発言語

Python

この案件では、精度評価以外にも複数のデ関連技術

・DeepLearning
・教師なし学習・自己教師あり学習・半教師あり学習

評価も行ったところ、2～5%程度の精度低下が見られました。特に一部のクラスのみ極

バイス(Jetson, Raspberry Pi)での速度評価なども実施しておりました。

8

戻る

少量データにおける不良判定学習手法の検証
ある検査機器メーカーがインフラ設備の点検を自動化する為に、物体検出モデルを用いて開発を行っていましたが、特定の欠陥の発生頻度が小さく中々データが集まらないこともあり、検出出来ても分類を誤判定してしまうという課題を抱えていました。そこで、分類タスクの精度改善を目的として、少量データでも学習可能な手法を使うことでどの程度精度を出すことが可能なのか検証を行いました。
元々、物体検出モデルにて検出と分類を行っていましたが、検出部分の性能は十分であることを考慮し、検出と分類のタスクを別で行うように処理を分割して、分類タスクの手法を変えてどの手法が有効であるか比較しました。

分類

物体検出

Few-shot Learning- Metric Learning- Meta Learning

様々な少量データ学習手法の比較評価
少量データでの学習手法として、「距離学習(Metric Learning)」や「メタ学習(Meta
Learning)」と呼ばれる学習手法の下記モデルを実装し、精度検証を行いました。
Deep metric learning using Triplet network
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
MagFace: A Universal Representation for Face Recognition and Quality Assessment
On First-Order Meta-Learning Algorithms

コンピュータマインドでは、お客様の抱項目

える課題に合わせて論文等を調査し、有

9

詳細情報

効な手法をピックアップして、幾つかのOS

Windows 10 Pro

手法を実際に実装・検証し、実用化に向

開発期間

6ヶ月

けて有効であるかどうかを評価するPoC

開発規模

2人

も行っています。

開発言語

Python使用ネットワーク

TripletNetwork
FaceNet
MAML

GPU

Tesla T4(AWS g4dn.2xlarge)

学習データ数

約2500枚

関連技術

深層学習
距離学習
メタ学習

戻る

LLMの歴史、学習方法、マルチモーダルLLMの調査
本調査は急速に発展し続ける大規模言語モデル「LLM」の技術について深く掘り下げて調査するというものです。ChatGPTの登場以来、LLMは人工知能分野で非常に高い注目を集めており、絶えず拡大する応用技術が見られます。
本案件では、LLM開発の歴史、学習・推論手法、マルチモーダルLLMについての調査を行いました。

LLM開発の歴史調査
これまでのLLM開発を時系列で調査し、各モデルにおいて工夫された点、モデルの構
成要素の変化をまとめました。
また、日本語LLMについても調査を行い国内でのLLM開発にも目を向けております。

LLMの学習・推論手法調査
LLMの学習・推論手法を体系化した後、LLMの学習・推論手法分類• Parameter Efficient Fine Tuning (PEFT)• Retrieval Augmented Generation (RAG)• Mixture of Experts (MoE)
を重点調査対象として概要、最新動向の調査を行いました。
※RAG、MoEは上記分類外のモデル拡張技術とも言える

マルチモーダルLLM調査
マルチモーダルLLMのモデル構成、概要、

マルチモーダルLLMの構成要素

現在公表されているモデルの詳細について調査を行いました。
マルチモーダルLLMはモデルへの入力 / 出

Encoder+ Projection

力共にテキストだけでなく画像、動画、音声等の様々な形式に対応します。

LLM

推論の精度については現状課題もあります
が、人工汎用知能 (Artificial GeneralIntelligence、AGI) の実現に強く寄与していProjection+ Generator

く分野と考えられます。
10

戻る

LLMにおける処理高速化、分散学習技術の調査
ChatGPTと同様の大規模言語モデル「LLM」の台頭は、AIと自然言語処理の領域に革命をもたらしました。人間のように自然な文章を生成するこれらのモデルは、カスタマーサービス
や文書作成など、多岐にわたる用途で活躍しています。しかしながら、これらのLLMのトレーニングと維持には膨大な計算リソースが必要とされ、これは大きな課題となります。
特に、トレーニングプロセスの高速化と、多くのGPUを駆使した分散システム上での学習実
施は、効率性とコスト削減の観点から緊急を要する問題です。
本調査報告では、上記の課題に対処するための最先端技術に関して、数式やコーディングを含む包括的な理論調査を行いました。さらに、各社アクセラレータ、各種フレームワークの機能性、ベンチマークスコア、人気度について比較検討を行い、その成果をもとに実装へと移行しました。

実装とベンチマークの取得
AI Bridging Cloud Infrastructure（ABCI）を使用し、Fully Sharded Data Parallelism（FSDP）、Flash Attention、vLLMなどの技術をシングルおよびマルチGPU環境において実装し、精密な性能検証を実施しました。
LLMモデルはLlama2を利用し得られた学習と推論のベンチマークをもとに、効率的な
LLMトレーニングのための最適手法を探求しました。
また、実装過程で得られた洞察は、実際の運用に際しての重要なポイントとしてまとめ、報告書に記載しました。
この研究は顧客との対話を基に進められ、定期的に行われた報告会で顧客からの質問に答
え、関心事項について議論しました。
このようなコミュニケーションの取り組みにより、研究の成果は顧客の期待に応えるものとなりました。

11

開発例
項目

詳細情報

OS

Linux
Windows

開発期間

6ヶ月

開発人数

3人

開発言語

Python関連技術

Llama2
PyTorchTransformers
PEFT
FSDP
Flash Attention
vLLM
xFormers
DeepSpeed戻る

LLMを使用したスポーツ試合映像分析
大規模言語モデル（LLM）は、高性能な言語処理が可能であるとして近年注目を集めています。当社ではLLMを視覚処理分野に応用し、スポーツの試合動画内で起きている事象を分析、抽出するために活用しました。2023年2月にリリースされた軽量ながら高性能な推論が可能とされているオープンソースLLMであるLlamaにいち早く着目し、視覚処理分野に応用できないかのアプローチを行いました。
深層学習モデルを採用する場合において、学習データの準備の困難さは、ほぼ必ずついてまわる問題です。LLMを活用することで、スポーツの学習データを用意することなく高度な分析が実現可能かを検証しました。
本ケースでは、特にLlamaの使用によりスポーツ以外の動画像分析にも高い精度で活用できるという考察を得ることができました。さらに、ただの検証で終えるだけではなく、 Llamaをユーザー

フレンドリーに評価できるアプリの開発を行い、今後より深く広い検証に取り組める拡張性を持った研究開発を実施しました。

大規模言語モデルを動画分析モデルに機能拡張
本調査では、先述した通りスポーツの試合動画分析を高精度に行うことを目標としました。
Llamaには「 LLaMA -Adapter」という機能拡張ツールが備わっており、それを活用することで本件の目標達成を模索しました。 このツールにより、画像データだけでなくテキスト
データを含めたVQA形式と呼ばれる入力で推論することが可能となるためです。
これによって、一般的な画像キャプション技術を使うと出力結果をコントロールするのが難しいという問題を、理想とされる結果に近づけることができるのではないかという仮説のもと検証を行いました。
新しいオープンソースLLMが毎月のように発表されておりますが、その中でも今回は

項目

詳細情報

OS

Windows、Ubuntu

開発期間

12ヶ月

開発規模

1人

開発言語

Python

持ったLLMモデルをキャッチアップし、使用ネットワーク

Llama、LLaMA-Adapter

顧客の目的に応じたものを選択・提案でき

GPU

A6000

るよう致します。

関連技術

深層学習

一定の評価を得ているLlamaにて具体的な検証結果を得ることができました。
コンピュータマインドでは今後も特徴を

12

戻る

微小領域のセグメンテーション研究開発
セマンティックセグメンテーションは、画像内の一つ一つのピクセルに対して分類を行う領域分割の技術です。画像分類は、1枚の画像がどのクラスに属するかを判定するモデルです
が、セマンティックセグメンテーションは、“画像のどの領域に何があるか”を認識することができるため、より詳細な情報を得ることができます。セマンティックセグメンテーション
はその性質から、自動運転、医用画像の診断、外観検査等、様々なシーンで幅広く使用されています。一方で、検知対象の領域が小さく、背景領域が大部分を占めるような、クラスの存在比率が不均衡な画像については、学習及び推論がうまくいかないことがあります。
クラス不均衡な画像の例として、医用画像における病変部位や、外観検査における検査対象物体についた微小な傷・欠損等が挙げられます。また、セマンティックセグ
メンテーションのモデルは、エッジデバイス上で推論動作させるにはサイズが大きく、速度要求を満たさない場
合があります。本事例では、クラス不均衡データへの対策と、エッジデバイスで動作させるためのモデルの軽量化に取り組みました。

クラス不均衡データセットの学習及びJetson上での動作
本事例で対象となるデータは、検知対象となる注目クラスの存在比率が極端に小さく、画像
内の大部分が背景領域で構成されている画像でした。このようなクラスの存在比率が不均衡
なデータセットで学習を行うと、損失関数を最小化しようとした結果、全てのピクセルを多数派クラスに分類するモデルになってしまう可能性があります。
本事例では、不均衡データセットに対する対策として、以下の取り組みを行いました。
⚫ 画像分割による背景領域の削除（後処理で分割画像の統合が必要）⚫ 2段階方式モデルの適用（背景領域とそれ以外の領域を分類する前段モデルと、
背景領域以外の領域を分類する後段モデルの構成）⚫ データ不均衡に対応した損失関数の適用
また、最終的に開発したモデルは、Jetson
AGX Orin上で動作させる必要がありました。
Jetson上でモデルを動作させるためには、
メモリ容量の制約や実行速度の観点から、モデル軽量化が必要でした。そこで、
TensorRT変換技術を用いてモデルの量子化を行うことにより、Jetson上で性能を大きく低下させることなく、モデルを高速に動作させました。
13

項目

詳細情報

環境

Ubuntu 22.04.3 LTS(WSL)
Jetson AGX Orin

開発期間

3ヶ月

開発規模

1人

開発言語

Python、PyTorch

関連技術

・セグメンテーション
・クラス不均衡データセットの学習
・TensorRTによる量子化
・Jetsonでの動作

戻る

スポーツ中継映像におけるDLホモグラフィー推定
スポーツ (サッカー) の試合においてテレビ局による衛星中継が行われることが増えている中で、映像内のコート位置の特定は重要なタスクとなっています。

映像内のコート位置を特定する技術の一つにホモグラフィー推定があります。ホモグラ
フィーとはコートのみを描画した画像と映像内のコートとの対応を変換行列として表現したものです。
本件ではDeep Learning (DL) 技術を用いて、映像からホモグラフィーを自動で推定するモデルの調査、既存システムへの組み込みを目指した実装を行いました。

Deep Learningモデルによるホモグラフィー推定

推定したホモグラフィーによるマッピング※本件の主テーマ
Deep Learningモデル(ホモグラフィー推定)

コート画像

変換
(マッピング)

入力画像(衛星中継映像)

ホモグラフィー
(変換行列)

コート位置描画

論文調査とシステム設計
本件は以下のフローで進めました。
1. DLによるホモグラフィー推定技術の論文調査

開発例

2. 1.で調査した論文に関するコード / 性能調査

項目

詳細情報

3. 使用するDL技術の選定

OS

Windows

4. 既存システムへの組み込み設計 / 実装

開発期間

6ヶ月

開発人数

1人

使用するDL技術は推定精度、実行時間、ライセンス

開発言語

Python等を基準として選定しました。

関連技術

ホモグラフィー
エッジデバイス
PyTorchキャリブレーション

また、最終的にはエッジデバイス上での動作を想定しているため軽量なモデルであるかも選定基準の一つとなっております。

14

戻る

AIを用いた物理方程式解析
物理現象を分析し、将来の状態を予測する手段として、物理理論に基づいて立式された物理方程式を解くことが現在の主流となっています。
しかし、一般に物理方程式を解くためには高度な知識と技術が必要であり、その専門性をAIの利用で解消する研究が注目を集めています。
物理現象
物理方程式
𝜕𝑢
𝜕2𝑢
−𝐾 2 =𝑓𝜕𝑡𝜕𝑥

シミュレーション
モデル推定

AIを用いた汎用化・高性能化

本開発では、そのような最新の研究を対象として、論文を元に実装して性能評価を行っています。
そこで発覚した問題点については、AI・物理・数学といった関連分野での多角的な視点で原因を分析し、問題を解決する改良手法を考案してその効果を実証しました。
また、この手法の構造と特性を観察し、物理現象の解析に限らない広い分野に応用する実験も行っており、現在は統計的推定の問題をDeepLearningによって解く研究を進めています。

最新手法の調査と改良論文で発表される最新の手法は、いずれも従来手法の問題を解決し得るものですが、現実の問題に適用するためには、その性質を明らかにして問題点を洗い出し、改良を加える必要があります。
そのため、論文で述べられた手法を実開発例
項目

装するだけでなく、解析対象となる物
理理論、手法の拠り所となるAIの理論、

OS

Windows

そして、多様な理論の共通言語である

開発期間

24ヶ月

数学の理論に基づいて手法を分析し、

開発人数

1人

いくつかの改良手法を考案しました。

開発言語

Python、Matlab

それらの手法によって、対応する問題

使用ネットワーク

MLPをベースにした独自ネットワー
ク

関連技術

DeepLearning
Tensorflow (low-level API)
偏微分方程式
統計的推定が解決することも実証しており、理論に基づく分析とデータに基づくAI処理の融合が効果的であることを示してい
ます。

15

詳細情報

戻る

GANの技術調査
スーパーマーケット等への導入を目的とした製品画像の学習データ生成を、GAN（敵対的生成ネットワーク）を用いて技術研究しました。
小売店には連日新しいパッケージを持つ製品が入荷しており、都度、学習モデルをアップ
デートしていくことは現実的ではありません。
そのため、パッケージとして現れる可能性を持つ学習データを、GANで生成することにより、未知のパッケージの物体検知を行うことができます。

GANを利用したデータ拡張
当社では、近年様々な場面で利用されているGANを、DeepLearningの訓練データの拡張に利用しています。

GANを利用した合成画像の作成による訓練データ拡張の一例を以下に示します。
この検証では、Food-101 dataset[1]のpancakesクラスの画像に類似した画像を作成するた
めに、GANを使用しています。[1] https://www.vision.ee.ethz.ch/datasets_extra/food-101/

作成したGANモデルは、お皿の画像を入力するとpancakesに変換するように学習を行って
います。

開発例

また、見た目は実画像と似ている合成画像ですが、実画像とはデータの分布が異なることが多く、合

項目

詳細情報

OS

LUbuntu 16.04
LTS

は、合成データに対しては高い推論性能を示しま

開発期間

3ヶ月

すが、実データに対しては性能が低下してしまし

開発人数

1人

ます。

開発言語

Python

この問題を解決するために、コンピュータマイン

使用ネットワーク

CycleGAN

ドでは合成画像を実画像のように変換してから、GPU

GTX 1080Ti

関連技術

OpenCV

成画像のみを訓練データとして学習されたモデル

モデルの学習を行うGANの研究・利用をしてい
ます。

16

戻る

破面起点解析
ある工業製品における部材の破損状況の把握をこれまで有識者による目視で行っていました。
破損の原因ごとに破損の起点となった部分を推定するタスクとなりますが、破損した部材の撮影画像から機械学習の手法で解析するモデルを作成します。そのプロセスとして以下の２つについてPoCを実施しました。
• 破損の起点位置をXY座標で推定する。
• 破損の起点位置を画像中心からの方向（角度）で推定する。
• 破損の状況（ひびなど）を模式図として出力し、有識者でなくても目視による判定を容易にする。
また本アプローチのモデル作成・テスト評価をエンドユーザー様でも行っていただけるよう、
それの機能を有したGUIアプリケーションの開発も行っています。

深層学習による画像を入力とした回帰モデルの仕様
画像から抽出した特徴量をベースに分類モデルを作るというアプローチはDeepLearningモ
デルでは多く使われますが、本プロジェクトでは画像から抽出した特徴量から座標や角度を推定するという珍しいアプローチを用いました。

(x, y)
破損部材の画像

また模式図作成にはGANを用いた画像生成モデルであるpix2pixを用いています。

破損部材の画像

17

破損形状の
模式図

項目

詳細情報

OS

Windows 10 Pro

開発期間

3ヶ月

開発規模

1人

開発言語

Python, TypeScript

使用ネットワーク

VGG16ベース回帰モデル
pix2pixGPU

GeForce 3070

学習データ数

1課題につき50程度

戻る

深層学習バイナリモデルのエッジデバイス実装評価
AIというと高性能なマシンでの運用が必要なイメージがありますが、近年で開発の進む自動運転やIoTデバイスなどのように、より現場に近いデバイスに実装しAIによる判断を行うことへのニーズが高まっています。学習自体は高性能なマシンで行いAIによる判断は小型で軽量なエッジデバイスで行う、Deep Learningの現実的な実装評価に取り組んだ事例です。
エッジデバイスの場合は小型・軽量ゆえに搭載メモリや処理速度の面で制限があり、推論処
理を行う際には省メモリ化と高速化が課題となります。より少ないビット数で深層学習のパラメータを近似する量子化技術の中でも、計算量の多い畳み込み演算部分の入力・重みをバ
イナリ (1 bit)とし、わずかな浮動小数点型(32bit)の係数で積和演算結果を近似することで省メモリかつ高速に推論を行える XNOR-Net に着目し実装と検証を行いました。

バイナリ化のメリット●パラメータのバイナリ化…浮動小数点型(32bit)をバイナリ(1bit)化することで、メモリ容量と回路面積を削減●浮動小数点型(32bit)での積和演算を並列のビット演算にして高速に…大量に発生する積和演算処理で時間がかかる浮動小数点型の乗算の一部を、ビット演算（加算とビット単位の否定排他的論理和 [XNOR]）に置き換えることで処理の高速化が期待できますイメージ
0.9384562-0.2938712

32bit

・・・

バイナリ化
1

0

1

0

1

1

0

1

1bit
1

XNOR
0

1

1

0

0

0

1

1

1

0

0

0

1

1

1

この結果と少量の浮動小数点数係数を用いて積和演算結果を近似

複数パラメータを一度に計算

バイナリモデルの適用先
XNOR-Netをはじめとするバイナリモデ

開発例
項目

ルを適用させることで、エッジデバイス

詳細情報(FPGA)での推論の高速化と、計算時に確OS

Ubuntu保するメモリ削減が期待できます。また

開発期間

6ヶ月

バイナリ化の効果が表れるのはエッジデ

開発人数

1人

バイスだけではなく、PCのCPU環境であ

開発言語

Python、C

ればSIMD命令を使うことで同様のモデ対応ネットワーク

AlexNet独自作成のCNN

エッジデバイス（FPGA）

Ultra96v2

関連技術

DeepLearning、Vivado、
FINN、Brevitas、
TensorCore

ルを実装することも可能です。 NVIDIA
社製のGPU環境であればTensorCoreを用いたバイナリ演算の高速化など、様々な用途への適用も考えられます。

18

戻る

充足性判定に向けたニューロンカバレッジの実装評価
Deep Learningシステムの開発フローにおいて、質の良いデータが充分に準備されていることは良いモデルを生成するために非常に重要です。

当社では、データが充分に準備されているかを評価する指標として、ニューロンカバレッジ
あるいはその派生形が有効であるかを判定するための実装評価を行いました。
結果として、評価したどの指標もデータが充分であることを判定する可能性を示すことができました。
データ充足性というテーマは、世界的にニーズがあり今後も注目度が高いであろう興味深いテーマです。

ニューロンカバレッジとデータ充足性の関係
ニューロンカバレッジはモデルのニューロンの発火状況を数値化した指標です。
様々なデータが存在することにより多くのニューロンが発火する経験を得るという前提のもと、ニューロンカバレッジが大きいとデータが充分であると言えるだろうと推測されます。

この仮説を検証するために、質の良いオリジ
ナルのデータセットと一律変換を加えた質の悪いデータセットを準備しました。
準備した質の悪いデータセットに対してニューロンカバレッジを評価すると、オリジナルの質の良いデータセットで評価した際の数値より減少傾向にあることが確認されまし

開発例
項目

詳細情報

OS

Windows

開発期間

12ヶ月

開発人数

1人

に留まりましたが、ニューロンカバレッジの開発言語

Python

データ充足性判定への適用可能性を示すこと

関連技術

DeepLearning
Data Augmentation
Adversarial attack

た。
本件の調査では、傾向がみられることの確認ができました。

19

オリジナル データ破損 ノイズ付与

ぼかし

戻る

説明可能AI
DeepLearningを始めとするAI技術の発展により、大規模なデータに対して単純なルール

ベースの手法では実現できない複雑な判断を自動で行えるようになりました。
しかし、それに伴って予測アルゴリズムも複雑化しており、単にその手続きを追うだけでは「何故AIがそう判断したのか」という判断結果の説明が困難になっています。

この判断は何故？
これは犬です
画像認識AI

人間

AIによる判断

この問題に対して、AIの予測アルゴリズムから人間に解釈可能な情報を抽出する説明可能AIの技術が研究されており、AIの判断に説明性を持たせる試みが盛んになされています。

耳・鼻・尻尾から判断しました

これは犬です
画像認識AI

説明可能AI

AIによる判断

AIの説明結果についての説明の必要性
説明可能AI技術はAIモデルが持つ数理的な性質を抽出するもので、「説明可能AIが何を説明しているか」については人間が妥当な解釈を考える必要があります。

この説明は何故？

人間
説明可能AIによる説明

開発例

当社では説明可能AIのアルゴリズム解析
項目も行い、当該技術がどのような説明を詳細情報行っているかの解釈、及びに必要な説明

OS

Windowsを得るためにアルゴリズムを改良する調

開発期間

12ヶ月

査・研究開発を行っています。

開発人数

1人

開発言語

Python

関連技術

DeepLearning
GradCAM
20

GPGPU～ General-purpose computing on graphics processing units ～AI（DeepLearning）で使用されているGPUですが、豊富なコア数を有効活用して、演算処理の高速化が可能です。
GPUを効率よく使用するためには専用言語《CUDA》で実装する必要があります。
当社では、いち早くGPUによる高速化の優位性を見出し、案件を成功させて来ました。

戻る

FISH-QUANT CUDA開発
FISH-QUANTと呼ばれるTranscripts(DNA塩基配列)をカウントするアルゴリズムがMATLABで実装されていながら、・処理時間が過分に掛かっている
・MATLABのライセンスを持っていないと利用することが出来ないという点で有用でありながら使いづらい問題がありました。

そこで、C++/CUDAで解析処理部を実装し、C#で画面を実装することで、MATLABを使わずに
FISH-QUANTが利用でき、従来のアプリケー
ションよりも高速に解析ができるようにしました。

C++/CUDAに置き換えることで7倍の高速化
三次元フィッティングを行っている箇所をC++化して、処理が重くなっているフィッティ
ング処理をCUDAで並列化しました。
MATLAB上では、処理時間が10時間掛かっていましたが、C++/CUDAで処理を置き換えたことで7倍の高速化を達成し、1.4時間で処理を完了させることが出来るようになりました。
また、処理の置き換えによる計算誤差についても検証を行い、90%近くの輝点がオリジナ
ルと同等かそれ以上の精度であることを確認しました。

処理時間比較 (時間)
15.00

86%

10.00

5.00

項目
OS

Windows

開発期間

3ヶ月

開発人数

1人

開発言語

C++、CUDA、C#GPU

開発：Quadro M6000
動作：Tesla V100

関連技術

MATLAB
3D Gauss Fitting

0.00
MATLAB

詳細情報

GPU

22

戻る

X線CT画像3D復元高速化
レントゲン撮影は1方向からX線を照射し、被写体内部の2次元写真を撮影します。
X線CTスキャナでは360°全方向からX線を被写体に照射し、数百~数千枚の2次元投影画像を取得します。

2D投影画像取得した投影画像を再構成(コンピュータ処理)し、3次元画像(2次元
輪切り画像の積み重ね)を生成します。
X線CT画像の再構成には非常に時間がかかる上に、画質をよくするために補正処理を繰り返し行う必要があります。

360°

実際のシステムに載る前のプロトタイプ開発として、GPGPUという技術を用いて時間のかかる再構成~補正処理の高速化を実現しました。

CUDA/C++ による高速化
X線CT画像を3次元復元するための再構成~補正処理の内、処理の重くなっている箇所を
CUDAで並列処理することで処理を高速化しました。
再構成処理単体で約43倍の高速化を実現し、処理全体で約20倍の高速化(例：30分→1.5分)を実現しました。
実運用では大量にメモリを使用する処理のため、データフローについての調査と対処方法の検討まで含めて報告しました。

処理時間比較(秒)CPU

2021.6

GPU

97.7

0

23

20倍の
高速化

500 1,000 1,500 2,000 2,500

項目

詳細情報

OS

Win 10 Pro

開発期間

2ヶ月

開発人数

2人

開発言語

CUDA/C++ (VS2015 pro)

CUDA

9.2

GPU

開発：GTX 1080Ti
動作：GTX 1080Ti

関連技術

GPGPU

3Dデータ解析～ 3D data analysis～
近年、医療・製造・建築・ロボット・地理情報など様々な領域で活用されている、3Dデータを使用したソリューションの提供を行っております。
また、Visual-SLAMやNeRFなど、AI技術を取り入れて、画像
等の2Dデータから3Dデータを作り出す技術も注目を集めております。
弊社では、3Dデータを活用した、様々な課題解決ソリュー
ションのご提案いたします。

戻る

点群データ関連最新技術の調査・実装
現実世界の対象物を3次元カメラ等で撮影し取得した点群データを元に、地形や構造物、生き物の3Dポリゴンメッシュの高解像度化や修復等を行う様々な３次元処理の手法を研究してきました。
点群データは主に建築や自動運転の分野で広く取り扱われていますが、他にも点群ベースの姿勢解析アル
ゴリズムや、セキュリティ、外観検査への適用など、その用途は多岐に渡ります。
また、近年では点群データを対象とした深層学習モデルにも多数のアプローチが存在しているため、それらによって点群データの分類やセグメンテーションを行うためのより良い手法
が常に議論され続けています。

論文解析から実装、改良までを広く対応
製品開発のための技術課題を解決
ソフトウェア、ハードウェア製品開発のための3次元点群処理のトレンドを追い、またその性能評価を行うことで、実用レベルでの手法の検討を行ってきました。
その他にも、複数視点の点群デー
タを統合することによる高解像度
な3Dオブジェクトの構築や3Dアニ
メーションに代表されるポリゴンの変形技法､3D点群のセグメンテー
ションや点群補完など、様々な技
術の実装、評価を行ってきました。
項目

また、GPGPUによる高速化や手法

OS

Windows 10
Ubuntu 16.04 LTS

化にもトライしており、常に進化

開発期間

36ヶ月

し続ける３次元処理の分野におけ

開発人数

2人

る技術課題解決をサポートしてい

開発言語

C++、C#、python

ます。

関連技術

3D reconstruction
Open3D
点群マッチング
PointNetの改良、組み合わせによる高精度

25

詳細情報

戻る

ドローン制御用自己位置推定モジュール
ドローンの利用方法は現在、様々模索されています。その中でもここでは「巡回監視」を取り上げます。カメラ搭載ドローンを一定のコース内で巡回させ、周囲の様子を撮影・記録することが目的です。
この時、ドローンはもっぱらGPSを使用して自分の現在位置を特定し、適切に方向転換を行います。
しかし、電波の届かない閉所などではGPS衛星からの信号を受信できず自己位置を特定できなくなります。

当社では、単眼カメラ(レンズモジュールが1つのカメラ)を用いて、周囲の情景からドローンの自己位置推定を行い、ドローンの自己位置に変換することを目指しました。

GPS無しで自機の緯度・経度を推定、
電波の悪い環境での機体誘導が可能に
ドローンの自己位置をGPSによらず推定するため、OpenVSLAMを用いて単眼SLAMを行う処理を実装しました。
OpenVSLAMとは、カメラに映った画像から特徴点を抽出し、その移動の具合から周囲の地図を作成すると同時に自己位置の推定を行う、Visual SLAMと呼ばれる技術のC++実装です。
お客様の要望により、自己の緯度・経度を求めることになっていたため、ArUcoと呼ばれる技術を併用しました。これは、ARマーカーと呼ばれる特殊な模様をカメラで撮影し、そのカメラに対する角度と紐付けられた番号を推定するものです。
ARマーカーの番号と緯度・経度を対応付け、SLAMで求めた自己位置と組み合わせることで、GPSに頼ることなく自己の緯度・経度を求めることが可能となりました。

項目

本開発では、お客様のご要望により、全体をROS2のノードとして実装
しています。ROS2ノード単体では、Raspberry Pi 4上で10FPS程度で動作します。
CC BY-SA

詳細情報

OS

Ubuntu

開発期間

2ヶ月

開発人数

3人

開発言語

C++

関連技術

OpenVSLAM
ArUco
ROS 2
26

戻る

AIによるVisual SLAM技術の検証
自動運転やロボット掃除機などでは、自分の位置を把握するため、【SLAM】と呼ばれる自己位置推定技術が必要不可欠となっています。
現在SLAMを行う場合、LiDAR等の3次元計測デバイスを使用するケースもありますが、3次元計測デバイスは安くとも数十万円代と比較的高価なデバイスとなっています。
対して、比較的安価なデバイスである２次元カメラ画像からSLAMを行うVisual SLAMによる自己位置推定の実現も近年まで盛んに研究が行われています。
本案件では、近年のデファクトスタンダートとなっている【AI Visual SLAM】手法をベースに、その発展形や別のアプローチを取っている様々な手法から特徴を調査し、比較対象として検証を進めました。

アルゴリズム単体で解決できない課題に対する改善提案
まず、AIアルゴリズムに基づく自己位置推定・マッ
ピング手法についてトレンドを調査し、比較検証を行いました。
また、既存のAI Visual SLAM手法の精度検証だけでなく、各アルゴリズムをサービス化する際に課題となりうる改善点の提案と実装を行いました。
特に、Visual SLAMの課題であるマッピング点群のスパース性の解消という課題に着目し、別の3次元再構成手法と組み合わせた点群の高密度化についての改善を実施致しました。

PointCloud
高密度点群の生成にはカメラ画像と三角測量を用いた従来手法および、3Dレンダリングを主眼に置いた技術やAI・非AI手法など様々なアプローチ

項目

詳細情報

があり、手法の選定およびそれらの特徴を明らかに

OS

Ubuntuすることが重要となります。

開発期間

6ヶ月

開発人数

2人

開発言語

C++、python

関連技術

Visual SLAM
3D Reconstruction

高密度点群の手法の選定に際しては、課題の解決の観点だけでなく、汎用性・精度などの多角的な視点から、最適な手法を選択する必要があると考えてお27 ります。

戻る

大規模環境の三次元計測に向けたNeRF技術調査
大規模環境を三次元に捉えるために使用される、Structure form Motion（SfM）、MultiView Stereo（MVS）という技術が存在します。これらはドローン等を用いて対象を多角的に連続撮影し、それらの画像から対象を3Dモデルとして復元する手法で、世界遺産の3Dモデル化などに用いられていることで知られています。
このような手法で大規模な環境を詳細に復元する
場合、様々な角度、距離からの画像が大量に必要になります。
本件ではその画像の多様性をNeural Radiance
Fields（NeRF）という機械学習手法を用いて補完できないかという観点でNeRFやその派生・後継手法について調査、実験を行いました。

NeRFとは
NeRFとは2020年に提案されたニューラルネットワークを用いた画像生成技術の一つです。
撮像した画像とカメラパラメータからニューラルネットワークを学習することで、新たな任意視点からの対象の画像を生成できます。

あらゆる視点からの対象の画像を生成できるということは対象を三次元的に表現できるとも言えるため、NeRFモデルは点群データやメッシュデータ、ボクセル
データなどと並ぶ新たな3Dモデルと考えられています。

NeRFの派生・後継手法
NeRFを大規模環境に適用することを考えると、問題がいくつかあります。
⚫ 規模に応じて学習にかかる時間が膨大になる

環境ノイズ対応
NeRF in the Wild

⚫ データの粗密や質によりエイリアシングが発生しやすい⚫ 屋外であることが多いため、照明条件や天候など
悪環境によるノイズが含まれる

時間軸拡張

これらは既存の3次元復元手法においても課題ですが、NeRFにおいても障害となります。

NeRF
エイリアシング対応

本件ではこれらを解決し得る派生・後継手法について

Mip-NeRF

調査し、実際の大規模データを用いてその効果を実験

Mip-NeRF360

しました。

少数画像
Pixel-NeRF

K-Planes

高速化
TensoRF
Instant-NGP

Zip-NeRF

NerfStudio
本実験においては主にNerfStudio(https://github.com/nerfstudio-project/nerfstudio/)を用いて効果の検証を行いました。
NerfStudioはNeRFやその派生・後継手法に広く対応し、学習、評価、3Dモデルへの変換、高速化、ノイズ除去などのコンポーネントを使用できるAPIを提供しているOSSプラット
フォームです。
最新技術への対応も継続的に行われており、NeRF分野における技術の発展が見込まれます。 28

戻る

電顕3次元再構築
バイオサイエンス分野において、生物組織の構造を三次元的に把握することは生命現象の理解に必要です。
生物組織の構造を三次元化するシステムは多く存在しますが、そのほとんどはデータ処理する過程で高性能なコンピュータを必要とすることと細胞構造に対する専門知識が必要である
ことが研究者にとって大きなボトルネックとなっていました。
これらの問題を解決することを目指し、一般的なWindows PCで機械学習を用いて簡単な操作で連続断層画像から効率よく生物組織の構造を三次元化が可能なシステムを開発しました。

機械学習による効率化により少データ数からの3次元構築
操作が煩雑であること同様、3次元構築に必要な学習データの多さも研究者にとってのボトルネックとなっておりました。
本システムは機械学習を用いて効率よく生物組織の構造を抽出して三次元に再構築することが可能となり、１０枚程度の学習データだけでセグメンテーションを行うことが可能です。
簡単な操作で、細胞の形状を視覚的に確認することができます。
本システムにより、研究者は操作方法の理解など、研究とは無関係な作業を省くことができ、多くの時間を研究に集中することが可能となりました。

項目

29

詳細情報

OS

Windows 10

開発期間

6ヶ月

開発人数

3人

開発言語

C#.net , C++ , Python

使用ネットワーク

U-net

関連技術

動的輪郭
グラフカット（Graph Cut）
LiveWire
OpenCV
OpenGL
DeepLearningロボティクス～ Robotics ～様々な分野でオートメーション化の上で欠かせない存在となってきているのが、ロボット分野です。
AI、ROS等の技術を組み合わせて最適解をご提案差し上げて
います。

戻る

アームロボットを使用した強化学習
深層強化学習はカメラで撮影した画像などの複雑な情報を使って学習をし、動作を最適化する能力を持っています。
現在では、深層強化学習を利用したロボットの動作を最適化する研究が盛んに行われています。
ロボットに対して深層強化学習を適用する際に、以下のことが大きな障壁となります。
・学習に非常に多くの時間を要する
・学習中にロボットが破損する恐れがある
この解決策として、シミュレータ上にロボットを作成して学習する方法があります。ただし、現実の世界とシミュレータの世界では、取得できる情報が完全一致しているわけではないため、シミュレータ上で学習したモデルが、現実世界で上手く動作しないという問題が発生します。(ドメインシフト)ある世界で学習したモデルを、別の世界に適応させることをドメイン適応と呼びます。
当社では深層強化学習をシミュレータ上で実行し、そのモデルを現実世界のロボットに転送するドメイン適応に取り組んでいます。

シミュレータで高速に学習し、実機ロボットで動かす
深層強化学習で4軸ロボットアームに目的の動作を学習させる開発を行いました。
学習はシミュレータを用いてのみ行い、現実世界のロボットによる学習は一切行いませんでした。
そのため、ドメイン適応技術を使用せずに学習を行い、その学習モデルを実機のロボットに転送すると、ドメインシフトにより目的の動作をしません。
当社では、シミュレータ上での学習時にドメイン適応技術を使用することで、実機のロボッ
トでも目的の動作を実行するモデルを作成しました。

項目

31

詳細情報

OS

Ubuntu 18.04 LTS

開発期間

6ヶ月

開発人数

1人

開発言語

Python使用ネットワーク

Deep Q Network

GPU

開発：Nvidia Geforce RTX
2080Ti
動作：Nvidia Geforce RTX
2080Ti

関連技術

深層強化学習ドメイン適応戻る

ロボット制御支援
これまで、遠隔操作ロボットの分野では、視覚に頼った制御が大部分を占めていましたが、人間が行うさまざまな作業においては、手触りや柔らかさ、弾力性など、いわゆる「力触覚」が重要な要素となります。
この「力触覚」をロボットを通して伝えることで、遠く離れた場所であっても、重さや軽さなどの精緻な感覚をオペレータに伝えることが出来ます。
本開発では、力触覚センサを用いた遠隔2拠点間でのロボット制御システムの開発を行いました。
開発にあたって、ロボットが物に触れた際の反発力や、ロボットの関節の可動範囲を正確に制御する必要があるため、リアルタイム性の高い高速処理、通信を行うことで違和感のない遠隔制御システムを構築することが出来ました。

遠く離れた場所から微細な物作りを行えるシステムの実現
オペレータが操作したロボットアームの動作を、遠隔地のヒューマノイドに伝え、動作させるシステムのソフトウェア全体を開発しました。

各ロボット、センサの制御及び通信システムは、全てROS上で構築しており、ロボットやセンサ間で常に最新の状態を交換し続けることで、フィードバック遅延によるロボットアーム
制御の暴れ等を無くすことに成功しました。
ヒューマノイドロボットは、汎用のロボット制御ライブラリMoveItにて制御を行っているた
め、仮に制御対象のボットが別のものになってしまっても、簡単なパラメータ設定だけでシステムを組み替えることが出来ます。
また、開発に当たってGazeboを使用したシミュレーション環境を構築することで実機の無い環境でも柔軟に開発を進めることが出来ました。

項目

遠隔地からでも感触が伝わる

詳細情報

OS

Ubuntu 16.04 LTS

開発期間

4ヶ月

開発人数

2人

開発言語

C++、python

使用フレームワーク

ROS

関連技術

GazeboMoveItリアルハプティクス32

戻る

人工衛星の制御ソフトウェア開発支援
近年、国内海外を問わず宇宙ビジネスが活発になっており、人工衛星による観測データの利用は農業、環境モニタリング、都市計画、災害対策などの分野で民間企業の参入も相次いでいます。
人工衛星には自身を制御するためのコンピュータが搭載されており、様々なソフトウェアが動作しています。
これはセンサーから取得したデータをもとに、人工衛星自らの制御を行うためのアクチュ
エータの出力を決定するもので、堅牢で信頼性のある設計・実装が要求されます。
本開発にあたっては、メンテナンスやデバッグがし易く、複雑な機能群を管理できるシステムを提案し、効率的に開発できる環境を実現しています。

堅牢で柔軟性のある制御システムの実現
機能的かつ信頼性の高いソフトウェアへの要件をもとに、人工衛星制御の検証及びPoC開発を行いました。
フレームワークはROS2を提案し、その上で制御アルゴリズムの開発を行っております。
これにより、システムの一部を変更する際に他の部分に影響を与えずに済むため、デバッグ
や新規アルゴリズムの導入が容易となり、柔軟性のあるシステムの構築が可能となりました。
これによって人工衛星のようなミッションクリティカルなタスクへ対応した処理フローの実現が可能となりました。

項目
OS

Ubuntu 22.04 LTS

開発期間

24ヶ月

開発人数

1人

開発言語

C++、Python

することができ、開発プロセスの効率化や使用フレームワーク

ROS2

コスト削減が見込めます。

関連技術

カルマンフィルタ
PD制御
MATLAB/Simulink

また、今回開発したROS2の開発環境は、他のROS2ベースのシステムとの互換性が高く、既存の機能やアルゴリズムを再利用

33

詳細情報

数値データ分析～ Numerical data analysis ～工場のIoT化やスマートフォンの登場などに伴い、様々な種類のビッグデータを取得することが可能となりました。
しかし、取得したデータを有効活用するためには、データをクレンジング・解析し有用なデータする必要があります。
当社では、機械学習・DeepLearningを用いてお客様のデータを有効化し、さらに高度な予測を行うための手助けを行って
おります。

戻る

半導体製造装置 データ解析モジュール開発
本開発の目的は、製造装置に紐づいた多くのデータに対し随時発生する課題を解決するため
データの解析、可視化を行い、最終的に実システム上で動作するブラックボックスではない
モジュールを提供することです。
取り扱うデータは、主に個別の装置に紐づいた温度や製造物の形状、位置などの観測データ、
制御パラメータなど多岐にわたります。
それらに対し、古典的手法から近年発表された論文の手法まで、課題にあった手法をご提案
し、机上検討、実データ検証、試作運用と手順を踏んで実現していきます。

課題対する理解を深め、現実的な解決を
データ解析における落とし穴として、解析技術者の暴走があります。
指定されたデータを解析し、目標性能を出すことに終始してしまい、別の方法で課題が解決できる可能性に目を向けなくなってしまう、というものです。
我々は「お客様が抱えている課題はどんなものか」「解決の方法は何パターン考えられるか」「より低コストで解決できる方法は何なのか」、「アルゴリズムの本質を理解し、計算過程を明瞭に提示する」お客様と同じ視点で解析に取り組んでいくよう努めています。
通常稼働時におけるセンサーデータの相関構造推定
通常稼働時のセンサーデータを学習させることで、各センサー間の相関関係を推定します。
これにより、通常センサーが取りうる値の範囲や、連動するセンサーを抽出することができます。
また、意図せず連動しているセンサーを特定することもでき、設計の改善などにも利用できます。

システム・各センサーの異常検知
あらかじめ学習させた通常稼働時の相関構造を基に、センサーデータの異常度を計算します。
システム全体の異常度や、各センサーごとの異常度、
特定のセンサーグループの異常度等、様々な粒度で解析・可視化を行うことができます。

異常発生時におけるセンサーデータの因果関係推定
異常発生時における各センサーデータの変動を解析することで、センサーデータ間の因果関係を推定することができます。異常が装置内で伝搬していく流
れを可視化することができ、異常の原因となったセンサーの特定に活用できます。
35

戻る

半導体製造装置 計測箇所最適化
半導体の製造工程には、ウェハと呼ばれるシリコンを円板状にカットしたものへ微細な電子回路パターンを露光する作業が含まれます。
これには非常に高い精度が要求され、ウェハのナノ単位の歪みが品質に影響を与えます。
そのためこの歪みを計測/補正することが必要となりますが、ウェハ全面を計測するのはコストが高く、時間当たりの生産性を示すスループットが低下します。
この課題を解決するためウェハに生じる歪みをモデリング／推定しながら、計測箇所が可能な限り少なくて済み、また歪みが正確に計測できるような計測箇所の組み合わせを最適化によって探索するという問題に取り組んでいます。

課題に寄り添ったソリューションのご提案
本開発で取り扱う課題は非常に専門性が高く、類似の事例もほとんどないため手法選定の段
階から手探りのような状態でした。
そのような中でも、お客様へのヒアリングやディスカッションを通して要件を具体化し、課題の本質と解決手段を追求しました。

結果として、多目的最適化や組み合わせ最適化の代表手法から知名度の低い発展的手法まで様々な論文を調査し、それぞれについてアルゴリズム実装/評価を重ねることで適切な手法の選定に繋げることができました。
このような調査力と柔軟性も当社の強みの一つといえます。

項目

詳細情報

OS

Windows 10 Pro

開発期間

24ヶ月

開発規模

2人

開発言語

Python, C#

関連技術

・（制約付き）組み合わせ最適化
・焼き鈍し法・モデル選択36

戻る

時系列データにおける外乱の検知手法の検討
時系列データの異常検知は区間ごとでの正常と異常のパターンの分類問題となるのが一般的です。しかし、データを取得する環境によっては異常パターン以外の要素で外乱が発生する
ことがあります。その場合、この外乱が発生しているかの検知を人力で行えば大きな手間となります。また、既に異常検知アルゴリズムがある場合には、外乱のせいでそのアルゴリズ
ムが正常に動作しなくなることが起こりえます。
本開発は時系列データから外乱であるデータ区間を自動で検知し、今後の手間を軽減するAI
手法の検討になります。前述の異常検知アルゴリズムを運用するような状況では、正常と異常データの区間を外乱と誤検知しないようにした上で外乱データの区間を検知することになります。
ここで難しくなるのは、異常のパターンの中に振幅の不規則性が認められるものが存在するときです。つまりデータの振幅の規則性がないことだけを理由に外乱であると検知することができないことにあります。

対象のドメイン知識の重要性
このようなときに助けになるのが、特定の専門分野や業界についての知識、つまりドメイ
ン知識です。特にお客様から問題の対象のドメイン知識を頂くことで、問題設定が単純化
及び整理できます。それにより開発の課題が解決に向かうことが多くあります。
本開発ではお客様から頂いたドメイン知識がきっかけで、外乱の方に正常パターンや異常パターンとは異なる法則性を発見できました。これにより単純な周波数分析と機械学習手法を組み合わせることで検知できるという方針を出すことができました。

項目

周波数分析

37

詳細情報

OS

Windows

開発期間

1カ月

開発規模

1人

開発言語

Python

関連技術

機械学習、異常検知、信号処理

戻る

マテリアルズインフォマティクス
マテリアルズインフォマティクス（MI）とは、機械学習を材料分野に応用するという考え方です。
我々は、特にベイズ最適化をベースとした技術を用いて「狙った物性を持った新材料を少な
い試作回数で合成する」ことを目標として本課題に取り組んでいます。
ベイズ最適化とはMIにおいて、「組成から物性を予測する」「狙った物性に近づける」という二つの指標から「次に試作すべき組成を提案する」といった動作を行い、一定の効果を示しますが、同時にいくつか課題もはらんでいます。
我々は、材料学を専門とするお客様のもと、ベイズ最適化の発展手法をいくつかの論文から実装し、検証、提供することでこれらの課題解決に寄与しています。

材料分野に限らず、製造実験全般における課題•

狙いたい物性の間にトレードオフ関係がある製品の示す特性といったものは多種多様で、特に材料の分野においては物性の種類は1億ともいわれています。
しかし、それらの物性は一方を狙った性質に近づけるように組成を変更すると、一方は離れていくといったトレードオフの関係が存在します。
こうなると、1つずつ物性を最適化していっても,狙った物性には近づきません。
これを解決するために、ベイズ最適化を多目的ベイズ最適化に拡張しました。
本手法によって複数の物性を一つの指標に落とし込むことで、「すべての物性が狙った物性にバランスよく近くなる組成の集合」を探索することができます。
•

新製品は作成に期間がかかる
製品を新規で作成する場合、受発注処理や原材料調達、スケジュール調整、運搬など時間のかかるプロセスを挟み、すぐに現物が得られるとは限りません。
材料の作成においても1回1回製造された結果を見てから次の組成を決めているようでは、待機時間が長くなってしまい、欲しい物性を得られるまで何年かかるかわかりません。
我々はこれを解決するために、多点ベイズ最適化を利用しました。
これは、すでに計測済みの結果から最適の可能性が高い複数の提案を得られるという手法で、一度の注文で複数の結果を得るこ

項目

詳細情報

OS

Windows

開発期間

12ヶ月

これら二つを組み合わせた、

開発人数

1人

多点多目的ベイズ最適化も開発言語

python

期待された性能を示しています。

関連技術

ベイズ最適化の拡張とができます。

38

掲載内容の一部およびすべてを複製、転載または配布（電子媒体における転送含む）、印刷など、無断での使用を禁止します。
本カタログに記載の会社名及び商品名は各社の商標または登録商標となります。
本カタログの情報は2024年4月現在のものです。仕様と製品は製造・販売元が何ら責任を負うことなく予告なしに変更される場合があります。

東京本社〒160-0023
東京都新宿区西新宿6丁目6-2 新宿国際ビルディング4F☎ 03 – 6911 – 1855 (代)📧 ai.sales@compmind.co.jp
🌏 http://www.compmind.co.jp/
本社〒400-0064
山梨県甲府市下飯田1-10-8☎ 055 – 230 – 1122 (代)