製造現場の省人化・自動化を実現する
映像AIソリューション
平野
川面建太郎
怜哉

神谷加部亮太隆久

近年、製造業を取り巻く顧客ニーズの多様化、変化の速各産業で労働力不足が叫ばれる昨今、製造業でも深刻なさは著しく、多彩な商品が市場に流通し、商品のライフサイ人手不足に直面しているからだ。労働力不足に起因したクルが早まっている。こうした顧客ニーズに合わせて一つ熟練者の減少や非正社員の増加は、作業手順の誤りや作の商品をさまざまな仕様で製造する多品種少量生産への業のばらつきなどのヒューマンエラーを招き、その結果、取組みがますます重要視されている。一方で、これまでのも品質基準を満たさない製品が誕生する。これにより、出荷のづくり一辺倒からサービス化を含む新しい付加価値提後の製品が誤作動や不具合を起こすなど、品質起因によ供を模索する動きが出てくるなど、製造現場を取り巻く環る重大事故が発生したり、不良品の大量回収などリコール境は、これまでにない変化を迎えている。さらに、2020年1を引き起したりする可能性がある（図１）。

月以降の新型コロナウイルスの世界的な感染拡大は、サプ一足飛びでの自動化が難しくとも、デジタル化による熟ライチェーンや製造現場に大きな課題を突きつける結果と練工を含む作業者の知（ノウハウ）・技術の継承は急務でなった。このような課題に対しては、企業が自ら環境変化あり、人手作業が残る組立工程、検査工程でのDX推進は、に対し変革していく能力（ダイナミック ケイパビリティ）の製造現場にとって避けられない取組みとなっている。人手強化や、デジタルトランスフォーメーション（DX）の推進が作業は、熟練者の持つ技術をいかにデジタル化していくか一層重要となる 。

が重要となるが、現在、この手段として、熟練者の「目」に１）

従来から、OKIは自社での導入実績・ノウハウをベースに、製造市場のお客様に対し生産管理システムなどの業務シ相当する映像の活用、また「知」に相当するデータ・AIの活用に大きな期待がかけられている。

ステムの構築を支援している。さらに、2018年には、IoTやAIなどの活用によりスマート工場の実現を支援するIoT活用工場ソリューション「Manufacturing DX」を発表している2）。同ソリューションは、自社工場でのIoT活用ノウハウ及び音響・振動・光ファイバーなど独自センシング技術やA I技術を集結・活用することで、製造業が抱える課題の解決を目指している。
本稿では、スマート工場の実現を支援する最新の取組みの図1

ひとつとして、映像活用により品質向上とともに人手作業の製造現場の課題省人化・自動化を支援する映像AIソリューションを紹介する。

製造業向け映像AIソリューション
映像AIソリューションは、まさに熟練者の「目」や「知」を製造現場の課題
製造現場の省人化・自動化、あるいはロボット化は、多く

本ソリューションでは、「撮の工場で検討され、ライン作業などを中心に採用が進んで像技術」、「光学技術」、「画いる。例えば、自動車産業の製造工程では、多くが自動化像処理技術」といった要素され、少ない作業者で効率の良い生産が可能となっている。

技術が不可欠である（図2）。

一方で、多くの「組立工程」、「検査工程」で自動化が進んこれらの要素技術を以下でいない現実がある。これらの工程では、熟練者の技術や感覚に頼ることが多く、自動化が難しいと言われている。
しかし、省人化・自動化への道を閉ざすことはできない。

46

デジタル化し人手作業の省人化を目指すものである。

OKI テクニカルレビュー
2021 年 5 月／第 237 号 Vol.88 No.1に説明する。

ժ଀ॴཀྵٗढ़ժ଀ॴ
ॴཀྵٗढ़

ࡳ଀ٗढ़
ढ़
図2

ޭָٗढ़ޭ

映像 AI を支える要素技術•撮像環境やカメラ選定といった撮像技術•解析用の画質とその画質や前処理に必要なキャリブレー

（1）外観異常判定の実現方法

ションを行う光学技術•特定領域を抽出するなど画像前処理を行い、対象の特カメラで撮影した映像データをAIエッジ端末「AE2100」

徴量の抽出をする画像処理技術に送信し、その映像をAE2100上の異常判定アプリで解析す

また、これらの技術を製造現場の実運用に適用するためることで製品の外観異常を判定する。正常／異常判定の拠には、エッジでリアルタイムにAI判定が可能なシステム環境、り所となる学習済みモデルは、サンプルデータを用いたAI映すなわちAIエッジコンピューティングの実現が求められる。

像解析により事前に生成し、AE2100に配置済みである前提OKIは2019年、AIエッジ端末「AE2100」の販売を開始3）するだ。これによりリアルタイムでの結果判定、作業者通知、管理など、OKIの注力分野「交通」「建設/インフラ」「防災」「金サーバーへの各種証跡データ蓄積を実現する（図４）。

融・流通」「海洋」などと合わせ「製造」分野で培ってきたノウハウや知見をベースにシステム化を実現した（図3）。

映像解析の手法として、「ルールベース」、「ディープラーニング」の2種類を採用している。
「ルールベース」は、事前に定義したルールに従って外観異常の判定を行う手法で‫ݳ‬৖岁ଊ࠴岅ӫ଀൓ఈ߶մ଀ౕ岈ӫ଀峔屎峌峔屎峌峦屎峆孫൓ఈ݃Վ岄岃孬あり、検査内容の特徴が具体的に定まっている場合に有効である。一方、「ディープラーニング」は、与えられた画像からルールを構築して外観異常を判定する手法であり、検査定宄宑孲宏宄宑

内容の特徴が曖昧（あいまい）な場合に有効とされる。正ָस峯峔峸ਫ਼੔֦झ岸峮島
図3宄完岵峐峅୼຦

常画像と異常画像を用意し、これらの画像を学習させて正؇ཀྵ峂屎峝屎映像 AI で考慮すべきシステム環境

常／異常を判定するためのモデルを構築する。
（2）現場データ蓄積による品質管理への活用
AI映像解析による判定結果は、判定に用いた検査画像やこの映像AIで考慮すべきシステム環境を以下に、示す。

製品番号などの製品を特定する情報とともに上位に位置す・高解像度の映像データを扱えるシステム環境

る管理サーバーへ送信し、履歴データとして蓄積される。こ・現場で即座に映像判定が可能なエッジ端末環境

れらの情報はいつでも検索・参照可能であるため、製品出荷・映像データの学習（モデル生成）／管理環境

後の品質問題発生時のトレーサビリティが可能になるほか、・判定結果や製品情報を蓄積可能な管理サーバー環境

不良原因、作業者、製品区分、製品番号などの付加情報と組

次章より、OKIの具体的な取組み事例として、「 映像AIをみ合わせることで、品質管理や品質分析にも活用可能である。

活用した外観異常判定システム」、「映像AIを活用した作

なお、管理サーバーにはモデルの再学習機能を備え、エッジ端末上の学習モデルを定期的にアップデートする運用

業者行動認識（行為判定）」を紹介する。

を実現する（図5）。

映像 AI を活用した外観異常判定システム

൓ఈ݃Վժ໚岈‫༽׈‬峄屎崀展宑宊൓ఈ屖࣎岈岯岼峄峴崀岬ԗֶ岅属岥؇ཀྵ੻೜ं屦݀ఈ屳岥৖߻

外観異常判定システムは、エッジ領域でのAI映像解析により、リアルタイムで製品の外観異常判定が可能である。判؇ཀྵ峂屎峝屎履岣岈൓ఈ݃Վ֮೟岅岢岤ਟଐ岄宑宊՗ॶ೼Ѵ岂ࢨࣖ屦Ն೵

定結果は即座に作業者に通知されるとともに、判定結果を含む検査画像、製品情報などの証跡データを上位に位置す൓ఈ݃Վསྼ岈‫༽׈‬峄屎崀

る管理サーバーに蓄積し、品質管理や分析に活用可能である。

֐؏‫ࠬݗ‬

൓ఈསྼ؇ཀྵ੣඾৚ๅ؇ཀྵ‫ܙ‬য়‫ࠬݗ‬

定宄宑孲宏宄宑

屇੣඾൬ߺ屇൓ఈ݃Վ屇屇屇屇宨宷宦գ‫ڊ‬岈൓ఈ݃Վ履岣඾࣯؇ཀྵ孲෾ੵ岅‫༽׈‬屳岥৖߻෈ྒྷ඾൅ਫ਼࣎岄岃岅層属岀ଲে޽ఖ屇ଲে੣൬屦ਟଐ岅֮೟Ն೵

඾࣯؇ཀྵ
岵峐峅
尸
ӫ଀宄完մੵ

؇ཀྵ峂屎峝屎

図5

判定結果・履歴情報の品質管理への活用イメージ؇ཀྵ峂屎峝屎

ָस峯峔峸ਫ਼੔

‫ࠬݗ‬ժ଀ட੷

映像AIを活用した作業者行動認識（行為判定）宄完岵峐峅୼຦
展宄守孵孴孳孳屖

作業者行動認識（行為判定）は、エッジ領域でのAI映像ช࣊೟ࣟ

解析により、作業行為や作業手順の正しさを判定すること
図4

外観異常判定システム構成図により品質向上を目指すシステムである。作業者の体の動O K I テクニカルレビュー
2021 年 5 月／第 237 号 Vol.88 No.1

47

きを解析、認識し、正しいと定義した動きや順序と比較する

適用事例

ことで、作業方法や作業手順の正しさを認識（行為判定）

OKIでは、組立作業支援システム（プロジェクションアッする。外観検査では製品の良否を判定するが、その製品のセンブリ―システム4））、外観異常判定システム、作業者行組立作業、検査作業そのものの正しさまでを判定すること

動認識（行為判定）を連携し、自社工場の製造現場で更にで、作業者に依存しない品質の確保を目指す。

省力化と品質向上に取り組んでいる（図8）。
宇宒（1）作業者行動認識の実現方法
作業者行動認識（行為判定）は、カメラで撮影した作業者

֐؏ҡ৙൓ఈ峄峆峓峭ࡠ‫ࢩۂ‬ԋ孽峪岸峬峆๹ࢯࡠ‫݃ۂ‬Վ孽ྒྷ൳൓ఈࣙಊԿては、作業者の体の動き（手の動きや指の動き、あるいは手に持っているツールの動き）をカメラで撮影して得た映像データ

峗峠岿屎峄峴崀ߨҟ൓ఈࡠ‫ۂ‬෾ੵ孽ߨҟ൓ఈ峌峆岼෾ੵ‫ݗ‬‫༽ࠬݗ‬
岸峮島の映像から、「骨格抽出」、「行動認識」、「作業手順認識」という三つの技術を組み合わせることで実現する。解析にあたっ宄宦宷宬宲宱

宆宫宨宦宮ૌཱིࡠ‫ࢩۂ‬ԋ峄峆峓峭ࡠ‫ۂ‬岈峝島峑岺୉

෨඾खड़山໪ࢻ‫ࠬݗ‬൓ఈ֐؏‫ࠬݗ‬図8‫ݗ‬எ

宒宎

がインプットとなる。
「骨格抽出」では、作業者の骨格の動きを時系列データとして抽出する。
「行動認識」では、抽出データ

෾ੵ‫༽ࠬݗ‬岸峮島

OKI 自社工場での取組み事例を事前に学習したデータからAI判定し、手やツールの動きがどのような行動なのかを認識する。
「作業手順認識」では、決組立作業支援システムでは、組立作業中のポカミスを防められた行為や手順と、実際の行為や手順との差分を見るこ止するナビゲーションや作業実績データを収集することにとで良否を判定する（図6）。

より、組立作業のデジタル化を支援する。外観異常判定システムでは、映像AI、及びAE2100を用いたAIエッジ処理ࡠ‫ߨۂ‬ҟࡳӪࠐ֪பड़ߨಊ೟ࣟࡠ‫ۂ‬घॳ೟ࣟࡠ‫ۂ‬孴

者行動認識（行為判定）により、作業プロセス内手順が決ࡳӪ༽岸峮島ࠐ֪பड़ৎമষ৿కু嵤峗峂ഁ峫৫઩కু嵤峗峂৖ী峕ง୸కু嵤峗峂ഁ峫ીവ嵣嵣嵣嵣嵣嵣

展岇屲గ岛屖岂属屠ߨಊ岬೟ࣟ

図6を活用して目視検査、外観検査を自動化する。さらに、作業ࡠ‫ۂ‬घॳ宒宎ࡠ‫ۂ‬孵

められた作業、あるいは製品品質に関わる作業の行為の正しさを判定する。これらによって、全方位でモノづくり品ࡠ‫ۂ‬孶岇屲గ岛岈ࡠ‫ۂ‬घॳ岬೟ࣟ

作業者行動認識（行為判定）の仕組み

質の向上を支援する仕組みを構築・活用している。
具体的な映像AIによる判定事例を三つ紹介する。
（1）基板実装検査（例1）
基板取り付け時のねじ締め確認は、電動ドライバーから（2）品質向上を目的とした判定結果の活用
AI映像解析による判定結果は、直ちに作業者に通知するとともに、作業の証跡データとして上位に位置する管理のねじ締め完了通知を組立作業支援システムが受信することで実施する。

サーバーへ蓄積される。熟練者や管理者は、遠隔から現場ねじ有無は、事前に定義したルールに従って外観異常を判作業者の作業の状況や判定結果を確認し、適切に指示す定し確認する（図9）。ねじ有無確認は、検査内容の特徴が具体ることにより、作業効率や品質の向上を実現する。前章で的に定まっているため、映像解析の手法として「ルールベース」紹介した外観異常判定システムと蓄積データを連携、若しを採用した。
これにより、ねじ有無だけでなく、正しい色、サイズ、くは一元管理することで、より俯瞰（ふかん）的に手作業工形状のねじが組付けられているか検知可能となり、異常を検知程での品質管理が可能となる（図7）。

した場合には、即座に作業者に通知し、早期対策が打てる。
؇ཀྵं岵峐峅孽ࡠ‫ۂ‬෾ੵࡠ‫ंۂ‬ࠐ֪பड़ߨಊ೟ࣟ୻‫؟‬੦ഝ峕ਫ峁岮峗峂岶ੌહ岻峳島峐岮峵岵ਫ਼ਪ݃Վӫ଀घॳॽਫ਼ਪ৔ઍ‫؟‬੦ഝ峘ᆽਚ峕࿏౦峘峗峂岶ੌહ岻峳島峐岮峵岵નੳ孴
孵孶ࡠ‫ۂ‬घॳ೟ࣟ宑宊岇屲గ岛ࡠ‫ۂ‬˛ࡠ‫ۂ‬য়‫֮ڱ‬೟˛ࡠ‫ۂ‬घॳ岂岈ࠫ෾峗峂岶૮岮੦ഝ৑ୀ峍峉౦峘峗峂岶ੌહ岻峳島峐岮峵¾ ӫ଀峔屎峌履岣ࠐ֪பड़ˢߨಊ೟ࣟˢࡠ‫ۂ‬घॳ೟ࣟ岬ߨ屠
¾ ࡠ‫ߨۂ‬ҟ岞ࡠ‫ۂ‬घॳ岈ਜ਼山屯岈ฯৄ岅岢岤඾࣯޴৏岬ࣰ‫ݳ‬

図748

品質向上を目的とした判定結果の活用

OKI テクニカルレビュー
2021 年 5 月／第 237 号 Vol.88 No.1

図9

ねじ締め漏れの検査

（2）筐体（きょうたい）検査（例2）
トップカバーの筐体検査では、カバーに傷や汚れがない

1）OKIプレスリリース、「中期経営計画2022」の策定につかを確認する（図10）。直線的な傷、曲線の傷、汚れなど、いて、2020年10月29日

曖昧、かつさまざまな状態を捉える必要があるため、映像

https://www.oki.com/jp/press/2020/10/z20076.html

解析の手法として「ディープラーニング」を採用した。予め

2）OKIプレスリリース、スマート工場実現に向けたIoT活

正常画像、異常画像を学習し、判定のためのルールを策定

用工場ソリューション「Manufacturing DX」を提供開始、しておくことで、映像取得後にすぐに判定結果を得られる。

2018年10月22日
https://www.oki.com/jp/press/2018/10/z18044.html
3）OKIプレスリリース、「高速ディープラーニング推論処理ࣰࡏ岈‫ݗ‬எժ଀

をエッジで実現し、クラウドと連携するAIエッジコンピューター「AE2100」を販売開始」、2019年10月19日
https://www.oki.com/jp/press/2019/10/z19026.html
4）組立作業ナビゲーション「プロジェクションアッセンブ
リーシステム」
図 10

トップカバーの傷確認

https://www.oki.com/jp/esc/pas/（3）銘板ラベルの文字検査（例3）
銘板ラベルの文字検査では、定型文字をエリア指定し、

平野建太郎：Kentaro Hirano. ソリューションシステム事業「ルールベース」採用による映像解析によりそのエリアの本部 金融・法人ソリューション事業部 製造システム部

文字欠けを検知する（図11）。一定の判定で輝度値が黒で神谷亮太：Ryota Kamitani. ソリューションシステム事業あれば文字欠けが無く、途中で黒色が途切れているような

本部 金融・法人ソリューション事業部 製造システム部

ケースは、文字欠けがあると判定する。合わせて、OCRの川面怜哉：Ryoya Kawatsura. ソリューションシステム事業活用により、正しい文字が印字されているかも確認する。

本部 金融・法人ソリューション事業部 製造システム部
加部隆久：Takahisa Kabe. ソリューションシステム事業本部
金融・法人ソリューション事業部 イノベーション推進部

ધஊಳ岻
図 11

銘板ラベルの文字検査

ダイナミック ケイパビリティ
環境や状況が予測困難なほど激しく変化する昨今、企業がその変化に対応するために自己を変革していく能力。

まとめ
本稿では、人手作業による組立工程、検査工程での省人化・自動化策の有力な手段の一つとして、AI映像解析を活用した外観異常判定システム、作業者行動認識（行為判定）を紹介した。
OKIは、これらのソリューションをManufacturing DXの各ソリューションとともに改良・発展させ、お客さまのDXへの対応、そしてスマート工場の実現を支援していく。 ◆◆O K I テクニカルレビュー
2021 年 5 月／第 237 号 Vol.88 No.149