作業内容や作業手順の正しさを判定する
行為判定システム
川面山本

怜哉
一真

浅野
小林将仁司

蘭浩二

近年、製造業を取り巻く顧客ニーズの多様化、変化の速本稿では、「IT・オペレーション変革」のソリューションとしさは著しく、多様な商品が市場に流通し、商品のライフサイて、映像AIを活用した作業者行動認識による行為判定システクルが早まっている。こうした顧客ニーズに合わせて一つムを紹介する。本システムは、現場作業での品質均一化の取の商品をさまざまな仕様で製造する多品種少量生産への組みとして、組立工程内の作業内容や作業手順の正しさを取組みがますます重要視されている。一方で、これまでのも画像認識技術を活用し判定することで、作業ミス・漏れの防のづくり一辺倒からサービス化を含む新しい付加価値提止や作業行為の証跡データとしての活用に取り組んでいる。

供を模索する動きが出てくるなど、製造現場を取り巻く環境は、これまでにない変化を迎えている。このような課題に対しては、将来的なスマート工場の実現を見据えた生産現場

現場作業の課題の省力化・自動化といったデジタルトランスフォーメーション

製造現場では、熟練作業員の減少や非正社員の増加が進み、作業員の人手作業によるモノづくり品質の低下が懸（DX）の推進は急務となっている。
OKIは2018年より、IoTやAIなどの活用によりスマート工場念される。製造の各工程の中でも「組立工程」
・「検査工実現を支援するIoT活用工場ソリューション「Manufacturing

程」は特に熟練作業員の技術や経験による依存度が高く、DX」を提供している 。

そのノウハウや技術のデジタル化による継承は喫緊の課

1）

岣0DQXIDFWXULQJ ';岤 ਠৃৄ岲峵৲岵峳઩峫峵峎峘૗୓ଲୗ,R7崛嵛崣崿崰ਕਜ਼঳৬峘૗୓峼௓ਤ峃峵岽峒峑岝ୖ਻峼ੰৠ峃峵崡嵆嵤崰ੵৃ峼ৰਠଲୗ঵ୖ਻

ௌ௮ৡਂଌૼ୒ಲഅেਓ崿嵕崣崡૗୓હਸ੼க峘ඃ੭嵆崵崠嵉嵛崰૗୓崸嵒嵍‫ص‬崩崏嵤嵛峘ৈ২৲嵣ਈి৲

題となっている。
製造現場の声として、「作業のばらつきが多く、品質基準を満たさない場合がある」、「異なる部品取付けや手順間違いなどヒューマンエラーにより仕様、スペックが変わっ嵒崊嵓崧崌嵈৽੾૾யਖ਼૵‫٭‬ਔಂৠ৒てしまう」など作業に対する品質均一化ができていない事

୭୆૗৲峢峘ৌૢ੗ષர૘୤嵣১ഥৌૢಉ象が多く存在する。このような作業ミスによって、出荷後のਠৃ૗୓ਝ૟༎௮૨峘਱঱ਈి஺਄峴,7嵣崒嵂嵔嵤崟嵏嵛૗୓૙য峘ૼચ峮൉ୗਙ峘ৱਓ৲峒ಲഅেਓੑ઺峒༎௮峘঳੪৲েਓ崿嵕崣崡ਈి৲ષସ嵣েਓਙ਱঱崣嵛崟嵛崘ৈ২峔崽崉崗崰嵒嵤崒嵤崰嵉嵤崟嵏嵛$,嵣ৈ২ણ৷

故障など品質不良が多く発生し、これらの品質事故によって、重大事故や、不良品の大量自主回収などのリコールを

27,7ৼ൩ઈ৷

崯嵤崧ઽૐ嵣
ଵ৶

製品の誤動作や不具合が発生、製品仕様上の問題による

ঽ൅਑౪$,引き起こす可能性がある。
熟練工を含む作業者のノウハウ・技術のデジタル化による知・技術の継承は急務であり、人手作業による組立工程、

図1

Manufacturing DX

検査工程での品質管理の考え方を抜本的に変えていく必要がある。

「Manufacturing DX」は、「現場変革」、「IT・オペレーション変革」、「マネジメント変革」の三つの変革から構成され、これら三つの変革を連携させてスマート工場化を支援している。その中の「IT・オペレーション変革」では、日本の製造業が直面する少子高齢化に伴う生産年齢人口の減少や熟練作業員の技術継承、ノウハウの属人化などの課題に対して、映像のAI解析や設備ログ、センサーデータの分析などDXを活用することで、熟練作業員の技術の形式知化、ノウハウの属人化解消を目指している。

46

OKI テクニカルレビュー
2021 年 11 月／第 238 号 Vol.88 No.2

図2

現場作業の課題現場作業の品質均一化
O K I本庄工場でも、ベテラン作業者の減少や非正規社員の増加により、未経験作業者を短期育成し、生産ラインへ従事する機会が増加している。
作業者の流動が激しい状況では、不良を流出させないた

行為判定を支える技術（1）
システム概要
OKIの行為判定システムは、作業者が作業する場面をカメラで撮影し、画像認識技術を用いて作業内容や作業手順の正否を判定する。その判定結果を作業者へリアルタイめに、さまざまな対策を導入し、生産ラインを構築している。

ムに通知することで、作業者はその場で作業漏れ、作業ミ

例えば、部品の取付け漏れを防ぐ場合は、あらかじめ決まったスに気付くことができる。また、判定結果を保存することで数量を事前に取りそろえてライン投入することで、組込み漏れ作業行為の証跡データとして活用できる。

を検出できるようにしている。
また、作業の出来栄えは、自動外行為判定ソリューションは、I Pカメラ、エッジ端末、結果観検査、製品の各種機能検査、点検用の治具を用いた目視検表示用PC（現場）、品質管理サーバー（管理側）で構成さ査を実施するなど、作業者のスキルに頼らない不良の流出防れる（図3）。

止策を強化し、高品質で安定した検査工程を実現している。
しかし、上記以外の工程では、作業者のスキルに頼り品崓嵉嵑‫੿؟‬঵಩൸

質を保証している工程が残っているので、工程での品質不崐崫崠ഈଜ‫؟‬಩൸ੰෲ

෗ત௓৒

ষ৿௙શ

良を完全に撲滅できないのが現状である。

ਖ਼৒၎ഄ作業を行う順序（手順）、間接材の塗布作業や清掃作業などの組付け作業でのプロセスそのものは、作業漏れ・ミスがあった場合も、後工程での不良検出は、非常に困難である。このような作業の例を表1に示す。

㻌ৎ৑ষ৿

੿঵$੿঵&

੿঵%

ষನਖ਼৒
੿঵$੿঵%

嵊崳崧嵤‫؟‬ਖ਼৒੥ટ

੿঵&図3
表1ଵ৶崝嵤崸嵤‫؟‬ਖ਼৒၎ഄ

੿঵ুದ

1*

‫੿ٹ‬঵૾யનੳ‫੿ٹ‬঵ুದ峒峘୷ী

システム構成作業の正常性確認が困難な作業

せ⣲㻌ලయⓗ䛺సᴗ㻌సᴗᡭ㡰㻌䛽䛨䜢⥾䜑䜛㡰ᗎ 㻌㻟㻌㛫᥋ᮦ䛾㻌㒊ရୗ䜈䛾᥋╔๣䛾ሬᕸ㻌㻠㻌ሬᕸ㻌㒊ရෆ㒊䜈䛾䜾䝸䝇ሬᕸ 㻌の画像認識処理を行い、判定結果をリアルタイムに結果表㻡㻌Ύᤲ㻌㈞௜䛡๓ฎ⌮䛾䜰䝹䝁䞊䝹ᣔ䛝 㻌

示用PC（現場）に送信する。結果表示用PCは、モニターに㻝㻌㻞㻌㻢㻌ᡭ༙⏣௜䛡సᴗ䛾䝁䝔ᙜ䛶㡰ᗎ 㻌␗≀㝖ཤ䛾䜶䜰䞊ᣔ䛝 㻌

カメラは作業者の上半身全体が映るように設置し、作業開始指示に合わせて撮影を開始する。エッジ端末は撮影した画像に対して、骨格推定、行動識別、行為判定の三つ結果を表示し、作業者に結果をフィードバックする。画像認
識処理は、カメラで撮影する映像のフレームごとに行い、表１の作業は内容によっては、出荷後の製品の誤作動作業終了まで連続して行う。作業開始や作業終了は、センや不具合を誘発したり、製品仕様上の問題による故障などサーやPLC（Programmable Logic Controller）と連携しの品質事故によって、重大事故の発生を招いたり、不良品制御する。さらに工程情報と判定結果を紐付けて、品質管の大量自主回収などリコールを引き起こす可能性がある。

理サーバーに保存する。このとき、工程情報、作業時刻、製これら正常性確認が困難な作業の不具合防止策の一つ

品情報、作業行為の判定結果と動画や担当者などの情報として、OKI本庄工場のPHS組立工程では、組立時に異物と合わせて保存することにより、作業行為の証跡データとを除去するためのエアー拭き作業（写真1）に、映像AIを活して活用できる。

用した作業者行動認識による行為判定システムを検討した。以降に、その技術の実現方法を述べる。

（2）行為判定を実現する画像認識技術
製造現場での作業者の行為判定を実現するためのカメラ映像を用いた画像認識技術を述べる。OKIは、画像特徴から製造現場の工程での意味を持つ内容へと、認識対象の構成単位を細かいものから粗いものへ変化させながら3ステップで認識することで行為判定を実現するアプローチを採用している。行為判定のアプローチを図4に示す。この図では、認識対象の構成単位の変化にあわせ、認識のス

写真 1 PHS エアー吹き作業テップを層として表現している。

O K I テクニカルレビュー
2021 年 11 月／第 238 号 Vol.88 No.2

47

まず、第1層で作業者の行動を認識するために必要な特業者が行っている行動を識別する。識別対象の行動は、ネジ徴を抽出する。次に、第2層で作業者が行っている行動をを締める、パーツを取り付けるといった作業したことを確認し識別する。最後に、第3層で作業者が行った行動をもとにたい工程である。行動識別では、
Temporal Convolutional

その良否を判定する。認識対象の構成単位の粒度を徐々Network（TCN）3）を用いる。TCNは、画像認識分野で広くに上げることで、各層の処理の意味を明確化し効率よく検用いられている一般的な畳み込み処理（Convolution）を証を進めることができる。また、製造現場にはさまざまな工時間軸方向に適用した時系列畳み込み処理（Te m p o r a l程が存在する。層を分割することにより、各工程で共通的Convolution）を用いることで、ある時刻の前後の時系列に利用できる部分と個別にカスタマイズが必要となる部分情報をもとに行動を認識する。時系列畳み込み処理を複を明確に切り分けることができる。以下に、各層の詳細と数回行うことで、長時間の時系列情報を効率よく扱い、精PHS組立工程での事例を示す。

度の高い行動認識ができる。また、Deep Learning技術の3+6ੌয়ੵங峘୻崊崿嵕嵤崩႗ಲਢৎ৑ਖ਼৒ਸ਼ಽ‫؟‬ষನਖ਼৒ੳ௙ৌ଴峘ଡਛ౐ਜ਼嵓嵤嵓嵓嵤嵓⾜ືุᐃ䝹䞊䝹
ྑᡭ䜶䜰䞊྿䛝 㻝⛊௨ୖᕥᡭ䜶䜰䞊྿䛝 㻝⛊௨ୖ‫ؼ‬

7&1ਸ਼ಽ‫؟‬ষ৿௙શৎമnకু峑峘崐崊嵤฾岷|লৡ‫؟‬૚ৎമ峘ষ৿ষ৿

12嵣嵣嵣嵣嵣嵣嵣嵣嵣嵣嵣嵣োৡ‫؟‬ৎ௺ഔ峘્ඉ ੿঵%ਸ਼ಽ‫્؟‬ඉྴল

12>nకু੣|nంু੣|@෗તྴল಍nం๛|nకু੣|nంু੣|

図4識することもできる。このようにT C Nは、高い汎用性を持ち、さまざまな改良を行うことができるため、さまざまな工程や現場に共通的に適用できるものと考える。PHS組立工程では、右手のエアー拭きと左手のエアー拭きを識別
対象の行動とし、TCNを用いた行動識別を行う。

 ੿঵$ ੿঵&

発展とともに画像認識分野の畳み込み処理に対して行われてきた改良を応用することができ、より複雑な行動を認

行為判定のアプローチ③第3層

行動識別及び時系列情報を用いた行為判定

行為判定では、行動識別結果の時系列情報から、作業手順の正しさや作業の継続時間、また同様の手順を行った回数などを判定することで、作業自体の良否判定を行う。
行為判定は、対象とする工程や現場の要望としてさまざまなものがあるため、個別にカスタマイズが必要となる部分①第1層

骨格推定を用いた特徴量である。PHS組立工程では、エアー拭きを行っている継続特徴抽出では、作業者の行動を認識するために必要な時間を重視するため、行動識別した結果の継続時間を測特徴を映像データの各フレームから個別に抽出する。ここ

定し、継続時間の閾（しきい）値処理により良否判定を行う。

で抽出する特徴は、作業者の骨格情報や動き情報、利用している物体に関する情報などである。骨格情報を用いることにより、背景の状況や服装に依存しない作業時の姿勢を今後の展開表すことができる。また、骨格の時系列変化を見ることによO K Iでは、自社工場のスマート工場化に向けて、更に省り姿勢の変化を表現することもできる。動き情報は、同じよ力化や品質向上に取り組んでいる（図5）。

うな行動に対して向きを見分ける必要がある際に有効な特徴である。また、物体情報は、利用している工具の違いを見分ける必要がある場合や作業対象の部品が固定されて'2&KHFNੌয়੿঵੍ର崟崡崮嵈‫ق‬崿嵕崠崏崗崟嵏嵛崊崫崣嵛崾嵒嵤‫ك‬ਗ௴౮ଞਖ਼৒崟崡崮嵈੿঵੍ର嵅崓嵇崡ଆૃ੿঵੥ટଐ౯ਖ਼৒ঽ৿৲

いない場合に有効な特徴である。骨格情報の抽出方法は、OpenPose に代表されるDeep Learningを利用した手法
2）が多数提案され、さまざまなシーンに対して共通的に利用できる。一方で、動き情報や利用している物体は、対象工ਫ਼ਪ੥ટ$FWLRQষನਖ਼৒੿঵ীෲষನਖ਼৒崧崡崗ীෲীෲ崲崻崚嵤崟嵏嵛੿঵峘崸嵑崬崕প৖ષ਄峴ল峁ਖ਼৒৯ଳਫ਼ਪਫ਼ੴਗ௴ਫ਼ਪ

OK

程や現場によりさまざまであり、個別のカスタマイズが必要となる。PHS組立工程では、エアー拭きをしている姿勢が重要なため、骨格情報を用いる。
②第2層

TCNを用いた行動識別

行動識別では、抽出した特徴の時系列情報をもとに作48

OKI テクニカルレビュー
2021 年 11 月／第 238 号 Vol.88 No.2

図5

OKI 自社工場の取組

組立作業支援システム（プロジェクションアッセンブリーシステム）では、組立作業のナビゲーションによるポカミス

の防止及び作業実績デジタル化を行う。外観異常判定システムでは、映像AI及びAIエッジ端末（AE2100：OKI自社製品）を用いたAIエッジ処理を活用して目視検査、外観検査の自動化する。これらの取組みに加えて、行為判定シス
テムでは、作業プロセスに対して、作業内容や作業手順が正しく行われたかを判定することで、作業漏れ、作業ミスの検知と作業行為を証跡化する。これらの各ソリューション

デジタルトランスフォーメーション（DX）「ITの浸透が、人々の生活をあらゆる面でより良い方向に変化させること」という概念で、2004年にスウェーデンのウメオ大学のエリック・ストルターマン教授によって提唱された。

を組み合わせることにより、組付け作業での全ての作業内容をデジタル化・証跡化することで高品質なモノづくりを支援する仕組みが構築できる。
一方、行為判定を実現する画像認識技術は、より細粒度の行動を認識することで製造現場での「匠の技」の認識・モデリングを実現し、さらに、画像以外のセンシング技術と組み合わせることによって対象工程の拡大を推進する。
本取組みにより、自社工場のスマート工場化に向けて活用・展開を進めると同時に、Manufacturing DXの各ソリューションとともに発展させ、お客様のDX推進やスマート工場化を支援していく。

◆◆

1）OKIプレスリリース、スマート工場実現に向けたIoT活用工場ソリューション「Manufacturing DX」を提供開始、2018年
10月22日https://www.oki.com/jp/press/2018/10/z18044.html
2）Cao et al., OpenPose: realtime multi-person 2D poseestimation using Part Affinity Fields, in TPAMI, 2019.
3）Lea et al.,Temporal Convolutional Networks forAction Segmentation and Detection, in CVPR, 2017.

川面怜哉:Ryoya Kawatsura. ソリューションシステム事業
本部 金融・法人ソリューション事業部 製造システム部
浅野将仁:Masahito Asano. ソリューションシステム事業
本部 本庄工場 生産技術部
蘭浩二:Kouji Araragi. ソリューションシステム事業本部
本庄工場 生産技術部
山本一真:Kazuma Yamamoto. イノベーション推進セン
ター センシング技術研究開発部
小林司:Tsukasa Kobayashi. ソリューションシステム事業
本部 金融・法人ソリューション事業部 イノベーション推進部

O K I テクニカルレビュー
2021 年 11 月／第 238 号 Vol.88 No.2

49