特集論文

映像解析ソリューション“kizkia”による実用的なAIシステムの構築阿部紘和＊

Mitsuyoshi Yamatari

Hirokazu Abe

中尾尭理

＊

Takamasa Nakao

菊池領＊

Ryou Kikuchi

Construction of Practical Artificial Intelligence System
by Video Analysis Solution "kizkia"

要

山足光義＊

旨

ネットワークカメラ，AI（Artificial Intelligence）
技術のkizkiaは，ヒト属性検知，モノ検知，置き去り物やふら進展によって，AI技術を活用した映像解析の応用システついているヒトなどの動き・状態の検知機能を備え，従来ムが広がり始めている。一方で，AI技術はブラックボッの機械学習では定義することが難しかった曖昧な属性や，クス的でどのように動作しているのかが分からず，安定的人が見ているだけでは気づけないコトを見つけ出すことがな実用システムを構築する上での課題が多い。人のレベル可能である。kizkiaを利用した大規模な公共施設向けのシを超えた高精度な検知が可能な一方で，100％の検知が難ステム構築の実績等で培った知見を基に，実用的なAIシしいAI技術を実システムに組み込むには，いろいろな工ステムを構築する上での考慮点や，AIシステムで重要に夫が必要である。そのため，実証実験のフェーズからなかなる検知モデルについて，高精度な検知モデル開発手法なか脱却できない事例が多いのも実情である。

“kizkia Method（kizkiaを用いた検知モデル開発手法）”を

三菱電機インフォメーションシステムズ㈱（MDIS）は，確立した。kizkia Methodを活用することで効率的に高いAI技術を活用した実用的なAIシステムの構築を可能にす検知精度を実現することが可能になる。今後もAIを活用る映像解析ソリューション
“kizkia（きづきあ）”の製品を開した安心・安全・快適な社会システム実現に貢献していく。

発し，提供している。

カメラ画角のずれ検知と補正

kizkia

外光に強い
置き去り物検知1.0

正解率0.5①②③

クロップ機能による精度向上
ベビーカー

誤報抑制④0入力画像

kizkia Method
判定に使用されている特徴の大きさ
小さい大きい検知モデルの反応箇所の見える化

合成画像による学習

映像解析ソリューション
“kizkia”と検知モデル開発手法“kizkia Method”
MDISは，2014年度から数々の実証実験に参画し，映像解析技術の知見を蓄積してきた。それらの知見に基づいて，三菱電機のAI技術“Maisart”を実装した映像解析ソリューション“kizkia”による実用的なAIシステムの構築を可能にする検知モデル開発手法“kizkia Method”を確立した。

24（458） ＊三菱電機インフォメーションシステムズ㈱三菱電機技報・Vol.94・No.8・2020

映像解析ソリューション“kizkia”による実用的なAIシステムの構築

1．ま え が き

3．映像解析ソリューション
“kizkia”

街中に監視カメラがあふれてきている中，ディープラー
ニングの技術の進展によってカメラ画像を活用したAI技術による目視作業の省力化が少しずつ広がり始めている。

3. 1 kizkia
映 像 解 析 ソ リ ュ ー シ ョ ンkizkiaは， ネ ッ ト ワ ー ク カ

AI技術は，学習によって人より高精度な検知率の実現がメラやレコーダから映像を取得し，三菱電機のAI技術可能と言われている。一方で，検知率向上の具体的な学習“Maisart”を使ってAI処理を軽量化することで，杖（つえ）

方法や100％にはならない検知率を実システムでどのようを持つヒトなどヒトの所持物を条件にした検知（人属性検に取り入れていけばよいのかなど，実用化に向けて試行錯知），スーツケースなどモノの検知，置き去り物の検知，誤しているところが多く，実証実験のフェーズからなかな

酔っ払いなど人のふらつき検知，人の座込み検知などをリか脱却できない事例が多いのが実情である。

（2）
アルタイムに行う製品である（1）。図１は，カメラ映像か

MDISは，ディープラーニングが広く注目されはじめた
2014年頃からAI技術への取組みを始め，特に“実用性”にフォーカスしながらリアルタイムに映像解析を行えるソリューション
“kizkia”の開発に取り組んできた。

らリアルタイムに特定の所有物を持っている人を検知している例である。
また，ディープラーニングを使って様々な検知ができるように，検知モデルを作成する学習ツールも提供している。

本稿では，どのようにして実用的なAIシステムを構築

図２にツールが提供するAIに学習させるための物体を四していくのかを，AIシステム構築の実績をベースに述べる。

角で囲って切り出すGUI（Graphical User Interface）画面の例を示す。このツールを利用することで，ベビーカーやスーツケース，台車など様々な検知したいものを簡単に学

2．実用的なAIシステムとは習させ，システム化することが可能になっている。
（注2）

実用的なAIシステムを構築する上で特徴的なkizkiaのなどのOSS（Open Source Software）の普及によって，AI機能を3. 2節から3. 5節で，MDISの検知モデル学習ノウ技術を活用して画像から物体を認識させることが容易にハウを体系化した検知モデル開発手法であるkizkia Meth-なってきている。OSSやサービスが提供している検知モ

odについては４章で述べる。

ディープラーニング技術や，TensorFlow，PyTorch（注1）

デル（検知するアルゴリズムとアルゴリズムで使用するパラメータのセット）を使うことで画像から物体や状態が判定できる一方，検知モデルが提供されていないものを検知するためには，検知モデルを作成する“学習”という作業を行う必要があり，この作業が従来のシステム開発にない新3. 2

検知精度向上クロップ機能

AIを使って画像の中から物体を検知する場合，小さいスーツケースしいプロセスになっている。また，提供されている検知モデルを使っても，検知精度が悪く，検知精度を向上させたい場合も同様である。この段階に至ると，どれくらいの量を杖（つえ）ベビーカー学習させればよいのかといった知見が必要で，さらに学習させる画像の不足，画像収集に起因する開発期間や費用の増大などの課題に直面する。また，外光変化の影響によって朝の日差しが強い時は検知できないなどの時間帯の検知精度の変化やカメラの設置角度や背景の違いなどで検知精度

図１．リアルタイムな人属性検知が変わるなどカメラごとの検知精度の変化への対応も必要になってくる。AIというキーワードが普及したこともあり，AIが万能でいろいろなことができてしまうと考えがちであるが，現在の技術レベルを考慮した上で，AIが得意とするところ，不得意とするところを見極め，不得意とするところは避け，AIをうまく活用したシステムを構築していく必要がある。
（注１） TensorFlowは，Google LLCの登録商標である。
（注２） PyTorchは，Facebook, Inc.の登録商標である。

三菱電機技報・Vol.94・No.8・2020

図２．検知モデル作成学習ツールのGUI画面
25（459）

特集論文

物体の検知が難しいという課題がある。ディープラーニン

として画像の色の比較でなく物体の輪郭を比較する方式を

グは，事前に設計した深層学習のネットワークに合わせて採用し，屋外で誤検知を少なくする屋外用置き去り検知機入力する画像サイズのリサイズ処理を行っている。しかし，能を実現した。

図３のように画面遠くに写り込む対象は，リサイズするこ

図５に色を活用した差分と輪郭を活用した背景差分の比とによって小さくつぶれてしまい，検知できなくなること較を示す。 背景は，朝の人がいない時の背景画像であり，が実運用での課題になった。特に白杖（はくじょう）や松葉映像は昼のある時点のカメラ映像である。色を活用した差杖などの元々細い物体はリサイズによって更に細くなって分（図５⒜）では昼の日照の強さによって地面等の色が変化しまい，検知精度低下の一つの要因になっている。

し，差分の出る範囲が広くなっている。一方，輪郭を活用

この課題に対応するため，図４のように画面奥側の一部領域を拡大したクロップ画像を，元画像と同時に画像解析して結果を統合する２段階での検知機能（クロップ機能）を採用している。この結果，リサイズ後の画像に写る検知対した差分（図５⒝）では日照変化による影響を減らし，誤検知が削減できている。
3. 4

3. 3節で述べた外光に強い置き去り物検知方式を用いる

象の大きさを十分確保できるため，画面奥の小さな物体であっても精度よく検知することが可能になった。
3. 3

誤報抑制機能ことで多くの誤検知を削減できるが，例えば日照によって発生する柱の影は決まった位置に発生し，背景を人のいな

外光に強い置き去り物検知機能

い夜間に取得すると背景には影が存在しない。その結果，カメラを屋外に設置して利用する場合，例えば，日照変

背景にない影を置き去られたものと誤検知してしまうと化による見え方や明るさ，色の変化等，実運用するに当いった事象が発生する。このような影は毎日同じ場所で発たってはこれらの変化を考慮する必要がある。

生するため，毎日誤検知が発生する。また，人目で見ても屋内の置き去り物検知では，背景画像と現在映像との差明らかな変化があるため，誤検知を抑制することもできな分を時系列的に判断し，色をベースにして一定時間以上差い。誤報が発生すると，置き去りか誤検知か個別の判別を分が存在する領域を検知していた。しかし，屋外では外光人手で確認する必要がある。

等日照変化によって置き去り物がない状態でも色が変化し，一般的に，AI技術を活用する上で100％の検知率を目指

正しく置き去り物が検知できない事象が多発した。そこで，すのは，技術的にもコスト的にも現実的ではなく，ある程屋外での利用に対応するため，外光の影響を受けない方式

度誤検知が出るという前提でシステムを開発する必要がある。このような誤検知による誤報は設備や一定の場所で規則的に多く発生する場合が多く，次のように誤検知による誤報を抑制することが現実的には有効である。
発生した誤報の検知画像を人が目視確認し，誤検知で⑴あればその発生情報を登録しておく。
⑵

以降，新規に検知されたものが登録された発生情報と類似するか判定を行い，登録されている誤検知と類似し元画像

リサイズ後ない場合のみ通知することで誤報を抑制する。

図３．リサイズで車椅子が見えなくなる様子
背景元画像

映像

クロップ画像背景差分

ディープラーニング＋結果のマージ

車椅子⒜

図４．クロップ機能
26（460）

色を活用した差分⒝

輪郭を活用した差分

図５．背景差分の比較
三菱電機技報・Vol.94・No.8・2020

映像解析ソリューション“kizkia”による実用的なAIシステムの構築

この機能を活用することで，規則的に発生するような誤検知については検知を抑制することが可能になる。
3. 5

画角ずれ検知・補正機能

4．検知モデル開発手法“kizkia Method”
多くのカメラ映像で安定した精度を確保する検知モデ

実運用では，風，振動，レンズ清掃等によってカメラのルの作成手法は，まだ確立されておらず，現在，各社の画角が物理的に移動することが多々起こり得る。カメラの貴重なノウハウになっている。MDISは，数千台のカメラ画角ずれが発生すると，映像の中で監視領域を設定していを対象にして，高い検知精度を安定的に実現するためのる場合に，監視領域と違う場所を監視することによる誤報学習モデル作成のノウハウを検知モデル開発手法“kizkiaや失報など，目的の検知が行われないという課題が発生すMethod”として体系化し，継続的に整備を行ってきた。

る。また，置き去り物検知では，背景画像と現在映像とのこ のkizkia Methodの 中 か ら“ 学 習 す る デ ー タ を ど う

差分を利用するが，背景画像と現在映像の画角が違うた

やって収集するか”“どうすると検知精度が上がるのか”とめ，誤報が発生する原因にもなる。これらに対応するため，いった，検知モデルを開発する上でよく突き当たるであろkizkiaでは，画角が変化したことを自動的に検出し，ずれう課題に対する解決方法の幾つかについて述べる。の大きさに応じて適切な処理を行う機能を持っている。
自動検出を行う方式として，ディープラーニングで用いられている特徴点抽出と，パノラマ画像の合成で使われる特徴点マッチングに着目した。

4. 1

学習精度と可視化

検知モデルの精度を向上させるためには，検知モデルがどのような処理をしているかを確認し，処理の内容を良い

図６は，上段に示す画角がずれた２枚の画像からそれぞ方向に修正することが効果的である。ディープラーニング

れ特徴点を抽出し，得られた特徴点同士をマッチングさせの処理内容はブラックボックスと言われるが，近年ディーた結果を下段に示している。図中で，互いに同じと判定さプラーニングを説明するための研究が盛んに行われておれた特徴点同士は線で接続されており，片方の画像にだけり，ある程度までは人間が理解できる形で可視化すること出現する特徴点は対応する特徴点がないため接続されていが可能である。可視化技術はモデルの判定処理を逆算して，ない。

画像のどの部分の情報が最終的な計算結果に寄与していこの結果を利用し，互いに同じと判定された特徴点同士るかを数値化することで実現している。検知モデルの可視が画像間でどのくらいずれているかを算出して平均を得る

化技術は手法が幾つか存在するが，検知モデル（特にone－ことによって，画像間のずれ値（水平移動・垂直移動・回stage型）の可視化はあまり一般的ではない。検知枠を生転・ズーム率）を精度よく算出できる。算出した値の大き成する処理の部分で情報の集約が行われており，逆算が困さに応じて，運用者への通知や監視領域設定の自動補正な難なためである。MDISでは逆算時に検出結果による重みどを実施する。

づけを行うことで集約部分の解釈を行い，これによって検知モデルの可視化を実現している。
図７はベビーカーを識別するモデルが，画像のどの部分に着目しているかを表している。グラフの縦軸はモデル精度，横軸は学習のステップ，一つの点がモデルの精度を表している。図ではモデルが“ベビーカー”と判定した画像に平常時の画角画角ずれ発生
特徴点抽出・マッチング

1.00.5

正解率
①②③④0
入力画像

対応する特徴点なし

対応する特徴点あり

判定に使用されている特徴の大きさ
小さい

図６．画像での特徴点抽出とマッチング
三菱電機技報・Vol.94・No.8・2020

大きい

図７．学習によるモデルの反応箇所の推移
27（461）

特集論文

対して，画像のどの部分から判定しているのかをヒートマップで表している。この図では，学習を進めるにしたがって，最初はモデルがベビーカーではないところを判定に用いていたのが，ベビーカーがある領域に強く反応するようになっている。
可視化技術を精度向上に活用する例としてベビーカー検知モデルで述べる。例えばモデルがベビーカーの判定で幌（ほろ）（日よけ部分）を強く見ているとすると，そのモデル図９．合成画像による学習のイメージ

は幌のないタイプのベビーカーは見逃す可能性が高い。こ

習データを用いて学習する必要があることが分かっている。

れを改善するために幌のないベビーカーの学習データを追

これまでは運用環境で白杖を所持したり車椅子に座ったり加する，といったように精度向上を進めていく。

する演者（エキストラ）を撮影することで学習データを収集

4. 2

していたが，バリエーションを増やすために人員と時間をモデルの学習方法と評価方法要しコストが増大していた。このような背景から，学習モデルをある目標精度に到達するまで学習・評価するに当たって重要なことは，学習データを作成する際にモデルデータ収集のコストを削減するために，学習データを現場の画像に合成する手法を検討した。

がどのように処理しているかを理解して最も適切な形にな背景画像に切り出した人や物などの前景画像を張り付けるようにデータセットを構築することにある。例えば長いるだけの単純な手法では，前景と背景の境界部に輪郭が現棒を持った人を識別するモデルを考えてみる。学習データ

れてしまい，AIがこの輪郭部分を学習することで検知精に図８の⒜⒝のような，棒の見え方が一定でないものを混度が悪化することが課題になった。そこで，輪郭部をなじぜて入れてしまうと，人の肩の上に棒状のものがあれば検ませて違和感なく背景画像に合成することで，学習データ出するモデルができる可能性があり，図８⒞のような，背の大部分を合成画像に置き換えて学習させても高い検知率

景に棒状の模様がある場合に誤検出が多くなってしまう。

を維持できる技術を開発した。

これを改善するためには⒞のような状況の学習データを大合成画像を活用した学習手法では，スタジオでのクロマ量に集めるか，又は⒝のような学習データを取り除いてキー撮影（背景が均質な色になる撮影）で作成した画像を図９学習させないという選択肢もある。後者を選択する場合は，のように現地の画像に合成するだけで学習データを用意で可視化技術を活用して誤検知課題と類似する学習データをきる。この手法の利点は，一度撮影したデータを流用でき探し出して取り除くという手順で実現できる。モデル開発

る上に，合成する座標や向きを変えることで学習データをの現場ではこのような精度課題が頻繁に起きるので，課題大量に増やせることにあり，学習データ収集の低コスト化ごとに学習データを集めることは現実的ではない。そのたを実現した。

め，後者を選択することで達成可能な範囲でモデルの精度向上を進めることができる。
4. 3

５．む

合成画像を活用した学習手法

すび

実用的なAIシステムを構築するための機能や検知モデ

モデル作成では大量の学習データが必要になるが，出現ルを開発するための手法について述べた。kizkiaでは，今頻度が低い対象を検知したい場合，どのように学習データ後より多くの監視カメラを有機的に融合させ，カメラをまを収集するかが課題になる。実用可能な検知精度を達成すたいだ人や物体の高精度な追跡や検索をリアルタイムに実るためには，実際にカメラを導入する環境で撮影した学現するより実用的な映像監視ソリューションの実現を目指していく。また，社会インフラ設備の異常点検や製造ラインの外観検査など，適用範囲を拡大し，安心・安全・快適な公共施設や工場などの実現に引き続き貢献していく。
参 考 文 献⑴⒜⒝⒞

図８．長い棒を持った人のデータ例
28（462）⑵

Matsumoto，W.，et.al：A Deep Neural Network Architecture Using Dimensionality Reduction with Sparse Matrices，International Conference on Neural Information Processing，
397～404（2016）中尾尭理，ほか：疎なネットワーク構造を持つDeep Learningを用いた映像分析システム，情報処理学会 第79回全国大会講演論文集，13～14（2017）三菱電機技報・Vol.94・No.8・2020