MITSUBISHI DENKI GIHO

特集論文

AIを活用した映像解析ソリューション
“kizkia”

中尾尭理＊ 鈴木宏則＊
菊池 領＊ 山足光義＊
北島周平＊

kizkia：Video Analysis Solution Using Artificial Intelligence
Takamasa Nakao, Ryou Kikuchi, Shuuhei Kitajima, Hironori Suzuki, Mitsuyoshi Yamatari

要旨
街中に監視カメラがあふれているが，従来は事件発生のた曖昧な属性や，人が気づけないことを見つけ出せる。ま際に撮り溜（た）めた映像を検証するだけで，貴重な映像情た，新しくモノ属性検知の開発を行っており，これもkizkia

報が有効活用されていなかった。東京2020オリンピック・に実装予定である。kizkiaは三菱電機のAI技術ブランド

パラリンピックに向けて安心・安全の向上が求められてお“Maisart（マイサート）”の技術を活用することで，GPUり，監視カメラの市場は拡大傾向にある。また訪日外国人（Graphics Processing Unit）レスの映像処理を実現していや高齢者など，サポートが必要な人へのおもてなしが期待る。これらの機能によって，サポートが必要な人への“リされている。

アルタイムな対応”や，従来は分析・想定がしにくかった

このような期待にこたえるため，三菱電機インフォメーションシステムズ㈱（MDIS）は，近年急速な発展をとげて“未来の予測”の支援を可能にし，安心・安全・快適な社会の実現に貢献する。

いるAI（Artificial Intelligence）技術を活用した，映像解MDISではkizkiaで用いるAIに必要な学習データの作析ソリューション“kizkia（きづきあ）”を開発した。kizkia

成で，数々の実証実験の経験・知見を活用した効率的な学は，ヒト属性検知，置き去られたモノやふらついているヒ習プロセスを確立している。今後は映像以外のデータとのトの検知機能を備え，従来の機械学習では定義が難しかっ連動によって，様々な利用シーンでの活用が期待される。

これまで“人が確認”

これから“kizkia”をプラス
人が見ているだけでは気づかなかったことを，見えるカタチにあなたの周りで 見つけられるヒト ・ モノ ・ コト

“その時”と“近い将来”を見るだけ

ヒト属性 検知

監視カメラで撮影
一定の短期間映像を蓄積

何もなければ映像消去

置き去り 検知
事故
発生
事後対応

過去映像から事象を検索 ・ 通報

監視センターふらつき 検知

人は，休むことなく，漏れなく監視し続けることができない！

機能

属性

あらかじめ学習したヒトの属性を検知する

行きかう人々の中でベビーカー／車いすを押しているヒト

機能

属性

一定時間以上同じ場所に置かれているモノを検知する

さっきまでなかったのにヒトに置き去られたモノ機能

属性

動線を解析しふらついているヒトを検知する

普通に歩くヒトとは異なる
不自然にふらふら歩くコト

車いす
ベビーカー

映像解析ソリューション
“kizkia”
kizkiaは，人が見つけたいことを，様々な映像から人工知能によって休むことなく自動的に見つけ出し通知する。これまで人が見ているだけ
では気づかなかったことへの対応や未来予測の支援が可能となる。

2（442）

三菱電機インフォメーションシステムズ㈱＊三菱電機技報・Vol.92・No.8・2018

MITSUBISHI DENKI GIHO

特集論文

kizkiaは，ディープラーニングで映像を解析することで，

1．ま え が き

従来の機械学習では見つけられなかった曖昧な属性の違い

街中の監視カメラやドライブレコーダなどの映像が様々や，人が見ているだけでは気づかなかったことを見つけ出な事件の解決に活用されることが多くなった。しかし事件し，サポートが必要な人への“リアルタイムな対応”や，こが発生した後に撮り溜めた膨大な映像から，人手をかけてれまでは分析・想定しにくかった“未来の予測”を支援する関係する事象を見つけ出す必要があり，リアルタイムにことが可能になる。

キーとなる事象を見つけて事件を解決するようなことには

3．映像監視での課題活用できていない。
東京2020オリンピック・パラリンピックに向けて安心・大規模ビルや公共施設などの監視センターではスタッフ安全の向上が求められており，カメラの市場は拡大傾向にが多数のモニタで監視カメラ映像を監視して異常がないかある。また訪日外国人や高齢者など，サポートが必要な人を確認している。しかし人は休むことなく監視し続けるこへのおもてなしが期待されている。とができないため，漏れなく事件や事故を発見すること

このような期待に応えるためにMDISは，近年急速に発は難しく，また未然に防ぐこともできない。したがってほ展しているAI技術を活用し，カメラの映像をリアルタイ

とんどの場合，事件が起こってからレコーダに蓄積した過ムに解析するソリューション
“kizkia”を開発した。

去の映像から事象を検索するという使い方しかできていな

本稿では，AI技術を活用した映像解析ソリューション
kizkiaの特長や学習プロセスの一例について述べる。

2．ディープラーニング
今注目されているAIは，従来のAIと何が違うのか。例
えば，従来の機械学習による顔認証では，スキルのある技
術者が顔の特徴量である目の中心や唇の端などの位置や距かった（図１）。
また，カメラの台数が増加するにつれ，大量のカメラ映像をネットワークに流す必要があり，設備コストや配備する監視員数の増加といった問題があった。

4．映像解析ソリューション“kizkia”
4. 1 kizkia

離から計算される値を定義し，それを検出するアルゴリズ

kizkiaはネットワークカメラやレコーダから映像を取得ムを作りこむ必要があった。人手による設計は職人技に近し，AI技術を使ってヒトの属性やふるまい，所有物，モい部分もあり，検出精度にも限界があった。

ノの種類や属性をリアルタイムに検知する映像解析ソと こ ろ が2012年 の画像処理コンテストで，デ ィ ー プリューションである。

ラーニングが従来手法に対して圧倒的な精度で勝利した

多くのカメラに対応するため，映像処理をカメラに近いところから有名になり，現在のAIブームを引き起こした。

ところで実施し，解析結果をセンターに送信するエッジコ

ディープラーニングで画像認識を行うと，これまで人がンピューティングの構成で実現している。また，リアルタ定義していた対象の特徴をAIが掴（つか）むことができる。

イム解析を実現するために様々な映像処理の軽量化やマル

例えば，車いすやベビーカーを認識させるために，それぞチCPU（Central Processing Unit）による多重処理を行う

れの大量の画像を用意すれば，AIが自分で着目すべき特ソフトウェアアーキテクチャになっている。MDISのシス徴を見つけて，それぞれを識別することができるようになる。

テム化技術によって，三菱電機の“コンパクトな人工知能”■ 従来は“録画映像を後から確認”するだけ →“人”は休まず漏れなく監視し続けることはできない
撮影

録画 ・ 蓄積

事後確認

事故発生

いったい何があったんだ？

一定期間で削除

図１．映像解析を実現に向けた現状の課題
AIを活用した映像解析ソリューション“kizkia”・中尾・菊池・北島・鈴木・山足

3（443）MITSUBISHI DENKI GIHO

特集論文

4. 3

を実装して，AI製品で一般的に使用されるGPUなしでのヒトの属性・所有物の識別

kizkiaでは，ディープラーニングの利用によって，従来映像処理を実現している。
また機械学習で重要となる学習データの作成では，数々のAIでは難しかったヒトの属性や所有物などの曖昧な違の実証実験の経験・知見を活用した効率的な学習プロセスいもリアルタイムに把握できる。これによって，ベビーを確立した。4. 6節で，kizkiaの特長と，AIの学習プロセ

カーを押すヒト，車いすを押すヒト，杖（つえ）をつくヒトスの一例について述べる。など，ヒトの特徴を捉える“ヒト属性検知”を行うことがで4. 2

きる（図３）。“ベビーカーを押すヒト”などの特徴を属性とkizkiaのアーキテクチャ

kizkiaは，個人情報漏洩（ろうえい）やネットワーク負荷呼び，ディープラーニングに属性を持った画像を大量に学を減らすため，ネットワークカメラの映像の処理はカメラ習させることで，特徴量の設計やプログラミングを行わずが設置されている拠点（解析サーバ）だけで行い，検知したに，画像の中から属性を識別するパラメータを自動算出すイベントの情報だけを抽出して監視センター（統合サーバ）る。kizkiaは，この属性を最大40種類まで同時識別できる。に送付するエッジコンピューティングのアーキテクチャにヒト属性検知機能によって，公共施設などで，車いすのヒなっている。映像を，カメラやレコーダからストリームでトや白杖（はくじょう）をつく視覚障がいのある人をリアル受信し，処理が終わると破棄するセキュリティに配慮したタイムに検知してスタッフに通知するなどして事故を未然構造になっている（図２）。カメラ映像の処理は，カメラごに防ぐことなど，サポートが必要な人への早急な対応が可とに独立・並行して実行する分散処理構造になっており，能になる。

カメラの増減，カメラごとの監視機能のオンオフ，検知対スーツケース

象の変更などきめ細かで柔軟な運用を可能にしている。さらに，リアルタイム性を実現するため，ストリームの映像杖処理（切り出しや判定などの処理）をフレーム単位で並行して実行するマルチタスク処理に加え，ディープラーニング

ベビーカー

技術による切り出しや所持品・種別判定の処理のコンパク
ト化（1）によって，計算量を従来の1/10以下にまで削減してGPUレスでの映像処理を実現している（2）。また，複数の解析サーバの設定変更やカメラごとの監視機能のオンオフを監視センターから遠隔で操作できるため，保守性の高いシステムの構築を可能にしている。

監視カメラ

図３．ヒト属性検知

解析サーバ
×l台

統合サーバ

様々な検知イベントを通知

×m台
解析結果

撮影対象×n 箇所
検出

解析
フレーム画像ヒト ・ モノ検知

所持品／種別判定

追跡

通知判定

配信

図２．kizkiaのアーキテクチャ
4（444）

三菱電機技報・Vol.92・No.8・2018

MITSUBISHI DENKI GIHO

4. 4

モノの種類・属性の識別

特集論文

検知することが可能である。また，“置き去られたモノ”を“ヒト属性検知”に対して，モノをリアルタイムに検知す検知することもできる（図５）。

る“モノ属性検知”を新たに開発しており，この機能は今後

ふらつきやうろつきの検知では，時系列に沿って同一人kizkiaに実装する予定である。モノ属性検知は，２段階の物を観察し，動線を検出・解析することによって，ふらつディープラーニングを使って実現している。まず，車，工いているヒトや，特定のエリアに何回も現れる不審者を検具，ショッピングカート，ジョッキなどのモノの種類を事知できる。

前に学習させて検知するモノ検知機能と，次にヒトと同様これらの検知によって，酔っ払いの道路への飛び出しや，にモノの属性（トラック，乗用車，救急車など）を別に学習

線路への転落の予兆を検出し，事故発生前に対応できる。

させて属性を識別する属性検知機能，この二つの機能を組置き去りの検知では，長時間置き去りにされたモノを検み合わせることで様々なモノの種類と属性の検知を実現し出することで，忘れ物を見つけるだけでなく，放置されたている。

危険物があることを察知して事件を未然に防ぐことを支援

モノ属性検知機能で，例えばジョッキを検知し，さらにジョッキの中のドリンクの量の違いを画像で学習させるこできる可能性がある。
4. 6

学習プロセスと精度とで，図４のようにドリンクが空（実線の枠）のジョッキと学習では，どのような画像をどれほど用意できるかが重そうでないジョッキ（点線の枠）を識別する。これによって，要であり，またその学習後の検知結果を評価してチューニ店員が客から呼ばれる前に追加注文が入りそうな客のとこングするといったプロセスが検知結果の精度に大きな影響ろに向かうなど，客へのサービス向上，売上げ拡大の応用を与える。ここではベビーカーを例に挙げて学習プロセスが考えられる。また，車両判定への応用として，車種別のを述べる。

通行量をカウントさせるといったことや，工場への応用とAIにベビーカーを検知するよう学習させたい場合は，してラインの不良品を学習・検知させることで，人手作業

まずOK画像（ベビーカーを押しているヒト）とNG画像（ベによる漏れの予防や作業員・監視員の削減によるコスト改ビーカーを押していないヒト）を大量に与える。すると２種善等が期待できる。

類の画像群のどこが異なるかを自動的に計算し，ベビー4. 5

カーを押しているヒトの画像だけに現れる特徴を抽出し，ふるまい検知

kizkiaでは，“ふらついているヒト”や“うろついているヒAIはOK・NGを判定できるようになる。ここで重要なのが，ト”など，行動を分析し，特徴的な行動をリアルタイムに二つの画像の異なる部分がどのようになっているかであり，もしOK画像とNG画像にベビーカー以外の特徴の差（例えばベビーカーを押している人の服の色が赤く，そうでない人の服が青ばかりなど）が多く出現すると，そちらの特徴に反応してしまうこともあり得る。そのため，できるだけ

ビール
（空）

多種多量の画像を集めてOK画像とNG画像の間に想定しない差が現れないようにする必要がある。
ビール（空）

さらに，OK画像とよく似た特徴を持つもの（車いす・ショッピングカートなど）が現れるような場合は，それらをOK画像と誤判定しないように，NG画像にOK画像と似ていると思われる画像を含める必要がある。具体的にどのような物がOK画像と似ているかを事前に想定することや，一度学習をした後にkizkiaを適用する現地の映像に対して解析を実施してOKと誤判定したヒトを学習データとして

図４．モノ属性検知（ジョッキの状態）追加するなど，できるだけOK画像と似ているがOK画像の特徴ではないことを学習させていくことが重要となる。
このような学習をさせていくことで間違えやすい部分を減らしていけるが，どこまでの想定やデータの追加が必要かの判断が難しい。 この判断を行うための一つとして“中間処理の可視化”がある。
AIが具体的にどのように判定を行っているかは，中間うろつき

ふらつき

図５．ふるまい検知例

置き去り処理を可視化することである程度は確認できる。例えば画像のどこを見てOK・NGを区別しているかの確認や，そAIを活用した映像解析ソリューション“kizkia”・中尾・菊池・北島・鈴木・山足

5（445）MITSUBISHI DENKI GIHO

精度

特集論文
1.0などに設置されたセンサ情報（匂い，音なども含めて），個

0.8

人のID（IDentification）情報，移動体の情報など，多種類0.6のメディアデータの解析結果と連携させることによって，0.4

様々な利用シーンでの活用が期待される。

0.2
0

6．む
0200

400

600

800

1,000

学習データ数

すび

AI技術を活用した映像解析ソリューションkizkiaの特長や効率的な学習プロセスの一例について述べた。
kizkiaは，公共機関や製造ラインなど様々な場所で，人や業務を支援する仕組みとして広く利用されはじめた。映像データから様々な事象を検知できることから，その応用範囲は広がる可能性が高い。

図６．学習データと判定部位の可視化の例

ただし何に対しても効果が上がるわけではなく，kizkiaを導入するに当たっては，業種・業務ごとに解決したい課題を洗い出して検知したい事象を明確に定義した上で，学れらの特徴の大きさ（AIにとっての重要さ）の確認等が可

習の基となる映像データの収集を行うことが重要である。

能である。図６の上のグラフから学習データ数が増えるほ

様々な業種・業務の現場の人々と一緒に目的を共有し，現ど精度が上がっていることが分かる。また，下の図は左場で実証実験を十分に行ってからシステムを導入するスの人物画像のどこに特徴があるかを可視化したものであテップを実践することによって，安心・安全・快適に暮らる。白いほど強い特徴として判定されており，学習データせる社会の実現に貢献していく。

が増加していく中で対象物の特徴を正しく捉えていっていることが分かる。このような可視化情報に加え，様々な情報（OKとNGの比率，学習データと評価データの分布の差，

参 考 文 献⑴ Matsumoto，W.，et.al：A Deep Neural Network

複数属性の場合の影響度等）を考慮しながら学習を進めて

Architecture Using Dimensionality Reduction with

いくことで，高い精度を持つAIを構築できる。

Sparse Matrices，23rd International Conference，

5．今後の展開kizkiaはネットワークカメラの映像データの解析を対象としているが，今後はカメラ以外の映像データや，SNSICONIP 2016，397～404（2016）⑵ 中尾尭理，ほか：疎なネットワーク構造を持つDeep
Learningを用いた映像分析システム，情報処理学会
第79回全国大会，6B－07（2017）（Social Networking Service）上のテキスト，街中や工場

6（446）

三菱電機技報・Vol.92・No.8・2018