まえがき

菱電機米国研究所（Mitsubishi ElectricResearch Laboratory）の研究はコン

こんにちは！ 三菱電機で AI の研究開

ピュータグラフィックスやコンピュー発をしている澤田友哉です．このコラ

タビジョンの分野ではとても有名で，ムでは，AI の研究開発における難しさ

MERL と共同研究や研究成果の製品や面白さを，企業目線で 中のヒト の化，サービス展開ができるとよいと考声として紹介したいと思います．

えて三菱電機に入社しました．

私自身は，大学ではコンピュータサイエンスを専攻しており，山梨大学で研究所での開発

茅暁陽教授，豊浦正広准教授に師事し，2015 年に入社して，当時から話題博士号を取得してメーカに入社しましだったディープラーニングの研究のた．大学に入るまでほとんどパソコンキャッチアップに努めました．黎明期を使っておらず，書道をしていたアナということもあって，3 ヵ月に一度のなかなか実現できず，大きな挑戦となログな人間でしたが，どうせ一から勉頻度で技術革新が起こりすぐに次の技りました．

強するなら今後必須になるコンピュー術が主流になるというサイクルの早さ

そこで，大学で研究していた視覚情タサイエンスを学ぼうと思って専攻をに驚きました．先輩たちと読んだ論文

報処理の知見を取り入れ，目立つ領域決めました．大学では留学生の先輩やの議論をしたり，実装して動作検証しに優先的に注目する人間の視覚システ

同級生の勉学に対する姿勢に刺激を受たりと，ディープラーニングの新しいムを模倣した Saliency Map（顕著性）

けて研究が好きになり，指導していた考え方が新鮮でとても高揚したのを覚を用いて物体らしさや誘目性の推定をだいた先生方のサポートのおかげで研えています．ディープラーニングの利行い，CNNs の画像認識で推論する技究活動を楽しみながら進めることがで用は Convolutional Neural Networks術を開発しました．学習済み CNNs のきました．国際会議発表や他大学との（CNNs）をはじめとするコンピュータ

高次元特徴やタスクの概念情報を元に勉強会，国際交流会など研究室で活発

ビジョン分野での研究例が多く，とり認識するアプローチを Top-down と呼にイベントがあったことがモチベー

わけ Object Detection（一般物体認識）ぶのに対し，人間の認識システムは視ション維持につながったと思います．に代表されるような産業界の事業に直覚情報の色・輝度・方向性などの低次接つながる応用研究が盛んです．

元特徴を手掛かりに統合させて推論し就職をするときにメーカを選定した

図 1 基板上の物体認識の推論結果のは，研究室で作られた素晴らしい技

当時，研究所では物体認識技術の演ていることが知られており，これを模術も誰にも知られず使われないのは残算量削減や，車載基板やマイコン上でした手法を Bottom-up アプローチと呼念だと考えたためです．当時から，三のリアルタイム動作に取り組んでおびます．Bottom-up の利点として高速り，図 1 のような「どこに，何があるな演算が可能で，車載用組み込み機器のか」を画像 1 枚で認識する AI 技術の上で 100 m 以上遠方の小さな物体をリ開発を行っていました．特に自動運転

アルタイムで認識することに成功しま

技術に代表される車載システムでの利した．開発した技術は産業広告や広報用を念頭に置いて開発を進めていたの発表を行い国内外 30 以上のメディアですが，全天候対応で遠くの物体までから取材を受けました．また，研究開

認識できる技術は最新研究を用いても発本部成果披露会の展示や株主総会展†三菱電機株式会社 ビジネスイノベーション本部
ビジネスイノベーション・ DX 戦略室 Maisart
共創センター"Go beyond Artificial Intelligence, towards
Augmented Intelligence" by Tomoya Sawada(Maisart Co-Innovation Center, BusinessInnovation & DX Strategy Div., MITSUBISHI
ELECTRIC Corp., Tokyo)

485 （66）

映像情報メディア学会誌 Vol. 76, No. 4, pp. 485 〜 488（2022）

Go beyond Artificial Intelligence, towards Augmented Intelligence（a）車両での実験風景（b）試作機での認識結果

図 4 実証実験による価値検証
図 2 展示会での技術展示

示，CEATEC 2018 の展示などを行いく残しているため，CNNs 内部で類似問を受けたりビジネスの商談につなげました（図 2）．

度が高い Feature Map ほど高い正の報たりと刺激になりました．また，国際

一方で，Bottom-up アプローチは全酬を与えることで，小さな物体の特徴会議は最近ではオンラインで開催され天候に対応する必要のある車載系シスを獲得し易くして認識率の大幅な向上

ることが多く以前より安く参加できる

テムではまだまだ改善の余地がありまを達成しました 1）（図 3）．

メリットがあります．個別の発表だけした．そこで CNNs の高次元特徴に対同時に，開発した技術がユーザ目線ででなく，技術分野を俯瞰して紹介する

し，Bottom-up 特徴を Attentionはどのような体験を生み出すのか，価講義も併設されており，学生がキャッmechanisms（注意機構）として組み込値検証も行っています（図4）．体にセンチアップしやすいようによく配慮されむ手法を開発しました．CNNs は層をサをたくさんつけて実際の車両を改造た内容になっていますので，ぜひ参加深くするときに channel を増やして特し，実際に運転してみて AI による認識してみてください．

徴量を高次元にするため，空間解像度結果の通知がどういうメリットやデメを pooling によって削減し，演算量をリットがあるのかを明らかにします 2）．

海外大学や研究機関との共同研究削減しています．しかし，遠方の物体開発した技術は，CES 2020で展示し，は画像では小さく映るので，空間解像国際会議（ICIP 2021，ICME 2022）で2016 年から，南カリフォルニア大度を削減してしまうと CNNs の前段の発表しました．展示会は多くの人が関学（USC）と共同研究を行い，Antonio

浅い層で情報が喪失してしまい，多量わって各企業のブースを作り上げ，多Ortega 教授に師事し，Graph Signalのデータを学習させても認識率が上がくのお客様に技術やサービスを紹介しProcessing の研究に従事しました．

りにくいという問題がありました．人て，みんなで成功を祝います．普段，人間の行動認識や複雑な手の動きの認の視覚系を模した Saliency Map（顕著研究所の中にいて直接お客様とお話を識 な ど で は ， Recurrent Neural性）であれば遠方物体の情報をより強する機会がなかった私にとっては，質Networks（RNNs）を一般的に使いま（a）高速道路走行シーン（後方撮影）（b）CNNsのActivation Map（c）提案手法のActivation Map

図 3 CNNs 内部推論の可視化結果
CNNs の反応が強いところを可視化してみると,従来手法では，（b）のように空などの重要でない個所が強く発火していて車などは反応していないことがわかります．提案手法出は，（c）のようにそのシーンに合わせた重要物体に着目して発火できるようになっています．

（67） 486

きらり。中のヒト（第 7 回）★ 澤田友哉すが，毎フレームで高次元特徴を取得を変化させる技術はデータが集めにくで動作しなければいけなかったりと，し過去の情報を使いながら推論を行う

い環境を模擬して画像生成が可能なの実際に適用する環境への依存が大きい

ため学習データや計算機リソースを多で企業向きと言えます 6）．

機械学習は事業での運用が難しいと感く必要とし，ネットワークも複雑にな企業で教師あり機械学習を行う場

じていました．しかし最近では，クラりがちです．そこで，OpenPose3）で合，ターゲット環境でデータを集めてウド運用が普及し演算処理ではなく通抽出したキーポイントを入力としてグ

正解データを付与する Annotation が信速度がボトルネックになるくらい，ラフを作成し，体のパーツや手のキー必要になりますが，ここには無視でき高度な AI がリアルタイムサービスとしポイントで相関のある個所をグラフでないほどのコストがかかります．そこて受けられるようになっています．

連結して，動きの情報をうまく記述でで，GANs を用いた高精細な学習デー

2021 年より三菱電機のビジネスイノきるように設計しました．

タが自動生成できればコスト削減が狙ベーション本部に加わり，Digitalこのグラフを，工場などの組み立てえると考え開発を進めました．同時に，Transformation（DX）戦略室で顧客視点工程のタスクに適用したところ，作業Annotation を行う際にわずかな教師でに立って AI の利活用を促進するプロ者が変わっても手の動きの特徴的なパ

自動的にデータを集められる，効率化ジェクトに参加しています．ここで主ターンを抽出できるようになり，教師を目指した技術開発も行いました 7）．

眼が置かれているのは，AI の精度や機なしで作業者の動作分類が自動化でき2019 年には MERL との共同研究で研能ではなく，Customer Value（CV）です．

るようになりました 4）．

究訪問し，Michael Jones, Tim Marks,

AI を使ったサービスでは，お客様の2018 年からは，マサチューセッツ工Anoop Cherian, Alan Sullivanらのコンデータを集めて仮説を立て，適用する科大学（MIT）と共同研究を行いました．

ピュータビジョンチームの研究員に師AI を選定したり作ったりして実証実験

Antonio Torralba 教 授 に 師 事 し ，事し，Object Detection, Semanticを行い，継続的にお客様に価値が提供

Generative Adversarial NetworksSegmentation, Face Recognition,できるかを見極めます．このサイクル（GANs）や Annotation の研究に従事しVideo Anomaly Detectionなどの研究にを回す上では，常に変化する環境やおました．GANs は元々，Generator と従事しました．世界で初めて顔検出技

客様の要望に適応する共創活動が重要

いうノイズから画像を生成するネット術の開発に成功したのは MERL で，になります．これまでの機能や精度をワークと，Discriminator という生成さViola-Jones 法として教科書でも取り追求する研究開発の知見を活かしつつ，れた画像と正解の画像を見分けるネッ上げられていますが Michael Jones 博

実際にお客様と一緒になって AI を使っトワークの二つから成り，本物のよう士はその開発者です．近年では，Faceたサービスを展開していきたいです．に高精細な画像を自動生成したり，Recognition ではコロナ禍でマスクをビジネスイノベーション本部はImage Translation や Style Transfer とつけていても正確に顔のキーポイント

2020 年に新設された組織で，三菱電いった画像の見かけを自然に変化させが推定できる技術を研究しています 8）．

機がこれまでに取り組んでこなかったたりするタスクに用いられました．最

また，赤外線カメラで顔を撮影して動ビジネス形態や事業領域に切り込んで

近では，画像 1 枚から Style Transfer

画から非接触でリアルタイムに脈波を行く挑戦的な部隊です．オフィスはフを行う技術 5）（図 5）や，ドメイン変換推定する技術も開発しています 9）．

リーアドレスなこともあり，組織のを GANs で行う研究があります．可視Video Anomaly Detection ではある

トップを含めたメンバとの物理的・精光を赤外光に変換するようなドメインシーンの正常状態を学習してそこから神的距離がとても近く，いつでも雑談逸脱する動きがあった場合に異常としできる雰囲気が好きです（図 6）．コロて検知することができます．これまで，

ナ禍で出社制限もあり，リモートワー異常状態や不審行動などあいまいで定クが大半ですが，そんな中でも雑談会義することが困難な動きに対して機械が週一以上で催されるので，職場の風学習を適用することはデータが集まら通しはとてもよいと思っています．まないために難しかったのですが，このた，いち早くリモートワークで働ける技術はあいまいな検知対象の学習デー

仕組みを会社が提供してくれたおかげ

タを必要としないので製造現場や地域で安心して働ける側面もありましたの防犯用途での運用が期待できます 10）．

し，Teams などのアプリを使った情報DX･AI･CV
研究所では AI 技術の習得や実課題の
図5

GANs を用いた Style Transfer4）

487 （68）

共有が進んで密に連絡を取れるので，業務効率の改善につながっていると感じています．

解決に取り組んできました．データが大きな組織になると意思決定に時間入手しづらかったり，安価な機器の上がかかる傾向があり，スピード感が求映像情報メディア学会誌 Vol. 76, No. 4（2022）

Go beyond Artificial Intelligence, towards Augmented Intelligence

かにするために常に顧客視点に立って，Augmented Intelligence（拡張知能）としての AI によるサービスや製品展開を目指します！

（2022 年 3 月 29 日受付）

〔文

図 6 職場風景（岩橋亜沙子撮影）

められる IT 分野において不利になるこ

定義だけでは解決できない課題も明らとがあります．そんな時トップ層が話かになってきていて，AI の位置づけがを速やかにまとめてくれるのがこの組見直され始めています．その一つが，織のよいところであり，若手のやりがAugmented Intelligence（拡張知能）
で，いにもつながるところがあると思って人の手を離れて自律推論するのではないます．バックアップが心強いです．

く，あくまで人の機能を拡張するツー

これからの取り組みとして，せっかルとしての AI を指しています．

く研究所で MERL とよい関係構築がで2019 年 に 行 わ れ た G20 Osaka

きたので国際連携して，世界的な研究

Summit で， AI 原則の提言 が行われ，成果である最新の AI を三菱電機のサー各国の目指すべき AI の姿として，AI をビスや製品に順次展開していきたいで人間の道具として使う Human-

す．学生時代からの夢が叶いつつある

centered AI（人間中心型 AI）という考幸運に感謝していますし，共に研究やえ方が採択されました 11）．同じ AI でプロジェクトに取り組むチームメンバも，自動化や機能の拡大や性能の向上にも感謝しています！

だけを目指す Artificial Intelligence か

振り返ってみると，国内外を問わずら，より成熟し顧客視点で製品やサー多才な方々と研究やプロジェクトを一ビスを考えられる Augmented緒に進めることができ，自分が大きくIntelligence にシフトして，世の中に変成長できたこともあって，メーカに入革を起こせるとよいと思って，コラム社してよかったと思っています．のタイトルを決めました．この観点はむすび社会実装に重きを置く，企業ならではの価値観のように感じるかもしれませ一般的な AI の定義は，Artificialんが，成熟した社会で AI とどのようにIntelligence（人工知能）のことで，主向き合うか，AI 倫理についても産業界に人の代わりに自動で推論するシステだけでなく国際会議でも重要なトピッ

ムを構築することを目指しています．

クとして取り扱われています．

一方で，技術の成熟とともに現在のわれわれメーカも，人々の生活を豊献〕

1）T. Sawada, T.-Y. Lee and M. Mizuno:"Bottom-Up Saliency Meets Top-Down
Semantics for Object Detection", 2021
IEEE International Conference on Image
Processing (ICIP), pp.729-733 (2021)
2）T. Sawada and M. Nakamura: "Intelligent
Warning System Monitoring VehicleSurrounding and Driver's Behavior", 2022
IEEE International Conference on Multimedia
and Expo Workshops (ICMEW) (2022)
3）Z. Cao, G. Hidalgo Martinez, T. Simon, S.
Wei and Y.A. Sheikh: "OpenPose: Realtime
Multi-Person 2D Pose Estimation using
Part Affinity Fields", IEEE Transactions on
Pattern Analysis and Machine Intelligence(TPAMI) (2019)4）P. Das, J. Kao, A. Ortega, T. Sawada, H.
Mansour, A. Vetro and A. Minezawa: "Hand
Graph Representations for Unsupervised
Segmentation of Complex Activities",
International Conference on Acoustics,Speech and Signal Processing (ICCASP),pp.4075-4079 (2019)5）M.J. Chong and D. Forsyth: "JoJoGAN: One
Shot Face Stylization", arXiv preprint(arXiv:2112.11641) (2021)
6）V.V. Kniaz, V.A. Knyaz, J. Hladůvka, W.G.
Kropatsch and V.A. Mizginov, "ThermalGAN:
Multimodal Color-to-Thermal Image
Translation for Person Re-Identification in
Multispectral Dataset", Computer Vision -ECCV 2018 Workshops, Springer (2019)7）T. Sawada, T. -Y. Lee and M. Mizuno:"Video Object Segmentation with Online
Mask Refinement", 2022 IEEE International
Conference on Multimedia and Expo
Workshops (ICMEW) (2022)
8）T.K. Marks, A. Kumar, W. Mou, C. Feng andX. Liu: "UGLLI Face Alignment: Estimating
Uncertainty with Gaussian Log-LikelihoodLoss", IEEE International Conference on
Computer Vision (ICCV) Workshop on
Statistical Deep Learning for Computer
Vision (SDL-CV), pp.778-782 (2019)9）A. Comas, T.K. Marks, H. Mansour, S. Lohit,
Y. Ma and X. Liu: "TURNIP: Time-series UNET with Recurrence for NIR Imaging
PPG", IEEE International Conference on
Image Processing (ICIP) (2021)
10）B. Ramachandra and M.J. Jones: "Street
Scene: A new dataset and evaluation
protocol for video anomaly detection", IEEE
Winter Conference on Applications ofComputer Vision (WACV), pp.2569-2578(2020)
11）Ministry of Foreign Affairs of Japan:"Ministerial Statement on Trade andDigital Economy" (2019)（69） 488