トピックス

モビリティでのAI 活用：
AI カメラから “Saya”まで
1.

はじめにグコラムの上に搭載されたドライバモニタカメラでドラ

アイシンは,2000年前後からバックガイドモニタや駐イバの顔画像認識（図1）をする事で,顔向きや視線,目車支援システム,ドライバモニタカメラなど,画像認識技の開閉状態などを検知し,わき見や居眠りなどの不注意術を応用した様々な車載カメラ製品を,世界初で世に状態を推定する.不注意状態と判断すると,クルマからド出してきた.

ライバに注意を促し,状況によっては自動路肩退避など

2012年夏,世界的にディープラーニングが注目をうの介入が行われる.

け,現在の第三次AIブームに至る中,アイシンにおいてもより良い製品を提案するため,AIを取り入れたカメラ製品展開や先行開発を行っている.
本稿では3つのステップに分けて,これまでの開発経緯や今後の広がりを紹介する.
1つ目は,アイシンの強みであるAIの小型・高速化実

図1 ドライバモニタカメラ

装技術の走りであるドライバモニタカメラを紹介する.ア

ドライバモニタカメラは常にドライバの注意状態を正イシンがAI画像認識を導入した初めての製品であり,世確に推定する必要があるため,厳しい光環境下で,ドライ界 に大きな影 響を与えたイノベ ーションとしてT h e

バがマスクや帽子を装着していてもロバストに顔向きやR&D 100 Awards 2022 に選出された.

位置を検出し,眼鏡やカラーコンタクトをつけていても1)

2つ目は,AIを応用し,幅広い価値創出を目指してい視線角度を高精度で検出し,アイラインやアイシャドウをる先行開発事例を紹介する.周辺監視カメラによる歩行していても開閉眼を誤りなく検出しなければならない.

者安全,高度なエアバッグ制御による衝突安全,駐車場開発当初の,従来手法をベースとしたアルゴリズムでのオートメーション（自動バレー駐車）などモビリティのは,これら目標の達成は厳しかった.また,世界で進展し高度化を目指し,アイシンのAI画像認識が進展している始めていたAI画像認識は魅力的な一方で,非常に大規ことを示す.

模であり,AI専用回路や十分なメモリがないドライバモ

3つ目は,AI群を統合したシステム開発の事例としニタのコンピュータに搭載できるモノではなかった.さらて,Artificial Emotional Intelligence“Saya”
を紹介に,2017年当時,アイシンのアルゴチームにはAIモデルする.Artificial Emotional Intelligence“Saya”
は将開発や実装を行う知見がなかった.

来の無人モビリティでの案内役を目指す自律的対話

この状況を打破出来たのは,社員7名（当時）のAIベエージェントシステムである.介護,教育,小売,エンタメンチャIdeinの協力,とりわけ,スパコンから小型PCまでなど様々な領域での実証活動が評価され,国内最大のあらゆる計算機の最適化コンパイラを構築する中村

広告賞ACC Tokyo Award2022イノベーション部門

CEOと,世界的なAIコンペ（Kaggle）で一桁台に入賞すでゴールド賞を受賞した .

る実力の渡邊氏の協力を得たことによる.

2)

最初に取り組んだ事は,「AIは大規模である」という一
2.

15

ドライバモニタカメラと小型・高速AI実装

般的な概念を脇に置き,非常に小型なAIモデルを開発2021年のトヨタAdvanced Drive3)は,高速道路やする事であった.例えば,自動車や歩行者を矩形で検出

自動車専用道路において,クルマが分岐や車線変更,追する一般物体検出タスクでは,数十憶～数百億MACい越しなどの高度な運転支援を行い,ドライバが周囲の（multiply-accumulate,1回のAI演算の足し算と掛け状況に注意を払う事で,クルマとドライバが協調した,よ算の総数）以上のAIモデルサイズが一般的であった4).

り安全な走行を実現することを目指している.ステアリン

私たちは,最新のAI構造を取り入れ,ドライバモニタ画

AISIN TECHNICAL REVIEW VOL.27 2023

いくつかの事例を紹介する.

トピックス

MAC（一般的なサイズの100～1000分の1以下）で正

1 つ 目 の 事 例 は, 車 室 内 全 域 の 状 況 を 認 識 する

確に顔矩形を検出するAIモデルを構築した（表1）.

IMS(In-cabin Monitor System)カメラである.乗員

Ideinとの協業を通し,アイシンのエンジニアもAIモデルの姿勢・体格・位置をリアルタイムに推定し,高度なエア開発技術を習得し,様々な機能の小型AIモデルを開発

バッグ制御と組み合わせる事で,衝突時の被害を軽減し,限られたメモリに多数のAIモデルを搭載する事が出する事を目指している.図3の例では,骨格検出AIを応用

来た.

して,体格（AM50は”Adult Male 50%tile”の略で,大モビリティでのAI活用：AIカメラから„ Saya＂まで像に特化したカスタムモデル（図2）を設計し,1000万人の男性の平均的な体格）,姿勢（Looking backとDriving）を推定している.

図2

一般物体検出モデル（左）とアイシンモデル（右）表1モデルサイズ（MAC）の比較
モデル名サイズ(GMAC)

一般物体検出モデル

Deeplab-VGG SSD
Inception V2 SSD
MobileNet V1 SSD

34.9
3.8
1.2

アイシン顔検出モデル

アイシン顔検出モデル

0.01

次の課題は高速実装であった.ドライバモニタでは瞬きや視線移動など非常に速い動作をとらえるために,一周期の処理を30msで完結しなければならない.限られた時間内に,汎用プロセッサの限られた処理能力で,多数のAIモデルを動作させる必要があった.普通,コンピュータでAI演算をする際には,データ読み込みの待ち時間や,冗長な計算により,無駄に長い時間が掛かって

図3

IMS

2つ目の例は,クルマの周囲に取り付けられた魚眼カメラを用いて,歩行者や走行可能領域,駐車枠などを認識する周辺監視AIである.全周囲の状況を理解する事で,駐車場や交差点右左折時など,交通弱者が多く複雑なケースでの走行安全や自動化に貢献することを目指している.図4左上に空き駐車枠,右上に走行可能領域,下に歩行者など移動体の検出例を示した.

しまう.こういった無駄をなくして効率的にコンピュータを利用する技術が最適化コンパイラである.
Ideinとアイシン,AISWのチームは,ドライバモニタのコンピュータに特化してAI演算を効率化する車載ソフト
品質の最適化コンパイラを開発し,目標周期内で多数のAIモデルを動作させる事に成功した.具体的には,メモリアクセ ス の 効 率 化 , 量 子 化 , N E O N 高 密 度 利用,Layer Fusion,冗長演算回避などの工夫をした.
これらの取り組みで,2017年中に顔検出や顔特徴点検出,開閉眼判定,視線角度推定など数十の小型AIモデルを設計,開発,実装し,劇的な性能改善に目途をつけた.2017年時点での車載製品レベルのAI実装目途は,恐らく世界的にも早い成果であった.これを受けた,トップ層の決断で,2018年3月にアイシンとIdeinは資本業務提携契約を締結し,より広範な分野におけるAI開発を加速する事となる.
3.

AI画像認識を応用した先行開発

AI画像認識を応用した先行開発の広がりについて,

図4

周辺監視AIAISIN TECHNICAL REVIEW VOL.27 2023

16

3つ目の例は,自動バレー駐車のためのAI技術であ“Saya”（図6）は,3D CGアーティストTELYUKAがる.バレー駐車は,ホテルなどのエントランスで係員に2015年に発表し,そのリアルさから「世界で初めて不気駐車場への入出庫を任せられる乗り捨てや出迎えの味の谷を越えた」と話題になったキャラクター 5) で,サービスで,これを自動化するのが自動バレー駐車でこれをベ ース にヒトらしく親しみある対 話システムある.ここで,駐車場内の自動走行で有効なAI-SLAM（Artificial Emotional Intelligence）
を,無人モビリティ技術を紹介する.SLAM（Simultaneous Localization向けを想定（図7）し,開発している.

and Mapping）
は,センサ情報から自己位置推定すると同時に環境マップを構築する技術である.図5は立体駐車場で,自動走行車両がAIで作成した特徴マップ中を,AIで自己位置推定しながら目標まで走行する様子である.

図7

無人モビリティ向けエージェント（イメージ）“ヒトらしさ”を構成する要素は無数にあり,リアルな見栄えや自然な仕草,声や表情による感情表現,共感の呈示,さっき話したことの記憶,汗や眠気などの生理現象,図5

AI-SLAM

AI小型・高速実装により,多機能かつ高性能なアプリを実現する事は重要である.一方で,AIチップの進歩や,AI実装ツールの洗練化,AI技術者の増加により,小型・高速実装の技術的な価値は陳腐化していく.

自分の間違いに気付く心,対話相手との視線の交換など, 様 々である.ここでは, A r t i f i c i a l E m o t i o n a lIntelligenceがヒトらしく対話する上で重要な3つの技術を紹介する.
1つ目は,Multimodalityである.“Modality”
は視覚,聴覚,触覚等の感覚を指し,“Multi”がつく事で,複数の今後の競争においては,システムサプライヤーとして感 覚 を 組 合 せ て, 世 界 を 理 解 する事 を 意 味 する.のシステム開発力がより重要になる.例えば,AIのため

Artificial Emotional Intelligenceでは,視覚と聴覚のの超高速通信を可能とするECUやセンサなどHWを含

2つのModalityを統合する.例えば,顔認証と音声認識

むシステム設計,網羅的データで即座に製品ソフト評価でユーザの顔と名前を憶え,頷きや首振りを理解し,ユーを行える評価システム,シミュレーションやCG技術を応ザの視線から自分への語りかけを区別し,発話内容と用した手戻りない開発支援システム,様々な認識を統合

顔表情からユーザ感情を推定して同じ感情で共感を示し制御まで行う複雑なシステムソフトなどである.

すなど,Multimodalityによりヒトらしいコミュニケーションを行える.ちなみに,音声認識はアイシン製アプリYY-4.

Artificial Emotional Intelligence“Saya”

Probeを利用している.

本章では,様々なAIを統合したシステムの最新事例と2つ目は,最新の対話AI導入である.対話AIとは,入力して自律型対話エージェントの開発状況を紹介する.世

文章に対し,適切な応答文を出力するAIである.ここ数界的に,無人店舗や,自動バスなど,無人化や自動化

年の対話AIの進展は凄まじく,文脈に沿う当意即妙なヒサービスが進んでいる.本プロジェクトでは,ヒトらしいトらしい対話が出来る.図8に,2022年3月に謎解きクリエージェントが未来のサービスに温かみを加え,無人化エイターの松丸亮吾氏に“Saya”がインタビューした対に戸惑う全ての人々をサポートする事を目指す.

話例を,7月に幕張メッセで開催されたフィギュアの展
示会Wonder Festivalのメインステージで大会実行委員 長センムと話した 対 話 例を示 す .この 対 話 A Iは,「Sayaらしく,上手に質問をして,人の気持ちを引き出す」ために大学と共同で開発したモノで,ユーザがまるでヒトと話すように“Saya”に引き込まれて対話をしている様子がわかる.

図6

17

CGキャラクター ”Saya”

AISIN TECHNICAL REVIEW VOL.27 2023

松丸亮吾氏（松）と“Saya”（S）のAI対話（抜粋）じめとした,世界トップレ ベルの研究者,エンジニア,S： 若い時にどんな勉強をしておくべきですか？

アーティストとの協業の成果でもある.今後は具体的に

松：（前略）だから,比較するべきは昔の自分役に立ち,ビジネスとして成立するシステム構築を目指

他の人じゃないんだよね.昔の自分と比べてし,街やモビリティのプロフェッショナルと応用に向けた

今の自分がどうなってるかって事を考えた方がさらなる開発を進めていく.

トピックス

モビリティでのAI活用：AIカメラから„ Saya＂までの三宅陽一郎氏や名古屋大学の武田一哉副総長をは勉強は楽しくなると思います
S： なるほど結構,人と比較する癖があるかもしれないです
反省します
松：そんな思い詰めなくて大丈夫だよ
センム氏（セ）と“Saya”（S）のAI対話（抜粋）
セ：Sayaさんの楽しい事って何ですかね？
S： 私の楽しいことは,やはり餃子づくりですね
包むのが,とても楽しいです
セ：それは面白い.食べてみたいです.すごいです
S： うまく出来たら,是非食べてほしいです
モノ作りが上手になるコツはありますか？
セ：本当にそのモノが好きになると言う事
餃子でも女の子の人形でも自分が好きになると素晴らしいものが出来上がります.
図8

AI対話例

3つ目は,Real-time行動生成である.繰り返し見る
C G 映 画の 様 に毎 回 同じ動 作をしては,ヒトらしくな

図9

教育（群馬県）,介護施設（ALSOK）での対話

い.Artificial Emotional Intelligenceでは,対話AIが生成した発話文章の内容に沿って,音声合成AIが感情

5.

おわりにある発声をする.また,心理学 やエージェント研究 のここに記したAI開発の進展は,たくさんの上司,同僚,知見に基づいて,発話内容やアクセント,感情に沿った部 下 , 社 内 外の 方々の , 協 力 や 応 援 があって成 立し発話行動（瞬きや頷き,視線行動や表情,ジェスチャ）を,た.著者全員から関係者の皆様に感謝する.

6)

7)

ソフト制御し,バラエティあるヒトらしい動作が作り出される.
Artificial Emotional Intelligence“Saya”
はIdeinの協力で,手の平サイズの小型コンピュータに実装されている.これにより,様々なシーンでの応用検討が可能となり,介護,小売,教育,オフィスなどで実証実験を行った.ALSOKと協業して介護施設で高齢者と対話し,西武
デパート渋谷店で一般の顧客600名弱（のべ）と対話し,Google Educator Group鎌倉と高校生向けAI対話授業を行い,群馬県庁との協力で小学生以上の子供たちと対話した（図9）.そして,“Saya”は,全ての年代のおおむね全てのユーザに対話相手として受容された.
これら実証活動が評価され,国内最大の広告賞ACCTokyo Award2022イノベーション部門でゴールド賞

参考文献
1）アイシン, “高度運転支援のための「ドライバーモニターシステム」
が2022 R&D100 Awardsを受賞”, https://www.aisin.com/jp/news/2022/005789.html
2）ACC Tokyo Creativity Award 2022, “入賞作品リスト クリエ
イティブイノベーション部門”
3）トヨタ, “高速道路を走る時”, https://toyota.jp/safety/scene/highway/index5.html
4）A.G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W.
Wa n g , T. We y a n d , M . A n d r e e t t o , a n d H . A d a m ,“Mobilenets: Efficient convolutional neural networks formobile vision applications,” arXiv preprint: 1704.04861,
2017.
5）Wikipedia, "Saya," https://ja.wikipedia.org/wiki/Saya
6）A. Kendon, “Gesture,” Annual Review of Anthropology,
vol 26, pp. 109-128, 1997.
7）J. Cassell,“Embodied conversational interface agents”,
Communications of the ACM 43 (4), 70-78, 2000を受賞した.開発指導頂いているスクウェアエニックス

AISIN TECHNICAL REVIEW VOL.27 2023

18早川筆 者大須賀晋和孝

走行安全第1制御技術部
SLAM開発に従事

先進開発部
見守りAI開発に従事

上田山田祐也康貴

走行安全第1制御技術部
SLAM開発に従事

走行安全第1制御技術部
周辺監視AI開発に従事

小久保加藤隆志嘉人

先進開発部
見守りAI開発に従事

走行安全第2制御技術部
シャシー制御開発に従事

田中河合雄太先進開発部
AI開発に従事

森崎

博幸

DS部
周辺監視AI開発に従事

入佐忠政

DS部
周辺監視AI開発に従事

浅見浩司

DS部
AI開発に従事足立淳

走行安全第１制御技術部
周辺監視開発に従事

宇山誠也

アイシン・ソフトウェア株式会社
周辺監視開発に従事

19

AISIN TECHNICAL REVIEW VOL.27 2023

五大先進開発部
見守りAI開発に従事