篠村・藤原・平井・大櫃・泉：ジェスチャによるカーナビ操作システムの検討

資料

ジェスチャによるカーナビ操作システムの検討
篠村祐司＊・藤原
1．目

直樹＊・平井克尚＊・大櫃秀治＊・泉賢二＊

的

現在多くの自動車には車載機器としてカーナビゲーション装置（以下，カーナビ）が搭載されており，経路案内や音楽機能などの利便性から一般的に普及している．一方，運転時のカーナビ操作やカーナビ画面の脇見が関連した事故1）が発生しており，運転時のカーナビ操作の課題解決が求められている．
一般的なカーナビの操作方法として，タッチパネルやステアリングスイッチなどがある．タッチパネルの場合，操作時に直接画面を見て画面に触る必要があるため，脇見時間が発生してしまう．また，カーナビに表示されるコンテンツはカテゴリ毎に階層構造になっていることが多いた
め，操作の複雑さが長時間操作につながる．ステアリング
スイッチの場合，簡易な操作であれば少ないスイッチで済むが，多機能にするほどスイッチ数が増えてしまい，その結果目視でのスイッチ確認操作が必要となる．その他の操図1

試作システム作方法としては，カーナビをジェスチャで操作する製品としてパイオニア株式会社製のカーナビ2）が挙げられる．こムの構成を図1に示す．試作システムは，カーナビコンテの製品では，カーナビ画面下部の赤外線センサ部分に5～ンツを表示するカーナビモニタ，距離画像センサ，ステア15cm程度手を近づけ，手を左右どちらかに振ることでカーリングのスイッチで構成されており，それぞれPCに接続ナビコンテンツを操作する．タッチパネルやスイッチ等とされている．システムの操作方法としては，距離画像セン異なり非接触での直感的な操作が出来る一方，「手を近づ

サの前に手をかざし，ステアリングスイッチを押しながらける」，「右（または左）へ手を払う」のジェスチャのみ対特定のジェスチャを行うことで，ジェスチャ操作結果に応じ応しており，ジェスチャに割り当てられるカーナビ機能数たカーナビコンテンツの表示切り替えの操作が可能となる．

は限られる．

システム内部処理としては，距離画像センサから取得しそこで本研究では，ジェスチャ入力による非接触操作技た距離画像に対して画像処理およびジェスチャパターン判術によって多くのカーナビ機能を簡便に操作できることを定を行う「手情報算出」，ステアリングスイッチがONの目的としたカーナビ操作システムの検討を行ったので，そ状態の場合ジェスチャに応じた操作を受け付ける「ジェスの結果について報告する．

チャ操作判定」，ジェスチャ操作結果に応じた「カーナビ2．方コンテンツ操作」が行われる（図2）．PC上では画像処理

法

及びスイッチ入力を受け付けるプログラムとカーナビコン

2.1 試作システム構成

テンツ制御プログラムが稼働している．詳細については

本研究では，距離画像センサを用いたジェスチャ認識技後述する．なお，本研究における試作開発は県有特許第術と，ステアリングに搭載したスイッチとを組み合わせた5750687号3）を基に行った．

カーナビ操作システムを考案し試作を行った．試作システ

2.2＊

ヒューマンインターフェイス技術開発プロジェクトチー
ム（現 情報・ヒューマンアメニティ科）

距離画像

本研究では，センサで撮像した人の手の動きをカーナビの操作インターフェースとして利用する．カーナビの場合，利用時間帯（日中・夜間）や天候による外光変化が大きい― 35 ―

島根県産業技術センター研究報告

図2図4システム内部処理手順

第55号 （2019）

手情報算出手順［（a）距離画像（b）一定距離部分取得（c）輪郭線抽出（d）指先及び重心位置算出］

像に対してセンサから一定の距離近接している画素のみ抽出する（図4（b））．画素毎に距離データ（mm単位）を保持しているため，閾値処理によって簡便に検出領域のみのデータを取り出すことが出来る．抽出した領域に対して輪図3

郭線抽出を行う（図4（c））．そして，輪郭線に対する凸形

RGB画像（左図）及び距離画像（右図）状検出により指先位置を算出する（図4（d））．なお，距ため，環境の影響を受けやすいRGB画像での画像処理は離画像センサの場合，物体の輪郭部分は距離データのノイ困難である．そこで，RGB画像ではなく他の画像センシズが多く，正しい距離データが取得できないため，検出しング方法として距離画像を採用した．

た指先の内側付近を指先位置とし，指までの距離を算出す

距離画像とは撮像物体とセンサまでの距離が画素単位で保持される画像形式で，距離画像を生成するために，2点る．併せて，手の領域の画素から重心位置（図4（d）の手中心円部分）を算出している．

間のカメラの視差から距離を算出するステレオビジョン方

指先の位置及び重心位置を算出することで，「指の本数」式や，照射光と反射光の位相差を距離に変換し画像としてだけでなく，「掌の回転による指先位置の変化」，「指先又取得するToF（Time of Flight）方式等様々な測距方式がは重心位置の変化」を利用したジェスチャパターンによる

4）

提案されている ．距離画像は一般的なwebカメラのRGB操作が可能となる．また，距離画像の特徴である，センサ画像と違い，距離画像センサからの距離情報や物体の大きからの距離を利用することが出来るため，押し込み等の３さが分かるため，実空間での形状認識等の画像処理に適し次元的な動きをジェスチャパターンとして利用することもている．ToF方式については，外光影響を受けにくいセン可能となる．

サも近年登場しており，今後主流になると考えられる．

2.4

スイッチによるジェスチャ操作判定

今回車内に設置する点を考慮し，市販されている比図1のように，距離画像センサをカーナビモニタ付近に較的安価で小型のToF方式の距離画像センサ（Creative設置した状態で画像処理を行うと，助手席に手を伸ばす動Technology社製Creative Senz3D）を使用した．図3に本作や他の車載機器操作など，操作者の意図しない動きをセンサで撮影したRGB画像及び距離画像を示す．本セン

ジェスチャ入力操作と誤判定し，カーナビを誤動作させる

サではRGB画像及び距離画像の2種類の画像を取得可能だ可能性がある．そこで操作者のジェスチャ入力の誤判定をが，本システムでは距離画像を画像処理対象データとして低減させるために，ステアリングにジェスチャ操作開始用利用し，RGB画像は使用しなかった．のスイッチを設けた（図1）．操作者はジェスチャ操作を開2.3始するタイミングでスイッチを押下する．そしてスイッチ手情報算出

カーナビ画面上のコンテンツをジェスチャで操作するたを押下し続けている間のみジェスチャ入力が操作判定に反め，距離画像に対する画像処理によって手の情報（指先位映される．ジェスチャ認識開始のタイミングがスイッチ置，重心位置）の算出を行う．と連動することで，操作者の意図しない動きによるジェスまず，距離画像センサによって，横320ピクセル，縦240チャ操作の誤作動が防止できるとともに，ジェスチャ認識ピクセルの距離画像を取得する（図4（a））．次に，距離画結果を判定する時間の短縮に繋がり，その結果，操作時間― 36 ―

篠村・藤原・平井・大櫃・泉：ジェスチャによるカーナビ操作システムの検討
表1

図5

カーナビコンテンツ（ミュージック）とジェスチャ操作手順

検証環境（PC）

図6
表2

検証環境の主な仕様

PC 上の Linux 仮想環境（Ubuntu）

R-Car Starter Kit Pro M3

Armadillo-840

CPUIntel Core i7-3630QM（ホスト PC）

ARM Cortex-A57

ARM Cortex-A9

コア数

1（仮想環境割り当て）21

コアクロック

2.4GHz（ホスト PC）

1.7GHz800MHz

RAM4GB（仮想環境割り当て）

2GB

1GB

また，スイッチを一定時間内に連続して押すことでカテゴの短縮を実現することが可能となる．
2.5

検証環境（組み込み機器）

カーナビコンテンツの構成と操作リ切り替えを行う機能を実装した．これにより，例えばラジ試作システムにおけるカーナビコンテンツ構成について説明する．今回の試作システムでは，実際のカーナビではオと地図のカテゴリを容易に切り替えることが可能となる．
2.6

システム試作による検証環境の設定なく，PC上で動作する疑似的なカーナビコンテンツを作

本研究では試作当初，全てのプログラムをWindows上で成した．コンテンツカテゴリとして，「ミュージック」，「動動作する仕様としていたが，車載機器でのLinuxシェアが高画」，「ラジオ」，「地図」，「電話応答」に分かれている．表

まっている点，最終的な目標が車載向け組み込み機器であ1にミュージックでのジェスチャ操作手順を示す．各操作る点，実際の環境では画像処理部分とカーナビ部分はハーに対して簡易で直感的なジェスチャが割り当てられておドウェアが別構成になる点から，「①Linux系OSでの動作」，り，ステアリングのスイッチと連動してジェスチャ操作に「②組み込み機器での動作」の二点を重要視し，PC版，およるコンテンツ機能切り替えが可能となる．また，各カテよび2機種の組み込み機器版の計3種類の試作を行った．

ゴリで異なるジェスチャを割り当てるとジェスチャパターPC版の構成は図5となる．センサ及びスイッチを，PCとンを覚えきれなくなってしまう可能性があるため，類似の接続し，PC上のLinux仮想環境（Ubuntu）で画像処理及び機能操作については同じジェスチャを割り当てている．例

スイッチの入力操作プログラムを管理する．同PCのホスト

えば，ミュージックの曲送りとラジオの局送りは同じジェOS（Windows）上でカーナビコンテンツを動作させ，入力スチャとしている．これにより，少ないジェスチャでの操操作プログラムからの画像処理結果とスイッチ操作結果を作が可能となる．

TCP/IP通信にて受信し，モニタにコンテンツを表示する．

― 37 ―

島根県産業技術センター研究報告
組み込み機器版については，前述のLinux仮想環境部分を組み込み機器に置き換え，Linux組み込み機器（画像処理及びスイッチ）とPC（カーナビコンテンツ）で機能を分離して構築している（図6）．組み込み機器は，R-Car

第55号 （2019）3）島根県．カーナビ用ジェスチャ入力装置．特許5750687号．
2015-7-22．
4）ディジタル画像処理編集委員会．ディジタル画像処理[改訂新版]．
画像情報教育振興協会．2015，p.405-406．

Starter Kit Pro M3（ルネサスエレクトロニクス株式会社），Armadillo-840（株式会社アットマークテクノ）の2機種を使用した．仮想環境及び組み込み機器の主な仕様は表2のとおりである．

3．結果

今回検証実験として，①PC，②R-Car，③Armadilloにおける，カーナビコンテンツ側でのジェスチャ操作結果データ受信状況をジェスチャポーズ毎のFPS（frame persecond）にて比較検証した．実験条件としては，距離画像センサからは，約60FPSでの画像取得を行っており，画像処理や通信にかかる負荷を含めた遅延が受信状況に反映される．測定条件としてstone（グー形状），1～5本（指の本数）の6種類のポーズについて，各ポーズ1000フレーム

図7

各距離における手検出例の平均FPSを算出した．また，手の位置としてセンサから20cm，30cm，40cmの位置にて測定した．図7に各距離における手検出例を示す．
図8，9，10に各検証環境におけるFPS測定結果を示す．
測定結果から今回利用した指位置算出の画像処理手法が指の本数が増えること（凸部分が増えること）や輪郭線が長くなること（手の位置がセンサに近いこと）で処理時間がかかり，FPSが下がる傾向があることが分かった．R-Carに つ い て はPCと 同 程 度 のFPSを 出 力 し て お り，R-Carに比べてCPU処理性能が低いArmadilloの場合でも最低

図8

FPS測定結果（PC）

図9

FPS測定結果（R-Car）

17.7FPS程度のフレーム速度を取得している．
スイッチを押下してから数フレーム同じジェスチャをすることでジェスチャ操作入力が開始されたと判断する本試作システムでは，例えば17FPS（1フレーム当たり約58.8msec）の状況下で5フレームをジェスチャ操作判定の閾値にした場合，約294msecでジェスチャ操作の判断ができるため，組み込み機器の利用が十分可能であると考えられる．
本研究では，ジェスチャにおけるカーナビコンテンツ操作システムについて試作及び検証を行い，システム動作として十分な処理速度であることが確認された．今後の課題としては，ジェスチャパターン認識精度の検証が必要と考えられる．また，現在車載機器はCAN（Controller Area
Network）での機器接続が主流であるため，実車へのテストにはCANによる検証が必要と考えられる．

文献1）田久保宣晃，木平真，小島幸夫．カーナビゲーション装置の関連した事故の分析．人間工学．2001，37，Supplement，p.466-467．
2）パイオニア株式会社．ユーザーズガイド（WEB版）AVCI-MRZ099W/MRZ099/MRZ077/MRZ066．http://pioneer.jp/support/
manual/navi/13raku/?section=8．

― 38 ―

図10

FPS測定結果（Armadillo）