これからの時代のタッチレスインターフェイスについて2020 年 10 月
株式会社ネクステッジテクノロジー
代表取締役 坂本 堪亮

はじめに
タッチレスインターフェイスとは、非接触で離れたままコンピューターを操作するためのインターフェイスである。弊社では、独自の 3D カメラを使った aeroTAP (エアロタップ)
タッチレスインターフェイス、aeroTAP Evolution として製品化している。
本稿では、このタッチレスインターフェイスに関する製品コンセプト、優位性などについて説明すると共に、タッチレスインターフェイスの課題、コロナ禍によるタッチレスのニーズの変化、今後の展開について説明する。
aeroTAP に関する詳細は、弊社プロジェクトサイト https://www.aeroTAP.com/lp を参照
して頂きたい。

開発背景についてカメラからの画像データを使ってコンピューターを操作できないかと開発を始めたのは、2007 年当時、Web カメラが比較的安価で入手できるようになり、また CPU 性能も画像処理には十分なコンピューターが普及してきた、また同時に画像処理アルゴリズムが系統化されてきた時期であった。カメラを介して、キーボードやマウスを使わないでコンピューターを操作するための技術である。まず、つくば市内の産業技術総合研究所(AIST) の当時

大津フェローの持つ CHLAC(*1)を使わせて頂こうと助言を頂き、半年ほど共同研究を進めたが、結果的に計算量（CPU への負荷）を抑えることができないと判断した。残念ながらこの技術を使っての製品化は断念したが、フェローをはじめチームの皆様から多くの役立つ助言を頂いたことを感謝している。そうした経験から自社にて、別の手法による手のひらトラッキング技術の開発を始めることになった。
*1 立体高次局所自己相関（CHLAC）特徴とグリッドコンピューティングを 併用した実時間動作認識”,電子情報通信学会,2006.

製品コンセプト
製品コンセプトは、当初から今も変わっていない。タッチレスインターフェイスは、コンピューターと人との「インターフェイス」であること。主役ではなく、あくまで「インターフェイス = 人とコンピューターの間にあるもの」でなくてはならない。具体的には、次のことを重要と考えている。
1. 機能するために CPU/メモリを消費しないこと
2. タッチレスによる利便性の向上
3. シンプル、直感的であること
例えば、タッチレスを使うのに CPU が 50%それに使われるようなことがあれば、本来の目的に支障をきたす結果になり、それはインターフェイスとしては使い物にはならないと考える。
開発開始から時間が経つにつれ、PrimeSense 社や Microsoft 社から Kinect など新しい 3Dセンサーでのスケルトン トラッキング技術を使った NUI(*2)の登場で、ジェスチャ インターフェイスが一般に知られることになった。弊社でも一時的にそれを使って aeroTAP を動かすように試したこともあったが、コンセプトで定義した 「CPU を消費しないこと」,「シンプルで直感的」、「利便性の向上」は満たすことができなかった。
*2 Natural User Interface の略で、本来人間にとって自然で直感的なインターフェイスを意味しているが、実際は体全体を使って操作するスケルトントラッキング インターフェイスであると考える。

2011 年頃には、自社の手のひらトラッキング エンジンはほぼ現在の手法になり、デジタルサイネージやエンターテイメント向けの、インタラクティブ デジタルコンテンツとして商品化、またエンドクライアント向けにアプリ開発を行うようになった。2016 年になって筑波大付属病院消化器外科との共同研究を開始することで(*3)、外科手術室での DICOM データや、3D データの操作、設置方法、操作感など技術的進化につながる多くのフィードバックを得ることができた。当時は、カメラは市販の Web カメラを使っていたため、性能を上げることに苦労していた。誤検出の低減や CPU 消費の低減などである。2017 年には、自社製ステレオビジョン方式の 3D センサーを組み合わせることで、これらの課題を解決でき、現在の製品となった。
*3 共同研究の成果は、Springer Today 2017 年 5 月 20 日に論文として発表されている。
Novel imaging using a touchless display for computer-assisted hepato-biliary surgery 1512–1518(2017)

製品概要
タッチレスインターフェイス aeroTAP (エアロタップ)
Evolution は、自社開発の aeroTAP 3D USB カメラを接続して実行することで、低 CPU 消費かつ、誤検出の少ない手のひらトラッキングを実現している。
この手のひらトラッキング エンジンは、手のひらと握った手の位置 (カメラからの距離を含む) を検出、追跡することができ、手袋、色に依存することなく手のひらの形状認識が可能だ。
カメラに手のひらを見せるだけで、マウスのようにポインティングし、片手の動作だけで、Windows OS と共に既存

図 1 aeroTAP 3D USB カメラ
ステレオビジョン方式の 3D カメラのアプリケーションを操作できることが特徴である。
HTML、Unity、Flash などあらゆる種類のコンテンツやアプリケーションのタッチレス操作が可能である。もはや、タッチレス コンテンツの開発に特別な SDK を使っての開発作業を必要としないのが特徴だ。
表 1. 主な仕様
項目
操作距離説明40cm から 300cm(近いモード: 40cm から 150cm、遠いモード: 60cm から 300cm )距離フィルター有効範囲 200cm

方式

手のひらトラッキング

利用環境

屋内、明るさ 60 lux 以上 (100Lux 以上を推奨)
逆光を避けること

エミュレーション機能

キーボード、マウス、タッチイベント

aeroTAP 3D USB カメラ

USB2.0/3.0 （*2.0 を推奨）。

接続インターフェイス

バスパワーのみで駆動

クリック種類

クリックなし、停止してクリック、握ってクリック、押してクリック、ドラッグ ア
ンド ドロップ

マルチタッチ/ユーザー

シングルユーザーによる片手・両手操作

マルチモニター対応、モニター間の移動が可能

ＯＳプラットフォーム

Windows 7, Windows10 32/64 ビット、エンベデッド OS 対応*タッチイベントは、Windows 10 のみ

CPUIntel ATOM または、それ以上 ( Intel Core i3 以上を推奨)

弊社では、aeroTAP のことをジェスチャではなくタッチレスインターフェイスと呼んでいる。「タッチレスインターフェイス」も広義の「ジェスチャ インターフェイス」ではあるが、あくまで「シンプル」にこだわり、身振り手振りを覚える必要なく、手のひらを直感的に移動してポインティング、選択できることからタッチレスインターフェイスであると定義している。
時には、ユーザーから指で１、２，３本指を示して、それぞれの形を認識してアクションを行えないかといった質問がある。これは、１本が何で、2 本が何でと暗号のように覚える必要が出てくるため、シンプルのようであるが直感的ではない。簡単な操作でアクションを行うのであれば、画面上に、１，２，３のボタンを表示して、手のひらで選ぶ (手をその上に重ねる) 動作を行えば、同様のシステムを作ることできる。形状認識技術であり、トラッキング機能も有することでタッチレス インターフェイスと呼んでいる。
手のひらでのポインティングと選択動作だけですべてのアプリケーションを動かそうという企図である。
インターフェイス アシスタント機能
手のひらだけのシンプルな操作ですべてのアプリケーションを操作可能にするために、実装したのがインターフェイス アシスタント機能である。
aeroTAP は、現在アクティブなアプリおよびウィンドウの状態、画面のどこがクリック可能かなどの状態を常に検知している。現在の状態に合わせて、予め設定したインターフェイス アシスタント機能を逐一状況に合わせて提供することができる。例えば、MicrosoftPower Point を起動すると、プレゼンテーションを開始するための仮想ボタン（後述）を表示し、それを選択することでプレゼンテーションを開始すれば、手のひらによるレーザーポイントや仮想ボタンによるページ送り、戻りが行えるアシスタント機能がオペレータに提供される。
ポインティングは、現在の手のひらの位置と画面上に表示される仮想カーソル（aeroTAP

が画面上に表示するカーソル位置を表す画像）の位置が直感的に把握でき、画面上を自由にポイントできる。大きなアクションは必要なく、片手の可動範囲で画面全体をカバーする。
マウスを使ってポインターを移動するよりも、手のひらで直感的にポイントする方が素早く選択でき、また、マウスホイールを使って画像を選択するよりも、片手を上または下に移動するだけで、画像の切り替え方がより速く行えるのは、タッチレスインターフェイスの大きな利点である。
仮想ボタン
aeroTAP では、インターフェイス アシスタント機能として仮想ボタン機能が大きな役割を持っている。手のひらの移動を停止するとその周りに予め機能を割り当てたボタンが表示され、それを操作することでアプリケーションを操作できる。Google Earth の画面左側で手のひらを停止すると、上下矢印のようなバーボタンが表示され、その上で手を上下することで、ズームイン/アウトを実行することができる。
仮想ボタン機能を使って、任意のアプリケーションに任意の機能を割り当てたボタンを任意の位置に表示し、実行することで 3D コンテンツも片手だけで操作が可能となる。

図 2 Google Chrome ブラウザーの、Google Earth ページ
左側に表示されているのがズームイン/アウト機能を持った仮想スクロールバー
ホームボタンは、画面をフルスクリーン切り替えする機能
左右の矢印ボタンは、画面を左右にフリップする機能

利用用途
医療向け
タッチレス操作の利用用途としてニーズに合った例が、医療現場での利用である。外科手術室にあるコンピューターの操作をタッチレス化した実用例である。近年の外科手術は、デジタル化された患者の情報、事前手術プランがあり、それらの情報を術中に確認する場合、術者自身がコンピューターを操作して医療情報を閲覧することが要求される。aeroTAP
では、手術室にあるコンピューターにカメラを接続するだけで、既存の DICOM ビューアや PACS などを術中に手袋をつけたまま、非接触で閲覧することを可能にした。
術前に作成した臓器 3D モデルを選択し、回転などの操作がタッチレスで行える。
ここでは、 aeroTAP の低 CPU 消費効果が役立っている。医療向けのシステムは、時にはCPU や GPU を多く利用するものがあるが、aeroTAP は非常に小さな CPU 負荷 (例えば、Intel Core i5 では、4%~8%程度)で実行できるため、メインとなる医療システムに影響なく稼働することができる。

図 3. 手術中での患者臓器 3D モデルを参照しているシーン
東京医科大 茨城医療センター 消化器外科
富士フィルム SYNAPS VINCENT のタッチレス操作

医療現場と同じく、工場/プラントなどのコンピューターの操作にもタッチレスインターフ
ェイスの利用で作業効率化が図れるとみている。例えば、工場の生産ラインにある製造工程の参照、生産数の確認などコンピューター操作が手袋をつけたまま可能になり、またマウスやキーボードの設置場所を排除することができる。もちろん既存のシステムの変更は必要なく、そのままタッチレス化が可能である。

デジタルサイネージ
デジタルサイネージの分野では、弊社では、手のひら検出を使ったエンドクライアント向けカスタムコンテンツの開発を行ってきた。大きなディスプレイでは、タッチパネルよりも離れたまま操作でき、画面を汚すこともないタッチレスインターフェイスの方が向いている。エンターテイメントやサイネージなど、集客を目的とした場合、タッチレス インターフェイスのような新しい技術を使った方が目を引く効果も上がる。弊社では、ゲームコンテンツ、広告コンテンツ、科学館向けコンテンツにタッチレス インターフェイスを組み込んでエンドクライアント向けのカスタムコンテンツの開発を多く提供してきた。

図 4. インタラクティブ デジタルコンテンツ
タッチレスインターフェイスによる大画面のタッチレス操作

プレゼンテーション
私自身が通常使っているが、プレゼンテーションは、Microsoft Power Point を aeroTAPで操作することで、ひときわ目新しく、先進性を印象付けるプレゼンテーションを行うことが可能だ。

コロナ禍によるニーズの変化とアフターコロナに向けて2020 年のコロナ禍を契機に、「非接触」の注目度が上がっている。今までタッチレスは、医療など特殊な用途以外ではその必然性が低かった。しかし、コロナ禍を経験した今、「非接触で操作できるのであれば、非接触を選択したい」というニーズが増えている。
アフターコロナに向けて新しく開発する製品にタッチレスを標準装備し、タッチパネルと併用することで、タッチとタッチレスのどちらも操作できるようになり、離れたままのタッチレス操作と近くでのタッチ操作の両方が可能で利便性が向上すると考えている。

タッチパネルコンテンツのタッチレス化
実際、弊社への問い合わせも、コロナ禍以来停止させているタッチパネルによるデジタルサイネージ、科学館や博物館のコンテンツ、企業受付案内システムなどの接触型のコンテンツをタッチレス化して再開したいという要望が多い。
弊社では、タッチパネル専用アプリのタッチレス化を可能にするためにタッチイベントへの対応を実装し、こうしたニーズにも対応した。

タッチレス インターフェイスの課題
徐々に採用が進んでいる aeroTAP タッチレス インターフェイスであるが、その課題は、「タッチレス操作」に関する社会的認知度が低い点である。初めて見た場合、多くがどのように操作するか説明しないとわからない。これはマウスやタッチパネルが登場した際にも同じことがあったわけだが、タッチパネルなどは一気に普及し、操作方法も広く認知された。
タッチレスには、まだその課題が残っており、また、タッチレスと言っても各社様々な方式、操作方法があったり、距離感が違ったりと多くの仕様があることも認知度が広がらない要因となっている。
展示会での弊社デモにおいて、スケルトントラッキングを使ったタッチレス操作を経験した人からは、比較的簡単に原理の違いを理解し、手のひらトラッキングの優位性とその性能について高い評価を頂いていることから、どんな方式であれ、タッチレス操作が社会に認知されれば他の方式も容易に認知されていくのではないかと想像する。
現状は、「手のひらで操作可能」、「離れたまま操作できます」などのガイダンス表示機能をaeroTAP に組み込むことで、タッチレス操作であることをユーザーに示している。可能であれば施工の際、床面に「ここに立って」などの距離感に関する指標も必要と考える。
こうした、ガイダンスやフィードバックを状況に合わせ画面上に表示する機能を aeroTAP
では提供している。
ジェスチャ インターフェイスは、もはや新しい技術ではない。だが成功したものもないという認識である。過去には、ゲームやエンターテイメント、PC に組込み、テレビに実装した製品もあったが、どれも成功したと言えず、この技術にネガディブな印象を植え付けてしまったように思える。
こうした印象を持つ方に是非とも弊社 aeroTAP を体験して頂きたく、先に説明したコンセプトに沿って開発されていること、他と何が違うかを体験して理解頂きたいと思う。

今後の展開について
コロナ禍を契機に、タッチレスインターフェイスには、「触らない」、「離れたまま操作」、「キーボードやマウスが不要」などの特徴と利点があることを改めて認識する機会にしたいと考える。
表 2 タッチレスインターフェイスの特徴と利点
特徴
触らない

利点
画面を汚すことがない、画面を傷つけることがない。
手を汚すことがない。汚れた手、濡れた手でも操作できる。
滅菌性を維持できる。

離れたまま操作オペレーターが移動しない、移動量が少ない。
座ったまま、寝たままなどアクセシビリティを提供できる。

キーボード、マウスが不要

省スペース化に貢献
スペースがない場所での利用可能

今後は、エンターテイメントやデジタルサイネージだけでなく、スマートホーム、スマートデバイス、スマートファニチャ、スマート自動ドア（パスコード入力付き）など、身近な分野でタッチレスインターフェイスが実装されるよう技術の進化により一層取り組んでいきた。
コロナ禍で再び注目度を上げることになったタッチレスインターフェイスが、社会に広く周知され、多くの人の利便性を高めていく技術になると確信している。

タッチレス化を検討される企業様と共にタッチレスを実装した様々な製品を開発して行くことが何より重要と考えています。本稿を機に、タッチレスインターフェイスに興味を持たれた企業様は、気軽にお声がけ頂ければ幸いです。

aeroTAP (エアロタップ) は、株式会社ネクステッジテクノロジーの登録商標です。



タッチレスインターフェイスは、株式会社ネクステッジテクノロジーの登録商標です。