情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B182021/3/10

色覚と身体動作を連動させる身体拡張デバイスの開発・評価
指田 真純１

秋田 純一１

概要：本研究では,我々が持つ感覚の拡張による新たなユーザインタフェースとして色覚認知の手法を提示する.視覚障がい者に対して感覚代行を行うデバイスは数多提案されているが,視聴覚変換が主となっておりその他の感覚器官を用いたデバイスの開発例は少ない.本研究では色の情報を指に与える触覚情報に変換するインタフェースを提案する.本稿では,そのアルゴリズムとそれを実装したデバイス及びその基礎的な評価について述べる.

1. はじめにまでの距離という単数の情報だけを伝えていたデバイスに対して,対象物までの距離情報を指の屈伸で感覚代行する

普段,我々は物体を目にするとき視覚情報として色を判ことに加えて対象物の明るさや温度情報などを振動刺激へ断することができる.しかし色を正確に判断することは視変換しユーザに提示する身体拡張デバイスの研究[4]も行覚以外では難しい.例えば複数人で赤という色をイメージわれている.

したとき,純粋な赤をイメージする人もいれば,より鮮やか

この研究では二種類または三種類の異なる対象物情報な赤をイメージする人もいたり,深紅に近いような赤をイを同時にかつ独立しておおよそ 70％の割合で正しく認識メージする人もいたりするためイメージだけでは赤というすることが示されており,複数モダリティの同時提示がユ色のひとつも正確に共有することができない.

ーザの外界情報の取得に効果的であることが判明している.

色は RGB 値や HSV 値といった三つの要素から成り立っていこの研究結果を用いて三種類の情報からなる色についてそる.色の三種類の要素が情報として示されたとき我々がそれぞれ独立に感覚刺激へと変換し,視覚代行を行う身体拡の色をイメージすることは難しいかもしれないが,一つの張デバイスの開発を行う.

色として正しく特定することは可能である.
本研究では色を目で見る視覚情報から判断するのではなく,色が持つ三種類の情報をそれぞれ独立に他の感覚刺激へと変換しユーザに情報提示を行う身体拡張デバイスの開発及び評価を行う.

2. 関連研究
視覚障がい者に対する感覚代行器として聴覚を対象に代

3. デバイスの試作
3.1 システム構成
身体拡張デバイスを開発するにあたって,残存感覚との併用が可能であること,推論なしで直感的に知覚できること,小型でユーザビリティが高いこと,の主な要件三つを満たすように開発を進める.本研究におけるシステム構成を図１で表す.残存感覚との併用可能かつ直感的な知覚のた行をしている視聴覚変換デバイスが数多く作成されていめに提示方法にはサーボモータ,振動モータ,ペルチェ素子

る.その中の一つに色を言葉で知らせてくれる携帯型色認の三種類を使用し色の三要素を触覚へと変換した.

識装置「カラートーク」[1]が提案されている. カラートークを含む視聴覚変換デバイスには,デバイスが発する人工音が生活に必要な自然音を遮るという問題点がある.また先天盲者は,色と言葉の対応関係の知識を持たないため,その言葉の意味をどう理解して利用するかという問題がある.
そこで,普段は意識的に感覚受容を行わない身体部位の働きを拡張したインタフェースが開発されてきた.デバイ
ス本体が腰をワイヤーで繋がっておりユーザと対象物の距離に応じてワイヤーを巻き取ることで腕の屈伸が生じ,物体までの距離を感覚代行するもの[2]や,ユーザと対象物の図 1

システム構成距離を指の屈伸によって感覚代行するデバイス[3]など研本研究では Arduino を使用する.色の情報の取得には究がおこなわれてきた.さらにこれまでがユーザと対象物

Arduino から I2C 通信できるカラーセンサを用いる.この１ 金沢大学,Kanazawa university© 2021 Information Processing Society of Japan250

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B182021/3/10

時カラーセンサから取得できる色の情報は RGB 値であるがRGB 値では色に対する直感的な理解が難しいと考え RGB 値を HSV 値に変換する.HSV 値は色相,彩度,明度からなるためより直感的理解をしやすい.
色相は色の種類であり 0～360 の情報であるため,一度光の波長の長さとの近似を行う.色の種類と光の波長において表１のように段階に分け近似を行った.この対応を行った後に,光の波長の長さを指の屈伸を連動させた.この関係を表２に表す.
表 1
色相(H)
波長(nm)

0(赤)780

色相と波長の連動

図 2 デバイス外形30(橙) 60(黄) 120(緑) 210(青) 240(藍) 360(紫)
620
585
570
490
440400表 2光の波長と指の角度の対応関係

短い←

光の波長→長い

曲がる

←

指→伸びる

また,彩度に対しては彩度の大きさと振動の大きさを比例の関係で連動するように振動モータをプログラムした.
明度については明度の高低に対して,ペルチェ素子を用いることで温冷で対応するようにプログラムを作成した.彩度と明度の感覚の変換の対応付けを表３に表す.
表 3

彩度と明度の対応関係

図 3

デバイスを装着した様子

4. 実験評価低い ←彩度(S)→ 高い

低い ←明度(V)→ 高い

12 月 13 日に行われたものづくり展示会の NT 加賀 2020

弱い ← 振動 → 強い冷たい ← 温度 → 温かいにおいてプロトタイプを持ち込み本デバイスの評価実験を行った.実際にイベント参加者に被験者となってもらい被ペルチェ素子に関しては素子と温度センサを熱伝導性の良験者に対しては私からどのようなデバイスになっているかい銅板で接続しながら用いている.これは周囲の現在気温を説明し体験してもらい感想や評価をもらった.以下が貰を測定し明度に対する目的温度を設定するためとペルチェった感想・評価をまとめたものになる.

素子が高温になりすぎることの防止のために用いる.

⚫

サーボが一番感じやすい⚫

ペルチェ素子がわかりにくい⚫

振動が強めでもいい

3.2 デバイス構成
デバイスは先行研究をベースモデルとして改良してプ⚫

コードが絡まるロトタイプを開発した.プロトタイプとなったデバイスの⚫

持ち手があると良い

外形と実際に装着した様子を図２,３で表す.デバイスは⚫

指に対する締め付けがもう少し欲しい

3DCAD ソフトの FUSION360 を用いて 3D モデルを作成⚫

訓練が多く必要に感じた

し,3D プリンタ Replicator 2X で試作を行った.

⚫

特定の色盲の人に特化した構造にできるデバイスは支えて持つ本体部と指の屈伸運動を行う可動システム構成について,デバイス構成について,その他意部の大きく二つから構成される.可動部に人差し指を入れ見をもらった.本研究ではすべての色を対象に身体刺激へ本体部を持つようにできている.可動部にいれた人差し指の変換を行うことを目的としていたため,特定の色盲に特に対して,指の腹にペルチェ素子が付いている銅板,指の側化した構造に関しては研究対象からはずれることになる面に振動モータが当たるようになっている.本体部にサーが,そのような構造にすることも可能だと考えられる.

ボモータがあり可動部と針金によって繋がっておりサーボが動くことで可動部も動くようにできている.

© 2021 Information Processing Society of Japan

検証で貰った感想・評価をもとに修正していく.主に直していくべき点をまとめる.

251情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1.

1B182021/3/10

システム構成についてペルチェ素子がわかりやすいプログラムに修正する.

2.

デバイス本体部の形状および可動部の指の固定方法を改善する.

以上をもとにプログラムの修正,デバイスの改良を重ねる.

5. まとめ本研究では、色の情報を取得するとともに,独立した身体刺激へと変換するプログラムの作成及び動作させる身体拡張デバイスの試作を行っている.前述のようにデバイスについてはまだプロトタイプの段階であり,今後もデバイスに対して,推論なしで直感的に知覚できること,小型でユーザビリティが高いこと,の二点を中心に改良・改善を施していく必要がある.

参考文献
[1]

前川満良, “カラートーク開発におけるニーズ発掘から実用化まで”,バイオメカニズム学会誌, Vol.26, No.4, pp177181, 2002.
[2] 秋田純一, 伊藤精英, 小野哲雄, 岡本誠, “CyARM:非視覚モダリティによる空間認識装置”, 情報処理学会論文誌, Vol.46,
No.7, pp.1693-1700, 2005.
[3] 山本顕剛, 秋田純一, 小松孝徳, 伊藤精英, 小野哲雄, 岡本誠, ”Banana: 探索行動に基づく空間認識装置”, エンタテイン
メントコンピューティング 2009 予稿集, pp.9-12, 2009.9.
[4] “西野正基, 秋田純一, 伊藤精英, 岡本誠, 小野哲雄, "複数モダリティを用いた身体動作に連動する身体拡張デバイス",
HCG シンポジウム 2017 予稿集, B-8-3, 2017.12.

© 2021 Information Processing Society of Japan252