立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (A) ］

視覚障害者支援のための可視情報伝達技術の構築
Construction of Visual Information Transmission Technology to Assist People with Visual Impairment
2181004

研究代表者

大阪府立大学
大学院工学研究科准教授

岩村雅

一

黙の前提として，(1) 物体や文字情報に気付く，[研 究 の 目 的]

(2) その位置を把握する，(3) その場所にカメ
物体認識技術の著しい発展により，人と同程ラを向けて利用者が撮影を行うという，利用者度の認識性能が実現できるようになった。そのの「能動的な行動」が求められる。しかし，そため，これらの技術を視覚障害者の「目」としもそも視覚障害者が情報の存在に気づけるのか，て使う試みが増えている。視覚情報は膨大であそして，その位置を把握できるのかといった疑る反面，視覚障害者が情報を受け取ることがで問も生じる。また，位置が把握できても，認識きるのは触覚と聴覚のみである。そのため，むに適した写真を視覚障害者が撮影することにもやみに周囲の情報を伝えることはかえって混乱困難を伴う [1, 2]。このように，「能動的な情を招く。このように，認識技術の利用者である報取得」が視覚障害者には難しいという問題は，視覚障害者に認識結果をどのように伝えるかと重要であるにもかかわらず，これまであまり注いう問題は実用上非常に重要であるものの，こ目されてこなかった。

れまでほとんど考慮されてこなかった。本研究

そこで本研究では，利用者が存在や位置を知では認識結果をいかに視覚障害者に伝えるかとらない情報を取得できる「受動的な情報取得」いう問題に初めて焦点を当て，解決を試みる。という枠組みを考える。受動的な情報取得とは，具体的には，視覚障害者に視覚情報 (認識結能動的な情報取得が前提としている 3 要件に依果) を伝える前に，情報を取捨選択する方法を存しない形での情報取得である。このような情考案し，その実現並びに評価を行う。

報取得を実現する 1 つの方法として，利用者の周囲を常時撮影して，常時認識することが考えられる。常時撮影すれば，利用者が気づいてい[研究の内容，成果]ない情報もカメラで撮影できるし，撮影した画像を全て認識すれば，利用者が意識していない

1．能動的な情報取得と受動的な情報取得
深層学習に代表される近年の認識技術の飛周囲の視覚情報が得られるからである。その結躍的な精度向上により，物体認識や文字認識

果，提案する「受動的な情報取得」は，従来のなどの認識技術を視覚障害者の目の代わりに用「能動的な情報取得」とは比べものにならないいる試みが盛んである。中でも，Seeing AI や程，膨大な情報 (認識技術の出力として得られTapTapSee，Envision AI などのアプリは，目る認識結果) が得られる。しかし，得られた情の前に何があるかを知るために多くの視覚障害報を全て利用者に伝えれば，利用者の混乱を招者に使われ，重宝されている。ただし，その暗くため，受動的な情報取得では，情報を要約し― 1 ―立石科学技術振興財団

たり，取捨選択したりして，利用者に伝える情報を削減することが重要である。
本研究では，提案する「受動的な情報取得」について，以下の 2 つを実施した。1 つ目は，「受動的な情報取得」という方式を視覚障害者が本当に必要としているのかの検証である。視覚障害者を対象としたオンラインアンケートを実施して，視覚障害者が周囲の視覚情報を必要としているのか，現状の能動的な情報取得に困難な点があるのかなどを調査した。2 つ目は，提案する方式を実現する際に，認識技術の出力として得られる情報 (認識結果) を要約したり取捨選択することの重要性の検証である。擬似

図 1 アンケートの結果 (抜粋)的に買い物を行うタスクを用意して，9 名の視覚障害者に参加してもらう実験を行った。そのが各 4 名，50 代が 6 名，60 代が 11 名である。

実験の中で，時間的ならびに意味的に情報を要需要の調査に大きく関わる部分のアンケート約することの善し悪しについて，客観評価ならの内容を示し，回答割合を図 1 に示す。

びにインタビューによる主観評価を行った。

Q 7 : 周囲の視覚情報を必要と感じていますか？

2．受動的な情報取得の需要の調査

先天盲・中途失明に関わらず全員が必要と回本研究で提案する視覚障害者の受動的な情報答した。文字や色の情報等，生活全般で視覚情取得は，我々が知る限り，これまで着目されて報が欲しいとの回答が得られた。

おらず，既存研究が存在しない。そのため，受Q 11 : 周囲の視覚情報を得る時に，人に尋ね動的な情報取得が視覚障害者に本当に必要とさるのをためらうことがありますか？

れているのかという需要を調査するため，テキ｢よ く あ る」「と き ど き あ る」が 全 体 の 約

ストや色，明るさ等の触っただけでは分からな70% を占めた。このことから視覚情報の取得

い情報 (以下，周囲の視覚情報と呼ぶ) に関すを支援するデバイスの需要は十分あると考えらるオンラインアンケートを行った。オンライン

れる。

アンケートは 3 部構成で 23 問から成る。内訳

Q 12 : 有益な周囲の視覚情報に気づかず，後は，第 1 部は回答者の視覚障害の状況についてからそれを知って有益な情報を逃して6 問，第 2 部は周囲の視覚情報に対する回答者いたと感じたことはありますか？の経験について 7 問，第 3 部は回答者の情報技半数が「よくある」と回答し，残りのほとん術の利用に状況について 10 問である。本アンどの方も「ときどきある」と回答した。トイレ

ケートは，視覚障害者が入っているメーリングの場所や空席に気づけなかった，近くに人がいリストにオンラインアンケートの回答依頼メーることに気づかず物事を尋ねることができなルを送り，視覚障害者 20 名 (全盲 8 名，弱視かった，同伴者にすべての情報を読み上げても12 名) の方から回答を得た。更に 3. の実験のらえず自身が望んでいるものがあったにも関わ参加者にも同じ質問をした結果，全部で視覚障らず購入できなかった，新商品や特売品が分か

害者 29 名 (全盲 14 名，弱視 15 名) から回答らなかったなど，多岐に渡る場面の例が挙げらを得た。回答者の年齢層は 20 代，30 代，40 代れた。このことから，視覚障害者が気づけてい― 2 ―Tateisi Science and Technology Foundation

ない視覚情報を取得できる受動的な情報取得の需要は十分あると考えられる。
Q 19 : 支援アプリ等の音声案内が長すぎて煩わしく感じた経験がありますか？
支援アプリ等を使っていると回答した 20 名の内，約半数の 10 名が「ある」と回答した。
自身の求めている情報が読み上げられるまでに時間が掛かったり，結局何が読み上げられたのか分からず時間を無駄にするという意見があっ図2た。これはスマートフォンカメラでの撮影の難本研究で検証する 4 種類の要約方法

しさ，検出された情報を要約していないことに起因していると考えられる。
Q 20 : 支援アプリの不満な点があれば教えてください。
撮影対象をフレーム内に収めることができず，上手く撮影することができないという意見が一定数見受けられた。これは，視覚情報がどこにあるのか正確に把握できていないことや，カメラでの撮影に不慣れであることが原因だと考えられる。
Q 12 で回答者のほぼ全員が周囲の視覚情報

図 3 実験の様子に気づかなかった経験があると回答しているこる。なお，実験では「お茶 A」，「お茶 B」，「炭とから，既存の能動的な情報取得だけでは視覚酸飲料 C」などではなく，市販されている実在障害者を十分支援できない場面の存在がうかがの商品名を用いた。

われる。そうした場面では，本研究で検討する視覚障害者 9 名 (全盲 6 名，弱視 3 名) に音受動的な情報取得が役に立つ可能性がある。ま声案内システムを使用して疑似的な買い物をした，Q 19 では回答者の約 1/3 が既存の能動的て貰った。そして，音声案内システムが読み上な情報取得で音声案内が長すぎて煩わしく感じげる商品の名前と価格から最も安い商品を探すた経験があると回答している。受動的な情報取というタスクを実験参加者にして貰った。この得では能動的な情報取得より検出される情報のタスクを課した理由は，情報を正確に受け取る量がより増えるため，情報の要約がより重要に必要があるタスクでの所要時間とスコア (商品なると考えられる。

選択の正確さを表す) を測り，定量的に評価を行うためである。実験の様子を図 3 に示す。実

3．情報の要約方法の検討と評価

際の買い物風景とは大きく異なるものの，実験

本研究では，汎用的な情報要約アプローチで参加者からは目が見えていないがゆえに普段のある，一度伝えた情報を再度伝えるかという時買い物と異なる感覚はあまりなく，ウィンドウ間的要素，概念的に上位の言葉で情報をまとめショッピングをしている感覚に近いかもしれなて伝える意味的要素を考慮し，その有効性を検いといった意見が得られた。実験では，図 2 に証する。図 2 のように，時間的要素と意味的要記載の要約方法 4 種類を ① から ④ の番号順に素それぞれ有り無しの 4 つの要約方法を比較す試してもらい，タスクを終えるまでの所要時間― 3 ―立石科学技術振興財団すかったと回答した。このことから意味的要素での要約に有効性が認められる。理由として，認識した順にランダムに情報をアナウンスされるよりも，上位のカテゴリでまとめられることにより情報が減り整理しやすくなったことが，実験参加者の評価から分かった。
次に，客観評価の結果として，飲み物で行ったタスクとお菓子で行ったタスクの平均所要時
図4

試作した音声案内システム間と平均スコアに基づく客観評価の結果を示す。と商品選択のスコア，及びアンケートを通して所要時間は，音声案内システムの最初の認識が評価した。実験では，図 4 に示す広角レンズを始まってから実験参加者が回答するために手を搭載したウェアラブルカメラを用いて音声案内挙げるのに掛かった時間である。ただし，所要システムを作成した。誤認識による影響を除く時間が 180 秒を超えた場合はそこで実験を打ちため，商品情報を含む QR コードを撮影し，そ切り，その段階で回答を求める。スコアは回答の商品情報を骨伝導ヘッドセットを通して音声の正確さを表す指標であり，100% が最も良いでアナウンスする。

場合，0% が最も悪い場合を表す。実験参加者

まず，主観的評価の結果を示す。ほとんどの実験参加者が，要約方法 ③ または ④ が使いや

図5ごとの平均所要時間を図 5 に，要約方法ごとの平均スコアを図 6 に示す。

実験参加者ごとのタスクの平均所要時

図 6 各要約方法におけるタスクの平均スコア― 4 ―Tateisi Science and Technology Foundation[今後の研究の方向，課題]

平均所要時間では，要約方法ごとに相関性は見られなかった。実験参加者ごとに見ると，どの要約方法であってもかかる時間は基本的に近本報告の詳細は成果 [1, 2] を参照いただきい値を取っており，タスクの所要時間は実験参たい。スペースの関係で，本報告は成果 [1]加者に依存していることが分かる。また先天的の抜粋である。成果 [2] では，認識結果の伝な失明の実験参加者ほど，音声での情報の取得

達方法として質問応答 (QA) システムを用いを苦にしない可能性があると予想していたが，て評価した。その結果，QA システムを適切にそのような相関性は確認できなかった。現在の設定することで，利用者の満足度がより高くな視力になった時期で注目すると，現在の視力にることがわかった。

なった時期の遅い p 1，p 5，p 6，p 9 の平均所

今後は買い物タスク以外の場面においても調要時間が他の 5 名と比べ 60 秒前後と短い。p 6

査して，実用的なシステムの実現を目指したい。の方からは，目が見えていたころに今回の実験でアナウンスされた商品を見たことがあり，商[参考文献]

品をイメージしやすく情報を受け取りやすいと[ 1 ] Kacorri, H., Kitani, K. M., Bigham, J. P. &いった意見があった。このことから，中途失明

Asakawa, C. : People with Visual Impairment Train-の方は目が見えていたころの視覚的イメージかing Personal Object Recognizers : Feasibility andら情報の受け取り方に異なる特徴がある可能性が考えられる。しかし，p 1，p 5，p 9 の方から似たような意見は出ておらず，より詳細な考察を行うにはさらに多くの視覚障害者を対象に実験を行う必要がある。

Challenges, Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems(2017).
[2]

Iwamura,M.,

Hirabayashi,N.,

Cheng,Z.,

Minatani, K. & Kise, K. : VisPhoto : Photography for
People with Visual Impairment as Post-Productionof Omni-Directional Camera Image, ACM CHI Con-

平均スコアでは，要約方法の時間的要素の有

ference on Human Factors in Computing Systems

無で異なる結果が得られた。一度だけ読み上げ(CHI2020) Extended Abstracts Proceedings (2020).

る要約方法 ② と ④ のスコアが低く，認識する[成果の発表，論文等]度に繰り返し読み上げる要約方法 ① と ③ のスコアが高かった。これは，聞き逃した場合や商品名を忘れた場合に再確認することができなかったためだと考えられる。また，要約方法① と ③，要約方法 ② と ④ で比較すると，カテゴリでまとめる効果があることが見て取れる。
これらから，時間的要素での要約は聞き逃しの観点から単純に用いることは難しいことがわかった。一方，意味的要約には一定の有効性があることがわかった。

― 5 ―[ 1 ] 河合 隆哲，高嶋 慶伍，岩村 雅一，南谷 和範，
黄瀬 浩一：視覚障害者の受動的な情報取得に向けての情報要約に関する調査，第 181 回ヒューマンイ
ン タ フ ェ ー ス 学 会 研 究 会, 23, 1, pp. 5-14 (Mar.
2021)[ 2 ] 高嶋 慶伍，河合 隆哲，岩村 雅一，南谷 和範，
黄瀬 浩一：視覚障害者の周囲の視覚情報取得における QA システムの有用性に関する調査，第 181
回ヒューマンインタフェース学会研究会，23, 1, pp.
15-24 (Mar. 2021)