OS2-4-3
LIFE2012 2012 年 11 月 2 日－4 日 愛知 (名古屋大学)

AR 技術を応用した視覚障害体験システムの開発
Development of visual impairment mimetic system using AR technology○藤澤正一郎(徳島大学)

三原佑太（徳島大学）

伊藤伸一（徳島大学）

佐藤克也（徳島大学）

Syoichiro FUJISAWA, Univ. of Tokushima, Yuta MIHARA, Univ. of Tokushima
Shinichi ITO, Univ. of Tokushima, Katsuya SATO, Univ. of Tokushima
Abstract: We developed the visual impairment mimetic system to provide a visual impairment experiment system forvisually non-handicapped person. Our system using AR technology with head mounted displays and buil-in stereo cameras.
Captured images from the stereo cameras are processed in the PC to mimic a visual impairment and displayed on the head
mounted display. In this study, we demonstrate the color-blindness experiment system as the one example of our system.
Three types of color-blindness are mimicked, protanope, deuteranope and achromat. And we simulate several kind ofcolor-blindness with slightly or severely.
Key Words: Universal Design, Color-Blindness, Protanope, Deuteranope, Achromat
1. 序章
1-1 研究背景
視覚障害者が抱える症状の種類の一つとして色弱がある.
健常者は多種類の色を判別できるが, 色弱者は色の種類によっては同じ色に見えるため, 色の判別が困難になる. 多
種類の色を利用した情報媒体などは色弱者にとって大きなバリアとなり, 日常生活の様々な場面で不便であると考えられる.
ここで健常者と色弱者の見え方の違いの一例を図 1 と図2 に示す. 図 1 は男女トイレを表すピクトグラムであり, 図2 は車両信号機を示している. 図 1 に着目すると, 健常者は青色と赤色の判別が容易であるが, 色弱者は錐体の機能の低下により赤色領域を認識するのが困難になる. 背景色が暗い場合, 色情報のみでの男女トイレの判別は困難であり,誤って違う方のトイレに入ってしまう可能性がある. 図 2に着目すると健常者は車両信号機の青色・黄色・赤色を識別できるが, 色弱者は黄色と赤色がほぼ同じ色に見える.
そのため, 色を判別できず交通事故を引き起こす危険性も考えられる. 夜間の場合では, 信号機の外枠が見えないため, 更に判別することが困難になる. これらの例に示す通り, 色弱者が判別できる色づかいに配慮した街づくりが必要であると言える. つまり健常者が色弱者の不便さを理解し, ユニバーサルデザイン化を実現していく必要があると考えられる.

1-2 研究目的
近年, 様々な視覚障害の症状を擬似体験できる製品が開発されているが, 『コストが高い』や『一つの製品で一つの視覚障害の症状しか擬似体験できない』などの問題点がある.
このような問題点を配慮し, 多種多様な視覚障害の症例を画像処理によるソフトウェア的なアプローチによって再現することにより, 一つの機器で様々な視覚障害の症状を擬似体験できるシステムが実現すれば大変有用である. そこで本研究では, システム開発の第一歩として色弱の症状を再現することを目指した.
2. システム概要
2-1 開発環境本研究では, Windows 環境で C 言語及び C++言語を用いて 開 発 す る た め に Microsoft 社 が 無 償 で 提 供 し て い る
Microsoft Visual C++ 2010 Express を使用した. また画像処理を行うためのライブラリとして OpenCV2.1 を使用した.
2-2 システム構成
本研究では, 図 3 に示すステレオカメラを内蔵したヘッドマウントディスプレイを用いて視覚障害体験システムを構築した. 表 1 にヘッドマウントディスプレイのスペックを示す[1]. 内蔵カメラで映像を取得すると, USB で接続したコンピュータに取得映像を送信する. コンピュータ上にて画像処理を施し, VGA 出力を通じてヘッドマウントディスプレイに送信する. 最後にヘッドマウントディスプレイにサイドバイサイド方式を応用して 3D で投影することで擬似体験できる.

Fig. 1 Example of normal view and color-blindness view inpictogram. Left image is normal view and right image isprotanope view.

Fig. 3 Wrap920AR (Vuzix corporation)
Fig. 2 Example of normal view and color-blindness view intraffic signal. Left image is normal view and right image isprotanope view.

−1−Table 1 Specification of Wrap920AR
Resolution
VGA(640×480)
Frame rate
30 frame / sec
View angle
31 angle
Correspondence
3D Side-by-side, Auto3D, anaglyphformat(7) ヘッドマウントディスプレイの適用(8) Esc キーを入力しない限り, (5)に戻ってループ処理(9) Esc キーを入力すると, 処理終了

3. 視覚障害擬似体験システムの開発
3-1 色弱について
色弱は色を感じ取る LMS 錐体のいずれかに異常が起き,機能が低下又は欠損することにより, 特定の感じ取る波長の色の判別が困難な状態なことである. 色弱者は日本全体
で 300 万人以上にも上ると言われており, 男性で 20 人に 1人, 女性で 500 人に 1 人の割合を占める[2]. 文献[2]では,
表 2 に示すように色弱には様々な種類があり, その種類に応じて Color Universal Design Organization(CUDO)や日本眼科学会により名称が名付けられている. 色弱の種類や呼称
は LMS 錐体の欠損の数や機能の低下の度合いにより異なり, 大きく以下に示す(ⅰ)から(ⅴ)の 5 通りである.
(ⅰ) C 型(正常)：LMS 錐体が全て機能している場合(ⅱ) P 型(1 型)：L 錐体に異常がある場合(ⅱ-1) P 型強度：L 錐体が欠損(ⅱ-2) P 型弱度：L 錐体の機能が低下し, 分光感度がずれて M 錐体に類似(ⅲ) D 型(2 型)：M 錐体に異常がある場合(ⅲ-1) D 型強度：M 錐体が欠損(ⅲ-2) D 型弱度：M 錐体の機能が低下し, 分光感度がずれて L 錐体に類似(ⅳ) T 型(3 型)：S 錐体が欠損(ⅴ) A 型：LMS 錐体が全欠損又は 1 種類の錐体しか機能しない場合
Table 2 Type and name of color Anomaly
CUDOでの呼称
眼科学会の呼称
C型
正常色覚
強度
1型2色覚
P型
1型色覚
弱度
1型3色覚
強度
2型2色覚
D型
2型色覚
弱度
2型3色覚
T型
3型色覚(3型2色覚)
A型
1色覚
3-2 画像処理方法
本研究では, C 言語及び C++言語と画像処理に必要な専用ライブラリ OpenCV を用いて開発した. 処理全体の流れから具体的な画像処理方法について順を追って説明する.
3-2-1 処理全体の流れ
ヘッドマウントディスプレイの内蔵カメラで映像を取得してからヘッドマウントディスプレイに投影し, 処理が終了するまでの一連の処理の流れを以下に示す.
(1) 処理を開始し, カメラのデバイスを認識(2) 利用可能なカメラの数を取得(3) 取得映像の幅, 高さ, フレームレートの設定(4) 疑似体験する視覚障害の種類を選択(キーボード入力)(5) 取得映像の幅を 1/2 に圧縮し, 1 つのウィンドウ内に左目用の映像と右目用の映像を横方向に連結(サイドバイサイド方式の適用)(6) (4)で選択した症状の画像処理フィルタの適用

3-2-2 色弱の画像処理及び算出方法
本研究では, P 型強度(1 型 2 色覚), D 型強度(2 型 2 色覚),A 型(1 色覚)の見え方を擬似再現するシステムを開発した.
P 型強度(1 型 2 色覚)と D 型強度(2 型 2 色覚)の見え方を模擬する色相変換手法は先行研究で何種類か紹介されていたが, 本研究では Viénot, Brettel, Mollon らの提案手法を用いた[3]. P 型強度(1 型 2 色覚)と D 型強度(2 型 2 色覚)の処理はヘッドマウントディスプレイの内蔵カメラで取得
した映像をまず RGB 表色系から XYZ 表色系に OpenCV のライブラリを利用して変換し, XYZ 値を算出する. 次に文献[3]で示されている以下の変換式で XYZ 値から LMS 錐体の分光感度値を算出する[3].
(1.1)
そして P 型強度(1 型 2 色覚)における LMS 錐体の応答を Lp,Mp, Sp, D 型強度(2 型 2 色覚)における LMS 錐体の応答を Ld,Md, Sd とし, (1.1)式を用いて, 文献[3]で示されている変換式で LMS 錐体の分光感度値から LMS 錐体の応答を算出す
る[3].

(1.2)

(1.3)
(1.1)式と(1.2)式, (1.1)式と(1.3)式から逆算し, P 型強度(1 型 2 色覚)と D 型強度(2 型 2 色覚)を再現するための色相変換マトリックスを算出する. P 型強度(1 型 2 色覚)の
XYZ 値を Xp, Yp, Zp, D 型強度(2 型 2 色覚)の XYZ 値を Xd, Yd,Zd とし, 算出した結果を以下に示す.

(1.4)

(1.5)
最後に(1.4)式と(1.5)式で算出した XYZ 値を OpenCV のライブラリを利用して RGB 値に変換し, ヘッドマウントディスプレイに出力する.
一方, A 型(1 色覚)の処理はカラー(RGB)映像をグレースケール映像に変換し, ヘッドマウントディスプレイに出力するのみである.
3-2-3 色弱の強度から弱度への調整手法の考案
P 型(1 型色覚), D 型(2 型色覚)には強度と弱度の 2 タイプあり, 色の見え方が強度の状態と異なると言われている.
そこで本研究では P 型弱度(1 型 3 色覚), D 型弱度(2 型 3色覚)の見え方の再現を目指し, 先行研究を拡張させ強度から弱度への各錐体の分光感度値の係数を調整するアルゴリズムを考案した. 以下に考案したアルゴリズムについて−2−説明する.
まず, 文献[3]で示されている(1.2)式と(1.3)式から P型強度(1 型 2 色覚)の L 錐体の応答式, D 型強度(2 型 2 色覚)の M 錐体の応答式に着目すると以下に示す式を導出できる[3].

(2.3)
(2.4)
(2.5)

(1.6)
(1.7)
また, C 型(正常色覚)の LMS 錐体の応答を Lc, Mc, Sc とす
ると, LMS 錐体の分光感度値との関係は以下に示す式で表される.
(1.8)(1.8)式に着目すると, LMS 錐体の応答の対角成分が左上から右下にかけて全て 1.0 になっており, LMS 錐体の応答はLMS 錐体の分光感度値そのもので表されていることが分かる. これは LMS 錐体全てが正常に機能していることを示している. 強度から弱度の見え方を擬似再現するためには,LMS 錐体の係数を調整する必要がある. (1.6)式で示した P型強度(1 型 2 色覚)の L 錐体の応答式の右辺に着目すると,P 型強度(1 型 2 色覚)から P 型弱度(1 型 3 色覚)の LMS 錐体の感度を調整するための係数を示しているので, この係数を Lp_coefficient, Mp_coefficient, Sp_coefficient とし, 以下の式で表す.

(2.3), (2.4), (2.5)式から表 4 に示すように LMS 錐体の感度を 6 段階調整することができる. m = 0 の時が強度の見え方を擬似再現する各錐体の係数の基準値を示しており,m の値が増えていくほど, 弱度の見え方を擬似再現する各錐体の係数となっている. つまり, M 錐体の係数を基準値から 1 に, L 錐体と S 錐体の係数を 0 に近づけるように割合で調整することで D 型弱度(2 型 3 色覚)の見え方を擬似再現できると考えられる.
Table 4 Variation of LMS cone’s coefficient values for fromdeuteranope to deuteranomal
m L錐体の係数 M錐体の係数 S錐体の係数00.490.01.25
10.440.1
1.13
20.390.2
1.0
30.34
0.30.8840.29
0.40.7550.25
0.50.634(1.9)(2.1)(2.2)(1.9), (2.1), (2.2)式から表 3 に示すように LMS 錐体の感度を 6 段階調整することができる. n = 0 の時が強度の見え方を擬似再現する各錐体の係数の基準値を示しており,n の値が増えていくほど, 弱度の見え方を擬似再現する各錐体の係数となっている. つまり, L 錐体の係数を基準値から 1 に, M 錐体と S 錐体の係数を 0 に近づけるように割合で調整することで P 型弱度(1 型 3 色覚)の見え方を擬似再現できると考えられる.

結果及び考察4-1 実行結果
先行研究で紹介されている色弱の再現手法と先行研究を拡張させ強度から弱度への調整手法を考案したアルゴリズ
ムを用いた結果を示す.
4-1-1 先行研究の色弱の再現手法を用いた実行結果
先行研究の再現手法を用いた画像処理を施した時の結果を図 4 に示す. 図 4 は左上が C 型(正常色覚), 右上が P 型強度(1 型 2 色覚), 左下が D 型強度(2 型 2 色覚), 右下が A型(1 色覚)の見え方を擬似再現した例である. なおカメラから取得した映像は X-rite 社が開発した『ColorChecker
CLASSIC(クラシック)』を使用している.

Table 3 Variation of LMS cone’s coefficient values for fromprotanope to protanomaln L錐体の係数 M錐体の係数 S錐体の係数
0 0.02.02-2.53
1 0.1
1.82-2.28
2 0.2
1.62-2.02
3 0.3
1.41-1.77
4 0.4
1.21-1.52
5 0.5
1.01-1.27
また(1.7)式で示した D 型強度(2 型 2 色覚)の M 錐体の応答式の右辺に着目すると, D 型強度(2 型 2 色覚)から D 型弱度(2 型 3 色覚)の LMS 錐体の感度を調整するための係数を示 し て い る の で , こ の 係 数 を Ld_coefficient, Md_coefficient,Sd_coefficient とし, 以下の式で表す.

Fig. 4 Examples of image processing; normal view, protanopeview, deuteranope view and achromat view
4-1-2 強度から弱度への調整手法を用いた実行結果
P 型強度(1 型 2 色覚)から P 型弱度(1 型 3 色覚)の見え方を擬似再現した場合と D 型強度(2 型 2 色覚)から D 型弱度(2 型 3 色覚)の見え方を擬似再現した結果の 2 通りを示す.

−3−

まず(1.9), (2.1), (2.2)式及び表 3 から P 型強度(1 型 2色覚)から P 型弱度(1 型 3 色覚)の LMS 錐体の感度を 6 段階に分けて出力した見え方の変化を図 5 に示す.

図 6 は左上が m = 0, 右上が m = 1, 左中央が m = 2, 右中央が m = 3, 左下が m = 4, 右下が m = 5 の時の D 型強度(2型 2 色覚)から D 型弱度(2 型 3 色覚)までの見え方を擬似再現した例を示している.
4-2 考察図 5 で示した結果から C 型(正常色覚)と P 型強度(1 型 2色覚), D 型強度(2 型 2 色覚)を擬似再現した見え方の違いに着目する. C 型(正常色覚)では全ての色を識別できるが,P 型強度(1 型 2 色覚)と D 型強度(2 型 2 色覚)では特に赤色領域と緑色領域の色の判別が困難であることが分かる. しかし, 目視だけでは P 型強度(1 型 2 色覚)と D 型強度(2 型2 色覚)の判別は極めて困難であることが言える. 一方, C型(正常色覚)と A 型(1 色覚)の見え方の違いを比較した場
合, A 型(1 色覚)では色を明暗でしか判別できないことが分かる. 次に図 6 で示した結果から P 型強度(1 型 2 色覚)と P型弱度(1 型 3 色覚)及び D 型強度(2 型 2 色覚)と D 型弱度(2型 3 色覚)を擬似再現した見え方の違いについて比較すると, n = 0 及び m = 0 の時は特に赤色領域と緑色領域が暗く見えてしまうため, 判別が困難である. n と m の値が増えていくと, 特に赤色領域と緑色領域の色が徐々に明るく変化していることが分かる. 見え方には個人差があるため,完全に再現できていると断定はできないが, 本研究での結果を踏まえると, ほぼこれらの症状に近い見え方を擬似的にはあるが再現できていると考えられる.

Fig. 5 Example of image processing; from protanope view toprotanomal view5

図 5 は左上が n = 0, 右上が n = 1, 左中央が n = 2, 右中央が n = 3, 左下が n = 4, 右下が n = 5 の時の P 型強度(1 型 2 色覚)から P 型弱度(1 型 3 色覚)までの見え方を擬似再現した例を示している. 次に(2.3), (2.4), (2.5)式及び表 4 から D 型強度(2 型 2 色覚)から D 型弱度(2 型 3 色覚)の LMS 錐体の感度を 6 段階に分けて出力した色の見え方の変化を図 6 に示す.

まとめ

本研究では, 先行研究の Brettel らの考案手法を用いてP 型強度(1 型 2 色覚), D 型強度(2 型 2 色覚)の症状を擬似再現した. また A 型(1 色覚)の症状も擬似再現した. 更に先行研究から拡張して P 型強度(1 型 2 色覚)から P 型弱度(1 型 3 色覚)に, D 型強度(2 型 2 色覚)から D 型弱度(2 型 3色覚)に LMS 錐体の感度を調整するための係数を 6 段階調整できるようにした. しかし, システムを開発していく上で様々な問題点が生じた. まずソフトウェア面及びハードウェア面では『メモリリークによりアプリケーションが強制停止する』や『リアルタイムで動画処理が行えない』という問題点があり, 一方, 医学面では『同じ P 型, D 型の色弱者でも見え方に個人差があるため, 強度と弱度の確実な判別をするのは極めて困難である』という問題点がある.
今後はこのような問題点を解決し, 更なる精度の向上を目指していく必要がある.
参考文献
[1]
[2]
[3]

Fig. 6 Example of image processing; from deuteranope view todeuteranomal view

−4−

WrapTM920AR Augmented Reality Eyewear User Guide
特定非営利活動法人(NPO) CUDO カラーユニバーサルデザイン機構(2006), pp. 1 - 8
Digital Video Colourmaps for Checking the Legibility ofDisplays by Dichromats; Francoise Viénot, Hans Brettel, John D.
Mollon, COLOR research and application, Vol. 24, No. 4, pp. 243- 252, Aug. 1999