立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (A) ］

一人称カメラを用いた歩行時の姿勢推定と視覚障がい者の感覚代行への応用
Posture Estimation during Walking using a First- Person Camera andIts Application to Sensory Substitution for the Visually Impaired
2201014

研究代表者

福井大学 学術研究院
工学系部門

講 師張潮

[研 究 の 目 的］
視覚障がい者の点字ブロックを用いた歩行は，白杖で確認しながら歩く必要があり，円滑とは言えない。一方，一人称カメラの小型化に伴い，常時カメラや情報を処理できる装置を身図1

一人称視点の画像における点字ブロックの検出に付けることが可能になった。そこで，本研究では，人間の視覚システムが担う姿勢推定を機

では，大量の学習データや手作業の必要の無く，

械 の 自 動 化 で 代 替 し，視 覚 情 報 を 聴 覚 情 報

様々な状況下でも検出が可能な点字ブロック検へマッピングすることで感覚代行の実現を目指出の実現を目的とする。

す。
[研究の内容，成果］

そこで，一人称カメラから点字ブロックを検出することで，利用の円滑化を進め，視覚障がい者の歩行支援に繋がることが期待できる。点1．提案手法の概要

字ブロック検出に関する研究はいくつか行われ本研究では多目的最適化アルゴリズムを用いており，センサを利用して点字ブロックの表面た一人称視点画像における点字ブロックの検出の凹凸を検出して識別する手法や，畳み込み手法を提案した。提案手法では，点字ブロックニューラルネットワークを使用した検出が行わの色と形状の 2 つの特徴を用いて，点字ブロッれているが，これらは特別なセンサや大量の学ク上から撮影した一人称視点画像から点字ブ習データを必要とする。しかし，単純な形状やロックを検出する。

色のついた物体においては，大量の学習データ

本研究では，図 1 に示す一般的に使用されてやそれに伴う手作業を必要とせず，特徴を定式いる直線的な輪郭を持つ黄色の点字ブロックを化することで検出が可能であると考えている。

対象とする。一人称視点映像では，点字ブロッ

そこで，本研究では点字ブロック検出を多目的

クは常に画像の下側から現れる。点字ブロック最適化問題とし，色と形状特徴を利用した検出は 2 本の直線で囲まれた領域として表現できる方法を提案し，一人称視点画像から点字ブロッ

ため，点字ブロック検出は 2 本の直線で囲まれク検出を行う (結果例を図 1 に示す)。本研究た内側が黄色の領域を見つける問題と言い換え― 1 ―立石科学技術振興財団

図2

提案手法の概要

図3

ることができる。ここで，画像から直線を検出

点字ブロックにおける決定変数を示す。

することは，幾何学形状を検出することと理解

点字ブロックの色が黄色であることに着目し，することができる。提案手法である多目的最適

HSV 色空間のカラーヒストグラムを利用した。

化を用いた点字ブロック検出について，以下に目的関数 1 は LP が示す領域が黄色であること詳細に説明し，その概要を図 2 示す。

を，(1) LP の示す領域の内側と外側でカラーヒストグラムが大きく異なること，(2) LP の

2．提案手法内側のテストポイントの HSV 色空間における2. 1値が予め設定している黄色の閾値内に収まるこ

解個体の表現方法

本研究では点字ブロックの領域を 2 本の直線との 2 つの条件から判断している。入力画像ので表現し，これらの個体を line pair (LP) とHSV 画像をI  ,  x, y  座標における画素値をする。各個体である LP は，画像中の上端と下I   x, y  と表現する。カラーヒストグラムを端の点の x 座標を表す実数を染色体として使調べるためのテストポイントの x 座標をx =用 し て い る。LP= x , x , x , x  は，点 字 ブ

 x , x, x , x, x  と し，テ ス ト ポ イ ン ト を 中

ロックの輪郭の左側の線をx  とx  で，右側の心 座 標 と す る 3×3 画 素 の パ ッ チ を p=

線をx とx を通る直線として個体を符号化し，

 p , p , p , p ，そのパッチ内のカラーヒストグ

4 つの点で表現する。このような表現の下で，ラムをx =  x , x, x , x , x  とする。これらの初期母集団の各解候補 LP の 4 点は，画像の上座標は各テストラインごとに毎回計算され決定端と下端から無作為に選択される。この時，点される。また，x は LP と y から算出され，p字ブロックの領域を明確に示さない LP は候補はx とI  から作成され，hist は p から算出さとして生成されない。

れる。LP の交点の y 座標をy とする。y は，2. 2LP から算出され，y が画像内にあればテスト目的関数の設計および最適化

個々の LP が点字ブロックの領域を正確に表ラインの y 座標の初期値とし，画像内になけれしているかどうかを評価するために，色と形状ばテストラインの y 座標の初期値は画像の上の特徴を用いた 2 つの目的関数を同時に最適化端としている。y から画像の高さ h までの各する。どちらの目的関数も，反復的にサンプリ

テストラインにおいて，次の 2 つの条件が同時ングされた LP 候補の端点の座標を計算し，画に満たされている場合，カウンタ変数であるc

像の下端から LP の交点まで (交点が画像中にとc をカウントする。(A) パッチ内のカラー存在しなければ上端まで)，テストラインごと

ヒストグラムhist  とhist , hist  とhist  に大きに評価を行い，それらの評価値の総和を目的値な差がある場合。ここでは，2 つのパッチ内としている。図 3 に目的関数で用いられる変数の カ ラ ー ヒ ス ト グ ラ ム を 比 較 す る た め に，― 2 ―Tateisi Science and Technology Foundation

Bhattacharyya 距離を使用して 2 つのヒスト

素の値は最近傍のエッジからのユークリッド距グラムがどれだけ一致していないかを計算して離となる (図 4)。交点以下の LP 上の画素値いる。(B) テスト点x の値が事前に設定したの総和を目的値とすることで，個体の直線に対黄色の閾値内にある場合。特に(B-1) ではテする類似度と距離を評価することができる。ま


スト点x とx を，(B-2) ではx とx ，もしくた，距離変換画像を LP 上の画素値の総和を目はx とx が (B) の条件を満たす場合カウント的値とすることで，個体の直線に対する類似度を行う。カウンタを 2 つ用いることで，テストと距離を評価することができる。距離変換画像

ポイントの場所によって重みを変えることがでをI  とし，  x, y  座標の画素値をI   x, y  とし，き，画像に対するノイズ耐性を向上させてい距離変換画像の値をサンプリングする LP 上のる。点字ブロックの輪郭のすぐ内側に位置する

サンプル点の x 座標をx= x, x  としている。

テストポイント (x やx ) を用いれば，個体

目的関数 1 と同様に y からhまでの各テストラをより正確に評価することができるが，画像中

イ ン に お い て，LP と y か ら x を 算 出 し，にノイズが多い場合には LP の中央に位置するI  x, y  と I  x , y  の総和を目的関数 2 のテストポイント (x ) を代替として使用する

値 (v2) としている。

ことで，ノイズがある場合でもカウントが行え

2. 3

遺伝的操作および結果選択るようにしている。cは条件(B-1) を満たした提案手法では遺伝的操作として選択，交叉，場合のみカウントを行うため，より完全な点字突然変異が使用される。NSGA-II で用いられブロックに適応させることができるが，画像る遺伝的操作である選択には，入れ替えのない中にノイズが多い場合には上手く機能しない。

Crowded binary tournament selection を 使 用

そこで，条件(B-1) または(B-2) のいずれかしている。これは，前回の探索で見つかった優が満たされた場合にカウントを行うc を追加

良個体を次の世代に伝播させるために，親集することで，テストポイントにノイズがある場団の非優越解を非優越ランクと混雑度距離に合であっても，個体を適切に評価できるよう基づいて選択を行う。また子集団は，選択さにした。目的値v1とv1にはcとcの負数が設定れた染色体の交叉と突然変異によって生成さされる。これは，点字ブロック検出の最適化問れ る。交 叉 に は simulated binary crossover

題が最小化問題として設計されているためで(SBX)，突 然 変 異 に は polynomial mutationある。

(PM)が使用される。SBX はバイナリエンコー

目的関数 2 は点字ブロック上から撮影した一ドされた実数の決定変数の一点交叉を再現し，人称視点画像において，点字ブロックが直線的

PM は突然変異としてビット反転を行い，これな形状であることを特徴として用いた。目的関らの遺伝的操作によって，親に近い子孫を生成

数 2 では，直線に対する類似性と距離を使用ししている。提案手法では，NSGA-II の交叉確た最適化を行う。この手法では，特定のエッジ率を 1.0，突然変異確率を 0.25 に設定して実行抽出方法で得られた点字ブロックの輪郭を含むしている。

エッジ画像から直線を検出する。この時，エッNSGA-II を実行して得られた非優越解からジ画像を距離変換画像に変換することで，各画最終的な解を選択するにあたって，点字ブロックの領域を明らかに示さない個体を取り除き，残りの個体の平均を取っている。各個体は，LP の交点が画像下部に位置している場合か，画像下部のほとんど同じ座標から LP の 2 本の

図4(a) 入力画像，(b) エッジ画像，(c) 距離変換画像

線が始まっている場合に，点字ブロックの領域― 3 ―立石科学技術振興財団を明らかに示さないと判断される。
3

実験と結果

3. 1

実験環境

実験では，実際に提案手法を用いて画像データセットに対して点字ブロック検出を行い，手作業でアノテーションした正解の LP との誤差を比較することで検出精度を評価する。画像テ
ストデータセットは，点字ブロック上から一人称カメラ (Vuzix M400) で撮影された一人称画像 で 50 枚で，照 度変 化，影，欠 損，遮蔽，撮影角度変化の 5 つの状況が含まれており，それぞれ 10 枚ずつで構成されている。いずれも320×240 画素の RGB カラー画像である。また，全ての実験結果は，異なる乱数シード値を用いた 10 回試行結果の平均値を用いている。
評価指数には，手作業でアノテーションした
正解の LP との交点以下の平均位置誤差とした(画像内に交点が位置していない場合には，LP(a) 実線は個体数ごとの 10 回試行結果の平均値を示しており，凡例は個体数を表している。
(b) 実線は世代数ごとの 10 回試行結果の平均値を示しており，凡例は世代数を表している。

図5全体の平均位置誤差としている)。平均位置誤

画像データセットにおける平均位置誤差ごとの検出
成功率

差 に は 下 記 の 式 で 定 義 さ れ，Root Mean
200 で十分であることがわかる。また，個体数

Squared Error (RMSE) を用いた。

300 で検出成功率が低下しており，過剰な個体

RMSE=∑  x−x

数は誤検出を増加させている。図 5(b) には最2大世代数を 10 から 50 まで 10 世代ごとに変化 h−yさせた結果を示す。個体数はすべて 200 で行った。検出精度は 30 世代でほとんど上限に到達

ここで，xとxはそれぞれ検出された LP とし，50 世代では必要十分な最良の結果が得ら

正解の LP の x 座標であり，yは正解の LP のれることが分かる。

交点の y 座標，hは画像の高さを表す。

3. 3

3. 2

検出精度の評価実験

次に，得られた最適なパラメータ設定を用いパラメータチューニング

NSGA-II では，個体数と最大世代数をパラて得られた実験結果を示す。NSGA-II は個体メータとして設定する必要がある。そのため，数 200，世代数 50 で実行した。図 6(a) が示す

まず個体数と世代数ごとに実験を行った。

ように，平均位置誤差が 3 画素以下の場合，提図 5 に個体数と世代数別の結果を示す。図 5

案手法による点字ブロックの検出成功率は(a) は個体数を 50 から 300 までの範囲で 50 ご95% 以上であることがわかる。ここで，平均とのに変化させた結果であり，世代数はすべて位置誤差が 3 画素以内であれば，画像中から点50 としている。個体数 200 と 250 で最良の結字ブロックの識別するのには十分である。図 6果が得られ，この結果から実験に使用した画像(b) に各状況ごとの数値結果を，図 7 に出力の大きさでの特徴空間の探索には，個体数は結果の画像を示す。これらの結果が示すように，― 4 ―Tateisi Science and Technology Foundation(a) 実線は 10 回試行結果の平均値を，赤の領域は最大値から最小値までの範囲を示している。
(b) 実線は状況ごとの 10 回試行結果の平均値を，凡例は各状況を表している。

図6

画像データセットにおける平均位置誤差ごとの検出成功率

提案手法は，撮影角度変化，影，欠損に強く，障害物や照度変化においても十分な精度があり，様々な状況下で点字ブロック検出が可能である

入力画像に検出結果の LP が描画されている。図の上から，撮影角度変化，欠損，照度変化，遮蔽，影の例が示されている。

図7

ことがわかる。ただし，点字ブロック上に障害各状況ごとの出力結果物がある場合は色や形状の特徴が十分に得られないことがあり，照明変化が大きい場合には色の特徴が全く得られないために，いずれの場合も検出精度が少し低下している。両方の特徴が十分に得られない場合や，片方の特徴が全く得られない場合に検出が難しくなることが分かる(図 8)。以上のように，提案手法を用いた点字ブロック検出は，様々な状況下で柔軟に対応ができ，ロバストな検出が可能であることが得られた結果からわかった。

図8― 5 ―

検出に失敗した場合の出力結果

立石科学技術振興財団指す。なお，本研究の詳細は成果発表 [1] に[今後の研究の方向，課題］て論じており，関連研究の調査結果は成果発表
本年度は主に多目的最適化を用いた点字ブ[2] にまとめられている。

ロック検出手法を提案した。実験の結果，提案手法は様々な状況を含む画像データセットにおいて高い検出成功率を示し，実シーンの一人称[成果の発表，論文等］[1]

Tsubasa Takano, Takumi Nakane, Takuya

視点の画像から点字ブロック検出するのに有効Akashi, Chao Zhang, “Braille Block Detection viaであることがわかった。点字ブロックの色と形

Multi-Objective Optimization from an Egocentric状の特徴を利用した 2 つの目的関数に対する最適化により，一方の特徴量が十分に利用できな

Viewpoint”, Sensors, Vol. 21, No. 8, article number2775, 15 pages, 2021
[ 2 ] Takumi Nakane, Naranchimeg Bold, Haitian Sun,

い場合でも，もう一方の特徴空間から適切な解

Xuequan Lu, Takuya Akashi, Chao Zhang, “Appli-を導き出すことができ，ロバストな検出が可能

cation of Evolutionary and Swarm Optimization inになった。点字ブロックの検出結果に基づいて，歩行者の歩行姿勢を判定することが可能であり，今後の研究で歩道から外れていることを実際に聴覚で感じてもらうことで感覚代行の実現を目― 6 ―Computer Vision : A Literature Survey”, IPSJ
Transactions on Computer Vision and Applications,Vol. 12, No. 3, pp. 1-34, 2020