コード化点字ブロックの仕組みを活用した
ピクトグラムの音声化・多言語化の研究
松井 くにお ∗，坂本 真仁 †，堀田 耕一郎 ‡2024 年 3 月 18 日
概要
ピクトグラム（案内用図記号）は，不特定多数の人々が利用する公共交通機関や公共施設，観光施設等において，文字・言語によらず対象物，概念または状態に関する情報を提供する図記号である．識字が困難な方や外国人観光客等にも理解が容易な情報提供手法として，日本を含め世界中の公共交通機関，観光施設等で広く掲示されている．その一方で，ピクトグラムは爆発的に種類が増え，その結果ピクトグラムだけでは正確に伝わらない場合がある．また，現状のピクトグラムから得られる情報だけでは不十分な場合もある．
たとえばピクトグラムを確認しただけでは，対象物までの方向や距離などの情報は得られない．そこでコー
ド化点字ブロックの音声提供の仕組みを利用して，ピクトグラムの音声化・多言語化を行ない，ピクトグラ
ムから更に付加的な情報をユーザに与えるシステムを提案する．提案システムの実現に向けて，ピクトグラ
ム判別システムの実装に取り組んだ．本稿では実装したピクトグラム判別システムのプロトタイプ二種類について解説する．評価の結果シンプルなプロトタイプはピクトグラム判別に約 625 ms 要し，判別精度向上の工夫を取り入れたプロトタイプは判別精度は向上したが，ピクトグラム判別に約 1578 ms 要することが明らかになった．
キーワード：ピクトグラム判別，特徴点マッチング，ホモグラフィ行列，オイラー角や方向といった情報が伝わらない．

はじめに

1

上記の問題に対して，しゃべるピクトグラムを提案する．これはピクトグラムから更に付加的な情報

ピクトグラム（案内用図記号）は，言語に依存せをユーザに対して与えるシステムである．これは文ず対象物，概念または状態に関する理解が容易な情化的知識が無い人や目が見えづらい人も，ピクトグ報提供手段として用いられている [1]．

ラムを利用可能にするユニバーサルかつインクルー

たとえば図 1 に示すピクトグラムは，公共施設やシブなシステムである．

公共交通機関などで実際に使用されており，とくに本稿では JIS 規格のピクトグラムに絞ってピクト

図 1(a) に示す非常口のピクトグラムはよく知られグラム判別システムを実装および評価する．これにた，わかり易いピクトグラムの一例である．

よりピクトグラムの音声化・多言語化に向けたシス

一方で図 1(b) や図 1(c) のように，何を表していテム基盤の構築を目指す．

るか明瞭でないピクトグラムや，図 1(d) のように，家の中で靴を脱ぐ文化的な知識が必要なものなど，立場によっては理解が容易でないピクトグラムもある．また，ピクトグラムだけでは対象物までの距離

2

関連研究

2.1

コード化点字ブロック

よく知られた案内用設備に視覚障がい者誘導ブ∗

Kunio Matsui, Kanazawa Institute of Technology
Shinji Sakamoto, Kanazawa Institute of Technology‡
Kohichiro Hotta, Professional University of Informationand Management for Innovation†

ロック（以下，点字ブロック）がある．点字ブロッ

12.2

物体認識技術

画像から物体を検出・認識する技術は，その実用性から広く研究されている．たとえば伊藤らは，画像をフーリエ変換して得られる位相情報を用いて画像をマッチングする手法を提案している [5]．提案(a) 非常口された手法は従来手法と比較して高精度な画像マッ(b) 案内チング手法であるが，特徴点マッチングによるシンプルな画像マッチングと比べて低速である．
ピクトグラムを認識するシステムに関しても関連する研究がある．久野らは CNN（畳み込みニューラルネットワーク）によるピクトグラム認識手法を提案している [6]．CNN では判別すべきピクトグラ
ムが増えるたびに全データを使った学習のやり直し(c) 案内所が必要である．

(d) 土足禁止

図 1: ピクトグラムの例

3

クは，線状の突起が進行方向に沿って並んで配列されている誘導ブロックと，点状の突起が配列されて実装システム実装する二種類のプロトタイプについて述べる．

いる警告ブロックがある．しかし，警告ブロックだ
けでは何が警告されているかわからず，従来の点字プロトタイプ A

ブロックはピクトグラムと同様に十分な情報が提供

カメラ画像と正解画像の特徴点マッチングによできているとは言えない．

るシンプルなピクトグラム判別システム [7]上記の問題に対して，コード化点字ブロック [2–4]

プロトタイプ Bが提案されている．コード化点字ブロックとは，向特徴点のパターンからホモグラフィ行列を推定きを明らかにするための印と，突起それぞれに対しし，推定した行列とカメラ行列からオイラー角て印アリと印ナシの二者択一を割り当てることで，を求めることによってピクトグラムを判別する

コードを識別できる点字ブロックおよびその技術をシステム [8]指す ．また，コード化点字ブロックを専用アプリ
1）

どちらのプロトタイプも共通して特徴点検出で読み取ることにより，設置箇所に応じた案内文をと 特 徴 量 記 述 を 行 う．特 徴 点 検 出 と 特 徴 量 記 述

読み上げる仕組みも広義のコード化点字ブロックでには，商用/非商用を問わず利用できる A-KAZEある．

（Accelerated KAZE）を用いる [9]．

コード化点字ブロックは，識別番号のためのコー

A-KAZE は画像から頂点や線の交わりといった特ドが付与された点字ブロックであり，アプリを利用徴的な座標を検出し，検出した座標の固有性を特徴してコードを読み取らせることでその場に適した情量として算出する手法である．特徴点検出と特徴報を提供できる．本研究ではコード化点字ブロック

量記述に係る従来手法である SIFT（Scale-Invariantの音声化・多言語化の仕組みを活用して，ピクトグ

Feature Transform）や SURF（Speeded-Up Robust

ラムの利用価値向上につなげる．

Features）の欠点を改善した KAZE [10] がさらに改良された手法が A-KAZE であり，KAZE と同様に

1） JIS 規格の警告ブロックは 5 × 5 の突起と定められている
ため，JIS 規格の警告ブロックをコード化する場合，前後左右の 4 パターンと 225 の組み合わせとなり，1 億 3000 万通りを超えるコードが発行できる．

拡大や縮小，回転に強い特徴を持ったまま KAZE に比べて計算時間を短縮している．
2

3.1 プロトタイプ A
特徴点マッチングによってピクトグラムを判別するシステムがプロトタイプ A である．プロトタイ

図 2: 対応する四隅の全パターン

プ A はよく知られた物体認識技術を用いて実装され，ある意味で教科書通りの正攻法といえるシンプルなピクトグラム判別システムである．

として扱う．

正解画像の特徴点とカメラ画像の特徴点を比較

オイラー角は，三次元空間内の各軸に対する回転し，類似度の高い特徴点同士を対応付けることで，を表す角度であり，三次元回転行列から変換が可能

どの正解画像のピクトグラムがカメラ画像に写ってである．このオイラー角の各軸に対する角度の絶対いるかどうか総当たりで処理する．

値の合計が小さいほど，カメラに対してピクトグ類似度の計算にはハミング距離を用いており，類ラムが正面を向いていることを表す．反対に，オイ似度が高いかどうかの判断にはレシオテスト2）を

ラー角の各軸に対する角度の絶対値の合計が大きい行う．

ほど，カメラに対してピクトグラムが斜めに傾いていることを表す．プロトタイプ B では，得られたオ3.2 プロトタイプ B

イラー角の各軸に対する角度の絶対値の合計に基づ

プロトタイプ A では，カメラ画像内に正解画像以いて判別を行う．

外の被写体が存在する場合，正解画像とは関係のなオイラー角を算出する過程で，現実にはありえない特徴点同士が対応付けられてしまうことがあり，い変形が行われるようなホモグラフィ行列や角度がその結果判別誤りが発生する問題点がある．

算出される場合がある．その場合には不適切である

そこで，特徴点のパターンからホモグラフィ行列と判断し，それ以降の処理を行わないことで，誤っを推定し，推定した行列とカメラ行列からオイラーた判別結果の出力を防ぐとともに，パフォーマンス角を求めることによってピクトグラムを判別するシの向上を図るべく次の工夫を施す．

ステムを提案する．

カメラ画像に含まれるピクトグラムを，正解画像

ホモグラフィ行列とは，二次元平面上の点の座標のように正面を向けるための変換において，対応すを異なる二次元平面上の点の座標に射影変換（ホモる四隅に注目すると，本質的には図 2 に示すようグラフィ変換）するのに用いられる行列であり，二な，三パターンに分類できる．このうち，すべての次元座標点の平行移動，回転，拡大縮小，せん断等

角が 180 度未満の四角形を成していない対応パターの変換ができる．ただしホモグラフィ行列には三次ンは現実にはありえない．すなわち誤った判別であ元の回転情報が含まれていないため，ホモグラフィる．実際の対応パターンの例を図 3 に示す．図 3(a)行列からはオイラー角を算出できない．そこで，ホは適切であり問題ないが，図 3(b) や図 3(c) は，現モグラフィ推定によって得られたホモグラフィ行列

実にはありえない変形であるため，その後の処理をとカメラ行列から三次元回転行列を算出する．

行わず判別結果を無効とする．図 3(a) に示すようカメラ行列とは，カメラの内部パラメータを表すな正解画像候補の中から最も回転角の絶対値の和が行列であり，焦点距離や画像の中心座標，レンズの小さな正解画像を判別結果とする．

歪み等の情報を持つ．カメラ行列は通常，カメラの4キャリブレーションによって算出されるが，プロト
タイプ B においては，カメラ行列を既知であるもの

比較評価
一枚のカメラ画像からピクトグラムを判別するた

2） レシオテストとは，最も類似度が高い特徴点と，2 番目に類似度が高い特徴点との特徴量差を求め，しきい値未満の場合は対応付けないようにする手法である．

めの平均処理時間とその精度によって実装したプロトタイプを比較評価する．
3

(a) 適切な四隅の対応例(b) 不適切な四隅の対応例 1(c) 不適切な四隅の対応例 2

図 3: 対応する四隅の全パターンの実例
表 1: プロトタイプ A における判別処理時間

4.1 判別対象とするピクトグラム

項目

JIS Z 8210 [1] を含む標準案内用図記号 [11] に定められた 156 種類を判別可能なピクトグラムの対象とする．評価のために商業施設として登録されている 11 種に対して 156 種類のうちどのピクトグラム

時間 [ms] 割合 [%]特徴点検出と特徴量記述

102.0

16.3

マッチングおよびその他

522.9

83.7

全体

624.9

100.0

表 2: プロトタイプ B における判別処理時間であるか判別する．判別処理時間および判別精度の評価には，正解画像を加工して生成したデータセッ

項目トを用いる．

特徴点検出と特徴量記述

219.213.94.2 判別精度評価方法

マッチングおよびその他

1359.086.1

全体1578.2100.0

判別精度の比較評価のために式 (1) に示す評価指標を用いる．

4.3

θϕ

θ

ϕrank(θ, ϕ)cos θ cos ϕ

評価結果

判別処理時間を表 1 と表 2 にそれぞれ示す．プロ

X X cos θ cos ϕ
S = XX

時間 [ms] 割合 [%]トタイプ A では，一枚のカメラ画像を判別するため(1)の平均処理時間は約 625 ms である．一方プロトタ
イプ B では，平均処理時間は約 1578 ms であり，判別に要する処理時間はプロトタイプ A の方が短い．

ここで S は角度を考慮した判別精度スコアであり，プロトタイプ A の判別精度および抽出された特0 から 1 の実数値をとる．θ と ϕ はカメラ画像内の徴点数を図 4 に示す．同様にプロトタイプ B の判別

ピクトグラムの横方向と縦方向の角度をそれぞれ表精度を図 5 に示す．プロトタイプ A の全体平均判し，−90 度から +90 度までの値となる．rank(θ, ϕ)

別精度は 0.411 であり，プロトタイプ B は 0.469 では角度 θ, ϕ における正解画像の候補番号である．

ある．プロトタイプ B の方がプロトタイプ A と比

たとえば，角度 θ, ϕ において正解画像が第一候補較して平均的に良い結果が得られた．の場合は rank(θ, ϕ) = 1 であり，第二候補の場合5は rank(θ, ϕ) = 2 である．本評価シナリオにおいては 156 種類のピクトグラムから判別を行うため，rank(θ, ϕ) は 1 から 156 までの整数値をとる．

考察
ピクトグラム判別に要する時間は短ければ短いほ

式 (1) では，ピクトグラムを判別する際の角度をど好ましい．ユーザ中心のパフォーマンスモデルで重みとして考慮する．すなわち正面（θ = ϕ = 0）かある RAIL モデル [12] によると，ユーザが不快に感ら撮影されたピクトグラムはスコア S への影響が大じない応答時間は一秒以下であるとされている．そきく，角度が加わると影響は小さくなる．のため，処理時間を一秒以下にすることが望まし
4

図 4: プロトタイプ A の判別精度および抽出された特徴点数

図 5: プロトタイプ B の判別精度のため，特徴点を多く検出できるような工夫を施す
ことでプロトタイプ A の判別精度向上が図れるかもしれない．また，図 6 のようにあるピクトグラムが別のピクトグラムを包含するような場合に精度が低下することがわかった．この問題解決のために，(a) 配達サービス

特徴点マッチングの際にこれまで使わなかったマッ(b) 手荷物受取所チしていない特徴点を利用するアイデアがある．

図 6: あるピクトグラムが別のピクトグラムを包含する例

6

い．ピクトグラム判別に要する処理時間の観点では，プロトタイプ B は判別所要時間の観点から改善

まとめ
ピクトグラムの画像を判別してコード化し，コーが必要であり，現状ではプロトタイプ A の方が実用ド化点字ブロックの音声提供の仕組みを利用して，に適している．

ピクトグラムの音声化・多言語化を行なうため，ピ判別精度に関して，プロトタイプ B の方がプロトクトグラム判別システムの実装に取り組んだ．

タイプ A と比較して平均的に良い結果が得られた

本稿では実装したピクトグラム判別システムのプが，プロトタイプ A においても抽出された特徴点数

ロトタイプ二種類について解説した．実装したプロが多ければプロトタイプ B より良い場合もある．そ5

トタイプを評価した結果，シンプルなプロトタイプ

Vol. 17, No. 3, pp. 10–13, 2021.

A はピクトグラム判別に約 625 ms 要する．判別精[4] 松井くにお. コード化点字ブロックによる AI度向上の工夫を取り入れたプロトタイプ B はプロト

音声情報案内サービス. 研究結果報告書集:

タイプ A と比較して判別精度は向上したが，一方で交通安全等・高齢者福祉, Vol. 27, pp. 31–35,

ピクトグラム判別に約 1578 ms 要し，RAIL モデル

2021.

によるユーザが快適に感じるとされる処理時間を超[5] 伊藤康一, 高橋徹, 青木孝文. 高精度な画像える結果となった．

マッチング手法の検討. 第 25 回信号処理シン

今後は撮影したピクトグラムに応じて，多言語にポジウム, No. C5-1, pp. 547–552, 2010.

対応した音声案内を行うシステムを実装したい．そ[6] 久野真輝, 熊谷瞭, 竹本修, 野崎佑典, 吉川雅のために判別したピクトグラムとその位置情報を弥. CNN によるピクトグラムの認識率の定量サーバで集約し，その場に適した音声案内を提供す的評価とその改善手法. 電気学会研究会資料.

るシステムを構築する．また，あるピクトグラムがIS/情報システム研究会 [編], Vol. 2023, 19-24・別のピクトグラムを包含するような場合に精度が低

26-35, pp. 11–16, 2023.

下する問題の解決のために，マッチしていない特徴[7] 藤田和希, 知野凌大, 坂本真仁, 堀田耕一郎, 松

点を利用するアイデアを実装して評価したい．

井くにお. 特徴点マッチングによる JIS 規格ピクトグラム判別システム. 情報処理学会第 86謝辞回全国大会講演論文集, pp. 5ZH–04, 2024.
[8] 知野凌大, 藤田和希, 坂本真仁, 堀田耕一郎, 松

本研究は北陸地域づくり協会による第 28 回「北井くにお. ホモグラフィ推定による JIS 規格の陸地域の活性化」助成番号 2023 地域 20 の助成によ

ピクトグラム判別システム. 情報処理学会第り実現した．ここに謝意を示す．また，報告者らと86 回全国大会講演論文集, pp. 5ZH–05, 2024.

共に本研究に取り組んだ金沢工業大学の知野凌大[9] Pablo F Alcantarilla and T Solutions. Fast ex-氏，藤田和希氏，中村涼氏，および情報経営イノ

plicit diffusion for accelerated features in nonlin-

ベーション専門職大学の長井悠氏，熊田有里氏に感

ear scale spaces. IEEE Trans. Patt. Anal. Mach.

謝する．

Intell, Vol. 34, No. 7, pp. 1281–1298, 2011.
[10]

参考文献

Pablo Fernández Alcantarilla, Adrien Bartoli,and Andrew J Davison. KAZE features. In
Computer Vision–ECCV 2012:

12th Euro-[1] バリアフリー：案内用図記号（JIS Z8210）（令pean Conference on Computer Vision, Florence,

和元年 7 月 20 日） - 国土交通省. https://Italy, October 7-13, 2012, Proceedings, Part VI

www.mlit.go.jp/sogoseisaku/barrierfree/12, pp. 214–227. Springer, 2012.

sosei_barrierfree_tk_000145.html. (最 終[11]アクセス日時 2024 年 3 月 17 日).

公 益 財 団 法 人 交 通 エ コ ロ ジ ー・モ ビ リ テ ィ
財団 | バリアフリー推進事業 > 標準案内[2] 飯田優也, 青木貴也, 早川智之, 澤野弘明, 鈴木

用図記号 > 標準案内用図記号使用上の注

裕利, 千葉和也. コード化点字ブロックを利用

意. https://www.ecomo.or.jp/barrierfree/

した弱視者向け周辺情報提示手法の検討. 電

pictogram/picto_attention%202021.html.

子情報通信学会技術研究報告; 信学技報, Vol.

(最終アクセス日時 2024 年 3 月 17 日).

119, No. 86, pp. 13–18, 2019.

[12]

Google Web Fundamentals, “Measure perfor-[3] 埴田翔. 工学系私大で産学連携が活性化 金沢

mance with the RAIL model”. https://web.

工業大学における産官学連携による社会実装

dev/articles/rail. (最終アクセス日時 2024

型研究への取り組み. 産学官連携ジャーナル,年 3 月 17 日).
6