複雑に歪んだQRコードを復号する技術
Nov. 7th, 2023
鹿児島大学大学院 理工学研究科工学専攻 情報・生体工学プログラム
教授 小野 智司
ono@ibe.kagoshima-u.ac.jp

1

新技術の概要

Decoding Distorted QR Codes

 複雑に歪んだ2次元コードを復号する技術
提案方式1: 歪んだ(一般的な)2次元コードを復号
http://bit.do/ef5



提案方式2: 補助パターンを2次元コードに埋め込んでおき，より複雑に歪んだ場合でも復号

2

研究分野の背景や社会的位置付け

Decoding Distorted QR Codes 背景: 2次元コードの普及
低コスト，環境負荷が低い
 大容量の情報の付与が可能
 物理世界からデジタル情報への「ショートカット」
 問題点:
 印刷された紙や布が歪むと，復号が困難に

線形，均一な歪み非線形，不均一な歪み復号可

復号不可

3

Decoding Distorted QR Codes

従来技術（一般的な2次元コードの復号手順）
 四隅のパターンをもとに線形補間によりコード列を取得

位置検出パターンをもとにサンプリンググリッドを計算
0 10 1

http://www...

0 00 00 00 10 10 1
1 1

各モジュールの中心の明暗をもとに，0または1のいずれの値であるかを判断

0101011101000000…

コード列を取得

歪んだ2次元コードの復号の難しさ

Decoding Distorted QR Codes サンプリンググリッド（明暗を読み取る位置）が，実際のモジュール中心からずれてしまう

サンプリンググリッド
実際のモジュール中心

1 0 1 0 1 1
1 1 1 1 0 0
1 1 1 0 1 0
0 1 0 0 1 00 0 1 0 0 0

読取りエラー5

Decoding Distorted QR Codes

従来技術（均一に歪んだQRコードを復号）
 包絡線を用いた復号方式 [水本 2004]

二次元コードの包絡線から、補助線を形成 緩やかな歪みを認識して復号が可能
 局所的な歪みや遮蔽を生じる歪みへの対応が困
難

補助線
二次元コードの輪郭（包絡線）[水本 2004] 水本裕之, 瀬口陽太郎, “二次元コード読取装置”, 特許出願公開番号 特開2004-362053, 2004.

6

Decoding Distorted QR Codes

提案方式の特徴，独創性
 不均一に歪んだ2次元コードを復号可能
補助パターン

均一な歪み

不均一な歪み

先行研究： 包絡線を用いた復号方式 [水本 2004]

不要

○

×

提案方式1

不要

○

○

提案方式２：
必要
補助線を用いた復号方式

○

○

7

Decoding Distorted QR Codes

提案手法のキーアイデア 各エッジの座標を推定し，QRコードを復元
座標: 歪んでいないQRコードにおける位置
 複雑に歪んだQRコードを復号できる 11 12 13 14 15 16 17

8 7 6 5 4(12,6)-(13,6)(12,6)-(12,7)

1520250510 15 20 250105525 20 15 1008

Decoding Distorted QR Codes

組合せ最適化によるモジュール位置の同定
 定式化：


強い制約: エッジ間の位置関係に基づいた制約

eiej ekl (ei )  l (e j )l (e j )  l (ek )9Decoding Distorted QR Codes

組合せ最適化によるモジュール位置の同定
 定式化：


強い制約: エッジ間の位置関係に基づいた制約

10

Decoding Distorted QR Codes

組合せ最適化によるモジュール位置の同定
 定式化：


弱い制約: 同じラベルのエッジを結ぶ補助線がなるべく滑らかになるようにする
10101313 1410911 1211 121312 13

Decoding Distorted QR Codes

組合せ最適化によるエッジ同定（垂直方向）

Cost function value

0.25
0.2
0.15
0.1
0.05001000
2000
Cost function evaluation counts

Decoding Distorted QR Codes

組合せ最適化によるエッジ同定（垂直方向）

Cost function value

0.25
0.20.15
0.1
0.05
00500
1000
Cost function evaluation counts

1500

Decoding Distorted QR Codes

組合せ最適化によるエッジ同定（水平方向）

0.4

Cost function value

0.35
0.3
0.25
0.2
0.15
0.1
0.05
00200

400600

Cost function evaluation counts

Decoding Distorted QR Codes

組合せ最適化によるエッジ同定（水平方向）

0.4

Cost function value

0.35
0.3
0.25
0.20.150.1
0.05
0050100150200

Cost function evaluation counts

250

スマートフォンアプリとして実装

Decoding Distorted QR Codes

サーバに画像を送信し，復号結果を返す形で実装

16評価実験: 従来方式との比較実験

Decoding Distorted QR Codes

 実験内容： 提案方式の歪みに対する頑健性を検証
比較手法
 提案方式1: 一般的な2次元コードを復号
 提案手法1+: 深層NNを利用した前処理を追加（未発表） 提案方式2a: あらかじめカラー補助線を埋込み
 提案方式2b: あらかじめ白黒補助線を埋込み
 包絡線を用いた復号方式[水本 2004]
 利用画像: CGシミュレーション上で作成（300枚）
17

評価実験: 従来方式との比較実験

Decoding Distorted QR Codes

 提案手法1は，カラー補助線を利用する方式に近い性能を示した

 提案方式1: 一般的な2次元コードを復号
 提案手法1+: 深層NNを利用した前処理を追加（未発表） 提案方式2a: あらかじめカラー補助線を埋込み
 提案方式2b: あらかじめ白黒補助線を埋込み復号成功画像数

 包絡線を用いた復号方式[水本 2004]
300
200
1000
提案方式1提案手法1+

提案方式2a提案方式2b従来方式[水本2004]18

Decoding Distorted QR Codes

評価実験: 実験結果

 提案方式における復号成否と歪み量・遮蔽量の関係
遮蔽量の少ない画像においては高い精度で復号可能
 遮蔽量が30程度であれば復号可能

遮蔽量



50
454035302520151050

復号成功
復号失敗

01020
歪み量

3040

歪み量：参照点が歪みにより移動したときの平均2乗誤差平方根（RMSE）
遮蔽量：歪みにより視認できないモジュールの数

19

Decoding Distorted QR Codes

評価実験: 実験結果
 復号に成功したパターン

遮蔽領域付近に誤りがあるものの，それ以外の領域を正しく復元できている
撮影画像
復元結果
50
復号成功45

復号失敗

40

遮蔽量

3530252015105001020304050

歪み量

20

Decoding Distorted QR Codes

評価実験: 実験結果
 復号に失敗したパターン


遮蔽領域が複数存在すると誤りモジュールが増加する
撮影画像

復元結果

50
復号成功

45

復号失敗

40

遮蔽量

3530252015105001020304050

歪み量

21

想定される用途

Decoding Distorted QR Codes

 交通機関，病院等における認証
航空機搭乗券，乗車券，等
 患者管理 金券，証書の認証
 店舗におけるセルフレジ
 工場，倉庫における部品，商品管理22実用化に向けた課題

Decoding Distorted QR Codes

 実用化に向けた課題：


復号速度の高速化が必要 現在: サーバ上で復号，2〜3秒

スマートフォン単体で復号を行えるようアプリ化
 試作中



バーコードリーダへ実装

23希望する産学連携の形態

Decoding Distorted QR Codes

 連携を希望する企業様
2次元コード復号機器（バーコードリーダ）
製造業者様 スマートフォンアプリケーション開発業者様 希望する連携の形態
共同研究 ライセンス提供24

本技術に対する知的財産権

Decoding Distorted QR Codes 歪んだ2次元コードを復号する技術
小野 智司, 神薗 誠, 鞍津輪 一希:"コード復号装置、コード復号方法及びプログラム", 特開2021-184141 (2021.12.2公開).
 小野智司, 川崎洋, 川上雄大, 藤田晋輔:"２次元コード、画像読取装置、画像読取方法、プログラム及び記憶媒体",
特許第5756947号 (2015.6.12),
特許第5988228号(2016.8.19).
25

本技術に関連する知的財産権

Decoding Distorted QR Codes 2次元コードを装飾する技術
小野他: “2次元コード、2次元コード生成方法、2次元コード生成装
置、プログラム及び記憶媒体”, 特許第6078878号（2017.1.27） 特許第6270178号
 小野他: "2次元コード生成方法、2次元コード生成装置、プログラム及び記憶媒体", 特許第5686346号(2015.1.30).
 小野他: "画像処理装置、画像処理方法、プログラム及び記録媒体",
特許第5071853号 (2012.8.31).
 2次元コードの不正な複製を検知する技術
小野他: "透かし入り二次元コード、認証装置、認証システム、認証方法、及びプログラム", 特開2016-35751 (2016.3.17公開）.
 小野他: "コード評価装置、コード評価方法及びプログラム", 国際公開番号WO 2015001908 (2015.1.8国際公開).
 小野他: "透かし情報埋込装置、透かし情報処理システム、透かし情報埋込方法、及びプログラム", 日本 特許第4713691号 (2011.4.1),
US8,498,443 B2 (2013.7.30), 中国 ZL2010 8 0024507.0 (2014.8.27),
欧州 2439921 (2015.08.15)
26

お問い合わせ先

Decoding Distorted QR Codes

 国立大学法人 鹿児島大学

南九州・南西諸島域イノベーションセンター
知的財産・リスクマネジメントユニット
 〒890-0065
鹿児島市郡元1-21-40
 TEL：099-285-7043
 FAX：099-285-3886
 E-mail：tizai@kuas.kagoshima-u.ac.jp

27