レター

色収差を考慮した拡張ルックアップテーブルに基づく
超広角カメラ用キャリブレーション手法
中本陸人*1，清水創太*1，小田哲也*1，野口遥介*1，アレッサンドロ・カルフィ*2，フルビオ・マストロジョバンニ *2

Calibration Method for Ultra-Wide-Angle Cameras based on
Extensive Correction Lookup Tables Taking into Account Color Aberrations
Rikuto Nakamoto*1, Sota Shimizu*1, Tetsuya Oda*1, Yosuke Noguchi*1,Alessandro Carfi*2 and Fulvio Mastrogiovanni*2
In this paper, we propose a method to remove distortion from highly-distorted input images by an ultra-wide-angle vision
sensor. We extend an extensive look-up table step by step by taking into account reduction of chromatic aberration, asiteratively concatenating look-up tables for distortion removal using projective transformation of a local small square latticepattern. Comparative evaluation experiments of RGB values before and after removing distortion were conducted. Results
by our proposed method demonstrated effectiveness for more reliable feature point matching and object recognition by reducing
chromatic aberration.
Key Words: Camera calibration, Ultra-Wide-Angle camera, Distortion correction, Chromatic aberration reduction, ExtensiveCorrection lookup table法[5]のように局所的に狭い視野範囲のみを覆うサークルグリッドパターンやチェスボードパターンのような小さなテストパターンを反復して使用することにある．さらに，これらの入力
近年，センサ技術の発展に伴い，ロボット技術の向上がさら画像から極めて広い視野をカバーする歪み除去ないしは補正画に加速している．その中でも可視光カメラすなわち画像センサ
像を，色収差補正を考慮しながら，複雑な計算を行わずに作成
は様々な用途のために，様々な場面で活躍している[1]．特に要できる点である．これらの特長により，SLAM 等で用いられる救助者の迅速な人命救助を行う必要のあるレスキューロボット対応点探索や，CNN ベースの物体認識をより高い信頼性をもっ用の眼として，我々の日常生活に潜む潜在的な危険を回避するて実現出来るようになる．
ための監視カメラなどにおいては，一般的に焦点距離の短い超
本論文の 1 章では，本研究の背景と目的について述べた．2 章
広角カメラの利用への期待が大きい．Raspberry Pi カメラモジ
では，本研究に必要な先行研究について紹介する．3 章では，
ュール V2 用の VR 用途向け超広角レンズは水平画角が 220 度
提案手法のアルゴリズムの詳細を解説し，色収差を考慮して反もある．こうした超広角画像センサからは，全方位観測ととも復的に拡張される歪み補正ルックアップテーブルの作成手法及に，1 台の画像センサを単機能的にのみ使用するのではなく人び歪み除去手法について述べる．4 章では，提案手法の色収差間の眼がそうであるように，多機能的な利用が望ましい[2][3][4]．の軽減に関する検証実験を行い，定量的に考察を行う．5 章で超広角画像センサからの入力画像(Fig. 1)は歪みが極めて大きは，本研究の総括し，今後の展望についても述べる．
く，既に提案されてきた様々が画像処理を適用するには，歪み補正(除去)を行う必要がある．そこで本研究では，超広角画像セ
2. 先行研究
ンサのような特殊な歪みを有するセンサに対応した歪み除去ないしは補正手法を提案する．本提案手法の特長は，広角カメラ 2.1 局所正方格子の反復的射影変換による補正ルックアの広い視野に対応して，歪み補正に使用される格子点を一度に ップテーブルの拡張
高村らは局所正方格子テストパターンを反復利用した拡張的与える巨大なテストパターンを利用せず，広く知られた Zhang
歪み補正手法を用いて広角中心窩(Wide Angle Fovea(WAF))セン
原稿受付 2023 年 7 月 10 日
サ画像の歪みの除去を実現している[6]．また，画像に幾何学的*1 芝浦工業大学
変換を用いたイメージモザイキング技術[7]を応用して複数の*2 ジェノバ大学
補正ルックアップテーブルを反復的に結合している．Fig. 2 に*1 Shibaura Institute of Technology
補正ルックアップテーブルを拡張する概念図と，Fig, 3 に当該*2 University of Genoa
手法を用いて段階的に広い範囲の歪み補正画像が生成される様

1. 序論■本論文は XX 性（XXX 分野）で評価されました．

(3)

(4)

Fig. 1 Output image of ultra-wide-angle sensor(5)に限り，理想的な正方格子から実際に投影された透視投影基準平面上の平面(Fig. 2 Plane4)に変換する射影変換行列(ホモグラフィ行列)を推定する．
サークルグリッドパターン𝐵が傾いている場合，バイリニア補間を適切に行えないので，(2)で作成した理想的な正方格子に対してバイリニア補間を行い，単一の補正ルックアップテーブル𝐴′ (Fig. 3 の𝐴′ )を作成する．
単一の補正ルックアップテーブル A’の各要素に対して(2)の射影変換行列を利用することで緑色の正方格子(Fig. 3 の𝐵 )に対応する補正ルックアップテーブル𝐵′(Fig. 3 の𝐵′ )を取得し，全体の拡張補正ルックアップテーブル(Fig. 3 中の灰色領域)に結合する．互いの要素が重なった場合，平均値を使用する．
(2)~(4)を繰り返し，段階的に補正ルックアップテーブルを拡張していく．補正結果を Fig. 3(5)に示す．

子を示す．Fig. 2 の灰色面(Plane1)を既存手法である Zhang 法[5]で求めた透視投影基準平面，赤色面(Plane2)を歪み補正領域，青色面(Plane3)をサークルグリッドパターン平面，そしてこのサー2.2 先行研究の課題
クルグリッドパターンを透視投影面に投影したものを緑色面
先行研究の特長は，広角センサの歪み補正に使用される格子(Plane4)としている．補正ルックアップテーブルとは歪み除去(ないしは補正)前の画像中の各画素が，歪みのない(ないしは補 点を与える巨大なテストパターンを用いず，Zhang 法のように，正後の)透視投影面のどの場所に映るかを示す対応表である．透 局所的に狭い視野範囲をカバーする小さなテストパターンを用
視基準平面を求める際には，Zhang 法は画角が 180 度以内(実際 いて，広視野の歪み除去(ないしは補正画像)を繁雑な計算を行にはもっと小さな画角，かつ歪みの分布が放射相称状の半径方 わず，かつ高精度に作成できる点である．しかし，先行研究で向歪み円周方向歪みによりモデル化されているため，精度の良 は色収差の影響を小さくするために，緑単色のサークルグリッい歪み補正を行うことが出来ない．そのため，入射角度が比較 ドパターンのみを撮像している．この手法だと理論的に色収差的小さい視野中心領域に限定して透視基準平面を求めている．
さらに Fig. 3 において，Fig. 3(2)~(4)の灰色領域が補正されたルックアップテーブル領域を表しており，段階的に補正ルックアップテーブルが拡張されていく様子を表している．また，Fig.
3(1)~(4)の各処理は，全て透視基準投影面上で取り行われている．
拡張的補正手順を以下の(1)～(5)に要約する．この手順は Fig.
3 の(1)~(5)に対応している．
(1) Zhang 法を用いて歪みの少ない中心部分を補正し，Fig.
2 の赤線(Fig. 2 Plane2)に対応する補正ルックアップテーブルの基準となる理想的な透視投影基準平面(Fig.2Plane1)を定める．
(2) サークルグリッドパターン(Fig.2 Plane3)に対してカメラを移動させ，歪み補正後の領域に少なくとも 2x2 点以上重なるように撮像する．このとき，サークルグリッドパターンはカメラ光軸に対して垂直であるとは限らないため，理想的な透視投影基準平面上にサークルグリッドパターンの行列と同じ要素数の理想的な正方格子(Fig. 3 の𝐴)を用意する．また歪み補正後の 2x2 の範囲

Fig. 2 How to extend distortion correction lookup table

Fig. 3 Schematic diagram of a related method

Fig. 7 Image after undistorting
Fig. 4 Correction area for ultra-wide-angle vision sensor(a) Image before undistorting (b) Image after undistorting

Fig. 8 Before and after removing distortion(a) Blue(b) Green(c) Red
Fig. 5 Experimental environment by ultra-wide-angle
camera and circle grid patternを完全に除去することが出来ない．また，歪み補正処理対象の画像センサが高画素化するにつれて，その影響が次第に大きなものとなっていく．本研究で使用する超広角画像センサは画素数が 8M ピクセルあり，色収差の影響が極めて大きいため，SLAM のための対応点マッチングや CNN ベースでの物体認識の精度に影響を少なからず与える．そこで本研究では，緑単色以外に赤，青単色を含めた補正ルックアップテーブルを作成し，色ごとに歪み除去ないしは補正を行って生成した RGB 画像を用いることで，上記の色収差の影響の軽減解決を図る．

(a) Central region

3. 提案手法
前章で述べたように，例えば，水平画角 200 度にも達する超広角画像センサは色収差の影響が大きく，先行研究には改善の余地があった．この問題を解決するために 2.1 節で解説した局
所正方格子テストパターンを反復利用した拡張的歪み補正手法を改良し発展させる．また，透視変換基準平面に対して射影変換行列を使用しているため，水平画角が 180 度未満の部分(Fig.
4 の赤丸の内側部分)のみを補正していく．

(a) Blue(b) Green(c) RedFig. 6 Undistorted maps by RGB extensive
correction lookup table(b) Between central and peripheral regions(c) Peripheral region
Fig. 9 Evaluation Results

提案手法を i~iv に示す．
i.
青単色のサークルグリッドパターンを用意し，2.1 節で説明した手法を用いて段階的に補正ルックアップテーブルを拡張する．
ii.
緑単色のサークルグリッドパターンを用意し，先程と同様に補正ルックアップテーブルを拡張する．
iii.
赤単色のサークルグリッドパターンを用意し，同様に補正ルックアップテーブルを拡張する．
iv.
青，緑，赤単色のサークルグリッドパターンを用いて段階的に補正された 3 枚の画像を組み合わせる．
Fig. 5 に青，緑，赤単色のサークルグリッドパターンを PC 用ディスプレイに表示している様子，Fig. 6 に i~iii で歪み除去された結果，そして，Fig. 7 に iv の RGB 画像を示す．中心領域から周辺部分における急激な解像度変化の影響により不連続な部分があるが，周辺部分まで歪み除去が行われている．

Table. 1 Experimental results of correlation of SIFT feature
Conventional method

Proposed method

Average

0.81809009

0.847225763

Standard deviation

0.080305153

0.062040838

5. 結論

本稿では先行研究である局所正方格子の反復的射影変換による補正ルックアップテーブルの拡張を超広角画像センサの色収差軽減に応用することを着想し，色収差の影響を考慮した拡張ルックアップテーブルに基づいた歪み除去手法の考案を行った．
歪み除去前と除去後の RGB 値の比較評価実験を実施し，結果
4. 評価実験から，特に視野中心部から中間部分にかけて，提案手法の有効性が実証された．今後は，画角が 180 度を超えても対応できる
Fig. 8 に示すように歪み除去前後の色収差を確認するために 球面投影や円筒面投影を考慮した手法に発展させ，全領域の色3 ヶ所の評価を行う．画像中心領域 (Fig. 8 の赤丸の内側部分)， 収差の改善させていきたい．本論文中の記述において，歪みの画像中心領域と周辺領域の間(Fig. 8 青丸の内側部分)，そして周 除去及び補正という表現を繰り返し用いたのは，歪みの除去を辺領域(Fig. 8 緑丸の内側部分)の 3 ヶ所の歪み補正前後の RGB 平面投影へのマッピング，その遠くない将来に球面投影や円筒の画素値の比較を行った．その結果を Fig. 9 に示す．Fig. 9 の左 面投影が行われることを考慮に入れているためである．
半分が歪み補正前の RGB 値，右半分が歪み補正後の RGB 値で謝辞ある．また，グラフの X 軸が画像の x 方向，グラフの Y 軸が画像の y 方向，グラフの Z 軸が RGB のそれぞれの値を示してい本研究の一部は，日本学術振興会科研費 No.18K04055 とる．Fig. 9(a)の左が示す歪み除去前の中心領域と Fig. 9(b)の左がNo.21K03983により遂行された．本研究の遂行にあたり，多大示す中心領域と周辺領域の間では，理想的には RGB 値が黒なご協力を頂いたジェノバ大学
Dibris の EMARO ラボの皆様，(0,0,0)から白(255,255,255)に上昇するはずであるが，色収差の影
芝浦工業大学人間支援知能ロボティクス研究室の皆様に心より響で GB 値が減少している．それに対して，Fig. 9(a)の右が示す歪み補正後の中心領域と Fig. 9(b)の右が示す中心領域と周辺領 感謝謝意を表したいと思います．
域の間は，補正ルックアップテーブルにより，GB 値が R 値と参考文献同様に上昇しており，色収差の影響が大きく軽減されていることがわかる．しかし，Fig. 9 の周辺領域には，劇的な色収差の改 [1] 電子情報技術産業協会:“JEITA センサ・グローバル状況調査
善が見られなかった．これは，透視投影基準平面の限界であるセンサ・グローバル出荷実績(2020・2021 年)の発表”，JEITA
画角 180 度付近かつ周辺領域の急激な解像度低下により，より(2022).
詳細な歪み補正が求められることを示唆していると考えられる． [2] K. Minoda and T. Yairi: “3D Human Pose Estimation in Weightless
この問題の解決のために，画角が 180 度を超えても平面状のイ
Environments Using a Fisheye Camera”, IROS (2022).
メージャーに撮像可能な球面投影や円筒面投影を考慮して行く [3] S. Shimizu, H. Sawano and S. Ishihara: “Design of a Drifting
必要があると考えられる．
Camera System for Screening of Sewer Pipelines”, GCCE (2019).
提案するカメラキャリブレーション手法をロボットビジョン [4] R. Nakamoto, S. Shimizu, T. Takamura, A. Carfi, and F.
へ適用した際の有効性を確認するために，複数の画像中のキー
Mastrogiovanni: “Sidewinder: Snake Robot’s Stereo Vision System
ポイント間の対応点探索に用いられる SIFT 特徴量[8]の精度に
for Rescue in Collapsed Debris at Disaster Sites”, IECON (2022).
注目した．SIFT 特徴量はスケールと輝度勾配を考慮したモノク [5] Z. Zhang: “A Flexible New Technique for Camera Calibration”,
ロ化された画像のキーポイント周りの gradient ベースの 128 次
Trans. on PAMI, Vol. 22, No.11, pp. 1330-1334 (2000).
元の特徴ベクトルである．画像中の 10 箇所で同じパターンを [6] 高村，清水：”局所正方格子テストパターンの反復利用によ撮像し，そこから得られた同じコーナーに対応するキーポイン
る広角中心窩画像の拡張的歪み除去手法”，電気学会論文誌
ト周りの SIFT 特徴量の相関係数を従来手法[6]と提案手法で比D，Vol. 143，No. 7，pp. 531-538 (2023)．
較した．相関係数の平均値を用いて正確率の評価を行い，相関 [7] 富正敏：”ディジタル画像処理第 2 版版 1 刷”，CG-ARTS 協係数の標準偏差を用いて精密率の評価を行った(Table. 1)に示す．
会 (2020)．
相関係数の平均値は提案手法の方がより 1 に近づき，相関係数 [8] D. G. Lowe, Distinctive Image Features from Scale-Invariantの標準偏差も提案手法の方が小さいことから，正確率，精密率
Keypoints, IJCV, Vol. 60, pp. 91-110 (2004).
が従来手法よりも向上し，色収差の影響が軽減されたことが示された．本結果は提案手法を SLAM へ使用した際の画像間のキーポイントの対応付けの精度を向上させることを示唆している．