2022 年度 卒業論文

論文題目
内視鏡画像におけるフード利用によるポリープの 3 次元情報と大きさの復元

指導教員
舟橋

名古屋工業大学大学 工学部 情報工学科

2019 年度入学 31114045 番

菊地 遼

健司

准教授

i

目次
第 1 章 はじめに

1

第 2 章 背景知識

5

2.1

2.2

内視鏡環境下におけるモデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1.1

Lambert 反射 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1.2

点光源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

2.1.3

透視投影 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

FMM による 3 次元形状復元手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

光学的制約式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.2.1
2.2.2

幾何学的制約式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9
10

2.2.3

FMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

第 3 章 提案手法

15

3.1

内視鏡フード . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

3.2

フード部分の 3 次元情報取得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.3

Lambert 画像の輝度値取得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

3.4

フード情報を用いた反射係数の推定 . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

3.5

処理手順概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

第 4 章 実験

4.1

4.2

23

シミュレーション実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

4.1.1

ポリープ部分のシミュレーション . . . . . . . . . . . . . . . . . . . . . . . .

23

4.1.2

フード部分のシミュレーション . . . . . . . . . . . . . . . . . . . . . . . . .

26

4.1.3

大腸壁部分のシミュレーション . . . . . . . . . . . . . . . . . . . . . . . . .

26

4.1.4

フード付き内視鏡環境下におけるシミュレーション画像の作成 . . . . . . . .

27

4.1.5

反射係数の推定及び 3 次元形状復元 . . . . . . . . . . . . . . . . . . . . . . .

28

実画像実験

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

4.2.1

形状復元の準備 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

4.2.2

ポリープの 3 次元形状復元 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

第 5 章 むすび

38

謝辞

39

参考文献

40

1

第1章

はじめに

厚生労働省の統計 [1] によると，2021 年の日本における死亡総数は 143 万 9856 人
であり，その死因の第一位は癌によるものである．その数は 38 万 1505 人にも上り，死亡総数の 26.5%を占めている．また，昭和 56 年以降癌は毎年死因第一位であり，その恐ろしさは広く知られている．なお，早期に癌を発見し適切な治療を受けることによって癌による死亡リスクを大きく減らすことができると言われている．大腸
癌治療ガイドライン [2] によると，固有筋層を超えて湿潤しているが，リンパ節転
移や遠隔転移が見られない StageII 以下の大腸癌であれば，治療後の 5 年生存率は84.8%だと示されており，早期発見・治療の効果が認められている．なお，大腸に発生するポリープは，非腫瘍性ポリープと腫瘍性ポリープの二種類に分類される．非腫瘍性ポリープは，炎症性のポリープや過形成性ポリープなどがあるが，これらは正常な細胞が集まることによっていぼ状になったものであり，放置しておいても大腸癌になる可能性は低いとされている．腫瘍性ポリープには癌化する可能性のある
悪性ポリープと，癌化しにくい良性ポリープがある．悪性と判断されたポリープは摘出する必要があるが，良性ポリープを悪性ポリープと同様に摘出すると患者の負担となってしまうため，癌の早期発見に加え，患者の負担の軽減という面でも良性・悪性の識別の誤認は避けるべきである．一般的に，診断医師は内視鏡によって大腸内を観察し，異常部の形状，色調，大きさなどによってポリープの良性・悪性を判断しているが，大きさは特に重要な判断基準とされている．特にポリープの大きさが 10mm 以上である場合，悪性の可能性が高いことが示されている．しかし，大腸内を撮影した内視鏡画像は二次元画像であることに加え，内視鏡は異常部位の発見のため通常のカメラより画角が広く設計されており，撮影した画像は広角レンズ特有の歪みが生じてしまう．現在，術者の経験や感覚によっておおよその大きさを推定して良性・悪性の判断を行っているが，正確にポリープの大きさや形状を認識す

第1章

はじめに

2

ることは困難であると言われている．ポリープの大きさを推定する研究として，内視鏡からレーザ光を照射することで大きさを推定する手法 [3]，注射針にメモリを付ける手法 [4]，内視鏡スネアにメモリを付ける手法 [5] など様々な研究が行われているが，これらの手法では，一般的な内視鏡ではなく専用の内視鏡を用いて撮影を行う必要がある．これらの手法では，大きさを推定する専用の機器を導入する必要があるため汎用性が低いことが欠点として挙げられる．
これらの課題を解決するために，内視鏡画像からポリープの 3 次元形状を復元し，大きさや形状を推定する研究が行われてきた．3 次元形状復元を行う手法として，画像の陰影情報を用いて物体の形状を復元する Shape-from-Shading [6]（以下，SFS）と呼ばれる手法がある．この手法では，物体表面の反射係数及び照明条件が既知という条件の下で，画像の濃度と形状の関係を表した光学式を 3 次元形状に関する偏微分方程式を用いて表し，得られた方程式を解くことによって形状復元を行う．Verbeek
らは，復元対象の物体が視線と平行な照明という条件下における Lambert 反射である場合において，この問題は，光を光線として扱うときの基礎方程式として知られている Eikonal 方程式として見ることが可能であり，この Eikonal 方程式を解くこと
で物体の 3 次元形状を復元できることを示した [7]．しかし，Eikonal 方程式を解く
場合，反復計算を行うために計算コストが高くなってしまう．そこで Sethian らは，Eikonal 方程式の高速な解法として，Fast Marching Method [8]（以下，FMM）と呼ばれる手法を提案した．FMM は平行光線，平行投影，Lambert 反射，単調凸物体という条件下において，Lambert 画像の濃淡情報を用いて，視点から一番近い画
素から視点から遠い方向に向かって順番に Eikonal 方程式を解くことで 3 次元形状復元を行うという手法である．さらに，Kimmel らは物体の陰影情報から Eikonal 方
程式を求め，それを FMM によって解くことで高速に物体の 3 次元復元を行う手法[9] を提案した．この手法は平行投影を仮定していたが，文献 [10] や文献 [11] によって高さの更新式を透視投影の条件で立てることで透視投影への拡張がなされた．しかし，SFS に基づいた単一な画像を用いた場合での形状復元では，画像内に大きさの基準となる参照物体がない場合，物体の絶対的な大きさを求めることが困難であるという問題点がある．
次に，これら 3 次元形状復元の手法を内視鏡画像に応用した研究を紹介する．内視

第1章

はじめに

3

鏡画像は透視投影であることに加えて点光源という環境で撮影される画像であるため，岩堀らは点光源の条件下においても形状復元が行えるように拡張した手法 [12]を提案した．そして，文献 [13] では，光学的な制約と幾何学的な制約の両方を用いて最適化を行うことで，単調な凸形状の物体以外にも適用できるように FMM を拡張し，復元精度を向上させることに成功した．また，文献 [14] で 1 光源モデルから

2 光源モデルへと拡張がなされた．しかし，これらの手法では最適化を用いている
ため処理に時間がかかるという問題があった．そこで，文献 [15] では，光学的制約
式と幾何学的制約式が同じ座標の高さを求めているため，算出される結果が等しくなることを利用して Eikonal 方程式に基づいた式を導出することにより，従来よりも高精度で高速に復元できる手法を提案した．
これまでに挙げた手法では，物体表面の反射係数を既知としているため，得られる復元結果は画像内における相対的な大きさであり，実際の物体の絶対的な大きさを求めるには反射係数を推定する必要がある．反射係数を推定する研究として，大きさが既知である医療用縫合糸を参照物体とし，内視鏡をわずかに移動させて撮影された 2 枚の画像を用いて，画像間の対応関係から内視鏡の移動量を推定し，反射係数を推定する手法 [16] がある．しかし，形状復元を行いたいポリープと医療用縫合糸を同時に撮影した内視鏡画像は少ないため，汎用性に欠けるという問題点がある．そこで，文献 [17] では，ほとんどの内視鏡画像に含まれている血管を参照物体にすることで，汎用性の問題を解消した．また，1 枚の内視鏡画像から物体の反射係数を推定する手法 [18] も提案されている．この手法では，カメラに対して水平な血管領域を検出し，血管を参照物体とすることで，その血管領域におけるカメラからの奥行きと反射係数を求めている．そして，得られた奥行きと反射係数を用いて，血管領域に隣接する肉壁の奥行き及び反射係数を最適化によって推定することにより，形状復元と絶対的な大きさの推定を行っている．しかし，この手法では血管領域が内視鏡画像内にカメラに対して水平に位置する箇所が存在する必要がある．そこで，文献 [19] では，カメラに対して水平でない血管領域の傾きをアフィン変換によって補正し，仮定した血管領域の幅に一致するような反射係数を最適化によって求めるという手法を提案した．これにより，血管領域がカメラに対して傾いている
状況でも反射係数の推定を行うことができる．しかし，この手法では血管がポリー

第1章

はじめに

4

プ周辺に存在しない場合に反射係数の推定を行うことができない．また，血管領域の幅を既知と仮定しているため，どの血管領域を参照物体とするかによって誤差が発生してしまうなどといった問題点がある．
そこで本研究では，内視鏡フードの幾何学的な情報を既知の情報として用いることによって反射係数を求める．内視鏡フードは，内視鏡先端部に取り付けることで，適切な距離及び視野を確保する補助デバイスである．このフードを内視鏡に取り付けた状態で画像の撮影を行うと常に同位置にフードが映ることに加えて，内視鏡レンズとフードとの位置関係が不変であることを利用し，一様な Lambert 化を適用した画像のフード部分における輝度値及び 3 次元情報を用いて反射係数を推定する．
そのようにして推定した反射係数を基に，ポリープの 3 次元の形状復元及び絶対的な大きさを推定する手法を提案する．

5

第2章

背景知識

本章では，内視鏡画像から 3 次元形状を復元するにあたって必要な背景知識として，論文 [12] において想定されている内視鏡環境モデルの条件について紹介する．
また，先行研究である論文 [15] において提案された，光学的制約式と幾何学的制約
式の両条件を用いた FMM についても紹介する．

2.1

内視鏡環境下におけるモデル

内視鏡環境下で撮影された物体を形状復元するために，以下の条件が仮定されている．

• 撮影環境は点光源・透視投影である• 光源及びカメラレンズの中心が原点 (0, 0, 0) に存在する• Lambert 画像を使用する
ここではこれらの条件のうち，Lambert 反射，点光源，透視投影について説明する．

2.1.1

Lambert 反射

光の反射は，入射光の入射角と反射角が反射面に対し等しい角度で反射する鏡面
反射と，入射光が反射面で全方向に反射する拡散反射の二種類に分けられる．なお，

Lambert 反射モデルは拡散反射成分のみで形成されている理想的なモデルであり，その物体表面の輝度はどの角度から見ても一定である．物体をカメラ等から観測した場合，視線方向ベクトル v ，光源方向ベクトル s，鏡面反射方向ベクトル s′ ，法線ベクトル n の関係は図 2.1 のような反射モデルで表される．また，i は入射角，e は

第2章

背景知識

6

図 2.1: 反射モデル

反射角，g は位相角であり，各ベクトルの内積は式 (2.1) のように表される．

cos i = (s, n)cos e = (n, v)(2.1)

cos g = (s, v)
なお，鏡面反射方向ベクトルと視線方向ベクトルのなす角を γ とし，その内積は式(2.2) のように表される．
cos γ = 2 cos i cos e − cosg

(2.2)

この時，陰影モデルである Phong の反射特性モデルにおいて，観測点の輝度値 E は，反射係数 C を用いて式 (2.3) によって表される．

E = C{(1 − t) cos i + t cosr γ}(2.3)

なお，(1 − t) cos i は拡散反射成分，t cosr γ は鏡面反射成分であり，t はその混合比を表す．Lambert 反射モデルは物体面全てにおいて拡散反射成分のみで形成されて

第2章

背景知識

7

いるものであるため，Phong 反射モデルにおいて鏡面反射成分が 0 となる t = 0 の時に Lambert 反射モデルの輝度値が得られる．よって，Lambert 反射モデルにおける輝度値 E は式 (2.4) によって表される．

E = C(s · n)
2.1.2

(2.4)

点光源

点光源とは，位置だけが定まり大きさを持たない光源のことである．実際には点光源というものは存在しないが，発光部の大きさが受光部に比べて小さい場合に光源が点であるとみなすことができる．点光源モデルにおける光源方向への単位ベク
トル s は式 (2.5) として表される．ここで，(Xs , Ys , Zs ) は光源の座標，(X, Y, Z) は観測点の座標である．

[Xs − X, Ys − Y, Zs − Z]s= √(Xs − X)2 + (Ys − Y )2 + (Zs − Z)2(2.5)

また，表面法線方向の単位ベクトル n は傾きパラメータを式 (2.6) とすると，式 (2.7)と表すことができる．

∂Z
∂X
∂Z
q=
∂Y
[p, q, −1]n= √p2 + q 2 + 1
p=

(2.6)

(2.7)

このとき，C を物体の表面反射に基づく反射係数，r は光源から観測点までの距離とすると，輝度値 E は (2.8) によって求められる．

E=C
r=
2.1.3

(s · n)r2√(Xs − X)2 + (Ys − Y )2 + (Zs − Z)2

(2.8)
(2.9)

透視投影

透視投影とは，3 次元物体を平面上で表現するための投影法の一つである．透視投
影では，視点から物体までの距離が長い場合は物体が小さく，距離が短い場合には

第2章

背景知識

8

図 2.2: 透視投影モデル

物体が大きく投影され，対象物を目で見た時に近い表現が得られる．透視投影のモデルを図 2.2 に示す．透視投影における二次元画像の x, y 座標は，式 (2.10) によって求められる．f は焦点距離，X,Y ,Z は物体の 3 次元座標である．

X
f
Z
Y
y= f
Z

x=

(2.10)

第2章

背景知識

2.2

FMM による 3 次元形状復元手法

9

ここでは，本研究でポリープの 3 次元形状を復元するために用いた，論文 [15] の手法について説明する．この手法では，光学的制約式と幾何学的制約式が同じ座標の高さを求めているため，求めた結果が等しくなるという条件から Eikonal 方程式に基づいた式を導出することによって，従来手法に比べて高精度かつ短時間で形状復元を行うことができる．

2.2.1

光学的制約式

光学的制約式とは，画像から得られる輝度値 E から奥行きを求める式である．想定されている内視鏡環境下では，光源及びカメラレンズの中心が原点 (0, 0, 0) に存在することを考えると，光源方向への単位ベクトル s を表す式 (2.5) から式 (2.11)，
光源から観測点までの距離 r を表す式 (2.9) から式 (2.12) を得ることができる．

(Xs , Ys , Zs ) = (0, 0, 0)[−X, −Y, −Z]
s= √X2 + Y 2 + Z2√
r = X2 + Y 2 + Z2

(2.11)(2.12)

この時，輝度値 E を表す式 (2.8) に対し，式 (2.7)，(2.11)，(2.12) を代入することによって，式 (2.13) が得られる．

E=C−pX − qY + Z
3

1(X 2 + Y 2 + Z 2 ) 2 (p2 + q 2 + 1) 2

(2.13)

さらに，透視投影という条件から，式 (2.10) を X ，Y についてそれぞれ解くことで得られる式 (2.14) を式 (2.13) に代入することで式 (2.15) が得られる．

x
Z
f
y
Y = Z
f

X=

E=C

(2.14)

f 2 (−px − qy + f )31(x2 + y 2 + f 2 ) 2 Z 2 (p2 + q 2 + 1) 2

(2.15)

第2章

背景知識

10

簡単のため，

V =f2(2.16)

3(x2 + y 2 + f 2 ) 2として，式 (2.15) を Z について解くことにより，奥行き Z を求める式 (2.17) が得られる．

E=CV (−px − qy + f )1

Z 2 (p2 + q 2 + 1) 2⇐⇒ Z 2 =CV (−px − qy + f )√=⇒ Z =

1

E(p2 + q 2 + 1) 2
CV (−px − qy + f )1

E(p2 + q 2 + 1) 2

(2.17)

なお，Z が負となる解はカメラに映ることがないため，正の解を採用する．

2.2.2

幾何学的制約式

幾何学的制約式とは，注目点をわずかに移動させ，移動前と移動後の変化量から奥行きを導出した式である．注目点を ∆Z 移動させたときのモデルを図 2.3 に示す．
この時に得られる幾何学的制約から式 (2.18) を定義する．なお，t は trial を意味し，
奥行きが未知の画素を指す．また，k は known を意味し，t と隣り合う奥行きが既知の画素を指す．

Zt = Zk + pk ∆X + qk ∆Y(2.18)∆X = Xt − Xk
∆Y = Yt − Yk
また，内視鏡環境の条件から，透視投影の変換式 (2.10) を式 (2.18) に代入すること
で式 (2.19) が得られる．

Zt = Z k + p k (

xt
xk
yt
yk
Z t − Z k ) + qk ( Z t − Z k )ffff(2.19)式 (2.19)Zt について解くと式 (2.20) が得られ，未知の点における奥行きを計算することができる．

Zt =Zk (−pk xk − qk yk + f )−pk xt − qk yt + f(2.20)

第2章

背景知識

11

図 2.3: 幾何学的制約モデル

2.2.3

FMM

FMM における 3 次元形状復元は，表面勾配パラメータ p，q 及び，奥行き Z が既知の点の情報から，隣り合う点の p，q ，Z を逐次的に求め，未知の点がなくなるまで処理を行うことで 3 次元形状を復元する．図 2.4 に簡単な処理の過程を示す．まずは，p，q ，Z の更新式の導出までの過程を説明する．2.2.1 節と 2.2.2 節において得られた式 (2.17) と (2.20) によって求められる奥行き Z は等しくなければならない
ことから，式 (2.21) が得られる．
√
CV (−px − qy + f )E(p2 + q 2 + 1)

1
2=

Zk (−pk xk − qk yk + f )−pk xt − qk yt + f(2.21)p ≈ pk , q ≈ qk という近似を用い，式 (2.21) を Eikonal 方程式の形となるように左辺√が p2 + q 2 となるように変形を行うことで，式 (2.23) が得られる．なお，簡単のた

第2章

背景知識

12

(a) 初期点を設定(b) 4 近傍点の Z を計算(c) Z が最小の点を更新(d) 近傍点の Z を計算

図 2.4: FMM の流れ (文献 [13])

第2章

背景知識

13

め A を式 (2.22) とする．

V 2 (f − pk xt − qk yt )6
A= 4
Zk (f − pk xk − qk yk )4
√( )
2
√
C
2
2
p +q =
A−1
E(2.22)(2.23)

次に，式 (2.23) を Z の x，y 方向の差分式に置き換える．i，j は注目点の画素座標
として，画素座標 (i, j) における式 (2.23) の右辺を Fij とする．
√(
)2
C
Fij =
Aij − 1Eij√max (p− , −p+ , 0)2 + max (q− , −q+ , 0)2 = Fij

Zi,j − Zi−1,jXi,j − Xi−1,jZi+1,j − Zi,jp+ =Xi+1,j − Xi,j
Zi,j − Zi,j−1
q− =Yi,j − Yi,j−1
Zi,j+1 − Zi,jq+ =Yi,j+1 − Yi,j

(2.24)(2.25)

p− =(2.26)

この時，式 (2.25) を奥行き Z について解くことにより，式 (2.27) が得られる．

√


Z
+
Z
+
2Fij2 − (Za − Zb )2ab(|Za − Zb | < Fij )Zij =(2.27)2 min(Za , Zb ) + Fij(|Za − Zb | ≥ Fij )Za = min(Zi−1,j , Zi+1,j )(2.28)

Zb = min(Zi,j−1 , Zi,j+1 )このようにして表面勾配パラメータ p，q の更新式 (2.26) 及び，奥行き Z の更新式

(2.27) が得られる．また，FMM によって 3 次元形状復元を行う際，p，q ，Z が既知である初期点が必要である．点光源・透視投影の環境下において，輝度が極大となる点では光源方向ベクトル s が法線方向ベクトル n に一致することが，論文 [20] にて示されている．これにより，輝度極大点では p，q は式 (2.29) のように表せる．

[p, q, −1]n= √p2 + q 2 + 1

第2章

背景知識

14

x
f
y
q=−
f

p=−

(2.29)

また，奥行き Z は式 (2.29) を光学的制約式 (2.17) に代入することで求めることができるため，輝度極大点を初期点として FMM による復元を行う．最後に，FMM のアルゴリズムに基づく形状復元の処理の過程を以下に示す．

Step 1. 輝度極大点を初期点とし，表面勾配パラメータ p，q 及び，奥行き Z を求める．

Step 2. 初期点以外の奥行き Z を Z = ∞ とする．
Step 3. 既知の点の 4 近傍かつ Z = ∞ の点における仮の奥行き Z を更新式 (2.27)によって求める．

Step 4. Step3 にて求めた Z を用いて x，y 方向の差分式 (2.26) から，4 近傍の (p, q)を更新する．

Step 5. Step4 にて求めた p，q を用いて式 (2.27) から，4 近傍の Z を更新する．
Step 6. Step5 にて求めた Z が最小である画素を既知とする．
Step 7. 全ての画素の Z が計算されるまで Step3〜Step7 を繰り返す．

15

第3章

提案手法

先行研究として，血管が水平となっている領域を検出し，血管の幅を仮定して大きさが既知の参照物体とすることで反射係数を推定することで，3 次元形状を復元する手法 [18] が提案されている．また，論文 [19] においては，アフィン変換によって血管領域を回転させることで血管領域の傾きを補正し，血管が水平でなくても正しい幅を測定できるように拡張がなされた．しかし，これらの手法では血管の幅を医師の経験的な判断により仮定しているため，参照物体として扱う血管の幅と仮定した幅の誤差に比例してポリープの大きさの誤差が増加してしまう．また，復元対象であるポリープの近くに血管がない場合，形状復元が難しいという問題点もある．
そこで，本研究では内視鏡フードという常に同位置に映り続ける補助デバイスに着目し，参照物体に適しているのではないかと考えた．本章では，内視鏡フードの幾
何学的情報を用いた反射係数の推定方法及び，それによって得られた反射係数を用いた 3 次元形状復元までの流れを説明する．

3.1

内視鏡フード内視鏡フードは，図 3.1，3.2 のような内視鏡の先端に取り付ける補助デバイスである．消化管内を内視鏡で観察する際には，粘液や血液，脂肪などに接触することによって，レンズが汚れてしまい観察が難しくなる．内視鏡の汚れを取るためには，一度検査を中断して内視鏡を抜き出し，汚れを除去し再度挿入する必要があるため，診断医師のストレスや患者への負担につながる．内視鏡フードは，そのような汚れやレンズの曇りを防ぐことにより，それらの課題を解消し観察性能を向上させるために用いられている．
内視鏡フードを参照物体として適していると考えた理由として以下の 3 つがあげ
られる．

第3章

提案手法

図 3.1: 内視鏡フード16

図 3.2: フードを取り付けた内視鏡• フードと内視鏡レンズの位置関係が不変である• フードの形状及び突出部の長さの情報が既知である• 通常の診察において使用されているため，医師現場への負担が少ない
フードは内視鏡の先端に取り付けられ固定されているため，常に画像内の同じ位置に映り続ける．また，視点を原点としたフードの各点の 3 次元座標 X ，Y ，Z はどのような状況でも変化せず，既知の情報として用いることができる．フードの形状
及び突出部の長さは定まっているため，それらの情報に加えて，内視鏡によって撮影された二次元画像のフード部分の各座標 x,y を用いることにより，フード部分の各画素における 3 次元座標 X ，Y ，Z を推定できる．

3.2

フード部分の 3 次元情報取得

フードの 3 次元座標 X ，Y ，Z の情報を取得する手法について説明する．本研究においては，内側の直径 8[mm]，突出長 4[mm] のフードを想定して 3 次元座標を求める．なお，画像サイズは 1080 × 1080[px] である．まず，フードの 3 次元情報を取得するために，フードのシミュレーション画像の作成を行う．内視鏡レンズを原点

第3章

提案手法

17

図 3.3: 実画像

図 3.4: シミュレーション画像(0, 0, 0) とし，二次元画像の座標を x,y ，焦点距離を f ，フードの内側の半径を R とすると，透視投影の環境下で式 (3.1) が成り立つ．

 X 2 + Y 2 = R2xy
 X = Z, Y = Z
f
f

(3.1)

式 (3.1) を整理し，フードの奥行き Z について解くと，式 (3.2) が得られる．

fR
Z=√x2 + y 2(3.2)

なお，奥行き Z が負となる解は画像内に映ることがないため，正の解を採用する．
式 (3.1)，(3.2) をまとめると，フードの 3 次元座標は (X, Y, Z) 以下のように表せる．

x yfR(X, Y, Z) = ( Z, Z, √)f f
x2 + y 2(3.3)

次に，焦点距離 f を変化させることで，実画像のフード部分と同じ場所に映るフード画像を作成し，その各画素における X ，Y ，Z を取得する．一例として，実画像を図 3.3，シミュレーション画像を図 3.4 に示す．

第3章

提案手法

3.3

Lambert 画像の輝度値取得

18

本研究においては，論文 [21] の手法を用いて Lambert 画像の生成を行っている．
生成した Lambert 画像では，入力する実画像によって鏡面反射除去の過程で図 3.5のフード部分にノイズが発生してしまうものもある．そのため，本研究において反射係数を求める際に用いる輝度値は，これらのノイズ部分を除いたフード部分の輝度値を使用する．なお，画像から取得した輝度値 E は，0 ≤ E ≤ 255 である．
図 3.5 においては，左上部分以外は Lambert 化ができていると判断し，図 3.6 のようなマスク画像を作成した．また，左上以外の細かいノイズに関しては，取得した輝度値が閾値に達していない場合ノイズと判断することにした．このマスク画像を用いて図 3.5 からフード部分を抽出した画像が図 3.7 である．その後，細かいノイズを取り除くと図 3.8 のような画像が得られる．このようにして得られた図 3.8 の輝度値を用いて反射係数の推定を行う．

第3章

提案手法

19

図 3.5: ノイズが発生している Lambert 画像

図 3.6: マスク画像

図 3.7: 抽出された部分

図 3.8: ノイズを除いた部分

第3章

提案手法

3.4

フード情報を用いた反射係数の推定20

次に，3.2 節において得られた 3 次元情報を用いた反射係数の推定方法について説明する．本研究における反射係数の推定には，最小二乗法を用いる．点光源，透視
投影，反射係数一様の条件下において，フード部分の各点における法線ベクトル n，
光源方向ベクトル s 及びその内積は以下のように表される．
(−X, −Y, 0)


n=



R


(−X, −Y, −Z)
s= √
(3.4)
X2 + Y 2 + Z2


2
2

X +Y



s·n= √
R (X 2 + Y 2 + Z 2 )√なお，フードまでの距離は X 2 + Y 2 + Z 2 であるため，これらのことから輝度値 E
は式 (3.5) によって求めることができる．なお，R はフードの内側の半径，C は反射係数を表す．

E = C= C(s · n)
X2 + Y 2 + Z2
X2 + Y 2
3

R(X 2 + Y 2 + Z 2 ) 2(3.5)

また，式 (3.5) を式 (3.1) によって簡単にすると，式 (3.6) が得られる．

E=C

R
3

(R2 + Z 2 ) 2(3.6)

ここで，入力された Lambert 画像から得られる，フード部分の各画素 i における輝度値を Ei と表す．また，画素 i における理想的な輝度値 Ai を式 (3.6) から求めると
式 (3.8) が得られる．なお，簡単のため，ϕi を式 (3.7) とする．

ϕi =

R
3

(R2 + Zi2 ) 2

Ai = Cϕi

(3.7)
(3.8)

フード部分の画素数を全部で n 画素とすると，各画素における Ei と Ai の二乗誤差
和 ϵ は式 (3.9) のようになる．

ϵ=

n
∑
i=1

(Ei − Cϕi )2

(3.9)

第3章

提案手法

21

次に ϵ が最小となる反射係数 C を求める．式 (3.9) を変形すると以下のようになる．

ϵ =

n
∑

{Ei − Cϕi (p, q, Z)}2

i=1

=

n
∑
i=1

Ei2 − 2Cn∑i=1

E i ϕi + C

2

n
∑

ϕ2i

i=1

∑n
∑n
∑n
n
2
∑
E
ϕ
E
ϕ
(
i
i
i
i
2
2
2
2
i=1
i=1 Ei ϕi )
∑
∑
+
(
)
}
+
{
−
}
=
ϕi {C − 2C ∑i=1
E
n
n
n
i
2
2
2
i=1 ϕii=1 ϕii=1 ϕi
i=1
i=1
∑n
∑
n
n
∑
∑
E i ϕi 2( ni=1 Ei ϕi )2
2
2
i=1
=
ϕi (C − ∑n
) +{E i − ∑n}(3.10)
2
2
ϕ
ϕ
i
i
i=1
i=1
i=1
i=1
n
∑

式 (3.10) において反射係数 C に関わる項を抜き出すと式 (3.11) が得られる．
∑nn∑E i ϕi 22ϵ2 =ϕ (C − ∑i=1)
(3.11)n2i=1 ϕii=1
よって，二乗誤差 ϵ を最小にする式 C は式 (3.12) によって得られる．
∑nE i ϕiC = ∑i=1n2
i=1 ϕi(3.12)

この手法は従来の最適化による推定に比べて計算コストが非常に低く，1080×1080[px]の内視鏡画像において 1 秒程度で反射係数を推定できる．

3.5

処理手順概要

ここで，本実験における 3 次元形状復元までの処理の流れについて説明する．先ず，形状を復元したいポリープが映っている画像から，論文 [21] の手法を用いて反射率が一様な Lambert 画像を生成する．その後，3.2 節において得られたフード部
分の 3 次元情報と，3.3 節において得られたフード部分の輝度値を用いて反射係数を推定する．最後に FMM に基づいて形状復元を行う．本手法においては，先行研究で必要であった血管部分の検出を行う必要がないため，手順の簡略化がされている．
処理手順のフローチャートを図 3.9 に示す．

第3章

提案手法

22

図 3.9: 3 次元形状復元までの処理手順

23

第4章

実験

本章では，提案手法の妥当性を評価するために行ったフード付き内視鏡環境下におけるシミュレーション画像による実験の結果及び，実際にフードが取り付けられた内視鏡によって撮影された画像に対して行った実験の結果について述べる．

4.1

シミュレーション実験

本研究では，FMM によって 3 次元形状の復元を行うため，点光源，透視投影，反射係数一様の条件に基づいてポリープに見立てた半球，大腸壁に見立てた面，フードに見立てた円筒面を映すシミュレーション画像を作成する．シミュレーション作成の前提条件として，3 次元情報 (X, Y, Z) は [mm] 単位であり，焦点距離 f =4.5[mm]，画像サイズ 240 × 240[px] とする．また，反射係数 C は一番明るい点において輝度
値 E が 255 を超えないように C=8500 としており，0 ≤ E ≤ 255 である．

4.1.1

ポリープ部分のシミュレーション

視点を (0, 0, 0)，ポリープに見立てた半球の半径を Rp ，中心を (0, 0, Z0 ) とする．この時，視点方向ベクトルと球の交点を求める式は，式 (4.1) によって表すことができる．

X 2 + Y 2 + (Z − Z0 )2 = Rp2(4.1)

また，透視投影という条件から式 (4.2) が成り立つ．

X=xyZ, Y = Z
f
f

(4.2)

第4章

実験

24

なお，(x, y) は投影される画像の二次元座標であり，(X, Y, Z) は球の 3 次元座標である．式 (4.1) と式 (4.2) から Z について解くと，式 (4.3) が得られる．
√
2
f Z0 − f 4 Z02 − f 2 (x2 + y 2 + f 2 )(Z0 − Rp2 )Z=
x2 + y 2 + f 2(4.3)

なお，正の解は球の奥側との交点であり，映ることがないため負の解を採用する．ここで，球の各点に対する法線ベクトル n と光源方向ベクトル s 及びその内積を考えると以下のようになる．

(p, q, 1)n = √p2 + q 2 + 1
Xp =Z − Z0Yq =Z − Z0(−X, −Y, −Z)
s = √X2 + Y 2 + Z2
−pX − qY + Z
s·n = √
(p2 + q 2 + 1)(X 2 + Y 2 + Z 2 )このことから，輝度値 E を求める式 (4.4)

E = C(s·n
X2 + Y 2 + Z2

)

(4.4)

を用いて，球の各点の輝度値 E を求める式 (4.5) が得られる．

−pX − qY + Z
E = C√
3(p2 + q 2 + 1)(X 2 + Y 2 + Z 2 ) 2(4.5)

式 (4.5) に透視投影の式 (4.2) を代入することで画像の二次元座標 x，y を用いた式(4.6) が得られる．
E=C

f 2 (−px − qy + f )31(x2 + y 2 + f 2 ) 2 Z 2 (p2 + q 2 + 1) 2

(4.6)

また，球の中心の Z 座標から奥行きを求める式 (4.3) を引くことにより，球の中心を原点とした高さを求める式 (4.7) に変換する．
√
f 2 Z0 − f 4 Z02 − f 2 (x2 + y 2 + f 2 )(Z0 − Rp2 )Z = Z0 −x2 + y 2 + f 2

(4.7)

第4章

実験

25

(a) 3 次元形状(b) 3 次元形状 (俯瞰)(c) 3 次元形状 (水平)(d) Lambert 画像

図 4.1: ポリープシミュレーション

次に，導出した式 (4.6)，(4.7) を用いて球のシミュレーション画像を作成する．球の半径 Rp =3[mm]，球の中心座標までの距離 Z0 =10[mm] としてシミュレーション
画像を作成する．作成したシミュレーション球の 3 次元形状を図 4.1a，4.1b，4.1c，Lambert 画像を図 4.1d に示す．

第4章

実験

26

(a) 3 次元形状(b) 3 次元形状 (俯瞰)(c) 3 次元形状 (水平)(d) Lambert 画像

図 4.2: フードシミュレーション

4.1.2

フード部分のシミュレーション

フード部分は，3.2 節において導出した奥行き Z を求める式 (3.2) と，輝度値 E を求める式 (3.6) を用いてシミュレーション画像を作成する．なお，3.2 節にて述べた
通り，内側の直径 8[mm]，突出長 4[mm] のフードを想定している．作成したシミュ
レーションフードの 3 次元形状を図 4.2a，4.2b，4.2c，Lambert 画像を図 4.2d に示す．

4.1.3

大腸壁部分のシミュレーション

大腸壁部分は，どの点においても Z = Zw となるような平面としてシミュレーショ
ン画像を作成する．なお，ZW は大腸壁までの奥行きである．ここで，大腸壁の各

第4章

実験

27

(a) 3 次元形状(b) Lambert 画像

図 4.3: 大腸壁シミュレーション

点に対する法線ベクトル n と光源方向ベクトル s 及びその内積を考えると以下のようになる．

n = (0, 0, −1)(−X, −Y, −Z)
s = √X2 + Y 2 + Z2
Z
s·n = √
X2 + Y 2 + Z2
また，大腸壁の 3 次元座標は透視投影の式 (4.2) から，式 (4.8) のように表すことが
できる．

x
y
(X, Y, Z) = ( Zw , Zw , Zw )
f
f

(4.8)

これらの情報を用いて輝度値 E を求めると，式 (4.9) が得られる．

E=C

Z
3

(X 2 + Y 2 + Z 2 ) 2(4.9)

作成した大腸壁のシミュレーションの 3 次元形状を図 4.3a，Lambert 画像を図 4.3b
に示す．

4.1.4

フード付き内視鏡環境下におけるシミュレーション画像の作成

4.1.1，4.1.2，4.1.3 節において得られたシミュレーション結果を合わせて，フードを取り付けた内視鏡によって撮影された画像のシミュレーション画像を作成する．作

第4章

実験

28

(a) 3 次元形状(b) 3 次元形状 (俯瞰)(c) 3 次元形状 (水平)(d) Lambert 画像

図 4.4: フード付き内視鏡シミュレーション

成したシミュレーションの 3 次元形状を図 4.4a，4.4b，4.4c，Lambert 画像を図 4.4d
に示す．

4.1.5

反射係数の推定及び 3 次元形状復元

まず，3.4 節において提案した手法が妥当であるかを確認するために，シミュレー
ション画像における反射係数 C の推定を行う．シミュレーション画像におけるフード部分を抽出した画像として，図 4.2d を用いる．この画像の輝度値を取得し，提案手法によって反射係数 C を求めたところ，C = 8499.84 が得られた．シミュレーショ
ン画像では反射係数 C = 8500 としているため，その相対誤差はわずか 0.001%であり，正確に推定されている．このことから，提案手法は反射係数を推定する上で適

第4章

実験

29

切であると言える．
次に，FMM に基づいた 3 次元形状復元を行う．復元対象の球をクロップした画像を図 4.5a，球の 3 次元形状復元結果を図 4.5b，4.5c，4.5d に示す．復元結果における X 軸，Y 軸方向の直径は，それぞれの軸方向の端中央からの 3 点平均の差から計算し，Z 軸方向の高さは半球の頂点の高さと半球の底面となる円周上の点の高さ平均との差から計算する．結果として，復元後の X 軸，Y 軸方向の直径はそれぞれ

6.4087[mm]，6.4437[mm] となり，その相対誤差はそれぞれ 6.81%，7.39%となった．
また，高さは 2.974[mm] となり，その相対誤差は 0.8%となった．反射係数 C が正しく推定されているために，初期点である球の頂点や大腸壁までの正確な奥行きが求められており，球の高さが真値に近い数値となっていることから，本手法の有用性が確認できた．なお，復元した形状の幅に誤差が生じてしまったのは FMM の特徴によるものだと考えられる．FMM は逐次的にパラメータを更新していく手法であるため，復元初期点から離れるほど誤差が蓄積してしまう．X 軸，Y 軸方向の誤差
は，その特徴に起因するものだと考えられる．

4.2

実画像実験

次に，実際の内視鏡によって撮影された実画像におけるポリープの 3 次元形状の復元を行う．なお，画像サイズは 1080 × 1080[px] である．

4.2.1

形状復元の準備

使用する実画像を図 4.6a，4.7a，4.8a に示す．論文 [21] の手法により，図 4.6b のよ
うな Lambert 画像を生成する．次に，Lambert 画像の中でノイズが生じている部分を除いたフード部分を抽出するマスク画像を作成する．図 4.6a であれば，右下部分
以外ではノイズが発生していると判断したため，右下部分のみを抽出するために図4.6c のようなマスク画像を作成した．図 4.6c は，光学的な制約に基づいて画像を作成しているため，マスク画像を作成することでフードの 3 次元情報も得られる．このようにして作成されたマスク画像を用いて抽出された画像から細かいノイズを除去し，フードの各画素の輝度値を取得する．抽出された画像を図 4.6d に示す．その

第4章

実験

30

(a) 復元対象画像(b) 3 次元形状(c) 3 次元形状 (俯瞰)(d) 3 次元形状 (水平)図 4.5: シミュレーション画像の 3 次元形状復元結果

後，3.4 節において説明した手法に基づいて得られた輝度値とフードの 3 次元情報を基に反射係数の推定を行う．図 4.7a，4.8a にも同様の処理を行う．その結果を図

4.7，4.8 に示す．ここで，各画像の焦点距離 f と反射係数 C の推定結果を表 4.1 にまとめる．
表 4.1: 焦点距離及び反射係数の推定結果
実画像 1
焦点距離 f [mm]反射係数 C

実画像 2

実画像 3

5.2

4.4

5.1

6429.07869.35220.1

第4章

実験

31

(a) 実画像(b) ランバート画像(c) マスク画像(d) 抽出後の画像

図 4.6: 実画像 1 の前処理

第4章

実験

32

(a) 実画像(b) ランバート画像(c) マスク画像(d) 抽出後の画像

図 4.7: 実画像 2 の前処理

第4章

実験

33

(a) 実画像(b) ランバート画像(c) マスク画像(d) 抽出後の画像

図 4.8: 実画像 3 の前処理

第4章

実験

4.2.2

ポリープの 3 次元形状復元

344.2.1 節において得られた焦点距離 f ，反射係数 C を用いて FMM に基づき 3 次元
形状復元を行う．先ず，ランバート画像である図 4.6b，4.7b，4.8b の各画像から，ポリープ部分をクロップする．クロップ後の画像を図 4.9a，4.10a，4.11a に示す．ク
ロップした画像サイズはそれぞれ，150 × 150[px]，300 × 223[px]，159 × 159[px] である．また，輝度値による等高線を図 4.9b，図 4.10b，図 4.11b に示す．得られたポリープの 3 次元形状の復元結果を図 4.9，4.10，4.11 に示す．これにより，図 4.9a，

4.10a，4.11a のポリープの大きさはそれぞれ 1.4[mm]，3.4[mm]，1.1[mm] と得ることができた．図 4.11a のように血管が映っていない画像においても，反射係数を推定し形状復元ができていることから，汎用性の向上という面で本研究の有効性が確
認できた．

第4章

実験

35

140

120

100

80

60

40

20

20

40

60

80

100

(a) クロップした画像(b) 輝度値の等高線(c) 3 次元形状(d) 3 次元形状（俯瞰）(e) 3 次元形状（水平）図 4.9: 実画像 1 の 3 次元形状復元

120

140

第4章

実験

36

220
200
180
160
140
120
100
80
60
40
20
50

100

150

200

(a) クロップした画像(b) 輝度値の等高線(c) 3 次元形状(d) 3 次元形状（俯瞰）(e) 3 次元形状（水平）図 4.10: 実画像 2 の 3 次元形状復元

250

300

第4章

実験

37

140

120

100

80

60

40

20

20

40

60

80

100

(a) クロップした画像(b) 輝度値の等高線(c) 3 次元形状(d) 3 次元形状（俯瞰）(e) 3 次元形状（水平）図 4.11: 実画像 3 の 3 次元形状復元

120

140

38

第5章

むすび

本研究では，フードを取り付けた内視鏡によって撮影された 1 枚の画像から，フードの幾何学的な情報を用いて反射係数を推定する手法を提案した．これにより，図4.8a のように周囲に血管が映っていない画像においても，復元対象周辺の環境に依存することなく反射係数を推定し，ポリープの大きさを定量的に推定することができる．シミュレーション実験では，反射係数における誤差は 0.001%であり，フードの情報を用いた提案手法は正確に反射係数を推定する手法として妥当なものである
ことを確認した．また，3 次元形状復元では，X 軸，Y 軸，Z 軸方向の誤差はそれぞれ 6.81%，7.39%，0.8%であり，形状の復元も十分に行われていることを確認した．
実画像による実験においては，ポリープの形状の復元及びその大きさの推定を行い，血管を使用した先行研究とも比較し，本研究の有用性を示した．
なお，今後の展望として，フードの種類によって内径や形状が異なるため，各画像に対し使用したフードのパラメータを対応付けることでさらなる精度の向上を目指すとともに，レーザ内視鏡によって得られる実際のポリープの大きさとの比較を行うことで，通常内視鏡で撮影される実画像における手法の有用性の検証を行う予
定である．

39

謝辞

本研究を行うにあたり，終始熱心にご指導を頂いた名古屋工業大学准教授 舟橋健
司先生に深く感謝いたします．また，日頃よりご指導いただきました中部大学教授
岩堀 祐之先生に感謝いたします．
なお，本研究において，内視鏡画像の提供をはじめ，ご討論，ご協力を頂きました
愛知医科大学教授 春日井 邦夫先生と特任教授 小笠原 尚高先生に感謝いたします．
さらに，本研究を進めるにあたり多くの助言を頂き，御協力いただいた名古屋工業大学 舟橋研究室の皆様，および中部大学 岩堀研究室の皆様に深く感謝し，厚く御礼申し上げます．

40

参考文献

[1] 厚 生 労 働 省 ，“令 和 ３ 年（2021）人 口 動 態 統 計（ 確 定 数 ）の 概 況”，
https://www.mhlw.go.jp/toukei/saikin/hw/jinkou/kakutei21/index.html （2023
年 1 月 19 日閲覧)

[2] 大腸癌治療ガイドライン医師用 2019 年版，大腸癌研究会 (編)，金原出版，東京，
2019．
[3] K．Hasegawa, Y．Sato，“Endoscope system for high-speed 3D measurement”,
Systems and Computers in Japan, pp.30-39, 2001.
[4] Y.S. Hyun, D.S. Han, J.H.Bae, H.S.Park, C.S. Eun , “Graduated injection needles and snares for polypectomy are useful for measuring colorectal polyp size”,
Digestive and Liver Disease, vol.43, no.5, pp.391-394, 2011.
[5] A.M. Kaz, A. Anwar, D.R. O’Neill, J.A. Dominitz, “Use of a novel polyp
snare

ruler

improves estimation of colon polyp size”, Gastrointestinal Endoscopy,

vol.83, no.4, pp.812–816, 2016.
[6] B.K.P. Horn, “Obtaining shape from shading information”, MIT Press, pp.123171, 1989.
[7] P.W. Verbeek, B.J.H. Verwer, “Shading from shape, the eikonal equation solved
by gray-weighted distance transform”, Pattern Recognition Letters, vol.63,
pp.681–690, 1990.
[8] J.A. Sethian, “A Fast Marching Level Set Method for Monotonically Advancing
Fronts”, Proceedings of the National Academy of Sciences of the United Statesof America, vol.93, no.4, pp.1591–1593, 1996.

41[9] R. Kimmel, J.A. Sethian, “Optimal Algorithm for Shape from Shading andPath Planning”, Journal of Mathematical Imaging and Vision, vol.14, no.3,
pp.237–244, 2001.
[10] A. Tankus, N. Sochen, Y. Yeshurun, “Shape-from-Shading Under Perspective
Projection”, International Journal of Computer Vision, vol.63, no.1, pp.21-43,
2005.
[11] S.Y. Yuen, Y.Y. Tsui, C.K. Chow, “A Fast Marching Formulation of Perspective
Shape from Shading under Frontal Illumination”, Pattern Recognition Letters,
vol.28, no.7, pp.806-824, 2007.
[12] Y. Iwahori, K. Iwai, R.J. Woodham, H. Kawanaka, S. Fukui, K. Kasugai, “Extending Fast Marching Method under Point Light Source Illumination and Perspective Projection”, ICPR2010, pp.1650-1653, 2010.
[13] Y Iwahori, K Tatematsu, T Nakamura, S Fukui , RJ Woodham, K Kasugai,“3D Shape Recovery from Endoscope Image Based on Both Photometric and Geometric Constraints.Knowledge-Based Information Systems in Practice”, Smart
Innovation, Systems and Technologies, vol.30, pp.65-80, 2015.
[14] H. Usami, Y. Iwahori, M.K. Bhuyan, A. Wang, N. Ogasawara, K. Kasugai,“Recovering Polyp Shape from an Endoscope Image Using Two Light Sources”,
International Journal of Software Innovation, vol.5, no,2, pp.33-54, 2017.
[15] Y. Iwahori, S. Miyazaki, H. Usami, Y. Hanai, B. Kijsirikul, K. Kasugai, “Automatic Detection of LST-Type Polyp by CNN Using Depth Map”, Handbookof Artiﬁcial Intelligence in Healthcare, pp.177-196, 2021.
[16] Y. Iwahori, D. Yamaguchi, T. Nakamura, B. Kijsirikul, M.K. Bhuyan, K. Kasugai, “Estimating Reﬂectance Parameter of Polyp Using Medical Suture Information in Endoscope Image”, ICPRAM 2016, pp.1-7, 2016.

42[17] Y. Iwahori, T. Suda, K. Funahashi, H. Usami, A. Wang, M.K. Bhuyan, K.
Kasugai, “Shape Recovery of Polyp from Endoscope Image Using Blood Vessel Information”, Computational Science/Intelligence and Applied Informatics,
pp.165-184, 2017.
[18] H. Usami, Y. Iwahori, M.K. Bhuyan, A. Wang, N. Ogasawara, K. Kasugai,“Polyp Shape Recovery using Vascular Border from Single Colonoscopy Image”,
BIOIMAGING 2019, pp.104-111, 2019.
[19] 江本 峻，“単一内視鏡画像からのポリープ形状復元と血管情報を利用したその大きさ推定”，名古屋工業大学大学院修士論文，2022．

[20] Y. Iwahori, H. Sugie, N. Ishii,

Reconstructing shape from shading images

under point light source illumination , Proceedings of IEEE 10th International
Conference on Pattern Recognition (ICPR 90), vol. 1, pp. 83–87, June, 1990.
[21] N. Ikeda, H. Usami, Y. Iwahori, B. Kijsirikul, K. Kasugai, “Generating Lambertian Image by Removing Specular Reﬂection Component and Diﬀerence ofReﬂectance Factor Using HSV”, ITC-CSCC 2016, pp.547-550, 2016.