ラ ンダム ドッ トステ レオグラムを用 いた立体視機構解明の研究
平井 有 三筑波大学
電子 ・情報工学系 教 授
1 まえが き人の立体視 を成立 させ る手がか りには、物体 の形、陰影、 テクスチ ヤ勾配な ど単眼視 的な もの もあるが、鮮 明な立体感 を与 える手がか りは両眼視差 で ある。 J u l e s z が考案 した ラ ンダム
ドッ トス テ レオグラムは、単眼視 による手がか りが全 くな く、両眼視差 のみの手がか りか ら立

体視を知覚させる視覚刺激として多くの研究者に利用されてきた1」。左右の画像から両眼視差を検出す るためには、両眼像間の対応問題を解 く必要がある。これまでランダム ドットステ
レオグラムをベ ンチマークとして、対応問題を解 くための多くの両眼視差検出モデルが提案されてきた 12,3,4,5,q。
対応 問題 を解 くた めには、 3次 元世界 の見 え方 に関す る制約 を利用 す ることが 必要 で あ る。
これ まで提案 されて きた制約 には、
1.一 対 一 の制約 :左 眼 の一 つ の刺激 は、右 眼 の高 々一つ の刺激 とのみ対応す る。
2.滑 らか さの制約 :3次 元物体 の表面 の奥行 きは滑 らか に変化す る。
3.順 序保存 の制約 :対 応 の結果 は左 限 と右 眼 の刺激 の順序 を変 えない 。

な どが あ る。 ほ とん どのモデル p,4,5,qは 、̲対 一の制約 と滑 らか さの制約 を用 いてい る。
しか しなが ら、両 眼視差 か ら復元で きる表面 の 3次 元的な曲率 は、滑 らか さの制約その ものが制約 してい る曲率 に大 きく影響 される。また、モデルの性能 は、滑 らか さの制約 を実現 して いる局所的な果奮性結合領域 の広 さに依存する。

本研究の目的は、以前提案した順序保存の制約い1を、両眼融合のデータ『1から導き出された 3次 元 的 な forbidden coneに拡張 し、その有効性 を、
1,静 的 ラ ンダム ドッ トステ レオ グラム
2.動 的 ラ ンダム ドッ トステ レオ グラムを用 いて検証す ることにある。 J u l e s z t に」 よれば、 3 次 元構造 を保 つたままフレーム毎 に ドットの配 置が変化す る動 的 ランダム ドッ トス テ レオグラムは、静的ランダム ドッ トス テ レオグラ
ムよ り知覚 しやす い ことが報告 されてい る。 これまで、動的ラ ンダム ドッ トス テ レオ グラム をベ ンチマ ー クとして用 いた研究 はなか った。
2 モデ ル の 構 造 と動 作 方 程 式

モ デルの構造 を図 1に示 した。図 (a)は、左右 のラ ンダム ドッ トス テ レオ グラムの k番 目の行間、す な わ ちエ ピポー ラ線上の点 ′示 して夕と け の対応 をとる、 k番 目の disparity neldをい る。素子 bを
は,″=学 ,7=札″=T何の関係 を満たす入力間の対応 をとる照合素子 を表す。素子 b営 とb督 の視差 冴と距離 Dを,″ ,̀間

冴=21ぐ一zl,D=に 一βlで定義す る。
‑1

‑

(b)

( a )

nX碗
・X 砲,bをの 定 義 。 2つ の照 合 素 子 bを,c,″
図 1:(a)入 力 画像 う(サ) と 、 d i S p a r i t y t e l d ( B)た(サ),兄が もつ forbidden coneによる抑制間の視差 冴と距離 Dを 図 の ように定義 した。 (b)素子 bを,″い
領域 の定義。 上下の cone内 のすべ ての素子 との相互抑制結合 により、制約 を表現 して る。
一一黒丸 で示 された 素子 は順 序保存 の制約 を、灰色 の素子 は 対 の制約 を破 つて い る素子 で ある。
い定義 を示 してい る。素子 bを図 (b)は 、本研究で用 いた forbidden coneの,zがもって る抑制
領域 Ⅵ ″は2+(Tゾ2≧に̲ のに̲ っの領域で定義される。両眼融合のデータFlから導かれたの関係を満たす上下の二つのcone状

forbidden coneは等方的であ るが、本研究では グ方向 に広が つた異方性 の coneを用 いてい る。
この理由は、 研方向の素子 の密度 に比較 して グ方向の素子 の密度が うとなる ことを考慮 したからであ る。実験 の結果、ド ッ ト密度が高 い場合 には異方性 の coneの方が精度が よ く、また他の心理データによつても異方的な処理の存在が示唆されているい1。の各素子 は、以下 の非線形一次微分方程式 にしたが つて動作す る。
dispがity ield内T叩 =抑 ど,か Σ牝広r理,O ωbl,(Cttz?(竹) = 乱{￨lse
告告を二Tは 素子 の 時定数、 c隊(サ)は 両眼か らの入力 で 、,″C ,と(隊)サ1)サ, 十T″)サ= m i n̲W(″桜(″で定義 される。各画素は、ド ットがある場合 1、ない場合 0を とるものとする。結合係数 りを,v,″,C,ばへの 明 ″内の素子 b!,cからの抑制性結合であり、は、素子 bを,″°(3)b』={祥切てら広打F″
縫:撮逮乱と定義 した。す な わち、行 が離 れるに したが つて両眼視差 の相関 が低 くなる ことを表 現 して いる。以下 の 実験 で は、 7=0。 6と した。 また、対応 を計算 した範囲 は視差 が ±36ま で 、す なー
わち IZI≦18ま でで あ る。 また、微 分方程式 はオイラ 法で解 い てい る。
‑ 2 ‑アルゴリズムplの比較。
表 1:提案したモデルの性能と、Marr̲POggloのSurfaces portrayed ill randoln―
dot stereograms
squareseinispherese■lisphere crossedsaddle

with hollowiseHlicylinders
present network

92.6°
/0

99,5°
/0

96.30/0

95.6%

97.0%

竹竹碗aむcんcs

7.0%

0.5°/0

2.7%

4.20/02.9%

ぢ竹cθNecサ 働aサcんes

4°0。
/00%

1.0%

0.2%

0.1%

MIarr―Poggio

98.80/0

86.8%

86.0%

92.0%

竹化砲 atcんcs

0.1%

11.2%

88.1°
/0
8.9%

12.0%

6.3°
/0

1.10/0

2.0%

3.0°
/0

2.0%

1.7%

ガηcθTTccむmaを cんcs

3 実 験結果
3.1 静 的 ランダム ドッ トス テ レオグ ラム
図 2の 左 側 に示 した 2枚 の 2次 元 ラ ン ダ ム ドッ トス テ レオ グラム を入 力 画像 と して、式 (1)を用 い て対応 問題 を解 い た結果 を図の右側 に示 した 。画像 の大 きさは 256× 256で あ り、ド ット密 度 は 20°/0で あ る。 これ らの ス テ レオ グラムの奥行 きのエ ッジ部分 の最 大視差 は 12ピ クセ
ルで あ る。 図 の結果 は、平衡状態 に達 した照合素子 の出力値が 1に 近 い もの を用 い て 、検 出 された形状 を表示 した もので ある。

各ステレオグラムに対する結果を、Marr―
P oggioのアルゴリズムplと比較して表 1に示した。 Marr→
P oggioのアルゴリズムは、いずれも最大の正解率が得られるようにパラメータを調節 して得 られた結果 であ り、ド ッ ト密度が変 わればパ ラメー タも調節 しなおす必要がある。表か ら明 らかなように、四角形 を除いて提案 したモデルの方が高い正解率 を示 してい る。四角形の場合 で も誤対応 率 は Mttr̲POggiOのアル ゴリズム よ り低 い値 となってい る。 これ らの結果か
ら、提案 モ デルの性能 は、ド ッ ト密度な ど画像 の性質に依存せ ず、同 じ回路パ ラメー タで広範囲な対応問題 を解 くことがで きることが分か つた。
3.2 動 的ラ ンダム ドッ トステ レオグラム」uleszによれば、 3次 元構造 を保 ったままフレーム毎 に ドッ トの配置が変化す る動的 ラ ンダ
ム ドッ トス テ レオ グラムは、静的 ラ ンダム ドッ トス テレオグラムよ り知覚 しやす いこ とが報告されてい る [」。
動的 ラ ンダム ドッ トス テ レオグラム を構成す るため に、知覚 される 3次 元形状 は同一で、ド ットの配 置 が異 なる 50組 のステ レオ グラム を用意 し、数値計算 の 1ス テップ毎 にラ ンダム に一組 を入 力 し、解 を求めた。図 3(a)に一組のラ ンダム ドッ トス テ レオ グラム を示 した。画像 の大 きさは 128× 128で あ り、 ドッ ト密度 は 20%で ある。脂されてい る形状 は図 2と 同 じくサ ドルで あ り、左右 の奥行 きのエ ッジ部 の最大視差 は 12ピ クセルである。
入力画像 の ドッ ト配 置が時間的に変化す るため、静的ランダム ドッ トス テ レオ グラムの場合のよ うに、正 しい対応 を表す照合素子に常 に 1の 入力が与 えられ続 ける ことはない。 したがって、 これ らの素子 は一度発火 して も、入力がな くなると次第 に出力が減少す る。 この減少速度は、動作方程式 (1)の時定 数 Tに 依存す る。時定数の効果 を見 るため、図(b)に示 した よ うに
5つ の時定数 による正解率 (正対応 の割合)の 時間変化 を測 定 した。横軸 は計算 の繰 り返 し回
‑ 3 ‑

(b)

( a )(d)伯)は)lil
図 2 : ラ ンダム ドットステレオグラムの例。平行法で観察すると、右に示 したような曲面が観測で きる。 これらはモデルで再構成した曲面である。
‑ 4 ‑100０Ｅ浮ネ革何 Ｅ﹂ Ｘ︶０い︼
０〇 一０ り００田モ ０せ ０﹂
卸的∞
範０0

一(a)動 的ラ ンダム ドッ トステレオグラムの 組(c)提 案 した モ デルによる
検 出結 果。手前 ほ ど明 る
く表示 してい る。

50100150200
Time steps Or numoHcal calcutation(b)5つ の時定数に対す るモデルの動作。横軸 は時間、縦軸は正 しい対応が検出で きた割合。

(d)Marr,Poggioの アル
ゴ リズ ムに よる結 果。

図 3:動 的 ラ ンダム ドッ トス テレオグラムによる実験結果
数で 、縦軸が正解率 (correct)であ る。平衡状態へ は、約 50回 の繰 り返 しまででllX束していることが分かる。静的 ラ ンダム ドッ トステ レオグラムの場合 は、 500回以上の繰 り返 し回数が必要 であ った。モ デルで も、人の知覚 と同様 に、動的ランダム ドッ トス テ レオ グラムの方が容易 で ある ことが分かる。 この理由は、動的ラ ンダム ドッ トステ レオグラムで は入力画像が変化す るため、付随す るエ ネルギー関数が時間的に平均化 され、局所解 の谷が平坦化す るか らで あると考 えられる。
図か ら、時定数が 4以 上で性能が飽和 してお り、時走数を 10に した ときの正解率 は 96%以上で あ った。図 (c)に検 出 した視差 を示 した。手前 ほ ど明る く表示 してい る。比較 のために、図(d)にMar卜POggioのアルゴリズムレ1を用いた結果を示した。正解率は43%、誤対応は約57%で あ った。 この結果 はパ ラメー タを最適 に調整 して得 た結果であ る。
4 まとめ

異方性 の fOrbidden cOneを対応点検 出の制約 として用 い た、両眼視差検 出機構のモデル を提案 し、従来のモ デルよ り優 れてい ることを示 した。滑 らかさの制約 を用 いたモデルの性能 はパ ラメー タに強 く依存 す るのに対 して、提案 モデルは依存 しない。 また、人の知覚現象 と同様‑ 5 ‑に、動的 ラ ンダム ドッ トステ レオグラムの方が静的 ランダム ドッ トステレオグラムよ り検 出が容易 で あ る ことを示 した。

では、モデルの各素子が、生理本研究の詳細は、文献 p,10,lJで報告している。文献 11朝実験により猿の大脳視覚領で発見された4種類の両眼視差検出細胞 い列と類似した反応特性を示すことが示されている。また、文献 い11では、透明な面や曖味な面の検出について議論 してい る。

へ の適用 な どにい
今後 、奥行 きの エ ッジ検 出 に とつて重 要 な単眼視領 域 の取 り扱 、 自然 画像
つい て研 究 を発展 させ る予定 で あ る。
本研 究 の遂行 にあた り多大 な援助 を賜 わつた 、 (財)高 柳記念電子科学技術振興財 団な らびに関係者各 位 に深 く感謝致 します。

参考文献
[1l B,」ulesz, Foundations of Cyclopean Perception,"University of Chicago Press,Chicago,1971.

1 94,
A cooperttive computttion of stereocttcら
disparity,"Scぢpl D.Marr,and T,Poggio,283‑287,1976.
An inference upon the neural■[31Y.Hirai,and K.Fukushima,cal σybcTacttcs,31,209‑217,1978.
0:ο
correspondencc,"β お。ぢetwork inding binocular'β ぢcs,52,93‑99,1985.
θrο
"Ca!θ ダberneサづ[41K.Prazd■ y, Detection of binocular disparitiesギ
PMF:A stereo correspondence algorithmbi S・B・P01lard,J.E.W.Mayhew and J.P.Frisby,' PC負招 ぢ
using a disparity gradient lilnitず pサθれ,14,pp.449‑470,1985.
161J.P,Frisby,and S.B.Pollard,Computational issues in solving the stereo correspondence

problem,"In:Landy MS and MovshOn」
IT Press,1991.
cessing.Calnbridge,MIA:酌 生
FI P・Burt,and B.Julesz,
615‑617,1980.

A(eds)COmputational models of visual pro―

SctcnCら 208,
A disparity gradient limit for binocular fusionギ

切5 胡s r r ぢb…
sサ
いl H ・B t l t h O r , a n d M . F a h lDei,s p t t i t y g r a d i e n t s a l l d d e p t h s c t t i n g , " M a s s a c ん
eq/7セ CんれοJリダ,A.I.Memo No.1175,C.B.I.P Memo No.39,September 1989.
れサD―
pl塚原朋哉,平井有三, ランダムドットステレオグラムからの曲面再構成ギ信学論 (J7併II),No.8,pp.1676‑1683,1993.
A stereo matching network and its biological implicationsギ
11朝 T・TSukahara and Y.HIrai,
も1.1,356‑361,1996.
Proceedings of ICONIP'96 Hong]Kong,ミ子情報通信学[lJ塚原朋哉,平井有三, 透明な面と曖味な面からの両眼視差検出モデル,"電会 、 ニ ュ ー ロ コンピュー テ イ ング研 究会、 1 9 9 6 年 2 月

Stereoscopic mechanisms in monkey visual

1121G.F.Poggio,F.Gonzalez,and F.Krause,

cれ
cc,8,
scぢ
N ettTθ
ttTれal qメ。
cortex: Binocular correlation and disparity selectivity,"rhcブ
4531‑4550, 1988.

‑ 6 ‑