知能情報メディア論文特集

論 文
画像特徴に基づくイメージモザイキング
千葉 直樹†

蚊野浩†

美濃 導彦††

安田 昌司†

Feature-Based Image Mosaicing
Naoki CHIBA† , Hiroshi KANO† , Michihiko MINOH†† , and Masashi YASUDA†

あらまし 複数の静止画像からパノラマ画像を自動合成する手法を提案する．我々の手法は従来手法よりも処理が高速で，かつ自由なカメラ運動で撮像された奥行の深いシーンでも合成可能である．これを実現するために画像特徴（ 小方形領域）を用いた，次の二つの特長を有する手法を提案する．第 1 は，階層的オプ ティカルフ
ロー推定に基づいて画像特徴の対応を得た後，線形解法により変換行列を算出する高速な変換行列算出方法である．この方法により，画像間の幾何学的な変形を高速かつ正確に行うことが可能になった．第 2 は，シーンが単一平面で近似できない場合に，画像特徴を頂点とする三角パッチに分割し ，各パッチごとに平面射影変換行列を算出することで，奥行が深いシーンへの対応を可能としたことである．ここで，平面射影変換行列を求めるためには，通常 4 組の対応点が必要であるが，3 組の対応点から算出する手法を提案する．最後に実画像を用いた実験により，本手法の有効性を示す．
キーワード

イメージモザイキング，パノラマ画像，オプティカルフロー推定，平面射影変換

精度良くカメラ間の幾何学的関係（エピポーラ拘束条

1. ま え が き件）を獲得できるようになってきた [12]．

複数の画像をはり合わせて，視野が広く解像度の高本論文では，従来手法の問題点を解決し ，自由なカい画像を合成する技術（ イメージモザイキング ）が活メラ運動で，任意のシーンのパノラマ画像合成が可能発に研究されている．古典的な応用には，航空写真なな手法を提案する．すなわち，カメラ運動は，水平回どの合成があるが，最近では，一般シーンのパノラマ転（ パン ）・垂直回転（ チルト ）など の回転だけでな画像を継目なく合成し ，臨場感の高い仮想環境を構築

く，並進運動も含む．また，対象とするシーンの幾何する手法が注目されている [2], [9]．これらは，実シー学的性質を，屋外などの平面的な配置だけでなく，室ンを撮像した画像を接合して，水平方向 360 度の円筒内などの任意の奥行を含むシーンにも拡張する．

面や，半球面に投影し ，利用者が希望する任意の視線提案する手法は，まず，オプティカルフロー推定に方向の画像を対話的に表示するシステムである．また，基づいて，画像の特徴的な小領域（ 特徴点）を精度良ビデオを用いた広域監視や画像圧縮などへの利用も期く対応づける．そして，対象とするシーンが単一平面待されている．ところが，従来の手法では，カメラので近似できる場合には，この対応関係から画像間の変動きか，あるいは撮像対象を制限しなければならない．

換行列を算出し ，合成する．更に，シーンが単一平面

一方，動画像解析の分野では，オプティカルフローで近似できない場合には，特徴点を頂点とする三角形（画像間の見かけの速度場）推定法が活発に研究されてで構成される複数の平面にシーンを分割し ，各平面ごいる．最近では，3 次元形状を復元するための精度のとの変換行列をエピポーラ拘束条件を用いて算出して良いオプティカルフロー推定法が提案されている [3]．

合成する．

また，ステレオカメラキャリブレーションの研究では，以下，2. で従来の研究例に触れた後，3. でオプティカルフロー推定とそれをイメージモザイキングへ適用† 三洋電機株式会社メカトロニクス研究所，枚方市
Mechatronics Research Center, SANYO Electric Co., Ltd.,する手順を示し，4. にシーンが平面で近似できない場合について述べる．そして，5. に実験結果を示し ，最Hirakata-shi, 573–8534 Japan†† 京都大学総合情報メデ ィアセンター，京都市
Center for Information and Multimedia Studies, Kyoto Uni-

後に考察と今後の研究課題を述べる．

versity, Kyoto-shi, 606–8501 Japan

電子情報通信学会論文誌 D–II

Vol. J82–D–II No. 10 pp. 1581–1589 1999 年 10 月1581

電子情報通信学会論文誌 ’99/10 Vol. J82–D–II No. 10

2. 従来の研究

ピラミッド 階層構造に数段階の解像度の異なる画像を従来から円筒面に画像を投影してパノラマ画像合成

い領域では精度が悪い．そのため，フロー推定結果の作成する．また，十分な模様（テクスチャ ）を含まなを行う手法が提案されている [2]．これには，次の二つ信頼度に応じてフロー場をしきい値処理し ，膨張処理の問題点がある．第 1 に，カメラを三脚に固定して，により結果を補完する手法 [3] を採用する．

カメラの動きを水平面での回転（パン ）だけに制限す3. 2 相関を用いた重なり部の抽出る必要がある．第 2 に，カメラの焦点距離あるいは画静止画像のように 画像間の重なり部が 少ない場合角をあらかじめ知る必要がある．には，直接前述のオプティカルフロー推定を用いて特

最近では，平面射影変換を用いて，これらの制限を徴点を対応づけることは，困難である．なぜなら，こ解決する試みが ある．平面射影変換は ，対象となる

う配型のオプティカルフロー推定では，良好な初期値

シーンの幾何学的性質が 3 次元空間中の平面であれば，が必要だからである．そこで，特徴点の対応付けに先カメラ運動は，3 自由度の回転と 3 自由度の並進運動立って，重なり部を抽出する．

を含み，更にカメラ間のズームも考慮することができ重なり部の抽出には，正規化相互相関を用いる．画る．あるいは，カメラ運動を投影中心周りの 3 自由度

像 I1 ，I2 の重なり部 w において，式 (1) を用いて正の回転だけに限れば ，対象となるシーンの幾何学的性規化相互相関係数 C を求める．画像間の移動量 d を質は平面だけでなく任意の奥行をもったシーンも扱う可能な範囲で変化させ，C が最も大きい移動量 d かことができる．

ら，重なり部を抽出する．この重なり部の抽出は，特Szeliski らは，画像間のオプティカルフローとその徴点の対応付けを行う前の粗い位置合せであるから，平面射影変換行列を，非線形最適化手法を用いて同時低解像度の画像を用いて高速化を図る．図 1 に原画に求める方法を示した [8]．Zoghlami らは，各画像で像，図 2 に重なり部の抽出例を示す．



それぞれの特徴点を抽出し ，全数探索によりそれら特徴点間の対応付けを行い，その結果から最適な平面射影変換行列を求めた [13]．これらの手法の問題点は ，まず演算量が多いことである．そして，非線形解法を使う Szeliski らの方法は局所解に陥りやすい．また，C(d) =(I1 (x) − I¯1 )(I2 (x + d) − I¯2 )w
1(σ1 σ2 ) 2

ここで，I¯ は，重なり部の平均画素，σ は，重なり部シーンを平面と仮定しない手法もいくつか提案されている [4], [8]．しかしながら，多くのパラメータで反復非線形最適化法を利用するため，演算量が多く，安定に解が求まらないという問題がある．
これらの問題点を引き起こす原因は，画像間の特徴点の対応を使用せず，各画素の対応と変換行列とを同時に算出しようとする点にある．本論文では，画像特徴を用いて，これらの問題を解決する．

図1 原 画 像
Fig. 1 Original images.

3. 特徴点の対応付けとイメージモザ イキング
3. 1 オプティカルフロー推定
従来から動画像における運動物体の見かけの速度場（オプティカルフロー）を推定する手法が多数提案されているが ，局所こ う配法である Lucas-Kanade 法 [6]は最も優れた手法の一つである [1]．その理由は，処理が高速，実装が容易，結果が信頼度をもつことである．

Lucas-Kanade 法を含むこう配法の問題点は，大きな動きに対応できないことである．そのため，我々は，
1582

(1)

図 2 重なり部の抽出結果
Fig. 2 Overlap extraction.

論文／画像特徴に基づくイメージモザイキング(a) 選択された特徴(b) 追跡された特徴

Fig. 3図 3 特徴追跡の例
Feature matching result.の画素値の分散を示す．

3. 3 特徴点の対応付け抽出された 2 枚の画像の重なり部に対して，前述したオプティカルフロー推定法により特徴点を対応づけ

すなわち，画像座標を同次座標で表し た第 1 画像の点 m1 = (x1 , y1 , 1)t は，第 2 画像上で対応する点

m2 = (x2 , y2 , 1)t をもち，それらの間の関係は，次式で定義され，homography と呼ばれる．

る．まず，Tomasi らの方法 [11] によって，第 1 画像

m2 ∼ Hm1の重なり部分から，対応付けに有効な特徴点（ 小方形x2h0 ∼y 2   h3h1h4h2x1h5   y1 h6h71領域）を選択する．この手法は，物体の角などの特徴的な領域を自動で選択するもので，画像の 1 次微分成分が大きく，かつ垂直成分と水平成分に相関がないものを選択する．
次に，高速化のために画像を適当なサイズ（ 13 × 13程度）のパッチ（ 方形領域）に分割し ，パッチごとにフローベクトルをサブピクセル精度で求める．第 2 画
像での特徴点の位置は，必ずしもパッチの位置に一致しないので，4 近傍のパッチのフローベクトルから双線形補間により計算し ，対応点とする．ここで，各特徴点間の正規化相互相関係数に基づいて，誤対応を削



1or




(2)1

ここで ∼ は射影的に等しいことを示し，スケール因子が残る．また，以下のように書き換えることができる．

 x2 = h0 x1 + h1 y1 + h2
h6 x1 + h7 y1 + 1

 y2 = h3 x1 + h4 y1 + h5(3)h6 x1 + h7 y1 + 1

なお，この関係は，カメラ運動を回転だけに限った場
合は，任意の奥行をもつシーンに対して成り立つ [7]．
特徴点の対応から，平面射影変換行列を算出する．

除する．図 3 に追跡結果を示す．

平面射影変換行列 H の未知パラメータ数は 8 個であ

3. 4 平面射影変換行列の算出

り，一組の対応点は 2 個の式を与える．したがって，4対象としているシーンが遠景や，近くても建物や壁，黒板など 平面的な場合には，それらを単一平面と仮定組以上の対応点があれば ，最小 2 乗法によりこの行列を求めることができる．

することができる．図 4 のように 3 次元空間中の点

3. 5 平面射影変換を用いたパノラマ画像合成

M を，ある視点 C1 とその位置からカメラを回転 (R)及び並進 (T) させた視点 C2 から観察したとき，すべての観測した点が 3 次元空間中で，ある平面上にある平面射影変換を用いると，仮想的に撮像面を拡大することで，視野を広くすることができる．図 4 の点線で示した部分は，視点 C1 からは観察できないが，視ならば ，これらの各画像面での座標 m1 ，m2 の間の点 C2 から観察可能な部分である．これらの領域は，関係は，線形であることが射影幾何学において知られ

視点 C1 の画像を基準画像とした場合，前節で示したており，式 (2) で表される [5]．

手法を用いて行列を算出し ，第 2 画像から変換し て1583

電子情報通信学会論文誌 ’99/10 Vol. J82–D–II No. 10

一般的な手法である [5]．

4. 1 三角パッチごとの変換行列算出
シーンを三角パッチに分割すると，各パッチごとの対応関係だけでは平面射影変換行列を求めることができない．なぜなら，三角形の頂点は 3 点しかないのに対し ，平面射影変換行列の自由度は 8 であるため，4組の対応点の組が必要だからである．しかし ，対応点間のグローバルな関係を表すエピポーラ拘束を用いることで，変換行列を求めることができる．
Fig. 42 画像間のエピポーラ拘束条件は，基礎行列 F と対

図 4 平面射影変換
Planar projective transformation.

応点 m1 , m2 を用いて以下の式で表される．

得ることができる．このように視点 C1 の撮像面を広mT2 F m1 = 0(5)くすることは，短焦点のカメラで撮像したことに相当

まず，この基礎行列 F を，対応付けされた特徴点対する．

から獲得する．従来は，キャリブレーションされてい基準画像と変換画像が重なる領域では，両画像の画ないカメラ間の対応点から，その基礎行列を算出する

素値の調合処理を行う．重なり部の画素値は，単純に手法は，ノイズに敏感であるとされてきた．しかしな

両画像の平均値を使うと，画像間の明るさの違いのたがら，最近では，ロバスト推定を用いて，精度良く算めに継目ができてしまう．そこで，この継目を目立た出する手法が提案されており，これを用いる [12]．

なくするために，我々は，重なり部の境界からの距離

次に，基礎行列と 3 組の対応点を用いて，平面射影に応じて，各画像の画素値の重みを決定し ，両画像の変換行列を算出する．式 (2) を式 (5) に代入すると，画素値を調合する．なお，重みは，境界に近い方の画以下の式を得る．

像を大きくする．
画像が 3 枚以上の場合は ，基準画像に 近い画像か

mT1 H T F m1 = 0(6)ら順に変換し ，繰返し的に合成を行う．なお，基準画式 (6) は，ベクトル m1 を変換したものが，そのベク像の選択は，3. 2 に示した粗い位置合せの結果から，トル自身に直交することを示すので，行列 H T F は，中央の画像を基準画像とする．変換行列は ，まず 連ベクトル m1 の外積である．ベクトル m1 と任意のベ続する 2 枚の画像間で算出し ，次に基準画像への変クトル a = (a1, a2, a3) との外積は，a を要素とする換行列を算出する．画像 N が 基準画像 0 と重なり式 (7) に示す非対称行列を使って書くことができる．

部をもたない場合でも，次式のように，途中の画像（ 1, 2, . . . , N − 1 ）の変換行列を利用して求める．

H0N = H01 H12 . . . HN−1N(4)0H t F =  −a1a2

a1−a20−a3a3 0

(7)

4. 複数平面を用いた変換式 (7) の行列の要素の関係から，対角要素 3 個と，対称要素対 (a1 , −a1 ), (a2 , −a2 ), (a3 , −a3 ) の加算が ，そ室内などの任意の奥行をもつシーンを，回転だけでれぞれ 0 である必要があるので，H の係数に関する 6なく並進も含む自由なカメラ運動で撮像した場合，重個の方程式が得られる．そして，式 (2) からは，3 組なり部において，画像が 2 重になる．図 9 左にその例の対応点を用いて 6 個の方程式が得られ ，合計 12 個を示す．これを解決するために，本論文では，画像特の方程式が得られる．未知数は 8 個であるので，これ徴の対応関係を用いて，シーンを特徴点を頂点とするらを連立させた最小 2 乗法により，平面射影変換行列

三角パッチに分割し ，各パッチごとに平面射影変換行を算出することができる．

列を算出する方法を提案する．なお，三角パッチ分割

4. 2 シーン分割の判定には Delaunay の方法を用いる．この方法は，点の集シーンを複数の平面で分割するかど うかは，単一の合から Voronoi 図に基づいて，凸な三角形分割を行う変換行列で合成した場合の誤差から判定する．まず，1584

論文／画像特徴に基づくイメージモザイキング

シーンを分割せずに平面射影変換行列 H を算出する．

デ ィジタルスチルカメラを使用し ，三脚を使用せずに次にこの変換行列 H を用いて，すべての特徴点 p を手で把持して撮像した．



変換して，対応する点 p の座標を算出する．ここで，

5. 1 単一平面の例

観察された特徴点の座標と変換された座標の平均距離

図 5 に遠景の合成結果を示す．継ぎ 目なく良好に合D を次の式で計算する．
1  (pi − pi )2N成が行われている．2 枚の画像間の処理時間は，Pen-

ただし，N は特徴点の個数である．単一の平面射影変tium II（ 300 MHz ）を用いて，重なり部の抽出に 2 秒，特徴点の対応付けと変換行列算出に 4 秒，画像の変換（ warping ）に 3 秒，そして画素値の調合に 2 秒の合計約 11 秒であった．なお，画像の解像度は 640 × 480

換行列だけで正し く変換できる場合には，距離 D がであり，重なり領域抽出に用いた低解像度の画像サイ小さいはずであるので，D があらかじめ定めたしきいズは，40 × 30 である．また，オプティカルフロー推D=(8)i値よりも大きければ ，上述した手法を用いてシーンを定には，4 段階の解像度の異なるピラミッド 階層を用複数の平面に分割する．

いた．

4. 3 三角パッチを用いたパノラマ画像合成

図 6 に従来の円筒面に投影する手法との比較を示

合成の手順は，まず，2 画像間のすべての特徴点対す．この例では，画像間で光軸周りの回転が生じ ，か応を用いて，平面射影変換行列 H を算出する．そしつ透視投影ひずみが生じているが，本手法により正して，シーンを三角パッチで分割し ，各パッチごとの平く合成されている．一方，円筒面に投影してパノラマ面射影変換行列 Ht を算出する．次に，画像を変換す合成を行う手法では，2 重になっており，精度が悪い．

る際，重なり部に対しては，パッチごとの変換行列 Ht

その原因は，カメラ運動がパン以外の運動を含んでいを用いる．一方，重なり部以外は，変換行列 H を用るからである．なお，比較を容易にするため，双方といる．

も画素値の調合を施していない．

5. 実

図 7 に渓谷の例を示す．これは，本手法ではカメラ験の運動がパンだけに制限されないことを示す．この例

以上述べた手法を実画像を用いて実験した．画像は，では，カメラ運動にパンとチルトの両方が含まれているが，正しく合成されている．
以上の画像はカラーであるが ，変換行列算出には，高速化のために RGB の成分の中で，G 成分だけを用いた．その理由は，人間の目が G 成分に最も敏感であるといわれるためである．

5. 2 複 数 平 面
図 9 に，シーンが任意の奥行を含み，かつカメラ運図5 遠景
Fig. 5 Far scene.

Fig. 6動が回転だけでなく並進を含む場合に，シーンを三角パッチに分割して合成した例を示す．また，図 8 は分

図 6 時計台（ 左図は平面射影変換，右図は円筒面投影）
Clock tower. (left: planar projective transform, right: cylindrical projection)

1585電子情報通信学会論文誌 ’99/10 Vol. J82–D–II No. 10

図7 渓谷
Fig. 7 Canal.

そこで，三角パッチが平面に対応しない場合は別の後処理を施した．まず，三角形の内部が実際の平面に対応するど うかを，変換した画像と原画像との正規化相互相関係数を計算して判定した．係数が，しきい値（ 実験では 0.85 ）以上に異なる場合には平面に対応しないとした．その場合には，両画像の画素値を調合するよりも，ど ちらか一方の画像を用いた．こうすることで ，幾何学的なひずみを目立たなくすることができる．
図 8 三角パッチによる分割
Fig. 8 Triangulation.

5. 3 従来手法との比較
我々の手法を，画像特徴を用いない従来の手法と比較した．従来の手法には，Szeliski らによる非線形最小化法を用いた．この手法は，式 (9) で示される原画


割に利用した三角パッチを示す．なお，重なり部における画素値の誤差の平均は，単一平面を用いたときに比べて 16%減少し，シーンの分割が有効であることを示す．
ここで，三角パッチの中には，必ずしも実際の平面に対応しないものがある．なぜなら，三角パッチの頂像の画素値 I と変換後の画素値 I との誤差の 2 乗和E を，最小化する変換行列を求める．
E=



[I (xi , yi ) − I(xi , yi )]2(9)i最小化には，Levenberg-Marquardt 法と呼ばれる反復的非線形最小化法を用いている．

点が同一平面上にあっても，その内部のシーンが平面

しかしながら，Szeliski らの方法には，二つの問題である保証がないからである．三角パッチが平面に対点がある．第 1 は，計算量が多い点である．これは，応する場合は，画像間の変換行列が正しく求まるので繰り返し変換を行うためである．第 2 は，局所解に陥両画像の画素値を調合しても幾何学的ひずみはない．

いる可能性が高く，正しいパラメータが求まらないこ

一方，そうでない場合には，変換行列が正しくないたとがある．したがって，Szeliski の方法では良好な初め，両画像の画素値を調合すると画像が 2 重になる．

期値を与えることが特に重要である．

1586

論文／画像特徴に基づくイメージモザイキング

図 9 任意の奥行をもつシーンの例（ 左は単一平面を利用，右は複数平面に分割）
Fig. 9 Arbitrary depth scene. (left: single, right: multiple)

表 1 従来手法との処理時間比較（ 単位：秒）
Table 1 Processing time comparison. (seconds)
実験画像
時計台
遠景
渓谷

本手法
41024

Szeliski
1674
91

枚数233

サイズ
640 × 480
640 × 480
1024 × 768

正規化相互相関では，その計算量が多いため，処理時間が 1.5 秒（ SSD ）から約 0.5 秒長くなり，約 2 秒になる（ Pentium II 300 MHz，サイズ： 640 × 480 ）
．

6. 考察

我々が提案する画像特徴の対応に基づく手法の利点
表 2 重なり抽出処理の精度
Table 2 The accuracy of overlap extraction.
抽出手法
正解率 (%)

正規化相互相関94.5

SSD81.0

は，従来の手法よりも処理が高速かつ正確な点である．
平面射影変換を用いる従来の手法は，特徴を用いるものとそうでないものの 2 種類に分類され るが ，特徴を用いずに画像全体を使う Szeliski の手法と比べて，我々の手法は処理が 4 倍から 7 倍速い．特徴点を用い

表 1 に処理時間の比較を示す．本手法は，従来よりる従来手法は，対応付けを手動で行うものと自動で行も 4 倍から 7 倍高速である．なお，処理時間は，SGIうものがある．自動で対応づける方法には，あらかじIndigo 2（ 195 MHz ）上で，抽出された重なり画像から変換パラメータ算出までを計測した．Szeliski らのめ各画像で個別に特徴点を抽出し ，総当り的に対応づける方法 [13] があるが，我々の手法はこの手法に比べ方法では，局所解に陥いるのを避けるために，解像度てはるかに高速である．この手法は，特徴点の数が増の異なるピラミッド 画像を 4 段階作成した．また，各えるとその処理時間は級数的に増え，画像によっては階層での最大繰返し回数を 10 回とした．

15 分以上処理時間がかかると報告されている．自動で5. 4 重なり抽出処理の精度特徴点を対応づける手法には，テンプレート画像をラ3. 2 に示した重なり抽出方法の性能を評価した．実スター走査するテンプレートマッチング法が古典的で験画像には，デ ィジタルスチルカメラを手で把持してあるが，処理時間が長く，かつ誤対応が多い．これに撮像した実画像 200 組を用いた．なお，画像サイズは対して，我々の手法は，局所こう配型オプティカルフ

240 × 320 から 1024 × 768 までであり，高速化のため 40 × 30 の低解像度画像を作成して，重なり部を抽ロー推定法に基づくので高速で，かつ誤対応も少ない．

出した．

ないが，従来の手法と同様にシーンのテクスチャの有表 2 に実験結果を示す．各画像組の重なり部が，正我々の手法は，シーンの幾何学的な性質に左右され無に左右される．画像特徴に基づく我々の手法は，テしく抽出されたかど うかを，人間が見て判断した．用クスチャが少ない画像では，特徴点の対応が見つけら

いた抽出手法は ，正規化相互相関に基づく手法に加れなかったり，画像によっては，誤対応が避けられな

え ，画素値の誤差の 2 乗和（ SSD: Sum of Squaredい．また，我々は，静的なシーンをカメラを移動させDiﬀerence ）を評価値とする手法を試した．
SSD が失敗し，正規化相互相関が成功するデータのながら撮像することを想定しているが，実際には人や多くは，画像間の明暗の差異が 大きかった．ただし ，跡した場合には，正しい変換行列が算出できない．し車など 移動物体がある．これらの移動物体を正しく追1587

電子情報通信学会論文誌 ’99/10 Vol. J82–D–II No. 10

かしながら，単一平面を仮定できる場合には，ロバス

istration technique with an application to stereo vi-

ト推定を利用し ，誤追跡結果を取り除くことが考えら

sion,” In Seventh International Joint Conference on

れる [10]．一方，複数平面を利用する場合には，誤対

Artificial Intelligence (IJCAI-81), pp.674–679, 1981.
[7]

応を手動で修正する必要がある．

IEEE Comput. Graphics & Appl., pp.22–30, March

また，我々のシステムでは，重なり抽出手法として

1996.

2 次元平行移動モデルを採用している．そのため，カメラの極端な光軸周りの回転に対して，Zoglami らの[8]

方法 [13] と比べて弱い．しかしながら，低解像度の画[9]抽出方法を，光軸周りの回転に対応させることは容易

ment Corporation, 1994.

SIGGRAPH ’97, pp.251–258, 1997.
[10]

H.S. Sawhney and S. Ayer, “Compact representationsof videos through dominant and multiple motion estimation,” IEEE PAMI, pp.814–830, 1996.

[11]

す び

R. Szeliski and H.Y. Shum, “Creating full viewpanoramic image mosaics and environment maps,”

であるが，処理時間との兼合いになる．

7. む

R. Szeliski, “Image mosaicing for tele-reality applications,” CRL Technical Report 94/2, Digital Equip-

像を用いているため，±10 度ぐらいの回転には対応できている．更に大きな回転に対応するために，重なり

R. Szeliski, “Video mosaics for virtual environment,”

C. Tomasi and T. Kanade, “Shape and motion fromimage streams: A factorization method—part 3 detection and tracking of point features,” CMU-CS-91-

本論文では，画像特徴に基づいて，パノラマ画像を合成するイメージモザイキング手法を提案した．我々

132, Carnegie Mellon University, 1991.
[12]

its uncertainty: A review,” Int. J. Computer Vision,の手法の特長は，画像の撮像方法や撮像シーンに制限がなく，手で把持したカメラで撮像した画像を用いる

Z. Zhang, “Determining the epipolar geometry andvol.27, no.2, pp.161–195, 1998.

[13]

I. Zoghlami, O. Faugeras, and R. Deriche, “Using ge-ことが可能な点である．まず，画像間の変換行列を求

ometric corners to build a 2D mosaic from a set of

める際に，オプティカルフロー推定による特徴点対応

images,” CVPR 97, pp.420–425.

付け手法が有効であることを，実画像を用いた実験に（ 平成 11 年 2 月 25 日受付，6 月 21 日再受付）

より示した．また，提案した手法は，線形解法を用いるので従来よりも，計算量が少ない．更に，奥行の深いシーンを合成する際に，画像特徴を用いることで，シーンを複数の三角パッチに分割し ，3 組の対応点とカメラ間のエピポーラ拘束条件を示す基礎行列から平面射影変換行列を獲得する手法を示した．
今後は，他の画像特徴（ 線特徴）を用いた高精度化と，はり合わされた画像から任意の異なる視点の画像を合成し ，更に臨場感のある仮想現実環境の構築の研千葉直樹 （ 正員）

昭 63 神戸大・工・機械卒．同年三洋電機（ 株）入社．平 7〜9 米国カーネギーメロン大学計算機科学科客員研究員．平 10 京大大学院博士後期課程入学．現在，メカトロニクス研究所主任研究員．情報処理学会，電気学会，IEEE CS 各会員．

究を進めたい．
文[1]

献

J. Baron, D. Fleet, and S. Beauchemin “Performanceof optical flow techniques,” Int. J. Computer Vision,[2]

昭 59 京大・工・大学院修士課程情報工学専攻了．同年三洋電機（ 株）入社．平 5 年〜

S.E. Chen, “QuickTime VR—an image-based ap-

7 年カーネギーメロン大学計算機科学科客proach to virtual environment navigation,” SIG-員研究員．現在，メカト ロニク ス研究所
ヒューマンサイエンス室室長．工博．情報

千葉直樹，金出武雄，“途切れや近接配置にロバストな線特” 信学論（ D-II ），vol.J81-D-II, no.8, pp.1744–
徴追跡，1751, Aug. 1998.

[4]

浩 （ 正員）

vol.12, no.1, pp.43–77, 1994.

GRAPH ’95, pp.29–38, 1995.
[3]

蚊野R. Kumar, P. Anandan, and K. Hanna, “Direct recovery of shape from multiple views: a parallax basedapproach,” Proc. ICPR, pp.685–688, 1994.

[5]

O. Faugeras, Three-dimensional computer vision: A[6]

B. Lucas and T. Kanade, “An iterative image reg-geometric viewpoint, MIT Press, 1993.

1588

処理学会，ロボット学会各会員，平 10 年
日本ロボット学会論文賞受賞．

論文／画像特徴に基づくイメージモザイキング

美濃導彦 （ 正員）

昭 58 京大大学院博士課程了．同年工学部助手，昭 62〜 63 マサチューセッツ州立大学客員研究員，平 1 京大工学部附属高度情報開発実験施設助教授，平 7 同教授，平9 京大総合情報メディアセンター教授．画像処理，人工知能，知的コミュニケーション関係の研究に従事．工博．IEEE ，ACM，情報処理学会，画像電子学会，日本ロボット学会各会員．

安田昌司

昭 55 京大・工・大学院修士課程了．同年三洋電機（ 株）入社．現在，メカトロニクス研究所部長．工博．日本機械学会，日本ファジィ学会，シ ステム制御情報学会，IEEE各会員．

1589