論 文
動画像からの三次元復元による湾曲した紙面のビデオモザイキング
佐藤 智和Ý ÝÝ

池谷 彰彦ÝÝ

昇ÝÝ

横矢 直和Ý ÝÝ中島  池田聖Ý

神原 誠之Ý ÝÝ             

  Ý ÝÝ    ÝÝ   Ý     Ý ÝÝ    ÝÝ      Ý ÝÝ
あらまし 本論文では，見開きの冊子のような湾曲したドキュメントを対象とする，ビデオ映像のみを用いた
画像モザイキング ビデオモザイキング 手法を提案する．従来提案されているモザイキング手法の大半は，平面
または平面に近似できるもののみを対象としており，湾曲した紙面のような非平面に対して手法を適用した場合には，生成画像上に幾何学的な歪みや複数画像の合成位置のずれに起因するブレが発生するという問題があった．
提案手法では，画像上の見かけの動きを用いた三次元復元   によって撮影対象の形状と画像撮影時のカメラ位置・姿勢パラメータを決定し，紙面形状を推定することで紙面上の文書や写真を平面状に展開した高解像モザイク画像を生成する．本研究では，実際に手法を試作システム上に実装し，湾曲した紙面上の文章・写真から展開モザイク画像を作成する．また，生成された画像上の歪みを評価することで手法の有効性を示す．
キーワード ビデオモザイキング   形状推定 特徴点追跡 カメラ外部パラメータ推定

により書籍が損傷してしまうという問題がある．このはじめにようなスキャナにおける紙面の平面化の問題を，物理

携帯電話に代表される持ち運び可能な小型電子機器

的にではなく画像の幾何的変換によって解決しようとの普及やユビキタスネットワークインフラの充実に伴いう試み   も行われているが，本研究では手軽にい，現実に存在する書籍・紙面上に記載された文章・写持ち運び可能な携帯機器での利用を想定し，一般的な真などの情報をこれらの機器を用いて手軽に電子化し，カメラ画像を入力として扱う手法について検討する．

保存または遠隔地に伝送したいという要求が高まって一般的なカメラを用いた書籍の電子化において最もいる．現在，一般的な紙面情報の電子化にはフラット

単純な方法は，一枚の静止画像として紙面を撮影する

ベッドスキャナ 以下，スキャナ と呼ばれる画像センことであるが，一般的には図 

サを紙面の上で機械的に等速に動かす装置が用いられ

投影歪みが発生するため，スキャナの場合と同じようるが，機器が大きいために，手軽に用いるという用途に紙面の平面化を行う必要がある．このようなカメラ

で利用することは難しい．また，書籍などのような厚画像を対象とした紙面平面化の手法は，撮影対象の三い冊子をスキャナ上に置いて電子化すると図   に次元形状を計測し平面化に用いる手法と，紙面に対す に示すような透視ら  や

示すような画像歪みや影が発生するため，一般的にはる事前知識を用いる手法に分類できる．

書籍をスキャナ本体に押し付ける必要があるが，これ ら  は，スリット光の投影による三次元復元

手法によって対象を三次元計測し，伸縮可能なメッシュÝ 奈良先端科学技術大学院大学 情報科学研究科 〒  奈良
県生駒市高山町           !
  !  " # ÝÝ $% インターネットシステム研究所 〒  奈良県生駒市
高山町  &'   ( )* $%  &'   !  !
  " # 
電子情報通信学会論文誌

 

モデルによって表現される紙面モデルを計測データに当てはめることで，任意に湾曲した紙面を平面状に展開する手法を提案している．また，  ら 
は，固定されたステレオカメラによって測定される奥行きデータに対して  曲面を当てはめること
で紙面形状を推定し，平面状に展開する手法を提案し

 

 

 年  月

電子情報通信学会論文誌                   

図  湾曲した紙面の電子化における歪みの発生例
 

     

ている．これらの手法は任意に湾曲した紙面を扱える実現しているものが多い) しかし，&"'( を用が，特殊な三次元計測装置が必要であり一般のユーザいる手法では原理的に紙面の傾きを検出できず，基準が利用することは難しい．また，メッシュの局所的なフレーム撮影時の画像平面が紙面に対して正対してい当てはめ誤差が蓄積するため，結果として生成画像にない場合には，生成されるモザイク画像に歪みが残さ

大局的な歪みが発生しやすいという問題がある．

れるという問題があった．我々はこのような問題に対一方，撮影対象である紙面に関する事前知識を用いして，&"'( の代わりにカメラ外部パラメータ

ることで，一枚の画像のみから平面化した画像を生成を利用することで，傾きの影響を自動的に除去する手する手法も提案されている． ら   や ! " ら #

法を提案してきた ．しかし我々が提案した手法をは，事前知識として文字のベースライン情報を用い，含め，平面を撮影することを前提としている従来のモ

それらを平行化することで紙面を平面化している．まザイキング手法では，湾曲した紙面を対象とした場合

た， ら $ は紙面の輪郭情報を用い，それらをには，図  * に示すように，生成されるモザイク画像

直線化・直交化する手法を提案している．これらの手

上に大局的な幾何学的歪みが発生し，また画像を正し法は，一枚の画像のみを入力とするため特殊な機材をく位置合わせできないために局所的な画像のブレが発必要としないが，写真のように文字のベースラインが生する．非平面を対象としたモザイキング手法につい存在しない場合や，高精度な輪郭抽出が難しい場合にても既に研究例はあるが，対象の形状を計測するためは手法が適用できない．また，画像上での  次元的なにアクティブカメラやスリット光投影装置などの特殊補正を基礎としているため，透視投影に起因する幾何な装置が必要であったり ，手動による形状測定が学的な歪みや紙面上の陰影を正しく取り除くことが原必要である  という問題が残されている．

理的に難しいという問題がある．

そこで本論文では，平面を対象とする従来のビデオ

他方，カメラを用いた紙面の高解像電子化手法としモザイキング手法  を拡張し，新たに撮影対象の三て，複数枚の画像を用い，それらを高精度に位置合わ

次元形状を推定することで，湾曲した紙面を平面状にせすることで合成された一枚の高解像画像を生成する

展開するビデオモザイキング手法   # を提案す

画像モザイキング 入力が動画像の場合はビデオモザる．本研究では，まず動画像を撮影可能なカメラを用いイキング と呼ばれる手法が研究されている %〜．

て紙面を撮影し，動画像からの三次元復元  * +

これらの手法では，対象を平面または平面に近似でき,   によって紙面上に存在する特徴点の三るものと仮定し，&"'( と呼ばれる平面射影変次元位置と，画像撮影時のカメラの位置・姿勢を推定

換のパラメータを推定することで画像の位置合わせをする．次に，得られた三次元点群を用いて紙面形状の論文／動画像からの三次元復元による湾曲した紙面のビデオモザイキング

推定を行い，この形状情報とカメラパラメータを用い(A) Initial 3-D reconstruction by feature trackingて紙面を平面状に展開したモザイク画像を生成する．
また，光源と紙面に対する簡単な仮定をおくことによ(B) Parameter refinement and target shape estimation

り，紙面上の陰影を取り除き，光学的にも正しく展開(a) Detection of reappearing features

されたモザイク画像を生成する．本手法は，カメラ以外の特殊な機器や紙面上のドキュメントの内容に関す(b) Global optimization

る事前知識を必要とせず，動画像のみから高解像なモ(c) Surface fitting to 3D point cloud
Iterate until convergence

ザイク画像を獲得することができるという特長があり，原理的には携帯電話や-. 等に内蔵されたカメラの(C) Mosaic image generation

みを用いた紙面電子化への応用が可能である．ただし，

図  提案手法の処理の流れ

本論文では紙面の湾曲は一軸方向のみとし，紙面の撮 

     影中において照明条件は変化しないものとする．また，カメラの内部パラメータを既知かつ撮影中固定とし，カメラのシャッタスピードは撮影画像上で動きブレが発生しない程度に高速に設定されているものとする．

 で，湾曲した紙面に対するビ
デオモザイキング手法の手順について詳述する． で以下，本論文ではは，試作システムを用いて提案手法を評価し，定量的な実験結果を示す．最後に  で，まとめと今後の課題について述べる．



湾曲した紙面に対するビデオモザイキ
ング

本章では，特徴点追跡による三次元復元に基づいて紙面の形状を推定し，平面状に展開したビデオモザイ
ク画像を生成する手法について詳述する．図  に提案
手法の処理の流れを示す．本手法では，まず，動画像に対して特徴点追跡を行い， * + ,  の原理により，特徴点の三次元位置とカメラの位置・
姿勢パラメータを逐次推定する .． 次に，推定されたパラメータを最適化し，三次元点群に対して多項式近似による曲面・曲線当てはめを行うことで紙面形状を推定する ．最後に，紙面形状とカメラパラメー
タから，平面状に展開したモザイク画像を生成する
．以下では，まずカメラ外部パラメータと三次元復元に用いる誤差関数の定義を行い，続いてステージ.〜  について詳述する．

  カメラ外部パラメータと誤差関数の定義の  ×  行列  を用いれば，三次元座標  と画像上の二次元座標  の間には以下の関係が成り立つ．

     /      ただし， は媒介変数である．本論文では記述の簡単化のために， を焦点距離  の投影面上に張られるレンズ歪みを考慮しない理想カメラ座標とするが，実0 / 
際には，実画像上の座標 0  
0  を，既知のカメラ内部パラメータ レンズ歪み 焦点距離 アスペ
クト 投影中心 を用いて理想カメラ座標  に変換する必要がある．
次に，三次元復元に用いる誤差関数について定義する．一般に，撮影時の標本化や，特徴点抽出の誤差，およびカメラ外部パラメータ・特徴点の三次元位置の推定誤差によって，第  フレームにおける特徴点の検出座標 ¼  /¼  ¼  と 式  によって計算される  の画像上での座標  は一致しない．そこで，本論文では，第  フレームにおける特徴点 に関する誤差

 を以下のように定義する．

 / 





¼ 





特徴点追跡による三次元復元

本節では，動画像中の特徴点を追跡することでカメラ外部パラメータ  と特徴点の三次元位置  を逐次推定する手法について述べる ステージ .．なお，

ここではまず，三次元復元に用いる座標系と誤差

ここで用いる三次元復元手法は，文献 $ の手法を拡

関 数 に つ い て 定 義 す る ．本 研 究 で は ，紙 面 が 存 在張したものである．文献 $ の手法では，初期フレー

す る 実 環 境 で 張 ら れ る 世 界 座 標 系 に おけ る任 意 のムを含むキーフレームにおいて三次元位置が既知の基点     が，第  フレームの画像座標/     に投影されるものとする．このとき，準点を与えることで，三次元復元処理における蓄積誤

自由度るカメラの位置・姿勢と特徴点の三次元位置を推定す

/

第  フレームのカメラ外部パラメータを表す

差を最小化し，基準点によって張られる座標系におけ電子情報通信学会論文誌       る．しかし，本研究では，対象となる湾曲した紙面に対して三次元位置が既知の基準点をあらかじめ設定することができないため，初期フレームにおいて基準点

Compensate forDistortion

を与える代わりに一定の仮定の下でカメラの位置・姿

Matching

勢および特徴点の三次元位置を初期化し，新たに部分区間に対する最適化処理を加えることで初期値と真値のずれを自動で補正する．また，再出現特徴点を検出(i)
図し，全体最適化処理を行うことで，累積的な推定誤差の発生を抑える．
はじめに，初期フレームにおける処理について述べ

る．本研究では，初期フレームにおいて，ユーザが持
つカメラが撮影対象である紙面に対しておおむね正対しているものと仮定し， の回転成分を単位行列，
平行移動成分を

(ii)

(iii)

(iv)

再出現特徴点の検出!  カメラの移動経路と特徴点の三次元位置"  入力画像中の時間的に離れたフレーム"  各画像上における同一特徴点のパター
ン"  投影歪みの影響を取り除いたパターン#         !   "            "    $  "        
%    "        

で初期化する．また，初期フレームの画像内で検出された各特徴点
定に基づき三次元座標  をについても，この仮     で初期化す

る．なお，初期値として与えられる特徴点の三次元位

で，カメラパラメータ推定に用いる信頼度の高い特徴
点の組をフレーム毎に自動更新する $．

置およびカメラ位置・姿勢は，逐次処理における部分部分区間での最適化

区間での最適化処理によって自動で補正されるため，

い，現フレームから一定フレーム前までの部分区間にユーザは上記の仮定を厳密に満たす必要はないが，初

対して，再投影誤差の総和を最小化することで特徴点

期値が真値から大きく離れる場合には，局所解に陥るの三次元位置とカメラパラメータを最適化する．
以上のステップを繰り返すことにより，各フレームことで正しい解が得られないことがある．
次に，後続のフレーム 

バンドル調整の枠組みを用 での処理について述べる．各フレームのカメラ外部パラメータ  は，以におけるカメラ外部パラメータ  と，特徴点の三次
元位置  を逐次的に推定する．

下のステップを最終フレームまで繰り返すことによっ  パラメータの最適化と紙面形状の推定て逐次推定される．

本節では，特徴点追跡による三次元復元によって得&  のインタレストオペレー

られたカメラパラメータと特徴点の三次元位置を最タ % とテンプレートマッチングにより，前フレーム

適化し，曲面当てはめによって，紙面形状を推定するの各特徴点について，現フレームにおける対応点を探手法について述べる ステージ ) 本手順では，図索する．更に，.. アルゴリズム 1 を用いて，

  に示すように，まず，時間的に不連続な画像上に特徴点の誤対応を排除する．

存在する再出現特徴点を対応付け ，これを用いた特徴点の追跡

カメラ外部パラメータの推定

前ステップで決定された特徴点の画像上での座標     と，対応する¼

三次元座標  /¼

     を用い，カメラ外部パラ

カメラパラメータおよび特徴点三次元位置の最適化を行う

．次に，特徴点の三次元点群に対する曲面当てはめによって紙面形状を推定する *．これらの処

メータ  を算出する．ここでは，式  で定義した理 〜 * を，式  に示した再投影誤差の総和が変 を !+2+ +"345 6 法に化しなくなるまで数回繰り返すことで，最終的に高精よって最小化することで，カメラ外部パラメータを得度なカメラ外部パラメータと紙面形状を得る．以下で誤差関数の和る．なお，特徴点の三次元座標  は，前のフレー

は，処理 〜 * について述べる．

ムまでに推定されている値を用いる．

   再出現特徴点の検出

特徴点の三次元位置推定

カメラを動かしながら紙面全体を撮影しようとする

全ての特徴点

現フレームに存在するについて，特徴点ごとに最小化することで三次元座標  /


+

 を

     を算出

し，更新する．
特徴点の追加と削除と，カメラは必然的に，図   に示すように，複数回の折り返しを伴って移動することになる．その結果，
画像上の特徴点の中には，数フレームにわたって追跡

複数の評価尺度を用いることされてから，一度フレームアウトした後に，再度フ論文／動画像からの三次元復元による湾曲した紙面のビデオモザイキング

レームインしてくるものが存在する．本研究ではこの
3-D points of features

ような再出現特徴点を検出し，同一の特徴点として対m

応付ける．これにより，時間的に不連続なフレームのn

カメラパラメータ間に制約が付加され，後段の全体最

Vmin: direction of minimum
principal curvatures

適化処理によって累積的な誤差の影響を効果的に排除することが可能となる．ただし，前節で述べた逐次処
理では，時間的に離れたフレームの画像上において必Vmax: direction of maximum
principal curvatures

ず同一の自然特徴点が検出されているとは限らず，また本来同一の特徴点であっても推定された三次元位置に累積的な推定誤差が含まれているため， 7

アルゴ

リズム  に代表される特徴点の三次元位置のみを利Plane P
Vmin: Normal of projection plane

用した位置合わせ手法を用いて再出現特徴点を検出・対応付けることは難しい．

V2

そこで本研究では，時間的に離れたフレーム間で類V1: first principal directionof projected points

Projected points

y = f (x )似のパターン画像を持つ特徴点を検出することによって再出現特徴点の検出を行う．その際，図  に示すように，紙面上の同一の特徴点であっても，カメラ

図 & 多項式当てはめによる紙面形状の推定 &

運動の影響による投影歪みによってパターンが変化してしまうことが問題となるため，ここでは繰り返し処理の後段で推定される紙面形状を用い，画像面上の特徴点周辺のパターンを紙面形状の対応する箇所に投影することで，投影による歪みの影響を排除する．次に，三次元空間中での距離が一定の閾値以下の特徴点の組を抽出し，両者のパターン類似度を正規化相互相関の'   (

 

 を計算する．これにより，図 

し，誤差



 のよ

うに時間的に離れたフレーム間でも整合性を保ちながら，カメラ外部パラメータと特徴点の三次元位置を最適化する．

   紙面形状の推定
処理

 で最適化された特徴点の三次元点群を用い，尺度で評価する．ここでは，スケールの異なる複数テ

見開きの冊子のように紙面が  軸方向にのみ湾曲してンプレートを用いて相関計算を行い，全てのスケールいるという仮定の下で紙面形状の推定を行う．ここでにおいて相関の高い特徴点の組を再出現特徴点とする．

は，まず，図  に示すように，三次元点群に局所的な

これにより，紙面上に同じ文字が多数存在する場合に曲面当てはめを行うことで曲率の主方向を算出し，最おいても正しく再出現特徴点を対応付けることができ

小主曲率方向に対して各特徴点の三次元座標を二次元る．ただし，本処理では，投影歪みの排除に紙面形状に縮退させる．次に，得られた二次元座標群に対してが必要となるため，処理 〜 * の繰り返しの初回に多項式当てはめを行うことで，紙面形状の推定を行う．

は，再出現特徴点の検出を行わない．

  三次元復元結果の最適化
 で述べた三次元復元処理は逐次的に行えるため，

最小主曲率方向は，処理徴点
徴点群

 によって得られた各特の三次元位置  を中心とする一定半径内の特に対して，局所的な二次曲面当てはめを行

各フレームに対する処理は短時間で行える反面，推定うことで算出する．ここでは，まず，特徴点群

誤差が蓄積するという問題がある．ここでは，バンド三次元座標に対して主成分分析を行い，第一・第二・ル調整の枠組み  を用い，以下に示す動画像全体に第三主成分の方向の単位ベクトルを基底とする座標系

対する再投影誤差の総和を最小化することで，カメラを構成する．これにより，三次元位置の分散が最小と

外部パラメータと特徴点の三次元位置を最適化する．
 /







の

なる軸を高さ方向に取る二次曲面関数

/ 8を点群

 8   8  8  8 

に当てはめる．次に，得られた二次曲面か

なお，再出現特徴点については，処理  によってら，曲率が最大・最小となる方向を表す主方向および対応付けられた特徴点の組を同一の特徴点系列とみな法線方向を算出する．この局所的な二次曲面当てはめ電子情報通信学会論文誌       を，全ての特徴点に対して繰り返すことで，全ての特ける各特徴点の奥行き距離を全てのフレームで平均し徴点の三次元位置に対する主方向が求まる．本研究でた値  の定数倍を近似的に与える  / ．

想定する  軸方向にのみ湾曲する紙面では，全ての特

なお，見開きの冊子を対象とした場合のように，対徴点位置において理想的には最小曲率が 1 となり，そ象が複数の紙面を接続することで構成されている場合の方向は紙面全体で一致する．しかし，実際には推定には，局所的二次曲面当てはめによって得られた法線

誤差の影響で最小主曲率の方向が一つに定まらないた

方向の不連続性に基づいて複数紙面の接続線を検出し，め，ここでは，投票によってアウトライヤを排除した

それぞれの紙面に対して独立した形状パラメータを算後に，主方向を平均化し，曲面全体の最小主曲率方向

出する．また，ここで得られた紙面形状は，後段の展      を決定する．

開モザイク画像生成処理の他に，繰り返し処理  に /次に，得られた最小主曲率方向
平面     /  を法線とする

8   8   / 1 上に，おける再出現特徴点の検出で，投影歪みを排除するために用いられる．

各特徴点の三次元位置  を投影する．ここでは，平  展開モザイク画像の生成

面  上に投影される二次元点群の分散が最大となる
軸方向の単位ベクトルを/直交するベクトルをの式を用いて  を



9 
9 に射影する．

   9

9/

，また，  と  に   とおき，以下

形状とカメラパラメータを用いることで幾何学的な補を基底とする二次元空間

また，光学的な補正を行い，紙面上の陰影を排除する   展開モザイク画像の生成

ここでは，図  に示すような，平面状に展開された



紙面上の座標を表す

乗法を用いて以下の多項式による大域的曲線当てはめを行い，紙面の形状パラメータ

9 /  9 /正を行い，平面状に展開したモザイク画像を生成する．
ステージ ．

最後に，得られた二次元座標群 9 9 に対して最小二する．

前節で述べた繰り返し処理によって推定される紙面



9



+

  /

準 :3.7 を最小とする次数  を算出することで最適


 

 
 

 による当てはめの残差， は当当てはめに用いる拘束条件の数を表す．また， は 9軸方向に対する特徴点位置の推定誤差の平均値 ノイ
ズレベル を表す．式

 による多項式当てはめでは，   は当てはめに用いる次数  に依存しないため，定数項を取り除けば，実際には以下の評価基準  を最小とする  を選択することで最適次数を決定できる．
$

本研究ではノイズレベル  として，カメラ座標系にお 

画像上に投影する)#

てはめに用いる点の数  は観測データの次元， は







 9

%

モザイク画像上の座標   に対応する三次元座標:3.7 /  8       8  8  /  8 8

具体的には，まず，式 % によって得られる展開

次数を自動で決定できる．

,

9  9 
9 を，以下の式によって各フレームのカメラ

ここで，幾何学的 .7  を用いれば，以下の評価基

ただし， は式

 

曲面を平面に展開する．

        を算出

  と 多項式近似曲面上の三次元座標 9  9 9 に関する以下の関係式を用い，



/












9
9

1

9

次に，投影座標の画素値を用いて展開モザイク画像を生成する．ただし，本研究では推定された紙面形状を用いて展開モザイク画像の生成を行うため，紙面形状の推定誤差は，モザイク画像上において直接画像合成
位置のずれ 画像ブレ として表れる．このような紙面形状の推定誤差に起因する画像合成位置のずれは，紙面の法線とカメラの光軸の成す角が %1 度に近づくにつれて顕著に表れるため，本研究では以下に示す，紙面の法線方向に応じた重み付き平均を展開モザイク画
像  の画素値    とすることで，画像ブレを抑えながら展開モザイク画像を生成する．

論文／動画像からの三次元復元による湾曲した紙面のビデオモザイキング   /    
 









 / 



ただし，     は第  フレームの画素     の輝度値を表す．また， は定数であり， は紙面上の三次元位置 9  9 9 における法線方向と，第  フ: と小型カメラ .'< 1A B:. 7CCC%

接続 から構成される．本実験では，カメラの内部パ
ラメータをあらかじめ A の手法  によって校正し，このパラメータを撮影中固定とした．カメラのシャッタスピードは，本システムで用いられる典型的なカメラの動き速度に対して，画像上での動きブレが発生しないように設定し 物理的な値はカメラの仕様

レームのカメラ中心と 9  9 9 を結ぶ直線の成す

上不明，その他カメラで自動調整可能な項目につい角 単位;ラジアン を表す．

てすべて撮影中固定とした．実験は複数の光源が存在

 

陰影の排除

する室内環境で行い，紙面に最も近い光源までの距離

幾何学的な補正だけでは照明条件によっては陰影が不均一となるため，人間の視覚には湾曲が正しく補正されたようには知覚されないことが多い．本研究では，は約  であった．また，式 $ による最適次数決定のための定数は経験的に  / 111# とした．

  見開きの冊子に対する実験

紙面の背景が紙面上で最も明るい色 反射率が紙面上本実験で撮影対象として用いた湾曲した紙面を図 

で最大 のランバート面から構成され，光源を平行光に示す．実験対象は  つの湾曲した紙面から構成され源と仮定することで紙面上の陰影を排除する．本手法ており，冊子左側が文章，右側が写真・図から構成さにおいては，紙面の最小主曲率方向が展開モザイク画

れている．また，定量評価に用いるために，紙面上の  において縦軸方向に射影される

* の格子位置に＋マークをあらかじめ印刷してあ像の画像座標ことから，平行光源の仮定の下では，展開モザイク画
像上の陰影は，同一の  座標を取る画素に対して一様に現れる．また，同一の  座標を取る縦につながった画素群の中に，紙面の背景色が必ず含まれていると仮定すれば，以下の式によって，各画素   の輝度

値    を補正し，陰影を取り除いた新たな画素値

   を算出することができる)   /る．このような紙面を対象として，手持ちのカメラで
11 フレームから成る B:. 解像度の動画像を撮影し，実験に用いた．図に撮影された画像の一部と検出された特徴点位置を示す．図中の×印は検出・追跡された特徴点の位置を表す．これに対して で述べた三次元復元手法を適用することで，図 # に示すカメラ
外部パラメータと特徴点の三次元位置を推定した．な   <   8   8  =       ただし， は縦長 例えば横  縦 11 画素 のウイ

お，図中の曲線はカメラの移動経路を，四角錐は 1
フレーム毎のカメラの姿勢を，点群は特徴点の三次元
位置を表す．
次に，   で述べた再出現特徴点の検出・全体最適化と曲面当てはめ処理を繰り返し，紙面形状を推定しンドウを表し， は補正された画像上での紙面背た．本実験では， 回の繰り返し処理で推定結果が収景の輝度値 例えば典型的には  を表す．なお，紙束し，最終的な入力画像上での特徴点の再投影誤差は面上に紙の素材よりも反射率が高いものが存在する場

平均 1)% 画素となった．図 $ に紙面形状の推定結果

合や，紙面にフチなしで写真が印刷されている場合なを示す．本研究では多項式近似によって紙面形状を推ど，ウインドウ > 内の最大輝度に対応する画素が必定するが，本実験において幾何学的 .7  を用いてずしも紙面の背景と対応しない場合には，本ステップ

自動決定された多項式の次数は，紙面左側が  次，紙における処理を適用しても正しく陰影を排除すること

面右側が  次であった．

はできない．



実

次に，推定されたカメラ外部パラメータと紙面形状を用いて平面状に展開した展開モザイク画像 解像験度;11 × %% 画素 を生成した．ここでは，式 

提案手法の有効性を確認するため，プロトタイプシに示したモザイク画像生成時の画素の重み係数  をステムを作成し，見開きの冊子とワイン上のラベルを&
1 とした．図 % に，生成されたモザイク画像につい対象として実験を行った．試作システムは，一般的なて陰影を取り除く前後の結果を示す．同図  では，

デスクトップ型 

幾何学的には湾曲が補正されているが，陰影が不均一+ ?+ ):&@ 4+(電子情報通信学会論文誌        )

図)
*
 

実験対象とした湾曲した紙面
      

 



  

++    

++ 図 , 入力画像の一部 紙面 ,-    



.

      

図 1 平面状に展開されたモザイク画像 紙面
 1    

2   
    

図 / 推定されたカメラの位置・姿勢と特徴点の三次元位
置 紙面
 /

      
#  
    

 3 図0 0 4  三次元点群から推定された紙面形状



 #  

 5 

であるために湾曲しているかのように知覚されてしまう．しかし，  では，紙面上の陰影は取り除かれ，湾曲した紙面がおおむね正しく平面状に展開されていることが確認できる．図 1 に，入力画像の一部の領域を拡大した画像  と，それに対応するモザイク画像 4  

 5 +

図 + 入力画像とモザイク画像の拡大比較 +*          

論文／動画像からの三次元復元による湾曲した紙面のビデオモザイキング

上の領域



* を示す．なお，ここでは式  で示したモザイク画像合成時の重みの効果を確認するた
め，重みを均一とした場合 図中  /  および

表  モザイク画像上の格子間距離 6単位7画素 括弧内7平均からのパーセンテージ8'  #      9    

紙面の法線方向に応じた重みを加えた場合 図中 *  

 / 1&  の生成画像についてそれぞれ掲載した．図  

1  から，入力画像上では幾何学的な歪みが存在し，

 ),&
+++
))
+++, +
+0
,+
+,

)++
10
&0+
10+

文字のベースラインが平行ではないことが分かるが，

 



1&
+0
0,
+0

 * においては歪みが取り除かれ，ベースライン

が平行化されている．本実験では，動きブレの問題を回避するため比較的高速なシャッタスピードを設定

表  モザイク画像上で縦横に隣接する格子点間を結ぶ直線の成す角 6単位7度8' 

したため，入力画像上で暗ノイズが発生しているが，

:

     9   * では多数の画像を合成することによりこのよ  

うなノイズが低減されている．また，  と比較して  
 

010
01,

1+0
1+)

01+
001



 
 



+,+
+,/

より精細な画像が生成されており，文字の可読性が向上している．

 * の比較においては，紙面の法線

方向に応じた重みを加えた * の方が画像の合成ブレ

レベルでの画像生成を実現している．しかし，紙面のが小さいことから，重み付けによる画像合成の効果を接合部付近において幾何学的な補正が十分でなく，若確認できる．なお，本実験においては，ステージ .

干歪みが残されているため，D での文章の自動読の逐次処理によるカメラ位置・姿勢推定に # 秒 平

み取りや，精密な紙面の電子化を目的とする場合には，

均 #),'，ステージ  のカメラパラメータの最適

特徴点以外の画素値情報の利用による紙面形状推定の化に # 秒，ステージ  の展開モザイク画像の生成

高精度化を行い，更に精度の高い幾何学的歪みの排除に  秒を要した．

を実現する必要がある．

最後に，あらかじめ紙面上の格子点位置に印刷しておいた＋印を用い，生成されたモザイク画像上に生じ

ワインラベルに対する実験

本実験では，図  に示すようなワインボトルに貼りた幾何学的な歪みの定量的評価を行った．ここでは，付けられたラベルを対象とし，手持ちのカメラで 11生成されたモザイク画像上での＋印の座標を手作業でフレームから成る B:. 解像度の動画像を撮影した．

計測し，隣接する格子点間の距離および格子点間を結図  に撮影された画像の一部と検出された特徴点位

ぶ直線の成す角を算出することで歪みの評価を行った．

置を示す．図中の×印は検出された特徴点の位置を表

表  に本実験における格子点間の距離の平均，最大，す．前節で示した実験結果と同様に，提案手法による

最小，標準偏差を，表  に縦横に隣接する格子点間を三次元復元処理と形状推定処理を行うことで，図  に結ぶ直線の成す角の平均，最大，最小，標準偏差を示

示す三次元復元結果と形状の推定結果を得た．図中のす．表   から，紙面の内容によらずおおむね一定の四角錐は 1 フレーム毎のカメラの姿勢を表す．なお，

精度でモザイク画像を生成できることが分かる．ただ本実験における再投影誤差は平均 1)$ 画素であり，幾し，格子間を結ぶ直線の垂直からのずれは最大 ) 度

何学的 .7 で決定された多項式の次数は  次であっ程度であり，実際，図 %た．同図から，比較的特徴点の少ないワインラベルに においても紙面の接合部付近に幾何学的な歪みが残されている．これは，紙面の接合部付近では，紙面の法線とカメラ光軸方向の成対しても形状が推定されていることを確認できる．
次に，推定されたカメラ外部パラメータと紙面形状

す角が %1 度に近くなるために特徴点追跡の精度が低を用いて，平面状に展開した展開モザイク画像 解像

下し，三次元復元における推定誤差が大きくなること度;11 ×  画素 を生成した．図  に，生成さに起因していると考えられる．

れたモザイク画像を示す．本実験においては，入力画以上のことから，本手法では湾曲した紙面の電子化

像上で鏡面反射によるハイライトの発生が確認されたにおいて問題となる幾何学的な歪みおよび陰影の影響ため，  を効果的に排除することができ，電子化された書籍のた．このため，最終的に生成された画像上において両文字を人間が読み取るといった用途において問題ない

隅で輝度が低くなっているが，幾何学的にはおおむねで述べた陰影の排除手法は適用しなかっ電子情報通信学会論文誌       

正しく平面への展開が行われている．本来ワインラベ
ルは円筒であるため，グラフ曲面を想定した式による  次多項式で正しい形状を推定することは原理的に不可能であるが，本実験のように円筒の一部分といった限られた範囲内であれば，このような近似を用いても大きな問題は発生しなかった．ただし，本実験では形状の推定に用いた特徴点が比較的少数であったことから，最小主曲率方向の推定誤差が比較的大きく，生成された展開モザイク画像が若干傾いていることが 

図 

実験対象としたワインラベル

;



      

分かる．

  



ま

と め

本論文では，手持ちのビデオカメラを用いて湾曲した紙面に対して平面状に展開したモザイク画像を生成する手法を提案した．本手法は，動画像からの三次元  

)+ 

++ 面の形状を推定する．また， 軸方向のみの湾曲を仮図  入力画像の一部 ワインラベル
 -   復元手法を用いることで，特殊な機材なしに自動で紙$ 

定することで，推定された三次元点群に多項式近似による紙面形状を当てはめ，湾曲した紙面を平面状に展開する．更に，紙面の背景が白色で光源が無限遠であるという仮定を用いることで，紙面上の陰影を排除し，光学的にも正しく展開されたモザイク画像を生成できることを示した．
提案手法では，紙面の形状パラメータの算出において多項式近似でのモデル化を行っているため，円柱の全周に描かれた絵画に対するモザイキングのように多価関数でのモデル化が必要な形状に対して手法を適図 推定されたカメラパス・特徴点の三次元位置と紙面形状 ワインラベル

          

(



用することはできない．しかし，基本形状のモデルをユーザがあらかじめ選択するなどインタフェース面での工夫を行い，撮影対象に応じた形状モデルの当てはめを行うことで，一価関数による多項式近似が不可能な形状に対しても展開モザイク画像を生成できると考えられる．また，今後は特徴点位置の最適化だけではなく，モザイク画像上での同一の画素に対応する各フ
レームの画素値の一致度 ' * +*( を考慮した三次元復元パラメータの最適化を行うことで，更なるモザイク画像の生成品質の向上を図る．

図 &

平面上に展開されたモザイク画像 ワインラベル

 &

2      

論文／動画像からの三次元復元による湾曲した紙面のビデオモザイキング

文
68

献

' ; " < =.  

D C00 # 33" E 0"  &1+F&10" ++)' 4 7 -   3  ? 
 A - 7 #  


=

6&8

>-

  @

*   =

."B 3 C  *  D " D &"G G" * A ' A 7 >H*

#  3 # -

6)8-

"B @ 3 *  * 

4 -  ;  -    ;  :  

7 >3

H

#  "B 3 '  @47 >-

H     E ? -

3

H

J

4



#  3 "B @C A" # #    3- *



4 -  

++&
4   '  H  : *  D "  &&F) " 11&E * " < J" 4 < " 4 I   
3

3:@H ;.   4

D  : "* ' < " ' < * " H :  .  
<7 > 



C J

D

 4 "B @ 3

3 *  3 @" D 33"  00/F01+"

+++
68

=   " - *  4 
4- # H7 >:  

 3 4  =  2   < "B 3' C  H
 @

" -  3 " D &0" E&" 

 D /F &"

++
6 8





-   =   <

 



D



池谷 彰彦" 佐藤 智和" 池田 聖" 神原 誠之" 中島 昇" 横矢
直和7 >カメラパラメータ推定による紙面を対象とした超解像ビデオモザイキングB" 電子情報通信学会論文誌（# 33""  1F1" ++* < 

4 -   7 >: * *  #  "B @ :  D  *"  &/F

4 :    


68

H *   7 : @   4

7 >H  -   ::

*

0F 1)" 10@ C  

E # 4J7 >: 4  H   # -

"B 3 '   @ : 4

3   " D &" E "  1F)," 11
68

 ' " @ 4A" H <  
7

 

: 9   F : 4: M - " 10F /)" AE*-" -  D " +++6 8J J7 >2   3 *  4

4 "B @ )F+" 110
68< '. 7# H     L  - "B *   :*4" D &" E ," "B @ 3 ;.   :

4 L 7 > 1F 1," ++,  3 :  

:  *  *  D " D "  ))F)),"6+8

 -  4"B @' -" 4 J " E I. *H "  )FI * ' 7 >=   3H -M  .7 >3 4   *E I.7 >D)" 100
6+8@ 4      3"B @618

" 4 J " E E.9    2 

1" ++)
608

618

LM"B 3 ;.   * #  : : 3. " ' -" - 3.

< 

"

# # 7 >=

# 佐藤 智和" 池谷 彰彦" 池田 聖" 神原 誠之" 中島 昇" 横矢 直和7 >動画像からの三次元復元による湾曲した紙面



++ 
6/8

"B @* "B 3 C  *  D " D &/" E* A7 >: *  -3 *  *  D " D "  0F

3 @ 7-># 

 #    -    H    

>4   @  *


608

" D "  &0F&0)" ++&< *" K # : " D )"

3:@H 3 *  @  H " D 3D"

D  -  "B @ 3 *  @  H 
6,8#

; @ " : 2  " C 4 *#  

4 3   " D ," E: I " : J" ' J . "B 4 D  H

43H=++, 講演論文集"  10F+)" ++,6/8

+"  1)F +," ++&
6)8



  のビデオモザイキングB" 画像の認識・理解シンポジウム@  H " D "  ,/F/"

++
6&8

 *

 &&F&1" 11,
6,8

4 @7 >=  @  * #    :D  -

3 ;.   :  *  D ""B @ 3 *  *  D   @>: 4  :

H E "  F+" ++ 4@  H " D "  +F)" ++&
6 8

4 - 7   :$  E "  )F )" 11/
68@ 2  -  "B 3 C  *  D " D," E
6&8"  /F01" 110

H I ' 7 >: Æ    ' $: *  *# 4D "B @3 *  *  D  @  H " ,&F /&" 10,（平成  年  月  日受付）

電子情報通信学会論文誌       

佐藤 智和

（正員）

111 年阪府大・工・情報工卒．++ 年

奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．現在，同大情報科学研究科助教．動画像からの三次元復元，奥行き画像推定，ビデオモザイキングの研究に従事．++ 本会学術奨励賞受賞．博士（工）．情報処理学会，3 各会員．

池谷 彰彦

（正員）

11/ 年阪大・工・電子制御機械卒．111

同大大学院博士前期課程了．同年 E* 入社．以来，コンピュータビジョンの研究に従事．++& 本会学術奨励賞，@H4= 研究奨励賞，3' ヤングリサーチャー賞受賞．

池田

聖

（正員）

++ 年広島大・理・物理卒．++, 年奈
良先端科学技術大学院大学情報科学研究科

博士後期課程修了．現在，同大情報科学研
究科助教．カメラキャリブレーション，テレプレゼンスの研究に従事．博士（工）．
3 会員．

神原 誠之

（正員）

11/ 年岡山大・工・情報工卒．++ 年

奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．現在，同大情報科学研究科助教．ステレオビジョン，拡張現実
感，ウェアラブルコンピュータの研究に従事．111 本会学術奨励賞受賞．博士（工）．
情報処理学会，日本バーチャルリアリティ学会， 3 各会員．

中島

昇

（正員）

11+ 慶大・理工・電気卒．11 同大大学院修士課程了．同年 E* 入社．以来，文書画像処理の研究に従事．11, 本会学術奨励賞受賞．

横矢 直和（正員：フェロー）1/& 年阪大・基礎工・情報工卒．1/1

年同大大学院博士後期課程了．同年電子技術総合研究所入所．以来，画像処理ソフト
ウェア，画像データベース，コンピュータ
ビジョンの研究に従事． 10,〜0/ 年マッ
ギル大・知能機械研究センター客員教授．

11 年奈良先端科学技術大学院大学・情報科学センター教授．

現在，同大情報科学研究科教授．11+ 年情報処理学会論文賞
受賞．++) 年情報処理学会フェロー．工博．情報処理学会，日本バーチャルリアリティ学会，人工知能学会，日本認知科学会，
映像情報メディア学会，3" :*4 -322H:@< 各会員．

.   + , +6 , 2 6+  * " 2+  +6(++ 2+ "+6) &+2+  ,

++ +6 ,+  +  + "+  E+*  F  2+( , , + *+  2 6 + 6 ' ('+) A  ''+ ''+  2+ 2 6+  * " +6 , * 2+6 6* + * +6  3- +*3(  * +3,3 ) A+ ''+6 +6 * "+++ +  * "+ , "++ * (++6 "+ 6* + +2+ , + 6* +   * 2+6  ,*+) C<'+ +  * 2+6 6* +2+  + ,+ ( , + ''+6 +6)

2 6+  * "  * + ,   '+ +   ,+ + *G " +<  * *3

+ '++ +  