200
18

日本バーチャルリアリティ学会誌第 14 巻 4 号 2009 年 12 月

特集

第 14 回大会

特別講演 2

特集■第 14 回大会
Applications of 3D Digital Technologies in
Archaeology and Digital Heritage

特別講演 2

査

紅彬

北京大学

Hongbin Zha

皆さんこんにちは，ご紹介いただきました中国北京大ければいけません．次には，モデル表面の形状的，構造学の査と申します．私の話のタイトルは考古学とデジタ的な詳細あるいは変化をちゃんと記述できなければいけ

ル文化財における 3 次元デジタル技術の応用です．二つないということです．この 2 点は，幾何学的なモデリンの部分からなっています．まず最初に 3 次元デジタル技

グの中で非常に大事なことです．ただ，幾何学的な情報術についての説明で，デジタル文化財のバックグラウン

だけではなく，他の情報もモデルの中に付加することがドとしての 3 次元デジタル技術とはなにか，基本的な処できれば非常に役に立ちます．例えば，テクスチャーや理プロセスの中にどのようなことを考えないといけない

カラーあるいはその透明度や他の特性の情報を入れるこのか，今の課題はなにかについて簡単に説明します．そとです．今日では，基本的に最初の部分，つまり幾何学の次に，3 次元デジタル技術は文化財にどのように応用的な情報をいかに集めるか，いかに利用するかに重点をされうるかについて紹介します．主に中国で行われていおいて話を進めていきます．

る二つのプロジェクト，つまり龍門石窟と麦積山石窟に

3 次元幾何モデリングはずっと昔からやり始めていまおける応用例について説明します．今回の話は，技術的す．コンピュータビジョンの中，おそらく 20 〜 30 年前

な詳細についてではなく，中国で行われている事例につからモデリングという話がずっと話題になっています．

いて報告するという性格が強いです．

ただ現在からみると，どのような特殊な問題が出てくる
かといいますと，いろいろな要求の面でだいぶ違ってき

1．3 次元デジタル技術ています．例えば，今のモデリングの対象は単体ではな

まず，3 次元デジタル技術の概念ですが，ある小さい

く，複雑なトポロジカル的な構造を持っているものが多彫像を対象として計算機の中でそっくりなものをつくる

いです．しかもそれに加えてダイナミックな変形や動きというのは少し乱暴ですが簡単な例であります．似ていというものを含めています．人間の体あるいは，屋外情る例としてコピー機があります．コピー機の場合は 2 次景の中にはたくさんの変化するものがでてきます．
また，元的な資料の複製をつくるのですが，今言っているのはインターネットで使うためには，そのデータをいかに削

3 次元の実世界に存在する 3 次元の対象物体を何らかの減するかあるいは圧縮し，転送するかなどを含めて考え技術を使って計算機の中でそのモデルをつくる，そっく

なければいけません．もう一つ大事なのは，昔はモデリ

りなものをつくるというものを指しています．実物といングができれば非常に役に立つということでコストをあうより計算機の中で何らかの形で蓄積したようなデータ

まり考えていませんでしたが，現在では実際の応用に使を取りたいという感じです．

うためには，できるだけ低コスト，はやい速度で作らなければいけないということで，自動的にモデルを作りた

そのようなことをやるためには現実的にどのような目いということも大事なポイントになっています．

的を達成しないといけないかというと，まず大事なのは幾何学的な情報を集めないといけないのです．細かく分動かないものについては大体成熟した技術があるのけると二つの部分を含んでいます．まず，ある物体のモですが，植物あるいは建物のように複雑な構造を持つデルを作ろうと思ったらその表面のすべてをカバーしなものだとすると簡単にはいかないです．また，人間の

18

特集

第 14 回大会

特別講演 2JVRSJ Vol.14 No.4 December, 200919201

顔のように変形するあるいは動いている人間や動いてプロセスが必要になるかを考えていきたいと思います．

いる車のようなものまで考えますと非常に難しいです．

今では，ほとんど同じパイプラインを使い，モデリン

私たちの研究室にしてもそのような 3 次元実物体のモグをやっています．データを取る装置としてはレーザ

デリングについての研究をだいぶ前からやっていたのスキャナや他の光学的な原理に基づいたスキャナを用です．しかし，現実世界とバーチャル世界との間の壁いています．実際にはそれらの装置を用いてデータををいかに打ち破るかということはかなり難しい問題ととると，一方向のデータしか取れないのでいくつかのして存在し続けています．

視点からデータをとり，組み合わせて用います．しかし，その一方で，3 次元モデルがあれば，医療やロボティ

組み合わせるところでは簡単にはいかず，データの中

クスなど様々な分野で使用できるので，バーチャルリアのノイズを除去して対象面を再構成し，レジストレー

リティの研究は大きな期待をされています．当然，
ミューションという位置合わせをし，最終的には同一の座標

ジアムや文化財のところでそれを使おうという動きも出系において接続するという過程になります．そうするてきます．文化財のことを考えますと，3 次元デジタル

ことでモデルが出来上がります．さらにいろいろな応

技術が役に立つということは直感的にわかると思います．

用に関しては，粗い解像度を持つモデル，細かい解像

実は，文化財のところで文化財の保護と展示というとこ度を持つモデルが必要になりますのでそのようなデー

ろで大きな矛盾を抱えています．文化財を保護しようとタ形式にあわせて用意します．

した時，どこかに安置し，鍵をかけて閉めておけば一番その中にはいくつかの問題点があります．まず出てく

単純です．しかし，文化財に関する知識を普及させよう

るのがデータをいかに取るかということです．現在使わとしますと，展示しないといけない．展示することにな

れている 3 次元スキャナの例はいくつもあるのですが，ると何らかの形でみんながアクセスできる形になってし

これらの中には近くからデータを取れるものもあれば，まうので損害を与える可能性が非常に強いです．しかし，遠いところからデータを取れるものもあります．だいもし 3 次元デジタル技術を使えれば，実物をどこかに保たい近くからデータを取るものはステレオビジョンの原

存しておき，実物のデジタルコピーを作り，デジタルコ

理に基づいたものが多く，遠いところのデータを取るもピーを展示すればよいというのが自然な考え方です．

のはレーザ光が飛行する距離を測るような装置が多いでまだ，複雑なことを考えますと，考古学や文化財の中す．今回の会場の展示場でも様々なタイプのスキャナがで，いろいろな使い方があります．先ほど申しましたデ

展示されており，みなさんの注目を集めていると思いま

ジタルコピーをつくるのは一つの使い方ですし，それとす．今でも，普通のデジタルカメラのように簡単に使え

同時にばらばらに破損した状態で発掘された文化財を計て，しかも 3 次元データを高密度にとれる機材の開発は算機の中でバーチャル的なテクニックを使い，修復する期待されています．最近は，そのような技術も実用化さということも試されています．また，計算機上で修復しれてきており，日本では 3 次元カメラも発売されており，た文化財を解析して，歴史上どのようなことがあったか

来年には 3 次元テレビが発売される予定になっていますなどの解析を行うというのも応用の一つです．例えば，

ので今後もますます注目される研究領域になっていくとある発掘された頭蓋骨から顔を復元することで，それが思います．

どのような時代の人間か，どのような顔をしているかを知る手助けができます．もう一つの応用例としては，発掘現場の 3 次元モデリングです．発掘とは一瞬前の発掘現場を破壊することで行っていきますので，一度作業を行ってしまうと，元の発掘現場の様子を調べることができません．実際に中国ではたくさんのそのような現場が存在します．現在では発掘せず，そのままおいたほうが安全であるという対策も行っています．しかし，もし 3次元技術や他の物理的，科学的な方法を用いて発掘現場を記録しておければ，発掘後に元の発掘現場を調べることもできます．

図 1 デジタル文化財における 3 次元モデリングの基本処理パイプライン＊口絵にカラー版掲載

次には，このような目的のためにはどのような処理

19

20
202

日本バーチャルリアリティ学会誌第 14 巻 4 号 2009 年 12 月

特集

第 14 回大会

特別講演 2

ここでもう一度，データ処理のところの難しい問題点してしまっています．流出された部分の一部は在り処がについて，2 点ほど申し上げます．まず最初には，今取わかっており，中国に戻されています．ただ戻されていれる 3 次元データの形式は非常に特殊であり，処理するても，実物の体の上に接続して修復することはできない

ときに非常に使いにくい．今までよく使われている音声

ため計算機の中で壊された各部分のモデルを作ってバーや画像やビデオなどを考えますと大体信号の配列がきれチャルに復元することもやっています．三つ目の仕事にいになっています．このように整列された信号に関して

ついては 3 次元モデリングに用いるソフトウェアの標準はフーリエ変換やウェーブレット変換などのツールを簡化です．いろいろなところで違う方法で 3 次元モデルを単に使うことができます．しかし，3 次元データの場合，つくってやっているのですが，統一した技術標準がない

対象物体自体が複雑であり，しかも採ったデータ自体がと，技術とデータ自体の蓄積ができません．その考え方

不規則に並べられていますので先ほどの音声などには使に基づいて，去年から 3 次元デジタル技術の標準化につえるツールを使うのは難しいです．その意味で，新しいいて研究を始めています．

処理方法を開発することが必要となります．

そのようなことを進めるにつれて龍門石窟側も非常にもう一つの問題としては，データの規模が非常に大き興味を持ってくれて大々的にしましょうということで今いことです．対象物体が簡単な構造であったとしても精年から 5 年間から 10 年間かけて龍門石窟を 3 次元デジ

度を高くデータを取ってしまうと，すぐにギガビット程

タル化しようという話になりました．

度の情報量になってしまいます．建物全体や屋内空間の

ここでは，最初にもどってどのようなことから始め

3 次元モデルを作ろうと思ったらそのデータの規模はさたかについて説明いたします．最初にやったのは測量とらに膨大です．そのようなデータをいかに処理させるかマッピングのために使える方法の開発です．考古学あるということを GPU なども含めて新しい技術を考えていいは石窟のところではその物体の表面の特徴のある曲線

るところです．

を図面にするという仕事が非常に重要です．考古学の報告書というものがあるのですが，それには写真と文字が2．文化財における 3 次元デジタル技術の応用

たくさん使われています．しかし，その二つに加えて線

私たちの研究室においては実際の文化財の中で，その画，スケッチというものが非常に大事です．場合によっような 3 次元データを採り，処理をしてモデルまで作りては一つの報告書の 2/3 ぐらいが人間の書いた線画にあげた上でさらに処理を加えるという応用について行っなっていると聞いています．しかし，今まで現場におけてきました．
いままでの中国の国内での研究例としては，る線画の作成方法を見ますと，かなり手作業のような仕

北京原人の頭蓋骨に関して 3 次元モデルを作り解析した事をやっています．ロープとかを使ってベースラインをこともありますし，他に北京以外のところでもたくさん引いてグリッドをつくって測ります．測れない大きなもの石窟や発掘現場において３次元デジタル技術を使おうのになりますと目測で図面を書いています．もちろん写と活動しています．本日は龍門石窟と麦積山石窟におけ真はあるんですが，ここでは使えません．写真は中央透る応用例を紹介します．

視で出てきたものですから変形があるので，そのような変形の無いような平行投影した図面が必要となります．

2.1

もし，3 次元デジタル技術を使えば，まず 3 次元データ

デジタル龍門石窟プロジェクト

まずは，龍門石窟に関する共同研究，応用についてでを採り，モデリング化した後平行投影した画像が出てき

5 年くらい前から始めました．後す．これに関しては 4，ます．そのような画像を使えば，簡単にスケッチを描くにも述べますが，考古学分野の研究者と共同研究をしよことができます．私たちから見れば非常に簡単なことなうとするとき，お互いの興味を理解しあうのは出発点でのですが，しかし考古学者から見ても非常に役に立ちそす．最初から話し合い，少しずつ理解しあって相手の考うと感じたようです．

え方を知るまでのプロセスが非常に時間がかかります．

このようなことを最初にやりました．使っているス

そのようにして 5 年前から始めたのですが，次に示すいキャナは 4 種類ありまして，そのうち二つは小型の対象

くつかのことについて進めています．一つはコンピュー物のデータを採るときに使うもので，残りは 100m くらタでとった 3 次元モデルを用いて線画を作ることです．

いの距離でデータを採るとき使っています．そのデータもう一つは計算機内での仏像の復元です．石窟の中には処理の流れは以下の通りです．まず，データを採ります．

仏像がありますが，その一部分がすでに盗まれて流出

いろいろな視点からデータを採り，前処理を行います．

20

特集

第 14 回大会

JVRSJ Vol.14 No.4 December, 2009

特別講演 221203

例えば，データからノイズを除去して対象面を再構成しで 8.5m の高さでその間に三つの石窟があるのですが，ます．その後は，そのデータをある共通の座標系の中にその壁のところで線画を作りました．それを伝統的なや持っていき，レジストレーションを行います．このレジり方でやろうとすると 480 時間ほどかかると予測されま

ストレーションが非常に難しいです．今使える方法の中

す．今の方法で使いますと 8 時間でモデリングを行い，には，人間がまったく介入せず，完全に自動化した方法

24 時間でそれを元に線画を描けました．そうすると単はたぶん無いと思います．何らかの条件や拘束を加えな純計算で 448 時間が節約になりました．この結果についいと自動的に行うのは非常に難しいです．さらに，デーて，いろいろな考古学者の間で意見を聞いていると，特タを同じ座標系に持っていったときに起こる微妙なずれに若い研究者が時間の節約になるので非常に喜んでいまや違いを消去しなければならないし，データが取れな

す．しかし，ある有名な研究者はこのようなやり方はあかった “ 穴 ” 部分に関しても何らかの方法で埋め込まな

まりよくないと言っていました．時間の節約はいいのでいとならないです．そのようにしてモデルが出来上がっ

すが，考古学者が 1 週間，1 ヶ月の間ずっと一つのとこて平行投影の画像を作り出すことができる．そうするとろを見て線画を描くというのは線画を描くという結果だ

考古学者はその上から描けば線画ができます．

けでなく，ずっと見る，細かく見る，そして考えること自体が研究プロセスの一部分です．そうすることによって，普通見えないものが見えてくるのではないかという非常に面白い考え方です．
ここで一つの疑問が出てきます．3 次元のモデルから生成される画像があれば，それから自動的に抽出したエッジを使えるのではないか，もう一回上から線画を描くという作業はいらないのではないかと私なりに考えています．そこで，二つを比較してみました．自動的に抽出した線画と考古学者が書いた線画ではかなり違っています．こういう図面に関して考古学者はどこが大事であるか，どこが大事でないかという知識がありましてそ

図2

れを図面の上に表現するためにある部分の線を追加した

3 次元データを用いた線画自動抽出と描画

り，消したりしています．そのような専門家の知識を線画抽出アルゴリズムに組み込めないかという考え方もあ

この方法を使う利点は幾つかあります．まず，このろうが，現在の技術では難しいです．ただ，計算機で生ようにすると精度が上がります．まだデータを採るのに成した図面は考古学者が言っている線画ではなく，別の時間がかかるのですが，線画を書くこと自体は非常に早タイプの線画になりえます．計算機で生成した線画はそいですし，ゆがみが無いです．もう一つ大事なことはいれなりの特徴があるので将来は新しいタイプのデータとろいろな切断面を作れることです．そのため切断面からして報告書の中に入れてもいいのではないかと言ってい見た線画を作ることも簡単です．さらには，20 〜 30 ｍ

ます．このプロジェクトについては，近い将来にその報の大きさを持つ場所の線画を一度に書くことも試しまし

告書が出版される予定です．その出版される報告書の中た．それはやれるのですが，人間がそのような大きな対の線画の大部分はこの手法を使って描かれています．こ象の線画を書くのはなかなか難しいです．また，次のよのような 3 次元デジタル化の過程で得られたデータをうなところでも役に立ちます．中国の昔からの石窟ではDVD として一緒に出版しようという話になっています．

中が非常に暗く，色が全部変わって見えます．だから，もしそのようなことになったら，考古学者たちによれば

目で見るとほとんど同じ色に見え，形状の変化が見えな世界で初めてではないかという話のようです．

いです．しかし，3 次元データを使うとそのような形状

次に話すのは，仏像の体の一部を計算機の中でバーの微妙な変化も現れてきますのでそのような形状の微妙チャル的に修復することについてです．具体的な例とな変化も表すことができます．

しては，頭の部分は外国から持ち込まれ，体の部分に関結果がどうかということを評価しなければなりませ

しては現地で発見されたものについて，それを両方ともん．そこで，わりと大きいサイズの 20 ｍくらいの広さ

データを採って一緒に接続しました．技術的には簡単な

21

22
204

日本バーチャルリアリティ学会誌第 14 巻 4 号 2009 年 12 月

特集

第 14 回大会

特別講演 2

3．終わりにことですけれど考古学者たちにとってはばらばらになっていた部分が完全な体になったということで非常に役に最後に，今日の話をまとめたいと思います．まず，3立ちます．もちろんこの接続の方法には考古学者たちの次元デジタル技術は文化財のところで非常に役に立つと間で様々な議論がありますが，計算機を使えば，いろい

いうことがはっきりわかっています．文化財の保存，研ろなバージョンを作ることができて，サンプルを提供す

究および知識の普及に対して非常に大事な技術の一つでることができます．

す．ただ，何かやろうと思ったら非常に難しい問題も含
まれています．つまり，違う分野の人が一緒に仕事をしないといけないということは難しいです．しかも，実際に使うのは我々ではなくて，その考古学者，文化財の研究者ですので，彼らがはっきり役に立つと認識しないとこちらがいくらなにをやっても最終的な目的にはなりません．
そのようなことを成功させるために次のようなことは重要である．一つは目標を明確にしないといけないということです．やっていることは両方ともはっきり認識しているというところまで話し合わないと最終的にはずれ

図3てしまいます．もう一つはきれいな結果を作らないとい

佛像のバーチャル修復（龍門石窟）＊口絵にカラー版掲載

けません．私たち研究者は研究の際にその目的にあった結果であればいいと思ってしまうのです．しかし応用す

2.2

麦積山石窟における応用例

る側から見たら十分きれいな，彼らを感動させるような

これは司会の大矢先生がさっき紹介しましたように結果が出てこないと続けるのは難しいです．三つ目には，何年か前から凸版印刷と早稲田大学が始めたプロジェ

本当に役に立つことをやらないといけないです．先ほどクトです．北京大学は途中で参加して，3 次元データの説明した線画を書くことやバーチャル的に修復するとか収集からモデリングまでの作業を担当しました．このプは我々から見るとそんなに技術的には難しい課題ではな

ロジェクトの目的はデジタル文化財のところで使える新いです．しかし，できたら彼らの役に立つと思ったら双しい 3 次元モデリング，レンダリングあるいはディスプ

方とも情熱を持って続けてやっていきます．

レイやインタラクション技術を開発しようということで次に，このような応用的なことをしながら，その中です．そのケーススタディとしては，麦積山石窟の 123 号

問題を見つけてそこから基礎研究にもなれるようなこと

窟の 3 次元モデルを作り，そしてそれを映像化して，ビを探し出すのも大事なことだと思います．この辺のバラデオを作り，しかも 3 次元的にディスプレイできるようンスをよく考えないといけないことですので難しいとこな形にまで持っていきます．最終的には 3 次元的に人間ろです．

が操縦できるようなインタラクションを持っているような映像まで持っていくのが目標です．

質問者：モデリングまでの話はご説明があったと思いま
すが，モデリング，スキャニングにしていく過程で例えば，表面のマテリアルだとかそれから再現するためのレンダリングのための技術が必要になってきて，また研究した開発したというエピソードはございますか．
査：今私たちがやっていることは，まず 3 次元データを採って，また同時にカメラを使ってカラー画像を採ってその後テクスチャーマッピングをするといった流れです．研究課題としては何人かの学生がそれについて研究しているのですが，しかし本当にきれいなものを作りあ

図4

げようとしたら研究用のアルゴリズムではなかなかうま

麦積山石窟の 3 次元データに基づいて生成した映像

22

特集

第 14 回大会

JVRSJ Vol.14 No.4 December, 2009

特別講演 2

23
205

くいかないので一部分は手作業で調整する必要がありま聞を読んでいたら，何らかの文化財で CT スキャナや X

す．例えば，ある部分の色に関しては計算機の自動選択

線スキャナを使って内部までデータを採っているといより，人間の目で見たほうがはるかに合うんですが，そう発表がありました．

のように難しい点だったら人間からのインタラクション
で一番良い結果が得られるようにしています．

質問者：先ほどの映像の中でレーザーレンジファインダを使っているというご紹介がありましたが，それと同時

質問者：同様に撮影者のライティングとかそういったもにプロジェクターとカメラの二つを使った方法を使用しのは問題にはなりませんか．

ていると思ったのですが，どちらをどのように使い分けていたのでしょうか．

査：それはいろいろ考えています．適切にライティングを設定して画像を撮る角度もあるのですが，それは経験

査：近距離と長距離ということは先ほど申しましたようによるところが大きいです．

に，全体の状況把握のためには長距離を使い，もっと精密にとろうと思ったら近距離のファインダ，スキャナを質問者：関連して石窟の場合ですと狭い空間が多いと思使います．しかし，構造光とレーザのそれぞれを使ったいますが，適切なスキャナを選ぶとかスキャナのスキャ

2 種類のスキャナを使用していますが，それは色によっ

ン精度が足りないとかそういうことはありますか．

て使い方が違います．例えば，石窟の中には黒い部分がたくさんありましてレーザの精度は悪いんですが，その場合は構造光を使うようにしています．

査：あります．例えば，麦積山で行った例ですとまず割とレンジの長いレーザファインダを使うのですが，それはデータとして必要になるのではなく，全体の構図とし

質問者：さきほど内部のデジタルアーカイブ化の質問がて必要になります．そうすると粗い精度で採ってしまいありましたが，学術フロンティアで早稲田大学の河合隆

ます．その後各部分に関して近距離のスキャナを使って史教授がいるんですけども内部を見るようなことも研究採っていこうとします．最終的には前に採った構図があされているようで，中国でやられているかはわかりませるので，それに貼ればよいというようなことをやっていんが，そのようなものと組み合わせるとできるかもしれます．ただ，仏像の頭の後ろとかはなかなか採れないのないなと思った次第です．

ですが，その部分に関しては手作業で埋めているんですね．そのようなところで使えるスキャナがなかなか見つ【略歴】

からないですし，いろいろなスキャナも使わないといけ査ないです．そこで，先ほども言いましたように龍門石窟

Hongbin Zha received the BE degree in electrical engineering

でやっている 3 番目の仕事が技術標準化です．標準化とfrom the Hefei University of Technology, China, in 1983

いうのは，データの形式とかだけでなく，使えるスキャ

and the MS and PhD degrees in electrical engineering from

ナの種類，精度，組み合わせ方がその標準化の中に考え

Kyushu University, Japan, in 1987 and 1990, respectively.

ないといけないと思っています．

After working as a research associate at Kyushu Institute紅彬（Hongbin Zha）

of Technology, he joined Kyushu University in 1991 as an
質問者：表面に見えているものだけが石窟のすべてでは

associate professor. He was also a visiting professor in theないということだと聞いていたのですが，今表面の話をCentre for Vision, Speech, and Signal Processing, Surrey

されていたと思いますが，その下の層についてはどのよ

University, Unite Kingdom, in 1999. Since 2000, he has been

うにアーカイブされていますか．

a professor at the Center for Information Science, Peking
University, China. His research interests include computer

査：対象物内部の計測は今まで考えていません．だか

vision, digital geometry processing, and robotics. He has

ら，今使っているのはレーザスキャナですので表面しpublished more than 200 technical publications in journals,

か採れないです．中の状態を見るとなると CT スキャナ

books, and international conference proceedings. He receivedとか他のスキャナを使わないといけないですし，別のthe Franklin V. Taylor Award from the IEEE Systems, Man,話になってしまうと思います．昨日か今日の日本の新and Cybernetics Society in 1999.

23