CREST 池内プロジェクト−観察に基づく文化遺産のデジタル保存−
東京大学­ 池内克史CREST Ikeuchi ProjectDigital Archive of Cultural Heritage through Observation­Katsushi Ikeuchi, The University of Tokyo, Institute of Industrial ScienceAbstract: This paper presents an overview of our Great Buddha Project, which is being promoted for the modeling andthe conservation of cultural heritage through observation. Main research area of this project includes reconstruction ofgeometric model and photometric model through observation, automatic creation of virtual and mixed reality model, andmodeling and conservation of prominent skill of living national treasure.

1

はじめに

本報告では，科学技術振興事業団戦略的基礎研究推進事業（CREST）「高度メディア社会の生活情報技術」の支援を受け，平成 12 年度より 5ヵ年計画で実施している，「文化遺産の高度メディアコンテンツ化のための自動化手法（Great Buddha Project）」について概説する．

2

プロジェクトの概要

2.1 プロジェクトの目的

4. 建造物等の文化財に限らず、人間国宝のような匠の技の保存も目指す時系列情報取得の研究 (Fig.1(d))の４要素について研究を進めており，そのためのセンサー系、処理アルゴリズムの開発、およびデジタルコンテンツのパッケージ化に関する研究を行っている．
このプロジェクトの成果により文化遺産のコンテンツ化を進めることで、

1. 紛失、焼失、後継者難による断絶といった危険にされされている文化遺産の高度メディア空間での永久保存

2. 多くにユーザが、その自宅を離れることなく、文化本プロジェクトは，鎌倉大仏や奈良大仏、あるいは唐遺産に日常的に接することができ、情報弱者の軽減
招提寺金堂などの国宝級歴史的建造物や、人間国宝の卓につながり、社会全体に高度な満足が与えられる越した技といった後世に伝えるべき貴重な文化遺産を、近年のエレクトロニクス技術の急激な発達により利用可といった社会的に大きな効果が期待される。
能となった 3 次元高精度距離センサや高分解能テレビカメラ等を用いて観測し、その 3 次元形状や見え、あるいは動きなどの時系列データをデジタルデータとして半永
2.2 プロジェクトの研究内容久的に保存することを目的としている．
現在、このような文化遺産のデジタル保存の重要性がまず，鎌倉大仏等の大型の文化遺産を自動的に高度メ一般に広く認識され、実際に一部ではデジタル化が試み ディアのコンテンツ化する手法を開発し，できるだけ多られている。しかしこれらの作業の多くはオペレータの くの文化遺産のデジタルコンテンツ化の実現を目指して手作業により行われているため、一対象のコンテンツ化 いる．さらに、建造物等の建造物文化財に限らず、人間に多くの時間と労力、多額の費用が必要となっている。 国宝のような匠の技の保存も目指し，動き情報取得や時このコンテンツ化作業が自動化できれば、より多くの文 系列情報の解析についても研究を進めている．
化遺産を、短期間に安価にデジタルコンテンツ化するこ
また，幾何情報に関しては、隠蔽回避のための小型のとが可能となる。そこで我々は、文化遺産のデジタル化 センサーの開発、データの統合法、多量データの処理法作業の自動化手法を確立することを目指し、の開発も行っている。光学情報、環境情報に関しては、太陽光の影響の除去、反射モデルの高度化などが課題
1. 距離センサやテレビカメラからの部分情報を統合し で、このため高度スペクトルセンサーの開発、このデーて建造物などの文化財の全体的な３次元形状を得る
タと幾何情報の重ね合わせ、環境光の測定とこれの物体幾何情報取得の研究 (Fig.1(a))
光からの分離アルゴリズム等の手法を開発している。時2. 色・艶といった文化財の表面反射特性等を得る光学 系列情報の取得に関しては、その測定のための多視点画像収集センサー、これからのデータの統合と再現アルゴ情報取得の研究 (Fig.1(b))
リズムの開発を行っている。具体的なプロセスとしては、
3. 複合的な見えを生成する文化財建造物や周辺状 センサー系の開発、処理アルゴリズムの開発、それらの況の光学条件をモデル化する環境情報取得の研究 パッケージ化とそれによる実際のコンテンツ作りという３つのフェースがある。
(Fig.1(c))

などを開発した．

参考文献(a) Geometric modeling[1] K. Ikeuchi,Modeling from reality,Y.J. Zhang, (ed) ICIG’2000, FirstIntern. Conf. on Image and Graphics, Journal of Image and Graph(b) Photometoric modelingics (JIG) ,Vol.5・,PP.22-28,(2000)[2] 池内 克史, 人間の把持行動観察によるロボットの把持戦略の生成, 日本ロボット学会誌,Vol.18・6,PP.792-797,(2000)[3] 佐藤 いまり, 佐藤 洋一, 池内 克史 , 物体の陰影に基づく光源環境の推定, 情報処理学会論文誌:コンピュータビジョンとイメージ
メディア「Physics-based Vision と CG の接点」特集号,Vol.41・
SIG 10,PP.31-40,(2000)(c) Environmental modeling[4] 斉藤、佐藤、池内, 赤外線の偏光解析とその透明物体形状モデリングへの応用, 情報処理学会論文誌: コンピュータビジョンとイメージメディア 「Physics-based Vision と CG の接点」特集号,Vol. 41，No. SIG 10 (CVIM 1),PP.12-18,(2000)[5] J. Takamatsu, H. Tominaga, K. Ogawara, H. Kimura,
K. Ikeuchi,Symbolic Representation of Trajectories for
Skill Generation,Inter. Conf. on Robotics and Automation(ICRA)2000,Vol.4 ・,PP.4077-4082, (2000)[6] T. Takahashi, H. Kawasaki, K. Ikeuchi, M. Sakauchi,Arbitrary
View Position and Direction Rendering for Large-Scale
Scenes,Proc. of IEEE Conference on Computer Vision andPattern Recognition (CVPR),Vol.2 ・,PP.296-303, (2000)(d) Time series analysis of human skill
Figure 1: Main research topics
これらの研究課題に対して，東京大学生産技術研究所
池内研究室，佐藤研究室，岡山大学尺長研究室，埼玉大学久野研究室，電気通信大学木村研究室，特殊行政法人
東京文化財研究所が共同で研究を推進している．

[7] H. Kawasaki, K. Ikeuchi, M. Sakauchi,Spatio-Temporal analysis ofomni image,Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR),Vol.2 ・,PP.577-584, (2000)[8] K. Ogawara, J. Takamatsu, S. Iba, T. Tanuki, Y. SATO, A. Saegusa,
H. Kimura, Katsushi IKEUCHI,Acquiring hand-action models intask and behavior levels by a learning robot through observing human demonstrations,Humaniods2000(The First IEEE-RAS International Conference on Humaniod Robots,,, (2000)[9] K. Ogawara, S. Iba, T. Tanuki, H. Kimura, K. Ikeuchi,Recognitionof human task by attention point analysis,International Conferenceon Intelligent Robot and Systems (IROS)’00,Vol.3・,PP.2121-2126,(2000)

2.3 プロジェクトのこれまでの成果[10] J. Takamatsu, H. Tominaga, K. Ogawara, H. Kimura,
K. Ikeuchi,Extracting Manipulation Skills from Observation,International Conference on Intelligent Robot and Systems(IROS)’00,Vol.1,PP.584 - 589, (2000)

これまでにコンテンツ化作業を行った文化遺産の一覧を示す．
1999 年 5 月
醍醐寺五重塔[11] D. Miyazaki, T. Ooishi, T. Nishikawa, R. Sagawa, K.
Nishino, T. Tomomatsu, Y. Takase, K. Ikeuchi,The Great Buddha Project: Modelling Cultural Heritage through Observation,VSMM2000 (6th international conference on virtual systemsand multimedia),,PP.138-145, (2000)

1999 年 10 月 [12] R. Kurazume, M. D. Wheeler, and K. Ikeuchi, Mapping textures on
3D geometric model using reflectance image, Workshop for ”Data
東大寺国宝盧舎那仏坐像（奈良大仏） 2000 年 10 月
Fusion” at IEEE Int. Conf. on Robotics and Automation, (2001)
2001 年 4 月 [13] R. Sagawa, K. Nishino, M.D. Wheeler and K. Ikeuchi ”Parallel
旧生産技術研究所六本木校舎
Processing of Range Data Merging”, to appear in Proc. of 2001
2001 年 5 月
奈良東大寺大仏殿
IEEE/RSJ International Conference on Intelligent Robots and Systems., (2001)
2001 年 5 月
奈良明日香村 石舞台古墳[14]K.
Nishino, Z. Zhang and K. Ikeuchi ”Determining Reflectance Pa2001 年 5 月
奈良明日香村 酒船石遺跡
rameters and Illumination Distribution from a Sparse Set of Images
2001 年 7 月
奈良唐招提寺金堂
for View-dependent Image Synthesis”, in Proc. of Eighth IEEE International Conference on Computer Vision ICCV ’01, Vol. 1, pp.
津軽じょんがら節
599-606, Jul., (2001)
2001 年 7 月 [15] K. Nishino and K. Ikeuchi ”Robust Simultaneous Registration of（たざわこ芸術村 わらび座 ）Multiple Range Images”, to appear in Fifth Asian Conference on
ま た 処 理 ア ル ゴ リ ズ ム に つ い て も ，Computer Vision, Jan., (2002)
幾何モデルのための同時位置合わせ法[16] R. Kurazume, K. Nishino, Z. Zhang and K. Ikeuchi ”Simultane幾何モデルのための並列空間統合処理法
ous 2D Images and 3D Geometric Model Registration for Texture
Mapping Utilizing Reflectance Attribute”, to appear in Fifth Asian
光学モデルのためのカメラ-センサ位置合わせ法
Conference on Computer Vision, Jan., (2002)
光学モデルのための画像に基づく見えの解析[17] 中澤，中岡，池内，モーションキャプチャデータからの動作舞
踊プリミティブの抽出, 第 19 回日本ロボット学会学術講演会論
時系列モデルのための舞踊動作の解析，デジタル化
文誌 pp. 907-908, (2001)
時系列モデルのための人間行動の理解，再現，協調法高徳院国宝阿弥陀仏像（鎌倉大仏）