静と動の解析
ー文化遺産のデジタルコンテンツ化ー

東京大学大学院 情報学環
（生産技術研究所）

池内克史

大型有形文化財のデジタル化

大型有形文化財

センシング技術
デジタル文化財

ソフトウエア技術
多量の部分データ群

文化遺産のデジタル化
 大型有形文化財

 無形文化財

幾何情報処理
部分観測画像列

光学情報処理カラー画像列環境情報処理環境情報

幾何情報取得

部分観測画像列

幾何形状モデルデータ取得位置合わせ統合

濃淡画像（写真）と距離画像
写真:

その点の明るさ情報（赤、青、黄）距離画像:

その点までの距離

距離センサー（往復時間型）

レーザー光源 + 受光器

往復時間

距離スキャンニング機構

CYRAX センサー
 往復時間方式
 範囲: 3m ~ 100m
 精度: 5mm

ＣＹＲＡセンサーによる距離画像

ビデオ映像

変調方式距離センサー
AM変調
D = (λ/4π）ΔΦ

2D <--->ΔΦ
λ<--->２π

ＺＦセンサー ＡＭ変調方式
 範囲： 0.6m ~ 50m
 精度： 5mm 全周型

ＺＦセンサーによる距離画像（1回のスキャン)

ビデオ映像

可能なセンサー CYRAX
 K2T
 Pulstec1
 Pulstec2
 Pulstec3
 Vivid900

100mまで25mまで
10m-3m
3m-1m
1m-0.3m
0.5m-0.2m

精度 2-3 mm
精度 2-3 mm
精度 1mm
精度 1mm
精度 1mm
精度 0.1mm

これらは全て地上据え置き型

地上据え置きセンサーの問題点

気球搭載型局所距離センサ
気球

Flying Laser Range
Sensor (FLRS)

気球センサー614576
2/27/03 12:09 PM
960 x 1280
08.7mm
9.8
Ev aluativ e
FUJIFILM
FinePix4500
OneChipColorA rea

気球搭載型局所距離センサー実験

ビデオ映像

気球センサー モデル単純化のため撮像時間の短縮： 1秒

 それでも撮像中に動く
 距離画像がゆがむアップローチ
 機構上の工夫：

縦横比：１対５

 動き推定法の開発– ハード： ジャイロ
– 画像： 画像トラック– ソフト： 距離画像同士の比較より推定

画像データとの融合によるデータ補正

狭隘部
 通常のセンサーが入らない 角度の関係でデータがひずむ

傾きすぎる

近すぎる

木登りセンサー
 はしご
 自走機構ビデオ映像

計測例
 北経蔵北東部

実用例
バイヨン北経蔵北東部

鏡使用の測定風景
鏡
センサー

ペディメント隠されたペディメント（世界初）多数の距離画像

データ取得位置合わせ

統合

位置合わせ

重ね合わせ

相対関係

大規模位置合わせT5

 逐次位置合わせ

? ?
T6
T4

T3

-> 誤差の集積 同時位置合わせ

T1

T2

T5

T6
T4

T3
T1?

?

T2

同時位置合わせ結果

ビデオ映像

位置あわせアルゴリズム
 ＧＰＵベース高速位置あわせアルゴリズム– 現場でのクイックデータ処理

 ＰＣクラスターベース超大型データ同時位置あわせアルゴリズム– 最終的な位置あわせ

データ取得位置合わせ

統合

データ統合2枚目の距離画像
1枚目の距離画像統合法
体積法
確からしさを各位置で計算

位置合わせ結果

確からしい場所を繋ぐ

確からしさ
計算結果

繋ぎ合わせ
結果

並列分散統合
 高容量化– データ表現の階層化（オクトトリー化）– セル分割とPCクラスターによるデータの分割処理 高速化– PCクラスターによる処理の並列
 ロバスト化– 陰関数改良による穴埋め– 光学情報もふくめた統合統合結果(Bayon 2003年冬まで)•2003年春計測 2月16日～3月5日•2003年冬計測 12月14日～12月30日•2004年冬計測 12月5日～12月27日•2005年春計測 2月11日～3月5日

光学情報処理

カラー画像列幾何形状モデル見えのはりつけ
幾何モデル

カラー画像

相対姿勢
カラーセンサ
レーザーセンサ

テクスチャマッピング

キャリブレーション法
カラーカメラ
レンジ
センサー

相対関係

キャリブレーションボックステクスチャの張り合わせ

ビデオ映像

光源効果（朝日ー＞夕日）

ビデオ映像

エッジベース法
レーザセンサー

測定対象
反射光の到達時間
距離

反射光の強度
リフレクタンス

距離とリフレクタンスは同じ位置（ピクセル）に得られる

リフレクタンスを用いた
キャリブレーション
相対位置
イメージセンサ
濃淡画像と幾何モデルのアラインメント

レーザスキャナ

リフレクタンスを用いた
キャリブレーション
相対位置
イメージセンサ
濃淡画像と幾何モデルのアラインメント

レーザスキャナ

濃淡画像とリフレクタンス画像のアラインメント

リフレクタンスエッジとカラーエッジ
カラー画像

リフレクタンス画像
材質の違い
ジャンプエッジ

オクリュージョン
境界エッジ
両者は似た特徴を有する

２D-3Dエッジ点の対応
３Ｄ誤差 z３D反射率
エッジ点
画像平面へ投影
２Dカラーエッジ点
幾何モデル
最近傍点

画像平面

反射モデル
入射光

表面反射成分

空気
物体
内部色素

内部反射成分

色空間
Klinker/Shafer/Kanade 88

 色ベクトルの線形和

aS + bB

表面反射成分green

内部色
表面色bluered

内部反射成分

明るさ解析に基づく手法輝度値
鏡面反射成分

拡散反射成分

遮蔽画像

内部反射成分画像

表面反射成分画像-=

光学情報取得例（質感表現）

ビデオ映像

環境情報

孤立コンテンツ

複合コンテンツ画像

背景画像

環境情報の重要性

光源環境不一致

光源環境一致光源環境のモデル化 (直接法）

 特徴点抽出 特徴点の位置決定
 三角メッシュによる輝度表現ソフトシャドウの計算法

Without object:NE = ∑ L cosθ i
1ii =0With object:N

E 2 = ∑ Si Li cos θ ii=0

複合画像生成例

環境情報取得例

ビデオ映像

実時間レングリング
画像の線形性＋Ｉ１

Ｉ２

基準影画像の生成

光源分布の測定

Geodesic Dome

合成画像の生成＋ S2 x

S1 x
Ｉ１

Ｉ２

影付け平面 3次元空間内に影付け用の平面を配置→視点が動いても正しい位置に影を表示→地面だけでなく、3次元空間内のあらゆる平面に対して影付けが可能ビデオ映像

ビデオ映像大仏ライブラリ
 鎌倉大仏 奈良大仏 飛鳥大仏 古園磨崖仏（大分県臼杵市）
 龍門仏（中国） アチャ大仏（タイ、スコタイ）
 バイヨン仏（カンボジア、シェムリアップ）

データ収集状況 （鎌倉）ACCV０２

奈良大仏

データ収集状況 （奈良）奈良大仏

CVPR01

奈良県明日香村 飛鳥大仏

飛鳥大仏から奈良大仏へ
飛鳥大仏（飛鳥時代） 鎌倉大仏（鎌倉時代） 奈良大仏（江戸時代）

シーチャム寺院 (スコタイ、タイ）

２００２年３月

共同研究： タイ文化局
東京文化財研究所

点データ

アジア大仏モデル

飛鳥アフガニスタン

鎌倉

中国

奈良

インド

日本

タイ

カンボジア

デジタルバイヨンプロジェクト

Feb 03（協力 日本政府アンコール遺跡救済チーム（ＪＳＡ））

バイヨンプロジェクト

ビデオ映像

２００３年３月

２００３年１２月

２００４年１２月

天平仏の復元
東大寺大仏： 751年建立後、2度炎上
現存仏は江戸期再建

古文書

デジタルデータ

ＣＧ再現

パリ万博出展の模型

ビデオ映像天平大仏の鍍金量のなぞ
 文献記述は大両（４２ｇ）か小両（１４ｇ）か？

 どの文献が確からしいのか？

 小西正彦さんの指摘天平大仏の鍍金量 大仏殿碑文＝５４１２両– １０，４６６両（本体＋蓮華座）– 大両説 ２２７Kｇ– 小両説 ７６Kｇ
 延暦僧録文＝４，１８７両– 大両説 １７６Kｇ– 小両説 ５９Kｇ 鍍金の厚さ＝６～１０ ｍｇ/平方ｃｍ

 天平表面積＝５９７平方メートル

３６ｋｇ～６０ｋｇ
 現在表面積＝５５６平方メートル

３３ｋｇ～５６ｋｇ

計測値
天平（計測値）
現在（計測値）

３６ｋｇ～６０ｋｇ
３３ｋｇ～５６ｋｇ

記録
碑文（大両説 ２２７Kｇ、小両説
録文 （大両説 １７６Kｇ、小両説７６Kｇ）
５９Kｇ）

小両説 延暦僧録文が一番近い！

文化遺産のデジタル化
 大型有形文化財

 無形文化遺産

動的解析

日本各地で伝承されている伝統舞踊→後継者不足等により失われつつある人間行動観察学習ロボット
Relation-1

Relation-2
Action

意図理解

動作観察

学習・熟練

人間行動観察学習パラダイム
 単にまねるのではなく、何をどのようにするかロボットが認識– タスク認識 － 何をするか– スキル認識 － どのようにするか 認識に基づくロボット行動

モーションキャプチャシステム
（動きの取り込みシステム）

会津磐梯山踊り
会津民謡玉水会
山田師範

取り込まれた動き

モーションキャプチャシステム協力

会津大学

マッピングの問題点（脚の動きなし：比較的簡単ななず）

産総研動力学シミュレータ

ビデオ映像

脚動あり（さらに悪化！）

ビデオ映像

タスクモデルトップダウンに設計たち

沈みこみ

右踏み出し 左踏み出し

タスクモデル間の遷移
腰の位置による分類

沈み込み
足接触による分類

たち
右踏み出し

左踏み出し

ビデオ映像スキルパラメタ
たち

沈みこみ

踏み出し

持続時間

歩幅
深さ

歩幅最高点

タスクモデル
スキルパラメタモーキャプデータより

観測による
スキルパラメタ

最高点

歩幅始点

生成された
軌道

終点

ビデオ映像師範による踊りの留め

師範によるスケッチタスク（＝留め）の抽出


体の各部の動きの止まる部分



音楽のリズム

体中心座標系

Vel.

zytimex２）目標点の速度による
３）目標点の速度による（初期動作分割セグメント）
分割各部の動きの止まる部分

リズム分析結果
 会津磐梯山

Estimated Beat Interval
0.704 [sec]
= 84
Music
with inserted Beep

音楽ストリームタスク抽出結果
 音楽＋動き
L. Hand
R. Hand
L. Foot
R. FootCM

ビデオ映像

比較 － 磐梯山おどり
師範による留め自動抽出されたタスクモデル
undetectedスキル生成逆運動学： 観測マーカから関節角計算
フィルター： 前後のタスクをなるべく滑らかに
Angle

Time

急激な動きをなるべく滑らかにバランス調整ZMP = Zero Moment Point
重心位置を慣性力で補正したもの
安定した姿勢のためには脚の境界内にある必要ヒューマノイドロボットHRP-2の仕様
Dimensions

Height1,540 [mm]Width

600 [mm]

Depth

340 [mm]

Weight inc. batteries

58 [kg]Total 30 D.O.F.

D.O.F.
Head

2 D.O.F.

Arm

2 Arms × 6 D.O.F.

Hand

2 Hands × 1 D.O.F.

Waist

2 D.O.F.

Leg

Walking Speed

2 Legs × 6 D.O.F.

up to 2.0 [km/h]（産業技術総合研究所・川田工業）

ビデオ映像プロジェクトの意義
 文化遺産の高度メディア空間への保存 文化遺産の高度メディア空間での修復

 文化遺産の高度メディア空間への展示

 画像処理・メディアコンテンツ化技術の開発

開発分野
 コストを意識する開発分野

若干閉塞感あり コストを無視する開発分野– ベンチマークシステム群– 工業技術のレベルを引っ張るコストを無視する開発分野
 軍事研究（米国の大学）＝＞国家： 掛け替えのないものをまもる＝＞

日本の大学はやらない！

 掛替えのない物のための開発分野– 人命– 宇宙船地球号（環境）– 民族のアイデンティテー：文化文化大国としての日本 文化をまもるための技術開発への国家予算の投入
 ベンチマーク工業技術の向上－＞閉塞感の打開 日本文化の発信

ー＞ 各国からの信頼文化遺産メディアコンテンツ化
 静的解析

– 幾何情報取得– 光学情報取得– 環境情報取得
 動的解析
 コンテンツライブラリ

http://www.cvl.iis.u-tokyo.ac.jp

主なフアンディング
Ｈ９－Ｈ１３：文部省・学術創成・「人間主体のマルチメディア環境形成のための情報媒介システムの研究」（研究代表者 坂内正夫）

Ｈ１２－Ｈ１６：科学技術振興機構・CREST・「文化遺産の高度メディアコンテンツ化の自動化手法」（研究代表者 池内克史）

Ｈ１６－Ｈ２０：文部科学省・リーディングプロジェクト・「大型有形・無形文化財
高精度デジタル化ソフトウエアの開発」（研究代表者 松山隆司）