名古屋大学最終講義	

究極の映像メディアを目指して	
谷本 正幸		名古屋大学大学院工学研究科		
2012年3月9日	

研究：山登り	

1966年-1976年 東京大学で学ぶ	
工学部３号館（1968年－1976年）	

1971年 大学院M2柳井研究室	

菅野教授 柳井教授	

1976年-2012年 名古屋大学電気系教室に奉職	
1976-1981
1981-1988
1988-1991	
1991-2012	
1991-1994	
1992-2000	
1995	
2004-2011	
2009-2012

駒井又二教授（元NHK放送技術研究所所長）	
赤尾研	
川又晃教授（元NTT茨城電気通信研究所所長）、鬼頭良彦技官	
池谷研	
小川明教授（元KDD研究所次長）、鬼頭良彦技官	
谷本研究室	
サチエン トリアムラムルート助手	
木本伊彦講師（現東洋大学教授）	
藤井俊彰助手	圓道知博助手（現長岡技術科学大学准教授）	
メヘルダッド パナプール テヘラニ講師	

映像メディアの発展	
自由視点テレビ

HD-FTV	UD-FTV	

HD-3DTV

UD-3DTV

ハイビジョン	スーパーハイビジョン

視点数	

超多視点化	

３Dテレビ

多視点化	

テレビ	

多画素化	

超多画素化	画素数	（１）TAT方式（ハイビジョン）		
（２）FTV方式（３Dテレビ）		
（３）MPEG活動（国際標準化）	

（１）TAT方式（ハイビジョン）		
TAT (Time-Axis Transform)	
時間軸変換	

TAT研究開発の経緯	
郵政省電気通信技術審
議会にてハイビジョン
放送方式の審議
PCSでTATの発表

TAT方式の提案

1976 1977

MUSE方式

CCDによるTAT実験

TAT帯域圧縮
シミュレーション実験

1978 1979

1980 1981 1982

BT
HHI
Bell
Labs
訪問

1次元TAT
帯域圧縮装置International
Workshop on
HDTV

2次元TAT
帯域圧縮装置1983 1984 1985
HDTVTAT方式の提案

MUSE方式
によるハ
イビジョ
ン実験放送

3次元TAT
帯域圧縮装置1986 1987 1988 1989
HDTVTATのシ
ミュレーション実
験相補サブサン
プリン
グ方式

year

時間軸変換	

時間軸伸張

時間軸圧縮	

時間軸変換と逆変換	

映像信号の時間軸変換	

I ：不変	
E：伸長	
C: 圧縮	 

原画像	 

TAT (Time-Axis Transform)方式	
l画素を選択的に間引いて伝送	伝送する画素	

基本画素	

基本構造	

追加画素	

精細さ	

lHDTV-TAT方式	
基本画素	

標準テレビの情報	

追加画素	

HDTVに必要な精細さ	

TATのモード	
1次元TAT	

2次元TAT	

基本画素	
間引く画素	

追加画素	

TAT方式の原理

頻度	

ブロック毎のひずみの頻度分布	

ひずみ	

補間誤差の頻度分布	3次元TAT	
符号化器	 

3次元TAT	
復号器	 

加算量αを変えたときのひずみヒストグラム	
α=0	 

α=32	 

α=64	 

相補サブサンプリング	
1次元相補サブサンプリングパターンの例	

2次元相補サブサンプリングパターンの例	

相補サブサンプリング方式	
LPF	

復元回路	

復元回路	
h1	  =	  S1h	  h1	  ： impulse	  response	  of	  H1	  h	  	  ： impulse	  response	  of	  H	  
	原画像	

高周波成分の復元なし	

高周波成分の復元あり	

（２）FTV方式（３Dテレビ）		
FTV (Free-viewpoint Television)
自由視点テレビ	2D-3D変換による三次元画像通信システム	

第１２回情報理論とその応用シンポジウム,	  1989年12月	

多眼画像の研究を開始	
川又研卒業生	
豊田中研 樋口和則	
CMUの金出、池内先生の研究室に留学	
多視点３Dの研究		
1993年 画像符号化シンポジウム(PCSJ93)	
10月4日～10月6日、第三賢島荘(三重県志摩郡)	
7.3 藤井俊彰 原島博(東大)	
多眼式三次元画像符号化	
- 視差補償予測符号化から構造抽出符号化へ -		
森永裕美, 木本伊彦, 谷本正幸, "多眼視画像からの奥行き情報の獲得と視点補間への応用", 信学技報 CS94-135, pp.
59-64, 1994年10月.	

「自由視点テレビ」の提唱	
多視点/多眼	
任意視点	
ユーザー主導

自由視点	

自由視点テレビ	FTV (Free-viewpoint Television)自由視点とは

固定視点	

自由視点	

FTV研究開発の経緯	
MPEG-3DAV[MPEG]	 
[その他]	 

マトリクス

ライトフィールド

EyeVision

MPEG
-MVC

MPEG
-FTV
/3DV

128/48眼システム[名古屋大学]	 
多視点/光線空間

1994 1995

符号化 / 補間1996 1997

自由視点鳥
瞰システム

1998 1999 2000

2001 2002 2003

PCクラス
ターでFTVを実現

100眼
システ
ム

FTVオーディオ

2004 2005 2006 2007
パソコン
でFTVを実現year

携帯端末
でFTV を実現

自由視点テレビの先駆的研究	
l多視点映像	
– Movie “The Matrix”（1999年） 	
– CMU “EyeVision” （2001年）	

l自由視点テレビ	
– Nagoya Univ. “Bird’s Eye View System”（2000年）	
– Nagoya Univ. “Free-viewpoint TV”（2001年）	

EyeVision (CMU)：物体追跡と撮影画像の切り替え	(2001年)

Real Scene

撮影画像	

FTV
l 撮影していない位置にも視点を移動できる	
生成画像	
撮影画像	Viewpoint
仮想視点	

Multi camera

多視点カメラ	FTVを実現するには	 l限られた視点の画像をカメラで撮影して伝達	l他の視点の画像は光線の統合と補間で生成	Rays
Free-viewpoint

CamerasFTVの撮影	
Visual Field(Horizontal)

y514233 425
1

Visual Field(Vertical)u ( = tan θ )Visual Field(Horizontal)
PositionY

Viewing Zone

( x, y)Ray-Space

DirectionX(θ , ϕ )Visual Field(Vertical)

光線空間	

53

4

2
1

Viewing Zone

Z

Camerasf ( x, y, u)

実空間	x直交光線空間の構造	

FTVの画像生成	

y

自由視点画像	Section １
断面1	
断面2	Section ２xu

SectionImage 1
断面像1	Ray-Space
光線空間	 f ( x, y, u)SectionImage 2
断面像2	直交光線空間の取得(直線カメラ配置)
u=tanθ
yx
水平断面tan θx

直線検出＋補間	u=tanθ
x視点変換による交差点右折支援システム
Driver’s View

Car CBack Monitor
Situationl Driver A is turning to the rightl Driver cannot see car C because of car B	 	 → Show the existence of C to A
Viewpoint Change
Extraction

Assist Imageby HIRDemo通信・放送機構(TAO)	
産学連携支援・若手研究者支援型研究開発制度		
自由視点リアルタイム鳥瞰システムの研究	（名古屋大学，（株）豊田中央研究所）		
１ 研究開発の目的	
本研究では、複数地点に設置された多視点カメラの映像情報を元に、自由視点の鳥瞰図をリアルタイムに生成するシステムを構築する。鳥瞰図生成アルゴリズムは当研究グ
ループの成果である光線マッピング法を基本とし、複数地点の映像情報をリアルタイムに解析・統合して自由視点の鳥瞰図を生成するアルゴリズム及びハードウェアを開発する。
また、当研究開発を申請者が提案している「高度交通システム（ITS）における画像統合・再構築システム」の一つの具体例と位置付け、交差点や駐車場等において自由視点からの映像情報をリアルタイムに生成し、運転者に提示するシステムを構築する。		
２ 研究期間	
平成１２年度（2000年）	
ll

IEEE Intelligent Vehicle Symposium 2001, Outstanding Papers in Interactive
Sessions Award
3次元画像コンファレンス2001, 優秀論文賞	

自由視点鳥瞰システム（2000年）（世界初のFTV）	

Makoto Sekitoh, Koichi Toyota, Toshiaki Fujii, Tadahiko Kimoto and Masayuki
Tanimoto, “A Virtual Bird's-Eye View System Based on Real Image, ”Electronic
Imaging and the Visual Arts 2000 Gifu, 8, pp.8-1‐8-7, October 2000．	 

160×120 pixels, 10 frames/sec

FTVのコア技術	

撮影	

FTVの撮影・処理部	

１００眼システム（名古屋大学IMI-COE・谷本研究室共同開発）	
基本映像センサ サイズ	1392Hx1040V ［pixel］	

映像フレーム レート最大値 	

29.4118

映像出力解像度 	

8	[bits/pixel]
Bayerマトリックスカ

カラーラー方式	

約50 [min]

映像データ記録時間
フレーム同期タイミングのばらつき

1以内 	
[µsec]
50

映像ピクセル クロック レート	
音声帯域アナログ入力チャネル数［fps］		 4[MHz][ch](最大)

音声帯域アナログ信号のAD変換サンプリング レート(オプション)
96～8 [kS/sec]
音声帯域アナログ信号のAD変換分解能

16 [bits]

100眼システム	
直線配置	 

円形配置	 

2次元配置	 

画像生成	

FTV Demo: Aquarium
Original Camera Views (15 Cameras)

FTV Demo: Aquarium
Generated Free Views

Original Views

Generated Views - Interpolated -Generated Views - Forward and Backward -FTV on PC
ノートPCで実現したFTV表示	FTVインターフェイス	FTV	  on	  a	  laptop	  PC	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  FTV	  on	  a	  mobile	  player	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  FTV	  on	  an	  all-­‐around	  with	  mouse	  control	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  with	  touch	  panel	  control	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  3D	  display	  	  (Seelinder)	

FTV	  on	  a	  2D	  display	  	  with	  head	  tracking	

FTV	  on	  a	  mulJ-­‐view	  3D	  display	   FTV	  on	  a	  mulJ-­‐view	  3D	  display	  without	  head	  tracking	  with	  head	  tracking	  携帯端末で実現したFTV	視点追従2Dディスプレイ	

多眼３Ｄディスプレイ	

視点追従なし	

視点追従あり	

視域が狭い	
クロストークあり	

視域が広い	
クロストークなし	

光線再現360度ディスプレイ:The SeeLinder

光線再現FTV	
3D実空間の全ての光線を取得し、同じ光線を異なる場所や時間で再現する	ミラー走査全周光線取得装置	 
Metal Halide Lamp

High Frame-rate
CameraHigh Frame-rate
CameraOptical Imageof Object

Rotating Mirror(45 deg Slanted)

Upper
Focal Point

Rotating Mirror

MotorMotor
ObjectAcrylic Board

ObjectLower
Focal Point
Parabolic Mirror x 2

ミラー走査全周光線取得装置で撮影した画像 	

Milk drop into waterPig

全周光線再現FTV	
Metal Halide Lamp	 

Mirror-Scan	 Display	 

High Speed Camera	 
Distortion Correction/Data Conversion	 全周光線再現FTVのデモ	

（３）MPEG活動（国際標準化）	

MPEGにおけるFTV標準化の経緯 	
2001/
12

2002/
12

2003/
10

2004/
10

2005/
07

2006/
01

Proposalof FTV

3DAVseminar

CfC
on 3DAVCfE
on MVCCfP
on MVC

Evaluationof proposals

2001/12Start 3DAV

2004/03
Start MVC (Multi-view Video Coding)

3DAV•Requirements on 3DAV
•EEs on 3DAV

2007/072011/
03 timeReq. onFTVCfP
on 3DV

2009/05
MVC completed

MVC (moved to JVT on 2006/07)•CEs onMVC

2007/04
Start MPEG-FTV
3DV

Targets
convergedon FTV

2009/02
Requirements
on 3DVFirst phase of FTV

Second phaseof FTV

全方位映像	（奈良先端科学技術大学院大学 情報科学研究科
山澤一誠助教授撮影）	 

3DAVでの審議	

FTV

３次元ビデオ	
http://vision.kuee.kyoto-u.ac.jp/japanese/news/004.html	 

2004年3月	
FTVに収束	
MVCを開始	２眼ステレオ	“Applications andRequirements for 3DAV”,
ISO/IEC JTC1/SC29/WG11,
N5877, July 2003.	 

奥行き情報を用いた２眼ステレオ	

A.Smolić, and Peter Kauff,“Interactive 3D Video
Representation and CodingTechnologies”, Proceedings of theIEEE, Special Issue on Advances inVideo Coding and Delivery, Vol. 93,
No. 1, pp.98-110, January 2005.	 

FTV

JEITA FTV委員会	
(社)電子情報技術産業協会(JEITA)
杉原	 義得	 のち	 清	 紹英（JEITA部長）	 
ＦＴＶ委員会	 
委員長：谷本正幸教授（名大）	 
委員：東大、慶応大、三菱電機、Sky、ＮＴＴ、ＫＤＤＩ、シャープ、富士通、中京テレビ、日立、ソニー、ＮＨＫ、日本テレビ、東芝、セイ
コーエプソン、日本ビクター、NEC、テレビ朝日、パナソニックコミュニケーションズ	 、大日本印刷	 2002年12月 MPEG国際セミナーを主催	
MPEG 3DAV Seminar

December 8, 2002
Awaji Yumebutai International Conference Center
Cosponsors:
MPEG AHG on 3DAVIMI (Intelligent Media Integration,Nagoya University)
JEITA
Cooperation:
IEICE, ITE

Organizing Committee:
Masayuki Tanimoto (Chair, Nagoya University)
Toshiaki Fujii(Nagoya University)
Yoshinori Sugihara (JEITA)
Kohtaro Asai(Mitsubishi Electric)
Hideaki Kimata(NTT)

LECTURES
13:00-13:15
Introduction by Dr. Leonardo Chiariglione (Convener of MPEG)
13:15-15:15(1) A Natural 3-D Display System: Parts of Results in Advanced 3-D Tele-Vision Projectby Telecommunication Advancement Organization (TAO) in Japan
Prof. Toshio Honda (Chiba University)(2) Three-Dimensional Television System Based on Integral Photography
Mr. Makoto Okui (NHK, Japan Broadcasting Corporation)(3) FTV (Free Viewpoint Television)
Prof. Masayuki Tanimoto (Nagoya University)(4) Heterogeneous and Interactive 3D Video on the Argus Sensor Array
Prof. David J. Brady (Duke University)2004年３月“Call for Comments on 3DAV”	に21社が返答、内16社がFTVを支持	
INTERNATIONAL ORGANISATION FOR STANDARDISATIONORGANISATION INTERNATIONALE DE NORMALISATION
ISO/IEC JTC 1/SC 29/WG 11CODING OF MOVING PICTURES AND AUDIO
ISO/IEC JTC 1/SC 29/WG 11 N6081
München, March 2004
SourceLeonardo Chiariglione, Convenor

Title

Resolutions of the 68th meeting

StatusApproved

Resolutions of the 68th meeting
7.4.3 WG11 thanks the following companies and organizations for their
responses to the Call for Comments on 3DAV: 3D Consortium,Chukyo TV, ETRI, Fraunhofer HHI, Hanyang University, Hitachi,KDDI, Matsushita, Mitsubishi Electric Corporation, Mitsubishi
Electric Research Laboratory, NEC, NHK, NTT, NTT Docomo,Sanyo, Sharp, Sky, Sony, STMicroelectronics, Toshiba, TU Ilmenau.	 

2005年7月発行の “Introduction to Multi-view Video Coding”
FTVの符号化部分をMVCとして標準化	

MVC (Multi-view Video Coding)
多数のカメラで撮影した映像の符号化方式の国際標準	lFTVの第１フェーズ	l2004年３月開始、 2009年５月終了	
( ISO/IEC 14496-10:2009 Annex H)

Time（frame）	

View（camera）	

Multi-camera

Multiview video

MVC: FTVの第１フェーズ	 

MVC
EncoderMVC
Decoder
Trans-mission

Sender side

Receiver side

Adopted by Blu-ray 3D	 

2007年4月 FTVの標準化項目の具体案を提案	
INTERNATIONAL ORGANISATION FOR STANDARDISATIONORGANISATION INTERNATIONALE DE NORMALISATION
ISO/IEC JTC1/SC29/WG11
CODING OF MOVING PICTURES AND AUDIO
ISO/IEC JTC1/SC29/WG11 M14417
San Jose, USA, April 2007
Title: Proposal on Requirements for FTV
Source: Nagoya University, NTT, and KDDI
Author: Masayuki Tanimoto (Nagoya Univ.), Toshiaki Fujii (NagoyaUniv.), Hideaki Kimata (NTT), and Shigeyuki Sakazawa (KDDI)
Status: Proposal

MPEG-FTV設立(2007年４月)	

CaptureCorrection/Conversion

Multi-Camera Captured MultiView Images

Transmission
Encoder

Corrected Multi-View
Images and MultiView Depth

DecoderInterpolation

Display

Storage

Reconstructed MultiView Images andMulti-View Depth

FTV Reference ModelFree
ViewpointImages

Participants of Exploration Experiment (2009年2月現在33社)
Nagoya Univ. (Masayuki Tanimoto, tanimoto@nuee.nagoya-u.ac.jp,
Toshiaki Fujii, fujii@nuee.nagoya-u.ac.jp)
NTT	 	 	 	 	 (Shinya Shimizu, shimizu.shinya@lab.ntt.co.jp)
UPM(Pablo Carballeira, pcl@gti.ssr.upm.es)
Philips(Fons Bruls, fons.bruls@philips.com)
GIST(Yo-Sung Ho, hoyo@gist.ac.kr,Kwan-Jung Oh, kjoh81@gist.ac.kr,Cheon Lee, leecheon@gist.ac.kr,Sang-Beom Lee, sblee@gist.ac.kr)
ETRI(Gi-Mun Um, gmum@etri.re.kr,Gun Bang, gbang@etri.re.kr)
JVC(Hiroya Nakamura, nakamura-hiroya@jvc-victor.jp)
Poznan Univ. (Marek Domanski domanski@et.put.poznan.pl,of Technology Krzysztof Klimaszewski , kklima@et.put.poznan.pl
Olgierd Stankiewicz, ostank@multimedia.edu.pl)Thomson(Purvin Pandit, purvin.pandit@thomson.net,Guillaume Boisson, guillaume.boisson@thomson.net,Dong Tian, dong.tian@thomson.net,Patrick Lopez, patrick.lopez@thomson.net)
MERL(Sehoon Yea, yea@merl.com
Anthony Vetro, avetro@merl.com)
Peking Univ. (Siwei Ma, swma@jdl.ac.cn)
Tsinghua Univ. (Xiaozhong Xu xxzh00@mails.tsinghua.edu.cn,
Gang Zhu zhug01@mails.tsinghua.edu.cn,
Ping Yang yangping00@mails.tsinghua.edu.cn)
Huawei(Sixin Lin, linsx@huawei.com,
Shan Gao, s.gao@huawei.com
Lianhuan Xiong, lh_xiong@huawei.com)

Xidian Univ. (Haitao Yang, htyang@mail.xidian.edu.cn)
Telefonica(Leonardo Lizcano, lle@tid.es)
Samsung(Youngho Moon, youngho78.moon@samsung.com)
LG Electronics (Jung Eun Lim, earth@lge.com,Jaewon Sung, jwsung3@lge.com)
Nokia/TUT (Ying Chen, ying.chen@tut.fi)
NICT(Taka Senoh, senoh@nict.go.jp)
Kwangwoon Univ. (Dong-Gyu Sim, dgsim@kw.ac.kr,Gwangshin Cho, bbaktoong@kw.ac.kr)
Sharp(Andrew Segall, asegall@sharplabs.com)
Fraunhofer HHI (Aljoscha Smolic, Smolic@hhi.de)
NCTU/ITRI (Yi-Wen Chen, ewchen@csie.nctu.edu.tw)
Motorola(Faisal Ishtiaq, faisal@motorola.com,Yong Wang, YongWang@motorola.com)
NXP(Arnaud Bourge, Arnaud.Bourge@nxp.com)
Ericsson(Ivana Radulovic, Ivana.Radulovic@ericsson.com)
Logitech (Lazar Bivolarski, Lazar_Bivolarski@logitech.com)
Orange/(Stephane Pateux, stephane.pateux@orangeFrance Telecom ftgroup.com)
FUB(Vittorio Baroncini, vittorio@fub.it)
Sony(Teruhiko Suzuki, teruhikos@jp.sony.com)
Zhejiang Univ. (Lu Yu, yul@zju.edu.cn)
ASTRI(Carmen Cheng, carmen@astri.org)
Qualcomm(Giovanni Motta, gmotta@qualcomm.com)

MPEG-FTVへの名古屋大学の貢献	①
Testsequences
CaptureCorrection/Conversion

Transmission
Encoder

Decoder

Synthesis

DisplayStorage②
Depth Estimation
Reference Software

Multi-Camera Captured MultiView Images

Corrected Multi-View
Images and MultiView Depth③

View Synthesis
Reference Software

Reconstructed MultiView Images andMulti-View Depth

FTV Reference ModelFree
ViewpointImages

3DV: FTVの第２フェーズ 	
viewdepthDepth
Estimation

Stereocamera3DV
Encoder

Sender side

Transmission

3DV
Decoder

View
Synthesis

Receiver side

Multiview
display“Introduction to 3D Video”, ISO/IEC
JTC1/SC29/WG11, N9784, May
2008.	 

Targeting multiview 3D display	 MPEG-FTVで活動した仲間	 

山下、杉原、谷本	

木全、藤井、杉原、山澤、北浦	

鈴木、谷本	

波部、藤井、木全、川田、谷本	

石川、伊藤、北原	

妹尾、服部、谷本	

内藤、中村	

清、谷本、藤井、メンノ、	 志水、妹尾、キャリリヨーネ、谷本	
妹尾、メヘルダッド、清	2022年FIFAワールドカップ日本招致委員会	
サッカースタジアムの感動をFTVで再現し世界に配信	

競技場の3次元レプリカ	

自由な視点移動	2022年FIFAワールドカップ日本招致委員会	
招致コンセプトビデオ	

http://www.dream-2022.jp/jp/our_bid/bid_book/	 テレビ朝日「報道ステーション」 	2010年12月１日	

2022年FIFAワールドカップ開催国を決める投票日前日の報道	谷本研究室の目標	
l 現実世界を光線ベースで完全に再現する	
l 光線を取得・処理・通信・表示する技術の完成	
l 究極の映像メディアである光線再現型
FTVと光線画像工学の構築	謝辞	 	 名古屋大学電気系教室、情報系教室の皆様に深く感謝します。	
東京大学を始め各大学の諸先生方、学会、財団、官庁、企業の皆様、研究室に所属して頂いた教職員、学生、研究員の皆様にも深く感謝します。	
ll
l
l
l
l
l
l
l
l

文部科学省科学研究費	
通信・放送機構(TAO) 研究開発制度	
経済産業省基準認証研究開発事業	
総務省SCOPE 	NICT委託研究	
JEITA	
名古屋大学IMI-COE	
３Dコンソーシアム	
超臨場感コミュニケーション産学官フォーラム（ＵＲＣＦ）	
企業委託研究・寄付金