特集JVRSJ Vol.13 No.3 September, 2008

インタラクション技術の新展開

13145

特集 ■インタラクション技術の新展開

映像を操る，映像を遊ぶ〜リアルタイム映像処理の世界〜

福地健太郎

科学技術振興機構

FUKUCHI KENTAROだけのものではなく，新たな応用を生み出している．

1. 「自分が主役」
我々が子供の頃，「映像」はスクリーンやブラウン

本稿では，筆者が実際に関わってきたプロジェクト

管に写し出されたものを，ただ眺めて楽しむものだっを中心にその動向を紹介し，リアルタイム映像処理技た．変身して光線技を繰り出したり杖の先から魔法を術が生み出した新たな応用について解説する．

飛ばしたり，小さくなったり大きくなったり，映像効
2. リアルタイム映像処理の略歴

果はヒーロー・ヒロインの活躍をカッコよく，刺激的に盛り上げる重要な要素だ．しかし彼等のかわりに自リアルタイム映像処理技術の歴史はテレビ以降に分がそこに入りこみ，派手な映像効果を伴って活躍す

限っても範囲が広く多岐に渡るため，概観するにしてることはできなかった．両腕を交差させて声を上げれも限られた紙面では難しい．ここでは，インタラクティ

ば，頭の中では光条一閃，必殺技が見事に相手に命中ブ性を重視し，かつエンタテインメントやアートの場しているのだが，実際にそれを目にすることはできな面で使われたものについて，かいつまんで紹介するにい．家庭用のビデオゲームが普及した今でも，映像効とどめたい．

果の恩恵にあずかれるのは画面中で自分が操作してい映像をデジタイズせずに，アナログ信号をいじってるキャラクターであり，自分自身ではない．いつか自加工するものとしては，Lee Harrison III の「Scanimate」

分自身が，あのヒーロー達のように，スクリーンの上(1969) や，Steve Rutt と Bill Etra による「Rutt-Etra videoで大活躍する姿を見てみたい，見せてみたいというのsynthesizer」(1972) などが嚆矢であろう [1]．これらはアナが，映画やテレビで映像に親しんだ子供が一度は抱くログのビデオ信号を対象に，走査線単位で座標をずらし夢の一つであろう．

たり波形を歪ませたりといった手法により映像を加工しこうし

リアルタイム映像処理技術は，まさしくそうした子ている．いずれもカメラで撮影された映像をリアルタイ供の頃の夢を実現することができるものだ．ビデオカ

ムに処理することができた [2]．両者とも主にテレビ放送

メラで撮影している自分の姿が，目の前で瞬時に加工やビデオ作品向けに使用されていた．

され，画面に写し出されている．体を動かせば，そのビデオ映像をデジタイズしフレームバッファに収め動きに反応した映像が写し出される．まるで自分が主ることができるようになると映像処理の技術も格段に役になったかのように …．かつては映像編集のための高進歩する．Ed Tannenbaum の「Chroma-Chron」(1979) や，価な機材を使って，時間をかけねば作れなかったよう製 品 化 さ れ た も の で は Fairlight 社 の「Computer Videoな映像効果が，計算能力の向上を背景にリアルタイムInstrument」(1984) が最も古いものの部類に入る．前者はに提供できるようになった．即座に結果を目にするこ主にライブパフォーマンスで使用され，後者はやはりテとができるようになると，それがインタラクティブ性レビ放送やビデオ作品の製作に使用された．

を持つことが明らかになってきた．そのため，リアル

上記のシステムはいずれも専用に設計されたハードタイム映像処理は単に映像加工の時間を短縮するためウェアを使って映像の加工処理を行っているが，時代

13日本バーチャルリアリティ学会誌第 13 巻 3 号 2008 年 9 月

特集が下って市販のコンピュータの処理能力が向上するにに加えフィルム時代からある古典的な技法を援用し，従い，加工処理をソフトウェアのみで実現するものも様々なものを用意している．2008 年現在で公開されて出てくる．富士通大分ソフトウェアラボラトリが FM-いるバージョン 0.3.11 では 46 種類の映像効果を提供

TOWNS 用のソフトウェアとして販売した「おもしろしている．

14
146

インタラクション技術の新展開TV」(1991) や，岩井俊雄のメディアアート作品「Another

映像入力はコンポジット信号をデジタイズするビデオTime, Another Space」(1993)[3] がこれに該当する．前者はキャプチャボードか USB カメラ，または IEEE-1394 バ

アマチュアのビデオ編集向けに，安価に (15,000 円 ) 市スに接続された IIDC カメラを用いることができる．

販されていたもので，後者はパブリックアート作品とし
4. EffecTV の利用事例て街頭で展示されたものである．
この頃から市販のパソコンでもビデオキャプチャ環境

これまでに筆者らは EffecTV をベースに開発したソフが整い始め，320×240 ピクセル程度の映像であれば毎秒トウェアを様々な用途に応用してきた．本章ではそれら

30 フレームで加工できる程度の処理能力を持つようにの事例を紹介する．

なってきた．筆者らが開発した「EffecTV」は，その前身となるソフトウェアが 1995 年頃に開発が始まり，公開

4.1 VJ・ステージパフォーマンスされたのが 2001 年である．
3. EffecTV
EffecTV は Linux 上で動作するソフトウェアで，入力された映像をリアルタイムに加工して表示するソフトウェアであり，2001 年にフリーソフトウェアとして公開された [4][5]．
当 時 の 普 及 価 格 帯 の 計 算 機 が 持 つ 処 理 能 力 (IntelCeleron 300MHz など ) でも，320×240 ピクセルの入力画像を毎秒 30 フレームの速度で処理することができた．
映像効果は画面内の動きを検出し，それを反映して映像を加工するものを主としている．図 1 に画面例を示す．

図 2 タップダンスと映像のパフォーマンス
( 熊谷和徳「Tap Man」) ＊口絵にカラー版掲載

動体検出の手法は様々で，背景差分を用いるもの，フレーム間差分を用いるもの，あるいは特に動体検出をせずフィルタ処理でそれらしく見せかけるものなど

我々はライブハウスやクラブでの音楽バンドのライが使われている．映像効果自体も，一般的な CG 技術

ブ演奏において，ライブを盛り上げるための映像演出に EffecTV を利用してきた．この種の映像演出やそれを手がける人を DJ からの連想で VJ と呼ぶ．ライブ VJ
においては，ステージ上のバンドの演奏風景を取り込んでの映像送出が重要となる．EffecTV を用いることで，演奏者の身体的動作を反映した映像効果をさらに加えることが可能となる．これにより，ライブでの演奏者のパフォーマンスを観たいという観客の要求に応えつつ，さらに客席を盛り上げる映像を映し出すことができるようになった．
加えて，この種の映像演出は音楽との同期が非常に重要となる．ライブ演奏においてはその時々で演奏のテンポやタイミングが想定していたものとずれてくることが往々にして起こる．そのため，あらかじめ用意してい図1た映像と演奏とを完全に同期させるのは非常に困難であEffecTV の画面例

14

特集

JVRSJ Vol.13 No.3 September, 2008

インタラクション技術の新展開

15147

る．一方，EffecTV のように演奏者の身体的動作を反映した映像効果の場合，演奏者の動きは音楽と同期していることが普通であるため，自動的に映像効果自体も音楽と同期することとなり，とりたてて同期のための努力を必要としないという大きな利点がある．
同様の事はステージ上のダンスパフォーマンスでの映像演出で使用した場合にも当てはまった．音楽にあわせたダンスやタップダンスにおいては，ダンサーの体の動きと音楽あるいはタップとが同期しているため，映像効果もそれに同期させることができる．
図 3 「METAMORPHOSE 2003」での展示風景

4.2 演劇での映像演出
最近はミュージカルを含む演劇の舞台演出において，映像を使用する場面が増えてきた．一般にはあらかじめを設置し，カメラをスクリーンの前にいる観客に向け，用意したビデオシーケンスを舞台の進行にあわせて送出

観客の姿に映像効果を加えたものをスクリーンに写す．

するが，これまでに筆者らは EffecTV を応用した映像演

観客が自分の動きを反映した映像効果を眺めながら，出を試みている．その利用場面は様々で，ケラリーノ・さらに体を動かして楽しむ様子が，展示の度に観察さサンドロヴィッチ作「室温〜夜の音楽〜」( 青山円形劇れた．

場 ) では役者の一人が実は幽霊である，ということを視

筆者らはこれまでに，野外での音楽フェスティバル・覚的に説明するために役者に映像効果を被せた．吹越満

クラブ・路上・バーやカフェなど，様々な場所でこの形

ソロアクトライブ「タイトル未定」では，舞台上で役者式の展示を行ってきた．おおむね共通して観察された現が EffecTV の映像効果を用いてスクリーン上に絵を描く

象としては，観客は始めの内は手の先をちょっと動かしパフォーマンスを演じた．てその反応を確かめる，といった程度だが，次第に体をいずれにおいても，役者は映像の動きに自分の動きを大きく動かして映像効果を派手にしたり，またその様子合わせる必要がなく，比較的自由に動けるという点が評が呼び水となり他の通行人が引き込まれて参加する，と価されている．しかし，映像効果によっては，若干ながいう光景があった．こうした効果を積極的に利用した事ら役者の動きを制限しなければならない場面があった．

例として，街頭でのインタラクティブ広告として使用し例えば「室温」の場合では，幽霊役の役者以外は舞台上た事例がある ( 図 4)．この事例では，映像効果の内容を商で動かずにいる，という制約を設けることで映像効果を品を連想させるものにしたり，企業ロゴを絡めて表示す実現している．ここで，役者に固有 ID を持つマーカーるといったものに変更している．

を持たせる，人物認識をするなどの方法でそうした制約を解除することも考えられるだろうが，設備コストがかさんだり，毎日の舞台でトラブルなく動かすのが難しくなったりする可能性は否めない．むしろ，舞台上はプロの役者が演技しているという事実を利用し，ある程度までは技術で，そこから先は役者の力量を頼って，あわせて映像効果を実現するという手法も，現実の舞台を成功させる上では考慮の対象となる．
4.3 公共空間・店舗・音楽イベントでの展示
前節までの利用事例は被写体と観客が分かれているが，人気のある EffecTV の使い方はやはり，被写体＝観客となる，観客参加型展示である．図 3 に典型的な展示風景の写真を示すが，2 〜 3m 程度のスクリーン

図 4 「Perrier Media Art」での街頭広告展示

15

日本バーチャルリアリティ学会誌第 13 巻 3 号 2008 年 9 月

特集

5. リアルタイム映像処理がもたらすインタラクティブ性

歳くらいとおぼしき子供が数人でスクリーンの前にやっ

前章では筆者らが関わった EffecTV の様々な導入事例て来て，EffecTV を楽しそうに遊んでいた．EffecTV のを紹介した．こうした事例での経験を踏まえ，本章では展示にあたっては，特に遊び方を教えるようなことをせリアルタイム映像処理がもたらすインタラクティブ性にずとも，子供でもすぐにその楽しみ方を発見するものでついて考察する．

あるが，子供のうち一名がやおらスクリーンの裏側にま16148

インタラクション技術の新展開

被写体がそのまま写り込み，その動きを反映した映

わると，スクリーンに自分の影を大きく写し出し「オバ像表現を提示する映像効果の場合，画面上の映像効果

ケだぞ〜」とおどけて他の子供に見せ始めたのだ．子供とそれをもたらした人との関係が，誰の目からも明らの親達は展示の邪魔になってはと子供をたしなめようとかとなる．実際に体を動かして体験している観客にとっするが当然子供はそんな事にお構いなく，かわりばんこては，それはより楽しい映像効果を生み出すための試にオバケごっこを楽しんでいた．考えてみれば影絵は，行錯誤をうながす効果がある．また，その様子を傍か古来からリアルタイム映像処理を実現した遊びだった．

ら眺めている人や，客席の観客にとっては，その映像そしてそれだけでも十分に面白いこともあるのだ．

システムが何をしているのか，誰の動きを反映してい我々の生活をさらに豊かにする上で，何が必要となるるのか，その関係が一目瞭然であるため，次は自分ものか，何を進歩させていくべきなのか．いたずらに技術やってみようという引き込みの効果を生じたり，また開発を進めるだけでなく，何が豊かさの源となっている舞台で使用している場合にはその演出意図を明確に伝のかを，折に触れてよく考える必要があるだろう．

えることができる．従来の映像効果では，リアルタイム性の欠如のためにこうしたインタラクティブ性を生参考文献じさせるのは困難であった．

[1]AudioVisualizers:VideoSynthesizers

また，引き込みの効果は別の形でも観察された．多http://www.audiovisualizers.com/toolshak/vsynths.htm

くの参加者は，一通り試行錯誤した後，面白い映像効果[2] Dave Sieg: Scanimation in the Analog Days, ComputerGraphics Vol. 32 No. 3 (1998)を生み出す特定の動きを発見すると，それを連れ立ってやってきた知り合いや他の参加者に対して，なかば得意[3] 岩井俊雄：岩井俊雄の仕事と周辺，六曜社 (2000)

気に披露するという姿が多く見られたのである．こうし[4] http://effectv.sourceforge.net/

た姿は多くのインタレーション作品やハンズオン展示な[5] 福地健太郎，Ed Tannenbaum: EffecTV: メガデモ技

どでよく見られるものであるが，やはりリアルタイムで術のリアルタイムビデオイフェクトへの応用，エンのインタラクティブ性が不可欠であるように思われる．

タテインメントコンピューティング 2003 論文集 (IPSJSymposium Series Vol.2003, No.1) , pp.94-99 (2003)

ただし，現状の仕組みではリアルタイム性において問題を生じる部分もある．普通のビデオカメラを用いた場合，高解像度の画像を取り込むにはどうしても【略歴】1/30 秒の時間がかかる．それを高速に処理し画面に反福地健太郎（FUKUCHI Kentaro）映させたとしても，最低で 1/30 秒，出力までの経路の2000 年東京工業大学大学院情報理工学研究科修士課程

構成によってはさらに 1/30 秒の遅れを生じる．そのた修了．2004 年同博士課程を退学後，電気通信大学に勤務．

め，舞台上の人物の動きと映像との間のずれを引き起2008 年より科学技術振興機構 ERATO 五十嵐デザインイ

こす．これを解決するには映像の入出力経路の改善がンタフェースプロジェクト研究員．ユーザインタフェー必要となる．また，人物の高速な動きを取りこぼすこ

スやエンタテインメント応用，音楽・映像分野との協調ともあるため，高速度カメラの利用も場合によってはに興味を持つ．情報処理学会会員．2002 年 FIT 船井ベ

検討する必要があろう．

ストペーパー賞受賞．

6. 豊かな生活のために最後に余談ながら，EffecTV の展示で筆者らが経験したエピソードを一つ紹介して本稿を締め括りたい．
ある野外音楽イベントでプロジェクターとスクリーンを持ち込んで EffecTV を展示していた時のこと．3 〜 416