LSSN 0915‑5961

Vol.34 No.4 (2000.12)
発

行：視聴覚情報研究会(AVIRG)

代表幹事：伊 藤 崇

之〒157‑8510 世田谷区砧 1‑10‑11
日本放送協会放送技術研究所
TEL 03‑5494‑2361
FAX 03‑5494‑2371

Ⅰ．11 月例会報告「超高速映像検索と国際標準化：MPEG‑7」
講演：山田 昭雄 氏 （NEC）
報告：川田 亮一 （KDD 研究所）
《概要と感想》
本講演では，来年標準化が予定されている

MPEG‑7の重要な機能の一つとして，検索がある．これには，次の３種類がある．

MPEG‑7，およびこの標準化活動において講演者山(1)信号レベルの検索．これは，画像の輝度値や田氏が大きく寄与された画像の記述方法，さらに色差値などを元にマッチングを取るもの．

はその応用例について，デモンストレーションを(2)意味レベルでの検索．これは、キーワードな交えながら，分かりやすい説明がなされた．
山田氏は，約15年前から画像の符号化を研究さどにより検索するもの．
(3)イベントレベルでの検索．これは，２よりもれており，その後，画像解析，さらに最近では詳しく，画像の中身まで立ち入るものである．

MPEG‑7にも関係する画像検索などを研究テーマ

MPEG‑7の機能には，この他、サーバーの制御や，とされているとのことである．本講演では，そのコンテンツに付加価値を与えることなどがあげような氏の広い守備範囲を背景としつつ，次の3られる．

トピックについて話された．

MPEG‑7を使用した事業展開として考えられて(1)MPEG‑7規格いるものは，次のようなものがある．

(2)検索技術について(1)デジタルテレビにおけるEPG（電子番組ガイ(3)アプリケーション
まず，MPEG−7についてである．この標準化のド）のユーザごとのカスタマイズ(2)放送局内でのデータベースマネジメント

主体は，ISO IEC/JTC1/SC29/WG11である．MPEG‑

特に，ポストプロダクション会社など外部と7の目的は，オーディオビジュアルコンテンツののやり取りの多いこの世界では，この種の標表記方法にある．ビットストリームをデコードす準化の意義は非常に大きい.

ることなく中身を知る方法といえる．しばしば誤解されるが，これまでのMPEG規格すなわちMPEG‑(3)家庭内におけるホームサーバ上の検索や，マニア向けのオーサリングツール

1,MPEG‑2,MPEG‑4に代わるものではなく，インタ(4)インターネットポータルサイトとしての応ーネットを例に取れば，いわばブラウザとビット用.すなわち，異なるサイト間でコンテンツストリームの掛け橋となるべきものである．の記述方法を標準化することにより，検索エ画像検索への応用の観点から，説明がなされた．

ンジンの汎用性が広がる．

このカラーレイアウト記述子の大きな目的は，MPEG‑7の標準化スケジュールとしては今後，2001年３月に標準化案が最終決定され，9月から信号レベルでのビデオコンテンツ管理である．

実際に使用可能となる予定である．その3月のシ超高速検索や，ビジュアライゼーションへの応ンガポール会合では，デモなどのイベントも予用を見越している．ディジタルアーカイブの検定されている．

索方法としては，ビデオマッチング，静止画マッチング，スケッチマッチングがある．いずれ

MPEG‑7は，次の７要素からなる．基本はXMLの場合も，計算時間と検索パフォーマンスのトである．
(1)Systemレードオフが成立する．山田氏らは，このトレ(2)DDLードオフカーブを押し上げるため，１画像あた(3)Visual

り8バイトしか要しないカラーレイアウト記述(4)Audio子を提案した．これにより，高速・高パフォー(5)MDSマンスが達成された．例えば，24時間の映像デ(6)RSW（フリーのリファレンスソフトウェア）ータから，平均0.1秒で検索が可能である．具体(7)Conformance的方法としては，映像データのY，U，Vそれぞれ本日の話の中心は，Visualで ある．MPEG‑7につき，8x8の縮小画像を作成する．次に，それVisualでは，画像を時間空間で分割する．すな

ぞれをDCTし，非線型量子化を行う．最終的には，わち，まずシーンに分割した後，regionに分割合計12係数だけを取りだし，記述子とする．

し，さらにそれをsub‑regionに分割する．また，MPEG‑7の標準化の場において、本記述子を用

画像の記述方法の種類として，次の５種類が規いた検索方式は，独立グループ作成によるグラ定されている．

ウンドトルースデータ5500枚を使用したコンペ(1)Color

ティションにおいて見事最高の性能を示し，採(2)Texture用が決定した．

(3)Shape

最後に応用システムの紹介があった．まず，(4)Motion

インターネット映像ポータルのデモでは，サン(5)Location

プル画像やラフスケッチの画像から，類似して

このうちMotionの応用例としては，道路監視いる静止画や動画がほぼ問題なく検索されるこ映像からの動ベクトル検出により，交通流量のとが示された．実システムの実装上は，動画の多い画像と少ない画像の自動分類法などがある．

連続フレームなど，よく似たシーンに対する後処理が重要となるとのことである．

山田氏のグループでは，家庭用のPersonal

次にCM自動調査システムについて，興味深いvideo archive systemを最終目標にしている．

デモンストレーションが行われた．

ここでは，いろいろなタイプの映像が記録されるし，また，いろいろな機能が要求される．そCM調査は，実際にCMが契約どおりテレビ局でして，コンテンツの記述が必須であることが分放映されているかを調べるために行われている．

かっている．すなわち、MPEG‑7との関連性があ現在は主に人間による人海戦術で行われている

り，このことが，氏がMPEG‑7と関わることになが，これを自動化する試みである．方法としてったきっかけとのことである．

は，映像による方法，音声による方法，ID信号

MPEG‑7の標準化活動において，NECからは，合付与による方法がある．しかし音声による方法計3セット10提案がなされた．これには、オーデは，同一音声で別映像というCMには対応できなィオビジュアルプログラムのナビゲーション方い．また，IDによる方法は，その付与作業が煩法や，類似画像の検索方法などが含まれる．そ雑なのと，故意に違うIDを付与された場合に対こで，次に，山田氏らが提案し，標準にも採用応できない．
そこで，山田氏らは，映像による手法を検討されたカラーレイアウト記述子について，類似している．具体的には，前述の記述子を使用し，ているかを調べるというものがある．この場合類似度をチェックし，その結果をwebやmailで知は，まずCMのデータベースを作成しなければならせるシステムである．テストシステムを構築らず，これを自動化で行う場合はまだ20%ほど本して実験した結果，極めて良好な特性が得られ番組をCMと誤る場合があり，今後の課題とのこている．アナログテレビ特有のDCの変動などがとである．また，時間方向で長さや再生速度をあるため，記述子のうちDC成分に対する重みを変えた場合への対応も，今後の課題とのことで小さくするなどの最適化は必要であるものの，ある．

十分実用に耐えられる性能となっている．この以上のように，本講演は，今非常にホットな理由としては，一般に静止画に比べ動画は検索話題である画像検索やMPEG‑7について，実際に性能がよくなることや，CMは各社それぞれ独自中心的活動をしておられる山田氏から直接お話性を出しているため，各CMはかなり異なっておを伺うことができ，極めて有意義であった．大り混同の恐れが少ないことが上げられる．本シ成功を収めつつあるDCTを応用した記述子など

ステムにおいては，検索時に，そのとき放映しは，符号化のバックグラウンドのある氏だからているのがCMか本番組かの区別はしていない．

こそできた提案であると思われる．研究におい

これで誤検出や検出漏れが0%というのは驚異的ては広い分野のカバレッジが独創につながるとなパフォーマンスであると感じた．CM会社の調いう格言を再認識できた．
本講演でも言及されていたが，今後，画像に査依頼には，十分使用可能であるといえる．

よる監視などのアプリケーションが広がると予
山田氏によると，本システムの適用分野とし想され，その場合にはコンテンツレベルの記述ては，この他，マーケティング調査，すなわち子も重要になってくると考えられる．今後のこライバル会社が今どのようなCMをどこで放映しの分野の一層の発展を願う．

「分身生成のためのマルチモーダル表情合成」
講演：森島 繁生 氏（成蹊大学工学部）
報告：近間 正樹（奈良先端大学 知能情報処理学講座）《概要と感想》
本講演では，人物の表情のコピーを計算機る撮影を行って，本物の笑いの表情と合成したの中でリアルに表現する技術の最近の成果につ表情の違いを比べてみたところ，眉の動きや口いてデモ映像を交え講演していただいた．

もとの動きの差は NTSC での検出限界以下であ近年のバーチャルアイドルなどの登場によっることが分かった．氏のグループでは，この差て CG によるリアルな顔 CG は身近なものになっが人間には知覚でき不自然さを感じるのではなてきたが，より微妙な表情、感情までも表現でいかとの仮説をたて，更に調査・実験を重ねてきるような CG が望まれてきている．また，研究いるとの事である．
分身コミュニケーションを実現するためには，の対象としても，従来は基本６感情の分類などがあったが，最近では表情というノンバーバル微妙な表情なども漏れなく伝える必要があり，な情報を伝えるためのモデル化という点で，ホそのためのモデルや表出のための適切なデバイットな領域になってきている．

スはどうあるべきかを考えなくてはならない．

しかし，現在の技術では合成した表情の CG としかし，すべてを忠実にコピーする必要はなく，本物の表情とでは受ける印象が異なり，明らか例えば頭髪などは近似でも十分である．リアルに合成した CG が不自然に見えるという問題がタイム性を保ちながら，近似でも良い部分はどある．これに対して，ハイスピードカメラによこまでか，どこを忠実にコピーするか見極めがまだ使っていないが，将来は口の大きさの制御重要である．

を行おうと考えているとのこと．

次に，実際に顔をモデル化する手順を説明さ

このあと，SIGGRAPH で発表したプロトタイプれた．
まず，Cyberware 社のカラー３次元レーザーシステムをいくつか紹介していただいた．最初

レンジファインダを使って得られたデータをもは 95 年のもので，リップシンクを使った対話シとに，本人のワイヤーフレームモデルを作成すステムのデモであった．会場に来た人の正面画る．このワイヤーフレームを制御して動かす必像を取り込んで，コンピュータ上にアバターを要があるので，その整合を取るためのツールを作成し，表情制御や入力音声に基づいてた口の作成した．ワイヤーフレームを作成するに際に動きを与えたアバター同士での会話を行うもの

は，口元など表情表出に重要な場所はメッシュである．

を細かく割り当てるなどの工夫をしたとのこと

次は 98 年のインタラクティブ=シネマシステである．しかしこのレンジファインダでは１回ムで，これまでは口や表情だけしか動かなかっのスキャンに十数秒と時間がかかり，また装置たものを，背景も動かしてやってみようというも高価であるという問題点があることから，正ことで，映画の主人公の顔の１シーンを置き換面や側面などの複数視点から観測した顔画像をえて楽しむシステムである．残念ながら著作権もとに三次元モデルを構築する手法も試みていの問題で reject されてしまい，あまり知られてて，視点を多くする事で精度を向上させている．

いないシステムだそうだ．

表情のコントロールの方法には Paul Ekman の99 年には HYPER‑MASK という顔のトラッキンFACS(Facial Action Coding System)に基づいてグとプロジェクションを組み合わせたシステム

おり，左の唇をあげるなど 44 個の AU(Actionで，人物にお面をかぶせ，そのお面に顔画像をUnit) の組合せで制御している．しかし，この投影するというものである．プロジェクション

動きをマーカをつけて追跡しようとしても十分ができることで今回はお面(マスク)に投影したな精度で追うことができず，また AU を使うことが，例えばボールに投影することで、インタラが顔合成において正しい適切な方法かは疑問でクティブなプレイグラウンドにも応用の可能性あり，今後よりよい制御単位を提案していく必を示した．
最近の研究として，ATR と共同で研究してい要がある．現在のところは，AU を使った制御方

る VIDEO‑Translaton(ビデオ翻訳)の紹介があっ法で第３者の顔を変形させている．
ここで，このシステムをサイバースペース上た．このシステムでは翻訳による音声の吹替えの対話システムに応用したデモの紹介があった．と，それにあわせた口形の合成を行っている．

このデモでは音声と表情のパラメータの情報をこれによって，言語間の音声の長さの違いも吸やりとりしており、現状では４人がネットワー収している．合成は口形のみで表情はオリジナ

クを介して同時に対話できるという．

ルの映像をつかっているので，自然な合成顔が次に，口形の制御の方法について説明された．

得られる．合成音声は ATR の CHATR を使用して口形状と音声は密接に関係しており，６つの基いるとのこと．また日本語から英語へ，英語か本形状 (/a/i/u/e/o/ と 閉口) からなっている．

ら日本語へのどちらも適用可能である．
さらに話はよりリアルな表情認識の方法につまた，基本形状の補間を行うことで，母音の口いて，解剖学的モデルを用いた制御方法を導入

形を使って子音の口形も表現可能である．
制御点としては，唇の左右両端，上唇，下唇する点に進んだ．１台のカメラので３次元情報の上・下端，および顎の７つを使用しており，を取り出したい．そのためには解剖学的な顔面これらの移動量をニューラルネットワークを使モデルを持つ必要があるということで、Keithって学習している．このとき入力は例えば'あ'Waters が 93 年に提案した顔の筋肉モデルを導の音(スペクトルパターン)なら出力は'あ'の口入した．これは表情筋をバネでモデル化したもの形でマッピングを行っている．音量の情報はのである．

森島氏はこのモデルを拡張して，皮膚表面，Ｂスプライン近似を行った房モデルを仮定して筋肉ノード，骨格ノードの３階層モデルを構築いる．レンダリングは円筒形状にはりつけ，まし，これを元にポリゴンを形成し運動方程式をた髪の生え方は３種類のモデルを用意した． こ解いて表情を生成している．パラメータとしてれらの運動方程式を解き，レンダリングを行っは，表情筋の強度のみを指定してやるだけでよ

たところ本人よりもボリュームのある表現になく，AU をパラメータとするものに比べても精度った．つまり, 本物の髪は痛んでいているのだ．

がよくなる．

すると用途としては，CG 合成で綺麗な髪を生やまた，骨格情報が入ることによって，より自したり髪型を変えたりすることが考えられる．

然な表情が可能になった．しかし，このパラメ

また，モデリングによって風になびく髪を表現ータを決定するのはたいへんなので，実写画像することもできるようになった．課題としては，からオプティカルフローを計算して皮膚の動き流れ場の導入，レイヤーの導入，衝突判定などを取り出し，そこから筋肉パラメータを推定しがある．現在は風は顔をつき抜けているため，ている．この方法では喜びや怒りなどのカテゴ多少不自然になってしまうとのことである．

ライズを行わないので，中間的な微妙な表情を余談として，自然な表情の撮影風景を納めた

うまく表現できている．しかし、欠点として，ビデオが紹介された．心理学で使われている嫌推定にはニューラルネットワークを使うので，悪や喜びを示す映像を部屋の中に被験者一人だ

学習データに依存してしまう．

けに見せて，その様子を撮影している．自然な

次に，EMG(筋電位)波形を使った表情測定法の嫌悪や喜びを表させるのは結構簡単だが，怒り紹介をされた．EMG は筋肉に電極を刺して筋電の表情などはなかなかとれず苦労しているとの位をはかるもので，これによって表情筋の動きこと．また，表情が硬い人もいて，そういう人を測定しようというものである．しかし，このには，フェイシャルエクササイズをしてもらい，方法では顎の動き情報を取ることはできないの

そうすると普段は使わない筋肉が活性化して表で，顎の動きを制御する咀嚼筋と表情筋，それ情が豊かになるそうである．
その他の課題として，目はテクスチャを張りらと表情の関係の解明はまだまだこれからとい付けるだけでは死んだ目になってしまうので注う段階である．
また，Waters の表情筋モデルを再構築する試意が必要．目はコミュニケーションに重要な役みも行われており，実際に解剖を何体か行って割を果たしているようだ．また、顔の皺を考慮いる．それによると表情筋は個人によってかなしたモデル作りなどをあげて講演を締めくくらり異なっており，筋肉のつきかた，発達，退化れた．CG の合成というエンターテイメント的要の仕方はさまざまである．これが，表情の個人素だけでなく，より深く人間を知ると言う意味差になるのではないかと推定しておられる．

でも，表情の研究は重要かつ興味深いテーマであると感じた．

最後に髪の毛のモデル化の話を紹介した．このモデルは，髪の毛１本で７つの制御点を持ち，Ⅱ．１月例会予定

テーマは，2001年１月の例会は，『初期視覚におけるテクスチャ情報処理』

日時：1月18日（木）14時〜17時

で，以下の2件の講演を予定しています．

場所：東京大学工学部 6号館 2F 63号講義室

奮ってご参加ください.

で開催します．

● 「V4野における陰影テクスチャーの講演者：花澤●「人間の初期視覚系における特徴抽出」

テクスチャ画像の処理」

明俊 氏

講演者：本吉（生理学研究所高次神経性調節研究部門）

勇 氏（NTTコミュニケーション科学基礎研究所）

物体表面のテクスチャーは，その物体を識別

入力画像からエッジを検出し，異なる領域にしたり，表面の材質，摩擦などの属性を判断す分割することは，最も基本的な視覚処理の一つる上で有用な情報源である．テクスチャー特徴である．人間の初期視覚系には，強度や波長にの抽出にマカクザルＶ４野が関与するか否かを限らず，運動，形状，両眼視差など画像に含ま調べた．コンピュータ画面上に，輝度勾配（陰れる様々な特徴の変化に基づいて，エッジを検影）によって粒子状の細かい凹凸があるように出したり領域を分割する仕組みが備わっている．

見えるテクスチャー刺激を提示し，要素の密度，特に，細かな形状の違いに基づいてエッジを検大きさおよび陰影の方向を変化させ，神経細胞出したり，領域を分割するはたらきは，テクスの応答を調べた．多くの細胞がこれらの刺激属チャ分凝と呼ばれる．そのメカニズムは，かつ性に選択性を示した．それらの一部は空間周波てはシンボリックなトークンの比較とされてい数選択性では説明のできない振る舞いをした．

たが，現在では、画像に含まれる方位・空間周

まず，要素の陰影の方向に対し１方向性の選択波数成分に選択的な線形フィルタ群の出力に対性を示す細胞があった．上または下方向の陰影する，二次のフィルタリングと考えられている．に選択的な細胞が多く，陰影からの立体知覚にこれを受けて，我々はテクスチャ分凝機構の諸みられる偏りと対応していた．また，粒子状の特性をシステム解析の観点から再検討し，そのテクスチャーのみに応答し，正弦波格子やバー実像に迫ろうとしている．今回の講演では，以刺激に応答しない細胞があった．これらの結果

上の研究の流れをレビューするとともに，テクから，Ｖ４野が，陰影から復元される３次元構

スチャ分凝機構が極めて優れた時間分解能をも造を含む，テクスチャーの特徴抽出に関与してつことを明らかにした，我々の最近のデータをいることが示唆された．

報告する．

《参考文献》《参考文献》[1] Ramachandran, V. S. Perception of shape from

[1] Julesz, B. (1981). Textons: the elements oftexture perception, and their interactions.

shading. Nature 331, 163‑166(1988).

Nature, 290 91‑97.

[2] Lehky, S.R. & Sejnowski, T.J. Network model ofshape‑from‑shading: neural function arises[2] Landy, M. S. & Bergen, J. R. (1991). Texture

from both receptive and projective fields.

segregation and orientation gradient. Vision
Research, 31 679‑691.

Nature 333,452‑454 (1988)[3] Kingdom, F. A., Keeble, D. & Moulden, B.

[3] Gallant, J. L., Braun, J. & Van Essen, D. C.
Selectivityforpolar,

hyperbolic,(1995).

andtextures. Hanazawa, A., Komatsu, H. Society
29th

AnnualMeeting

Abstracts 24, 370.3, (1999).
[5]orientation[4] Motoyoshi, I. & Nishida, S. (2000).
Temporal‑frequency characteristics of two
subsystems involved in orientation‑based
texture segregation. IOVS, 41 S222.

local luminance gradients in shaded 3‑DNeuroscience

toVision Research, 35 79‑91.

Science 259,100‑103 (1993).
[4] Monkey V4 neurons integrating the direction offor

Sensitivity

modulation in micropattern‑based textures.

Cartesian gratings in macaque visual cortex.

Extraction of texture features in macaque area
V4. Hanazawa, A., Komatsu, H. Society for
Neuroscience 30th Annual Meeting Abstracts 25,357.18, (2000).

Ⅲ．電子化検討の中間報告

2000年5月の総会決議に基づいて，AVIRG活動の一部電子化について検討を進め，前号の会報でもご報告いたしましたように，avirg.orgのドメイン名を取得しました．さらに以下の３点について，検討状況を中間報告させて頂きます．
(1) ホームページ開設
AVIRGのホームページを開設致しました．URLは，
http://www.avirg.org
です．内容は，AVIRGの紹介，会報，例会のお知らせ，関連イベント情報など，会員の皆様にとって有益な情報を数多く掲載できるよう努力して参ります．ご意見，ご要望等がございましたら
kanji@avirg.orgまでお寄せください．
(2) メーリングリスト
会員の皆様への情報提供手段として，また意見交換の場として，AVIRG会員のメーリングリスト
kaiin@avirg.org
を開設いたしました．アドレスの登録，削除は，本文なしで以下のアドレスにメールをお送りく
ださい．
アドレスの登録：To: kaiin‑request@avirg.org
Subject: subscribe
アドレスの削除：
To: kaiin‑request@avirg.org
Subject: unsubscribe
なお現在，2000年4月の電子化アンケートに記入して頂いたアドレスが登録してあります．登録不要の方はご面倒ですが削除をお願いします．また，アンケートにアドレスを記入されなかった方あるいはアンケートを提出頂けなかった方で登録を希望される方は，上記の手順で登録をお願いします．

このメーリングリストに関連情報などを投稿されたい方は，kaiin@avirg.orgまでお送りください．
(3) 会則改正について
AVIRG活動の一部電子化に伴い，会員の位置づけ，会の組織や役員の役割などについて，鋭意検討を進めております．早々に改正案をまとめ，会報ならびにホームページに掲載の上，会員の皆様のご意見をお伺いしたいと考えています．今しばらくお待ちください．

〜会員登録情報の変更のお願い〜
AVIRG会員の御所属，会報送付先など登録情報に変更がありましたら，お手数ですが以下のいずれかにご連絡ください．
◎ (財)日本学会事務センター 会員業務係◎ 電子メール kanji@avirg.org (AVIRG幹事宛)(注) 会員の確認のために，御氏名とともに，必ず会員番号を明記して下さい．
会員番号および学会事務センターの連絡先は会報郵送時の封筒に印刷されています．

