計算情報学研究部門
計算メディアグループ
１．メンバ教授

大田 友一

准教授

亀田 能成

准教授

北原 格

２．概要
当グループが属する計算情報学研究部門は、「中長期的観点から計算科学の研究を抜本的に発展させる斬新な方法の開拓研究を行う部門」として、2004 年度から新しく発足した部門であり、人間社会とその環境を主な対象とする新しい計算科学の枠組みを創成し、その基盤を確立することを目標として研究活動を推進している。
人間社会を対象とする計算科学では、人間を系に含むために、計算処理の都合で時間軸を自由に変更することが出来ない。グローバルに拡がる人間社会とそれを取り巻く環境（生活空間や都市環境など）を対象として、人間の時間軸（すなわち、リアルタイム）に沿って膨大な情報を処理し、実観測データとシミュレーション結果の融合情報を、人間に分かり易い形で提示し人間社会へフィードバックするためには、実世界計算情報学と呼ぶべき新しい枠組みが必要となる。
具体的には、実世界の情報をセンシングする機能、膨大な情報を処理する潤沢な計算機能、情報を選択し蓄積する大規模データベース機能が、コンピュータネットワークと融合した大規模知能情報メディアの構築をバックボーンとし、先端的要素技術の研究開発と、ニーズに密着した応用システムの研究開発を並行して進めている。
研究成果は、論文として学会発表するだけでなく、イノベーション・ジャパン-大学見本市に 2005 年から 2008 年まで連続で出展するなど、広報活動にも努めてきた。2007 年度の展示「複合現実感を利用して人間の視覚を支援する技術」は、IT 部門において部門賞(Microsoft Innovation Award)を受賞した。
競争的外部資金等により計算メディア分野で進めてきた主な研究開発を以下に挙げる。
１）自由視点映像の生成と提示：複数の視聴者が、それぞれ自由に視点を選びながら、スタジアムや体育館で行われるスポーツイベントのライブ中継を、ネットワーク経由で観ることができる技術を開発。
（主な研究費：総務省 SCOPE、共同研究経費）
２）監視カメラ映像を活用した歩行者のための視覚支援：監視カメラ設置数の増大は避けられないであろうことを前提に、一般市民が監視カメラから得るメリットとして、眼に見えて便利さを実感できる新しい付加価値の在り方を提案し、それを実現する基盤技術を創成。（主な研究費：科研費基盤研究Ａ）
３）センサ情報の社会利用のためのコンテンツ化(センシング WEB)：監視カメラなどのセンサ情報を、WEB のコンテンツを利用するように、一般ユーザがオープンに活用するための基盤技術を創成。（主な研究費：科学技術振興調整費）
４）ＩＴＳにおける運転者への視覚増強技術： 自動車事故の低減を目指した予防安全型技術として、道路監視カメラ映像を画像処理によって加工し、運転者が直感的に受け入れやすい視覚情報として提示する技術を開発。（主な研究費：科学技術振興調整費）
５）非較正カメラ群による多視点同時観測技術： 大規模センサデータの管理・統合を目的とし、事象の多発場所の検出、複数視点からの同一事象観測、事象の頻度解析などにより、カメラ群とその映像を利用者に見やすい形に組織化。（主な研究費：科研費若手研究Ａ（亀田））６）モバイルカメラによる高自由度映像監視技術： 環境カメラ映像とモバイルカメラ映像を統合することにより、観測の自由度が大きく死角の少ない、高解像度な監視映像獲得技術を開発。（主な研究費：科研費若手研究Ａ（北原））７）複合現実感を用いたコミュニケーション支援メディア技術：複合現実提示技術を用いて、空間・視覚情報を共有することにより、円滑なコミュニケーションを実現する技術を開発。（主な研究費：科研費萌芽研究（北原））３．研究成果【１】自由視点映像の生成と提示 （大田、亀田、北原）
国立スポーツ科学センターとの共同研究として、総務省戦略的情報通信研究開発推進制度(SCOPE)による特定領域重点型研究開発「ネットワークによる自由視点映像のライブ配信とインタラクテ
ィブ提示」（研究代表者 大田友一）を 2004 年度から 2006 年度の 3 年間に渡り実施し、2007 年度以降も研究開発を継続している。
この研究は、複数の視聴者が、それぞれ自由に視点を選びながら、スタジアムや体育館で行われるスポーツイベントのライブ中継をネットワーク経由で観ることができる技術の開発と、素人でも使いやすいインタラクティブな自由視点映像提示手法を開発し、蓄積・再生型の次世代コンテンツ技術を創出することを目的としている。
撮影物体を１枚の板（ポリゴン）とその表面に貼り付けるテクスチャ情報で表現する“人物ビルボード”という手法を開発することにより、多視点映像の撮影・加工・伝送から自由視点映像の生成・提示までの全ての処理をビデオレートで処理する世界初の自由視点映像のライブ配信を実現した。さらに、自由視点映像技術を実験室やスタジオから開放することを目指し、国立競技場や代々木体育館における実証実験において、システム全体の実用性・汎用性・ロバスト性の向上を目的とした技術開発を推進することにより、世界でも他に例を見ない、大規模空間で実施されるイベントを対象とした自由視点映像ライブ配信の実現に成功した。
2007 年度における主要な成果としては、サッカーボールのオンライン 3 次元位置推定技術の開発が挙げられる。サッカーボールは、選手に比べて小さく、しかも空中を高速で移動するために、これまではオンラインでの自動位置推定が困難であった。これに対して、2 視点から同期撮影された映像情報を統合し 3 次元位置推定を可能とすること、ボールの検出状況に適応して画像上でのボール探索範囲を調整して高速化すること、ボールが検出出来ない場合にはカルマンフィルタによる推定値で補完すること、によって、オンラインでのロバストな 3 次元位置推定を可能とした。
開発した自由視点映像方式は、学術的にも高く評価されており、コンピュータビジョン分野で国際的に最も権威がある International Journal of Computer Vision(IJCV)に論文が掲載された他、2007年 6 月には、画像電子学会から 2006 年度画像電子技術賞を受賞した。 また、開発したプログラムについて民間企業との間で権利移転契約を締結し技術移転を行った。当該企業とは、共同研究契約を結んで開発を続けている。

国立霞ヶ丘競技場における実験風景

ライブ配信が可能な自由視点映像方式

生成・提示された自由視点映像の例

ボールの 3 次元位置推定結果例【2】 監視カメラ映像を活用する視覚支援方式 （大田、亀田、北原）（１）シースルービジョン （大田、亀田、北原）2006 年度から 2009 年度の 4 年間の計画で、科学研究費補助金・基盤研究(A)「シースルービジョン：監視カメラ映像を活用する歩行者のための視覚支援方式の開発」（研究代表者 大田友一）を実施している。
本研究は、公共空間における監視カメラ設置数の増大は避けられないであろうことを前提に、一般市民が、自らのプライバシと引き替えに監視カメラから得られるメリットとして、「安全」という重要だが眼に見えにくい価値の他に、眼に見えて便利さを実感できる新しい付加価値の在り方を提案し、それを実現する基盤技術を創成することを目的とする。新しい付加価値の在り方として、具体的には、従来、カメラの設置者のみが利用していた監視カメラ映像を、被写体である一般市民も利用可能とすることを前提に、歩行者が持つ PDA などの携帯型情報端末に監視カメラ映像を適切に加工した映像情報を提示し、自分の眼では直接見ることが出来ない視覚情報を歩行者に提供する「シースルービジョン」を提案した。
シースルービジョンとは、スーパーマンが持っている、物体の透視能力を備えた眼を意味し、歩行者が目の前のビルなどの遮蔽物を透視して遠方を見ることが出来る機能を表現する。
要素技術としても、監視カメラ映像を援用した屋外ランドマークによる位置合わせ技術、シースルー映像の重畳方式や視点間のナビゲーション技術、監視カメラ映像中の人物像にモザイク処理を施すプライバシ保護技術など、独創的な発想に基づく特色ある技術の開発を進めている。

歩行者への視覚支援（シースルービジョン）の概念図（2） センシング WEB （大田、北原、亀田）2007 年度から 2009 年度の 3 年間に渡り、科学技術振興調整費・科学技術連携施策群の効果的・効率的な推進「センサ情報の社会利用のためのコンテンツ化」（研究代表者 美濃導彦）の研究課題において、「画像情報に対するプライバシ情報管理」（研究代表者 大田友一）を実施している。
本研究は、多種多様な画像センサ情報に含まれるプライバシ情報をフィルタリングするための基礎的技術を研究開発することを目指している。画像情報の中に含まれる被写体のプライバシ情報を分類して構造化することによって、利用者に応じて段階的かつ選択的にプライバシ情報を取り除いて提供するための技術を開発するとともに、開発した技術の有効性を検証するために、公共環境での実証実験を実施する。

利用者に応じたプライバシ情報の制御

（3）NaviView：監視カメラ映像を活用した運転者への視覚支援 （大田、亀田、北原）2004 年度から 2006 年度の 3 年間に渡り、科学技術振興調整費・重要課題解決型研究「状況・意図理解によるリスクの発見と回避」（研究代表者 稲垣敏之）の研究課題において、「動的環境センシングによる視覚増強技術」（研究代表者 大田友一）を実施し、2007 年度も継続して研究を推進した。
本研究では、走行中や交差点進入時の運転者の死角を解消するような視覚増強技術を、道路監視カメラを用いた動的環境センシングによって実現することを目標に掲げた。特に、対向車線、見通しの悪い交差点、走行中の自車両の周囲の死角を解消し、もって事故の予防を図り、運転者が遭遇する可能性のあるリスクの軽減を実現することを具体的な目標とした。
視覚増強技術による死角解消方法としては、まずウィンドシールドディスプレイを試作し、運転者が運転しながら視覚情報を見ることができるようにした。その上で、交差点での右折時の対向車直進車両との衝突事故を防ぐバーチャルスロープ、見通しの悪い交差点進入時の左右の道路の確認を安全に行えるバーチャルコーナーミラー、それに走行中に自車両の周囲から後方にかけての領域を広く可視化して左右折時の巻き込み事故を防ぐ浮動式仮想鏡、の三つの視覚増強技術を開発した。

実験車両とシミュレータ

バーチャルスロープ

Wind Shield Display

監視カメラ映像から浮動式仮想鏡を生成【3】複合現実感技術 （大田、北原、亀田）（１） 複合現実空間の遠隔共有 （大田、北原、亀田）
複合現実感(Mixed Reality)とは、コンピュータグラフィックスによって描かれた仮想世界を、現実世界にシームレスに融合した映像を提示する技術である。
本研究では、複合現実感技術によって生成される空間を、遠隔地に居る複数のユーザが共有できる遠隔コミュニケーションシステムの開発を進めている。2 次元映像として撮影し伝送された遠隔地のユーザの人物像を、作業空間としての卓上と人物の位置に沿って継ぎ目無く設置された変形ビルボード上に表示することによって、遠隔地の人物の頭部や胴体と卓上に伸ばした腕を、眼の前の現実世界に融合して提示することができる。オセロゲームを題材として、卓上に置かれた実物のオセロ駒と、遠隔地のオセロ駒を再現した仮想のオセロ駒が、実物のオセロ盤上に混在する複合現実空間を、変形ビルボード上に表示された遠隔地の人物と対面しながら共有するシステムを構築した。

変形ビルボード（左）と提示された遠隔地の人物像（右）(2) 感覚的に正しい(perceptually correct)複合現実感技術 （大田、北原）
複合現実感では、現実世界と仮想世界を見分けがつかない程に上手く融合して提示することが重要である。そのためには、コンピュータグラフィックスで描く仮想世界を、可能な限り「物理的に正しい(physically correct)」映像として描くことが追究されてきた。これに対して、我々のグループでは、描かれた仮想世界の映像が物理的に正しくなくても、観察する人間にとって正しく見えればよい、すなわち、「感覚的に正しい(perceptually correct)」という概念を提唱し、感覚的に正しい仮想世界を生成し、現実世界と融合する研究を進めている。
【4】ネットワーク結合型マルチメディアセンサアレイ群の自動協調 （亀田、大田）
2004 年度から 2006 年度の 3 年間に渡り、科学研究費補助金・若手研究Ａ「ネットワーク結合型マルチメディアセンサアレイ群の自動協調」（研究代表者 亀田能成）を実施し、2007 年度も継続して研究を推進した。
本研究では、人間の生活空間内に設置された映像センサ（ビデオカメラ）・音像センサ（マイク）というマルチメディアパッシブセンサを中心に、大量のセンサが非均一非較正に設置された状態から、ネットワークを介した互いのセンサの同定・通信・協調を通じて観測一貫性の保持とそれに基づく認識手法の提案を行った。この認識手法を用いると、例えば、研究室内外に分散設置された３５台のカメラ群について、各カメラの位置を測定したりする必要なく、１つの動作に関連した多視点映像シーケンスを自動的に組織化して提示することができる。

１つのカメラでの観測事例

３５台の同時観測
相関ありと推定された映像

さらに、マイクロフォン群を用いることで、１つの動作に対相関強度する認識効率を上げ、音と映像との両方からその動作を観測することも可能になる（左図は、マイク群による観測特徴量次元中で有意な動作部分を推定している過程を示す）。

時間【5】プライバシを考慮したモバイルカメラによる高自由度映像監視技術 （北原、大田）
2006 年度から 2008 年度の 3 年間の計画で、科学研究費補助金・若手研究Ａ「被写体のプライバシを考慮したモバイルカメラによる高自由度映像監視技術に関する研究」（研究代表者 北原格）を実施している。
この研究では、モバイルカメラと環境設置型カメラを連動させた自由度の高い映像監視システ
ムと、プライバシを考慮しつつ適切な撮影・記録・提示を行う映像メディアの基盤技術の開発を目的としている。環境に設置された多視点カメラとモバイルカメラを連動させることにより、互いの長所を融合した撮影システムを構築し、モバイルカメラのキャリブレーション技術や、モバイルカメラによって収集された映像情報を用いて環境設置型カメラの監視エリアを拡大する技術の研究開発を行っている。今後は、これまで開発した技術の上に映像中のプライバシ情報を保護する枠組みを実装していく予定である。

モバイルカメラと環境設置型カメラを連携させた自由度の高い映像監視システム

モバイルカメラのキャリブレーション方式を応用した複合現実型情報提示の例

３．研究業績（１）研究論文
1. 複合現実感における視覚と触覚の融合効果を利用した物体形状提示に関する実験的検討; 中原守勇,北原格, 大田友一, 日本バーチャルリアリティ学会論文誌（TVRSJ), Vol.13, No.1, pp.25-35 (2008.3)
2. 気の利いた視点位置からの観戦が可能な自由視点サッカー映像生成手法; 北原格, 亀田能成, 大田友一, 画像ラボ２００８, vol.19, 2, pp.20-26 (2008.2)
3. MR Face 映像における視覚特性を考慮した光学的整合性の実現; 竹村雅之，北原格，大田 友一，画像ラボ２００８, vol.19, no.2, pp.48-53, (2008.2)
4. Sound Source Localization with Non-Calibrated Microphones; Tomoyuki Kobayashi, YoshinariKameda, Yuichi Ohta, Proceedings of the 14th International Multimedia Modeling Conference(MMM2008), 10pages (2008.1)
5. 3D Tracking of a Soccer Ball Using Two Synchronized Cameras; Norihiro Ishii, Itaru Kitahara,
Yoshinari Kameda, Yuichi Ohta, Proceedings of Pacific-Rim Conference on Multimedia(PCM2007), 10pages (2007.12)
6. Face-To-Face Tabletop Remote Collaboration in Mixed Reality; Shinya Minatani, Itaru
Kitahara, Yoshinari Kameda, Yuichi Ohta, Proceedings of the Sixth IEEE and ACM
International Symposium on Mixed and Augmented Reality (ISMAR07), pp.43-46 (2007.11)
7. Visual Assistance for Drivers by using Mixed Reality; Yoshinari Kameda, Itaru Kitahara,
Yuichi Ohta, CDROM Proceedings of 14th World Congress on Intelligent Transport Systems,8pages (2007.10)
8. ネットワークによるライブ配信とインタラクティブ提示が可能な自由視点映像方式（画像電子学会 2006 年
度画像電子技術賞） ; 大田友一, 亀田能成, 北原 格, 古山孝好, 画像電子学会誌, Vol.36, No.5,pp.814-820 (2007.9)
9. Viewpoint-Dependent Quality Control on Microfacet Billboaｒding Model for Sports Video;
Hitoshi Furuya, Itaru Kitahara, Yoshinari Kameda, Yuichi Ohta, Proceedings of IEEE
International Conference on Multimedia and Expo (ICME2007), pp.1199-1203 (2007.7)
10. サッカーの自由視点映像提示における気の利いた視点選択手法; 北原 格, 橋本浩一郎, 亀田 能成,大田友一, 日本バーチャルリアリティ学会論文誌（TVRSJ), Vol.12, No.2, pp.171-180 (2007.6)
11. MR Face 映像における光学的不整合に関する視覚特性の評価; 竹村雅幸, 北原格, 大田友一, 日本
バーチャルリアリティ学会論文誌（TVRSJ), Vol.12, No.2, pp.181-190 (2007.6)
12. A Background Modeling Method with Simple Operation for 3D Video; Naobumi Nomura, ItaruKitahara, Yoshinari Kameda, Yuichi Ohta, 3DTV CON 2007 (Capture, Transmission andDisplay of 3D Video), 4pages (2007.5)
13. A Perceptually Correct 3D Model for Live 3D TV (Invited Talk); Yuichi Ohta, Itaru Kitahara,
Yoshinari Kameda, Hiroyuki Ishikawa, Takayoshi Koyama, 3DTV CON 2007 (Capture,Transmission and Display of 3D Video), 4pages (2007.5)（２）学会発表（A）招待講演
1. A Perceptually Correct 3D Model for Live 3D TV (Invited Talk); Yuichi Ohta, 3DTV CON 2007
(Capture, Transmission and Display of 3D Video) (2007.5.8)（B）その他の学会発表1.

サッカーシーンの選手視点映像提示に向けた２台のカメラによる選手軌跡獲得; 糟谷望, 北原格, 亀田能成, 大田友一, 情報処理学会 第 70 回全国大会, 2pages (2008.3)

2.

複合現実感技術による監視カメラ視野の可視化; ダオ ゴック タン, 北原格, 亀田能成, 大田友一, 情報処理学会 第 70 回全国大会, 2pages (2008.3)

3.

複数カメラ映像の切り替えによるスポーツ選手の高解像度自動追跡撮影; 對馬崇, 北原格, 亀田能成,大田友一, 情報処理学会 第 70 回全国大会, 2pages (2008.3)

4.

視覚支援評価のための運転席シミュレーション環境の構築; 小林弘治, 北原格, 亀田能成, 大田友一,
情報処理学会 第 70 回全国大会, 2pages (2008.3)

5.

領域を限定した SIFT 特徴量の抽出; 古畑俊一郎, 北原格, 亀田能成, 大田友一, 情報処理学会 第70 回全国大会, 2pages (2008.3)

6.

環境カメラ画像情報を用いたモバイルカメラの位置・姿勢推定; 濱田修平, 北原格, 亀田能成, 大田友一, 情報処理学会 第 70 回全国大会, 2pages (2008.3)

7.

仮想視点移動が可能な広範囲でのシースルービジョン; 山崎真也, 北原格, 亀田能成, 大田友一, 情報処理学会 第 70 回全国大会, 2pages (2008.3)

8.

モバイルカメラと環境カメラを補完的に利用する映像監視; 于 霞, 北原格, 亀田能成, 大田友一, 情報処理学会 第 70 回全国大会, 2pages (2008.3)

9.

複合現実感における自然なソフトシャドウの提示に必要な光源マップのサイズ評価; 中野学，北原格，大田友一，信学技報 IEICE Technical Report PRMU2007-194, vol. 107, no. 427, pp. 223-230(2008.1)

10. 遠隔地における複合現実空間の共有-対面型卓上作業システムの構築-; 南谷真哉, 北原格, 亀田 能成, 大田友一, 信学技報 IEICE Technical Report MVE2007-53, Vol.107, No.242, pp.91-96(2007.10)
11. 複合現実感における視覚と触覚の融合効果を利用した素材感提示に関する実験的検討; 中原守勇, 北原格, 大田友一, 日本バーチャルリアリティ学会第 12 回大会, (2007.9)
12. 複数の環境カメラ画像情報を用いたモバイルカメラの位置姿勢推定; 濱田修平, 北原格, 亀田 能成,
日本バーチャルリアリティ学会第 12 回大会, (2007.9)
13. ２視点からの映像を利用したサッカーボール追跡手法; 石井規弘, 北原格, 亀田能成, 大田友一,
MIRU2007 画像の認識・理解シンポジウム, (2007.8)
14. 複合現実感における観察距離の大きな変化に対応可能な入れ子型マーカ【ライブデモセッション】; 立野圭祐, 大田友一, 第 13 回画像センシングシンポジウム（SSII07), (2007.6)
15. 道路監視カメラを用いた交差点における短縮法を適用した空瞰映像の生成; 大津 寛之, 北原格, 亀田能成, 大田友一, 信学技報 IEICE Technical Report DE2007-20 PRMU2007-46(2007-6),
pp.111-116 (2007.6)
16. 多視点映像を用いた簡易な操作による 3 次元背景モデル構築法; 野村 尚史, 北原格, 亀田 能成, 大田友一, 第 3 回デジタルコンテンツシンポジウム（DCS2007), 6pages (2007.6)（３）その他
1.

受賞： Microsoft Innovation Award 大学出展者部門 部門賞（IT 分野）、「複合現実感を利用して人間の視覚を支援する技術」、イノベーション・ジャパン 2007 (2007.9.13)

2.

受賞： 画像電子技術賞、「ネットワークによるライブ配信とインタラクティブ提示が可能な自由視点映像方式」、画像電子学会 (2007.6.23)

４．シンポジウムの開催
1.

第 1 回 実世界計算情報学シンポジウム
日程：2008 年 3 月 26 日(水)～27 日(木)場所：筑波大学計算科学研究センター 国際ワークショップ室
主催：筑波大学プレ戦略イニシアティブ「実世界計算情報学の基盤創成拠点」