V-2 計算メディア分野
1. メンバ
教授 大田 友一
准教授 亀田 能成、北原 格

2. 概要
当グループが属する計算情報学研究部門は、「中長期的観点から計算科学の研究を抜本的に発展させる斬新な方法の開拓研究を行う部門」として、2004 年度から新しく発足した部門であり、人間社会とその環境を主な対象とする新しい計算科学の枠組みを創成し、その基盤を確立することを目標として研究活動を推進している。
人間社会を対象とする計算科学では、人間を系に含むために、計算処理の都合で時間軸を自由に変更することが出来ない。グローバルに拡がる人間社会とそれを取り巻く環境（生活空間や都市環境など）を対象として、人間の時間軸（すなわち、リアルタイム）に沿って膨大な情報を処理し、実観測データとシミュレーション結果の融合情報を、人間に分かり易い形で提示し人間社会へフィードバックするためには、実世界計算情報学と呼ぶべき新しい枠組みが必要となる。
具体的には、“実世界の情報をセンシングする機能”、“膨大な情報を処理する潤沢な計算機能”、“情報を選択・蓄積する大規模データベース機能”を、コンピュータネットワーク上で融合することにより大規模知能情報メディアを構築し、そのバックボーン上で、先端的要素技術の研究開発と、ニーズに密着した応用システムの研究開発を並行して進めている。
研究成果は、研究論文や学会発表だけでなく、イノベーション・ジャパン-大学見本市に 2005 年から 2008 年まで連続で出展するなど、広報活動にも努めてきた。
競争的外部資金等により計算メディア分野で進めてきた主な研究開発を以下に挙げる。
１）自由視点映像の生成と提示：複数の視聴者が、それぞれ自由に視点を選びながら、スタジアムや体育館で行われるスポーツイベントのライブ中継を、ネットワーク経由で観ることができる技術を開発。（主な研究費：総務省 SCOPE、共同研究経費）
２）監視カメラ映像を活用した歩行者のための視覚支援：監視カメラ設置数の増大は避けられないであろうことを前提に、一般市民が監視カメラから得るメリットとして、眼に見えて便利さを実感できる新しい付加価値の在り方を提案し、それを実現する基盤技術を創成。（主な研究費：科研費基盤研究Ａ）
３）センサ情報の社会利用のためのコンテンツ化(センシング WEB)：監視カメラなどのセンサ情報を、WEB のコンテンツを利用するように、一般ユーザがオープンに活用するための基盤技術を創成。（主な研究費：科学技術振興調整費）
４）ＩＴＳにおける運転者への視覚増強技術： 自動車事故の低減を目指した予防安全型技術として、道路監視カメラ映像を画像処理によって加工し、運転者が直感的に受け入れやすい視覚情報として提示する技術を開発。（主な研究費：科学技術振興調整費）
５）非較正カメラ群による多視点同時観測技術： 大規模センサデータの管理・統合を目的とし、事象の多発場所の検出、複数視点からの同一事象観測、事象の頻度解析などにより、カメラ群とその映像を利用者に見やすい形に組織化。（主な研究費：科研費若手研究Ａ（亀田））６）モバイルカメラによる高自由度映像監視技術： 環境カメラ映像とモバイルカメラ映像を統合することにより、観測の自由度が大きく死角の少ない、高解像度な監視映像獲得技術を開発。（主な研究費：科研費若手研究Ａ（北原））７）複合現実感を用いたコミュニケーション支援メディア技術：複合現実提示技術を用いて、空間・視覚情報を共有することにより、円滑なコミュニケーションを実現する技術を開発。（主な研究費：科研費萌芽研究（北原））3. 研究成果【１】自由視点映像の生成と提示 （大田、亀田、北原）
国立スポーツ科学センターとの共同研究として、総務省戦略的情報通信研究開発推進制度(SCOPE)による特定領域重点型研究開発「ネットワークによる自由視点映像のライブ配信とインタラクティブ提示」（研究代表者 大田友一）を 2004 年度から 2006 年度の 3 年間に渡り実施し、以降も研究開発を継続している。
この研究は、複数の視聴者が、それぞれ自由に視点を選びながら、スタジアムや体育館で行われるスポーツイベントのライブ中継をネットワーク経由で観ることができる技術の開発と、素人でも使いやすいインタラクティ
ブな自由視点映像提示手法を開発し、蓄積・再生型の次世代コンテンツ技術を創出することを目的としている。

撮影物体を１枚の板（ポリゴン）とその表面に貼り付けるテクスチャ情報で表現する“人物ビルボード”という手法を開発することにより、多視点映像の撮影・加工・伝送から自由視点映像の生成・提示までの全ての処理をビデオレートで処理する世界初の自由視点映像のライブ配信を実現した。さらに、自由視点映像技術を実験室やスタジオから開放することを目指し、国立競技場や代々木体育館における実証実験において、システム全体の実用性・汎用性・ロバスト性の向上を目的とした技術開発を推進することにより、世界でも他に例を見ない、大規模空間で実施されるイベントを対象とした自由視点映像ライブ配信の実現に成功した。
2008 年度における主要な成果としては、選手のオンライン移動軌跡推定技術の開発が挙げられる。サッカースタジアムのような屋外の大規模空間を撮影対象とする場合、映像上で観測される個々の選手のサイズは小さく、しかも太陽光によって強い影が発生するため、これまではオンラインでの自動推定が困難であった。これに対して、複数視点において同期撮影した映像情報を、２次元射影変換を用いてサッカーフィールド上で統合し選手の足元位置を推定する処理と、着衣の色情報を活用したフレーム間での対応付け処理を組み合わせるにより、オンラインでの移動軌跡の推定を可能にした。この際、選手の影領域がフィールド平面上に発生する特性を利用することにより、従来の推定処理では推定誤差の原因となっていた影領域の情報を、逆に活用して推定精度を向上させることに成功している。

オンライン選手移動軌跡推定手法推定した選手軌跡の例【2】 監視カメラ映像を活用する視覚支援方式 （大田、亀田、北原）（１）シースルービジョン （大田、亀田、北原）2006 年度から 2009 年度の 4 年間の計画で、科学研究費補助金・基盤研究(A)「シースルービジョン：監視カメラ映像を活用する歩行者のための視覚支援方式の開発」（研究代表者 大田友一）を実施している。
本研究は、公共空間における監視カメラ設置数の増大は避けられないであろうことを前提に、一般市民が、自らのプライバシと引き替えに監視カメラから得られるメリットとして、「安全」という重要だが眼に見えにくい価値の他に、眼に見えて便利さを実感できる新しい付加価値の在り方を提案し、それを実現する基盤技術を創成することを目的とする。新しい付加価値の在り方として、具体的には、従来、カメラの設置者のみが利用していた監視カメラ映像を、被写体である一般市民も利用可能とすることを前提に、歩行者が持つ PDA などの携帯型情報端末に監視カメラ映像を適切に加工した映像情報を提示し、自分の眼では直接見ることが出来ない視覚情報を歩行者に提供する「シースルービジョン」を提案した。シースルービジョンとは、スーパーマンが持っている、物体の透視能力を備えた眼を意味し、歩行者が目の前のビルなどの遮蔽物を透視して遠方を見ることが出来る機能を表現する。

要素技術としても、監視カメラ映像を援用した屋外ランドマークによる位置合わせ技術、シースルー映像の重畳方式や視点間のナビゲーション技術、歩行者が視点位置を仮想的に移動させて周囲の安全を確認する技術、監視カメラ映像中の人物像にモザイク処理を施すプライバシ保護技術など、独創的な発想に基づく特色ある技術の開発を進めている。

（2） センシング WEB （大田、北原、亀田）2007 年度から 2009 年度の 3 年間に渡り、科学技術振興調整費・科学技術連携施策群の効果的・効率的な推進「センサ情報の社会利用のためのコンテンツ化」（研究代表者 美濃導彦）の研究課題において、「画像情報に対するプライバシ情報管理」（研究代表者 大田友一）を実施している。
本研究は、多種多様な画像センサ情報に含まれるプライバシ情報をフィルタリングするための基礎的技術を研究開発することを目指している。画像情報の中に含まれる被写体のプライバシ情報を分類して構造化することによって、利用者に応じて段階的かつ選択的にプライバシ情報を取り除いて提供するための技術を開発するとともに、開発した技術の有効性を検証するために、公共環境での実証実験を実施する。2008 年度は、大学キャンパスに、高解像度映像の取得可能な撮影装置を導入・常時稼働を開始し、プライバシ情報構造化のためのデータ収集を推進した。

高解像度映像撮影装置（3）NaviView：監視カメラ映像を活用した運転者への視覚支援 （大田、亀田、北原）本研究では、走行中や交差点進入時の運転者の死角を解消するような視覚増強技術を、道路監視カメラを用いた動的環境センシングによって実現することを目標に掲げた。特に、対向車線、見通しの悪い交差点、走行中の自車両の周囲の死角を解消し、もって事故の予防を図り、運転者が遭遇する可能性のあるリスクの軽減を実現することを具体的な目標とした。2004年度から2006年度の3年間に渡り、科学技術振興調整費・重要課
題解決型研究「状況・意図理解によるリスクの発見と回避」（研究代表者 稲垣敏之）の研究課題において、「動的環境センシングによる視覚増強技術」（研究代表者 大田友一）を実施した成果を発展させる形で、今年度も継続して研究を推進した。
視覚増強技術による死角解消方法としては、まずウィンドシールドディスプレイを試作し、運転者が運転しながら視覚情報を見ることができるようにした。その上で、交差点での右折時の対向車直進車両との衝突事故を防ぐバーチャルスロープ、見通しの悪い交差点進入時の左右の道路の確認を安全に行えるバーチャルコーナ
ーミラー、それに走行中に自車両の周囲から後方にかけての領域を広く可視化して左右折時の巻き込み事故を防ぐ浮動式仮想鏡、運転者の視界の妨げにならずかつ理解しやすい状態で地図情報を提示する技術の四つの視覚増強技術を開発した。

【3】複合現実感技術 （大田、北原、亀田）（１） 複合現実空間の遠隔共有 （大田、北原、亀田）
複合現実感(Mixed Reality)とは、コンピュータグラフィックスによって描かれた仮想世界を、現実世界にシームレスに融合した映像を提示する技術である。 本研究では、複合現実感技術によって生成される空間を、遠隔地に居る複数のユーザが共有できる遠隔コミュニケーションシステムの開発を進めている。2次元映像として撮影し伝送された遠隔地のユーザの人物像を、作業空間としての卓上と人物の位置に沿って継ぎ目無く設置された変形ビルボード上に表示することによって、遠隔地の人物の頭部や胴体と卓上に伸ばした腕を、眼の前の現実世界に融合して提示することができる。オセロゲームを題材として、卓上に置かれた実物のオセロ駒と、遠隔地のオセロ駒を再現した仮想のオセロ駒が、実物のオセロ盤上に混在する複合現実空間を、変形ビルボ

ード上に表示された遠隔地の人物と対面しながら共有するシステムを構築した。

(2) 感覚的に正しい(perceptually correct)複合現実感技術 （大田、北原）
複合現実感では、現実世界と仮想世界を見分けがつかない程に上手く融合して提示することが重要である。
そのためには、コンピュータグラフィックスで描く仮想世界を、可能な限り「物理的に正しい(physically correct)」映像として描くことが追究されてきた。これに対して、我々のグループでは、描かれた仮想世界の映像が物理的に正しくなくても、観察する人間にとって正しく見えればよい、すなわち、「感覚的に正しい(perceptuallycorrect)」という概念を提唱し、感覚的に正しい仮想世界を生成し、現実世界と融合する研究を進めている。
2008 年度は、光学的整合性（現実物体と仮想物体の見え方の整合性）に着目し、実際の照明（PhysicallyCorrect） と高速計算が可能な近似照明モデル（Perceptually Correct）の比較実験を行った。

評価画像の例：現実物体（左）、仮想物体（右）近似照明モデル【4】ネットワーク結合型マルチメディアセンサアレイ群の自動協調 （亀田、大田）
2004年度から2006年度の3年間に渡り、科学研究費補助金・若手研究Ａ「ネットワーク結合型マルチメディアセンサアレイ群の自動協調」（研究代表者 亀田能成）を実施した内容を発展させる形で、今年度も継続して研究を推進した。
本研究では、人間の生活空間内に設置された映像センサ（ビデオカメラ）・音像センサ（マイク）というマルチメディアパッシブセンサを中心に、大量のセンサが非均一非較正に設置された状態から、ネットワークを介した互いのセンサの同定・通信・協調を通じて観測一貫性の保持とそれに基づく認識手法の提案を行った。この認識手法を用いると、例えば、研究室内外に分散設置された３５台のカメラ群について、各カメラの位置を測定した
りする必要なく、１つの動作に関連した多視点映像シーケンスを自動的に組織化して提示することができる。

さらに、マイクロフォン群を用いることで、１つの動作に対する認識効率を上げ、音と映像との両方からその動作を観測することも可能になる（左図は、マイク群による観測中で有意な動作部分を推定している過程を示す）。

【5】プライバシを考慮したモバイルカメラによる高自由度映像監視技術 （北原、大田）
2006年度から2008年度の3年間の計画で、科学研究費補助金・若手研究Ａ「被写体のプライバシを考慮したモバイルカメラによる高自由度映像監視技術に関する研究」（研究代表者 北原格）を実施している。
この研究では、モバイルカメラと環境設置型カメラを連動させた自由度の高い映像監視システムと、プライバシを考慮しつつ適切な撮影・記録・提示を行う映像メディアの基盤技術の開発を目的としている。環境に設置された多視点カメラとモバイルカメラを連動させることにより、互いの長所を融合した撮影システムを構築し、モバイルカメラのキャリブレーション技術や、モバイルカメラによって収集された映像情報を用いて環境設置型カメラの監視エリアを拡大する技術の研究開発を行っている。
2008 年度は、モバイルカメラの撮影範囲を屋外などに拡張する取り組みや、モバイルカメラで撮影した映像情報を用いて環境設置型カメラ映像群から人物を探索する方式に関する研究を実施した。

モバイルカメラで撮影した映像情報を用いた環境設置型カメラ映像群からの人物探索方式

4. 研究業績<研究論文>
1.

全方位カメラによる会議撮影システムが意思決定の非同期的伝達に及ぼす影響の評価; 坂本竜基，金韓成，伊藤禎宣，鳥山朋二，北原格，小暮潔，情報処理学会論文誌，Vol.50, No.1, pp.289-301,(2009.1)

2.

Compensated Visual Hull with GPU-Based Optimization ; Hansung Kim, Ryuuki Sakamoto, Itaru Kitahara,
Tomoji Toriyama, Kiyoshi Kogure, Pacific-Rim Conference on Multimedia (PCM2008), pp.573-582,(2008.12)

3.

Robust Trajectory Estimation of Soccer Players by Using Two Cameras ; Nozomu Kasuya, Itaru Kitahara,
Yoshinari Kameda, Yuichi Ohta, The 19th International Conference on Pattern Recognition (ICPR2008),
CDROM Proceedings 6 pages, (2008.12)

4.

Interactive Video Surveillance by Using Environmental and Mobile Cameras; Itaru Kitahara, International
Forum on Multimedia and Image Processing (IFMIP2008), CDROM Proceedings 6 pages, (2008.10)

5.

Generating Perceptually-Correct Shadows for Mixed Reality; Gaku Nakano, Itaru Kitahara and Yuichi
Ohta, 7th International Symposium on Mixed Reality and Augmented Reality (ISMAR2008), pp.173-174 ,(2008.9)

6.

変型ビルボードを用いた人物像の提示による複合現実感卓上作業の遠隔共有; 南谷真哉，北原格，亀田能成，大田友一，日本バーチャルリアリティ学会論文誌, Vol.13, No.3, pp.363-373, (2008.9)<学会発表>（A）招待講演（B）その他の学会発表
1.

自由視点映像技術を用いたサッカーシーンの選手視点映像生成; 糟谷望, 北原格, 亀田能成, 大田友一，電子情報通信学会 2009 年総合大会講演論文集(情報・システム講演論文集 2), pp.215, (2009.3)

2.

モバイル端末画像を用いたクライアント・サーバ型の PTAM 処理; 林将之, 北原格, 亀田能成, 大田友一, 電子情報通信学会 2009 年総合大会講演論文集(情報・システム講演論文集 2), pp.163, (2009.3)

3.

SIFT key 追跡に基づく固定カメラ群に対する移動カメラの撮影対象空間の重複度合定量化; 住谷司,
亀田能成, 大田友一, 電子情報通信学会 2009 年総合大会講演論文集(情報・システム講演論文集 2),
pp.176, (2009.3)

4.

自由視点映像提示における人物ビルボード方式と３次元復元方式との比較; 秦哲也, 北原格, 亀田能成, 大田友一，電子情報通信学会 2009 年総合大会講演論文集(情報・システム講演論文集 2), pp.189,(2009.3)

5.

ウィンドシールドディスプレイを用いた道路鏡像の空中提示法の視覚評価; 川俣貴也, 北原格, 亀田能成, 大田友一, 電子情報通信学会 2009 年総合大会講演論文集(情報・システム講演論文集 2), pp.190,(2009.3)

6.

遠隔協調型複合現実感における目領域映像の重畳提示; 岡本祐樹・北原格・大田友一, 電子情報通信学会 2009 年総合大会講演論文集(情報・システム講演論文集 2), pp.191, (2009.3)

7.

モバイルカメラ画像を用いた環境カメラ画像からの顔パーツ検出法; 圷直輝, 北原格, 亀田能成, 大田友一, 電子情報通信学会 2009 年総合大会講演論文集(情報・システム講演論文集 2), pp.196, (2009.3)

8.

MR ミラーにおける視点位置推定のための顔領域検出手法; 佐藤秀昭・北原格・大田友一, 電子情報通信学会 2009 年総合大会講演論文集(情報・システム講演論文集 2), pp.197, (2009.3)

9.

Hostile Intent Detection by Using Video Signal; Polikovsky Semion Senya, Kameda Yoshinari, Ohta Yuichi,
電子情報通信学会 2009 年総合大会講演論文集(情報・システム講演論文集 2), pp.202, (2009.3)

10. 複合現実感における手と仮想物体の重畳手法の検討; 田中康宏・北原格・大田友一, 電子情報通信学会 2009 年総合大会講演論文集(情報・システム講演論文集 2), pp.236, (2009.3)
11. SIFT key 追跡に基づく撮影対象空間の重複度合定量化への試み; 住谷司, 北原格, 亀田能成, 大田友一, 電子情報通信学会 技術研究報告 PRMU, vol.108, no.363, pp.81-86, (2008.12)
12. Visual Augmentation Methods for Surveillance Cameras by Using Mixed Reality ; Itaru Kitahara, ShinyaYamazaki, Takahiro Tsuda, Yoshinari Kameda, and Yuichi Ohta, International Workshop on "SensingWeb", 8 pages, (2008.12)
13. 環境カメラを用いた複合現実感のためのモバイルカメラの位置・姿勢推定; 濱田修平，北原格，亀田能成，大田友一，電子情報通信学会 技術研究報告 PRMU, vol.108, no.327, pp.109-116,(2008.11)

14. MR ミラー：仮想鏡像を用いた複合現実感提示方式の実現; 佐藤秀昭, 北原格,大田友一,日本バーチャ
ルリアリティ学会第 13 回大会論文集, 4 pages, (2008.9)
15. 仮想俯瞰模型を用いた 3 次元空間の指示・共有システム; 林将之, 北原格, 亀田能成, 大田友一,日本
バーチャルリアリティ学会第 13 回大会論文集, 4 pages, (2008.9)
16. 仮想視点移動が可能な広範囲でのシースルービジョン; 山崎真也, 北原格, 亀田能成, 大田友一, 日
本バーチャルリアリティ学会第 13 回大会論文集, 4 pages, (2008.9)
17. サッカーシーンの選手視点映像提示に向けた２台のカメラによる選手軌跡獲得; 糟谷望, 北原格, 亀田能成, 大田友一, 画像の認識・理解シンポジウム 2008 論文集(MIRU2008), pp.1578-1585, (2008.7)
18. 領域を限定した SIFT 特徴の抽出; 古畑俊一郎, 亀田能成, 大田友一, 画像の認識・理解シンポジウム
2008 論文集(MIRU2008), pp.1330-1335, (2008.7)
19. 仮想視点移動が可能な広範囲でのシースルービジョン; 山崎真也, 北原格, 亀田能成, 大田友一, The
First Korea-Japan Workshop on Mixed Reality (KJMR08), 4 pages, (2008.6)
20. 仮想俯瞰模型を用いた 3 次元空間の指示・共有システム; 林将之, 北原格, 亀田能成, 大田友一, The
First Korea-Japan Workshop on Mixed Reality (KJMR08), 6 pages, (2008.6)
21. ウィンドシールドディスプレイを用いた道路鏡像の空中提示; 川俣貴也, 北原格, 亀田能成, 大田友一,
第４回デジタルコンテンツシンポジウム (DCS2008), 6 pages, (2008.6).

5. シンポジウムの開催
1. 第 2 回実世界計算情報学シンポジウム日程：
2009 年 3 月 23 日(月)場所：筑波大学計算科学研究センター国際ワークショップ室
主催：筑波大学プレ戦略イニシアティブ「実世界計算情報学の基盤創成拠点」