「画像の認識・理解シンポジウム (MIRU2012)」 2012 年 8 月

拡張現実技術による現場検証用映像生成
杉浦篤志†

豊浦正広††

茅暁陽††† 山梨大学大学院 医学工学総合教育部 〒 400–8511 山梨県甲府市武田 4–4–37†† 山梨大学大学院 医学工学総合研究部 〒 400–8511 山梨県甲府市武田 4–4–37
E-mail: †{g12dhl02,mtoyoura,mao}@yamanashi.ac.jp
あらまし本論文では，警察 · 検察による現場検証用映像のインハウス制作支援方法を提案する．現場検証用映像は秘密情報保持のために外部委託が難しい．また，CG 映像制作は専門知識が必要であるために警察 · 検察が自ら制作することは困難である．本研究では，この問題を拡張現実技術により解決する．現場に多数のカメラを設置し，マーカを配置することで拡張現実環境を実現する．これにより，犯罪状況を演じるだけで現実環境と人物動作を反映したCG 合成映像を生成できるようにする．また，このときマルチカメラ間でマーカ情報を補完し，人物や物体による隠蔽問題の解決を図る．さらに，演技者が仮想物体との位置関係を把握できるように演技者（一人称）及び視聴者（三人称）視点映像を提供できるようにする．実験により提案手法が演技に応じた CG 合成映像生成，マーカ情報補完および多視点映像提供による位置把握を実現できることを確認した．
キーワード 拡張現実感，マルチマーカ補完，多視点，ARToolKit

1. は じ め に

拡張現実技術（Augmented Reality，以下 AR）とは，現実の環境から知覚に与えられる情報に，計算機が作り裁判員制度が始まり，裁判官と国民から選ばれた裁判出した情報を重ね合わせ，補足的な情報を与える技術で員がそれぞれの知識と経験を活かしつつ一緒に判断するある．AR を用いた映像生成では，現場にカメラを配置ようになった．これにより，判決内容が国民に理解しやし，3 次元 CG を合成する．これにより現場は現実空間すく迅速な裁判を行うことが可能となった．裁判員制度をそのまま利用し，検証用の人物の動きは警察官や検察とは国民が地方裁判所で行われる刑事事件の裁判に裁判官が演技者となり，動きを再現することで環境や動作の員として参加し，裁判官と一緒に被告人が有罪かどうか，モデリングを削減することができる．また，現場での撮有罪の場合はどのような刑にするのかを決める制度であ影のためマーカの隠蔽が発生する問題に対してマルチカる．裁判員は一般市民で構成されるため，一般市民でもメラ，マルチマーカにすることでマーカ情報を補完する

理解しやすい裁判資料が求められている．

ことで解決する．さらに，検証時の問題として仮想物体

裁判資料の中で特に再現映像に注目する．テレビ番組との位置関係の把握が困難である．そこで，複数視点映などでは再現映像に 3 次元 CG 映像が広く利用され，視像を演技者に提供することで様々な角度から位置関係を聴者にとって事件や事故の状況が理解しやすい．しかし，把握することにより解決を目指す．

裁判資料では 3 次元 CG 映像の利用が少ないのが現状

以降，2. では関連研究を挙げ，本研究との関連についである．これは，警察官や検察官が 3 次元 CG 映像作成て説明する．3. では提案手法を述べる．4. では，評価に関する知識を持つことが稀であること，また，裁判や実験結果を示し，5. で本研究をまとめる．

犯罪の情報は秘密保持のため外部業者への依頼ができないことなどの理由がある．警察官や検察官自らが 3 次元CG 映像を制作することができれば，この問題を解決することができる．
そこで本研究では，現場検証用映像のインハウス制作支援方法を提案する．そして，犯罪現場の再現映像で特に，CG での再現が必要な「対人，加傷」のシーンの映像作成を目指す．現場検証用の 3 次元 CG を制作する場
合，犯罪現場などの環境のモデリングや検証のための犯人などの人物の動作のモデリングを作成しなくてはならない．しかし，警察や検察がインハウスで制作することは技術的な面で困難である．本研究では拡張現実技術を利用することでこの問題の解決を図る．

2. 関 連 研 究
海外では法廷での資料に CG が利用され，現場検証の情報や法廷に提示する情報から CG を生成する研究が行われている．2.1 では特徴点を付けた死体から CG を生成する研究を紹介する．
また，本研究では拡張現実技術を利用し，複数台カメラとパソコンを使用することで複数視点の映像を取得するシステムを構築する．また，パソコン同士のデータ通信にネットワークを利用する．拡張現実技術の応用した研究を 2.2 で，多視点映像に関する研究を 2.3 で紹介する．拡張現実技術とネットワークの活用した研究を 2.4で紹介する．

2. 1 裁判資料としての CG 利用
3 次元 CG 映像の生成には専門的技術と多くの時間が必要であった．そこで簡単に 3 次元 CG を生成する研究が盛んに行われ，現場情報から 3 次元 CG を生成する
研究 [1] などがある．また，Thali らの研究 [2] では死体に特徴点を付け，それを元に 3 次元 CG を生成する．そして，MRI（Magnetic Resonance Imaging system）やCT（Computer Tomography）の画像を取得し，その画像を合成することで CG の断面の様子を表示できるようにしている．
しかし，まだ 3 次元 CG の生成には高度な知識と装置が必要となる．本研究では拡張現実技術を利用することで 3 次元 CG を生成する対象を削減し，直感的な操作で3 次元 CG オブジェクトを配置できるようにする．これにより CG 生成に関する知識が無くても 3 次元 CG 合成映像が取得できるようになる．

2. 2 拡張現実技術の応用
拡張現実技術を応用した研究に拡張現実による内視鏡挿を行う．これにより実カメラ間の中間地点に視点を動かした画像，中間視点画像を生成する．そして，時系列画像に対し，中間視点を合成する 2 台の固定カメラと内挿比を指定することで，視点を自由に移動させた映像，自由視点映像を合成する．
しかし，2 カメラ間の仮想映像を生成する場合，既存の映像から合成しているため，真の映像ではない．本研
究での対象である裁判資料では映像の信頼性が重要であるため，映像生成中に演技者へ視聴者視点である三人称視点の映像を提供することでカメラ位置を確認しながら映像を生成するようにする．これにより適切な台数のカメラを設定することができる．また，多視点映像を取得することで客観性の高い映像を取得することができる．

2. 4 拡張現実技術とネットワークの活用
拡張現実技術とネットワーク技術を活用した研究に遠隔協調型複合現実感（遠隔協調型 MR）[7] がある．これは遠隔地間で現実世界の情報を伝送することにより，協調型複合現実感が有する物理的制限を取り払うことを目下手術支援システム [3] [4] がある．内視鏡手術は患者の的としている．このシステムでは 2 次元的に計測した体表に小さな穴を開け，体内に内視鏡や鉗子等を挿入しデータを元に，ユーザや実物体を 3 次元メッシュデータて手術を行う．術者は内視鏡により撮影された体内の映として表現し，そこに実空間を撮影した映像をマッピン像を頼りに鉗子等を操作して手術を行う．しかし，内視グする．3 次元メッシュとテクスチャを更新することで，鏡手術では内視鏡によって得られる比較的狭い視界の映遠隔地での人物の動作等の 3 次元映像を提示する．MR

像のみを頼りに臓器や患部を見分けて手術を行わなくてシステムでは 3 次元計測，伝送，提示，映像生成等の処はいけない．それを支援するため，拡張現実技術を利用理をリアルタイムに行う必要がある．そこで，距離画像する．術前に撮影した CT 画像をもとに作成しておいたセンサを用いる．距離画像センサは，高速な 3 次元計測

患者の CG 画像を，術中に得られる実画像にリアルタイと 3 次元情報を 2 次元的な奥行き画像として取得するこ

ムで重畳表示することで術者の視覚情報を拡張する．画とができる．

像の重畳は，マーカや臓器の特徴形状をもとに，実画像と CG 画像の間の変換行列を求める．

本研究でもネットワークを利用し，パソコン間のデータ通信を行う．拡張現実環境を利用する場合，リアルタ

しかし，非剛体である人体に CG を重畳表示させるイムな処理が重要となる．しかし，ネットワークによるため，位置合わせ用の装置が大掛かりなものになる．本遅延問題を解決しなければならない．そこで，画像デー研究では現場検証用映像を生成するため，不特定な環タをサムネイル用に縮小することでデータ量を減らすこ境の利用を考慮しなければならない．また，利用者が簡とで遅延問題を解決した．

単に操作できなければならない．そのため，本研究では3. 提 案 手 法

ARToolKit [5] を用いてカメラとマーカを利用し，できるだけ簡単な装置で拡張現実環境を実現できるシステムを構築する．

2. 3 複数視点による映像提示
複数視点の映像を利用した研究も盛んに行われている．
その中でも，スポーツ中継に特化し，競技場のような大規模な空間で撮影された多視点の映像を利用して，カメラ撮影されていない仮想視点での見え方を再現し，視聴者が好きな視点からスポーツ観戦できるシステムの研究 [6] がある．その手法とは適当な位置に固定した数台の未校正カメラで撮影された多視点映像を入力とする．
カメラの弱校正により，3 次元モデルを復元する代わりに，隣接カメラ間に成り立つ射影幾何を用いて視点の内本研究では拡張現実技術による現場検証用映像生成を提案する．現場検証用映像に拡張現実技術を利用する利点として演技者が犯罪状況の再現をするだけで 3 次元CG 合成映像が生成されるため，CG モデリングに関する知識を必要としない．現場環境は現実空間をそのまま利用し，検証用の人物の動きは警察官や検察官が動きを再現することでモデリング対象を削減することができる．
また，撮影は犯罪現場で行う．設備の整ったスタジオ
ではないためポジションセンサや十分な照明を準備することができず，撮影環境が不十分である．そのため，マーカの隠蔽が発生しやすい．そこで，マルチカメラによるマーカ追跡とマルチマーカによるマーカ情報の補完により解決する．マルチカメラにより複数視点の映像を演技者に提供することで仮想物体と現実空間及び自分の位置関係が把握しやすくなり演技を支援することができる．

3.1 で概要について述べ，3.2 でマーカ情報の補完について述べる．3.3 では複数視点映像提示による演技支援について述べ，3.4 ではソケット通信によるネットワー
クについて述べる．

3. 1 概要

複数台カメラを利用した複数視点 AR システムを構築する．現場検証用の映像撮影は設備の整ったスタジオなどの映像施設ではなく屋外や屋内など不特定な環境で撮(a) 重畳表示前：利用者は HMD を装着する．複数のカメラとマーカを配置する．

影を行う．そのため，撮影のための十分な照明や人物の動作を検出するためのポジションセンサを準備することができない．また，警察官や検察官自らが撮影するため最小限の人員で撮影を行わなくてはならない．そのため，映像制作者が演技も担当する場合があり自己隠蔽が発生しやすい状況である．そこで，複数台カメラで様々な視点で映像を取得し追跡することで，あるカメラで追跡できない場合は別のカメラより追跡する．そして，マルチマーカにすることで検出できなかったマーカを別の検出できたマーカより情報を補完することで検出できなかったマーカ上に CG を表示できるようにする．
作成者の支援として環境や人物の動作などの現実環境(b) 重畳表示後：複数台の Web カメラにより映像を取得する．
その映像のマーカ上に仮想凶器や仮想人体モデルを表示する．

をそのまま反映することでモデリング作業を減らし，映図 1 提案システム概要

像撮影時に CG を重畳表示させるため撮影後の作業も削減できる．そして，一人称視点の映像だけでは全体の位

では 1 台のカメラでマーカを検出し，マーカの位置や姿置関係を把握することは困難である．演技者の映像を同勢を推定してマーカ上に 3 次元 CG を表示させる．し時に提示することで様々な角度から現実空間と仮想空間かし，マーカの一部分がカメラの視野から外れた場合やの位置関係を把握することが可能となり演技を支援する．

カメラに対するマーカの角度が不適切な場合，マーカを現場検証用映像に拡張現実技術を適応する利点として検出することができず座標変換行列を取得することが不は体で演技するだけで CG 合成映像が自動生成されるた可能である．そこで複数台のカメラにより検出が不可能

め，現場の制約と人間工学的な制約を反映した信頼性のだったマーカの座標変換行列の補完を行う．

高い映像が作成可能となる．

検出できたマーカの座標変換行列を使って，検出でき提案システムの構成を図 1 に示す．図 1(a) は，警察やなかったマーカの座標変換行列を算出する．そして，座検察などの演技者はカメラ付ヘッドマウントディスプレ

標変換行列を補完することでマーカ座標を取得できるよイ（以下 HMD）を装着する．HMD には演技者である

うになりマーカ上に 3 次元 CG を表示できる．これによ一人称視点の 3 次元 CG 合成映像を提示する．次にカメりマーカの検出範囲が広がり操作性の向上が期待できる．

ラを繋いだパソコンを複数台準備する．このカメラは演

未検出マーカ情報のフローは図 2 のとおりである．

技者を観測するためのカメラであり三人称視点の映像を

HMD のカメラ 1 より得られた入力画像よりマーカを検出する．検出処理の結果，検出できた場合は ARToolKitの関数より座標変換行列 P1 を計算し，マーカ座標系を算出する．そして，マーカ座標系よりマーカ上に仮想物体を重畳表示する．その時，別の Web カメラであるカメラ 2 でマーカを検出し，座標変換行列 P2 を取得する．
そして，P2 を利用して P1 を算出する．そして，未検出のマーカ上に仮想物体を重畳表示させる．
マーカとカメラの位置関係は常に変化しているため，毎フレームごとにカメラとマーカの位置関係を算出し，カメラからマーカへの座標変換行列を算出する．マーカの座標変換行列を補完するためにはカメラ 2 台とも共通取得する．その映像を演技者の HMD に転送することで演技者は三人称視点の映像も視聴可能となる．
そして，図 1(b) は仮想モデルを表示させたい場所へマーカを配置する．被害者用の仮想人体モデルのマーカを配置し，凶器用マーカを手に持つ．HMD やカメラを通してマーカ上に仮想人体モデルや仮想凶器が表示させる．このようにして拡張現実技術を利用し，3 次元 CG合成映像を制作する．

3. 2 マーカ情報の補完
AR 環境を容易に実現するライブラリである ARToolKit

−1
P2A = P1B · P2B· P1A(3)

P1A ，P1B ，P2B は検出できていて取得済みのため，これを計算することで P2A を算出することができる．算出された P2A をもとにマーカ座標系を計算し，検出できなかったカメラ 2 から見たマーカ A 上に仮想物体を表示することができる．
2 つのカメラで共通して検出できるマーカより，検出できなかったマーカとカメラとの位置関係を算出する．
そのため，カメラ間で共通に見えるマーカが最低でも１つは必要になる．また，全てのカメラから見えていないマーカへの座標変換行列は算出することができない．シ
ステム上でのマーカ情報の流れは，クライアントは検出できたマーカの座標変換行列をサーバへ送信する．サーバは検出できなかったマーカがある場合，クライアントからデータを受信して，マーカの情報を補完する．サー
バで補完されたマーカの情報は，全てのクライアントに送られ各カメラからの完全な映像を生成することができる．
図 2 未検出マーカ情報の補完フロー：カメラ 1 の入力画像よりマーカを検出し，マーカ座標系を算出し仮想物体を重畳表示する．検出できない場合，カメラ 2 の情報を利用して座標変換行列を算出する．に検出できているマーカを探し出し，それを利用してカメラ間の位置関係を毎フレームごとに算出することにより，他カメラを利用して自分のカメラからは検出できないマーカの座標変換行列の算出を行う．
図 3 のように，カメラ 1，カメラ 2 があり 2 種類のマー
カ A，B があるとする．カメラ 1 から検出したマーカ A，B のそれぞれの座標変換行列を P1A ，P1B とする．同様にカメラ 2 に対して検出したマーカ A，B のそれぞれの座標変換行列を P2A ，P2B とする．そして，カメラ 2 を基準にカメラ 1 を見たときのカメラ座標系を Φ2→1 とする．カメラ 1 の視野にはマーカ A，B が検出されている．
カメラ 2 の視野にはマーカ B が検出され，マーカ A が未検出である．この時，カメラ 2 からマーカ A が未検出なため直接，座標変換行列 P2A を算出することができない．そこで，マーカ B に注目しカメラ 2 から見たマーカ
B は P2B になり，カメラ 2 を基準にカメラ 1 からマーカB を見ると Φ2→1 · P1B となりこの 2 つが等しいので式(1) となる．
P2B = Φ2→1 · P1B(1)

図 3 マーカ情報補完：カメラ 2 台とマーカ 2 つを使用し，2つのカメラで共通して検出できるマーカの情報を利用して未検出のマーカとカメラの位置関係を算出する．

3. 3 複数視点映像提示による演技支援
現実空間と仮想空間との合成映像を作成する場合，現実と仮想物体との位置関係が重要となる．演技者が自分視点である一人称視点のみでは全体の位置関係を把握しようとすると一方向の視点のみのためオクルージョンにより位置関係の把握が困難な場合がある．そこで，システムの機能として別視点の三人称視点の映像を演技者へ提供する．それにより演技者は一人称視点と三人称視点の映像の両方を見ながら演技することで仮想物体との位置関係が把握しやすくなる．また，現実空間と仮想空間との位置関係を複数視点で確認できることでカメラやそして，マーカ A に注目しカメラ 2 を基準にカメラ 1マーカの最適な位置や数量を設定することができる．そから見たマーカ B は Φ2 → 1 · P1A になり，未検出 P2B とのことにより大掛かりな装置や多数の機材を準備する必等しくなる．よって式 (2) となる．

要がなくなる．現場再現映像の生成を目的としているた

P2A = Φ2→1 · P1A
式 (1)，(2) より以下の式 (3) を得る．

(2)め，屋内や屋外など不特定な環境でも使用しやすくなる．

3. 4 ソケット通信によるネットワーク
複数視点の映像をパソコン間で送信するため，ネットワークを利用する．その中でも TCP によるソケット通信によりサーバとクライアント処理を行う．ソケット通信はデータを送受信するコンピュータ間にデータの通信用のパイプを作り，そこをデータが送信されていく．一方の端からパイプにデータを送ると，パイプの中を通って他方の端まで届き，そこからデータを取り出すことができる．データはどちらから送っても別の端から取り出すことができる．
本研究では演技者へ別のカメラで取得した三人称視点の映像をサーバへネットワークを利用し，データ通信を行う．
しかし，Web カメラで取得した画像データではデータ

図 4 実験環境：HMD を接続したサーバと Web カメラを接続したクライアントを 2 台配置する．これらにより映像とマーカ情報を取得する．

量が大きくネットワークによる遅延問題が発生してしまう．拡張現実環境を利用する場合，リアルタイムな処理が重要となる．演技者へ提供する画像はサムネイル表示する．この遅延問題を解決するため送信後に画像を縮小するのではなく，送信前に画像サイズを必要なサイズに縮小し、データ量を減らすことでリアルタイムに映像を演技者へ提供できるようにした．そこで，画像データをサムネイル用に縮小することでデータ量を減らし遅延問
題を解決した．

4. 評 価 実 験
はじめに演技者へ三人称視点の提示の有無による現実空間と仮想空間との位置関係の把握のしやすさの評価を行った．次にネットワークによりサーバ，クライアント

640 × 480 で映像を取得した．
被害者オブジェクトを表示させるマーカと仮想凶器を表示させるマーカの２種類を用意する．図 5(a) は被害者用マーカで図 5(b) は凶器用マーカになる．マーカサイズは両方とも 80mm 角の正方形である．被害者用マーカはそのまま床へ設置するとヘッドマウントディスプレイのカメラの視野に入らなかった．そのため，マーカに支柱を取り付けカメラの視野に入るように改善した．
凶器は最初，実物を用いたが拡張現実技術はカメラで取得した画像に対して，仮想物体を重畳表示させるため，被害者オブジェクトと凶器との位置関係が不自然な箇所があった．そこで，凶器の刃の部分を仮想にすることで被害者オブジェクトとの関係の整合性を一致させた．

機能が実行されパソコン間でデータ通信が行われた上で，クライアントの画像及びクライアントで取得したマーカ情報がサーバに送られサーバでマーカ情報の補完処理が行われたかどうかの評価を行った．

4. 1 実 験 環 境
実験環境を図 4 に示す．ラップトップ端末 3 台を準備する．サーバ処理を行う端末にはカメラ付きヘッドマウントディスプレイ（以下 HMD）を接続する．これにより演技者視点である一人称視点の映像を取得する．残りの端末 2 台には Web カメラを接続し，クライアント処(a) 被害者用(b) 凶器用

図 5 マーカ：マーカのサイズは 80mm 角の正方形である．被害者用マーカは高さ 1.1m にする．凶器用マーカには取手を取り付ける．

理を行う．これにより視聴者視点である三人称視点の映像を取得する．
入力画像装置としてカメラ付 HMD と Web カメラを4. 2 マーカ情報補完の評価実験利用する．HMD には Vuzix 社の Wrap920AR を使用し本実験では，カメラを接続した複数台のパソコンでた．解像度は SVGA（800 × 600）でディスプレイ正面サーバ，クライアント処理が正確に実行されマーカ情報には USB ビデオカメラが 2 台組み込まれており，2 眼式の補完が行われているかを検証する．の VGA（640 × 480）で 30fps の映像を取得することが操作風景を図 6 に示す．演技者は HMD を装着し，仮できる．

想凶器用のマーカを手に持つ．HMD のカメラより一人

ま た ，Web カ メ ラ は Logicool 社 製 の CTVPN とQCAM-200SX を使用した．最大 30fps の映像を取得できる．本実験では処理スペックとの関係もあり解像度

カメラより三人称視点の映像を取得する．

称視点の映像を取得し，クライアントに接続された Web基準用の被害者用マーカをどのカメラからも検出できる位置に配置する．そして，凶器用マーカを HMD のカ外れたため仮想凶器を表示することができなかった．補メラの視野から外れるように動かす．結果を図 7 に示す．

完処理を行った図 7(b) ではマーカが視野から外れても仮想凶器を表示することができた．これはクライアントのカメラより取得したマーカ情報をサーバへ送信し，サーバで補完処理を行うことで未検出のマーカ座標系を算出できたためである．
実際の補完処理の過程について図 8 に示す．図 8(a) が一人称視点の画面で図 8(b) が Web カメラから撮影した三人称視点の画面になる．共通して検出できた被害者用マーカを基準にする．三人称視点画面では凶器用マーカが検出できているため，ネットワークを通してサーバへこのマーカ情報を送信する．サーバでその情報をもとに一人称視点の凶器用マーカの情報を補完する．そして，一人称視点の画面では検出できなかった凶器用マーカ上

図6

操作風景：演技者は HMD を装着し，仮想凶器用マーカを手に持つ．被害者用マーカを配置し，Web カメラを被害者用マーカが入るように調節する．に仮想凶器を表示することができた．
被害者オブジェクトへ仮想凶器を刺す動作中の 1000フレームに対してマーカ検出の可否のデータを取得した．その結果を図 9 に示す．この動作では補完処理により 765 フレーム補完され操作性が向上したことを確認できた．

(a) 一人称視点画面

図8(a) 補完処理無し：マーカがカメラの視野から外れているため仮想凶器を表示することができない．

(b) 三人称視点画面

補完処理：一人称視点映像と三人称視点映像での共通のマーカ（被害者用マーカ）を利用して仮想凶器用マーカの情報を補完する．

4. 3 複数視点による演技者支援の評価実験
本実験では，演技者が HMD のカメラから取得した一人称視点の映像のみで演技する場合と Web カメラから取得した三人称視点の映像を追加した映像を提示して演技する場合の現実空間と仮想空間との位置関係の把握のしやすさの検証を行う．

(b) 補完処理有り：別のカメラのマーカ情報より未検出マーカの情報を補完する．このマーカ情報によりマーカ上に仮想凶器を表示させる．

図 7 マーカ情報補完の実験結果

補完処理を行わなかった図 7(a) ではマーカが視野から30 歳代の男女 3 人に本システムを使用し，三人称視点映像の追加の有無による位置関係の把握しやすさの検証を行った．三人称視点映像の有無の HMD の画面を図 10に示す．
三人称視点映像を提示することで仮想オブジェクトの奥行きや位置関係を把握することができ，操作しやすいことが確認できた．
また，定量評価するため仮想オブジェクトを表示させるマーカを 2 つ準備する．実験内容を図 11 に示す．1 つは凶器用マーカで仮想凶器を表示させる．もう 1 つは被害者オブジェクトを想定した立方体オブジェクトを表示

タスク 1 では仮想凶器を立方体オブジェクトに徐々に近づけてもらい接触する寸前と思った瞬間に移動を止めてもらう．そのときの仮想オブジェクト間の距離と移動にかかった時間を計測する．これを三人称視点映像の提示の有無について行う．タスク 2 はタスク 1 と同様の操作を行うが，マーカを止める位置を立方体オブジェクト(a) 補完処理無し(b) 補完処理有りの手前 50mm に設定する．実験風景を図 11 に示す．

(a) 一人称視点画面(b) 三人称視点画面

図 9 フレーム毎による検証結果：補完処理を行うことで表示できないフレームも表示できるようになり操作性の向上が確認できた．

(c) 三人称視点画面追加(a) 三人称視点無し：一人称視点のみのため仮想物体との位置関係や奥行きがわかりにくい．

図 11 実験風景：定量評価のため仮想凶器を仮想オブジェク
ト（立方体）に近づけていく動作を行い，三人称視点映像の有無による比較を行う．

結果を図 12 と図 13 に示す．三人称視点映像を追加することでオブジェクト間の距離の誤差が小さくなり，移動時間も短縮された．三人称視点の映像を追加することでオブジェクト同士の奥行きや位置関係の情報を視覚的に取得できるようになった．そのため，正確に早く操作できるようになったことが確認できた．
また，検証時に様々な問題点が生じたため改善を行った．各カメラで取得した画像情報はネットワークを経由して送信するがそのままの画像サイズ 640 × 480 でデー
タ通信を行うとデータ量が大きく，処理に負荷がかかった．そのため，表示に遅延が生じていた．サムネイルの(b) 三人称視点有り：画面右上に三人称視点映像を追加することで仮想物体との位置関係や奥行きがわかりやすくなる．

図 10 三人称視点有無による評価実験

画像を提示する際にはサイズを 160 × 120 に縮小する．
そこで，事前にクライアント側で画像サイズを縮小してからサーバへ送信することで通信のデータ量を減らし，ネットワークの遅延問題に対処した．

させる．オブジェクト間を約 300mm 離す．被験者にはHMD を装着してもらい，手には凶器用マーカを持ってもらう．

凶器用マーカについて図 14(a) のように平面的に配置したものを作成した．しかし，仮想凶器を回転させるとマーカがカメラの視野から完全に検出できなくなり，仮5. まとめと今後の課題
本研究では，拡張現実技術の利用により 3 次元 CG 合成映像のインハウス制作支援システムを提案した．そして，犯罪現場の再現映像で特に，CG での再現が必要な「対人，加傷」のシーンの映像作成を目指した．カメラを繋いだ複数台の端末をネットワーク接続することで，多視点映像を取得し演技者へ提示することで現実空間と仮想空間との位置関係が把握しやすくなった．また，各ク
ライアントのカメラよりマーカ情報をサーバで取得し，(a) 距離の誤差

図 12(b) 移動距離

タスク 1 の三人称視点追加有無による比較：三人称視点映像の追加により仮想凶器を正確な位置に速く移動できるようになった．

未検出マーカの座標変換行列を算出することでマーカ情報の補完が可能となった．
今後の課題として，犯罪現場写真や映像では表現できない説明などを注釈表示する機能や，被害者や凶器がCG である利点を活かし外部の位置関係だけでなく臓器と凶器などの内部との位置関係などのモデリング表現の選択が可能なインターフェースを構築し，情報可視化の強化を目指す．また，現在の死因究明制度は，肉眼所見による司法解剖が実施されているが，検案，検死時にCT スキャン，MRI による画像検査の導入が検討されている [8]．今後，それが実現されれば，その画像検査のデータを元に CG モデルを生成し，本システムと組み合わせることでより機能の向上を図れると考える．
文(a) 距離の誤差

図 13(b) 移動距離

タスク 2 の三人称視点追加有無による比較：仮想物体同士が離れていても別視点の映像を確認することにより位置を把握することができる．

想凶器を表示できない場合があった．そのため，マーカを意識的にカメラに認識できるように動かさなければならなかった．演技者が自由に仮想凶器を動かせないと演技が制限されるため凶器用マーカの改善を行った．どの方向からでもカメラからマーカを認識できるようにマーカの配置を図 14(b) のように立体的に配置した．これによりカメラの方向を意識せず自由な演技が可能となった．

(a) 平面配置(b) 立体配置

図 14 凶器用マーカ：平面配置のマーカはカメラとの位置関係により演技者の動きに制限を与える．立方配置にすることによりカメラとの位置を意識せず自由な演技が可能となる．

献[1] J. March, D. Schofield, M. Evison, and N. Woodford, “Three -Dimensional Computer Visualizationof Forensic Pathology Data,” The American Journalof Forensic Medicine and Pathology, vol.25, pp. 60–70,
2004.
[2] M. Thali, M. Braun, U. Buck, and E. Aghayev, “Scientific Documentation, Reconstruction and Animation in Forensic: Individual and Real 3D Data Based
Geo-Metric Approach Including Optical Body/Object
Surface and Radiological CT/MRI Scanning,” Journal of Forensic Sciences, vol.50, No.2, 2005.
[3] H. Moriguchi, Y. Kuroda, H. Takiuchi, and O. Oshiro,“The calibration-less estimation of camera model ofoblique-viewing endoscope for AR surgery,” IEICE
Tech. Report, vol.110, No.108, pp. 43–46, 2010.
[4] 黒田嘉宏，金守恒志，滝内秀和，田ノ岡征雄，井村誠孝，
黒田知宏，大城理，“AR 手術のための直線対応体内レジストレーション，” 日本バーチャルリアリティ学会論文誌，vol.14, pp. 435–444, 2009.
[5] H. Kato and M. Billinghurst, “Marker tracking nad
hmd calibration for a video-based argmented reality conferencing system,” International Workshop onAugmented Reality, pp. 85–94, 1999.
[6] N. Inamoto and H. Saito, “Fly-Through Observation
System for 3D Soccer Movie Based on Viewpoint
Interpolation,” Journal of The Institute of Image
Information and Television Engineers, vol.58, No.4,
pp. 529–539, 2004.
[7] 岡本祐樹，北原格，大田友一，“遠隔協調型複合現実感における作業空間表現のための立体人物像表示，” 電子
情報通信学会論文誌，vol.94, pp. 830–838, 2011.
[8] 久保真一，福永龍繁，青木康張博，向井敏二，“日本型の死因究明制度の構築を目指して，” 日本法医学会，2009.