Title
Sub Title
AuthorPublisher
Publication year
JtitleJaLC DOI
Abstract
Notes
Genre
URL

赤外線センサを用いたタッチスクリーンインタフェースによるプレゼンテーションシステムに関する研究
Studies on the presentation system with touch screen interface using an infrared sensor
澤島, 光一(Sawashima, Koichi)
小木, 哲朗(Ogi, Tetsuro)
慶應義塾大学大学院システムデザイン・マネジメント研究科
2014

修士学位論文. 2014年度システムエンジニアリング学 第158号
Thesis or Dissertation
https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/detail.php?koara_id=KO40002001-000020140014

慶應義塾大学学術情報リポジトリ(KOARA)に掲載されているコンテンツの著作権は、それぞれの著作者、学会または出版社/発行者に帰属し、その権利は著作権法によって保護されています。引用にあたっては、著作権法を遵守してご利用ください。
The copyrights of content available on the KeiO Associated Repository of Academic resources (KOARA) belong to the respective authors, academic societies, or
publishers/issuers, and these rights are protected by the Japanese Copyright Act. When quoting the content, please follow the Japanese copyright act.

Powered by TCPDF (www.tcpdf.org)

修士論文

2014 年度

赤外線センサを用いたタッチスクリー
ンインタフェースによるプレゼンテー
ションシステムに関する研究

澤島光一（学籍番号：81133291）

指導教員

教授

小木

哲朗

2015 年 3 月

慶應義塾大学大学院システムデザイン・マネジメント研究科
システムデザイン・マネジメント専攻
1

Master’s Dissertation

2014

Studies on the presentation system withtouch screen interface using an infrared
sensor.

Koichi Sawashima（Student ID Number：81133291）

Supervisor

Professor Teturo Ogi

March 2015

Graduate School of System Design and Management,
Keio University
Major in System Design and Management
2

論
学籍番号

81133291

文

要
氏

名

旨
澤島

光一

論 文 題 目：
赤外線センサを用いたタッチスクリーンインタフェースによるプレゼンテーション
システムに関する研究

一、 研究の目的
近年、ビジネスシーンにおけるプレゼンテーションシステムは必要不可欠であるにも拘らず、従来形式のプロジェクタや電子黒板による形式からタブレット端末を用いた形式や 3D 環境を用いた形式へとシステム側の多様化が顕著になっている。そこで、それぞれのプレゼンテーション形式を包括するシステムをシームレスに効果的に使えるような共通のインタフェースが構築できると非常に便利であるといえため、ビジネスシーンで活用するプレゼンテーションにおいて、3D 映像
を含めてタッチインタラクションができるプレゼンテーションシステムの構築を目的とする。

二、

問題定義

ビジネスシーンで使用されるプレゼンテーション形式は様々に存在しているため、各環境では操
作方法は異なり、それぞれのシステムの機能を効果的に使えているとは言えない現状がある。
システムは多様化する一方であり、それを利用するユーザ側はプレゼテーションの種類に応じて常にシステムを可変させなければならなくなり、プレゼンテーションの自由な表現自体を欠如させてしまう恐れがあるため、品質の低下を招くことが考えられる。

三、

システム提案

基本となる主要デバイスは、プロジェクタと Kinect（Depth センサ）を用いてスクリーンに投影する 2D/3D 映像に対してユーザがタッチスクリーンインタラクションを行うという機能を搭載する。そこで、システム面で 2D/3D をシームレスに操作できるタッチインタフェースを構築する
ため、スクリーン面を壁として、壁からの Depth（深度）を計測することでタッチインタラクシ
ョンが可能となるプレゼンテーションシステムを提案する。

四、

評価検証

本研究で開発したタッチスクリーンインタラクションの性能を評価するために、スクリーン上の判定性能を単体テストからシステムテストへと段階的に評価し、特に Kinect の Depth センサによるタッチ判定の有用性を確認し、本システムをプレゼンテーションで用いる際のユーザビリティについて評価検証を実施した。

キーワード（5 語）
Depth センサ、Kinect、3D プロジェクタ、シームレス、プレゼンテーション

3

SUMMARY OF MASTER’S DISSERTATION
Student
Identification
Number81133291

Name

Koichi Sawashima

Title

Studies on the presentation system with touch
screen interface using an infrared sensor.

Abstract
1. Purpose of research
In recent years, despite the presentation system is essential in the business scene, conventional
format of the projector and the system side of diversification significantly from the format byelectronic blackboard to format using the format and 3D environment using a tablet terminal ringing
is. Therefore, in order to say that with a system that encompasses each of the presentation format
seamlessly effectively use a common interface such that it is very convenient and can build, in apresentation to be utilized in the business scene, touch interaction, including the 3D image I isintended to build a presentation system that can.

2. Problem definition
Since the presentation format to be used in business have been variously present operating
method is different in each environment, and is to be used effectively the function of each system
there is a current situation can not be said.
Because the system is While diversifying user side utilizing it that it will have constantly vary thesystem, depending on the type of presentation station, there is a possibility that by lack free
expression itself presentation quality it is considered to deteriorate the.

3. Proposal of system
Primary device underlying the user is equipped with functions of performing a touch screeninteraction for 2D / 3D images to be projected on the screen using a projector and Kinect (Depth
sensors). In order to construct a touch interface that can be operated seamlessly 2D / 3D thecomputer systems, as a wall the screen surface, we propose a presentation system that is possible
to touch interaction by measuring the Depth from the wall.

4. Evaluation and verification
To evaluate the performance of the touch screen interaction developed in this study, to evaluate
the decision performance of the screen from the unit tests and stepwise to the system tests, inparticular check the usefulness of a touch determination by Depth sensor Kinect, and the was
evaluated examined usability when using the system in presentation.

Key Word(5 words)
Depth sensor, Kinect, 3D projector, Seamless, presentation

4目次
第１章 序章 ................................................................................................................ 6
1.1. 背景 ................................................................................................................. 6
1.2. 問題定義.......................................................................................................... 7
1.3. 目的 ................................................................................................................. 8
1.4. プレゼンテーションシステムとは ................................................................... 8
1.5. タッチインタフェースについて ....................................................................... 9第２章 提案コンセプト .............................................................................................. 9第３章 従来研究 ....................................................................................................... 11
3.1. smart skin ..................................................................................................... 11
3.2. 三次元タッチパネルインタフェース ............................................................ 13
第４章 使用デバイス ................................................................................................ 13
4.1. Kinect............................................................................................................ 13
4.2. 深度センサ ..................................................................................................... 17
第５章 提案システム ................................................................................................ 19
第６章 システム構築 ................................................................................................ 26
6.1 正規化を用いたカメラ画像からスクリーン画像への変換 ............................... 26
6.2. タッチポイント判定処理................................................................................ 27
6.3. 重心計算........................................................................................................ 28
第７章 評価検証 ....................................................................................................... 29
7.1. 単体テストによる前処理の評価 ..................................................................... 29
7.1.1 タッチポイントと手の位置関係の評価 ..................................................... 29
7.1.2. 確認方法 .................................................................................................. 30
7.1.3 結果 ........................................................................................................ 32
7.2. システムのユーザビリティ評価 ................................................................... 35
7.2.1 タッチスクリーンのユーザビリティ評価 ................................................. 35
7.2.2 検証方法 ................................................................................................... 35
7.2.3 検証結果 ................................................................................................... 38
7.2.4 2D/3D 映像とのタッチインタラクション評価 .......................................... 41
7.2.5 検証方法 ................................................................................................... 41
7.2.6 検証結果 ................................................................................................... 47
第８章 考察 .............................................................................................................. 55
第９章 まとめ........................................................................................................... 56
参考文献 ..................................................................................................................... 58
謝辞...................................................................................................................... 57

5

第１章

序章

1.1. 背景
近年のビジネス現場におけるプレゼンテーションの形式は多様化している。従来形式のプロジェクタによってスクリーンにスライドや映像を投影する形式や、電子黒板を用いてディスプレイに対して同様にプレゼン資料を映し出す形式のプレゼンテーションに加えて、例えば手元にタブレット端末を用いてスライドを操作するプレゼンテーショ
ンの形式や、3D 映像を投影可能な 3D 環境を用いたプレゼンターションの形式など、
如何にプレゼンターの思いがプレゼンテーションの聴収する人達に伝わるか、各現場ではあらゆるツールを使って思考を凝らしたプレゼンテーションが日々披露されている。
図 1 は大型ディスプレイと iPad を組み合わせて用いた web 向けのプレゼンテーショ
ンに便利なシステムの例である。
このように、プレゼンテーションに実際に使われているハード面やソフト面の環境は多種多様に存在するといえ、将来的にもその種類は増幅の一途であると推測ができる。

図 1.

iPhone の AirWeb と Apple TV を用いたプレゼンテーション形式の例(出典)Touch Lab 2014/06/1

6

また、プレゼンテーションの基本的なデバイスとして重宝されるプロジェクタは、以下の図のように、年々ビジネスシーンは勿論、教育現場などでも普及が進んでいるといえる。2010 年の 3D 映画の影響からプロジェクタ市場はさらに拡大していく見通しである。

図 2. フロントプロジェクタ市場での対象市場別長期予測(出典) テクノ・システム・リサーチ『Key Devices for Projection Displays 2011』

1.2. 問題定義
1.1 章で述べたように、ビジネスシーンで使用されるプレゼンテーション形式は様々に存在しているため、各環境では操作方法は勿論異なり、それぞれのシステムの機能を効果的に使えているとは言えない現状がある。
システムは多様化する一方であり、それを利用するユーザ側はプレゼテーションの種類に応じて常にシステムを可変させなければならなくなり、プレゼンテーションの自由な表現自体を欠如させてしまう恐れがあるため、品質の低下を招くことが考えられる。

7

1.3. 目的
1.2 章の問題定義に対して、それぞれのプレゼンテーション形式を包括するシステム
をシームレスに効果的に使えるような共通のインタフェースが構築できると非常に便利であるといえる。つまり、従来形式のプレゼンテーションに、近年の次世代プレゼンテーション形式といえるシステムがシステムの垣根を低くして同時に利用可能であれ
ば、プレゼンテーションの機能の幅は無限に広がり、あらゆるシステムの一元化が可能になる。さらに、ビジネスシーンで活用するプレゼンテーションにおいて、3D 映像を含めてタッチインタラクションができるプレゼンテーションの構築を目的とする。
したがって、ビジネスシーンにおける多種多様なシステムをシームレスに行き来し、
なおかつ、通常の 2D 映像に加えて 3D 映像環境ともシームレスなシステム原理を持って操作可能なシステムを構築することである。

1.4. プレゼンテーションシステムとは近年においてプレゼンテーションの果たす役割は、情報を段階的に掲示しつつ不特定多数の視聴者に制限時間内に理解を促進させることがプレゼンテーション目的であるが、時としてプレゼンテーションはその巧拙により伝達する情報の質を決定づけてしまうほど大きなウェイトを占める。それゆえにプレゼンテーション作業を適切に補助するツールの開発研究の重要性が増してきている。プレゼンテーションを行う場は、プレゼ
ンテーションをする側とそれを聴く側の構図がはっきりセグメントされたフォーマルなコミュニケーションを創造する。プレゼンターは自己の意見や主張、実績・成果などをプレゼンテーションに乗せてアピールする形式である。この形式的で一方通行なコミュニケーションには、何か創造力が喚起するようなユーザインタフェースと組み合わせることで、プレゼンターの意思を表現することの支援に繋がる効果が期待できると考え8

る。プレゼンターとプレゼンテーションシステムの調和がユーザビリティの高い秀逸なプレゼンテーションシステムである可能性が高い。従来のプレゼンテーション方式に加え、インタフェースを部分的に一新することで双方向のプレゼンテーションにおける成果を向上させるのに大いに役立つシステムになると考えられる。

1.5. タッチインタフェースについて
タッチパネスで再現されるような操作性を駆使して、創造性あふれるプレゼンテーシ
ョンが可能なシステムを構築するために、本研究では「コミュニケーション」を意識して、人同士のコミュニケーションと同様にインタフェースにおいてデバイスツールとの直観的な感覚が情報伝達や理解の助長などにおいてユーザエクスペリエンスで重要とされる。コミュニケーションする相手が対人関係の場合、対話の場において円滑な意思伝達は相手の印象を大きく左右する。そのような場面で、多くの人々を魅了することができたらと考えたのが、観衆の前で自己アピールをする場面で欠かすことのないプレゼ
ンテーションという機会である。同じ場を共有しながらプレゼンする立場の人間の考え方や伝えたいことを一度に複数人に発表する、まさにコミュニケーションを発揮するという双方向コミュニケーションシステムとしてはプレゼンする側とされる側の関係性が明白であるために、お互いに予定調和になりやすい特徴がある。したがって、プレゼ
ンテーションシステムには、場の構築にはコミュニケーションツールのシステムとして捉えやすい側面を持っていると考えられる。

第２章

提案コンセプト9

システム面で 2D/3D をシームレスに操作できるタッチインタフェースを構築するために、スクリーン面を壁として、壁からの Depth（深度）を計測することでタッチイン
タラクションが可能となるプレゼンテーションシステムを提案する。

図 3. 深度センサによる深度の測定距離(出典)Kinection.jp

3 章の従来研究で紹介する Smart Skin、3 次元タッチパネルインタフェースで使用の電気容量センサは、共に接着面であるディスプレイ側からのセンシングであり、例えば電子黒板などのディスプレイ一体型のセンサで Depth を計測することは、接面位置とのセンシングに向いているが、ディスプレイ自体にセンシングの仕組みを持たせなけ
ればならない。さらに、ディスプレイからの深度が深くなるほどにセンシングの感度は降下する。これらデメリットを改善するデバイスとして Depth センサを提案システムに採用することで、ディスプレイのように映像を投影する環境を選ぶこともなく、なおかつ、一定の Depth 方向のセンシングが可能となるため、2D/3D 映像とのタッチイン
タラクションにおいて機能性、利便性において大いなるメリットをもたらすことになる
と考える。
10

ビジネスシーンでは場所に縛られることなく、素早くプレゼンテーションを行えることは重要な要素であるため、これらの不便を解消する提案システムとして活用を期待す
る。

第３章

従来研究

3.1. smart skin
SmartSkin[1][2] は、電極面と小さな計測回路のみで構成されているため、設置空間はほとんど必要ない。加えて、センサー面は基本的に任意の大きさで構成する事が可能
であり、運用の幅が広い。また、非接触で形状・位置の認識ができるため、直観的で新しいインタラクション技術を可能にする。

図 4．Smart Skin (出典：SonyCSL)
SmartSkin は人体の形状・位置認識のためのセンサ技術である。静電容量を計測する事でユーザの手の位置の二次元座標を求めるだけでなく、手とセンサ面との間のおおよその距離を検出することができる。センサは複数のトランスミッタとレシーバからな
り、それぞれの電極が格子状に配置されている。センサ面の大きさは自由であり、また水平面である必要もなく、曲面にする事も可能である。図 4 は SmartSkin の動作原理
11を示す。縦方向の電極はトランスミッタに接続されており、横方向の電極はレシーバに接続されている。電極同士は絶縁されている。トランスミッタの一つが交流信号(数百KHz)を印加されると、その電極と交差する電極にも、同じ交流信号が弱く流れる。これは、交点がコンデンサとして機能するためである。ここで、交点上に接地された導電物体が近付いた場合、電極間の静電容量が減少し、結果としてレシーバへと流れる電流は弱まる。人体は大きいため、接地した導電物体と同様にふるまうので、交点上に人体が接近しても同様の現象が起こる。こうして、レシーバ側で電流の強弱を測定する事により、人体を測定する事ができる。格子点上の人体が大きければ大きい程、また近ければ近い程、流れる電流は弱まる。SmartSkin の制御部は、電流を流すトランスミッタ
を時分割で変更する。また、レシーバ側も時分割で電流を計測する。こうして、各格子点での静電容量を計測し、二次元のデータを得る。このデータが、センサ面状の人体の形状・位置およびセンサ面からのおおよその距離を表している。

12

図 5．SmartSkin のデバイス構成と計測原理(出典)-Smart Skin- SonyCSL

3.2.

三次元タッチパネルインタフェース

三次元タッチパネルインタフェース[3]近接検知の手法として赤外線センサは大がかりな装置が必要である、またはタッチ操作以外の PC マウスのオーバー機能が操作できないとの課題を挙げているが、本システムによりそれらも実装可能である為、本論文で課題になっていた操作や機能を洗い出す為に先行研究として参考にした。

図 6. 指の近接を検知する 3 次元タッチパネル(出典) 情報処理学会インタラクション Vol.2009, No.4,

第４章

使用デバイス

4.1. Kinect
Kinect は非接触型の専用のカメラでプレイヤーの動きと姿勢をリアルタイムに認識することができ、そのユーザの動きと姿勢をゲーム中のキャラクターの動きとリンクすることができる、世界初の非接触型ゲームコントローラーです。カメラで写したプレイ
ヤーの姿を画像処理によって解析し、そのユーザの姿勢や動きをゲームの入力として用いる。このようなジェスチャ入力や音声認識などの直観的な人間の動作で操作できるイ
13

ンタフェースは NUI（Natural User Interface）といい，次世代のユーザインタフェー
スとして注目されている。

図 7．Kinect 本体 (出典：Microsoft 社)

Kinect は Microsoft 社の製品であり、元々はゲーム用 Xbox のコントローラーデバイ
スであることからも、テレビ画面の上に置いて使用することが前提の設計になっている。
Kinect のポイントとなる三つの目の部分にあり、中央の目は通常の RGB カメラであり、一般的な Web カメラの性能がある。

次に両側の二つの目は、赤外線プロジェクタである。反対の右側の目はその赤外線を受光する赤外線カメラであり、受光は最大でVGA 640×480 である。この赤外線プロジェクタからは、赤外線による複数の細かい点状の光が正面を向けて照射されている。この照射光は赤外線なので実際に肉眼で見ることはできない。さらに、複数の Kinect が近接した環境にあっても互いに干渉することはない。

図 8．Kinect の構造(出典)Tech Village

14Kinect が人の動きを検出するのはこの両側の深度センサの機能であり、中央の RGB
カメラ画像はその画角に対応した付随情報となる。
（深度センサの原理の詳細は 6,2 章を参照）

図 9．赤外線プロジェクタ照射の様子(出典)Tech Village

15また、Kinect の使用環境として、設置位置は以下の図のように床面から 60cm~180cmが推奨されていて、認識可能な範囲は約 40cm~4m である。

図 10．Kinect を低い位置に設置したときの認識範囲(出典) Kinect for Windows SDK

図 11．Kinect を高い位置に設置したときの認識範囲
16

(出典) Kinect for Windows SDK

さらに、Kinect にはスケルトン(骨格)の座標を取得することができ、最大 7 人までの位置推定と、最大 2 人までの骨格追跡が可能になっている。骨格が追跡されたユーザは、20 種類の部位の座標を取得可能である。

図 12．スケルトン(骨格)で取得できる座標系(出典) neareal.net

4.2. 深度センサ
深度(Depth)センサは Kinect に内蔵されている。Kinect の深度センサは赤外線プロ
ジェクタと赤外線センサを使い、Kinect センサの正面の各点の深度を測定することができ、以下の図 13 のように、三角測量によって Depth を計測している。
Kinect に搭載した赤外線プロジェクタから対象物に対して格子状の複数の光を配列したパターンを投影して、対象物に映ったパターンを赤外線カメラで捉える。その捉えたパターンをもとに赤外線カメラより見込み角を求める。見込み角の求め方は以下の図
17

14 のような照射パターンの変形によって取得できる。これに，赤外線プロジェクタから対象物に格子状のパターンを照射した角度と、赤外線プロジェクタと赤外線カメラの設置位置を基にして対象物までの Depth を算出する。照射パターンの区別し、赤外線カメラが捉えうる範囲の対象物ならば一度に複数の Depth 計測が可能である。

図 13. 深度センサの原理（出典）PrimeSense 社, 日経テクノロジー

図 14. 対象物がある場合の赤外線プロジェクタの照射パターン(出典)ガジェット通信18

取得できる深度は Near Mode で 0.4m～3m、Default Mode で 0.8m～4m の範囲で深度の単位はミリメートルであるが、ミリメートほど正確な計測精度では得られない。
また、Kinect による Depth センサの特徴は、「カメラからの直線距離」ではなく、「カ
メラの平面からの距離」を指す。

第５章

提案システムプロジェクタと Kinect の Depth センサを用いてスクリーンに投影された映像に対して 2D/3D 映像に対してダイレクトなタッチインタラクションを可能とするシステムである。
システム構成は以下の図 15 のようになる。
Kinect とスクリーンの位置は、加速度センサであらかじめスクリーンに対して垂直（地面に対して水平）な方向に深度センサが照射されるように設置する。プロジェクタ
は投影する画面の可変が効くため、特に条件は設ける必要がないが、本システムの設置
環境の利便性を考慮して、Kinect とは平行に光を照射するように、プロジェクトを置
く台に対して水平になるように設置するのが理想である。
スクリーン面に近い Touch area はタッチインタラクションの際の判定領域である。
Touch area はある程度の判定領域を事前に設定し、この領域に手や対象物が侵入した
場合にはタッチインタラクション動作が行われたとみなして第 5 章で説明するシステ
ム構築の処理が成される。

19

図 15. システム構成図

以下の図 16 は実際のシステムを配置した実物の画像である。
プロジェクタを配置する机や台の高さやスクリーンに映す位置を決める際に、プロジ
ェクタと Kinect の RGB 並びに Depth カメラの照射画角は異なるため、スクリーンの中心位置の画像を取得してカメラ画像内の中心にスクリーンが移りこむように調整す
る為に、Kinect を予備の台上に配置させている。第 7 章の検証実験の際には、スクリーン座標系に十分配慮する為、検証当初を含めて配置環境を以下の図 16 のように設置した。

20

図 16. システム構成図の Kinect とプロジェクタの様子

以下の図 17 は、
プロジェクタによって映し出された映像を Kinect によって映したカメラ映像の様子である。プロジェクタの映像サイズをすべて捉えているのが確認できる。
また、このカメラ映像は、RGB カメラと深度センサは Kinect に搭載されている位置がずれていて、視差による取得データにもずれが生じるため、Depth カメラの座標をRGB カメラの座標に変換した後に、RGB 画像の位置を Depth 画像の位置に補正した
21

画像である。これにより、x 軸、y 軸、z 軸(Depth)の位置が Depth カメラ、RGB カメラの双方より取得し、それを一枚の画像の座標位置へ対応付けることが可能となる。

図 17.

Kinect からスクリーン映像を映した様子

図 18 では、このカメラ映像に対して、プロジェクタによって投影されたスクリーンのサイズを切り取る形で、以下のようにカーソルを操作して画面の大きさを指定する。
ここで指定した画面の大きさがユーザによってタッチインタラクションが行われたことを認識する領域になる。スクリーンサイズの領域指定によって、スクリーンの画面の大きさの変動に対応させている。

22

図 18. スクリーンサイズの設定の様子

図 19 では、上記で指定した画面サイズ内でスクリーン上にタッチインタラクションが行われた手の操作部分がマーキングによって追跡される。この赤く点状にマーキングされた部分がタッチ判定を検知しているポイントである(図 5-5)。以下、このタッチ判定が得られたポイントを「タッチポイント」として記述している。

23

図 19. Kinect が撮る画像からタッチポイントをセンシングする様子

このようにスクリーンサイズを指定することで、図 20 のように PC のディスプレイ
上で先ほど指定した画面のサイズに対応する座標系でタッチインタラクションが可能となる。
以下の図 5-7 のようにスクリーンタッチインタラクションによってスクリーン上に投影された PC ディスプレイ上のアイコン等を、手の操作によって行うことが可能になる。

24

図 20. タッチスクリーンでディスプレイ上のアイコンをタッチ操作した様子

上記のタッチスクリーンインタラクションで操作した手の部分のタッチポイントの軌道を図 21 のようにキャンバス上に描画することもできる。

25

図 21. タッチスクリーンインタフェース実施時のタッチポイントの軌跡の様子

第６章

システム構築本システムの開発環境を以下に示す。

開発環境
OS
IDE
ライブラリ

Windos7
Visual Studio 2010
Kinect for Windows SDK
表 1. 開発環境の情報

6.1 正規化を用いたカメラ画像からスクリーン画像への変換
スクリーンサイズを決定する時に、RGB カメラで映し出された画像により指定した領域のサイズから座標系を対応させなければならない。そこで、RGB カメラ座標系
26

Xm-Ym 平面内の点(𝑋𝑚, 𝑌𝑚 )は、以下の式で理想スクリーン座標系上の点(𝑋𝑐, 𝑌𝑐 )に変換
される。

ℎ𝑋
𝐶
[ 𝑐 ] = [ 11𝐶21
ℎ𝑌𝑐

𝐶12 𝑋𝑚][ ]𝐶22 𝑌𝑚スクリーンサイズを考慮して C 値で乗算することで、RGB カメラ座標内部のパターンはこの式によって正規化することができる。しかし、RGB カメラの画像は左右が反転しているため、Xm 軸方向のみ正規化した Xm 座標で 1 を引くことで Xm 軸の反転を行い、カメラ画像からスクリーン画像変換処理を完了する。

6.2. タッチポイント判定処理
位置情報は x,y 座標、タッチ判定を z 座標(depth)で行っている。すなわち、タッチ判定の位置情報を三次元座標から求めている為、電気容量式のタッチパネルの原理を
Kinect を用いてディスプレイより離れた位置から実現させている。
タッチ判定には深度センサによって保存したスクリーンまで（障害物がある場合はその地点まで）の距離データと現在の距離データとの変化量を測定し、その変化量に応じてタッチの可否を判定する。変化量は深度センサの測定値の誤差を考慮してある程度の範囲を見積もっておく必要がある。さらに、タッチ判定のみ許容するため、スクリーンからの遠い位置での人の映り込みや障害物に対しては判定することがないように、距離の変化量が大きい場合もタッチ判定より除外する必要がある。以上の条件を設けて閾値を設定する。そのため処理対象は設定した距離の変化量、つまり図 22 のようにスクリーンからの最小距離(MIN)と最大距離(MAX)の閾値を設定して、その閾値間のみをタッ
チポイント判定処理の対象とする。そして処理対象内の x,y 座標を処理対象分すべて取得する。
この際に設定する閾値の最適値は、7 章の評価・検証で明らかにしていく。
27

図 22. タッチポイントにおける判定領域の設定

6.3. 重心計算
重心とは有効な画素 i の位置 xi の平均

𝑥=

∑ 𝑥𝑖
∑1

になる。
この式を一般化すると、画素が有効なときには 1、無効なときには 0 となるような重み wi を定義することによって、全画素の合計を取った式

𝑥=∑ 𝑤𝑖 𝑥𝑖∑ 𝑤𝑖に変換できる。 なお、wi は０と１だけではなくその中間でもよく、その場合に画素が有効度合いのような意味が付加される。この式は、wixi と wi に関して全画素の合計をとり、その結果の商を求める処理となる。実際、合計を求める処理に関して、一様な

28

スケーリングをしても結果が変わらないので、「合計」をとるのでも、「平均」をとるのでもその結果はかわらない。
したがって、位置 yi も同様に平均𝑦=∑ 𝑤𝑖 𝑦𝑖∑ 𝑤𝑖

で求める。
6.2 章で処理したタッチ判定領域の変化量に該当するポイント座標領域群を対象に、上記の式により最終的な重心位置を決定する。

図 23. タッチ領域の重心計算処理

第７章

評価検証

7.1. 単体テストによる前処理の評価
7.1.1

タッチポイントと手の位置関係の評価
29

まずは、2D を想定してタッチスクリーンの座標上と実際にタッチ判定されるタッチポイントの座標軸を重ね、タッチインタラクションを行う際の手の座標の誤差や実際のポイントされる座標の確認をタッチポイントの単体テストを行った。

7.1.2.

確認方法

手の重心を x-y 座標軸の原点(0,0)に置き、図 24 のスクリーンに張り付けた 700mm
×1000mm 四方の模造紙の 50mm×50mm 四方の方眼を x 軸方向に 14 マス、y 軸方向に 20 マスの合計 280 マスを移動し、スクリーン上に照射されるタッチポイント(1mm四方)との誤差範囲(標準偏差)と x 軸、y 軸ごとの平均値を求めた。Kinect の位置はスクリーンから垂直距離で 150cm に設置した。判定領域は 1.0cm を設定し、最小値を変動させながら求める平均値を計測した。また、スクリーンに手を置く際の位置はスクリーンからのユーザの距離を考慮し、スクリーンに対して手の入射角を 0°,30°,60°に変化させて前述の評価を実施した。角度の変更は三角定規の底辺から角度 30°,60°の辺上に手を合わせて行った。
グラフの縦軸は x 軸、y 軸の座標(単位は cm)、横軸はタッチ判定で用いる判定領域の最小値(スクリーンからの最小距離)の閾値(単位は cm)である。

30

図 24. 使用したスクリーンサイズの方眼(50mm×50mm)模造紙

図 25. タッチポイントの確認方法のイメージ

31

7.1.3結果

図 26. タッチポイントの x 座標の平均値（手の傾斜なしの場合）

図 27. タッチポイントの x 座標の平均値（手の傾斜が 30°の場合）

32

図 28. タッチポイントの x 座標の平均値（手の傾斜が 60°の場合）

図 29. タッチポイントの y 座標の平均値（手の傾斜なしの場合）

33

図 30. タッチポイントの y 座標の平均値（手の傾斜が 30°の場合）

図 31. タッチポイントの y 座標の平均値（手の傾斜が 60°の場合）

34

図 26 から図 31 までの結果より、まず、判定領域の最小距離が 2.0cm 未満の場合はタッチポイントの検出が困難である。スクリーンとの距離が近すぎると判定性能が下がるようである。また、タッチ判定領域の最小距離を 0.5cm 単位で大きくしていくと、タッチポイントが x 軸上、y 軸上ともに若干移動しているのが確認できる。手の傾斜をつけても酷似した推移を示している。さらに、標準偏差より、各最小距離に対しても誤差に大きな違いはみられない。手の傾斜をつけても同様であり、両値ともに mm 単位
内の誤差に収まっている。実際に手のどの位置がタッチポイントとして認められるかは、手の重心位置から x-y 軸上に各角度の平均値分移動すると、手の重心から誤差の少ない判定領域の最小値を設定すると、X 軸は原点からの誤差はほとんどなく、Y 軸は約-3cmに収まった。また、これほどの判定領域の最小値の変化では、手のひらによるタッチス
クリーンインタフェースにそれほど支障が及ばないことを確認した。さらに、判定領域の最小値の変動による x,y 座標の推移より、手の厚みや指し示す手の傾斜によってスクリーンからの距離が若干変化し、その変化によって判定領域自体も移動していくことを
確認した。

7.2.

システムのユーザビリティ評価

本研究のシステムであるタッチスクリーンにおいてユーザビリティ評価を以下の検証方法により実施した。

7.2.1

タッチスクリーンのユーザビリティ評価

本システムと 2D タッチパネルによるタッチインタラクションの評価比較を本実験により検証する。

7.2.2

検証方法

35

検証実験に用意した 2D タッチパネル装置は、一般にも販売されている「電子黒板」のタイプに属するものであり、電子ペンを介してユーザとのタッチインタラクションを実現している。採用装置のスペックは以下のようである。

電子黒板
品名
品番
メーカー
解像度
画面サイズ
画面有効寸法
検出方式

インタラクティブ・プラズマディスプレイ
TY-ST65PF1
Panasonic
1,920 × 1,080画素
65v型(1,645mm)
1,434 × 806 mm
プラズマ光検出方式

表 2. 検証実験に使用した電子黒板の情報

検証方法は、PC 端末のディスプレイを各システム上に表示させてタッチインタラク
ションを行う。その際に、タッチインタラクションはディスプレイ画面全体に配備させたアイコンに対して行い、タッチ判定された場合はアイコンの背景色が変化する。アイ
コン数は縦 7(個)×横 13(個)＝91(個)を、被験者が左上から順番にタッチしていき、タッチインタラクションが行われた背景色変化間の時間を計測し、1 アイコンあたりにかかる平均所要時間と標準偏差を求めた。平均所要時間の計測には 1 フレームあたり 30
分の 1 秒で録画するビデオカメラで撮影し、その動画を 1 フレーム＝0.03 秒としてフレーム数をカウントすることで所要時間を算出した。(検証実験に際しての被験者のサンプルは 5 人より集計)

検証実験で使用したデバイス環境の様子は以下の図 32,33 のようである。

36

図 32. 電子黒板における検証環境の様子

図 33. タッチスクリーンにおける検証環境の様子
37検証実験の様子は以下の図 34,35 のようである。

図 34. 電子黒板における検証実験の様子

図 35. タッチスクリーンにおける検証実験の様子

7.2.3

検証結果

38

図 36.

1 アイコンあたりのタッチ判定にかかる平均所要時間

図 37. システム別 1 アイコンあたりのタッチ判定にかかる平均所要時間
39

図 36 は被験者全体から導き出した、電子黒板とタッチスクリーンによる 1 アイコン
あたりのタッチ判定にかかる平均所要時間である。
検証結果は、電子黒板における 1 アイコンあたりのタッチ判定にかかる平均所要時間
は 0.69 秒、標準偏差は 0.011 秒。タッチスクリーンにおける 1 アイコンあたりのタッチ判定にかかる平均所要時間は 0.52 秒、標準偏差は 0.023 秒となった。
この結果より、タッチスクリーンインタラクションに比べ電子黒板では平均所要時間
が 0.17 秒早いことが確認できた。タッチインタラクションにかかる誤差範囲もタッチ
スクリーンインタラクションに比べて半分ほどであった。つまり、タッチスクリーン上のタッチインタラクションには電子黒板のような 2D 検知によるシステムに比べてユー
ザビリティ上の検知の誤差が存在している判明した。
図 37 は図 36 の平均所要時間の被験者別のデータである。
検証結果は、1 アイコンあたりのタッチ判定にかかる平均所要時間の最小値は電子黒板が 0.49 秒、タッチスクリーンが 0.52 秒。最大値は電子黒板が 0.69 秒、タッチスク
リーンが 1.00 秒となった。標準偏差の最小値は電子黒板が 0.014 秒、タッチスクリー
ンが 0.028 秒。最大値は電子黒板が 0.037 秒、タッチスクリーンが 0.068 秒となった。
この結果より、タッチ判定にかかる平均所要時間の差が電子黒板とタッチスクリーンで最小値が 0.03 秒、最大値が 0.31 秒であり、電子黒板よりタッチスクリーンが 1.44
倍、タッチ判定に時間がかかったことがわかった。標準偏差に関しても、タッチスクリ
ーンは電子黒板に比べて最小値、最大値ともに約 2 倍近くの誤差範囲が存在することが確認できた。
さらに、被験者間の平均所要時間は電子黒板が 0.20 秒に対して、タッチスクリーンが 0.48 秒と 2 倍以上の開きが存在することが確認でき、タッチスクリーンにおけるタッチインタラクションには電子黒板に比べて個人差が存在していることが確認できた。
40

これらの結果より、タッチスクリーンにはタッチインタラクションが正しく行えているかをユーザ自身が確認するのに時間を要しているようことが分かった。なぜなら、電子黒板ではアイコンに対してタッチ判定があることを確認してから次の動作を行うまでが終始スムーズだったのに対し、タッチスクリーンでは操作とタッチ判定を得ることの認識に多少の慣れが必要であったことが確認できた。判定処理のスピードの誤差はほ
とんど得られなかった為、ユーザの意図するユーザビリティとの異なりが多少たりとも存在しているようである。さらに、タッチスクリーンの検証実験であるにも拘らず、ス
クリーンから距離を開けることを意識してタッチインタラクションを行っている被験者もおり、少々手古摺っている場面が見受けられたため、実験前にはある程度のスクリーンタッチインタラクションの操作説明は行うべきかもしれない。

7.2.4

2D/3D 映像とのタッチインタラクション評価

スクリーンに投影される 2D/3D 映像とのタッチスクリーンインタラクション評価を本実験により検証する。

7.2.5

検証方法

スクリーンへの映像の投影には 3D プロジェクタを使用し、3D 映像とのタッチスク
リーンインタラクションの検証を行う。検証に採用した 3D プロジェクタは以下のスペックである。

3Dプロジェクタ
型式
メーカー
画素数
画面サイズ
投影距離
最大表示解像度

NP216J-3D
NEC
786,432画素（1,024ドット×768ライン）
30～300型
1.18～13.2m
UXGA 1,600×1,200

表 3. 検証実験で使用した 3D プロジェクタの情報41

3D プロジェクタに添付の 3D メガネは以下のスペックである。

3Dメガネ
型番
メーカー
機能
対応機種

NP01GLNECDLP Link方式シャッターメガネ
NP216J-3D

表 4. 検証実験で使用した 3D メガネの情報

採用プロジェクタに内蔵されている DLP link 方式とは、映像素子として、1 チップ
DLP を採用しているプロジェクタの持つエミッター無しで、シャッター同期を取る仕組みです。正式には、「DLP Link/ White Light Communication」といい、1 チップ
DLP 方式でフルカラー表示の際に必須となる、カラーホイールの白領域表示時、それを同期信号と見立てて対応メガネにシャッターをかけるという方式である。
3D メガネに採用されているシャッター方式（時分割立体視）は、プロジェクタから左右の視点映像を左右交互に時間分割で投影し、ユーザは映像の切換えと同期した液晶
シャッタメガネを使用することで 3D 立体視を取得している。検証実験に採用している
3D プロジェクタはアクティブ・ステレオ方式を搭載しているため、左右視点の時分割の映像を高速に切り替えて映写している。

図 38. シャッター方式（時分割立体視）の原理
42

（出典）慶應 SDM

また、検証実験でスクリーンに投影する 2D/3D 映像は OpneGL と GLUT ライブラ
リによって作成した。実際の映像が格子と四角形が描画された以下の図のようになる。
この映像の格子に対して Depth 方向に視差をつけることで 2D 映像を 3D メガネを装着して見ることによって 3D 映像に見えるわけである。格子は 20cm 四方の正方形であり、色づけされた四角形は Depth が 0cm のポイントに描画することによって、四角形よりもスクリーンより全面に浮かび上がってくる立体視を強調する役目がある。
実験環境は縦 100cm×横 140cm のスクリーンに対して 3D プロジェクタより 2D/3D
映像を投影し、Kinect はスクリーンからの垂直距離が 250cm の位置に設置した。
検証実験で実際に使用した投影映像は以下の図 39 から図 41 である。

図 39. 深度 0cm の格子座標系
43

図 40. 深度 15cm の格子座標系(3D 映像)44

図 41. 深度 30cm の格子座標系(3D 映像)

実験では、まず被験者がこの格子の交点(以下、格子点とする)を一行目から左から右へと順番に触れていき、二行目には一行目と同様に左から右へと触れていく。その際に映像とインタラクションが行われた被験者が感じた位置で発声してもらい、その位置座標にあたる、タッチしている映像内位置座標と Depth センサでの計測位置座標を計測した。Depth センサの計測位置座標を以下よりディスプレイ座標と表記する。ディスプ
レイ座標はスクリーン座標と完全にリンクしており、常に一定の座標系を保持している。
スクリーン座標は映像内座標とは異なり、紛らわしい表現となるためディスプレイ座標と明記している。
本実験に際して、スクリーン中央の格子点が、投影する映像内の原点(0,0)となる。また、格子座標の x 軸は左方向から右方向へ 1,2,3,…、y 座標は上方向から下方向へ 1,2,3…
と増えていき、格子点の数だけ番号を振っている。映像内座標の原点は、Depth を変化
45

させても移動しない。また、投影する映像の Depth は 0cm、15cm、30cm の 3 パター
ンで計測を行った。一つの映像にあたりサンプル数は、スクリーン上に投影される格子点の個数となるが、被験者に対して映像が近づけば近づくほど対象の映像は大きくなる。
そのため最初に設定したスクリーン上に投影可能な格子点も異なり、Depth が 0cm では 35 個、15cm では 25 個、30cm では 15 個と変化する。そのため、投影可能な格子点の数でサンプリングした。
今回の実験においてタッチ判定領域は 3D 映像とのインタラクションということで、
2D インタラクションよりあらかじめ広めに設定した。3D 映像とのインタラクション
では、被験者の手の位置が Depth 方向で十分安定しないため、ある程度の計測領域を増やすことで判定感度を上げ、計測のし易さに配慮をした。そのため、投影する映像のDepth が 15cm の場合は、判定領域の Depth を、15cm を中央値として 12.5cm~17.5cm、30cm の場合は 25cm~35cm に設定した。また、本検証環境によるタッチポイントの検出においてはノイズが発生しやすく正しい検知が困難であったことから、投影する映像の Depth が 0cm の場合にも判定領域の Depth を 4.0cm~6,0cm に設定している。ノイズの発生が無ければ最短で 2.0cm まで判定領域の最小値を設定が可能である。(検証実験に際しての被験者のサンプルは 5 人より集計)
また、ディスプレイ座標はワールド座標系の提示位置、映像内座標は被験者がタッチ
インタラクションを行ったと知覚した計測位置を指す。
以上の実験方法により、2D/3D 映像内の判定座標とディスプレイ座標を比較し、x,y座標ごとの誤差を検証した。

検証実験の様子は以下の図 42 のようである。

46

図 42. 検証実験の様子

7.2.6

検証結果

47

図 43. 投影映像の Depth=0cm における投影映像内の X 座標の平均値

図 44. 投影映像の Depth=15cm における投影映像内の X 座標の平均値

図 45. 投影映像の Depth=30cm における投影映像内の X 座標の平均値

48

図 46. 投影映像の Depth=0cm における投影映像内の Y 座標の平均値

図 47. 投影映像の Depth=15cm における投影映像内の Y 座標の平均値

49

図 48. 投影映像の Depth=30cm における投影映像内の Y 座標の平均値

上記の図 43 から図 48 の検証結果より、x,y 座標ともに投影映像の座標の原点を軸に判定座標がディスプレイ座標の推移と似た推移で安定して変化している。
また、映像内座標は x 座標に比べて y 座標はディスプレイ座標との誤差が概ね大きくなっている。特に y 座標では、投影映像の Depth=30cm の場合を除いて映像内座標の原点より離れた座標位置ほど誤差が拡大している傾向にある。

50

図 49. 投影映像の Depth=0cm における投影映像内の X 座標の誤差平均

図 50. 投影映像の Depth=15cm における投影映像内の X 座標の誤差平均

51

図 51. 投影映像の Depth=30cm における投影映像内の X 座標の誤差平均

図 52. 投影映像の Depth=0cm における投影映像内の Y 座標の誤差平均52

図 53. 投影映像の Depth=15cm における投影映像内の Y 座標の誤差平均

図 54. 投影映像の Depth=30cm における投影映像内の Y 座標の誤差平均

53上記の図 49 から図 54 の検証結果より、投影映像の Depth=30cm における投影映像
内の X,Y 座標を除いて、映像内座標の原点に近い位置ほど誤差が少なく、原点から離れるほど誤差が拡大する傾向があることがわかる。また、誤差平均の範囲も格子位置によっては 10cm~20cm ほど存在し、2D 映像並びに 3D 映像に対する映像内座標系のイ
ンタラクションに関しては誤差を埋める処理が必要になることがわかる。ただし、今回の検証実験に関しては、2D/3D インタラクションは被験者の主観によるものが大きいことと、タッチポイントの判定領域を広くとっていることで生じる、誤差の拡大傾向はあらかじめ推測されていた。さらに、本環境では判定領域の最小値を小さく設定するとノイズが混じって正しくタッチポイントが検出されない状況であったため、同様に判定領域を広くとっていることが検証結果に影響したと考えられる。

図 55. 投影映像内座標－ディスプレイ座標間の X 軸方向の誤差平均

54

図 56. 投影映像内座標－ディスプレイ座標間の Y 軸方向の誤差平均

上記の図 55,56 の検証結果より、X,Y 座標全体でみても誤差平均は無視できないほどに存在している。特に X 座標では、投影映像の Depth を大きくとるほど誤差平均も大きくなるようである。Y 軸に関しては一定して 10cm ほどの誤差が存在する。

以上の結果より、存在する映像内座標とディスプレイ座標との誤差とその推移の傾向
は、判定領域を拡大させたものによるものか、映像内座標系との画像変換処理が正しく行われているのかを切り分けて調査する必要がありそうである。

第８章

考察

以上の検証結果より、手の指先までのタッチ検出を自然なタッチスクリーンインタフ
ェースで行うことができず、Depth センサによる感度の誤差が若干生じていたことが判明した。タッチスクリーンインタフェースのユーザビリティにおいて、必ずしも指の先55

端でタッチ操作しなくても、ある程度慣れによって、手でタッチポイントを包み込むよ
うに触れることで自然なタッチインタラクションを発揮できることが確認でき、なおかつ、Depth センサ独自のタッチインタラクションにおける利便性の高さを、7.2.1 章のタッチスクリーンのユーザビリティ評価より改めて確認することができ、本システムにおけるユーザビリティの有用性を確認した。本システムを利用する際にはユーザの適正で若干結果の変化に影響が見受けられた。タッチスクリーンインタラクションの方がタッチパネルより素早くタッチ判定を行っている被験者が居たことも、コツを掴めば使いやすい可能性の模索として今後のシステム改善にとって前向きな要素である。
ただ、7.2.4 章の 2D/3D 映像とのタッチインタラクション評価では、比較的大きい座標系での誤差が認められたことから、ディスプレイ座標と映像上座標の関係性の見直しをはじめ、検証環境におけるノイズが発生しやすいなどの不具合を極力解消した状況下
で、誤差を最小限にするシステム改善を考慮するべきであることを確認できた。

第９章

まとめ

3D プロジェクタとの組み合わせによる 3D 映像とのタッチインタラクションには座
標系の誤差を縮小するという課題は上がったものの、Depth センサによる 2D/3D 映像とのタッチスクリーンインタラクションの実現によって、従来式のタッチ方式で行われるプレゼンテーションに加えて、よりシームレスに 2D/3D 映像のインタラクションが実現できる本システム開発の手法の妥当性が確認できた。これにより、Depth センサによる 2D/3D 映像とのダイナミックなインタラクションが可能であることが分かった。
つまり、スクリーン面から飛び出してくるような大迫力の 3D 映像に対しても、本シス
テムのタッチスクリーンインタフェースによって制御すること可能ということである。

56

2D/3D 映像を自由にスクリーン上で操りプレゼンテーションを披露すれば、オーディ
エンスに対してかなりの説得力を提供することになるだろう。
今後の展望は、本システムの手法を活用し、プレゼンテーション機能に特化したシス
テムとして、2D/3D タッチスクリーンインタフェースの領域が拡大していくことを懇願する。

謝辞
この研究を遂行するにあたり、常日頃から終始熱心なご指導を頂いた小木哲朗教授には心より感謝の意を表します。夜分遅くの時間にも拘らず終電近くまで研究活動のお付
き合い下さいました。ありがとうございました。
副査を担当して頂いた手嶋龍一教授には論文作成当初の不慣れな説明の中暖かく見守ってくださり、貴重な助言等頂きまして大変勉強になりました。ありがとうございました。
検証実験にあたり、研究活動で忙しい中夜遅くまでお付き合い頂いた小木研究室の先輩、後輩一同には大変お世話になりました。自身の研究活動において多くの刺激や活力を頂きました。ありがとうございました。

57

参考文献
[1] Jun Rekimoto. SmartSkin: An Infrastructure for Freehand Manipulation on
Interactive Surfaces. In Proceedings of the Conference on Human Factors in
Computing Systems（CHI'02）, pp. 113-120, 2002.
[2] Kentaro Fukuchi, Jun Rekimoto, Interaction Techniques for SmartSkin, ACM
UIST2002 demonstration, 2002.11[3] 鷲野 浩之, 岡野 祐一, 川又 武典 (三菱電機)
ス”“３次元タッチパネルインタフェー

情報処理学会シンポジウム論文集 Vol.2009, No.4, pp.37-38, 2009[4] 深澤 哲生, 福地 健太郎, 小池 英樹, “壁型ディスプレイとの非接触対話手法に関する研究”

情報処理学会研究報告 . HI, ヒューマンインタフェース研究会報告

Vol.2006, No.72, 47-54, 2006.7.6[6] 岡野 祐一, 宮原 景泰,” タッチパネルの最新技術動向” 映像情報メディア学会誌 Vol.
63 (2009) No. 8 P 1101-1106[7]

河 内 ま き 子 、 2012 ： AIST

日 本 人 の 手 の 寸 法 デ ー タ 。

https://www.dh.aist.go.jp/database/hand/index.html[8] Touch Lab 「Web サイトのプレゼンに便利な Apple TV にブラウザを表示・リモコ
ン操作できる iPhone アプリ『AirWeb』」,
2014-06-1, http://touchlab.jp/2014/01/airweb_iphone/[9] NEC-Display.com 「View Light NP216J-3D 製品カタログ」
http://www.nec-display.com/jp/projector/old/np216j.html

2015/2/20 アクセス[10] i-1 ファクトリー, 「パナソニック Panasonic インタラクティブ プラズマディス
プレイ TH-65PB1J」
http://www.s-map.co.jp/i-1factory/ssp/cgi-bin/list.cgi?ACTION=IMAGE&MESSNU
M=001732 2015/2/20 アクセス58

[11] 3D ホームシアターを楽しむ! ,「3D メガネの種類 -DLP Link とは-」 2012/9/13
http://3d.tanosim.com/?p=176[12] 慶應 SDM, 「7. 立体視の原理」主専攻実験概要,
http://lab.sdm.keio.ac.jp/ogi/vr/step7.html[13] 日経テクノロジーonline,「電子機器 -第 2 回：ハードウエアは逆ザヤ」, 2011/09/27
http://techon.nikkeibp.co.jp/article/FEATURE/20110920/198418/?rt=nocnt[14] near real.net,「骨格座標と深度座標のデータ形式」,2012/07/02,
http://neareal.net/index.php?Kinect%2FKinectForWindowsSDK%2FBasics%2FStar
tUp%2FDataFormatOfSkeletonAndDepth[15] ガジェット通信,「PrimeSense 社の世界最小 3D 深度センサー「Capri」とは？」
http://ggsoku.com/2013/01/primesense-capri/ 2015/2/20 アクセス[16] 加藤博一, et al. マーカー追跡に基づく拡張現実感システムとそのキャリブレーシ
ョン. 日本 VR 学会論文誌, 1999, 4.4: 607-616.
[17] 佐藤, 山本, 田村, "カメラと３次元センサの組み合わせによる現実空間と仮想空間の位置合わせ手法", 日本バーチャルリアリティ学会論文誌, Vol.4, No.1, pp.295-301,
1999.
[18] HERRERA, C., et al. Joint depth and color camera calibration with distortion
correction. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2012,34.10: 2058-2064.
[19] HERRERA, Daniel; KANNALA, Juho; HEIKKILÄ, Janne. Accurate andpractical calibration of a depth and color camera pair. In: Computer analysis ofimages and patterns. Springer Berlin Heidelberg, 2011. p. 437-445.
[20] WILSON, Andrew D. Using a depth camera as a touch sensor. In: ACM
international conference on interactive tabletops and surfaces. ACM, 2010. p. 69-72.
[21] Kinection.jp[Kinect (キネクト) の総合情報サイト], 2012-06-29
59http://kinection.jp/post/71[22] 世界のプロジェクタ専門店,「NEC NP01GL Active Shutter 3D メガネ」
http://s-bhphoto.com/?pid=50895616

2015/2/20 アクセス[23] 株式会社 テクノ・システム・リサーチ, TSR - Press Release
http://www.t-s-r.co.jp/press/20110928.pdf

2015/2/20 アクセス[24] Microsoft 社, Kinect for Windows[Technical documentation and tools]
http://www.microsoft.com/en-us/kinectforwindows/develop/downloads-docs.aspx[25] ITpro,「Kinect for Windows SDK プログラミング入門」,日経ソフトウエア
2011 年 11 月号 pp.40-53
http://itpro.nikkeibp.co.jp/article/COLUMN/20120410/390406/

60