(57)【要約】【課題】ユーザが装着する専用の装置を必要とせず、立体視オブジェクトをユーザの指で操作することを可能にする。【解決手段】画像操作装置１の表示制御部１６は、データ取得部１１が取得した立体視オブジェクトのデータに基づいて、立体視オブジェクトを表示部１７に表示させる。指座標抽出部１４は、画像取得部１２が取得した画像と、記憶部１３が記憶するユーザの指の画像とを比較し、ユーザの指がポインティングしている指座標を抽出する。判定部１５は、表示画面の前面の空間で立体視オブジェクトが視認される領域を計算し、領域と指座標とに基づいてユーザの指が立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う。触れたと判定した場合、判定部１５は、ユーザの指の動きを検出し、ユーザが立体視オブジェクトに対して行った操作を示す操作情報を生成する。表示制御部１６、操作情報に基づいて、立体視オブジェクトの表示を変化させる。【選択図】図２
2012208705.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示画面と、
前記表示画面の前面の所定の空間を撮影する撮影部と、
前記撮影部が撮影した画像を取得する画像取得手段と、
ユーザの指の画像を記憶する記憶手段と、
立体視オブジェクトのデータを取得するデータ取得手段と、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段と、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段と、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段と、を備え、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする画像操作装置。
【請求項２】
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、三次元の各軸を中心とした回転角とを含み、
前記判定手段は、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、前記三次元の各軸を中心とした回転角と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする請求項１に記載の画像操作装置。
【請求項３】
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトのすべての特徴点の三次元の座標を含み、
前記判定手段は、前記立体視オブジェクトのすべての特徴点の三次元の座標と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする請求項１に記載の画像操作装置。
【請求項４】
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザが指を移動させた方向と移動距離とを計算して、前記ユーザが前記立体視オブジェクトを移動させた操作を示す前記操作情報を生成することを特徴とする請求項１ないし３のいずれか１項に記載の画像操作装置。
【請求項５】
前記記憶手段は、前記ユーザが前記立体視オブジェクトに対して行う操作に対応するジェスチャを示すデータをあらかじめ記憶し、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記ユーザが前記立体視オブジェクトに対して行う操作に対応するジェスチャを示すデータを参照し、前記画像取得手段が取得した画像に基づいて前記ジェスチャを検出して、前記ユーザが前記立体視オブジェクトに対して行った操作を示す前記操作情報を生成することを特徴とする請求項１ないし４のいずれか１項に記載の画像操作装置。
【請求項６】
画像を表示する表示画面と、前記表示画面の前面の所定の空間を撮影する撮影部とを備える画像操作装置が実行する
前記撮影部が撮影した画像を取得する画像取得ステップと、
ユーザの指の画像を記憶する記憶ステップと、
立体視オブジェクトのデータを取得するデータ取得ステップと、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御ステップと、
前記画像取得ステップで取得した画像と、前記記憶ステップで記憶した前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出ステップと、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定ステップと、を備え、
前記判定ステップでは、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得ステップで取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御ステップでは、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする画像操作方法。
【請求項７】
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、三次元の各軸を中心とした回転角とを含み、
前記判定ステップでは、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、前記三次元の各軸を中心とした回転角と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする請求項６に記載の画像操作方法。
【請求項８】
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトのすべての特徴点の三次元の座標を含み、
前記判定ステップでは、前記立体視オブジェクトのすべての特徴点の三次元の座標と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする請求項６に記載の画像操作方法。
【請求項９】
前記判定ステップでは、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得ステップで取得した画像に基づいて、前記ユーザが指を移動させた方向と移動距離とを計算して、前記ユーザが前記立体視オブジェクトを移動させた操作を示す前記操作情報を生成することを特徴とする請求項６ないし８のいずれか１項に記載の画像操作方法。
【請求項１０】
画像を表示する表示画面と、前記表示画面の前面の所定の空間を撮影する撮影部とを備えるコンピュータを、
前記撮影部が撮影した画像を取得する画像取得手段、
ユーザの指の画像を記憶する記憶手段、
立体視オブジェクトのデータを取得するデータ取得手段、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段、として機能させ、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示した画像を操作する画像操作装置、画像操作方法およびプログラムに関する。
【背景技術】
【０００２】
近年、画面から飛び出して見える立体視の画像や映像に関して、様々な技術が提案されている。
【０００３】
たとえば、特許文献１は、仮想空間において、仮想の本が所定の程度開かれた際に、そこに描かれている平面画像の表示物を立体的に表示することができる画像処理装置を開示している。特許文献１の画像処理装置は、ユーザの手に装着され、装着された手や各指に対して触覚や力覚を与える一対のリアルグローブを備え、仮想空間画像を仮想空間表示装置に表示し、リアルグローブを装着した手や指が仮想空間に表示された物体に仮想的に接触した場合等に、その様子を仮想空間表示装置に表示するとともに、リアルグローブを装着した手や各指に接触したときの触覚や力覚を与える。
【０００４】
また、特許文献２は、立体画像データを受信して、浮き上がって見えるように立体表示する立体画像表示可能なカメラ付携帯端末を開示している。
【０００５】
特許文献３は、ユーザのジェスチャを判別するジェスチャ動作認識システムを開示している。特許文献３のジェスチャ動作認識システムは、異なる位置に配された同一被写体の画像を撮影する第一カメラ及び第二カメラを備え、同一時刻における第一カメラ及び第二カメラの画像情報を対比して被写体領域と背景領域とを識別し、識別された被写体領域からさらに被写体の頭領域及び手先領域を検出するとともに、頭領域及び手先領域の各々の特徴点を三次元座標算出して特定する。
【０００６】
特許文献４は、本発明は、複数の撮像手段にて対象物を撮像し、この撮像信号を基に前記対象物の位置を認識する画像認識装置を開示している。特許文献４の画像認識装置は、カメラ僅体等の機械的基準によることなく、また、専用の調整治具を使用することなく、複数のカメラ基準の補正が可能である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３１８４００号公報
【特許文献２】特開２０１０−１４１４４７号公報
【特許文献３】特開２００９−２１１５６３号公報
【特許文献４】特開平０４−３６７１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、このような立体視用の画像を表示した際にユーザが視認する仮想物体（以下、立体視オブジェクトという）に対する操作は基本的に物理キーで行うことしかできない。そのため、立体視オブジェクトを実際に触れるように扱うことができず、利用者の直感性を損ねる可能性がある。特許文献１に記載の方法では、立体オブジェクトを操作するのにリアルグローブという装着型の専用の装置が必要である。
【０００９】
特許文献２は、立体オブジェクトを操作するものではない。
【００１０】
特許文献３および４は、立体オブジェクトを表示するものではなく、立体オブジェクトを操作するものでもない。
【００１１】
本発明は、上述のような事情に鑑みてなされたものであり、ユーザが装着する専用の装置を必要とせず、立体視オブジェクトをユーザの指で操作することができる画像操作装置、画像操作方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の観点に係る画像操作装置は、
画像を表示する表示画面と、
前記表示画面の前面の所定の空間を撮影する撮影部と、
前記撮影部が撮影した画像を取得する画像取得手段と、
ユーザの指の画像を記憶する記憶手段と、
立体視オブジェクトのデータを取得するデータ取得手段と、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段と、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段と、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段と、を備え、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする。
【００１３】
本発明の第２の観点に係る画像操作方法は、
画像を表示する表示画面と、前記表示画面の前面の所定の空間を撮影する撮影部とを備える画像操作装置が実行する
前記撮影部が撮影した画像を取得する画像取得ステップと、
ユーザの指の画像を記憶する記憶ステップと、
立体視オブジェクトのデータを取得するデータ取得ステップと、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御ステップと、
前記画像取得ステップで取得した画像と、前記記憶ステップで記憶した前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出ステップと、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定ステップと、を備え、
前記判定ステップでは、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得ステップで取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御ステップでは、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする。
【００１４】
本発明の第３の観点に係るプログラムは、画像を表示する表示画面と、前記表示画面の前面の所定の空間を撮影する撮影部とを備えるコンピュータを、
前記撮影部が撮影した画像を取得する画像取得手段、
ユーザの指の画像を記憶する記憶手段、
立体視オブジェクトのデータを取得するデータ取得手段、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段、として機能させ、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ユーザが装着する専用の装置を必要とせず、立体視オブジェクトをユーザの指で操作することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態に係る画像操作装置の一例を示す斜視図である。
【図２】実施の形態に係る画像操作装置の機能構成例を示すブロック図である。
【図３】平面視オブジェクトおよび立体視オブジェクトを説明する図である。
【図４】ユーザの指と立体視オブジェクトとの衝突判定の例を説明する図である。
【図５】ユーザが立体視オブジェクトに対して行う操作の一例を説明する図である。
【図６】ユーザが立体視オブジェクトに対して行うジェスチャの例を示す図である。
【図７】ユーザの指と立体視オブジェクトとの衝突判定の他の例を説明する図である。
【図８】実施の形態に係る画像操作の動作の一例を示すフローチャートである。
【図９】実施の形態に係る画像操作装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下に、発明を実施するための形態について図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。
【００１８】
図１は、本発明の実施の形態に係る画像操作装置の一例を示す斜視図である。画像操作装置１は、筐体Ｅ１に、カメラＣ１、カメラＣ２および表示画面Ｄ１を備える。筐体Ｅ１にはめ込まれた表示画面Ｄ１には、立体視オブジェクトＯ１の画像が表示されており、ユーザには立体視オブジェクトＯ１が図示のように飛び出して見える。表示画面Ｄ１の両端に設置されたカメラＣ１およびカメラＣ２は、表示画面Ｄ１の前面の所定の範囲の空間を撮影する。所定の範囲の空間とは、たとえば、表示画面Ｄ１の前面で立体視オブジェクトが仮想的に出現しうる範囲の空間である。なお、カメラＣ１およびカメラＣ２の設置位置は、任意の位置でよい。また、筐体Ｅ１、カメラＣ１、カメラＣ２および表示画面Ｄ１は、図１の形状に限らず、画像操作装置１は、２つのカメラと表示画面を備えていればよい。
【００１９】
図示のように、ユーザが指で立体視オブジェクトＯ１を触る動作をすると、カメラＣ１およびカメラＣ２はユーザの指を撮影した画像を取得する。なお、立体視オブジェクトＯ１は、実際には表示画面Ｄ１の平面に画像が表示されているだけなので、カメラＣ１およびカメラＣ２が撮影する画像には写らない。
【００２０】
図２は、実施の形態に係る画像操作装置の機能構成例を示すブロック図である。画像操作装置１は、データ取得部１１、画像取得部１２、記憶部１３、指座標抽出部１４、判定部１５、表示制御部１６および表示部１７を備える。
【００２１】
データ取得部１１は、立体視オブジェクトのデータを取得し、判定部１５および表示制御部１６に送る。なお、データ取得部１１は、立体視オブジェクトのデータとともに、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域を示すデータ（以下、領域データという）を取得し、判定部１５に送ってもよい。
【００２２】
画像取得部１２は、ユーザの指の画像を取得し、あらかじめ記憶部１３に記憶させる。また、画像取得部１２は、図１に示す表示画面Ｄ１の前面の所定の範囲の空間を撮影した画像を取得し、指座標検出部１４に送る。なお、ユーザの指の画像は、撮影して取得してもよいし、外部から取得してもよい。
【００２３】
記憶部１３は、画像取得部１２から受け取ったユーザの指の画像をあらかじめ記憶する。
【００２４】
指座標検出部１４は、画像取得部１２から受け取った画像と記憶部１３から読み出したユーザの指の画像とのパターンマッチングを行い、ユーザの指がポインティングしている位置を示す座標（以下、指座標という）を抽出する。
【００２５】
判定部１５は、データ取得部１１から受け取った立体視オブジェクトのデータに基づいて、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域を計算する。データ取得部１１が立体オブジェクトのデータとともに領域データを取得する場合は、判定部１５は、データ取得部１１から領域データを受け取る。
【００２６】
判定部１５は、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域と、指座標抽出部１４から受け取った指座標とに基づいて、ユーザの指が立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う。判定部１５は、ユーザの指が立体視オブジェクトに触れたと判定した場合、画像取得部１２から受け取った画像に基づいてユーザの指の動きを検出し、ユーザが立体視オブジェクトに対して行った操作を示す操作情報を生成し、表示制御部１６に送信する。
【００２７】
表示制御部１６は、データ取得部１１から受け取った立体視オブジェクトのデータに基づいて、表示部１７に立体視オブジェクトを表示させる。また、表示制御部１６は、判定部１５から受け取った操作情報に基づいて、表示部１７の立体視オブジェクトの表示を変化させる。
【００２８】
表示部１７は、表示制御部１６からの指示に従い、立体視オブジェクトを表示する。
【００２９】
図３は、平面視オブジェクトおよび立体視オブジェクトを説明する図である。図３（ａ）に示す平面視オブジェクトＯ２は、表示画面Ｄ１の横方向と平行なα軸と表示画面Ｄ１の縦方向と平行なβ軸で表される二次元における平面視オブジェクトＯ２の中心の座標Ｐ１（α１，β１）と、平面視オブジェクトＯ２の形状を表すデータと、座標Ｐ１を中心とした平面視オブジェクトの回転角とで表現することができる。
【００３０】
一方、図３（ｂ）に示す立体視オブジェクトＯ１は、表示画面Ｄ１の横方向と平行なα軸と表示画面Ｄ１の縦方向と平行なβ軸と表示画面Ｄ１の垂直方向と平行なγ軸とで表される三次元における立体視オブジェクトＯ１の中心の座標Ｐ２（α２，β２，γ２）と、立体視オブジェクトＯ１の形状を表すデータと、α軸を中心とした立体視オブジェクトの回転角Ｐｉｔｃｈと、β軸を中心とした立体視オブジェクトの回転角Ｒｏｌｌと、γ軸を中心とした立体視オブジェクトの回転角Ｙａｗとで表現することができる。
【００３１】
画像操作装置１のデータ取得部１１が、立体視オブジェクトＯ１のデータとして、立体視オブジェクトＯ１の中心座標Ｐ２（α２，β２，γ２）と、立体視オブジェクトＯ１の形状を表すデータと、立体視オブジェクトＯ１の回転角（Ｐｉｔｃｈ：０°，Ｒｏｌｌ：０°，Ｙａｗ：０°）とを受け取ると、表示制御部１６は、これに基づいて表示部１７に立体視オブジェクトＯ１を表示させる。
【００３２】
なお、図３（ｂ）の立体視オブジェクトＯ１をβ軸を中心としたオブジェクトの回転角Ｒｏｌｌを負の方向（時計回り）にθ回転させた場合、図３（ｃ）のように、表示画面Ｄ１に表示される。このとき、立体視オブジェクトＯ１のデータに含まれる立体視オブジェクトＯ１の回転角は、（Ｐｉｔｃｈ：０°，Ｒｏｌｌ：−θ，Ｙａｗ：０°）となる。
【００３３】
立体視オブジェクトＯ１のデータは、ユーザの視点があらかじめ設定されているデータであり、実際には、表示制御部１６は、立体オブジェクトＯ１のデータに基づいて、ユーザの右目の視点と立体視オブジェクトＯ１を構成する各点とをつないだ延長線上にある表示画面上の各点と、ユーザの左目の視点と立体視オブジェクトＯ１を構成する各点とをつないだ延長線上にある表示画面上の各点とを計算する。表示制御部１６は、計算した表示画面上の各点の集合から、視差によって立体視オブジェクトＯ１がユーザに視認できる画像を生成し、表示部１７に表示させる。
【００３４】
あるいは、立体視オブジェクトＯ１のデータは、元々、視差によって立体視オブジェクトＯ１がユーザに視認できる画像であってもよい。この場合、判定部１５は、立体視オブジェクトＯ１のデータと、あらかじめ設定されているユーザの視点に基づいて、立体視オブジェクトＯ１の中心座標Ｐ２と、立体視オブジェクトＯ１の形状を表すデータと、立体視オブジェクトＯ１の回転角とを計算する。
【００３５】
図４は、実施の形態に係るユーザの指と立体視オブジェクトとの衝突判定の例を説明する図である。図４（ａ）の例では、立体視オブジェクトＯ１を示すデータは、中心の座標Ｐ２（α２，β２，γ２）と、直方体（Ｗ：ａ２，Ｈ；ｂ２，Ｄ：ｃ２）と、回転角（Ｐｉｔｃｈ：０°，Ｒｏｌｌ：０°，Ｙａｗ：０°）とで表される。なお、直方体のＷはＸ軸方向の幅を示す、ＨはＺ軸方向の高さを表し、ＤはＹ軸方向の奥行きを表す。
【００３６】
画像操作装置１の判定部１５は、このような立体視オブジェクトＯ１のデータに基づいて、表示画面Ｄ１の前面の空間で立体視オブジェクトＯ１が視認される領域Ａ１を計算する。なお、領域Ａ１の座標は、所定の位置を原点とした表示画面Ｄ１の横方向と平行なＸ軸と表示画面Ｄ１の縦方向と平行なＹ軸と表示画面Ｄ１の垂直方向と平行なＺ軸とで表される三次元で規定する。判定部１５は、立体視オブジェクトＯ１の中心の座標Ｐ２（α２，β２，γ２）をＰ２（Ｘ２，Ｙ２，Ｚ２）に変換する。Ｐ２（Ｘ２，Ｙ２，Ｚ２）を中心とした直方体（Ｗ：ａ２，Ｈ；ｂ２，Ｄ：ｃ２）が領域Ａ１である。なお、αβγ座標からＸＹＺ座標への変換方法は、αβγ座標の原点とＸＹＺ座標の原点との各軸の差をαβγ座標の各軸の値に加算すればよい。
【００３７】
一方、図４（ｂ）に示すように、指座標抽出部１４は、画像取得部１２（図中のカメラＣ１およびカメラＣ２）から受け取った画像と、記憶部１３が記憶しているユーザの指の画像とのパターンマッチングを行い、指座標Ｐ３（Ｘ３，Ｙ３，Ｚ３）を抽出する。
【００３８】
具体的には、指座標抽出部１４は、まず、Ｐ４（Ｘ４，Ｙ４，Ｚ４）の座標に設置されたカメラＣ１が所定の角度で撮影した画像と記憶部１３が記憶しているユーザの指の画像とを比較してユーザの指を検出し、そのポインティング位置（図４の例では、指の先端）を検出する。同様に、指座標抽出部１４は、指座標抽出部１４は、Ｐ５（Ｘ５，Ｙ５，Ｚ５）の座標に設置されたカメラＣ２が所定の角度で撮影した画像と記憶部１３が記憶しているユーザの指の画像とを比較してユーザの指を検出し、そのポインティング位置を検出する。指座標抽出部１４は、あらかじめ記憶部１３に記憶したカメラＣ１の画像におけるポインティング位置とカメラＣ２の画像におけるポインティング位置との組み合わせに、表示画面Ｄ１の前面の空間における指座標を対応付けたデータテーブルを参照し、指座標Ｐ３（Ｘ３，Ｙ３，Ｚ３）を抽出する。
【００３９】
あるいは、カメラＣ１の画像におけるポインティング位置と、カメラＣ２の画像におけるポインティング位置と、カメラＣ１の撮影角度と、カメラＣ２の撮影角度とから、ポインティング位置のＸＹＺ座標における位置（Ｘ３，Ｙ３，Ｚ３）を算出して指座標Ｐ３とする。
【００４０】
判定部１５は、領域Ａ１と指座標Ｐ３に基づいて、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたか否かの衝突判定を行う。図４（ｂ）の例では、領域Ａ１を示す直方体の側面に指座標Ｐ３が含まれるため、判定部１５は、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたと判定する。
【００４１】
図５は、実施の形態に係るユーザが立体視オブジェクトに対して行う操作の一例を説明する図である。判定部１５は、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたと判定すると、画像取得部１２から受け取った画像に基づいてユーザの指の動きを検出し、ユーザが立体視オブジェクトに対して行った操作を示す操作情報を生成する。図５のように、ユーザが指をＰ３（Ｘ３，Ｙ３，Ｚ３）からＰ３２（Ｘ３２，Ｙ３，Ｚ３）までＸ軸の負の方向に移動させたとすると、判定部１５は、ユーザの指がＸ軸の負の方向に（Ｘ３−Ｘ３２）移動したことを示す操作情報を生成し、表示制御部１６に送信する。
【００４２】
表示制御部１６は、この操作情報に基づいて、表示部１７に表示している立体視オブジェクトＯ１をＸ軸の負の方向に（Ｘ３−Ｘ３２）移動させる。これにより、ユーザの指で行った立体視オブジェクトに対して行った操作が立体視オブジェクトの表示に反映される。なお、ユーザが立体視オブジェクトに対して行う操作は、移動させる操作に限らず、回転させたり、拡大・縮小したりしてもよい。この場合、たとえば、それぞれの操作に対応するジェスチャを示すデータをあらかじめ記憶部１３に記憶しておく。判定部１５は、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたと判定すると、記憶部１３が記憶している操作に対応するジェスチャを示すデータを参照し、画像取得部１２（図中のカメラＣ１およびカメラＣ２）から受け取った画像からユーザが立体視オブジェクトＯ１に対して行ったジェスチャを検出して操作情報を生成する。
【００４３】
図６は、ユーザが立体視オブジェクトに対して行うジェスチャの例を示す図である。図６（ａ）は、対象の立体視オブジェクトを拡大するジェスチャの例である。このジェスチャは、親指と人差し指の指先が接着している状態から開く。逆に親指と人差し指の指先が開いている状態から接着させると対象の立体視オブジェクトを縮小するジェスチャとする。拡大方法は、ＸＹＺ軸の比率を保持して拡大してもよいし、開いた親指の指先の座標と人差し指の指先の座標を結んだ直線方向に拡大してもよい。縮小も同様である。
【００４４】
図６（ｂ）は、対象の立体視オブジェクトを回転するジェスチャの例である。このジェスチャは、親指と人差し指の指先が開いている状態で手首を時計回りに回転させる。逆に手首を反時計回りに回転させると逆方向に回転させるジェスチャとする。回転方法は、親指および人差し指の指先の手首を中心とした回転を検出し、立体視オブジェクトに同様の回転をさせてもよいし、立体視オブジェクトに対する親指および人差し指の指先の位置によって、立て回転、横回転、斜め回転などに分け、該当する回転をさせてもよい。
【００４５】
図７は、ユーザの指と立体視オブジェクトとの衝突判定の他の例を説明する図である。図７（ａ）の例では、立体視オブジェクトＯ１を示すデータは、特徴点Ｐ６（α６，β６，γ６）と、特徴点Ｐ７（α７，β７，γ７）と、特徴点Ｐ８（α８，β８，γ８）と、特徴点Ｐ９（α９，β９，γ９）と、特徴点Ｐ１０（α１０，β１０，γ１０）と、特徴点Ｐ１１（α１１，β１１，γ１１）と、特徴点Ｐ１２（α１２，β１２，γ１２）と、特徴点Ｐ１３（α１３，β１３，γ１３）とで表される。
【００４６】
画像操作装置１の判定部１５は、このような立体視オブジェクトＯ１のデータに基づいて、表示画面Ｄ１の前面の空間で立体視オブジェクトＯ１が視認される領域Ａ１を計算する。図４の例と同様に、領域Ａ１の座標は、所定の位置を原点とした表示画面Ｄ１の横方向と平行なＸ軸と表示画面Ｄ１の縦方向と平行なＹ軸と表示画面Ｄ１の垂直方向と平行なＺ軸とで表される三次元で規定する。特徴点Ｐ６〜特徴点Ｐ１３は、それぞれ特徴点Ｐ６（Ｘ６，Ｙ６，Ｚ６）と、特徴点Ｐ７（Ｘ７，Ｙ７，Ｚ７）と、特徴点Ｐ８（Ｘ８，Ｙ８，Ｚ８）と、特徴点Ｐ９（Ｘ９，Ｙ９，Ｚ９）と、特徴点Ｐ１０（Ｘ１０，Ｙ１０，Ｚ１０）と、特徴点Ｐ１１（Ｘ１１，Ｙ１１，Ｚ１１）と、特徴点Ｐ１２（Ｘ１２，Ｙ１２，Ｚ１２）と、特徴点Ｐ１３（Ｘ１３，Ｙ１３，Ｚ１３）と、に変換される。これらの特徴点Ｐ６〜特徴点Ｐ１３で囲まれる領域が領域Ａ１である。なお、αβγ座標からＸＹＺ座標への変換方法は、図４の例と同様である。
【００４７】
一方、図７（ｂ）に示すように、指座標抽出部１４は、画像取得部１２（カメラＣ１およびＣ２）から受け取った画像と、記憶部１３が記憶しているユーザの指の画像とのパターンマッチングを行い、指座標Ｐ３（Ｘ３，Ｙ３，Ｚ３）を抽出する。指座標の抽出方法は図４の例と同様である。判定部１５は、領域Ａ１と指座標Ｐ３に基づいて、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたか否かの衝突判定を行う。図７（ｂ）の例では、特徴点Ｐ７、Ｐ８、Ｐ１１およびＰ１２で囲まれる面に指座標Ｐ３が含まれるため、判定部１５は、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたと判定する。
【００４８】
図８は、実施の形態に係る画像操作の動作の一例を示すフローチャートである。なお、画像操作装置１の記憶部１３は、あらかじめ画像取得部１２が取得したユーザの指の画像を記憶している。
【００４９】
データ取得部１１は、立体視オブジェクトのデータを取得し（ステップＳ１１）、判定部１５および表示制御部１６に送る。表示制御部１６は、データ取得部１１から受け取った立体視オブジェクトのデータに基づいて、表示部１７に立体視オブジェクトを表示させる（ステップＳ１２）。判定部１５は、データ取得部１１から受け取った立体視オブジェクトのデータに基づいて、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域を計算する（ステップＳ１３）。なお、ステップＳ１１でデータ取得部１１が立体視オブジェクトのデータとともに領域データを取得した場合は、判定部１５は、データ取得部１１から領域データを受け取る。
【００５０】
画像取得部１２は、表示画面Ｄ１の前面の所定の範囲の空間の画像を取得し（ステップＳ１４）、指座標検出部１４は、画像取得部１２が取得した画像と記憶部１３から読み出したユーザの指の画像とのパターンマッチングを行い、指座標を抽出する（ステップＳ１５）。指座標検出部１４は、抽出した指座標を判定部１５に送る。
【００５１】
判定部１５は、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域と、指座標抽出部１４から受け取った指座標とに基づいて、ユーザの指が立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う（ステップＳ１６）。ユーザの指が立体視オブジェクトに仮想的に触れていないと判定した場合（ステップＳ１６；ＮＯ）、ステップＳ１６を繰り返す。ユーザの指が立体視オブジェクトに仮想的に触れたと判定した場合（ステップＳ１６；ＹＥＳ）、判定部１５は、画像取得部１２から受け取った画像に基づいてユーザの指の動きを検出し、ユーザが立体視オブジェクトに対して行った操作を示す操作情報を生成する（ステップＳ１７）。判定部１５は、操作情報を表示制御部１６に送信する。
【００５２】
表示制御部１６は、判定部１５から受け取った操作情報に基づいて、表示部１７の立体視オブジェクトの表示を変化させ（ステップＳ１８）、処理を終了する。
【００５３】
以上説明したように、本実施の形態の画像操作装置によれば、ユーザが装着する専用の装置を必要とせず、立体視オブジェクトをユーザの指で操作することができる。また、ユーザの指で操作することで、立体視オブジェクトに対する操作の自由度を向上させることが期待できる。
【００５４】
なお、上述の実施の形態では、立体視オブジェクトのデータは、あらかじめユーザの視点が設定されている。しかし、これに限らず、画像操作装置１は、ユーザの視点を検出する手段を備えてもよい。この場合、表示制御部１６は、立体視オブジェクトのデータと検出したユーザの視点に基づいて、表示部１７に立体視オブジェクトを表示させる。判定部１５は、立体視オブジェクトのデータと検出したユーザの視点とに基づいて、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域を計算する。視点を検出する手段は、たとえば、カメラＣ１およびカメラＣ２が取得したユーザの画像を解析しユーザの目を検出する。あるいは、ユーザが視点の位置を入力して設定してもよい。
【００５５】
図９は、実施の形態に係る画像操作装置のハードウェア構成の一例を示すブロック図である。
【００５６】
制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム３９に従って、指座標抽出部１４、判定部１５および表示制御部１６の各処理を実行する。
【００５７】
主記憶部３２はＲＡＭ（Random Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム３９をロードし、制御部３１の作業領域として用いられる。
【００５８】
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、画像操作装置１の処理を制御部３１に行わせるためのプログラムをあらかじめ記憶し、また、制御部３１の指示に従って、このプログラムが記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。記憶部１３は、外部記憶部３３に構成される。
【００５９】
操作部３４はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス３０に接続するインタフェース装置から構成されている。ユーザが入力した情報は、操作部３４を介して、制御部３１に供給される。
【００６０】
表示部３５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、制御部３１から受け取った表示情報を表示する。表示部３５は、表示画面Ｄ１であり、表示部１７として機能する。
【００６１】
送受信部３６は、網終端装置または無線送受信機と、それらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部３６は、データ取得部１１として機能する。
【００６２】
撮影部３７は、カメラＣ１およびカメラＣ２であり、画像取得部１２として機能する。
【００６３】
図２に示す画像操作装置１のデータ取得部１１、画像取得部１２、記憶部１３、指座標抽出部１４、判定部１５、表示制御部１６および表示部１７の処理は、制御プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、送受信部３６および撮影部３７などを資源として用いて処理することによって実行する。
【００６４】
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００６５】
制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、送受信部３６および撮影部３７などから構成される画像操作装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する画像操作装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで画像操作装置１を構成してもよい。
【００６６】
また、画像操作装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００６７】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【００６８】
上記の実施形態の一部または全部は、以下の請求項のようにも記載されうるが、以下には限られない。
【００６９】
（付記１）
画像を表示する表示画面と、
前記表示画面の前面の所定の空間を撮影する撮影部と、
前記撮影部が撮影した画像を取得する画像取得手段と、
ユーザの指の画像を記憶する記憶手段と、
立体視オブジェクトのデータを取得するデータ取得手段と、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段と、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段と、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段と、を備え、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする画像操作装置。
【００７０】
（付記２）
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、三次元の各軸を中心とした回転角とを含み、
前記判定手段は、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、前記三次元の各軸を中心とした回転角と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする付記１に記載の画像操作装置。
【００７１】
（付記３）
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトのすべての特徴点の三次元の座標を含み、
前記判定手段は、前記立体視オブジェクトのすべての特徴点の三次元の座標と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする付記１に記載の画像操作装置。
【００７２】
（付記４）
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザが指を移動させた方向と移動距離とを計算して、前記ユーザが前記立体視オブジェクトを移動させた操作を示す前記操作情報を生成することを特徴とする付記１ないし３のいずれかに記載の画像操作装置。
【００７３】
（付記５）
前記記憶手段は、前記ユーザが前記立体視オブジェクトに対して行う操作に対応するジェスチャを示すデータをあらかじめ記憶し、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記ユーザが前記立体視オブジェクトに対して行う操作に対応するジェスチャを示すデータを参照し、前記画像取得手段が取得した画像に基づいて前記ジェスチャを検出して、前記ユーザが前記立体視オブジェクトに対して行った操作を示す前記操作情報を生成することを特徴とする付記１ないし４のいずれかに記載の画像操作装置。
【００７４】
（付記６）
画像を表示する表示画面と、前記表示画面の前面の所定の空間を撮影する撮影部とを備える画像操作装置が実行する
前記撮影部が撮影した画像を取得する画像取得ステップと、
ユーザの指の画像を記憶する記憶ステップと、
立体視オブジェクトのデータを取得するデータ取得ステップと、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御ステップと、
前記画像取得ステップで取得した画像と、前記記憶ステップで記憶した前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出ステップと、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定ステップと、を備え、
前記判定ステップでは、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得ステップで取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御ステップでは、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする画像操作方法。
【００７５】
（付記７）
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、三次元の各軸を中心とした回転角とを含み、
前記判定ステップでは、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、前記三次元の各軸を中心とした回転角と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする付記６に記載の画像操作方法。
【００７６】
（付記８）
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトのすべての特徴点の三次元の座標を含み、
前記判定ステップでは、前記立体視オブジェクトのすべての特徴点の三次元の座標と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする付記６に記載の画像操作方法。
【００７７】
（付記９）
前記判定ステップでは、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得ステップで取得した画像に基づいて、前記ユーザが指を移動させた方向と移動距離とを計算して、前記ユーザが前記立体視オブジェクトを移動させた操作を示す前記操作情報を生成することを特徴とする付記６ないし８のいずれかに記載の画像操作方法。
【００７８】
（付記１０）
前記判定ステップでは、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像操作装置があらかじめ記憶する前記ユーザが前記立体視オブジェクトに対して行う操作に対応するジェスチャを示すデータを参照し、前記画像取得ステップで取得した画像に基づいて前記ジェスチャを検出して、前記ユーザが前記立体視オブジェクトに対して行った操作を示す前記操作情報を生成することを特徴とする付記６ないし９のいずれかに記載の画像操作方法。
【００７９】
（付記１１）
画像を表示する表示画面と、前記表示画面の前面の所定の空間を撮影する撮影部とを備えるコンピュータを、
前記撮影部が撮影した画像を取得する画像取得手段、
ユーザの指の画像を記憶する記憶手段、
立体視オブジェクトのデータを取得するデータ取得手段、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段、として機能させ、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とするプログラム。
【符号の説明】
【００８０】
１  画像操作装置
１１  データ取得部
１２  画像取得部
１３  記憶部
１４  指座標抽出部
１５  判定部
１６  表示制御部
１７  表示部
３１  制御部
３２  主記憶部
３３  外部記憶部
３４  操作部
３５  表示部
３６  送受信部
３７  撮影部
３９  制御プログラム
Ａ１  領域
Ｃ１，Ｃ２  カメラ
Ｄ１  表示画面
Ｏ１  平面視オブジェクト
Ｏ２  立体視オブジェクト
【図１】
2012208705.tif 000003
【図２】
2012208705.tif 000004
【図３】
2012208705.tif 000005
【図４】
2012208705.tif 000006
【図５】
2012208705.tif 000007
【図６】
2012208705.tif 000008
【図７】
2012208705.tif 000009
【図８】
2012208705.tif 000010
【図９】
2012208705.tif 000011