(57)【要約】【課題】ポインティング装置において、光ビームによってスクリーン上の点を指示し、その位置をカメラが追尾する技術が開示されている。しかし、光ビームをスクリーン上に映し出さなければならないという問題があった。【解決手段】実施形態のポインティング装置においては、立体画像を撮像する手段と、撮像された立体画像から視差画像を抽出する手段と、抽出された視差画像に対して線形変換処理を行い、正規化する手段を備えている。また、撮像された視差画像を含む領域の中心座標を検出する手段と、視差画像をポイントするための深さ情報が入力される手段と、深さ情報を用いて視差画像を生成する手段を備えている。【選択図】  図２
2011227718.tif 000002
【特許請求の範囲】
【請求項１】
立体画像に対してポインティングを行うポインティング装置において、
立体画像を撮像する撮像手段と、
前記撮像された立体画像から視差画像を抽出する視差画像抽出手段と、
前記抽出された視差画像に対して線形変換処理を行い、正規化する視差画像正規化手段と、
前記正規化された視差画像における前記撮像された立体画像の中心座標を検出する中心座標検出手段と、
前記立体画像をポイントするための深さ情報が入力される深さ情報入力手段と、
前記入力された深さ情報が用いられる視差画像を生成する視差画像生成手段を備え、立体画像に対して深さ情報が反映されたポインティングを出力することを特徴とするポインティング装置。
【請求項２】
前記線形処理は、アフィン変換処理が用いられることを特徴とする請求項１または２に記載のポインティング装置。
【請求項３】
前記生成された視差画像は、立体視眼鏡を通して視聴されることを特徴とする請求項１乃至２に記載のポインティング装置。
【請求項４】
前記生成された視差画像は、前記立体視眼鏡の左目および右目より前記ポインタ位置を通る直線に対し、この直線と視差画像の深さが交差する点を左目用画像ポインタ位置、右目用画像ポインタ位置とし、左目用画像の左目用ポイント位置にポインタを描画し、右目用画像の右目用ポイント位置にポインタを描画するように生成されることを特徴とする請求項１乃至３に記載のポインティング装置。
【請求項５】
立体画像に対してポインティングを行うポインティング方法において、
立体画像を撮像するステップと、
前記撮像された立体画像から視差画像を抽出するステップと、
前記抽出された視差画像に対して線形処理を行い、正規化するステップと、
前記正規化された視差画像における前記撮像された立体画像の中心座標を検出するステップと、
前記立体画像をポイントするための深さ情報が入力されるステップと、
前記入力された深さ情報が用いられる視差画像を生成するステップを備え、立体画像に対して深さ情報が反映されたポインティングを出力することを特徴とするポインティング方法。
【請求項６】
前記生成された視差画像を用いて深さ情報を調整し、出力するステップをさらに備えることを特徴とする請求項５に記載のポインティング方法。
【請求項７】
前記線形処理は、アフィン変換処理が用いられることを特徴とする請求項５または６に記載のポインティング方法。
【請求項８】
前記生成された視差画像は、前記立体視眼鏡の左目および右目より前記ポインタ位置を通る直線に対し、この直線と視差画像の深さが交差する点を左目用画像ポインタ位置、右目用画像ポインタ位置とし、左目用画像の左目用ポイント位置にポインタを描画し、右目用画像の右目用ポイント位置にポインタを描画するように生成されることを特徴とする請求項５乃至７に記載のポインティング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像に対してポインティングを行うポインティング装置に関する。
【背景技術】
【０００２】
現在、３次元画像や３D画像と呼ばれるような立体視画像が普及しつつある。
このような立体視画像が視聴できる環境において、従来のレーザーポインタでは水平、垂直位置しか視聴者に伝えることが出来ず、深さを伝える手段が無いという課題があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2004-194033号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ポインティング装置において、光ビームによってスクリーン上の点を指示し、その位置をカメラが追尾する技術が開示されている。しかし、光ビームをスクリーン上に映し出さなければならないという問題があった。
【課題を解決するための手段】
【０００５】
実施形態のポインティング装置においては、立体画像を撮像する撮像手段と、前記撮像された立体画像から視差画像を抽出する視差画像抽出手段と、前記抽出された視差画像に対して線形変換処理を行い、正規化する視差画像正規化手段を備えている。
【０００６】
また、前記正規化された視差画像における前記撮像された視差画像を含む領域の中心座標を検出する中心座標検出手段と、前記視差画像をポイントするための深さ情報が入力される深さ情報入力手段と、前記入力された深さ情報が用いられる視差画像を生成する視差画像生成手段を備え、視差画像に対して深さ情報が反映されたポインティングを出力するように構成されている。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係わるポインティング装置の外観を示す図。
【図２】実施形態に係わるポインティング装置（ポインティングデバイス）の構成を示すブロック図。
【図３】実施形態に係わるポインティング装置の入力画像（ポインティングデバイスが見る画像）を示す図。
【図４】実施形態に係わるポインティング装置の入力画像が正規化された視差画像を示す図。
【図５】実施形態に係わるポインティング装置における視差画像の生成例を示す図。
【図６】実施形態に係わるポインティング装置における左目用画像の例を示す図。
【図７】実施形態に係わるポインティング装置における右目用画像の例を示す図。
【図８】実施形態に係わるポインティング装置の動作を示すフローチャート。
【発明を実施するための形態】
【０００８】
以下、図面を参照し、この発明の実施形態を説明する。
＜実施形態１＞
図１は、実施形態に係わるポインティング装置の外観を示す図である。
符号100はポインティング装置である。符号101は 赤外線カメラ（カメラ部）、符号105は ホイール（深さ入力部）である。
ポインティング装置100は、例えば、プロジェクタ（PJ）で投影された立体画像（３D画像）を赤外線カメラ（カメラ部）101で撮像する。そして、後述するように、ユーザによってホイールや入力キー等の深さ入力部105から、ポインティング装置100でポイント表示（ポインティング）したい対象物の深さが入力される。
【０００９】
図２は、実施形態に係わるポインティング装置（ポインティングデバイス）の構成を示すブロック図である。
符号101はポインティング装置100が構成する赤外線カメラ、符号102は特徴点抽出部、符号103はアフィン変換部、符号104は座標生成部、符号105は深さ入力部、符号106は座標・深さ送信部、符号107は座標・深さ受信部、符号108は視差画像生成部、符号109は視差画像出力部である。
【００１０】
まず、ユーザはプロジェクタ（PJ）で投影された視差画像表示からなる立体画像（３D画像）を赤外線カメラ（カメラ部）101で撮像する。赤外線カメラ101は、この視差画像表示領域内のポイントしたい水平、垂直位置へ向けられる。
【００１１】
この時の赤外線カメラ101への入力画像、すなわち赤外線カメラ101が撮像する画像（ポインティングデバイスが見る画像）は、例えば、図３に示す通りである。
後述するが、実施の形態においては、入力画像201は、この入力画像201内に視差画像表示部102によって表示される視差画像202が存在し、視差画像202内に入力画像の中心203が存在する必要がある。
【００１２】
特徴点抽出部102は、赤外線カメラへ101で撮像された画像すなわち入力画像201から、例えば、視差画像202の４隅を特徴点として認識する。これは視差画像202の境界を識別することによって可能である。
【００１３】
そして、アフィン変換部103において、赤外線カメラへ101で撮像された視差画像202が正規化される。
幾何学において、アフィン写像あるいはアフィン線型写像とは、アフィン空間の準同型構造を保つような写像のことである。特に始域と終域が同じであるようなアフィン写像をアフィン変換という。ここでは、アフィン変換を行うことにより、線型変換処理が施される。
【００１４】
正規化された視差画像を、後述するように、例えば、図４に示す。入力画像の中心203は視差画像の正規化によって入力画像の中心302に射影されている。
座標生成部104では、入力画像の中心302の、正規化された視差画像301における座標が算出される。
また、ユーザがポイントしたい深さ情報が、上記のように、深さ入力部105より入力される。
こうして生成された座標と深さ情報を、座標・深さ送信部106よりプロジェクタへ出力される。
プロジェクタでは、座標・深さ受信部107よりポインティングデバイスで生成された座標と深さ情報を受信する。
この深さ情報を利用して、視差画像生成部108で視差画像が生成され、外部へ出力される。
この、深さ情報が入力され、視差画像生成部108で視差画像が生成された視差画像、すなわち所望の深さ情報が入力されたポインティングは、ここでは、視差画像表示部109で表示される。
【００１５】
符号110は立体視眼鏡であり、いわゆる３Dメガネである。ユーザは、この立体視眼鏡110を使用して、視差画像表示部109で表示された、所望の深さ情報が入力されたポインティングを視聴する。
【００１６】
図３は、実施形態に係わるポインティング装置の入力画像（ポインティングデバイスが見る画像）を示す図である。
符号20は3D映像を表示するプロジェクタ(PJ)である。プロジェクタ20は、所定のクレーリーン（図示せず）に向け、3D映像である視差画像202を表示する。
【００１７】
ポインティング装置(PD)100は、この視差画像202を撮像する。
上記のように、ユーザは、プロジェクタ（PJ）20で投影された視差画像表示からなる立体画像（３D画像）を、赤外線カメラ（カメラ部）101で撮像する。赤外線カメラ101は、この視差画像表示領域内のポイントしたい水平、垂直位置へ向けられる。
【００１８】
ここでは、符号201は、入力画像すなわち、ポインティングデバイスが見る画像である。
符号203は、入力画像の中心である。
ここでは、入力画像201は、この入力画像201内に視差画像表示部102によって表示される視差画像202が存在し、視差画像202内に入力画像の中心203が存在する。
【００１９】
図４は、上記のように、実施形態に係わるポインティング装置の入力画像が正規化された視差画像を示す図である。
符号301は、正規化された視差画像である。符号302は、入力画像の中心である。
図５は、実施形態に係わるポインティング装置における視差画像の生成例を示す図である。
符号403は上記視差画像、符号404は左目用画像ポインタ、符号405は右目用画像ポインタである。
符号402は所望のポインタ位置であり、立体視眼鏡401を使用するユーザにより、視聴される。
ここでは、立体視眼鏡401の左目および右目よりポインタ位置402を通る直線を想定する。この直線と視差画像403の深さが交差する点を、それぞれ左目用画像のポインタ位置404、右目用画像のポインタ位置405とする。
【００２０】
左目用画像501の左目用ポイント位置404にポインタ502を描画し、右目用画像601の右目用ポイント位置405にポインタ602を描画する。この実施の形態においては、このように視差画像を生成する。
【００２１】
すなわち、上記生成された視差画像は、立体視眼鏡の左目および右目よりポインタ位置を通る直線に対し、この直線と視差画像の深さが交差する点を左目用画像ポインタ位置、右目用画像ポインタ位置とし、左目用画像の左目用ポイント位置にポインタを描画し、右目用画像の右目用ポイント位置にポインタを描画するように生成される。
【００２２】
図６は、実施形態に係わるポインティング装置における左目用画像の例を示す図である。
符号501は左目用画像である。符号502はポインタ位置である。
図７は、実施形態に係わるポインティング装置における右目用画像の例を示す図である。
符号601は右目用画像である。符号602はポインタ位置である。
すなわち、この実施の形態に係るポインティング装置は、赤外線カメラ101で立体画像を撮像する。
この赤外線カメラ101で撮像された立体画像から上記のように、視差画像が抽出される。
そして、この抽出された視差画像に対してアフィン変換等の線形処理が行われ、正規化される。
また、正規化された視差画像における撮像された立体画像の中心座標が検出される。
また、立体画像に対して、上記ポイントを行うための深さ情報が入力される。
そして、この入力された深さ情報が用いられた視差画像が生成され、立体画像に対して深さ情報が反映されたポインティングが出力される。
＜実施形態２＞
上記に加え、この実施の形態においては、視差画像表示部109で表示されるポインティングに係る情報、すなわち所望の深さ情報が入力されたポインティングに係る情報は、再度、赤外線カメラ101にフィードバックされ、特に図示しないが、さらに深さ情報が自動的に調整される深さ情報調整部を構成することも可能である。
【００２３】
図８は、上記実施形態に係わるポインティング装置の動作を示すフローチャートである。
符号S10は、ここでの開始ステップである。続いて符号S11を付したステップへ進む。
符号S11は、ユーザが、ポインティング装置100の赤外線カメラ101を視差画像表示領域内のポイントしたい水平・垂直位置へ向けるステップである。続いて符号S12を付したステップへ進む。
【００２４】
符号S12は、特徴点抽出部102において、赤外線カメラ101への入力画像201から視差画像202の４隅を特徴点として認識するステップである。例えば、視差画像202の境界を識別する。続いて符号S13を付したステップへ進む。
【００２５】
符号S13は、アフィン変換部103において、視差画像202を正規化するステップである。上記のように、例えばアフィン変換等の線形変換処理を行う。続いて符号S14を付したステップへ進む。
【００２６】
符号S14は、上記のように、座標生成部104で、入力画像の中心302の正規化された視差画像における座標を検出するステップである。続いて符号S15を付したステップへ進む。
【００２７】
符号S15は、ポイントしたい深さ情報をユーザが、深さ入力部105より入力するステップである。ここで所望のポインティングの深さが入力される。
ポインティングの深さは例えば、図１に示すホイール105が用いられる。ユーザはこのホイール105を操作し、所望のポインティングの深さが入力される。
ここでのポインティングの深さは例えば、センチメートル（cm）やミリメートル（mm）、メートル（m）等の長さの単位が表示されるように構成しても良いし、実際に表示されるポインティングを見ながら、ユーザが前後等を調整するように構成しても良い。続いて符号S16を付したステップへ進む。
【００２８】
符号S16は、符号S14で得た座標および符号S15で入力された深さ情報をプロジェクタへ送信するステップである。
符号S17は、ポインティングデバイスより符号S16で送信された座標および深さ情報を受信するステップである。
符号S18は、視差画像生成部108で、上記深さ情報を利用して視差画像を生成するステップである。続いて符号S19を付したステップへ進む。
符号S19は、深さ情報が調整されたポインタ（視差画像）を出力するステップである。続いて符号S19を付したステップへ進む。
符号S20は、上記深さ情報に基づいたポインタ（視差画像）を表示するステップである。続いて符号S20を付したステップへ進む。
符号S21は終了ステップであり、ここでの処理は終了する。
この実施の形態は、上記のように、そして視差画像表示部107により、左目用画像501と右目用画像502が出力される。最後に表示された視差画像を立体視眼鏡108を介して視聴し、左目用画像501を左目で、右目用画像502を右目で視聴することにより、上記入力された深さ情報に基づいて、３次元（３D）ポインティングが実現される。
【００２９】
上記のように構成することによって、この実施の形態においては、深さ情報が入力され、その深さ情報を用いてポインタの視差画像が生成される。これにより、実用的な３次元ポインティング装置を実現することが可能になる。
【００３０】
なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。
【符号の説明】
【００３１】
101…ポインティング装置、101…赤外線カメラ、102…特徴点抽出部、103…アフィン変換部、104…座標生成部、105…深さ入力部、106…座標・深さ送信部、107…座標・深さ受信部、108…視差画像生成部、109…視差画像表示部、110…立体視眼鏡。
【図１】
2011227718.tif 000003
【図２】
2011227718.tif 000004
【図３】
2011227718.tif 000005
【図４】
2011227718.tif 000006
【図５】
2011227718.tif 000007
【図６】
2011227718.tif 000008
【図７】
2011227718.tif 000009
【図８】
2011227718.tif 000010