(57)【特許請求の範囲】
【請求項１】
３Ｄ表示が可能な表示部に表示された右目用画像と共に操作者が右目で視認する実空間の像を撮影する右目用画像撮影部と、
前記表示部に表示された左目用画像と共に操作者が左目で視認する実空間の像を撮影する左目用画像撮影部と、
前記表示部に表示される右目用画像および左目用画像の画像情報が入力される入力部と、
前記右目用画像撮影部により撮影された画像の右目用画像に対応する部分と前記入力部に入力された前記画像情報が示す右目用画像との差分を抽出する第１の差分抽出部と、
前記左目用画像撮影部により撮影された画像の左目用画像に対応する部分と前記入力部に入力された前記画像情報が示す左目用画像との差分を抽出する第２の差分抽出部と、
前記第１の差分抽出部により抽出される差分から求まる右目用画像の変化部分の位置および前記第２の差分抽出部により抽出される差分から求まる左目用画像の変化部分の位置が同じ対象物であるか判別し、同じ対象物である場合、当該対象物に対する前記操作者の操作を検出する操作検出部と、
を有することを特徴とする３Ｄ入力装置。
【請求項２】
前記右目用画像撮影部および前記左目用画像撮影部によりそれぞれ撮影された画像を示す画像情報を３Ｄ画像を共有する他の装置へ出力する出力部をさらに有することを特徴とする請求項１に記載の３Ｄ入力装置。
【請求項３】
前記右目用画像撮影部は、前記表示部に時分割で交互に右目用画像と左目用画像が表示される当該右目用画像の表示タイミングに同期して、当該右目用画像と共に操作者が右目で視認する実空間の像を撮影し、
前記左目用画像撮影部は、前記表示部に前記左目用画像が表示される表示タイミングに同期して、当該左目用画像と共に操作者が左目で視認する実空間の像を撮影する
ことを特徴とする請求項１または２に記載の３Ｄ入力装置。
【請求項４】
前記右目用画像撮影部は、シャッタを用いて右目用画像と左目用画像を個別に透過するシャッタ式メガネの右目部分に内蔵され、
前記左目用画像撮影部は、前記シャッタ式メガネの左目部分に内蔵された
ことを特徴とする請求項３に記載の３Ｄ入力装置。
【請求項５】
前記表示部の画角と前記右目用画像撮影部および前記左目用画像撮影部の撮影範囲とを調整する撮像範囲調整部をさらに有することを特徴とする請求項１〜４の何れか１つに記載の３Ｄ入力装置。 
【請求項６】
前記右目用画像撮影部により撮影された画像を操作者が右目で視認する画像として表示する第１表示部と、
前記左目用画像撮影部により撮影された画像を操作者が左目で視認する画像として表示する第２表示部と、
をさらに有することを特徴とする請求項１〜５の何れか１つに記載の３Ｄ入力装置。 
【請求項７】
コンピュータが、
３Ｄ表示が可能な表示部に表示された右目用画像と共に操作者が右目で視認する実空間の像を右目用画像撮影部により撮影し、
前記表示部に表示された左目用画像と共に操作者が左目で視認する実空間の像を左目用画像撮影部により撮影し、
前記右目用画像撮影部により撮影された画像の右目用画像に対応する部分と、入力部に入力された右目用画像および左目用画像の画像情報が示す右目用画像との差分を抽出すると共に、前記左目用画像撮影部により撮影された画像の左目用画像に対応する部分と、前記入力部に入力された前記画像情報が示す左目用画像との差分を抽出し、
抽出される差分から求まる右目用画像の変化部分の位置および左目用画像の変化部分の位置が同じ対象物であるか判別し、同じ対象物である場合、当該対象物に対する前記操作者の操作を検出する
各処理を実行することを特徴とする３Ｄ入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ入力装置および３Ｄ入力方法に関する。
【背景技術】
【０００２】
従来より、右目と左目で個別に画像を視認させて３Ｄ表示を実現する技術が知られている。この３Ｄ表示された画像に対してキーボードやマウスなどによらず、操作者の動作を直接的に反映させる技術が提案されている。例えば、操作者の操作動作を２台以上のカメラで撮像して、操作者が指し示す位置の位置解析を相対的に行い、実空間上の操作者の操作動作を３Ｄ表示される仮想空間に合わせ込む従来技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２７７６６６号公報
【特許文献２】特開２０１１−９０６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術は、実空間の位置と仮想空間の位置とを対応づける複雑な処理を行う必要があり、このような処理を実施すること自体で精度を落としたり、反応処理を遅くすることに繋がる場合がある。
【０００５】
開示の技術は、上記に鑑みてなされたものであって、複雑な処理を行うことなく、実空間の位置と仮想空間の位置とを対応づけることができる３Ｄ入力装置および３Ｄ入力方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願の開示する３Ｄ入力装置は、右目用画像撮影部と、左目用画像撮影部とを有する。右目用画像撮影部は、３Ｄ表示が可能な表示部に表示された右目用画像と共に操作者が右目で視認する実空間の像を撮影する。左目用画像撮影部は、前記表示部に表示された左目用画像と共に操作者が左目で視認する実空間の像を撮影する。
【発明の効果】
【０００７】
本願の開示する３Ｄ入力装置によれば、複雑な処理を行うことなく、実空間の位置と仮想空間の位置とを対応づけることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施例１に係るシステムの全体構成を示す図である。
【図２】図２は、実施例１に係る３Ｄ入出力装置の機能的構成を示すブロック図である。
【図３】図３は、表示される画像の一例を示す図である。
【図４】図４は、右目により視認される画像の一例を示す図である。
【図５】図５は、左目により視認される画像の一例を示す図である。
【図６】図６は、視認される画像の位置を模式的に示した図である。
【図７】図７は、３Ｄ画像に対して指示を行っている状態を模式的に示した図である。
【図８】図８は、右目用画像撮影部により撮影される画像の一例を示す図である。
【図９】図９は、左目用画像撮影部により撮影される画像の一例を示す図である。
【図１０】図１０は、表示される画像の一例を示す図である。
【図１１】図１１は、視認される画像の位置を模式的に示した図である。
【図１２】図１２は、送信処理の手順を示すフローチャートである。
【図１３】図１３は、受信処理の手順を示すフローチャートである。
【図１４】図１４は、実施例２に係るシステムの全体構成を示す図である。
【図１５】図１５は、実施例２に係る３Ｄ入出力装置および遠隔操作ロボットの機能的構成を示すブロック図である。
【図１６】図１６は、右目用画像のマッピングの一例を示す図である。
【図１７】図１７は、左目用画像のマッピングの一例を示す図である。
【図１８】図１８は、右目用画像でのカメラのシャッターの座標を詳細に示した図である。
【図１９】図１９は、左目用画像でのカメラのシャッターの座標を詳細に示した図である。
【図２０】図２０は、検出処理の手順を示すフローチャートである。
【図２１】図２１は、３Ｄ入力プログラムを実行するコンピュータの一例について説明するための図である。
【発明を実施するための形態】
【０００９】
以下に、本願の開示する３Ｄ入力装置および３Ｄ入力方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１０】
［システム１０の構成］
実施例１では、遠隔地間で映像を共有しながら会話を行うシステム１０に適用した場合について説明する。図１は、実施例１に係るシステムの全体構成を示す図である。図１の例は、離れた２つの拠点１１ａ、１１ｂ間で、３Ｄ画像で表示された物体を前に拠点１１ａの操作者１２ａと拠点１１ｂの操作者１２ｂ同士がその３Ｄ画像を指し示しながら会話する場合を示している。
【００１１】
図１に示すように、システム１０は、拠点１１ａ、拠点１１ｂにそれぞれ３Ｄ入出力装置２０を有する。以下、拠点１１ａ側と拠点１１ｂ側を区別する場合、拠点１１ａ側の３Ｄ入出力装置２０は、３Ｄ入出力装置２０ａと称し、拠点１１ｂ側の３Ｄ入出力装置２０は、３Ｄ入出力装置２０ｂと称する。実施例１に係る３Ｄ入出力装置２０ａ、２０ｂは、基本的に同様の構成であり、３Ｄ入出力装置２０ａが共有する３Ｄ画像の送信側として動作し、３Ｄ入出力装置２０ｂが共有する３Ｄ画像の受信側として動作する。３Ｄ入出力装置２０ａは、通信部２１ａと、表示部２２ａと、メガネカメラ２３ａと、制御部２４ａとを有する。３Ｄ入出力装置２０ｂは、通信部２１ｂと、表示部２２ｂと、メガネカメラ２３ｂと、制御部２４ｂとを有する。通信部２１ａと通信部２１ｂとの間は、ネットワーク１３を介して通信可能に接続される。かかるネットワーク１３の一態様としては、有線または無線を問わず、携帯電話などの移動体通信、インターネット（Internet）、ＬＡＮ（Local  Area  Network）やＶＰＮ（Virtual  Private  Network）などの任意の通信網が挙げられる。ネットワーク１３は、遅延を極力抑えたリアルタイム伝送を行うか、または低コストの伝送を行うなどシステム１０が求める用途により通信媒体を選択すればよい。
【００１２】
拠点１１ａでは、操作者１２ａがメガネカメラ２３ａを頭部に装着して表示部２２ａに表示される３Ｄ画像を視認する。表示部２２ａには、右目と左目で個別に視認することにより立体視が可能な３Ｄ画像が表示される。例えば、表示部２２ａには、右目用画像と左目用画像が時分割で交互に表示される。操作者１２ａは、メガネカメラ２３ａを介して表示部２２ａに表示された右目用画像を右目で視認し、左目用画像を左目で視認することにより３Ｄ画像として物体を視認する。図１の例は、操作者１２ａが３Ｄ画像としてカメラ１４を視認している状態を示している。メガネカメラ２３ａは、２つの撮影部が内蔵されており、操作者１２ａが右目で視認する右目用画像と操作者１２ａが左目で視認する右目用画像を撮影する。このメガネカメラ２３ａの２つの撮影部により撮影された右目用画像および左目用画像が拠点１１ｂ側へ送信される。
【００１３】
拠点１１ｂでは、操作者１２ｂがメガネカメラ２３ｂを頭部に装着して表示部２２ｂに表示される３Ｄ画像を視認する。表示部２２ｂには、右目と左目で個別に視認することにより立体視が可能な画像が表示される。例えば、表示部２２ｂには、拠点１１ａから受信した右目用画像および左目用画像が時分割で交互に表示される。操作者１２ｂは、メガネカメラ２３ｂを介して表示部２２ｂに表示された右目用画像を右目で視認し、左目用画像を左目で視認することにより３Ｄ画像として物体を視認する。これにより、システム１０は、操作者１２ａがメガネカメラ２３ａの前に３Ｄ画像として展開されているカメラ１４へ指差した場合、カメラ１４を指差した映像が操作者１２ｂの目の前にも展開され、３Ｄ画像を指し示しながらの会話が可能となる。
【００１４】
本実施例では、操作者１２ａの目の前に展開されている映像を操作者１２ｂと共有する場合について説明するが、同様の仕組みにより、操作者１２ｂの目の前に展開されている映像を操作者１２ａと共有させることも可能である。また、例えば、制御部２４ａと制御部２４ｂで通信を行って一方に３Ｄ画像に対する操作権を与え、操作権が与えられた一方が表示部に表示された画像をメガネカメラに内蔵された撮影部により撮影して他方へ送信し、他方が送信された画像を表示部に表示させる。この操作権を交互に与えることにより、互いに映像を共有させることも可能である。
【００１５】
［３Ｄ入出力装置２０ａ、２０ｂの装置構成］
次に、３Ｄ入出力装置２０ａ、２０ｂの装置構成について説明する。図２は、実施例１に係る３Ｄ入出力装置の機能的構成を示すブロック図である。図２に示すように、３Ｄ入出力装置２０ａは、通信部２１ａと、表示部２２ａと、メガネカメラ２３ａと、制御部２４ａとを有する。３Ｄ入出力装置２０ｂは、通信部２１ｂと、表示部２２ｂと、メガネカメラ２３ｂと、制御部２４ｂとを有する。上述のように、３Ｄ入出力装置２０ａ、２０ｂは、基本的に同様の構成である。以下では、主に３Ｄ入出力装置２０ａについて構成を説明し、３Ｄ入出力装置２０ｂについては３Ｄ入出力装置２０ａと異なる部分について主に説明する。
【００１６】
通信部２１ａは、他の装置、例えば他の拠点の３Ｄ入出力装置２０との間で通信制御を行うインタフェースである。通信部２１ａは、ネットワーク１３を介して他の拠点の３Ｄ入出力装置２０と各種情報を送受信する。例えば、通信部２１ａは、３Ｄ画像を示す画像情報の画像信号を３Ｄ入出力装置２０ｂへ送信する。かかる通信部２１ａの一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。
【００１７】
表示部２２ａは、各種情報を表示する表示デバイスである。かかる表示部２２ａの一態様としては、ＬＣＤ（Liquid  Crystal  Display）やＣＲＴ（Cathode  Ray  Tube）などの表示デバイスが挙げられる。表示部２２ａは、右目と左目で個別に視認することにより３Ｄ表示が可能な画像を表示する。例えば、表示部２２ａは、制御部２４ａから入力する画像信号に基づいて、右目用画像と左目用画像が時分割で交互に表示する。
【００１８】
メガネカメラ２３ａは、操作者が頭部に装着して表示部２２ａに表示される３Ｄ画像を撮影するデバイスである。メガネカメラ２３ａは、右目用画像撮影部３０Ｒと、左目用画像撮影部３０Ｌと、右目用ファインダ３１Ｒと、左目用ファインダ３１Ｌとを有する。
【００１９】
右目用画像撮影部３０Ｒと左目用画像撮影部３０Ｌは、人の左右の目の間隔に相当する所定間隔を隔てて撮影方向を同じ方向に向けて設けられている。なお、メガネカメラ２３ａは、右目用画像撮影部３０Ｒと左目用画像撮影部３０Ｌの間隔を調整する調整機構を備え、操作者が右目用画像撮影部３０Ｒと左目用画像撮影部３０Ｌの間隔を調整できるものとしてもよい。右目用画像撮影部３０Ｒは、操作者１２ａが右目で視認する右目画像を撮影する。左目用画像撮影部３０Ｌは、操作者１２ａが左目で視認する左目画像を撮影する。例えば、右目用画像撮影部３０Ｒは、制御部２４ａから入力する撮影タイミングを示す信号に同期して表示部２２ａに表示された右目用画像を撮影する。左目用画像撮影部３０Ｌは、制御部２４ａから入力する撮影タイミングを示す信号に同期して表示部２２ａに表示された左目用画像を撮影する。右目用画像撮影部３０Ｒにより撮影された画像の画像情報は、右目用ファインダ３１Ｒおよび制御部２４ａへ出力される。左目用画像撮影部３０Ｌにより撮影された画像の画像情報は、左目用ファインダ３１Ｌおよび制御部２４ａへ出力される。
【００２０】
右目用ファインダ３１Ｒと左目用ファインダ３１Ｌは、右目用画像撮影部３０Ｒと左目用画像撮影部３０Ｌが設けられた面の逆側の面に撮影方向と逆方向に表示面を向けて、人の左右の目の間隔に相当する所定間隔を隔てて設けられている。なお、メガネカメラ２３ａは、右目用ファインダ３１Ｒと左目用ファインダ３１Ｌの間隔や位置を調整する調整機構を備え、操作者１２ａが右目用画像撮影部３０Ｒと左目用画像撮影部３０Ｌの間隔や位置を調整できるものとしてもよい。右目用ファインダ３１Ｒには、右目用画像撮影部３０Ｒにより撮影された右目用画像が表示される。左目用ファインダ３１Ｌには、左目用画像撮影部３０Ｌにより撮影された左目用画像が表示される。操作者１２ａは、右目用ファインダ３１Ｒを介して右目で右目用画像を視認し、左目用ファインダ３１Ｌを介して左目で左目用画像を視認することにより、３Ｄ画像を視認する。
【００２１】
制御部２４ａは、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部２４ａには、各種の集積回路や電子回路を採用できる。例えば、集積回路としては、ＡＳＩＣ（Application  Specific  Integrated  Circuit）が挙げられる。また、電子回路としては、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などが挙げられる。制御部２４ａは、入力部４０と、表示制御部４１と、撮像制御部４２と、画像信号生成部４３と、撮像範囲調整部４４とを有する。
【００２２】
入力部４０は、３Ｄ画像の画像信号が入力する入力インタフェースである。この画像信号には、右目用画像の画像情報と左目用画像の画像情報が含まれる。この画像信号は、右目用画像の画像情報と左目用画像の画像情報が含んでいれば何れの伝送方式であってもよい。例えば、画像信号は、フレームパッキング方式や、サイドバイサイド方式、トップアンドボトム方式などのようにフレーム毎に右目用画像の画像情報と左目用画像を並べて記憶されたものであってもよい。また、画像信号は、フレームシーケンシャル方式など、フレーム毎に右目用画像の画像情報と左目用画像が交互に記憶されたものであってもよい。
【００２３】
表示制御部４１は、表示部２２ａへの画像の表示を制御する処理部である。表示制御部４１は、入力部４０に入力された画像信号に基づき、右目と左目で個別に視認することにより立体視が可能な画像の画像信号を生成して表示部２２ａへ出力する。例えば、表示制御部４１は、画像信号に含まれる右目用画像と左目用画像を時分割で交互に表示させる画像信号を生成して表示部２２ａへ出力する。また、表示制御部４１は、右目用画像と左目用画像が表示されるタイミングを示すタイミング信号を生成し、生成したタイミング信号を撮像制御部４２へ出力する。これにより、表示部２２ａには、右目用画像と左目用画像が時分割で交互に表示される。
【００２４】
なお、本実施例では、入力部４０に入力する画像信号に、右目用画像の画像情報と左目用画像の画像情報が含まれるものとしているが、右目用画像の画像情報と左目用画像の画像情報が別な画像信号で入力部４０に入力してもよい。また、本実施例では、左右の画像の識別タイミングを示す信号も外部から入力部４０に入力してもよい。この場合、表示制御部４１は、右目用の画像信号に示される右目用画像と左目用の画像信号に示される左目用画像を左右の画像の識別タイミングを示す信号に基づいて時分割で交互に表示させる。
【００２５】
撮像制御部４２は、右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌの撮影を制御する処理部である。撮像制御部４２は、表示制御部４１から入力するタイミング信号に同期して、表示部２２ａに右目画像が表示されるタイミングで右目用画像撮影部３０Ｒに対して撮影タイミングを示す信号を送信する。また、撮像制御部４２は、タイミング信号に同期して、表示部２２ａに左目画像が表示されるタイミングで左目用画像撮影部３０Ｌに対して撮影タイミングを示す信号を送信する。これにより、右目用画像撮影部３０Ｒは、表示部２２ａに表示された右目用画像を撮影する。左目用画像撮影部３０Ｌは、表示部２２ａに表示された左目用画像を撮影する。
【００２６】
画像信号生成部４３は、撮影された３Ｄ画像の画像信号を生成する処理部である。画像信号生成部４３は、右目用画像撮影部３０Ｒにより撮影された右目用画像の画像情報および左目用画像撮影部３０Ｌにより撮影された左目用画像の画像情報を含む３Ｄ画像の画像信号を生成して出力する。画像信号は、右目用画像の画像情報と左目用画像の画像情報が含んでいれば何れの伝送方式であってもよい。この出力された画像信号は、通信部２１ａにより相手側の拠点の３Ｄ入出力装置２０に送信される。例えば、３Ｄ入出力装置２０ａのメガネカメラ２３ａの右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌにより撮影された３Ｄ画像の画像信号は、３Ｄ入出力装置２０ｂへ送信される。
【００２７】
なお、画像信号生成部４３は、右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌにより撮影された画像情報の画像信号を随時生成して出力してもよい。また、画像信号生成部４３は、撮影された右目用画像および撮影された左目用画像について、それぞれ直前に撮影された画像からデータで差分が発生した場合に、差分が発生した画像または差分部分の画像の画像信号を生成して出力してもよい。この場合、受信側の３Ｄ入出力装置２０では、差分の画像信号が送信されない場合、直前に受信した３Ｄ画像を継続して表示すればよい。
【００２８】
撮像範囲調整部４４は、前記表示部の画角と右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌの撮影範囲を調整する処理部である。撮像範囲調整部４４は、右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌから入力する画像情報に基づき、撮影範囲に表示部２２ａが含まれるか否かを判定する。例えば、撮像範囲調整部４４は、右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌから入力する画像情報により示される画像に、表示部２２ａを示す矩形の枠が含まれるかを判定する。撮像範囲調整部４４は、撮影範囲に表示部２２ａが含まれない場合、右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌをズームアウトしての撮影範囲を拡大させて表示部２２ａが写るように調整する。また、撮像範囲調整部４４は、撮影範囲に表示部２２ａが含まれるが表示部２２ａの領域が所定の許容サイズ以下の場合、右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌをズームインして表示部２２ａの領域が大きくなるように調整する。なお、メガネカメラ２３ａが右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌの撮影方向を変更する駆動機構を有する場合、撮像範囲調整部４４は、駆動機構を制御して表示部２２ａが撮影範囲内の中央となるように調整してもよい。
【００２９】
３Ｄ入出力装置２０ｂの通信部２１ｂは、ネットワーク１３を介して他の拠点の３Ｄ入出力装置２０ａと各種情報を送受信する。例えば、通信部２１ｂは、３Ｄ画像を示す画像情報の画像信号を３Ｄ入出力装置２０ａから受信する。
【００３０】
メガネカメラ２３ｂは、右目用画像撮影部３２Ｒと、左目用画像撮影部３２Ｌと、右目用ファインダ３３Ｒと、左目用ファインダ３３Ｌとを有する。この右目用画像撮影部３２Ｒ、左目用画像撮影部３２Ｌ、右目用ファインダ３３Ｒ、左目用ファインダ３３Ｌは、メガネカメラ２３ａの右目用画像撮影部３０Ｒ、左目用画像撮影部３０Ｌ、右目用ファインダ３１Ｒ、左目用ファインダ３１Ｌと同様に構成されている。
【００３１】
制御部２４ｂは、入力部５０と、表示制御部５１と、撮像制御部５２と、画像信号生成部５３と、撮像範囲調整部５４とを有する。この入力部５０、表示制御部５１、撮像制御部５２、画像信号生成部５３は、制御部２４ａの入力部４０、表示制御部４１、撮像制御部４２、画像信号生成部４３と、撮像範囲調整部４４と機能的にそれぞれ対応する。
【００３２】
入力部５０には、３Ｄ入出力装置２０ａから受信した画像信号が入力される。表示制御部５１は、入力部５０に入力された画像信号に基づき、右目と左目で個別に視認することにより立体視が可能な画像の画像信号を生成して表示部２２ｂへ出力する。これにより、表示部２２ｂには、３Ｄ入出力装置２０ａで撮影された右目用画像と左目用画像が時分割で交互に表示される。表示制御部５１は、右目用画像と左目用画像が表示されるタイミングを示すタイミング信号を生成する。撮像制御部５２は、表示制御部５１で生成されるタイミング信号に同期して、右目用画像撮影部３２Ｒおよび左目用画像撮影部３２Ｌに対して撮影タイミングを示す信号を送信する。これにより、右目用画像撮影部３２Ｒは、表示部２２ｂに表示された右目用画像を撮影する。左目用画像撮影部３２Ｌは、表示部２２ｂに表示された左目用画像を撮影する。この右目用画像撮影部３２Ｒにより撮影された画像は、右目用ファインダ３３Ｒに表示される。左目用画像撮影部３２Ｌにより撮影された画像は、左目用ファインダ３３Ｌに表示される。操作者１２ｂは、右目用ファインダ３３Ｒを介して右目で右目用画像を視認し、左目用ファインダ３３Ｌを介して左目で左目用画像を視認することにより、３Ｄ画像を視認する。
【００３３】
なお、右目用画像撮影部３２Ｒおよび左目用画像撮影部３２Ｌによりそれぞれ撮影された画像の画像情報は、画像信号生成部５３に入力する。本実施例では、３Ｄ入出力装置２０ｂが共有する３Ｄ画像の受信側として動作するため、画像信号生成部５３は３Ｄ画像の画像信号の生成を行わない。３Ｄ入出力装置２０ｂが共有する３Ｄ画像の送信側として動作する場合、画像信号生成部５３は、３Ｄ画像の画像信号を生成して出力する。
【００３４】
ここで、表示部２２ａに表示される画像について説明する。図３は、表示される画像の一例を示す図である。なお、本実施例では、右目用画像と左目用画像を識別しやすくするため、位置を誇張してずらして示している。実際、それぞれの物体の像は、それぞれを３次元空間内の位置に応じた視差分だけずれて表示される。操作者１２ａがメガネカメラ２３ａを介さずに表示部２２ａを見た場合、図３に示すように、表示部２２ａに表示された右目用の画像と左目用の画像が重畳されて視認される。この重畳された画像は、右目用の画像と左目用の画像が重なったものであり、両目で見ても３Ｄ効果は得られない。
【００３５】
一方、操作者１２ａがメガネカメラ２３ａを介して表示部２２ａを見た場合、表示部２２ａに表示された右目用の画像と左目用の画像が個別に視認される。図４は、右目により視認される画像の一例を示す図である。図５は、左目により視認される画像の一例を示す図である。なお、図４、図５の破線は、３Ｄ画像として視認する位置を説明するための補足線である。メガネカメラ２３ａの右目用画像撮影部３０Ｒは、表示部２２ａに右目用の画像が表示されるタイミングに同期して撮影を行うため、図４に示すように、表示部２２ａに表示された右目用の画像のみが撮影される。また、メガネカメラ２３ａの左目用画像撮影部３０Ｌは、表示部２２ａに左目用の画像が表示されるタイミングに同期して撮影を行うため、図５に示すように、表示部２２ａに表示された左目用の画像のみが撮影される。右目用ファインダ３１Ｒには、右目用画像撮影部３０Ｒにより撮影された画像が表示される。左目用ファインダ３１Ｌは、左目用画像撮影部３０Ｌにより撮影された画像が表示される。また、右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌにより撮影された画像の画像情報は、制御部２４ａへ出力される。
【００３６】
操作者１２ａは、メガネカメラ２３ａの右目用ファインダ３１Ｒを通して右目で右目用画像を視認し、右目用ファインダ３１Ｒを通して左目で左目用画像を視認する。これにより、操作者１２ａは、右目用画像と左目用画像の視差により奥行きを持った３Ｄ画像を視認する。例えば、図４に示した画像を右目により視認し、図５に示した画像を左目により視認した場合、操作者１２ａは、視差により図４、５のＡ，Ｂ，Ｃに表示される画像が、図６に示すようにａ，ｂ，ｃの位置に３Ｄの奥行きを持った３Ｄ画像として認識する。図６は、視認される画像の位置を模式的に示した図である。
【００３７】
ここで、例えば、操作者１２ａの手により仮想空間上への指示を行う場合を例として説明する。操作者１２ａは、仮想的に奥行きの空間情報を持って見えている３Ｄ画像に対し操作者１２ａが手をかざして意図したい指示を３Ｄ画像に向かって行う。図７は、３Ｄ画像に対して指示を行っている状態を模式的に示した図である。図７の例では、３Ｄ画像のカメラ６０の傍の位置に手６１をかざしている。
【００３８】
操作者１２ａが３Ｄ画像上へ手６１をかざした場合、操作者１２ａは、メガネカメラ２３ａを通して３Ｄ画像と合わせて手６１の実像を見ることになる。メガネカメラ２３ａの右目用画像撮影部３０Ｒは、表示部２２ａに右目用の画像が表示されるタイミングに同期して撮影を行うため、表示部２２ａに表示された右目用の画像と手６１の実像を右目から見た画像を撮影する。また、メガネカメラ２３ａの左目用画像撮影部３０Ｌは、表示部２２ａに左目用の画像が表示されるタイミングに同期して撮影を行うため、表示部２２ａに表示された左目用の画像と手６１の実像を左目から見た画像を撮影する。図８は、右目用画像撮影部により撮影される画像の一例を示す図である。図９は、左目用画像撮影部により撮影される画像の一例を示す図である。このメガネカメラ２３ａの右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌにより撮影された画像の画像情報は、画像信号生成部４３により画像信号に変換され、生成された画像信号は、通信部２１ａにより拠点１１ｂの３Ｄ入出力装置２０ｂに送信される。
【００３９】
３Ｄ入出力装置２０ｂの表示部２２ｂには、伝送された画像情報に基づき、右目用画像および左目用画像が時分割で交互に表示される。操作者１２ｂがメガネカメラ２３ｂを介さずに表示部２２ｂを見た場合、図１０に示すように、表示部２２ｂに表示された右目用の画像と左目用の画像が重畳されて視認される。図１０は、表示される画像の一例を示す図である。この重畳された画像は、右目用の画像と左目用の画像が重なったものであり、両目で見ても３Ｄ効果は得られない。
【００４０】
拠点１１ｂの操作者１２ｂは、メガネカメラ２３ｂを介して表示部２２ｂに表示された右目用画像を右目で視認し、左目用画像を左目で視認することにより３Ｄ画像として物体を視認する。この拠点１１ｂの操作者１２ｂが視認する画像は、拠点１１ａの操作者１２ａが視認する画像と同一である。すなわち、拠点１１ｂの操作者１２ｂと拠点１１ａの操作者１２ａは、同じ画像を視認する。例えば、拠点１１ｂの操作者１２ｂは、右目で図８に示した画像を視認し、左目で図９に示した画像を視認する。この結果、操作者１２ｂは、図１１のような３Ｄ空間を体感、操作者１２ａがカメラ６０に手６１をかざしている３Ｄ画像を視認でき、操作者１２ａが体感しているのと同一な３Ｄ画像を共有する。図１１は、視認される画像の位置を模式的に示した図である。
【００４１】
このように、本実施例に係るシステム１０は、拠点１１ａの操作者１２ａと拠点１１ｂの操作者１２ｂで映像を共有することができる。また、３Ｄ入出力装置２０ａは、複雑な処理を行うことなく、実空間の位置と仮想空間の位置とを対応づけることができる。
【００４２】
［処理の流れ］
次に、本実施例に係る３Ｄ入出力装置２０ａにより共有する３Ｄ画像を送信する送信処理の流れを説明する。図１２は、送信処理の手順を示すフローチャートである。この送信処理は、入力部４０に３Ｄ画像の画像信号が入力され、表示の開始を指示する所定操作が行われたタイミングで実行される。
【００４３】
図１２に示すように、表示制御部４１は、入力部４０に入力した画像信号に基づき、右目用画像と左目用画像を時分割で交互に表示させる画像信号を生成して表示部２２ａへ出力する（Ｓ１０）。これにより、表示部２２ａには、右目用画像と左目用画像が時分割で交互に表示される。
【００４４】
表示制御部４１は、右目用画像と左目用画像が表示されるタイミングを示すタイミング信号を生成する（Ｓ１１）。撮像制御部４２は、タイミング信号に同期して、右目画像が表示されるタイミングで右目用画像撮影部３０Ｒへ撮影タイミングを示す信号を送信し、左目画像が表示されるタイミングで左目用画像撮影部３０Ｌへ撮影タイミングを示す信号を送信する（Ｓ１２）。これにより、右目用画像撮影部３０Ｒは、表示部２２ａに右目用の画像が表示されるタイミングに同期して撮影を行う。また、左目用画像撮影部３０Ｌは、表示部２２ａに左目用の画像が表示されるタイミングに同期して撮影を行う。右目用ファインダ３１Ｒには、右目用画像撮影部３０Ｒにより撮影された画像が表示される。左目用ファインダ３１Ｌは、左目用画像撮影部３０Ｌにより撮影された画像が表示される。
【００４５】
画像信号生成部４３は、右目用画像撮影部３０Ｒにより撮影された右目用画像の画像情報および左目用画像撮影部３０Ｌにより撮影された左目用画像の画像情報を含む３Ｄ画像の画像信号を生成する（Ｓ１３）。この生成された３Ｄ画像の画像信号は、通信部２１ａにより３Ｄ入出力装置２０ｂへ送信される。
【００４６】
表示制御部４１は、処理終了が指示されたか否かを判定する（Ｓ１４）。処理終了が指示された場合（Ｓ１４肯定）、処理を終了する。一方、処理終了が指示されていない場合（Ｓ１４否定）、上記ステップＳ１０へ移行する。
【００４７】
次に、本実施例に係る３Ｄ入出力装置２０ｂにより共有する３Ｄ画像を受信する受信処理の流れを説明する。図１３は、受信処理の手順を示すフローチャートである。この受信処理は、３Ｄ入出力装置２０ａから通信部２１ｂを介して入力部５０に３Ｄ画像の画像信号が入力され、表示の開始を指示する所定操作が行われたタイミングで実行される。
【００４８】
図１３に示すように、表示制御部５１は、入力部５０に入力した画像信号に基づき、右目用画像と左目用画像を時分割で交互に表示させる画像信号を生成して表示部２２ｂへ出力する（Ｓ２０）。これにより、表示部２２ｂには、右目用画像と左目用画像が時分割で交互に表示される。この表示部２２ｂに表示される画像は、拠点１１ａの操作者１２ａが視認する画像である。
【００４９】
表示制御部５１は、右目用画像と左目用画像が表示されるタイミングを示すタイミング信号を生成する（Ｓ２１）。撮像制御部５２は、タイミング信号に同期して、右目画像が表示されるタイミングで右目用画像撮影部３２Ｒへ撮影タイミングを示す信号を送信し、左目画像が表示されるタイミングで左目用画像撮影部３２Ｌへ撮影タイミングを示す信号を送信する（Ｓ２２）。これにより、右目用画像撮影部３２Ｒは、表示部２２ｂに右目用の画像が表示されるタイミングに同期して撮影を行う。また、左目用画像撮影部３２Ｌは、表示部２２ｂに左目用の画像が表示されるタイミングに同期して撮影を行う。右目用ファインダ３３Ｒには、右目用画像撮影部３２Ｒにより撮影された画像が表示される。左目用ファインダ３３Ｌは、左目用画像撮影部３２Ｌにより撮影された画像が表示される。これにより、拠点１１ｂの操作者１２ｂは、拠点１１ａの操作者１２ａが視認する３Ｄ画像を共有することができる。
【００５０】
表示制御部５１は、処理終了が指示されたか否かを判定する（Ｓ２３）。処理終了が指示された場合（Ｓ２３肯定）、処理を終了する。一方、処理終了が指示されていない場合（Ｓ２３否定）、上記ステップＳ２０へ移行する。
【００５１】
［実施例１の効果］
本実施例に係る３Ｄ入出力装置２０ａは、右目用画像撮影部３０Ｒにより、３Ｄ表示が可能な表示部２２ａに表示された右目用画像と共に操作者１２ａが右目で視認する実空間の像を撮影する。また、３Ｄ入出力装置２０ａは、左目用画像撮影部３０Ｌにより、表示部２２ａに表示された左目用画像と共に操作者１２ａが左目で視認する実空間の像を撮影する。よって、３Ｄ入出力装置２０ａは、複雑な処理を行うことなく、実空間の位置と仮想空間の位置とを対応づけることができる。
【００５２】
また、本実施例に係る３Ｄ入出力装置２０ａは、右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌによりそれぞれ撮影された画像を示す画像情報を３Ｄ画像を共有する他の装置へ出力する。よって、３Ｄ入出力装置２０ａは、複雑な処理を行うことなく、実空間の位置と仮想空間の位置とを対応づけた３Ｄ画像を他の装置と共有することができる。
【００５３】
また、本実施例に係る３Ｄ入出力装置２０ａは、右目用画像撮影部３０Ｒが、表示部２２ａに時分割で交互に右目用画像と左目用画像が表示される当該右目用画像の表示タイミングに同期して、当該右目用画像と共に操作者が右目で視認する実空間の像を撮影する。また、３Ｄ入出力装置２０ａは、左目用画像撮影部３０Ｌが、表示部２２ａに左目用画像が表示される表示タイミングに同期して、当該左目用画像と共に操作者が左目で視認する実空間の像を撮影する。よって、３Ｄ入出力装置２０ａは、右目用画像撮影部３０Ｒにより撮影された画像を右目で視認し、左目用画像撮影部３０Ｌにより撮影された画像を左目で視認することで、複雑な処理を行うことなく、実空間の位置と仮想空間の位置とを対応づけることができる。
【００５４】
また、本実施例に係る３Ｄ入出力装置２０ａは、表示部２２ａの画角と右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌの撮影範囲とを調整する。よって、３Ｄ入出力装置２０ａは、表示部２２ａに表示される３Ｄ画像を適切に撮影できる。
【００５５】
また、本実施例に係る３Ｄ入出力装置２０ａは、右目用画像撮影部３０Ｒにより撮影された画像をメガネカメラ２３ａの右目用ファインダ３１Ｒに表示して操作者１２ａが右目で視認する。また、３Ｄ入出力装置２０ａは、左目用画像撮影部３０Ｌにより撮影された画像をメガネカメラ２３ａの左目用ファインダ３１Ｌに表示して操作者１２ａが左目で視認する。よって、３Ｄ入出力装置２０ａは、拠点１１ｂで操作者１２ｂが視認する画像を視認できる。
【実施例２】
【００５６】
［システム７０の構成］
次に、実施例２について説明する。実施例２では、遠隔操作を行うシステム７０に適用した場合について説明する。図１４は、実施例２に係るシステムの全体構成を示す図である。図１４の例は、離れた２つの拠点１１ａ、１１ｂ間で、拠点１１ｂに配置された機器を拠点１１ａの操作者１２ａが遠隔操作する場合を示している。なお、上述の実施例１に係る３Ｄ入出力装置２０ａと同一の部分については、同一の符号を付して説明する。
【００５７】
図１４に示すように、システム７０は、拠点１１ａに３Ｄ入出力装置２０ａを有する。また、システム７０は、拠点１１ｂに遠隔操作ロボット８０を有する。３Ｄ入出力装置２０ａは、実施例１と同様に通信部２１ａと、表示部２２ａと、メガネカメラ２３ａと、制御部２４ａとを有する。遠隔操作ロボット８０は、通信部８１と、カメラ部８２と、制御部８３と、アーム部８４とを有する。通信部２１ａと通信部８１との間は、ネットワーク１３を介して通信可能に接続される。
【００５８】
遠隔操作ロボット８０のカメラ部８２は、２つの撮影部が内蔵されており、２つの撮影部により所定の操作対象位置に置かれた操作対象物をそれぞれ撮影する。図１４の例は、操作対象物としてカメラ７１を視認している状態を示している。このカメラ部８２の２つの撮影部により撮影された一方の画像が右目で視認するための右目用画像となり、他方の画像が左目で視認する右目用画像を撮影となる。カメラ部８２の２つの撮影部により撮影された右目用画像および左目用画像が拠点１１ａ側へ送信される。
【００５９】
３Ｄ入出力装置２０ａの表示部２２ａには、遠隔操作ロボット８０から受信した右目用画像および左目用画像が時分割で交互に表示される。操作者１２ａは、メガネカメラ２３ａを介して表示部２２ａに表示された右目用画像を右目で視認し、左目用画像を左目で視認することにより３Ｄ画像として操作対象物を視認する。図１４の例は、操作者１２ａが３Ｄ画像により操作対象物としてカメラ６０を視認している状態を示している。操作者１２ａは、３Ｄ画像として視認したカメラ６０に対して操作を行う。メガネカメラ２３ａは、内蔵された２つの撮影部により、３Ｄ画像と共に操作者１２ａの操作動作を撮影する。制御部２４ａは、メガネカメラ２３ａに内蔵された２つの撮影部により撮影された画像から、３Ｄ画像に対する操作者１２ａの操作内容を検出し、検出した操作内容を示す操作情報を遠隔操作ロボット８０へ送信する。
【００６０】
遠隔操作ロボット８０のアーム部８４は、２つのロボットアーム８５ａ、８５ｂを有する。遠隔操作ロボット８０は、３Ｄ入出力装置２０ａから受信した操作情報に基づき、制御部８３がアーム部８４のロボットアーム８５ａ、８５ｂを動作させ、操作者１２ａがカメラ６０に対して行った操作と同様の操作をカメラ７１に対して行う。これにより、システム１０は、操作者１２ａが遠隔地からカメラ７１に対して遠隔操作を行うことが可能となる。
【００６１】
［３Ｄ入出力装置２０ａ、遠隔操作ロボット８０の装置構成］
次に、３Ｄ入出力装置２０ａ、遠隔操作ロボット８０の装置構成について説明する。図１５は、実施例２に係る３Ｄ入出力装置および遠隔操作ロボットの機能的構成を示すブロック図である。なお、実施例２に係る３Ｄ入出力装置２０ａの構成は、図２に示した実施例１に係る３Ｄ入出力装置２０ａと略同一であるため、同一の部分については、同一の符号を付し、異なる部分について主に説明する。
【００６２】
図１５に示すように、遠隔操作ロボット８０は、通信部８１と、カメラ部８２と、制御部８３と、アーム部８４とを有する。
【００６３】
通信部８１は、他の装置、例えば、拠点１１ａの３Ｄ入出力装置２０ａとの間で通信制御を行うインタフェースである。通信部８１は、ネットワーク１３を介して３Ｄ入出力装置２０ａと各種情報を送受信する。例えば、通信部８１は、操作対象物の３Ｄ画像を示す画像情報の画像信号を３Ｄ入出力装置２０ａへ送信する。また、通信部８１は、３Ｄ入出力装置２０ａから操作対象物に対する操作情報を受信する。かかる通信部８１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。
【００６４】
カメラ部８２は、アーム部８４による操作対象物を撮影するデバイスである。カメラ部８２は、アーム部８４での操作が可能な所定の操作対象位置から所定の距離を隔てて配置され、操作対象位置を撮影する右目用画像撮影部８５Ｒと、左目用画像撮影部８５Ｌとを有する。
【００６５】
右目用画像撮影部８５Ｒと左目用画像撮影部８５Ｌは、人の左右の目の間隔に相当する所定間隔を隔てて撮影方向を同じ方向に向けて設けられている。なお、カメラ部８２は、右目用画像撮影部８５Ｒと左目用画像撮影部８５Ｌの間隔を調整する調整機構を備え、右目用画像撮影部８５Ｒと左目用画像撮影部８５Ｌの間隔を調整できるものとしてもよい。右目用画像撮影部８５Ｒは、操作者１２ａが右目で視認する右目画像を撮影する。左目用画像撮影部８５Ｌは、操作者１２ａが左目で視認する左目画像を撮影する。右目用画像撮影部８５Ｒにより撮影された画像の画像情報および左目用画像撮影部８５Ｌにより撮影された画像の画像情報は、制御部８３へ出力される。
【００６６】
制御部８３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部８３には、各種の集積回路や電子回路を採用できる。制御部８３は、画像信号生成部９０と、アーム制御部９１とを有する。
【００６７】
画像信号生成部９０は、カメラ部８２により撮影された３Ｄ画像の画像信号を生成する処理部である。カメラ部８２は、右目用画像撮影部８５Ｒにより撮影された右目用画像の画像情報および左目用画像撮影部８５Ｌにより撮影された左目用画像の画像情報を含む３Ｄ画像の画像信号を生成して出力する。画像信号は、右目用画像の画像情報と左目用画像の画像情報が含んでいれば何れの伝送方式であってもよい。この出力された画像信号は、通信部８１により３Ｄ入出力装置２０ａに送信される。
【００６８】
なお、画像信号生成部９０は、右目用画像撮影部８５Ｒおよび左目用画像撮影部８５Ｌにより撮影された画像情報の画像信号を随時生成して出力してもよい。また、画像信号生成部９０は、撮影された右目用画像および撮影された左目用画像について、それぞれ直前に撮影された画像からデータで差分が発生した場合に、差分が発生した画像または差分部分の画像の画像信号を生成して出力してもよい。この場合、受信側の３Ｄ入出力装置２０ａでは、差分の画像信号が送信されない場合、直前に受信した３Ｄ画像を継続して表示すればよい。
【００６９】
アーム制御部９１は、アーム部８４のロボットアーム８５ａ、８５ｂの動作を制御する処理部である。アーム制御部９１は、３Ｄ入出力装置２０ａから受信される操作情報に応じて、アーム部８４に設けられた、ロボットアーム８５ａ、８５ｂを動作させるモータやシリンダーなどの各種アクチュエータ９２を駆動させ、ロボットアーム８５ａ、８５ｂを動作させる。
【００７０】
一方、３Ｄ入出力装置２０ａの制御部２４ａは、分離部４５と、第１の差分抽出部４６と、第２の差分抽出部４７と、操作検出部４８とをさらに有する。
【００７１】
入力部４０には、遠隔操作ロボット８０から受信した画像信号が入力する。入力部４０に入力した画像信号は、表示制御部４１および分離部４５に出力される。
【００７２】
分離部４５は、画像信号に含まれる右目用画像の画像情報と左目用画像の画像情報を分離する処理部である。分離部４５は、分離した右目用画像の画像情報を第１の差分抽出部４６へ出力し、左目用画像の画像情報を第２の差分抽出部４７へ出力する。
【００７３】
第１の差分抽出部４６は、画像の差分から画像の変化を抽出する処理部である。第１の差分抽出部４６には、分離部４５から右目用画像の画像情報が入力する。また、第１の差分抽出部４６には、右目用画像撮影部３０Ｒから撮影した画像の画像情報が入力する。第１の差分抽出部４６は、右目用画像撮影部３０Ｒにより撮影された画像の右目用画像に対応する部分と、分離部４５により分離された右目用画像とを比較する。第１の差分抽出部４６は、分離された右目用画像に対して、撮影された画像の右目用画像に対応する部分の変化を差分として抽出する。
【００７４】
第２の差分抽出部４７も、操作によって画像の変化した部分を抽出する処理部である。第２の差分抽出部４７には、分離部４５から左目用画像の画像情報が入力する。また、第２の差分抽出部４７には、左目用画像撮影部３０Ｌから撮影した画像の画像情報が入力する。第２の差分抽出部４７は、左目用画像撮影部３０Ｌにより撮影された画像の左目用画像に対応する部分と、分離部４５により分離された左目用画像とを比較する。第２の差分抽出部４７は、分離された左目用画像に対して、撮影された画像の左目用画像に対応する部分の変化を差分として抽出する。
【００７５】
操作検出部４８は、３Ｄ画像に対する操作者１２ａの操作内容を検出する処理部である。操作検出部４８は、第１の差分抽出部４６および第２の差分抽出部４７によりそれぞれ抽出された差分情報に基づき、操作者１２ａの操作を検出する。例えば、操作検出部４８は、右目用画像の差分として抽出された変化部分と、左目用画像の差分として抽出された変化部分の画像内での位置から操作された対象物を判別して操作を検出する。
【００７６】
ここで、操作の検出について説明する。ここでは、図７に示したように、３Ｄ画像として視認されたカメラ６０のシャッターを操作者１２ａが操作する場合を例にして説明する。操作者１２ａがカメラ６０のシャッターに手６１をかざした場合、右目用画像撮影部３０Ｒは、表示部２２ａに右目用の画像が表示されるタイミングに同期して撮影を行うため、表示部２２ａに表示された右目用の画像と手６１の実像を右目から見た画像を撮影する。また、左目用画像撮影部３０Ｌは、表示部２２ａに左目用の画像が表示されるタイミングに同期して撮影を行うため、表示部２２ａに表示された左目用の画像と手６１の実像を左目から見た画像を撮影する。
【００７７】
第１の差分抽出部４６は、右目用画像撮影部３０Ｒにより撮影された画像の右目用画像に対応する部分と、分離部４５により分離された右目用画像とを比較し、変化した部分を差分として抽出する。第２の差分抽出部４７は、左目用画像撮影部３０Ｌにより撮影された画像の左目用画像に対応する部分と、分離部４５により分離された左目用画像とを比較し、変化した部分を差分として抽出する。
【００７８】
例えば、第１の差分抽出部４６は、図１６に示すように、右目用画像をｎ×ｎの範囲にマッピングして以下の式（１）に示すようにパラメータβ,φにより右目用画像内の位置を座標化する。同様に、第２の差分抽出部４７は、図１７に示すように、右目用画像をｎ×ｎの範囲にマッピングして、以下の式（２）に示すように、パラメータα,γにより左目用画像内の位置を座標化する。図１６は、右目用画像のマッピングの一例を示す図である。図１７は、左目用画像のマッピングの一例を示す図である。
【００７９】
（Ｘ，Ｙ）  ＝  （β,φ）  ・・・（１）
（Ｘ，Ｙ）  ＝  （α,γ）  ・・・（２）
【００８０】
ここで、右目用画像内でのカメラ６０のシャッターの座標は、図１８に示すように、以下の式（３）に示す座標であるものとする。また、左目用画像内でのカメラ６０のシャッターの座標は、図１９に示すように、以下の式（４）に示す座標であるものとする。図１８は、右目用画像でのカメラのシャッターの座標を詳細に示した図である。図１９は、左目用画像でのカメラのシャッターの座標を詳細に示した図である。
【００８１】
（Ｘ，Ｙ）  ＝  （ｊ，ｋ）  ・・・（３）
（Ｘ，Ｙ）  ＝  （ｌ，ｍ）  ・・・（４）
【００８２】
第１の差分抽出部４６は、撮影された画像の右目用画像に対応する部分と、分離された右目用画像とを比較し、画像が変化した部分の座標を差分として抽出する。第２の差分抽出部４７は、撮影された画像の左目用画像に対応する部分と、分離された左目用画像とを比較し、画像が変化した部分を差分として抽出する。
【００８３】
操作検出部４８は、次のように判定を行って、操作者１２ａがカメラ６０のシャッターに触れていると判断する。すなわち、操作検出部４８は、第１の差分抽出部４６により抽出された差分箇所の座標が式（３）に示すシャッターの座標と一致するかを判定する。また、操作検出部４８は、第２の差分抽出部４７により抽出された差分箇所の座標が、式（４）に示すカメラのシャッターの座標と一致するかを判定する。操作検出部４８は、第１の差分抽出部４６による差分箇所の座標がシャッターの座標と一致し、かつ、第２の差分抽出部４７による差分箇所の座標がシャッターの座標と一致した場合に、操作者１２ａの手６１がカメラ６０のシャッターに触れていると検出する。操作検出部４８は、カメラ６０のシャッターに触れていることを検出した場合、検出した操作内容を示す操作情報を遠隔操作ロボット８０へ送信する。
【００８４】
また、操作検出部４８は、第１の差分抽出部４６および第２の差分抽出部４７により抽出された画像が変化した部分の座標の変化から操作を検出する。例えば、操作検出部４８は、第１の差分抽出部４６により抽出される座標が（ｊ，ｋ）から（ｊ，ｋ−１）方向へ移動し、第２の差分抽出部４７により抽出される座標が（ｌ，ｍ）から（ｌ，ｍ−１）方向へ移動した場合、シャッターが押されたと検出する。
【００８５】
［処理の流れ］
次に、本実施例に係る３Ｄ入出力装置２０ａにより操作を検出する検出処理の流れを説明する。図２０は、検出処理の手順を示すフローチャートである。この検出処理は、入力部４０に３Ｄ画像の画像信号が入力され、操作の検出開始を指示する所定操作が行われたタイミングで実行される。
【００８６】
図２０に示すように、第１の差分抽出部４６は、右目用画像撮影部３０Ｒにより撮影された画像の右目用画像に対応する部分と、分離部４５により分離された右目用画像とを比較し、変化した部分を差分として抽出する（Ｓ３０）。第２の差分抽出部４７は、左目用画像撮影部３０Ｌにより撮影された画像の左目用画像に対応する部分と、分離部４５により分離された左目用画像とを比較し、変化した部分を差分として抽出する（Ｓ３１）。
【００８７】
操作検出部４８は、第１の差分抽出部４６により抽出された変化部分と、第２の差分抽出部４７により抽出された変化部分が同じ対象物であるか否かを判定する（Ｓ３２）。同じ対象物である場合（Ｓ３２肯定）、操作検出部４８は、対象物に対する操作であるとして、検出した操作内容を示す操作情報を遠隔操作ロボット８０へ送信する（Ｓ３３）。一方、同じ対象物ではない場合（Ｓ３２否定）、後述するＳ３４へ移行する。
【００８８】
操作検出部４８は、処理終了が指示されたか否かを判定する（Ｓ３４）。処理終了が指示された場合（Ｓ３４肯定）、処理を終了する。一方、処理終了が指示されていない場合（Ｓ３４否定）、上記Ｓ３０へ移行する。
【００８９】
［実施例２の効果］
本実施例に係る３Ｄ入出力装置２０ａは、表示部２２ａに表示される右目用画像および左目用画像の画像情報が入力する。３Ｄ入出力装置２０ａは、右目用画像撮影部３０Ｒにより撮影された画像の右目用画像に対応する部分と入力した画像情報が示す右目用画像との差分を抽出する。また、３Ｄ入出力装置２０ａは、左目用画像撮影部３０Ｌにより撮影された画像の左目用画像に対応する部分と入力した画像情報が示す左目用画像との差分を抽出する。そして、３Ｄ入出力装置２０ａは、それぞれ抽出された差分情報に基づき、前記操作者の操作を検出する。よって、３Ｄ入出力装置２０ａは、操作者１２ａの操作を精度良く検出できる。また、３Ｄ入出力装置２０ａは、３Ｄ画像の物体に対する操作を検出できる。
【実施例３】
【００９０】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてもよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００９１】
例えば、上記の実施例１では、通信相手へ画像信号を送信する場合について説明したが、開示の装置はこれに限定されない。例えば、実施例２のように操作者１２ａの操作内容を検出して操作情報をさらに送信してもよい。
【００９２】
また、上記の実施例では、表示部２２ａの右目画像と左目画像の表示タイミングに合わせて右目用画像撮影部３０Ｒと左目用画像撮影部３０Ｌにより撮影を行う場合について説明したが、開示の装置はこれに限定されない。例えば、右目用画像撮影部３０Ｒと左目用画像撮影部３０Ｌのレンズの前方にシャッタを設け、シャッタが交互に開閉して右目用画像撮影部３０Ｒに右目用画像を透過させ、左目用画像撮影部３０Ｌに左目用画像を透過させてもよい。この場合、右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌは、シャッタの開くタイミングで撮影を行ってもよい。また、右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌが所定のフレームレートで撮影を行い、制御部２４ａがシャッタの開の期間の画像を抽出してもよい。また、表示部２２ａが互いに直交する偏光光で右目用画像と左目用画像を表示し、右目用画像撮影部３０Ｒと左目用画像撮影部３０Ｌに互いに直交する偏光レンズを装着して右目用画像と左目用画像を別々に透過させてもよい。
【００９３】
また、上記の実施例では、操作者１２ａが右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌに撮影されて右目用ファインダ３１Ｒおよび左目用ファインダ３１Ｌに表示された画像を視認する場合について説明したが、開示の装置はこれに限定されない。例えば、操作者１２ａが左右のレンズにシャッタが内蔵されたシャッタメガネを装着して３Ｄ画像を視認するものとし、そのシャッタメガネに右目用画像撮影部３０Ｒおよび左目用画像撮影部３０Ｌを設けてもよい。
【００９４】
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、３Ｄ入出力装置２０ａの入力部４０、表示制御部４１、撮像制御部４２、画像信号生成部４３、分離部４５、第１の差分抽出部４６、第２の差分抽出部４７、操作検出部４８の各処理部が適宜統合されてもよい。また、各処理部の処理が適宜複数の処理部の処理に分離されてもよい。また、各処理部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の３Ｄ入出力装置２０の機能を実現するようにしてもよい。
【００９５】
［３Ｄ入力プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図２１を用いて、上記の実施例と同様の機能を有する３Ｄ入力プログラムを実行するコンピュータの一例について説明する。
【００９６】
図２１は、３Ｄ入力プログラムを実行するコンピュータの一例について説明するための図である。図２１に示すように、コンピュータ２００は、操作部２１０と、ディスプレイ２２０と、通信部２３０とを有する。さらに、このコンピュータ２００は、ＣＰＵ２５０と、ＲＯＭ２６０と、ＨＤＤ２７０と、ＲＡＭ２８０と有する。これら２１０〜２８０の各部はバス２４０を介して接続される。
【００９７】
ＨＤＤ２７０には、入力部４０、表示制御部４１、撮像制御部４２、画像信号生成部４３、分離部４５、第１の差分抽出部４６、第２の差分抽出部４７、操作検出部４８と同様の機能を発揮する３Ｄ入力プログラム２７０ａが予め記憶される。この３Ｄ入力プログラム２７０ａについては、各実施例で示した各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ２７０に格納される各データは、常に全てのデータがＨＤＤ２７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ２７０に格納されれば良い。
【００９８】
そして、ＣＰＵ２５０が、３Ｄ入力プログラム２７０ａをＨＤＤ２７０から読み出してＲＡＭ２８０に展開する。これによって、図２１に示すように、３Ｄ入力プログラム２７０ａは、３Ｄ入力プロセス２８０ａとして機能する。この３Ｄ入力プロセス２８０ａは、ＨＤＤ２７０から読み出した各種データを適宜ＲＡＭ２８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。３Ｄ入力プロセス２８０ａは、表示制御部４１、撮像制御部４２、画像信号生成部４３、分離部４５、第１の差分抽出部４６、第２の差分抽出部４７、操作検出部４８にて実行される処理、例えば図１２、図１３、図２０に示す処理を含む。すなわち、３Ｄ入力プロセス２８０ａは、表示制御部４１、撮像制御部４２、画像信号生成部４３、分離部４５、第１の差分抽出部４６、第２の差分抽出部４７、操作検出部４８と同様の動作を実行する。なお、ＣＰＵ２５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ２５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
【００９９】
なお、上記の３Ｄ入力プログラム２７０ａについては、必ずしも最初からＨＤＤ２７０やＲＯＭ２６０に記憶させておく必要はない。例えば、コンピュータ２００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ２００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ２００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ２００がこれらから各プログラムを取得して実行するようにしてもよい。
【符号の説明】
【０１００】
１０、７０            システム
１２ａ、１２ｂ        操作者
２０、２０ａ、２０ｂ  ３Ｄ入出力装置
２２ａ、２２ｂ        表示部
２４ａ、２４ｂ        制御部
３０Ｒ、３２Ｒ        右目用画像撮影部
３０Ｌ、３２Ｌ        左目用画像撮影部
３１Ｒ、３３Ｒ        右目用ファインダ
３１Ｌ、３３Ｌ        左目用ファインダ
４０、５０            入力部
４１、５１            表示制御部
４２、５２            撮像制御部
４３、５３            画像信号生成部
４４、５４            撮像範囲調整部
４５                  分離部
４６                  第１の差分抽出部
４７                  第２の差分抽出部
４８                  操作検出部
【図１】
0005906894.tif 000002
【図２】
0005906894.tif 000003
【図３】
0005906894.tif 000004
【図４】
0005906894.tif 000005
【図５】
0005906894.tif 000006
【図６】
0005906894.tif 000007
【図７】
0005906894.tif 000008
【図８】
0005906894.tif 000009
【図９】
0005906894.tif 000010
【図１０】
0005906894.tif 000011
【図１１】
0005906894.tif 000012
【図１２】
0005906894.tif 000013
【図１３】
0005906894.tif 000014
【図１４】
0005906894.tif 000015
【図１５】
0005906894.tif 000016
【図１６】
0005906894.tif 000017
【図１７】
0005906894.tif 000018
【図１８】
0005906894.tif 000019
【図１９】
0005906894.tif 000020
【図２０】
0005906894.tif 000021
【図２１】
0005906894.tif 000022