(57)【要約】【課題】回転光学系を用いた投影系に撮像系を備えた投影撮像装置を提供する。【解決手段】回転軸６０を中心に回転する軸反射ミラー３０と、その２倍の速度で回転するレンチキュラシート４０と、プロジェクター１０とよりなり、時分割で投影系に、レンチキュラシート４０でない部分が撮像できるように軸反射ミラー３０に向けカメラ２０を設置する。このようにすることで、時分割で投影と撮像が行うことが投影と撮像と同じ軸でできる。【選択図】      図１
2006276524.tif 000002
【特許請求の範囲】
【請求項１】
回転光学系を用いて映像を投影する投影手段と、前記回転光学系を用いて被写体を撮像する撮像手段とを具備する投影撮像装置であって、
前記回転光学系は、垂直方向の回転軸を中心に任意の回転速度で回転し、外周方向に向かって光を反射する軸反射面と、前記回転軸と対面すると共に前記軸反射面の回転速度の２倍の回転速度で回転し、かつ、光を任意の光線分布に拡散させる拡散面とを具備し、
前記投影手段は、前記軸反射面を介して前記拡散面に前記映像を投影し、かつ、前記軸反射面の回転角度に応じた前記映像を投影し、
前記撮像手段は、前記軸反射面に写った前記被写体の写像を撮像する
ことを特徴とする投影撮像装置。
【請求項２】
前記投影手段は、前記回転光学系の内周面に前記映像を投影し、
前記撮像手段は、前記回転光学系の外周にある前記被写体を撮像する
ことを特徴とする請求項１記載の投影撮像装置。
【請求項３】
前記投影手段は、前記回転光学系の外周面に前記映像を投影し、
前記撮像手段は、前記回転光学系の内周側の前記被写体を撮像する
ことを特徴とする請求項１記載の投影撮像装置。
【請求項４】
前記投影手段は複数からなり、前記各投影手段から垂直方向に異なった複数の映像を前記軸反射面を介して投影する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項５】
前記撮像手段は複数からなり、前記各撮像手段は、前記軸反射面に写った垂直方向に異なった複数の被写体の写像を撮像する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の映像投影装置。
【請求項６】
前記回転光学系は、前記回転軸に対面すると共に前記軸反射面の回転速度の２倍の回転速度で回転する撮像用反射面をさらに具備し、
前記投影手段は、前記撮像用反射面と前記軸反射面を介して前記被写体を撮像する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項７】
前記投影手段は、あおり角で投影し、
前記撮像手段は、あおり角で撮像する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項８】
前記回転光学系は、前記軸反射面と前記拡散面を介した光を受けることができる位置に設置される偏向素子を具備する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項９】
前記偏向素子は、前記回転軸を中心とした回転対称の形状をなしている
ことを特徴とする請求項８記載の投影撮像装置。
【請求項１０】
前記偏向素子は、反射偏向素子である
ことを特徴とする請求項８記載の投影撮像装置。
【請求項１１】
前記軸反射面は、表裏両面に反射面を具備する
ことを特徴とした請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項１２】
前記投影手段は、水平方向に異なった複数の映像を前記軸反射面を介して前記拡散面に投影し、かつ、前記各映像は前記回転角度に応じて投影する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項１３】
前記撮像手段は、前記軸反射面に写った水平方向に異なった複数の被写体の写像を撮像する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項１４】
前記投影手段は、観察者の観察位置に応じ投影角度を回転させる
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項１５】
前記撮像手段によって撮像された映像を他の映像投影装置へ送信し、他の映像投影装置によって撮像された映像を受信する通信手段を具備し、
前記投影手段は、前記受信した映像を投影する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項１６】
前記撮像手段の光学系と前記他の映像投影装置の投影手段の光学系とが共役関係にあるか、または、前記投影手段の光学系と前記他の映像投影装置の撮像手段の光学系とが共役関係にある
ことを特徴とする請求項１４に記載の投影撮像装置。
【請求項１７】
前記撮像手段は指向性を持った光線群として撮像できる
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項１８】
前記投影撮像装置は、録音手段と音再生手段とを有する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項１９】
前記投影撮像装置は、移動手段を有する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
【請求項２０】
回転光学系を用いて映像を投影し、また、前記回転光学系を用いて被写体を撮像する投影撮像方法であって、
前記回転光学系は、垂直方向の回転軸を中心に任意の回転速度で回転し、外周方向に向かって光を反射する軸反射面と、前記回転軸と対面すると共に前記軸反射面の回転速度の２倍の回転速度で回転し、かつ、光を垂直方向に拡散させる拡散面とを具備し、
前記軸反射面を介して前記拡散面に前記映像を投影し、かつ、前記軸反射面の回転角度に応じた前記映像を投影し、
前記軸反射面に写った前記被写体の写像を撮像する
ことを特徴とする投影撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体的な映像などを投影及び被写体を撮像できる投影撮像装置及びその方法に関する。
【背景技術】
【０００２】
近年、立体投影への要望が高まっており、様々な方式に対する研究が行われている。よく知られた立体投影方法には、両眼視差を利用する方法がある。この方法は、メガネを用いて両眼視差を有する画像をそれぞれ左右の目に分離して観察させることにより立体視を実現する方法である。しかし、この方法ではメガネをかけるわずらわしさがある。
【０００３】
そこで光学的に分離し観察位置により投影像を変化させることによりメガネなしの立体投影を行うことができる方法がある。このメガネなしの立体投影の方法には、投影させる像の量や密度によって２眼式、多眼式、超多眼式などに分けることができる。
【０００４】
つまり、異なる方向の指向性画像を観察位置によって複数投影を行うと観察者に奥行き感を含めたリアリティーある投影を行うことができる。また、観察者を撮像すると観察者の位置を推定でき、限りある投影デバイスを有効に利用することができる。
【０００５】
特許文献１に記載された方法は、回転光学系を用いた投影装置であり、時分割で指向性画像を投影できるため高品位な立体映像を広範囲で投影できる。
【特許文献１】特開２００４−３３６６８０公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載された方法では、投影デバイスをより有効に利用するためにも観察者を撮像する撮像系を投影に組み込む必要がある。
【０００７】
そこで、本発明は、回転光学系を用いた投影系に撮像系を備えた投影撮像装置を提供する。
【課題を解決するための手段】
【０００８】
本発明は、回転光学系を用いて映像を投影する投影手段と、前記回転光学系を用いて被写体を撮像する撮像手段とを具備する投影撮像装置であって、前記回転光学系は、垂直方向の回転軸を中心に任意の回転速度で回転し、外周方向に向かって光を反射する軸反射面と、前記回転軸と対面すると共に前記軸反射面の回転速度の２倍の回転速度で回転し、かつ、光を垂直方向に拡散させる拡散面とを具備し、前記投影手段は、前記軸反射面を介して前記拡散面に前記映像を投影し、かつ、前記軸反射面の回転角度に応じた前記映像を投影し、前記撮像手段は、前記軸反射面に写った前記被写体の写像を撮像することを特徴とする投影撮像装置である。
【発明の効果】
【０００９】
本発明によって、同じ回転光学系を用いて投影系と撮像系とを実現できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の投影撮像装置の各実施形態を図面に基づき説明する。
【００１１】
［第１の実施形態］
本発明の第１の実施形態の投影撮像装置について図１〜６に基づき説明する。
【００１２】
第１の実施形態の投影撮像装置は、後から説明する実施形態の基本概念を説明するための実施形態である。
【００１３】
（１）投影撮像装置の構成
図１は投影撮像装置の構成を示し、図２は平面図を示し、図３は側面図を示す。
【００１４】
投影撮像装置は、円筒形の回転光学系装置５０と、プロジェクター１０と、カメラ２０によって構成される。
【００１５】
回転光学系装置５０は、軸反射ミラー３０とレンチキュラシート４０によって構成される。軸反射ミラー３０は垂直な回転軸６０の回りに任意の回転速度で回転可能である。レンチキュラシート４０は、横向きにかまぼこ型の凹凸を並べて複数配置し、軸反射ミラー３０の２倍の回転速度で回転する。
【００１６】
プロジェクター１０は、軸反射ミラー３０に向け、任意のあおり角を有して投影する。すなわち、斜めから投影する。また、プロジェクター１０は図２、図３で示すように軸反射ミラー３０に投影された光がレンチキュラシート４０に投影される位置に設置される。
【００１７】
カメラ２０もプロジェクター１０とほぼ同様のあおり角で軸反射ミラー３０に向け設置する。
【００１８】
このような配置で回転光学系装置５０を回転させ、回転角度に対応した映像を投影すれば、水平角度に対する指向性画像を投影できる。この指向性画像が残像効果で光線の集合となり、水平方向に視差を持った立体投影が可能となる。
【００１９】
全周回転させれば回転軸６０を中心にして拡散面の外側に指向性画像の集合として立体的に画像が取得できると共に、投影面を観察している観察者や投影撮像装置の外周の映像を内側から撮像することができる。
【００２０】
水平方向にも拡散させれば、回転させることなく広範囲でその映像を投影することができるので、撮像された観察者の映像を基に投影範囲を追従させることもできる。
【００２１】
ここでは垂直方向の拡散手段としてレンチキュラシート４０を横置きにしたものができるが、他にもホログラム光学素子や異方性拡散シートなどを用いることもできる。また、任意の光線分布の光の広がりを形成するために、垂直方向の拡散だけでなく水平方向の拡散効果を含めることもできる。
【００２２】
一般的に光線再生法やインテグラルイメージングといった指向性画像の投影では平行光の集合で立体像を表現することが多い。そのため、拡散面にレンズ等を付加し投影光を平行光にすることもできる。
【００２３】
プロジェクター１０には、時分割で投影を行うためにＤＭＤ（デジタルミラーデバイス、テキサスインスツルメンツ社の登録商標）を用いたプロジェクター１０がある。こうすることで、時間応答性がよく、多くの視差を生成することができる。
【００２４】
回転光学系装置５０は回転数を制御し、投影映像やカメラ２０との同期することが重要となる。垂直拡散のためのレンチキュラシート４０は回転軸６０上の軸反射ミラー３０の２倍の速度にするためには回転動力を共通とし、ギヤを介して回転させる。回転センサーを設けその信号に同期を取り画像の入力出力させることもできる。
【００２５】
あおり投影から、垂直の拡散面に結像させるために、垂直の画像投影素子１０２と垂直の投影レンズ１０３をあおり角に合わせてずらすことで垂直の面に結像させることができる。また、投影レンズを斜入射用として設計し収差を減らすこともできる。
【００２６】
（２）凸型の投影撮像装置
図４に拡散面を傾けた投影撮像装置の構成を示す側面図を示す。図４に示すように、拡散面を投影方向と垂直に傾けて用いる。
【００２７】
このように装置外側に投影し、外側の映像を撮影する投影撮像装置については、第２の実施形態における凸型の投影撮像装置で説明する。
【００２８】
（３）凹型の投影撮像装置
投影のための面の裏にミラーを挟み、カメラ２０が回転ミラー３０を介して撮像できる面にミラーを配置することによって、投影撮像装置の内側の投影と撮像を可能にできる。つまり、反射させて投影を行うため、全周回転させれば回転軸を中心にして拡散面の回転径の内側で指向性画像の集合として立体的に画像が投影できると共に、投影像を観察している観察者や投影撮像装置の内周の映像を外側から撮像することができる。
【００２９】
このように装置内側に投影し、内側の映像を撮像する投影撮像装置については、第３の実施形態における凹型の投影撮像装置で説明する。
【００３０】
（２）投影系の垂直視差の生成
投影系の垂直方向の視差の生成について図５〜６に基づき説明する。
【００３１】
回転光学系装置５０の回転によって、水平視差を生み出すことはできる。しかし、垂直方向の視差を生み出すためには垂直方向にプロジェクター１０を重ねる。
【００３２】
プロジェクター１０の出射瞳が光線の広がりを支配する。そのため、隙間なく画像を観察するためには出射瞳が連続する必要がある。垂直方向に射出瞳が連続的に構成できれば垂直拡散が必要なくなる。撮像系では光学系中に拡散光学素子が入っていると像がぼやけてしまい撮像に使えない。そのため、一次元の（水平方向のみに視差が着く）場合、２段目のミラーを投影系と撮像系の共通に使うことができなかった。二次元視差（プロジェクター１０を上下に重ね、カメラ２０も上下に重ねる）場合、２段目のミラーに垂直拡散が必要なくなるため、そのままカメラ２０を光軸上に設置することも可能となる。一つの方法としてハーフミラーを用いて撮像と投影を分けることもできる。
【００３３】
そこで、プロジェクター１０の筐体が邪魔になることがある。連続しない光の領域をなくすために垂直方向に拡散させることがある。図５に垂直方向に複数台のプロジェクター１０を配置した投影撮像装置の構成の側面図を示す。
【００３４】
また射出瞳をずらして配置することもできる。図６に射出瞳を水平方向にずらした複数のプロジェクター１０を配置を示す。プロジェクター１０−１、プロジェクター１０−２、プロジェクター１０−３はそのままでは筐体が邪魔で垂直方向に重ねて出射瞳を設置することができない。図６に示すように投影レンズ１０３と投影レンズ１１３と投影レンズ１２３が垂直方向に隙間なく配置されれば、回転による残像効果で隙間なく光線画像を投影させることができる。角度対応が取れていれば、回転による時分割投影によって水平の視差と垂直の視差を与えることができる。
【００３５】
（３）撮像系の垂直方向の視差の生成
撮像系も同様に垂直方向に視差をつけて撮像することができる。こうすることで水平にも垂直にも視差を持った視差画像を得ることができる。
【００３６】
また、投影面を観察者の観察位置に応じて追従する際奥行き量を回転による視差なしに得ることができる。
【００３７】
［第２の実施形態］
次に、第２の実施形態の投影撮像装置について説明する。第２の実施形態は凸型の投影撮像装置である。
【００３８】
凸型の投影撮像装置とは、図９の左図に示すように、円筒型の空間を考えて、前記円筒形の空間の外側から観察者が、前記円筒形内周に投影された三次元立体画像を観察する投影系と、前記円筒形の空間の外周の被写体を撮像する撮像系が実現できる。図９中の灰色が投影系の投影像であって、撮像系の被写体は遠くの景色を含めた外周３６０度である。黒色が観察者である。なお、円筒形の空間とは、円筒形の回転光学系装置５０によって実現できる。以下、この凸型の投影撮像装置を簡単に「凸型装置」という。
【００３９】
（１）凸型装置の構成
図１０〜１２は、凸型装置の説明図である。
【００４０】
図１０〜１２に示すように、回転軸６０と垂直に設置された軸反射ミラー３０が装置の中心にあり、その軸反射ミラー３０にプロジェクター１０とカメラ２０があおりながら向けられている。
【００４１】
プロジェクター１０の光が軸反射ミラー３０越しに映る位置に稜線を横向き（回転方向）のレンチキュラシートとミラーとが一体的な投影用ミラー４１が設置されている。２回反射した光は回転軸６０上に垂直に設置されたプリズムシート７０上に投影され、観察者方向に曲げられる。
【００４２】
カメラ２０も同様に回転軸６０上の軸反射ミラー３０をプロジェクター１０と共用で用いて、カメラ２０と軸反射ミラー３０の反射関係にある位置に撮像用ミラー４２が設置され、プリズムシート７０で曲がった光が、撮像用ミラー４２と軸反射ミラー３０で反射されて軸反射ミラー３０の写像をカメラ２０で撮像する。
【００４３】
回転軸６０上の軸反射ミラー３０は任意の回転速度で回転可能で、その速度の２倍の速度でプリズムシート７０と投影用ミラー４１と撮像用ミラー４２が回転する。このようにすることでプロジェクター１０の光は常にプリズムシート７０に同じ角度で投影され外れない。
【００４４】
（２）回転の説明
回転と投影・撮像との関係について述べる。図１６〜１９に凸型装置の回転を説明する図を示す。ここではわかりやすくするために投影系のみを示しているが撮像系でも同様である。
【００４５】
回転軸６０に向かって設置されたプロジェクター１０と、回転軸６０に設置され回転可能な軸反射ミラー３０と、その回転軸６０を中心とする円周上を回転可能でレンチキュラシートと反射ミラーが一体的に設置された投影用ミラー４１と、回転軸６０上に設置されたプリズムシート７０が設置されている。
【００４６】
投影用ミラー４１とプリズムシート７０は回転速度を等しく回転させるため、相対速度は０であり、いつでもプリズムシート７０と投影用ミラー４１の相対位置関係は同じである。一方、軸反射ミラー３０は投影用ミラー４１とプリズムシート７０のほぼ半分の速度で回転する。そうすることで、停止しているプロジェクター１０の光が軸反射ミラー３０の回転角の２倍の角度で反射し軸反射ミラー３０にいつでも届くようになる。
【００４７】
プロジェクター１０の投影角度間隔は光の広がりによって決めることができる。後に説明するが立体投影（指向性投影）を行うときに、１つの指向性画像の投影範囲（光の広がり）に斑があると観察できない場所ができる。このため水平方向の光の広がり角α毎に投影すれば、観察できない場所ができずに指向性画像を投影できる。
【００４８】
撮像系でも投影系の光の広がり角α毎に画像を取得できればよい。そうすれば、投影系でそのまま撮像できる。
【００４９】
（３）投影型一次元インテグラルイメージングの説明
図２０〜２２は、投影型１次元インテグラルイメージングの要素画像投影を説明する図である。
【００５０】
「インテグラルイメージング技術」とは、様々な指向性映像を統合することにより指向性映像を含む映像を再現する技術で、奥行きを含めた表現ができる。
【００５１】
「一次元インテグラルイメージング」とは、人間の目が横に２つあるので奥行き知覚に垂直方向の視差の要因が少なく水平視差のみを投影するインテグラルイメージング技術である。
【００５２】
ここでは投影型一次元インテグラルイメージングの一つの方法について説明する。
【００５３】
「要素画像」と呼ばれる指向性画像を稜線が水平方向に走るレンチキュラシート４０に投影すると、垂直方向には拡散し、水平方向は光線がほとんど広がらない。こうすることで図２２に示すような垂直方向には画面全体が見え水平方向には一部しか見えないようになる。水平方向の光の広がりは射出瞳の幾何学的関係によって決まる。設計方法によっては光学素子を入れることによって任意の光の広がりに変化させることもできる。
【００５４】
図２３、図２４に投影型１次元インテグラルイメージングの統合画像投影を説明する図を示す。
【００５５】
図２３のように回転などで様々な投影されると、様々な方向の画像が統合され図２４のように場面全体を観察できる。このため、投影系ではレンチキュラシート４０を内奏することによって、一次元インテグラルイメージングが投影できる。
【００５６】
［第３の実施形態］
次に、第３の実施形態の投影撮像装置について説明する。第３の実施形態は凹型の投影撮像装置である。
【００５７】
凹型の投影撮像装置とは、図９の右図に示すように円筒型の空間を考えて、前記円筒形の空間の内側にいる観察者が、前記円筒形の３６０度の外周の三次元立体画像を観察することができる投影系と、前記円筒形の空間の内周の被写体を撮像することが撮像系とを実現できる。図９中の灰色が投影像で、遠くの景色を含めた外周３６０度が投影できる。撮像系は内部全てを撮像する。このとき、対面しながら投影を行えば投影している背景ごと撮像できる。なお、円筒形の空間とは、円筒形の回転光学系装置５０によって実現できる。以下、この凹型の投影撮像装置を簡単に「凹型装置」という。
【００５８】
図１３〜１５に凹型装置を説明する図を示す。
【００５９】
円筒形の回転光学系装置５０内部に観察者が入るため、頭上にプロジェクター１０とカメラ２０が配置され、凸型装置と同様に回転可能な軸反射ミラー３０と、レンキュラシートとプリズムシートと反射ミラーが一体的に設置された投影用ミラー４３と、プリズムシートと反射ミラーが一体的に設置された撮像用ミラー４４で構成される。
【００６０】
投影用ミラー４３と撮像用ミラー４４は、回転可能で軸反射ミラー３０の２倍の速度で回転する。こうすることでプロジェクター１０の光が回転に合わせてそれぞれ投影用ミラー４３に届く。
【００６１】
凸型装置との違いは、プリズムシートが１段前の投影用ミラー４３と撮像用ミラー４４に設置されていることである。
【００６２】
なお、もう一段、反射ミラーは回転軸６０を中心とする円周上に入れ、その反射ミラー上にプリズムシート７０を配置することもできる。
【００６３】
［第４の実施形態］
次に、第４の実施形態の投影撮像装置について説明する。
【００６４】
第１〜３の実施形態では、あおり角があり、水平方向に拡散させても垂直方向の観察範囲が狭い。
【００６５】
また、撮像系でも、あおり撮像になっており撮像範囲が投影位置より、上方もしくは下方に限られている。
【００６６】
そこで、観察者の観察しやすい方向（観察者を撮像しやすい方向）に光の向きを変える。光の方向をプリズムや波状ミラーなどの偏向素子によって観察方向に曲げれば、効率的に光を届ける。プリズムが平面形状の場合、回転軸６０に対面した軸反射ミラー３０と同じ速度で回転させる。
【００６７】
また、ハーフミラーによって向きを変えれば背面が透けて言えるので、指向性画像と共に実世界が観察できる。
【００６８】
また、投影面が回転していると観察距離を短くできない。そこで、回転軸６０対象の形状の偏向素子８０を用いる。そうすることで観察者は回転物体を感じずに観察できる。図７に円筒形の偏向素子を用いた投影撮像装置の構成を示す斜視図を示す。円筒にすることで回転運動を伴わないで偏向ができる。
【００６９】
［第５の実施形態］
次に、第５の実施形態の投影撮像装置について説明する。
【００７０】
第１〜４の実施形態の回転軸６０上で回転する軸反射ミラー３０において、反射面を両面にすることによって投影範囲、撮像を全周できる。片面の反射ミラーだと、背面を向いている間は投影または撮像ができなくなり、最大でも１８０度であった。両面反射ミラーにすることにより、これが解消できる。
【００７１】
［第６の実施形態］
次に、第６の実施形態の投影撮像装置について説明する。
【００７２】
水平方向にプロジェクター１０が１台、若しくはカメラ２０が１台であると軸反射ミラー３０による蹴られによって投影画像（または、撮像する被写体）全てを投影できる範囲が限られてしまう。
【００７３】
そのため、回転軸６０を対称として複数のプロジェクター１０を配置する。また、連続的に回転させたとき時間的な投影間隔を短くすることができ、回転速度を遅くしてもフリッカーを感じにくい。
【００７４】
［第７の実施形態］
次に、第７の実施形態の投影撮像装置について説明する。
【００７５】
観察者のみに画像を投影させることは情報量や投影デバイスの負荷を減らすために重要である。投影領域を撮像系で得た観察者の画像情報を解析し、観察者の観察位置情報得ることは可能である。その方向だけに投影するように回転角を制御し投影を行う。
【００７６】
［第８の実施形態］
次に、第８の実施形態の投影撮像装置について説明する。
【００７７】
本実施形態では、２台または複数台の投影撮像装置を通信回線などで接続して通信を行う実施形態である。以下、順番にその具体例を説明する。
【００７８】
（１）第１の具体例
投影する画像を通信によって取得することもできる。また、撮像系で取得した映像を通信することもできる。
【００７９】
そこで、投影される映像と取得した映像を通信する通信装置を設置する。このとき、通信容量にあわせて圧縮や解凍する回路若しくはソフトを含めることもできる。また、通信を行うために画像情報を一時的にためるストレージ装置を含めることもできる。
【００８０】
このとき、通信相手を指定するユーザーインターフェースを含めることができる。通信相手を指定する数字や文字または音声を入力することで映像の放送先を指定する。そのとき、入力装置で入力した物を投影する別の投影系を用いることもできる。
【００８１】
第１〜７の実施形態で示した投影系で示すこともできる。複数の通信相手を記憶しておき、より簡単な手段で通信相手を指定することもできる。
【００８２】
無線で通信を行うための無線通信用回路を含めることもできる。また、無線に限らず有線も可能である。通信媒体は光、電波、電気信号などの様々な通信周波数帯が考えられるがこれらに限るものではない。また、通信方式など様々な方式がある。ここでは多方向の映像の送受信が考えられるので、通信容量の大きく、通信速度の速いものが望まれる。
【００８３】
放送側、受信側のフォーマットに変換する装置もしくはソフトを設置することもできる。
【００８４】
（２）第２の具体例
通信回線で通信するシステムがある。
【００８５】
図８に情報通信システムをあらわすブロック図を示す。片方（Ａ地点）で撮像された映像を、もう片方（Ｂ地点）に投影し、Ｂ地点で撮像された映像をＡ地点で投影する。こうすることによって投影撮像装置を介して映像を共有できる。円筒形の投影を考えたときに、円筒形の内側に投影し、内部の映像を撮像する。その映像を通信相手の円筒形の外側に投影し、円筒形外側の映像を撮像する。このようにすると異なる空間が視覚的につなげることができる。
【００８６】
（３）第３の具体例
通信回線はネットワーク化されることが望ましい。複数の地点の投影撮像装置と通信を行うことが望ましい。通信相手を認識する符号（信号）を割り振り、投影撮像装置の入力によって通信相手を指定する。入力のインターフェースとしては音声、テキスト入力、ボタン操作、ダイヤル入力などがある。
【００８７】
（４）第４の具体例
上記した投影撮像装置では、異なる方向の映像を投影、撮像できる。この撮像投影角度を細かくしていくと、光線として投影や撮像をできる。光線として投影を行うことによって観察する場所に依らず、視覚的に実空間に近い空間映像が再現できる。
【００８８】
しかし、角度を細かくすると、その分情報量が増し、通信コストも増大する。
【００８９】
そこで、通信量の大きさによってシステムの構成を行い、画像ベースの投影、撮像を行うか、または、光線ベースの投影撮像を行うかを変えることができる。
【００９０】
また、異なる情報量の投影撮像装置で行う場合、少ない情報量の装置に合わせることもできる。
【００９１】
また、少ない情報から細かい情報を補間することもできる。通信コストや通信料を考え情報処理を先に行い光線情報を圧縮し伝送することもできる。
【００９２】
（５）第５の具体例
凹型装置において、撮像手段の方向（カメラ２０などが反射ミラーで折り返された最終方向）と投影手段の方向（プロジェクター１０などが反射ミラーなどで折り返された最終方向）がほぼ対面していると、凸型装置からの背景情報をバックに観察者を撮像できる。
【００９３】
こうすることによって凸型装置でその映像を投影すれば、ちょうどカメレオンのように背景と同化して凹型装置内の観察者が投影できる。複合現実感が得られるので凸型装置ではさも凹型装置内の観察者が凸型装置のある空間に移動してきたように感じることができる。
【００９４】
図９で凹型装置に映し出されたＡ地点の風景が凹型装置内部で撮像されその映像がＡ地点で再生される。そのため違和感なくＡ地点で背景として映しだすことができる。
【００９５】
（６）第６の具体例
図２８に情報通信システムの概念図を示す。
【００９６】
凸型装置と凹型装置があり、お互いの装置を通信回線で結び映像の入出力を行う。
【００９７】
凹型装置内部に入り、通信相手の凸型装置を指定すると、凹型装置内の利用者を撮像し凸型装置に送信される。
【００９８】
受信した凸型装置に凹型装置内部の映像が映し出される。
【００９９】
それと同時に凸型装置外周の映像を撮像し、凹型装置に送信する。凹型装置では凸型装置外周の映像を受信し凹型装置の外周に映し出すことができる。
【０１００】
このように通信が行われれば、図９のように利用者がお互いに装置の壁を気にせずに通信ができまるでＢ地点の利用者が視覚的にはＡ地点に移動したことと同様の感覚をえることができる。
【０１０１】
（７）遅延解消手段
通信を行ったとき、情報処理などが複雑になると遅延が発生し、思ったようなコミュニケーションをとることができない。そこで、撮像した映像がそのまま投影できるような共役な光学系で入出力をする。図２５から図２７まで３種類の共役関係を示す。
【０１０２】
（７−１）第１の共役関係
図２５に平行光型を示す。
【０１０３】
投影レンズと投影スクリーン（投影用ミラー４３に当たる）の距離を焦点距離とするフレネルレンズを投影スクリーンとして併用する。
【０１０４】
また、撮像系も撮像レンズ（結像レンズ）と撮像面（撮像用ミラー４４に当たる）の距離を焦点距離とするフレネルレンズを介することで平行光を取得できる。このような関係にすることによって、撮像したものがそのまま投影しても投影関係が崩れない。
【０１０５】
（７−２）第２の共役関係
図２６に透視投影型を示す。
【０１０６】
投影側には一次元インテグラルイメージングのためのレンチキュラシートを入れるのみである。また、撮像面（撮像用ミラー４４）にフレネルレンズを入れる。このとき特に凹型装置では投影側の投影レンズから撮像面（撮像用ミラー４４）までの距離が撮像面から投影レンズまでの距離が結像関係になる。
【０１０７】
（７−３）第３の共役関係
図２７に集光型を示す。
【０１０８】
第３の共役関係は多眼式ディスプレイに用いられる方法と似ている。観察者の目付近に集光するように投影した光を撮像用ミラー４４面のフレネルレンズで集光する。撮像するときも観察者の目辺りの発散光を撮像用ミラー４４面のフレネルレンズで集め撮像する。
【０１０９】
いずれの場合も被写体深度を深くすることによって撮像できる光線の太さが変化し、遠くまでシャープな像が撮像できる。
【０１１０】
［第１１の実施形態］
観察者を撮像系でセンシングすることができるため、画像処理の結果観察者の観察位置を特定できる。指向性を持つ投影系の場合、広い範囲で投影を行うことは多くの情報と多くの指向性の分配が必要となる。
【０１１１】
そのため、観察者のみに投影するとそれら処理や情報の節約につながる。第７の実施形態のようにミラー系を用いた角度分配方法ではその回転角を観察者方向のみに向けるような制御を行えばよい。これらの端末同士を通信すれば、通信コストも削減できる。
【０１１２】
しかしこの方法では観察者が限定されてしまう。観察者追従行う装置と全方向の投影・撮像を行う装置とを通信する場合、追従信号を送りその位置に応じた映像のみを通信することもできる。全方向の投影を行うことができないが、通信相手（観察者のみ）の情報が得られるのでコミュニケーションがとれる。
【０１１３】
［第９の実施形態］
次に、第９の実施形態の投影撮像装置について説明する。
【０１１４】
（１）第１の具体例
コミュニケーションをとるためには音声の通信が必要になる。音声の取得手段としてマイクを設置し、再生手段としてスピーカーを設置することもできる。マイクは観察者に装着することもできる。再生手段をイヤホーンにし、観察者に装着させ、イヤホーンに音声を流すこともできる。全周で音声を再生するために複数のスピーカーやマイクを設置することもできる。
【０１１５】
通信装置を介し、通信相手の投影撮像装置へ取得手段で得られた音声を送り、通信相手の音声を使用している投影撮像装置で再生する。このようにすることで、投影撮像装置を介し会話を楽しむことや、相手の投影撮像装置周辺の音を楽しむことができる。
【０１１６】
また、音楽ソフトの再生などに用いる。例えば、歌手の映像と音声を投影撮像装置で取得しておけば、この情報を配信することで全周から（凹型装置であれば全周外側から、凸型装置であれば全周内側から）の音楽を、映像を交えて楽しむこと事ができる。普通であれば、コンサートホールの一番いい席では一人しか観賞することができないが、この情報を投影撮像装置で再生すれば多くの人が楽しむことができる。
【０１１７】
（２）第２の具体例
音声の指向性も楽しむ事ができる。そのためには指向性の強いマイクやスピーカーを用いればよい。投影撮像装置の映像の方向とリンクさせ、指向性を待たせて収録と再生を行う。
【０１１８】
また、指向性を持たない収音手段や再生手段からでも音声の指向性を再生することはできる。投影撮像装置で姿勢の映像を解析しマイクから収録される音声に指向性の情報を付加することが考えられ、再生装置（イヤホーンやスピーカー）からの音声も聞き手の方向に対して強弱をつけることができる。こうすることで、指向性もたない収録・再生手段でも音声の指向性を再現できる。
【０１１９】
［第１０の実施形態］
次に、第１０の実施形態の投影撮像装置について説明する。
【０１２０】
図２９に移動装置９０を備えた情報通信システムの概念を示す。凸型装置が凹型装置内の観察者の意思によって移動する。
【０１２１】
このようにすれば、凹型装置内の観察者が凸型装置を介し凸型装置の設置位置周辺を意思のままに観察できる。
【０１２２】
図２９のように凸型装置の移動装置９０は、車輪とモーターで構成されることが考えられ、３輪以上であれば安定で車輪の方向と回転速度で移動を制御できる。
【０１２３】
凹型装置の意思伝達手段としては様々なものがある。まずは、ボタンやハンドル等で構成されるコントローラがある。移動方向を決める装置（ハンドルや十字キーやジョイスティック）と移動速度を変化させるアクセルやブレーキを決める装置（ボタンやペダル）、また移動速度の幅を決めるギヤ制御用の装置（ペダルやボタン）などで構成される。このとき方向キーが観察者の回転で矛盾が生まれないようにすることが操作性につながるので、コントローラが装置に固定またはコントローラの方向が投影撮像装置に対しての方向がリンクされている。
【０１２４】
また、音声による意思伝達する。「右」「左」「進む」「とまる」といった言葉を認識し、指示されたように情報を通信する。また、通常の会話において音声の指向性を用いて方向情報を得ることもできる。
【０１２５】
また、画像認識を用いる方法もある。撮像されている観察者の方向を認識し、そちらの方向に方向転換を行うことや、歩くしぐさなどをすれば進むといった方法もある。
【０１２６】
また、全方位ウォーキングマシンのような意思伝達装置もある。投影撮像装置の床面が足の移動に伴って認識や移動することができる装置を設置し、その情報を通信することもできる。こうすることで、自然に歩いている行動がそのまま伝達され映像や音声がリンクするために、実世界と同様の反応が得られる。
【０１２７】
［第１１の実施形態］
次に、第１１の実施形態の投影撮像装置について説明する。
【０１２８】
通信相手や通信する相手となる装置を指定する際に、内部に設置された音声取得装置の入力信号を解析し指示する。
【０１２９】
また、移動装置９０へ指示を音声入力によって行うこともできる。
【０１３０】
また、ネットワークを通じて文字や映像や音声といった情報を投影撮像装置で取得することもできる。そのときの入力装置として音声で行うこともできる。また、その他の投影撮像装置とのインターフェースを音声入力によって行うこともできる。
【０１３１】
［第１２の実施形態］
次に、第１２の実施形態の投影撮像装置について説明する。
【０１３２】
使用者が自分の映像を送りたくない状況のとき、自分自身をコンピュータで合成された映像として送信する。投影撮像装置によって撮像された映像から使用者の動きなどを捉えコンピュータで映像として加工する。そのように合成されたキャラクターを受信側送信する。こうすることで、使用者のプライバシーが保たれ、匿名性も生まれる。
【０１３３】
また、ＣＧで合成されたキャラクターをエージェントとして仲介させコミュニケーションする。ネットワーク上の情報や他の機器とのインターフェースをとり、通信者に付加価値を提供する。エージェントへは投影撮像装置で取得される映像と音声を入力としていれ、コンピュータ解析することでインタラクティブに反応する。場合によっては通信者の片方だけに投影することも可能とする。
【０１３４】
［第１３の実施形態］
次に、第１３の実施形態の投影撮像装置について説明する。
【０１３５】
投影撮像装置の入出力として、映像と音声だけでなく触覚を入れることもできる。マニュピレータなどで糸が伸び縮みするブローブ（もしくは服）といった触覚再生手段と動きに合わせて糸が伸びその動きをセンシングするブローブ（もしくは服）といった触覚取得手段を投影撮像装置に組み込みお互いに相互通信を行う。そのようにすれば、実空間とほぼ同様に視覚と聴覚と触覚を通信することができ、空間の違いを超越したコミュニケーションが可能となる。
【０１３６】
［第１４の実施形態］
次に、第１４の実施形態の投影撮像装置について説明する。
【０１３７】
凸型装置と凹型装置は互いに共役関係であり互いに凹型装置同士や凸型装置同士の通信には向かない。その理由は、取得できる情報に欠落が多く完全に再生できることが難しいことや情報通信する前に映像フォーマットを変換する信号処理が必要になり、信号処理速度が情報通信に大きな負荷を与えることがある。
【０１３８】
そこで、凹型装置を凸型に、凸型装置を凹型に変換する。そのようにすることで装置の汎用性があがる。
【図面の簡単な説明】
【０１３９】
【図１】本発明の第１の実施形態の投影撮像装置の構成を示す斜視図である。
【図２】第１の実施形態の投影撮像装置の構成を示す平面図である。
【図３】第１の実施形態の投影撮像装置の構成を示す側面図である。
【図４】第１の実施形態の拡散面を傾けた投影撮像装置の構成を示す側面図である。
【図５】第１の実施形態の垂直方向に複数台のプロジェクターを配置した投影撮像装置の構成を示す側面図である。
【図６】第１の実施形態の射出瞳を水平方向にずらしたプロジェクターを配置を示す図である。
【図７】第４の実施形態の円筒形の偏向素子を用いた投影撮像装置の構成を示す斜視図である。
【図８】第７の実施形態の情報通信システムをあらわすブロック図である。
【図９】凸型装置と凹型装置の通信による情報通信システムの概念図である。
【図１０】第２の実施形態の凸型装置の平面図である。
【図１１】第２の実施形態の凸型装置の側面図である。
【図１２】第２の実施形態の凸型装置の鳥瞰図である。
【図１３】第３の実施形態の凹型装置の平面図である。
【図１４】第３の実施形態の凹型装置の側面図である。
【図１５】第３の実施形態の凹型装置の鳥瞰図である。
【図１６】第２の実施形態の凸型装置の回転を説明する鳥瞰図である。
【図１７】第２の実施形態の凸型装置の回転を説明する平面図である。
【図１８】第２の実施形態の凸型装置の回転を説明する平面図である。
【図１９】第２の実施形態の凸型装置の回転を説明する鳥瞰図である。
【図２０】投影型１次元インテグラルイメージングの要素画像投影を説明する平面図である。
【図２１】投影型１次元インテグラルイメージングの要素画像投影を説明する側面図である。
【図２２】投影型１次元インテグラルイメージングの要素画像投影で観察できる像の図である。
【図２３】投影型１次元インテグラルイメージングの統合画像投影を説明する平面図である。
【図２４】投影型１次元インテグラルイメージングの統合画像投影で観察される像の図である。
【図２５】平行光型共役光学系による投影と撮像を説明する図である。
【図２６】透視投影型共役光学系による投影と撮像を説明する図である。
【図２７】集光型共役光学系による投影と撮像を説明する図である。
【図２８】第８の実施形態の情報通信システムの情報の流れを説明する図である。
【図２９】第１０の実施形態の移動装置を備えた情報通信システムの概念を示す図である。
【符号の説明】
【０１４０】
１０  プロジェクター
２０  カメラ
３０  反射ミラー
４０  レンチキュラシート
５０  回転光学系装置
６０  回転軸
７０  プリズムシート
【図１】
2006276524.tif 000003
【図２】
2006276524.tif 000004
【図３】
2006276524.tif 000005
【図４】
2006276524.tif 000006
【図５】
2006276524.tif 000007
【図６】
2006276524.tif 000008
【図７】
2006276524.tif 000009
【図８】
2006276524.tif 000010
【図９】
2006276524.tif 000011
【図１０】
2006276524.tif 000012
【図１１】
2006276524.tif 000013
【図１２】
2006276524.tif 000014
【図１３】
2006276524.tif 000015
【図１４】
2006276524.tif 000016
【図１５】
2006276524.tif 000017
【図１６】
2006276524.tif 000018
【図１７】
2006276524.tif 000019
【図１８】
2006276524.tif 000020
【図１９】
2006276524.tif 000021
【図２０】
2006276524.tif 000022
【図２１】
2006276524.tif 000023
【図２２】
2006276524.tif 000024
【図２３】
2006276524.tif 000025
【図２４】
2006276524.tif 000026
【図２５】
2006276524.tif 000027
【図２６】
2006276524.tif 000028
【図２７】
2006276524.tif 000029
【図２８】
2006276524.tif 000030
【図２９】
2006276524.tif 000031