(57)【要約】【課題】立体視用の動画データを簡単に生成する技術を提供する。【解決手段】カメラは、撮像素子１４０を備える。撮像素子１４０の撮像面１４１には、視差をもって２つの像光Ｌ１Ｒ、Ｌ１Ｌが導かれる。像光Ｌ１Ｒ、Ｌ１Ｌは撮像面１４１の右半分の中心点と、左半分の中心点にそれぞれ結像する。撮像素子１４０からは、フレームデータが順次出力される。フレームデータは、画像処理回路１５６にて、像光Ｌ１Ｒによって生成された右フレームデータと、像光Ｌ１Ｌによって生成された左フレームデータとに分離される。前者を連続させたものが右目用動画のデータとなり、後者を連続させたものが左目用動画のデータとなる。【選択図】図６
2016201742.tif 000002
【特許請求の範囲】
【請求項１】
そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている１つの撮像素子と、
前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、
前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、
を備えてなるとともに、
前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっており、前記撮像素子は、前記右像光と、前記左像光とによる動画データを出力するようになっている、
立体視用動画データ生成装置。
【請求項２】
前記撮像素子によって出力されたフレームデータに対して画像処理を行うことができるようになっている画像処理手段を備えており、
前記画像処理手段は、各フレームデータの中から、前記右像光によって生成されたデータと、前記左像光によって生成されたデータをそれぞれ取出し、右目画像用のフレームデータである右フレームデータと、左目画像用のフレームデータである左フレームデータとを生成することにより、立体視における右目用動画のデータと、左目用動画のデータとを別々に出力できるようになっている、
請求項１記載の立体視用動画データ生成装置。
【請求項３】
前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域と、左側の領域とにそれぞれ結像するようになっている、
請求項１又は２記載の立体視用動画データ生成装置。
【請求項４】
前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域の中央と、左側の領域の中央とにそれぞれ結像するようになっている、
請求項３記載の立体視用動画データ生成装置。
【請求項５】
前記画像処理手段は、前記フレームデータのそれぞれに含まれる各走査線のうち、撮像面の右側の領域にある画素で生成された部分の走査線を特定するデータを集めて、右フレームデータを、各フレームデータに含まれる各走査線のうち、撮像面の左側の領域にある画素で生成された部分の走査線を特定するデータを集めて、左フレームデータを、それぞれ生成するようになっている、
請求項４記載の立体視用動画データ生成装置。
【請求項６】
請求項１〜５のいずれかに記載の立体視用動画データ生成装置を含んでなる立体視用動画表示装置であって、
前記画像処理手段から順次出力される前記右フレームデータからなる前記右目用動画のデータを受取り、ユーザの右目に前記右目用動画のデータに基づく動画である右目用動画の像光を出力する右ディスプレイと、
前記画像処理手段から順次出力される前記左フレームデータからなる前記左目用動画のデータを受取り、ユーザの左目に前記左目用動画のデータに基づく動画である左目用動画の像光を出力する左ディスプレイと、
を有することにより、前記撮像素子で撮像された前記右像光に基づく右目用動画と、前記撮像素子で撮像された前記左像光に基づく左目用動画とを、略実時間でユーザの右目と左目に導くことができるようになっている、
立体視用動画表示装置。
【請求項７】
前記立体視用動画データ生成装置、前記右ディスプレイ、及び前記左ディスプレイを含む本体部と、前記本体部をユーザの頭部に対して着脱自在に固定する固定手段と、を含んでなり、
ヘッドマウントディスプレイとされた、
請求項６記載の立体視用動画表示装置。
【請求項８】
そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている１つの撮像素子と、
前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、
前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、
前記撮像素子によって出力されたフレームデータに対して画像処理を行うことができるようになっている、画像処理手段と、
を備えており、
前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっている、
立体視用動画データ生成装置にて実行される方法であって、
前記画像処理手段が、
各フレームデータの中から、前記右像光によって生成されたデータと、前記左像光によって生成されたデータをそれぞれ取出す過程、
右目画像用のフレームデータである右フレームデータと、左目画像用のフレームデータである左フレームデータとを生成することにより、立体視における右目用動画のデータと、左目用動画のデータとを別々に出力する過程、
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主に、立体視用の動画を生成するための技術に関する。
【背景技術】
【０００２】
動画よる立体視を行う場合には、ユーザの右目に右目用動画を、左目に左目用動画を見せることにより、これを実現する。
右目用動画と左目用動画とをユーザの右目と左目に導く場合には、それらを表示するための少なくとも１つのディスプレイが必要となる。ディスプレイは、１つの場合と２つの場合がある。
ディスプレイが１つの場合には一般に、ディスプレイに右目用動画を構成するフレームと、左目用動画を構成するフレームとを交互に写す。そして、右目用動画を構成するフレームからの光を右目に、左目用動画を構成するフレームからの光を左目に、時分割、或いは視差分割で、ユーザの目にそれぞれ導くことにより、ユーザの右目に右目用動画を、ユーザの左目に左目用動画を、それぞれ見せることになる。時分割の場合には、ディスプレイには、１フレーム毎に交互に右目用動画を構成するフレームと左目用動画を構成するフレームが表示される。ユーザは、１フレーム毎に交互に表示される右目用動画のフレームと左目用動画のフレームとを、ディスプレイに表示されるフレームの切替タイミングに同期して交互に開閉する液晶シャッタを左右の両目の前にそれぞれ位置させられる特殊な眼鏡等を用いて見ることにより、立体視を行うことができる。他方、視差分割の場合には、ディスプレイに表示されるすべてのフレームの中に、右目用動画を構成する部分と、左目用動画を構成する部分とが表示される。１つのフレームの中に映しだされる右目用動画を構成する部分と、左目用動画を構成する部分とから出た光は、例えば、視野バリア又はレンチキュラーレンズを用いて右目と左目のそれぞれに、分離して導かれる。それにより、ユーザは立体視を行うことができる。
他方、ディスプレイが２つの場合には、右目用動画を表示する右ディスプレイと、左目用動画を表示する左ディスプレイとを準備し、当初から別の物となっている２つのディスプレイそれぞれからの像光を、例えばレンズを含む適当な光学系でユーザの右目と左目とに導くことにより、ユーザは立体視を行う。
【０００３】
以上で大まかに説明したように、立体視には様々な方式があるが、ユーザが立体視を行う場合に用いられるディスプレイが１つの場合であれ、２つの場合であれ、立体視用の動画を作るために、右目用動画と左目用動画という２種類の動画のデータが必要となる点には違いがない。右目用動画と左目用動画とは、略同じ動画であるが、両眼の視差に相当する視差を与えて撮像された、異なる動画である。視差を与えて撮像された２種類の異なる動画をユーザの右目と左目のそれぞれで見ることにより、ユーザは立体視を行えるようになるのであるから、右目用動画と左目用動画という２種類の動画のデータを準備するというのは、立体視を実現するためには欠かすことができない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、右目用動画と左目用動画という２つの動画を撮像するのはそれ程簡単ではない。
一般に、右目用動画と左目用動画は、２つの撮像素子と、それら撮像素子のそれぞれ用の適当な光学系を有するカメラを用いて撮像される。しかしながら、右目用動画と左目用動画は、それらにそれぞれ含まれている多数のフレームについて、より具体的に言えば、例えば、それらフレームの切り替えのタイミングについて、極めて高い精度で同期が取られていることが必要であるが、かかる同期を実現することが難しい。また、右目用動画と左目用動画との間では、色と明るさの一致が必要なところ、撮像素子を２つ用いた場合には、同一の撮像素子を用いたとしても製造誤差に基づく個体差が撮像素子間にあるため、それらを用いて作られる右目用動画と左目用動画との間で色と明るさの一致させるための何らかの処理が必要となるが、その処理は比較的面倒であり、且つコストも嵩む。
【０００５】
本願発明は、立体視用の動画データを簡単に生成する技術を提供することをその課題とする。
【課題を解決するための手段】
【０００６】
本願発明者は、上述の課題を解決するために、以下の発明を提案する。
本願発明は、そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている１つの撮像素子と、前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、を備えてなるとともに、前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっており、前記撮像素子は、前記右像光と、前記左像光とによる動画データを出力するようになっている、立体視用動画データ生成装置である。
この立体視用動画データ生成装置は、右目用の画像である右目用動画の像光である右像光を撮像素子の撮像面に導く右撮像光学系と、左目用の画像である左目用動画の像光である左像光を撮像素子の撮像面に導く左撮像光学系とを備えている。右撮像光学系により導かれる右像光と、左撮像光学系により導かれる左像光とは、いずれも１つの撮像素子に導かれ、撮像素子の撮像面の異なる部位に結像させられる。本願発明では、右像光と左像光とを１つの撮像素子に導き、１つの撮像素子から一列で出力されるデータにより、立体視用の動画データを生成する。この発明では、２つの撮像素子を用いずに、１つの撮像素子から一列で出力されるデータから、右目用動画のデータと、左目用動画のデータとを作ることができるから、２つの撮像素子の同期、及び色と明るさの一致を得るための複雑な処理を省略することができる。加えて、撮像素子の数を減らせるから、この立体視用動画データ生成装置は、安価にし易くもなる。
１つの撮像素子から一列で出力されるデータから右目用動画のデータと左目用動画のデータを生成するには、フレームデータの連続であるその一列で出力されるデータにおける各フレームデータの中から、右像光によって生成されたデータと、左像光によって生成されたデータをそれぞれ取出し、前者を、右目画像用のフレームデータである右フレームデータとし、後者を、左目画像用のフレームデータである左フレームデータとにすれば良い。つまり、一列で出力されるデータを２つに分けることにより、一列で出力されるデータから、右目用動画のデータと、左目用動画のデータを生成することができる。
【０００７】
右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理は、立体視用動画データ生成装置内で行われても良いし、画像処理を行うことのできる他の装置で行われても良い。右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理が立体視用動画データ生成装置内で行われる場合には、立体視用動画データ生成装置は、前記撮像素子によって出力されたフレームデータに対して画像処理を行うことができるようになっている画像処理手段を備えており、前記画像処理手段が、各フレームデータの中から、前記右像光によって生成されたデータと、前記左像光によって生成されたデータをそれぞれ取出し、右目画像用のフレームデータである右フレームデータと、左目画像用のフレームデータである左フレームデータとを生成することにより、立体視における右目用動画のデータと、左目用動画のデータとを別々に出力できるようになっているものとすることができる。
【０００８】
右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理が、立体視用動画データ生成装置内で行われるにせよ、行われないにせよ、立体視用動画データ生成装置は、１つの撮像素子から一列で出力されるデータを記録する記録媒体（立体視用動画データ生成装置に着脱自在にされていても良い。）を備えていても良い。かかる記録媒体に一旦１つの撮像素子から一列で出力されるデータを記録することとすれば、右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理を、そのデータを上記記録媒体から読み込んだ他の装置で行わせることが容易となる。他方、立体視用動画データ生成装置は、１つの撮像素子から一列で出力されるデータを出力する端子を備えていても良い。その場合、その端子から出力されたデータを入力された他の装置で、右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理を行うことが可能となる。
【０００９】
右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理が立体視用動画データ生成装置内で行われる場合には、それ以外の画像処理もその立体視用動画データ生成装置内で行われるようになっていても良い。それ以外の画像処理の例としては、ユーザが立体視を行うときに用いられる１つのディスプレイに表示される動画のデータを生成するための画像処理を挙げることができる。
例えば、右目用動画のデータと左目用動画のデータが存在しているとする。右目用動画のデータと左目用動画のデータは、それらに基づく動画を２つのディスプレイにそれぞれ表示し、２つのディスプレイからの光をそれぞれ別の光学系でユーザの右目と左目に個別に導いたときに、ユーザが立体視を行えるようなものである。つまり、２つのディスプレイを使用する立体視用動画表示装置でユーザが立体視を行う場合には、１つの撮像素子から一列で出力されるデータから右目用動画のデータと、左目用動画のデータとを生成する処理を実行した段階で、既に立体視用動画表示装置で必要となる動画のデータは完成している。
他方、立体視用動画表示装置が１つのディスプレイで立体視用の動画を表示するものであるとする。その場合には、右目用動画のデータと左目用動画のデータを用いて、１つのディスプレイで表示される１つの立体視用の動画のデータを生成する必要がある。立体視用動画表示装置が１つのディスプレイで、時分割される立体視用の動画を表示する場合には、立体視用の動画のデータは、１フレーム毎に交互に右目用動画を構成するフレームと左目用動画を構成するフレームが連続していくものとなる。この場合には、右目用動画のデータの１フレーム目、左目用動画のデータの２フレーム目、右目用動画のデータの３フレーム目、左目用動画のデータの４フレーム目…、というように、右目用動画に連続して含まれるフレームと、左目用動画に連続して含まれるフレームとを、それぞれのフレームからフレームを一つ飛ばしに落として行きつつ、交互に連続させたものが立体視用の動画のデータとなる。立体視用動画表示装置が１つのディスプレイで視差分割される立体視用の動画を表示する場合には、立体視用の動画のデータにおける各フレームは、各フレームの視差によって分割される右目で見るべき範囲に右目用動画の画像が、左目で見るべき範囲に左目用動画の画像が、それぞれ配置されたものとなる。右目用動画と左目用動画のデータがそれぞれ存在しているのであれば、同じ順番のフレームの画像同士を適切に混合することによって、立体視用の動画のデータを得ることができることになる。
上述したように、以上のような画像処理は、立体視用動画データ生成装置内で行われるようになっていても良いが、そうでなくても良い。
【００１０】
本願の立体視用動画データ生成装置では、上述のように、右撮像光学系により導かれる右像光と、左撮像光学系により導かれる左像光とは、いずれも１つの撮像素子に導かれ、撮像素子の撮像面の異なる部位に結像させられるようになっている。
これには限られないが、前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域と、左側の領域とにそれぞれ結像するようになっていてもよい。この場合には、右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成するために行われる処理、つまり、フレームデータの連続であるその一列で出力されるデータにおける各フレームデータの中から、右像光によって生成されたデータと、左像光によって生成されたデータとをそれぞれ取出す処理は、極めて簡単に実行できる。フレームデータの連続であるその一列で出力されるデータにおける各フレームデータは、撮像面に設けられた略水平な走査線（フィールド）上の素子から出力されたデータを含んでいるが、各フィールドのデータを前後に分けるだけで、右目用動画のデータと左目用動画のデータを得ることができる。
前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域の中央と、左側の領域の中央とにそれぞれ結像するようになっていてもよい。この場合には、フレームデータの連続であるその一列で出力されるデータにおける各フレームデータの中から、右像光によって生成されたデータと、左像光によって生成されたデータとをそれぞれ取出す処理は、更に簡単に実行できる。この場合、各フレームデータに対して、フレームデータを構成する各フィールドのデータを前後に、半分に分けるだけで、右目用動画のデータと左目用動画のデータを得ることができる。
立体視用動画データ生成装置が画像処理手段を備えている場合には、画像処理手段は、右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成するために行われる処理を、上述のようにして実行するようになっていてもよい。
例えば、前記画像処理手段は、前記フレームデータのそれぞれに含まれる各走査線のうち、撮像面の右側の領域にある画素で生成された部分の走査線を特定するデータを集めて、右フレームデータを、各フレームデータに含まれる各走査線のうち、撮像面の左側の領域にある画素で生成された部分の走査線を特定するデータを集めて、左フレームデータを、それぞれ生成するようになっていてもよい。
【００１１】
本願では、また、上述したいずれかの立体視用動画データ生成装置を含んでなる立体視用動画表示装置をも本願発明の一態様として提案する。
かかる立体視用動画表示装置は、前記画像処理手段から順次出力される前記右フレームデータからなる前記右目用動画のデータを受取り、ユーザの右目に前記右目用動画のデータに基づく動画である右目用動画の像光を出力する右ディスプレイと、前記画像処理手段から順次出力される前記左フレームデータからなる前記左目用動画のデータを受取り、ユーザの左目に前記左目用動画のデータに基づく動画である左目用動画の像光を出力する左ディスプレイと、を有することにより、前記撮像素子で撮像された前記右像光に基づく右目用動画と、前記撮像素子で撮像された前記左像光に基づく左目用動画とを、略実時間でユーザの右目と左目に導くことができるようになっている。
かかる立体視用動画表示装置を用いれば、ユーザは、略実時間で、立体視を行えるようになる。ユーザに立体視用動画表示装置で見せる立体視用動画を何らかの対象物の拡大像とすれば、ユーザはその拡大像を立体視により見ることができるようになる。
これには限られないが、立体視用動画表示装置は、前記立体視用動画データ生成装置、前記右ディスプレイ、及び前記左ディスプレイを含む本体部と、前記本体部をユーザの頭部に対して着脱自在に固定する固定手段と、を含んでなり、ヘッドマウントディスプレイとされていても良い。
こうすることで、ユーザは、自分の視野内にあるものを、ヘッドマウントディスプレイである立体視用動画表示装置を通して、立体視をしつつ見ることができるようになる。立体視用動画表示装置で表示される動画が拡大像その他の肉眼では見ることのできないものであれば、ユーザは肉眼で物を見るよりも多くの情報、或いは肉眼で物を見るのとは異なる情報を、その動画から得られることになる。
【００１２】
本願発明による立体視用動画データ生成装置と同様の効果を、以下の方法によっても得ることができる。
その方法の一例は、そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている１つの撮像素子と、前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、前記撮像素子によって出力されたフレームデータに対して画像処理を行うことができるようになっている、画像処理手段と、を備えており、前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっている、立体視用動画データ生成装置にて実行される方法である。
この方法は、前記画像処理手段が、各フレームデータの中から、前記右像光によって生成されたデータと、前記左像光によって生成されたデータをそれぞれ取出す過程、右目画像用のフレームデータである右フレームデータと、左目画像用のフレームデータである左フレームデータとを生成することにより、立体視における右目用動画のデータと、左目用動画のデータとを別々に出力する過程、を含む。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態のＨＭＤの外観を示す斜視図。
【図２】図１に示したＨＭＤの本体の内部構造を概略的に示す水平断面図。
【図３】図２に示した撮像素子の撮像面に像光が結像する状態を観念的に示す図。
【図４】図２に示した撮像素子が生成するフレームデータのデータ構造を観念的に示す図。
【図５】図２に示した撮像素子が生成するフレームデータから右フレームデータと左フレームデータとを生成する方法を観念的に示す図。
【図６】第２実施形態のカメラの内部構造を概略的に示す水平断面図。
【発明を実施するための形態】
【００１４】
以下、本発明の第１〜第２実施形態について説明する。なお、各実施形態の説明において共通する対象には共通する符号を付すものとし、重複する説明は場合により省略するものとする。
【００１５】
≪第１実施形態≫
図１に、この実施形態におけるヘッドマウントディスプレイ（以下、「ＨＭＤ」と称する。）の概観を示す。
ＨＭＤは、本体１００と、本体１００に接続された固定部材２００とを備えている。固定部材２００は、ＨＭＤをユーザの頭部に着脱自在に固定するためのものである。この実施形態における固定部材２００は、ＨＭＤをユーザの頭部に固定するに際してユーザの頭部の周囲を囲む輪状部２１０と、ＨＭＤをユーザの頭部に固定するに際してユーザの頭部の上半分を頭頂部を通過しつつ左右にまたぐＵ字部２２０とを備えているが、ＨＭＤをユーザの頭部に着脱自在に固定することが可能であれば、固定部材２００の構成はこの限りではない。例えば、固定部材２００は、本体１００の幅方向の両端の背面付近にその両端を接続された伸縮性を与えられたベルトとすることができる。
本体１００と固定部材２００とは、その両端で本体１００及び固定部材２００とヒンジ接続された板状の接続部材３００で接続されている。接続部材３００の存在により、固定部材２００でＨＭＤがユーザの頭部に固定された状態で、本体１００をユーザの目の前方に位置させた状態と、ユーザの額の前に位置させた状態の２つの状態を採らせることができるようになる。ユーザの目の前方に本体１００が位置した状態で、ユーザは後述する立体視用動画を見ることができる。また、ユーザは、立体視用動画を見る必要がない場合、或いは肉眼での視界を確保したい場合には、固定部材２００を頭部に固定したまま、本体１００を額の前に跳ね上げれば良い。
【００１６】
本体１００は、中空とされたケース１１０を備えている。ケース１１０は、例えば樹脂製である。
ケース１１０の前面には、筒状の左右２つの鏡筒１２０Ｒ、１２０Ｌが取付けられている。鏡筒１２０Ｒは、本体１００がユーザの目の前方に位置しているときに、略ユーザの右目の前に位置し、鏡筒１２０Ｌは、本体１００がユーザの目の前方に位置しているときに、略ユーザの左目の前に位置するようになっている。両鏡筒１２０Ｒ、１２０Ｌは、後述する右目用動画と左目用動画とに適切な視差を与えるために図２に示したように、内側にやや傾けられている。
【００１７】
鏡筒１２０Ｒ、１２０Ｌはケース１１０を前後に貫いている。鏡筒１２０Ｒ、１２０Ｌには、レンズである第１レンズ１３１Ｒ、１３１Ｌが取付けられている。第１レンズ１３１Ｒ、１３１Ｌは、これには限られないが拡大レンズである。ユーザの視野内にある対象物からの像光は、第１レンズ１３１Ｒ、１３１Ｌにて拡大されるようになっている。
鏡筒１２０Ｒ、１２０Ｌの基端側には、第１レンズ１３１Ｒ、１３１Ｌを通過した像光をケース１１０の幅方向の内側に向かって反射させる鏡である第１ミラー１３２Ｒ、１３２Ｌが設けられている。また、これには限られないが、ケース１１０の幅方向の略中央には、第１ミラー１３２Ｒ、１３２Ｌで反射された像光を、後述する撮像素子の撮像面に向けて反射させるための鏡である第２ミラー１３３Ｒ、１３３Ｌが設けられている。
第１レンズ１３１Ｒ、第１ミラー１３２Ｒ、第２ミラー１３３Ｒは、鏡筒１２０Ｒを通過した像光Ｌ１Ｒを、撮像素子の撮像面の所定の部分に結像させるためのものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、鏡筒１２０Ｒを通過した像光Ｌ１Ｒの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。同様に、第１レンズ１３１Ｌ、第１ミラー１３２Ｌ、第２ミラー１３３Ｌは、鏡筒１２０Ｌを通過した像光Ｌ１Ｌを、撮像素子の撮像面の所定の部分に結像させるためのものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、鏡筒１２０Ｌを通過した像光Ｌ１Ｌの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。なお、像光Ｌ１Ｒと、像光Ｌ１Ｌの結像する位置は、異なる位置となるようになっている。
より具体的には、像光Ｌ１Ｒは、撮像素子１４０の撮像面１４１の右半分（撮像素子を背後から（図２の下側から）見た場合の右半分。本願では撮像素子の左右の概念はすべてこれに倣っている。）のどこかに、像光Ｌ１Ｌは、撮像素子１４０の撮像面１４１の左半分のどこかに、それぞれ結像させられるようになっている。
【００１８】
ケース１１０の内部には、１つの撮像素子１４０が配置されている。撮像素子１４０の鏡筒１２０Ｒ、１２０Ｌ側には、撮像面１４１が設けられている。撮像面１４１はそこに結像した像光Ｌ１Ｒ、Ｌ１Ｌを撮像する面である。撮像素子１４０は、静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようなものとなっている。撮像素子１４０は、動画の撮像が可能となっている一般的なイメージセンサで良い。例えば、ＣＣＤ（Charge-Coupled Device）、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）である。
撮像面１４１の大きさ形状は適宜選択可能であるが、この実施形態では、その縦横比が、９：１６となるようになっている。
【００１９】
撮像素子１４０の撮像面１４１に像光Ｌ１Ｒと、像光Ｌ１Ｌとが導かれる範囲を図３に示す。
撮像面１４１は、物理的、構造的に分かれているわけではないが、右側の範囲である右撮像面１４１Ｒと、左側の範囲である左撮像面１４１Ｌとに、概念上分かれている。上述したように、像光Ｌ１Ｒと、像光Ｌ１Ｌとはそれぞれ、右撮像面１４１Ｒと、左撮像面１４１Ｌとに結像させられるようになっている。より詳細には、像光Ｌ１Ｒと、像光Ｌ１Ｌとはそれぞれ、右撮像面１４１Ｒの中心（ＣＲ）と、左撮像面１４１Ｌの中心（ＣＬ）に結像されるようになっている。
撮像面１４１に導かれた像光Ｌ１Ｒと、像光Ｌ１Ｌはともに、共に矩形である右撮像面１４１Ｒと、左撮像面１４１Ｌに略一致するようになっている（完全に一致するようになっていても勿論よい。）。これにより像光Ｌ１Ｒと、像光Ｌ１Ｌとはともに、右撮像面１４１Ｒと、左撮像面１４１Ｌの略全体（或いは全体）をカバーするようになっている。撮像面１４１に導かれた像光Ｌ１Ｒ及び像光Ｌ１Ｌの断面を共に矩形とするには、像光Ｌ１Ｒについては、第１ミラー１３２Ｒ、第２ミラー１３３Ｒの少なくとも一方において像光Ｌ１Ｒの周縁部の光を反射しないことにより、それを実現することができる。例えば、第２ミラー１３３Ｒの中心を像光Ｌ１Ｒの光軸と一致させるとともに、第２ミラー１３３Ｒの大きさを、撮像面１４１に導かれる像光Ｌ１Ｒが右撮像面１４１Ｒに略一致する程度に、第２ミラー１３３Ｒに至った像光Ｌ１Ｒの断面よりも予め小さくしておけば、撮像面１４１に導かれた像光Ｌ１Ｒの断面を矩形にするとともに、撮像面１４１に導かれる像光Ｌ１Ｒが右撮像面１４１Ｒに略一致するようにすることができる。像光Ｌ１Ｌにおいても同様である。
【００２０】
撮像素子１４０は、フレームデータを連続して出力するための信号線１５１の一端と接続されている。信号線１５１は、その他端で、撮像素子１４０からフレームデータを受取る画像処理回路１５６と接続されている。画像処理回路１５６は、ハードウェア的に、或いはソフトウエア的に、後述する画像処理、より具体的には、各フレームデータの中から、像光Ｌ１Ｒによって生成されたデータと、像光Ｌ１Ｌによって生成されたデータをそれぞれ取出し、右目の画像である右目用動画用のフレームデータである右フレームデータと、左目の画像である左目用動画用のフレームデータである左フレームデータとを生成する処理を行うようになっている。なお、かかる処理については、後述する。
画像処理回路１５６は、右信号線１５２Ｒと、左信号線１５２Ｌとそれらの一端で接続されている。右フレームデータの連続である右目用動画のデータは右信号線１５２Ｒを介して、右信号線１５２Ｒの他端に接続されている右ディスプレイ１６０Ｒに出力されるようになっている。他方、左フレームデータの連続である左目用動画のデータは左信号線１５２Ｌを介して、左信号線１５２Ｌの他端に接続されている左ディスプレイ１６０Ｌに出力されるようになっている。右ディスプレイ１６０Ｒは、右目用動画のデータに基づいて右目用動画を表示するようになっている。左ディスプレイ１６０Ｌは、左目用動画のデータに基づいて左目用動画を表示するようになっている。右ディスプレイ１６０Ｒと、左ディスプレイ１６０Ｌとは、これには限られないが、この出願では同じディスプレイである。右ディスプレイ１６０Ｒと、左ディスプレイ１６０Ｌは、いずれも公知或いは周知のもので良く、例えば液晶ディスプレイであり、或いは有機ＥＬディスプレイである。
なお、右ディスプレイ１６０Ｒと、左ディスプレイ１６０Ｌの画像が表示される面は、図２における下方である。
【００２１】
図２に示したように、本体１００には、第２レンズ１７０Ｒ、１７０Ｌが取付けられている。
第２レンズ１７０Ｒは、右ディスプレイ１６０Ｒの背後にあり、本体１００がユーザの眼前に位置している場合に、右ディスプレイ１６０Ｒからの像光Ｌ２Ｒをユーザの右目に導くようになっている。第２レンズ１７０Ｌは、左ディスプレイ１６０Ｌの背後にあり、本体１００がユーザの眼前に位置している場合に、左ディスプレイ１６０Ｌからの像光Ｌ２Ｌをユーザの左目に導くようになっている。
第２レンズ１７０Ｒは、右ディスプレイ１６０Ｒに表示されている動画をユーザが見ることができるようにして、右ディスプレイ１６０Ｒからの像光Ｌ２Ｒをユーザの右目に導くものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、像光Ｌ２Ｒの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。
第２レンズ１７０Ｌは、左ディスプレイ１６０Ｌに表示されている動画をユーザが見ることができるようにして、左ディスプレイ１６０Ｌからの像光Ｌ２Ｌをユーザの左目に導くものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、像光Ｌ２Ｌの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。
【００２２】
次に、このＨＭＤの使用方法及び動作について説明する。
このＨＭＤを使用するには、ユーザは固定部材２００を頭部に装着する。そして本体１００を、ユーザの目の前方に位置させる。
【００２３】
ユーザは、見たい物の方に顔を向ける。
ユーザの鏡筒１２０Ｒと、鏡筒１２０Ｌの前方にあるその「物」からの像光Ｌ１Ｒ、及び像光Ｌ１Ｌは、図２に示したように、鏡筒１２０Ｒと、鏡筒１２０Ｌに向かい、第１レンズ１３１Ｒ、１３１Ｌを通過する。
像光Ｌ１Ｒ、及び像光Ｌ１Ｌは、第１レンズ１３１Ｒ、１３１Ｌを通過するときに拡大され、そして次に第１ミラー１３２Ｒ、１３２Ｌに向かう。像光Ｌ１Ｒ、及び像光Ｌ１Ｌは、第１ミラー１３２Ｒ、１３２Ｌでケース１１０の幅方向の内側に向かって反射させられ、第２ミラー１３３Ｒ、１３３Ｌに向かう。
第２ミラー１３３Ｒ、１３３Ｌで反射させられた像光Ｌ１Ｒ、及び像光Ｌ１Ｌは、撮像素子１４０の撮像面１４１に向かう。これには限られないが、上述したように、像光Ｌ１Ｒ、及び像光Ｌ１Ｌは、撮像面１４１上の右撮像面１４１Ｒの中心と、左撮像面１４１との中心とにそれぞれ結像させられるようになっている。
撮像面１４１が像光Ｌ１Ｒ、及び像光Ｌ１Ｌを捉えると、撮像素子１４０からはフレームデータが連続して出力される。よく知られているように、撮像面１４１には、図４に示したように、多数の走査線（フィールド）Ｆ１〜Ｆｎが存在する。フレームデータは、１フレーム分のデータであるがそれは、走査線Ｆ１〜Ｆｎからそれぞれ出力されたデータであるフィールドデータＤ１〜Ｄｎの集合である。各フィールドデータＤ１〜Ｄｎの終わりにはよく知られているように水平同期信号が追加され、各フレームデータの終わりにはよく知られているように垂直同期信号が追加される。これには限られないが、そのような極一般的なフレームデータが次々に、撮像素子１４０から出力される。なお、各走査線Ｆ１〜Ｆｎは、右撮像面１４１Ｒと左撮像面１４１Ｌとで物理的に分断されているわけではなく、各走査線Ｆ１〜Ｆｎからそれぞれ出力されたデータであるフィールドデータＤ１〜Ｄｎも右撮像面１４１Ｒと、左撮像面１４１Ｌとの境界部分で分断されてはいない。
【００２４】
フレームデータは信号線１５１を介して画像処理回路１５６に送られる。画像処理回路１５６は、画像処理を行う。ここで行われる画像処理は、少なくとも、各フレームデータの中から、像光Ｌ１Ｒによって生成されたデータと、像光Ｌ１Ｌによって生成されたデータをそれぞれ取出し（或いはそれらデータを分離し）、右目の画像である右目用動画用のフレームデータである右フレームデータと、左目の画像である左目用動画用のフレームデータである左フレームデータとを生成する処理を含んでいる。
各フレームデータの中から、像光Ｌ１Ｒによって生成されたデータと、像光Ｌ１Ｌによって生成されたデータをそれぞれ取出すには、各フレームデータを構成するフィールドデータＤ１〜Ｄｎを前後半に二等分し、前半部分を右フレームデータを構成する右フィールドデータＤＲ１〜ＤＲｎと、後半部分を左フレームデータを構成する左フィールドデータＤＬ１〜ＤＬｎとすればよい。上述したように、各走査線Ｆ１〜Ｆｎは、右撮像面１４１Ｒと左撮像面１４１Ｌとで物理的に分断されているわけではないが、それらのうち右撮像面１４１Ｒに位置するものが出力するデータは、フィールドデータＤ１〜Ｄｎのうちの前半部分に対応し、それらのうち左撮像面１４１Ｌに位置するものが出力するデータは、フィールドデータＤ１〜Ｄｎのうちの後半部分に対応するから、各フレームデータを構成するフィールドデータＤ１〜Ｄｎを単に前後に二等分するだけで、各フレームデータを、像光Ｌ１Ｒによって生成されたデータと、像光Ｌ１Ｌによって生成されたデータとに分離したことになるのである。なお、各フィールドデータＤ１〜Ｄｎを前後半に分けるには、例えば、各フィールドデータの中に含まれる、各素子が生成した信号の数を画像処理回路１５６で計数し、前後の信号の数が等しくなるようにすれば良い。
なお、像光Ｌ１Ｒと、像光Ｌ１Ｌが、右撮像面１４１Ｒと、左撮像面１４１Ｌの中心にそれぞれ結像しない場合、或いは、右撮像面１４１Ｒと、左撮像面１４１Ｌとが撮像面１４１を左右に二等分したものでない場合においても、各フィールドデータＤ１〜Ｄｎを適当に分割することにより（フィールドデータによっては、０％と１００％に分割され、事実上分割されないこともある。）、各フレームデータを、像光Ｌ１Ｒによって生成されたデータと、像光Ｌ１Ｌによって生成されたデータとに分離することができる。
そして、フィールドデータＤ１〜Ｄｎの前半から得られた右フィールドデータＤＲ１〜ＤＲｎを図５に示したように一纏めにして右フレームデータとし、フィールドデータＤ１〜Ｄｎの後半から得られた左フィールドデータＤＬ１〜ＤＬｎを図５に示したように一纏めにすると左フレームデータとなる。画像処理回路１５６は、これらにも、通常のビデオ信号と同様に、公知の水平同期信号と垂直同期信号を追加する。それにより、右フレームデータも、左フレームデータも、公知或いは周知のディスプレイにより普通に扱えるものとなる。
【００２５】
画像処理回路１５６は、右フレームデータの連続である右目用動画のデータを右信号線１５２Ｒを介して、右ディスプレイ１６０Ｒに出力する。同時に画像処理回路１５６は、左フレームデータの連続である左目用動画のデータを、左信号線１５２Ｌの他端に接続されている左ディスプレイ１６０Ｌに出力する。右ディスプレイ１６０Ｒは、右目用動画のデータに基づいて右目用動画を表示する。他方、左ディスプレイ１６０Ｌは、左目用動画のデータに基づいて左目用動画を表示する。
【００２６】
第２レンズ１７０Ｒは、右ディスプレイ１６０Ｒの背後にあり、本体１００がユーザの眼前に位置している場合に、右ディスプレイ１６０Ｒからの像光Ｌ２Ｒをユーザの右目に導くようになっている。第２レンズ１７０Ｌは、左ディスプレイ１６０Ｌの背後にあり、本体１００がユーザの眼前に位置している場合に、左ディスプレイ１６０Ｌからの像光Ｌ２Ｌをユーザの左目に導くようになっている。
第２レンズ１７０Ｒは、右ディスプレイ１６０Ｒに表示されている動画をユーザが見ることができるようにして、右ディスプレイ１６０Ｒからの像光Ｌ２Ｒをユーザの右目に導く。
同時に、第２レンズ１７０Ｌは、左ディスプレイ１６０Ｌに表示されている動画をユーザが見ることができるようにして、左ディスプレイ１６０Ｌからの像光Ｌ２Ｌをユーザの左目に導く。
右目で像光Ｌ２Ｒを、左目で像光Ｌ２Ｌを見たユーザは、立体視を行うことができる。ユーザは、かかる立体視を、略実時間で行うことができる。ユーザが立体視で見ることのできる動画は、この実施形態の場合であれば、第１レンズ１３１Ｒ、１３１Ｌの存在により、ユーザが肉眼で物を見た場合とは異なるものとなる。
【００２７】
一時的に立体視を行う必要がなくなったらユーザは、本体１００を額の前に跳ね上げ、また完全に立体視を行う必要がなくなったのであれば、固定部材２００を頭部から外す。
【００２８】
≪第２実施形態≫
次に、本願発明の第２実施形態について説明する。
第２実施形態は、カメラである。このカメラは、立体視用の動画データを生成する装置である。
【００２９】
立体視用動画データを生成するための第２実施形態のカメラは、そのような目的で用いられている公知のカメラと同様、いわゆるステレオカメラである。
そして、このカメラの構成は、第１実施形態のＨＭＤの構成を、右目用動画のデータと左目用動画のデータの生成を行うまでの機構を撮像側の機構と呼び、右目用動画と左目用動画とを右ディスプレイ１６０Ｒと、左ディスプレイ１６０Ｌに表示してユーザの目に見せるための機構を表示側の機構と呼ぶのであれば、第１実施形態のＨＭＤの撮像側の機構と概ね同一の構成を有している。
【００３０】
カメラは、ケース１１０を備えている。ただし、このケース１１０は、第１実施形態の場合に存在した固定部材２００と接続されている必要はない。固定部材２００と接続してヘッドマウントカメラとしてこのカメラを用いることも勿論可能ではあるが、例えば所定の台の上に載置して、或いは周知の三脚の上部に接続した状態でこのカメラを用いることが前提なのであれば、固定部材２００は不要である。
ケース１１０には２つの鏡筒１２０Ｒ、１２０Ｌが設けられており、それらには、第１レンズ１３１Ｒ、１３１Ｌが取付けられている。もっとも、第１レンズ１３１Ｒ、１３１Ｌは、像光Ｌ１Ｒ、及び像光Ｌ１Ｌを拡大するものでなくても良い。ケース１１０の内部には、第１ミラー１３２Ｒ、１３２Ｌと、第２ミラー１３３Ｒ、１３３Ｌがあり、また、撮像素子１４０が存在している。撮像素子１４０は、右撮像面と左撮像面とに概念的に分割された撮像面１４１を備えている。
ここまでは、特に断りのない点については、それらの機能を含めて、第１実施形態の場合と変わりがない。
【００３１】
第２実施形態のカメラが第１実施形態のヘッドマウントと異なるのは、事実上、筐体の中に第２画像処理回路１８０と、記録媒体１９０が存在するという点である。
第２画像処理回路１８０は、右信号線１５２Ｒと左信号線１５２Ｌを介して、画像処理回路１５６と接続されている。画像処理回路１５６は、第１実施形態の場合と同様に、右フレームデータの連続である右目用動画のデータを右信号線１５２Ｒを介して出力し、左フレームデータの連続である左目用動画のデータを、左信号線１５２Ｌを介して出力するようになっている。右目用動画のデータと、左目用動画のデータとは、それらがそれぞれ右ディスプレイ１６０Ｒと、左ディスプレイ１６０Ｌで受け取られた第１実施形態の場合と異なり、第２画像処理回路１８０に受け取られるようになっている。
第２画像処理回路１８０は、右目用動画のデータ及び左目用動画のデータに対して、必要に応じて画像処理を行うようになっている。必要がなければ第２画像処理回路１８０は、右目用動画のデータ及び左目用動画のデータをそのまま通過させる。
【００３２】
第２画像処理回路１８０で画像処理が必要な場合において行われる画像処理は、もっぱら、画像処理回路１５６が生成した右目用動画のデータと、左目用動画のデータとを用いてユーザに立体視を行わせる装置である立体視用動画表示装置が、１つのディスプレイを備えるときにおいて、右目用動画のデータと、左目用動画のデータという２つのデータから、かかる１つのディスプレイに表示させる１つの動画のデータを生成するというものである。
例えば、立体視用動画表示装置が１つのディスプレイで、時分割される立体視用の動画を表示する場合には、立体視用の動画のデータは、１フレーム毎に交互に右目用動画を構成するフレームと左目用動画を構成するフレームが連続していくものとなる。この場合には、第２画像処理回路１８０は、右目用動画のデータの１フレーム目、左目用動画のデータの２フレーム目、右目用動画のデータの３フレーム目、左目用動画のデータの４フレーム目…、というように、右目用動画に連続して含まれるフレームと、左目用動画に連続して含まれるフレームとを、それぞれのフレームからフレームを一つ飛ばしに落として行きつつ、交互に連続させて、立体視用の動画のデータを生成する。
また、立体視用動画表示装置が１つのディスプレイで視差分割される立体視用の動画を表示する場合には、立体視用の動画のデータにおける各フレームは、各フレームの視差によって分割される右目で見るべき範囲に右目用動画の画像が、左目で見るべき範囲に左目用動画の画像が、それぞれ配置されたものとなる。この場合には、第２画像処理回路１８０は、右目用動画のデータと左目用動画のデータから、同じ順番のフレームの画像同士を適切に混合して新たなフレームデータを順に生成することにより立体視用の動画のデータを生成する。
【００３３】
第２画像処理回路１８０は、右出力線１８１Ｒと、左出力線１８１Ｌとに接続されており、また、右接続線１８２Ｒと、左接続線１８２Ｌに接続されている。右接続線１８２Ｒと、左接続線１８２Ｌは、記録媒体１９０に接続されている。記録媒体１９０はデータの記録を行えるものであり、公知、周知のもので良い。記録媒体１９０は、カメラに対して固定されていてもよく、カメラに対して着脱自在とされていてもよい。前者の例としては例えばハードディスクを挙げることができ、後者の例としては、ＤＶＤディスクや、ＵＳＢメモリを挙げることができる。
第２画像処理回路１８０が右目用動画のデータと左目用動画のデータに対して何らの処理も行わなかった場合には、それらデータはそのまま右出力線１８１Ｒと、左出力線１８１Ｌから外部に出力されるか、或いは右接続線１８２Ｒと、左接続線１８２Ｌから記録媒体１９０に送られる。記録媒体１９０に送られた右目用動画のデータと左目用動画のデータは、記録媒体１９０に記録される。右出力線１８１Ｒと、左出力線１８１Ｌから外部に出力された右目用動画のデータと左目用動画のデータは、外部の装置に送られて、例えば、第２画像処理回路１８０で行われたのと同じように、１つのディスプレイでの立体視を実現するための立体視用の動画データを生成するために用いられる。記録媒体１９０に記録された右目用動画のデータと左目用動画のデータは、必要なときに、第２画像処理回路１８０と、右出力線１８１Ｒ及び左出力線１８１Ｌと、を介して外部に出力され、上述の場合と同様に利用される。また、記録媒体１９０がカメラに対して着脱自在になっているのであれば、カメラから取外した記録媒体１９０に記録されたデータを他の装置に読み込ませることによって、そのデータを上述の場合と同様に利用することができる。
他方、第２画像処理回路１８０で上述のような処理を行った場合においては、処理されたデータは、例えば右出力線１８１Ｒを介して外部の装置に出力され、或いは右接続線１８２Ｒを介して記録媒体１９０に送られ、記録媒体１９０に記録される。第２画像処理回路１８０で生成されたデータは一列のデータである場合には、右出力線１８１Ｒと左出力線１８１Ｌという２本の出力線は不要であり、また右接続線１８２Ｒと、左接続線１８２Ｌという２本の接続線は不要である。
第２画像処理回路１８０で画像処理を行うか否か、また画像処理が行われた、或いは行われなかったデータの出力先をどこにするのか、或いは記録媒体１９０に記録されたデータをいつ出力するのかは、例えば、カメラのケース１１０に設けた、テンキーその他の図示を省略の入力装置からの入力によって決定可能とすることができる。
【符号の説明】
【００３４】
１００  本体
１１０  ケース
１２０  鏡筒
１３１Ｒ  第１レンズ
１３１Ｌ  第１レンズ
１３２Ｒ  第１ミラー
１３２Ｌ  第１ミラー
１３３Ｒ  第２ミラー
１３３Ｌ  第２ミラー
１４０  撮像素子
１４１  撮像面
１４１Ｒ  右撮像面
１４１Ｌ  左撮像面
１５６  画像処理回路
１６０Ｒ  右ディスプレイ
１６０Ｌ  左ディスプレイ
１７０Ｒ  第２レンズ
１７０Ｌ  第２レンズ
１８０  第２画像処理回路
１９０  記録媒体
２００  固定部材
３００  接続部材
Ｌ１Ｒ  像光
Ｌ１Ｌ  像光
Ｌ２Ｒ  像光
Ｌ２Ｌ  像光
【図１】
2016201742.tif 000003
【図２】
2016201742.tif 000004
【図３】
2016201742.tif 000005
【図４】
2016201742.tif 000006
【図５】
2016201742.tif 000007
【図６】
2016201742.tif 000008