(57)【特許請求の範囲】
【請求項１】
直交座標系におけるｘ−ｙ軸からなる平面上に存在し、かつ、ｚ軸方向に奥行きがある三次元の被写体からの光を入力する三次元光線入力装置において、
第１光学素子、第２光学素子、結像素子、撮像素子、記録手段を有し、
前記第１光学素子、前記第２光学素子はｙ軸方向に長さを有し、
前記撮像素子は二次元画像を撮像できるものであり、
前記第１光学素子と前記第２光学素子はｘ軸方向に一体に移動して前記被写体からの光を走査するように配置され、
前記第１光学素子は、前記被写体周囲からの光線を前記第２光学素子上に振り分けるように配置され、
前記結像素子は、前記第２光学素子に結像した光を前記撮像素子に結像させるように配置され、
前記撮像素子は、前記結像した光を撮像するものであり、前記第２光学素子のｙ軸方向の各位置における光は、前記ｙ軸方向の各位置に対応した前記撮像素子の位置で撮像し、かつ、前記第２光学素子のｘ軸方向の各位置における光は、前記ｘ軸方向の各位置に対応した前記撮像素子の位置で撮像するように配置され、
前記記録手段は、前記走査された順番で前記撮像素子に撮像された画像を記録するように配置される、
ことを特徴とする三次元光線入力装置。
【請求項２】
直交座標系におけるｘ−ｙ軸からなる平面上に存在し、かつ、ｚ軸方向に奥行きがある三次元の被写体からの光を入力する三次元光線入力装置において、
第１光束範囲制御素子、第２光学素子、結像素子、撮像素子、記録手段を有し、
前記第１光束範囲制御素子、前記第２光学素子はｙ軸方向に長さを有し、
前記撮像素子は二次元画像を撮像できるものであり、
前記第１光束範囲制御素子と前記第２光学素子はｘ軸方向に一体に移動して前記被写体からの光を走査するように配置され、
前記第１光束範囲制御素子は、前記被写体周囲からの光線を第２光学素子上に振り分けるように配置され、
前記結像素子は、前記第２光学素子上に絞られた光を前記撮像素子に結像させるように配置され、
前記撮像素子は、前記結像した光を撮像するものであり、前記第２光学素子のｙ軸方向の各位置における光は、前記ｙ軸方向の各位置に対応した前記撮像素子の位置で撮像し、かつ、前記第２光学素子のｘ軸方向の各位置における光は、前記ｘ軸方向の各位置に対応した前記撮像素子の位置で撮像するように配置され、
前記記録手段は、前記走査された順番で前記撮像素子に撮像された画像を記録するように配置される、
ことを特徴とする三次元光線入力装置。
【請求項３】
直交座標系におけるｘ−ｙ軸からなる平面上に存在し、かつ、ｚ軸方向に奥行きがある三次元の被写体からの光を入力する三次元光線入力装置において、
第２光学素子、第２光束範囲制御素子、結像素子、撮像素子、記録手段を有し、
前記第２光学素子はｙ軸方向に長さを有し、
前記撮像素子は二次元画像を撮像できるものであり、
前記第２光学素子はｘ軸方向に移動して前記被写体からの光を走査するように配置され、
前記第２光学素子は、前記被写体からの光が入射するように配置され、
前記結像素子は、前記第２光学素子に入射した光を前記第２光線範囲制御素子を介して前記撮像素子に結像するように配置され、
前記撮像素子は、前記結像した光を撮像するものであり、前記第２光学素子のｙ軸方向の各位置における光は、前記ｙ軸方向の各位置に対応した前記撮像素子の位置で撮像し、かつ、前記第２光学素子のｘ軸方向の各位置における光は、前記ｘ軸方向の各位置に対応した前記撮像素子の位置で撮像するように配置され、
前記記録手段は、前記走査された順番で前記撮像素子に撮像された画像を記録するように配置される、
ことを特徴とする三次元光線入力装置。
【請求項４】
前記第１光学素子は、光学素子を一列にアレイ状に配置した
ことを特徴とする請求項１記載の三次元光線入力装置。
【請求項５】
前記第２光学素子は、光学素子を一列にアレイ状に配置した
ことを特徴とする請求項１乃至３の中のいずれか一項に記載の三次元光線入力装置。
【請求項６】
前記結像素子は、ミラーまたはプリズムによって前記第２光学素子のｙ軸方向に沿って走査する
ことを特徴とする請求項１乃至３の中のいずれか一項に記載の三次元光線入力装置。
【請求項７】
前記結像素子は、可変焦点である
ことを特徴とする請求項１乃至３の中のいずれか一項に記載の三次元光線入力装置。
【請求項８】
前記第２光線範囲制御素子が、前記結像素子の主点付近にある
ことを特徴とする請求項３に記載の三次元光線入力装置。
【請求項９】
前記第２光線範囲制御素子が、前記結像素子の前記被写体側の焦点距離付近にある
ことを特徴とする請求項３に記載の三次元光線入力装置。
【請求項１０】
前記第２光線範囲制御素子が、ｘ軸方向とｙ軸方向を独立に開口幅が制御できる
ことを特徴とする請求項３に記載の三次元光線入力装置。
【請求項１１】
前記第２光学素子と前記結像素子との間に３枚の反射素子を有し、
前記３枚の反射素子は前記第２光学素子と共に移動し、
前記第２光学素子からの光を反射する反射素子の移動速度が、前記他の２枚の反射素子の移動速度の２倍であり、
前記第２光学素子と固定された前記結像素子までの光路長が一定である
ことを特徴とする請求項１乃至３の中のいずれか一項に記載の三次元光線入力装置。
【請求項１２】
前記第１光学素子と前記第２光学素子の間隔が、前記第２光学素子の焦点距離に相当し、
前記第１光学素子と前記第２光学素子とを固定したまま前記反射素子を走査する
ことを特徴とする請求項１１に記載の三次元光線入力装置。
【請求項１３】
前記結像素子と前記撮像素子は、前記第１光学素子と前記第２光学素子と共にｘ軸方向に一体に移動して前記被写体からの光を走査する
ことを特徴とする請求項１または２記載の三次元光線入力装置。
【請求項１４】
前記第２光束範囲制御素子と前記結像素子と前記撮像素子は、前記第２光学素子と共にｘ軸方向に一体に移動して前記被写体からの光を走査する
ことを特徴とする請求項３記載の三次元光線入力装置。
【請求項１５】
前記結像素子と前記撮像素子は、前記第２光学素子と共にｘ軸方向に一体に移動して前記被写体からの光を走査し、
前記第２光線範囲制御素子が、前記結像素子の像側の焦点距離近傍にある
ことを特徴とする請求項３記載の三次元光線入力装置。
【請求項１６】
前記第２光学素子からの光線を取得できる範囲のみを前記撮像素子面に結像するように拡大縮小する第３光学素子を有する
ことを特徴とする請求項１３乃至１５の中のいずれか一項に三次元光線入力装置。
【請求項１７】
前記第２光学素子と前記結像素子との間に３枚の反射素子を有し、
前記３枚の反射素子は前記第２光学素子と共に移動し、
前記第２光学素子からの光を反射する前記３枚の反射素子の中の１枚の反射素子の移動速度が、前記他の２枚の反射素子の移動速度の２倍であり、
前記第２光学素子と固定された前記結像素子までの光路長が一定である
ことを特徴とする請求項１３乃至１６の中のいずれか一項に記載の三次元光線入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像再生装置に表示する光線情報を得るための三次元光線入力装置に関するものである。
【背景技術】
【０００２】
奥行きをもつ物体の三次元画像の情報を取得するためには多数のカメラや移動カメラ、レーザースキャンなどが行われていた。多数のカメラを用いるとカメラそれぞれの個体差や設置精度により画質が劣化する。また、移動カメラでは駆動系のバラつきなどが問題となる。
【０００３】
そして、従来より下記のような技術が提案されている。
【０００４】
第１の従来技術は、平行光線を選択的に取得し、走査するという技術である（例えば、特許文献１参照）。
【０００５】
第２の従来技術は、ミラーによる走査を行い、視差画像を得て視差による倍率を補正する技術である（例えば、特許文献２参照）。
【０００６】
第３の従来技術は、レンズアレイとリレーレンズを用いて、インテクグラルフォトグラフィー光線情報を得る技術である。また、２重の光学素子とリレーレンズを用いて正立化させ、走査で画角を広げるといった技術も開示されている（例えば、特許文献３参照）。
【特許文献１】特開平１１−８８６３号公報
【特許文献２】特許第３５３７２１８号公報
【特許文献３】特開２００４−３０７８００公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、第１の従来技術では、レンズの焦点距離にスリットを配置するため、光線の角度を合わせ直しながらスキャンする必要があり、走査範囲と取得する画像範囲が異なる。また、レンチキュラーシートやマイクロレンズアレイを用いた立体表示装置の表示する場合複雑な処理が必要という問題点がある。さらに、リレーレンズがないため被写体近傍でデータが取得できず、装置が大型化するという問題点がある。
【０００８】
また、第２の従来技術では、倍率が変化してしまうので余計な補正処理が必要となる。また、輻輳角を変化させて情報を得る必要となる問題点がある。
【０００９】
さらに、第３の従来技術では、群レンズを用いるので、１度に取得できる光線範囲が限られてしまう。レンズの解像度がそのまま取得画像の解像度なり、解像度劣化やコストが高くなる。レンズが撮像範囲全範囲に必要なので、装置が高価で大型化してしまうという問題点がある。
【００１０】
そこで、本発明は、安価で省スペースな三次元光線入力装置を提供する。
【課題を解決するための手段】
【００１１】
本発明は、直交座標系におけるｘ−ｙ軸からなる平面上に存在し、かつ、ｚ軸方向に奥行きがある三次元の被写体からの光を入力する三次元光線入力装置において、第１光学素子、第２光学素子、結像素子、撮像素子、記録手段を有し、前記第１光学素子、前記第２光学素子はｙ軸方向に長さを有し、前記撮像素子は二次元画像を撮像できるものであり、前記第１光学素子と前記第２光学素子はｘ軸方向に一体に移動して前記被写体からの光を走査するように配置され、前記第１光学素子は、前記被写体周囲からの光線を前記第２光学素子上に振り分けるように配置され、前記結像素子は、前記第２光学素子に結像した光を前記撮像素子に結像させるように配置され、前記撮像素子は、前記結像した光を撮像するものであり、前記第２光学素子のｙ軸方向の各位置における光は、前記ｙ軸方向の各位置に対応した前記撮像素子の位置で撮像し、かつ、前記第２光学素子のｘ軸方向の各位置における光は、前記ｘ軸方向の各位置に対応した前記撮像素子の位置で撮像するように配置され、前記記録手段は、前記走査された順番で前記撮像素子に撮像された画像を記録するように配置される、ことを特徴とする三次元光線入力装置である。
【００１２】
また、本発明は、直交座標系におけるｘ−ｙ軸からなる平面上に存在し、かつ、ｚ軸方向に奥行きがある三次元の被写体からの光を入力する三次元光線入力装置において、第１光束範囲制御素子、第２光学素子、結像素子、撮像素子、記録手段を有し、前記第１光束範囲制御素子、前記第２光学素子はｙ軸方向に長さを有し、前記撮像素子は二次元画像を撮像できるものであり、前記第１光束範囲制御素子と前記第２光学素子はｘ軸方向に一体に移動して前記被写体からの光を走査するように配置され、前記第１光束範囲制御素子は、前記被写体周囲からの光線を第２光学素子上に振り分けるように配置され、前記結像素子は、前記第２光学素子上に絞られた光を前記撮像素子に結像させるように配置され、前記撮像素子は、前記結像した光を撮像するものであり、前記第２光学素子のｙ軸方向の各位置における光は、前記ｙ軸方向の各位置に対応した前記撮像素子の位置で撮像し、かつ、前記第２光学素子のｘ軸方向の各位置における光は、前記ｘ軸方向の各位置に対応した前記撮像素子の位置で撮像するように配置され、前記記録手段は、前記走査された順番で前記撮像素子に撮像された画像を記録するように配置される、ことを特徴とする三次元光線入力装置である。
【００１３】
また、本発明は、直交座標系におけるｘ−ｙ軸からなる平面上に存在し、かつ、ｚ軸方向に奥行きがある三次元の被写体からの光を入力する三次元光線入力装置において、第２光学素子、第２光束範囲制御素子、結像素子、撮像素子、記録手段を有し、前記第２光学素子はｙ軸方向に長さを有し、前記撮像素子は二次元画像を撮像できるものであり、前記第２光学素子はｘ軸方向に移動して前記被写体からの光を走査するように配置され、前記第２光学素子は、前記被写体からの光が入射するように配置され、前記結像素子は、前記第２光学素子に入射した光を前記第２光線範囲制御素子を介して前記撮像素子に結像するように配置され、前記撮像素子は、前記結像した光を撮像するものであり、前記第２光学素子のｙ軸方向の各位置における光は、前記ｙ軸方向の各位置に対応した前記撮像素子の位置で撮像し、かつ、前記第２光学素子のｘ軸方向の各位置における光は、前記ｘ軸方向の各位置に対応した前記撮像素子の位置で撮像するように配置され、前記記録手段は、前記走査された順番で前記撮像素子に撮像された画像を記録するように配置される、ことを特徴とする三次元光線入力装置である。
【発明の効果】
【００１４】
本発明であると、安価で省スペースな三次元光線入力装置を提供できる。
【発明を実施するための最良の形態】
【００１５】
本発明の一実施形態の三次元光線入力装置は、三次元画像再生装置を用いて三次元画像を再生する場合に、その再生に必要な三次元画像を記録するための装置である。そのため、本実施形態の三次元光線入力装置を説明する前に、三次元画像再生装置について説明する。
【００１６】
［Ａ］三次元画像再生装置
まず、三次元画像を表示する三次元画像再生装置について図３１〜図３４に基づいて説明する。
【００１７】
（１）三次元画像再生装置の概略
図３１は、三次元画像再生装置の概略構成を示す図である。
【００１８】
液晶ディスプレイ１５０１は、ＲＧＢ３原色のサブピクセルが後述のようにマトリクス平面状に配置されたカラー液晶表示画面を有する。この液晶ディスプレイ１５０１は駆動装置１５０５により電気的に駆動され、表示画面の各列に視差情報が表示される。液晶ディスプレイ１５０１の背面側にはバックライト１５０３が配置されており、このバックライト１５０３から発せられた光は液晶ディスプレイ１５０１の表示画面を照らす。
【００１９】
ピンホールアレイ板１５０２が、バックライト１５０３とは反対側、つまり液晶ディスプレイ１５０１の表示画面と観察者との間の位置に配置されている。このピンホールアレイ板１５０２の各ピンホール１５０９から出射する光線群により三次元実像１５０６が再生され、観察眼１５０８により認識される。
【００２０】
また、ピンホールアレイ板１５０２から実像１５０６とは逆方向に光線を辿っていくことにより、三次元虚像１５０７を再生することもできる。
【００２１】
さらに、ピンホールアレイ板１５０２の前後に連続的に三次元像を再生させることも可能である。
【００２２】
なお、ピンホール１５０９に代えて公知のマイクロレンズアレイ１５１２としてもよい。
【００２３】
（２）三次元画像再生装置の構成
三次元画像再生装置は、ＲＧＢの混色において色割れのない、自然で高精細な立体像を再生することができるように以下の構成を有している。
【００２４】
図３２は、図３１に示した三次元画像再生装置と三次元画像との位置関係を上から見た図である。
【００２５】
観察者１５０８から見てピンホールアレイ板１５０２の後ろ側に配置される液晶ディスプレイ１５０１は、角度に応じて微妙に見え方の違う視差画像群、すなわち多視点画像を表示する。この多視点画像から発せられた光は、いずれかのピンホール１５０９を通って多数の視差画像光線群となり、これらが集光されて三次元実像１５０６（立体像）が再生される。
【００２６】
多視点画像を平面的に表示する液晶ディスプレイ１５０１において、その最小の駆動単位はＲ（赤），Ｇ（緑），Ｂ（青）の各サブピクセルである。Ｒ，Ｇ，Ｂの３つのサブピクセルによって色を再現することができる。
【００２７】
各サブピクセルは、各々からピンホール１５０９の中心を通る直線が、表示空間上の立体像と交わる点の輝度及び色の情報を表示する。ここで、同一のピンホール１５０９を通る同一サブピクセルからの直線が「立体像と交わる点」は一般には複数あるが、表示点は観察者側に最も近い点とする。例えば図３２において、Ｐ２よりも観察眼１５０８に近い点Ｐ１を表示点とする。
【００２８】
（３）三次元画像再生装置の他の構成
図３３は、図３１のピンホールアレイ板１５０２に代えてスリットアレイ板１５１０を配置した場合を示す図である。
【００２９】
図３４はこのスリットアレイ板１５１０を正面から見た概略図である。スリットアレイ板１５１０を用いる場合、垂直方向の視差はあえて放棄する。スリットアレイ板１５１０はピンホールアレイ板１５０２よりも製作が容易であり、ピンホールアレイ板１５０２と同様に色分離のない自然で高精細な立体像を再生できる。
【００３０】
なお、スリットアレイ板１５１０に代えてレンチキュラーシート１５１３を用いてもよい。
【００３１】
［Ｂ］三次元光線入力装置の理論
三次元画像再生装置において再生するためには三次元光線情報を取得する必要がある。従来は多視点の映像から光線情報を取得していたが、この取得方法では下記の２点の問題点がある。
【００３２】
第１の問題点は、視点位置から三次元光線情報に変換する処理が必要であることである。
【００３３】
第２の問題点は、垂直の視差を放棄したとき、水平方向と垂直方向でカメラの画角を変化させないと正しい三次元光線情報取得できないことである。
【００３４】
そこで、本実施形態の三次元光線入力装置では、三次元画像再生装置の位置に対応させた三次元光線情報をそのまま取得することを目的とする。
【００３５】
すなわち、本実施形態の三次元光線入力装置は、コンパクト、かつ、膨大な三次元光線情報を有効に取得するために複数の光学素子からなる光学系と撮像素子を走査する。また、垂直の視差を放棄するとき垂直方向は観察者の想定視距離からの透視撮影であることを特徴とする。
【００３６】
三次元画像再生装置では、三次元光線情報を図３１のようにピンホール１５０２背面に三次元光線情報に準じた画素配置をすることによって再生できる。このような表示を行うためには、三次元画像再生装置に準じた三次元光線情報を得る必要がある。
【００３７】
そこで、本実施形態では、図３，４に示すように、光学素子Ｌ１がこの三次元画像再生装置の光線制御素子に相当し、被写体からの光線角度を光学素子Ｌ２上の位置に変換する。一次元方向の光線情報のみを提示する場合、視差を与えない方向では三次元画像再生装置の観察距離からの透視画像を取得する必要がある。結像素子Ｌ３は視差なし方向の画像を透視画像として結像し、光学素子Ｌ２上の視差あり方向の三次元光線も取得する役割がある。
【００３８】
この光学素子Ｌ１をスリット（若しくはピンホールアレイ）に変換することも可能である。また、光学素子Ｌ２によって光学素子Ｌ１と結像素子Ｌ３が共役像関係になっている場合、結像素子Ｌ３上を絞るスリットにすることによって同様の効果を得ることができる。結像素子Ｌ３をテレセントリック光学系を採用すると、結像素子Ｌ３の焦点距離のところにスリットを配置し、そのスリット位置と光学素子Ｌ１位置（仮想）を光学素子Ｌ２によって共役にすることによって、同様の効果を生むことができる。
【００３９】
なお、「光線情報」とは、反射光、透過光、自発光の光を含む概念である。
【００４０】
［Ｃ］三次元光線入力装置
次に、三次元光線入力装置の各実施形態について図面に基づいて説明する。
【００４１】
＜実施形態１＞
実施形態１の三次元光線入力装置１００について図１〜図４に基づいて説明する。
【００４２】
（１）三次元光線入力装置１００の構成
図１は、本実施形態を説明する平面図であり、図２はその側面図である。
【００４３】
三次元光線入力装置１００では光学系と、その光学系を可動させ走査する駆動系と駆動毎に画像データを取得する撮像手段で構成される。図中には筐体４００内の光学系と撮像手段のみを示す。
【００４４】
図１と図２で示すようにシリンドリカルレンズＬ１とシリンドリカルレンズＬ２と一体的にミラーＭ１が設置される。Ｍ１はレンズ越しの光軸を９０度曲げる作用を持つ。ミラーＭ２、Ｍ３はミラーＭ１からの光を受け結像レンズＬ３に折り返す効果を持つ。ＣＣＤやＣＭＯＳといった二次元画像を撮像できる光電変換素子アレイＲは結像レンズＬ３の後段に設置される。
【００４５】
（２）直交座標系の定義
光線情報を表す直交座標系として、平面図（図１）の水平方向（図２において紙面に平行な面）を水平方向（ｘ軸とｙ軸からなる面）とし、平面図の垂直方向（図２において紙面に垂直な方向）を垂直方向（ｚ軸方向）と呼ぶ。このｘ、ｙ、ｚ座標系によれば、レンズＬ１、レンズＬ２、ＣＣＤやＣＭＯＳといった二次元画像を撮像できる光電変換素子アレイＲはｙ軸方向に長い。そして、走査方向はｘ軸方向である。
【００４６】
（３）三次元光線入力装置１００の動作
レンズＬ１、レンズＬ２、Ｍ１は一体的にｘ軸方向に可動する。ミラーＭ２とミラーＭ３は一体的に設置され、レンズＬ１、レンズＬ２、ミラーＭ１の移動速度の半分の移動速度でｘ軸方向に可動する。このようにすることによって、走査による移動があってもレンズＬ１からの光路長は変化しない。このミラーＭ１、ミラーＭ２、ミラーＭ３のミラーの形状はレンズ越しの画像取得範囲となる。後で示す光学系の光線範囲に準じて必要な範囲のミラーを設置する。
【００４７】
（４）三次元光線入力装置１００の入力原理
図３、図４は本実施形態のミラーによる折り返しをなくし光学系の光線を示した図であり、図３は側面図、図４は平面図になる。この図３，４を用いて三次元光線入力装置１００の入力原理を説明する。
【００４８】
シリンドリカルレンズＬ１とシリンドリカルレンズＬ２の距離をａとする。
【００４９】
レンズＬ２とレンズＬ３の距離をｂとする。
【００５０】
レンズＬ３から複数束光電変換素子アレイＲの距離をｃとする。
【００５１】
レンズを挟んで像側を正（＋）、物体側を負（−）の符号とする。
【００５２】
レンズＬ１の焦点距離ｆ１は、ｆ１＝ａである。
【００５３】
レンズＬ２の焦点距離ｆ２は、−１／ｆ２＝１／ａ−１／ｂである。
【００５４】
レンズＬ３は水平の焦点距離ｆ３ｈと垂直の焦点距離ｆ３ｖが異なる。水平方向の焦点距離ｆ３ｈは（図４の上下方向の曲線とレンズの媒質によって決まる）は、
１／（ａ＋ｂ）−１／ｃ＝−１／ｆ３ｈ
であり、垂直方向の焦点距離ｆ３ｖ（図３の上下方向の曲線とレンズの媒質によって決まる）は、
１／ｂ−１／ｃ＝−１／ｆ３ｖ
となる。
【００５５】
つまり、レンズＬ１は水平方向では被写体からの平行光をレンズ幅で集め、レンズＬ２上に集光するその光はレンズＬ２を介してレンズＬ３で光電変換素子アレイＲ上に結像する。垂直方向ではレンズＬ１レンズ面（走査面表面）の像（ある程度の被写体深度を持つ）を光電変換素子アレイＲ上に結像する。
【００５６】
このような光学系にすることで、レンズＬ１面での平行光の角度分布を光電変換素子アレイＲの画素数だけ被写体の視差を取得できる。レンズＬ２を挟むことで広い角度範囲を狭い光電変換素子アレイＲ上に入れ込むことができる。垂直方向は視差なく、被写体の像を結像できる。被写体の水平方向の像は走査することで得ることができる。この走査して光電変換素子アレイＲで撮像した画像は、メモリに記憶される。
【００５７】
このように、ミラーで折り返し、光電変換素子アレイＲを複数束ねる光学系を用いることによって安価で省スペースの三次元光線入力装置１００が得ることができる。また、レンズを用いることで光効率が上がる。
【００５８】
図３５から図３８に垂直の入力と出力の関係について示す。
【００５９】
図３５は被写体を含めた光学系の側面図になっている。なお、ミラーでの折り返しは省略している。被写体からは照明からの光を様々な方向に散乱反射している。この光線を取得し再生すれば実空間に近い立体表示をすることができる。被写体の様々な方向からの光線がＬ１に入射する。図中では例として丸数字１から丸数字５の光線を示す。レンズＬ１によってＬ１位置での丸数字１から丸数字５の光線角度がＬ２上の異なる位置に集光される。これがＬ２と結像レンズＬ３によって光電変換素子アレイRに結像される。このとき丸数字１から丸数字５の並びが反転する。Ｌ１で反転し、Ｌ３で反転するため、２回反転する。これをＬ１の位置を変えスキャンすることによって広い範囲の光線情報を取得することができる。
【００６０】
表示するときはＬ１に対応した表示のためのレンズやスリットといった光線制御素子にそれぞれの位置に対応した三次元光線情報を与えればよい。図３６に示すように光線制御素子（レンズアレイやピンホールアレイ若しくはレンチキュラーシートやスリットアレイ）を通すことで場所が異なる画素が光線角度に対応し出力される。それぞれの位置で入力した三次元光線情報を表示すれば光線の集合として三次元の被写体を再生されることがわかる。例えば図３５で取得した丸数字１から丸数字５を図のように配置すれば、全く同じ立体像が再生されることがわかる。
【００６１】
垂直方向の視差も同様に取得するこができる。垂直方向の視差を放棄する場合、本実施例で示したようにシリンドリカルレンズをスキャンするレンズとして用いる。このようにすれば、垂直方向にはＬ１、Ｌ２のレンズは作用せず垂直方向では図３７のように通常の画像取得と同じように画像を取得することができる。
【００６２】
表示するときも図３８のように通常の画像を観察することと同様に垂直方向に視差を割り振らない光線制御素子（レンチキュラーシートやスリットアレイ）を用いて再生すると垂直方向には通常の画像と同様に、撮影位置からの透視画像が観察できる。このとき、人間は左右に２つの目を持っているため、両眼の視差などから奥行き情報を得ることができる。
【００６３】
＜実施形態２＞
次に、実施形態２の三次元光線入力装置１００について図５に基づいて説明する。
【００６４】
（１）三次元光線入力装置１００の構成
図５に、本実施形態のミラーの折り返しをなくし光学系と光線を示した側面図を示す。
【００６５】
平面図は図４とほぼ同様となる。実施形態１との相違点はレンズＬ１がないこと、レンズＬ３にスリット（絞り）Ｓがあること、レンズＬ３の焦点距離が水平・垂直で変化しないことの３点があげられる。
【００６６】
（２）三次元光線入力装置１００の入力原理
光学系の作用はほぼ同様で、水平方向の視差と垂直方向の画像を取得しながら水平方向の画像データを得るために走査する。
【００６７】
光学系の作用の相違点としては、レンズＬ３に用いるスリットＳが重要な役割がある。レンズＬ３面（主点位置付近）に水平方向のみ絞るスリットＳを配置することによって２つの効果が得られる。１つめはレンズＬ３の水平方向の結像力がなくなり被写体深度が深まるためレンズＬ３の焦点距離が水平と垂直で変える必要がなくなる。２つめはスリットＳが虚像として実施形態１のレンズＬ１の役割（水平方向にピンホールレンズとして働く）を果たす。
【００６８】
これにより、実施形態１と同様に視差光線を得ることができ、垂直方向ではスリットＳとレンズＬ２は作用しないので透視投影で撮影される。走査することによって水平方向の情報を得ることができる。
【００６９】
実施形態２のおいては、レンズＬ３の焦点距離が、１つのレンズであり製造コストが下がる。
【００７０】
（３）変更例１
実施形態１と同様に３枚のミラーを介して走査を行うことも考えられる。レンズＬ２とミラーＭ１を一体的に配置し、その速度の半分でミラーＭ２とミラーＭ３を結像レンズに光が入るように移動させ走査する。
【００７１】
（４）変更例２
Ｌ３へ入射する絞りSの形状が垂直方向と水平方向が独立に制御することも考えられる。垂直方向絞りの大きさは垂直方向の被写体深度に対応し、取得できる像の奥行き範囲を決める。水平方向の絞りの大きさは取得する水平方向の解像度（光線の分解能）に対応する。絞りが小さければ小さいほどよいが、光量が少なくなってしまう。状況に応じて絞りを垂直と水平で調整しながら使用する。
【００７２】
＜実施形態３＞
次に、実施形態３の三次元光線入力装置１００について図６に基づいて説明する。
【００７３】
本実施形態では、スリットＳを主点位置でなくレンズＬ３の物体側焦点位置に配置する。
【００７４】
図６に物体側焦点位置にスリットＳを入れたことを説明する図を示す。これにより、垂直方向は絞られた光は平行光として像側に射出する。このようにしても実施形態２と同様の効果が得られる。
【００７５】
＜実施形態４＞
次に、実施形態４の三次元光線入力装置１００について図７に基づいて説明する。
【００７６】
実施形態１の光学系のレンズＬ３に実施形態２や実施形態３のようにスリットＳを配置することも考えられる。図７に実施形態４を説明する側面図を示す。
【００７７】
図７で示すようにレンズＬ３でのスリットＳはレンズＬ１の開口に対応し、レンズＬ１の開口は水平の解像度に対応する。取得したい解像度や光量にあわせて絞りを変化させることが考えられる。基本的には、この開口毎に走査し画像を取得する。開口より細かく走査し、解像度を上げることもできる。
【００７８】
また、垂直方向の絞りも独立に制御できれば、垂直方向の被写体深度を変化させることができる。Ｓ／Ｎ比を上げるためには、その分多く照明が必要となるので、ある程度奥行きを取得したいときは絞る。光量が少ないとき、または、被写体の奥行きが狭いときには絞りを開ける。
【００７９】
＜実施形態５＞
次に、実施形態５の三次元光線入力装置１００について図８に基づいて説明する。
【００８０】
光効率を上げるためレンズＬ１の開口を大きくすると、取得できる位置の解像度が落ちてしまう。そこで、被写体からの平行光のみを取得するのではなく結像させて取得することが考えられる。
【００８１】
図８に実施形態５を説明する側面図を示す。
【００８２】
図８のように被写体とレンズＬ１の距離をｅとし、レンズＬ１の焦点距離をｆ１としたとき、１／ｅ−１／ａ＝−１／ｆ１と結像関係であればよい。レンズＬ３では水平方向と垂直方向で焦点距離が異なる。
【００８３】
水平方向は、１／（ａ＋ｂ＋ｅ）−１／ｃ＝−１／ｆ３ｈであり、垂直方向は、１／ｂ−１／ｃ＝−１／ｆ３ｖとなる。
【００８４】
被写体深度が浅く被写体の奥行きより深い場合、複数回結像位置を変えて走査することも考えられる。こうすることで大きなレンズサイズで光効率を上げながら解像度を上げるこができる。
【００８５】
＜実施形態６＞
次に、実施形態６の三次元光線入力装置１００について図９、１０に基づいて説明する。
【００８６】
垂直方向と水平方向の視差を同時に取得することもできる。図９に二次元視差を取得するためのレンズＬ１の形状の図を示す。図１０に二次元視差を取得するための二次元光学素子であるレンズＬ２の形状の図を示す。
【００８７】
図９のように１ラインのハエの目レンズ形状にすれば、垂直方向の視差も実施形態１〜５との水平視差と同様に得ることができる。このときレンズＬ２は図１０に示すように通常のレンズの作用を持たせる。一次元ではレンズ作用も１次元であり、２次元の視差を得るにはレンズも２次元の作用をリレーする必要がある。このような構成にすれば、二次元の視差が得ることができる。
【００８８】
＜実施形態７＞
次に、実施形態７の三次元光線入力装置１００について図１１、１２に基づいて説明する。
【００８９】
垂直視差を得るために垂直方向に走査することも考える。図１１に垂直方向に走査することを説明する図を示す。
【００９０】
光電変換素子アレイＲに対しレンズＬ３をシフトすることによって垂直方向に角度が着いた画像を得ることができる。水平の走査に加え垂直の走査をすれば二次元の視差を得ることができる。
【００９１】
十分に長い光電変換素子アレイＲであれば、センサは動かす必要がない。同様にレンズＬ１とレンズＬ２も視差に対応した長さがあれば移動する必要はない。
【００９２】
また、図１２の左図のように三次元画像表示装置として水平に置かれた表示面に対し俯瞰するような利用方法も考えられる。そのときに用いるコンテンツの撮り方として図１２の右図のようにすれば、観察する肉眼と同じ関係になるため、歪みがない像が得ることができる。
【００９３】
また、プリズムを新たに配置し、そのプリズムの角度を走査することによって垂直視差を走査することもできる。折り返すために内装されている３枚のミラーの向きを変えることによって垂直の視差を得ることができる。このとき、光電変換素子アレイＲの傾きもミラーに合わせて傾けることもできる。同様の手法で水平に置かれた三次元画像表示装置のコンテンツを取得することも考えられる。
【００９４】
＜実施形態８＞
次に、実施形態８の三次元光線入力装置１００について図１３〜１６に基づいて説明する。
【００９５】
図１３に照明の例を説明する図を示す。
【００９６】
照明範囲が狭いと被写体の異方性などで像に違和感がある情報が得られてしまう。液晶ディスプレイのバックライトに用いる導光板を用いることもできる。図１３のように照明する範囲レンズＬは撮像系の被写体深度に起因する最大撮像範囲と光線取得角度θから目安としてレンズＬ＝２ｄｔａｎθを得ることができる。
【００９７】
図１４に示すように取得範囲を筐体化すれば、その筐体の高さによってこの像取得範囲が決まる。
【００９８】
また、図１６のように筐体化をした場合には筐体の壁面を面光源として照明することもできる。また導光板レンズ側の側面は直接レンズが入ると取得するデータの邪魔になるためミラーなどによって加工することもできる。
【００９９】
また、独立に制御できる照明を複数設置しておき、照明を変えながら複数撮影することができる。このような情報を得ることによって様々な照明条件の画像を合成することができる。
【０１００】
筐体化について説明する。被写体に対し上側から像を取得するときに、被写体を収める筐体と被写体の光線情報を取得するスキャン装置で構成されこのスキャン装置は被写体を収めた筐体蓋として開閉することができる。スキャン装置は被写体を走査しながら利用者が構図を確認するために上部をガラスとする。
【０１０１】
図１５に示すように、スキャン装置は上部だけでなく側面の設置することにより、一度に上部からと側面からの光線情報を取得することができる。
【０１０２】
＜実施形態９＞
次に、実施形態９の三次元光線入力装置１００について図１７に基づいて説明する。
【０１０３】
図１７に光電変換素子アレイが１列のみ（カラーの場合、ＲＧＢの３本）のラインセンサＲで視差情報を得る構成について示す。
【０１０４】
レンズＬ１とレンズＬ２の間隔がレンズＬ２の焦点距離にし、レンズＬ１とレンズＬ２を固定したまま走査ミラーを走査する。そうするとそのポジションの視差情報を走査することができる。その位置での視差情報を取得した後、レンズＬ１とレンズＬ２を変えて同様なことを繰り返す。このようにすることで、１本のラインセンサＲでも視差情報と位置情報を走査することができる。
【０１０５】
また、Ｌ１、Ｌ２と走査ミラーを固定したまま（相対的な位置関係が同じまま）走査し、走査ミラーのＬ１、Ｌ２との相対位置をずらし複数回走査することでも同様の効果が得られる。
【０１０６】
＜実施形態１０＞
次に、実施形態１０の三次元光線入力装置１００について図１８に基づいて説明する。
【０１０７】
一度に複数のラインセンサＲとレンズを用いて走査することもできる。図１８に３つのユニットを組み合わせた装置の側面図を示す。
【０１０８】
図１８のようにレンズ３つのユニットを組みあわせることによって走査時間が３分の１で済む。センサやレンズを増やせば、動画も取得できる。
【０１０９】
＜実施形態１１＞
次に、実施形態１１の三次元光線入力装置１００について説明する。
【０１１０】
レンズＬ１とレンズＬ２をｘ−ｙ平面上で傾きをつけて設置することによってカラーフィルタを有効に使い視差を効率的に取得することができる。
【０１１１】
また、ディプレイでも光線を分ける光学素子を斜めに配置し効率を上げる方法が知られている。出力ディスプレイを同じ傾きのレンズを用いて三次元光線情報を取得するとそのディスプレイにそのまま出力することができる。
【０１１２】
＜実施形態１２＞
次に、実施形態１２の三次元光線入力装置１００について図２４〜２８に基づいて説明する。
【０１１３】
レンズが傾いていたりすると正確なデータを取得することができない。テストパターンを入力することで補正データを得て正しいデータに補正することができる。レンズの回転等は縦縞のテストパターンでずれ量を得ることができる。
【０１１４】
図２４に示すような座標系でφレンズが傾いていたときに水平方向（ｘｙ平面上を回転）する場合は図２５のように縞が傾いて見える。奥行き方向（ｙｚ平面上を回転）の傾きは図２６のように線の太さが変化する。
【０１１５】
このように補正データを理想とする縞にするような画像処理を行えば補正することができる。補正が大きすぎる場合には光学素子の配置を直しハードで補正することもできる。
【０１１６】
また、図２１や図２７に示すようにシリンドリカルレンズによって水平なはずの直線が歪むことが起こる。これは光学的な特性上仕方がないことなので、この歪みデータを取得し、画像処理によって理想の直線になるように補正することができる。
【０１１７】
図２９に出荷前の製品補正データ取得と補正のフローチャートの一例を示す。このような手順で補正することができる。
【０１１８】
すなわち、垂直テストパターンを表示し、光電変換素子アレイＲとレンズＬ１、Ｌ２による誤差データを検出し、その誤差が許容範囲であれば誤差データを格納し、範囲外であればレンズＬ１、Ｌ２の傾きを補正する。次に、水平テストパターンを表示し、レンズＬ１、Ｌ２による歪みデータを検出し、その歪みデータを格納する。
【０１１９】
＜実施形態１３＞
次に、実施形態１３の三次元光線入力装置１００について図２９、３０に基づいて説明する。
【０１２０】
取得したデータをディスプレイの特性などに合わせて冗長に出力する。若しくは、どんな三次元画像再生装置でも対応できるデータのフォーマットを考える。
【０１２１】
取得したデータは位置の関数による光線情報が取得されている。これらをそのまま保存しておけば冗長なデータとして設計の立体表示ディスプレイ（二眼式、多眼識、インテグラルイメージング）でも表示ができる。インテグラルイメージングとは図２８のように多数の光線をレンズやスリット（ピンホール）よって分解し光線を統合することによってオブジェクトを表現する方法である。これらの三次元画像再生装置の視差数や観察距離にあわせその配置を逆とトレースすればよい。
【０１２２】
例えば、図１９には４眼式で視域角度がθｖの時の画素サンプリングを示す。多くのデータを持っていればどんな三次元画像再生装置でも歪みなく表示することができる。このときのフォーマットは光線の角度を換算するので図２３に示すようにレンズＬ２面とレンズＬ１面との角度θとレンズＬ１の座標位置でｘ、ｙで保存することもできる。図２２に示すように三次元画像再生装置の位置を変化させることもできる。
【０１２３】
多眼式にあわせるためには観察位置を定義し始点位置を定義しディスプレイ面を定義し、逆トレースをすれば画素配置が決まる。
【０１２４】
図３０にフローチャートの一例を示す。出力デバイスのデータを入力することによってデバイス用の出力フォーマットでデータを出力することができる。
【０１２５】
入力データを歪み補正などを行い、三次元光線情報として保存する。出力されるディバイスの情報を用いて表示範囲や画像サイズなどを変換し、圧縮の有無を入力し圧縮を行い出力する。
【０１２６】
＜実施形態１４＞
ミラーによる折り返しを行わない場合、上記各実施形態では、走査光学系のみが移動するためスキャン範囲の全て範囲を撮像する必要であった。このとき光線情報を取得する範囲（全ての光学素子を通し得られる画像）が撮像素子Ｒの一部であり、スキャン位置によって撮像素子位置が変化するため、撮像素子Ｒの利用効率が落ちる。そこで、本実施形態では、撮像素子Ｒと光線情報を取得する範囲の相対位置の違いを解消して、有効に撮像素子を活用でき安価で省スペースな三次元光線入力装置を提供する。
【０１２７】
図３９に実施形態１４を説明する図を示す。図３９の点線で囲まれた範囲の走査するレンズＬ１とレンズＬ２と共に結像レンズＬ３と撮像素子（ＣＣＤ面）Ｒが一体にｘ軸方向に沿って同じスピードで走査を行う。これにより、撮像素子の同じ部分のみで光線情報を取得でき、撮像素子Ｒが有効に用いることができる。
【０１２８】
＜実施形態１５＞
レンズＬ１をスリット（光線制御素子１）Ｓに置き換えた場合も、スリットＳとレンズＬ２と同じ速度で結像レンズＬ３と撮像素子Ｒを走査すれば、実施形態１４と同様の効果を得ることができる。
【０１２９】
＜実施形態１６＞
実施形態１４と同様にレンズＬ１をなくし、結像レンズＬ３に絞り（光線制御素子２）を入れた場合もレンズＬ２と同じ速度で結像レンズＬ３と絞りと撮像素子Ｒを走査すれば、実施形態１４と同様の効果を得ることができる。
【０１３０】
ミラー３枚で折り返し走査を行うと移動すると実施例14から実施例16と同様の効果が得られる。
【０１３１】
＜実施形態１７＞
次に、ミラー３枚で折り返し移動する、または、撮像光学系を全て一体的に駆動しスキャンするときに撮像範囲はレンズＬ２の範囲のみでよい。
【０１３２】
上記各実施形態では、撮像素子Ｒのアスペクト比（縦横比）に対し、第２光学素子のアスペクト比が異なることが考えられる。そこで、本実施形態では、撮像素子Ｒと第２光学素子のアスペクト比の違いを解消して、有効に撮像素子を活用でき安価で省スペースな三次元光線入力装置を提供する。
【０１３３】
そのとき汎用的なエリアセンサーを用いて撮像すると、Ｌ２のアスペクト比（水平垂直の比）と撮像素子のアスペクト比が異なると、ズームなどで調節しても画素が有効に使うことができない。
【０１３４】
そこで撮像素子ＲとレンズＬ２のアスペクト比の違いを解消する実施形態１７について述べる。
【０１３５】
実施形態１７について図４０を用いて説明する。
【０１３６】
撮像素子とレンズＬ２のアスペクト比の違いを解消するために、水平方向だけに像側テレセントリック光学系を利用する。テレセントリック光学系では倍率がかわらないため、レンズＬ２の幅以上のレンズＬ３の幅が必要である。このレンズＬ２の幅以上が撮像できるように距離Ｃ２を調節すれば倍率が変化して撮像範囲が合う。実際は垂直方向の結像させるために、結像レンズＬ３の結像によって決まる。
【０１３７】
＜実施形態１８＞
実施形態１８について図４１を用いて説明する。
【０１３８】
レンズＬ２の幅が狭いとき、撮像素子Ｒを有効に使うために水平方向のみ作用するレンズ（シリンドリカルレンズ）Ｌ４を用いて水平方向のみズームを行う。このようにすることによってアスペクト比を合わせることができる。
【図面の簡単な説明】
【０１３９】
【図１】本発明の実施形態１を説明する平面図である。
【図２】実施形態１を説明する側面図である。
【図３】実施形態１のミラーによる折り返しをなくし光学系と光線を示した側面図である。
【図４】実施形態１のミラーによる折り返しをなくし光学系と光線を示した平面図である。
【図５】実施形態２のミラーによる折り返しをなくし光学系と光線を示した側面図である。
【図６】物体側焦点位置にスリットを入れたことを説明する側面図である。
【図７】実施形態４を説明する側面図である。
【図８】実施形態５を説明する側面図である。
【図９】二次元視差を取得するレンズＬ１レンズ形状を説明する図である。
【図１０】二次元視差を取得するレンズＬ２レンズ形状を説明する図である。
【図１１】垂直視差を得る垂直走査を説明する図である。
【図１２】平置きディスプレイとそのコンテンツを取得する方法を説明する図である。
【図１３】面光源による広範囲照明を説明する図である。
【図１４】三次元光線入力装置１００を筐体化することを説明する図である。
【図１５】側面と上面に三次元光線入力装置１００を配置したことを説明する図である。
【図１６】被写体筐体の壁面を面光源にする図である。
【図１７】１ラインセンサＲで光線情報を取得することを説明する図である。
【図１８】複数ユニットによる走査を説明する図である。
【図１９】光線サンプリングを説明する図である。
【図２０】始点位置に対する逆トレースすることを説明する図である。
【図２１】レンズによって画像が歪むことを説明する図である。
【図２２】表示するディスプレイの基準位置を変化させる図である。
【図２３】光線角度と光線位置を保存フォーマットとすることを説明する図である。
【図２４】レンズのズレを表現する図である。
【図２５】水平方向（ｘｙ平面上の回転）したときの縦じまの変化を説明する図である。
【図２６】奥行き方向（ｙｚ平面上の回転）したときの縦じまの変化を説明する図である。
【図２７】レンズによって画像が歪むことを説明する図である。
【図２８】インテグラルイメージングを説明する図である。
【図２９】レンズによる画像歪みを補正するフローチャートである。
【図３０】出力フォーマットに変換するフローチャートである。
【図３１】三次元画像再生装置の概略構成を示す図である。
【図３２】三次元画像再生装置と三次元画像との位置関係を上から見た図である。
【図３３】スリットアレイ板を配置した場合を示す図である。
【図３４】スリットアレイ板を正面から見た概略図である。
【図３５】図３を左右反転させた図である。
【図３６】図３２を時計回りに９０度回転させた図である。
【図３７】図４を左右反転させた図である。
【図３８】垂直視差を放棄した図である。
【図３９】実施形態１４の説明図である。
【図４０】実施形態１７の説明図である。
【図４１】実施形態１８の説明図である。
【符号の説明】
【０１４０】
Ｌ１  シリンドリカルレンズ
Ｌ２  シリンドリカルレンズ
Ｌ３  結像レンズ
Ｍ１  ミラー
Ｍ２  ミラー
Ｍ３  ミラー
Ｒ    光電変換素子アレイ
１００  三次元光線入力装置
４００  筐体
【図１】
0004693727.tif 000002
【図２】
0004693727.tif 000003
【図３】
0004693727.tif 000004
【図４】
0004693727.tif 000005
【図５】
0004693727.tif 000006
【図６】
0004693727.tif 000007
【図７】
0004693727.tif 000008
【図８】
0004693727.tif 000009
【図９】
0004693727.tif 000010
【図１０】
0004693727.tif 000011
【図１１】
0004693727.tif 000012
【図１２】
0004693727.tif 000013
【図１３】
0004693727.tif 000014
【図１４】
0004693727.tif 000015
【図１５】
0004693727.tif 000016
【図１６】
0004693727.tif 000017
【図１７】
0004693727.tif 000018
【図１８】
0004693727.tif 000019
【図１９】
0004693727.tif 000020
【図２０】
0004693727.tif 000021
【図２１】
0004693727.tif 000022
【図２２】
0004693727.tif 000023
【図２３】
0004693727.tif 000024
【図２４】
0004693727.tif 000025
【図２５】
0004693727.tif 000026
【図２６】
0004693727.tif 000027
【図２７】
0004693727.tif 000028
【図２８】
0004693727.tif 000029
【図２９】
0004693727.tif 000030
【図３０】
0004693727.tif 000031
【図３１】
0004693727.tif 000032
【図３２】
0004693727.tif 000033
【図３３】
0004693727.tif 000034
【図３４】
0004693727.tif 000035
【図３５】
0004693727.tif 000036
【図３６】
0004693727.tif 000037
【図３７】
0004693727.tif 000038
【図３８】
0004693727.tif 000039
【図３９】
0004693727.tif 000040
【図４０】
0004693727.tif 000041
【図４１】
0004693727.tif 000042