(57)【要約】  本発明は、立体映像生成用イメージセンサに関する。本発明による立体映像生成用イメージセンサは、被写体に対する左眼映像を生成するための左側イメージセンサと、前記左側イメージセンサと離隔配置され、前記被写体に対する右眼映像を生成するための右側イメージセンサと、前記左側イメージセンサおよび前記右側イメージセンサを駆動する駆動回路部と、を含み、前記左側イメージセンサと前記右側イメージセンサ、および前記駆動回路部は、１つのウエハ上に形成されたことを特徴とする。本発明によると、モバイル端末や携帯型立体カメラ、および立体ビデオカメラなどに適用可能な立体映像生成用イメージセンサが提供される効果がある。
2012523194.tif 000002
【特許請求の範囲】
【請求項１】
立体映像生成用イメージセンサにおいて、
被写体に対する左眼映像を生成するための左側イメージセンサと、
前記左側イメージセンサと離隔配置され、前記被写体に対する右眼映像を生成するための右側イメージセンサと、
前記左側イメージセンサおよび前記右側イメージセンサを駆動する駆動回路部と、
を含み、
前記左側イメージセンサと前記右側イメージセンサ、および前記駆動回路部は、１つのウエハ上に形成されたことを特徴とする、立体映像生成用イメージセンサ。
【請求項２】
前記駆動回路部の少なくとも一部は、前記左側イメージセンサと前記右側イメージセンサとの間の空間に配置されていることを特徴とする、請求項１に記載の立体映像生成用イメージセンサ。
【請求項３】
前記左側および右側イメージセンサの横方向の幅は、前記立体映像が出力されるディスプレイの横方向の幅よりも大きいことを特徴とする、請求項１に記載の立体映像生成用イメージセンサ。
【請求項４】
前記イメージセンサは、ＣＭＯＳ(complementary metal-oxide semiconductor)またはＣＣＤ(Charge-Coupled Device)タイプであることを特徴とする、請求項１に記載の立体映像生成用イメージセンサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像生成用イメージセンサに関する。より具体的に、本発明は、機械的なアライメントが容易であり、且つ小型化に適したウエハレベルの立体映像生成用イメージセンサに関する。
【背景技術】
【０００２】
立体現象は、人の左／右の両眼の位置差異(間隔：６.５Cm)により、同じ被写体を見ても左／右の両眼の網膜に結ぶ映像が互いに異なる、両眼時差現象のために現れる。
【０００３】
一般的には、立体映像を生成するために、それぞれ独立して製作された２つのイメージセンサのそれぞれに光学系を付加した２台の２Ｄ(Dimensional)カメラを機械的にアライメントした立体カメラシステムが求められる。
【０００４】
立体カメラシステムは、２台のカメラをアライメントする方式により、平行式の立体カメラシステムと、輻輳式の立体カメラシステムと、水平移動式の立体カメラシステムとに分類される。
【０００５】
図１は、平行式の立体カメラシステムを示した図である。
【０００６】
図１を参照すると、被写体の位置とは関係なく、２台のカメラが常に同じ位置に固定され、２つのカメラは互いに平行して位置する。この方式は、製作の容易性と製作費用の面で長所がある。
【０００７】
このような平行式の立体カメラシステムによると、焦点距離によってカメラ後端において、機械的なアライメントの補正および注視角制御のための映像処理手段が追加される。
【０００８】
平行式の立体カメラを用いる場合、被写体が近いと、２つの映像の差が大きいため、輻輳現象が発生し、被写体が遠いと、２つの映像の差が少ないため、立体効果が低下する。従って、注視角制御を通じて、左／右映像をメモリに格納した後、左／右映像の同じ地点の位置を探し、左／右映像の同じ地点の間隔が基準値よりも大きければ、２つの映像の間隔を減らし、左／右映像の同じ地点の間隔が基準値よりも小さければ、２つの映像の間隔を広げることによって、輻輳現象を防止すると共に、立体効果を向上させる。
【０００９】
そして、２つのカメラの間の機械的なアライメントをいくら上手く行ったとしても、両カメラの間には、垂直方向であるＹ軸方向、水平方向であるＸ軸方向、および被写体方向であるＺ軸方向の誤差が生じる。そこで、左／右映像をメモリに格納した後、左／右映像の同じ地点の位置を探し、左／右映像の共通の部分のみをディスプレイ装置に表出する。
【００１０】
しかしながら、いくら映像処理を行っても、以下のような問題点は解決することができない。
【００１１】
すなわち、Ｘ、Ｙ、Ｚ軸方向の３次元的なアライメントが１００％正確でなければ、左／右のカメラが同じ被写体を撮影しても、正確に同じ方向(Ｚ)を撮影することができない。そこで、大量生産に多くの困難が発生し、立体効果が低下してしまう。また、共通の部分のみをディスプレイするため、映像損失が生じ、映像の大きさが小さくなる。
【００１２】
図２は、輻輳式の立体カメラシステムを示した図である。
【００１３】
輻輳式の立体カメラシステムは、人の目のように、中央の被写体でカメラの方向(Ｚ軸方向)を調節する方式である。この方式は、主被写体以外の映像は左／右の映像差があまりにも大きくて、現存する立体ディスプレイでは表現することができないため、よく使われていない。より具体的に、人の目は、特定の被写体を注眼していると、特定の被写体以外のものは認識できない。しかし、モニタは特定の被写体以外の領域も表示しなければならず、そのモニタを人の目で観るため、人によって観る被写体が異なってくることから、すべての映像に対する立体感を表現しなければならない。しかし、輻輳式の立体カメラは、すべての領域に立体感を表現可能なデータを出力することはできない。従って、立体カメラ方式としては、あまり用いられない。
【００１４】
図３は、水平移動式の立体カメラシステムを示した図である。
【００１５】
図３を参照すると、水平移動式の立体カメラは平行式の立体カメラと類似するが、被写体の距離によって水平にカメラを移動させる方式である。すなわち、被写体の距離が遠いと、左／右のカメラの間隔を広げ、被写体の距離が近いと、左／右のカメラの間隔を縮ませる方式であって、注視角制御を機械的に行う。水平移動式は、平行式よりは立体感が良いが、価格、大きさ、信頼性、量産性などでは不利であるため、高価の製品のみで用いる方式である。ズーム／焦点距離によって水平移動をするため、放送用などで主に用いられる。
【００１６】
図４は、従来の立体カメラで用いられる、互いに分離された構造の２つのイメージセンサを示した図であり、図５は、図４の互いに分離された構造の２つのイメージセンサを駆動するための駆動装置を示した図であり、図６は、図４の互いに分離された構造の２つのイメージセンサを駆動する過程において発生する映像損失を示した図である。
【００１７】
図４乃至図６を参照すると、従来の立体カメラシステムは、共通的に互いに分離独立した構造を有する２台の２Ｄカメラを機械的にアライメントして用いる。これによると、アライメント過程における誤差が生じる問題点があり、２台の２Ｄカメラの間の時間同期を一致させるための手段が求められ、製作費用および製作便宜性の面で問題点があり、立体カメラシステムの大きさがあまりにも大きくなりすぎて、モバイル端末や携帯型立体カメラ、および立体ビデオカメラなどに適用し難い問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【００１８】
本発明は、モバイル端末や携帯型立体カメラ、および立体ビデオカメラなどに適用可能な立体映像生成用イメージセンサを提供することを技術的課題とする。
【００１９】
また、本発明は、大量生産、小型化、低価格化に適した立体映像生成用イメージセンサを提供することを技術的課題とする。
【００２０】
また、本発明は、Ｘ、Ｙ、Ｚ軸方向の機械的なアライメントを容易に行うことができる立体映像生成用イメージセンサを提供することを技術的課題とする。
【００２１】
さらにまた、本発明は、ウエハの外部に時間同期を合わせるための更なる回路を構成する必要がなくなる立体映像生成用イメージセンサを提供することを技術的課題とする。
【課題を解決するための手段】
【００２２】
このような技術的課題を達成するための本発明による立体映像生成用イメージセンサは、被写体に対する左眼映像を生成するための左側イメージセンサと、前記左側イメージセンサと離隔配置され、前記被写体に対する右眼映像を生成するための右側イメージセンサと、前記左側イメージセンサおよび前記右側イメージセンサを駆動する駆動回路部と、を含み、前記左側イメージセンサと前記右側イメージセンサ、および前記駆動回路部は、１つのウエハ上に形成されたことを特徴とする。
【００２３】
前記駆動回路部の少なくとも一部は、前記左側イメージセンサと前記右側イメージセンサとの間の空間に配置されていることを特徴とする。
【００２４】
前記左側イメージセンサと前記右側イメージセンサは、前記ウエハの外部のアライメント補償回路がなくても、前記ウエハレベルで自動アライメントすることを特徴とする。
【００２５】
前記左側イメージセンサと前記右側イメージセンサにおいて読み出される電気信号同士の時間同期は、別途の時間同期回路がなくても、前記ウエハレベルで自動的に一致することを特徴とする。
【００２６】
前記左側および右側イメージセンサの横方向の幅は、前記立体映像が出力されるディスプレイの横方向の幅よりも大きいことを特徴とする。
【００２７】
前記イメージセンサは、ＣＭＯＳ(complementary metal-oxide semiconductor)またはＣＣＤ(Charge-Coupled Device)タイプであることを特徴とする。
【発明の効果】
【００２８】
本発明による立体映像生成用イメージセンサは、１つのウエハに２つのイメージセンサが装着された構造を有するため、ウエハの外部に配置される別途のアライメント補償回路がなくても、２つのイメージセンサの機械的なアライメントを容易に行うことができ、立体効果も大きく向上する効果がある。
【００２９】
また、ウエハの外部に時間同期を合わせるための更なる回路を構成する必要がなくなる効果がある。
【００３０】
また、大量生産、小型化、低価格化が可能となる効果がある。
【００３１】
さらにまた、モバイル端末や携帯型立体カメラ、および立体ビデオカメラなどに適用可能な立体映像生成用イメージセンサが提供される効果がある。
【図面の簡単な説明】
【００３２】
【図１】平行式立体カメラのアライメント方式を示した図である。
【図２】輻輳式立体カメラのアライメント方式を示した図である。
【図３】水平移動式立体カメラのアライメント方式を示した図である。
【図４】従来の立体カメラにおいて用いられる、互いに分離された構造の２つのイメージセンサを示した図である。
【図５】図４の互いに分離された構造の２つのイメージセンサを駆動するための駆動装置を示した図である。
【図６】図４の互いに分離された構造の２つのイメージセンサを駆動する過程において生じる映像損失を示した図である。
【図７】本発明の一実施例にかかる立体映像生成用イメージセンサを示した図である。
【図８】図７が印刷回路基板に実装された構造の例を示した図である。
【図９】本発明の一実施例にかかる立体映像生成用イメージセンサに組み込まれた左、右側イメージセンサ、並びにこれらのイメージセンサを駆動するための回路の配置構造を示した図である。
【図１０】本発明の一実施例にかかる立体映像生成用イメージセンサの駆動概念を示した図である。
【図１１】本発明の一実施例にかかる立体映像生成用イメージセンサの駆動による有効映像領域を示した図である。
【発明を実施するための形態】
【００３３】
以下では、添付の図面を参照して本発明の好ましい実施例について詳細に説明する。
【００３４】
図７は、本発明の一実施例にかかる立体映像生成用イメージセンサを示した図であり、図８は、図７の本発明の一実施例にかかる立体映像生成用イメージセンサが印刷回路基板に実装された構造の１つの例を示した図である。
【００３５】
図７および図８を参照すると、本発明の一実施例にかかる立体映像生成用イメージセンサ１０は、左側イメージセンサ１２と、右側イメージセンサ１４と、駆動回路部１６とを含んで構成され、イメージセンサ１０が印刷回路基板２０に、ワイヤー２２を用いたフリップチップボンディング方式で実装されている。
【００３６】
本発明の実施例において用いられるイメージセンサは、相補性金属酸化膜半導体型イメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor)または固体撮像素子型イメージセンサ(Charge Coupled Device Image Sensor)、或いは、密着型イメージセンサ(Contact Image Sensor)であってもよい。以下では、このような各種のイメージセンサのうち、ＣＭＯＳイメージセンサを用いる場合を例に挙げて説明する。後述するように、ＣＭＯＳイメージセンサは、一般的なＣＭＯＳ  ＬＳＩ(Large Scale Integration)と同様に、略３.３ボルト(Ｖ)程度の単一電源で動作させることができるため、消費電力の側面で有利であり、各種の信号処理機能を内蔵させることができる長所がある。これについては、駆動回路部１６を説明する過程において後述する。
【００３７】
左側イメージセンサ１２は、被写体に対する左眼映像を生成するための手段である。このような左側イメージセンサ１２を成すそれぞれの画素は、被写体からの光を受けるための感光ダイオードと、１個または３個もしくは４個のトランジスタとを用いて構成することができる。
【００３８】
右側イメージセンサ１４は、同一の１つのウエハ１８上で左側イメージセンサ１２と離隔配置されており、前記被写体に対する右眼映像を生成するための手段である。
【００３９】
このように、左側イメージセンサ１２と右側イメージセンサ１４は、同一の１つのウエハ１８上に形成されており、立体効果を表わすために互いに離隔されている。
【００４０】
これを従来の場合と対比してより詳細に説明すると、以下のとおりである。
【００４１】
図１乃至図３を参照すると、従来には、平面映像のみが撮影できる２Ｄカメラの２台を用いて立体カメラを具現した。従来のこのような構成により、それぞれの２Ｄカメラには、図４に示されたように、互いに分離されて独立した２つのイメージセンサがそれぞれ装着されている。このように、２つのイメージセンサが物理的に分離され、互いに異なるウエハ上に形成されているため、必然的に後述するようなアライメントの問題、時間同期の問題が生じてしまう。しかし、本発明の一実施例にかかる立体映像生成用イメージセンサ１０は、１つのウエハ１８に２つのイメージセンサ１２、１４が装着されて構成され、これに光学系を付加すると、Ｘ、Ｙ、Ｚ軸の機械的なアライメントと時間同期が容易である立体カメラが具現される。
【００４２】
より具体的に、従来には、左、右のカメラをそれぞれ製作し、機構的にこれらをアライメントして立体カメラを具現する方式を用いた。これにより、具現される立体カメラの大きさが大きくなる問題点がある。また、左、右のカメラをいくら精密にアライメントするとしても、アライメントの作業そのものが有する限界性により、左、右のカメラが人の目のように正確に同じところを注視することはできない問題点がある。また、図５に示されたように、別途のカメラアライメント補償回路を追加しなければならない問題点がある。
【００４３】
しかし、本発明の一実施例にかかる立体映像生成用イメージセンサ１０は、１つのウエハ１８に２つのイメージセンサ１２、１４が装着されている構造を有する。すなわち、１つのウエハ１８当たりに２つのイメージセンサ１２、１４が製作され、これに光学系と駆動回路部を付加することにより、結果として立体カメラの大きさが大きく縮小される。また、２つのイメージセンサ１２、１４が１つのウエハ１８上で製作されることから、図７に示されたように、Ｘ軸およびＹ軸方向へのアライメント誤差がナノメートル(nm)単位で制御され、Ｚ軸方向へのアライメント誤差も大きく低減される。これにより、左側イメージセンサ１２と右側イメージセンサ１４が常に同じところを注視することにより、立体効果が従来の方式よりも大きく増加する。また、光学系を構成するレンズの光軸(Ｚ軸)さえ一致させると、３次元的なアライメントを容易に行うことができるため、立体カメラの大量生産、小型化、低価格化が可能となり、立体効果も大きく向上する。
【００４４】
また、従来の２台の２Ｄカメラを用いた立体カメラは、必然的に左、右のカメラ間の時間同期を合わせるための更なる回路を必要とする。しかし、本発明の一実施例にかかる立体映像生成用イメージセンサ１０は、左側イメージセンサ１２と右側イメージセンサ１４が１つのウエハ１８で一体化されている構造であるため、左側イメージセンサ１２と右側イメージセンサ１４において読み出される電気信号同士の時間同期は、別途の時間同期回路がなくても、ウエハレベルで自動的に一致する。従って、ウエハの外部に時間同期を合わせるための更なる回路を構成する必要がない。
【００４５】
このような本発明の一実施例にかかるイメージセンサの構造による駆動回路の変化は、図５および図１０を参照すると分かる。
【００４６】
駆動回路部１６は、左側イメージセンサ１２と右側イメージセンサ１４の間のウエハ１８上に配置されている。このような駆動回路部１６は、左側イメージセンサ１２と右側イメージセンサ１４を駆動するための手段である。
【００４７】
これを従来の場合と対比してより詳細に説明すると、以下のとおりである。
【００４８】
図４を参照すると、従来には、互いに分離された２つのイメージセンサ１２０、１４０のそれぞれは、イメージセンシング領域を中央に配置し、ＡＤＣ(Analog Digital Converter)、ＩＳＰ(Image Signal Processor)などの駆動回路をイメージセンシング領域の外郭の斜面に配置する構造を有する。しかし、従来のこのような構造によると、受光領域が減少する問題点がある。
【００４９】
ところが、図７乃至図９を参照すると、本発明の一実施例にかかる立体映像生成用イメージセンサ１０は、１つのウエハ１８上に左側イメージセンサ１２と右側イメージセンサ１４とが互いに離隔した状態で配置されており、両イメージセンサ１２、１４の間の空いているウエハ１８上に駆動回路部１６が配置された構造を有する。すなわち、２つのイメージセンサ１２、１４を離隔させて、立体効果を向上させるとともに、その空いているウエハ１８上にＡＤＣ、ＩＳＰなどを含む駆動回路部１６を配置することにより、受光領域の大きさを減少することなくても、全体のイメージセンサの大きさを減少させることができる。
【００５０】
以上では、駆動回路部１６が、左側イメージセンサ１２と右側イメージセンサ１４の間のウエハ１８上に配置される場合を例に挙げて説明した。しかし、これは１つの例に過ぎないものであり、駆動回路部１６を左側イメージセンサ１２と右側イメージセンサ１４の周りの全部や一部に配置することも、勿論可能である。
【００５１】
一方、先に簡単に説明したとおり、ＣＭＯＳイメージセンサは、一般的なＣＭＯＳ  ＬＳＩの製造工程をそのまま適用して製造することができる。これにより、ＣＭＯＳイメージセンサには、イメージセンサの機能だけでなく、各種の信号処理機能および入出力機能を同一のチップ(Chip)で具現することができる。これにより、ＣＭＯＳイメージセンサは、１つのチップにてカメラの機能を完全に具備した、いわゆる‘camera on chip’を可能とし、カメラモジュールの小型化が可能となる。
【００５２】
一方、一般的に、２つのイメージセンサを用いて立体映像を生成する過程において、アライメント誤差、注視角制御などにより映像の損失が生じる。しかし、本発明の一実施例にかかるイメージセンサを用いると、このような映像の損失が生じなくなる。
【００５３】
これを、従来の場合と対比してより詳細に説明すると、以下のとおりである。
【００５４】
先ず、図６を参照すると、従来には、２つのイメージセンサのアライメント誤差により、映像損失に注視角制御過程における映像損失がさらに加えられる。図６は、１２８０×１０２４の原映像が１０８０×９２４と解像度が低下した場合である。
【００５５】
しかし、図１１を参照すると、本発明の一実施例にかかるイメージセンサ１０を構成する左側イメージセンサ１２および右側イメージセンサ１４の横方向の幅を、立体映像が出力されるディスプレイの横方向の幅よりも大きく設定することにより、このような映像の損失を防止することができる。
【００５６】
より具体的に、最初に、本発明の一実施例においては、左側イメージセンサ１２と右側イメージセンサ１４が１つのウエハ１８上に機械的に固定されているため、アライメント誤差による映像の損失は生じない。第二に、左側イメージセンサ１２および右側イメージセンサ１４の横方向の幅を、前述したように、常用ディスプレイの横方向の規格よりも大きく設定することにより、注視角制御による映像の損失も生じない。すなわち、従来のイメージセンサは、ＴＶ／ＰＣモニタなどの規格に合う大きさ(６４０×４８０、７２０×４８０、８００×６００、１２８０×１０２４、１０２４×７６８、１２８０×７２０、１９２０×１０８０等)のみを支援したが、本発明の一実施例では、注視角制御を行いながら、消失される左右映像を補償し、レンズのみを用して水平移動することができるように、横軸(Ｘ軸)の領域をモニタの規格よりも大きく設定したものである。図１１は、ディスプレイの規格が１２８０×１０２４であり、左側イメージセンサ１２と右側イメージセンサ１４のピクセルを１４８０×１０２４に構成した場合である。このようなピクセル構成により、結果的に出力されるディスプレイ上における映像損失は生じない。
【００５７】
一方、従来のイメージセンサ構造を用いた立体カメラは、左眼および右眼映像を外部メモリに格納した後、左眼および右眼映像の同じ地点の位置を探して、左眼および右眼映像の同じ地点の間隔が基準値よりも大きいと、外部メモリに格納された左眼および右眼映像の読み出し開始点を変更して２つの映像の間隔を縮小し、左眼および右眼映像の同じ地点の間隔が基準値より小さいと、外部メモリに格納された左眼および右眼映像の読み出し開始点を変更して２つの映像の間隔を拡大させる方式で注視角制御を行う。これにより、左眼および右眼映像は、１フレーム(frame、３３msec)程遅延される。
【００５８】
しかし、本発明の一実施例のように、１つのウエハ１８上に２つのイメージセンサ１２、１４を配置して駆動回路部１６で駆動する場合、左眼および右眼映像をメモリに格納することなく、左側および右側イメージセンサ１２、１４の読み出し開始点を変更して注視角制御を行うことができるため、外部メモリが不要となり、映像の遅延がない。
【００５９】
以上で詳細に説明したとおり、本発明の一実施例にかかる立体映像生成用イメージセンサ１０は、１つのウエハ１８に２つのイメージセンサ１２、１４が装着された構造を有する。このようなイメージセンサ１０を立体カメラに適用すると、別途のアライメント補償回路無しに機械的なアライメントを容易に行うことができ、立体効果も大きく向上する効果がある。また、ウエハの外部に時間同期を合わせるための更なる回路を構成する必要がない。さらに、立体カメラの大量生産、小型化、低価格化が可能となる効果がある。
【００６０】
このような本発明の一実施例にかかる立体映像生成用イメージセンサ１０は、立体映像生成のための広範囲な分野に適用することができる。例えば、本発明の一実施例にかかる立体映像生成用イメージセンサ１０にレンズを含む光学系などを付加すると、軽薄短小な構造の立体カメラが具現される。また、この立体カメラを用いた立体ビデオカメラ、立体腹腔鏡、携帯端末などを具現することが可能となる。さらに、人間とコンピュータとの間のインターフェースのための空間感知装置にも適用することができる。
【００６１】
以上、本発明に関する技術思想を添付の図面と共に述べてきたが、これは本発明の好ましい実施例を例示的に説明したものであるだけで、本発明を限定するものではない。また、この技術分野における通常の知識を有する者であれば、誰でも本発明の技術思想の範疇を逸脱しない範囲内で多様な変形および模倣が可能であることは明白なことである。
【符号の説明】
【００６２】
１０：イメージセンサ          １２：左側イメージセンサ
１４：右側イメージセンサ      １６：駆動回路部
１８：ウエハ                  ２０：印刷回路基板
２２：ワイヤー
【図１】
2012523194.tif 000003
【図２】
2012523194.tif 000004
【図３】
2012523194.tif 000005
【図４】
2012523194.tif 000006
【図５】
2012523194.tif 000007
【図６】
2012523194.tif 000008
【図７】
2012523194.tif 000009
【図８】
2012523194.tif 000010
【図９】
2012523194.tif 000011
【図１０】
2012523194.tif 000012
【図１１】
2012523194.tif 000013
【国際調査報告】
2012523194.tif 000014
2012523194.tif 000015
2012523194.tif 000016
2012523194.tif 000017