(57)【要約】【課題】画質を向上させることを課題とする。【解決手段】複数の光学系を持ち、その各々の光軸に対応した複数の撮像素子を配置しそれらの出力信号を用いて信号処理を行い、最終的に１つの撮像出力信号を得る多眼多板式であって、近接撮影時に視差の影響を受けず撮像を可能とする機能を付加したことを特徴とする撮像装置を提供する。【選択図】図１
2006128762.tif 000002
【特許請求の範囲】
【請求項１】
複数の光学系を持ち、その各々の光軸に対応した複数の撮像素子を配置しそれらの出力信号を用いて信号処理を行い、最終的に１つの撮像出力信号を得る多眼多板式であって、
近接撮影時に視差の影響を受けず撮像を可能とする機能を付加したことを特徴とする撮像装置。
【請求項２】
近接撮影時は複数の撮像素子からの複数の信号出力のうち、１つを使用して信号処理を行い、撮像出力信号を得ることを特徴とする請求項１記載の撮像装置。
【請求項３】
複数の光学系各々に色フィルターを配置し、緑色の色フィルターが配置された撮像素子のうちの１つの出力信号のみを使用し、信号処理を行い、撮像出力信号を得ることを特徴とする請求項２記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光学系とそれに対応する撮像素子の組で構成される多眼多板式の撮像装置に関する。
【背景技術】
【０００２】
図１７は従来の多眼多板撮像素子画素の読み出し方法の一例であって、本発明の実施例の通常モードと、全く共通のものであり、詳細は後述する
この読み出し画素の組み合わせは、従来においては、撮像素子からの被写体の距離が遠く離れていても、或は非常に近接した状態の時も常に同様である。
【０００３】
【特許文献１】特開平１０−１５５１００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来例は、図７に示すような、被写体が、距離無限か、又はほぼ視差を無視し得るような遠い距離に存在するときは問題がないが、被写体の距離が非常に近接した、図４のような場合に、被写体からの入射光の角度が各光学系と撮像素子の組の各々で異なってきてしまい、例えば、名刺を画面一杯に撮影した場合に、本来は第５図のように撮影されるべき画像が、図６のように独立した光学系と撮像素子の組の数だけ互いにずれた画像が重なり合ってしまい、色ずれの発生、解像度の低下等の画質の悪化が発生してしまう。
【０００５】
一方で、この多眼多板撮像素子は、図２に説明されるように焦点距離が非常に小さい特徴があり、これを用いた装置の厚さ寸法を光軸方向に非常に薄くすることが可能である。
【０００６】
その利点を生かし、超小型、超薄型が必要なモバイル機器等に組み込まれる用途が考えられ、そのニーズとしてメモ代わりの書類等の近接撮影が求められる。
【０００７】
本発明は、この課題の解決を近接撮影時にその専用の動作モードを設定することで、簡易に、実現することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明は、複数の光学系を持ち、その各々の光軸に対応した複数の撮像素子を配置し、それらの出力信号を用いて信号処理を行い、最終的に１つの撮像出力信号を得る多眼多板式であって、近接撮影時に視差の影響を受けず撮像を可能とする機能を付加したことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、多眼多板式撮像装置において、通常の撮影の他に被写体が近接して存在するときの原理的な色ずれの発生、解像度の低下に対し、画素読み出し時の工夫を行った近接撮影の専用のモードを設けることにより、印刷物のメモ等に有用且つ実用上十分な性能を持った近接撮影を可能とすることができる
【発明を実施するための最良の形態】
【００１０】
先ず、本発明を適用する多眼多板撮像素子について説明する。
【００１１】
図１は光学系を含む本実施の形態に係る多眼多板方式撮像素子と一般的な単板撮像素子の構成比較図であり、図１（ａ）は多眼多板撮像素子の光学系を含む構造の一例であり、この撮像素子に入射する被写体からの光１は平行光、即ち被写体からの距離は無限が基本的には前提であり、従って独立した各光学系には同様の光束が入射する
光１は、絞り２を通過し各レンズ２に入りカラーフィルタ４により赤（以下Ｒ）、青（以下Ｂ）、緑（以下Ｇ）等の各帯域光を選択し、その後は撮像素子５により電気信号に変換される。この撮像素子は、各光学系が被写体像を結ぶ有効像円に対応し独立した複数の撮像画素エリアで構成されている。
【００１２】
ここで、光学系は各色ごとに必要となるが、カラーフィルタ４に原色を用いると、各光学系は各色の帯域のみを通過させればいいので色収差については考慮することがなく、レンズの枚数、コーティングの簡素化等が可能となる。
【００１３】
一方、図１（ｂ）は、一般的な単板撮像素子の構造の一例であり、同様に被写体からの入射光１は絞り２、レンズ３を通過し、カラーフィルタ４を通って撮像素子５に入射する。
【００１４】
ここで、カラーフィルタ４は、撮像素子の各画素単位に通過色帯域の異なるモザイク状の物を使用している。
【００１５】
単板式では、全ての色帯域を通過させる必要があるため、光学系は各色ごとに屈折率が異なることから発生する色収差を補正するため通常は複数のレンズの組み合わせが用いられる。
【００１６】
ここで、上記２つの撮像素子構造の違いを更に説明する。
【００１７】
図２はこれらの光学系の焦点距離を比較、説明したもので、（ａ）多眼多板式撮像素子は各色ごとの独立した撮像画素エリアからの複数の信号を得るため、その各々の撮像画素エリアの画素数は少なく、撮像素子上の被写体像は小さいため、焦点距離は短い。
【００１８】
一方、（ｂ）一般的な単板撮像素子は、全ての色を１つの撮像素子で処理するため、その素子上の被写体像は大きくなり、焦点距離は長くなる。
【００１９】
以上のように、多眼多板式撮像素子は光学系の焦点距離が短くなるため、既述の光学系の簡易化も併せて撮像系の厚み方向が非常に薄くできる大きなメリットがある。
【００２０】
しかしながら、以上の多眼多板式撮像素子についての説明は図３に示すように被写体距離無限の場合のものであり、図４のように被写体が非常に撮影光学系に近接した場合、即ち具体的には、メモ代わりに名刺等を撮影する状況の場合、上述の、焦点距離が短いということは、被写界深度が深くなり、このような近接撮影でも焦点がぼけることのないメリットがある反面、各色の光学系により入射する被写体像が異なる、即ち被写体からの光１は、視差により各撮像画素群に平面位置的に異なった像を結ぶ。
【００２１】
これらは、結果的に信号処理後１つになった画像として色ずれの発生、解像度の低下等著しい画質品位の低下となって現れる。
【００２２】
具体的な例を示すと、図５は、通常撮影時、即ちここでは名刺である近接被写体を撮影した場合の理想画像に対し、図６が上述の多眼多板式撮像素子で撮影した画像であり、以下の問題が生ずる。
色ずれの発生、独立した撮像光学系と撮像素子のペアは入射光がカラーフィルタにより帯域分離されている、Ｒ、Ｇ、Ｂの各成分であるところから、これらが互いにずれていることによる各色の色ずれが発生する、輝度の解像度の低下。
【００２３】
良く知られているように、一般的に輝度信号Ｙは以下のプロセスで作られる。
（数１）
Ｙ＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ（テレビ信号の場合）．．．．．．．．．．（１）
又は、
（数２）
Ｙ＝２Ｇ＋Ｒ＋Ｂ    ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．（２）
上式の何れにしてもＲ、Ｇ、Ｂの各色成分を含みこれらの各色がお互いにずれていれば輝度信号としての解像度の低下として現れる。
【００２４】
一方、上述した図５のような近接撮影時の被写体は、特に上述の多眼多板式撮像素子を使用した超薄型、超小型の撮像装置は携帯電話、ＰＤＡ（電子手帳）のような、いわゆるモバイル用途に用いられることが考えられ、主としてメモ用途、即ち鮮明に被写体が撮影されていて、内容、即ち名刺や時刻表等の文字情報なら、その文字が認識できることが重要であって、必ずしも色の情報に関しては正確である必要性は低く、更に、色そのものも必須ではないと考えられる。
【００２５】
そこで、本発明においては、上述の多眼多板式撮像方式の超薄型、超小型というメリットを生かしつつ、その大きな欠点である近接撮影時の視差による画質低下を改善すべく、近接撮影時の専用動作モードを設け、そのモード動作時は各光学系と撮像素子のペアのうち、或る１色の信号のみにより信号処理を行い、出力する。
【００２６】
以上により、上述の色ずれ、解像度低下の欠点を解消することを意図するものである。
【００２７】
以下、図面により本発明の実施例を具体的に説明する。
【００２８】
先ず、図７は多眼多板撮像素子の画素情報読み出しまでのブロック図であって、被写体よりの入射光１は光学系を通った後、Ｒカラーフィルター１２、Ｇカラーフィルター１３、Ｂカラーフィルター１４、の光の３原色に分光され、各々がＲ撮像画素エリア１５、Ｇ２撮像画素エリア１６、Ｂ撮像画素エリア１７、Ｇ１撮像画素エリア１８上に結像する。
【００２９】
ここで、ＧがＧ１、Ｇ２と２チャンネル存在する理由は、Ｇ１とＧ２で、水平（行）方向及び垂直（列）方向に対し、空間的に１／２画素ずらして配置することにより、いわゆる画素ずらしを行い、上式（１）又は（２）で示すように、輝度信号への寄与率が大きいＧ信号の解像度を、これら２つの信号から合成することにより向上させることで、最終的な出力画像の輝度信号の解像度を向上させるためである。
【００３０】
これら各々のチャンネルが、独立した光学系と撮像素子を有しており、近接撮影時は他の色チャンネルと同様に視差によるずれの発生は免れない。
【００３１】
読み出し制御回路２９は、Ｒ、Ｇ２、Ｂ、Ｇ１の各画素へ読み出しパルスを送出する。
【００３２】
本実施の形態では、これらの画素はＣ−ＭＯＳセンサーで構成されており、その出力電荷はＣＣＤのように電荷転送ではなく、読み出し制御パルスＰＨＲ２５、ＰＨＬ２６、ＰＶＵ２７、ＰＶＬ２８による画素の座標指定によるアドレッシングにより、１９、２０、２１、２２として読み出され、加算回路２３により加算合成されて撮像信号出力２４として信号処理へ送られる。
【００３３】
図１１は、この撮像信号出力２４の通常モード時の画素読み出しの順番を表し、この図においては左上のＲを最初として次に右方向にＧ２、Ｒ、Ｇ２、Ｒ．．．と読み出していき、右端最後の画素の後は左に戻り、上から２段目のＧ１、次は、右のＢ、Ｇ１、Ｂ．．．と読み出し、更に左端の上から３番目のＲ．．．とスキャンして最終的に右下の最終画素までを１枚の画として読み出す。
【００３４】
図７に戻ると、読み出し制御回路からは上述のようにＰＨＲ２５、ＰＨＬ２６、ＰＶＵ２７、ＰＶＬ２８の画素アドレッシングの為の４種類のパルスが出力される。
【００３５】
図９は本発明の画素読み出し制御の説明図であって、この４種類のパルスＰＨＲ２５、ＰＨＬ２６、ＰＶＵ２７、ＰＶＬ２８は各々がシフトレジスタＨＳＲ＿Ｒ１０３、ＨＳＲ＿Ｌ１０４、ＶＳＲ＿Ｕ１１２、ＶＳＲ＿Ｌ１１１に入力され、垂直方向はクロックＶＣＬ１０８のタイミングで画素の１水平方向の行ごとにアドレッシングされ、その信号電荷がＣｔ１０７に蓄えられる。又、水平方向はクロックＣＬ１０１のタイミングで順番にスイッチトランジスタ１０６の各々がＯＮし、最終的に各１画素ごとの信号電荷が順番に加算機２３によって出力され、撮像出力信号２４となる。
【００３６】
ここで、図中の矢印１０４、１０５、１０９、１１０はアドレッシングパルスがシフトしていく方向を表している。
【００３７】
以上の説明をタイミングチャートで表したのが図１３と図１４である。
【００３８】
図１３は通常撮影時の奇数行の画素読み出しパルスのタイミングチャートであって、垂直のアドレッシングパルスＰＶＬ２８は奇数行、即ち図９のＲ、Ｇ２の画素エリアの読み出しのためにＨレベルとなっていて、水平のクロックＣＬ１０１に合わせて、ＰＨＬ２６、ＰＨＲ２５各々がシフトし、読み出す画素行の各画素をＲ画素エリア１５、Ｇ２画素エリア１６交互にアドレッシングしていく。
【００３９】
図１４は通常撮影時の偶数行における画素読み出しパルスのタイミングチャートであって、水平方向は奇数行と同じようにＧ１画素エリア、Ｂ画素エリアを交互にアドレッシングしていく。
【００４０】
垂直のアドレッシングパルスは、図９のＧ１、Ｂの各画素エリアの読み出しのためにＰＶＵがＨレベルとなっている。
【００４１】
尚、以上の偶数行と奇数行は、同時に全ての偶数行、奇数行に対して動作するものではなく、上述の垂直のアドレッシングパルスＰＶＬ２８、ＰＶＵ２７がＨレベルになっている行のみであることはいうまでもなく、これらの垂直アドレッシングパルスも垂直シフトレジスタＶＳＲ＿Ｌ１１１、ＶＳＲ＿Ｕ１１２によって、順次シフトしていく。
【００４２】
次に、図７に戻り、読み出し制御回路２９には近接撮影モード入切スイッチ３０が設けられているが、このモードの動作を説明する。
【００４３】
図１５は近接撮影モード時の奇数行における画素読み出しパルスのタイミングチャートであって、図１３の通常撮影モード時と異なるところは、ＰＨＬ２６の幅が２画素分、即ち隣り合った２画素を同じＧ２の画素信号として読み出す。これによりこの行の読み出し画素信号はＧ２のみとなる。
【００４４】
図１６は近接撮影モード時の偶数業における画素読み出しパルスのタイミングチャートであって、図１５と全く同じ、即ちこの行においても全てＧ２を横２画素ごとに読み出す。
【００４５】
以上により、この近接撮影モード時は図１２のように読み出し画素は全てＧ２のみとなり、上下、左右２画素ずつ４画素単位でＧ２の同じ画素の信号で埋められる。
【００４６】
近接撮影モードは、以上のような画素信号構成となり、その結果として左右上下（水平、垂直）共解像度は半分となり、画素全てが同じ光学系からの光から生成される信号となるため、モノクロとなるが、色ずれの発生はなく、文字情報のメモ用等には好適且つ実用性のある画像が得られる。
【００４７】
尚、この近接撮影モードの動作時は、同じ画素信号を４画素分読み出すことになる。このうち隣り合った１画素分は問題ないが、次の行の２画素については、一般的に一度読み出した後リセットを行って、画素内の残留電荷をクリアするが、これを２回目の読み出しが終わった後に行う等の工夫を行う。
【００４８】
以上、通常モードと本発明の実施例である近接撮影モードにおける多眼多板式撮像素子の画素読み出しについて説明したが、図９及び図７における加算回路２３の出力撮像信号２４は、信号処理回路に入力される。
【００４９】
図８はこの信号処理回路のブロック図であって、入力された撮像信号２４はＡ／Ｄ変換器３２により量子化され、ディジタル信号となって色分離回路３３に入り、色の三原色であるＲ、Ｇ、Ｂに再び分離される。
【００５０】
Ｇ信号３５は、非直線処理であるガンマ補正４０を行った後、色差マトリクス４２と輝度マトリクス４３に入力される。
【００５１】
Ｒ信号３４は、ホワイトバランス回路３７により、信号内の白い被写体を白く表現させるため、その部分を抽出し、それをＧ信号３５とレベルを同一になるようにＲ信号全体のレベルが調整され、ガンマ補正３９を通り、色差マトリクス４２と輝度マトリクス４３に入力される。
【００５２】
Ｂ信号３６は、Ｒ信号３４と同様の動作で、ホワイトバランス回路３８、ガンマ補正回路４１を経て色差マトリクス４２及び輝度マトリクス４３に入力される。
【００５３】
色差マトリクス４２は、入力されたＲ、Ｇ、Ｂの各信号より、次式により色信号としてＣｒ４４、Ｃｂ４５を作り出す。
【００５４】
以下に算出式の一例を示す。
（数３）
Ｃｒ＝０．４３９Ｒ−０．３６８Ｇ−０．０７１Ｂ．．．．．．（３）
（数４）
Ｃｂ＝−０．１４８Ｒ−０．２９１Ｇ＋０．４３９Ｂ．．．．．（４）
輝度マトリクス４３は、入力されたＲ、Ｇ、Ｂの各信号より次式により輝度信号としてＹ４６を作り出す。
【００５５】
算出式例は、上述した（１）又は（２）式を参照する。
（数５）
Ｙ＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ．．．．．．．（１）
又は、
（数６）
Ｙ＝２Ｇ＋Ｒ＋Ｂ．．．．．．．．．．．．．．．．．．．．．（２）
以上のＹ、Ｃｒ、Ｃｂがこの撮像装置としての出力信号となり、この後に接続された装置により、必要に応じて更に圧縮、リサンプリング、記録、Ｄ／Ａ変換等の処理が行われる。
【００５６】
尚、この撮像装置は、Ｒ、Ｇ、Ｂの独立した撮像装置を持ちながら、一度それらを１つのいわゆるベイヤー配列の信号に合成し、更に分離しているが、これは一般的な単板の撮像装置はベイヤー配列のカラーフィルターを持ち、その出力信号と共通性を持たせることで製品化の際に信号処理が容易に実現できる意図を持つためである。
【図面の簡単な説明】
【００５７】
【図１】多眼多板方式撮像素子と一般的な単板撮像素子の構成比較（含光学系）を示す図である。
【図２】多眼多板方式撮像素子と一般的な撮像素子の焦点距離比較を示す図である。
【図３】被写体距離無限の場合の多眼多板撮像素子の動作図である。
【図４】被写体距離が近接している場合の多眼多板撮像素子の動作図である。
【図５】通常撮影時の画像を示す図である。
【図６】近接撮影時の画像を示す図である。
【図７】多眼多板撮像素子の画素読み出しのブロック図である。
【図８】信号処理のブロック図である。
【図９】本発明の画素読み出し制御の説明図である。
【図１０】多眼多板撮像素子の画素配置の一例を示す図である。
【図１１】多眼多板撮像素子画素の通常モード時読み出し方法の一例を示す図である。
【図１２】本発明の近接撮影モード時の画素読み出しを示す図である。
【図１３】通常撮影時における画素読み出しパルスのタイミングチャート（奇数行）である。
【図１４】通常撮影時における画素読み出しパルスのタイミングチャート（偶数行）である。
【図１５】近接撮影モード時における画素読み出しパルスのタイミングチャート（奇数行）である。
【図１６】近接撮影モード時における画素読み出しパルスのタイミングチャート（偶数行）である。
【図１７】通常モードのみを持つ多眼多板撮像素子における画素の近接撮影時の読み出し方法の一例（従来例）を示す図である。
【符号の説明】
【００５８】
１    被写体よりの光（光軸）
２    絞り
３    レンズ
４    カラーフィルタ
５    撮像画素
６    信号処理
７    信号処理出力信号
８    視差のある被写体よりの光
９    近接撮影時の被写体  
１０  通常撮影時の画像
１１  近接撮影時の画像
１２  Ｒ（赤）カラーフィルター
１３  Ｇ（緑）カラーフィルター
１４  Ｂ（青）カラーフィルター
１５  Ｒ撮像画素
１６  Ｇ２撮像画素
１７  Ｂ撮像画素
１８  Ｇ１撮像画素
１９  Ｒ撮像出力信号
２０  Ｇ２撮像出力信号
２１  Ｂ撮像出力信号
２２  Ｇ１撮像出力信号
２３  加算回路
２４  撮像出力信号
２５  読み出し制御パルス  ＰＨＲ
２６  読み出し制御パルス  ＰＨＬ
２７  読み出し制御パルス  ＰＶＵ
２８  読み出し制御パルス  ＰＶＬ
２９  読み出し制御回路
３０  近接撮影モード入切スイッチ
【図１】
2006128762.tif 000003
【図２】
2006128762.tif 000004
【図３】
2006128762.tif 000005
【図４】
2006128762.tif 000006
【図５】
2006128762.tif 000007
【図６】
2006128762.tif 000008
【図７】
2006128762.tif 000009
【図８】
2006128762.tif 000010
【図９】
2006128762.tif 000011
【図１０】
2006128762.tif 000012
【図１１】
2006128762.tif 000013
【図１２】
2006128762.tif 000014
【図１３】
2006128762.tif 000015
【図１４】
2006128762.tif 000016
【図１５】
2006128762.tif 000017
【図１６】
2006128762.tif 000018
【図１７】
2006128762.tif 000019