(57)【要約】【課題】複数の光学系の結像エリアを含む画像データを処理する場合に、データの処理負荷を軽減する。【解決手段】光軸が異なる複数の光学系を有するレンズにより結像された被写体像を撮像する撮像装置であって、それぞれ光電変換部を有する複数の画素が２次元に配置された撮像面と、撮像面に配置された複数の画素の信号を読み出す読み出し部と、複数の画素の信号を読み出す場合に、複数の光学系のそれぞれにより撮像面に形成される複数の結像エリアの境界を示すコード信号を、境界に対応する位置の画素の信号として付加する付加部とを備える。【選択図】  図２
2022002363.tif 000002
【特許請求の範囲】
【請求項１】
光軸が異なる複数の光学系を有するレンズにより結像された被写体像を撮像する撮像装置であって、
それぞれ光電変換部を有する複数の画素が２次元に配置された撮像面と、
前記撮像面に配置された複数の画素の信号を読み出す読み出し手段と、
前記複数の画素の信号を読み出す場合に、前記複数の光学系のそれぞれにより前記撮像面に形成される複数の結像エリアの境界を示すコード信号を、前記境界に対応する位置の画素の信号として付加する付加手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記付加手段は、前記境界に対応する位置の画素の信号を前記コード信号で置き換えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記複数の結像エリアに対応する複数のバッファメモリをさらに備え、前記複数のバッファメモリは、それぞれの結像エリアに対応する位置の画素の信号を記憶することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記レンズは、前記撮像装置に対して着脱可能であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
装着される前記レンズの種類を判別する判別手段をさらに備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記レンズが一体的に構成されていることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項７】
前記付加手段は、前記複数の画素の信号を読み出す場合に、読み出される各行の画素信号の先頭に、行の先頭を示すコード信号をさらに付加することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記複数の結像エリアは、２つの結像エリアであることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記複数の結像エリアは、４つの結像エリアであることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項１０】
光軸が異なる複数の光学系を有するレンズにより結像された被写体像を撮像する撮像装置を制御する方法であって、
それぞれ光電変換部を有する複数の画素が２次元に配置された撮像面に配置された複数の画素の信号を読み出す読み出し工程と、
前記複数の画素の信号を読み出す場合に、前記複数の光学系のそれぞれにより前記撮像面に形成される複数の結像エリアの境界を示すコード信号を、前記境界に対応する位置の画素の信号として付加する付加工程と、
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
従来、複数の光学系からの光を撮像素子で受けて、各光学系に対応する画像（静止画または動画）を生成した上で、人の左右の目に対応する表示系にそれぞれ表示させることによって立体視を実現する撮像装置が知られている。
【０００３】
例えば、特許文献１に開示されている立体視用動画データ生成装置は、互いに独立した２つの光学系からの光を１つの撮像素子で受ける構成となっている。この装置では、撮像素子から出力された画像データを用いて、画像処理回路が左目用画像と右目用画像のそれぞれを生成する処理を行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−２０１７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている装置では、撮像素子から出力された２つの光学系からの画像を含む画像データを１フレームの画像として画像処理回路に取り込んだ後、画像処理回路の内部で左目用画像と右目用画像に分離する処理を行っている。
【０００６】
この処理では、画像処理に所定の時間を必要とするため、光学系からの光を取り込んでから、左目用画像と右目用画像のそれぞれを表示したり、記録したりするまでに遅延時間が発生してしまう。さらに、撮像素子から出力された２つの光学系からの画像を含む１フレームの画像データを一時的に保持するためのバッファメモリもその分多く必要となる。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、複数の光学系の結像エリアを含む画像データを処理する場合に、データの処理負荷を軽減することである。
【課題を解決するための手段】
【０００８】
本発明に係わる撮像装置は、光軸が異なる複数の光学系を有するレンズにより結像された被写体像を撮像する撮像装置であって、それぞれ光電変換部を有する複数の画素が２次元に配置された撮像面と、前記撮像面に配置された複数の画素の信号を読み出す読み出し手段と、前記複数の画素の信号を読み出す場合に、前記複数の光学系のそれぞれにより前記撮像面に形成される複数の結像エリアの境界を示すコード信号を、前記境界に対応する位置の画素の信号として付加する付加手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の光学系の結像エリアを含む画像データを処理する場合に、データの処理負荷を軽減することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の全体構成を示すブロック図。
【図２】画素部の構成と結像エリアを示す模式図。
【図３】同期コード付加部の構成を示すブロック図。
【図４】同期コードが付加された後の画像データを示す図。
【図５】同期コードが付加されたＬＶＤＳの電圧信号波形を示す図。
【図６】画素部の構成と結像エリアを示す模式図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１２】
図１は、本発明の一実施形態に係わる撮像装置の全体構成を示すブロック図である。
【００１３】
撮像素子１００は、画素部１０１、ＡＤ変換部１０２、同期コード付加部１０３、信号出力部１０４を備えて構成されている。そして、撮像素子１００は、交換レンズ１１０により結像された被写体の像光（被写体像）を光電変換し、さらにそのアナログ信号をデジタル信号に変換して、信号処理部１０５に出力する。撮像素子１００は、周知のＣＭＯＳイメージセンサの構成をとり得るが、同期コード付加部１０３は、本実施形態に特有の方法で、画像信号に同期コード（コード信号）を付加する。この同期コードの付加方法の詳細は後述する。
【００１４】
撮像素子１００の撮像面を構成する画素部１０１には、不図示の光電変換部を各々が含む複数の画素が行列状（２次元的）に配置されている。画素部１０１は、交換レンズ１１０によって結像された被写体の像光を受光して、画素毎に受光した光量に応じた電圧信号に変換する。各画素の電圧信号は、画素列毎に配線された信号線である列信号線を介して画素列毎に設けられたＡＤ変換部１０２に出力する。ＡＤ変換部１０２は、各画素の電圧信号をＡＤ変換する。ＡＤ変換部１０２としては、ランプ信号との比較を行う比較部およびカウンタなどを備える周知のスロープ比較型の構成などが用いられる。
【００１５】
同期コード付加部１０３は、各画素のデジタル信号値を信号処理部１０５に取り込むための決められた同期コードを画素信号の途中に挿入する。信号処理部１０５は、撮像素子１００から出力された信号の中から同期コードを検出すると、検出したタイミングを基準にして各行の画素値を第１バッファメモリ１０６または第２バッファメモリ１０７に順次記録する。同期コード付加部１０３が、行毎の画素信号値を送信する際の最初のデータに同期コードを挿入することにより、画像処理部１０５は、行の開始を認識することができる。また、本実施形態の撮像装置においては、同期コード付加部１０３が、光学系１１０の種類に応じて、同期コードを挿入するタイミングを変える。
【００１６】
信号出力部１０４は、同期コード付加部１０３から出力された同期コードを含む画素信号を、所定の通信規格に変換して、信号処理部１０５へと出力する。ここでは、例えば周知のＬＶＤＳ（Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌｉｎｇ）、Ｓｕｂ−ＬＶＤＳ、ＳＬＶＳ（Ｓｃａｌａｂｌｅ  Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｓｉｇｎａｌｉｎｇ）などの通信規格を用いることができる。以下の説明ではＬＶＤＳによる信号伝送を例に説明するが、本発明が適用される範囲はこれに限定されるものではない。
【００１７】
信号処理部１０５は、撮像素子１００からＬＶＤＳで送信された信号を受信して、画素部１０１の欠陥画素の補正処理、ノイズリダクション処理、色変換処理、ホワイトバランス補正処理、ガンマ補正処理等の画像処理、解像度変換処理、画像圧縮処理などを行う。
【００１８】
第１バッファメモリ１０６および第２バッファメモリ１０７は、信号処理部１０５の演算処理用メモリであり、静止画の連続撮影や動画において使用される。表示部１０８は、信号処理部１０５から受けた画像信号を表示する。記録部１０９は、着脱自在なメモリカードやハードディスクなどの記録媒体に画像データを記録する。
【００１９】
交換レンズ１１０は、フォーカスレンズ、ズームレンズ、絞りなどを備えて構成されており、撮像素子１００の画素部１０１に被写体の像光を結像させる。本実施形態の撮像装置では、この交換レンズ１１０として光軸が異なるように互いに独立した複数の光学系を備えたレンズが装着された場合に、同期コード付加部１０３は、本実施形態に特有の動作を行う。図１では、交換レンズ１１０として各々が異なる光軸を持つ２つの光学系１１１，１１２を備えたレンズが装着されている場合を示している。このような構成の場合、画素部１０１は、２つの光学系１１１，１１２のそれぞれによって結像された結像エリア（Ｉｍａｇｅ Ｃｉｒｃｌｅ）の像光をそれぞれ受光することになる。
【００２０】
また、交換レンズ１１０は、信号処理部１０５に対してその光学系の情報を送信する。信号処理部１０５は、交換レンズ１１０の情報を受信して、レンズが備える光学系に応じた光量補正処理、色収差補正処理、歪み補正処理などの光学補正処理を行う。特に、装着された交換レンズ１１０が互いに独立した複数の光学系を含むレンズであった場合には、立体視用の右目用画像と左目用画像の生成処理を行う。光学系駆動部１１３は、交換レンズ１１０のフォーカスレンズ位置や絞り径を制御するための光学系駆動情報を算出する。
【００２１】
図２は、撮像素子１００の画素部１０１の構成と、２つの光学系１１１，１１２によって画素部１０１に形成される結像エリアを示す模式図である。
【００２２】
図２（ａ）において、遮光画素部２０１は、所謂ＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）領域であり、ＣＭＯＳ型の撮像素子の配線層などを使って光電変換部に光が入射しない様に構成された複数の画素が配置されている。この遮光画素部２０１の出力信号は、画素部１０１の光信号の基準信号として用いられる。開口画素部２０２は、交換レンズ１１０によって結像される被写体の像光を受光するための画素が配列された領域である。
【００２３】
第１結像エリア２０３は、光学系１１１によって結像される光の入射範囲を示している。また、第２結像エリア２０４は、光学系１１２によって結像される光の入射範囲を示している。図２では、互いに独立した２つの光学系を含む立体視用の画像を生成することを目的とした交換レンズが装着された場合を例に示している。図２では、光軸が異なる２つの光学系を含むため、それぞれの光学系の結像エリアが開口画素部２０２の約半分を覆うように構成されている。これに対し、単一の光学系で構成される交換レンズでは、その結像エリアは撮像素子１００の開口画素部２０２全体を十分包含する大きさに設計される。
【００２４】
図２（ｂ）は、図２（ａ）の様に受光した画素部１０１の信号を読み出した後に、同期コード付加部１０３が同期コードを挿入するタイミングを示した概念図である。
【００２５】
ＣＭＯＳ型の撮像素子は、単位行毎の画素信号を順次読み出してＡＤ変換する垂直走査と、単位行分の画素のデジタル信号を順次出力する水平走査によって、画素信号を読み出す方式が一般的である。ここでは、図２（ｂ）に図示す様に、垂直走査方向が上から下、水平走査方向が左から右、であるものとして説明する。
【００２６】
第１同期コード２０７は、第１結像エリア２０３の左側の列（行の先頭）に該当するタイミングで挿入される。信号処理部１０５のＬＶＤＳ受信部（不図示）では、この第１同期コード２０７を検出することによって、第１結像エリア２０３を含む第１画素領域２０９の信号データを第１バッファメモリ１０６に格納することができる。
【００２７】
第２同期コード２０８は、第１結像エリア２０３と第２結像エリア２０４の間の列に該当するタイミングで挿入される。信号処理部１０５のＬＶＤＳ受信部では、この第２同期コード２０８を検出することによって、第２結像エリア２０４を含む第２画素領域２１０の信号データを第２バッファメモリ１０７に格納することができる。
【００２８】
なお、図２（ｂ）においては、図２（ａ）の垂直出力領域２０５および水平出力領域２０６で示す領域の画素のデジタル信号のみを切り抜いて出力する様に撮像素子１００が制御されている。
【００２９】
図３は、撮像素子１００の同期コード付加部１０３の構成を示すブロック図である。
【００３０】
図３に示す様に、同期コード付加部１０３は、セレクタ３０１、Ｈカウンタ３０２、Ｖカウンタ３０３、制御部３０４を備えて構成されている。
【００３１】
セレクタ３０１は、ＡＤ変換部から出力された１画素のデジタル信号値と、第１同期コードと、第２同期コードの３つの信号を入力として受けて１つの信号を選択して出力する。
【００３２】
Ｈカウンタ３０２は、撮像素子１００を駆動するクロック信号ＣＬＫを計数して、その計数値を制御部３０４に出力する。また、Ｈカウンタ３０２は、水平同期信号ＨＤの入力を受けてその計数値をリセットする。
【００３３】
Ｖカウンタ３０３は、撮像素子１００の水平同期信号ＨＤを計数して、その計数値を制御部３０４に出力する。また、Ｖカウンタ３０３は、垂直同期信号ＶＤの入力を受けてその計数値をリセットする。
【００３４】
制御部３０４は、Ｈカウンタ３０２とＶカウンタ３０３のそれぞれの計数値と、さらに信号処理部１０５が取得した交換レンズ１１０の光学系情報とに基づいて、セレクタ３０１が３つの入力信号のうちどの信号を出力するかを制御する。つまり制御部３０４は、Ｈカウンタ３０２とＶカウンタ３０３の各計数値から、垂直走査と水平走査それぞれのタイミングに応じた制御信号をセレクタ３０１に出力することができる。
【００３５】
例えば、交換レンズ１１０が単一の光学系で構成されたレンズである場合について説明する。この場合、制御部３０４はＨカウンタの計数値に応じて、画素のデジタル信号値の各行の最初に第１同期コードが挿入される様にセレクタ３０１を制御する。信号処理部１０５は、その第１同期コードを検出することにより、第１バッファメモリ１０６に撮像素子１００の画素信号を順次格納することができる。
【００３６】
次に、図１および図２を用いて説明した様に、光学レンズ１１０が互いに独立した２つの光学系を含む立体視用の画像を生成することを目的としたレンズである場合について説明する。この場合、制御部３０４は、各行の画素のデジタル信号が出力される最初に第１同期コードを挿入し、さらに光学系１１１の第１結像エリア２０３と光学系１１２の第２結像エリア２０４の間の部分に第２同期コードを挿入する様にセレクタ３０１を制御する。信号処理部１０５は、それぞれの同期コードを検出することにより、第１結像エリア２０３を含む第１画素領域２０９の信号データを第１バッファメモリ１０６に直接格納することができる。また、同様に、信号処理部１０５は、第２結像エリア２０４を含む第２画素領域２１０の信号データを第２バッファメモリ１０７に直接格納することができる。
【００３７】
図４は、撮像素子１００のＡＤ変換部１０２から出力される各画素の信号値に、同期コード付加部１０３が同期コードを付加した後の画像データの様子を示す図である。
【００３８】
領域４０１は、第１同期コードの領域である。図４に示す様に、第１同期コードは画像の最も左端の３列に配置され、左から１６進数で０ｘＦＦＦＦ、０ｘ００００、０ｘＦＦＦＦ、という決められた信号値が各画素値の代わりに出力される。第１同期コードを示すこれら３つの信号値は、これを受信する信号処理部１０５が、画素の信号値（ｐｉｘ  ｄａｔａ）と確実に区別することができればよく、上記の信号値は一例である。
【００３９】
領域４０２は、第２同期コードの領域である。第２同期コードは、画像中の第１結像エリア２０３と第２結像エリア２０４の間に対応する３列に配置され、左から１６進数で０ｘ００００、０ｘＦＦＦＦ、０ｘ００００という決められた信号値が各画素値の代わりに出力される。第１同期コードと同様に、第２同期コードを構成する３つの信号値は、これを受信する信号処理部１０５が、画素の信号値（ｐｉｘ  ｄａｔａ）と確実に区別することが出来るように決定される。また、第１同期コードと第２同期コードもそれぞれ区別することが出来るように異なる信号値に決定される。
【００４０】
領域４０３は、第１結像エリア２０３を含む画素信号の領域である。領域４０４は、第２結像エリア２０４を含む画素信号の領域である。
【００４１】
図３で説明したように、信号処理部１０５は、それぞれの同期コードを検出することにより、第１結像エリア２０３を含む領域４０３の画素の信号値を第１バッファメモリ１０６に直接格納することができる。また、信号処理部１０５は、第２結像エリア２０４を含む領域４０４の画素の信号値を第２バッファメモリ１０７に直接格納することができる。
【００４２】
また、信号処理部１０５は、この様に格納された第１バッファメモリ１０６と、第２バッファメモリ１０７の信号を用いて、直ちに立体視用の右目用画像と左目用画像の生成処理を始められるため、信号処理部１０５の処理時間を短縮することができる。特に、立体視用の画像を生成する処理では、得られる立体感を高めるため、光軸補正、歪み補正、回転補正、などを左右の画像に対してそれぞれ行う必要がある。そのため、本実施形態の構成は、信号処理部１０５の処理負荷低減に寄与する。また、動画像の撮影においては、信号処理部１０５の処理時間の増大が表示遅延に直結するため、本実施形態の構成によれば、動画像撮影時のユーザの使用感を向上させることができる。
【００４３】
図５は、同期コード付加部１０３によって同期コードが付加された後に信号出力部１０４から出力されるＬＶＤＳの様子を示す電圧信号波形を示す図である。図５において、横軸は時刻、縦軸は電圧を示している。
【００４４】
図５に示す様に、信号出力部１０４は、同期コード付加部１０３が出力したデジタル信号を受けて、そのデジタル信号をパラレル−シリアル変換した後に、周知のＬＶＤＳ方式で信号処理部１０５に対して信号を出力する。図５では、クロック信号の立ち上がりと立ち下がりの両方のタイミングと同期してデータを送信するＤＤＲ方式の信号波形を示している。
【００４５】
図５（ａ）は、画素部１０１のある行の第１同期コードと画素の信号値が送信される信号波形を示している。信号波形５０１は、ＬＶＤＳ信号中の第１同期コードに該当する信号波形である。図５（ｂ）は、図５（ａ）を縮小して、さらに広い時間範囲の信号波形を示しており、図５（ａ）における信号波形５０１は、図５（ｂ）の信号波形５０２と対応している。図５（ｂ）に示す様に、ある１行の信号波形は、３画素分のデータに相当する第１同期コードが送信された後に、領域４０３に該当する領域の画素値（ｐｉｘ  ｄａｔａ）が順次送信される。その途中にある信号波形５０３は、第１結像エリア２０３を含む領域４０３と第２結像エリア２０４を含む領域４０４の間の領域に相当するタイミングの、第２同期コードに相当する信号波形である。
【００４６】
以上説明した様に、本実施形態の撮像装置によれば、複数の光学系の結像エリアを含む画像データを処理する場合に、データの処理負荷を軽減した撮像装置を提供することができる。
【００４７】
但し、本発明はこの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【００４８】
例えば、上記の第１の実施形態では、交換レンズ１１０が２つの光学系を備えている例について説明したが、光学系によっては、画素部１０１に結像される結像エリアの数は２つに限定されない。すなわち、図６（ａ）に示す様に、４つの光学系を備えた交換レンズを用いて、４つの結像エリア６０１〜６０４が撮像素子１０１の画素部２０２に結像される構成でもよいし、さらに複数の結像エリアを含む構成でもよい。
【００４９】
図６（ｂ）は、図６（ａ）の様に受光した画素の信号を読み出した後に、同期コード付加部１０３が同期コードを挿入するタイミングを示した概念図である。この場合も、信号処理部１０５から伝達される交換レンズの種類を判別する情報に応じて、同期コード付加部１０３が垂直走査と水平走査の適切なタイミングに同期コード６０５〜６０８を付加する。これによって、信号処理部１０５は、各結像エリアの信号を各々のバッファメモリに直接記憶させることができ、信号処理部１０５の処理負荷が軽減される。
【００５０】
また、上記の説明では、同期コード付加部１０３は、同期コードを結像エリアの境界に対応する位置に「挿入」するとして説明したが、「上書き」してもよい。すなわち、撮像装置１００は、結像エリアの境界に物理的に存在する画素の信号に置き換えて同期コードを出力する構成としてもよい。
【００５１】
また、上記の説明では、撮像装置の本体に対して交換レンズ１１０を着脱可能に装着する構成の撮像装置について説明したが、本発明は、撮像装置の本体とレンズが一体的に構成された撮像装置にも適用可能である。
【００５２】
（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【００５３】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００５４】
１００：撮像素子、１０１：画素部、１０２：ＡＤ変換部、１０３：同期コード付加部、１０４：信号出力部、１０５：信号処理部、１０６：第１バッファメモリ、１０７：第２バッファメモリ、１１０：交換レンズ、１１１，１１２：光学系
【図１】
2022002363.tif 000003
【図２】
2022002363.tif 000004
【図３】
2022002363.tif 000005
【図４】
2022002363.tif 000006
【図５】
2022002363.tif 000007
【図６】
2022002363.tif 000008