(57)【要約】【課題】  被写体の撮像情報と、距離情報を同時にセンサーから出力する撮像装置において、被写体付近の音声端末装置にて入力された信号を、赤外線信号として本体撮像装置に送信する。【解決手段】  ＲＧＢをそれぞれ吸収する膜と近赤外光を吸収する膜を設けたセンサーと、センサー近くに取り付けた赤外発光素子を用いて、赤外発光素子からの照射光が被写体からの反射光をセンサーの各画素の近赤外光吸収膜で捕らえることにより、距離情報を得ると同時に、被写体までの距離が一定以上となる場合、被写体に備えてある、音声入力端末に入力された被写体近辺の音声情報を、赤外信号に変調して撮像装置に送信し、音声の補助とする。【選択図】  図１
2009147708.tif 000002
【特許請求の範囲】
【請求項１】
可視光において、光の３原色であるＲ，Ｇ，Ｂそれぞれを吸収できる第１から第３の電磁波吸収膜と、該第１から第３の電磁波吸収膜で吸収されない電磁波から、近赤外光波長に対応した電磁波を吸収できる第４の電磁波吸収膜を有する多層積層型撮像素子と、該撮像素子付近に設置した赤外発光素子を有し、第１から第３の電磁波吸収膜で吸収した電荷から被写体画像を、また赤外発光素子からの照射光が被写体を介した反射光を第４の電磁波吸収膜で吸収し、照射光と到達反射光の時間差から被写体までの距離情報を算出する手段と、被写体画像と被写体画像に対応した距離情報を同時に出力する手段を有することを特徴とする撮像装置において、
被写体に、音声信号を変調し近赤外光線にて放出する音声端末装置を設け、前記音声端末装置から出力される近赤外光線と、前記撮像装置から照射された近赤外光線をもとに、撮像装置の音声入出力手段を切替えることを特徴とする撮像装置。
【請求項２】
前記第１の電磁波吸収膜は４００〜５００ｎｍの電磁波を吸収する特性を有し、前記第２の電磁波吸収膜は５００〜６００ｎｍの電磁波を吸収する特性を有し、前記第３の電磁波吸収膜は６００〜７００ｎｍの電磁波を吸収する特性を有し、さらに前記第４の電磁波吸収膜は近赤外光、特に撮像素子のそばに設置したＬＥＤの波長と同等の吸収特性を有すると共に、前記音声端末装置の近赤外光の波長と同等の吸収特性を有することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可視光線を吸収する電磁波吸収膜と、近赤外線を吸収する近赤外線吸収膜を有する撮像装置にかかわり、特に音声端末装置を介して近赤外光線にて送信された音声信号を受信する撮像装置に関するものである。
【背景技術】
【０００２】
近年、ビデオカメラやデジタルスチルカメラにおいても、高精細の画像を実現し、且つフォーカス精度の向上やストロボ発光量の調整精度を向上するために、画像情報と距離情報を同時に出力することができる撮像装置の要求も高まっている。
【０００３】
更に、このような撮像装置の小型化を図るため、従来のカラーフィルタがモザイク状の撮像素子（ベイヤー配列）に代わり、入射光をより有効利用できる１枚の撮像素子が要求されている。
【０００４】
このような状況を鑑み、固体撮像素子の画素単位毎に、光の３原色であるＲＧＢ、それぞれの波長の光を吸収する電磁波吸収膜を積層化して、入射光の利用効率を向上させることで、該撮像素子の寸法を大きくすることなく、高解像度を実現する手法が提案されている（特許文献１）。
【０００５】
また、高解像度の画像と、被写体までの距離情報を２つの撮像素子を用いて、同時に取得する撮像装置も提案されている（特許文献２）。
【０００６】
また、マイクロホン等の音声入力装置を有し、入力された音声信号を変調して赤外光線の光信号として空間に発射し、該光信号を被写体の映像と同時に撮像し、撮影中の例えば人物の音声と人物像を記録できるようにした撮像装置が提案されている（特許文献３）。
【特許文献１】特開２００３−２３４４６０号公報
【特許文献２】特開平１１−４１５２１号公報
【特許文献３】特開昭６３−２５６０６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このように、画素単位毎に光の３原色であるＲＧＢぞれぞれの波長を吸収する電磁波吸収膜を多層化して高解像度を実現する手法では、モザイク状のカラーフィルタ型の固体撮像素子と比較して、光の利用効率が３倍に向上するため高解像度が実現することができるものの、その反面、光の３原色ＲＧＢに対応した電磁波吸収膜を積層構造にしているため、撮像素子からは画像情報のみの出力であった。
【０００８】
また、２つの撮像素子を用いて高解像度の画質と距離情報を同時に取得する手法では、画像用撮像素子と距離情報取得用撮像素子が、１つのレンズからの入射光を分離するハーフミラーを介して光を入射させ、レンズ等の光学デバイス１つで画像と距離情報を取得する方法があった。
【０００９】
しかしながら、１つの光学デバイスからハーフミラーを介して入射光を分離するため、２つの撮像素子への光の入射角がずれないように、ハーフミラーのメカ的な取り付け精度が要求され、また、２つの撮像素子とハーフミラーを用いるため、撮像装置の小型化・低消費電力が難しく、更にコストも増加する問題がある。
【００１０】
また、特許文献３においては、マイクロホンの音声入力装置から入力された音声信号を変調して赤外光線の光信号として空間に発射し、該光信号を被写体の映像と同時に撮像し、撮影中の例えば人物の音声と人物像を記録できるようにした撮像装置が開示されているが、
この場合、被写体までの距離が判定できないため、例えば図５の被写体Ｄのように、画面外に位置している場合は、音声は拾わないが、被写体Ｄが画面内に入ってきた場合、その時点で被写体Ａ、Ｂ、Ｃと同等の音声レベルが記録されるため、被写体の距離から比例して音声が小さくなるのに対し、違和感のある映像、音声となる場合があった。
【課題を解決するための手段】
【００１１】
本発明の、音声端末装置を備えた撮像装置は、
可視光において、光の３原色であるＲ，Ｇ，Ｂそれぞれを吸収できる第１から第３の電磁波吸収膜と、該第１から第３の電磁波吸収膜で吸収されない電磁波から、近赤外光波長に対応した電磁波を吸収できる第４の電磁波吸収膜を有する多層積層型撮像素子と、該撮像素子付近に設置した赤外発光素子を有し、第１から第３の電磁波吸収膜で吸収した電荷から被写体画像を、また赤外発光素子からの照射光が被写体を介した反射光を第４の電磁波吸収膜で吸収し、照射光と到達反射光の時間差から被写体までの距離情報を算出する手段と、被写体画像と被写体画像に対応した距離情報を同時に出力する手段を有することを特徴とする撮像装置であって、
被写体に、音声信号を変調し近赤外光線にて放出する音声端末装置を設け、前記音声端末装置から出力される近赤外光線と、前記撮像装置から照射された近赤外光線をもとに、撮像装置の音声入出力手段を切替えることを特徴としている。
【００１２】
また本発明の、音声端末装置を備えた撮像装置のさらなる特徴は、
第１の電磁波吸収膜は４００〜５００ｎｍの電磁波を吸収する特性を有し、第２の電磁波吸収膜は５００〜６００ｎｍの電磁波を吸収する特性を有し、第３の電磁波吸収膜は６００〜７００ｎｍの電磁波を吸収する特性を有し、さらに第４の電磁波吸収膜は近赤外光、特に撮像素子のそばに設置した赤外発光素子の波長と同等の吸収特性を有すると共に、音声端末装置の近赤外光の波長と同等の吸収特性を有することを特徴とする、第１から第４の電磁波吸収膜を有することを特徴としている。
【発明の効果】
【００１３】
以上説明したように、本発明によれば、固体撮像素子に光の３原色ＲＧＢをそれぞれ吸収する電磁波吸収膜と、該膜から電荷を読み出すための電極を備え、
最下層部に前記ＲＧＢの電磁波吸収膜で吸収されない電磁波から、近赤外波長を吸収する第４の電磁波吸収膜と、該吸収膜で吸収された電荷を読み出すための電極を備え、
前記撮像素子のそばに配置した赤外発光素子から近赤外光線を照射し、対象被写体からの反射光を各画素毎に配置した前記撮像素子が有する第４の電磁波吸収膜で吸収し、
吸収した電磁波を信号に変換し、接続した電極から読み出すことにより、赤外発光素子からの照射光が被写体を介して、反射した光の各画素毎の到達時間を算出する手段を備え、
各画素毎の該到達時間から、被写体画像に対応する各画素毎の距離情報を算出する手段を備え、
各画素毎の該距離情報取得後にすべての画素の距離情報を同時に読み出し、被写体画像に対応した距離情報を生成する手段を備え、
該距離情報と、被写体撮影の主画像を合成する手段を備え、
合成した画像を画像データ、例えば、ＲＡＷデータとして記録する記録手段を備え、
上記手段により固体撮像素子が備える第１から第３の電磁波吸収膜で、可視光に対応する電磁波吸収することで、被写体画像を生成し、
赤外発光素子からの照射光が、被写体から反射した光を、前記撮像素子が備える第４の電磁波吸収膜で検出することにより、被写体までの距離情報を取得し、
被写体に備えた音声端末装置により、被写体の音声を入力し、近赤外光線にて変調出力する手段を備え、
撮像装置にて入力された音声信号を復調し、音声信号に加算する手段を備え、上記被写体までの距離を算出した情報をもとに、上記音声信号の加算比率を変える手段を有することにより、被写体までの距離に比例して音声の大小を加算比率により変え、違和感のない映像、音声を得ることが可能となった。
【発明を実施するための最良の形態】
【００１４】
次に、本発明の詳細を実施例の記述に従って説明する。
【００１５】
本発明を実施するための形態について説明する。
【００１６】
本発明を適用した図面が図１であり、初めに本発明の撮像装置について、図１を元に具体的な動作を説明する。
【実施例１】
【００１７】
同図において、レンズ１を通った光信号は、絞り２を介して、ＣＭＯＳセンサー３に入力され、該ＣＭＯＳセンサーは、ＴＧ７より出力されるタイミングパルスにより駆動され、入射された光信号を光電変換により、電気信号に変換して出力する。
【００１８】
ＴＧ７はＣＰＵ８によって制御され、例えばＴＧ７は３Ｖ振幅のタイミングパルスを水平同期信号ＨＤに同期して、一定の周期で出力する。
【００１９】
ＣＭＯＳセンサー３の出力信号は信号レベルを示す"Ｓ"と、ノイズレベルを示す"Ｎ"で構成され、"Ｓ−Ｎ"が入射光を電気信号に変換した値を示す。
【００２０】
ＣＭＯＳセンサー３の出力信号は"Ｓ−Ｎ"の差分値を算出するための相関二重サンプリングを行なうＣＤＳと、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器で構成されたＡＦＥ４に入力され、デジタル信号に変換した後、マルチプレクス５に入力される。
【００２１】
マルチプレクス５、ＣＭＯＳセンサー内部の各層で吸収された電磁波を変換した電荷を合成処理し、出力信号はＡＧＣ６を介して、カメラ信号処理回路９に入力される。
【００２２】
カメラ信号処理回路９はＹＣ分離と、映像信号処理、色信号処理、ガンマ補正を施して、画像を生成する。
【００２３】
カメラ信号処理回路９の出力は、ビデオ信号処理回路１０に入力され、ビデオ信号処理を行なって信号を出力し、モニタ１１は画像を表示する。
【００２４】
また、カメラ信号処理回路９からは、撮像装置の露出補正を行なうための評価値を輝度レベル検波部１２に出力する。
【００２５】
輝度レベル検波部１２は該評価値から輝度レベル検波値を算出し、ＣＰＵ８に出力する。
【００２６】
ＣＰＵ８は輝度レベル検波部１２からの出力信号から、予め備えた露出補正テーブルから、露出補正量の差分値を算出し、差分がある場合には、絞り２と、ＣＭＯＳセンサー３と、ＡＧＣ６に制御信号を出力して、露出補正を行なう。
【００２７】
本体内蔵マイク２０に入力された音声信号は、アンプ２１で増幅され、音声回路２２にて信号処理をされ、ビデオ信号処理回路１０にて映像信号と重畳されてモニター１１に出力される。
【００２８】
マルチプレクス回路５により、音声変調信号部が抜き出され、音声復調回路２３で音声信号に復調される。復調された音声信号はビデオ信号処理回路１０にて映像信号と重畳され、モニター１１に出力される。
【００２９】
次に、音声信号端末装置３０について説明する。音声信号端末装置３０には内蔵マイク３１と変調回路３２、赤外ダイオード駆動アンプ３３、赤外発光ダイオード３４、発振機３５からなっており、内蔵マイク３１で受けた音声信号は、発振機３５の発振周波数にて変調回路３２で変調される。
【００３０】
変調された音声信号は赤外発光ダイオード駆動アンプ３３で増幅され、赤外発光ダイオード３４にて赤外線に変換され、赤外線として発光される。
【００３１】
音声信号端末装置において、赤外光に変調された音声信号はレンズ１を通してＣＭＯＳセンサー３に入力される。そのうちの音声信号を含んだ赤外光線は他の赤外光とともにＡＦＥ４で映像信号と分離され、マルチプレクス回路５から音声復調回路２３に入力される、音声復調回路２３では変調されていた信号から音声信号が取り出され、ＣＰＵ８の制御により、音声増幅コントロールアンプ２４にてレベルを調整された後、ビデオ信号処理回路１０にて映像信号と重畳されモニター１１に出力される。
【００３２】
次に、ＣＭＯＳセンサー３が備える多層積層膜からの電荷読み出し構成を図２と、図３、及び図４を用いて説明する。
【００３３】
初めに、図２はＣＭＯＳセンサー３に入力される電磁波波長と各電磁波吸収膜の透過率を表しており、入力信号波長は例えば、レンズ１と、ＣＭＯＳセンサー３の間に挿入した光学ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）が備えた紫外線（ＵＶ）カット特性により、４００ｎｍ以上の電磁波波長が入力される。
【００３４】
次に、ＣＭＯＳセンサー３を構成する多層積層構造の電磁波吸収膜において、第１の電磁波吸収膜は、入射光の電磁波波長の４００〜５００ｎｍの電磁波を吸収する有機膜で形成される。
【００３５】
第１の電磁波吸収膜には、該吸収膜で吸収された電磁波を電荷に変換し、変換した電荷を読み出すための電極３００が接続される。
【００３６】
電極３００から読み出された電荷は、ＡＭＰ３０４を介して、ＤＡＴＡ１として、ＡＦＥ４に出力される。
【００３７】
ＤＡＴＡ１は、ＡＦＥ４内部のＣＤＳ４００と、Ａ／Ｄ４０４で相関二重サンプリングと、Ａ／Ｄ変換される。
【００３８】
一方、前記第１の電磁波吸収膜で吸収された電磁波以外は第１の電磁波吸収膜を通過して、第２の電磁波吸収膜に浸透する。
【００３９】
第２の電磁波吸収膜は、入射光の電磁波波長の５００〜６００ｎｍの電磁波を吸収する有機膜で形成される。
【００４０】
第２の電磁波吸収膜には、該吸収膜で吸収された電磁波を電荷に変換し、変換した電荷を読み出すための電極３０１が接続される。
【００４１】
電極３０１から読み出された電荷は、ＡＭＰ３０５を介して、ＤＡＴＡ２として、ＡＦＥ４に出力される。
【００４２】
ＤＡＴＡ２は、ＡＦＥ４内部のＣＤＳ４０１と、Ａ／Ｄ４０５で相関二重サンプリングと、Ａ／Ｄ変換される。
【００４３】
一方、前記第２の電磁波吸収膜で吸収された電磁波以外は第２の電磁波吸収膜を通過して、第３の電磁波吸収膜に浸透する。
【００４４】
第３の電磁波吸収膜は、入射光の電磁波波長の６００〜７００ｎｍの電磁波を吸収する有機膜で形成される。
【００４５】
第３の電磁波吸収膜には、該吸収膜で吸収された電磁波を電荷に変換し、変換した電荷を読み出すための電極３０２が接続される。
【００４６】
電極３０２から読み出された電荷は、ＡＭＰ３０６を介して、ＤＡＴＡ３として、ＡＦＥ４に出力される。
【００４７】
ＤＡＴＡ３は、ＡＦＥ内部のＣＤＳ４０２と、Ａ／Ｄ４０６で相関二重サンプリングと、Ａ／Ｄ変換される。
【００４８】
次に、前記撮像素子のそばに配置したＬＥＤを用いた被写体までの距離情報算出の仕組みを図３、図４及び図５を用いて、説明する。
【００４９】
撮像装置１０００で被写体を撮影中に、撮影被写体１００１に対して、撮像部１００２を構成するＬＥＤ１００４から波長が８００〜１２００ｎｍの赤外光を照射する（照射光１００５）。
【００５０】
照射光１００５は、撮影被写体１００１内に映し出されている人や、物体等に照射され、照射光１００５が到達する距離にいる人や物体がいる場合には、人や、物体によって、照射光１００５が反射する（反射光１００６）。
【００５１】
反射光１００６は、撮影被写体１００１の光信号として、撮像素子１００３に入射される。
【００５２】
撮像素子１００３に入射された反射光１００６は、波長が８００〜１２００ｎｍの信号であるため、撮像素子が備える第１から第３の電磁波吸収膜では吸収されずに通過して、最下層部に配置された第４の電磁波吸収膜に浸透する。
【００５３】
第４の電磁波吸収膜は、入射光の電磁波波長の８００〜１２００ｎｍの電磁波を吸収する有機膜で形成されているため、反射光１００６は該吸収膜で吸収され、電荷に変換される。
【００５４】
変換された電荷は、電荷読み出し用電極３０３を介して、ＤＡＴＡ４として、ＡＦＥ４に出力される。
【００５５】
ＤＡＴＡ４は、ＡＦＥ内部のＣＤＳ４０３と、Ａ／Ｄ４０７で相関二重サンプリングと、Ａ／Ｄ変換されて、マルチプレクス５に出力される。
【００５６】
次に、ＬＥＤからの照射光と、被写体からの反射光での被写体までの距離算出方法を図６と、図７を用いて、説明する。
【００５７】
図６は、例えば、撮像装置が備える撮像素子の画素情報を表し、すべての画素にアドレス情報を具備しておく。
【００５８】
図７は、距離情報を取得するためのＬＥＤ照射タイミングと、距離算出方法を示しており、ＬＥＤの照射パルスタイミングは映像信号内のＶランキング期間内に照射を開始する。
【００５９】
ＬＥＤから照射されたパルスは、被写体を介して、撮像素子が有する各画素に入射され、各画素では、反射パルスの到達時間の検出を行なう。
【００６０】
ここで、反射パルスの到達時間の検出方法は、照射パルスの立ち上がりエッジ部と、反射パルスの立ち上がりエッジ部を比較して、時間差を算出する。
【００６１】
図７では、初めにセンサー２３画素と、センサー３３画素に反射パルスが到達し、該パルスと、照射パルスと比較して、時間差Φ１を算出する。
【００６２】
次に、センサー１３画素と、センサー２２画素と、センサー３２画素に反射パルスが到達し、該パルスと、照射パルスを比較して、時間差Φ２を算出する。
【００６３】
次に、センサー１２画素に反射パルスが到達し、該パルスと、照射パルスを比較して、時間差Φ３を算出する。
【００６４】
最後に、センサー１１画素と、センサー２１画素と、センサー３１画素には、被写体までの距離が非常に遠いため、反射パルスは到達しない。
【００６５】
以上のように、撮像素子が有するすべての画素において、反射パルスの到達時間を検出し、該到達時間から、すべての画素で被写体までの距離情報を算出する。
【００６６】
ここで、検出した到達時間から距離情報を算出する方法は、反射光の到達時間から、飛行時間を換算し、該飛行時間に光速を乗ずることで算出する。
【００６７】
また、撮像素子が有する画素の読み出し周波数は以下のとおりである。
【００６８】
Ｆ＝１／（Ｘ／Ａ＊Ｃ）                （１）
Ｃ：光の速さ
Ｘ：距離検出精度
Ａ：撮像素子が有する画素数
（１）式で算出される画素読み出し周波数で撮像素子を駆動することにより、撮像素子が有するすべての画素において、距離情報を算出することが可能になる。
【００６９】
このように、被写体画像は、撮像素子が有する第１から第３の電磁波吸収膜から電荷として出力され、被写体までの距離情報は、前記撮像素子が有する第４の電磁波吸収膜から電荷として出力される。
【００７０】
それぞれの出力電荷はＡＦＥを介して、デジタル信号に変換された後、マルチプレクス、ＡＧＣゲインを介して、カメラ信号処理回路に入力される。
【００７１】
カメラ信号処理回路は、被写体画像と、被写体までの距離情報を合成して、カメラデータ用メモリに出力し、ＲＡＷデータとして記録する。
【００７２】
これにより、１枚の固体撮像素子と該撮像素子のそばに配置したＬＥＤにより、撮影時の被写体画像に影響を及ぼすことなく、被写体画像と、被写体までの距離情報を同時に出力可能な撮像装置を実現することができる。
【００７３】
なお、図８は、本発明の撮像装置において、被写体画像への影響を防止し、被写体までの距離情報を算出する手段の一実施例を示す図である。
【図面の簡単な説明】
【００７４】
【図１】本発明の撮像装置における一実施例の構成を示す。
【図２】本発明の撮像装置が有する固体撮像素子の各電荷吸収膜における電磁波波長と透過率の一実施例を示す。
【図３】本発明の撮像装置が有する固体撮像素子の各電荷吸収膜と電極構成の一実施例を示す。
【図４】本発明の撮像装置が有するＡＦＥの内部回路構成の一実施例を示す。
【図５】本発明の撮像装置において、ＬＥＤからの照射光と反射光を用いた距離算出方法の一実施例を示す。
【図６】本発明の撮像装置において、撮像素子のすべての画素の位置情報を表すための一実施例を示す。
【図７】本発明の撮像装置において、映像Ｖブランキング期間内にＬＥＤを照射するタイミングと、各画素での距離情報算出手段の一実施例を示す。
【図８】本発明の撮像装置において、被写体画像への影響を防止し、被写体までの距離情報を算出する手段の一実施例を示す。
【符号の説明】
【００７５】
１  レンズ
２  絞り
３  ＣＭＯＳセンサー
４  ＡＦＥ
５  マルチプレクス
６  ＡＧＣ
７  ＴＧ
８  ＣＰＵ
９  カメラ信号処理回路
１０  ビデオ信号処理回路
１１  モニタ
１２  輝度レベル検波
１３  メモリ
１４  カメラデータ用メモリ
２０  マイク
２１  アンプ
２２  音声処理回路
２３  音声復調回路
２４  音声増幅コントロールアンプ
３０  音声端末装置
３１  マイク
３２  変調回路
３３  アンプ
３４  赤外発光ダイオード
３５  発振回路
３００  電極３００
３０１  電極３０１
３０２  電極３０２
３０３  電極３０３
３０４  ＡＭＰ３０４
３０５  ＡＭＰ３０５
３０６  ＡＭＰ３０６
３０７  ＡＭＰ３０７
１０００  撮像装置
１００１  撮影被写体
１００２  撮像部
１００３  撮像素子
１００４  ＬＥＤ
１００５  照射光
１００６  反射光
【図１】
2009147708.tif 000003
【図２】
2009147708.tif 000004
【図３】
2009147708.tif 000005
【図４】
2009147708.tif 000006
【図５】
2009147708.tif 000007
【図６】
2009147708.tif 000008
【図７】
2009147708.tif 000009
【図８】
2009147708.tif 000010