【手続補正書】
【提出日】平成24年3月19日(2012.3.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の周期で被写体を電気信号に変換する１つの撮像素子と、
自由曲面プリズムで構成されている、第１の結像光学系、及び前記第１の結像光学系とは異なる焦点距離の、自由曲面プリズムで構成されている、第２の結像光学系でそれぞれ異なる方向からの被写体像を前記１つの撮像素子上の所定の領域に結像させる結像手段と、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、
前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する撮影画像分割手段と、
前記撮影画像分割手段によって分割された前記部分画像を所定の配置で合成して第２の動画像に生成する画像合成手段と、
前記画像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段と、
を有することを特徴とする撮影装置。
【請求項２】
前記第１の結像光学系及び前記第２の結像光学系は、それぞれ、３つの光学面を有する自由曲面プリズムであり、
前記自由曲面プリズムは、第１の面では、入射光の透過作用を有しており、第２の面では、前記入射光を一次反射させると共に、第３の面で反射された光を透過して出射する作用を有し、第３の面は、前記一次反射された光を第２の面へ反射する作用を有しており、そのうちの第２面、第３面が、回転非対称な曲面を備えていることを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記撮影装置は車両内に配置されるものであって、
前記第１の結像光学系は、前記撮影装置を前記車両内の所定位置に配置した場合に前記車両の進行方向の所定距離だけ離れた位置の被写体像を、合焦するように構成され、
前記第２の結像光学系は、前記第１の結像光学系に対して、前記撮像素子の撮像面の軸回りに回転対称となるように配置され、前記車両の運転者を被写体像にして合焦するように構成されている、
ことを特徴とする請求項１叉は２に記載の撮影装置。
【請求項４】
前記第１の結像光学系は可視光領域の光を透過する分光特性である第１の分光フィルターを有し、
前記第２の結像光学系は赤外領域の光を透過する分光特性である第２の分光フィルターを有する、
ことを特徴とする請求項３に記載の撮影装置。
【請求項５】
前記第１の分光フィルター及び前記第２の分光フィルターは、前記撮像素子の直前に配置されていることを特徴とする請求項４に記載の撮影装置。
【請求項６】
所定の周期で被写体を電気信号に変換する１つの撮像素子と、自由曲面プリズムで構成されている、第１の結像光学系及び前記第１の結像光学系とは異なる焦点距離の、自由曲面プリズムで構成されている第２の結像光学系でそれぞれ異なる方向からの被写体像を前記１つの撮像素子上の所定の領域に結像させる結像手段とを備える撮影装置を制御する撮影方法であって、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、
前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、
前記分割された前記部分画像を所定の配置で合成して第２の動画像に生成し、
前記合成された前記第２の動画像を表示装置に表示させる、
ことを特徴とする撮影方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の撮影装置は、所定の周期で被写体を電気信号に変換する１つの撮像素子と、自由曲面プリズムで構成されている、第１の結像光学系及び前記第１の結像光学系とは異なる焦点距離の自由曲面プリズムで構成されている、第２の結像光学系でそれぞれ異なる方向からの被写体像を前記１つの撮像素子上の所定の領域に結像させる結像手段と、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する撮影画像分割手段と、前記撮影画像分割手段によって分割された前記部分画像を所定の配置で合成して第２の動画像に生成する画像合成手段と、前記画像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段とを有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明の撮影装置は、前記第１の結像光学系及び前記第２の結像光学系が自由曲面プリズムにより構成されており、前記自由曲面プリズムは、第１の面では、入射光の透過作用を有しており、第２の面では、前記入射光を一次反射させると共に、第３の面で反射された光を透過して出射する作用を有し、第３の面は、前記一次反射された光を第２の面へ反射する作用を有しており、そのうちの第２面、第３面が、回転非対称な曲面を備えていることが望ましい。
また、本発明の撮影装置は、前記撮影装置が車両内の所定位置に配置された場合、前記第１の結像光学系が、前記車両の進行方向の所定距離だけ離れた位置の被写体像を前記撮像面に合焦するように構成され、前記第２の結像光学系が、前記第１の結像光学系に対して、前記撮像素子の撮像面の軸回りに回転対称となるように配置され、前記車両の運転者を被写体像として、前記撮像面合焦するように構成されていることが望ましい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、本発明の撮影装置は、前記第１の分光フィルター及び前記第２の分光フィルターが前記撮像素子の直前に配置されていることが望ましい。
また、本発明の一態様によれば、本発明の撮影方法は、所定の周期で被写体を電気信号に変換する１つの撮像素子と、自由曲面プリズムで構成されている、第１の結像光学系及び前記第１の結像光学系とは異なる焦点距離の自由曲面プリズムで構成されている第２の結像光学系でそれぞれ異なる方向からの被写体像を前記１つの撮像素子上の所定の領域に結像させる結像手段とを備える撮影装置を制御する撮影方法であって、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、前記分割された前記部分画像を所定の配置で合成して第２の動画像に生成し、前記合成された前記第２の動画像を表示装置に表示させることを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
【図１】参考形態として、本発明の構成において、第一の結像光学系、および第二の結像光学系を、共軸系の球面レンズを用いた場合で、適用した参考形態における撮影装置の構成例を示す図である。
【図２】本発明を適用した実施の形態における撮影装置の構成例を示す図である。
【図３】本発明を適用した実施の形態における撮影装置の外観を示す図である。
【図４】自由曲面プリズム２、３のＹ−Ｚ面を示した図である。
【図５】自由曲面プリズム２、３の外形を表す斜視図である。
【図６】撮像素子１に結像された被写体の例を示す図である。
【図７】本発明を適用した実施の形態のカメラシステムの構成を示す図である。
【図８】第１の加速度センサー６５が実行する処理の流れを示すフローチャートである。
【図９】実施の形態のカメラシステムの機能ブロックを示す図である。
【図１０】第２の加速度センサー６６が実行する処理の流れを示すフローチャートである。
【図１１】実施の形態におけるカメラ制御処理の流れを示すフローチャートである。
【図１２】第１のフレームメモリの構成を示す図である。
【図１３】第２のフレームメモリの構成を示す図である。
【図１４】カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートである。
【図１５】表示例を示す図である。
【図１６】画像検出から警告発生までの処理の流れを示すフローチャートである。
【図１７】本発明による撮像装置を車両に搭載した例を示す図である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
そして、取得した２つの画像のうち前方映像は、白線検知、ドライブレコーダー、車間センサーなどの機能に使用され、運転者側の画像は居眠り検知、盗難犯罪者の映像撮影に使用される。この機能を実現するため、白線検知演算機能、動画記録メモリ、車間距離演算機能、居眠り検出、警告機能、車両に対して不正行為が行われたときに不正行為を検知する検知手段を有している。なお、表示方法においては、操作者の選択指定による表示形式を固定的に採用する。
（参考形態）
図１は、参考形態として、本発明の構成において、第一の結像光学系、および第二の結像光学系を、共軸系の球面レンズを用いた場合で、適用した参考形態における撮影装置の構成例を示す図である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
前記第１の結像光学系Ｌ１００と前記第２の結像光学系Ｌ１０１とは異なる焦点距離を有しており、それぞれ異なる方向からの被写体像を前記１つの撮像素子１上の所定の領域に結像させる。例えば、結像光学系Ｌ１００が備える結像レンズＬ４と撮像素子１との距離に対して、結像光学系Ｌ１０１が備える結像レンズＬ４と反射部材Ｌ５との距離を、短く配置することで、車両の前方を撮像する前記第１の結像光学系Ｌ１００側の焦点距離を遠くに設置し、運転者を撮像する前記第２の結像光学系Ｌ１０１側の焦点距離を短くかつ広い画角になるよう設置する。
（実施の形態）
図２は、本発明を適用した実施の形態における撮影装置の構成例を示す図であり、図３は、本発明を適用した実施の形態における撮影装置の外観を示す図であり、図４は、自由曲面プリズム２、３のＹ−Ｚ面を示した図であり、図５は、自由曲面プリズム２、３の外形を表す斜視図であり、図６は、撮像素子１に結像された被写体の例を示す図である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
本実施の形態で用いる第１、第２の光学素子２、３は、同一媒質の自由曲面プリズムであって、屈折率が１．３１倍より大きい媒質にて構成されており、何れの光学面もＹ−Ｚ面を唯一の対称面とする自由曲面からなり、光束にパワーを与えかつ偏心により発生する収差を補正する回転非対称な面形状を有するように構成され、かつ、３面の中の第１面、第３面が回転非対称面になっているものを適用することができる。ここに、Ｙ−Ｚ面とは図４に示したような面（ここでは全てのプリズム光学素子の向きを同じにして表示してある）であり、第１、第２のプリズム光学素子２、３を用いることで撮像レンズの如きは不要となり広画角で、高精細な画像の撮影が可能となる。なお、図４中ｌ１が軸上主光線であり、０が絞りの中心である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
一般的なカメラなどの通常の撮像素子１では、画面のアスペスト比が４対３であり、画面サイズの長い４の方向が水平方向、短い３の方向が垂直方向に被写体を正対する。ところが、本発明の実施の形態では、図６に示されるように２分割された画像の垂直方向が画面サイズの長い４の方向に配置し、短い３の方向が２分割された画面の水平方向を撮像するよう構成されている。すなわち、図６に示した画像５１ａは、第１の光学素子２による車両前方方向の撮像された画像であり、画像５１ｂは、第２の光学素子３による運転者方向の撮像された画像である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
また、光学素子１の前面に取り付けたカバー２６および２７に、その分光フィルター２４および２５の役割を持たせることも可能としている。
なお、本実施の形態では、前方４０度、後方６０度の視野を結像させる撮影ユニットを例として説明したが、撮影可能な視野の範囲は使用する自由曲面プリズム２、３そのものの形状や材料、組合せによって適宜変更することができるものであり、自由曲面プリズム２の視野が４０度、自由曲面プリズム３の視野が６０度の範囲に限定されるものではない。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
図７は、本発明を適用した実施の形態のカメラシステムの構成を示す図である。
図７において、カメラシステムは、撮像装置であるカメラユニット５２、カメラコントローラ７１、ドライビングコントローラ７２を備えている。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
ドライバーモニターシステム６７は、運転者の頭の向いている方向を検知し居眠りやよそ見の検知をするものとして近年使用されてきているが、本実施の形態においては、第２の光学素子３を通して撮像素子１に結像された運転者の頭の方向情報を入手し、その頭の向きに応じて、第１の警報装置７３および第２の警報装置６４から運転者への何らかの（ハンドル、シートを震わせる／警告音を発する／ブレーキをかける／スピードを落す等）情報を発信するとともに、画像の表示形式に従って画像処理ＭＰＵ５７で加工した画像をディスプレー５５に表示する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
本実施の形態では、第１の加速度センサー６５は、衝突や大きな振動が加わったことを検知すると、異常信号を検知したことを、ＣＰＵ６０へ出力する。そして、ＣＰＵ６０にて、その異常信号から衝撃の閾値を判断し、衝撃が加わった瞬間から前後任意の数秒間の、第１の光学素子２を通して撮像素子１に結像された運転者の視点（視野）から自車と周辺状況の記録画像を、メモリ５６に記録保持する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
ここで、第１の加速度センサー６５および第２の加速度センサー６６による衝撃の検出から画像の記録までの流れについて説明する。
図８は、第１の加速度センサー６５が実行する処理の流れを示すフローチャートであり、図９は、実施の形態のカメラシステムの機能ブロックを示す図である。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
図１１は、実施の形態におけるカメラ制御処理の流れを示すフローチャートであり、図１２は、第１のフレームメモリの構成を示す図であり、図１３は、第２のフレームメモリの構成を示す図である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
そして、ステップＳ７０７の「表示設定処理」のサブルーチンが実行される。本実施の形態では、画像をディスプレー５５に、前述したように少なくとも２つ以上の形式で表示することができる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
次に、図９に示した実施の形態のカメラシステムの機能ブロック図を用いて、画像検出から警告発生までの処理の流れを説明する。
図１６は、画像検出から警告発生までの処理の流れを示すフローチャートである。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
なお、本実施の形態においては、異なる形状の自由曲面プリズム２および３を使用した、前方視野の上下方向の視野角４０度および後方視野の上下方向の視野角６０度を撮影するカメラの例を示したが、例えば同じ形状の自由曲面プリズムを使用して、撮像素子１の分光フィルター２４または２５の直前に絞りを配置して、視野角を制限するようにしてもよい。その場合、撮像素子１で撮影された前方視野および後方視野は、図６のように、撮像素子１全体には結像されず、前方視野と後方視野が撮像素子１の一部分に結像された画像となるので、アドレスメモリ７０６には、それら前方視野および後方視野に対応する範囲を読み出す読み出しアドレスをアドレス変換テーブルに予め記憶しておく。そして、読出／書込コントローラ７０５が、そのアドレス変換テーブルを参照して第２のフレームメモリ７０７に前方視野および後方視野の画像を書き込む。