(57)【要約】    【課題】  ＴＯＦ方式により距離画像を得るカメラにおいて、ユーザがどのような撮影画角で撮影を行っても、撮影画像全域の距離画像が正しく得られる撮像装置を提供する。    【解決手段】  所定の強度変調をかけた測距光を照射する照射手段と、撮影レンズを通じた被写体像を撮像して画像信号を生成する通常画素とともに、撮影レンズを通じて、被写体に反射して戻ってくる前記測距光を受光する測距画素を有するイメージセンサと、照射した強度変調パターンと前記イメージセンサの測距画素で受光した測距光の強度変調パターンを比較して、その遅れ時間から被写体の距離を前記測距画素ごとに検出する距離検出手段を有する距離検出カメラにおいて、照射手段の照射範囲と撮影画角を比較し、両者の大小関係に応じて、前記照射手段の照射動作が異なる。【選択図】    図１
2014157044.tif 000002
【特許請求の範囲】
【請求項１】
所定の強度変調をかけた測距光を照射する照射手段と、撮影レンズを通じた被写体像を撮像して画像信号を生成する通常画素とともに、撮影レンズを通じて、被写体に反射して戻ってくる前記測距光を受光する測距画素を有するイメージセンサと、照射した強度変調パターンと前記イメージセンサの測距画素で受光した測距光の強度変調パターンを比較して、その遅れ時間から被写体の距離を前記測距画素ごとに検出する距離検出手段を有する距離検出カメラにおいて、照射手段の照射範囲と撮影画角を比較し、両者の大小関係に応じて、前記照射手段の照射動作が異なることを特徴とする距離検出カメラ。
【請求項２】
撮影画角が前記照射手段の照射範囲より小さい場合は、前記照射手段は撮影レンズの光軸近傍に固定された状態で照射を行うことを特徴とする請求項１に記載の距離検出カメラ。
【請求項３】
前記照射手段による照射方向を変更する照射方向設定手段を有し、
撮影画角が前記照射手段の照射範囲より大きい場合に、前記照射方向設定手段は、前記撮影画角と前記照射手段の照射範囲から複数個の照射方向を計算し、計算された照射方向毎に前記照射手段で照射することを特徴とする請求項１又は請求項２に記載の距離検出カメラ。
【請求項４】
前記撮影レンズはズームレンズであることを特徴とする請求項１乃至請求項３の何れか１項に記載の距離検出カメラ。
【請求項５】
前記照射手段を前記ズームレンズが設定可能な最大撮影画角を複数個でカバーするよう配置しておくとともに、設定されている撮影画角に応じて、該画角がカバーできる最小の個数の前記照射手段を動作させることを特徴とする請求項４に記載の距離検出カメラ。
【請求項６】
前記撮影レンズはレンズ部分とカメラ本体がレンズマウントを介して着脱可能なレンズ交換式であって、前記撮影レンズの焦点距離または撮影画角を示す情報が、前記レンズ部分から前記カメラ本体へ前記レンズマウントを通じて渡ることを特徴とする請求項１乃至請求項４の何れか１項に記載の距離検出カメラ。
【請求項７】
装着が可能な前記交換レンズのうちの最大撮影画角を、前記照射手段を複数個配置することでカバーし、撮影時においては装着されているレンズによる撮影画角に応じて、該画角がカバーできる最小の個数の前記照射手段を動作させることを特徴とする請求項５又は請求項６に距離検出カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に加え、画素に準じた単位で撮像装置から被写体までの距離情報を画像化した距離画像を取得するセンサを持つ撮像装置に関するものである。
【背景技術】
【０００２】
撮像装置から被写体までの測距の手法の一つに、ＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式と呼ばれる、被写体に向けて測距光を照射し、その反射光の時間差から距離を算出する方法がある。これは、所定の照射パターンにより強度変調された赤外光による測距光を被写体に向けて照射した後、被写体によって反射された測距光を赤外線用の撮像素子で受光し、前記照射パターンにより照射から受光までの時間差を画素ごとに検出、距離を算出するものである。算出された距離値は画素ごとにビットマップ状に集められ、“距離画像”として保存される。
【０００３】
距離画像の用途としては、同時に撮影した通常の可視光によるＲＧＢ画像に対して距離情報から被写体像を切り出し、背景部分を別の画像に置き換えることで、従来のクロマキー合成では青い背景が必要だった背景合成を特殊な背景なしに簡易に行ったり、被写体人物の動きを距離画像で検出し、特定のジェスチャー動作により機器の操作を行うジェスチャーＵＩの実現手段として使ったりというものがある。さらに、可視光を受光するＲＧＢ配列（ベイヤ配列）の受光画素の間に赤外光を受光する測距光受光画素を並べ、通常画像と距離画像が同時に得られるイメージセンサも、センサーメーカにより開発されている。
【０００４】
また、距離画像の取得においては、撮像素子でのスキャンタイミングと測距光の照射のタイミングを合わせる必要があるが、この方法が特許文献１において開示されている。この開示では、撮像素子の水平スキャンに対応するように水平スリット状に発光する測距光を、垂直同期に合わせて上下方向に移動させることで、撮像素子のスキャンタイミングと測距光の照射のタイミングを合わせている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３２４７５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
距離画像の取得においては、撮影範囲全域に測距光が行き届いていることが必要となる。一方、一般的なカメラでは、撮影レンズがズームレンズになっていたり、レンズ交換式となっていたりしており、さまざまな画角で撮影が可能となっている。また、前述の通常画像と距離画像が同時に得られるイメージセンサを一般的なカメラに搭載した場合、前記測距光の照射範囲と前記撮影レンズの撮影画角の対応を考慮する必要があり、前記撮影レンズの撮影範囲に対して、前記測距光が照射されない領域が出来ると、その範囲は測距光の受光が出来なくなるため、距離画像における距離情報としては、無限遠となってしまう。また、これに対応するために前記測距光の前に可変焦点のレンズを置き、照射範囲を広くすると、測距光が拡散されることになるため、測定可能な被写体距離が短くなってしまう。
【０００７】
本発明の撮像装置は、以上の点に鑑みてなされたものであり、ユーザがどのような撮影画角で撮影を行っても、撮影画像全域の距離画像が正しく得られる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
以上の目的を達成するため、本発明にかかる距離検出カメラは、所定の強度変調をかけた測距光を照射する照射手段と、撮影レンズを通じた被写体像を撮像して画像信号を生成する通常画素とともに、撮影レンズを通じて、被写体に反射して戻ってくる前記測距光を受光する測距画素を有するイメージセンサと、照射した強度変調パターンと前記イメージセンサの測距画素で受光した測距光の強度変調パターンを比較して、その遅れ時間から被写体の距離を前記測距画素ごとに検出する距離検出手段を有する距離検出カメラにおいて、照射手段の照射範囲と撮影画角を比較し、両者の大小関係に応じて、前記照射手段の照射動作が異なることを特徴とする。
【発明の効果】
【０００９】
本発明の距離検出カメラによれば、ユーザが設定したレンズ焦点距離またはユーザが装着したレンズの焦点距離に応じて、被写体距離の検出に用いる測距光の照射範囲を照射手段の角度を変更することによって制御するため、ユーザがどのような撮影画角で撮影を行っても、撮影画像全域の距離画像が正しく得られるとともに、前記測距可能な被写体距離が短くならない撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例のレンズ交換式デジタルカメラの構成を示すブロック図である。
【図２】実施例の撮像素子の概要を示す図である。
【図３】実施例のレンズ交換式デジタルカメラの撮影モード時の動作を示すフローチャートである。
【図４】実施例のレンズ交換式デジタルカメラを示す図である。
【図５】実施例の測距光の照射・受光のタイミングを示す図である。
【図６】実施例のレンズ交換式デジタルカメラにおいて撮影画角が広い場合の動作を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１２】
［実施例］
本発明をレンズ交換式デジタルカメラにて実施した実施例について、図面を用いて説明する。
【００１３】
図１は、本実施形態の構成例を示すブロック図であり、１００ａは交換レンズ、１００ｂはカメラ本体である。撮影レンズ１０１は、被写体像をとらえ、絞り１０２によって光量が所定量に制限された後、撮像素子１０７上に被写体像を結像させる。１０３は前記撮影レンズ１０１のフォーカス駆動、前記絞り１０２の駆動を行うとともに、フォーカス位置および設定絞り値の情報を出力するアクチュエータ／エンコーダ、１０４は前記アクチュエータの制御および前記エンコーダからの情報の取得、レンズ情報ＲＯＭ１０５に格納されているレンズ焦点距離、開放絞り値情報の取得を行うとともに、前記カメラ本体１００ｂに対して、レンズマウント１０６を通じて前記制御のための制御信号の受信および前記取得した情報の送信を行うレンズマイコンである。
【００１４】
前記撮像素子１０７で結像した被写体像は、Ａ／Ｄコンバータ１０８でデジタル化され、画像処理部１１０でガンマ補正やホワイトバランス補正、ノイズリダクション処理等が行われた後、画像データバス１１１に非圧縮画像データとして出力される。１１６は、被写体に向けて特定パターンで強度変調された赤外光を照射する測距光照射器であり、該赤外光は被写体で反射されたのちに後述する撮影素子の距離計測画素で受光され、前記特定パターンの出力から受光までの時間差により、該計測画素に撮像されている被写体の距離の算出に用いられる。照射器角度駆動アクチュエータ１１７は、前記測距光照射器１１６の角度を変更させ、後述のメインマイコン１２２により決定される所定の角度に移動する。
【００１５】
距離画像作成部１０９は、前記算出されたすべての距離計測画素の距離データを画素配列通りに並べた距離画像の作成を行い、画像データバス１１１に距離画像データとして出力する。液晶パネル１１２は、画像や各種情報を表示する表示部である。ＳＤＲＡＭ１１４は、ＪＰＥＧコーデック１１５で生成されるＪＰＥＧ静止画データを、記録媒体１１８の書き込み状況に応じて書き込みまたは読み出しを行い、記録媒体１１８の記録速度との調停を行うためのバッファメモリ空間を提供する。また、ＳＤＲＡＭ１１４は画像表示用のメモリ（ビデオメモリ）を兼ねている。ＪＰＥＧコーデック１１５は、前記非圧縮画像データを静止画として圧縮符号化し、ＪＰＥＧ静止画データを生成する。液晶ドライバ１１３は、ＳＤＲＡＭ１１４に格納されている画像表示用のデータを液晶表示信号に変換して液晶パネル１１２に供給する。
【００１６】
こうして、ＳＤＲＡＭ１１４に書き込まれた表示用の画像データは液晶ドライバ１１２を介して液晶パネル１１２により表示される。Ａ／Ｄ変換器１０８によって一度Ａ／Ｄ変換され、ＳＤＲＡＭ１１４に蓄積されたデジタル信号を液晶ドライバ１１３において解像度を液晶パネルのドット数に削減した後液晶表示信号に変換し、液晶パネル１１２に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行うことができる。記録媒体１１８は、カメラ本体に対して着脱が可能な、例えばＮＡＮＤ型フラッシュメモリ等で構成されているメモリカードであり、前記ＪＰＥＧ静止画データをＰＣ互換性を持つＦＡＴ（Ｆｉｌｅ  Ａｌｌｏｃａｔｉｏｎ  Ｔａｂｌｅ）ファイルシステムに則って記録する。
【００１７】
操作キー１１９は、ユーザからの各種操作を受け付ける各種スイッチであり、静止画の撮影操作を行うシャッターボタンや、撮影モードと再生モードを切り替えるモードスイッチを含む。制御バス１２０は、各ブロック間の制御信号の通信を行う信号経路であり、メインマイコン１２２からの制御信号を各ブロックに伝えるとともに、各ブロックからのレスポンス信号や各センサやエンコーダからの情報信号をメインマイコン１２２に伝える。フラッシュＲＯＭ１２３は、電気的に消去・記録可能な不揮発性メモリであって、メインマイコン１２２の動作用の定数、プログラム等が格納される。
【００１８】
ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。メインマイコン１２２は、デジタルカメラ全体を制御する。後述するフラッシュＲＯＭ１２３に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。１２１はシステムメモリであり、ＲＡＭが用いられる。前記ＲＡＭ１２１には、前記メインマイコン１２２の動作用の定数、変数、フラッシュＲＯＭ１２３から読み出したプログラム等を展開する。また、メインマイコン１２２は液晶ドライバ１１３等を制御することにより表示制御も行う。
【００１９】
また図２は、前記撮像素子１０７の概要を示す図であり、２０１は前記撮像素子を示す。２０２乃至２０５は前記撮像素子の画素であり、２０２は被写体像のうち緑色成分を受光する緑色画素、２０３は被写体像のうち青色成分を受光する青色画素、２０４は被写体像のうち赤色成分を受光する赤色画素である。２０５は、被写体像のうち赤外領域を受光するよう構成されており、前記測距光照射器１１６により照射され、被写体によって反射されて戻ってきた赤外光を受光するための距離計測画素である。
【００２０】
上記構成を持つ本実施例のデジタルカメラの動作を、フローチャートと図を用いて説明する。図３は、本発明のレンズ交換式デジタルカメラにおける撮影モード時の動作を示す、フローチャートである。
【００２１】
Ｓ３０１にて、カメラの電源が撮影モードでＯＮになると、Ｓ３０２にて、シャッターボタンが半押しされているかが検出され、半押しされていれば、Ｓ３０３にて、レンズに設定されている焦点距離が検出され、Ｓ３０４にて、前記検出された焦点距離と撮像素子の大きさにより、撮影画角（Ｓａ）が算出される。次にＳ３０５にてオートフォーカス動作が開始され、Ｓ３０６にて測光が開始され、Ｓ３０７にて絞り値およびシャッタースピードが決定される。その後、Ｓ３０８ａにてシャッターボタンの全押しの待機状態となるが、ユーザがシャッターボタンを放し、シャッターボタンの半押し状態を解除した場合は、Ｓ３０８ｂを経てＳ３０１からの動作に戻る。
【００２２】
前記Ｓ３０８にてシャッターボタンの全押しが検出されると、Ｓ３０９にて、前記撮像素子への露光が開始され、前記緑色画素２０２および青色画素２０３および赤色画素２０４によって捉えられる通常画像がキャプチャされる。その後Ｓ３１０にて、後述の測距光の照射が開始される。測距光は、前記測距光照射器１１６より照射される、特定の時間パターンで強度変調された赤外光である。次にＳ３１１にて、被写体に反射されて戻ってきた前記測距光が前記撮像素子１０７の距離計測画素２０５によって受光される。図５は前記照射される測距光および、戻ってきた測距光の時間パターンを示す図である。測距光は一定の周波数をもつ正弦波で変調されており、この正弦波と、受光した測距光の正弦波の位相差を測定することにより、測距光投光から受光までの時間差が検出できる。測距光の受光に当たっては、前記距離計測画素により、１フレームに１回の計測となるが、照射される測距光の強度パターンは正弦波と判っているので、破線で示すパターンが再現できる。
【００２３】
本実施例では、１５ＭＨｚの正弦波を用いるため、１０Ｍまでの距離計測が可能である。また、測距光の照射から所定時間内に測距光が受光できない場合は、距離は無限遠として扱われる。前記距離の算出は前記距離計測画素ごとに行われ、この画素ごとの距離数値を画素配列に従って並べてビットマップ化したものを距離画像とする。なお、測距光が検出できなかった前記距離計測画素２０５については、被写体距離は無限遠となる。次にＳ３１２にて、前記測距光照射器１１６が照射することが出来る範囲である測距光照射角（Ｅａ）と、前記撮影画角（Ｓａ）が比較され、Ｅａ＞＝Ｓａであった場合はＳ３１６に動作が移行し、Ｅａ＜Ｓａであった場合は、Ｓ３１３にて、前記測距光照射器１１６による前記測距光の角度が変更・照射され、再びＳ３１４にて、被写体に反射されて戻ってきた前記測距光が前記撮像素子１０７の距離計測画素２０５によって受光、前記距離画像の取得が行われる。
【００２４】
次にＳ３１５にて画面の全領域に対して距離画像の取得が行われたかが後述する方法で確認され、距離画像の取得が全領域に対して行われていなければ、再びＳ３１３にて前記測距光照射器１１６による前記測距光の角度が変更・照射され、Ｓ３１４にて、被写体に反射されて戻ってきた前記測距光が前記撮像素子１０７の距離計測画素２０５によって受光、前記距離画像の取得が行われる。Ｓ３１５にて画面の全領域に対して距離画像の取得が行われた場合は、Ｓ３１６に動作が移行し、前記通常画像がＪＰＥＧ符号化、前記距離画像はロスレスであるＢＭＰ形式に変換され、Ｓ３１７にて両者が１つのファイルにまとめられる。このファイル形式としては、マルチピクチャフォーマット（ＣＩＰＡ  ＤＣ−００７−２００９）に従って、前記通常画像を先頭画像とし、前記距離画像を個別画像（２）として格納することができる。その後Ｓ３１８にて前記ファイルが前記記録媒体１１８に記録され、Ｓ３１９にて一連の動作が終了する。以上の処理のうち、Ｓ３１０乃至Ｓ３１５に関して、図とともに説明する。
【００２５】
図４は本実施例のレンズ交換式デジタルカメラを示す図であり、図４（ａ）は、前記測距光照射器の構成の概念図、図４（ｂ）は、Ｅａ＞＝Ｓａである場合の動作、図４（ｃ）はＥａ＜Ｓａである場合の動作の概念図である。なお、前記測距光照射器は円形の範囲を照射することが出来、その照射角度範囲がＥａ、撮影範囲の対角線の画角がＳａとなる。同図において、４０１は、前記測距光照射器１１６、４０２は、前記照射器角度駆動アクチュエータ１１７を構成する、前記測距光照射器１１６の照射方向を左右に振るＹ軸アクチュエータ、４０３は、前記照射器角度駆動アクチュエータ１１７を構成する、前記測距光照射器１１６の照射方向を上下に振るＸ軸アクチュエータである。
【００２６】
Ｓ３１０にて前記測距光の照射が行われ、Ｓ３１１にて照射光が受光され、画素ごとの被写体距離が算出されるが、この時の測距光の照射は、Ｅａ＞＝Ｓａである場合は図４（ｂ）の丸１に示す範囲への照射となり、全撮影範囲がカバーされる。またＥａ＜Ｓａである場合は図４（ｃ）の丸５に示す範囲への照射となり、全撮影範囲の内、中心部付近のみがカバーされることになる。Ｓ３１２ではＥａとＳａの大小関係が比較されるが、Ｅａ＞＝Ｓａである場合は、前述のようにＳ３１０の照射で全撮影範囲がカバーされるため、Ｓ３１６以降の処理に分岐するが、Ｅａ＜Ｓａである場合は、Ｓ３１３にて、前記Ｙ軸アクチュエータ４０２およびＸ軸アクチュエータ４０３によって前記測距光照射器４０１の向きを変更し、Ｓ３１４にて図４（ｃ）の丸１に示す範囲への照射が行われ、Ｓ３１４にて照射光が受光され、画素ごとの被写体距離が算出される。
【００２７】
次に、Ｓ３１５にて全撮影範囲への照射が終了したかが検出されるが、これは前記Ｓ３０４で求められるＳａと前記測距光照射器４０２の照射角である固定値Ｅａとの比較により決められる測距光の照射回数Ｎが終了したかで判断される。本実施例においては、照射回数は下記の式で決定する。
【００２８】
Ｎ＝（（（Ｓａ／Ｅａ）の整数部）＋１）＾２
図４（ｃ）では丸１乃至丸９の９回の照射回数となっているが、さらに広い撮影画角Ｓａが設定されている、例えば図６に示す状態では、照射回数は１６回となる。Ｓ３１５にて全撮影範囲への照射が終了したと判定されれば、Ｓ３１６以降の処理となる。なお、本実施例のカメラは撮影画像のアスペクト比が３：２なので、１回ごとの撮影で、前記Ｘ軸アクチュエータはＥａ＊３／√１３、前記Ｙ軸アクチュエータはＥａ＊２／Ｓｑｒｔ（１３）の角度ステップで照射角度を変更する。
【００２９】
なお、前記距離の算出は前記照射ごとに全ての距離計測画素２０５において行われるが、それぞれの距離計測画素において、無限遠以外の距離が算出された場合はその距離が採用され、無限遠以外の距離が複数回算出された場合は、後の照射で算出された距離が採用される。無論、全ての照射において無限遠が算出された画素については、無限遠の距離が採用される。
【００３０】
以上の構成により、ユーザがどのような撮影画角で撮影を行っても、撮影画像全域の距離画像が正しく得られる撮像装置を提供することができる。
【００３１】
なお、本実施例のレンズ交換式デジタルカメラでは、所定の照射範囲を照射する前記測距光照射器の照射方向をアクチュエータにより可動させ、全撮影範囲への測距光の照射を行っているが、複数の前記測距光照射器を、交換レンズシステムにおいては、装着できるレンズのうち最大の撮影範囲、またはズームレンズを装備するカメラにおいてはズームのワイド端の撮影範囲をカバーするよう配置する。そのうえで前記撮影画角Ｓａの大きさに応じて、該画角がカバーできる最小限の前記測距光照射器を稼働させる構成としてもよい。この場合は、各測距光照射器を一斉に照射させることにより、広い画角をカバーする場合でも、狭い画角の場合と同一の時間で全撮影範囲の距離画像のキャプチャが行える、という効果がある。
【符号の説明】
【００３２】
１００ａ  交換レンズ
１００ｂ  カメラ本体
１０１  撮影レンズ
１０２  絞り
１０３  アクチュエータ／エンコーダ
１０４  レンズマイコン
１０５  レンズ情報ＲＯＭ
１０６  レンズマウント
１０７  撮像素子
１０８  Ａ／Ｄコンバータ
１０９  距離画像作成部
１１０  画像処理回路
１１１  画像データバス
１１２  液晶パネル
１１３  液晶ドライバ
１１４  ＳＤＲＡＭ
１１５  ＪＰＥＧコーデック
１１６  測距光照射器
１１７  照射器角度駆動アクチュエータ
１１８  記録媒体
１１９  操作キー
１２０  制御バス
１２１  ＲＡＭ
１２２  メインマイコン
１２３  フラッシュＲＯＭ
【図１】
2014157044.tif 000003
【図２】
2014157044.tif 000004
【図３】
2014157044.tif 000005
【図４】
2014157044.tif 000006
【図５】
2014157044.tif 000007
【図６】
2014157044.tif 000008