(57)【要約】【課題】  小型の機器で一度の撮影動作で立体情報を得ることが出来なかった【解決手段】撮影レンズと、撮像素子と、前記撮影レンズの少なくとも二つの異なった瞳領域を通った光束から得られる画像を独立して取り込む画像取り込み手段と、前記画像取り込み手段から得られた少なくとも二つの画像から被写体の距離分布情報を検出する検出手段と、該二つの画像から該距離分布情報に対応して被写体の距離毎に画像を分離する分離手段と、前記二つの瞳領域とは異なった視差を持つ一対の立体画像に再合成する合成手段を有する事で、1回の撮影で所望の視差を持つ立体画像を得ることが出来る。  更に、撮像場所の位置と高さと方向を検出する撮像位置検出手段と、前記画像の少なくとも一つと距離分布情報と撮像位置情報から等高線を含む地図情報を生成する地図情報生成手段を有する事で、等高線のついた実写地形図を作成することが出来る。【選択図】  図１
2006105771.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズと、撮像素子と、前記撮影レンズの少なくとも二つの異なった瞳領域を通った光束から得られる画像を独立して取り込む画像取り込み手段と、前記画像取り込み手段から得られた少なくとも二つの画像から被写体の距離分布情報を検出する検出手段と、該二つの画像から該距離分布情報に対応して被写体の距離毎に画像を分離する分離手段と、前記二つの瞳領域とは異なった視差を持つ一対の立体画像に再合成する合成手段を有する事を特徴とする撮像装置。
【請求項２】
撮影レンズと、撮像素子と、前記撮影レンズの少なくとも二つの異なった瞳領域を通った光束から得られる画像を独立して取り込む画像取り込み手段と、前記画像取り込み手段から得られた少なくとも二つの画像から被写体の距離分布情報を検出する検出手段と、前記距離分布情報から所定の距離毎に等距離領域を示す等距離線を生成する事を特徴とする撮像装置。
【請求項３】
撮影レンズと、撮像素子と、前記撮影レンズの少なくとも二つの異なった瞳領域を通った光束から得られる画像を独立して取り込む画像取り込み手段と、前記画像取り込み手段から得られた少なくとも二つの画像から被写体の距離分布情報を検出する検出手段と、撮像場所の位置と高さと方向を検出する撮像位置検出手段と、前記画像の少なくとも一つと距離分布情報と撮像位置情報から等高線を含む地図情報を生成する地図情報生成手段を有する事を特徴とする地形図作成装置。
【請求項４】
請求項３記載の地形図作成装置において、少なくとも前記撮像手段を空間的に移動させる移動手段を有し、前記移動手段による前記撮像手段の移動に伴い複数の地図情報を生成する事を特徴とする地形図作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体距離情報に基づいて立体画像のための情報を得ることの出来る撮像装置および地形図作成装置に関するものである。
【背景技術】
【０００２】
従来から立体画像カメラに関し、数多くの提案がなされている。
【０００３】
特開昭50-23740号公報に開示されている図形認識装置では、二台のカメラで被写体を撮影して左眼と右目による視差分が左右にシフトされたものの再生画像を得るようにしたものである。
【０００４】
特公昭55-36240号公報に開示されている立体画像表示装置は、平面画面情報と奥行き情報を組み合わせて立体画像情報を得るようにした立体画像表示装置で、この装置における奥行き情報は二台のカメラで撮影した画像情報の相関から得たり、超音波もしくは電波等による高度測定手段を利用して得るようにしている。
【０００５】
特許第3112485号公報に開示されている立体電子スチルカメラでは、フォーカシングレンズをスキャンしてコントラストピークの分布を検出することで、被写体距離分布を検出している。
【特許文献１】特開昭50-23740号公報
【特許文献２】特公昭55-36240号公報
【特許文献３】特許第3112485号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来例では、小型の機器で一回の取り込みで立体情報を得ることができなかった。
【０００７】
特開昭50-23740号、特公昭55-36240号の従来例では、立体情報を得る為の装置が大型化・複雑化する事が避けられなかった。
【０００８】
特許第3112485号による従来例では、フォーカシングレンズのスキャンの時間に被写体が動いてしまうような場合には正確な距離情報を得ることができない。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明による撮像装置は、撮影レンズと、撮像素子と、前記撮影レンズの少なくとも二つの異なった瞳領域を通った光束から得られる画像を独立して取り込む画像取り込み手段と、前記画像取り込み手段から得られた少なくとも二つの画像から被写体の距離分布情報を検出する検出手段と、該二つの画像から該距離分布情報に対応して被写体の距離毎に画像を分離する分離手段と、前記二つの瞳領域とは異なった視差を持つ一対の立体画像に再合成する合成手段を有する事を特徴とする。
【発明の効果】
【００１０】
前記手段により、本発明は、小型の機器で一回の取り込みで立体情報を得ることにより、立体画像を得ることが出来る。
【００１１】
また、視差の拡大や縮小も行うことが出来る。
【発明を実施するための最良の形態】
【００１２】
〔第一の実施の形態〕
図1〜図7は本発明の実施の形態を示し、図1は本発明の撮像装置の主要ブロック図である。
【００１３】
本撮像装置は撮像とデフォーカス検知が同時に行うことのできる2次元撮像素子を利用し、被写体像とデフォーカス分布を同時に取り込み、そのデフォーカス分布情報に基づいて3次元画像情報を生成する。
【００１４】
図1において、1は撮像手段で、撮像手段1は特許公開2002-14277号公報等で示されている従来例の撮像素子と同様に構成され、撮像と同時にデフォーカス分布を取得する事が可能になっている。
【００１５】
2はデフォーカス検出手段で、全画面のデフォーカス分布情報を出力する。
【００１６】
3はデフォーカスマップ記憶手段で、デフォーカス検出手段2の出力を全画面を所定の領域毎に分割し、それぞれの領域の代表デフォーカス値を算出して記憶する。
【００１７】
4は画像処理手段で、撮像手段1の出力信号から、カラーマトリックス処理やガンマ処理等の所定の画像処理を行い、画像データーとして画像一時記憶手段5に記憶する。
【００１８】
6は三次元画像生成手段で、三次元画像生成手段6はデフォーカスマップ記憶手段3に記憶されたデフォーカス分布情報に基づき、画像データーを視差を持つ一対の画像データーに変換する。
【００１９】
デフォーカスマップで示されている距離情報は所定の観察系を仮定したときの視差情報に変換される。所定の観察系とは、自然な立体感を得るためには人間の両目の間隔で得られる観察系であり、より強調された立体感を得るためにはより大きな間隔を持った観察系となる。
【００２０】
観察系の二眼の間隔が決定されると、距離ごとの視差が演算で求められる。
【００２１】
距離ごとの視差がデフォーカスマップに対応した視差マップとして得られると、視差情報に基づき画像データーがずれを持った一対のデーターとして再構成される。
【００２２】
再構成時に、画像データーの距離ごとの分離を行う必要が生じるが、ある距離領域毎にまとめて代表距離として変換する事もできる。代表距離を用いるときには、被写体を画像認識し、距離ごとの被写体の輪郭を抽出しこの輪郭領域内は同一代表距離として像を作成するとよい。
【００２３】
この処理を行うことで、画像の距離測定誤差が生じても、画像に著しい違和感を生じさせる事を回避できる。
【００２４】
再構成時に、手前の被写体の影から現れてくるはずの画像は実際の視差像が無いため周辺の画像から演算で生成される。
【００２５】
7は等距離情報生成手段で、デフォーカスマップのデフォーカス情報の等距離位置を結んだ等距離線図データーを生成する。
【００２６】
図２は本発明の撮像装置の構成図である。
【００２７】
同図において、10は撮像装置本体、11は撮像装置の撮影レンズ、12は光学ローパスフィルター、13は赤外カットフィルタ、14は撮像素子である。撮像素子14は図３で示された構成をとっており、固体撮像素子で構成されている。
【００２８】
図３において、カラーフィルターを有したフォトダイオード配列は2つずつペアとなり一つのマイクロレンズと対応している。
【００２９】
上記構成で、G111-G311・・・、G112-G312・・・の様に同一色のカラーフィルターを持ち個々のマイクロレンズの同じ側に対応したフォトダイオードを一組のものとし、各々の相関を取ることでデフォーカス分布を得ることが可能となっている。本実施例では、カラーフィルターを考慮し、RGBそれぞれについて相関を取っている。
【００３０】
もちろん白黒タイプでよければ、その必要は無い。
【００３１】
この撮像素子から得られる像信号は、レンズの異なった瞳位置から来る光束が2像として分離されて出力される。
【００３２】
この2像の相関を取ることで、距離情報を得ることが出来る。
【００３３】
15はタイミングジェネレーター(TG)で、撮像素子14の駆動を行っている。
【００３４】
16はA/D変換器(A/D)で、撮像素子14から出力されてくるアナログ信号をサンプリングしてデジタル信号に変換する。
【００３５】
17は一次バッファメモリで、A/D変換器の出力データーを一時記憶する。
【００３６】
撮影レンズ11〜一次バッファメモリ17が、図1の撮像手段1に対応している。
【００３７】
18は相関演算回路で、図1のデフォーカス検出手段2に対応している。
【００３８】
相関演算回路18は、一次バッファメモリ17に蓄えられた2像の相関を画面全体に対して行い、画面の部分ごとにデフォーカス量を決定していく。
【００３９】
図４は2系列データーを説明する為の特性図で、二系列の信号の相関を取ることによりデフォーカス量と方向に応じ、かつ画面の部分毎にそこに対応したズレ量(Δ1、Δ2・・・)が得られる。
【００４０】
決定されたデフォーカス量がデフォーカスバッファメモリ19に記憶される。
【００４１】
20は画像前処理プロセッサ、22は画像バッファメモリである。
【００４２】
画像前処理プロセッサ20は一次バッファメモリ17の画像データーに対し、カラーマトリックス処理・ガンマ処理・ノイズ低減処理等を行い、画像バッファメモリ22に2枚の画像として蓄える。
【００４３】
23はCPUで、カメラ全体のコントロールと、三次元データー化処理、記録処理等を行う。
【００４４】
24は外部インターフェース、25は外部記憶装置である。外部記憶装置25はフラッシュメモリ等の不揮発記憶媒体で構成されている。
【００４５】
26は撮影指示手段であるところのレリーズスイッチ、27はメニューボタン、28は設定などの選択をするための十字キー、29はセットボタンである。
【００４６】
30は電源スイッチで、撮像装置の電源のオン・オフを行う。
【００４７】
31は表示手段であるところの表示パネルで、表示パネル30はバックライト付きのTFTカラー液晶パネルで構成されている。
【００４８】
表示パネル31は、撮影時のフレーミング決定のためのファインダーと、撮影画像の確認、等距離マップ確認、および撮像装置の各種設定の為のメニュー操作に使用される。
【００４９】
次に、図５のフローチャートを用いて撮像装置の動作を説明する。
【００５０】
電源スイッチ30がオンになると、S101から動作が始まる。
(S101)
ファインダーモードに撮像素子14等を設定し、撮像素子14の信号をリアルタイムに取り出し、ファインダー像として表示パネル31に画像表示を行う。
(S102)
電源スイッチ30がオフになると、機器の動作を終了させる。
(S103)
レリーズスイッチ26が押されたら、S150に処理を移行する。
(S104)
メニューボタン27が押されたら、S110に処理を移行する。
【００５１】
押されていなければ、S102に戻る。
【００５２】
S102〜S104で機器の操作入力を監視している。
(S110)
撮像素子14をオフにする。
(S111)
表示パネル31にメニュー表示を行う。
【００５３】
このとき、メニューのデフォルトの選択項目を反転表示し、現在のメニューの選ばれている内容を示す。
【００５４】
メニューの表示形態を図6に示す。
(S112)
メニューボタン27が押されたらS101に進む。
(S113)
十字キー28またはセットボタン29から入力があればS120に進む。
(S114)
電源スイッチ30がオフになると、機器の動作を終了させる。
【００５５】
いずれの入力も無ければS112に戻る
(S120)
メニュー設定処理を行う。
【００５６】
メニュー設定処理では、以下の処理を行う。
【００５７】
十字キー28の上下が押された時には、メニューの項目間の移動を行う。
【００５８】
十字キー28の左右が押された時には、階層メニューへの出入りを行う。右を押すと下の階層に、左を押すと上の階層に移る。
【００５９】
セットボタン29で項目の設定値を決定する。
(S121)
設定値が変更されていたら、所定の設定変更を行う。
【００６０】
その後S112に戻る。
【００６１】
S150から、撮影とデーター作成のシーケンスが行われる。
(S150)
CPU23はTG15を本撮影モードに設定する。
(S151)
CPU23はTG15を介して撮像素子14を駆動し、本撮影を実行する。
(S152)
撮像素子14の出力はA/D16によりデジタルデーターに変換され、一次バッファメモリ17に記憶される。
(S153)
相関演算回路18により、一次バッファメモリ17に蓄えられた2像の相関を画面全体に対して行い、画面の部分ごとにデフォーカス量を計算してデフォーカスバッファメモリ19に記憶する。このデフォーカス量が被写体距離に対応している。
(S154)
画像前処理プロセッサ20は一次バッファメモリ17の画像データーに、カラーマトリックス処理・ガンマ処理・ノイズ低減処理等を行い、画像バッファメモリ22に2枚の画像として蓄える。
(S155)
CPU23は、画像バッファメモリ22に蓄えられた画像に対し、デフォーカスバッファメモリ19の値を参照しながら、被写体の像分離を行う。
【００６２】
像分離にあたっては、デフォーカス量の値が近似しており、かつ被写体の輪郭が認識できた部分については一つのまとまった像として分離するとともに、代表デフォーカス値を設定する。
【００６３】
また、画像は元々2枚あるが、この時点で一枚に合成される。
【００６４】
像分離された画像は画像バッファメモリ22に分離された状態で、代表デフォーカス値とともに記憶される。
(S156)
S155で生成された分離像を代表デフォーカス値から得られる被写体距離に応じて所定の視差を持つ様にずらした一対の画像を生成する。この処理を全ての分離像に対して行う。
(S157)
S156で得られた像を2枚の画像に合成する。
【００６５】
この時、重ね合わせで不足する領域の像は、奥にある像から補間演算で生成する。
(S158)
デフォーカスバッファメモリ19の値を参照し、被写体距離を所定間隔で分割したときの等被写体距離線図を作成する。
(S159)
外部インターフェース24を介し、外部記憶装置25に2枚の画像と等被写体距離線図をセットで記憶する。
【００６６】
この時、関連したファイル名にしても良いし、一つのデーターとしてまとめて記憶する方式や、タグ情報を付加する方式でも良い。
また、撮像装置の設定によって、記憶される内容は変化する。
(S160)
ファインダーモードに撮像素子14等を設定し、撮像素子14の信号をリアルタイムに取り出し、ファインダー像として表示パネル31に画像表示を行う。
【００６７】
その後S102に戻る。
【００６８】
以上で撮像装置の動作が行われる。
【００６９】
[第二の実施の形態]
図７〜８は本発明の第二の実施の形態を示し、無線コントロール式の小型航空機に内蔵された例を示している。
【００７０】
第一の実施の形態と対応する部分には同じ番号を振ってある。
【００７１】
50は撮像装置本体で、無線コントロール式の小型航空機の機能を有している。
【００７２】
撮像装置本体50は、無線送受信機51が内蔵され、無線でコントロール可能になっている。
【００７３】
52はエンジン、53は操舵装置である。
【００７４】
55は位置を把握する為のGPSユニット、56は機器の方位を把握する為の方位検知ユニット、57は機器の加速状況を把握する為の加速度センサー、58は機器の高度を把握する為の高度センサー、59は機器の速度を把握する為の対地速度センサー、60は機器の傾きを把握する為の傾斜センサーである。
【００７５】
55〜60のセンサー類で、撮像装置の空間上の位置と方向を把握する。
【００７６】
61はコントローラーである。
【００７７】
コントローラー61には、送受信機62が内蔵され、撮像装置本体50と無線で通信を行う。
【００７８】
63は操作レバーで、撮像装置本体50の飛行動作の操縦を行う。
【００７９】
64は表示パネルで、撮像装置本体50の撮像部から送られる画像を表示する。
【００８０】
65は撮影指示スイッチである。
【００８１】
66はCPU、67はバッファメモリである。
【００８２】
本実施の形態では、撮像装置本体50を遠隔操作し、自由なタイミングで撮影・記録動作を行うことが出来る。
【００８３】
撮影〜記録の動作は第一の実施の形態に加えて、撮影時の位置情報も同時に記録される。
【００８４】
この位置情報を元にして、撮影した立体像と等距離線図で地上の高さ情報も含めた詳細な実画像情報をもつ地形図を作成する事が出来る。
【００８５】
また、所定距離移動ごとや所定時間ごと等に自動的に撮影〜データー作成〜記録動作を行うようにしても良い。
【００８６】
その様に構成すれば、広範囲の地形図データーを簡易に取得する事が出来る。
【図面の簡単な説明】
【００８７】
【図１】撮像装置の主要ブロック図
【図２】撮像装置の構成図
【図３】撮像素子の構成図
【図４】２系列データーの特性図
【図５】撮像装置の動作を示すフローチャート
【図６】メニューの説明図
【図７】第二の実施の形態の撮像装置の構成図
【図８】コントローラーの構成図
【符号の説明】
【００８８】
１  撮像手段
２  デフォーカス検出手段
３  デフォーカスマップ記憶手段
４  画像処理手段
５  画像一時記憶手段
６  三次元画像生成手段
７  等距離情報生成手段
【図１】
2006105771.tif 000003
【図２】
2006105771.tif 000004
【図３】
2006105771.tif 000005
【図４】
2006105771.tif 000006
【図５】
2006105771.tif 000007
【図６】
2006105771.tif 000008
【図７】
2006105771.tif 000009
【図８】
2006105771.tif 000010