(57)【要約】      （修正有）【課題】移動する被写体の軌跡を、移動しない被写体と併せて一つの３次元情報として取得することが可能となる撮像装置を提供する。【解決手段】撮影光学系７と、被写体の３次元情報を取得可能な撮像素子と、撮像素子から得られた信号に基づいて被写体の３次元情報を生成する３次元情報生成手段と、撮像素子によって得られた複数の撮影画像から撮影中に移動した被写体を抽出する移動被写体抽出手段と、移動被写体抽出手段で抽出された複数の移動被写体の、３次元情報生成手段で得られた３次元情報を加算する３次元情報加算手段と、を有する。【選択図】図１
2019080260.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系と、
被写体の３次元情報を取得可能な撮像素子と、
該撮像素子から得られた信号に基づいて被写体の３次元情報を生成する３次元情報生成手段と、
前記撮像素子によって得られた複数の撮影画像から撮影中に移動した被写体を抽出する移動被写体抽出手段と、
該移動被写体抽出手段で抽出された複数の移動被写体の前記３次元情報生成手段で得られた３次元情報を加算する３次元情報加算手段と、
からなる撮像装置。
【請求項２】
前記３次元情報加算手段は前記移動被写体抽出手段において抽出した被写体の３次元情報をブーリアン演算の論理和を用いて加算することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記３次元情報加算手段は前記複数の移動被写体の３次元情報を滑らかに繋ぐように補間して加算することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像素子上の画素へ入射する光束を撮影光学系の特定の瞳領域のみに制限する瞳分割手段を持ち、
前記３次元情報生成手段は前記撮像素子を用いて得られた視差画像に基づいて被写体の３次元情報を生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記移動被写体検出手段は複数の撮影画像より得られる撮影画像における輝度値を用いて移動被写体を検出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
閃光手段を持ち、前記３次元情報加算手段は該閃光手段を発光させて取得した移動被写体の３次元情報を優先的に加算することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記移動被写体検出手段は複数の撮影画像より得られる動きベクトルを用いて移動被写体を検出することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記３次元情報加算手段は３次元情報を加算する際に奥行き方向を圧縮して加算することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
複数の撮影光学系と、
複数の撮像素子と、
該撮像素子から得られた信号に基づいて被写体の３次元情報を生成する３次元情報生成手段と、
前記撮像素子によって得られた複数の撮影画像から撮影中に移動した被写体を抽出する移動被写体抽出手段と、
該移動被写体抽出手段により抽出された複数の移動被写体の前記３次元情報生成手段で得られた３次元情報を加算する３次元情報加算手段と、
からなる撮像装置。
【請求項１０】
前記３次元情報加算手段は前記移動被写体抽出手段において抽出した被写体の３次元情報をブーリアン演算の論理和を用いて加算することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記３次元情報加算手段は前記複数の移動被写体の３次元情報を滑らかに繋ぐように補間して加算することを特徴とする請求項９または１０に記載の撮像装置。
【請求項１２】
前記撮像素子上の画素へ入射する光束を撮影光学系の特定の瞳領域のみに制限する瞳分割手段を持ち、
前記３次元情報生成手段は前記撮像素子を用いて得られた視差画像に基づいて被写体の３次元情報を取得することを特徴とする請求項９乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記移動被写体検出手段は複数の撮影画像より得られる撮影画像における輝度値を用いて移動被写体を検出することを特徴とする請求項９乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
閃光手段を持ち、前記３次元情報加算手段は該閃光手段を発光させて取得した移動被写体の３次元情報を優先的に加算することを特徴とする請求項９乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記移動被写体検出手段は複数の撮影画像より得られる動きベクトルを用いて移動被写体を検出することを特徴とする請求項９乃至１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記３次元情報加算手段は３次元情報を加算する際に奥行き方向を圧縮して加算することを特徴とする請求項９乃至１５のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元情報を取得する撮像装置に関するものであり、特に、立体物造形の為の３次元情報を取得する撮像装置に関する。
【背景技術】
【０００２】
従来、被写体に対して被写体の３次元情報を取得する撮像装置がある。特許文献１では、カメラを移動させながら複数方向から撮影を行い、各画像の特徴点のマッチングにより被写体の３次元情報を構築する技術の開示がある。その他にも、被写体に対しパターンを投影して撮影を行うことで、被写体の距離情報を取得し、３次元情報を構築するものや、視差の異なる被写体画像により位相差を用いて被写体の３次元情報を取得するものなど様々な方法が知られている。
【０００３】
また特許文献２では、複数の方向から複数のカメラにより撮影された２次元画像から、移動体の３次元の軌跡を作成する技術の開示がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−８５９７１号公報
【特許文献２】特開２０１１−２０４２００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示されるような撮像装置により取得される３次元情報は、露光中に移動を伴う被写体に関しては、３次元情報を取得することができないという課題がある。特許文献２に示されるような軌跡作成装置では、移動した被写体の軌跡が、３次元座標上のデータとして出力されるため、移動している被写体の形状や、移動していない被写体の３次元形状を作成することができないという課題がある。
【０００６】
すなわちこれらの従来技術では、２次元の撮像装置を用いた撮影における、いわゆる長秒露光撮影を行った場合のように、移動していない被写体に加えて、移動する被写体の移動軌跡を形状として取得し、両者を合わせて一つの３次元情報として取得することはできない。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、移動する被写体の軌跡を、移動しない被写体と併せて一つの３次元情報として取得することを可能にする撮像装置を提供する事を目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成する為の、本発明の撮像装置は以下の構成を備える。
すなわち、
・撮影光学系と、
・被写体の３次元情報を取得可能な撮像素子と、
・該撮像素子から得られた信号に基づいて被写体の３次元情報を生成する３次元情報生成手段と、
・前記撮像素子によって得られた複数の撮影画像から撮影中に移動した被写体を抽出する移動被写体抽出手段と、
・該移動被写体抽出手段で抽出された複数の移動被写体の前記３次元情報生成手段で得られた３次元情報を加算する３次元情報加算手段とで、
撮像装置を構成する。
【発明の効果】
【０００９】
本発明によれば、移動する被写体の軌跡を、移動しない被写体と併せて一つの３次元情報として取得することを可能にする撮像装置を提供する。
【図面の簡単な説明】
【００１０】
【図１】第１の実施例における撮像装置の構成を説明する図
【図２】３次元情報算出動作について説明する図
【図３】被写体の位置の算出方法について説明する図
【図４】第１の実施例における３次元情報の取得方法について説明する図
【図５】第１の実施例における制御フローを表すフローチャート
【図６】第２の実施例における３次元情報の取得方法について説明する図
【図７】第２の実施例における制御フローを表すフローチャート
【図８】第３の実施例における３次元情報の取得方法について説明する図
【図９】第３の実施例における制御フローを表すフローチャート
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１２】
［実施例１］
（撮像装置の説明）
図１〜５は本発明の第１の実施例を説明する図であり、図１は本発明の第１の実施例にかかわる撮像装置の斜視図および、構成を示すブロック図である。
【００１３】
本実施例において、撮像装置は、本発明の対象であるカメラ１からなる。なお、本実施例では、カメラ１とレンズ鏡筒２とが一体となっている形態をとって説明するが、カメラ１とレンズ鏡筒２が分離する形態となっているカメラでも構わない。
【００１４】
図１において、図１（ａ）、（ｂ）はカメラ１の斜視図を、図１（ｃ）はカメラ１の構成を示すブロック図であり、１はカメラを、２はカメラ１に設けられたレンズ鏡筒を示している。カメラ１において、３はカメラシステム制御部を、４は撮像素子を、５は画像処理部を、６はメモリ部を、それぞれ示しており、レンズ鏡筒２において、７は撮影光学系を示している。カメラシステム制御部３はカメラ１内の各処理部の動作を司る。撮影光学系７を通過した被写体からの光線は、撮像素子６の位置に集光する。
【００１５】
撮像素子６では光電変換が行われ、不図示のＡ／Ｄ変換部で量子化処理された信号が画像処理部５に送られる。画像処理部５は、内部にホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、撮像素子６からの出力信号を処理し画像を生成する。画像処理部５で生成された画像はメモリ部６に記録される。メモリ部６は実際の記録部に加えて記録に必要な処理回路を備えている。カメラ１はその他の撮影に関わる手段及び機能を有するが、本発明の要部ではないので図示及び説明を省略する。
【００１６】
また、１０はカメラ１に設けられた、撮影画像を表示させる表示手段であり、１１は表示手段１０を制御する表示制御手段である。１４はカメラ１に設けられた閃光手段を表しており、閃光手段１４の動作はカメラシステム制御部３により制御される。１２は被写体の３次元情報を生成する３次元情報生成手段を、１３は３次元情報生成手段１２により得られた３次元情報を記憶する３次元情報記憶手段を示している。３次元情報生成手段１２は撮像素子４の信号より被写体の３次元情報を生成する。
【００１７】
ここで言う３次元情報とは、２次元的な広がりを持つ撮影画像に加えてカメラ１から被写体までの距離情報のことを示しており、カメラ１方向からみた被写体の細部の奥行情報を組み合わせることで取得される。撮像素子４には受光面の手前に光学系の瞳を分割する瞳分割手段である、マイクロレンズアレイ（以下、ＭＬＡ）が配され、視点の異なる複数の像（以下、視差画像と呼ぶ）を一度の撮影で取得することができる。この複数の視差画像の位相差を検出することで、被写体の３次元情報を得ることができる。
【００１８】
撮像素子４の詳細な構成及び、視差画像の位相差による３次元情報算出動作は、図２及び図３を用いて後述する。３次元情報生成手段１２により生成された、被写体の３次元情報は、３次元情報記憶手段１３に記憶される。８は撮像素子４により得られた撮影画像から、移動している被写体を抽出する移動被写体抽出手段をおらわしている。また、９は移動被写体抽出手段８により抽出された被写体の３次元情報を、３次元情報記憶手段１３から取得し、それらを後述する加算及び補間処理をすることで一つの３次元情報を生成する３次元情報加算手段を表している。
【００１９】
（３次元情報の取得方法の説明）
次に、図２を用いて、３次元情報算出動作について説明する。図２（ａ）は撮像素子４を撮影装置の横からと、正面から見た状態を模式的に示しているものであり、撮像素子４の表面にはＭＬＡ２１が形成されている。撮像素子４の各画素は、図２（ｂ）に示すように、一つのマイクロレンズ２２と二つのフォトダイオード２３で構成される。図２（ｃ）はフォトダイオード２３の詳細を示した図であり、２３ａはＡ像用フォトダイオード（Ａピクセル）、２３ｂはＢ像用フォトダイオード（Ｂピクセル）を示している。
【００２０】
図２（ｄ）は撮影光学系の射出瞳の様子を概念的に表しており、２４は射出瞳を、２５ａはＡ像瞳を、２５ｂはＢ像瞳を示している。撮影光学系の射出瞳２４とフォトダイオード２３はマイクロレンズ２２により共役の関係に置かれている。この構成により、各画素は位相差ＡＦの瞳分割機能が付与され、左側のＡピクセル２３ａには撮影光学系のＡ像瞳２５ａを通過して光束が、右側のＢピクセル２３ｂには撮影光学系のＢ像瞳２５ｂを通過した光束が導かれる、
ここで、Ａピクセル群で捉えられる像信号をＡ像、Ｂピクセル群で捉えられる像信号をＢ像とし、これら２像の相対位置を検出することにより、デフォーカス量とその方向を検知する。
【００２１】
図２（ｅ）〜（ｇ）は撮像素子４上での焦点検出の原理を示している。図２（ｅ）の状態は被写体よりも前にピントが合っている様子を、図２（ｆ）は被写体にピントが合っている様子を、図２（ｇ）は被写体よりも後ろにピントが合っている様子をそれぞれ表している。２６は撮影光学系を模式的に表しており、２７ａはある測距視野の範囲において出力されるＡ像を、２７ｂはそのＢ像をそれぞれ模式的に表したものである。図２（ｆ）の場合はＡ像２７ａ及び、Ｂ像２７ｂがそれぞれ重なっており、被写体に対して合焦している。
【００２２】
図２（ｅ）の場合はＡ像２７ａが中心に対して左側に、Ｂ像２７ｂが中心に対して右側に離れており、それに対して図２（ｇ）の場合はＡ像２７ａが中心に対して右側に、Ｂ像２７ｂが中心に対して左側に離れている。このＡ像、Ｂ像のズレ量（デフォーカス量）とその方向、撮影光学系２６の焦点距離、撮像素子４からの距離（フォーカスレンズの位置）より被写体の位置、つまり３次元情報を算出する。
【００２３】
図３を用いて被写体の位置の算出方法について説明する。図３（ａ）は被写体の位置の算出方法を模式的に表している。３１ａはＡ像の出力を示しており、例えば３１ｂにＢ像の出力があった場合、撮影光学系２６の焦点距離及び撮像素子４からの距離より、図３（ａ）の実線のように光束が屈折されることがわかるため、ピントの合う被写体は３２ａの位置にあることがわかる。同様にして、Ｂ像が３１ｃ、３１ｄにあった場合はそれぞれ３２ｂ、３２ｃにピントの合う被写体があるということがわかる。以上のように、各画素において、ある測距視野の範囲におけるＡ像信号と、それに対応するＢ像信号の相対位置から被写体の３次元情報を算出することができる。
【００２４】
被写体の３次元情報の保持方法としては、上記で説明したＡ像、Ｂ像及び撮影時の撮影光学系２６の情報を保持する方法のほかに、被写体の奥行き情報を保持するという方法も考えられる。例えば３３で示すような、Ａ像３１ａとＢ像３１ｄの中間点の画素３４から、被写体位置３２ｃまでの距離を画素３４における被写体までの距離として、記録することにより、各画素における、被写体までの奥行き情報を保持することが可能である。
【００２５】
図３（ｂ）は上記のようにして３次元情報生成手段１２によって生成した被写体の３次元情報を、被写体に向かって投影した際の模式図を表しており、点群３５が取得した３次元情報をプロットした点を、３６が実際の被写体表面の形状を表している。以上のようにして、３次元情報生成手段１２において得られた３次元情報から、被写体の３次元形状を再現することが可能となる。
【００２６】
なお本実施例では、以降、上記のように視差画像を取得可能な撮像素子を用いて得られた視差画像に基づいて３次元情報を取得する場合について述べるが、その他の方法を用いて３次元情報を取得しても構わない。例えば、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式と呼ばれるような、信号光を投射し、被写体で反射された信号光が撮像素子に届くまでの時間と信号光の速度を基に、撮像素子における各画素における被写体までの距離を算出するような方法などが考えられる。
【００２７】
（長秒露光を行った視差画像から３次元情報を求める際の制限についての説明）
次に、長秒露光による３次元情報の取得を行った場合の取得画像および、３次元情報について述べる。図２（ｄ）で表したように瞳分割方向が縦方向の場合、つまりＡ像用フォトダイオード２３ａとＢ像用フォトダイオード２３ｂが横方向に並んでいる場合、長秒露光を行う際に、瞳分割方向（縦方向）に対して移動する被写体に関しては、左右のフォトダイオードから測距を行う際に、縦方向のエッジの部分を見込むことができるので、測距可能であり、移動軌跡の画像から被写体までの距離が図３で説明した原理により計算できる。
【００２８】
一方で、瞳分割方向に直行する方向（横方向）へ長秒露光中に移動する被写体に関しては、左右のフォトダイオードから測距を行う際に横方向のエッジの部分を見込むことができないため、測距不可能であり、移動軌跡の画像から被写体までの距離を測定することができない。以上のように、長秒露光により取得した画像から３次元情報を取得する際には瞳の分割方向により、３次元情報の取得に制限がある。一方で、本発明では、連続撮影を行うことにより、短秒時で露光を行い合成するため制限なく使用することができる。
【００２９】
（本実施例における３次元情報の取得方法の説明）
次に、図４を用いて移動する被写体の軌跡を、移動しない被写体と共に一つの３次元情報として取得する方法にいて説明する。図４は、夜間にいわゆる手筒花火が吹き上がっていく様子を本発明の撮像装置を用いて撮影した状態を表しており、図４（ａ）〜（ｃ）はそれぞれ花火が吹き上がっていく様子を連続して順次取得した３次元情報を時系列に並べたものである。なお、図４（ａ）〜（ｃ）で表したものは、図２で説明したように視差画像をそれぞれ取得することにより、それぞれの画像から３次元情報生成手段１２において被写体の３次元情報を生成したものである。
【００３０】
図４（ｄ）は図４（ａ）〜（ｃ）で得られた３次元情報について、撮影画像中の輝度値の高い被写体に関して３次元情報加算手段９において３次元情報を加算した加算３次元情報を表している。３次元情報加算手段９における加算の方法については後述する。図４（ｅ）は図４（ｄ）の状態において、時系列で並んだ同じ被写体について滑らかに軌跡を繋いで作成した一つの３次元情報を表している。
【００３１】
図４（ａ）において、４１は手筒花火を表しており、４２ａは図４（ａ）における、ある一つの火花を表したものである。図４（ａ）は時間経過と共に図４（ｂ）のように変化し、この時図４（ａ）で表した火花４１ａは４２ｂへと移動している。同様に、時間経過と共に図４（ｂ）は図４（ｃ）へと変化し、その時図４（ｂ）における火花４２ｂは火花４２ｃへと移動している。
【００３２】
次に、図４（ａ）〜（ｃ）のようにそれぞれ得られた時系列ごとの３次元情報から、一つの３次元情報を作成する方法について説明する。まずは図４（ａ）〜（ｃ）において、移動している被写体（以下、移動被写体と呼ぶ）を抽出する動作を行う。
【００３３】
図４では移動被写体抽出手段８が移動する被写体を抽出する方法として、撮影画像の輝度が高いものを利用する。つまり、図４（ａ）〜（ｃ）において、それぞれの３次元情報を取得する際に撮影した画像において輝度値の高い領域を抽出する。図４の例においては、手筒花火４１、火花４２ａ、４２ｂ、４２ｃ及び他の火花がそれに相当し、それらの３次元情報が加算され、図４（ｄ）のような加算３次元情報が作成される。
【００３４】
図４（ｄ）のような加算３次元情報が作成される際について説明する。ここで行われる３次元情報の加算は、いわゆる集合演算やブーリアン演算と呼ばれるような３次元情報の合成方法における加算処理であり、論理和（ＯＲ）で表される処理である。それぞれ時刻の異なるタイミングで取得された３次元情報を加算する際には、それぞれの３次元情報（オブジェクト）が衝突してしまう可能性がある。例えば、同じ軌跡を複数回繰り返して移動するような被写体の場合に、異なる時刻に同じ場所を通ることがある。そのような場合に対しては、例えば時刻が新しいものほど優先して加算するといった方法が考えられる。それにより、３次元情報が対抗してしまうことを回避することが可能である。
【００３５】
その他にも、時刻が古いものほど優先して加算する、撮像装置１に近いほど優先するなどのような加算方法が考えられる。また、時刻が古いものほど縮小または拡大させるといったことを行っても構わない。時刻に応じて大きさを変えることにより、実際の動きを強調させるといった効果を出すことも可能である。このような方法により例えば、彗星が尾を引いて移動するような軌跡を３次元情報で取得することができる。
【００３６】
また、３次元情報加算手段９上で、３次元情報を加算する際には、カメラ１から見て奥行方向に関してはそのまま加算を行わず、圧縮させて加算を行ってもよい。これにより、奥行方向に関して圧縮されるため、レリーフのような過度な浮き上がりのない３次元情報が作成される。
【００３７】
その後、３次元情報加算手段９において、移動被写体の軌跡が滑らかに繋げられ、図４（ｅ）で示されるように移動軌跡の３次元形状が作成される。図４（ｄ）において火花４２ａ、４２ｂ、４２ｃは同一被写体であり、それらを３次元座標上で滑らかに補間してつなぎ、４３で示されるような移動被写体の移動軌跡３次元形状を作成する。その際、移動した被写体が同一被写体であるか否かは被写体のブロックマッチングのような手法で判定される。また、その他の火花に関しても同様にして同一被写体を認識される移動被写体は滑らかに繋がれ、移動軌跡３次元形状がそれぞれ作成される。
【００３８】
以上のようにすることにより、移動する被写体の軌跡を、移動しない被写体と併せて一つの３次元情報として取得することが可能になる。
【００３９】
（フローチャートの説明）
次に図５を用いて、本実施例における撮像装置の動作フローについて説明する。図５は本実施例におけるカメラ１において、移動する被写体の軌跡を、移動しない被写体と併せて一つの３次元情報として取得する動作フローを表したものである。このフローは上記のような移動する被写体の軌跡を、移動しない被写体と共に一つの３次元情報として残す撮影が開始される度にスタートする。
【００４０】
カメラ１において撮影が開始されると、まずステップ＃５００１において、カメラシステム制御部３は、連続撮影が開始されたか否かを判定し、開始されている場合はステップ＃５００２へ進む。ステップ＃５００１において、連続撮影が開始されていない場合はステップ＃５００１へ戻り連続撮影が開始されるのを待つ。ステップ＃５００２において、カメラシステム制御部３は撮影を行い、ステップ＃５００３へ進む。ステップ＃５００３において、カメラシステム制御部３は図２及び３において説明したように３次元情報生成手段１２上で３次元情報の生成を行い、ステップ＃５００４へ進む。
【００４１】
ステップ＃５００４において、カメラシステム制御部３は移動被写体抽出手段８において、ステップ＃５００２において取得した撮影画像の中から輝度値の高い領域を抽出し、ステップ＃５００５へ進む。ステップ＃５００５において、カメラシステム制御部３は移動被写体抽出手段８において、ステップ＃５００４で抽出した輝度値の高い領域を基に、ステップ＃５００３で得られた３次元情報の中から輝度値の高い領域の３次元情報を抽出し、ステップ＃５００６へ進む。
【００４２】
ステップ＃５００６において、カメラシステム制御部３は連続撮影が終了したか否かを判定し、終了している場合はステップ＃５００７へ進み、終了していない場合はステップ＃５００２へ戻り連続撮影が終了するまで繰り返す。ステップ＃５００７においてカメラシステム制御部３はステップ＃５００５において抽出した３次元情報を、３次元情報加算手段９において加算してステップ＃５００８へ進む。また、ステップ＃５００７において行われる加算は、図４で説明したようにそれぞれ取得した３次元情報をブーリアン演算における和をとるような処理を表している。
【００４３】
ステップ＃５００８において、カメラシステム制御部３は３次元情報加算手段９を用いて、連続撮影の最後の撮影におけるステップ＃５００７において作成された３次元情報に関して同じ被写体の点を滑らかに補間し、ステップ＃５００９へ進む。補間の方法に関しては図４を用いて説明したとおりである。ステップ＃５００９においてカメラシステム制御部３は再度撮影を行うか否かを判定し、再撮影を行う場合はステップ＃５００１へ戻りフローを繰り返し、再撮影を行わない場合はフローを終了する。
【００４４】
（複数台のカメラを用いて撮影する場合の説明）
上述した処理は、本実施例では、カメラ１が１台で取得した３次元情報から、移動する被写体の軌跡を、移動しない被写体と併せて一つの３次元情報として取得することについて説明したが、本発明はカメラを複数台設け、それぞれから得られた３次元情報を組み合わせて移動する被写体の軌跡を、移動しない被写体と併せて一つの３次元情報として取得しても構わない。その場合は、３次元情報加算手段９において３次元情報を加算する際に、各カメラの相対的な位置を計算し、一つの座標系に加算し、一つの３次元情報を作成するという加算方法が考えられる。
【００４５】
このようにして本発明では移動する被写体の軌跡を、移動しない被写体と併せて一つの３次元情報として取得することができる。
【００４６】
以上説明したように、本発明においては、
・撮影光学系と、
・被写体の３次元情報を取得可能な撮像素子と、
・該撮像素子から得られた信号に基づいて被写体の３次元情報を生成する３次元情報生成手段と、
・前記撮像素子によって得られた複数の撮影画像から撮影中に移動した被写体を抽出する移動被写体抽出手段と、
・該移動被写体抽出手段で抽出された複数の移動被写体の前記３次元情報生成手段で得られた３次元情報を加算する３次元情報加算手段とで、
撮像装置を構成する。
【００４７】
［実施例２］
（本実施例における３次元情報の取得方法の説明）
図６、７は、本発明の第２の実施形態を説明する図である。本実施例においては、図１に示した閃光手段１４を用いて撮影を行った場合に、移動する被写体の軌跡を、移動を伴わない被写体と併せて一つの３次元情報として取得する方法について説明する。
【００４８】
図１の撮像装置との構成は変わらないため、以降の説明では図１の各部の名称を用いて説明する。
【００４９】
図６を用いて閃光手段１４を用いながら、移動する被写体の軌跡を、移動しない被写体と共に一つの３次元情報として取得する方法にいて説明する。図６は、いわゆる後膜シンクロ撮影を行ったように、バイクが右から左へ通過していくシーンを長秒露光で撮影する際に、シャッターを閉じる直前に閃光手段１４による発光を行ったような場面を、本発明を用いて３次元情報として取得する方法を説明した図である。
【００５０】
図６（ａ）は図４（ａ）〜（ｃ）と同様に被写体であるバイクが右から左へ移動する様子を連続して順次取得した３次元情報を時系列に並べ、移動被写体抽出手段８において輝度値の高いものを抽出した状態のイメージを表している。なお、図６（ａ）では取得の際に、最後の撮影が行われるときに閃光手段１４が発光された場合を表している。また、図６（ａ）では３回の連続撮影から３次元情報を取得する例を表しており、紙面奥側ほど古い取得データを表している。
【００５１】
なお、図６（ａ）で示したそれぞれの３次元情報は、図４（ａ）〜（ｃ）と同様に、図２で説明したように視差画像をそれぞれ取得することにより、３次元情報生成手段１２において、それぞれの画像の被写体の３次元情報を生成したものである。図６（ａ）において、６１は連続撮影開始時に取得したバイクの３次元情報のうち、輝度の高い領域を抽出したものであり、６２で示すバイクのライト部分のみが抽出されている状態を表している。なお、説明のため、その際のバイク及び背後の木（輝度値が低く抽出されない）を破線で示している。
【００５２】
６３は連続撮影の最後に取得したバイクの３次元情報のうち、輝度値の高い領域を抽出したものを、６４は移動するバイクの背後にある木の３次元情報のうち、輝度値の高い領域を抽出したものを表している。図６（ａ）では、それぞれ得られた３次元情報のうち、撮影画像における輝度値の高い領域を移動被写体抽出手段８において抽出しているため、閃光手段１４を発光させる前に取得した３次元情報６１はバイクのライト部分６２のみが抽出されている。一方で、閃光手段１４の発光と同時に取得された３次元情報６３は、バイク全体及び、背後の木が抽出されている。
【００５３】
図６（ｂ）は図６（ａ）でそれぞれ抽出された３次元情報を３次元情報加算手段９上で、加算させた加算３次元情報を表している。３次元情報の加算方法は、図４を用いて説明した場合と同様に、それぞれ取得した３次元情報をブーリアン演算における和をとる処理を行う。
【００５４】
図６（ａ）で示したように、６１は閃光手段１４を用いない場合に取得し、輝度値の高い領域を抽出したバイクの３次元情報を表しており、６２は閃光手段１４を発光させた場合に取得し、輝度値の高い領域を抽出したバイクの３次元情報を表している。６１ａ、６１ｂはそれぞれ１回目、２回目に取得した３次元情報であり、６２ａ、６２ｂはそれぞれ１回目、２回目に３次元情報を取得した際に、輝度値の高い領域として抽出されたバイクのライト部分を表している。なお、図６（ａ）と同様、説明のため、輝度値が低く抽出されなかったバイクの位置を破線で示している。したがって、図６（ｂ）に実線で示された部分が連続撮影によって取得された３次元情報のうち輝度値の高い部分を表したものである。
【００５５】
本実施例のように閃光手段１４を用いて連続撮影中に発光を行う場合、３次元情報加算手段９において、閃光手段１４を発光させた際に取得したデータを優先して加算を行うようにしてもよい。例えば図６のような場合には、閃光手段１４を発光させる前に取得したバイクのライトの光と、閃光手段１４を発光させた際に取得したバイクや、運転手とがぶつかってしまう場合がある。そのような場合に、閃光手段１４を発光させた際に取得した３次元情報を優先して加算することにより、バイクや運転手の形状を損なうことなく、一つの３次元情報を作成することが可能である。
【００５６】
また、３次元情報加算手段９上で、３次元情報を加算する際には、カメラ１から見て奥行方向に関してはそのまま加算を行わず、圧縮させて加算を行ってもよい。これにより、奥行方向に関して圧縮されるため、レリーフのような過度な浮き上がりのない３次元情報が作成される。
【００５７】
図６（ｃ）は図６（ｂ）に示した加算３次元情報について、３次元情報加算手段９において同一点である部分を滑らかに繋ぎ、移動軌跡の３次元形状が作成された状態を表している。その作成方法は図４（ｅ）と同様に被写体のブロックマッチング等の手法により同一被写体を判別し、同一被写体を滑らかに繋いで補間して軌跡の３次元情報を作成するというものである。図６（ｃ）中の６５は被写体であるバイクのライト部分の軌跡が滑らかに補間され、一つの３次元情報として作成された部分を表している。
【００５８】
このように、閃光手段１４を用いた場合は、閃光手段１４を発光させて取得した３次元情報は被写体全体が、閃光手段１４を使用せずに取得した３次元情報は輝度値の高い部分のみが取得されるというように、後膜シンクロ撮影のような状態が３次元情報で取得可能である。なお、閃光手段１４の発光させるタイミングを最初の撮影に合わせた場合は先幕シンクロ撮影のような効果を出すことが可能であり、さらに、本発明では連続撮影から一つの３次元情報を作成するので、撮影中に複数回閃光手段１４を発光させることも可能である。連続撮影中に複数回閃光手段１４を発光させた場合、例えば図６に示したバイクの例では、閃光手段１４を発光させた回数分、バイク全体が３次元形状として残る移動軌跡の３次元形状が作成される。
【００５９】
以上のようにすることにより、移動する被写体の軌跡を、移動を伴わない被写体と併せて一つの３次元情報として取得することが可能になる。
【００６０】
（フローチャートの説明）
次に図７を用いて、本実施例における撮像装置の動作フローについて説明する。図７は本実施例におけるカメラ１において、移動する被写体の軌跡を、移動しない被写体と併せて一つの３次元情報として取得する動作フローを表したものである。このフローは上記のような移動する被写体の軌跡を、移動しない被写体と共に一つの３次元情報として残す撮影が開始される度にスタートする。なお、図５のフローと同じ機能ステップは同じ番号で示し、説明は省く。
【００６１】
本実施例では、ステップ＃５００１において連続撮影が開始されると、ステップ＃７００１においてカメラシステム制御部３は閃光手段１４を使用するか否かを判定し、使用する場合は＃７００２へ、使用しない場合はステップ＃５００２へ進む。ステップ＃７００１において、閃光手段１４を使うか否かの判定は、例えば先幕シンクロ撮影のような効果を付ける場合は最初の１回目の撮影の際に閃光手段１４を使用すると判定する。また、後膜シンクロ撮影のような効果を付ける場合は、例えば連続撮影を行う回数や、時間をあらかじめ決めておき、その最後の１回のときに閃光手段１４を使用するというように判定を行ってもよい。
【００６２】
その他の場合としては閃光手段１４を発光させるための外部の入力手段を備えておき、それを操作することにより閃光手段１４を制御し、閃光手段１４を使用するか否かの判定を行うようにしてもよい。いずれかの方法により閃光手段１４を用いた撮影が行われると判定された場合、カメラシステム制御部３は閃光手段１４を制御して発光させた後、ステップ＃５００２へ進み、撮影を行い、以降、図５と同じフローとなる。
【００６３】
このようにして本発明では移動する被写体の軌跡を、移動しない被写体と併せて一つの３次元情報として取得することができる。
【００６４】
以上説明したように、本発明においては、
・撮影光学系と、
・被写体の３次元情報を取得可能な撮像素子と、
・該撮像素子から得られた信号に基づいて被写体の３次元情報を生成する３次元情報生成手段と、
・前記撮像素子によって得られた複数の撮影画像から撮影中に移動した被写体を抽出する移動被写体抽出手段と、
・該移動被写体抽出手段で抽出された複数の移動被写体の前記３次元情報生成手段で得られた３次元情報を加算する３次元情報加算手段とで、
撮像装置を構成する。
【００６５】
［実施例３］
（本実施例における３次元情報の取得方法の説明）
図８、９は、本発明の第３の実施形態を説明する図である。本実施例においては、移動する被写体の判定を、取得した画像から動きベクトルを用いて行う方法について説明する。図１の撮像装置との構成は変わらないため、以降の説明では図１の各部の名称を用いて説明する。
【００６６】
図８を用いて、動きベクトルを用いて移動被写体を判別した場合に、移動する被写体の軌跡を、移動しない被写体と共に一つの３次元情報として取得する方法にいて説明する。図８は、いわゆる流し撮り撮影のように、バイクが右から左へ通過していくシーンを、バイクにあわせてカメラを右から左へ振って（移動させて）撮影した場面を、本発明を用いて３次元情報として取得する方法を説明した図である。
【００６７】
図８（ａ）は、図４（ａ）〜（ｃ）や図６（ａ）と同様に被写体であるバイクが右から左へ移動する様子を連続して順次取得した３次元情報を時系列に並べた状態のイメージを表している。ただし、図４（ａ）〜（ｃ）や図６（ａ）とは異なり、移動被写体の抽出はまだ行っていない状態である。８１は右から左へ移動していくバイクを表しており、８２はバイクの背後にある木を表している。８２ａ、８２ｂ、８２ｃはそれぞれ、連続撮影を行ったときに取得されたそれぞれの木８２を表している。図８（ａ）では３回の連続撮影から３次元情報を取得する例を表しており、紙面奥側ほど古い取得データを表している。
【００６８】
なお、図８（ａ）で示したそれぞれの３次元情報は、図４（ａ）〜（ｃ）や図６（ａ）と同様に、図２で説明したように視差画像をそれぞれ取得することにより、３次元情報生成手段１２上で、それぞれの画像の被写体の３次元情報を生成したものである。本実施例では、バイクの動きに合わせてカメラを横に動かしながら撮影を行ったため、バイク８１は画面内でほぼ動かず、周りの木８２が相対的に移動している。
【００６９】
また、移動被写体を抽出する際には、奥行情報（カメラ１から被写体までの距離）に応じて移動被写体と判別するための閾値となる移動ベクトルの大きさを変更しても構わない。カメラ１から被写体までの距離が遠いほど、被写体が移動した際に画面内の移動量は小さくなってしまうため、取得される移動ベクトルの大きさは小さくなってしまう。そのため、奥行情報に応じて、移動被写体と判別するための閾値となる移動ベクトルの大きさを小さくすることにより、画面内の移動量が小さい場合でも移動被写体として判別されるようになる。
【００７０】
図８（ｂ）は図８（ａ）でそれぞれ得られた３次元情報を、３次元情報加算手段９上で加算させた加算３次元情報を表している。３次元情報の加算方法は、図４を用いて説明した場合と同様に、それぞれ取得した３次元情報をブーリアン演算における和をとる処理を行う。図８（ｂ）のような加算３次元情報を作成する際は、移動被写体抽出手段８を用いて、図８（ａ）における各画像から、動きベクトルを算出し、動きベクトルが大きな被写体を抽出し、加算させる。もしくは、単純に図８（ａ）で示された３次元情報についてすべて加算を行っても構わない。
【００７１】
取得したすべての３次元情報を加算する場合は、バイク８１の周辺領域に関してはカメラを動かす際に手振れによりぶれてしまう可能性があるので、動きベクトルが小さな被写体に関しては、連続撮影中のいずれかの取得３次元情報のみを用いても構わない。もしくは、動きベクトルの小さな被写体に関しては、各撮影から得られた３次元情報を平均化して一つの３次元情報として集約しても構わない。また、３次元情報加算手段９上で、３次元情報を加算する際には、カメラ１から見て奥行方向に関してはそのまま加算を行わず、圧縮させて加算を行ってもよい。これにより、奥行方向に関して圧縮されるため、レリーフのような過度な浮き上がりのない３次元情報が作成される。
【００７２】
図８（ｃ）は図８（ｂ）に示した、加算３次元情報について、３次元情報加算手段９において図８（ｂ）で抽出した移動被写体の中の、同一点である部分を滑らかに繋いで補間し、移動軌跡の３次元形状が作成された状態を表している。その作成方法は図４（ｅ）や図６（ｃ）と同様に被写体のブロックマッチング等の手法により同一被写体を判別し、同一被写体を滑らかに補間して軌跡の３次元情報を作成するというものである。
【００７３】
図８（ｃ）中の８３は被写体の一つである、バイクの背後の木の移動軌跡が滑らかに繋いで補間され、一つの３次元情報として作成された部分を表している。このように、動きベクトルを用いて移動被写体を抽出した場合においても移動する被写体の軌跡を、移動を伴わない被写体と併せて一つの３次元情報として取得することが可能になる。
【００７４】
（フローチャートの説明）
次に図９を用いて、本実施例における撮像装置の動作フローについて説明する。図９は本実施例におけるカメラ１において、移動を伴う被写体の軌跡を、移動を伴わない被写体と併せて一つの３次元情報として取得する動作フローを表したものである。このフローは上記のような移動する被写体の軌跡を、移動しない被写体と共に一つの３次元情報として残す撮影が開始される度にスタートする。なお、図５のフローと同じ機能ステップは同じ番号で示し、説明は省く。
【００７５】
図５に示したフローチャート内の、ステップ＃５００３においてカメラシステム制御部３が３次元情報生成手段１２上で３次元情報を生成した後、本実施例では、ステップ＃９００１へ進む。ステップ＃９００１では、カメラシステム制御部３は移動被写体抽出手段８において、ステップ＃５００３において取得した撮影画像の中から動きベクトルの大きな領域を抽出してステップ＃９００２へ進む。
【００７６】
なお、連続撮影のうち、初めの１回目の撮影の際には動きベクトルの算出を行うことができないため、動きベクトルの大きな領域の抽出は行わずにステップ＃９００２へ進む。ステップ＃９００２では、カメラシステム制御部３は移動被写体抽出手段８において、ステップ＃９００１で抽出した動きベクトルの大きな領域を基に、ステップ＃５００３で取得した３次元情報の中から動きベクトルの大きな領域の３次元情報を抽出する。また、ステップ＃９００１と同様に、初めの１回目の撮影の際には動きベクトルの算出を行うことができないため、動きベクトルの大きな領域の３次元情報の抽出は行わずにステップ＃９００２へ進む。その後、ステップ＃５００６へ進み、以降は図５と同じフローとなる。
【００７７】
このようにして本発明では移動する被写体の軌跡を、移動しない被写体と併せて一つの３次元情報として取得することができる。
【００７８】
以上説明したように、本発明においては、
・撮影光学系と、
・被写体の３次元情報を取得可能な撮像素子と、
・該撮像素子から得られた信号に基づいて被写体の３次元情報を生成する３次元情報生成手段と、
・前記撮像素子によって得られた複数の撮影画像から撮影中に移動した被写体を抽出する移動被写体抽出手段と、
・該移動被写体抽出手段で抽出された複数の移動被写体の前記３次元情報生成手段で得られた３次元情報を加算する３次元情報加算手段とで、
撮像装置を構成する。
【符号の説明】
【００７９】
１            カメラ
２            レンズ鏡筒
３            カメラシステム制御部
４            撮像素子
７            撮影光学系
８            移動被写体抽出手段
９            ３次元情報加算手段
１２          ３次元情報生成手段
１３          ３次元情報記憶手段
１４          閃光手段
【図１】
2019080260.tif 000003
【図２】
2019080260.tif 000004
【図３】
2019080260.tif 000005
【図４】
2019080260.tif 000006
【図５】
2019080260.tif 000007
【図６】
2019080260.tif 000008
【図７】
2019080260.tif 000009
【図８】
2019080260.tif 000010
【図９】
2019080260.tif 000011