(57)【要約】【課題】距離画像に生じる欠落部を適切に補完する。【解決手段】第１被写体２４が存在する第１設定距離範囲と、第２被写体２５が存在する第２設定距離範囲とに対応する受光タイミング及び受光時間で撮影を行ない、第１被写体２４を表す第１距離画像３１と、第２被写体を表す第２距離画像３２とを作成する。第１距離画像３１と第２距離画像３２から、輪郭が閉じられた閉空間４２，４３を抽出し、各閉空間４２，４３に含まれる欠落部４６〜４８を特定する。第２距離画像３２欠落部４６〜４８と、第１距離画像３１の閉空間４２とを比較し、閉空間４２に該当する欠落部４７を特定する。その他の欠落部４６，４８の周辺画素を用いて、欠落部４６，４８を補完する。【選択図】図５
2008046047.tif 000002
【特許請求の範囲】
【請求項１】
撮影位置から主要な被写体を撮影し、前記主要な被写体の距離画像を作成する方法において、
前記撮影位置から前記主要な被写体までの距離を、前記主要な被写体が存在する第２設定距離範囲と、前記撮影位置から前記第２設定距離範囲までの第１設定距離範囲との少なくとも２つの設定距離範囲として設定するステップと、
所定周期で変調された光を前記主要な被写体に照射するステップと、
前記第１設定距離範囲内に存在する被写体で反射された光を前記第１設定距離範囲に対応する受光タイミング及び受光時間で受光して光電変換し、第１撮像信号を出力するステップと、
前記主要な被写体で反射された光を前記第２設定距離範囲に対応する受光タイミング及び受光時間で受光して光電変換し、第２撮像信号を出力するステップと、
前記第１撮像信号及び第２撮像信号に基づいて、前記被写体までの距離を画素値によって表す第１距離画像及び第２距離画像を作成するステップと、
前記第１距離画像と第２距離画像とを比較して前記第２距離画像に含まれる欠落部を特定し、前記欠落部を補完するステップを備えることを特徴とする距離画像作成方法。
【請求項２】
前記欠落部を特定及び補完するステップは、前記第１距離画像、第２距離画像の順に実行される以下の各ステップを含むことを特徴とする請求項１記載の距離画像作成方法。
（ａ）輪郭が閉じられた閉空間の抽出を行なうステップ
（ｂ）前記閉空間の欠落部を特定するステップと
（ｃ）前記欠落部と閉空間リストとを比較して、前記閉空間リストに該当しない欠落部を特定するステップ
（ｄ）前記欠落部のうち、前記閉空間リストに該当しない欠落部を補完するステップ
（ｃ）前記閉空間の位置及び形状等を表す閉空間リストを作成するステップ
【請求項３】
所定周期で変調した光を主要な被写体に照射する光源と、
前記主要な被写体により反射された光を受光して光電変換し、撮像信号を出力する撮像手段と、
撮影位置から主要な被写体までの距離を、前記主要な被写体が存在する第２設定距離範囲と、前記撮影位置から前記第２設定距離範囲までの第１設定距離範囲との少なくとも２つの設定距離範囲として設定し、１フレーム走査期間ごとに、前記撮像手段の受光タイミング及び受光時間を前記第１設定距離範囲に対応する第１受光条件と、前記第２設定距離範囲に対応する第２受光条件との間で切り換え、前記撮像手段に第１受光条件及び第２受光条件に対応する第１撮像信号及び第２撮像信号を出力させる受光制御手段と、
前記第１撮像信号及び第２撮像信号に基づいて、前記被写体までの距離を画素値によって表す第１距離画像及び第２距離画像を作成する距離画像作成手段と、
前記第１距離画像と第２距離画像とを比較して前記第２距離画像に含まれる欠落部を特定し、前記欠落部を補完する画像処理手段とを備えることを特徴とする距離画像センサ。
【請求項４】
前記画像処理手段は、第１距離画像または第２距離画像から輪郭が閉じられた閉空間を抽出する閉空間抽出部と、
前記閉空間の欠落部を特定する欠落特定部と、
前記欠落部と閉空間リストとを比較して、前記閉空間リストに該当しない欠落部を特定する比較部と、
前記欠落部のうち、前記閉空間リストに該当しない欠落部を補完する補完部と、
前記閉空間の位置及び形状等を表す閉空間リストを作成するリスト作成部を備えることを特徴とする請求項３記載の距離画像センサ。
【請求項５】
被写体光を結像する撮影レンズと、
前記被写体光中の可視光域成分を受光し、光電変換して可視撮像信号を出力する可視光用撮像素子と、
所定周期で変調した赤外光を前記被写体に照射する光源と、
前記撮影レンズと可視光用撮像素子との間の第１の撮影光路内に設けられ、前記第１の撮影光路を分岐させて第２の撮影光路を形成する光路分岐手段と、
前記第２の撮影光路内に設けられ、前記被写体により反射した赤外光を受光して光電変換し、赤外撮像信号を出力する赤外光用撮像素子と、
撮影位置から主要な被写体までの距離を、前記主要な被写体が存在する第２設定距離範囲と、前記撮影位置から前記第２設定距離範囲までの第１設定距離範囲との少なくとも２つの設定距離範囲として設定し、１フレーム走査期間ごとに、前記赤外撮像手段の受光タイミング及び受光時間を前記第１設定距離範囲に対応する第１受光条件と、前記第２設定距離範囲に対応する第２受光条件との間で切り換え、前記赤外撮像手段に第１受光条件及び第２受光条件に対応する第１赤外撮像信号及び第２赤外撮像信号を出力させる受光制御手段と、
前記可視撮像信号に基づいて可視光画像を作成し、前記第１赤外撮像信号及び第２赤外撮像信号に基づいて、前記被写体までの距離を画素値によって表す第１距離画像及び第２距離画像を作成する画像作成手段と、
前記第１距離画像と第２距離画像とを比較して前記第２距離画像に含まれる欠落部を特定し、前記欠落部を補完する画像処理手段と、
前記第２距離画像に基づいて、前記可視光画像から前記第２設定距離範囲に対応する画像を抽出する可視光画像抽出手段を備えることを特徴とする撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予め設定された設定距離範囲内の距離画像を作成する方法及び距離画像センサと、これらを用いた撮影装置に関する。
【背景技術】
【０００２】
対象物までの距離を測定する手法として、タイムオブフライト法（以下、ＴＯＦ法と省略する）が知られている。このＴＯＦ法は、対象物に向けて光を照射し、その対象物により反射された光を受光して照射から受光までの時間、すなわち光の飛行時間を測定する。そして、測定した飛行時間に基づいて対象物までの距離を特定する。
【０００３】
上記ＴＯＦ法を用いて、被写体までの距離が画素値により表された距離画像を作成する距離画像センサと、この距離画像センサを用いた撮影装置とが従来発明されている。例えば、特許文献１記載の距離画像センサでは、赤外パルス光を被写体に向けて照射し、当該被写体により反射された赤外光を撮像素子で受光して、その照射から受光までの時間と撮像信号の画素値とに基づいて距離画像を作成する。また、特許文献２記載の距離画像センサでは、サイン波変調した赤外光を被写体に向けて照射し、当該被写体により反射された赤外光を発光サイン波に対して１／ｎずつ位相をずらして撮像素子で受光することで距離画像を作成する。
【０００４】
また、従来、特定の事物を背景から切り取って抽出する際に、「クロマキー」と呼ばれる手法が用いられている。このクロマキーは、例えば背景色を青色にしておき、画像のクロマ成分で手前の事物のみを抽出する手法である。しかし、このクロマキーでは、背景の準備に手間がかかり、手前の事物の色に制限がある等の欠点があった。そこで、上述した距離画像センサを用いて、予め設定した設定距離範囲の画像を抽出することが考えられている。距離画像センサでは、被写体で反射された光を受光する際に、設定距離範囲に対応する受光タイミング及び受光期間を用いることで、設定距離範囲内の画像を抽出することができる。
【特許文献１】米国特許６０５７９０９号明細書
【特許文献２】米国特許６８５６３５５Ｂ１号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記距離画像センサで設定距離範囲内の画像を抽出する際に、虫食い状の欠落部が生じ、画像の質が低下することがある。この欠落部は、被写体の一部に赤外光の反射が少ない部分があり、抽出時の距離画像の信号レベルが低くなって適性なＳ／Ｎ比が得られず、ノイズに埋もれてしまった場合等に発生する。
【０００６】
上記のような欠落部については、欠落部の周辺の画素を用いて補完することができる。しかし、欠落部には、撮影位置と設定距離範囲との間に存在する物体によって生じるものもあり、全ての欠落部を一律に補完することはできない。
【０００７】
本発明は、上記問題点を解決するために、設定距離範囲の抽出画像に生じる欠落部を適切に補完することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明の距離画像作成方法は、撮影位置から主要な被写体を撮影し、この主要な被写体の距離画像を作成する方法において、撮影位置から主要な被写体までの距離を、主要な被写体が存在する第２設定距離範囲と、撮影位置から第２設定距離範囲までの第１設定距離範囲との少なくとも２つの設定距離範囲として設定するステップと、所定周期で変調された光を主要な被写体に照射するステップと、第１設定距離範囲内に存在する被写体で反射された光を第１設定距離範囲に対応する受光タイミング及び受光時間で受光して光電変換し、第１撮像信号を出力するステップと、主要な被写体で反射された光を第２設定距離範囲に対応する受光タイミング及び受光時間で受光して光電変換し、第２撮像信号を出力するステップと、第１撮像信号及び第２撮像信号に基づいて、被写体までの距離を画素値によって表す第１距離画像及び第２距離画像を作成するステップと、第１距離画像と第２距離画像とを比較して第２距離画像に含まれる欠落部を特定し、欠落部を補完するステップを備えるものである。
【０００９】
また、欠落部を特定及び補完するステップは、第１距離画像、第２距離画像の順に実行される以下の各ステップを含むようにしたものである。
（ａ）輪郭が閉じられた閉空間の抽出を行なうステップ
（ｂ）前記閉空間の欠落部を特定するステップと
（ｃ）前記欠落部と閉空間リストとを比較して、前記閉空間リストに該当しない欠落部を特定するステップ
（ｄ）前記欠落部のうち、前記閉空間リストに該当しない欠落部を補完するステップ
（ｃ）前記閉空間の位置及び形状等を表す閉空間リストを作成するステップ
【００１０】
また、本発明の距離画像センサは、所定周期で変調した光を被写体に照射する光源と、被写体により反射された光を受光して光電変換し、撮像信号を出力する撮像手段と、撮影位置から主要な被写体までの距離を、主要な被写体が存在する第２設定距離範囲と、撮影位置から第２設定距離範囲までの第１設定距離範囲との少なくとも２つの設定距離範囲として設定し、１フレーム走査期間ごとに、撮像手段の受光タイミング及び受光時間を前記第１設定距離範囲に対応する第１受光条件と、前記第２設定距離範囲に対応する第２受光条件との間で切り換え、撮像手段に第１受光条件及び第２受光条件に対応する第１撮像信号及び第２撮像信号を出力させる受光制御手段と、第１撮像信号及び第２撮像信号に基づいて、被写体までの距離を画素値によって表す第１距離画像及び第２距離画像を作成する距離画像作成手段と、第１距離画像と第２距離画像とを比較して第２距離画像に含まれる欠落部を特定し、前記欠落部を補完する画像処理手段とから構成したものである。
【００１１】
また、画像処理手段は、第１距離画像または第２距離画像から輪郭が閉じられた閉空間を抽出する閉空間抽出部と、閉空間の欠落部を特定する欠落特定部と、欠落部と閉空間リストとを比較して閉空間リストに該当しない欠落部を特定する比較部と、欠落部のうち、閉空間リストに該当しない欠落部を補完する補完部と、閉空間の位置及び形状等を表す閉空間リストを作成するリスト作成部とから構成したものである。
【００１２】
また、本発明の撮影装置は、被写体光を結像する撮影レンズと、被写体光中の可視光域成分を受光し、光電変換して可視撮像信号を出力する可視光用撮像素子と、所定周期で変調した赤外光を前記被写体に照射する光源と、撮影レンズと可視光用撮像素子との間の第１の撮影光路内に設けられ、第１の撮影光路を分岐させて第２の撮影光路を形成する光路分岐手段と、第２の撮影光路内に設けられ、被写体により反射した赤外光を受光して光電変換し、赤外撮像信号を出力する赤外光用撮像素子と、撮影位置から主要な被写体までの距離を、主要な被写体が存在する第２設定距離範囲と、撮影位置から第２設定距離範囲までの第１設定距離範囲との少なくとも２つの設定距離範囲として設定し、１フレーム走査期間ごとに、赤外撮像手段の受光タイミング及び受光時間を第１設定距離範囲に対応する第１受光条件と、第２設定距離範囲に対応する第２受光条件との間で切り換え、赤外撮像手段に第１受光条件及び第２受光条件に対応する第１赤外撮像信号及び第２赤外撮像信号を出力させる受光制御手段と、可視撮像信号に基づいて可視光画像を作成し、第１赤外撮像信号及び第２赤外撮像信号に基づいて被写体までの距離を画素値によって表す第１距離画像及び第２距離画像を作成する画像作成手段と、第１距離画像と第２距離画像とを比較して第２距離画像に含まれる欠落部を特定し、欠落部を補完する画像処理手段と、第２距離画像に基づいて、前記可視光画像から前記第２設定距離範囲に対応する画像を抽出する可視光画像抽出手段とから構成したものである。
【発明の効果】
【００１３】
本発明によれば、主要被写体が存在する第２距離画像の欠落部を補完することができる。また、撮影位置と第２設定距離範囲との間の物体によって発生する欠落部を補完対象から除外することができるので、適切な補完処理を行なって第２距離画像を作成することができる。
【００１４】
また、設定距離範囲内の画像を適切に抽出することができるので、スタジオ撮影、通常の屋内、屋外撮影等での人物抽出や、背景入れ換え等を簡単に行なうことができる。また、テレビゲーム等において、プレイヤーの撮影・抽出した画像を容易に用いることができるようになる。更に、画像内の各部の距離が分ることから、２次元画像から３次元画像への変換を容易に行なうことができる。また、設定距離範囲の設定を適切に行なうことにより、物体の移動を識別することもできる。
【発明を実施するための最良の形態】
【００１５】
図１に示すように、本発明の撮影装置２は、赤外発光ダイオード３、撮影レンズ４、プリズム５、可視光用撮像素子６、高速シャッタ７、赤外光用撮像素子８、撮像信号処理回路９、画像処理回路１１、可視光画像抽出回路１２、制御回路１３、メモリ１４等から構成されており、予め設定された設定距離範囲内に存在する被写体の画像を作成する。これらの構成のうち、赤外発光ダイオード３、高速シャッタ７、赤外光用撮像素子８、撮像信号処理回路９、画像処理回路１１、制御回路１３等によって本発明の距離画像センサが構成される。
【００１６】
赤外発光ダイオード３は、ＴＯＦ法を用いる距離画像センサの光源であり、制御回路１３に制御されて赤外光を所定周期で変調し、被写体に向けて照射する。撮影レンズ４は、被写体により反射された赤外光と外光とを結像する。
【００１７】
光路分岐手段であるプリズム５は、斜面５ａに可視光を透過して赤外光を反射する多層膜干渉フィルタを付着している。これにより、撮影レンズ４を透過した光のうち、可視光は直進して可視光用撮像素子６に入射され、赤外光は反射して高速シャッタ７を通り赤外光用撮像素子８に入射される。
【００１８】
可視光用撮像素子６は、可視光域の光を受光して光電変換し、可視撮像信号を出力する。赤外光用撮像素子８は、赤外光を受光して光電変換し、赤外撮像信号を出力する。これらの可視光用撮像素子６及び赤外光用撮像素子８には、例えばＣＣＤが用いられる。なお、ＣＣＤに代えて、Ｃ−ＭＯＳタイプの撮像素子を用いてもよい。
【００１９】
図２（Ａ）に示すように、可視光用撮像素子６は、縦方向及び横方向にマトリクス状に配列された複数個のＲ画素１７，Ｇ画素１８，Ｂ画素１９を有している。これらの画素１７〜１９は、光を受光して光電変換を行なうフォトセンサと、このフォトセンサ上に設けられてＲ光，Ｇ光，Ｂ光をそれぞれ透過するＲ，Ｇ，Ｂの各カラーフィルタと、入射された光をフォトセンサに集光するマイクロレンズ等から構成されている。
【００２０】
図３に示すように、可視光用撮像素子６は、電子シャッタパルス（Ｖ−ＶＯＤ）により各Ｒ画素１７，Ｇ画素１８，Ｂ画素１９に蓄積されている電荷を排出し、この電荷排出後に各画素で再び蓄積された電荷を読出しパルス（Ｖ−Ｒｐ）に応じて読み出し、可視撮像信号を出力する。これにより、各Ｒ画素１７，Ｇ画素１８，Ｂ画素１９による電荷の蓄積時間は、Ｖ−ＶＯＤパルスからＶ−Ｒｐパルスまでの一定時間となり、このＶ−Ｒｐパルスの間隔が１フレーム分の撮像時間となる。
【００２１】
図２（Ｂ）に示すように、赤外光用撮像素子８は、可視光用撮像素子６のＲ画素１７，Ｇ画素１８，Ｂ画素１９にそれぞれ対応する複数のＩＲ画素２２を備えている。これらのＩＲ画素２２は、光を受光して光電変換を行なうフォトセンサと、このフォトセンサ上に設けられて赤外光を透過するＩＲフィルタと、マイクロレンズとから構成されている。
【００２２】
高速シャッタ７は、例えば、電気光学シャッタやイメージインテンシファイヤ等からなり、制御回路１３に制御されて所定のタイミングで開閉され、プリズム５を透過した光を赤外光用撮像素子８に入射させ、または遮る。この高速シャッタ７は、制御回路１３とともに受光制御手段を構成する。
【００２３】
制御回路１３は、予め設定された設定距離範囲に基づいて、高速シャッタ７の開閉に対する赤外発光ダイオード３の発光タイミングと発光時間とを調整する。例えば、被写体までの距離をＬ、赤外光の往復時間をＴ、光速をｃとしたときにＬ＝ｃＴ／２の関係が成り立つ。制御回路１３は、この関係に基づいて、設定距離範囲に対応する赤外発光ダイオード３の発光タイミングと発光時間とを決定する。これにより、赤外光用撮像素子８には、設定距離範囲内にある被写体によって反射された赤外光が入射される。
【００２４】
図３に示すように、赤外光用撮像素子８は、電子シャッタパルス（ＩＲ−ＶＯＤ）により各ＩＲ画素２２に蓄積されている電荷を排出し、この電荷排出後に再び各画素で蓄積された電荷を読出しパルス（ＩＲ−Ｒｐ）により読み出し、赤外撮像信号を出力する。赤外発光ダイオード（ＩＲ−ＬＥＤ）３は、ＩＲ−ＶＯＤパルスとＩＲ−Ｒｐパルスとの間で発光され、高速シャッタ７は、ＩＲ−ＬＥＤ３の発光とＩＲ−Ｒｐパルスの間で開閉される。これにより、各ＩＲ画素２２による電荷蓄積時間は、高速シャッタ７の開閉期間となる。
【００２５】
図４に示すように、本発明の撮影装置２は、例えば第１被写体２４と、撮影方向において第１被写体２４の前方に配置される第２被写体２５とを撮影し、主要な被写体である第２被写体２５だけが含まれる画像を作成する。その際に、制御回路１３には、撮影位置から第２被写体２５までの距離や、第２被写体２５が存在する範囲等が入力され、撮影装置２が設置される撮影位置Ｓ１と第２被写体２５との間に設定距離範囲が設定される。この設定距離範囲としては、例えば、第２被写体２５が存在する範囲を第２設定距離範囲Ｌ２と、撮影位置Ｓ１から第２設定距離範囲Ｌ２までの第１設定距離範囲Ｌ１として設定される。また、制御回路１３は、第１設定距離範囲Ｌ１及び第２設定距離範囲Ｌ２に基づいて、ＩＲ−ＬＥＤ３の発光タイミングと発光時間とを決定する。
【００２６】
図３に示すように、赤外光用撮像素子８による撮像は、第１設定距離範囲Ｌ１の撮影を行なう第１フレーム走査期間と、第２設定距離範囲の撮影を行なう第２フレーム走査期間とが交互に繰り返えされる。
【００２７】
第１フレーム走査期間では、ＩＲ−ＬＥＤ３は、制御回路１３により決定された発光タイミング及び発光時間に基づいて、発光終了から遅れ時間Ｔｄ１後に高速シャッタ７が開放され、かつ発光開始から遅れ時間Ｔｄ２後に高速シャッタ７が閉じられるように発光される。遅れ時間Ｔｄ１は、例えば撮影装置２の直前にある被写体で反射された赤外光でも受光できるようにＴｄ１＝０とされる。また、遅れ時間Ｔｄ２は、第２設定距離範囲Ｌ２の最近接位置Ｓ２で反射された赤外光が入射する時間に相当する。これにより、赤外光用撮像素子８は、第１設定距離範囲Ｌ１に対応した第１赤外撮像信号を出力する。
【００２８】
また、第２フレーム走査期間では、ＩＲ−ＬＥＤ３は、制御回路１３により決定された発光タイミング及び発光時間に基づいて、発光終了から遅れ時間Ｔｄ２後に高速シャッタ７が開放され、かつ発光開始から遅れ時間Ｔｄ３後に高速シャッタ７が閉じられるように発光される。遅れ時間Ｔｄ３は、第２設定距離範囲Ｌ２の最遠位置Ｓ３で反射された赤外光が入射する時間に相当する。これにより、赤外光用撮像素子８は、第２設定距離範囲Ｌ２に対応した第２赤外撮像信号を出力する。
【００２９】
画像作成手段及び距離画像作成手段である撮像信号処理回路９は、可視光用撮像素子６により入力された可視撮像信号のうち、第２フレーム走査期間の可視撮像信号から、いわゆる通常の撮影画像である可視光画像を作成する。例えば、図４に示す第１被写体２４及び第２被写体２５を撮影したときの可視光画像２８は、図５（Ａ）に示すように、第２被写体２５の上に第１被写体２４が重なった画像となる。
【００３０】
また、撮像信号処理回路９は、赤外光用撮像素子８により入力された第１赤外撮像信号及び第２赤外撮像信号から、第１設定距離範囲Ｌ１及び第２設定距離範囲Ｌ２に対応する第１距離画像及び第２距離画像を作成する。図５（Ｂ）に示すように、第１距離画像３１は、第１被写体２４だけの画像となる。また、同図（Ｃ）に示すように、第２距離画像３２は、第２被写体２５から第１被写体２４の重なった部分が抜けた画像となる。
【００３１】
なお、可視光画像を作成する際に、第２フレーム走査期間の可視撮像信号を用いるのは、可視光画像抽出回路１２において、可視光画像２８から第２設定距離範囲Ｌ２内の画像を抽出する際に、第２フレーム走査期間の撮影で作成された第２距離画像３２を用いるためである。
【００３２】
撮像信号処理回路９で作成された可視光画像は、可視光画像抽出回路１２に入力される。また、第１距離画像３１及び第２距離画像３２は、画像処理回路１１に入力される。画像処理回路１１は、閉空間抽出部３５、欠落特定部３６、比較部３７、補完部３８、リスト作成部３９を備えており、第１距離画像３１及び第２距離画像３２から、虫食い状の欠落部の無い第２距離画像３２を作成する。
【００３３】
閉空間抽出部３５は、入力された第１距離画像３１または第２距離画像３２から輪郭が閉じられた閉空間を抽出する。図５（Ｂ），（Ｃ）に示すように、例えば、第１距離画像３１からは第１被写体２４の輪郭形状を表す閉空間４２が抽出され、第２距離画像３２からは第２被写体２５の輪郭形状を表す閉空間４３が抽出される。
【００３４】
欠落特定部３６は、抽出された閉空間から虫食い状の欠落部を探し、その位置及び形状等を特定する。図５（Ｃ）に示すように、例えば、第２距離画像３２には３個の欠落部４６〜４８が存在しており、欠落特定部３６はこれらの欠落部４６〜４８の位置及び形状等を特定する。
【００３５】
比較部３７は、第２距離画像３２の欠落部４６〜４８の中から、補完対象となる欠落部を特定する。距離画像に発生する欠落部には、被写体の低反射部分によって発生するものと、撮影位置と設定距離範囲との間に存在する物体によって生じるものがある。比較部３７では、複数の欠落部の中から低反射部分によって発生している欠落部だけを特定する。
【００３６】
比較部３７は、欠落特定部３６で特定された欠落部と閉空間リストとを比較して、閉空間リストに掲載された閉空間に該当しない欠落部を特定する。閉空間リストは、比較部３７での比較後にリスト作成部３９によって作成される。そのため、第１距離画像３１の比較時には、閉空間リストは存在しておらず、第２距離画像３２の比較時には第１距離画像３１の閉空間リストと比較される。これにより、第２距離画像３２にある複数個の欠落部４６〜４８のうち、第１距離画像３１の閉空間４２によって生じているものが除外される。例えば、図５（Ｃ）に示す３個の欠落部４６〜４８のうち、中央の欠落部４７は、同図（Ｂ）の閉空間４２と位置及び形状ともに一致するので、補完対象から除外される。
【００３７】
補完部３８は、比較部３７によって特定された欠落部４６，４８を補完する。この補完には、例えば、欠落部４６，４８の周囲の画素を用いて欠落部内の画素を埋める方法が用いられる。これにより、図５（Ｄ）に示すように、欠落部４６，４８が補完され、中央の欠落部７は補完されずに残される。補完部３８で補完された第２距離画像３２は、画像抽出回路１１に入力される。
【００３８】
可視光画像抽出回路１２は、画像処理回路１１から入力された第２距離画像３２に対応する画素を可視光画像２８から抽出して、第２設定距離範囲に対応する距離抽出画像を作成する。作成された距離抽出画像は、メモリ１４に記憶される。
【００３９】
次に、図６及び７のフローチャートを参照して上記実施形態の作用について説明する。図４に示すように、撮影装置２で第１被写体２４及び第２被写体２５の撮影を開始すると、図１に示すＩＲ−ＬＥＤ３、可視光用撮像素子６、高速シャッタ７、赤外光用撮像素子８が動作し、可視撮像信号と、第１赤外撮像信号及び第２赤外撮像信号が出力される。図５に示すように、撮像信号処理回路９は、可視撮像信号に基づいて可視光画像を作成し、第１赤外撮像信号及び第２赤外撮像信号に基づいて第１距離画像３１及び第２距離画像３２を作成する。第１距離画像３１及び第２距離画像３２は、画像処理回路１１に入力される。
【００４０】
画像処理回路１１は、図示しないカウンタを備えており、このカウンタのカウント値ｍに１をセットする。閉空間抽出部３５は、第１距離画像３１を読み込んで、輪郭が閉じられた閉空間を抽出する。図５（Ｂ）に示すように、第１距離画像３１には第１被写体２４が撮影されているため、この第１被写体２４の輪郭を表す閉空間４２が抽出される。
【００４１】
欠落特定部３６は、閉空間抽出部３５で抽出された閉空間４２から欠落部を探し、欠落部がある場合には、その位置、形状を特定する。本実施形態の閉空間４２には欠落部は存在しないため、リスト作成部３９によって第１閉空間リストが作成される。なお、閉空間４２に欠落部が存在する場合には、欠落部と閉空間リストとの比較が行なわれるが、第１距離画像３１の処理時には閉空間リストが作成されていないため、全ての欠落部は補完部３８によって補完されることになる。
【００４２】
設定距離範囲の数を表すｎとカウント値ｍとが比較され、両者の数値が異なるときにカウント値ｍがカウントアップされる。次いで、図５（Ｃ）に示すように、第２距離画像３２の閉空間４３が抽出され、この閉空間４３内の欠落部４６〜４８が特定される。比較部３７は、欠落部３６〜３８と第１閉空間リストとを比較して、閉空間４２に該当しない補完対象の欠落部を特定する。この場合、欠落部３７が閉空間４２に該当するため、欠落部３６，３８が補完対象となる。
【００４３】
補完部３８は、欠落部３６，３８の近傍の画素を用いて欠落部３６，３８内の画素を補完する。これにより、図５（Ｄ）に示すように、欠落部４６，４８が補完された第２距離画像３２が作成される。このように、欠落部を補完する際に、撮影位置と設定距離範囲との間の物体によって発生する欠落部は補完されないので、適切な距離画像を作成することができる。
【００４４】
撮像信号処理回路９で作成された可視光画像と、補完部３８で補完された第２距離画像３２は、可視光画像抽出回路１２に入力される。可視光画像抽出回路１２は、可視光画像から第２距離画像３２の閉空間４３に対応する画素を抽出し、第２設定距離範囲内の画像である距離抽出画像を作成する。
【００４５】
なお、上記実施形態では、可視光を撮像する撮像素子と、赤外光を撮像する撮像素子とを用いる２板式の撮影装置を例に説明したが、Ｒ画素、Ｇ画素、Ｂ画素とともに、ＩＲ画素を有する撮像素子を一つ使用しても同様の効果を得ることができる。また、距離画像センサを設けた撮影装置を例に説明したが、可視光用撮像素子を有しない距離画像センサのみでも同様の効果を得ることができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の撮影装置の構成を示すブロック図である。
【図２】可視光用撮像素子と赤外光用撮像素子の画素構成を示す説明図である。
【図３】可視光用撮像素子と赤外光用撮像素子の動作を示すタイミングチャートである。
【図４】撮影する被写体の一例を示す斜視図である。
【図５】距離画像の作成手順を模式的に表す説明図である。
【図６】撮影装置の撮影手順を示すフローチャートである。
【図７】距離画像の作成手順を示すフローチャートである。
【符号の説明】
【００４７】
２  撮影装置
３  赤外発光ダイオード
４  撮影レンズ
５  プリズム
６  可視光用撮像素子
７  高速シャッタ
８  赤外光用撮像素子
９  撮像信号処理回路
１１  画像処理回路
１２  可視光画像抽出回路
２４  第１被写体
２５  第２被写体
２８  可視光画像
３１  第１距離画像
３２  第２距離画像
３５  閉空間抽出部
３６  欠落特定部
３７  比較部
３８  補完部
３９  リスト作成部
４２，４３  閉空間
４６〜４８  欠落部
【図１】
2008046047.tif 000003
【図２】
2008046047.tif 000004
【図３】
2008046047.tif 000005
【図４】
2008046047.tif 000006
【図５】
2008046047.tif 000007
【図６】
2008046047.tif 000008
【図７】
2008046047.tif 000009