(57)【要約】【課題】１つの画像から移動物体を抽出することができる画像処理装置を提供する。【解決手段】空間内の第１領域の中の物体の瞬間速度分布を取得する第１取得部と、前記第１領域の少なくとも一部を含む画像を取得する第２取得部と、前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出する検出部と、を有する。【選択図】図３
2019135446.tif 000002
【特許請求の範囲】
【請求項１】
空間内の第１領域の中の物体の瞬間速度分布を取得する第１取得部と、
前記第１領域の少なくとも一部を含む画像を取得する第２取得部と、
前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出する検出部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記瞬間速度分布は、前記瞬間速度分布を測定する測定装置に向かう方向又は前記測定装置から遠ざかる方向の瞬間速度の大きさを示す分布である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出部は、前記瞬間速度分布の中の瞬間速度が所定の閾値よりも大きい領域を含むように前記第２領域を検出する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記検出部は、前記瞬間速度分布の中の瞬間速度のエッジを検出し、前記エッジを含む領域を前記第２領域として検出する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記第１領域の座標と、前記画像の座標との対応付けを行う座標設定部を更に備える
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像の一部を前記第２領域が含まれるようにトリミングすることにより移動物体画像を生成するトリミング処理部を更に備える
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１取得部は、更に、前記瞬間速度分布を測定する測定装置から被写体までの距離を示す距離分布を取得し、
前記検出部は、更に、前記距離分布に基づいて、前記第２領域を検出する
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第１取得部は、更に、前記第１領域に投射した光による被写体からの反射光の強度を示す反射光強度分布を取得し、
前記検出部は、更に、前記反射光強度分布に基づいて、前記第２領域を検出する
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記瞬間速度分布は、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式のＬｉＤＡＲ（Light Detection and Ranging）装置を用いて測定された、投射光の周波数と反射光の周波数とのドップラー効果に起因する差に基づいて取得される
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像は、フレーム間の圧縮を行っていない形式の動画を構成するフレームである
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記画像は、静止画である
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１２】
瞬間速度分布を測定する測定装置と、
請求項１乃至１１のいずれか１項に記載の画像処理装置と、
を有することを特徴とする測距装置。
【請求項１３】
前記測定装置は、ＦＭＣＷ方式のＬｉＤＡＲ装置であり、投射光の周波数と反射光の周波数との間のドップラー効果に起因する差に基づいて前記瞬間速度分布を測定する
ことを特徴とする請求項１２に記載の測距装置。
【請求項１４】
前記測定装置は、前記測定装置から被写体までの距離を示す距離分布と、投射した光による被写体からの反射光の強度を示す反射光強度分布とを更に測定する
ことを特徴とする請求項１２又は１３に記載の測距装置。
【請求項１５】
入射光に基づく画像を生成する撮像素子と、
請求項１乃至１１のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項１６】
空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、
前記第１領域の少なくとも一部を含む画像を取得するステップと、
前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、
を有することを特徴とする画像処理方法。
【請求項１７】
コンピュータに、
空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、
前記第１領域の少なくとも一部を含む画像を取得するステップと、
前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、測距装置、撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
画像の中の移動物体を検出する種々の手法が検討されている。特許文献１には、動画を構成する複数のフレームを用いて移動物体を検出する方法が開示されている。特許文献１の方法では、連続する３つのフレームＦｒ０、Ｆｒ１、Ｆｒ２に対し、フレームＦｒ０とフレームＦｒ１の差分Ａと、フレームＦｒ１とフレームＦｒ２との差分Ｂとを算出し、差分Ａと差分Ｂとの論理和を取得することで、画像中の移動物体を検出することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１７１４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されているような移動物体の検出方法では、動画のフレーム等の時間的に連続する複数の画像を処理に用いる必要があるため、１つの画像から移動物体を抽出することはできない。
【０００５】
本発明は、上述の課題に鑑みてなされたものであって、１つの画像から移動物体を抽出することができる画像処理装置、測距装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一観点によれば、空間内の第１領域の中の物体の瞬間速度分布を取得する第１取得部と、前記第１領域の少なくとも一部を含む画像を取得する第２取得部と、前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出する検出部と、を有することを特徴とする画像処理装置が提供される。
【０００７】
本発明の他の観点によれば、空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、前記第１領域の少なくとも一部を含む画像を取得するステップと、前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、を有することを特徴とする画像処理方法が提供される。
【０００８】
本発明の更に他の観点によれば、コンピュータに、空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、前記第１領域の少なくとも一部を含む画像を取得するステップと、前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、を実行させることを特徴とするプログラムが提供される。
【発明の効果】
【０００９】
本発明によれば、１つの画像から移動物体を抽出することができる画像処理装置、測距装置、撮像装置、画像処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る画像処理装置を含む物体検出システムの概略構成を示す模式図である。
【図２】第１実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。
【図３】第１実施形態に係る画像処理装置の機能ブロック図である。
【図４】第１実施形態に係る測距装置の機能ブロック図である。
【図５】第１実施形態に係る撮像装置の機能ブロック図である。
【図６】第１実施形態に係る画像処理装置、測距装置及び撮像装置により行われる処理の概略を示すシーケンス図である。
【図７】第１実施形態に係る測距装置により行われる処理の概略を示すフローチャートである。
【図８】測距の原理を示すグラフである。
【図９】瞬間速度測定の原理を示すグラフである。
【図１０】瞬間速度測定の原理を示すグラフである。
【図１１】第１実施形態に係る画像処理装置により行われる処理の概略を示すフローチャートである。
【図１２】トリミング処理の概略を示す模式図である。
【図１３】第２実施形態に係る物体検出システムの概略構成を示すブロック図である。
【図１４】第３実施形態に係る物体検出システムの概略構成を示すブロック図である。
【図１５】第４実施形態に係る画像処理装置の機能ブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
【００１２】
［第１実施形態］
図１は、第１実施形態に係る画像処理装置１０を含む物体検出システム１の概略構成を示す模式図である。物体検出システム１は、画像処理装置１０、測距装置２０及び撮像装置３０を含む。
【００１３】
測距装置２０は、例えばＬｉＤＡＲ（Light Detection and Ranging）装置であり、所定の範囲における測距装置２０からの距離、瞬間速度等の分布を取得することができる。撮像装置３０は、例えばデジタルカメラであり、所定の範囲の画像を取得することができる。これらの機能により、物体検出システム１は、対象物２の検出を行うことができる。
【００１４】
画像処理装置１０は、例えばコンピュータであり、測距装置２０により取得された情報に基づいて撮像装置３０により取得された画像の処理を行う。画像処理装置１０と測距装置２０の間及び画像処理装置１０と撮像装置３０の間は有線又は無線により通信可能に接続される。
【００１５】
物体検出システム１は、画像処理装置１０、測距装置２０及び撮像装置３０を統括的に制御する不図示の制御装置を更に含んでもよく、画像処理装置１０として機能するコンピュータが当該制御の機能を有していてもよい。また、物体検出システム１は、通信可能に接続された複数の装置により構成されていてもよく、１つの装置として構成されていてもよい。
【００１６】
図２は、本発明の第１実施形態に係る画像処理装置１０のハードウェア構成例を示すブロック図である。画像処理装置１０は、例えば、測距装置２０及び撮像装置３０と一体に構成されたコンピュータであり得る。また、画像処理装置１０は、測距装置２０及び撮像装置３０とは別の装置として構成されたコンピュータであってもよい。
【００１７】
画像処理装置１０は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３及びＨＤＤ（Hard Disk Drive）１０４を備える。また、画像処理装置１０は、通信Ｉ／Ｆ（インターフェース）１０５、表示装置１０６及び入力装置１０７を備える。ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、通信Ｉ／Ｆ１０５、表示装置１０６及び入力装置１０７は、バス１０８を介して相互に接続される。なお、表示装置１０６及び入力装置１０７は、これらの装置を駆動するための不図示の駆動装置を介してバス１０８に接続されてもよい。
【００１８】
図２では、画像処理装置１０を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、表示装置１０６及び入力装置１０７は、ＣＰＵ１０１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。
【００１９】
ＣＰＵ１０１は、ＲＯＭ１０３、ＨＤＤ１０４等に記憶されたプログラムに従って所定の動作を行うとともに、画像処理装置１０の各部を制御する機能をも有する。ＲＡＭ１０２は、揮発性記憶媒体から構成され、ＣＰＵ１０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１０３は、不揮発性記憶媒体から構成され、画像処理装置１０の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１０４は、不揮発性記憶媒体から構成され、画像データ、プログラム等の記憶を行う記憶装置である。
【００２０】
通信Ｉ／Ｆ１０５は、Ｗｉ−Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１０６は、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置１０７は、キーボード、ポインティングデバイス等であって、ユーザが画像処理装置１０を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル等が挙げられる。表示装置１０６及び入力装置１０７は、タッチパネルとして一体に形成されていてもよい。
【００２１】
なお、図１に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１０４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。
【００２２】
図３は、本実施形態に係る画像処理装置１０の機能ブロック図である。画像処理装置１０は、第１取得部１２１、第２取得部１２２、検出部１２３、座標設定部１２４、トリミング処理部１２５及び記憶部１２６を有する。
【００２３】
ＣＰＵ１０１は、ＲＯＭ１０３等に記憶されたプログラムをＲＡＭ１０２にロードして実行することにより、第１取得部１２１、第２取得部１２２、検出部１２３、座標設定部１２４及びトリミング処理部１２５の機能を実現する。これらの各部で行われる処理については後述する。ＣＰＵ１０１は、ＨＤＤ１０４を制御することにより記憶部１２６の機能を実現する。記憶部１２６は、測距装置２０から取得された距離、瞬間速度等の分布、撮像装置３０から取得した画像等の情報を記憶する。
【００２４】
図４は、本実施形態に係る測距装置２０の機能ブロック図である。図４には測距装置２０の構成の一例として、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式のＬｉＤＡＲ装置のブロック図が示されている。ＬｉＤＡＲ装置は、赤外光、可視光、紫外光等のレーザー光を投射し、反射光を取得する動作を繰り返して所定範囲を走査することにより、反射光強度分布、距離分布等を取得する装置である。また、図４に示す測距装置２０にはＦＭＣＷ方式が適用されている。そのため、測距装置２０は、ドップラー効果による周波数変化を測定することにより、瞬間速度分布を更に取得することができる。なお、ＬｉＤＡＲは、レーザーレーダーと呼ばれることもある。また、周波数変化の測定にドップラー効果を利用することから、瞬間速度分布は、対象物２から測距装置２０に向かう方向、あるいは、測距装置２０から遠ざかる方向の瞬間速度を示すものであることが望ましい。
【００２５】
測距装置２０は、反射鏡ユニット２０１、ＬＤ（Laser Diode）２０４、ＰＤ（Photodiode）２０５、２０６、フィルタ２０７、２０８、２０９、変調器２１０、復調器２１１、２１２、三角波発生器２１３、振幅・周期比較器２１４、２１５、モータ制御部２１６及び演算部２１７を有する。反射鏡ユニット２０１は、反射鏡２０２及びモータ２０３を有する。
【００２６】
三角波発生器２１３は、時間に対して電圧が増減を繰り返す三角波を生成する。三角波発生器２１３で生成された三角波は変調器２１０に出力される。また、当該三角波は振幅・周期等を参照するための参照信号として振幅・周期比較器２１４、２１５及び演算部２１７にも出力される。
【００２７】
変調器２１０は、ＶＣＯ（Voltage-Controlled Oscillator）等を含み、三角波発生器２１３で生成された三角波状の電圧の入力に応じた周波数変調波を生成する。生成された周波数変調波は、フィルタ２０７に入力される。フィルタ２０７は、周波数変調波の周波数を通過帯域とする帯域通過フィルタである。フィルタ２０７を通過した周波数変調波は、ＬＤ２０４に入力される。ＬＤ２０４は、入力された周波数変調波に基づくレーザー光を生成する。なお、ＬＤ２０４は、例えば、近赤外領域の波長のレーザー光を射出する赤外線通信用の発光素子である。
【００２８】
ＬＤ２０４から射出されたレーザー光は、反射鏡ユニット２０１に入射される。反射鏡ユニット２０１内の反射鏡２０２は、入射されたレーザー光を反射し、レーザー光が投射される方向を変化させる。モータ２０３は、例えばエンコーダ付きのＤＣ（Direct Current）モータであり、反射鏡２０２を回転させる。反射鏡２０２は、モータ２０３により回転駆動されることにより、レーザー光を所定範囲内で走査させることができる。レーザー光の一部は参照光としてＰＤ２０５に入射され、他の一部は測距装置２０の外部に投射される。
【００２９】
測距装置２０の外部に投射されたレーザー光が対象物２で反射され測距装置２０に再び入射すると、当該反射光は、ＰＤ２０６に入射される。なお、対象物２と測距装置２０との間の距離をｒとすると、反射光は参照光に対して光路が２ｒだけ長くなる。そのため、反射光がＰＤ２０６に入射される時刻は、光速をｃとすると、参照光がＰＤ２０５に入射される時刻よりも２ｒ／ｃだけ遅い時刻となる。
【００３０】
ＰＤ２０５、２０６は、例えば、ＬＤ２０４と同程度の波長の光を受光して電荷に変換する赤外線通信用の光電変換素子である。ＰＤ２０５、２０６に光が入射すると、生成された電荷に基づく電圧の変化が電気信号として後段のフィルタ２０８、２０９に伝達される。フィルタ２０８、２０９も、フィルタ２０７と同様に、三角波発生器２１３で生成された周波数変調波の周波数を通過帯域とする帯域通過フィルタである。フィルタ２０８を通過した周波数変調波は、復調器２１１に入力され、フィルタ２０９を通過した周波数変調波は、復調器２１２に入力される。
【００３１】
復調器２１１、２１２は、ＰＬＬ（Phase-Locked Loop）等を含み、入力された周波数変調波を復調する。周波数変調波は三角波発生器２１３で生成された三角波に基づくものであるため、復調器２１１、２１２により復調された信号は三角波となる。復調器２１１における復調により得られた三角波は振幅・周期比較器２１４に入力され、復調器２１２における復調により得られた三角波は振幅・周期比較器２１５に入力される。
【００３２】
振幅・周期比較器２１４、２１５は、ビート信号を生成するミキサ等を含む。振幅・周期比較器２１４は、三角波発生器２１３から出力される三角波の振幅・周期と、復調器２１１から出力される三角波の振幅・周期とを比較する。振幅・周期比較器２１４での比較結果は、演算部２１７に出力される。振幅・周期比較器２１５は、三角波発生器２１３から出力される三角波の振幅・周期と、復調器２１２から出力される三角波の振幅・周期とを比較する。振幅・周期比較器２１５での比較結果は、演算部２１７に出力される。ここで、比較結果とは、２つの入力信号の振幅・周期の差又は比であり得る。
【００３３】
演算部２１７は、振幅・周期比較器２１４から出力された参照光に基づく信号と、三角波発生器２１３から出力される三角波とを用いて、振幅・周期比較器２１５から出力された反射光に基づく信号を補正する演算を行う。これにより演算部２１７は、反射光の強度、測距装置２０と対象物２との距離及び対象物２の瞬間速度を算出する。測距装置２０は、レーザー光を所定範囲内に走査させて反射光の強度、距離及び瞬間速度を測定することにより、これらを２次元状の反射光強度分布、距離分布及び瞬間速度分布として画像処理装置１０に出力する。
【００３４】
振幅・周期比較器２１４から出力される参照光の情報はモータ制御部２１６にも出力される。モータ制御部２１６は、振幅・周期比較器２１４から取得した情報と、モータ２０３に設けられたエンコーダから取得した情報とに基づき、反射鏡２０２の現在の位置、回転速度等を算出する。モータ制御部２１６は、反射鏡２０２の現在の位置、回転速度等の情報に基づき、モータ２０３の回転速度を増加又は低下させる制御を行うことで、反射鏡２０２の回転速度を所定の値に安定化させる。
【００３５】
フィルタ２０７、２０８、２０９、変調器２１０、復調器２１１、２１２、三角波発生器２１３、振幅・周期比較器２１４、２１５、モータ制御部２１６及び演算部２１７の一部又は全部は、一体の回路として形成されていてもよい。ここで、一体の回路とは、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）であり得る。
【００３６】
図５は、本実施形態に係る撮像装置３０の機能ブロック図である。図５には撮像装置３０の構成の一例として、レンズ及び本体が一体となっているデジタルスチルカメラのブロック図が示されている。撮像装置３０は、対象物２を含む所定の範囲（所定の画角）の画像をデジタルデータとして取得する。
【００３７】
撮像装置３０は、レンズユニット３０１、撮像素子３０２、信号処理部３０３、撮像装置制御部３０４、外部Ｉ／Ｆ３０５及び記録媒体３０６を有する。撮像装置制御部３０４は、撮像装置３０全体を制御する。レンズユニット３０１は、対象物２からの光を撮像素子３０２に導く光学系であり、１又は２以上のレンズを含む。また、レンズユニット３０１は、絞り、ズームレンズ、光学フィルタ、メカニカルシャッタ等の光学部材を更に含んでもよい。
【００３８】
撮像素子３０２は、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等であり得る。撮像素子３０２の撮像面には複数の画素が２次元状に配列されている。撮像素子３０２は、撮像面に投影された所定の画角の光学像に基づく画像信号を生成する。
【００３９】
信号処理部３０３は、ＤＳＰ（Digital Signal Processor）等のプロセッサであり得る。信号処理部３０３は、撮像素子３０２で生成された画像信号に対し、補正、圧縮等の処理を行い、画像データを生成する。生成された画像データは、フラッシュメモリ等により構成された不揮発性の記録媒体３０６に記憶される。外部Ｉ／Ｆ３０５は、記録媒体３０６に記憶された画像データを画像処理装置１０に出力する。
【００４０】
図６は、第１実施形態に係る画像処理装置１０、測距装置２０及び撮像装置３０により行われる処理の概略を示すシーケンス図である。図６を参照しつつ、処理の概略を説明する。
【００４１】
ステップＳ１０において、測距装置２０は、所定の範囲内の反射光強度分布、距離分布及び瞬間速度分布を取得する。これらの分布に関する情報は、総称として分布情報と呼ばれることもある。また、分布情報を取得する所定の範囲は、第１領域と呼ばれることもある。
【００４２】
ステップＳ２０において、撮像装置３０は、反射光強度分布、距離分布及び瞬間速度分布を取得した範囲の少なくとも一部を含む範囲内の画像を撮影する。なお、図６では、ステップＳ１０の後にステップＳ２０が行われるように図示されているが、ステップＳ１０とステップＳ２０の順序は逆であってもよく、これらが並行して行われてもよい。
【００４３】
ステップＳ３０において、測距装置２０は、画像処理装置１０に分布情報を送信する。ステップＳ４０において、撮像装置３０は、画像処理装置１０に画像を送信する。なお、図６では、ステップＳ３０の後にステップＳ４０が行われるように図示されているが、ステップＳ３０とステップＳ４０の順序は逆であってもよく、これらが並行して行われてもよい。
【００４４】
ステップＳ５０において、画像処理装置１０は、少なくとも瞬間速度分布に基づいて画像の中から移動物体を検出する。検出された移動物体を含む画像中の範囲は、第２領域と呼ばれることもある。
【００４５】
ステップＳ６０において、画像処理装置１０は、第２領域に対する画像処理を行う。ここで、画像処理の例としては、画像から第２領域を含む範囲を切り出して移動物体画像を生成するトリミング処理が挙げられる。
【００４６】
図７乃至図１０を参照して、測距装置２０において行われる処理をより具体的に説明する。図７は、第１実施形態に係る測距装置２０により行われる処理の概略を示すフローチャートである。図８は、測距の原理を示すグラフである。図９及び図１０は、瞬間速度測定の原理を示すグラフである。
【００４７】
図７のステップＳ１０１からステップＳ１０４は、図６のステップＳ１０に対応する処理である。図７のステップＳ１０５は、図６のステップＳ３０に対応する処理である。ステップＳ１０１において、測距装置２０は、近赤外光等の周波数帯域のレーザー光を投射する。ステップＳ１０２において、測距装置２０は、対象物２から反射された反射光を受光する。
【００４８】
ステップＳ１０３において、測距装置２０は、参照光、反射光等に基づく信号を用いて反射光強度、距離及び瞬間速度を算出する。ここで、ＦＭＣＷ方式による距離及び瞬間速度の算出方法について図８乃至図１０を参照して説明する。
【００４９】
まず、図８を参照しつつ距離の算出方法を説明する。図８のグラフは、参照光に基づく三角波の一部、反射光に基づく三角波の一部及びこれらのビートの周波数の時間変化を示している。図８より、参照光に基づく三角波は、時刻ｔ０において周波数ｆ０であり、時間の経過とともに線形に周波数が増加する。その後、時間Ｔが経過した時刻ｔ０＋Ｔにおいて、周波数ｆ０＋Ｆとなる。すなわち、参照光に基づく三角波の傾きはＦ／Ｔである。三角波の傾きＦ／Ｔの値は、三角波発生器２１３で生成される三角波により定まるため、既知である。反射光に基づく三角波は、上述のように、参照光よりも時間Δｔ（＝２ｒ／ｃ）だけ遅れて入力されるため、図８に示されるように、参照光を横方向に時間Δｔだけシフトした波形となる。なお、図８において、対象物２は動いておらず、ドップラー効果による波形のシフトはないものとしている。
【００５０】
時間Δｔは極めて短い時間であるため、時間Δｔ自体を高精度に測定することは困難な場合があるが、周波数Δｆはミキサ等によりビートを生成することで比較的高精度に測定することができる。そこで、参照光に基づく三角波と反射光に基づく三角波とを混合してビートを生成して、そのビートの周波数を測定することで、参照光の周波数と反射光の周波数の差Δｆを取得する。ΔｆとΔｔの比は、図８から明らかなように、ＦとＴの比と一致する。そのため、Δｔは、ビートから得られたΔｆと、既知の（Ｆ／Ｔ）の値を用いて、Δｔ＝Δｆ／（Ｆ／Ｔ）と表すことができる。上述のΔｔ＝２ｒ／ｃの関係を考慮すると、測距装置２０から対象物２までの距離は、以下の式（１）で表される。
【数１】
2019135446.tif 000003
【００５１】
したがって、時間の経過とともに線形に周波数が増加するように周波数変調された光を投射し、反射光に基づく信号と参照光に基づく信号のビートの周波数を測定することにより測距を行うことができる。
【００５２】
次に、図９及び図１０を参照しつつ瞬間速度の算出方法を説明する。図９及び図１０は、三角波の１周期分を含むように、図８に示したグラフをより広い時間範囲で示したグラフである。図９は、対象物２の瞬間速度がゼロである場合の周波数の時間変化を示している。図９より理解できるように、ビート周波数は、三角波の頂点付近を除き、Δｆで一定である。
【００５３】
図１０は、対象物２が測距装置２０に向かう方向に動いている場合の周波数の時間変化を示している。測距装置２０から投射された光は、対象物２で反射する際にドップラー効果により周波数が高くなる。これにより、三角波の周波数上昇時と下降時とで、ビート周波数がΔｆ１とΔｆ２の２種類の値を繰り返す。ドップラー効果による周波数変動量をΔｆｄとすると、Δｆｄ＝（Δｆ２−Δｆ１）／２で表される。また、上述の式（１）におけるΔｆは、Δｆ＝（Δｆ１＋Δｆ２）／２で表される。したがって、ビート周波数としてΔｆ１とΔｆ２を取得することにより、対象物２が動いている場合においても式（１）に基づいて距離ｒを算出することができる。更に、Δｆｄを光のドップラー効果の公式に入力することにより対象物２の瞬間速度を算出することができる。このように、本実施形態の測距装置２０は、ＦＭＣＷ方式を用いたＬｉＤＡＲ装置であるため、距離分布及び瞬間速度分布を取得することができる。また、反射光に基づく信号の強度に基づき、本実施形態の測距装置２０は、反射光強度分布を取得することができる。
【００５４】
図７のステップＳ１０４において、測距装置２０は、所定範囲内における反射光強度分布、距離分布及び瞬間速度分布の取得が完了しているか否かを判断する。これらの取得が完了していない場合（ステップＳ１０４においてＮＯ）、処理はステップＳ１０１に移行し、光を照射する位置を変えて異なる測定点の反射光強度、距離及び瞬間速度の測定を行う。これらの取得が完了している場合（ステップＳ１０４においてＹＥＳ）、処理はステップＳ１０５に移行する。このように、ステップＳ１０１からステップＳ１０４のループにおいては、反射光強度分布、距離分布及び瞬間速度分布の取得のための走査が行われる。
【００５５】
ステップＳ１０５において、測距装置２０は、画像処理装置１０に反射光強度分布、距離分布及び瞬間速度分布（分布情報）を送信する。
【００５６】
図１１及び図１２を参照して、画像処理装置１０において行われる処理をより具体的に説明する。図１１は、第１実施形態に係る画像処理装置１０により行われる処理の概略を示すフローチャートである。図１２は、トリミング処理の概略を示す模式図である。
【００５７】
図１１のステップＳ２０１は、図６のステップＳ３０及び図７のステップＳ１０５に対応する処理である。図１１のステップＳ２０２は、図６のステップＳ４０に対応する処理である。図１１のステップＳ２０３は、図６のステップＳ５０に対応する処理である。図１１のステップＳ２０４及びステップＳ２０５は、図６のステップＳ６０に対応する処理である。
【００５８】
ステップＳ２０１において、画像処理装置１０の第１取得部１２１は、測距装置２０から空間内の第１領域の中の分布情報を取得する。取得された分布情報は、記憶部１２６に記憶され、後続の処理において、適宜記憶部１２６から読み出されて用いられる。ここで、分布情報は、少なくとも瞬間速度分布を含む。
【００５９】
ステップＳ２０２において、画像処理装置１０の第２取得部１２２は、測距装置２０から第１領域の少なくとも一部を含む画像を取得する。取得された画像は、記憶部１２６に記憶され、後続の処理において、適宜記憶部１２６から読み出されて用いられる。ステップＳ２０１とステップＳ２０２の順序は逆であってもよく、これらが並行して行われてもよい。
【００６０】
ステップＳ２０３において、画像処理装置１０の検出部１２３は、瞬間速度分布に基づいて、画像に含まれる移動物体を示す移動物体領域（第２領域）を検出する。ステップＳ２０３の処理について図１２を参照してより詳細に説明する。
【００６１】
図１２の上段には第１領域における瞬間速度分布９１が示されている。瞬間速度分布９１は、瞬間速度の２次元分布が示されており、所定の閾値よりも大きい瞬間速度を有する部分がハッチングで示されている。図１２より、瞬間速度分布９１内に、人型の移動物体９２が存在することがわかる。なお、ここでの瞬間速度を有する部分の判別は閾値に基づくものでなくてもよく、例えば、瞬間速度の微分値等を用いたエッジ抽出処理を行い、エッジに囲まれた領域を所定の瞬間速度を有する部分と判別するものであってもよい。
【００６２】
図１２の中段には、画像９３が示されている。画像９３は、静止画又は動画のうちの１フレームである。画像９３のみを参照した場合、画像９３の中のどの領域に移動物体があるのかを判別することは難しい。例えば、画像９３の情報のみに基づいて画像９３内の人型の部分が移動物体であることを判定することは困難である。そこで、検出部１２３は、瞬間速度分布９１を参照して、画像９３の中から移動物体９２に対応する領域を検出する。この検出は、例えば、瞬間速度分布９１内の移動物体９２の形状と類似する形状を画像９３内から探索することにより行われる。このようにして、移動物体９２に対応する領域として、画像９３内に人型の移動物体領域９４が検出される。
【００６３】
ステップＳ２０４において、座標設定部１２４は、瞬間速度分布９１内の移動物体９２の座標と、画像９３内の移動物体領域９４の座標との対応付けを行う。これにより、例えば、瞬間速度分布９１を取得した範囲と画像９３を取得した範囲との位置又は大きさが一致していない場合であっても、画像９３内の移動物体領域９４の範囲を明らかにすることができる。
【００６４】
ステップＳ２０５において、トリミング処理部１２５は、画像９３の一部を移動物体領域９４が含まれるようにトリミングして移動物体画像９５を生成する。生成された移動物体画像９５は、記憶部１２６に記憶され、必要に応じて画像処理装置１０から外部に出力可能である。このようにして、本処理によれば、移動物体領域９４のみ、あるいは、移動物体領域９４及びその近傍のみを含む移動物体画像９５を取得することができる。
【００６５】
本実施形態によれば、動画のフレーム等の時間的に連続する複数の画像を処理に用いることなく、１つの画像から移動物体を抽出することができる画像処理装置１０が提供される。
【００６６】
ここで、１つの画像から移動物体を抽出することの効果についてより具体的に説明する。複数の画像を比較して移動物体を検出する手法では、扱う情報量が多くなるため処理負荷が大きくなり得る。撮像装置から他の処理装置に複数の画像を送信して、他の処理装置で移動物体を検出する処理を行うことで処理を高速化する手法も考えられるが、この場合、複数の画像を送信することが必要になるため、通信負荷の増大を招き得る。これに対し、本実施形態では、処理に用いる画像は１つにすることができ、処理に用いる画像の個数を少なくすることができる。本実施形態の処理に用いられる瞬間速度分布は、画像に比べると情報量が小さい場合が多い。そのため、上述の要因による処理負荷、通信負荷の影響が低減される。
【００６７】
移動物体のトリミングを行う際には、移動物体の全体が含まれるように余裕を持ったトリミングを行う必要があるため、移動物体の輪郭の検出精度が高いほどトリミング後の画像のサイズを小さくすることができる。本実施形態の手法では、瞬間速度を直接測定しているため、複数の画像の差分等から移動物体を推測して検出するような間接的な手法に比べ移動物体の検出精度が向上し得る。そのため、移動物体の輪郭を高精度に検出でき、トリミング後の移動物体画像の情報量を更に小さくすることができる。したがって、他の装置に移動物体画像を送信する際の通信負荷を低減することができる。
【００６８】
ステップＳ２０３における移動物体領域９４の検出において、瞬間速度分布９１に加えて、更に距離分布を用いてもよい。移動物体領域９４とその他の領域とが等距離である場合は少なく、通常は両者の距離に差がある。したがって、距離分布においても移動物体の輪郭を検出可能な場合がある。そこで、瞬間速度分布９１と距離分布の情報を総合して移動物体領域９４の検出を行うことで、更に検出精度が向上し得る。
【００６９】
また、ステップＳ２０３における移動物体領域９４の検出において、更に反射光強度分布を用いてもよい。移動物体領域９４とその他の領域とが偶然同じ反射率であることは少なく、通常は反射率にも差がある。したがって、反射光強度分布においても移動物体の輪郭を検出可能な場合がある。そこで、瞬間速度分布９１と反射光強度分布の情報を総合して移動物体領域９４の検出を行うことで、更に検出精度が向上し得る。
【００７０】
処理に用いられる画像は、画質向上のため、静止画、あるいは、フレーム間の圧縮を行っていない形式の動画を構成するフレームのいずれかであることが望ましい。フレーム間の圧縮を行う形式であるＭＰＥＧ４（Moving Picture Experts Group 4）等の動画から１つのフレームを取り出して本処理に用いる場合、フレーム間の圧縮に起因する画質劣化が生じ得る。これに対し、静止画、あるいは、フレーム間の圧縮を行っていない形式の動画から１つのフレームを取り出して本処理に用いる場合、この画質劣化は生じないためである。なお、フレーム間の圧縮を行っていない形式の動画は、例えば、Ｍｏｔｉｏｎ  ＪＰＥＧ（Joint Photographic Experts Group）であり得る。
【００７１】
［第２実施形態］
本発明の第２実施形態として、測距装置４０に画像処理装置１０が組み込まれている場合の構成例を説明する。第１実施形態と共通する要素についての説明は省略又は簡略化する。
【００７２】
図１３は、第２実施形態に係る物体検出システム１の概略構成を示す模式図である。物体検出システム１は、測距装置４０及び撮像装置３０を含む。測距装置４０は、画像処理装置１０及び測定装置５０を含む。測定装置５０は、例えば第１実施形態で述べた測距装置２０に相当するＦＭＣＷ方式のＬｉＤＡＲ装置であり得る。測距装置４０に含まれている画像処理装置１０は、第１実施形態の画像処理装置１０と同様の処理を行う。
【００７３】
本実施形態の測距装置４０に画像処理装置１０が組み込まれている構成においても、第１実施形態と同様の効果を得ることができる。したがって、動画のフレーム等の時間的に連続する複数の画像を処理に用いることなく、１つの画像から移動物体を抽出することができる測距装置４０が提供される。
【００７４】
［第３実施形態］
本発明の第３実施形態として、撮像装置６０に画像処理装置１０が組み込まれている場合の構成例を説明する。第１実施形態と共通する要素についての説明は省略又は簡略化する。
【００７５】
図１４は、第３実施形態に係る物体検出システム１の概略構成を示す模式図である。物体検出システム１は、測距装置２０及び撮像装置６０を含む。撮像装置６０は、画像処理装置１０及び撮像素子を備えたカメラユニット７０を含む。カメラユニット７０は、例えば第１実施形態で述べた撮像装置３０に対応するデジタルスチルカメラであり得る。撮像装置６０に含まれている画像処理装置１０は、第１実施形態の画像処理装置１０と同様の処理を行う。
【００７６】
本実施形態の撮像装置６０に画像処理装置１０が組み込まれている構成においても、第１実施形態と同様の効果を得ることができる。したがって、動画のフレーム等の時間的に連続する複数の画像を処理に用いることなく、１つの画像から移動物体を抽出することができる撮像装置６０が提供される。
【００７７】
上述の実施形態において説明したシステムは以下の第４実施形態のようにも構成することができる。
【００７８】
［第４実施形態］
図１５は、第４実施形態に係る画像処理装置８００の機能ブロック図である。画像処理装置８００は、第１取得部８２１、第２取得部８２２及び検出部８２３を備える。第１取得部８２１は、空間内の第１領域の中の物体の瞬間速度分布を取得する。第２取得部８２２は、第１領域の少なくとも一部を含む画像を取得する。検出部８２３は、瞬間速度分布に基づいて、画像に含まれる移動物体を示す第２領域を検出する。
【００７９】
本実施形態によれば、１つの画像から移動物体を抽出することができる画像処理装置が提供される。
【００８０】
［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
【００８１】
上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ、ＦＰＧＡ等の回路であってもよい。
【００８２】
該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【００８３】
上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。
【００８４】
なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００８５】
上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００８６】
（付記１）
空間内の第１領域の中の物体の瞬間速度分布を取得する第１取得部と、
前記第１領域の少なくとも一部を含む画像を取得する第２取得部と、
前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出する検出部と、
を有することを特徴とする画像処理装置。
【００８７】
（付記２）
前記瞬間速度分布は、前記瞬間速度分布を測定する測定装置に向かう方向又は前記測定装置から遠ざかる方向の瞬間速度の大きさを示す分布である
ことを特徴とする付記１に記載の画像処理装置。
【００８８】
（付記３）
前記検出部は、前記瞬間速度分布の中の瞬間速度が所定の閾値よりも大きい領域を含むように前記第２領域を検出する
ことを特徴とする付記１又は２に記載の画像処理装置。
【００８９】
（付記４）
前記検出部は、前記瞬間速度分布の中の瞬間速度のエッジを検出し、前記エッジを含む領域を前記第２領域として検出する
ことを特徴とする付記１又は２に記載の画像処理装置。
【００９０】
（付記５）
前記第１領域の座標と、前記画像の座標との対応付けを行う座標設定部を更に備える
ことを特徴とする付記１乃至４のいずれか１項に記載の画像処理装置。
【００９１】
（付記６）
前記画像の一部を前記第２領域が含まれるようにトリミングすることにより移動物体画像を生成するトリミング処理部を更に備える
ことを特徴とする付記１乃至５のいずれか１項に記載の画像処理装置。
【００９２】
（付記７）
前記第１取得部は、更に、前記瞬間速度分布を測定する測定装置から被写体までの距離を示す距離分布を取得し、
前記検出部は、更に、前記距離分布に基づいて、前記第２領域を検出する
ことを特徴とする付記１乃至６のいずれか１項に記載の画像処理装置。
【００９３】
（付記８）
前記第１取得部は、更に、前記第１領域に投射した光による被写体からの反射光の強度を示す反射光強度分布を取得し、
前記検出部は、更に、前記反射光強度分布に基づいて、前記第２領域を検出する
ことを特徴とする付記１乃至７のいずれか１項に記載の画像処理装置。
【００９４】
（付記９）
前記瞬間速度分布は、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式のＬｉＤＡＲ（Light Detection and Ranging）装置を用いて測定された、投射光の周波数と反射光の周波数とのドップラー効果に起因する差に基づいて取得される
ことを特徴とする付記１乃至８のいずれか１項に記載の画像処理装置。
【００９５】
（付記１０）
前記画像は、フレーム間の圧縮を行っていない形式の動画を構成するフレームである
ことを特徴とする付記１乃至９のいずれか１項に記載の画像処理装置。
【００９６】
（付記１１）
前記画像は、静止画である
ことを特徴とする付記１乃至９のいずれか１項に記載の画像処理装置。
【００９７】
（付記１２）
瞬間速度分布を測定する測定装置と、
付記１乃至１１のいずれか１項に記載の画像処理装置と、
を有することを特徴とする測距装置。
【００９８】
（付記１３）
前記測定装置は、ＦＭＣＷ方式のＬｉＤＡＲ装置であり、投射光の周波数と反射光の周波数との間のドップラー効果に起因する差に基づいて前記瞬間速度分布を測定する
ことを特徴とする付記１２に記載の測距装置。
【００９９】
（付記１４）
前記測定装置は、前記測定装置から被写体までの距離を示す距離分布と、投射した光による被写体からの反射光の強度を示す反射光強度分布とを更に測定する
ことを特徴とする付記１２又は１３に記載の測距装置。
【０１００】
（付記１５）
入射光に基づく画像を生成する撮像素子と、
付記１乃至１１のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【０１０１】
（付記１６）
空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、
前記第１領域の少なくとも一部を含む画像を取得するステップと、
前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、
を有することを特徴とする画像処理方法。
【０１０２】
（付記１７）
コンピュータに、
空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、
前記第１領域の少なくとも一部を含む画像を取得するステップと、
前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、
を実行させることを特徴とするプログラム。
【符号の説明】
【０１０３】
１０、８００        画像処理装置
１２１、８２１      第１取得部
１２２、８２２      第２取得部
１２３、８２３      検出部
１２４              座標設定部
１２５              トリミング処理部
１２６              記憶部
【図１】
2019135446.tif 000004
【図２】
2019135446.tif 000005
【図３】
2019135446.tif 000006
【図４】
2019135446.tif 000007
【図５】
2019135446.tif 000008
【図６】
2019135446.tif 000009
【図７】
2019135446.tif 000010
【図８】
2019135446.tif 000011
【図９】
2019135446.tif 000012
【図１０】
2019135446.tif 000013
【図１１】
2019135446.tif 000014
【図１２】
2019135446.tif 000015
【図１３】
2019135446.tif 000016
【図１４】
2019135446.tif 000017
【図１５】
2019135446.tif 000018