(57)【要約】【課題】カメラの露光条件が変化しても、背景差分方式で物体を適切に検知できる画像処理システムおよびカメラシステムを提供する。【解決手段】カメラシステムは、画像処理システム１００を備える。画像処理システム１００は、第１の元画像および第２の元画像を取得する、元画像取得部１０１と、各元画像に係る露光条件に応じ、第１の元画像との輝度値の差分が小さくなるように第２の元画像の輝度値を補正することにより、輝度補正画像を取得する、輝度補正部１０４と、輝度補正画像に基づき、背景差分を取得することにより物体を検知する、背景差分方式の物体検知部１０５とを備える。【選択図】図２
2020119176.tif 000002
【特許請求の範囲】
【請求項１】
画像処理システムであって、
第１の元画像および第２の元画像を取得する、元画像取得部と、
各前記元画像に係る露光条件に応じ、前記第１の元画像との輝度値の差分が小さくなるように前記第２の元画像の輝度値を補正することにより、輝度補正画像を取得する、輝度補正部と、
前記輝度補正画像に基づき、背景差分を取得することにより物体を検知する、背景差分方式の物体検知部と、
を備える、画像処理システム。
【請求項２】
請求項１に記載の画像処理システムであって、
前記輝度補正部は、各前記元画像に係る露光条件に応じ、前記第２の元画像の輝度値をビットシフトする、画像処理システム。
【請求項３】
請求項１に記載の画像処理システムであって、
前記輝度補正部は、各前記元画像に係る露光条件に応じ、前記第２の元画像の輝度値のビット数を低減する、画像処理システム。
【請求項４】
請求項１に記載の画像処理システムであって、
前記元画像取得部は、複数の異なる位置に係る第１の元画像および第２の元画像を取得し、
各前記元画像は、ステレオ領域および単眼領域を含み、前記ステレオ領域は、異なる位置に係る元画像間で画角が重複する領域であり、前記単眼領域は、異なる位置に係る元画像間で画角が重複しない領域であり、
前記画像処理システムは、各前記元画像の前記ステレオ領域に基づいて前記露光条件を決定する、露光条件調整部を備え、
前記輝度補正部は、前記第１の元画像との、前記単眼領域における前記輝度値の差分が小さくなるように前記第２の元画像の輝度値を補正することにより、前記輝度補正画像を取得する、
画像処理システム。
【請求項５】
請求項１に記載の画像処理システムであって、
前記露光条件は、露光時間を表す情報を含み、
前記輝度補正部は、前記第２の元画像に係る露光時間に対する前記第１の元画像に係る露光時間の比を、前記第２の元画像の輝度値に乗算する、
画像処理システム。
【請求項６】
請求項５に記載の画像処理システムであって、
前記輝度補正部は、前記乗算に係る演算を、各前記元画像に係る露光条件に応じ、前記第２の元画像の輝度値をビットシフトすることを介して実行する、画像処理システム。
【請求項７】
請求項５に記載の画像処理システムであって、
前記輝度補正部は、前記乗算に係る演算を、各前記元画像に係る露光条件に応じ、前記第２の元画像の輝度値のビット数を低減することを介して実行する、画像処理システム。
【請求項８】
請求項１に記載の画像処理システムであって、
前記画像処理システムは、さらに、前記元画像のいずれかに基づき、背景差分を取得することなしに物体を検知する、非背景差分方式の物体検知部を備え、
前記非背景差分方式の物体検知部は、前記背景差分方式の物体検知部とは異なる物体検知部である、
画像処理システム。
【請求項９】
請求項１に記載の画像処理システムと、カメラとを備え、
前記元画像はカメラのシャッタ画像である、
カメラシステム。
【請求項１０】
請求項１に記載の画像処理システムと、ステレオカメラとを備え、
前記元画像取得部は、前記ステレオカメラにおける複数の撮像部それぞれにおいて撮像された、異なる時刻に係る複数の元画像を取得し、
前記元画像は前記撮像部のシャッタ画像である、
カメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理システムおよびカメラシステムに関する。
【背景技術】
【０００２】
カメラによって撮像された画像等に基づき、画像中で移動する物体を検知するための様々な技術が公知である。このような技術の例は、特許文献１および２に記載される。
【０００３】
特許文献１に記載された技術では、「移動物体を追跡する処理手段として、背景差分処理手段とテンプレートマッチング処理手段があり、この２つの処理を、環境変動検出手段による監視領域の照明変動検出結果、記憶部に記憶された背景画像の安定度に基づいて、適宜切り替える。」、「環境変動検出手段が監視領域内の照明変動を検出すると、追跡処理切替手段が移動物体の追跡処理を背景差分処理から本テンプレートマッチング処理に切り替えるとともに入力画像を照明補償して、移動物体の追跡を継続する。」、「移動物体の抽出は背景差分処理法の方が安定度に優れ、処理負荷も少ない。しかし、照明変動により入力画像が不安定な状態となった場合は、背景差分処理はできなくなる。これはテンプレートマッチングの処理も同様であるが、入力画像を補償して輝度値を変化前の画像に近似した画像にすることでテンプレートマッチング処理は実行可能となる。一方、背景差分処理では照明補償しても全ての画素で正確に補正できるわけではないため、移動物体以外の領域まで背景差分領域として抽出してしまい実行が、困難である。」と記載されている。
【０００４】
また、特許文献２には、「照度変化に対応して背景画像を作成し直す際に、移動体により遮られたために背景が作成できない領域の画像（図１（Ｃ）のＰ２）の輝度値を、照度変化前の背景画像（図１（Ａ））、変化後の照度における撮影画像（図１（Ｂ））双方における同一画素位置の輝度値の関係から近似式として求めた変換式（照度変化前の輝度値を変化後の値に変換）によって照度変化後に使用する背景画像の尤もらしい値として推測し、得られた推測値で補完する」ことが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−０６０１６７号公報
【特許文献２】特開２０１１−０７０５７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の技術では、カメラの露光条件が変化した場合に、背景差分方式で物体を検知することが困難であるという課題があった。
【０００７】
たとえば、特許文献１の技術では、入力画像の照明条件が変化した場合には、物体検知に背景差分方式を用いないよう切り替えられる。また、特許文献２の技術では、予め基準となる背景画像を準備しておく必要があり、応用範囲が限られる。たとえば、カメラが移動したり向きが変化する場合には対応できない。
【０００８】
本発明は、上記のような課題に鑑みてなされたものであり、カメラの露光条件が変化しても、背景差分方式で物体を適切に検知できる画像処理システムおよびカメラシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る画像処理システムは、
第１の元画像および第２の元画像を取得する、元画像取得部と、
各前記元画像に係る露光条件に応じ、前記第１の元画像との輝度値の差分が小さくなるように前記第２の元画像の輝度値を補正することにより、輝度補正画像を取得する、輝度補正部と、
前記輝度補正画像に基づき、背景差分を取得することにより物体を検知する、背景差分方式の物体検知部と、
を備える。
【発明の効果】
【００１０】
本発明に係る画像処理システムおよびカメラシステムによれば、カメラの露光条件が変化しても、背景差分方式で物体を適切に検知できる。このため、たとえば露光条件を変化させながら動作させる必要のある、車載カメラでも、移動する物体を適切に検知することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１に係るカメラシステムの構成の例を示すブロック図である。
【図２】図１の画像処理システムの構成の例を示すブロック図である。
【図３】図２の輝度補正部による輝度値の演算の具体例を示す図である。
【図４】背景差分方式による物体検知原理を示す図である。
【図５】移動体の撮像されていない背景画像を用いない、背景差分方式による物体検知原理を示す図である。
【図６】３枚以上の画像にわたって連続して物体検知処理を行う場合の輝度の補正について説明する図である。
【図７】本発明の実施例２に係るカメラシステムの構成の例を示すブロック図である。
【図８】実施例２のステレオカメラに係るセンサ部の視野画角について説明する図である。
【図９】実施例２に係る画像処理システムの構成の例を示すブロック図である。
【図１０】実施例２に係る輝度補正部によるビット演算の例を説明する図である。
【図１１】背景差分方式の物体検知部について、より詳細な構成の例を示すブロック図である。
【図１２】視差方式の物体検知部について、より詳細な構成の例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、この発明の実施例を添付図面に基づいて説明する。
［実施例１］
本発明の実施例１に係る画像処理システムは、画像（たとえばカメラで撮像されたシャッタ画像）中において、背景差分方式で検知を行うものであり、たとえば移動体を検知することができる。この「移動体」とは、背景に対して動いているものを指す。ただし、「背景」とは、画像中で変化しない画素からなる領域に限らない。例えば前方センシングを行う車載カメラの場合には、路面が背景の例であり、路面に対して移動を行う歩行者や車両が移動体の例である。また例えば固定された監視カメラであれば、カメラ画像内で動く人物や動物、動かされる物、等が移動体の例である。
【００１３】
図１は、本実施例に係るカメラシステムの構成の例を示すブロック図である。カメラシステムは、センサ部１０と画像処理システム１００とを備える。センサ部１０および画像処理システム１００は、相互に通信可能に接続される。センサ部１０は撮像センサを含む撮像部であり、たとえば公知のカメラとして構成される。撮像センサにはレンズが取り付けられ、装置の外界を撮像する。撮像センサは、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を備える撮像センサであり、光を電気信号に変換するものである。
【００１４】
センサ部１０の撮像センサで電気信号に変換された情報は、さらにセンサ部１０内で、画像を表す画像データに変換される。画像データは画素の輝度値を含む。輝度値は、たとえばデジタル値として表現することができ、ＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）やＲＣ（Ｒｅｄ  Ｃｌｅａｒ）等の色毎の輝度値や、モノクロの輝度値として表される。センサ部１０は、画像データを画像処理システム１００に送信する。
【００１５】
センサ部１０は、撮像センサの露光条件を変更する機能を備える。たとえば、撮像センサにグローバルシャッタまたはローリングシャッタ等の電子シャッタが備わっており、露光時間を任意の時間に設定して撮影することができる。受光素子として、受光すると電荷が蓄積されるフォトダイオードを用いる場合には、露光時間は、フォトダイオードの蓄積電荷をリセットしてから、輝度値に係る情報を読み出すために電荷を取り出すまでの時間を指す。
【００１６】
露光時間を長くすると電荷が多く蓄積されるので、読み出される輝度値が高くなる。一方で露光時間を短くすると蓄えられる電荷が少なくなるので、読み出される輝度が低くなる。そのため、露光時間に相関して、撮像センサから得られる画像の明るさが変化する。
【００１７】
センサ部１０では、フォトダイオードから取り出される電荷量を電圧に変換し、Ａ／Ｄ（Ａｎａｌｏｇ  Ｄｉｇｉｔａｌ）変換を行ってデジタル値を取得する。センサ部１０はＡ／Ｄ変換に用いる増幅器を備えており、露光条件の一部として増幅器のゲインが変更できるように構成される場合がある。その場合には、増幅器のゲイン設定に応じて読み出される輝度値が変化する。ゲインを高くすれば輝度値は高く、ゲインを低くすれば輝度値は低くなる。
【００１８】
ここで、一般的に、露光条件（上記の例では露光時間およびゲイン）の変化により輝度値が低くなると、暗い対象物の輝度値が０になったり、コントラスト比が低い対象物の輝度値が一様になったりし、輪郭や濃淡等が判別できなくなる場合がある。この問題は輝度値をデジタル値として表現する場合に顕著であるが、アナログ値として表現する場合にも同質の問題が発生し得る。同様に、露光条件の変化により輝度値が高くなると、明るい対象物の輝度値が最大値となり、対象物の輪郭や対象物の濃淡が判別できなくなる場合がある。従って、撮影する対象物の明るさに応じて露光条件を設定する必要がある。
【００１９】
センサ部１０は、時系列的に繰り返し電子シャッタを切り、シャッタ毎の画像データを取得することにより動画を撮影することができる。単位時間あたりの電子シャッタを切り画像データを出力する回数をフレームレートと呼び、１秒あたりのフレームレートをＦＰＳ（Ｆｒａｍｅ  Ｐｅｒ  Ｓｅｃｏｎｄ）の単位で表す。センサ部１０は、画像データを含むデータを画像処理システム１００に送信する。
【００２０】
画像処理システム１００は、センサ部１０から画像データを含むデータを受信し、これを処理することにより画像中の物体を検知する。物体の検知は背景差分方式で行われ、これによってたとえば移動体を検知することが可能である。
【００２１】
画像処理システム１００は、公知のコンピュータとしての構成を備え、演算手段１１０および記憶手段１２０を有する。演算手段１１０はたとえばマイクロプロセッサを含み、記憶手段１２０はたとえば半導体メモリおよび磁気ディスクを含む。
【００２２】
図２は、画像処理システム１００の構成の例を示すブロック図である。画像処理システム１００の演算手段１１０は、記憶手段１２０またはその他の場所に格納されるプログラムを実行することにより、元画像取得部１０１、露出量取得部１０２、露光条件調整部１０３、輝度補正部１０４および物体検知部１０５として機能する。
【００２３】
元画像取得部１０１はセンサ部１０から画像を取得する。画像はたとえばカメラのシャッタ画像である。ここで取得される画像は、以下に記載する調整および補正の前の画像であるため、以下では「元画像」と呼ぶ。元画像取得部１０１は、異なる時刻に係る複数の元画像を取得することができる。異なる時刻に係る画像は、たとえば１つの撮像センサからの、異なるシャッタまたは異なるシャッタ時刻に係る画像である。たとえば、センサ部１０が動画を表す複数の画像を連続的に出力する場合には、元画像取得部１０１はこれらを順次取得する。
【００２４】
露出量取得部１０２は、元画像取得部１０１が取得する元画像に係る露出量を取得する。露出量は、たとえばセンサ部１０の撮像センサが同一シャッタ内でどの程度の光に露出されているかを表す量である。露出量の表現形式および取得方法は、公知技術に基づき当業者が適宜設計することができる。
【００２５】
露出量の取得はどのような方法で行われてもよい。たとえば、センサ部１０に設けられる露出計が露出量に係る情報を出力し、露出量取得部１０２がこれを受信して露出量を取得してもよい。別の方法では、露出量取得部１０２は、元画像に基づいて露光条件を算出することにより取得することができる。より具体的な例では、センサ部１０の撮像センサとしてＣＭＯＳが用いられる場合に、元画像の特定の１つ以上の画素または全体の画素の輝度値の高さに基づいて露出量を算出してもよい。
【００２６】
露光条件調整部１０３は、元画像に係る露光条件を調整する。この調整は、露光条件を変更するための指示および情報をセンサ部１０に送信することによって行われる。より具体的な例として、露光条件の調整は、たとえばＣＭＯＳの露光時間およびゲインを調整することにより行われる。
【００２７】
露光条件の調整は、たとえば露出量に基づいて行われる。また、露光条件の調整は、たとえば元画像の露出量が予め定められた一定の値に維持されるように行われる。具体例として、ＣＭＯＳの特定の１つ以上の画素または全体の画素の輝度値が、予め定められた基準値に対して高ければ、センサ部１０の露光時間を短縮するか、またはゲインを低下させて、次のシャッタの輝度値が下がるようにする。また、ＣＭＯＳの特定の１つ以上の画素または全体の画素の輝度値が、予め定められた基準値に対して低ければ、露光時間を長くするか、またはゲインを増加させる。
【００２８】
露光条件調整部１０３は、調整後の露光条件を表す情報を、輝度補正部１０４に送信する。露光条件は、たとえば元画像それぞれに関連付けられる。たとえば、露光条件調整部１０３が露光条件をある値にするようセンサ部１０に対して指示し、その露光条件のもとである元画像が撮像された場合には、その元画像にその露光条件が関連付けられる。
【００２９】
輝度補正部１０４は、元画像取得部１０１から元画像を取得するとともに、露光条件調整部１０３からその元画像に係る露光条件を取得する。そして、輝度補正部１０４は、露光条件に基づいて元画像の輝度値を変更する。この輝度値の変更処理の具体例を、以下に説明する。
【００３０】
まず輝度補正部１０４は、センサ部１０の画素毎の感度のバラつきを補正する。輝度補正部１０４では、バラつきの補正を、予め記憶手段１２０に記憶しておいた撮像センサの画素毎の光量に対する感度情報に基づき行う。感度情報は一定の光量に対して、輝度値が対応しているのか否かの関係を示す情報である。
【００３１】
記憶手段１２０は、感度情報を記憶する。感度情報の作成は任意の方法で行うことができ、たとえば、予めセンサ部１０で均一の明るさの物体を撮像し、その際の各画素の輝度値を調べておき、この輝度値に基づいて感度情報を生成することができる。この際の撮像では、例えば真っ白な低反射な板状のものを、視野全域に広がる様に撮像が行われる。なお、輝度補正部１０４によるこのような感度の補正は省略してもよい。その場合には感度情報の作成も省略可能である。
【００３２】
次に、輝度補正部１０４は、複数の元画像の露光条件に応じて輝度値を補正する。たとえば、第１の元画像に係る露光条件と、第２の元画像に係る露光条件とに応じ、第１の元画像との輝度値の差分が小さくなるように、第２の元画像の輝度値を補正することにより、新たな画像を取得する。この新たな画像を、以下では「輝度補正画像」と呼ぶ。
【００３３】
言い換えると、複数の元画像の輝度値が、互いにより近い値となるように、補正が行われる。または、複数の元画像において、何れか１つの元画像を基準（第１の元画像）とし、他の元画像（第２の元画像）の輝度値が、基準に近くなるように補正するということもできる。より具体的には、輝度値が互いに一致するように補正してもよいし、輝度値が互いに類似する範囲内の値となるよう補正してもよい。
【００３４】
なお、ある画像に関する「輝度値」の定義は、当業者が適宜決定可能である。たとえば、ある画像の特定の画素の輝度値を用いてもよいし、全体の画素の輝度値に対して統計的処理（平均化等）を実施することにより、その画像の輝度値を算出してもよい。
【００３５】
たとえば、露光条件が露光時間を表す情報を含む場合において、第１の元画像を撮像した際の露光時間に対して、第２の元画像を撮像した際の露光時間が長くなれば、第２の元画像の輝度値が低く補正される。逆に、第２の元画像の露光時間が短くなれば、第２の元画像の輝度値が高く補正される。
【００３６】
また、露光条件がゲインを表す情報を含む場合において、第１の元画像を撮像した際のゲインに対して、第２の元画像を撮像した際のゲインが高くなれば、第２の元画像の輝度値が低く補正される。逆に、第２の元画像のゲインが低くなれば、第２の元画像の輝度値が高く補正される。
【００３７】
図３に、輝度補正部１０４による輝度値の演算の具体例を示す。この例では、輝度補正部１０４は、第２の元画像に係る露光時間に対する第１の元画像に係る露光時間の比を、第２の元画像の輝度値に乗算する。このような演算は、撮像センサが光量に対して線形な感度を有する場合に好適である。例えば、第１の元画像の露光時間が１ｍｓで、第２の元画像の露光時間が２ｍｓだった場合、露光時間の比は２分の１となり、第２の画像の輝度値には２分の１が乗算される。このような比の乗算は、第１の元画像との輝度値の差分を０とする補正の例であるということができる。なお、この例では露光条件は露光時間のみであるが、露光時間に代えて、またはこれに加えて、ゲインまたは他の情報を用いてもよい。
【００３８】
なお、この例では先に撮像された元画像が第１の元画像であり、後に撮像された元画像が第２の元画像として補正の対象となるが、これらの前後関係は任意である。すなわち、後に撮像された元画像を第１の元画像（基準）とし、先に撮像された元画像を第２の元画像としてその輝度値を補正してもよい。
【００３９】
このように露光時間の比を乗算することにより、輝度値の差をより適切に補正することができる。
【００４０】
輝度補正部１０４は、輝度補正画像を物体検知部１０５に送信する。なお、２つの元画像間で輝度値の差がないか、または差が所定の許容範囲内である場合には、輝度補正部１０４は輝度値の補正を省略してもよい。その場合には、輝度補正部１０４は元画像をそのまま物体検知部１０５に送信してもよい。
【００４１】
物体検知部１０５は、輝度補正部１０４から受信した輝度補正画像に基づき、背景差分を取得することにより物体を検知する。とくに、輝度補正部１０４から、第１の元画像と、第２の元画像から得られた輝度補正画像とを受信した場合には、これら２枚の画像に基づいて物体を検知する。背景差分方式による具体的な処理は当業者が適宜設計可能であるが、一例を以下に示す。
【００４２】
図４に、背景差分方式による物体検知原理を示す。背景差分方式では、時系列上の複数シャッタの画像を比較し、違いのある画素を差分画像として出力する。第１の元画像２０１と、輝度補正画像２０２とに基づき、差分画像２０３が取得される。この例では、第１の元画像２０１は背景画像であり、移動体の写っていない画像である。輝度補正画像２０２は最新シャッタの画像（第２の元画像）に対応する輝度補正画像である。差分画像２０３では、第１の元画像２０１と輝度補正画像２０２との差分が示される。この例では、第１の元画像２０１には移動体が含まれず、輝度補正画像には移動体が含まれているので、差分画像２０３では移動体のみを差分として検知することができる。
【００４３】
前後のフレームの画像を比較する際は、画像を複数の領域に分割し、差分の生じなかった領域を収集し、異なるシャッタの画像を組み合わせて、基準背景画像としても良い。このような基準背景画像を予め記憶手段１２０に記憶しておき、これを第１の元画像として用いてもよい。広い視野のカメラでは、全画角のうちどこにも移動体が含まれない瞬間を撮影するのが困難な場合があるが、そのような場合でも、前記の様に分割した領域を組み合わせることで、基準背景画像を生成することが出来る。
【００４４】
また、画像処理システム１００は、基準背景画像を更新する機能を備えてもよい。基準背景画像を頻繁に更新することにより、時間経過で明るさが変わる場所においても、基準背景画像と最新のシャッタ画像との明るさの差が少なくなるので、輝度補正画像に残存する誤差をより小さくし、背景差分をより高い精度で取得できる。
【００４５】
本実施例の装置が移動する場合（例えばセンサ部１０および画像処理システム１００が車載される場合等）、背景が刻一刻と変化する。このような場合には、最新シャッタに係る画像（輝度補正画像）と、最新よりも前の時刻のシャッタに係る画像（第１の元画像）とを比較し、差分画像を出力するよう構成してもよい。
【００４６】
図５に、移動体の撮像されていない背景画像を用いない、背景差分方式による物体検知原理を示す。この原理によれば、たとえばセンサ部１０が移動する場合にも適切に移動体を検知できる。第１の元画像３０１は、最新よりも前の時刻のシャッタの画像である。輝度補正画像３０２は、最新シャッタの画像を元画像（第２の元画像）とし、その輝度を補正することで生成された画像である。第１の元画像３０１と、輝度補正画像３０２とに基づき、差分画像３０３が取得される。第１の元画像３０１および輝度補正画像３０２の双方に移動体が含まれていると、それぞれの画像に移動体が写っていた部分の画素に差分が生じ、背景が写っていた部分の画素には差分が生じない。
【００４７】
センサ部１０が移動する場合には、背景画像の生成が困難だったり、頻繁に行えなかったりする可能性があるが、最新シャッタに係る画像と、最新よりも前の時刻のシャッタに係る画像とを比較することで、移動体の検知を行うことが出来る。
【００４８】
なお、センサ部１０が移動する場合には、背景部分が画像上移動してしまう。このような場合には、２枚の画像において背景に対応する部分が重なる様に、いずれかまたは双方の画像を平行移動させる等、変形させてもよい。このようにすることで、背景の差分を抑制し、移動体に絞って差分を取得することができる。
【００４９】
物体検知部１０５は、さらに、差分画像の内、移動体の存在する画素の範囲を特定し出力してもよい。たとえば、移動体を表す画素のうち互いに近い距離にある複数の画素を一つの集合にまとめて、その集合の存在する範囲を移動体の存在する範囲としてもよい。
【００５０】
図６を用いて、３枚以上の画像にわたって連続して物体検知処理を行う場合の輝度の補正について説明する。時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３，Ｔ４，…において画像が取得され、各画像に係る露光時間４０１および輝度値４０２の変化が示される。時系列シャッタを時刻Ｔ０から時刻Ｔ４に順に撮像していく中で、時刻Ｔ２と時刻Ｔ３との間に露光条件が変化し、露光時間がＥ１からＥ２に減少する。それに伴い輝度値もＢ１からＢ２に減少する。
【００５１】
ここで、従来の背景差分処理による物体検知では、時刻Ｔ２までは輝度値がＢ１で一定であり、正しく物体を検知できるが、時刻Ｔ３では画像全体の画素の輝度値が変化するので、画像全体が物体として認識されてしまい、正しく物体を検知できない。
【００５２】
これに対し、本発明の実施例１では、輝度補正部１０４による補正が行われる。たとえば、時刻Ｔ２に係る画像（第１の元画像）と、時刻Ｔ３に係る画像（第２の元画像）との差分を取得する際には、時刻Ｔ３に係る画像に対して補正が行われ、輝度補正画像では輝度値がＢ１となるので、適切に物体の検知が可能となる。なお、図６の例において、図３の数式を用いると、次の等式が成り立つと考えられる。
Ｂ１＝Ｂ２×（Ｅ１／Ｅ２）
【００５３】
また、画像処理システム１００は、画像に幾何的変換を施す機能を備えてもよい。たとえば、画像に対して俯瞰変換を行ってもよい。たとえば、路面を俯瞰して撮像した画像において、路面が画像平面に平行となるよう変換を施してもよい。
【００５４】
実施例１において、移動体はたとえば歩行者であってもよく、車両であってもよい。
【００５５】
また、画像処理システム１００は、背景差分方式によらず物体を検知する機能をさらに備えてもよい。すなわち、画像処理システム１００は、元画像のいずれかに基づき、背景差分を取得することなしに物体を検知する、非背景差分方式の物体検知部を備えてもよい。この非背景差分方式の物体検知部は、背景差分方式の物体検知部とは異なる物体検知部であってもよい。そのような検知方式では、移動体に限らず物体の検知が可能であり、たとえば立体物を検知することもできる。
【００５６】
このように、本発明の実施例１に係る画像処理システム１００およびカメラシステムによれば、カメラの露光条件が変化しても、背景差分方式で物体を適切に検知できる。このため、たとえば移動する物体についても適切に検知することが可能である。
【００５７】
［実施例２］
実施例１では、センサ部１０における撮像部の数をとくに限定していない。実施例２では、センサ部が複数の撮像部を備える構成に限定したものである。
図７は、本実施例に係るカメラシステムの構成の例を示すブロック図である。カメラシステムは、センサ部１１と、画像処理システム５００とを備える。センサ部１１は左撮像部１２および右撮像部１３を含み、たとえば公知のステレオカメラとして構成される。左撮像部１２および右撮像部１３は異なる位置に配置され、視差を生じるようになっている。画像処理システム５００のハードウェア構成は実施例１と同様である。
【００５８】
図８を用いて、本実施例のステレオカメラに係るセンサ部１１の視野画角について説明する。左撮像部１２は左視野領域１４を撮像し、右撮像部１３は右視野領域１５を撮像する。左視野領域１４と右視野領域１５とは、一部重複しつつ互いに左右にずれた関係にある。このため、元画像は、ステレオ領域Ｒ１と、左単眼領域Ｒ２と、右単眼領域Ｒ３とを含むことになる。ステレオ領域とは、左撮像部１２に係る元画像と右撮像部１３に係る元画像とで画角が重複する領域である。単眼領域とは、左撮像部１２に係る元画像と右撮像部１３に係る元画像とで画角が重複しない領域である。なお、ステレオ領域Ｒ１、左単眼領域Ｒ２および右単眼領域Ｒ３は、互いに重複しない。
【００５９】
画像処理システム５００は、ステレオ領域Ｒ１においてステレオマッチング方式の物体検知を行い、左単眼領域Ｒ２および右単眼領域Ｒ３において背景差分方式の物体検知を行う。背景差分方式の物体検知では、路面に射影変換した俯瞰画像を用いてもよい。俯瞰画像を用いた背景差分処理を俯瞰差分処理と呼ぶ。
【００６０】
図９は実施例２に係る画像処理システム５００の構成の例を示すブロック図である。画像処理システムの演算手段は、記憶手段またはその他の場所に格納されるプログラムを実行することにより、元画像取得部５０１、露出量取得部５０２、露光条件調整部５０３、輝度補正部５０４、背景差分方式の物体検知部５０５、および視差方式の物体検知部５０６として機能する。視差方式の物体検知部５０６は、背景差分を取得することなしに物体を検知する、非背景差分方式の物体検知部の例である。視差方式の物体検知部５０６は、背景差分方式の物体検知部５０５とは異なる物体検知部として構成されてもよい。
【００６１】
元画像取得部５０１は、センサ部１１から画像を取得する。実施例２では、左撮像部１２および右撮像部１３から、それぞれ異なる位置に係る複数の元画像を取得することができる。より厳密には、複数の異なる位置について、それぞれ第１の元画像および第２の元画像を取得することができる。たとえば、左撮像部１２からの、異なるシャッタまたは異なるシャッタ時刻に係る第１の元画像および第２の元画像が取得され、右撮像部１３からの、異なるシャッタまたは異なるシャッタ時刻に係る第１の元画像および第２の元画像が取得される。
【００６２】
露出量取得部５０２、露光条件調整部５０３、および背景差分方式の物体検知部５０５の動作は、それぞれ実施例１の露出量取得部１０２、露光条件調整部１０３および物体検知部１０５と同様である。
【００６３】
輝度補正部５０４は、実施例１と同様に左撮像部１２および右撮像部１３の撮像センサの画素毎の感度のバラつきを補正する。そして、輝度補正部５０４は、露光条件に応じて各画素の輝度値を変換する際の変換係数を生成する。変換係数は、たとえば実施例１と同様に図３の数式に従って算出される。
【００６４】
なお、この際の変換は、それぞれ同じ位置に係る複数の元画像を対応させて行われる。すなわち、輝度補正部５０４は、左撮像部１２からの第１の元画像との輝度値の差分が小さくなるように、左撮像部１２からの第２の元画像の輝度値を補正し、右撮像部１３からの第１の元画像との輝度値の差分が小さくなるように、右撮像部１３からの第２の元画像の輝度値を補正する。
【００６５】
次に、輝度補正部５０４は、実施例１において説明した輝度の補正処理に関連して、所定の変換を実行する。この変換は、たとえばビット演算として実行することができる。たとえば、輝度補正部５０４は、所定の初期ビット数で表される元画像の輝度値（たとえば全画素の輝度値）を、前記変換係数に応じて、初期ビット数と同じビット数の輝度値または初期ビット数より少ないビット数の輝度値に変換する。この変換は、たとえば変換係数に応じたビット数だけビットシフトさせる演算であってもよく、各ビットのうち変換係数に応じたビットのみ抽出して他のビットを切り捨てる演算であってもよく、これらを組み合わせた演算であってもよい。
【００６６】
このようにビット数を低減させる変換により、物体の検知に用いられる輝度値のビット数が実質的に低減されるので、処理負荷が小さく高速な処理が可能となる。また、この変換をビットシフト演算として行うことにより、演算処理が簡素になり、より高速な処理が可能となる。
【００６７】
また、この変換は、予め記憶手段に記憶される変換テーブルを用いて行うこともできる。変換テーブルは、輝度値の各入力値に対し、変換係数に応じて異なる出力値を関連付ける。
【００６８】
輝度補正部５０４が、変換をビット演算として行う場合の一例を以下に説明する。
図１０は、ビット演算の例を説明する図である。なお、この例では、ＭＳＢに上位桁のビットが配置されるエンディアンを想定しているが、そうでない場合（ＬＳＢに上位桁のビットが配置されるエンディアンを用いる場合等）には、当業者がビットの配置を適宜変更する（たとえば図１０においてＭＳＢ側とＬＳＢ側とを入れ替える）ことが可能である。輝度補正部５０４は、元画像取得部５０１から取得した元画像のそれぞれにおいて、輝度値に対して図１０に示すビット演算を行う。また、ある元画像について輝度値の補正を行う場合には、補正はビット演算によって実行される。
【００６９】
図１０（Ａ）はビット演算前の輝度値のデータ形式の例である。この例では、ビット演算前の輝度値は１２ビットで表される。図１０（Ｂ）および図１０（Ｃ）はビット演算後の輝度値のデータ形式の例である。この例では、ビット演算後の輝度値は８ビットで表される。図１０（Ｂ）および図１０（Ｃ）は、いずれも、図１０（Ａ）のデータをＬＳＢ側にビットシフトした上で、特定のビットを切り捨ててビット数を低減したものとなっている。
【００７０】
ビット演算は、たとえば元画像の露光条件または輝度値に基づいて行うことができる。図１０（Ｂ）は、元画像の輝度値が比較的低い場合の例であり、ビットシフトの量が比較的小さい（１ビット）。図１０（Ｃ）は元画像の輝度値が比較的高い場合の例であり、ビットシフトの量が比較的大きい（４ビット）。なお、元画像の輝度がさらに低い場合には、ビットシフトの量を０としてもよい（すなわち実質的にはビットシフト演算は行われない）。いずれの場合も、シフト後のビット０〜ビット７に対応するビットのみが保持される。
【００７１】
ビットシフトの量は、変換係数に応じて変化する。たとえば、第１の元画像の露光条件と第２の元画像の露光条件とが大きく異なる場合には、変換係数が大きくなる。その場合には、第１の元画像に対するビットシフトのビット数と、第２の元画像に対するビットシフトのビット数との差が大きくなるように、ビットシフトの量が変化する。逆に、第１の元画像の露光条件と第２の元画像の露光条件とが同一またはほとんど異ならない場合には、変換係数が０となるかまたは小さくなる。その場合には、第１の元画像に対するビットシフトのビット数と、第２の元画像に対するビットシフトのビット数とが等しくなるか、または差が小さくなるように、ビットシフトの量が変化する。なお、この例では、輝度補正部５０４は、第２の元画像の輝度値を補正する際に、第１の元画像に係る露光条件と、第２の元画像に係る露光条件とに応じ、第２の元画像の輝度値をビットシフトすると言うことができる。また、輝度補正部５０４が図３のような乗算を実行する場合には、この乗算に係る演算を、第１の元画像に係る露光条件と、第２の元画像に係る露光条件とに応じ、第２の元画像の輝度値をビットシフトすることを介して実行すると言うことができる。
【００７２】
また、図１０の処理は、ビット数を低減する演算として解釈することも可能である。たとえば、図１０（Ｂ）ではビット０，９〜１１が切り捨てられてビット数が低減されており、図１０（Ｃ）ではビット８〜１１が切り捨てられてビット数が低減されている。このように、輝度補正部５０４は、第２の元画像の輝度値を補正する際に、第１の元画像に係る露光条件と、第２の元画像に係る露光条件とに応じ、第２の元画像の輝度値のビット数を低減すると言うこともできる。また、輝度補正部５０４が図３のような乗算を実行する場合には、この乗算に係る演算を、第１の元画像に係る露光条件と、第２の元画像に係る露光条件とに応じ、第２の元画像の輝度値のビット数を低減することを介して実行すると言うことができる。
【００７３】
背景差分方式の物体検知部５０５は、輝度補正部５０４から出力された画像に基づき、背景差分を取得することにより物体を検知する。また、視差方式の物体検知部５０６は、元画像取得部５０１から出力された画像に基づき、視差を取得することにより物体を検知する。これらの検知部の処理の具体的内容は当業者が適宜設計可能であるが、例を以下に示す。
【００７４】
図１１は、背景差分方式の物体検知部５０５について、より詳細な構成の例を示すブロック図である。背景差分方式の物体検知部５０５は、俯瞰変換部５１０と、俯瞰差分部５１１と、画素集合検知部５１２と、種別識別部５１３とを備える。
【００７５】
俯瞰変換部５１０は、輝度補正部５０４から出力される画像を、レンズの歪みを補正しつつ、路面に射影された俯瞰画像に変換する。俯瞰差分部５１１は、前後のシャッタの俯瞰画像の差分を取得する。画素集合検知部５１２は、前記差分のある画素の集合を物体（たとえば立体物または移動体）として検知する。種別識別部５１３は、歩行者や車両といった物体の種別を識別する。
【００７６】
図１２は、視差方式の物体検知部５０６について、より詳細な構成の例を示すブロック図である。視差方式の物体検知部５０６は、幾何補正部５２０と、ステレオマッチング部５２１と、画素集合検知部５２２と、種別識別部５２３とを備える。
【００７７】
幾何補正部５２０は、センサ部１１における撮像の際の歪みを補正する。この補正では、左撮像部１２および右撮像部１３それぞれの歪み情報に基づき補正を行う。この歪み情報は、歪み補正後の画像座標系の各画素について、歪み補正前の画像座標の位置を示す、キャリブレーションテーブルとして、記憶手段に保持される。
【００７８】
ステレオマッチング部５２１は、幾何補正部５２０で補正された左右両画像の比較を行い、対応する画素間の視差値を特定する。「対応する画素」とは、同一物体が写る画素である。視差値は、例えば左右で対応画素が３．２ピクセルだけずれているなら３．２となる。対応する画素は、例えば複数画素の領域をテンプレートとして輝度値の差の絶対値の合計ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）の値が最も小さくなる位置を探す手法を用いる。
【００７９】
画素集合検知部５２２は、ステレオマッチング部５２１が出力した各画素の視差値を元に、同一物体の画素の集合を特定して物体（たとえば立体物または移動体）を検知する。同一物体は同じ距離に存在しているので、視差値の近い複数の画素から１つの集合を構成し、この集合が物体を表すものとする。種別識別部５２３は、画素集合検知部５２２で検知された物体の種別を識別する。種別は例えば車両や歩行者である。
【００８０】
このように、本発明の実施例２に係る画像処理システム５００およびカメラシステムによれば、実施例１と同様に、カメラの露光条件が変化しても、背景差分方式で物体を適切に検知できる。このため、たとえば移動する物体についても適切に検知することが可能である。
【００８１】
また、実施例２では、背景差分方式によらない視差方式の物体検知部を備えており、とくに、視差方式の物体検知部５０６では、輝度補正部５０４による輝度の補正が行われない状態の画像を用いて物体の検知を行う。この場合には、露光条件調整部５０３は、各元画像のステレオ領域に基づいて露光条件を決定するように構成することができる。また、この場合には、輝度補正部５０４は、各元画像の単眼領域に基づいて輝度を補正するよう構成することができる。より具体的には、輝度補正部５０４は、左撮像部１２に係る第１の元画像および第２の元画像について、第１の元画像との、左単眼領域Ｒ２における輝度値の差分が小さくなるように第２の元画像の輝度値を補正することにより、左撮像部１２に係る輝度補正画像を取得し、右撮像部１３に係る第１の元画像および第２の元画像について、第１の元画像との、右単眼領域Ｒ３における輝度値の差分が小さくなるように第２の元画像の輝度値を補正することにより、右撮像部１３に係る輝度補正画像を取得する。
【００８２】
このようにすると、露光調整は視差方式を優先して行われ、背景差分方式ではこの調整を相殺するために輝度値の補正を行うという、方式の違いによる画像の使い分けが可能となる。また、各方式にそれぞれ適した検知処理を実現することができる。
【００８３】
なお、実施例１および２の変形例として、露光条件調整部は省略可能である。露光条件は、画像処理システムとは独立した他の機構等によって（たとえばセンサ部の機能の一部として）調整されてもよい。
【００８４】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００８５】
１０  センサ部（カメラ）、１１  センサ部（ステレオカメラ）、１２  左撮像部（撮像部）、１３  右撮像部（撮像部）、１００，５００  画像処理システム、１０１，５０１  元画像取得部、１０２，５０２  露出量取得部、１０３，５０３  露光条件調整部、１０４，５０４  輝度補正部、１０５，５０５  背景差分方式の物体検知部、５０６  視差方式の物体検知部（非背景差分方式の物体検知部）、２０１，３０１  元画像、２０２，３０２  輝度補正画像、２０３，３０３  差分画像、４０１  露光時間、４０２  輝度値、Ｒ１  ステレオ領域、Ｒ２  左単眼領域、Ｒ３  右単眼領域。
【図１】
2020119176.tif 000003
【図２】
2020119176.tif 000004
【図３】
2020119176.tif 000005
【図４】
2020119176.tif 000006
【図５】
2020119176.tif 000007
【図６】
2020119176.tif 000008
【図７】
2020119176.tif 000009
【図８】
2020119176.tif 000010
【図９】
2020119176.tif 000011
【図１０】
2020119176.tif 000012
【図１１】
2020119176.tif 000013
【図１２】
2020119176.tif 000014