(57)【要約】【課題】照明条件の変動に強い背景差分処理技術を提供する。【解決手段】カメラで撮影された動画像から背景差分法を用いて前景領域を抽出する画像処理装置は、取得部と、背景差分処理部と、閾値可変部と、を備える。前記取得部は、前記動画像に含まれる複数のフレーム画像を取得する。前記背景差分処理部は、前記フレーム画像である背景画像と、前記フレーム画像であって前記背景画像より後に前記取得部によって取得される処理対象画像とを比較し、閾値に基づいて前記処理対象画像の領域を前記前景領域と背景領域とに区別する。前記閾値可変部は、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値、及び、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値に影響を与える照度の少なくとも一方に応じて、前記閾値を可変する。【選択図】図１
2018147329.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された動画像から背景差分法を用いて前景領域を抽出する画像処理装置であって、
前記動画像に含まれる複数のフレーム画像を取得する取得部と、
前記フレーム画像である背景画像と、前記フレーム画像であって前記背景画像より後に前記取得部によって取得される処理対象画像とを比較し、閾値に基づいて前記処理対象画像の領域を前記前景領域と背景領域とに区別する背景差分処理部と、
前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値、及び、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値に影響を与える照度の少なくとも一方に応じて、前記閾値を可変する閾値可変部と、を備える、画像処理装置。
【請求項２】
前記閾値可変部は、前記処理対象画像より先に前記取得部によって取得された複数の前記フレーム画像の輝度値を時間平均化して得られる時間平均輝度値に応じて、前記閾値を可変する、請求項１に記載の画像処理装置。
【請求項３】
前記閾値可変部は、前記フレーム画像を複数の区分領域に区分し、前記時間平均輝度値を前記区分領域の単位で求め、前記区分領域の単位で前記閾値を可変する、請求項２に記載の画像処理装置。
【請求項４】
前記閾値可変部は、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値と、前記処理対象画像の輝度値とに応じて、前記閾値を可変する、請求項１に記載の画像処理装置。
【請求項５】
前記閾値可変部は、
前記処理対象画像より先に前記取得部によって取得された前記フレーム画像及び前記処理対象画像それぞれを複数の区分領域に区分し、
前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値を前記区分領域の単位で平均化して得られる値と、前記処理対象画像の輝度値を前記区分領域の単位で平均化して得られる値とに応じて、前記区分領域の単位で前記閾値を可変する、請求項４に記載の画像処理装置。
【請求項６】
前記閾値可変部は、照度計から出力される照度情報を受け取り、前記処理対象画像より先に前記取得部によって取得された複数の前記フレーム画像に対応する前記照度を時間平均化して得られる時間平均照度に応じて、前記閾値を可変する、請求項１に記載の画像処理装置。
【請求項７】
前記閾値可変部は、照度計から出力される照度情報を受け取り、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像に対応する前記照度と、前記処理対象画像に対応する前記照度とに応じて、前記閾値を可変する、請求項１に記載の画像処理装置。
【請求項８】
前記閾値可変部は、ナビゲーション装置から特定の場所に到達したことを通知する通信信号を受け取ったときに、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値、及び、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値に影響を与える照度の少なくとも一方に応じて、前記閾値を可変する、請求項１〜７のいずれか一項に記載の画像処理装置。
【請求項９】
前記背景差分処理部は、前記処理対象画像の全領域に対して背景差分処理を行う、請求項１〜８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記背景差分処理部は、前記処理対象画像内の所定の一部領域に対してのみ背景差分処理を行う、請求項１〜８のいずれか一項に記載の画像処理装置。
【請求項１１】
前記背景差分処理部は、グラフカット法によって前記処理対象画像の領域を前記前景領域と前記背景領域とに区別する、請求項１〜１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記閾値は、各ノードが前記前景領域又は前記背景領域のどちらと強くつながっているかを決定するための閾値である、請求項１１に記載の画像処理装置。
【請求項１３】
前記フレーム画像における注目画素の周辺領域内のエッジを検出するエッジ検出部と、
時間経過によって前記エッジが移動した場合に、その移動から一定時間が経過する迄の間、前記注目画素の輝度値が略変動せず且つ前記エッジが更に略移動しなければ、前記注目画素の輝度値を前記背景画像に反映させた修正背景画像を生成する修正部と、を備え、
前記背景差分処理部は、前記修正背景画像を前記背景画像として用いる、請求項１〜１２のいずれか一項に記載の画像処理装置。
【請求項１４】
カメラと、
前記カメラで撮影された動画像を処理する請求項１〜１３のいずれか一項に記載の画像処理装置と、を備えることを特徴とする画像処理システム。
【請求項１５】
カメラで撮影された動画像から背景差分法を用いて前景領域を抽出する画像処理方法であって、
前記動画像に含まれる複数のフレーム画像を取得する取得工程と、
前記フレーム画像である背景画像と、前記フレーム画像であって前記背景画像より後に前記取得工程によって取得される処理対象画像とを比較し、閾値に基づいて前記処理対象画像の領域を前記前景領域と背景領域とに区別する背景差分処理工程と、
前記処理対象画像より先に前記取得工程によって取得された前記フレーム画像の輝度値、及び、前記処理対象画像より先に前記取得工程によって取得された前記フレーム画像の輝度値に影響を与える照度の少なくとも一方に応じて、前記閾値を可変する閾値可変工程と、を備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された動画像から背景差分法を用いて前景領域を抽出する画像処理技術に関する。
【背景技術】
【０００２】
カメラで撮影された動画像から背景差分法を用いて前景領域を抽出する画像処理技術は、例えば人物の抽出などに利用されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２５０３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般的な背景差分法は照明条件の変動に弱いという欠点を有している。例えば、カメラで撮影された車室内の動画像から背景差分法を用いて車両の乗員を抽出する場合、カメラ撮影時の照明条件はカメラ撮影時の車両の外部環境に応じて変動するので、照明条件の変動に強い背景差分処理技術が望まれる。
【０００５】
本発明は、上記課題に鑑みて、照明条件の変動に強い背景差分処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、カメラで撮影された動画像から背景差分法を用いて前景領域を抽出する画像処理装置であって、前記動画像に含まれる複数のフレーム画像を取得する取得部と、前記フレーム画像である背景画像と、前記フレーム画像であって前記背景画像より後に前記取得部によって取得される処理対象画像とを比較し、閾値に基づいて前記処理対象画像の領域を前記前景領域と背景領域とに区別する背景差分処理部と、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値、及び、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値に影響を与える照度の少なくとも一方に応じて、前記閾値を可変する閾値可変部と、を備える構成（第１の構成）である。
【０００７】
上記第１の構成の画像処理装置において、前記閾値可変部は、前記処理対象画像より先に前記取得部によって取得された複数の前記フレーム画像の輝度値を時間平均化して得られる時間平均輝度値に応じて、前記閾値を可変する構成（第２の構成）であってもよい。
【０００８】
上記第２の構成の画像処理装置において、前記閾値可変部は、前記フレーム画像を複数の区分領域に区分し、前記時間平均輝度値を前記区分領域の単位で求め、前記区分領域の単位で前記閾値を可変する構成（第３の構成）であってもよい。
【０００９】
上記第１の構成の画像処理装置において、前記閾値可変部は、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値と、前記処理対象画像の輝度値とに応じて、前記閾値を可変する構成（第４の構成）であってもよい。
【００１０】
上記第４の構成の画像処理装置において、前記閾値可変部は、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像及び前記処理対象画像それぞれを複数の区分領域に区分し、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値を前記区分領域の単位で平均化して得られる値と、前記処理対象画像の輝度値を前記区分領域の単位で平均化して得られる値とに応じて、前記区分領域の単位で前記閾値を可変する構成（第５の構成）であってもよい。
【００１１】
上記第１の構成の画像処理装置において、前記閾値可変部は、照度計から出力される照度情報を受け取り、前記処理対象画像より先に前記取得部によって取得された複数の前記フレーム画像に対応する前記照度を時間平均化して得られる時間平均照度に応じて、前記閾値を可変する構成（第６の構成）であってもよい。
【００１２】
上記第１の構成の画像処理装置において、前記閾値可変部は、照度計から出力される照度情報を受け取り、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像に対応する前記照度と、前記処理対象画像に対応する前記照度とに応じて、前記閾値を可変する構成（第７の構成）であってもよい。
【００１３】
上記第１〜第７いずれかの構成の画像処理装置において、前記閾値可変部は、ナビゲーション装置から特定の場所に到達したことを通知する通信信号を受け取ったときに、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値、及び、前記処理対象画像より先に前記取得部によって取得された前記フレーム画像の輝度値に影響を与える照度の少なくとも一方に応じて、前記閾値を可変する構成（第８の構成）であってもよい。
【００１４】
上記第１〜第８いずれかの構成の画像処理装置において、前記背景差分処理部は、前記処理対象画像の全領域に対して背景差分処理を行う構成（第９の構成）であってもよい。
【００１５】
上記第１〜第８いずれかの構成の画像処理装置において、前記背景差分処理部は、前記処理対象画像内の所定の一部領域に対してのみ背景差分処理を行う構成（第１０の構成）であってもよい。
【００１６】
上記第１〜第１０いずれかの構成の画像処理装置において、前記背景差分処理部は、グラフカット法によって前記処理対象画像の領域を前記前景領域と前記背景領域とに区別する構成（第１１の構成）であってもよい。
【００１７】
上記第１１の構成の画像処理装置において、前記閾値は、各ノードが前記前景領域又は前記背景領域のどちらと強くつながっているかを決定するための閾値である構成（第１２の構成）であってもよい。
【００１８】
上記第１〜第１２いずれかの構成の画像処理装置において、前記フレーム画像における注目画素の周辺領域内のエッジを検出するエッジ検出部と、時間経過によって前記エッジが移動した場合に、その移動から一定時間が経過する迄の間、前記注目画素の輝度値が略変動せず且つ前記エッジが更に略移動しなければ、前記注目画素の輝度値を前記背景画像に反映させた修正背景画像を生成する修正部と、を備え、前記背景差分処理部は、前記修正背景画像を前記背景画像として用いる構成（第１３の構成）であってもよい。
【００１９】
本発明の画像処理システムは、カメラと、前記カメラで撮影された動画像を処理する上記第１〜第１３いずれかの構成の画像処理装置と、を備える構成（第１４の構成）である。
【００２０】
本発明の画像処理方法は、カメラで撮影された動画像から背景差分法を用いて前景領域を抽出する画像処理方法であって、前記動画像に含まれる複数のフレーム画像を取得する取得工程と、前記フレーム画像である背景画像と、前記フレーム画像であって前記背景画像より後に前記取得工程によって取得される処理対象画像とを比較し、閾値に基づいて前記処理対象画像の領域を前記前景領域と背景領域とに区別する背景差分処理工程と、前記処理対象画像より先に前記取得工程によって取得された前記フレーム画像の輝度値、及び、前記処理対象画像より先に前記取得工程によって取得された前記フレーム画像の輝度値に影響を与える照度の少なくとも一方に応じて、前記閾値を可変する閾値可変工程と、を備える構成（第１５の構成）である。
【発明の効果】
【００２１】
本発明によると、照明条件の変動に強い背景差分処理技術を提供できる。
【図面の簡単な説明】
【００２２】
【図１】第１実施形態に係る画像処理システムの構成を示すブロック図
【図２】車室内撮影カメラで撮影される画像の一例を示す図
【図３】画像処理装置の動作例を示すフローチャート
【図４】車室内撮影カメラで撮影される画像の一例を示す図
【図５】車室内撮影カメラで撮影される画像の一例を示す図
【図６】第３実施形態に係る画像処理システムの構成を示すブロック図
【図７】第５実施形態に係る画像処理システムの構成を示すブロック図
【図８】グラフカット法による前景領域と背景領域との区別を概念的に示す図
【図９】第７実施形態に係る画像処理システムの構成を示すブロック図
【発明を実施するための形態】
【００２３】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。
【００２４】
＜１．第１実施形態＞
図１は、本実施形態に係る画像処理システムの構成を示すブロック図である。画像処理システムは、車室内撮影カメラ１０と、画像処理装置２０と、を備える。本実施形態において、画像処理システムは車両に搭載される。
【００２５】
車室内撮影カメラ１０は、車両の車室内を一方向から撮影する単眼カメラである。車室内撮影カメラ１０は、例えば運転席や助手席に座っている乗員のみならず後部座席に座っている乗員も俯瞰して撮影できるように車両の天井の前方中央部に設置するとよい。車室内撮影カメラ１０を車両の天井の前方中央部に設置した場合に車室内撮影カメラ１０で撮影される画像は、例えば図２に示すようになる。
【００２６】
画像処理装置２０は、車室内撮影カメラ１０で撮影された動画像から背景差分処理法を用いて前景領域（乗員）を抽出する。なお、夜間でも画像処理装置２０が前景領域（乗員）を抽出することができるように、車室内撮影カメラ１０として近赤外対応カメラを採用し、車室内撮影カメラ１０の撮影領域に近赤外光を照射する近赤外照明装置を車両の室内に設置することが好ましい。
【００２７】
画像処理装置２０は、ＡＳＩＣ（application specificintegrated circuit）やＦＰＧＡ（field-programmable gate array）等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて画像処理装置２０を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、当該プログラムをプログラム実行装置上で実行することによって、その機能を実現するようにしてもよい。プログラム実行装置としては、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random AccessMemory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータを挙げることができる。
【００２８】
画像処理装置２０は、取得部２１と、背景差分処理部２３と、閾値可変部２４と、を備える。
【００２９】
取得部２１は、車室内撮影カメラ１０からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。すなわち、取得部２１によって取得される撮影画像の集合体が車室内撮影カメラ１０で撮影された動画像である。そして、取得した撮影画像がアナログの場合には、取得部２１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。取得部２１は、取得した撮影画像、或いは、取得及び変換した撮影画像を背景差分処理部２３に出力する。取得部２１から出力される１つの撮影画像が１つのフレーム画像となる。
【００３０】
取得部２１は、フレーム画像を背景差分処理部２３や閾値可変部２４に送出する。
【００３１】
背景差分処理部２３は、フレーム画像である背景画像と、フレーム画像であって背景画像より後に取得部２１によって取得される処理対象画像とを比較し、閾値に基づいて処理対象画像の領域を前景領域と背景領域とに区別する。本実施形態では、背景差分処理部２３は、背景画像と処理対象画像との同一位置画素間の輝度差を算出し、輝度差が閾値以上である位置を処理対象画像の前景領域とし、輝度差が閾値未満である位置を処理対象画像の背景領域とする。
【００３２】
本実施形態において、閾値可変部２４は、処理対象画像より先に取得部２１によって取得されたフレーム画像の輝度値に応じて、背景差分処理部２３で用いられる閾値を可変する。より具体的には、本実施形態において、閾値可変部２４は、フレーム画像を複数の区分領域に区分し、処理対象画像より先に取得部２１によって取得された複数のフレーム画像の輝度値を時間平均化して得られる時間平均輝度値を区分領域の単位で求め、区分領域の単位で閾値を可変する。
【００３３】
図３は、画像処理装置２０の動作例を示すフローチャートである。画像処理装置２０は、車両のドアロックが解除されたタイミングで図３に示すフローチャートの動作を開始し、背景差分処理の結果が前景領域（乗員）の未抽出である状態において車両のドアがアンロックからロックに切り替わったタイミングで図３に示すフローチャートの動作を強制的に終了する。したがって、画像処理装置２０は、車両のドアがロックであるかアンロックであるかを通知する信号を画像処理装置２０の外部から受け取る。
【００３４】
まず、取得部２１が背景画像を取得する（ステップＳ１０）。取得部２１は背景画像を取得した後、所定の周期でフレーム画像を取得し続ける。
【００３５】
次に、背景差分処理部２３が処理対象画像となるフレーム画像を決定する（ステップＳ２０）。
【００３６】
次に、閾値可変部２４が閾値を更新する（ステップＳ３０）。本実施形態では、ドライバーの抽出を目的として、図４に示すようにフレーム画像の所定の一部領域Ｒ１を設定している。また、図５に示すようにフレーム画像を、所定の一部領域Ｒ１以外の領域Ｒ２と、所定の一部領域Ｒ１を均等分割した各分割領域Ｒ３とによって構成される複数の区分領域に区分する。そして、閾値可変部２４は、分割領域Ｒ３毎にフレーム画像の輝度値を時間平均化し、その時間平均化された輝度に応じて分割領域Ｒ３毎に閾値を更新する。例えば、処理対象画像がｎ番目のフレーム画像である場合、（ｎ−１）番目のフレーム画像〜（ｎ−ｋ）番目のフレーム画像の輝度値を時間平均化すればよい。上記において、ｎは３以上の自然数、ｋはｎより小さい自然数である。また、上記の例とは異なり、処理対象画像より１つ先に取得されたフレーム画像（上記（ｎ−１）番目のフレーム画像）を時間平均化の対象に含めないようにしてもよい。
【００３７】
ステップＳ３０において、例えば、時間平均化された輝度が基準値より離れるほど閾値を小さくすればよい。
【００３８】
最後に、背景差分処理部２３が、ステップＳ３０で更新された閾値を用いて背景差分処理を実行する（ステップＳ４０）。本実施形態では、背景差分処理部２３が所定の一部領域Ｒ１のみに対して背景差分処理を実行する。これにより、画像処理装置２０にかかる背景差分処理の負担が軽くなる。また、所定の一部領域Ｒ１からハンドル、シートベルトリトラクター、シフトノブ等の車両可動部品を外すことで、これらの車両可動部品が動くことで前景領域であると誤って区別されることを防止できる。また、背景差分処理部２３が所定の一部領域Ｒ１を含む処理対象画像の全領域に対して背景差分処理を実行してもよい。これにより、漏れなく処理対象画像に背景差分処理を実行できる。
【００３９】
なお、背景差分処理部２３が、例えば前景領域と背景領域との境界線を強調した画像を背景差分処理の結果として生成し、外部の表示装置に出力するようにしてもよい。
【００４０】
ステップＳ４０が終了すると、ステップＳ２０に戻り、今まで処理対象画像であったフレーム画像の１つ後のフレーム画像を新たな処理対象画像とする。
【００４１】
本実施形態によると、閾値可変部２４が、処理対象画像より先に取得部２１によって取得されたフレーム画像の輝度値に応じて、背景差分処理部２３で用いられる閾値を可変するので、処理対象画像の撮影時より前の照明条件に応じて閾値を可変することができる。照明条件は無秩序に変動するのではなく、或る程度の連続性を持って変動する。したがって、処理対象画像の撮影時の照明条件に適した閾値の設定が可能となる。その結果、照明条件の変動に強い背景差分処理を実行することができる。
【００４２】
また、本実施形態によると、閾値可変部２４が、複数のフレーム画像の輝度値を時間平均化して得られる時間平均輝度値に応じて、背景差分処理部２３で用いられる閾値を可変するので、或る程度の連続性を持って変動する照明条件の変動に合わせて閾値可変部２４が閾値を徐々に可変することができる。したがって、前景領域の抽出結果に関しても或る程度の連続性が保たれるので、突発的な前景領域の未抽出や誤抽出を抑制することができる。
【００４３】
また、本実施形態によると、閾値可変部２４が分割領域Ｒ３毎に閾値を更新するので、車室内撮影カメラ１０の撮影領域において照明条件が場所毎に異なる場合でも、閾値可変部２４が分割領域Ｒ３毎に閾値を適切に可変することができる。したがって、分割領域Ｒ３を設定しない場合に比べて照明条件の変動に対してより強くなる。
【００４４】
＜２．第２実施形態＞
本実施形態に係る画像処理システムは、上述した第１実施形態に係る画像処理システムに対して、閾値可変部２４の動作内容が異なっている。したがって、第１実施形態における説明で用いた図１〜図５はそのまま本実施形態においても適用できる。以下、第１実施形態と異なる点について説明し、第１実施形態と同様の構成、動作、及び処理については説明を省略する。
【００４５】
本実施形態では、閾値可変部２４は、処理対象画像より先に取得部２１によって取得されたフレーム画像の輝度値と、処理対象画像の輝度値とに応じて、閾値を可変する。例えば、処理対象画像がｎ番目のフレーム画像である場合、ｎ番目のフレーム画像の輝度値と（ｎ−１）番目のフレーム画像の輝度値との差に基づいて、前回の背景差分処理で用いた閾値からの変化量を決定し、前回の背景差分処理で用いた閾値から今回の背景差分処理で用いる閾値に更新すればよい。例えば、ｎ番目のフレーム画像の輝度値と（ｎ−１）番目のフレーム画像の輝度値との差が大きいほど、前回の背景差分処理で用いた閾値からの変化量を大きくすればよい。
【００４６】
本実施形態によると、閾値可変部２４が、処理対象画像より先に取得部２１によって取得されたフレーム画像の輝度値と、処理対象画像の輝度値とに応じて、閾値を可変するので、処理対象画像より先に取得部２１によって取得されたフレーム画像の撮影時から処理対象画像の撮影時において照明条件が比較的に急激に変化した場合でも、閾値可変部２４が閾値を適切に可変することができる。
【００４７】
＜３．第３実施形態＞
図６は、本実施形態に係る画像処理システムの構成を示すブロック図である。画像処理システムが車室内撮影カメラ１０、及び画像処理装置２０によって構成される点は、第１実施形態及び第２実施形態と同様である。以下、第１実施形態及び第２実施形態と異なる点について説明する。
【００４８】
本実施形態では、照度計４０から出力される照度情報を背景差分処理部２３が受け取る。照度計４０は、照度計４０によって検知される照度がフレーム画像の輝度値に影響を与える照度になるような場所に設置される。照度計４０は例えば車両室内の前端（フロントガラスの近傍）に設置される。
【００４９】
第１実施形態及び第２実施形態とは異なり、本実施形態では、閾値可変部２４がフレーム画像の輝度情報を必要としない。閾値可変部２４は、各フレーム画像の撮影タイミングと相関のある各フレーム画像の取得タイミングを取得部２１から受け取る。
【００５０】
閾値可変部２４は、処理対象画像より先に取得部２１によって取得された複数のフレーム画像に対応する照度を時間平均化して得られる時間平均照度に応じて、閾値を可変する。第１実施形態及び第２実施形態とは異なり、本実施形態では、フレーム画像を複数の区分領域に区分していない。ただし、第１実施形態及び第２実施形態と同様に、所定の一部領域Ｒ１の設定は行っている。閾値可変部２４は、フレーム画像に対応する照度を時間平均化し、その時間平均化された照度に応じて閾値を更新する。例えば、処理対象画像がｎ番目のフレーム画像である場合、（ｎ−１）番目のフレーム画像〜（ｎ−ｋ）番目のフレーム画像に対応する照度を時間平均化すればよい。上記において、ｎは３以上の自然数、ｋはｎより小さい自然数である。また、上記の例とは異なり、処理対象画像より１つ先に取得されたフレーム画像（上記（ｎ−１）番目のフレーム画像）に対応する照度を時間平均化の対象に含めないようにしてもよい。
【００５１】
本実施形態によると、閾値可変部２４が、処理対象画像より先に取得部２１によって取得されたフレーム画像の輝度値に影響を与える照度に応じて、背景差分処理部２３で用いられる閾値を可変するので、処理対象画像の撮影時より前の照明条件に応じて閾値を可変することができる。照明条件は無秩序に変動するのではなく、或る程度の連続性を持って変動する。したがって、処理対象画像の撮影時の照明条件に適した閾値の設定が可能となる。その結果、照明条件の変動に強い背景差分処理を実行することができる。
【００５２】
また本実施形態によると、閾値可変部２４が、フレーム画像の輝度情報を処理せずに閾値を可変するので、閾値可変部２４にかかる閾値可変処理の負担が軽くなる。
【００５３】
＜４．第４実施形態＞
本実施形態に係る画像処理システムは、上述した第３実施形態に係る画像処理システムに対して、閾値可変部２４の動作内容が異なっている。以下、第３実施形態と異なる点について説明し、第３実施形態と同様の構成、動作、及び処理については説明を省略する。
【００５４】
本実施形態では、閾値可変部２４は、処理対象画像より先に取得部２１によって取得されたフレーム画像に対応する照度と、処理対象画像に対応する照度とに応じて、閾値を可変する。例えば、処理対象画像がｎ番目のフレーム画像である場合、ｎ番目のフレーム画像に対応する照度と（ｎ−１）番目のフレーム画像に対応する照度との差に基づいて、前回の背景差分処理で用いた閾値からの変化量を決定し、前回の背景差分処理で用いた閾値から今回の背景差分処理で用いる閾値に更新すればよい。例えば、ｎ番目のフレーム画像に対応する照度と（ｎ−１）番目のフレーム画像に対応する照度との差が大きいほど、前回の背景差分処理で用いた閾値からの変化量を大きくすればよい。
【００５５】
本実施形態によると、閾値可変部２４が、処理対象画像より先に取得部２１によって取得されたフレーム画像に対応する照度と、処理対象画像に対応する照度とに応じて、閾値を可変するので、処理対象画像より先に取得部２１によって取得されたフレーム画像の撮影時から処理対象画像の撮影時において照明条件が比較的に急激に変化した場合でも、閾値可変部２４が閾値を適切に可変することができる。
【００５６】
＜５．第５実施形態＞
図７は、本実施形態に係る画像処理システムの構成を示すブロック図である。画像処理システムが車室内撮影カメラ１０、及び画像処理装置２０によって構成される点は、第１〜第４実施形態と同様である。以下、第１実施形態及び第２実施形態と異なる点について説明する。
【００５７】
閾値可変部２４は、ナビゲーション装置５０から特定の場所に到達したことを通知する通信信号を受け取ったときに、処理対象画像より先に取得部２１によって取得されたフレーム画像の輝度値に応じて、閾値を可変する。より具体的には、ナビゲーション装置５０から特定の場所に到達したことを通知する通信信号を受け取ったときから所定時間が経過するまで、閾値可変部２４が閾値を可変する動作を行い、それ以外は閾値可変部２４が閾値の更新を停止する。特定の場所としては、例えばトンネルの入口直前、トンネルの出口直前等の照明条件が大きく変動する地点の手前が適している。
【００５８】
閾値可変部２４の動作は、第１実施形態と同様であってもよく、第２実施形態と同様であってもよい。
【００５９】
本実施形態によれば、特定の場所から少し先で起こり得る照明条件の変動に適切に対応できるとともに、閾値可変部２４にかかる閾値可変処理の負担が軽くなる。
【００６０】
なお、本実施形態を第３実施形態又は第４実施形態と組合せて、閾値可変部２４の動作を第３実施形態又は第４実施形態と同様にしてもよい。この場合、閾値可変部２４にかかる閾値可変処理の負担をより一層軽くすることができる。
【００６１】
＜６．第６実施形態＞
上述した第１〜第５実施形態では、背景差分処理部２３が、背景画像と処理対象画像との同一位置画素間の輝度差を算出し、輝度差が閾値以上である位置を処理対象画像の前景領域とし、輝度差が閾値未満である位置を処理対象画像の背景領域としている。
【００６２】
本実施形態は、上述した第１〜第５実施形態のいずれかの変形例であって、上述した第１〜第５実施形態のいずれかにおいて、背景差分処理部２３が、グラフカット（Graph Cut）法によって処理対象画像の領域を前景領域と背景領域とに区分するように変形する。
【００６３】
図８は、グラフカット法による前景領域と背景領域との区別を概念的に示す図である。グラフカット法では、取得部２１によって取得された背景画像に対する前景領域を分割するために必要となるエネルギーの総量が最小になるような前景領域を求める。
【００６４】
図８において、ｓは前景を、tは背景、○は隣接する各ノードをそれぞれ表しており、これらがパイプでつながったものをカットし、前景と背景を分割する。また、各ノードとsまたはtとのフローをデータ項（図８の破線部）、隣接するノード同士のフローを平滑化項（図８の実線部）と呼ぶ。データ項は、その領域がどれだけ前景(s)らしいか、もしくは、背景(t)らしいかを表している。平滑化項は、その領域が隣接する周囲４つの近傍領域とのつながりがどれだけあるのかを表している。これら各ノードのつながりが強固なものほど、分割するために要するエネルギーが大きくなる。
【００６５】
閾値可変部２４によって更新される閾値は、例えば、各ノードが前景(s)又は背景(t)のどちらと強くつながっているかを決定するための閾値とすればよい。
【００６６】
グラフカット法による前景領域と背景領域との区別することによって、より一層照明条件の変動に強い背景差分処理を実現することができる。
【００６７】
＜７．第７実施形態＞
図９は、本実施形態に係る画像処理システムの構成を示すブロック図である。本実施形態では、第１実施形態及び第２実施形態と異なり画像処理装置２０がエッジ検出部２５及び修正部２６を備える。以下、第１実施形態及び第２実施形態と異なる点について説明する。
【００６８】
エッジ検出部２５は、フレーム画像における注目画素の周辺領域内のエッジを検出する。注目画素はフレーム画像の全画素であることが好ましいが、フレーム画像の全画素に対して間引き処理を行い、間引き処理後に残った画素のみを注目画素としてもよい。
【００６９】
修正部２６は、時間経過によってエッジ検出部２５によって検出されたエッジが移動した場合に、その移動から一定時間が経過する迄の間、注目画素の輝度値が略変動せず且つエッジ検出部２５によって検出されたエッジが更に略移動しなければ、注目画素の輝度値を背景画像に反映させた修正背景画像を生成する。修正部２６によって修正背景画像が生成された場合、背景差分処理部２３は、修正部２６によって生成された修正背景画像を背景画像として用いる。なお、修正部２６は、時間経過によってエッジ検出部２５によって検出されたエッジが移動した場合に、その移動から一定時間が経過する迄の間、注目画素の輝度値が全く変動せず且つエッジ検出部２５によって検出されたエッジが更に移動することが完全になければ、注目画素の輝度値を背景画像に反映させた修正背景画像を生成するようにしてもよい。また、修正部２６は、時間経過によってエッジ検出部２５によって検出されたエッジが移動した場合に、その移動から一定時間が経過する迄の間、注目画素の輝度値が変動したとしても所定の範囲内に収まり且つエッジ検出部２５によって検出されたエッジが更に移動したとしても所定の範囲内に収まれば、注目画素の輝度値を背景画像に反映させた修正背景画像を生成するようにしてもよい。注目画素の輝度値の変動に関する所定の範囲及びエッジの更なる移動に関する所定の範囲は実験やシミュレーションによって適切な範囲を求めればよい。
【００７０】
車両においては、背景画像が取得された後に例えばシートポジションやシートリクライニングの設定が変更されてシートが移動することがある。この場合、シートが前景領域に区分されるおそれがある。
【００７１】
上記のようなシートの移動は頻繁に行われるものではないこと、及び、乗員は同じような姿勢をとっていても全く動いていない訳ではないことに着目して、エッジ検出部２５及び修正部２６が画像処理装置２０に設けられている。
【００７２】
エッジ検出部２５及び修正部２６を設けることにより、一旦背景画像が取得された後に本来想定している前景領域（本実施形態では乗員）以外のものが動いた場合でも、前景領域の誤抽出を抑えることができる。すなわち、前景領域の抽出精度が向上する。
【００７３】
尚、本実施形態は、第３〜第６実施形態と組み合わせることも可能である。
【００７４】
＜８．変形例等＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。
【００７５】
例えば、第１実施形態又は第２実施形態と、第３実施形態又は第４実施形態とを組み合わせてよい。この場合、処理対象画像の同一位置に対して２つの閾値が算出されるので、例えば２つの閾値に対して重み付け平均を行ったものを最終的な閾値として用いればよい。
【符号の説明】
【００７６】
１０  車室内撮影カメラ
２０  画像処理装置
２１  取得部
２２  インターフェース
２３  背景差分処理部
２４  閾値可変部
２５  エッジ検出部
２６  修正部
４０  照度計
５０  ナビゲーション装置
【図１】
2018147329.tif 000003
【図２】
2018147329.tif 000004
【図３】
2018147329.tif 000005
【図４】
2018147329.tif 000006
【図５】
2018147329.tif 000007
【図６】
2018147329.tif 000008
【図７】
2018147329.tif 000009
【図８】
2018147329.tif 000010
【図９】
2018147329.tif 000011