(57)【要約】  本発明は、視界を遮る妨害物体を除去し、快適な視界の画像を提供できるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。妨害状態検出部１６１が撮像部で撮影された画像を補正する必要があるか否かを判定し、妨害物体検出部１６２が撮影された画像の中の妨害物体に対応する画素を検出する。妨害物体除去処理部１６４は、移動状態制御部１６３と妨害物体登録部１６５からの出力に基づいて、補正すべき画像のフレームにおける妨害物体の画素を、時間的に前のフレームにおける対応する画素と置き換えて、画像から妨害物体を除去するように補正して表示部に出力する。【特許請求の範囲】
【請求項１】
画像を撮影し、撮影された画像のデータを出力する撮影手段と、
前記撮影手段から出力される画像のデータについて補正を行うか否かを判定する補正要否判定手段と、
前記画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素を検出する検出手段と、
前記検出手段により検出された前記画像のデータの中の前記妨害物体の画素を、他の画素と置き換える置換え手段と、
前記置換え手段により、前記妨害物体の画素が他の画素と置き換えられた画像のデータを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮影手段は、
撮影した光に対応して生成される電荷を、画素ごとに電荷の数の対数に比例した電圧値を持つアナログの電気信号に変換し、前記アナログの電気信号をデジタルデータに変換して前記画像のデータを出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影手段は、
撮影した光に対応して生成される電流を、画素ごとに電流の大きさの対数に比例した電圧値を持つアナログの電気信号に変換し、前記アナログの電気信号をデジタルデータに変換して前記画像のデータを出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記検出手段は、
前記画像のデータの画素の輝度値と、予め設定された閾値に基づいて、前記妨害物体に対応する画素を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記閾値は、前記画像のデータの中で、前記妨害物体に対応する画素と、背景に対応する画素とを区別するための輝度値の上限および下限の閾値であり、
前記検出手段は、前記閾値の範囲内の輝度値をもつ画素を、前記妨害物体に対応する画素として検出する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記検出手段は、
前記画像を複数の領域に分割し、分割された全ての領域の画像のデータの中に、前記閾値の範囲内の輝度値をもつ画素が存在する場合、前記閾値の範囲内の輝度値をもつ画素を、前記妨害物体に対応する画素として検出する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記検出手段は、
前記撮影手段が撮影した複数のフレームの全てのフレームの画像のデータの中に、前記閾値の範囲内の輝度値をもつ画素が存在する場合、
前記閾値の範囲内の輝度値をもつ画素を、前記妨害物体に対応する画素として検出する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記検出手段は、
前記閾値の範囲内の輝度値をもつ画素を中心とするブロックのデータの特徴量を算出し、
算出された特徴量と、予め記憶されている妨害物体に対応する画素のブロックのデータの特徴量との差分を演算し、前記差分が予め設定された値以下である場合、
前記閾値の範囲内の輝度値をもつ画素を中心とするブロックを前記妨害物体に対応する画素のブロックとして検出する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記置換え手段は、
前記検出手段により検出された画素を、前記撮影手段により撮影されたフレームの画像であって、画素を置き換えるべきフレームより時間的に前のフレームの画像において前記検出手段により検出された画素に対応する画素と置き換える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記撮影手段により撮影されたフレームの画像であって、画素を置き換えるべきフレームより時間的に前のフレームの画像において前記検出手段により検出された画素に対応する画素の位置を特定する特定手段をさらに備え、
前記置換え手段は、
前記検出手段により検出された画素を、前記特定手段により特定された画素と置き換える
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
他の撮影手段をさらに備え、
前記置換え手段は、
前記検出手段により検出された画素を、前記他の撮影手段により撮影された画像であって、画素を置き換えるべき画像と同じタイミングで撮影された画像において、前記検出手段により検出された画素に対応する画素と置き換える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
画像を撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かを判定する補正要否判定ステップと、
前記補正要否判定ステップの処理により、前記画像のデータに対して補正を行うべきと判定された場合、前記画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素を検出する検出ステップと、
前記検出ステップの処理により検出された前記画像のデータの中の前記妨害物体の画素を、他の画素と置き換える置換えステップと、
前記置換えステップの処理により、前記妨害物体の画素が他の画素と置き換えられた画像のデータを出力する出力ステップと
を含むことを特徴とする画像処理方法。
【請求項１３】
画像処理装置に画像処理を行わせるプログラムであって、
画像を撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かの判定を制御する補正要否判定制御ステップと、
前記補正要否判定制御ステップの処理により、前記画像のデータに対して補正を行うべきと判定された場合、前記画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素の検出を制御する検出制御ステップと、
前記検出ステップの処理により検出された前記画像のデータの中の前記妨害物体の画素の、他の画素との置き換えを制御する置換え制御ステップと、
前記置換え制御ステップの処理により、前記妨害物体の画素が他の画素と置き換えられた画像のデータの出力を制御する出力制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
画像処理装置に画像処理を行わせるプログラムが記録されている記録媒体であって、
画像を撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かの判定を制御する補正要否判定制御ステップと、
前記補正要否判定制御ステップの処理により、前記画像のデータに対して補正を行うべきと判定された場合、前記画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素の検出を制御する検出制御ステップと、
前記検出ステップの処理により検出された前記画像のデータの中の前記妨害物体の画素の、他の画素との置き換えを制御する置換え制御ステップと、
前記置換え制御ステップの処理により、前記妨害物体の画素が他の画素と置き換えられた画像のデータの出力を制御する出力制御ステップと
をコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
【請求項１５】
被写体に光を照射する照明を点灯したときの画像と、前記照明を消灯したときの画像とを撮影し、撮影された画像のデータを出力する撮影手段と、
前記撮影手段から出力される画像のデータについて補正を行うか否かを判定する補正要否判定手段と、
前記撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、前記照明を消灯したとき撮影される画像のデータとに基づいて、前記画像のデータを補正する補正手段と、
前記補正手段により、補正された画像のデータを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項１６】
前記補正手段は、
前記撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、前記照明を消灯したとき撮影される画像のデータのうち、前記照明を消灯したとき撮影される画像のデータが前記出力手段に出力されるように前記画像のデータを補正する
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素を検出する検出手段をさらに備え、
前記検出手段は、
前記撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、前記照明を消灯したとき撮影される画像のデータとに基づいて、それぞれの画像のデータにおいて対応する各画素の輝度値の差分を演算し、輝度値の差分が予め設定された値を超える画素を、前記妨害物体に対応する画素として検出し、
前記補正手段は、
前記検出手段により検出された前記画像のデータの中の前記妨害物体の画素を、他の画素と置き換える
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１８】
被写体に光を照射する照明を点灯したときの画像と、前記照明を消灯したときの画像とを撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かを判定する補正要否判定ステップと、
補正要否判定ステップの処理により前記画像のデータに対して補正を行うべきと判定された場合、前記撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、前記照明を消灯したとき撮影される画像のデータとに基づいて、
前記画像のデータを補正する補正ステップと、
前記補正ステップの処理により、補正された画像のデータを出力する出力ステップと
を含むことを特徴とする画像処理方法。
【請求項１９】
画像処理装置に画像処理を行わせるプログラムであって、
被写体に光を照射する照明を点灯したときの画像と、前記照明を消灯したときの画像とを撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かの判定を制御する補正要否判定制御ステップと、
補正要否判定制御ステップの処理により前記画像のデータに対して補正を行うべきと判定された場合、前記撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、前記照明を消灯したとき撮影される画像のデータとに基づく前記画像のデータの補正を制御する補正制御ステップと、
前記補正制御ステップの処理により、補正された画像のデータの出力を制御する出力制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項２０】
画像処理装置に画像処理を行わせるプログラムが記録されている記録媒体であって、
被写体に光を照射する照明を点灯したときの画像と、前記照明を消灯したときの画像とを撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かの判定を制御する補正要否判定制御ステップと、
補正要否判定制御ステップの処理により前記画像のデータに対して補正を行うべきと判定された場合、前記撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、前記照明を消灯したとき撮影される画像のデータとに基づく前記画像のデータの補正を制御する補正制御ステップと、
前記補正制御ステップの処理により、補正された画像のデータの出力を制御する出力制御ステップと
をコンピュータに実行させるプログラムが記録されていることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、視界を遮る妨害物体を除去し、快適な視界の画像を提供できるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、夜間に前方のヘッドライトで照らされた領域よりも遥かに暗い領域の視認性を向上させるために、カメラなどの撮像手段で暗い領域が写るように撮影した画像を、表示手段で表示する方法がある。しかし、雪や豪雨の時には手前（カメラの近く）にある雪や雨がヘッドライトに照らされて明るく撮像され、それが明るく表示されるために視認性が著しく下がり、前方の歩行者や障害物を認識できないという問題点がある。このため、車両用灯具において、気象や路面状況の変化に応じた照射制御を行うことによって、前方視界を改善する方法が提案されている（例えば、特許文献１参照。）。【０００３】
また、例えば、絞りなどで光量を極端に少なくして長時間露出する方法で写真を撮影すると、動く物体は写らないので静止している道路や建物が撮影できるので雪や雨など動く物体が取り除かれた画像を提供することも可能であるが、提供される画像はほぼ静止画像と同様になるため、リアルタイム性が求められる監視などの応用には向かない。【０００４】
リアルタイム性が求められる監視などに適用する場合、前のフレームと後のフレームの画素ごとの差分を計算して、閾値を越える差分が検出されたときに、閾値を超える変化があった画素について、前のフレームの同一位置の画素のデータで置き換えるようにすれば、動きによって閾値を超える変化が発生した画素はもとのフレームのデータと置き換えられる。この方法によれば、舞い落ちる雪や道路上を通行する車両や歩行者を除去して、静止して動かない道路やガードレールなどの道路に付帯する物体や建物や橋などの物体を監視することができる。
【特許文献１】特開平１１−３２１４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では灯具によって悪化した視界を改善する効果については期待できるが、手前にある雪によって遮蔽された部分については見ることができないという課題があった。【０００６】
また、前のフレームの同一位置の画素を置き換える方法を用いた監視装置を、車に搭載して前方を表示すると、車の進行に応じて前方の画像の大半が動いて変化する状態となるため、ほとんどの領域で消去されて表示されない。したがって、カメラや対象が動く場合には利用できないことになる。移動する物体が妨害物体であると単純に判定する方法では、このような問題が発生するため、雪や雨などの妨害物体と視認すべき物体を区別して処理する必要がある。【０００７】
特に雪は、撮影するシーンの輝度変化が大きい妨害物体であり、画像に占める大きさが小さく、形状も個々の雪によって大きく異なるため、画像の中で識別することは困難である。また、カメラの近くにある雪は面積が大きく反射光量が多いため、前方の物体よりも遥かに明るい光を撮像手段に入射するので通常のＣＣＤ撮像素子やＣＭＯＳ撮像素子を用いる方法では、絞りやシャッター速度などの入射光量制御手段が必要となる。入射光量制御手段が、手前にある明るい雪に対応して入射光量を減らすと、前方が黒レベルでクリッピングされて写らなくなる。入射光量制御手段が前方の暗い領域にあわせて入射光量を増やすと、雪の部分が周囲の画素に影響を与えるフレアやスミアなどの現象が発生して前方を撮影できない領域が大きく拡大してしまう。【０００８】
本発明はこのような状況に鑑みてなされたものであり、視界を遮る妨害物体を除去し、快適な視界の画像を提供できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明を適用した第１の画像処理装置は、画像を撮影し、撮影された画像のデータを出力する撮影手段と、撮影手段から出力される画像のデータについて補正を行うか否かを判定する補正要否判定手段と、画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素を検出する検出手段と、検出手段により検出された画像のデータの中の妨害物体の画素を、他の画素と置き換える置換え手段と、置換え手段により、妨害物体の画素が他の画素と置き換えられた画像のデータを出力する出力手段とを備えることを特徴とする。【００１０】
本発明の第１の画像処理装置においては、画像が撮影され、撮影された画像のデータが出力され、出力される画像のデータについて補正を行うか否かが判定され、画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素が検出され、検出された画像のデータの中の妨害物体の画素が、他の画素と置き換えられ、妨害物体の画素が他の画素と置き換えられた画像のデータが出力される。【００１１】
したがって、視界の妨げとなる妨害物体が取り除かれた画像を提供することができる。【００１２】
前記撮影手段は、撮影した光に対応して生成される電荷を、画素ごとに電荷の数の対数に比例した電圧値を持つアナログの電気信号に変換し、アナログの電気信号をデジタルデータに変換して画像のデータを出力するようにすることができる。【００１３】
撮影手段は、例えば、HDRCカメラにより構成される。【００１４】
したがって、ダイナミックレンジの広い画像を撮影し、妨害物体である雪の画素を確実に検出することができる。【００１５】
前記撮影手段は、撮影した光に対応して生成される電流を、画素ごとに電流の大きさの対数に比例した電圧値を持つアナログの電気信号に変換し、アナログの電気信号をデジタルデータに変換して画像のデータを出力するようにすることができる。【００１６】
前記検出手段は、画像のデータの画素の輝度値と、予め設定された閾値に基づいて、妨害物体に対応する画素を検出するようにすることができる。【００１７】
前記閾値は、画像のデータの中で、妨害物体に対応する画素と、背景に対応する画素とを区別するための輝度値の上限および下限の閾値であり、検出手段は、閾値の範囲内の輝度値をもつ画素を、妨害物体に対応する画素として検出するようにすることができる。【００１８】
したがって、妨害物体を背景と区別して適切に検出することができる。【００１９】
前記検出手段は、画像を複数の領域に分割し、分割された全ての領域の画像のデータの中に、閾値の範囲内の輝度値をもつ画素が存在する場合、閾値の範囲内の輝度値をもつ画素を、妨害物体に対応する画素として検出するようにすることができる。【００２０】
したがって、画像の一部に存在する物体が、誤って妨害として検出されることが抑止される。【００２１】
前記検出手段は、撮影手段が撮影した複数のフレームの全てのフレームの画像のデータの中に、閾値の範囲内の輝度値をもつ画素が存在する場合、閾値の範囲内の輝度値をもつ画素を、妨害物体に対応する画素として検出するようにすることができる。【００２２】
したがって、一時的に視界を遮る物体が、誤って妨害として検出されることが抑止される。【００２３】
前記検出手段は、閾値の範囲内の輝度値をもつ画素を中心とするブロックのデータの特徴量を算出し、算出された特徴量と、予め記憶されている妨害物体に対応する画素のブロックのデータの特徴量との差分を演算し、差分が予め設定された値以下である場合、閾値の範囲内の輝度値をもつ画素を中心とするブロックを妨害物体に対応する画素のブロックとして検出するようにすることができる。【００２４】
したがって、画像の中の妨害物体の量などに係らず、確実に妨害物体を検出することができる。【００２５】
前記置換え手段は、検出手段により検出された画素を、撮影手段により撮影されたフレームの画像であって、画素を置き換えるべきフレームより時間的に前のフレームの画像において検出手段により検出された画素に対応する画素と置き換えるようにすることができる。【００２６】
したがって、あたかも妨害物体が存在しない画像を生成することができる。【００２７】
前記撮影手段により撮影されたフレームの画像であって、画素を置き換えるべきフレームより時間的に前のフレームの画像において検出手段により検出された画素に対応する画素の位置を特定する特定手段をさらに備え、置換え手段は、検出手段により検出された画素を、特定手段により特定された画素と置き換えるようにすることができる。【００２８】
したがって、画像処理装置が移動している場合であっても、適切に妨害物体が取り除かれた画像を提供することができる。【００２９】
他の撮影手段をさらに備え、置換え手段は、検出手段により検出された画素を、他の撮影手段により撮影された画像であって、画素を置き換えるべき画像と同じタイミングで撮影された画像において、検出手段により検出された画素に対応する画素と置き換えるようにすることができる。【００３０】
したがって、ワインディングロードなどを走行している場合でも、適切に妨害物体が取り除かれた画像を提供することができる。【００３１】
本発明を適用した第１の画像処理方法は、画像を撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かを判定する補正要否判定ステップと、補正要否判定ステップの処理により、画像のデータに対して補正を行うべきと判定された場合、画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素を検出する検出ステップと、検出ステップの処理により検出された画像のデータの中の妨害物体の画素を、他の画素と置き換える置換えステップと、置換えステップの処理により、妨害物体の画素が他の画素と置き換えられた画像のデータを出力する出力ステップとを含むことを特徴とする。【００３２】
本発明の第１の画像処理方法においては、画像を撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かが判定され、画像のデータに対して補正を行うべきと判定された場合、画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素が検出され、検出された画像のデータの中の妨害物体の画素が、他の画素と置き換えられ、妨害物体の画素が他の画素と置き換えられた画像のデータが出力される。【００３３】
本発明を適用した第１のプログラムは、画像処理装置に画像処理を行わせるプログラムであって、画像を撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かの判定を制御する補正要否判定制御ステップと、補正要否判定制御ステップの処理により、画像のデータに対して補正を行うべきと判定された場合、画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素の検出を制御する検出制御ステップと、検出ステップの処理により検出された画像のデータの中の妨害物体の画素の、他の画素との置き換えを制御する置換え制御ステップと、置換え制御ステップの処理により、妨害物体の画素が他の画素と置き換えられた画像のデータの出力を制御する出力制御ステップとをコンピュータに実行させることを特徴とする。【００３４】
本発明を適用した第１の記録媒体は、画像処理装置に画像処理を行わせるプログラムが記録されている記録媒体であって、画像を撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かの判定を制御する補正要否判定制御ステップと、補正要否判定制御ステップの処理により、画像のデータに対して補正を行うべきと判定された場合、画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素の検出を制御する検出制御ステップと、検出ステップの処理により検出された画像のデータの中の妨害物体の画素の、他の画素との置き換えを制御する置換え制御ステップと、置換え制御ステップの処理により、妨害物体の画素が他の画素と置き換えられた画像のデータの出力を制御する出力制御ステップとをコンピュータに実行させるプログラムが記録されていることを特徴とする。【００３５】
本発明を適用した第２の画像処理装置は、被写体に光を照射する照明を点灯したときの画像と、照明を消灯したときの画像とを撮影し、撮影された画像のデータを出力する撮影手段と、撮影手段から出力される画像のデータについて補正を行うか否かを判定する補正要否判定手段と、撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、照明を消灯したとき撮影される画像のデータとに基づいて、画像のデータを補正する補正手段と、補正手段により、補正された画像のデータを出力する出力手段とを備えることを特徴とする。【００３６】
本発明の第２の画像処理装置においては、被写体に光を照射する照明を点灯したときの画像と、照明を消灯したときの画像とが撮影され、撮影された画像のデータが出力され、出力される画像のデータについて補正を行うか否かが判定され、撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、照明を消灯したとき撮影される画像のデータとに基づいて、画像のデータが補正され、補正された画像のデータが出力される。【００３７】
したがって、ユーザにとって快適な視界の画像を提供することができる。【００３８】
前記補正手段は、撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、照明を消灯したとき撮影される画像のデータのうち、照明を消灯したとき撮影される画像のデータが出力手段に出力されるように画像のデータを補正するようにすることができる。【００３９】
したがって、ユーザの視認性を損なうことなく、自然に感じられる画像を表示することができる。【００４０】
前記画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素を検出する検出手段をさらに備え、検出手段は、撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、照明を消灯したとき撮影される画像のデータとに基づいて、それぞれの画像のデータにおいて対応する各画素の輝度値の差分を演算し、輝度値の差分が予め設定された値を超える画素を、妨害物体に対応する画素として検出し、補正手段は、検出手段により検出された画像のデータの中の妨害物体の画素を、他の画素と置き換えるようにすることができる。【００４１】
したがって、簡単な構成で妨害物体を検出することができる。【００４２】
本発明を適用した第２の画像表示方法は、被写体に光を照射する照明を点灯したときの画像と、照明を消灯したときの画像とを撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かを判定する補正要否判定ステップと、補正要否判定ステップの処理により画像のデータに対して補正を行うべきと判定された場合、撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、照明を消灯したとき撮影される画像のデータとに基づいて、画像のデータを補正する補正ステップと、補正ステップの処理により、補正された画像のデータを出力する出力ステップとを含むことを特徴とする。【００４３】
本発明の第２の画像表示方法においては、被写体に光を照射する照明を点灯したときの画像と、照明を消灯したときの画像とが撮影され、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かが判定され、画像のデータに対して補正を行うべきと判定された場合、撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、照明を消灯したとき撮影される画像のデータとに基づいて、画像のデータが補正され、補正された画像のデータが出力される。【００４４】
本発明を適用した第２のプログラムは、画像処理装置に画像処理を行わせるプログラムであって、被写体に光を照射する照明を点灯したときの画像と、照明を消灯したときの画像とを撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かの判定を制御する補正要否判定制御ステップと、補正要否判定制御ステップの処理により画像のデータに対して補正を行うべきと判定された場合、撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、照明を消灯したとき撮影される画像のデータとに基づく画像のデータの補正を制御する補正制御ステップと、補正制御ステップの処理により、補正された画像のデータの出力を制御する出力制御ステップとをコンピュータに実行させることを特徴とする。【００４５】
本発明を適用した第２の記録媒体は、画像処理装置に画像処理を行わせるプログラムが記録されている記録媒体であって、被写体に光を照射する照明を点灯したときの画像と、前記照明を消灯したときの画像とを撮影し、撮影された画像のデータを出力する撮影手段から出力される画像のデータについて補正を行うか否かの判定を制御する補正要否判定制御ステップと、補正要否判定制御ステップの処理により前記画像のデータに対して補正を行うべきと判定された場合、前記撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、前記照明を消灯したとき撮影される画像のデータとに基づく前記画像のデータの補正を制御する補正制御ステップと、前記補正制御ステップの処理により、補正された画像のデータの出力を制御する出力制御ステップとをコンピュータに実行させるプログラムが記録されていることを特徴とする。
【発明の効果】
【００４６】
本発明によれば、快適な視界の画像を提供することができる。特に、視界を遮る妨害物体を除去し、快適な視界の画像を提供できる。
【図面の簡単な説明】
【００４７】
【図１】本発明を適用した監視装置の構成例を示すブロック図である。
【図２】図１の撮像部の構成例を示す図である。
【図３】撮像部の感度特性を説明する図である。
【図４】図１の制御部の構成例を示すブロック図である。
【図５】画像補正処理の例を説明するフローチャートである。
【図６】補正要否判定処理の例を説明するフローチャートである。
【図７】妨害物体検出処理の例を説明するフローチャートである。
【図８】妨害物体が撮影された画像の例を示す図である。
【図９】図８の画像を複数の領域に分割する例を示す図である。
【図１０】画素のヒストグラムの例を示す図である。
【図１１】モードＡ処理の例を説明するフローチャートである。
【図１２】モードＢ処理の例を説明するフローチャートである。
【図１３】連続するフレームの例を示す図である。
【図１４】画素のヒストグラムの例を示す図である。
【図１５】画素のヒストグラムの例を示す図である。
【図１６】モードＣ処理の例を説明する図である。
【図１７】特徴判定処理の例を説明するフローチャートである。
【図１８】妨害物体検出処理の別の例を説明するフローチャートである。
【図１９】照明点灯時に撮影された画像の例を示す図である。
【図２０】照明消灯時に撮影された画像の例を示す図である。
【図２１】妨害物体が除去された画像の例を示す図である。
【図２２】妨害物体除去処理の例を説明するフローチャートである。
【図２３】補正すべきフレームの画像の例を示す図である。
【図２４】時間的に前のフレームの画像の例を示す図である。
【図２５】画素が置き換えられた画像の例を示す図である。
【図２６】補正すべきフレームの画像の別の例を示す図である。
【図２７】時間的に前のフレームの画像の別の例を示す図である。
【図２８】画素が置き換えられた画像の別の例を示す図である。
【図２９】本発明を適用した監視装置の別の構成例を示すブロック図である。
【図３０】図２９の監視装置による妨害物体除去処理の例を説明するフローチャートである。
【図３１】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００４８】
１００  監視装置
１０１  撮像部
１０２  制御部
１０３  表示部
１２１  撮像制御部
１４１  光検出部
１４２  対数変換部
１４３  A/D変換部
１６１  妨害状態検出部
１６２  妨害物体検出部
１６３  移動状態制御部
１６４  妨害物体除去部
１６５  妨害物体登録部
【発明を実施するための最良の形態】
【００４９】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明を適用した監視装置１００の実施の形態の外観構成例を示すブロック図である。監視装置１００は、例えば、自動車などに搭載され、車外前方を撮影してユーザに快適な視界の画像を提示する装置であり、撮像部１０１、制御部１０２、および表示部１０３により構成されている。【００５０】
撮像部１０１は、例えば、カメラなどにより構成され、レンズ１０１ａから入力された光に基づく画像（動画像であっても静止画像であってもよい）を撮像し、撮像された画像のデータを、制御部１０２に出力する。なお、撮像部１０１が動画像を撮影する場合、撮影される画像のデータは、フレーム単位に符号化されたデジタルデータとして出力される。【００５１】
制御部１０２は、撮像部１０１から供給される画像のデータに所定の処理を施して、妨害物体を除去するなどして補正し、補正された画像のデータに対応する信号を表示部１０３に出力する。【００５２】
ここで、妨害物体は空気中に浮遊しているか、雪や雨などのように空気中を落下しているか、虫などのように飛翔しているなどで空気中に存在する物体であって、人の視界を妨げるものである。【００５３】
また、制御部１０２は、例えば、自動車の電子制御部（マイコン（マイクロコンピュータ）など）などの外部の情報機器に接続され、必要に応じて、情報機器に接続される各種センサの出力状態などを取得する。【００５４】
表示部１０３は、例えば、LCD（Liquid Crystal Display）などにより構成され、制御部１０２から供給される信号に対応する画像を表示する。【００５５】
図２は、撮像部１０１の構成例を示すブロック図である。同図に示されるように、撮像部１０１において、レンズ１０１ａから出力される光が撮像制御部１２１に出力されるように構成されている。撮像制御部１２１は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型の撮像素子とされ、光検出部１４１、対数変換部１４２、A/D変換部１４３、および撮像タイミング制御部１４４を含むように構成される。【００５６】
レンズ１０１ａを通して入射した被写体の光は、撮像制御部１２１の光検出部１４１の図示せぬ光検出面に結像する。【００５７】
光検出部１４１は、例えば、フォトダイオードなどの複数の受光素子を備え、レンズ１０１ａにより結像された被写体の光を、光の強さ（光量）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部１４１は、撮像タイミング制御部１４４から供給される制御信号に同期して、蓄積された電荷を対数変換部１４２に供給する。なお、光検出部１４１に、変換した電荷を蓄積させずに、そのまま対数変換部１４２に供給させるようにすることも可能である。【００５８】
対数変換部１４２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部１４２は、MOSFETのサブスレッショルド特性を利用して、光検出部１４１から供給される電荷（または電流）を、画素ごとに電荷の数（または電流の強さ）の対数に比例した電圧値を持つアナログの電気信号に変換する。対数変換部１４２は、変換したアナログの電気信号をA/D変換部１４３に供給する。【００５９】
A/D変換部１４３は、撮像タイミング制御部１４４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データに変換して、変換した画像データを画像処理装置１１２に供給する。従って、撮像制御部１２１から出力される画像データの各画素の画素値は、光検出部１４１に入射した被写体の光量を対数変換した値に比例した値となる。【００６０】
図３は、ＨＤＲＣの撮像制御部１２１、CCD（Charge Coupled Device）撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。同図の横軸は、入射する光の照度（単位は、ルクス（lux））の対数を示し、縦軸は感度を示している。線１５１は撮像制御部１２１の感度特性を示し、線１５２は人の目の感度特性を示し、線１５３は銀塩フィルムの感度特性を示し、線１５４はCCD撮像素子の感度特性を示している。なお、従来のCMOS撮像素子の感度特性は、線１５４に示されるCCD撮像素子の感度特性とほぼ類似したものとなる。【００６１】
撮像制御部１２１は、上述したように、入射した被写体の光の光量の対数にほぼ比例した値の画素値を持つ画像データを出力することにより、撮像制御部１２１を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、CCD撮像素子、銀塩フィルム、および、人の目より広い、約１ミリルクスから太陽光の輝度より高い約５００ｋルクスまでの約１７０dBのダイナミックレンジを持つ。【００６２】
すなわち、対数変換部１４２が、上述したように、入射光量の対数にほぼ比例した輝度値（あるいは画素値）からなるデータを出力するので、入射光量が大きくなった場合でも、撮像制御部１２１を構成するフォトダイオードやMOSFETなどの素子の容量が飽和したり、各素子に流れる電流や印加される電圧が各素子の入力に応じた出力を行うことができる範囲を超えることがない。従って、撮像可能な輝度の範囲内において、ほぼ正確に入射光量の変動に応じた輝度値（あるいは画素値）を得ることができる。なお、撮像制御部１２１のダイナミックレンジは、上述した１７０dBに限定されるものではなく、利用目的に応じて、約１００ｄＢあるいは２００ｄＢなど、必要なダイナミックレンジに対応したものを用いるようにすればよい。【００６３】
従って、撮像制御部１２１を用いた撮像装置１０１は、絞りやシャッタースピードなどの調整による入射光量の調整を行わなくても、撮像素子が出力可能な画素値の最大値に被写体の明るい部分に対応する画素値がクリッピングされたり、撮像素子が出力可能な画素値の最小値に被写体の暗い部分に対応する画素値がクリッピングされたりする輝度クリッピングが発生しない。すなわち、撮像装置１０１は、被写体の明るい部分が白く飛んでしまったり、暗い部分が黒く塗りつぶされたりすることなく、被写体の詳細な輝度の変化を忠実に撮影することができる。【００６４】
例えば、撮像制御部１２１を用いた撮像装置１０１は、昼間に車内から車の前方を撮影する場合、画角内に太陽が入っていても、入射光量を調整することなしに、太陽と前方の道路の状態を忠実に再現した画像を撮影することができる。また、撮像装置１０１は、夜間に車内から車の前方を撮影する場合、対向車のヘッドライトが前方から照らされていても、入射光量を調整することなしに、対向車のヘッドライトの光から自車のヘッドライトに照らされていない部分までを忠実に再現した画像を撮影することができる。【００６５】
また、撮像制御部１２１を用いた撮像装置１０１は入射光量の調整を行う必要がないため、撮像装置１０１から出力される画像データにおいて、例えば、２枚のフレームを撮影する間に、被写体内の輝度が変動した領域と変動しなかった領域がある場合、輝度が変動した領域に対応する画素値が変動し、輝度が変動しなかった領域に対応する画素値はほとんど変動しない。従って、フレーム間の画像データの差分をとったデータ（以下、差分データと称する）の各画素の画素値（以下、差分値とも称する）は、被写体の輝度の変動がほぼ忠実に反映された値となる。【００６６】
一方、ダイナミックレンジが人の目より狭いCCD撮像素子を用いた撮像装置は、被写体の明るさに応じて、入射光量を調整する必要があるため、例えば、２枚のフレームを撮影する間に、被写体内の輝度が変動した領域と変動しなかった領域がある場合、輝度が変動しなかった領域に対応する画素値も変動する場合がある。従って、差分データの各画素の差分値は、被写体の輝度の変動が忠実に反映された値とならない場合がある。【００６７】
また、撮像装置１０１から出力される画像データの画素値が被写体の光量の対数にほぼ比例した値となることにより、被写体に照射される照明の明るさ（照度）に関わらず、その被写体を撮影した画像データにおける画素値の分布を示すヒストグラムは、その被写体の反射率の分布を示すヒストグラムとほぼ同じ形状となる。例えば、反射率が最大の部分と最小の部分の比が１０：１である被写体を、１回目と２回目とで約１００倍の照度差がある照明を照射して撮影した場合、１回目の画像データと２回目の画像データの画素値の分布を示すヒストグラムの幅はほぼ同じ値（１＝log1010）となる。一方、画像データの画素値が被写体の光量に比例する場合、１回目の画像データと２回目の画像データの画素値の分布を示すヒストグラムの幅の差は約１００倍となる。【００６８】
従って、被写体に照射される照明の照度がほぼ一様である場合、照明の照度が変化したとき、被写体の輝度（反射率）の分布に関わらず、被写体を撮影した画像データの画素値は、ほぼ一様に変化する。例えば、被写体内に輝度の比が１００：１となる２つの領域がある場合、照明の照度が変化することにより、被写体の輝度がほぼ一様に＋５％変動したとき、２つの領域に対応する画素値の変動値はほぼ同じ値（log101.05）となる。一方、画像データの画素値が被写体の光量に比例する場合、上述した２つの領域に対応する画素値の変動値の差は、約１００倍となる。【００６９】
これに対して、線１５４および線１５３に示されるように、CCD撮像素子および銀塩フィルムは、ガンマ特性などの要因により、感度特性が入射される光の照度に比例しない。従って、CCD撮像素子または銀塩フィルムを用いた画像データの画素値の分布を示すヒストグラムは、入射する光の光量（照度）の分布が一様でも、光量の大きさ（照度の強さ）によって、その形状が変化する。【００７０】
図４は、制御部１０２の構成例を示すブロック図である。同図において、妨害状態検出部１６１は、例えば、自動車のマイコンなどから取得される情報に基づいて、画像から除去すべき妨害物体（雪）があるか否かを検出する。妨害物体検出部１６２は、撮像部１０１から供給される画像の中の妨害物体を検出する。【００７１】
移動状態制御部１６３は、自動車の移動状態、および妨害物体の移動状態を検出して、両者の移動状態から画像の中の妨害物体と背景の位置関係を検出し、両者の位置関係に基づいて、補正に伴って置き換えるべき画素が存在するフレームと、置き換えるべき画素を決定する。【００７２】
妨害物体登録部１６５は、予め妨害物体の特徴量のデータを記憶しており、必要に応じて、妨害物体検出部１６２により検出された妨害物体の特徴量と、自身が記憶する妨害物体の特徴量との一致の度合いを検出する。【００７３】
妨害物体除去部１６４は、妨害物体検出部１６２、移動状態制御部１６３、および妨害物体登録部１６５による処理結果に基づいて、撮像部１０１から供給される画像データに対して、妨害物体に対応する画素を置き換える（妨害物体を除去する）処理を施して、補正し、補正された画像データに対応する信号を表示部１０３に出力する。【００７４】
なお、制御部１０２を構成する各部は、それぞれ上述した機能を実現するための論理演算部や記憶部が組み込まれた半導体集積回路などのハードウェアで構成されるようにしてもよいし、あるいはまた、制御部１０２を、例えば、コンピュータなどで構成し、上述した各部は、コンピュータが処理するソフトウェアにより実現される機能ブロックとして構成されるようにしてもよい。【００７５】
次に、図５のフローチャートを参照して、監視装置１００による画像補正処理について説明する。ここでは、監視装置１００は、自動車に搭載されて、撮像部１０１が前方の画像を撮影して表示部１０３に表示するとともに、雪を妨害物体として、撮影された画像から除去して表示するものとする。【００７６】
ステップＳ１０１において、制御部１０２は、図６を参照して後述する補正要否判定処理を実行する。これにより、撮像部１０１から供給される画像データを補正する必要があるか否かが判定される。【００７７】
ステップＳ１０２において、制御部１０２は、ステップＳ１０１の処理の結果、補正は必要と判定されたか否かを判定し、補正は必要と判定された場合、処理は、ステップＳ１０３に進む。【００７８】
ステップＳ１０３において、制御部１０２は、図７を参照して後述する妨害物体検出処理を実行する。これにより、撮像部１０１から供給される画像データにおける妨害物体に対応する画素（または画素のブロック）が検出される。【００７９】
ステップＳ１０４において、制御部１０２は、図２２を参照して後述する妨害物体除去処理を実行する。これによりステップＳ１０３の処理により検出された妨害物体が、画像から取り除かれる。【００８０】
ステップＳ１０４において、制御部１０２は、画像データに対応する信号を表示部１０３に出力し、画像を表示させる。【００８１】
なお、ステップＳ１０２において、補正は必要ないと判定された場合、ステップＳ１０３とＳ１０４の処理はスキップされ、撮像部１０１により撮影された画像が補正されずに表示されることになる。【００８２】
このようにして、画像補正処理が行われる。【００８３】
次に、図６のフローチャートを参照して、図５のステップＳ１０１の補正要否判定処理の詳細について説明する。【００８４】
ステップＳ１２１において、妨害状態検出部１６１は、自動車のマイコンなどから雨滴センサの出力情報を取得し、センサが物体（雪や雨など）を検出したか否かを判定し、物体を検出したと判定された場合、ステップＳ１２２に進む。【００８５】
ステップＳ１２２において、妨害状態検出部１６１は、自動車のマイコンなどから取得される情報に基づいて、予め設定された時間（例えば、１分）ワイパーが動作したか否かを判定し、所定の時間ワイパーが動作したと判定された場合、ステップＳ１２３に進む。例えば、ステップＳ１２１の処理で、雨滴センサが物体を検出したと判定された場合であっても、例えば、水がはねたことなどによる一時的なものである可能性があり、妨害物体（雪）が降っているとは限らない。そこで、ワイパーが所定の時間だけ動作した否かがさらに判定される。【００８６】
ステップＳ１２３において、妨害状態検出部１６１は、自動車のマイコンなどから取得される情報に基づいて、車速は閾値以下かを判定し、車速は閾値以下であると判定された場合、処理は、ステップＳ１２５に進む。雪が降っている場合、通常車速が遅くなると考えられるため、車速が閾値以下であるか否かがさらに判定される。【００８７】
ステップＳ１２５において、妨害状態検出部１６１は、画像の補正が必要であることを表す補正要フラグをＯＮに設定する。図５のステップＳ１０２の処理では、この補正フラグがＯＮであるか否かが判定され、補正フラグがＯＮである場合、補正が必要と判定される。【００８８】
一方、ステップＳ１２１において、センサが物体を検知していないと判定された場合、ステップＳ１２２において、所定の時間ワイパーが動作していないと判定された場合、または、ステップＳ１２３において、車速が閾値以下ではないと判定された場合、処理はステップＳ１２４に進む。【００８９】
ステップＳ１２４において、妨害状態検出部１６１は、手動で補正要の設定がなされたか否かを判定し、手動で補正要の設定がなされたと判定された場合、処理はステップＳ１２５に進む。例えば、ユーザ（ドライバ）が図示せぬ操作ボタンを押下するなどして画像の補正を指令した場合、やはり補正要フラグはＯＮに設定される。ステップＳ１２４において、手動で補正要の設定がなされなかったと判定された場合、ステップＳ１２５の処理はスキップされ、処理は終了する。【００９０】
このようにして、補正要否の判定が行われる。【００９１】
次に、図７のフローチャートを参照して、図５のステップＳ１０３の妨害物体検出処理の詳細について説明する。【００９２】
ステップＳ１４１において、妨害物体検出部１６２は、撮像部１０１で撮影された画像を所定の領域に分割する。これにより、例えば、図８に示されるような画像が図９に示されるように分割される。なお、図８および図９において、図中白丸で表される部分が妨害物体である雪とする。図９においては、画像が領域Ａ乃至領域Ｈの８つの領域に分割されている。【００９３】
ステップＳ１４２において、妨害物体検出部１６２は、画像のデータの中に存在する閾値の範囲内の画素を検出する。雪が降っているときの車外の画像の画素値（画素の輝度値）と画素数の関係を表すと図１０に示されるグラフのようになる。図１０において、横軸は出力値（画素値）、縦軸は画素数とされ、画素の分布（ヒストグラム）が線２０１で示されている。同図に示されるように、図中左側の出力値（画素値）低い部分と、図中右側の出力値（画素値）高い部分にそれぞれ線２０１のピークが形成されている。【００９４】
図中左側のピークは、画像の中の低輝度の背景に対応する画素によるものであり、図中右側のピークは、妨害物体である雪に対応する画素によるものである。閾値ａと閾値ｂは、それぞれ妨害物体である雪に対応する画素値の下限と上限であり、予め設定され、背景と妨害物体を区別するのに適した値とされる。したがって、閾値ａ以上でありかつ閾値ｂ以下である値をもつ画素（閾値範囲内の画素）は、妨害物体の画素の可能性が高いと考えられる。閾値ａと閾値ｂは、例えば、雪が降っているときの画像を予め撮影して取得した画像データに基づいて画素値のヒストグラムを作成し、作成したヒストグラムに基づいて設定される。【００９５】
また、閾値は、必ずしも一定に設定されるものではなく、天候などに応じて動的に設定されるようにしてもよい。例えば、晴れた日と、曇りの日（あるいは昼と夜）では、照射される日光の光の強度が異なるので、同じ物体であっても、撮像部１０１で撮影された画像のデータ中の画素の輝度値が異なる場合がある。このような場合、画像の中で常に観察される物体であって、予め反射率が記憶されている物体（例えば、路面）の輝度値に基づいて背景と妨害物体を区別するのに適した閾値が選択される（動的に設定される）ようにしてもよい。【００９６】
例えば、自動車の前方に撮像部１０１を取り付けた場合、撮影される画像の下端には常に路面（アスファルト）が写っていることになるので、予め複数の異なる天候で撮影された画像における路面と雪の輝度値の関係（例えば、輝度値の差分など）を記憶させておき、天候により撮影された画像の輝度が変化した場合、路面に対応する画素の輝度値を算出し、路面の輝度値と雪の輝度値との関係に基づいて、雪（妨害物体）に対応する画素を検出すればよい。【００９７】
なお、ステップＳ１４２の処理で検出された閾値の範囲内の画素が、そのまま妨害物体に対応する画素として検出されるようにしてもよい。この場合、後述するステップＳ１４３乃至Ｓ１４６の処理は省略されるようにしてもよい。【００９８】
ステップＳ１４３において、妨害物体検出部１６２は、監視装置１００に設定されているモードをチェックする。ここで、モードは、妨害物体の検出方法を選択するために、例えば、予めユーザにより設定されるものであり、雪の降り方、撮像部１０１の特徴などに応じて適宜設定される。【００９９】
ステップＳ１４３において、モードＡが設定されていると判定された場合、処理は、ステップＳ１４４に進み、妨害物体検出部１６２は、モードＡ処理を実行する。ここで、図１１のフローチャートを参照して、図７のステップＳ１４４のモードＡ処理の詳細について説明する。【０１００】
ステップＳ１６１において、妨害物体検出部１６２は、全ての領域に閾値範囲内の画素が存在するか否かを判定する。このとき、例えば、図９を参照して上述した領域Ａ乃至Ｈの全ての領域内に閾値範囲内の値をもつ画素が存在するか否かを判定する。【０１０１】
ステップＳ１６１において、全ての領域に閾値範囲内の画素が存在すると判定された場合、処理は、ステップＳ１６２に進み、妨害物体検出部１６２は、閾値範囲内の値の画素を妨害物体の画像の画素として設定する。【０１０２】
閾値範囲内の値をもつ画素は、比較的輝度値の高い明るい画像に対応する画素であり、例えば、白い物体であると考えられる。しかし、このような画像の画素が、画像の一部ではなく、例えば図９の領域Ａ乃至Ｈの全てにおいて存在している（広範囲に分散している）場合、その画素に対応する画像は雪である可能性が高いので、閾値範囲内の値の画素が妨害物体とされる。【０１０３】
一方、ステップＳ１６１において、全ての領域に閾値範囲内の画素が存在しないと判定された場合、ステップＳ１６２の処理はスキップされる。【０１０４】
すなわち、全ての領域に閾値範囲内の画素が存在しないと判定された場合、輝度値の高い明るい画像に対応する画素が、画像全体ではなく、画像の一部に存在しているので、その画素に対応する画像は、例えば建物などである可能性が高いので、閾値範囲内の値の画素は妨害物体として設定されない。【０１０５】
このようにして、妨害物体の検出が行われる。【０１０６】
上述した、モードＡ処理による妨害物体の検出によれば、例えば、監視装置１００を搭載する自動車の前方を白いトラックが並走しているなどの場合、輝度値の高い明るい画像の画素が、全ての領域において存在していると判定され、誤って妨害物体（雪）として設定されてしまうおそれがある。例えば、撮像部１０１が高速度カメラなどを用いて構成されている場合、モードＡ処理による検出では誤って妨害物体を検出してしまうおそれがあるので、さらに確実に妨害物体を検出できるようにする必要がある。このため、撮像部１０１が高速度カメラなどを用いて構成されている場合、モードＡ処理に代わってモードＢ処理が実行されるようにする。すなわち、図７のステップＳ１４３において、モードＢが設定されていると判定され、処理はステップＳ１４５に進みモードＢ処理が実行される。【０１０７】
図１２のフローチャートを参照して、図７のステップＳ１４５のモードＢ処理の詳細について説明する。【０１０８】
ステップＳ１８１の処理は、図１１のステップＳ１６１の処理と同様の処理なので、詳細な説明は省略する。ステップＳ１８１において、全ての領域に閾値範囲内の画素が存在すると判定された場合、処理は、ステップＳ１８２に進む。【０１０９】
ステップＳ１８２において、妨害物体検出部１６２は、全ての領域に閾値範囲内の画素が存在する状態が所定のフレーム数（例えば、数十乃至数百フレーム）だけ継続したか否かを判定する。例えば、図１３に示されるように、第ｎ番目のフレーム乃至第（ｎ＋１０１）番目のフレームまでの間の全てのフレームにおいて雪が降っている画像が記録されている場合、ステップＳ１８２において、全ての領域に閾値範囲内の画素が存在する状態が所定のフレーム数だけ継続したと判定され、処理は、ステップＳ１８３に進む。【０１１０】
一方、全ての領域に閾値範囲内の画素が存在する状態が所定のフレーム数だけ継続していないと判定された場合、ステップＳ１８３の処理はスキップされる。【０１１１】
ステップＳ１８３の処理は、図１１のステップＳ１６２の処理と同様の処理なので、詳細な説明は省略する。【０１１２】
このようにして、妨害物体の検出が行われる。全ての領域に閾値範囲内の画素が存在する状態が所定のフレーム数だけ継続しているかを判定して妨害物体を検出するようにしたので、例えば、撮像部１０１が高速度カメラなどを用いて構成されている場合、監視装置１００を搭載する自動車の前方の視界を、一時的に遮る明るい物体（例えば、白いトラックなど）を誤って妨害物体として検出することが抑止される。【０１１３】
ところで、雪が降っている場合の画像の画素のヒストグラムの特性は、大雪（単位時間あたりの降雪量が多い）の場合と、小降り（単位時間あたりの降雪量が少ない）の場合とでは異なったものになる。図１４は、大雪の場合の画像の画素のヒストグラムを示す図である。【０１１４】
図１４には、図１０と同様に、横軸は出力値（画素値）、縦軸は画素数とされ、画素の分布（ヒストグラム）が線２２１で示されている。同図に示されるように、図中中央に妨害物体（雪）による線２２１のピークが形成されている。大雪の場合、画像の大半が雪により白く表示されるため、画素の出力値が集中し、線２２１のピークは、閾値範囲内（閾値ａと閾値ｂの間の出力値）に形成される可能性が高い。【０１１５】
一方、図１５は、小降りの場合の画像の画素のヒストグラムを示す図である。図１５には、図１０と同様に、横軸は出力値（画素値）、縦軸は画素数とされ、画素の分布（ヒストグラム）が線２２２で示されている。同図に示されるように、図中左側の輝度値の低い部分に低輝度の背景による線２２２のピークが形成され、図中中央付近に、妨害物体（雪）による線２２２のピークが形成され、図中右側の輝度値の高い部分に高輝度の背景による線２２２のピークが形成されている。【０１１６】
小降りの場合、大雪の場合と異なり、雪以外の物体（背景）が画像の中で、より明確に表示されるため、線２２２の形状が複雑になる（例えば、ピークの数が増える）とともに、閾値範囲内の画素には、高輝度の背景の画像の画素が含まれてしまう可能性も高くなる。このように、各画素の出力が一定のレベルに集中することがない場合、閾値範囲を大きくとらなければならず、背景と妨害物体とを区別するための適切な閾値（例えば、閾値ｂ）の設定が困難である。【０１１７】
このため、小降りの場合、モードＡまたはモードＢにおける妨害物体の検出では、誤って高輝度の背景が妨害物体として検出される恐れがあるため、モードＡまたはモードＢ処理に代わってモードＣ処理が実行されるようにする。すなわち、図７のステップＳ１４３において、モードＣが設定されていると判定され、処理はステップＳ１４６に進みモードＣ処理が実行される。【０１１８】
図１６のフローチャートを参照して、図７のステップＳ１４６のモードＣ処理の詳細について説明する。【０１１９】
ステップＳ２０１とＳ２０２の処理は、図１２のステップＳ１８１とＳ１８２の処理と同様の処理なので、詳細な説明は省略する。ステップＳ２０２において、全ての領域に閾値範囲内の画素が存在する状態が所定のフレーム数だけ継続したと判定された場合、処理は、ステップＳ２０３に進み、特徴判定処理が実行される。【０１２０】
ここで、図１７のフローチャートを参照して、図１６のステップＳ２０３の特徴判定処理の詳細について説明する。【０１２１】
ステップＳ２２１において、妨害物体検出部１６２は、画像の中で、閾値範囲内の画素で構成されるブロックを抽出する。【０１２２】
ステップＳ２２２において、妨害物体検出部１６２は、ステップＳ２２１で抽出されたブロックの特徴量を算出する。このとき、例えば、その画素のブロックに対して、ラプラシアン変換を行うなどして、ブロックの形状が粒子状の形状に近い形状であることが数値として算出される。なお、粒子状の形状に近い形状を判定するための参考値などは、予め、妨害物体登録部１６５に記憶されているものとする。【０１２３】
あるいはまた、画像の中のブロックに対応する面積が、画像全体に対して所定の割合以下（画像の中で占める大きさが小さいこと）であることがチェックされる。例えば、予め撮影された画像の解析結果に基づいて、レンズ１０１ａの画角に応じて、雪の粒子が画像全体に占める割合について一定の値を設定し、ステップＳ２２１で抽出されたブロックの面積の割合が、予め設定された値にどれだけ近いかが数値として算出される。さらに、画素のブロックの色が雪の色である白にどれだけ近いかが数値として算出されるようにしてもよい。なお、これらの数値を算出するために必要な閾値などの値は、予め妨害物体登録部１６５に記憶されているものとする。【０１２４】
ステップＳ２２３において、妨害物体検出部１６２は、ステップＳ２２２で算出された特徴量と、妨害物体登録部１６５に記憶されている予め設定された特徴量との差分を演算し、その差分は、閾値以下か否かを判定する。なお、この閾値は、注目する画素のブロックの特徴量が妨害物体の特徴量との一致の度合いを判定するための閾値であり、例えば、予め設定され妨害物体登録部１６５に記憶されているものとする。【０１２５】
ステップＳ２２３において、ステップＳ２２２で算出された特徴量と、妨害物体登録部１６５に記憶されている予め設定された特徴量との差分が閾値以下であると判定された場合、ステップＳ２２１で抽出されたブロックは、雪の特徴に近いと考えられるので、ステップＳ２２４に進み、妨害物体検出部１６２は、ステップＳ２２１で抽出されたブロックについて、特徴量の一致を表す特徴量一致フラグをＯＮに設定する。【０１２６】
一方、ステップＳ２２３において、ステップＳ２２２で算出された特徴量と、妨害物体登録部１６５に記憶されている予め設定された特徴量との差分が閾値を超えると判定された場合、ステップＳ２２１で抽出されたブロックは、雪の特徴を持たないと考えられるので、ステップＳ２２４に進み、妨害物体検出部１６２は、ステップＳ２２１で抽出されたブロックについて、特徴量一致フラグをＯＦＦに設定する。【０１２７】
このようにして、特徴判定処理が行われる。【０１２８】
図１６に戻って、ステップＳ２０３の処理の後、ステップＳ２０４において、妨害物体検出部１６２は、ステップＳ２０３でその特徴が判定された個々のブロックについて、妨害物体の特徴と一致するか否かを判定する。ここで、妨害物体の特徴と一致するか否かは、上述した特徴量一致フラグに基づいて行われる。【０１２９】
ステップＳ２０４において、妨害物体の特徴と一致すると判定された場合、処理は、ステップＳ２０５に進み、妨害物体検出部１６２は、そのブロックに対応する画素を妨害物体として設定する。一方、ステップＳ２０４において、妨害物体の特徴と一致しないと判定された場合、ステップＳ２０５の処理は、スキップされる。【０１３０】
このようにして、妨害物体が検出される。閾値範囲内の画素のブロックについて、特徴判定が行われるようにしたので、例えば、雪が小降りの場合であっても、誤って高輝度の背景が妨害物体として検出されることを抑止することができる。なお、ステップＳ２０１またはＳ２０２の処理を省略し、特徴判定の結果に基づいて、妨害物体の検出が行われるようにすることも可能である。【０１３１】
あるいはまた、図７乃至図１７を参照して上述した場合とは異なる処理により妨害物体が検出されるようにしてもよい。例えば、実際に自動車を運転するユーザは、必ずしも画像の中の雪を全て除去する必要があるとは考えていない場合もある。画像の中でヘッドライトに照られさて反射した雪の部分だけを除去すれば、充分に視界を確保できる場合もあると考えられる。このような場合、予めヘッドライトで照らされて反射した雪の画像を解析しておくなどして著しく視界を妨げる雪の輝度を特定し、その輝度に基づいて（例えば、図１０の閾値ａよりやや高めの）閾値を設定しておき、閾値以上の輝度の画素が全て妨害物体として検出されるようにすることも可能である。すなわち、図７の妨害物体検出処理は、例えば、ステップＳ１４２において、閾値以上の輝度の画素が検出されるようにし、検出された画素が全て妨害物体として設定される処理としても構わない。【０１３２】
ところで、雪が降っているときのドライバーにとっての視界の悪化は、自動車のヘッドライトなどの照明灯具から発せられる光が、雪に反射することによるものである場合が多い。従って、雪が降っているときは、ヘッドライトを消灯した方が、却って視界が良好になることもあり得るので、このような視界の特性を利用して妨害物体を検出する方法も考えられる。図１８のフローチャートを参照して、妨害物体検出処理の別の例について説明する。【０１３３】
ステップＳ２６１において、妨害物体検出部１６２は、ヘッドライトなどの照明が点灯しているときに、撮像部１０１で撮影された画像を取得する。ステップＳ２６２において、妨害物体検出部１６２は、ヘッドライトなどの照明が消灯しているときに、撮像部１０１で撮影された画像を取得する。【０１３４】
このとき、撮影のタイミングに合わせて、都度ヘッドライトが点灯、または消灯されるように制御してもよいが、例えば、LED（Light Emitting Diode）で構成されるヘッドライトを用いれば、LEDでは所定の間隔で、点灯、消灯が繰り返されるので、その間隔に合わせて、撮像部１０１から画像を取得すれば、ヘッドライトの点灯、消灯を制御する必要はない。【０１３５】
また、このときヘッドライトの照射方向を通常の照射方向よりやや上方にむけて照射すると、より妨害物体を検出しやすくなる。【０１３６】
ステップS２６３において、妨害物体検出部１６２は、ステップS２６１の処理と、ステップS２６２の処理により取得されたそれぞれの画像について、例えば、照明の点灯または消灯による影響を除外するために、両方の画像の全体の明るさの平均値が等しくなるようにするなどの処理を施した上で、画素値の差分を算出するなどして比較する。そして、ステップS２６４において、妨害物体検出部１６２は、差分が閾値を超える画素のブロックを検出する。【０１３７】
図１９と図２０は、ステップS２６１と、S２６２で取得される画像の例を示す図である。例えば、ステップＳ２６１において、ヘッドライトなどの照明が点灯しているときに、撮像部１０１で撮影された画像として、図１９に示されるような画像が取得され、ステップＳ２６２において、ヘッドライトなどの照明が消灯しているときに、撮像部１０１で撮影された画像として、図２０に示されるような画像が取得されたものとする。【０１３８】
図１９においては、ヘッドライトに反射した雪が、画像全体に明確に表示されているが、図２０においては、雪がヘッドライトに反射しないので、対向車、街灯、歩行者などが、図１９の場合と比較して明確に表示されている。例えば、図２０の画像の全ての画素値（輝度値）を一律に高く変換し、図１９の画像と図２０の画像の両方の画像において全体の明るさの平均値が等しくなるようにするなどの処理を施した上で、画素値の差分を算出するなどして比較すれば、図１９における雪に対応する画素のブロックが、顕著な差分（例えば、差分が閾値を超える）として検出されることになる。【０１３９】
ヘッドライトを点灯した場合と消灯した場合では、被写体（自動車の前方）に照射される光の量が大きく異なるため、例えばCCDのようなダイナミックレンジが狭い撮像素子を用いたカメラなどで、ヘッドライトを点灯した場合と消灯した場合の画像を撮影するためには、一方は、被写体の明るい部分が白く飛んでしまい、他方は、被写体の暗い部分が黒く塗りつぶされたりする。【０１４０】
これに対して、上述したようにHDRCの撮像制御部１２１を用いた撮像装置１０１は、絞りやシャッタースピードなどの調整による入射光量の調整を行わなくても、撮像素子が出力可能な画素値の最大値に被写体の明るい部分に対応する画素値がクリッピングされたり、撮像素子が出力可能な画素値の最小値に被写体の暗い部分に対応する画素値がクリッピングされたりする輝度クリッピングが発生しないので、被写体の詳細な輝度の変化を忠実に撮影することができる。その結果、図１９の画像においてヘッドライト光に反射して輝度が著しく高くなった画素である雪の画素を、図２０の画像に対する顕著な差分として検出することができる。【０１４１】
そこで、ステップS２６４において、妨害物体検出部１６２は、ステップS２６３の処理で検出されたブロック（すなわち、図１９の雪に対応する画素のブロック）を、妨害物体として設定する。【０１４２】
例えば、図１９の画像から妨害物体として設定された雪に対応する画素のブロックを除去すれば、図２１に示されるような良好な視界の画像を提供することができる。【０１４３】
このようにして、妨害物体を検出するようにしてもよい。【０１４４】
このようにすることで、例えばドライバーが前方視界を改善するために、ヘッドライトを消してしまい、危険な運転を行うことを抑止することができる。【０１４５】
すなわち、ドライバーは、前方が暗闇で無く、空の明るさや照明で照らされているにもかかわらず、ヘッドライトを点灯していると、ヘッドライトに照らされた雪が眩しいと感じることがある。特に夕暮れ時など周囲が薄暗くなって、降雪量が多く雪の粒が多い場合にそのような状態となる。このような場合ヘッドライトを消せば前方視界は良くなるが、対向車から見つけにくくなるため危険である。このような場合、ドライバーがヘッドライトを消さないように、注意を促してもよい。【０１４６】
例えば、雪がふっているとき、周囲が暗くなっているにも係らず、ドライバーがヘッドライトを消した場合、制御部１０２が、「周囲が暗くなっていますので、ヘッドライトを消すと危険です。表示部１０３の画像を見てください」など危険を伝えるメッセージの音声信号を、自動車の車内のスピーカに出力し、ドライバーにヘッドライトの点灯を促すようにしてもよい。【０１４７】
なお、このようにヘッドライトに照らされた雪が眩しいと感じる状況が発生するのは、ヘッドライトを消した状態で妨害物体の輝度が周囲の輝度と大きく違わない場合であり、場合によっては、妨害物体である雪の除去を行わないほうが自然に感じられ、視認性が大きく損なわなければ、ドライバーは、表示部１０３に雪が表示されている状態を好むこともある。このような場合、制御部１０２は、撮像部１０１から出力されるデータの画像のうち、ヘッドライトを点灯した瞬間の画像を除いて、雪が除去されていない画像であって、ヘッドライトが消灯された状態の画像のみを表示部１０３に表示させるようにしてもよい。妨害物体（雪）を除去するか否かは、ドライバーにより都度選択されるようにしてもよいし、ヘッドライトを消した状態で妨害物体の輝度が周囲の輝度と大きく違わない場合には、自動的に妨害物体を除去しないようにして画像が表示されるようにしてもよい。【０１４８】
ここまで、妨害物体の検出について説明してきたが、図７を参照して上述した処理により検出された妨害物体に対応する画素は、例えば、画像の中の２次元の座標値などによりその画素に固有の情報が個々に特定され、特定された画素の情報が、移動状態制御部１６３または妨害物体除去処理部１６４に出力されることになる。【０１４９】
次に、図２２のフローチャートを参照して、図５のステップS１０４の妨害物体除去処理の詳細について説明する。【０１５０】
ステップS３０１において、妨害物体除去処理部１６４は、補正を行うべき画像のフレームより時間的に前のフレームの画像を取得する。ステップS３０２において、妨害物体検出部１６２は、ステップS３０１の処理で取得した、時間的に前のフレームの画像の中で、補正を行うべきフレームの画像において、妨害物体として設定された画素のブロックに対応する部分（ブロック）を、置き換えるべき部分として検出する。そして、ステップS３０３において、妨害物体除去処理部１６４は、補正を行うべきフレームの画像において、妨害物体として設定された画素のブロックを、ステップS３０２の処理で検出されたブロックの画素と置き換える。【０１５１】
図２３乃至図２５を参照してさらに詳しく説明する。例えば、補正を行うべき画像のフレームが、図２３に示されるような第ｎ番目のフレームである場合、この画像の中の妨害物体（雪）に対応する画素を、画素（x1,y1）を中心としたその周辺の画素で構成されるブロックとする。ここで、（x1,y1）は、画像の中のx軸、y軸の座標を表すものとする。【０１５２】
ステップS３０１では、第ｎ番目のフレームより時間的に前のフレームとして、例えば、図２４に示されるようなフレームの画像が取得される。ステップS３０２では、図２４の画像の中で、補正を行うべきフレームの画像（図２３）において、妨害物体として設定された画素のブロックに対応する部分、すなわち、図２４の画素（x1,y1）を中心としてブロックを、置き換えるべき部分として検出する。なお、図２４の画素（x1,y1）を中心としてブロックに、雪が含まれないことが事前にチェックされ、置き換えるべき部分として検出される。そして、ステップS３０３では、図２３の雪が、図２４の画素（x1,y1）を中心としたブロックと置き換えられて除去されることになる。【０１５３】
なお、自動車が移動している（走行している）場合、移動状態制御部１６３により画像の動きが考慮されて、置き換えるべき部分として検出される。例えば、自動車が前方に進んでいる場合、図２６に示されるような画像が第ｎ番目のフレームの画像として撮影された後、第（ｎ＋１０）番目のフレームの画像として図２７に示されるような画像が撮影されることになる。自動車は、前方に進んでいるため、図２６において、図中縦軸方向の中央付近に表示された物体（例えば、道の両側の木）は自動車の移動に合わせて近づいてくるので、図２７においては、図２６のときと比較して、図中縦軸方向のやや下側に表示されることになる。【０１５４】
いま、補正を行うべき画像のフレームが、図２７の第（ｎ＋１０番目）のフレームであり、ステップS３０１で取得される時間的に前のフレームの画像が図２６の第ｎ番目のフレームの画像であった場合、図２７において妨害物体として設定された画素（画素x11,y11）は、図２６の画像における同一位置の画素（画素x11,y11）で置き換えることはできない。このため、移動状態制御部１６３は、画像の中で所定のブロックを抽出して動きベクトルを演算するなどして、図２７の画像の（画素x11,y11）は、図２６の画素（x21,y21）に対応することを検出し、妨害物体除去処理部１６４に通知する。【０１５５】
そして、ステップS３０３において、図２８に示されるように、図２７において妨害物体として設定された画素（画素x11,y11）を中心とするブロックが、図２６の画素（x21,y21）を中心とするブロックで置き換えられることになる。【０１５６】
図２２に戻って、ステップS３０３で、補正を行うべきフレームの画像において、妨害物体として設定された全ての画素のブロックが置き換える処理が行われた後、ステップS３０４において、妨害物体除去処理部１６４は、その画像に基づいて補正画像の信号を生成し、表示部１０３に出力する。この結果、例えば、図１９に示される画像から妨害物体である雪が除去されて、図２１に示されるような補正画像が表示されることになる。すなわち、図１９に示される画像から雪が取り除かれた状態の画像（図２１）が仮想的に生成される。【０１５７】
このようにして、画像の中の妨害物体が除去される。このようにすることで、表示部１０３を観察するユーザ（例えば、ドライバ）には、現在降っている雪があたかも取り除かれたように見える画像が観察されることになる。したがって、快適な視界の画像を提供することができる。【０１５８】
以上においては、監視装置１００が自動車に搭載される例について説明したが、監視装置１００は、例えば、スキー場など雪が多い場所に設置されるようにしてもよい。監視装置１００がスキー場などに設置する場合、監視装置１００が移動することはないので、移動状態制御部１６３は、設けられないようにしてもよい。【０１５９】
さらに、監視装置１００が、常に雪が多い場所や照明されている場所に設置される場合、撮影される画像において、輝度値のダイナミックレンジが大きくなくても、妨害物体である雪を識別することができるので、撮像部１０１の撮像制御部１２１を、ＣＣＤ撮像素子やＣＭＯＳ撮像素子などにより構成することも可能であり、HDRCなどの対数変換型の撮像素子を用いなくても監視装置１００を構成することが可能となる。撮像部１０１が撮影する画像のダイナミックレンジが小さい場合、妨害物体と背景とを区別するための閾値として、例えば、図１０の閾値ａ（下限の閾値）のみを設定し、閾値以上の値をもつ画素が妨害物体である可能性が高いものとし、図７を参照して上述した妨害物体検出処理を行わせるようにすればよい。【０１６０】
以上においては、監視装置において撮像部が１つ設けられている場合の例について説明したが、監視装置に複数の撮像部が設けられるようにすることも可能である。【０１６１】
図２９は、本発明を適用した監視装置の別の構成例を示すブロック図である。同図の監視装置２００において、図１の監視装置１００と同一の符号が付されたブロックは、それぞれ図１の場合と同様のものなので、詳細な説明は省略する。図２９の例では、図１の場合と異なり、撮像部として撮像部１０１−１と撮像部１０１−２が設けられている。【０１６２】
監視装置２００が、例えば、自動車などに搭載される場合、撮像部１０１−１と撮像部１０１−２は、それぞれ自動車の前方のフロントグリルなどに、地上からの高さが同じとなるように、左右に所定の間隔だけはなれた位置に取り付けられる。すなわち、撮像部１０１−１のレンズ１０１−１ａを介して入射する光に対応する画像と、撮像部１０１−２のレンズ１０１−２ａを介して入射する光に対応する画像とが、視差を有する画像となるように撮像部１０１−１と撮像部１０１−２が取り付けられる。なお、撮像部１０１−１と撮像部１０１−２によりそれぞれ撮影される画像において適当な視差があるようにすることができれば、撮像部１０１−１と撮像部１０１−２は、上述した取り付け位置とは別の位置に取り付けられるようにしても構わない。【０１６３】
図２２を参照して上述した妨害物体除去処理においては、補正を行うべき画像のフレームより時間的に前のフレームの画像が取得されて、時間的に前のフレームの画素のブロックを用いて妨害物体が除去される例について説明した。この場合、上述したように自動車が走行しているときは、移動状態制御部１６３により画像の動きが考慮されて、時間的に前のフレームの中で用いられるブロック（置き換えるべき部分）が検出されるが、例えば、自動車が急カーブの連続するワインディングロードなどを走行している場合、時間の経過に伴って自動車の向きが何度も大きく変化することになり、撮像部１０１により撮影される画像も比較的短い時間で大きく変化することになる。このような場合、補正を行うべき画像のフレームに対して所定の時間だけ前のフレームの画像は、例えば、補正を行うべきフレームの画像とは異なる被写体が写っているなどの可能性もあり、もはや同じ（観察者にほぼ同じ印象を与える）画像ということはできず、時間的に前のフレームの画素のブロックと置き換えることにより妨害物体を除去することが適当とは考えられない場合もある。【０１６４】
これに対して、監視装置２００においては、２つの撮像部により撮影された異なる（視差を有する）画像が同時に取得されるので、一方の撮像部により撮像された画像を、同じタイミングで他方の撮像部が撮像した画像により補正するようにすることも可能となる。このようにすることで、例えば、ワインディングロードなどを走行している場合であっても、適切に妨害物体を除去することができる。【０１６５】
監視装置２００により、一方の撮像部により撮像された画像を、同じタイミングで他方の撮像部が撮像した画像により補正するようにした場合の、妨害物体除去処理の例を図３０に示す。【０１６６】
図３０は、妨害物体除去処理の別の例であって、上述した監視装置２００により実行される妨害物体除去処理の例を説明するフローチャートである。ここでは、監視装置２００において、主に撮像部１０１−１により撮像された画像が表示部１０３に表示されているものとする。【０１６７】
同図のステップＳ３６１において、妨害物体除去処理部１６４は、他の撮像部（いまの場合、撮像部１０１−２）が撮像した画像を取得する。なお、この画像は、撮像部１０１−１により撮像された画像（補正すべき画像）と同じタイミングで撮像部１０１−２が撮像した画像とされる。【０１６８】
ステップS３６２において、妨害物体検出部１６２は、ステップS３６１の処理で取得した画像の中で、補正を行うべき画像において、妨害物体として設定された画素のブロックに対応する部分（ブロック）を、置き換えるべき部分として検出する。【０１６９】
いまの場合、ステップＳ３６１で取得された画像は、補正を行うべき画像と同じタイミングで撮像され、補正を行うべき画像と視差のある画像となる。このため、ステップＳ３６１の処理で取得された画像は、補正を行うべき画像と同じオブジェクを含んだ画像となり、観察者にほぼ同じ印象を与える画像である一方で、補正を行うべき画像に含まれるオブジェクトの位置（座標）とは、微小に異なる位置に同じオブジェクトが写っている画像となる。すなわち、降っている雪などの充分小さい妨害物体を除去する際に、撮像部１０１−１により撮像された補正すべき画像の中で雪が写っている部分の座標位置と同じ座標位置に、撮像部１０１−２が撮像した画像においても、やはり雪が写っている可能性は極めて低いと考えられる。また、補正すべき画像の中で雪が写っている部分の近傍に、ステップＳ３６１の処理で取得された画像には存在しないオブジェクトが写っている可能性もやはり極めて低いと考えられる。【０１７０】
したがって、例えば、補正すべき画像において雪が写っている部分は、画素（x1,y1）を中心としたその周辺の画素で構成されているとした場合、補正すべき画像の中の画素（x1,y1）を中心としたその周辺の画素で構成される充分小さい面積のブロックを、ステップＳ３６１で取得された画像の中の画素（x1,y1）を中心としたその周辺の画素で構成される同じ面積のブロックで置き換えることによって、補正すべき画像の中から妨害物体である雪だけが除去された自然な画像を生成することが可能となる。ステップＳ３６３では、上述したように妨害物体の画素に対応するブロック画像が置き換えられることになる。【０１７１】
そして、ステップＳ３６４において、ステップＳ３６３の処理を経て妨害物体が除去された補正画像が生成される。【０１７２】
このようにして妨害物体が除去された画像が生成される。このようにすることで、自動車が走行しているときに、移動状態制御部１６３により画像の動きを考慮するなどしなくても、簡単に妨害物体を除去することができるとともに、ワインディングロードなどを走行しているときであっても、常に自然な画像が表示されるように、画像を補正することが可能となる。【０１７３】
なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２９に示されるような汎用のパーソナルコンピュータ５００などに、ネットワークや記録媒体からインストールされる。【０１７４】
図２９において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。【０１７５】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。【０１７６】
入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。【０１７７】
入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。【０１７８】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。【０１７９】
なお、この記録媒体は、図２９に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。【０１８０】
また、本明細書において上述した一連の処理を実行するステップは、記載された順序に
沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図１】
2006109398.tif 000002
【図２】
2006109398.tif 000003
【図３】
2006109398.tif 000004
【図４】
2006109398.tif 000005
【図５】
2006109398.tif 000006
【図６】
2006109398.tif 000007
【図７】
2006109398.tif 000008
【図８】
2006109398.tif 000009
【図９】
2006109398.tif 000010
【図１０】
2006109398.tif 000011
【図１１】
2006109398.tif 000012
【図１２】
2006109398.tif 000013
【図１３】
2006109398.tif 000014
【図１４】
2006109398.tif 000015
【図１５】
2006109398.tif 000016
【図１６】
2006109398.tif 000017
【図１７】
2006109398.tif 000018
【図１８】
2006109398.tif 000019
【図１９】
2006109398.tif 000020
【図２０】
2006109398.tif 000021
【図２１】
2006109398.tif 000022
【図２２】
2006109398.tif 000023
【図２３】
2006109398.tif 000024
【図２４】
2006109398.tif 000025
【図２５】
2006109398.tif 000026
【図２６】
2006109398.tif 000027
【図２７】
2006109398.tif 000028
【図２８】
2006109398.tif 000029
【図２９】
2006109398.tif 000030
【図３０】
2006109398.tif 000031
【図３１】
2006109398.tif 000032
【国際調査報告】
2006109398.tif 000033
2006109398.tif 000034
2006109398.tif 000035
2006109398.tif 000036
2006109398.tif 000037
2006109398.tif 000038