(57)【要約】  自車の移動距離を検出する移動距離検出部２，７３と、移動距離検出部２，７３により検出された移動距離に基づいて、自車が初期位置から所定距離移動したかを判断する移動距離判断部７３と、初期位置から移動距離判断部７３により所定距離移動したと判断されるまでの間に車載用カメラ１により撮影された画像のフレーム間差分を行い、当該画像の変化量が閾値以下である領域を不要領域として特定する不要領域特定部７４と、不要領域特定部７４により特定された不要領域の画像を除去する不要領域除去部７７とを備えた。
2012066589.tif 000002
【特許請求の範囲】
【請求項１】
車載用カメラにより撮影された画像上の不要領域の画像を除去する車載用画像処理装置において、
自車の移動距離を検出する移動距離検出部と、
前記移動距離検出部により検出された移動距離に基づいて、自車が初期位置から所定距離移動したかを判断する移動距離判断部と、
前記初期位置から前記移動距離判断部により所定距離移動したと判断されるまでの間に前記車載用カメラにより撮影された画像のフレーム間差分を行い、当該画像の変化量が閾値以下である領域を不要領域として特定する不要領域特定部と、
前記不要領域特定部により特定された不要領域の画像を除去する不要領域除去部と
を備えた車載用画像処理装置。
【請求項２】
車載用カメラにより撮影された画像上の不要領域の画像を除去する車載用画像処理装置において、
前記車載用カメラにより撮影された画像上の不要領域を示す情報の入力を受け付ける操作入力部と、
前記操作入力部を介して入力された情報に基づいて、不要領域を特定する不要領域特定部と、
前記不要領域特定部により特定された不要領域の画像を除去する不要領域除去部と
を備えた車載用画像処理装置。
【請求項３】
操作入力部は、必要領域と不要領域との境界線のなぞり指定を受け付け、
不要領域特定部は、前記操作入力部を介してなぞられた軌跡に基づいて、不要領域を特定する
ことを特徴とする請求項２記載の車載用画像処理装置。
【請求項４】
操作入力部は、必要領域と不要領域との境界線上の複数点の指定を受け付け、
不要領域特定部は、前記操作入力部を介して指定された各点を補間し、当該補間した軌跡に基づいて、不要領域を特定する
ことを特徴とする請求項２記載の車載用画像処理装置。
【請求項５】
操作入力部は、必要領域と不要領域との境界線付近の複数点の指定を受け付け、
不要領域特定部は、前記操作入力部を介して指定された各点の輝度と当該各点の周囲の輝度とを比較して輝度差が閾値以上となる境界線を検出し、当該境界線に基づいて、不要領域を特定する
ことを特徴とする請求項２記載の車載用画像処理装置。
【請求項６】
不要領域除去部は、不要領域特定部により特定された不要領域をマスクする
ことを特徴とする請求項１記載の車載用画像処理装置。
【請求項７】
不要領域除去部は、不要領域特定部により特定された不要領域をマスクする
ことを特徴とする請求項２記載の車載用画像処理装置。
【請求項８】
不要領域除去部は、不要領域特定部により特定された不要領域以外の領域を、不要領域分引き伸ばす
ことを特徴とする請求項１記載の車載用画像処理装置。
【請求項９】
不要領域除去部は、不要領域特定部により特定された不要領域以外の領域を、不要領域分引き伸ばす
ことを特徴とする請求項２記載の車載用画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載用カメラにより撮影された画像上の不要領域の画像を除去する車載用画像処理装置に関するものである。
【背景技術】
【０００２】
従来から、車両後方にカメラを取り付け、バック駐車を行う際に、このカメラにより撮影されたバック画像をモニタに表示するものが存在している。これにより、運転者は、モニタに表示されたバック画像を見ながら、容易にバック駐車を行うことができる。【０００３】
このカメラには、駐車支援に必要な周辺情報を映し出すため、広角レンズが使用されている。また、撮影したバック画像上に駐車支援のガイド線を表示するため、カメラの取り付け位置・角度が予め決められている場合がある。そのため、カメラにより撮影された画像に、車両後方のバンパやナンバープレート等が映りこんでしまう恐れがある。この場合、バンパやナンバープレートは不要な領域であるにも関わらず周辺情報と同様にモニタに表示されてしまうため、駐車支援の妨げとなってしまう。そこでこの不要領域の画像を除去することが望まれている。【０００４】
これに対して、画像上の不要領域をマスクする画像処理装置が存在している（例えば特許文献１参照）。この特許文献１に開示される画像処理装置では、車両のシフトがバック位置であり、かつ荷降ろし動作以外の場合にのみ、車両バックに必要な画像領域以外をマスクしている。なお、マスクする領域は固定領域として予め設定されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−２０５７２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、バンパやナンバープレート等の不要領域は、カメラの取り付け位置・角度や車両の違い等により異なる領域となる。そのため、特許文献１に開示される映像処理装置のように、マスク領域を固定する方法では、不要領域を完全に除去することができないという課題があった。また、不要領域以外の領域もマスクされてしまうという課題があった。さらに、不要領域は複雑な形状をしているため、ユーザが簡単な手順で除去することは困難であるという課題があった。【０００７】
この発明は、上記のような課題を解決するためになされたもので、車載用カメラにより撮影された画像上の不要領域を容易に特定することができ、この不要領域を確実に除去することができる車載用画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
この発明に係る車載用画像処理装置は、自車の移動距離を検出する移動距離検出部と、移動距離検出部により検出された移動距離に基づいて、自車が初期位置から所定距離移動したかを判断する移動距離判断部と、初期位置から移動距離判断部により所定距離移動したと判断されるまでの間に車載用カメラにより撮影された画像のフレーム間差分を行い、当該画像の変化量が閾値以下である領域を不要領域として特定する不要領域特定部と、不要領域特定部により特定された不要領域の画像を除去する不要領域除去部とを備えたものである。【０００９】
また、この発明に係る車載用画像処理装置は、車載用カメラにより撮影された画像上の不要領域を示す情報の入力を受け付ける操作入力部と、操作入力部を介して入力された情報に基づいて、不要領域を特定する不要領域特定部と、不要領域特定部により特定された不要領域の画像を除去する不要領域除去部とを備えたものである。
【発明の効果】
【００１０】
この発明によれば、上記のように構成したので、車載用カメラにより撮影された画像上の不要領域を容易に特定することができ、この不要領域を確実に除去することができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１に係る車載用画像処理装置の構成を示す図である。
【図２】この発明の実施の形態１における制御部の構成を示す図である。
【図３】この発明の実施の形態１におけるカメラにより撮影されたバック画像を示す図である。
【図４】この発明の実施の形態１に係る車載用画像処理装置による不要領域特定動作を示すフローチャートである。
【図５】この発明の実施の形態１に係る車載用画像処理装置による不要領域除去動作を示すフローチャートである。
【図６】この発明の実施の形態１に係る車載用画像処理装置による不要領域の除去（マスク表示）を説明する図である。
【図７】この発明の実施の形態１に係る車載用画像処理装置による不要領域の除去（マスク表示）を説明する図である。
【図８】この発明の実施の形態１に係る車載用画像処理装置による不要領域の除去（非表示）を説明する図である。
【発明を実施するための形態】
【００１２】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
車載用画像処理装置は、図１に示すように、カメラ１、車速計測部２、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）３、操作入力部４、シフト位置検出部５、マスク情報記憶部６、制御部７、除去情報記憶部８および表示部（モニタ）９から構成されている。
【００１３】
カメラ１は、車両後方に取り付けられ、バック画像を撮影するものである。このカメラ１には、駐車支援に必要な周辺情報を映し出すため、広角レンズが使用されている。また、撮影したバック画像上に駐車支援のガイド線を表示するため、カメラ１の取り付け位置・角度が予め決められている。そのため、このカメラ１により撮影されたバック画像には、図３に示すように、車両後方のバンパやナンバープレート等の不要領域（図３ではナンバープレートのみ図示）も映りこんでいる。このカメラ１により撮影されたバック画像は制御部７に出力される。
【００１４】
車速計測部２は、自車の車速を計測するものである。この車速計測部２により計測された車速を示す情報は制御部７に出力される。
ＧＰＳ３は、ＧＰＳ情報（自車位置情報や時刻情報等）を取得するものである。このＧＰＳ３により取得されたＧＰＳ情報は制御部７に出力される。
【００１５】
操作入力部４は、ユーザによる操作を受け付けるものであり、タッチパネル等により構成される。この操作入力部４は、不要領域の特定方法（自動特定、手動特定）の選択を受け付ける。ここで、手動特定が選択された場合には、手動特定方法（なぞり指定、ポイント指定）の選択も受け付ける。
また、操作入力部４は、不要領域の除去方法（マスク表示、非表示）の選択を受け付ける。ここで、マスク表示が選択された場合には、マスク方法（マスクパターン、形状、色）およびガイド文字表示位置（上部表示、下部表示）の選択を受け付ける。
この操作入力部４により受け付けられた各情報は制御部７に出力される。
【００１６】
シフト位置検出部５は、車両のシフト位置を検出するものである。ここで、シフト位置検出部５は、シフトがバック位置に切替えられたと判断した場合には、制御部７にバック画像の表示を要求する。
【００１７】
マスク情報記憶部６は、不要領域をマスクする際の複数のマスクパターン（塗りつぶし、色変更、モザイク化）、モザイク化する際の形状、塗りつぶしや色変更を行う際の色等のマスク情報を記憶するものである。このマスク情報記憶部６に記憶されているマスク情報は制御部７により抽出される。
【００１８】
制御部７は、車載用画像処理装置の各部を制御するものである。この制御部７は、カメラ１により撮影されたバック画像の不要領域を特定し、この不要領域の除去を行う。この制御部７の構成は後述する。
【００１９】
除去情報記憶部８は、制御部７からの除去情報（不要領域、除去方法、マスク情報やガイド文字表示位置）を記憶するものである。この除去情報記憶部８に記憶されている除去情報は制御部７により抽出される。
表示部９は、制御部７による指示に従い、制御部７により不要領域の画像が除去されたバック画像や、操作ガイド画面等を表示するものである。
【００２０】
次に、制御部７の構成について説明する。
制御部７は、図２に示すように、特定方法判断部７１、明度判断部７２、移動距離判断部７３、不要領域特定部７４、除去方法判断部７５、マスク情報抽出部７６および不要領域除去部７７から構成されている。
【００２１】
特定方法判断部７１は、操作入力部４を介してユーザにより選択された不要領域の特定方法を確認するものである。ここで、特定方法判断部７１は、不要領域の自動特定が選択されていると判断した場合には、その旨を明度判断部７２および不要領域特定部７４に通知する。
一方、特定方法判断部７１は、不要領域の手動特定が選択されていると判断した場合には、その旨を不要領域特定部７４に通知する。この際、特定方法判断部７１は、操作入力部４を介してユーザにより選択された手動特定方法も確認し、不要領域特定部７４に通知する。
【００２２】
明度判断部７２は、特定方法判断部７１により不要領域の自動特定が選択されていると判断された場合に、現在の周囲の明度（夜間、昼間）を判断するものである。この明度判断部７２は、ＧＰＳにより取得されたＧＰＳ情報（時刻情報）やカメラ１により撮影されたバック画像の輝度等に基づいて、周囲の明度を判断する。ここで、明度判断部７２は、現在の周囲の明度が高い（夜間ではない）と判断した場合には、その旨を不要領域特定部７４および移動距離判断部７３に通知する。
【００２３】
移動距離判断部７３は、明度判断部７２により現在の周囲の明度が高いと判断された後、自車が初期位置から所定距離以上移動したかを判断するものである。この際、移動距離判断部７３は、車速計測部２により計測された車速に基づいて、自車の移動距離を検出する。この車速計測部２および移動距離判断部７３は本願の移動距離検出部に対応する。また、移動距離判断部７３は、最低移動距離を予め設定し、車速に応じて、移動距離を最適化する。すなわち、車速が高速になるにつれて、移動距離が長くするように設定する。ここで、移動距離判断部７３は、自車が初期位置から所定距離以上移動したと判断した場合には、その旨を不要領域特定部７４に通知する。
【００２４】
不要領域特定部７４は、カメラ１に撮影されたバック画像の不要領域を特定するものであり、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）から構成されている。この不要領域特定部７４は、特定方法判断部７１により不要領域の自動特定が選択されていると判断された場合に、明度判断部７２により現在の周囲の明度が高いと判断された後の初期位置から、移動距離判断部７３により所定距離以上移動したと判断されるまでの間に、カメラ１により撮影されたバック画像を保持する。そして、保持している初期位置から移動後位置までの間のバック画像に基づいて、不要領域を特定する。すなわち、不要領域特定部７４は、初期位置から移動後位置までの間のバック画像に対してフレーム間差分を行い、画像の色や輝度等の変化量が閾値以下である領域を不要領域として特定する。
また、不要領域特定部７４は、特定方法判断部７１により不要領域の手動特定が選択されていると判断された場合には、手動特定方法に応じて、操作入力部４を介してユーザにより入力された不要領域を示す情報を取得し、この情報に基づいて、不要領域を特定する。
この不要領域特定部７４により特定された不要領域を示す情報は除去情報記憶部８に出力される。
【００２５】
除去方法判断部７５は、操作入力部４を介してユーザにより選択された除去方法を確認するものである。ここで、除去方法判断部７５は、マスク表示が選択されていると判断した場合には、その旨をマスク情報抽出部７６および不要領域除去部７７に通知する。
一方、除去方法判断部７５は、非表示が選択されていると判断した場合には、その旨を不要領域除去部７７に通知する。
また、除去方法判断部７５により確認された除去方法を示す情報は除去情報記憶部８にも出力される。
【００２６】
マスク情報抽出部７６は、除去方法判断部７５によりマスク表示が選択されていると判断された場合に、操作入力部４を介してユーザにより選択されたマスク方法に従い、マスク情報記憶部６に記憶されている該当するマスク情報を抽出するものである。このマスク情報抽出部７６により抽出されたマスク情報は不要領域除去部７７および除去情報記憶部８に出力される。
【００２７】
不要領域除去部７７は、カメラ１により撮影されたバック画像の不要領域を除去するものである。この不要領域除去部７７は、除去方法判断部７５によりマスク表示が選択されていると判断された場合には、マスク情報抽出部７６により抽出されたマスク情報および除去情報記憶部８に記憶されている不要領域情報に基づいて、バック画像の不要領域をマスクする。この際、不要領域除去部７７は、マスク領域とガイド文字領域との大きさ、操作入力部４を介してユーザにより選択されたガイド文字表示位置に基づいて、画像の表示修正を行う。また、不要領域除去部７７により確認されたガイド文字表示位置を示す情報は除去情報記憶部８に出力される。
一方、不要領域除去部７７は、除去方法判断部７５により非表示が選択されていると判断された場合には、除去情報記憶部８に記憶されている不要領域情報に基づいて、画像上の不要領域以外の領域を、不要領域分引き伸ばして、不要領域の画像を除去する。
この不要領域除去部７７により不要領域が除去されたバック画像は表示部９に出力される。
【００２８】
次に、上記のように構成された車載用画像処理装置による不要領域特定動作について説明する。
この車載用画像処理装置による不要領域特定動作では、図４に示すように、まず、特定方法判断部７１は、操作入力部４を介してユーザにより不要領域の自動特定が選択されているかを判断する（ステップＳＴ４１）。
【００２９】
このステップＳＴ４１において、特定方法判断部７１が、不要領域の自動特定が選択されていると判断した場合には、明度判断部７２は、現在、夜間であるかを判断する（ステップＳＴ４２）。
このステップＳＴ４２において、明度判断部７２が、現在、夜間であると判断した場合には、シーケンスは終了する。ここで、フレーム間差分により不要領域を特定する場合、夜間で周囲が暗いと誤認識を生じる恐れがある。そのため、夜間の場合には不要領域の自動特定は実施しない。
【００３０】
一方、ステップＳＴ４２において、明度判断部７２が、現在、夜間ではないと判断した場合には、カメラ１によるバック画像の撮影を開始し、不要領域特定部７４はこのバック画像を保持する。このようにカメラ１によりバック画像を撮影している状態で、ユーザは自車を移動させる。
次いで、移動距離判断部７３は、車速計測部２により計測された車速に基づいて、自車が初期位置から所定距離以上移動したかを判断する（ステップＳＴ４３）。なお、自車の移動は前進または後退のどちらであっても構わない。また、高速移動時には移動距離を長く設定することにより、フレーム数を増加させて認識精度を向上させる。
このステップＳＴ４３において、移動距離判断部７３は、自車が所定距離以上移動していないと判断した場合には、シーケンスはステップＳＴ４３に戻り、待機状態となる。  
【００３１】
一方、ステップＳＴ４３において、移動距離判断部７３は、自車が所定距離移動したと判断した場合には、不要領域特定部７４は、保持している初期位置から移動後位置までの間のバック画像に基づいて、不要領域を特定する（ステップＳＴ４４，４９）。すなわち、不要領域特定部７４は、初期位置から移動後位置までの間のバック画像に対してフレーム間差分を行い、画像の色や輝度等の変化量が閾値以下である領域を不要領域として特定する。なお、フレーム間差分は、１ｐｉｘｅｌ単位やブロック単位（例えば１０×１０ｐｉｘｅｌ）等で求める。
また、不要領域特定部７４は、車速計測部２により計測された車速に応じて、変化量に対する閾値を変更する。すなわち、高速移動時は、画像の変化が激しいため、閾値を高くして、微細な変化を無視して誤認識を避けるようにする。さらに、バンパやナンバープレート等の不要領域は画像の下部に存在すると推測されるため、画像の下部のみに限定して、不要領域の特定を行う。これにより誤認識を避けることができ、演算時間を短縮できる。
【００３２】
このように、バンパやナンバープレート等の不要領域はカメラ１と一緒に移動するため、車両が移動しても画像に変化が少ないという特徴を利用して、フレーム間差分により画像の変化を検出することによって、不要領域を容易に特定することができる。なお、以上の処理は、バックグラウンド処理で行い、表示部９にバック画像を表示する必要ない。
【００３３】
一方、ステップＳＴ４１において、特定方法判断部７１は、操作入力部４を介してユーザにより不要領域の手動特定が選択されていると判断した場合には、操作入力部４を介してユーザにより、なぞり指定が選択されているかを判断する（ステップＳＴ４５）。
【００３４】
このステップＳＴ４５にいて、特定方法判断部７１が、なぞり指定が選択されていると判断した場合には、不要領域特定部７４は、操作入力部４を介してユーザによりなぞられた軌跡を取得し、この軌跡に基づいて不要領域を特定する（ステップＳＴ４６，４９）。ここで、ユーザは、表示部９に表示されているバック画像を見ながら、操作入力部４を介して必要領域と不要領域との境界線上をなぞる。この際、ユーザによりなぞられた領域は凸凹であることが想定されるため、不要領域特定部７４は、取得した軌跡を滑らかに補正する。そして、不要領域は画像の下部に存在すると推測されるため、補正した軌跡の下部の領域を不要領域として特定する。これにより、ユーザが境界線上をなぞるだけで容易に不要領域を特定することができる。また、なぞった軌跡が凸凹であったとしても、自動的に補正するため、ユーザが微調整を行う必要はない。
【００３５】
一方、ステップＳＴ４５において、特定方法判断部７１が、ポイント指定が選択されたと判断した場合には、不要領域特定部７４は、操作入力部４を介してユーザによりポイント指定された各点の位置を取得する（ステップＳＴ４７）。ここで、ユーザは、表示部９に表示されているバック画像を見ながら、操作入力部４を介して必要領域と不要領域との境界線上の複数点をポイント指定する。
【００３６】
次いで、不要領域特定部７４は、取得した各点を線形補間し、線形補間した軌跡に基づいて不要領域を特定する（ステップＳＴ４８，４９）。すなわち、不要領域特定部７４は、まず、取得した各点を線形補間する。次に、線形補間した軌跡は凸凹であることが想定されるため、不要領域特定部７４は、取得した各点を滑らかに補正する。そして、不要領域は画像の下部に存在すると推測されるため、補正した軌跡の下部の領域を不要領域として特定する。これにより、ユーザが境界線上の複数点を指定するだけで容易に不要領域を特定することができる。また、線形補間した軌跡を自動的に補正するため、ユーザが微調整を行う必要はない。
【００３７】
このように、ユーザは、手動で、操作入力部４を用いてなぞり指定、ポイント指定を行うことにより、直感的に不要領域を決定することができる。
以上の処理により、カメラ１により撮影された画像上に映りこんでいる不要領域を容易に特定することができる。なお、不要領域特定部７４により特定された不要領域を示す情報は除去情報記憶部８に記憶される。
【００３８】
次に、上記のように構成された車載用画像処理装置による不要領域除去動作について説明する。
車載用画像処理装置による不要領域除去動作では、シフト位置検出部５により、車両のシフトがバック位置に切替えられたと判断され、バック画像の表示要求がなされた場合に、図５に示すように、まず、除去方法判断部７５は、操作入力部４を介してユーザによりマスク表示が選択されているかを判断する（ステップＳＴ５１）。
【００３９】
このステップＳＴ５１において、除去方法判断部７５は、マスク表示が選択されていると判断した場合には、マスク情報抽出部７６は、操作入力部４を介したユーザにより選択されたマスク方法（マスクパターン、形状、色）に従い、マスク情報記憶部６に記憶されている該当するマスク情報を抽出する（ステップＳＴ５２）。このマスク情報抽出部７６により抽出されたマスク情報は不要領域除去部７７に出力される。
【００４０】
次いで、不要領域除去部７７は、マスク情報抽出部７６により抽出されたマスク情報および除去情報記憶部８に記憶されている不要領域情報に基づいて、画像上の不要領域をマスクする（ステップＳＴ５３）。これにより、図６（ｂ）に示すように、バック画像の不要領域をマスクすることができる。
【００４１】
次いで、不要領域除去部７７は、マスク領域がガイド文字領域より大きいかを判断する（ステップＳＴ５４）。
このステップＳＴ５４において、不要領域除去部７７は、マスク領域がガイド文字領域よりも小さいと判断した場合には、シーケンスは終了する。その後、不要領域除去部７７により不要領域の画像が除去されたバック画像が表示部９に表示される。例えば図７（ｂ）に示すように、マスクした領域がガイド文字領域よりも小さい場合には、画像の表示修正は行わず、そのまま表示する。
【００４２】
一方、ステップＳＴ５４において、不要領域除去部７７は、マスク領域がガイド文字領域より大きいと判断した場合には、操作入力部４を介してユーザによりガイド文字の下部表示が選択されているかを判断する（ステップＳＴ５５）。
このステップＳＴ５５において、不要領域除去部７７は、ガイド文字の下部表示が選択されていると判断した場合には、ガイド文字を下部のマスク領域上に移動させる（ステップＳＴ５６）。その後、シーケンスは終了し、不要領域除去部７７により不要領域の画像が除去されたバック画像が表示部９に表示される。これにより、図６（ｃ）に示すように、バック画像がガイド文字で隠れることなく表示させることができ、視認性を向上させることができる。
【００４３】
一方、ステップＳＴ５５において、不要領域除去部７７は、ガイド文字の上部表示が選択されていると判断した場合には、不要領域以外の領域の画像を、不要領域の高さ分だけ下部に移動させる（ステップＳＴ５７）。その後、シーケンスは終了し、不要領域除去部７７により不要領域の画像が除去されたバック画像が表示部９に表示される。これにより、図６（ｄ）に示すように、バック画像がガイド文字で隠れることなく表示させることができ、視認性を向上させることができる。
【００４４】
一方、ステップＳＴ５１において、除去方法判断部７５が、非表示が選択されていると判断した場合には、除去情報記憶部８に記憶されている不要領域情報に基づいて、バック画像の不要領域以外の領域の画像を、不要領域の高さ分引き伸ばす（ステップＳＴ５８）。すなわち、不要領域の画像を非表示とし、不要領域以外の領域の画像を引き伸ばして表示する。その後、シーケンスは終了し、不要領域除去部７７により不要領域の画像が除去されたバック画像が表示部９に表示される。これにより、図８（ｂ）に示すように、周辺情報を広く表示させることができ、視認性を向上させることができる。
【００４５】
なお、除去方法判断部７５により確認された除去方法、マスク情報抽出部７６により抽出されたマスク情報および不要領域除去部７７により確認されたガイド文字表示位置情報は除去情報記憶部８に記憶される。
以後、不要領域の除去を行う際には、除去情報記憶部８に記憶されているマスク情報（不要領域、除去方法、マスク情報やガイド文字表示位置）を抽出して、不要領域の除去を行う。
【００４６】
以上のように、この発明の実施の形態１によれば、車載用のカメラ１によりバック画像を撮影させながら自車を移動させて、バック画像のフレーム間差分により画像変化の有無を把握し、変化の少ない領域を不要領域として特定するように構成したので、カメラ１により撮影された画像の不要領域を容易に特定することができ、この不要領域を確実に除去することができる。また、不要領域を手動で特定する場合には、ユーザによるなぞり指定・ポイント指定された情報に基づいて不要領域を特定するように構成したので、ユーザが簡単な手順で不要領域を除去することができる。
【００４７】
なお、実施の形態１では、手動特定においてなぞり指定またはポイント指定により不要領域を特定すると説明したが、これに限るものではなく、例えばカメラ１により撮影されたバック画像上のコントラスト差を利用して不要領域を特定するようにしてもよい。
この場合、操作入力部４は、ユーザにより、不要領域内の、必要領域と不要領域との境界線付近の複数点の指定を受け付ける。また、不要領域除去部７７は、操作入力部４を介してユーザによりポイント指定された各点の位置を取得する。そして、不要領域特定部７４は、取得した各点の輝度と周囲の輝度とを比較し、輝度差が閾値以上となる境界線を検出する。そして、この境界線の下部の領域を不要領域として特定する。
【００４８】
また、実施の形態１では、カメラ１は車両後方に取り付けられ、バック画像を撮影するものとして説明を行ったが、これに限るものではなく、例えば前方やサイドの画像を撮影するカメラに対しても同様に適用可能である。
【００４９】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００５０】
この発明に係る車載用画像処理装置は、車載用カメラにより撮影された画像上の不要領域を容易に特定することができ、この不要領域を確実に除去することができ、車載用カメラにより撮影された画像を処理する車載用画像処理装置等に用いるのに適している。
【符号の説明】
【００５１】
１  カメラ、２  車速計測部、３  ＧＰＳ、４  操作入力部、５  シフト位置検出部、６  マスク情報記憶部、７  制御部、８  除去情報記憶部、９  表示部（モニタ）、７１  特定方法判断部、７２  明度判断部、７３  移動距離判断部、７４  不要領域特定部、７５  除去方法判断部、７６  マスク情報抽出部、７７  不要領域除去部。
【図１】
2012066589.tif 000003
【図２】
2012066589.tif 000004
【図３】
2012066589.tif 000005
【図４】
2012066589.tif 000006
【図５】
2012066589.tif 000007
【図６】
2012066589.tif 000008
【図７】
2012066589.tif 000009
【図８】
2012066589.tif 000010
【手続補正書】
【提出日】平成24年10月30日(2012.10.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載用カメラにより撮影された画像上の不要領域の画像を除去する車載用画像処理装置に関するものである。
【背景技術】
【０００２】
従来から、車両後方にカメラを取り付け、バック駐車を行う際に、このカメラにより撮影されたバック画像をモニタに表示するものが存在している。これにより、運転者は、モニタに表示されたバック画像を見ながら、容易にバック駐車を行うことができる。
【０００３】
このカメラには、駐車支援に必要な周辺情報を映し出すため、広角レンズが使用されている。また、撮影したバック画像上に駐車支援のガイド線を表示するため、カメラの取り付け位置・角度が予め決められている場合がある。そのため、カメラにより撮影された画像に、車両後方のバンパやナンバープレート等が映りこんでしまう恐れがある。この場合、バンパやナンバープレートは不要な領域であるにも関わらず周辺情報と同様にモニタに表示されてしまうため、駐車支援の妨げとなってしまう。そこでこの不要領域の画像を除去することが望まれている。
【０００４】
これに対して、画像上の不要領域をマスクする画像処理装置が存在している（例えば特許文献１参照）。この特許文献１に開示される画像処理装置では、車両のシフトがバック位置であり、かつ荷降ろし動作以外の場合にのみ、車両バックに必要な画像領域以外をマスクしている。なお、マスクする領域は固定領域として予め設定されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−２０５７２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、バンパやナンバープレート等の不要領域は、カメラの取り付け位置・角度や車両の違い等により異なる領域となる。そのため、特許文献１に開示される映像処理装置のように、マスク領域を固定する方法では、不要領域を完全に除去することができないという課題があった。また、不要領域以外の領域もマスクされてしまうという課題があった。さらに、不要領域は複雑な形状をしているため、ユーザが簡単な手順で除去することは困難であるという課題があった。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、車載用カメラにより撮影された画像上の不要領域を容易に特定することができ、この不要領域を確実に除去することができる車載用画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
この発明に係る車載用画像処理装置は、自車の移動距離を検出する移動距離検出部と、移動距離検出部により検出された移動距離に基づいて、自車が初期位置から所定距離移動したかを判断する移動距離判断部と、初期位置から移動距離判断部により所定距離移動したと判断されるまでの間に車載用カメラにより撮影された画像のフレーム間差分を行い、当該画像の変化量が閾値以下である領域を不要領域として特定する不要領域特定部と、不要領域特定部により特定された不要領域をマスクして画像を除去する不要領域除去部とを備えたものである。
【０００９】
また、この発明に係る車載用画像処理装置は、車載用カメラにより撮影された画像上の不要領域を示す情報の入力を受け付ける操作入力部と、操作入力部を介して入力された情報に基づいて、不要領域を特定する不要領域特定部と、不要領域特定部により特定された不要領域をマスクして画像を除去する不要領域除去部とを備えたものである。
【発明の効果】
【００１０】
この発明によれば、上記のように構成したので、車載用カメラにより撮影された画像上の不要領域を容易に特定することができ、この不要領域を確実に除去することができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１に係る車載用画像処理装置の構成を示す図である。
【図２】この発明の実施の形態１における制御部の構成を示す図である。
【図３】この発明の実施の形態１におけるカメラにより撮影されたバック画像を示す図である。
【図４】この発明の実施の形態１に係る車載用画像処理装置による不要領域特定動作を示すフローチャートである。
【図５】この発明の実施の形態１に係る車載用画像処理装置による不要領域除去動作を示すフローチャートである。
【図６】この発明の実施の形態１に係る車載用画像処理装置による不要領域の除去（マスク表示）を説明する図である。
【図７】この発明の実施の形態１に係る車載用画像処理装置による不要領域の除去（マスク表示）を説明する図である。
【図８】この発明の実施の形態１に係る車載用画像処理装置による不要領域の除去（非表示）を説明する図である。
【発明を実施するための形態】
【００１２】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
車載用画像処理装置は、図１に示すように、カメラ１、車速計測部２、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）３、操作入力部４、シフト位置検出部５、マスク情報記憶部６、制御部７、除去情報記憶部８および表示部（モニタ）９から構成されている。
【００１３】
カメラ１は、車両後方に取り付けられ、バック画像を撮影するものである。このカメラ１には、駐車支援に必要な周辺情報を映し出すため、広角レンズが使用されている。また、撮影したバック画像上に駐車支援のガイド線を表示するため、カメラ１の取り付け位置・角度が予め決められている。そのため、このカメラ１により撮影されたバック画像には、図３に示すように、車両後方のバンパやナンバープレート等の不要領域（図３ではナンバープレートのみ図示）も映りこんでいる。このカメラ１により撮影されたバック画像は制御部７に出力される。
【００１４】
車速計測部２は、自車の車速を計測するものである。この車速計測部２により計測された車速を示す情報は制御部７に出力される。
ＧＰＳ３は、ＧＰＳ情報（自車位置情報や時刻情報等）を取得するものである。このＧＰＳ３により取得されたＧＰＳ情報は制御部７に出力される。
【００１５】
操作入力部４は、ユーザによる操作を受け付けるものであり、タッチパネル等により構成される。この操作入力部４は、不要領域の特定方法（自動特定、手動特定）の選択を受け付ける。ここで、手動特定が選択された場合には、手動特定方法（なぞり指定、ポイント指定）の選択も受け付ける。
また、操作入力部４は、不要領域の除去方法（マスク表示、非表示）の選択を受け付ける。ここで、マスク表示が選択された場合には、マスク方法（マスクパターン、形状、色）およびガイド文字表示位置（上部表示、下部表示）の選択を受け付ける。
この操作入力部４により受け付けられた各情報は制御部７に出力される。
【００１６】
シフト位置検出部５は、車両のシフト位置を検出するものである。ここで、シフト位置検出部５は、シフトがバック位置に切替えられたと判断した場合には、制御部７にバック画像の表示を要求する。
【００１７】
マスク情報記憶部６は、不要領域をマスクする際の複数のマスクパターン（塗りつぶし、色変更、モザイク化）、モザイク化する際の形状、塗りつぶしや色変更を行う際の色等のマスク情報を記憶するものである。このマスク情報記憶部６に記憶されているマスク情報は制御部７により抽出される。
【００１８】
制御部７は、車載用画像処理装置の各部を制御するものである。この制御部７は、カメラ１により撮影されたバック画像の不要領域を特定し、この不要領域の除去を行う。この制御部７の構成は後述する。
【００１９】
除去情報記憶部８は、制御部７からの除去情報（不要領域、除去方法、マスク情報やガイド文字表示位置）を記憶するものである。この除去情報記憶部８に記憶されている除去情報は制御部７により抽出される。
表示部９は、制御部７による指示に従い、制御部７により不要領域の画像が除去されたバック画像や、操作ガイド画面等を表示するものである。
【００２０】
次に、制御部７の構成について説明する。
制御部７は、図２に示すように、特定方法判断部７１、明度判断部７２、移動距離判断部７３、不要領域特定部７４、除去方法判断部７５、マスク情報抽出部７６および不要領域除去部７７から構成されている。
【００２１】
特定方法判断部７１は、操作入力部４を介してユーザにより選択された不要領域の特定方法を確認するものである。ここで、特定方法判断部７１は、不要領域の自動特定が選択されていると判断した場合には、その旨を明度判断部７２および不要領域特定部７４に通知する。
一方、特定方法判断部７１は、不要領域の手動特定が選択されていると判断した場合には、その旨を不要領域特定部７４に通知する。この際、特定方法判断部７１は、操作入力部４を介してユーザにより選択された手動特定方法も確認し、不要領域特定部７４に通知する。
【００２２】
明度判断部７２は、特定方法判断部７１により不要領域の自動特定が選択されていると判断された場合に、現在の周囲の明度（夜間、昼間）を判断するものである。この明度判断部７２は、ＧＰＳにより取得されたＧＰＳ情報（時刻情報）やカメラ１により撮影されたバック画像の輝度等に基づいて、周囲の明度を判断する。ここで、明度判断部７２は、現在の周囲の明度が高い（夜間ではない）と判断した場合には、その旨を不要領域特定部７４および移動距離判断部７３に通知する。
【００２３】
移動距離判断部７３は、明度判断部７２により現在の周囲の明度が高いと判断された後、自車が初期位置から所定距離以上移動したかを判断するものである。この際、移動距離判断部７３は、車速計測部２により計測された車速に基づいて、自車の移動距離を検出する。この車速計測部２および移動距離判断部７３は本願の移動距離検出部に対応する。また、移動距離判断部７３は、最低移動距離を予め設定し、車速に応じて、移動距離を最適化する。すなわち、車速が高速になるにつれて、移動距離が長くするように設定する。ここで、移動距離判断部７３は、自車が初期位置から所定距離以上移動したと判断した場合には、その旨を不要領域特定部７４に通知する。
【００２４】
不要領域特定部７４は、カメラ１に撮影されたバック画像の不要領域を特定するものであり、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）から構成されている。この不要領域特定部７４は、特定方法判断部７１により不要領域の自動特定が選択されていると判断された場合に、明度判断部７２により現在の周囲の明度が高いと判断された後の初期位置から、移動距離判断部７３により所定距離以上移動したと判断されるまでの間に、カメラ１により撮影されたバック画像を保持する。そして、保持している初期位置から移動後位置までの間のバック画像に基づいて、不要領域を特定する。すなわち、不要領域特定部７４は、初期位置から移動後位置までの間のバック画像に対してフレーム間差分を行い、画像の色や輝度等の変化量が閾値以下である領域を不要領域として特定する。
また、不要領域特定部７４は、特定方法判断部７１により不要領域の手動特定が選択されていると判断された場合には、手動特定方法に応じて、操作入力部４を介してユーザにより入力された不要領域を示す情報を取得し、この情報に基づいて、不要領域を特定する。
この不要領域特定部７４により特定された不要領域を示す情報は除去情報記憶部８に出力される。
【００２５】
除去方法判断部７５は、操作入力部４を介してユーザにより選択された除去方法を確認するものである。ここで、除去方法判断部７５は、マスク表示が選択されていると判断した場合には、その旨をマスク情報抽出部７６および不要領域除去部７７に通知する。
一方、除去方法判断部７５は、非表示が選択されていると判断した場合には、その旨を不要領域除去部７７に通知する。
また、除去方法判断部７５により確認された除去方法を示す情報は除去情報記憶部８にも出力される。
【００２６】
マスク情報抽出部７６は、除去方法判断部７５によりマスク表示が選択されていると判断された場合に、操作入力部４を介してユーザにより選択されたマスク方法に従い、マスク情報記憶部６に記憶されている該当するマスク情報を抽出するものである。このマスク情報抽出部７６により抽出されたマスク情報は不要領域除去部７７および除去情報記憶部８に出力される。
【００２７】
不要領域除去部７７は、カメラ１により撮影されたバック画像の不要領域を除去するものである。この不要領域除去部７７は、除去方法判断部７５によりマスク表示が選択されていると判断された場合には、マスク情報抽出部７６により抽出されたマスク情報および除去情報記憶部８に記憶されている不要領域情報に基づいて、バック画像の不要領域をマスクする。この際、不要領域除去部７７は、マスク領域とガイド文字領域との大きさ、操作入力部４を介してユーザにより選択されたガイド文字表示位置に基づいて、画像の表示修正を行う。また、不要領域除去部７７により確認されたガイド文字表示位置を示す情報は除去情報記憶部８に出力される。
一方、不要領域除去部７７は、除去方法判断部７５により非表示が選択されていると判断された場合には、除去情報記憶部８に記憶されている不要領域情報に基づいて、画像上の不要領域以外の領域を、不要領域分引き伸ばして、不要領域の画像を除去する。
この不要領域除去部７７により不要領域が除去されたバック画像は表示部９に出力される。
【００２８】
次に、上記のように構成された車載用画像処理装置による不要領域特定動作について説明する。
この車載用画像処理装置による不要領域特定動作では、図４に示すように、まず、特定方法判断部７１は、操作入力部４を介してユーザにより不要領域の自動特定が選択されているかを判断する（ステップＳＴ４１）。
【００２９】
このステップＳＴ４１において、特定方法判断部７１が、不要領域の自動特定が選択されていると判断した場合には、明度判断部７２は、現在、夜間であるかを判断する（ステップＳＴ４２）。
このステップＳＴ４２において、明度判断部７２が、現在、夜間であると判断した場合には、シーケンスは終了する。ここで、フレーム間差分により不要領域を特定する場合、夜間で周囲が暗いと誤認識を生じる恐れがある。そのため、夜間の場合には不要領域の自動特定は実施しない。
【００３０】
一方、ステップＳＴ４２において、明度判断部７２が、現在、夜間ではないと判断した場合には、カメラ１によるバック画像の撮影を開始し、不要領域特定部７４はこのバック画像を保持する。このようにカメラ１によりバック画像を撮影している状態で、ユーザは自車を移動させる。
次いで、移動距離判断部７３は、車速計測部２により計測された車速に基づいて、自車が初期位置から所定距離以上移動したかを判断する（ステップＳＴ４３）。なお、自車の移動は前進または後退のどちらであっても構わない。また、高速移動時には移動距離を長く設定することにより、フレーム数を増加させて認識精度を向上させる。
このステップＳＴ４３において、移動距離判断部７３は、自車が所定距離以上移動していないと判断した場合には、シーケンスはステップＳＴ４３に戻り、待機状態となる。  
【００３１】
一方、ステップＳＴ４３において、移動距離判断部７３は、自車が所定距離移動したと判断した場合には、不要領域特定部７４は、保持している初期位置から移動後位置までの間のバック画像に基づいて、不要領域を特定する（ステップＳＴ４４，４９）。すなわち、不要領域特定部７４は、初期位置から移動後位置までの間のバック画像に対してフレーム間差分を行い、画像の色や輝度等の変化量が閾値以下である領域を不要領域として特定する。なお、フレーム間差分は、１ｐｉｘｅｌ単位やブロック単位（例えば１０×１０ｐｉｘｅｌ）等で求める。
また、不要領域特定部７４は、車速計測部２により計測された車速に応じて、変化量に対する閾値を変更する。すなわち、高速移動時は、画像の変化が激しいため、閾値を高くして、微細な変化を無視して誤認識を避けるようにする。さらに、バンパやナンバープレート等の不要領域は画像の下部に存在すると推測されるため、画像の下部のみに限定して、不要領域の特定を行う。これにより誤認識を避けることができ、演算時間を短縮できる。
【００３２】
このように、バンパやナンバープレート等の不要領域はカメラ１と一緒に移動するため、車両が移動しても画像に変化が少ないという特徴を利用して、フレーム間差分により画像の変化を検出することによって、不要領域を容易に特定することができる。なお、以上の処理は、バックグラウンド処理で行い、表示部９にバック画像を表示する必要ない。
【００３３】
一方、ステップＳＴ４１において、特定方法判断部７１は、操作入力部４を介してユーザにより不要領域の手動特定が選択されていると判断した場合には、操作入力部４を介してユーザにより、なぞり指定が選択されているかを判断する（ステップＳＴ４５）。
【００３４】
このステップＳＴ４５にいて、特定方法判断部７１が、なぞり指定が選択されていると判断した場合には、不要領域特定部７４は、操作入力部４を介してユーザによりなぞられた軌跡を取得し、この軌跡に基づいて不要領域を特定する（ステップＳＴ４６，４９）。ここで、ユーザは、表示部９に表示されているバック画像を見ながら、操作入力部４を介して必要領域と不要領域との境界線上をなぞる。この際、ユーザによりなぞられた領域は凸凹であることが想定されるため、不要領域特定部７４は、取得した軌跡を滑らかに補正する。そして、不要領域は画像の下部に存在すると推測されるため、補正した軌跡の下部の領域を不要領域として特定する。これにより、ユーザが境界線上をなぞるだけで容易に不要領域を特定することができる。また、なぞった軌跡が凸凹であったとしても、自動的に補正するため、ユーザが微調整を行う必要はない。
【００３５】
一方、ステップＳＴ４５において、特定方法判断部７１が、ポイント指定が選択されたと判断した場合には、不要領域特定部７４は、操作入力部４を介してユーザによりポイント指定された各点の位置を取得する（ステップＳＴ４７）。ここで、ユーザは、表示部９に表示されているバック画像を見ながら、操作入力部４を介して必要領域と不要領域との境界線上の複数点をポイント指定する。
【００３６】
次いで、不要領域特定部７４は、取得した各点を線形補間し、線形補間した軌跡に基づいて不要領域を特定する（ステップＳＴ４８，４９）。すなわち、不要領域特定部７４は、まず、取得した各点を線形補間する。次に、線形補間した軌跡は凸凹であることが想定されるため、不要領域特定部７４は、取得した各点を滑らかに補正する。そして、不要領域は画像の下部に存在すると推測されるため、補正した軌跡の下部の領域を不要領域として特定する。これにより、ユーザが境界線上の複数点を指定するだけで容易に不要領域を特定することができる。また、線形補間した軌跡を自動的に補正するため、ユーザが微調整を行う必要はない。
【００３７】
このように、ユーザは、手動で、操作入力部４を用いてなぞり指定、ポイント指定を行うことにより、直感的に不要領域を決定することができる。
以上の処理により、カメラ１により撮影された画像上に映りこんでいる不要領域を容易に特定することができる。なお、不要領域特定部７４により特定された不要領域を示す情報は除去情報記憶部８に記憶される。
【００３８】
次に、上記のように構成された車載用画像処理装置による不要領域除去動作について説明する。
車載用画像処理装置による不要領域除去動作では、シフト位置検出部５により、車両のシフトがバック位置に切替えられたと判断され、バック画像の表示要求がなされた場合に、図５に示すように、まず、除去方法判断部７５は、操作入力部４を介してユーザによりマスク表示が選択されているかを判断する（ステップＳＴ５１）。
【００３９】
このステップＳＴ５１において、除去方法判断部７５は、マスク表示が選択されていると判断した場合には、マスク情報抽出部７６は、操作入力部４を介したユーザにより選択されたマスク方法（マスクパターン、形状、色）に従い、マスク情報記憶部６に記憶されている該当するマスク情報を抽出する（ステップＳＴ５２）。このマスク情報抽出部７６により抽出されたマスク情報は不要領域除去部７７に出力される。
【００４０】
次いで、不要領域除去部７７は、マスク情報抽出部７６により抽出されたマスク情報および除去情報記憶部８に記憶されている不要領域情報に基づいて、画像上の不要領域をマスクする（ステップＳＴ５３）。これにより、図６（ｂ）に示すように、バック画像の不要領域をマスクすることができる。
【００４１】
次いで、不要領域除去部７７は、マスク領域がガイド文字領域より大きいかを判断する（ステップＳＴ５４）。
このステップＳＴ５４において、不要領域除去部７７は、マスク領域がガイド文字領域よりも小さいと判断した場合には、シーケンスは終了する。その後、不要領域除去部７７により不要領域の画像が除去されたバック画像が表示部９に表示される。例えば図７（ｂ）に示すように、マスクした領域がガイド文字領域よりも小さい場合には、画像の表示修正は行わず、そのまま表示する。
【００４２】
一方、ステップＳＴ５４において、不要領域除去部７７は、マスク領域がガイド文字領域より大きいと判断した場合には、操作入力部４を介してユーザによりガイド文字の下部表示が選択されているかを判断する（ステップＳＴ５５）。
このステップＳＴ５５において、不要領域除去部７７は、ガイド文字の下部表示が選択されていると判断した場合には、ガイド文字を下部のマスク領域上に移動させる（ステップＳＴ５６）。その後、シーケンスは終了し、不要領域除去部７７により不要領域の画像が除去されたバック画像が表示部９に表示される。これにより、図６（ｃ）に示すように、バック画像がガイド文字で隠れることなく表示させることができ、視認性を向上させることができる。
【００４３】
一方、ステップＳＴ５５において、不要領域除去部７７は、ガイド文字の上部表示が選択されていると判断した場合には、不要領域以外の領域の画像を、不要領域の高さ分だけ下部に移動させる（ステップＳＴ５７）。その後、シーケンスは終了し、不要領域除去部７７により不要領域の画像が除去されたバック画像が表示部９に表示される。これにより、図６（ｄ）に示すように、バック画像がガイド文字で隠れることなく表示させることができ、視認性を向上させることができる。
【００４４】
一方、ステップＳＴ５１において、除去方法判断部７５が、非表示が選択されていると判断した場合には、除去情報記憶部８に記憶されている不要領域情報に基づいて、バック画像の不要領域以外の領域の画像を、不要領域の高さ分引き伸ばす（ステップＳＴ５８）。すなわち、不要領域の画像を非表示とし、不要領域以外の領域の画像を引き伸ばして表示する。その後、シーケンスは終了し、不要領域除去部７７により不要領域の画像が除去されたバック画像が表示部９に表示される。これにより、図８（ｂ）に示すように、周辺情報を広く表示させることができ、視認性を向上させることができる。
【００４５】
なお、除去方法判断部７５により確認された除去方法、マスク情報抽出部７６により抽出されたマスク情報および不要領域除去部７７により確認されたガイド文字表示位置情報は除去情報記憶部８に記憶される。
以後、不要領域の除去を行う際には、除去情報記憶部８に記憶されているマスク情報（不要領域、除去方法、マスク情報やガイド文字表示位置）を抽出して、不要領域の除去を行う。
【００４６】
以上のように、この発明の実施の形態１によれば、車載用のカメラ１によりバック画像を撮影させながら自車を移動させて、バック画像のフレーム間差分により画像変化の有無を把握し、変化の少ない領域を不要領域として特定するように構成したので、カメラ１により撮影された画像の不要領域を容易に特定することができ、この不要領域を確実に除去することができる。また、不要領域を手動で特定する場合には、ユーザによるなぞり指定・ポイント指定された情報に基づいて不要領域を特定するように構成したので、ユーザが簡単な手順で不要領域を除去することができる。
【００４７】
なお、実施の形態１では、手動特定においてなぞり指定またはポイント指定により不要領域を特定すると説明したが、これに限るものではなく、例えばカメラ１により撮影されたバック画像上のコントラスト差を利用して不要領域を特定するようにしてもよい。
この場合、操作入力部４は、ユーザにより、不要領域内の、必要領域と不要領域との境界線付近の複数点の指定を受け付ける。また、不要領域除去部７７は、操作入力部４を介してユーザによりポイント指定された各点の位置を取得する。そして、不要領域特定部７４は、取得した各点の輝度と周囲の輝度とを比較し、輝度差が閾値以上となる境界線を検出する。そして、この境界線の下部の領域を不要領域として特定する。
【００４８】
また、実施の形態１では、カメラ１は車両後方に取り付けられ、バック画像を撮影するものとして説明を行ったが、これに限るものではなく、例えば前方やサイドの画像を撮影するカメラに対しても同様に適用可能である。
【００４９】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００５０】
１  カメラ、２  車速計測部、３  ＧＰＳ、４  操作入力部、５  シフト位置検出部、６  マスク情報記憶部、７  制御部、８  除去情報記憶部、９  表示部（モニタ）、７１  特定方法判断部、７２  明度判断部、７３  移動距離判断部、７４  不要領域特定部、７５  除去方法判断部、７６  マスク情報抽出部、７７  不要領域除去部。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車載用カメラにより撮影された画像上の不要領域の画像を除去する車載用画像処理装置において、
自車の移動距離を検出する移動距離検出部と、
前記移動距離検出部により検出された移動距離に基づいて、自車が初期位置から所定距離移動したかを判断する移動距離判断部と、
前記初期位置から前記移動距離判断部により所定距離移動したと判断されるまでの間に前記車載用カメラにより撮影された画像のフレーム間差分を行い、当該画像の変化量が閾値以下である領域を不要領域として特定する不要領域特定部と、
前記不要領域特定部により特定された不要領域をマスクして画像を除去する不要領域除去部と
を備えた車載用画像処理装置。
【請求項２】
車載用カメラにより撮影された画像上の不要領域の画像を除去する車載用画像処理装置において、
前記車載用カメラにより撮影された画像上の不要領域を示す情報の入力を受け付ける操作入力部と、
前記操作入力部を介して入力された情報に基づいて、不要領域を特定する不要領域特定部と、
前記不要領域特定部により特定された不要領域をマスクして画像を除去する不要領域除去部と
を備えた車載用画像処理装置。
【請求項３】
操作入力部は、必要領域と不要領域との境界線のなぞり指定を受け付け、
不要領域特定部は、前記操作入力部を介してなぞられた軌跡に基づいて、不要領域を特定する
ことを特徴とする請求項２記載の車載用画像処理装置。
【請求項４】
操作入力部は、必要領域と不要領域との境界線上の複数点の指定を受け付け、
不要領域特定部は、前記操作入力部を介して指定された各点を補間し、当該補間した軌跡に基づいて、不要領域を特定する
ことを特徴とする請求項２記載の車載用画像処理装置。
【請求項５】
操作入力部は、必要領域と不要領域との境界線付近の複数点の指定を受け付け、
不要領域特定部は、前記操作入力部を介して指定された各点の輝度と当該各点の周囲の輝度とを比較して輝度差が閾値以上となる境界線を検出し、当該境界線に基づいて、不要領域を特定する
ことを特徴とする請求項２記載の車載用画像処理装置。
【請求項６】
不要領域除去部は、不要領域特定部により特定された不要領域以外の領域を、不要領域分引き伸ばす
ことを特徴とする請求項１記載の車載用画像処理装置。
【請求項７】
不要領域除去部は、不要領域特定部により特定された不要領域以外の領域を、不要領域分引き伸ばす
ことを特徴とする請求項２記載の車載用画像処理装置。
【国際調査報告】
2012066589.tif 000011
2012066589.tif 000012
2012066589.tif 000013
2012066589.tif 000014
2012066589.tif 000015
2012066589.tif 000016
2012066589.tif 000017
2012066589.tif 000018