(57)【要約】【課題】  画像のつなぎ目による画像品質の低下を抑制することが可能な運転支援装置及び方法を提供する。【解決手段】  運転支援装置１は、画像処理部２０により、自車両周辺の撮像画像を座標変換したうえで合成し、俯瞰画像を作成する。そして、本装置１は、表示部４０により俯瞰画像を表示する。ここで、本装置１は、俯瞰画像を作成する際に画像合成するときの画像のつなぎ目位置を、前回俯瞰画像を作成したときと異なる位置に変更することとしている。このため、俯瞰画像においてつなぎ目は一定の位置に存在し続けるわけではない。故に、画像のつなぎ目部分において物体が不連続に表示され続けたり、消失し続けたりすることがなくなる。従って、画像のつなぎ目による画像品質の低下を抑制することができる。【選択図】      図１
2006121587.tif 000002
【特許請求の範囲】
【請求項１】
自車両周辺を撮像すると共に、それぞれが異なる方向を撮像する複数の撮像手段と、
前記複数の撮像手段により撮像された異なる方向の撮像画像を座標変換したうえで合成することで、俯瞰画像を作成する画像処理手段と、
前記画像処理手段により作成された俯瞰画像を表示する表示手段と、を備え、
前記画像処理手段は、俯瞰画像を作成する際に画像合成するときの画像のつなぎ目位置を、前回俯瞰画像を作成したときと異なる位置に変更する
ことを特徴とする運転支援装置。
【請求項２】
前記画像処理手段は、運転者によって前記つなぎ目位置を変更するための操作がされなくとも、前記つなぎ目の位置を連続的に変更していくことを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記画像処理手段は、車両が後退以外の状態にあるときに、前記つなぎ目の位置を連続的に変更し、車両が後退状態にあるときに、前記つなぎ目の位置の変更を停止することを特徴とする請求項１に記載の運転支援装置。
【請求項４】
運転者による操作行為、又は車両の挙動を検出して車両が後退しているか否かを判断する判断手段をさらに備え、
前記画像処理手段は、前記判断手段により車両が後退していると判断されたときに、前記つなぎ目の位置の変更を停止する
ことを特徴とする請求項３に記載の運転支援装置。
【請求項５】
前記画像処理手段は、車両が後退以外の状態にあるときであっても、作成した俯瞰画像の画像状態から前記つなぎ目の位置の変更を停止すべきか否かを判断し、停止すべきと判断した場合には、前記つなぎ目の位置の変更を停止する
ことを特徴とする請求項３に記載の運転支援装置。
【請求項６】
前記画像処理手段は、前記つなぎ目の位置を境とする一方側の所定の領域と他方側の所定の領域との色彩の最頻値を求めつつ、前記つなぎ目位置を移動させていき、それぞれの領域の最頻値となる色彩が異なった時点で、前記つなぎ目の位置の変更を停止すべきと判断することを特徴とする請求項５に記載の運転支援装置。
【請求項７】
前記画像処理手段は、前記つなぎ目の位置を境とする一方側の領域について色彩の最頻値を求めつつ、前記一方側の領域全体に対する最頻値となる色彩が占める割合を求め、前記つなぎ目位置を移動させていき、前記割合の増加が停止した時点で、前記つなぎ目の位置の変更を停止すべきと判断することを特徴とする請求項５に記載の運転支援装置。
【請求項８】
前記画像処理手段は、前記つなぎ目が複数ある場合、それら複数の前記つなぎ目のうち一部について位置を変更することを特徴とする請求項１に記載の運転支援装置。
【請求項９】
シフトポジションの状態を示すシフトポジション信号を入力して、車両前後方向について車両の進行方向を判断する判断手段をさらに備え、
前記画像処理手段は、前記判断手段により判断された進行方向側のつなぎ目について位置を変更する
ことを特徴とする請求項８に記載の運転支援装置。
【請求項１０】
ハンドル操作を示す操舵信号を入力して、車両左右方向について車両の進行方向を判断する判断手段をさらに備え、
前記画像処理手段は、前記判断手段により判断された進行方向側のつなぎ目について位置を変更する
ことを特徴とする請求項８に記載の運転支援装置。
【請求項１１】
自車両から２以上の方向を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された２以上の方向の撮像画像を座標変換したうえで合成することで、俯瞰画像を作成する画像処理ステップと、
前記画像処理ステップにおいて作成された俯瞰画像を表示する表示ステップと、を有し、
前記画像処理ステップでは、俯瞰画像を作成する際に画像合成するときの画像のつなぎ目位置を、前回俯瞰画像を作成したときと異なる位置に変更する
ことを特徴とする運転支援装置の俯瞰画像作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援装置及び俯瞰画像作成方法に関する。
【背景技術】
【０００２】
従来、車両に設置されたカメラの映像を処理して、運転者に提供する運転支援装置が知られている。この装置は、複数台のカメラの映像を基準面（例えば地面）に対して座標変換することで、上空から撮像したような俯瞰映像を作成して、運転者に提供する構成となっている。この俯瞰映像では、地面上の白線や縁石などと自車両との位置関係が上空から客観的に表現される。このため、運転支援装置は、駐車枠にあわせて駐車する場合や縁石に幅寄せをするような場合において運転者に非常に便利な映像を提供できる（例えば特許文献１参照）。
【特許文献１】特開２００２−１２５２２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、従来の運転支援装置では、複数台のカメラの映像から俯瞰映像を作成する場合、複数台のカメラの映像を座標変換したうえで、座標変換した画像を合成する必要がある。
【０００４】
しかし、従来の運転支援装置では、基準面よりも高い位置や低い位置に存在する立体物が、合成画像のつなぎ目で連続的につながらないことがあり、場合によってはモニタに表示されないことがある。
【０００５】
また、運転者が俯瞰映像で車両周囲に障害物がないことを確認した場合においても、実際には、合成画像のつなぎ目部分に物体が存在している場合がある。これは、合成画像のつなぎ目部分に設定されたマスクの幅や、カメラの向き調整のずれに起因するものであり、数１０センチ程度の直径の立体物が消失することがある。
【０００６】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、画像のつなぎ目による画像品質の低下を抑制することが可能な運転支援装置及び俯瞰画像作成方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の運転支援装置は、複数の撮像手段と、画像処理手段と、表示手段とを備えている。複数の撮像手段は、自車両周辺を撮像すると共に、それぞれが異なる方向を撮像するものである。画像処理手段は、複数の撮像手段により撮像された異なる方向の撮像画像を座標変換したうえで合成することで、俯瞰画像を作成するものである。表示手段は、画像処理手段により作成された俯瞰画像を表示するものである。さらに、本発明の運転支援装置において、画像処理手段は、俯瞰画像を作成する際に画像合成するときの画像のつなぎ目位置を、前回俯瞰画像を作成したときと異なる位置に変更する。
【発明の効果】
【０００８】
本発明によれば、俯瞰画像を作成する際に画像合成するときの画像のつなぎ目位置を、前回俯瞰画像を作成したときと異なる位置に変更することとしている。このため、俯瞰画像においてつなぎ目は一定の位置に存在し続けるわけではない。故に、画像のつなぎ目部分において物体が不連続に表示され続けたり、消失し続けたりすることがなくなる。従って、画像のつなぎ目による画像品質の低下を抑制することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、各図において、同一又は同様の要素には同一の符号を付して説明を省略する。
【００１０】
図１は、本発明の実施形態に係る運転支援装置の構成図である。同図に示すように、本実施形態の運転支援装置１は、運転者の運転操作を支援するためのものであって、車両上方を仮想視点とし、仮想視点からの自車両を見たときの画像を運転者に提供するためのものである。
【００１１】
この運転支援装置１は、複数の撮像部（複数の撮像手段）１０１〜１０ｎと、画像処理部（画像処理手段）２０と、制御部（判断手段）３０と、表示部（表示手段）４０と、操作部５０と、車両信号取得部６０とを備えている。
【００１２】
複数の撮像部１０１〜１０ｎは、自車両周辺を撮像すると共に、それぞれが異なる方向を撮像するものである。これら複数の撮像部１０１〜１０ｎは、撮像画像のデータを画像処理部２０に送信する構成となっている。ここで、複数の撮像部１０１〜１０ｎについて図２及び図３を参照して説明する。
【００１３】
図２は、複数の撮像部１０１〜１０ｎの設置状態の一例を示す説明図である。同図に示すように、車両フロント部に第１の撮像部１０１が設けられ、車両リア部に第２の撮像部１０２が設けられ、右ドアミラー部に第３の撮像部１０３が設けられ、左ドアミラー部に第４の撮像部１０４が設けられている。第１〜第４の撮像部１０１〜１０４は、それぞれ１８０度の画角を有する広角カメラであって、これら４つにより車両の全周囲について画像を取得することができるようになっている。なお、以下の説明においては、複数の撮像部１０１〜１０ｎを第１〜第４の撮像部１０１〜１０４として説明するものとする。
【００１４】
図３は、図２に示した第１〜第４の撮像部１０１〜１０４の撮像範囲を示す説明図であって、（ａ）は第２の撮像部１０２による撮像範囲を示し、（ｂ）は第４の撮像部１０４による撮像範囲を示し、（ｃ）は撮像範囲の重複を示している。
【００１５】
上記した如く、第１〜第４の撮像部１０１〜１０４はそれぞれ１８０度の画角を有している。このため、図３（ａ）に示すように、第２の撮像部１０２は車両後方の領域を１８０度の画角で撮像するようになっている。また、図３（ｂ）に示すように、第４の撮像部１０４は車両左側の領域を１８０度の画角で撮像するようになっている。故に、図３（ｃ）に示すように、第２の撮像部１０２と第４の撮像部１０４とによって重複して撮像される領域が存在することとなる。また、第１の撮像部１０１と第３の撮像部１０３など他の撮像部同士でも同様に重複して撮像される領域が存在する。
【００１６】
再度、図１を参照する。画像処理部２０は、第１〜第４の撮像部１０１〜１０４により撮像された異なる方向の撮像画像を座標変換したうえで合成することで、俯瞰画像を作成するものである。具体的に、画像処理部２０は、第１の撮像部１０１により撮像された撮像画像を、地面を基準面として座標変換する。また、画像処理部２０は、第２〜第４の撮像部１０２〜１０４により撮像された撮像画像についても同様に地面を基準面として座標変換する。そして、画像処理部２０は、座標変換した４画像を合成する。これにより、画像処理部２０は、俯瞰画像を作成する。
【００１７】
ここで、画像処理部２０は、座標変換するために、撮像画像と座標変換後の画像との画素配置対応関係を記録した変換テーブルを、第１〜第４の撮像部１０１〜１０４ごとに有している。このため、画像処理部２０は、第１〜第４の撮像部１０１〜１０４からの撮像画像を、それぞれ変換テーブルに基づいて座標変換できるようになっている。
【００１８】
制御部３０は、本装置１の全体を制御するものである。また、制御部３０は、画像処理部２０により作成された俯瞰画像のデータを表示部４０に送信するものである。表示部４０は、制御部３０から送信された俯瞰画像のデータに基づいて、画像処理部２０により作成された俯瞰画像を順次表示するものである。
【００１９】
図４は、俯瞰画像を示す説明図である。同図に示すように、俯瞰画像は、第１の撮像部１０１からの撮像画像を座標変換して得られた第１画像領域１００ａと、同様に、第２〜第４の撮像部１０２〜１０４からの撮像画像を座標変換して得られた第２〜第４画像領域１００ｂ〜１００ｄとからなっている。俯瞰画像の中心には自車両ＣＧ１０１が配置されており、自車両と周囲物体等との位置関係が客観的に把握できるようになっている。
【００２０】
第１画像領域１００ａと第３画像領域１００ｃとの間には、つなぎ目部分において画像が不連続となる違和感を解消するために、第１マスク線１０２ａが配置されている。また、第１画像領域１００ａと第４画像領域１００ｄとの間には第２マスク線１０２ｂが配置され、第２画像領域１００ｂと第３画像領域１００ｃとの間には第３マスク線１０２ｃが配置されている。さらに、第２画像領域１００ｂと第４画像領域１００ｄとの間には第４マスク線１０２ｄが配置されている。これら第１〜第４マスク線１０２ａ〜１０２ｄは、それぞれが実際のスケールにおいて約１０センチ〜２０センチ程度の幅となるように設定されている。
【００２１】
再度、図１を参照する。操作部５０は、運転者による操作行為、すなわち運転者によるハンドル操作や、シフトポジションの操作や、スイッチ操作などを受け付けるものである。また、操作部５０は、運転者からの操作を受け付けると、その旨の信号を制御部３０に送信する構成となっている。
【００２２】
車両信号取得部６０は、車両の挙動、すなわち車速やエンジンの回転数など車両の挙動に関する信号を検出して取得するものである。また、車両信号取得部６０は、取得した車両の挙動に関する信号を制御部３０に送信する構成となっている。
【００２３】
このため、上記制御部３０は、操作部５０及び車両信号取得部６０からの信号に基づいて、運転者による運転操作又は車両の挙動を検出するものとして機能する。具体的に、制御部３０は、シフトポジションの状態を示すシフトポジション信号を入力した場合、現在のシフトポジションの状態を検出するものとして機能し、ハンドル操作を示す操舵信号を入力した場合には、現在のハンドル状態を検出するものとして機能することとなる。
【００２４】
次に、本発明の実施形態に係る運転支援装置１の動作を説明する。図５は、車両を縦列駐車させるシーンを示す説明図である。まず、駐車したい駐車枠の前方に停止車両１０３が停車しているとする。この場合、自車両１０４は、停止車両１０３の側方位置Ａから、停止車両１０３の右後方位置Ｂを通過して、駐車枠内の位置Ｃで停止することとなる。
【００２５】
また、この駐車の過程において、第１〜第４の撮像部１０１〜１０４は、自車両から２以上の方向を時系列的に撮像する。そして、画像処理部２０は、時系列的に撮像された２以上の方向の撮像画像を座標変換したうえで合成し、時系列的に俯瞰画像を作成する。次いで、表示部４０は、時系列的に作成された俯瞰画像を順次表示する。これにより、運転者は、自車両の周囲を客観的に視認しながら、駐車を行うことができる。
【００２６】
図６は、図５に示す縦列駐車時に表示される俯瞰画像の一例を示す説明図であり、（ａ）は俯瞰画像の一例を示し、（ｂ）は（ａ）に示す俯瞰画像が得られたときの実際の車両周囲の様子を示している。
【００２７】
図６（ａ）に示すように、俯瞰画像には、停止車両１０３が表示されている。この停止車両１０３は、マスク線１０２ｄにより隔てられ、不連続に表示されている。故に、図６（ａ）に示す俯瞰画像では、自車両１０１の左側に何が映っているかわかり難くなっている。
【００２８】
また、図６（ｂ）に示すように、自車両の左前方に物体が存在するにも関わらず、図６（ａ）に示す俯瞰画像には、物体が表示されていない。これは、カメラの取付精度により数センチ程度のずれが生じるためである。また、基準面である地面に描かれた白線などは再現されるが、立体物は見え方が異なってくるためである。さらに、第１〜第４マスク線１０２ａ〜１０２ｄは、実際のスケールにおいて１０センチ〜２０センチ程度の幅を有するため、車両周囲に１０センチ〜２０センチ程度の幅の細い物体が存在するとき、物体は、第１〜第４マスク線１０２ａ〜１０２ｄによって消失することがあるためである。
【００２９】
そこで、本実施形態に係る運転支援装置１では、上記のような画像品質の低下、すなわち俯瞰画像において画像のつなぎ目による画像品質の低下を抑制するようにしている。詳細に本実施形態において画像処理部２０は、俯瞰画像を作成する際に画像合成するときの画像のつなぎ目位置を、前回俯瞰画像を作成したときと異なる位置に変更する。
【００３０】
すなわち、画像処理部２０は、図６（ａ）に示した第１〜第４マスク線１０２ａ〜１０２ｄの位置を他の位置に変更する。この際、画像処理部２０は、第１〜第４の撮像部１０１〜１０４により重複して撮像される領域を利用して、第１〜第４マスク線１０２ａ〜１０２ｄの位置を変更する。すなわち、２以上の撮像部１０により重複して撮像される重複範囲（例えば図３（ｃ）に示す範囲）において、画像処理部２０は、いずれの撮像部１０による撮像画像を座標変換しても俯瞰画像を作成することができる。このため、画像処理部２０は、重複範囲において画像のつなぎ目を自由に変更することができる。
【００３１】
図７は、第１〜第４マスク線１０２ａ〜１０２ｄの位置を他の位置に変更したときの俯瞰画像を示す説明図であり、（ａ）は変更前の一例を示し、（ｂ）は変更後の一例を示している。
【００３２】
図７（ａ）に示すように、自車両１０１の左側には、停止車両１０３が存在している。このときの停止車両１０３は、画像のつなぎ目である第４マスク線１０２ｄにより分断されて不連続となり、何が映っているかわかり難くなっている。
【００３３】
ところが、図７（ｂ）に示すように、画像のつなぎ目である第１〜第４マスク線１０２ａ〜１０２ｄの位置を変更した場合、停止車両１０３が車両と理解できるように表示される。すなわち、第４マスク線１０２ｄが停止車両１０３を分断していないため、停止車両１０３は不連続とならず車両と理解できるように、表示部４０により表示されることとなる。
【００３４】
このように、本実施形態において表示部４０には、第１〜第４マスク線１０２ａ〜１０２ｄの位置が変更された俯瞰画像が表示され、画像のつなぎ目部分において物体が不連続に表示され続けたり、消失し続けたりすることがなくなる。よって、画像のつなぎ目による画像品質の低下を抑制することとなる。
【００３５】
なお、画像処理部２０は、運転者による操作部５０へのスイッチ操作を契機としてつなぎ目位置を変更する。このため、画像のつなぎ目は、１回のスイッチ操作により１回だけ変更されることとなる。また、これに限らず、運転者によってつなぎ目位置を変更するための操作がされなくとも、画像のつなぎ目は、以下のように連続的に変更されてもよい。
【００３６】
図８は、つなぎ目位置を連続的に変更する様子を示す説明図であり、（ａ）はつなぎ目位置の第１例を示し、（ｂ）はつなぎ目位置の第２例を示し、（ｃ）はつなぎ目位置の第３例を示し、（ｄ）はつなぎ目位置の第４例を示し、（ｅ）はつなぎ目位置の第５例を示している。
【００３７】
まず、画像処理部２０は、図８（ａ）に示す俯瞰画像を作成する。その後、画像処理部２０は、マスク線１０２ａ〜１０２ｄの位置を図中矢印α方向に移動させて、図８（ｂ）に示す俯瞰画像を作成する。次いで、画像処理部２０は、マスク線１０２ａ〜１０２ｄの位置を、さらにα方向に移動させて、図８（ｃ）に示す俯瞰画像を作成する。その後、同様に画像処理部２０は、図８（ｄ）及び（ｅ）に示す俯瞰画像を作成する。
【００３８】
次いで、図８（ｅ）に示す俯瞰画像の作成後、画像処理部２０は、マスク線１０２ａ〜１０２ｄの位置を図中矢印β方向に移動させて、図８（ｄ）に示す俯瞰画像を作成する。その後、画像処理部２０は、図８（ａ）〜（ｃ）の俯瞰画像を順次作成していく。すなわち、画像処理部２０は、画像のつなぎ目位置、すなわちマスク線１０２ａ〜１０２ｄの位置を連続的に変更していく。
【００３９】
このように、連続的につなぎ目位置を変更していくことにより、運転者は、スイッチ操作等をする必要がなくなり、駐車などを一層スムーズに行うことができるようになる。
【００４０】
また、画像処理部２０は、車両の挙動にあわせてつなぎ目位置を変更するようにしてもよい。すなわち、画像処理部２０は、車両が後退以外の状態にあるときに、つなぎ目の位置を連続的に変更し、車両が後退状態にあるときに、つなぎ目の位置の変更を停止するようにしてもよい。
【００４１】
ここで、車両が後退しているか否かは、例えば、操作部５０にて受け付けられた操作行為、及び車両信号取得部６０により取得された車両の挙動に関する信号に基づいて、制御部３０が判断する。そして、画像処理部２０は、制御部３０により車両が後退していると判断されたときに、つなぎ目の位置の変更を停止することとなる。すなわち、自車両がオートマティック車であれば、例えば、シフトポジションをバックに入れた状態でフットブレーキを緩めた時点で、制御部３０により車両が後退していると判断され、つなぎ目の位置の変更が停止されることとなる。また、これに限らず、本装置１は、車速を検知して車両の後退を判断し、つなぎ目の位置の変更を停止する構成であってもよい。
【００４２】
このように、車両後退時において画像のつなぎ目位置の変更を停止し、車両後退時以外の停車時などにおいて画像のつなぎ目位置を変更することで、運転者の駐車行為等を好適に支援することができる。すなわち、一般的に運転者は、駐車中に車両周囲に物体が存在する可能性を予見した場合、車両を一時的に停車させ、駐車を中断する。このとき、本装置１では、画像のつなぎ目位置が変更され、運転者は自己の予見について確認をすることができる。このため、運転者は、停止と後退とを繰り返すことで、車両周囲について不安があるときに確認することができ、しかも後退中には、むやみに画像のつなぎ目位置を変更せず、視認性の向上を図ることとなる。従って、本装置１は、運転者の駐車行為等を好適に支援することとなる。
【００４３】
また、上記では、車両が後退以外の状態にあるときに、つなぎ目の位置を変更することとしていたが、これに限らず、以下のようにしてもよい。すなわち、画像処理部２０は、車両が後退以外の状態にあるときであっても、作成した俯瞰画像の画像状態からつなぎ目の位置の変更を停止すべきか否かを判断し、停止すべきと判断した場合につなぎ目の位置の変更を停止するようにしてもよい。
【００４４】
図９は、俯瞰画像の画像状態からつなぎ目の位置の変更を停止すべきか否かを判断する処理の説明図であり、（ａ）はつなぎ目位置の変更前のおける俯瞰画像の例を示し、（ｂ）はつなぎ目位置の変更中における俯瞰画像の例を示し、（ｃ）はつなぎ目位置の変更後における俯瞰画像の例を示している。
【００４５】
まず、画像処理部２０は、つなぎ目の位置の変更を停止すべきか否かを判断するにあたって、第１〜第４マスク線１０２ａ〜１０２ｄそれぞれに重なるようにして判断領域１０４を設定する。なお、以下においては、説明を簡単とするため、図９（ａ）に示すように、第４マスク線１０２ｄのみについて判断領域１０４が設定されているものとする。
【００４６】
判断領域１０４は、つなぎ目の位置を境とする一方側の領域上に設定される第１判断領域１０４ａと、つなぎ目の位置を境とする他方側の領域上に設定される第２判断領域１０４ｂとからなっている。
【００４７】
そして、画像処理部２０は、つなぎ目の位置を境とする一方側の領域と他方側の領域との色彩の最頻値を求める。すなわち、画像処理部２０は、第１判断領域１０４ａにおいて最も多い色が何であるかを求める。詳細に画像処理部２０は、第１判断領域１０４ａの各画素が２５６階調の色彩のうちどの色彩に該当するかを特定して、最も数が多いものを求める。次に、画像処理部２０は、第２判断領域１０４ｂにおいて最も多い色が何であるかを求める。
【００４８】
ここで、第４マスク線１０２ｄが停止車両１０３などに重なっているのであれば、第２判断領域１０４ｂでは、第１判断領域１０４ａと同じ色彩の数が多くなる。すなわち、第４マスク線１０２ｄが１つの物体を隔てているため、第１判断領域１０４ａと第２判断領域１０４ｂとで同じ色彩が多く検出される。このため、画像処理部２０は、第１判断領域１０４ａと第２判断領域１０４ｂとで同じ色彩が多く検出された場合、物体を視認しやすくするため、画像のつなぎ目位置を変更すべきと判断する。
【００４９】
そして、画像処理部２０は、図９（ｂ）に示すように、画像のつなぎ目位置を変更する。ここで、図９（ｂ）に示す場合においても、第４マスク線１０２ｄが停止車両１０３に重なっている。故に、第１判断領域１０４ａと第２判断領域１０４ｂとでは同じ色彩が多く検出される。よって、画像処理部２０は、画像のつなぎ目位置を変更すべきと判断する。
【００５０】
その後、画像処理部２０は、図９（ｃ）に示すように、画像のつなぎ目位置を変更する。この場合、第４マスク線１０２ｄが停止車両１０３に重なっていない。故に、第１判断領域１０４ａと第２判断領域１０４ｂとでは、それぞれ異なる色彩が最も多く検出される。このとき、画像処理部２０は、第４マスク線１０２ｄが停止車両１０３に重なっていないことを判断して、つなぎ目位置の変更を停止する。すなわち、画像処理部２０は、第１判断領域１０４ａと第２判断領域１０４ｂとのそれぞれで色彩の最頻値を求めつつ、画像のつなぎ目位置を移動させていき、それぞれの領域１０４ａ，１０４ｂの最頻値となる色彩が異なった時点で、つなぎ目の位置の変更を停止すべきと判断する。これにより、本装置１は、自動でつなぎ目位置を変更及び変更の停止をすることとなり、運転者の手を煩わせることなく、車両周囲の環境にあわせた適切な俯瞰画像を表示することができる。
【００５１】
図１０は、俯瞰画像の画像状態からつなぎ目の位置の変更を停止すべきか否かを判断する第２の処理を説明するフローチャートであり、（ａ）はつなぎ目位置の変更前のおける俯瞰画像の例を示し、（ｂ）はつなぎ目位置の変更中における俯瞰画像の例を示し、（ｃ）はつなぎ目位置の変更後における俯瞰画像の例を示している。
【００５２】
つなぎ目位置の自動変更は、図９に示す場合に限らず、図１０に示すようにしてもよい。図１０に示す例において、画像処理部２０は、つなぎ目の位置の変更を停止すべきか否かを判断するにあたって、図１０（ａ）に示すように、つなぎ目の位置を境とする一方側の領域を判断領域１０５とする。なお、以下においては、説明を簡単とするため、第４マスク線１０２ｄの一方側の領域、すなわち第４マスク線１０２ｄと第３マスク線１０２ｃとによって囲まれる領域を判断領域１０５として説明する。
【００５３】
まず、画像処理部２０は、判断領域１０５について色彩の最頻値を求める。すなわち、画像処理部２０は、判断領域１０５において最も多い色が何であるかを求める。ここで、図１０（ａ）に示す例では、判断領域１０５の大部分が路面（地面）により占められている。故に、画像処理部２０は、路面部分の色彩を最頻値として求めることとなる。さらに、画像処理部２０は、判断領域１０５の全体に対する最頻値となる色彩が占める割合を求める。
【００５４】
次いで、画像処理部２０は、図１０（ｂ）に示すように、画像のつなぎ目位置を変更する。ここで、図１０（ａ）に示す例では、第４マスク線１０２ｄが停止車両１０３に重なっている。故に、第４マスク線１０２ｄが図中γ方向（半時計回りの方向）に移動すると、最頻値となる色彩が占める割合は増加していく。すなわち、画像処理部２０は、画像のつなぎ目位置を移動させていき、最頻値となる色彩の占める割合が増加するときには、画像のつなぎ目位置が何らかの物体に重なっていると推定し、画像のつなぎ目位置を変更すべきと判断する。
【００５５】
その後、画像処理部２０は、図１０（ｃ）に示すように、第４マスク線１０２ｄが停止車両１０３に重ならない段階まで、画像のつなぎ目位置を変更したとする。この場合、第４マスク線１０２ｄを図中γ方向に移動させたとしても、最頻値となる色彩の占める割合は増加しなくなる。このとき、画像処理部２０は、第４マスク線１０２ｄが停止車両１０３に重なっていないことを判断して、つなぎ目位置の変更を停止する。すなわち、画像処理部２０は、つなぎ目の位置を境とする一方側の判断領域１０５について色彩の最頻値を求めつつ、判断領域１０５の全体に対する最頻値となる色彩が占める割合を求め、画像のつなぎ目位置を移動させていき、最頻値の増加割合が停止した時点で、つなぎ目の位置の変更を停止すべきと判断する。これにより、本装置１は、自動でつなぎ目位置を変更及び停止をすることとなり、車両周囲の環境にあわせた適切な俯瞰画像を表示することができる。
【００５６】
図１１は、本実施形態に運転支援装置１の変形例を示す構成図である。変形例に係る運転支援装置１は、複数のつなぎ目のうち一部について位置を変更するようになっている。具体的に変形例に係る運転支援装置１は、複数の障害物検出センサ７０１〜７０ｎを備えている。
【００５７】
具体的に本装置１は、図１１に示すように、４つの障害物検出センサ７０１〜７０４を備え、第１障害物検出センサ７０１は車両の右前方コーナー部に設けられ、第２障害物検出センサ７０２は車両の左前方コーナー部に設けられている。また、第３障害物検出センサ７０３は車両の右後方コーナー部に設けられ、第４障害物検出センサ７０４は車両の左後方コーナー部に設けられている。そして、これら４つの障害物検出センサ７０１〜７０４は、それぞれが車両コーナー部に近接する物体を検出するようになっている。
【００５８】
図１２は、変形例に係る運転支援装置１の動作を示す説明図である。同図に示すように、変形例に係る運転支援装置１は、物体が近接する方向のみについて画像のつなぎ目位置を変更するようにしている。すなわち、車両の左側方（特に左後方コーナー部）には停止車両１０３が近接している。このため、画像処理部２０は、第４マスク線１０２ｄについて位置を変更する。これにより、本装置１は、適切な方向のみ画像のつなぎ目位置を変更することとなり、すべてのつなぎ目位置を変更する場合に比較して、装置全体の処理速度の向上を図ることができる。
【００５９】
なお、変形例では、複数の障害物検出センサ７０１〜７０４を備える構成について説明したが、これに限られず、シフトポジションやハンドル操作に基づいて、複数のつなぎ目のうち一部の位置を変更するようにしてもよい。
【００６０】
例えば、制御部３０は、シフトポジションの状態を示すシフトポジション信号を入力して、車両前後方向について車両の進行方向を判断する。そして、画像処理部２０は、判断された進行方向側のつなぎ目について位置を変更していく。
【００６１】
または、制御部３０は、ハンドル操作を示す操舵信号を入力して、車両左右方向について車両の進行方向を判断する。そして、画像処理部２０は、判断された進行方向側のつなぎ目について位置を変更していく。
【００６２】
これらにより、進行方向でない方向、すなわち車両が周囲物体に接触する可能性のない方向について、つなぎ目位置を変更することがなく、適切な俯瞰画像を表示することができる。
【００６３】
このようにして、本実施形態に係る運転支援装置１によれば、俯瞰画像を作成する際に画像合成するときの画像のつなぎ目位置を、前回俯瞰画像を作成したときと異なる位置に変更することとしている。このため、俯瞰画像においてつなぎ目は一定の位置に存在し続けるわけではない。故に、画像のつなぎ目部分において物体が不連続に表示され続けたり、消失し続けたりすることがなくなる。従って、画像のつなぎ目による画像品質の低下を抑制することができる。
【００６４】
また、本装置１は、運転者によってつなぎ目位置を変更するための操作がされなくとも、連続的に画像のつなぎ目位置を変更していくこととしている。このため、運転者は、スイッチ操作等をする必要がなくなり、駐車などを一層スムーズに行うことができる。
【００６５】
また、本装置１は、車両後退時以外において画像のつなぎ目位置を変更し、車両後退時において画像のつなぎ目位置の変更を停止することとしている。ここで、一般的に運転者は、駐車中に車両周囲に物体が存在する可能性を予見した場合、車両を一時的に停車させ、駐車を中断する。このとき、本装置１では、画像のつなぎ目位置が変更されることとなり、運転者は自己の予見について確認をすることができる。故に、本装置１は、運転者が停止と後退とを繰り返すことで、運転者にとって車両周囲の状況に不安があるときに確認させることができる。さらに、車両後退中には、むやみに画像のつなぎ目位置を変更せず、視認性の向上を図ることとなる。従って、本装置１は、運転者の駐車行為等を好適に支援することとなる。
【００６６】
また、本装置１は、車両が後退以外の状態にあるときであっても、作成した俯瞰画像の画像状態からつなぎ目の位置の変更を停止すべきか否かを判断し、停止すべきと判断した場合には、つなぎ目の位置の変更を停止している。具体的には、つなぎ目の位置を境とする第１判断領域１０４ａと第２判断領域１０４ｂとの色彩の最頻値を求め、つなぎ目位置を移動させていき、それぞれの領域１０４ａ，１０４ｂの最頻値となる色彩が異なった時点で、つなぎ目の位置の変更を停止すべきと判断する。また、つなぎ目の位置を境とする判断領域１０５について色彩の最頻値を求めつつ、判断領域１０５の全体に対する最頻値となる色彩が占める割合を求め、つなぎ目位置を移動させていき、この割合の増加が停止した時点で、つなぎ目の位置の変更を停止すべきと判断する。
【００６７】
このようにすることで、車両が後退以外の状態にあるときには、自動でつなぎ目位置を変更する一方、自動でつなぎ目位置の変更を停止することとなる。この結果、運転者の手を煩わせるなく、車両周囲の環境にあわせた適切な俯瞰画像を表示することができる。
【００６８】
また、本装置１は、つなぎ目が複数ある場合、それら複数のつなぎ目のうち一部について位置を変更する。これにより、すべてのつなぎ目位置を変更する場合に比較して、装置全体の処理速度の向上を図ることができる。
【００６９】
また、本装置１は、シフトポジションの状態を示すシフトポジション信号を入力して、車両前後方向について車両の進行方向を判断し、判断した進行方向側のつなぎ目について位置を変更する。また、ハンドル操作を示す操舵信号を入力して、車両左右方向について車両の進行方向を判断し、判断した進行方向側のつなぎ目について位置を変更する。このように、進行方向を判断して、その方向についてつなぎ目位置を変更することにより、車両が移動する方向、すなわち車両が周囲物体に接触する可能性のある方向についてつなぎ目位置を変更することとなる。他方、車両進行方向と反対側、すなわち車両が周囲物体に接触する可能性のない方向について、つなぎ目位置を変更することがない。従って、必要方向のみについて、つなぎ目位置を変更することとなり、適切な俯瞰画像を表示することができる。
【００７０】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせてもよい。また、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施形態に係る運転支援装置の構成図である。
【図２】複数の撮像部１０１〜１０ｎの設置状態の一例を示す説明図である。
【図３】図２に示した第１〜第４の撮像部１０１〜１０４の撮像範囲を示す説明図であって、（ａ）は第２の撮像部１０２による撮像範囲を示し、（ｂ）は第４の撮像部１０４による撮像範囲を示し、（ｃ）は撮像範囲の重複を示している。
【図４】俯瞰画像を示す説明図である。
【図５】車両を縦列駐車させるシーンを示す説明図である。
【図６】図５に示す縦列駐車時に表示される俯瞰画像の一例を示す説明図であり、（ａ）は俯瞰画像の一例を示し、（ｂ）は（ａ）に示す俯瞰画像が得られたときの実際の車両周囲の様子を示している。
【図７】第１〜第４マスク線１０２ａ〜１０２ｄの位置を他の位置に変更したときの俯瞰画像を示す説明図であり、（ａ）は変更前の一例を示し、（ｂ）は変更後の一例を示している。
【図８】つなぎ目位置を連続的に変更する様子を示す説明図であり、（ａ）はつなぎ目位置の第１例を示し、（ｂ）はつなぎ目位置の第２例を示し、（ｃ）はつなぎ目位置の第３例を示し、（ｄ）はつなぎ目位置の第４例を示し、（ｅ）はつなぎ目位置の第５例を示している。
【図９】俯瞰画像の画像状態からつなぎ目の位置の変更を停止すべきか否かを判断する処理の説明図であり、（ａ）はつなぎ目位置の変更前のおける俯瞰画像の例を示し、（ｂ）はつなぎ目位置の変更中における俯瞰画像の例を示し、（ｃ）はつなぎ目位置の変更後における俯瞰画像の例を示している。
【図１０】俯瞰画像の画像状態からつなぎ目の位置の変更を停止すべきか否かを判断する第２の処理を説明するフローチャートであり、（ａ）はつなぎ目位置の変更前のおける俯瞰画像の例を示し、（ｂ）はつなぎ目位置の変更中における俯瞰画像の例を示し、（ｃ）はつなぎ目位置の変更後における俯瞰画像の例を示している。
【図１１】本実施形態に運転支援装置１の変形例を示す構成図である。
【図１２】変形例に係る運転支援装置１の動作を示す説明図である。
【符号の説明】
【００７２】
１…運転支援装置
１０１〜１０ｎ…撮像部（複数の撮像手段）
２０…画像処理部（画像処理手段）
３０…制御部（判断手段）
４０…表示部（表示手段）
５０…操作部
６０…車両信号取得部
１０４ａ…第１判断領域（一方側の所定領域）
１０４ｂ…第２判断領域（他方側の所定領域）
１０５…判断領域（一方側の領域）
【図１】
2006121587.tif 000003
【図２】
2006121587.tif 000004
【図３】
2006121587.tif 000005
【図４】
2006121587.tif 000006
【図５】
2006121587.tif 000007
【図６】
2006121587.tif 000008
【図７】
2006121587.tif 000009
【図８】
2006121587.tif 000010
【図９】
2006121587.tif 000011
【図１０】
2006121587.tif 000012
【図１１】
2006121587.tif 000013
【図１２】
2006121587.tif 000014