(57)【要約】【課題】全周鳥瞰図画像では、車両が旋回した場合、車両が回転するのではなく、背景のほうが回転してしまう。【解決手段】画像生成部３０は、車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する。表示装置１４は、画像生成部３０において生成された鳥瞰図画像を表示する。画像生成部３０は、車両の向きと駐車スペースの向きとの相対的関係が変わる場合、駐車スペースの向きが固定された鳥瞰図画像を生成する。【選択図】図２
2010081385.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、
前記画像生成部において生成された鳥瞰図画像を表示する表示部と、を備え、
前記画像生成部は、車両の向きと駐車スペースの向きとの相対的関係が変わる場合、駐車スペースの向きが固定された鳥瞰図画像を生成することを特徴とする運転支援装置。
【請求項２】
車両の旋回による、前記画像生成部において生成される鳥瞰図画像における駐車スペースの回転の角度を検出する動き検出部と、
前記動き検出部において検出された角度をもとに、前記鳥瞰図画像を逆回転した後、前記表示部に出力するよう前記画像生成部を制御する制御部と、
をさらに備えることを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記画像生成部は、車両と駐車スペースとの位置関係に応じて、前記表示部に表示される鳥瞰図画像の構図を変更することを特徴とする請求項１または２に記載の運転支援装置。
【請求項４】
前記画像生成部は、車両の基準位置からの変位が所定の値を超えたとき、車両の進行方向に位置する領域が優先的に写った鳥瞰図画像を生成することを特徴とする請求項３に記載の運転支援装置。
【請求項５】
前記画像生成部は、車両の基準位置からの変位に応じて、視点の高さが異なる鳥瞰図画像を生成することを特徴とする請求項３に記載の運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援技術に関し、特に車両に設置された撮像装置によって撮像した画像をもとに、運転を支援する運転支援装置に関する。
【背景技術】
【０００２】
車両周囲に設置された複数のカメラにより撮像された画像をそれぞれ鳥瞰図画像に変換し、それらの鳥瞰図画像を合成することにより、車両の全周囲を俯瞰することができる鳥瞰図画像（以下適宜、全周鳥瞰図画像という）を生成する技術が提案されている。この全周鳥瞰図画像は、運転者に有益な情報を提供することができ、運転を支援することができる。とくに、駐車時の運転を支援することができる。
【特許文献１】特開２００７−２６９０６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
全周鳥瞰図画像は、車両の周囲に固定された複数の撮像装置によって撮像された画像（より具体的には、鳥瞰図画像に変換後の画像）が合成されることにより生成される。したがって、通常、車両の向きが垂直（通常、車両のヘッドが上）な全周鳥瞰図画像が生成され、表示される。よって、車両が旋回した場合、車両が回転するのではなく、背景のほうが回転することになる。旋回を伴う駐車時には、車両ではなく、駐車スペースのほうが回転することになる。
【０００４】
本発明者はこうした状況を認識して本発明をなしたものであり、その目的は、駐車スペースと車両との位置関係を運転者がより実感しやすい鳥瞰図画像を表示することができる技術を提供することである。
【課題を解決するための手段】
【０００５】
本発明のある態様の運転支援装置は、車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、画像生成部において生成された鳥瞰図画像を表示する表示部と、を備える。画像生成部は、車両の向きと駐車スペースの向きとの相対的関係が変わる場合、駐車スペースの向きが固定された鳥瞰図画像を生成する。
【０００６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００７】
本発明によれば、駐車スペースと車両との位置関係を運転者がより実感しやすい鳥瞰図画像を表示することができる。
【発明を実施するための最良の形態】
【０００８】
図１は、本発明の実施の形態に係る運転支援装置１０を搭載した車両１００の構成を示す。車両１００は運転支援装置１０、第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃ、第４撮像装置１２ｄ（以下、第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃおよび第４撮像装置１２ｄを総称して撮像装置１２と表記する）、および表示装置１４を含む。なお、車両１００にはエンジン、シャーシ、ハンドル、ブレーキ等、様々な構成要素が含まれるが、ここでは省略して描いている。また、図１に示された車両１００の左側が前方に相当する。
【０００９】
撮像装置１２は画像を連続的に撮像し、撮像した画像を運転支援装置１０へ出力する。本明細書では、画像そのものあるいは画像のデータを区別せずに「画像」という。第１撮像装置１２ａと第２撮像装置１２ｂは、車両１００のフロント部分に設置され、第３撮像装置１２ｃと第４撮像装置１２ｄは、車両１００のリア部分に設置されている。ここで、第１撮像装置１２ａから第４撮像装置１２ｄは、任意の組合せにてステレオカメラを形成する。ステレオカメラとは、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラのことである。なお、撮像装置１２の数は「４」に限定されない。
【００１０】
運転支援装置１０には、第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃおよび第４撮像装置１２ｄにより撮像された画像がそれぞれ入力される。運転支援装置１０は、入力された画像をそれぞれ鳥瞰図画像に変換し、それらの鳥瞰図画像を合成することにより、合成鳥瞰図画像を生成する。運転支援装置１０はその合成鳥瞰図画像を表示装置１４に出力する。表示装置１４は運転支援装置１０から入力される（より具体的には、後述する画像生成部３０により生成された）合成鳥瞰図画像を表示する。表示装置１４は専用の端末装置であってもよいし、カーナビゲーション装置の表示部を転用したものであってもよい。また、運転支援装置１０と表示装置１４とが一体的に構成されてもよい。
【００１１】
運転支援装置１０は車両周辺における障害物を検出する。運転支援装置１０は障害物を検出した場合、運転者にその旨を示す警告を出力する。
【００１２】
図２は、実施の形態に係る運転支援装置１０の構成を示す。運転支援装置１０は、第１フレームバッファ２０ａ、第２フレームバッファ２０ｂ、第３フレームバッファ２０ｃ、第４フレームバッファ２０ｄ（第１フレームバッファ２０ａ、第２フレームバッファ２０ｂ、第３フレームバッファ２０ｃおよび第４フレームバッファ２０ｄを総称してフレームバッファ２０と表記する）、画像生成部３０、制御部４０および操作部５０を備える。
【００１３】
運転支援装置１０の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１４】
第１フレームバッファ２０ａ、第２フレームバッファ２０ｂ、第３フレームバッファ２０ｃおよび第４フレームバッファ２０ｄには、第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃおよび第４撮像装置１２ｄにより撮像された画像がそれぞれ入力される。フレームバッファ２０は、撮像装置１２から入力された画像を一時的に保持し、画像生成部３０に出力する。
【００１５】
変換テーブル記憶部２４は、撮像装置１２により撮像された画像を鳥瞰図画像に変換するための変換式を記憶する。この変換式は実際に設置された撮像装置１２の視点を仮想撮像装置の視点（以下、仮想視点という）から見た画像に変換するためのものである。この仮想視点の位置は設計者が任意に設定可能である。変換テーブル記憶部２４は、鳥瞰変換マッピングルックアップテーブルの形式で構築されてもよい。この場合、画像変換部３２はこのルックアップテーブルを参照して、フレームバッファ２０から入力される画像の座標を変換する。
【００１６】
画像生成部３０は、車両１００に設置された少なくともひとつの撮像装置（たとえば、第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃおよび第４撮像装置１２ｄ）によって撮像された画像をもとに、車両１００周辺の鳥瞰図画像を生成する。この鳥瞰図画像は上記全周鳥瞰図画像であってもよい。また上述した、車両１００周辺の鳥瞰図画像には車両１００全体が含まれる構図であることが好ましいが、必ずしも車両１００全体が含まれる構図でなくてもよい。すなわち、車両１００の一部が含まれる構図または車両１００が含まれない構図であってもよい。以下、画像生成部３０が全周鳥瞰図画像を生成する例を説明する。
【００１７】
撮像装置１２から連続的に画像が運転支援装置１０に入力される場合、画像生成部３０は全周鳥瞰図画像を連続的に生成する。すなわち、画像生成部３０は全周鳥瞰図の動画像を生成する。
【００１８】
駐車モードにおいて、画像生成部３０は、車両１００の向きと駐車スペースの向きとの相対的関係が変わる場合、駐車スペースの向きが固定された全周鳥瞰図画像を生成する。たとえば、駐車スペースの向きが垂直方向に固定された全周鳥瞰図画像を生成する。ここで、駐車モードには、駐車スペースに車両１００を入れる場合の車庫入れモードと、駐車スペースから車両１００を出す車庫出しモードがある。運転者が操作部５０を操作することにより、車庫入れモードまたは車庫出しモードに突入する。
【００１９】
上述した、駐車スペースの向きが固定された全周鳥瞰図画像とは、車両１００が旋回する場合、背景の向きが固定され、車両１００が旋回する画像である。通常、車両１００に撮像装置１２が固定されているため、車両１００が旋回する場合、全周鳥瞰図画像内において、車両１００の向きが固定され、背景が回転する。画像生成部３０は、制御部４０による制御を受けることにより、車両１００の向きに関わらず、駐車スペースの向きが固定された全周鳥瞰図画像を生成することができる。
【００２０】
画像生成部３０は、画像変換部３２および画像合成部３４を含む。画像変換部３２は、第１フレームバッファ２０ａ、第２フレームバッファ２０ｂ、第３フレームバッファ２０ｃおよび第４フレームバッファ２０ｄから入力されるそれぞれの画像を、変換テーブル記憶部２４に保持される変換式を用いて、鳥瞰図画像にそれぞれ変換する。
【００２１】
画像合成部３４は、画像変換部３２により変換された複数の鳥瞰図画像を合成することにより、全周鳥瞰図画像を生成する。
【００２２】
全周鳥瞰図画像の変換および生成には、公知の技術、たとえば特開２００８−４８３４５号公報に開示された技術を使用することができる。
【００２３】
動き検出部４２は、車両１００の旋回による、画像生成部３０において生成される全周鳥瞰図画像における駐車スペースの回転の角度を検出する。その角度は制御部４０に出力される。もちろん、駐車スペースだけでなく、車両１００の旋回により、全周鳥瞰図画像における背景全体が回転する。その回転の起点は、運転者が操作部５０を操作することにより、車庫入れモードまたは車庫出しモードに突入したときに撮像された画像にもとづく全周鳥瞰図画像を使用する。動き検出部４２は、画像生成部３０により生成される全周鳥瞰図画像内のオプティカルフローを検出することにより、駐車スペースを含む背景の回転角度を検出することができる。
【００２４】
オプティカルフローとは、動体解析の手法のひとつであり、画像内の輝度情報から動きを解析し、速度ベクトルによって動体の運動を表す技術である。このようなオプティカルフローの検出は、公知の技術であるため、ここではその詳細な説明を省略する。
【００２５】
動き検出部４２は、連続的に生成される全周鳥瞰図画像において各フレーム間の動きベクトルを検出することができる。動き検出部４２は、この動きベクトルを、起点となる全周鳥瞰図画像から現在の全周鳥瞰図画像まで積算することにより、その間の背景の移動量および回転量（すなわち、回転角度）を検出することができる。なお、動き検出部４２は、全周鳥瞰図画像内に複数の特徴点を設定し、それら特徴点の動きベクトルをもとに背景全体の動きベクトルを推定してもよい。
【００２６】
制御部４０は、動き検出部４２および操作部５０から入力される信号にもとづき、画像生成部３０を制御する。制御部４０は、動き検出部４２において検出された上記回転角度をもとに、生成される全周鳥瞰図画像を逆回転させた後、表示装置１４に出力するよう画像生成部３０を制御する。これにより、表示装置１４に背景の向きが固定され、車両１００が回転する全周鳥瞰図画像が表示されることになる。
【００２７】
本実施の形態では、画像生成部３０は表示装置１４の表示領域より大きい全周鳥瞰図画像を生成することが好ましい。この場合、全周鳥瞰図画像が制御部４０により逆回転された後、画像生成部３０は上記表示領域に対応した矩形領域を切り出して、表示装置１４に出力することができる。
【００２８】
操作部５０は運転者からの指示を受け付け、制御部４０に出力する。たとえば、操作部５０は車庫入れモードボタンおよび車庫出しモードボタンを備えていてもよい。また、駐車モードボタンを一つ備えていてもよい。この場合、その駐車モードボタンの押下回数や長押しの有無で、車庫入れモードと車庫出しモードとが区別されてもよい。また、表示装置１４に表示されている全周鳥瞰図画像の向きを変更するための回転ボタンを備えていてもよい。たとえば、その回転ボタンが一回押下されるごとに、その全周鳥瞰図画像が時計回りまたは反時計回りに１°、４５°または９０°回転されてもよい。
【００２９】
図３は、車庫出し時において表示装置１４に表示される全周鳥瞰図画像を説明するための図である。図３では駐車スペース７０に前進駐車した車両１００を、旋回させながら後退させて駐車スペース７０から出す例を示す。図３において、点線の矢印は全周鳥瞰図画像６０、６２内における車両１００の長手方向を示す。実線の矢印（直線）は全周鳥瞰図画像６０、６２内における駐車スペース７０の短手方向を示す。車庫出しモードでは、駐車スペース７０の長手方向に平行な軸を、背景の回転角度θを求める際の基準軸とする。
【００３０】
図３（ａ）は、車庫出し前の前進駐車された状態を示す図である。車庫出しを開始するとき、運転者は操作部５０を操作することにより車庫出しモードに突入する。この時点において、車両１００の長手方向と駐車スペース７０の長手方向は通常、略平行であるため、表示装置１４に表示される全周鳥瞰図画像６０内における駐車スペース７０は、その長手方向が垂直に写る。この構図は運転者が駐車スペース７０と車両１００との位置関係を把握しやすい構図である。
【００３１】
図３（ｂ）は、従来技術に係る車庫出し途中の状態を示す図である。この例では、運転者は、車両１００を反時計回りに旋回させながら駐車スペース７０の右後方の所定の位置まで後退させ、その位置から、車道と略平行になるまで反時計回りに旋回させながら前進させ、略平行になったら直進させる。
【００３２】
従来技術に係る運転支援装置では、表示装置に表示される全周鳥瞰図画像６２内における車両１００の向きが固定であるため、車両１００が現実の世界で反時計回りに回転角度θ、回転した状態では、全周鳥瞰図画像６２内における駐車スペース７０を含む背景がその回転角度θの分、時計回りに回転した状態となる。現実の世界では車両１００が動き、当然のことながら駐車スペース７０は不動であるため、従来技術に係る運転支援装置の表示装置に表示される全周鳥瞰図画像６２は不自然な映像である。
【００３３】
図３（ｃ）は、実施の形態に係る車庫出し途中の状態を示す図である。実施の形態に係る運転支援装置１０では、車両１００が現実の世界で反時計回りに回転角度θ、回転した状態では、画像生成部３０により生成される全周鳥瞰図画像内における駐車スペース７０を含む背景が、その回転角度θの分、時計回りに回転した状態（図３ｂと同様の状態）となる。画像生成部３０は制御部４０による制御にしたがい、その全周鳥瞰図画像を、その回転角度θの分、反時計回りに回転させる。したがって、表示装置１４に表示される全周鳥瞰図画像６０は、車両１００が上記基準軸に対して反時計回りに回転角度θ、回転した状態の構図となる。実施の形態に係る運転支援装置１０の表示装置１４に表示される全周鳥瞰図画像６０は、現実の世界の動きと一致しており、自然な映像である。
【００３４】
図４は、車庫入れ時において表示装置１４に表示される全周鳥瞰図画像を説明するための図である。図４では車両１００を旋回させながら後退させて駐車スペース７０に入れる例を示す。車庫入れモードでも、駐車スペース７０の長手方向に平行な軸を、背景の回転角度θを求める際の基準軸とする。
【００３５】
図４（ａ）は、車庫入れ前の状態を示す図である。車庫入れを開始するとき、運転者は操作部５０を操作することにより車庫入れモードに突入する。この時点において表示装置１４に表示される全周鳥瞰図画像６０内における、駐車スペース７０を含む背景の向きが車庫入れモード中、固定されるため、運転者はその背景の向きを見やすい向きに調整するとよい。図４（ａ）に示すように、駐車スペース７０の短手方向に対して平行に車両１００を停車させている場合、表示装置１４に表示される全周鳥瞰図画像６０内における駐車スペース７０は、その長手方向が水平に写る。
【００３６】
運転者は上記回転ボタンを押下して、その全周鳥瞰図画像６０内における駐車スペース７０の長手方向が垂直になる（より具体的には、駐車スペース７０の入り口が上に写るようになる）まで、全周鳥瞰図画像６０を回転させることができる。運転者は所望の向きまで全周鳥瞰図画像６０を回転させたら決定ボタンを押下することにより、基準となる背景の向きを確定させる。
【００３７】
駐車スペース７０に枠線が引かれている場合、動き検出部４２は車庫入れモード開始時における、画像生成部３０により生成される全周鳥瞰図画像内からその枠線を検出することができる。制御部４０はその枠線の短手方向の直線が水平に、長手方向の直線が垂直に写るように全周鳥瞰図画像を回転させるよう画像生成部３０を制御する。制御部４０はこの回転後の全周鳥瞰図画像の背景の向きを基準となる背景の向きに確定する。動き検出部４２はその枠線から上記基準軸を特定することができる。
【００３８】
なお、駐車スペース７０に枠線が引かれていない場合、動き検出部４２はつぎのようにして上記基準軸を特定することができる。すなわち、図４（ａ）に示すように、駐車スペース７０の短手方向に対して平行に車両１００が停車された状態で、運転者に上記車庫入れモードボタンなどを押下してもらう。操作部５０はそのタイミングを制御部４０を介して動き検出部４２に通知する。動き検出部４２は、そのタイミングにおいて生成される全周鳥瞰図画像内の水平線を上記基準軸に特定する。このタイミングでは、その水平線は駐車スペース７０の長手方向と平行となる。
【００３９】
図４（ｂ）は、従来技術に係る車庫入れ途中の状態を示す図である。この例では、運転者は、車両１００を反時計回りに旋回させながら車道の右前方の所定の位置まで前進させ、その位置から、駐車スペース７０と略平行になるまで反時計回りに旋回させながら後退させ、略平行になったらまっすぐ後退させる。
【００４０】
従来技術に係る運転支援装置では、表示装置に表示される全周鳥瞰図画像６２内における車両１００の向きが固定であるため、車両１００が反時計回りに回転角度θ、回転した状態では、全周鳥瞰図画像６２内における駐車スペース７０を含む背景がその回転角度θの分、時計回りに回転した状態となる。
【００４１】
図４（ｃ）は、実施の形態に係る車庫入れ途中の状態を示す図である。実施の形態に係る運転支援装置１０では、車両１００が反時計回りに回転角度θ、回転した状態では、画像生成部３０により生成される全周鳥瞰図画像内における駐車スペース７０を含む背景が、その回転角度θの分、時計回りに回転した状態（図４ｂと同様の状態）となる。画像生成部３０は制御部４０による制御にしたがい、その全周鳥瞰図画像を、その回転角度θの分、反時計回りに回転させる。したがって、表示装置１４に表示される全周鳥瞰図画像６０は、車両１００が上記基準軸に対して反時計回りに回転角度θ、回転した状態の構図となる。
【００４２】
つぎに、車庫出しモード時および車庫入れモード時において、それらモード中に表示装置１４に表示される全周鳥瞰図画像６０の構図を変更する処理を説明する。画像生成部３０は、車両１００と駐車スペース７０との位置関係に応じて、表示装置１４に表示される全周鳥瞰図画像６０の構図を変更する。この構図の変更は、制御部４０による指示により行われることが可能である。
【００４３】
たとえば、画像生成部３０は、車両１００の基準位置からの変位が所定の値を超えたとき、車両１００の進行方向に位置する領域が優先的に写った鳥瞰図画像を生成する。ここで、車両１００の基準位置は、車庫出しモードまたは車庫入れモードに突入時の位置であってもよいし、車両１００の後退開始時の位置であってもよい。また、上記変位は、上記回転角度θであってもよいし、上記基準位置からの移動量であってもよい。上述したように、動き検出部４２はオプティカルフローを検出することにより、車両１００の当該回転角度θおよび当該移動量を特定することができる。
【００４４】
上記所定の値は、車両１００と駐車スペース７０との位置関係（より具体的には距離）と車両１００の基準位置からの変位との関係、および車両１００と駐車スペース７０との様々な位置関係において運転者がより注意を払うべき車両１００の部位をもとに設定される。設計者は実験やシミュレーションにより上記所定の値を決定することができる。たとえば、４５°であってもよい。
【００４５】
また、画像生成部３０は、車両１００の基準位置からの変位に応じて、視点の高さが異なる鳥瞰図画像を生成する。たとえば、後退での車庫出しモードにおいて、上記変位が上記所定の値を超えるまでは、設定された、高さが異なる二つの視点のうち低いほうの視点の全周鳥瞰図画像を生成し、上記変位が上記所定の値を超えた後は、高いほうの視点の全周鳥瞰図画像を生成する。後退での車庫入れモードにおいて、上記変位が上記所定の値を超えるまでは、設定された、高さが異なる二つの視点のうち高いほうの視点の全周鳥瞰図画像を生成し、上記変位が上記所定の値を超えた後は、低いほうの視点の全周鳥瞰図画像を生成する。
【００４６】
制御部４０は動き検出部４２により特定された、車両１００の基準位置からの変位をもとに、表示装置１４に表示される全周鳥瞰図画像６０の構図を変更するよう画像生成部３０を制御する。以下、表示装置１４に表示される全周鳥瞰図画像６０の構図を変更するための二つの手法について説明する。
【００４７】
第１手法は、制御部４０が画像生成部３０において生成される全周鳥瞰図画像のうち表示装置１４に表示させる範囲を変更する手法である。この手法では、画像生成部３０は表示装置１４の表示領域より大きい全周鳥瞰図画像を生成する。制御部４０は上記変位に応じて、画像生成部３０において生成される全周鳥瞰図画像のうち、実際に表示装置１４に表示させる領域を適応的に決定する。
【００４８】
たとえば、後退での車庫出しモードにおいて、上記変位が上記所定の値を超えるまでは、制御部４０は上記全周鳥瞰図画像のうち、車両１００の前方に位置する領域が優先的に写った領域を採用するよう制御し、上記変位が上記所定の値を超えた後は、車両１００の後方に位置する領域が優先的に写った領域を採用するよう制御する。また、後退での車庫出しモードにおいて、上記変位が上記所定の値を超えるまでは、制御部４０は上記全周鳥瞰図画像のうち、その中央の領域に位置する、あらかじめ設定されたサイズの画像を切り出すよう画像生成部３０を制御する。制御部４０はその切り出された画像を上記全周鳥瞰図画像のサイズに拡大して、拡大された画像を表示装置１４に表示させるよう画像生成部３０を制御する。上記変位が上記所定の値を超えた後は、制御部４０は上記全周鳥瞰図画像を表示装置１４に表示させるよう画像生成部３０を制御する。
【００４９】
また、後退での車庫入れモードにおいて、上記変位が上記所定の値を超えるまでは、制御部４０は上記全周鳥瞰図画像のうち、車両１００の後方に位置する領域が優先的に写った領域を採用するよう制御し、上記変位が上記所定の値を超えた後は、車両１００の前方に位置する領域が優先的に写った領域を採用するよう制御する。また、後退での車庫入れモードにおいて、上記変位が上記所定の値を超えるまでは、制御部４０は上記全周鳥瞰図画像を表示装置１４に表示させるよう画像生成部３０を制御する。上記変位が上記所定の値を超えた後は、制御部４０は上記全周鳥瞰図画像のうち、その中央の領域に位置する、あらかじめ設定されたサイズの画像を切り出すよう画像生成部３０を制御する。制御部４０はその切り出された画像を上記全周鳥瞰図画像のサイズに拡大して、拡大された画像を表示装置１４に表示させるよう画像生成部３０を制御する。
【００５０】
第２手法は、撮像装置１２により撮像された画像を鳥瞰図画像に変換するときの、仮想視点の位置を変更させる手法である。説明を簡略化するため、表示装置１４に表示される全周鳥瞰図画像の構図には、前方向重視および後方向重視の二パターンがある第１例、ならびに視点の低いおよび視点が高いの二パターンがある第２例を説明する。
【００５１】
第１例では、変換テーブル記憶部２４は前方向重視および後方向重視の二パターンに対応する変換式をあらかじめ保持する。たとえば、二パターンの座標変換用のルックアップテーブルを保持する。制御部４０は、上記変位が上記所定の値を超えたか否かにより、いずれの変換式を使用するか画像変換部３２に指定する。
【００５２】
たとえば、後退での車庫出しモードにおいて、上記変位が上記所定の値を超えるまでは、制御部４０は撮像装置１２により撮像されたそれぞれの画像を、仮想視点が基準位置より前方に設定された変換式をそれぞれ用いて、複数の鳥瞰図画像を生成するよう制御し、上記変位が上記所定の値を超えた後は、仮想視点が基準位置より後方に設定された変換式をそれぞれ用いて、複数の鳥瞰図画像を生成するよう制御する。
【００５３】
後退での車庫入れモードにおいて、上記変位が上記所定の値を超えるまでは、制御部４０は撮像装置１２により撮像されたそれぞれの画像を、仮想視点が基準位置より後方に設定された変換式をそれぞれ用いて、複数の鳥瞰図画像を生成するよう制御し、上記変位が上記所定の値を超えた後は、仮想視点が基準位置より前方に設定された変換式をそれぞれ用いて、複数の鳥瞰図画像を生成するよう制御する。
【００５４】
第２例では、変換テーブル記憶部２４は視点が低いおよび視点が高いの二パターンに対応する変換式をあらかじめ保持する。たとえば、二パターンの座標変換用のルックアップテーブルを保持する。制御部４０は、上記変位が上記所定の値を超えたか否かにより、いずれの変換式を使用するか画像変換部３２に指定する。
【００５５】
たとえば、後退での車庫出しモードにおいて、上記変位が上記所定の値を超えるまでは、制御部４０は撮像装置１２により撮像されたそれぞれの画像を、仮想視点の高さが基準位置に設定された変換式または基準位置より低く設定された変換式をそれぞれ用いて、複数の鳥瞰図画像を生成するよう制御し、上記変位が上記所定の値を超えた後は、仮想視点の高さが基準位置より高く設定された変換式をそれぞれ用いて、複数の鳥瞰図画像を生成するよう制御する。
【００５６】
後退での車庫入れモードにおいて、上記変位が上記所定の値を超えるまでは、制御部４０は撮像装置１２により撮像されたそれぞれの画像を、仮想視点の高さが基準位置より低く設定された変換式をそれぞれ用いて、複数の鳥瞰図画像を生成するよう制御し、上記変位が上記所定の値を超えた後は、仮想視点の高さが基準位置に設定された変換式または基準位置より高く設定された変換式をそれぞれ用いて、複数の鳥瞰図画像を生成するよう制御する。
【００５７】
ここでは、表示装置１４に表示される全周鳥瞰図画像の構図のパターンが二つの場合を説明したが、上記所定の値を多段階に設定することにより、その構図のパターンを三つ以上にすることができることは、当業者が容易に理解されるところである。なお、画像変換部３２は、仮想視点の移動に応じて、基準となる変換式を補正して使用してもよい。
【００５８】
図５は、車両１００に対する基準となる仮想視点８０を示す図である。図５では車両１００の左側を前方とする（図６〜８も同様）。この仮想視点８０は地面から所定の高さＨを持ち、車両１００を鳥瞰した場合の車両１００の中心位置に設定される。
【００５９】
図６は、後退での車庫出しモードにおいて設定される仮想視点８０の一例を示す図である。図６（ａ）は、基準位置からの変位が所定の値を超えないときの仮想視点８０の位置を示し、図６（ｂ）は、基準位置からの変位が所定の値を超えたときの仮想視点８０の位置を示す。この例では、車庫出しの全行程において、その前半では車両１００の旋回により、車両１００の左前方部または右前方部が隣の車両と接触しないかを十分に確認することができ、その後半では車両１００の左後方部または右後方部が、駐車していた駐車スペースに対向する位置の駐車スペースの車両に接触しないかを十分に確認することができる。
【００６０】
図７は、後退での車庫入れモードにおいて設定される仮想視点８０の一例を示す図である。図７（ａ）は、基準位置からの変位が所定の値を超えないときの仮想視点８０の位置を示し、図７（ｂ）は、基準位置からの変位が所定の値を超えたときの仮想視点８０の位置を示す。この例では、車庫入れの全行程において、その前半では車両１００の旋回により、車両１００の左前方部または右前方部が、駐車すべき駐車スペースに対向する位置の駐車スペースの車両に接触しないかを十分に確認することができ、その後半では車両１００の左後方部または右後方部が隣の車両と接触しないかを十分に確認することができる。
【００６１】
図８は、後退での車庫出しモードにおいて設定される仮想視点８０の別の例を示す図である。図８（ａ）は、基準位置からの変位が所定の値を超えないときの仮想視点８０の位置を示し、図８（ｂ）は、基準位置からの変位が所定の値を超えたときの仮想視点８０の位置を示す。この例では、車庫出しの全行程において、その前半では仮想視点８０の高さを相対的に低く設定することにより、車両１００に近接する領域を詳細に安全確認することができ、その後半では車両１００周辺を広く安全確認することができる。なお、後退での車庫入れモードでは、図８（ａ）と図８（ｂ）との関係が逆になる。
【００６２】
図９は、実施の形態に係る運転支援装置１０の動作例を示すフローチャートである。この動作例は後退での車庫出しモードにおける動作である。まず、運転者が、車庫出しモードボタンを押下するなど、操作部５０を操作することにより車庫出しモードが開始する（Ｓ１０のＹ）。
【００６３】
画像生成部３０は全周鳥瞰図画像を生成する（Ｓ１２）。動き検出部４２は車庫出しモード開始時点の全周鳥瞰図画像をもとに基準軸を設定する。動き検出部４２は、画像生成部３０により生成される現在の全周鳥瞰図画像内の、上記基準軸からの回転角度θを特定する（Ｓ１４）。制御部４０は、その全周鳥瞰図画像を、その回転角度θの分、逆回転するよう画像生成部３０を制御する（Ｓ１６）。
【００６４】
制御部４０は、当該回転角度θと設定角度Ａとを比較する（Ｓ１８）。当該回転角度θが設定角度Ａを超えない間（Ｓ１８のＹ）、制御部４０は仮想視点が車両１００の前方に設定された全周鳥瞰図画像を生成するよう画像生成部３０を制御する（Ｓ２０）。当該回転角度θが設定角度Ａを超えた後（Ｓ１８のＮ）、制御部４０は仮想視点が車両１００の後方に設定された全周鳥瞰図画像を生成するよう画像生成部３０を制御する（Ｓ２２）。
【００６５】
運転者が、車庫出しモードボタンを再度押下するなど、操作部５０を操作することにより車庫出しモードが終了する（Ｓ２４のＹ）。車庫出しモードが終了しない間（Ｓ２４のＮ）、ステップＳ１２に遷移し、車庫出しモードが継続する。
【００６６】
以上説明したように実施の形態によれば、車両の旋回時において、画像生成部３０により生成される全周鳥瞰図画像の背景の回転を打ち消すように、その全周鳥瞰図画像を逆回転させることにより、背景の向きが固定された、自然な全周鳥瞰図画像を表示することができる。たとえば、駐車スペースの向きが垂直方向に固定された全周鳥瞰図画像を表示することができる。このような全周鳥瞰図画像は、運転者にとって駐車スペースと車両との位置関係が実感しやすく、より正確なハンドル操作が可能となる。
【００６７】
車庫出しまたは車庫入れの全行程において、その進捗に応じて、表示装置１４に表示される鳥瞰図画像の構図が自動的に変更されることにより、運転者の負担を増大させずに、より有益な情報を運転者に提供することができる。すなわち、各時点において運転者がより注意を払うべき領域が優先的に表示されることにより、または各時点において適した範囲の鳥瞰図画像が表示されることにより、運転者は各時点において、より有益な情報を得ることができる。しかも、上記構図の変更は自動的に行われるため、運転者はボタン押下などの操作を行う必要がなく、利便性および安全性が高い。
【００６８】
また、車両１００の旋回による、背景の回転をオプティカルフローを検出することにより特定することができるため、運転支援装置１０と舵角センサや車速センサなどが接続される必要がなく、システムを簡素化することができる。
【００６９】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７０】
上述した実施の形態では、フレーム間のオプティカルフローを積算することにより、上記回転角度θを特定したが、その積算による誤差を低減するため、一定期間ごとに車両１００上の線分検出などを行い、その線分と駐車スペース７０の枠線との間の角度を計算することにより上記回転角度θを補正してもよい。
【００７１】
また、上述した実施の形態では、駐車スペース７０の長手方向に平行な軸を、背景の回転角度θを求める際の基準軸に設定する例を説明した。この点、車庫出し時および車庫入れ時のいずれにおいても、運転者は操作部５０を操作する（たとえば、上記回転ボタンを押下する）ことにより、駐車スペース７０の長手方向に平行な軸以外を上記基準軸に設定することができる。たとえば、駐車スペース７０の長手方向が時計回りまたは反時計回りに４５°または９０°回転した状態で写っている画像を基準画像に設定し、その基準画像内の背景の向きに、後続する画像内の背景の向きを固定することができる。
【００７２】
また、駐車スペース７０に対して車両１００が水平または垂直ではない位置を車庫出し開始位置または車庫入れ開始位置とする場合、運転者は操作部５０を操作することにより、駐車スペース７０の長手方向に平行な軸を上記基準軸に設定することができる。すなわち、駐車スペース７０の長手方向が垂直になるまで画像を回転させ、その画像を基準画像に設定すればよい。
【００７３】
これらの基準画像を設定するタイミングは、車庫出し開始時または車庫入れ開始時に限らない。たとえば、車庫出しまたは車庫入れの途中であってもよい。したがって、車庫出しまたは車庫入れの途中で固定すべき背景の向きを変更することもできる。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施の形態に係る運転支援装置を搭載した車両の構成を示す図である。
【図２】実施の形態に係る運転支援装置の構成を示す図である。
【図３】車庫出し時において表示装置に表示される全周鳥瞰図画像を説明するための図である。図３（ａ）は、車庫出し前の前進駐車された状態を示す図である。図３（ｂ）は、従来技術に係る車庫出し途中の状態を示す図である。図３（ｃ）は、実施の形態に係る車庫出し途中の状態を示す図である。
【図４】車庫入れ時において表示装置に表示される全周鳥瞰図画像を説明するための図である。図４（ａ）は、車庫入れ前の状態を示す図である。図４（ｂ）は、従来技術に係る車庫入れ途中の状態を示す図である。図４（ｃ）は、実施の形態に係る車庫入れ途中の状態を示す図である。
【図５】車両に対する基準となる仮想視点を示す図である。
【図６】後退での車庫出しモードにおいて設定される仮想視点の一例を示す図である。図６（ａ）は、基準位置からの変位が所定の値を超えないときの仮想視点の位置を示す。図６（ｂ）は、基準位置からの変位が所定の値を超えたときの仮想視点の位置を示す。
【図７】後退での車庫入れモードにおいて設定される仮想視点の一例を示す図である。図７（ａ）は、基準位置からの変位が所定の値を超えないときの仮想視点の位置を示す。図７（ｂ）は、基準位置からの変位が所定の値を超えたときの仮想視点の位置を示す。
【図８】後退での車庫出しモードにおいて設定される仮想視点の別の例を示す図である。図８（ａ）は、基準位置からの変位が所定の値を超えないときの仮想視点の位置を示す。図８（ｂ）は、基準位置からの変位が所定の値を超えたときの仮想視点の位置を示す。
【図９】実施の形態に係る運転支援装置の動作例を示すフローチャートである。
【符号の説明】
【００７５】
１０  運転支援装置、  １２  撮像装置、  １４  表示装置、  ２０  フレームバッファ、  ２４  変換テーブル記憶部、  ３０  画像生成部、  ３２  画像変換部、  ３４  画像合成部、  ４０  制御部、  ４２  動き検出部、  ５０  操作部、  １００  車両。
【図１】
2010081385.tif 000003
【図２】
2010081385.tif 000004
【図３】
2010081385.tif 000005
【図４】
2010081385.tif 000006
【図５】
2010081385.tif 000007
【図６】
2010081385.tif 000008
【図７】
2010081385.tif 000009
【図８】
2010081385.tif 000010
【図９】
2010081385.tif 000011