(57)【要約】  【課題】  車両を駐車する際に後方を確認するために、車両後方に取り付けられたカメラからの映像を車両内に表示することができる従来の装置はカメラの取り付け位置によって死角が生じる場合があり、加えて後方の映像では距離感を正確に把握することが困難であるという課題がある。  【解決手段】  本発明は、かかる実情に鑑み、車載カメラの撮影方向を車外に設けられた鏡に映った像を撮影可能に方向制御することに特徴を有する車載装置を提案するものである。また、車外に設けられた鏡が所定のマーカを有する場合に、マーカの位置情報を取得し、そのマーカ位置情報に基づいて方向制御をする。【選択図】            図２
2007104019.tif 000002
【特許請求の範囲】
【請求項１】
撮影部と前記撮影部の撮影方向の制御を行う制御部と表示装置を備え、車外に設けられた鏡がマーカを有するとき、前記制御部により撮影部で撮像された前記マーカの映像からマーカ位置情報を取得し前記マーカ位置情報より鏡の略中心座標を算出し前記算出した略中心座標へ前記撮影部の撮影方向を制御し、前記撮影部で撮像した映像を表示装置で表示する車載装置。
【請求項２】
前記マーカが３点で三角形を構成するとき、前記鏡の略中心座標は前記三角形の重心であることを特徴とする請求項１に記載の車載装置。
【請求項３】
前記マーカが４点で四角形を構成するとき、前記鏡の略中心座標は前記四角形の対角線の交点であることを特徴とする請求項１に記載の車載装置。
【請求項４】
前記マーカが鏡の周囲に配置された円状マーカのとき前記鏡の略中心座標は前記円状マーカの中心であることを特徴とする請求項１に記載の車載装置。
【請求項５】
前記マーカが鏡の周囲に配置された円状マーカであり、前記撮影部で撮影した前記円状マーカが全周確認できるとき、
前記鏡の中心座標は前記円状マーカに外接する四角形の対角線の交点であることを特徴とする請求項１に記載の車載装置。
【請求項６】
前記マーカが鏡の周囲に配置された円状マーカであり、前記撮影部で撮影した前記円状マーカの一部が確認できないとき、
確認できない前記円状マーカ部分を確認できている前記円状マーカで補間し、補間した円状マーカに外接する四角形の対角線の交点を前記鏡の中心座標であることを特徴とする請求項１に記載の車載装置。
【請求項７】
車両状態を取得する動作情報取得部を備え、車両が駐車する状態になった情報を前記動作情報取得部が取得すると、前記制御部が前記撮影部の撮影方向を前記鏡の略中心座標に制御する請求項１乃至６記載の車載装置。
【請求項８】
前記撮影部が前記鏡の方向に制御される第一モードと、
前記撮影部が予め定められた方向に制御される第二モードを備え、
第一モードから第二モードに切換える切替信号を切替命令取得部で取得すると、
前記制御部は第一モードから第二モードに切換えることを特徴とする請求項１乃至７に記載の車載装置。
【請求項９】
前記撮影部が前記鏡の方向に制御される第一モードと、
前記撮影部が予め定められた方向に制御される第三モードを備え、
第一モードで制御中の所定時間内に前記マーカ位置情報を前記制御部が取得できないとき、
前記制御部は第一モードから第三モードに切換えることを特徴とする請求項１乃至７に記載の車載装置。
【請求項１０】
少なくとも撮影部と前記撮影部の撮影方向の制御を行う制御部と表示装置を備えた車載装置と、車外に設けられた鏡と、マーカからなり、
前記制御部で、撮影部で撮像された前記マーカの映像からマーカ位置情報を取得し前記マーカ位置情報より鏡の略中心座標を演算部で算出し前記算出した略中心座標へ撮影部の撮影方向を制御し、前記撮影部で撮像した映像を表示装置で表示する
駐車支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載装置に関するものである。
【背景技術】
【０００２】
従来、車両を駐車する際に後方を確認するために、車両後方に取り付けられたカメラからの映像を車両内に表示することができる装置は一般的に利用されている。また、車庫側に取り付けられたカメラから車の進入状況を撮影して、その映像を無線により伝送し、車両内に表示することができる装置はすでに提案されている（特許文献１参照。）。
【特許文献１】特開２００３−１４３５９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、車両後方に取り付けられたカメラにより撮影された映像にて後方を確認する手法においては、カメラの取り付け位置によって死角が生じる場合があり、加えて後方の映像では距離感を正確に把握することが困難であるという課題がある。
【０００４】
また、車庫側に取り付けられたカメラから車の進入状況を撮影した映像にて駐車を支援する手法においては、駐車位置にはカメラ及び無線の送信装置を、車両側には無線の受信装置をそれぞれ装備する必要があり、実現には多大な費用がかかることが予想される。
【課題を解決するための手段】
【０００５】
本発明は、かかる実情に鑑み、車外に設けられた鏡に映った像を撮影可能となるように車載カメラの撮影方向を制御することを特徴とする車載装置を提案するものである。車外に設けられた鏡が所定のマーカを有するときに、マーカの位置情報を取得し、そのマーカ位置情報に基づいて方向制御をする。このとき、車載カメラが鏡の中心に向けられていない場合においても、マーカが構成する三角形の重心や、四角形の対角線の交点を算出することで鏡の中心座標を求めることができる。また、円状マークの場合には、確認できない部分の弧を補間し、円状マーカに外接する四角形の対角線の交点を算出することで鏡の中心座標を求めることができる。
【０００６】
さらに、切換信号に基づいて、通常はマーカを自動的に追尾するような方向制御を行なうが、ユーザの操作により、あるいは、所定時間の経過に伴い自動的に所定の方向を撮影するような方向制御へとモードが切り替ることができる。
【発明の効果】
【０００７】
以上、説明したように本件発明のいずれか一又は二以上の発明に係る車載装置において、車外に設けられた鏡に映った像を撮影可能に車載カメラの撮影方向を制御し、鏡に映った像を撮影することで、車両の動きを認識するための俯瞰した画像を取得でき、さらに、外部に特別な電気的装置の設置を必要としない駐車支援を実現できる。
【発明を実施するための最良の形態】
【０００８】
以下に、各発明を実施するための最良の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
【０００９】
実施形態１は、主に請求項１から６、１０などについて説明する。  実施形態２は、主に請求項７などについて説明する。  実施形態３は、８、９などについて説明する。
【００１０】
実施形態１
【００１１】
実施形態１の概要について説明する。本実施形態は、車外に設けられた鏡に映った像を撮影部で撮影可能となるように撮影部の方向を制御することに特徴を有する車載装置である。
【００１２】
図１は、本実施形態の概念の一例を示すものである。図で示したように本実施形態の車載装置は、車両に車載カメラを装備し、車外に設けられた鏡に映った像を撮影するために車載カメラの撮影方向を制御する。駐車場に車両を駐車しようとしている場面を、（ａ）は上から示した図であり、（ｂ）は横から示した図である。駐車場後方上部に取り付けられた鏡に対して、車載カメラを向け鏡に映る自車の動きを俯瞰で撮影することができる。
【００１３】
実施形態１のハードウェア構成について説明する。図２はハードウェア構成の一例を示したものである。本件発明の構成要素は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの両者、のいずれかによって構成される。例えば、これらを実現する一例として、ＣＰＵ、各種Ｉ／Ｆ（これらを総称してＥＣＵ）、その他、車載カメラ、カメラ方向制御ユニット、車載用モニタ、スイッチ（シフトポジション用、操作用）などから構成されるハードウェアと、これらのハードウェア上にて実行可能なソフトウェアを挙げることができる。
【００１４】
具体的には、車載カメラ（０２０１）にて車両の運転時に必要な画像を撮影するために、カメラの撮影方向を制御する方向制御ユニット（０２０２）を動作させる。車載カメラにて撮影した映像は、システム全体の制御を行うＥＣＵ（０２１０）を通して、車載用モニタ（０２０５）に表示される。
【００１５】
図で示したように、ＥＣＵ（０２１０）には、ＣＰＵ（０２２０）、画像入力用インタフェース（０２１１）、方向制御用インタフェース（０２１２）、スイッチ入力用インタフェース（０２１３）、画像出力用インタフェース（０２１４）が内蔵されている。ＣＰＵ（０２２０）には、システム全体を制御する制御ブロック（０２２１）、データの通信を主に行う通信ブロック（０２２２）が内蔵されている。制御ブロック（０２２１）では、車載カメラから入力された画像を車載モニタへ出力するデータへ変換するための画像制御処理や、カメラ方向制御ユニットの方向を制御する方向制御処理、車載モニタの画像を車載カメラからの画像とナビ等の画面とに切り替える画像切替処理、車載カメラから入力された画像を認識するための画像認識処理を行う。
【００１６】
このとき、画像制御処理、画像認識処理において、車載カメラからの画像を利用するためには、通信ブロックにて画像入力用インタフェースを介して画像を取得するための処理が行なわれる。さらに、画像制御処理変換後のデータを車載モニタへ表示するためには、通信ブロックにて画像出力用インタフェースを介してデータを送信するための処理が行なわれる。また、方向制御処理において、カメラの方向を制御するためには、通信ブロックにて方向制御用インタフェースを介して方向指示命令などをカメラ方向制御ユニットに対して出力する。さらに、画像切替処理において画像の切替を行なうためには、車両の移動方向を選択するシフトポジションスイッチ（０２０３）や、駐車モードの選択を行う操作スイッチ（０２０４）からの入力信号を、スイッチ入力用インタフェースを介して取得し、画像出力用インタフェースを介してこれら入力信号に基づく画像の切替を実行する。
【００１７】
実施形態１の構成について説明する。図３は、機能ブロックの一例を示したものである。  図３に示す「車載装置」（０３００）は、「撮影部」（０３０１）と、「制御部」（０３０２）と、「表示部」（０３０３）とを有する。さらに、制御部（０３０２）は「マーカ位置情報取得手段」（０３０４）と、「マーカ依存方向制御手段」（０３０５）とを有する。
【００１８】
「撮影部」（０３０１）は、車載カメラによる撮影を行う。車載カメラは車外を撮影するために、車両外部、あるいは、車室内部に備えられることが想定される。本発明における車載カメラの設置位置は特に限定されず、例えば、車両後端や、車両天井部などに設置するとしてもよい。車載カメラが車両天井部に設置されている場合、後方だけでなく、前方や、側面方向の鏡に対しても、方向制御を行い鏡に映る画像を捕捉できる。
【００１９】
また、１の車載装置に対して、車載カメラが複数備えられているとしてもよい。車載カメラが複数備えられていることによって、撮影できる範囲が広がり、死角を少なくすることが期待できる。各車載カメラによって撮影された映像は、適宜切り替えて利用できるとしてもよい。さらに、このとき各車載カメラは車外に設けられた複数の鏡のそれぞれからその鏡に映った像を撮影可能である。異なる鏡に映る像によれば、違った角度から多面的な車両の動きを捕捉することができる。
【００２０】
撮影部の撮影機能の他に、車載カメラによって撮影された映像信号（ＲＧＢ信号、ＲＦ信号など）を、処理回路で出力信号へと変換処理するとしてもよい。変換処理は、例えば、鏡が球面鏡のため、撮影された画像が湾曲している場合にこれを補正して平面化するための球面補正変換処理などが該当する。
【００２１】
また、マーカを捕捉するためには、画像認識処理が行われる。
【００２２】
「制御部」（０３０２）は、車載カメラの撮影方向を車外に設けられた鏡に映った像を撮影可能に方向制御するための画像認識処理結果に基づいて自動的に鏡を追尾する制御が行われる。また、ユーザが手動（ボタン操作など）にて方向を制御してもよい。また、マーカを所定時間捕捉できない場合などに備えて、所定の方向（例えば、後方）に固定するために方向が制御される場合もある。これらについては、後述する。なお、車載カメラの撮影方向を制御して車両の運転時に必要な画像を撮影するために、図２における方向制御ユニット（０２０２）を動作させる。方向の制御は、左右方向の他、上下方向の回転が含まれる場合がある。
【００２３】
図３で示した例では、車両の横方向壁面に設置された鏡を撮影する場面を示した。車載カメラの向いている方向が（ａ）の状態（黒く塗りつぶされたカメラ）では十分に鏡を捕捉することができていないため、広角にしたり、カメラを動かすことにより全てのマーカの位置情報を取得し、鏡の中心座標を算出することで、車載カメラの向いている方向を（ｂ）の状態にする。また、車両の後方壁面に設置された鏡を撮影ずる場合も同様である。
【００２４】
「表示部」（０３０３）は、撮影部（０３０１）にて撮影された映像を表示する。表示部における機能は、汎用的なカーナビゲーションシステムの車載型モニタなどを用いて実現できる。車載カメラからの画像と道案内等の画面とはスイッチ操作などによって切り替えることができる。車載カメラにて撮影した映像は、システム全体の制御を行う図２のＥＣＵ（０２１０）にて処理が行なわれた後、車載用モニタ（０２０５）に表示される。
【００２５】
鏡が球面鏡であり、撮影された画像が湾曲している場合には、これを補正して平面化された映像を表示してもよい。また、鏡の一部にのみ車両の像が映っている場合には、車載モニタに対する比率などに応じて、車両部分を拡大表示することもできる。加えて、車載カメラが複数存在する場合には、任意のカメラを選択し、そのカメラによって撮影された映像を表示するとしてもよいし、複数台のカメラによって撮影された映像を一覧表示するとしてもよい。
【００２６】
「マーカ位置情報取得手段」（０３０４）は、車外に設けられた鏡が所定のマーカを有するときに、マーカの位置情報を取得する。マーカは、プラスチック製、紙製などの後付可能な目印が該当する。マーカの裏面は磁石や、粘着面であるとしてもよい。マーカは、畜光性を有する場合もあるし、ＬＥＤを内蔵し発光するとしてもよい。マーカの形は図で示したような円形に限定されるものではなく、例えば、鏡の中心を指す矢印の形をしているとしてもよい。マーカ位置情報は、マーカの座標（例えば、（３０，０）等）などが該当する。撮影部にて撮影されたマーカの映像の画像認識処理が行なわれ、マーカを検出した場合にその位置情報が結果として算出される。
【００２７】
図４に、鏡とマーカの位置関係について例示した。図右側は、壁面に設置された鏡とマーカを側面から見た状態を示した。（ａ）においては、マーカが同一直線上でない３箇所に、鏡を囲むような形で設置されている状態を示した。（ｂ）においては、マーカが同一直線上でない４箇所に、鏡を囲むような形で設置されている状態を示した。マーカが、点で構成されている場合には、マーカの点を結んだ線分により囲まれる平面図形でマーカの数と同じ角を持つ正多角形（例えば、マーカ３点で三角形、マーカ４点で四角形など）にて、鏡と同心円上に存在していることが望ましい。（ｃ）においては、鏡と同心円となるドーナツ形状の円状マーカが設置されている状態を示した。なお、これは一例であり、鏡の縁や、鏡面上にマークを付すとしてもよい。また、鏡およびマーカは、車両の最高地点よりも更に高い位置に装着しておくことが望ましい。なお、鏡は球面鏡（凸面鏡）であることを想定したものである。
【００２８】
また、マーカの位置情報の取得は、マーカの色による優先順位に基づいて行なわれるとしてもよい。例えば、優先順位が高い順に赤、青、黄色であると仮定して、撮影された映像から赤、青、黄色のマーカが判別できた場合に、優先順位の高い赤のマーカの位置情報を優先的に取得し、これに基づいて前記方向制御をする。これは、鏡の中心に赤のマーカを配置し、周囲に青のマーカを配置した態様においては、赤のマーカが検知できた場合はすぐにこれを用いて鏡の中心に方向制御を行い、他方、青のマーカのみを検知した場合には後述する処理の流れに基づいて青のマークの位置情報から鏡の中心座標を算出する。このように、迅速な方向制御が可能となることが期待できる。また、複数の鏡を用いる態様においては、一般には最初に検知した鏡を追尾するような方向制御を行い、意図的に操作スイッチを操作した場合には他方の鏡を強制的に追尾させるような方向制御を行うことが想定されるが、マーカの色により撮影すべき鏡を特定することができる。さらに、マーカの色による優先順位に基づいて、複数の車載カメラのうち一のカメラでは赤のマーカの優先順位を高くし、他のカメラでは青のマーカの優先順位を高くするなどすれば、撮影すべき鏡を区別することもできる。また、マーカの配置を色と関連づけることで、鏡の中心へスムーズに方向制御を行うことを可能とできる。例えば、赤のマーカは四角形の右上に配置されていると仮定し、赤のマーカを探索できた場合には、車載カメラを左下方向に向けるための方向制御を行えばよい。なお、マーカの数や種類については、あらかじめユーザにより設定されているものとする。
【００２９】
「マーカ依存方向制御手段」（０３０５）は、マーカ位置情報取得手段（０３０４）から取得したマーカ位置情報に基づいて前記方向制御をする。マーカ位置情報に基づく方向制御とは、例えば、取得したマーカが所定の位置へ表示されるように撮影部の方向を制御することや、広域を撮影するために撮影倍率を変更するなどの制御が該当する場合がある。後述するように複数のマーカを探索する場合であっても、一のマーカを所定の位置（例えば、車載モニタの端、中央など）に表示できるように方向制御を行うことで、得られた一のマーカの位置情報を手がかりに別のマーカの探索が可能となる。具体的には、予め、一のマーカを表示させる所定の位置として、別のマーカが撮影範囲に含まれる可能性が高い位置を設定しておくなどすれば（所定の位置は優先順位をつけるなどして複数の位置を設定してもよい）、効率よく複数のマーカを探索することが期待できる。
【００３０】
また、別の例では、１のマーカを検知した後は、さらに別のマーカが検知できないか、先に検知したマーカの周辺を探索するとしてもよい。検知した複数のマーカの位置情報より鏡の中心座標を算出し、算出した中心座標へ車載カメラの撮影方向を合わせるような方向制御を行うこともできる。図４には、マーカから鏡の中心座標を算出する手法を図示したものである。まず、マーカが３点にて構成されている場合には、（ａ）に示したように、前記３点にて構成される三角形の重心を鏡の中心座標とする。同様に、マーカが４点にて構成されている場合には、（ｂ）に示したように、前記４点にて構成される四角形の対角線の交点を鏡の中心座標とする。さらに、マーカの形状が鏡の周囲に配置された円状マーカであると検知できる場合には、（ｃ）に示したように、円状マーカの中心を鏡の中心座標とする。ただし、円状マーカの中心線上に車載カメラがない場合には、円状マーカは視覚上楕円と認められるため、実質的には外接する四角形の対角線の交点を鏡の中心座標とする。また、上記円状マーカの一部が確認できない場合には補間することが必要となる。これについては、後述の処理の流れ（その３）にて詳述する。
【００３１】
「車載装置」（０３００）は、車載カメラと、カメラの方向を制御するためのカメラ方向制御ユニットからなる装置である。
【００３２】
なお、本発明の車載装置は、鏡、マーカとともに駐車支援システムを構成するとしてもよい。このとき、鏡は主に、車両の前方、後方、側方の壁面などに設置することが想定される。その他、天井部などの位置に設置されてもよい。
【００３３】
実施形態１の処理の流れ（その１）について説明する。図５、６、７は、実施形態１の車載装置における鏡の中心座標の算出処理の流れの一例を示したものである。  図５はマーカが鏡の中心を重心とする三角形の各頂点である場合について説明する。  まず、鏡の存在が確認できる任意の領域より、車載カメラにてマーカを探索する（マーカ探索ステップ  Ｓ０５０１）。次に、マーカ探索ステップ（Ｓ０５０１）にて探索した３点の座標の情報であるマーカ位置情報を取得する（マーカ位置情報取得ステップ  Ｓ０５０２）。その次に、マーカ位置情報取得ステップ（Ｓ０５０２）にて取得した座標値より、前記３点にて構成される三角形の重心の座標を算出する（重心座標算出ステップ  Ｓ０５０３）。さらに、重心座標算出ステップ（Ｓ０５０３）にて算出された座標値へ、車載カメラの方向を制御する（方向制御ステップ  Ｓ０５０４）。これらの処理を繰り返すことによって、車載カメラが移動した場合でも、車載カメラの方向を連続的に鏡の中心に向けることができる。なお、車載カメラを鏡の中心に向けるとは、鏡に写った車両等を撮影するために車載カメラを鏡に向ける制御をすることである。
【００３４】
以上の処理は、計算機に実行させるためのプログラムで実行することができ、また、このプログラムを計算機によって読取り可能な記録媒体に記録することができる。（本明細書の全体を通して同様である。）
【００３５】
実施形態１の処理の流れ（その２）について説明する。図６はマーカが鏡の中心を対角線の交点とする四角形の場合について説明する。  まず、鏡の存在が確認できる任意の領域より、車載カメラにてマーカを探索する（マーカ探索ステップ  Ｓ０６０１）。次に、マーカ探索ステップ（Ｓ０６０１）にて探索した４点の座標の情報であるマーカ位置情報を取得する（マーカ位置情報取得ステップ  Ｓ０６０２）。その次に、マーカ位置情報取得ステップ（Ｓ０６０２）にて取得した座標値より、前記４点にて構成される四角形の対角線交点座標を算出する（対角線交点座標算出ステップ  Ｓ０６０３）。さらに、対角線交点座標算出ステップ（Ｓ０６０３）にて算出された座標値へ、車載カメラの方向を制御する（方向制御ステップ  Ｓ０６０４）。これらの処理を繰り返すことによって、車載カメラが移動した場合でも、車載カメラの方向を連続的に鏡の中心に向けることができる。
【００３６】
実施形態１の処理の流れ（その３）を図７、図８、図９を用いて説明する。図７は円状マーカと鏡が同心円上であるときの処理の流れであり、円状マーカが全周確認できるときと、全周確認できないときで処理が一部異なっている。図８は、円状マーカの全周が確認できないときの例を示した図である。図８（ａ）では円状マーカが撮影範囲から外れた状態を示している。また、図８（ｂ）では鏡が凸面鏡のため凸面鏡自身によって円状マーカが確認できない状態を示している。いずれの場合も鏡の中心座標を算出するために円状マーカの確認できていない弧を補間する必要がある。図９は全周が確認できないときの補間の流れを説明する図である。なお、図９（１）に示すように、円状マーカの確認できている部分と確認できていない部分の境をマーカ端点とする。
【００３７】
まず、マーカ全周が確認できるときの処理の流れを説明する。鏡が確認できる領域より車載カメラにて円状マーカを検索する（円状マーカ検索ステップ  Ｓ０７０１）。円状マーカ検索ステップ（Ｓ０７０１）にて探索した円状マーカの弧が全周確認できるかどうかをマーカ端点の有無で確認する（マーカ端点確認ステップ  Ｓ０７０２）。マーカ端点が確認できない場合にはマーカは全周確認できている。次に、図９（４）のように円状マーカに外接する四角形を描画し（四角形描画ステップ  Ｓ０７０５）、四角形描画ステップ（Ｓ０７０５）にて描画した四角形の対角線交点座標を算出する（対角線交点座標算出ステップ  Ｓ０７０６）。次に、対角線交点座標算出ステップ（Ｓ０７０６）にて算出した中心座標値へ車載カメラの方向を制御する（方向制御ステップ  Ｓ０７０７）。これらを繰り返すことにより、車が駐車のために移動しても撮影部である車載カメラを連続的に鏡の中心に向けることができる。
【００３８】
次に、マーカ全周が確認できていないときの処理の流れを説明する。鏡が確認できる領域より車載カメラにて円状マーカを検索する（円状マーカ検索ステップ  Ｓ０７０１）。円状マーカ検索ステップ（Ｓ０７０１）にて探索した円状マーカの弧が全周確認できるかどうかをマーカ端点の有無で確認する（マーカ端点確認ステップ  Ｓ０７０２）。マーカ端点が確認できる場合には、円状マーカの全周が確認できるようにするために、まず図９（１）のように円状マーカの端点どうしを結ぶ線を描画する（線描画ステップ  Ｓ０７０３）。次に、線描画ステップ（Ｓ０７０３）にて描画した線を、図９（２）のように描画した線と平行に円状マーカに接するまで移動させ、移動した線で切り取られる円状マーカの弧を求め、図９（３）のようにこの切り取られた円状マーカの弧を１８０度回転させ、円状マーカが確認できていない部分に適応させ、円状マーカの確認できない部分の補間を行う（弧補間ステップ  Ｓ０７０４）。
【００３９】
弧補間ステップ（Ｓ０７０４）にて補間された円状マーカの中心座標の算出以降の処理はマーカ全周が確認できる場合と同様の処理を行う（四角形描画ステップ（Ｓ０７０５）、対角線交点座標算出ステップ（Ｓ０７０６）、方向制御ステップ（０７０７））。これらの処理を行うことで、車が駐車のために移動しても撮影部である車載カメラを連続的に鏡の中心に向けることができる。なお、図では、円状マーカが縦長の楕円の状態を図示しているが、真円や、横長の楕円などであっても同様に処理することができる。さらに、鏡の中心座標を三点、四点、円状マーカにより算出する必要がなくなったとき（例えば、駐車場に駐車したとき等）には算出処理を終了する。
【００４０】
実施形態１の効果について説明する。本実施形態は、車載カメラの撮影方向を車外に設けられた鏡に映った像を撮影可能に方向制御することに特徴を有する車載装置である。鏡に映った像を撮影することで、車両の動きを認識するための俯瞰した画像を取得できる。さらに、外部に特別な電気的装置の設置を必要とせず、適当な場所に鏡を設置するだけでシステムが完結することから、比較的安価な費用で駐車支援を実現できる。
【００４１】
また、車外に設けられた鏡が所定のマーカを有する場合に、マーカの位置情報を取得し、そのマーカ位置情報に基づいて方向制御をする場合には、車両駐車時に車両を移動させても、鏡を追尾して撮影が続行されるため便利である。このとき、鏡の中心を車載カメラが捕らえていない場合においても、マーカが構成する三角形の重心や、四角形の対角線の交点を算出することで鏡の中心座標を求めることができる。また、円状マーカの場合には、確認できない部分の弧は補間しつつ、外接する四角形の対角線の交点を算出することで鏡の中心座標を求めることができる。このように、マーカで鏡の位置が認識でき、車載カメラの方向制御が可能となるため、汎用的な鏡を利用してシステムを構築することができる。
【００４２】
実施形態２
【００４３】
実施形態２の概要について説明する。本実施形態は、駐車状態を示す情報を取得した場合に、車載カメラの撮影方向を駐車近傍領域に設けられた鏡に映った像を撮影可能な方向に制御することに特徴を有する車載装置である。
【００４４】
実施形態２の構成について説明する。本実施形態での機能ブロックの別の例を図１０に示した。  図１０に示す「車載装置」（１０００）は、「撮影部」（１００１）と、「制御部」（１００２）と、「表示部」（１００３）と、さらに、「動作情報取得部」（１００４）とを有する。さらに、制御部（１００２）はマーカ位置情報取得手段と、マーカ依存方向制御手段と、「駐車時方向制御手段」（１００５）を有する。マーカ位置情報取得手段と、マーカ依存方向制御手段と、については、図では省略した。
【００４５】
「動作情報取得部」（１００４）は、動作情報を取得する。「動作情報」は、車両の動作状態を示す情報である。このとき動作情報は、図２のシフトポジションスイッチ（０２０３）の操作によって切り替わった車両のモードに基づいて取得することが想定される。その他、ＧＰＳを用いて、現在位置が予め入力した駐車場位置と合致する場合には、駐車状態であるとの動作情報を取得するとしてもよい。例えば、動作情報が取得できれば、現在駐車状態にあるかどうかが認識できる。なお、シフトポジションスイッチからの入力信号は、スイッチ入力用インタフェースを介して取得でき、この入力信号に基づいて画像出力用インタフェースを介し、車載カメラからの画像と道案内等の画面との画像の切替を実行できる。
【００４６】
「駐車時方向制御手段」（１００５）は、前記動作情報取得部（１００４）が取得した情報が、車両が駐車する状態を示す情報であるときに、前記撮影部（１００１）の撮影方向を前記鏡の略中心座標に制御する。
【００４７】
その他各部の処理については実施形態１と同様である。
【００４８】
実施形態２の処理の流れについて説明する。図１１は、実施形態２の車載装置における鏡を追尾するモードにおける処理の流れの一例を示したものである。  まず、動作情報を取得する（動作情報取得ステップ  Ｓ１１０１）。この時、ＣＰＵは、スイッチ入力用インタフェースを介し、シフトポジションスイッチの位置が後退モードの場合には車両が駐車する状態を示す情報を取得できる。車両が後退モードであれば、車載カメラからの映像を車載用モニタに表示できるようにし、車両が後退モード以外であれば、ナビや、テレビなどの映像を表示できるようにする。駐車動作を示す状態でない場合には、次のステップに移行できないとしてもよい。
【００４９】
次に、取得した映像信号に基づいて画像認識を行う（画像認識ステップ  Ｓ１１０２）。画像認識ステップ（Ｓ１１０２）における画像認識結果に基づいて、マーカが確認できるか判断を行う（マーカ位置判断ステップ  Ｓ１１０３）。マーカ位置判断ステップ（Ｓ１１０３）にて、マーカが確認できないとの判断結果の場合には、マーカを発見するために車載カメラの方向を制御し（マーカ探索方向制御ステップ  Ｓ１１０４）、マーカ位置判断ステップ（Ｓ１１０３）に戻る。他方、マーカ位置判断ステップ（Ｓ１１０３）にて、マーカが確認できたとの判断結果の場合には、車載カメラの光軸方向と、マーカと車載カメラを結ぶ方向との差分を検出する（差分検出ステップ  Ｓ１１０５）。さらに、差分が０となる方向に車載カメラの方向を制御する（方向制御ステップ  Ｓ１１０６）。なお、車外撮影方向の制御は、カメラ方向制御ユニットに対して方向制御命令を送信するなどして実現できる。
【００５０】
なお、動作情報の取得後に、ＣＰＵがスイッチ入力用インタフェースを介し、操作スイッチが上述の追尾モード、あるいは、通常モードのいずれの状態であるかの判断を行う場合もある。所定の方向を撮影する通常モードについては、後述する。
【００５１】
実施形態２の効果について説明する。本実施形態は、駐車状態を示す情報を取得した場合に、車載カメラの撮影方向を駐車近傍領域に設けられた鏡に映った像を撮影可能な方向に制御することに特徴を有する車載装置である。動作情報に応じて、車両が後退モードであれば、車載カメラからの映像を車載用モニタに表示できるようにし、車両が後退モード以外であれば、ナビや、テレビなどの映像を表示できるようにすることができ、利便性が高い。
【００５２】
実施形態３
【００５３】
実施形態３の概要について説明する。本実施形態は、切換命令に基づいてモードを切り替えることに特徴を有する車載装置である。
【００５４】
実施形態３の構成（その１）について説明する。本実施形態での機能ブロックの一例を図１２に示した。  図１２に示す「車載装置」（１２００）は、「撮影部」（１２０１）と、「制御部」（１２０２）と、「表示部」（１２０３）とを有する。さらに、制御部（１２０２）はマーカ位置情報取得手段と、マーカ依存方向制御手段と、「第一切換信号取得手段」（１２０４）を有する。マーカ位置情報取得手段と、マーカ依存方向制御手段と、については、図では省略した。本機能ブロック図は、実施形態１に示した機能ブロック図を基本としたものであり、他の構成の機能ブロックを基本とする場合には他の構成要件を必要とする場合がある。
【００５５】
「第一切換信号取得手段」（１２０４）は、第一モードから第二モードへ切り換える信号を取得する。「第一モード」は、前記撮影部が前記鏡の方向に制御されるモードをいう。第一モードは、例えば、車両の移動に伴い鏡を追尾する追尾モードが該当する。「第二モード」は、前記撮影部が予め定められた方向に制御されるモードをいう。予め定められた方向は常に一定の方向でもよいし、適宜変更できるとしてもよい。後方などを所定の方向とすれば、第二モードは、例えば、車両からの後方画像を撮影する通常モードが該当する。図では、駐車場後方が撮影されている場面を示した。制御部は、第一切換信号取得手段が切換信号を取得した場合には、第一モードを第二モードに切り換える。切替信号は、図２の操作スイッチ（０２０４）の操作により行われることが想定される。利用者が強制的にモードの切替を行いたい場合に活用されることが想定される。なお、操作スイッチからの入力信号は、スイッチ入力用インタフェースを介して取得でき、画像出力用インタフェースを介してこの入力信号に基づく画像の切替が実行される。
【００５６】
実施形態３の構成（その２）について説明する。本実施形態での機能ブロックの一例を図１３に示した。  図１３に示す「車載装置」（１３００）は、「撮影部」（１３０１）と、「制御部」（１３０２）と、「表示部」（１３０３）とを有する。さらに、制御部（１３０２）はマーカ位置情報取得手段と、マーカ依存方向制御手段と、「第二切換信号取得手段」（１３０４）を有する。マーカ位置情報取得手段と、マーカ依存方向制御手段と、については、図では省略した。本機能ブロック図は、実施形態１に示した機能ブロック図を基本としたものであり、他の構成の機能ブロックを基本とする場合には他の構成要件を必要とする場合がある。
【００５７】
「第二切換命令取得手段」（１３０４）は、第一モードにて制御中の所定時間内に前記マーカ位置情報を取得できない場合に、第一モードから第三モードへ切り換える信号を取得する。「第一モード」は、前記撮影部が前記鏡の方向に制御されるモードをいう。第一モードは、例えば、車両の移動に伴い鏡を追尾する追尾モードが該当する。「第三モード」は、前記撮影部が予め定められた方向に制御されるモードをいう。予め定められた方向は常に一定の方向でもよいし、適宜変更できるとしてもよい。後方などを所定の方向とすれば、第三モードは、例えば、車両からの後方画像を撮影する通常モードが該当する。図では、駐車場後方が撮影されている場面を示した。制御部は、第二切換信号取得手段が切換信号を取得した場合には、第一モードを第三モードに切り換える。
【００５８】
切替信号は、必要なマーカの位置情報を所定時間取得できない場合に自動的に生成される。このとき、計時手段を有し、所定時間のカウントを行う。所定時間は常に一定の時間でもよいし、適宜変更できるとしてもよい。例えば、３つのマーク情報取得のために５秒間探索を行った結果、位置情報を取得できないマーカがある場合には、モードを切り替え、鏡に映る像を撮影するのではなく、所定の方向（例えば、後方）を撮影する。
【００５９】
実施形態３の処理の流れ（その１）について説明する。図１４は、所定のマーカを有する鏡を追尾するモードの実行処理について説明したものである。  まず、駐車状態であるかどうかを判定する（駐車状態判定ステップ  Ｓ１４０１）。この時、ＣＰＵは、スイッチ入力用インタフェースを介し、シフトポジションスイッチの位置が後退モードの場合には駐車状態を示す情報を取得できる。車両が後退モードであれば、車載型カメラからの映像を車載用モニタに表示できるようにし、車両が後退モード以外であれば、ナビや、テレビなどの映像を表示できるようにする。駐車状態判定ステップ（Ｓ１４０１）にて駐車状態であるとの判定結果の場合には、次のステップへと移行し、後退モードでない場合には、再度駐車状態判定ステップ（Ｓ１４０１）に戻って処理を繰り返してもよい。
【００６０】
次に、マーカの探索を行う（マーカ探索処理ステップ  Ｓ１４０２）。この時、ＣＰＵは、方向制御処理を行うために、通信ブロックおよび方向制御用インタフェースを介して、方向制御ユニットに装着された車載カメラの方向を変化させる。また、ＣＰＵは、同時に、車載カメラが撮影している映像を、画像入力用インタフェースおよび通信ブロックを介し、画像認識処理を行い、マーカを探索する。マーカ探索処理ステップ（Ｓ１４０２）にてマーカが認識されればマーカを追尾する（マーカ追尾ステップ  Ｓ１４０３）。マーカの追尾とは、算出された鏡の中心座標値へ、車載カメラの方向を制御することである。鏡の中心座標の算出については、すでに図５から７にて説明した。なお、このマーカ追尾ステップ（Ｓ１４０３）での動作も１秒程度で完了する。さらに、第一切替信号を取得したかの判断を行う（第一切替信号取得判断ステップ  Ｓ１４０４）。第一切替信号取得判断ステップ（Ｓ１４０４）にて、第一切替信号を取得している場合には通常モードの実行処理を行い（通常モード実行処理ステップ  Ｓ１４０５）、第一切替信号を取得していない場合にはマーカ追尾ステップ（Ｓ１４０３）を繰り返す。
【００６１】
他方、マーカ探索処理ステップ（Ｓ１４０２）にてマーカが認識されなければ、マーカ探索が所定時間以上連続で行なわれているかの判断を行なう（所定時間経過判断ステップ  Ｓ１４０６）。所定時間経過判断ステップ（Ｓ１４０６）にて、マーカ探索が所定時間以上連続で行なわれているとの判断結果の場合には、第二切替信号を取得し（第二切替信号取得ステップ  Ｓ１４０７）、通常モードの実行処理を行なう（通常モード実行処理ステップ  Ｓ１４０８）。一方、マーカ探索が所定時間以上連続で行なわれていないとの判断結果の場合には、マーカ探索処理ステップ（Ｓ１４０２）を繰り返す。
【００６２】
実施形態３の処理の流れ（その２）について説明する。図１５は、通常モードの実行処理について説明したものである。なお、第二モードと第三モードはともに同様の処理である。  まず、車載カメラを従来の車両後部に設置された駐車支援用のカメラと同様の画像を得られるように方向を制御する（方向制御ステップ  Ｓ１５０１）。その後、撮影した映像を表示する（表示ステップ  Ｓ１５０２）。
【００６３】
実施形態３の効果について説明する。本実施形態は、切換信号に基づいてモードを切り替えることに特徴を有する車載装置である。通常はマーカを自動的に追尾するような方向制御を行なうが、強制的な操作により、あるいは、所定時間の経過に伴い自動的に所定の方向を撮影するような方向制御へとモードが切り替わるため、車載装置が正常に動作しない場合にも迅速に対応できる。
【００６４】
図１６から図１９に車両と鏡の位置の一例を示した。図１６は駐車スペースの奥壁面に鏡がついている場面を示した。（ａ）は上方から、（ｂ）は側方から見た図を示した。（ｃ）は奥壁面に設置した鏡に映る像が表示された車載モニタを示したものである。図１７は駐車スペースの横壁面に鏡がついている場面を示した。（ａ）は上方から、（ｂ）は側方から見た図を示した。（ｃ）は横壁面に設置した鏡に映る像が表示された車載モニタを示したものである。図では横壁面に対して中央付近に鏡を設置したが、その位置については限定されるものではなく、中央より前方や後方であってもよい。図１８は縦列駐車形式の駐車スペースの横壁面に鏡がついている場面を示した。（ａ）は上方から、（ｂ）は側方から見た図を示した。（ｃ）は横壁面に設置した鏡に映る像が表示された車載モニタを示したものである。図では横壁面に対して中央付近に鏡を設置したが、その位置については限定されるものではなく、中央より前方や後方であってもよい。図１９は駐車スペースの天井面に鏡がついている場面を示した。（ａ）は側方から見た図を示した。（ｂ）は天井面に設置した鏡に映る像が表示された車載モニタを示したものである。図では天井面に対して中央付近に鏡を設置したが、その位置については限定されるものではない。
【図面の簡単な説明】
【００６５】
【図１】実施形態１を説明するための概念図
【図２】本発明を説明するためのハードウェア構成図
【図３】実施形態１を説明するための機能ブロック図
【図４】実施形態１における鏡とマーカの位置関係を説明するための図
【図５】実施形態１における鏡の中心座標を求める処理の流れを説明する図（その１）
【図６】実施形態１における鏡の中心座標を求める処理の流れを説明する図（その２）
【図７】実施形態１における鏡の中心座標を求める処理の流れを説明する図（その３）
【図８】実施形態１における円状マーカの補間が必要な例を示した図
【図９】実施形態１における円状マーカの補間方法の具体例を示した図
【図１０】実施形態２を説明するための機能ブロック図
【図１１】実施形態２における処理の流れを説明する図
【図１２】実施形態３（構成１）を説明するための機能ブロック図
【図１３】実施形態３（構成２）を説明するための機能ブロック図
【図１４】実施形態３における追尾モードの処理の流れを説明する図
【図１５】実施形態３における通常モードの処理の流れを説明する図
【図１６】車両と鏡の位置の一例を示した図（その１）
【図１７】車両と鏡の位置の一例を示した図（その２）
【図１８】車両と鏡の位置の一例を示した図（その３）
【図１９】車両と鏡の位置の一例を示した図（その４）
【符号の説明】
【００６６】
０２０１    車載カメラ
０２０２    カメラ方向制御ユニット
０２０３    シフトポジションスイッチ
０２０４    操作スイッチ
０２０５    車載用モニタ
０２１０    ＥＣＵ
０２１１    画像入力用インタフェース
０２１２    方向制御用インタフェース
０２１３    スイッチ入力用インタフェース
０２１１    画像出力用インタフェース
０２２０    ＣＰＵ
０２２１    制御ブロック
０２２２    通信ブロック
【図１】
2007104019.tif 000003
【図２】
2007104019.tif 000004
【図３】
2007104019.tif 000005
【図４】
2007104019.tif 000006
【図５】
2007104019.tif 000007
【図６】
2007104019.tif 000008
【図７】
2007104019.tif 000009
【図８】
2007104019.tif 000010
【図９】
2007104019.tif 000011
【図１０】
2007104019.tif 000012
【図１１】
2007104019.tif 000013
【図１２】
2007104019.tif 000014
【図１３】
2007104019.tif 000015
【図１４】
2007104019.tif 000016
【図１５】
2007104019.tif 000017
【図１６】
2007104019.tif 000018
【図１７】
2007104019.tif 000019
【図１８】
2007104019.tif 000020
【図１９】
2007104019.tif 000021