(57)【要約】【課題】移動体７にカメラ４を搭載し、移動体７が曲がろうとする方向にカメラの撮像方向を向けて、曲がる方向の外景を撮像する。【解決手段】移動体７が移動する方向を撮像するカメラ４と、カメラ４により撮像された実写像を表示する表示部６と、移動体７の移動方向の変化を検出して移動方向情報を生成する移動方向検出部２と、カメラ４の撮像方向を移動体７に対して変更するための撮像方向変更部３と、制御部５を備え、制御部５は、移動方向情報に基づいて撮像方向指示情報を生成し、撮像方向指示情報を撮像方向変更部３に与えてカメラ４の撮像方向を移動体７の移動方向が変化する方向に向ける。【選択図】図１
2010154304.tif 000002
【特許請求の範囲】
【請求項１】
移動体に設置され、前記移動体の外景を撮像するカメラと、
前記カメラにより撮像された実写像を表示する表示部と、
前記移動体の移動方向の変化を検出して移動方向情報を生成する移動方向検出部と、
前記カメラの撮像方向を前記移動体に対して変更するための撮像方向変更部と、
制御部と、を備え、
前記制御部は、前記移動方向情報に基づいて撮像方向指示情報を生成し、前記撮像方向指示情報を前記撮像方向変更部に与えて前記カメラの撮像方向を前記移動体の移動方向が変化する方向に向ける移動体カメラシステム。
【請求項２】
前記移動体は、前記移動体に設置されたハンドルの角度変化によりその移動方向が変更され、
前記移動方向検出部は、前記ハンドルの回転角を検出する回転角検出部からなることを特徴とする請求項１に記載の移動体カメラシステム。
【請求項３】
前記移動体は車輪を回転させることにより移動し、前記車輪の操向角度を変更することにより移動方向が変更され、
前記移動方向検出部は、前記車輪の操向角度を検出する方向検出部から成ることを特徴とする請求項１に記載の移動体カメラシステム。
【請求項４】
前記移動方向検出部は、前記移動体の方位角の変化を検出する加速度センサ又はジャイロセンサを含むことを特徴とする請求項１に記載の移動体カメラシステム。
【請求項５】
前記移動体の現在位置及び現在方位を特定して位置情報を生成する位置検出部と、地図情報を記憶する地図情報記憶部と、前記移動体の走行速度を検出して走行情報を生成する走行検出部とを更に備え、
前記制御部は、前記地図情報記憶部から前記位置情報に対応する地図情報を読み出して表示地図情報を生成し、前記カメラにより撮像された実写像の画像データと前記表示地図情報とを合成する画像処理部を備え、
前記表示部は、前記合成された画像を表示することを特徴とする請求項１〜４のいずれか１項に記載の移動体カメラシステム。
【請求項６】
前記制御部は、前記位置検出部により検出された移動体の現在方位を、前記撮像方向指示情報に基づいて変更された撮像方向とし、前記撮像方向に基づいて前記表示地図情報を生成することを特徴とする請求項５に記載の移動体カメラシステム。
【請求項７】
前記制御部は、前記画像データから前記移動体が移動する方向の路面に描画された車線を抽出し、前記抽出された車線から前記移動体の路面上のオフセット位置を算出する画像解析部を備え、
前記制御部は、前記算出されたオフセット位置に基づいて前記位置検出部により検出された移動体の現在位置を補正し、前記補正された現在位置に基づいて前記表示地図情報を生成することを特徴とする請求項５又は請求項６に記載の移動体カメラシステム。
【請求項８】
移動体に設置されたカメラが、前記移動体の外景を撮像するステップと、
移動方向検出部が、前記移動体の移動方向の変化を検出して移動方向情報を生成するステップと、
制御部が、前記移動方向情報に基づいて撮像方向指示情報を生成するステップと、
撮像方向変更部が、前記撮像方向指示情報に基づいて、前記カメラの撮像方向を前記移動体の移動方向が変化する方向へ向けるように変更するステップと、
表示部が、前記移動体の移動方向が変化する方向の実写像を表示するステップと、を含む移動体カメラシステムの駆動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等の移動体に設置し、移動体の移動方向を撮像して表示部に移動方向の景観を表示する移動体カメラシステムに関し、特に、移動体が移動方向を変更する際に、その変更する移動方向にカメラの撮像方向を向ける移動体カメラシステムに関する。
【背景技術】
【０００２】
従来から、車両等の移動体には道路白線を検出する、あるいは先行車両や側方車両、また歩行者などの障害物を検出するために、車両前方または後方に車載カメラを備えているものが知られている。この車載カメラは、車両の正面又は背面にカメラを固定して撮像するものであり、車体に対して撮像方向は固定されている。
【０００３】
特許文献１又は特許文献２には、カメラの方向が車体に対して変更される例が記載されている。乗用車の後方ナンバープレートの上部又はバスの後方上部に外界を撮像するカメラ装置が設置されている。このカメラ装置は、運転者からは見えない後方路面や後方外界を撮像することができる。乗用車の車内にはこのカメラ装置により撮像した画像を表示するモニタが設置されている。運転者は、このモニタ画像を見ることにより、運転者から直接見ることができない後方路面や後方外界をモニタにより見ることができる。このカメラ装置は、カメラ本体が筐体内において回転可能に設置されている。カメラ本体はモータにより回転され、モータの駆動はシフトレバーの位置により制御されている。すなわち、シフトレバーがＲレンジに入れられると、モータが回転してカメラ本体が車の後方を撮像可能な位置に回転し、乗用車の後方を撮像可能にする。シフトレバーがＲレンジ以外の位置にあるときは、モータによりカメラ本体を収納位置まで回転して、カメラのレンズ面に泥や汚れが付着しないようにするものである。
【特許文献１】特開平０５−３３８４９２号公報
【特許文献２】特開平０５−３３８４９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来例のように、車体に対して外界を撮像するカメラが固定されている、また、固定されていなくとも、車両の移動方向に対して一定方向のみを撮像する構成では、車両が曲路に指しかかったときや、車線変更する際に、曲路方向や車線変更方向を撮像することができない。つまり、カーブを曲がるコーナリングの際等において、実際に進もうとする進行方向の十分な視野範囲を確保することができず、必要な情報を正確且つ安全に推定することができない。そのために、危険が生ずる恐れがあった。
【０００５】
また、より広い視野を確保するために、従来、カメラを車両に固定した状態で広角レンズを利用する、あるいは高解像度のカメラを利用することが提案されていた。しかし、広角レンズを使用する場合はレンズの歪による画像の変化が大きくなる。この歪を校正した場合でも、画像中央部以外の解像度が劣化したり変形したりするなどの不具合が多いために、安全系の計測システムには不向きであった。また、高解像度カメラを使用する場合は、撮像素子の面積が広くなるとともに画素密度を高くする必要があるために、システムが高価になり、実用化され難かった。
【０００６】
そこで、本発明においては、簡単な構成により移動体が曲がろうとする方向を撮像可能な移動体カメラシステムを提供することである。
【課題を解決するための手段】
【０００７】
本発明においては上記課題を解決するために以下の手段を講じた。
【０００８】
発明においては、移動体に設置され、前記移動体の外景を撮像するカメラと、前記カメラにより撮像された実写像を表示する表示部と、前記移動体の移動方向の変化を検出して移動方向情報を生成する移動方向検出部と、前記カメラの撮像方向を前記移動体に対して変更するための撮像方向変更部と、制御部と、を備え、前記制御部は、前記移動方向情報に基づいて撮像方向指示情報を生成し、前記撮像方向指示情報を前記撮像方向変更部に与えて前記カメラの撮像方向を前記移動体の移動方向が変化する方向に向ける移動体カメラシステムとした。
【０００９】
また、前記移動体は、前記移動体に設置されたハンドルの角度変化によりその移動方向が変更され、前記移動方向検出部は、前記ハンドルの回転角を検出する回転角検出部からなることとした。
【００１０】
また、前記移動体は車輪を回転させることにより移動し、前記車輪の操向角度を変更することにより移動方向が変更され、前記移動方向検出部は、前記車輪の操向角度を検出する方向検出部から成ることとした。
【００１１】
また、  前記移動方向検出部は、前記移動体の方位角の変化を検出する加速度センサ又はジャイロセンサを含むこととした。
【００１２】
また、前記移動体の現在位置及び現在方位を特定して位置情報を生成する位置検出部と、地図情報を記憶する地図情報記憶部と、前記移動体の走行速度を検出して走行情報を生成する走行検出部とを更に備え、前記制御部は、前記地図情報記憶部から前記位置情報に対応する地図情報を読み出して表示地図情報を生成し、前記カメラにより撮像された実写像の画像データと前記表示地図情報とを合成する画像処理部を備え、前記表示部は、前記合成された画像を表示することとした。
【００１３】
また、前記制御部は、前記位置検出部により検出された移動体の現在方位を、前記撮像方向指示情報に基づいて変更された撮像方向とし、前記撮像方向に基づいて前記表示地図情報を生成することとした。
【００１４】
また、前記制御部は、前記画像データから前記移動体が移動する方向の路面に描画された車線を抽出し、前記抽出された車線から前記移動体の路面上のオフセット位置を算出する画像解析部を備え、前記制御部は、前記算出されたオフセット位置に基づいて前記位置検出部により検出された移動体の現在位置を補正し、前記補正された現在位置に基づいて前記表示地図情報を生成することとした。
【００１５】
また、移動体に設置されたカメラが、前記移動体の外景を撮像するステップと、移動方向検出部が、前記移動体の移動方向の変化を検出して移動方向情報を生成するステップと、制御部が、前記移動方向情報に基づいて撮像方向指示情報を生成するステップと、撮像方向変更部が、前記撮像方向指示情報に基づいて、前記カメラの撮像方向を前記移動体の移動方向が変化する方向へ向けるように変更するステップと、表示部が、前記移動体の移動方向が変化する方向の実写像を表示するステップと、を含む移動体カメラシステムの駆動方法とした。
【発明の効果】
【００１６】
本発明においては、移動体に設置され、移動体の外景を撮像するカメラと、このカメラにより撮像された実写像を表示する表示部と、移動体の移動方向の変化を検出して移動方向情報を生成する移動方向検出部と、カメラの撮像方向を移動体に対して変更するための撮像方向変更部と、制御部とを備えており、制御部は、移動方向情報に基づいて撮像方向指示情報を生成し、撮像方向指示情報を撮像方向変更部に与えてカメラの撮像方向を前記移動体の移動方向が変化する方向に向ける。この構成により、移動体が曲路を曲がるときや車線変更するときに、曲がろうとする方向にカメラの撮像方向を向けるので、注意が必要な方向の情報を正確且つ安定に捕らえることができ、安全性を高めることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明について、図面を用いて詳細に説明する。
【００１８】
（移動体カメラシステムの実施形態１）
図１は、本発明の実施形態１に係る移動体カメラシステム１の基本的な構成を説明するための説明図である。図１（ａ）は模式的な構成図であり、図１（ｂ）は動作の説明図である。
【００１９】
図１（ａ）に示すように、本発明の移動体カメラシステム１は、移動体７の外景を撮像するカメラ４と、移動体の移動方向の変化を検知するための移動方向検出部２と、カメラ４の撮像方向を変更するための撮像方向変更部３と、撮像方向変更部３を駆動する制御部５と、カメラ４により撮像した実写像を表示するための表示部６とを備えている。これらの構成要素は全て移動体７に搭載されている。
【００２０】
図１（ｂ）を用いて移動体カメラシステム１の動作を説明する。車両からなる移動体７が右側にカーブする道路８を走行している。移動体７に搭載されたカメラ４は、移動体７が直進するときは、直進視野９の領域を撮像する。移動体７がカーブを走行し始めると、移動方向検出部２は、移動体７の移動方向が変化したことを検出して移動方向情報を生成する。例えば、移動体７が直進方向に対して角度θの右回転運動を行っている場合には、移動方向検出部２は移動方向情報として角度θの情報を生成する。制御部５は、移動方向検出部２から移動方向情報を受け取ると、撮像方向変更部３に対して撮像方向指示情報を生成する。撮像方向指示情報として、例えば角度θ’の情報を生成する。撮像方向変更部３は、制御部５から撮像方向指示情報を受け取り、移動体７の直進方向に対してカメラ４の撮像方向を撮像方向指示情報に従って変更する。例えば、移動体７の直進方向に対してカメラ４を２θ右回転させる。その結果、カメラ４の撮像方向は新視野１０の領域となる。表示部６は、この新視野１０の領域の実写像を表示する。
【００２１】
従来は直進視野９の領域を撮像したので、移動体７から見て右斜め前方に人や自転車等からなる障害物３０が立っていた場合に、カメラ４はこの障害物を撮像することができなかった。これに対して本発明においては、移動体７が曲がる方向にカメラ４を向けるので、この障害物３０を早期に撮像することができ、操作者に対してすばやく注意を喚起することができる。また、カメラ４に広角レンズを使用して、移動体が曲がる方向の画像を拡大して表示することが必要ないので、表示画像の品質劣化を防止することができる。また、カメラ４に高解像度の撮像素子を使用する必要がないので、システム全体を廉価に構成することができる。
【００２２】
移動体７として、ハンドル操作により移動方向が変化する場合に、移動方向検出部２としてハンドル回転角を検出するロータリーエンコーダからなる回転角検出部を使用することができる。制御部５は、ロータリーエンコーダが生成する出力パルスを移動方向情報として入力し、移動体７の移動方向の変化を検出することができる。また、移動体７の移動方向が移動体７に取り付けた前輪の操舵角により変更される場合に、この操舵角を検出する角度検出部を移動方向検出部２とすることができる。例えば、前輪の方向を規制するナックルアームの車体に対する角度や、ナックルアームに連結されるタイロッドの位置を検出するセンサを方向検出部とすることができる。
【００２３】
また、移動方向検出部２として、移動体７の方位角速度変化を検出するジャイロセンサとすることができる。移動体７が曲路走行するときは、移動体７の直進方向に対して直行する方向に加速度が加わる。制御部５は、ジャイロセンサからの方位角情報と移動体７の速度情報から、移動体７の回転半径Ｒを算出し、この回転半径Ｒに応じて撮像方向変更部３に撮像方向指示情報を与えることができる。
【００２４】
撮像方向変更部３は、移動体７に固定される固定部、カメラ４を載置する載置部、固定部と載置部とを連結する連結部から構成することができる。連結部にはステッピングモータ等からなるアクチュエータを構成し、固定部に対して載置部をアクチュエータにより回転させる。撮像方向変更部３は、制御部５からの撮像方向指示情報に基づいて、載置部に載置されたカメラ４を、左折方向、直進方向、右折方向の任意方向の外景を撮像可能とする。また、撮像方向変更部３は、上記のようにカメラ４を載置部に載置しないで、カメラ本体を移動体７に設置し、カメラの撮像部のみを回転させる回転機構としてもよい。
【００２５】
カメラ４としては、通常のビデオカメラを使用することができる。移動体が車両である場合にはカメラ４を移動体７の進行方向、例えばダッシュボードやバックミラーの裏面部、あるいはフロントバンパーに設置することができる。本発明においては、撮像視野角を必ずしも広くする必要がない。移動体７が左に曲がるときは、カメラ４は左方向を撮像し、右に曲がるときは、右方向を撮像する。従って、人や障害物を大きく撮像することが可能となり、移動体の操作者は障害物をいち早く察知することができる。
【００２６】
図２は、半径Ｒの曲路の道路８を移動体７としての車両が走行するときのカメラの撮像方向を説明するための図である。車両のホイールベースの長さをｄ、車両の前輪の操舵角をα、カメラが曲路の前方の距離Ｌの地点を撮像するものとして、車両の走行方向に対するカメラの撮像方向角をβとする。この場合、曲路の半径Ｒ、ホイールベースの長さｄ、及び前輪の操舵角αの関係は式（１）により表される。
Ｒ＝ｄ／ｓｉｎα・・・・・・・・・・・（１）
車両前方の距離Ｌまでの車線を確認したい場合には、式（２）が成り立つ。
Ｌ＝２Ｒｓｉｎ（β―α）・・・・・・・・（２）
式（１）と式（２）から、カメラの撮像方向βを表す式（３）を求めることができる。
β＝ａｒｃｓｉｎ（Ｌ／２Ｒ）＋α・・・（３）
【００２７】
上記の場合は、曲路の半径Ｒを、前輪の操舵角αとホイールベースの長さｄから求めたが、これに代えて、ＣＲ−ＲＯＭやＤＶＤ等に記憶された道路地図の変曲点やコーナリングから曲路の半径Ｒを求めることができる。車両前方の視認距離を設定することにより、上記式（３）によりカメラの撮像方向を決定することができる。また、車両が変曲点に近づいていてから、ドライバーが実際に操舵するまで、カメラの回転角度をβより若干小さく回転させ、操舵が開始されるときに、上記計算法によりカメラの撮像方向角を計算して、決定することができる。
【００２８】
また、上記撮像方向を決定する方法は一例であり、これに限定されない。例えば、移動体の方位角変化をジャイロセンサにより検出し、移動体の走行速度に応じて撮像する前方の距離を定めて、カメラの撮像方向を決定することができる。
【００２９】
なお、上記の実施形態１において、移動体７として車両について説明したが、本発明は車両に限定されない。移動体７として、例えば自走式のロボットであってもよいし、船舶であってもよいし、航空機であってもよい。
【００３０】
（移動体カメラシステムの駆動方法の実施形態）
図３は、本発明の移動体カメラシステム１の駆動方法を表すフローチャートである。移動体カメラシステム１が動作を開始すると、カメラ４が移動体７の進行方向の外景を撮像し（ステップＳ１）、表示部６に実写像を表示する（ステップＳ２）。移動体が移動方向を変更すると、移動方向検出部２が移動方向の変化を検出し、移動方向情報を生成する（ステップＳ３のＹ）。移動方向検出部２が移動方向の変化を検出しないときは（ステップＳ３のＮ）、カメラ４は外景を撮像し続けるようにステップＳ１に戻る。
【００３１】
制御部５は、移動方向検出部２から移動方向情報を受け取ると、移動方向情報に応じた撮像方向情報を生成する（ステップＳ４）。撮像方向変更部３は、撮像方向指示情報を受け取ってカメラ４の撮像方向を、移動方向が変化した方向へ向けるように駆動する（ステップＳ５）。そして、カメラ４は移動方向が変化する方向の外景を撮像する（ステップＳ１）。
【００３２】
（移動体カメラシステムの実施形態２）
図４は、本発明の実施形態２に係る移動体カメラシステム１の模式的な構成図を表す。本実施形態においては、カメラ４により撮像した実写像とナビゲーションシステムからの画像情報とを合成した画像を表示部６に表示する。
【００３３】
図４に示すように、移動体カメラシステム１は、移動体７の移動方向の外景を撮像するカメラ４と、カメラ４からの画像信号を画像データに変換する信号処理回路１７と、移動体７の移動方向の変化を検知して移動方向情報を生成する移動方向検出部２と、移動体７の移動速度を検知して走行情報を生成する走行検出部１２と、ＧＰＳデータを受信して移動体７の現在位置及び電子コンパス等から移動体７の現在方位を含む位置情報を生成する位置検出部１６と、地図情報を格納する地図情報記憶部１１と、移動体カメラシステム１の基本動作を制御するメインプログラムやアプリケーションプログラムを格納するＲＯＭ１８と、撮像した画像データ等を格納する画像記憶部１５と、カメラ４の撮像方向を変更する撮像方向変更部３と、実写像に基づく画像データと地図情報に基づく画像データとを合成した合成画像データを表示駆動用データに変換する駆動回路１４と、表示駆動用データを入力して画像を表示する表示部６と、これらの各部を制御する制御部５とから構成されている。
【００３４】
制御部５は、ＲＯＭ１８からプログラムを読み出して各部の制御及び演算処理を行うＣＰＵ１９と、ＣＰＵ１９の作業領域として使用されるＲＡＭ２０と、信号処理回路１７からの画像データや地図情報記憶部１１から読み出した地図情報を処理する画像処理部１３などから構成されている。なお、画像処理部１３は、ＣＰＵ１９によりプログラムを実行することにより実現してもよいし、専用の画像プロセッサにより構成してもよい。
【００３５】
移動体カメラシステム１は次のように動作する。まず、カメラ４により移動体７の進行方向の外景を撮像し、画像信号を生成する。信号処理回路１７は画像信号を入力してデジタルデータである画像データを生成する。制御部５は画像データを受信して表示可能な画像データに変換して画像記憶部１５に一時的に格納する。位置検出部１６は、ＧＰＳデータを受信して移動体７の現在位置を特定するとともに、電子コンパス等により移動体７の現在方位を特定して位置情報を生成する。制御部５は、移動体７の現在位置及び現在方位に基づいて、地図情報記憶部１１から地図情報を読み出して、画像記憶部１５に一時的に記憶する。
【００３６】
画像処理部１３は、ＣＰＵ１９の制御の元で、画像記憶部１５に記憶された実写像の画像データと地図情報とを合成して表示データを生成し、画像記憶部１５のフレームメモリ領域に格納する。駆動回路１４は、フレームメモリ領域に格納された表示用の表示画像データを入力して表示部６に出力し、表示部６は表示画像データを可視化する。
【００３７】
画像処理部１３は、図５（ａ）に示すように、カメラ４により撮像した実写画像３１の一部の領域に、２次元地図画像３２或いは３次元立体画像を嵌め込むことにより合成する。また、画像処理部１３は、図５（ｂ）に示すように、２次元地図画像３２或いは３次元立体画像の一部の領域に実写画像３１を嵌め込むことにより合成することができる。画像の嵌め込みは、画像処理部１３により、１フレーム分の実写像に基づく画像データの所定の領域に、地図情報記憶部１１から読み出した現在位置及び現在方位に対応する２次元地図画像又は３次元立体画像の画像データを書き込む、又は、１フレーム分の２次元地図画像或いは３次元立体画像の所定の領域に、実写像に基づく画像データを書き込む。また、画像の嵌め込みに変えて、実写像と２次元地図画像又は３次元立体画像の全部又はその一部を重ね合わせて合成することができる。
【００３８】
また、制御部５は、地図情報記憶部１１から読み出した現在位置及び現在方位に対応する地図情報から、特定の道路標識や建造物からなるランドマークを抽出する。次に、制御部５は、実写像の画像データと地図情報の道路標識や建造物を表す画像データとを照合し、実写像に含まれる道路標識や建造物と地図情報に含まれるランドマークとを対応付ける。画像処理部１３は、画像記憶部１５に記憶された実写像の画像データに、対応付けられたランドマークを書き込み、１フレームの表示画像データを形成する。その結果、表示部６は実写像の建物や道路標識にランドマークが付された画像を表示することができるので、移動体７の操作者は、現在位置や道路状況を容易に認識することができる。
【００３９】
図６は、移動体７が直進方向から左方向へ曲がる際に表示部６に表示される画像の一例を表している。表示部６には、実写画像３１の上に、地図情報から特定される空港や病院を表すランドマーク３３が表示されている。移動方向検出部２は、移動体７の移動方向が変化したときに移動方向情報を生成する。制御部５は、この移動方向情報に基づいて撮像方向変更部３に対して撮像方向指示情報を与える。撮像方向変更部３は、撮像方向指示情報に基づいて、カメラ４の撮像方向を移動体７の移動方向が変更する方向に向ける。例えば、移動方向情報が左３０°を表す場合に、撮像方向変更部３はカメラ４の撮像方向を直進方向に対して左６０°に向けるように回転する。これにより、表示部６は、移動体７が曲がる方向の実写画像３１を表示するとともに、地図情報記憶部１１から読み出した地図情報からランドマーク３３を抽出して表示する。これにより、移動体７の操作者は注意がより喚起され、移動体７をより安全に操作することができる。
【００４０】
本実施形態においては、移動体７が曲路を走行するときは、その曲路方向の視認性を向上させるためにカメラ４の撮像方向を曲路側に向ける。一方、地図情報記憶部１１から読み出して表示部６に表示させる場合、移動体の現在位置と現在方位に基づいて表示画像を生成する。その結果、撮像方向と現在方位とが異なるため、カメラ４により撮像した実写像と地図情報に基づいて生成した表示画像との間にずれが生ずる。
【００４１】
そこで、制御部５は、位置検出部１６により検出された移動体の現在方位を、撮像方向指示情報に基づいて変更された撮像方向とする。制御部５は、位置検出部１６により検出された移動体７の現在位置と撮像方向を現在方位として、地図情報記憶部１１から地図情報を読み出す。或いは、制御部５は、位置検出部１６により検出された現在位置に基づいて、地図情報記憶部１１から地図情報を読み出し、撮像方向を現在方位とする表示用の地図情報を生成する。画像処理部１３は、実写像の画像データとこの表示用の地図情報と合成する。その結果、実写像と地図情報との間において方位が一致し、合成された画像のずれを縮小することができる。例えば、表示地図情報がランドマークである場合に、表示部６は実写像とランドマークとの間の位置ずれを縮小して表示することができる。
【００４２】
（移動体カメラシステムの実施形態３）
図７は、本発明の実施形態３に係る移動体カメラシステム１の模式的な構成図を表す。実施形態２と異なるのは、制御部５が、カメラ４が撮像した画像データを解析するための画像解析部２１を備えている点である。従って、以下の説明においては主に画像解析部２１について説明し、その他の構成は実施形態２と同様なので、説明を省略する。
【００４３】
画像解析部２１として、位置検出部１６により検出された移動体７の位置を地図上の道路の中央部に補正するマップマッチング処理部４１、カメラ４により撮像した道路の白線を認識して移動体のオフセット距離を検出する白線認識部４２、カメラ４により撮像した画像から歩行者を検出する歩行者検出部４３、カメラ４により撮像した画像から先行車を検出する先行車抽出部４４、車線変更の際に移動体７の横方向の車両を検出する車線変更支援部４５、夜間走行の際に赤外線カメラ等により歩行者等を検出するＮｉｇｈｔ  Ｖｉｓｉｏｎ部４６等を備えることができる。
【００４４】
マップマッチング処理部４１は、移動体７の位置を地図上の道路の中央部に補正する。位置検出部１６はＧＰＳにより緯度と経度を検出する。しかし、ＧＰＳによる位置精度は通常約１０ｍ以上の誤差を含んでいる。そのために、ＧＰＳから取得した位置をそのまま地図上に表示すると、移動体７が道路とは異なる建物の中や海上を走行しているように表示される。そこで、ＧＰＳにより検出された位置と地図上の道路の位置を比較して、移動体７が走行している確立の最も高い道路の中央部に移動体の位置を補正する。これにより移動体７が道路上を走行して画像を表示部６に表示することができる。
【００４５】
白線認識部４２は、移動体７の走行方向の路面を撮像して、路面に描かれた白線を認識し、移動体７の白線からのオフセット距離を検出する。上記マップマッチング処理による補正後の移動体７の位置は道路の中央部である。例えば、読み出す地図情報が３次元立体画像である場合には、道路の中央部から進行方向を見たときの画像となる。しかし、実際の移動体７は右車線か左車線を走行するので道路の中央部に位置していないので、不自然な画像となる。また、本発明においては、移動体７がカーブに差し掛かったときは、カメラ４は曲がる方向の路面や景観を撮像する。そのため、移動体の進行方向とカメラ４の撮像方向とが異なる。この地図情報から得られる画像と実写像と合成すると、合成された画像間にずれが生じて違和感のある画像が表示されることになる。
【００４６】
図８（ａ）は、移動体７がカーブに差し掛かったときにカメラ４が撮像した実写像を表示部６が表示している模式図であり、図８（ｂ）は、白線認識部４２により実写画像から車線を抽出した状態を表している。白線認識部４２は、信号処理回路１７から入力した実写像の画像データから路面に描かれた車線を抽出する。白線認識部４２は、抽出された車線から、白線と移動体７との間のオフセット距離Ｄｏｆを検出する。画像処理部１３は、位置検出部１６から取得した移動体７の現在位置と現在方位に対して、上記オフセット距離Ｄｏｆにより補正した位置を現在位置とし、カメラ４が撮像する撮像方向を現在方位として、地図情報記憶部１１から読み出した地図情報から表示用の画像データを生成する。
【００４７】
画像処理部１３は、実写像の画像データと地図情報の画像データを合成して表示用の画像データを生成し、表示部６はこの合成され画像データに基づいて画像を表示する。これにより、例えば、地図情報が３次元立体画像である場合に、実写像と３次元立体画像のずれを縮小することができる。また、地図情報が道路標識やランドマークである場合に、表示部６に違和感のない画像を表示することができる。また、曲路を走行する場合はカメラ４が曲路方向を撮像し、かつ、違和感のない地図情報が表示されるので、走行の安全性を向上させることができる。
【００４８】
歩行者検出部４３や先行車抽出部４４は、カメラ４が撮像した実写像から、画像解析を行って歩行者や先行車を検出し、操作者に知らせることができる。車線変更支援部４５は、例えば移動体７のサイドミラーに撮像素子を設置し、車線変更時の横方向の外景を撮像する。車線変更時に、他の車両を検出したときに、操作者に知らせることができる。Ｎｉｇｈｔ  Ｖｉｓｉｏｎ部４６は、赤外線カメラにより外景を撮像する。従って、夜間でも歩行者や先行車を検出することができる。本発明においては、移動体７が曲路に差しかかったときに、移動体７が曲がる方向の外景を撮像するので、より効果的に安全性を高めることができる。
【００４９】
以上、カメラ４の撮像方向を主に移動体７の移動方向として説明してきたが、本発明はこれに限定されない。例えば、車線変更の支援システムとしてカメラ４を移動体７のサイドミラーに取り付けて、移動体７の側面後方を撮像しながら車両や自転車を確認する場合に、移動体７が前方右側に曲がるときに、カメラの撮像方向をこれに連動して後方右側を撮像するようにカメラ４の撮像方向を変更して、常に側面後方の他車両状況を確認できる。
【００５０】
図９は、カメラ４を移動体７の後方に設置して移動体７の後方の外景を撮像している状態を表す。移動体７が右側にカーブする道路８を走行している。移動体７の後方に搭載したカメラ４は、カメラ４が固定式である場合には後方視野４７を撮像する。そのため、右斜め後方を走行しているバイク４９を撮像することができない。本発明では、カメラ４の撮像方向を、移動体７の移動方向の変化に合わせて右斜め後方に変更するので、このバイク４９を撮像視野４８に入れることができる。従って、移動体から常に側面後方の他車両状況を確認でき、より安全性を高めることができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施形態に係る移動体カメラシステムの構成及び動作を表す図である。
【図２】本発明の実施形態に係る移動体カメラシステムにおける移動体７の向き、前輪走行方向及びカメラの撮像方向を表す模式図である。
【図３】本発明の実施形態に係る移動体カメラシステムの駆動方法を表すフローチャートである。
【図４】本発明の実施形態に係る移動体カメラシステムの模式的な構成図である。
【図５】本発明の実施形態に係る移動体カメラシステムの表示部に表示される画像を表す図である。
【図６】本発明の実施形態に係る移動体カメラシステムの表示部に表示される画像を表す図である。
【図７】本発明の実施形態に係る移動体カメラシステムの模式的な構成図である。
【図８】本発明の実施形態に係る移動体カメラシステムの表示部に表示される画像及び抽出された車線を表す模式図である。
【図９】本発明の実施形態に係る移動体カメラシステムの動作を表す図である。
【符号の説明】
【００５２】
１  移動体カメラシステム
２  移動方向検出部
３  撮像方向変更部
４  カメラ
５  制御部
６  表示部
７  移動体
【図１】
2010154304.tif 000003
【図２】
2010154304.tif 000004
【図３】
2010154304.tif 000005
【図４】
2010154304.tif 000006
【図５】
2010154304.tif 000007
【図６】
2010154304.tif 000008
【図７】
2010154304.tif 000009
【図８】
2010154304.tif 000010
【図９】
2010154304.tif 000011