(57)【特許請求の範囲】
【請求項１】
車両に搭載された複数の撮像装置と、
前記車両に搭載され、複数の前記撮像装置から撮像画像を取得する撮影画像取得部と、
前記車両外に持ち出し可能な遠隔操作装置に搭載され、前記車両の移動情報を入力する入力部と、
前記車両又は前記遠隔操作装置のいずれかに設けられ、前記移動情報に基づいて前記車両の移動経路を演算する演算部と、
前記遠隔操作装置に搭載され、前記撮像画像に基づく画像上に前記移動情報に基づく画像を重畳して表示する表示部と、
前記車両に搭載され、前記移動情報に基づいて前記車両の運転操作を制御する運転制御部と、
前記遠隔操作装置と前記車両にそれぞれ設けられて互いに無線通信を行う遠隔操作装置側無線送受信部と車両側無線送受信部と、
前記車両に搭載され、前記車両周囲の障害物を検知する障害物検知部と、を備え、
前記表示部及び前記入力部がタッチパネルモニタによって構成され、
前記表示部が、複数の前記撮像装置で撮像した前記撮像画像を視点変換した鳥瞰図画像を合成した合成画像を含む画像上に前記移動情報に基づく画像を重畳して表示し、
前記車両の移動情報が、移動の始点及び移動の終点に関する情報並びに移動経路及び／又は移動速度に関する情報を含み、
前記演算部は、前記障害物検知部が障害物を検知した場合、障害物を避ける新たな移動経路を演算し、
前記運転制御部は、前記演算部が障害物を避ける新たな移動経路を見つけられない場合、それまでに前記車両が移動した経路を逆にたどる運転操作を行うことを特徴とする車両操作システム。
【請求項２】
前記運転制御部は、前記遠隔操作装置が前記車両内にある場合は前記車両が停止しているときのみ自動運転と手動運転のモード切り替えを許可することを特徴とする請求項１に記載の車両操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラ（以下、車載カメラともいう）の撮影画像を利用し、車両を操作する車両操作システム及び車両操作方法に関する。
【背景技術】
【０００２】
近年の安全意識の高まりに伴って、車載カメラが普及している。車載カメラを利用したシステムとしては、例えば、複数の車載カメラを用いて車両の周辺を監視する安全運転支援を目的としたシステムであって、車載カメラの各撮影画像を車両の鉛直上方から見下ろす鳥瞰図画像に視点変換し、各鳥瞰図画像を合成して車両の全周を表示するシステム（全周表示システム）が提案されている（特許文献１参照）。ここで、トラックの前後左右に４つのカメラを設置した場合の全周表示画像の例を図２１に示す。図２１（ａ）はトラックの前後左右に設置した４つのカメラの各撮影範囲を示す図であり、４０１〜４０４はそれぞれ、前方カメラの撮影範囲、左側方カメラの撮影範囲、後方カメラの撮影範囲、右側方カメラの撮影範囲を示している。また、図２１（ｂ）は、図２１（ａ）のカメラの撮影範囲での撮影画像から得られる全周表示画像の例を示す図であり、４１１〜４１４はそれぞれ、前方カメラの撮影画像を視点変換した鳥瞰図画像、左側方カメラの撮影画像を視点変換した鳥瞰図画像、後方カメラの撮影画像を視点変換した鳥瞰図画像、右側方カメラの撮影画像を視点変換した鳥瞰図画像であり、４１５は自車両であるトラックの鳥瞰図画像である。このような全周表示システムは車両の全周を死角無く表示するため運転者の安全確認支援に有用である。
【０００３】
また、車両を狭いスペースに駐車させる場合などに運転者の操作を補助するパーキングアシストシステムとして、車両を遠隔操作するシステムが提案されている（特許文献２参照）。特許文献２で提案されているシステムでは、前進、後退、右旋回、左旋回などの操作を押しボタンスイッチに割り当てている。しかし、車両と操作者が手に取るリモコン送信装置との位置関係や方向が車両の移動によって変化するため、適切な操作を行うためには習熟が必要となる。
【０００４】
このような操作の困難さを緩和するために、リモコン送信装置と車両との相対位置を一定に保つことにより、操作者がリモコン送信装置を保持して移動することによって遠隔操作を行う技術（特許文献３参照）や、リモコン送信装置と車両との相対位置を認識することにより操作者が望む方向ボタンを押すことで車両の向きに依存せずにその方向に移動する技術（特許文献４参照）などが提案されている。
【０００５】
【特許文献１】特許第３３７２９４４号公報
【特許文献２】特開２００２―１２０７４２号公報
【特許文献３】特開２００４−３６２４６６号公報
【特許文献４】特開２００７−１２２５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来のパーキングアシストシステムは、リモコン送信装置による車両操作が実現可能であるが、ボタン操作の煩雑さ（特許文献２及び特許文献４参照）や操作者自身の移動（特許文献３参照）が必要であり、操作者にとって煩わしいものであった。
【０００７】
本発明は、上記の状況に鑑み、操作性に優れた車両操作システム及び車両操作方法の提供を目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明に係る車両操作システムは、車両に搭載された複数の撮像装置と、前記車両に搭載され、複数の前記撮像装置から撮像画像を取得する撮影画像取得部と、前記車両外に持ち出し可能な遠隔操作装置に搭載され、前記車両の移動情報を入力する入力部と、前記車両又は前記遠隔操作装置のいずれかに設けられ、前記移動情報に基づいて前記車両の移動経路を演算する演算部と、前記遠隔操作装置に搭載され、前記撮像画像に基づく画像上に前記移動情報に基づく画像を重畳して表示する表示部と、前記車両に搭載され、前記移動情報に基づいて前記車両の運転操作を制御する運転制御部と、前記遠隔操作装置と前記車両にそれぞれ設けられて互いに無線通信を行う遠隔操作装置側無線送受信部と車両側無線送受信部と、前記車両に搭載され、前記車両周囲の障害物を検知する障害物検知部と、を備え、前記表示部及び前記入力部がタッチパネルモニタによって構成され、前記表示部が、複数の前記撮像装置で撮像した前記撮像画像を視点変換した鳥瞰図画像を合成した合成画像を含む画像上に前記移動情報に基づく画像を重畳して表示し、前記車両の移動情報が、移動の始点及び移動の終点に関する情報並びに移動経路及び／又は移動速度に関する情報を含み、前記演算部は、前記障害物検知部が障害物を検知した場合、障害物を避ける新たな移動経路を演算し、前記運転制御部は、前記演算部が障害物を避ける新たな移動経路を見つけられない場合、それまでに前記車両が移動した経路を逆にたどる運転操作を行う。
【発明の効果】
【００１４】
本発明によると、車両に搭載された撮像装置の撮像画像に基づく画像上に、入力部が入力した移動情報に基づく画像が重畳されて表示されるので、移動情報やそれに従った進路予想線を直感的に把握することができる。したがって、操作性に優れており、また安全確認も容易になる。これにより、例えば、狭いスペースへの駐車や狭路の走行を円滑に支援することが可能になる。
【発明を実施するための最良の形態】
【００１５】
本発明の実施形態について図面を参照して以下に説明する。
【００１６】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る車両操作システムの構成を示すブロック図である。図１に示す車両操作システムは、車両の前方、左側方、後方、右側方をそれぞれ撮影する４つのカメラ１Ａ〜１Ｄの各撮影画像を用いて全周表示画像を生成する画像処理装置２と、車両側無線送受信部３と、車両側アンテナ４と、自動運転モードにおいてトランスミッションアクチュエータ６、ブレーキアクチュエータ７、及びスロットルアクチュエータ８を制御する自動運転制御部５とを備え、これらは車両（当該車両を以下自車両ともいう）に設けられている。
【００１７】
カメラ１Ａ〜１Ｄには、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。また、カメラ１Ａ〜１Ｄは、図２１（ａ）の場合と同様に、それぞれ車両取り付け位置から斜め下方向を撮像する。
【００１８】
トランスミッションアクチュエータ６は、自動運転モードにおいて自動運転制御部５の出力信号に応じてオートマチックトランスミッション（不図示）を動作させ、手動運転モード（通常運転モード）においてシフトレバーの位置、エンジン回転数、アクセルペダル（不図示）の変位量等の諸条件に応じたトルク制御信号を運転制御部（不図示）から受け取りそのトルク制御信号にオートマチックトランスミッションを動作させる。ブレーキアクチュエータ７は、自動運転モードにおいて自動運転制御部５の出力信号に応じたブレーキ液圧をブレーキ本体（不図示）に与え、手動運転モードにおいてブレーキペダル（不図示）の変位量を検出するブレーキセンサ（不図示）の出力信号に応じたブレーキ液圧をブレーキ本体に与える。スロットルアクチュエータ８は、自動運転モードにおいて自動運転制御部５の出力信号に応じてスロットル弁（不図示）を駆動し、手動運転モードにおいてアクセルペダル（不図示）の変位量を検出するアクセルセンサ（不図示）の出力信号に応じてスロットル弁を駆動する。
【００１９】
図１に示す車両操作システムは、さらに、タッチパネルモニタ９と、演算部１０と、操作装置側無線送受信部１１と、操作装置側アンテナ１２とを有する携帯型遠隔操作装置を備えている。
【００２０】
図２に示すフローチャートを参照して、図１に示す車両操作システムが実行する処理について説明する。
【００２１】
まず、ステップＳ１１０では、画像処理装置２が、４つのカメラ１Ａ〜１Ｄの各撮影画像を後述する手法によって鳥瞰図画像に変換し、その４つの鳥瞰図画像を内部のメモリ（不図示）にあらかじめ格納されている自車両の鳥瞰図画像とともに合成した全周表示画像を生成する。その全周表示画像のデータが、車両側無線送受信部３及び車両側アンテナ４によって無線送信され、操作装置側アンテナ１２及び操作装置側無線送受信部１１によって無線受信されて、タッチパネルモニタ９の画面に全周表示画像が表示される。このときのタッチパネルモニタ９の表示例を図３に示す。尚、図３において、１１１〜１１４はそれぞれ、自車両の前方を撮影するカメラ１Ａの撮影画像を視点変換した鳥瞰図画像、自車両の左側方を撮影するカメラ１Ｂの撮影画像を視点変換した鳥瞰図画像、自車両の後方を撮影するカメラ１Ｃの撮影画像を視点変換した鳥瞰図画像、自車両の右側方を撮影するカメラ１Ｄの撮影画像を視点変換した鳥瞰図画像であり、１１５は自車両の鳥瞰図画像であり、斜線で埋められた線分１１６及び１１７は全周表示画像１１０内における路面上に互いに平行に描かれた第１及び第２の白線である。
【００２２】
ここで、透視投影変換によって鳥瞰図画像を生成する手法について図４を参照して説明する。
【００２３】
図４は、カメラ座標系ＸＹＺと、カメラの撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示している。座標系ＸbuＹbuは、撮像画像が定義される座標系である。
【００２４】
カメラ座標系ＸＹＺは、Ｘ軸、Ｙ軸及びＺ軸を座標軸とする三次元の座標系である。撮像面Ｓの座標系ＸbuＹbuは、Ｘbu軸及びＹbu軸を座標軸とする二次元の座標系である。２次元地面座標系Ｘw Ｚwは、Ｘw 軸及びＺw軸を座標軸とする二次元の座標系である。世界座標系Ｘw Ｙw Ｚwは、Ｘw軸、Ｙw軸及びＺw軸を座標軸とする三次元の座標系である。
【００２５】
以下、カメラ座標系ＸＹＺ、撮像面Ｓの座標系ＸbuＹbu、２次元地面座標系Ｘw Ｚw及び世界座標系Ｘw Ｙw Ｚw を、夫々、単にカメラ座標系、撮像面Ｓの座標系、２次元地面座標系及び世界座標系と略記することがある。
【００２６】
カメラ座標系ＸＹＺでは、カメラの光学中心を原点Ｏとして、光軸方向にＺ軸がとられ、Ｚ軸に直交しかつ地面に平行な方向にＸ軸がとられ、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系ＸbuＹbuでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸がとられ、撮像面Ｓの縦方向にＹbuがとられている。
【００２７】
世界座標系Ｘw Ｙw Ｚw では、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏw とし、地面と垂直な方向にＹw 軸がとられ、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸw 軸がとられ、Ｘw 軸およびＹw 軸に直交する方向にＺw 軸がとられている。
【００２８】
Ｘw軸とＸ軸との間の平行移動量はｈであり、その平行移動の方向は鉛直線方向である。Ｚw軸とＺ軸との成す鈍角の角度は、傾き角度Θと一致する。ｈ及びΘの値はカメラ１Ａ〜１Ｄのそれぞれに関して予め設定され、画像処理装置２に与えられる。
【００２９】
カメラ座標系ＸＹＺにおける画素の座標値を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。世界座標系Ｘw Ｙw Ｚwにおける画素の座標値を（ｘw ，ｙw ，ｚw ）と表記する。ｘw、ｙw及びｚwは、夫々、世界座標系Ｘw Ｙw Ｚwにおける、Ｘw軸成分、Ｙw軸成分及びＺw軸成分である。二次元座標系Ｘw Ｚwにおける画素の座標値を（ｘw ，ｚw ）と表記する。ｘw及びｚwは、夫々、二次元座標系Ｘw Ｚwにおける、Ｘw軸成分及びＺw軸成分であり、それらは世界座標系Ｘw Ｙw ＺwにおけるＸw軸成分及びＺw軸成分と一致する。撮像面Ｓの座標系ＸbuＹbuにおける画素の座標値を（ｘbu，ｙbu ）と表記する。ｘbu及びｙbuは、夫々、撮像面Ｓの座標系ＸbuＹbuにおける、Ｘbu軸成分及びＹbu軸成分である。
【００３０】
カメラ座標系ＸＹＺの座標値（ｘ，ｙ，ｚ）と世界座標系Ｘw Ｙw Ｚw の座標値（ｘw ，ｙw ，ｚw ）との間の変換式は、次式（１）で表される。
【００３１】
【数１】
0005124351.tif 000002
【００３２】
ここで、カメラの焦点距離をＦとする。そうすると、撮像面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu ）と、カメラ座標系ＸＹＺの座標値を（ｘ，ｙ，ｚ）との間の変換式は、次式（２）で表される。
【００３３】
【数２】
0005124351.tif 000003
【００３４】
上記式（１）及び（２）から、撮像面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標値（ｘw ，ｚw ）との間の変換式（３）が得られる。
【００３５】
【数３】
0005124351.tif 000004
【００３６】
また、図４には示されていないが、鳥瞰図画像についての座標系である鳥瞰図座標系ＸauＹauを定義する。鳥瞰図座標系ＸauＹauは、Ｘau軸及びＹau軸を座標軸とする二次元の座標系である。鳥瞰図画像座標系ＸauＹauにおける画素の座標値を（ｘau，ｙau ）と表記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標値（ｘau，ｙau ）によって表される。ｘau及びｙau は、それぞれ鳥瞰図画座標系ＸauＹauにおけるＸau軸成分及びＹau軸成分である。
【００３７】
鳥瞰図画像は、実際のカメラの撮影を介して得られた撮影画像を仮想カメラの視点（以下、仮想視点という）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれている。
【００３８】
地面と一致する、二次元座標系Ｘw Ｚwが定義される平面は、鳥瞰図画像座標系ＸauＹauが定義される平面と平行である。従って、二次元座標系Ｘw Ｚwから仮想カメラの鳥瞰図画像座標系ＸauＹauへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元座標系Ｘw Ｚwの座標値（ｘw ，ｚw ）と鳥瞰図画像座標系ＸauＹauの座標値（ｘau，ｙau ）との間の変換式は、次式（４）で表される。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。
【００３９】
【数４】
0005124351.tif 000005
【００４０】
【数５】
0005124351.tif 000006
【００４１】
得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。
【００４２】
【数６】
0005124351.tif 000007
【００４３】
上記式（６）から、投影面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu ）を、鳥瞰図画像座標系ＸauＹauの座標値（ｘau，ｙau ）に変換するための次式（７）が得られる。
【００４４】
【数７】
0005124351.tif 000008
【００４５】
投影面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu ）は、投影画像における座標値を表すため、上記式（７）を用いることによって撮影画像を鳥瞰図画像に変換することができる。
【００４６】
即ち、式（７）に従って、撮影画像の各画素の座標値（ｘbu，ｙbu ）を鳥瞰図画像座標系の座標値（ｘau，ｙau ）に変換することにより、鳥瞰図画像を生成することができる。鳥瞰図画像は、鳥瞰図座標系に配列された各画素から形成される。
【００４７】
実際には、式（７）に従って、撮影画像上の各画素の座標値（ｘbu，ｙbu ）と鳥瞰図画像上の各画素の座標値（ｘau，ｙau ）との対応関係を示すテーブルデータを作成しておき、これをメモリ（不図示）に予め格納しておく。そして、このテーブルデータを用いて撮影画像を鳥瞰図画像に変換する透視投影変換を行うようにする。勿論、撮影画像が得られる度に、透視投影変換演算を行って鳥瞰図画像を生成するようにしてもよい。また、ここでは透視投影変換によって鳥瞰図画像を生成する手法について説明を行ったが、透視投影変換によって撮影画像から鳥瞰図画像を得るのではなく、平面射影変換によって撮影画像から鳥瞰図画像を得るようにしても構わない。
【００４８】
ステップＳ１１０（図２参照）に続くステップＳ１２０では、ペン入力によりタッチパネルモニタ９に対して移動情報が入力される。図３に示す全周表示画像１１０に対して、移動の始点と移動の終点とを順にペン入力で指定すると、図５に示すように、移動の始点１２１と移動の終点１２２とが全周表示画像に重畳して表示される。また、このとき、「開始」キー１２３も合わせてタッチパネルモニタ９の画面上に表示される。尚、図５は後退駐車時の表示例を示している。
【００４９】
ステップＳ１２０に続くステップＳ１３０では、演算部１０が、ペン入力された移動情報に基づいて自車両の移動経路を計算する。そして、タッチパネルモニタ９が、演算部１０の計算結果に応じて、図６に示すように図５の表示に移動方向の矢印１２４と破線で示す車幅を含む進路予想線１２５とを重畳して表示する（ステップＳ１４０）。尚、演算部１０は、自車両の車幅データを内部のメモリ（不図示）に予め格納している。
【００５０】
ペン入力を行った操作者は、図６の進路予想線１２５を確認し、衝突などの危険が無いと判断した場合には、「開始」キー１２３をタッチする。そこで、ステップＳ１４０に続くステップＳ１５０では、タッチパネルモニタ９が「開始」キー１２３のタッチの有無を確認する。
【００５１】
「開始」キー１２３のタッチが無ければ（ステップＳ１５０のＮＯ）、ペン入力によりタッチパネルモニタ９に対して移動情報が追加入力された否かをタッチパネルモニタ９が確認し（ステップＳ１５１）、移動情報が追加入力されていなければステップＳ１５０に戻り、移動情報が追加入力されていればステップＳ１３０に戻り追加入力された移動情報を加味して新たな移動経路を算出する。
【００５２】
一方、「開始」キー１２３のタッチが有れば（ステップＳ１５０のＹＥＳ）、移動を開始する（ステップＳ１６０）。具体的には、以下の手順で移動を開始する。まず、「開始」キー１２３のタッチが有った旨の情報がタッチパネルモニタ９から演算部１０に伝達され、ステップＳ３で算出された移動経路のデータと実行コマンドとが、演算部１０から操作装置側無線送受信部１１に出力され、操作装置側無線送受信部１１及び操作装置側アンテナ１２によって無線送信され、車両側アンテナ４及び車両側無線送受信部３によって無線受信されて、自動運転制御部５に送られる。続いて、実行コマンドに従って、自動運転制御部５は、内部のメモリ（不図示）に予め格納している自車両の緒元データを参照して、移動経路のデータに基づいた自動運転プログラムを作成し、その自動運転プログラムに沿ってトランスミッションアクチュエータ６、ブレーキアクチュエータ７、及びスロットルアクチュエータ８を制御する。
【００５３】
移動中には「開始」キーの代わりに「停止」キーを表示し、人物の飛び出しなどで移動中に衝突などの可能性が高まった場合には、操作者がペン入力により「停止」キーをタッチすることで、自車両を常に停止できるようにしておくことが望ましい。この場合、「停止」キーがタッチされると、「停止」キーの代わりに「再開」キーを表示し、操作者が「再開」キーをタッチすることで、移動が再開される。
【００５４】
ステップＳ１６０に続くステップＳ１７０では、タッチパネルモニタ９が「停止」キーのタッチの有無を確認する。
【００５５】
「停止」キーのタッチが有れば（ステップＳ１７０のＹＥＳ）、自動運転制御部５が自動運転プログラムの実行を一時的に停止する（ステップＳ１７１）。これにより、移動が一時停止する。ステップＳ１７１に続くステップＳ１７２では、タッチパネルモニタ９が「再開」キーのタッチの有無を確認し、「再開」キーのタッチが有ればステップＳ１７０に戻る。
【００５６】
「停止」キーのタッチが無ければ（ステップＳ１７０のＮＯ）、自動運転制御部５が自動運転プログラムの実行完了の有無により移動が完了したか否かを確認し（ステップＳ１８０）、移動が完了していなければステップＳ１７０に戻り、移動が完了していればフロー動作を終了する。
【００５７】
ここで、図６の場合とは異なり、衝突の回避が必要な例を図７に表す。駐車場などで、隣接する駐車スペースに他の車両１２６が停止している場合、旋回動作を行わずに図７に示すように始点１２１と終点１２２の指示に従って真直ぐに後退する移動経路に沿って移動をすると自車両が他の車両１２６と衝突する。
【００５８】
この危険性は、最初に図２のステップＳ１４０において表示される移動方向の矢印１２４と進路予想線１２５とよって、操作者が容易に判断することができる（図７参照）。このように衝突回避が必要な場合には、図８に示すペン入力の軌跡１２７のように操作者がペン入力によって移動情報を追加入力し（図２のステップＳ１５１のＹＥＳ）、所望の移動経路を指示することによって、新たな移動経路が算出され新たな移動方向の矢印１２８と新たな進路予想線１２９とが図９のように表示される。また、ペン入力の軌跡１２７の長さ、即ちペン入力による方向ベクトルの大きさを、自車両の移動速度や移動量に対応させ、移動情報の一つとしてもよい。新たに表示された進路予想線１２９を操作者が確認し、問題がないと判断した場合には、ペン入力により「開始」ボタン１２３をタッチする。これにより、新たな移動経路での移動を開始する。
【００５９】
本発明の第１実施形態に係る車両操作システムでは、操作者がタッチパネルモニタ９の表示を見て安全確認をおこない、移動開始を指示することができる。本発明の第１実施形態に係る車両操作システムを用いることで、車外から自車両を操作することができるので、ガレージの開門などの際に、車の乗降の手間を削減できる。また、運転が苦手な操作者が狭路を走行する場合などでも、車内からタッチパネルモニタ９を用いて走行経路を指示し、妥当な経路を選択することによって、自車両の移動が容易となる。
【００６０】
＜第２実施形態＞
本発明の第２実施形態に係る車両操作システムは、本発明の第１実施形態に係る車両操作システムに障害物検知機能を追加したものであり、周囲の障害物を検出した場合に、自動停止や移動経路の自動再計算を行うことができるものである。
【００６１】
前述の図６のような場合には、移動経路に障害物が存在しないため、本発明の第１実施形態に係る車両操作システムと本発明の第２実施形態に係る車両操作システムとで大きな違いは発生しない。しかし、図７のような場合には、本発明の第１実施形態に係る車両操作システムでは操作者が画像を見て衝突の危険性を判断する必要がある。これに対して、本発明の第２実施形態に係る車両操作システムでは、操作者が衝突の危険性に気付かなかった場合にも、衝突の危険性がある障害物を自動的に検知することができる。
【００６２】
図１０は、本発明の第２実施形態に係る車両操作システムの構成を示すブロック図である。尚、図１０において、図１と同一の部分には同一の符号を付し詳細な説明を省略する。図１０に示す車両操作システムは、本発明の第１実施形態に係る車両操作システムに障害物検知部１３を追加したものであり、障害物検知部１３は自車両に設けられる。
【００６３】
図１０に示す車両操作システムが実行する処理に関するフローチャートを図１１に示す。尚、図１１において、図２と同一のステップについては同一の符号を付し詳細な説明を省略する。
【００６４】
図１１に示すフローチャートは、図２に示すフローチャートにステップＳ１７３及びＳ１７４を付加したものである。
【００６５】
前述の図７のような場合において、操作者が図７の状態で衝突の危険性に気付かず、ステップＳ１６０において移動を開始した場合を考える。この場合、自車両が移動（後退）を始めた直後に自車両左後方の駐車車両１２６を障害物として検出し（ステップＳ１７３のＹＥＳ）、移動を停止し（ステップＳ１７４）、その後、障害物の位置に関する情報が、障害物検知部１３から車両側無線送受信部３に出力され、車両側無線送受信部３及び車両側アンテナ４によって無線送信され、操作装置側アンテナ１２及び操作装置側無線送受信部１１によって無線受信されて、演算部１０に送られる。そして、演算部１０は、障害物の位置に関する情報に基づいて、移動経路を再計算し（ステップＳ１３０）、障害物を避ける経路を算出することで、新たな移動経路が算出され図９に示すような新たな移動方向の矢印１２８と新たな進路予想線１２９とが表示される。操作者はその新たな移動経路の安全を確認し、再度「開始」キー１２３をタッチすればよい（ステップＳ１７０）。
【００６６】
また、ステップＳ１７４での移動停止後の移動経路の再計算によって適切な移動経路が見つからない場合には、それまでに移動した情報を保存しておき、それまでに移動した経路を逆にたどって自車両を操作者が「開始」キーにタッチしたときの位置まで戻してもよい。なお、本実施形態では、自車両が移動した後に、駐車車両１２６を障害物として検出することによって移動を停止する例を示したが、障害物検知機能の検知範囲が広ければ、図７の状態で、駐車車両１２６を障害物として検知し、障害物との衝突の危険性のない移動経路を最初から算出し図９に示すような移動方向の矢印１２８と進路予想線１２９とを表示することも考えられる。
【００６７】
本発明の第２実施形態に係る車両操作システムでは、操作者が衝突の危険性に気付かなかった場合にも、衝突の危険性がある障害物を自動的に検知することができ、自動的に移動を停止することができる。また、障害物の検知結果を用いて、移動経路を再計算或いは当初から計算することによって、操作者が衝突の危険性のない移動経路を指示する手間を省くこともできる。
【００６８】
障害物検知部１３は、例えば、ソナー、ミリ波レーダ、レーザレーダなどのセンサと、そのセンサの検出結果に基づいて全周表示画像中の障害物領域を検出する障害物領域検出部とを有する構成や、車両に設置されたカメラの撮影画像を用いて画像処理によって障害物領域を検出する障害物領域検出用画像処理部を有する構成が考えられるが、障害物を検出するものであれば何れを用いてもよい。
【００６９】
ここで、上記障害物領域検出用画像処理部が、単眼カメラの映像から障害物の一種である立体物を検出する方法の一例を図１２に示すフローチャートを参照して以下に説明する。
【００７０】
はじめにカメラから撮像画像を取得する（ステップＳ２００）。例えば、時刻ｔ１の撮影によって得られた撮影画像（以下、単に、時刻ｔ１の撮影画像ともいう）と、時刻ｔ２の撮影によって得られた撮影画像（以下、単に、時刻ｔ２の撮影画像ともいう）とを取得する。また、時刻ｔ１の後に時刻ｔ２が訪れるものとし、時刻ｔ１−ｔ２間において、車両４が移動しているものとする。従って、時刻ｔ１と時刻ｔ２とで路面の見え方が異なる。
【００７１】
今、図１３（ａ）に示す画像２１０が時刻ｔ１の撮影画像として取得され、図１３（ｂ）に示す画像２２０が時刻ｔ２の撮影画像として取得されたものとする。時刻ｔ１及びｔ２において、カメラの視野には、路面上に互いに平行に描かれた第１及び第２の白線と、第１及び第２の白線間に位置する直方体状の立体物αと、が含まれていたとする。図１３（ａ）において、斜線で埋められた線分２１１及び２１２は画像２１０内における第１及び第２の白線であり、図１３（ｂ）において、斜線で埋められた線分２２１及び２２２は画像２２０内における第１及び第２の白線である。図１３（ａ）において、画像上の立体物２１３は画像２１０内における立体物αであり、図１３（ｂ）において、画像上の立体物２２３は画像２２０内における立体物αである。
【００７２】
ステップＳ２００に続くステップＳ２０１において、時刻ｔ１の撮影画像から特徴点が抽出される。特徴点とは、周囲の点と区別できる、追跡の容易な点のことである。このような特徴点は、水平及び垂直方向における濃淡変化量が大きくなる画素を検出する、周知の特徴点抽出器（不図示）を用いて自動的に抽出することができる。特徴点抽出器とは、例えば、Harrisのコーナ検出器、ＳＵＳＡＮのコーナ検出器である。抽出されるべき特徴点は、例えば、路面上に描かれた白線の交点又は端点や、路面上の汚れ又は亀裂、立体物の端部や汚れなどを想定している。
【００７３】
ステップＳ２０１に続くステップＳ２０２において、時刻ｔ１の撮影画像と時刻ｔ２の撮影画像を対比し、公知のブロックマッチング法や勾配法を用いて、時刻ｔ１−ｔ２間における撮影画像の座標上のオプティカルフローを求める。オプティカルフローは複数の移動ベクトルの集まりであり、ステップＳ２０２で求められるオプティカルフローには、ステップＳ２０１にて抽出された特徴点の移動ベクトルも含まれている。２つの画像間における着目した特徴点の移動ベクトルは、その２つの画像間における着目した特徴点の移動の向き及び大きさを表す。尚、移動ベクトルは、動きベクトルと同義である。
【００７４】
ステップＳ２０１において複数の特徴点が抽出され、ステップＳ２０２において複数の特徴点の夫々の移動ベクトルが求められるが、ここでは、説明の具体化のため、その複数の特徴点に含まれる２つの特徴点について注目する。この２つの特徴点は、第１及び第２の特徴点から成る。
【００７５】
図１４に、時刻ｔ１の撮影画像から抽出された第１及び第２の特徴点を、時刻ｔ１の撮影画像に重畳して示す。図１４において、点２３１及び点２３２は、時刻ｔ１の撮影画像から抽出された第１及び第２の特徴点を表している。第１の特徴点は第１の白線の端点であり、第２の特徴点は立体物αの上面に位置する立体物αの端点である。図１４に示す時刻ｔ１の撮影画像には、第１の特徴点の移動ベクトルＶA1及び第２の特徴点の移動ベクトルＶA2も示されている。移動ベクトルＶA1の始点は点２３１に合致し、移動ベクトルＶA2の始点は点２３２に合致する。
【００７６】
ステップＳ２０２に続くステップＳ２０３では、時刻ｔ１及びｔ２の撮影画像を、夫々、鳥瞰図画像に変換する。鳥瞰図画像変換については第１実施形態で述べた通りであるため、画像処理装置２と障害物領域検出用画像処理部とで鳥瞰図画像変換処理機能を共用することが望ましい。
【００７７】
時刻ｔ１及びｔ２の撮影画像に基づく鳥瞰図画像を、夫々、時刻ｔ１及び時刻ｔ２の鳥瞰図画像と呼ぶ。図１５（ａ）及び（ｂ）に示される画像３１０及び３２０は、夫々、図１３（ａ）及び（ｂ）の画像２１０及び２２０に基づく、時刻ｔ１及びｔ２の鳥瞰図画像を表す。図１５（ａ）において、斜線で埋められた線分３１１及び３１２は画像３１０内における第１及び第２の白線であり、図１５（ｂ）において、斜線で埋められた線分３２１及び３２２は画像３２０内における第１及び第２の白線である。図１５（ａ）において、画像上の立体物３１３は画像３１０内における立体物αであり、図１５（ｂ）において、画像上の立体物３２３は画像３２０内における立体物αである。
【００７８】
ステップＳ２０３（図１２参照）に続くステップＳ２０４では、ステップＳ２０１において時刻ｔ１の撮影画像から抽出された特徴点と、ステップＳ２０２にて算出された移動ベクトルと、を鳥瞰図座標上にマッピングする（換言すれば、投影する）。図１６は、時刻ｔ１及びｔ２の鳥瞰図画像を重ね合わせた画像３３０に、マッピングされた特徴点及び移動ベクトルを重畳して示した図である。但し、図１６では、図示の煩雑化防止のため、時刻ｔ２の鳥瞰図画像における第１及び第２の白線を点線で示し、時刻ｔ２の鳥瞰図画像における立体物αの外形を波線で示している。
【００７９】
図１６において、点３３１及び３３２は、夫々、鳥瞰図座標上にマッピングされた、時刻ｔ１における第１及び第２の特徴点である。図１６において、ベクトルＶB1及びＶB2は、夫々、鳥瞰図座標上にマッピングされた、第１及び第２の特徴点の移動ベクトルである。移動ベクトルＶB1の始点は点３３１に合致し、移動ベクトルＶB2の始点は点３３２に合致する。点３４１及び３４２は、夫々、移動ベクトルＶB1及びＶB2の終点を表している。
【００８０】
ステップＳ２０４に続くステップＳ２０５では、車両の移動に伴うカメラの移動に関する情報（以下、カメラ移動情報という）を用いて時刻ｔ１の鳥瞰図画像を補正する。車両移動情報は、例えば、次のようにして得ることができる。
【００８１】
時刻ｔ１及びｔ２の鳥瞰図画像での或る地面対応特徴点の座標を、夫々、（ｘ1，ｙ1）、（ｘ2，ｙ2）と表すと、或る地面対応特徴点の移動ベクトルは次式（１１）のようになる。
（ｆx  ｆy）T＝（ｘ2  ｙ2）T−（ｘ1  ｙ1）T  …（１１）
【００８２】
時刻ｔ１−ｔ２間のカメラ移動情報を図１７の座標系で表現すると、時刻ｔ１及びｔ２の鳥瞰図画像での或る地面対応特徴点の関係として、次式（１２）が得られる。但し、θはカメラ２の回転角度、Ｔx、Ｔyは、夫々、カメラ２のｘ方向移動量、カメラ２のｙ方向移動量である。
【数８】
0005124351.tif 000009
【００８３】
ここで、θが微小であるとき（車両４が低速で移動する場合、又は、カメラのフレームサンプリングレートが高い場合）、cosθ＝１、sinθ＝θと近似することができるので、上記式（１２）は次式（１３）となる。
【数９】
0005124351.tif 000010
【００８４】
上記式（１１）を上記式（１３）に代入して整理すると、次式（１４）となる。
θ（ｙ1  −ｘ1）T−（Ｔx  Ｔy）T＋（ｆx  ｆy）T＝０  …（１４）
【００８５】
ここで、（ｆx  ｆy）Tと（ｙ1  −ｘ1）Tは移動ベクトル計算時に得られ、θと（Ｔx  Ｔy）Tは未知数である。上記式（４）から、２つの地面対応特徴点についてその位置（ｘ1  ｙ1）Tとその移動ベクトル（ｆx  ｆy）Tの情報があれば、上記未知数を計算することができる。
【００８６】
そこで、時刻ｔ１の鳥瞰図画像での２つの地面対応特徴点座標を（ｘ12  ｙ12）Tと（ｘ11  ｙ11）Tとし、対応する移動ベクトルを（ｆx1  ｆx1）Tと（ｆx2  ｆy2）Tとすると、上記式（１４）から、次式（１５）及び（１６）が得られる。
θ（ｙ11  −ｘ11）T−（Ｔx  Ｔy）T＋（ｆx1  ｆy1）T＝０  …（１５）
θ（ｙ12  −ｘ12）T−（Ｔx  Ｔy）T＋（ｆx2  ｆy2）T＝０  …（１６）
【００８７】
上記式（１５）と（１６）との差をとると、次式（１７）が得られる。
【数１０】
0005124351.tif 000011
【００８８】
そして、上記式（１７）より、次式（１８）及び（１９）が得られる。
θ＝（ｆx2−ｆx1）／（ｙ11−ｙ12）  …（１８）
θ＝（ｆy2−ｆy1）／（ｘ12−ｘ11）  …（１９）
【００８９】
そこで、上述した拘束式（上記式（１５）、（１６）、（１８）及び（１９））を用いて、下記の手順で地面対応特徴点を選択する。
（i）抽出した特徴点群の中から、特徴点の画像上の距離が或る閾値以上離れている２        つの特徴点を抽出する。
（ii）両特徴点の移動ベクトルの方向とサイズに差が或る閾値以上あれば、（i）に戻        る。
（iii）両特徴点の位置と移動ベクトルの情報を上記式（１８）及び（１９）に代入し          、結果をθ1とθ2とする。Δθ＝｜θ1−θ2｜が設定した閾値より大きい場           合、（i）に戻る。
（iv）（iii）で計算したθ1とθ2をそれぞれ上記式（１５）及び式（１６）に代入           し、その結果を、（Ｔx1  Ｔy1）Tと（Ｔx2  Ｔy2）Tとする。
（Ｔx1−Ｔx2）2＋（Ｔy1−Ｔy2）2が設定した閾値より大きい場合は（i）に戻           る。
（v）  選択した２つの特徴点を地面対応特徴点と判断し、各地面対応特徴点の移動量         の平均をカメラ移動情報とする。
【００９０】
このようにして得られたカメラ移動情報、即ちカメラ回転量θ及びカメラ並進移動量Ｔx、Ｔyを用いて、上記式（１３）に従って、時刻ｔ１の鳥瞰図画像を時刻ｔ２の鳥瞰図画像と路面の見え方が同じになる鳥瞰図画像（以下、参照画像という）に変換する。
【００９１】
ステップＳ２０５（図１２参照）に続くステップＳ２０６では、参照画像と時刻ｔ２の鳥瞰図画像の差分を取ることで、図１８に示すｔ１−ｔ２間でのフレーム間差分画像を得る。そして、ステップＳ２０６に続くステップＳ２０７では、その差分画像に対して、あらかじめ閾値を設置し、２値化処理を行う。図１９は２値化処理後の画像を表している。さらに、ステップＳ２０７に続くステップＳ２０８では、図１９の２値化画像に対して、小領域除去処理と領域結合処理をして、立体物領域を抽出する。図２０の白抜き枠で囲まれた部分が抽出された立体物領域である。なお、上述した図１２のフローチャートの処理を行う際に用いられる各種閾値は障害物領域検出用画像処理部内のメモリ（不図示）にあらかじめ格納しておくとよい。
【００９２】
カメラ画像処理による立体物検出では、例えば、図１２のステップＳ２０７における２値化処理の閾値の設定により、所定の高さ以下の立体物を立体物として検出しないようにすることができる。また、立体物検出センサによる立体物検出では、例えば、センシング方向の設定により、所定の高さ以下の立体物を立体物として検出しないようにすることができる。
【００９３】
また、上述した例では、路面より高さのある立体物を検出したが、カメラ画像処理による障害物検出やセンサによる障害物検出の手法は路面より低い部分も検出することができるので、路面より高さのある立体物の検出に代えて又はこれと併せて、路面より低い部分（土手や側溝などのように自車両の存在する路面より低い部分）の検出を行うようにしてもよい。
【００９４】
＜変形等＞
本発明は、上述した実施形態に限定されること無く、例えば、下記のような機能を追加しても良い。
【００９５】
ＲＦＩＤ（Radio Frequency Identification）やＧＰＳ（Global Positioning System）の位置情報などを用いて、特定の場所（例えば自宅の駐車場など）のみで利用できるようにする。
【００９６】
自車両をＨＥＶ（Hybrid Electric Vehicle）とした場合は、自動運転制御の容易化・高精度化の観点から、自動運転は内燃機関モードではなく電動モードで行うようにする。
【００９７】
乗車時の利用では、即ち遠隔操作装置が自車両内にある場合では、自車両が停止しているときのみ、自動運転モードと手動運転モード（通常運転モード）とのモード切り替えを許可するようにする。
【００９８】
尚、上述した実施形態では、タッチパネルモニタに対してペン入力を行うことで移動情報を入力しているが、タッチパネルモニタに対して指先での入力を行うことで移動情報を入力してもよく、タッチパネルモニタを用いず表示装置に表示されたポインタをポインティングデバイス（例えば十字キー）によって動かして移動情報を入力するようにしてもよい。
【００９９】
また、上述した実施形態では、複数のカメラを用いて全周表示画像を得ているが、下向きに設置された半球面ミラーや円錐ミラーと鉛直上方を見上げミラー像を撮影する単数のカメラとからなるカメラシステムなどを用いて全周表示画像を得てもよい。また、全周表示画像の代わりに、単数または複数のカメラを用いた車両周辺の一部分（後方のみなど）の合成画像を用いてもよい。
【０１００】
また、上述した実施形態では、演算部１０を携帯型遠隔操作装置側に設けたが、車両側に設け、演算部１０の演算結果を無線通信により携帯型遠隔操作装置側に送るようにしてもよい。
【０１０１】
また、上述した実施形態において、車両操作システムを構成する各ブロックの内部メモリをブロック毎に個別に設けるのではなく、複数のブロックでメモリを共有する構成にしても構わない。
【０１０２】
また、上述した実施形態では、自車両からの持ち運びが可能な携帯型遠隔操作装置によって遠隔操作を可能としているが、携帯型遠隔操作装置に該当する部分を自車両内に据え付けて自車両内での操作のみを可能としてもよい。この場合、無線送受信部及びアンテナを廃止することができる。また、この場合、例えば、カーナビゲーションシステムの表示装置と本発明に係る車両操作システムのタッチパネルモニタとを共用しても良い。
【図面の簡単な説明】
【０１０３】
【図１】は、本発明の第１実施形態に係る車両操作システムの構成を示すブロック図である。
【図２】は、本発明の第１実施形態に係る車両操作システムが実行する処理を示すフローチャートである。
【図３】は、タッチパネルモニタが表示する全周表示画像の例を表す図である。
【図４】は、カメラ座標系と撮像面の座標系と世界座標系との関係を示す図である。
【図５】は、移動の始点と移動の終点とが全周表示画像に重畳して表示されている例を表す図である。
【図６】は、移動方向の矢印と進路予想線とが全周表示画像に重畳して表示されている例を表す図である。
【図７】は、衝突の危険性がある移動方向の矢印と進路予想線とが全周表示画像に重畳して表示されている例を表す図である。
【図８】は、タッチパネルモニタが表示する全周表示画像におけるペン入力の軌跡を表す図である。
【図９】は、衝突の危険性がない移動方向の矢印と進路予想線とが全周表示画像に重畳して表示されている例を表す図である。
【図１０】は、本発明の第２実施形態に係る車両操作システムの構成を示すブロック図である。
【図１１】は、本発明の第２実施形態に係る車両操作システムが実行する処理を示すフローチャートである。
【図１２】は、単眼カメラの映像から立体物を検出する方法の一例を示すフローチャートである。
【図１３】は、時刻ｔ１及びｔ２の撮影画像を表す図である。
【図１４】は、撮影画像上の特徴点と当該特徴点の時刻ｔ１−ｔ２間の移動ベクトルを表す図である。
【図１５】は、時刻ｔ１及びｔ２の鳥瞰図画像を表す図である。
【図１６】は、鳥瞰図画像上の特徴点と当該特徴点の時刻ｔ１−ｔ２間の移動ベクトルを表す図である。
【図１７】は、カメラ移動情報を座標系で表現した図である。
【図１８】は、時刻ｔ１−ｔ２間でのフレーム間差分画像を表す図である。
【図１９】は、図１８の差分画像に対して２値化処理を施すことで得られる２値画像を表す図である。
【図２０】は、立体領域を抽出した画像を表す図である。
【図２１】は、トラックの前後左右に４つのカメラを設置した場合の全周表示画像の例を示す図である。
【符号の説明】
【０１０４】
１Ａ〜１Ｄ  カメラ
２  画像処理装置
３  車両側無線送受信部
４  車両側アンテナ
５  自動運転制御部
６  トランスミッションアクチュエータ
７  ブレーキアクチュエータ
８  スロットルアクチュエータ
９  タッチパネルモニタ
１０  演算部
１１  操作装置側無線送受信部
１２  操作装置側アンテナ
１３  障害物検知部
【図１】
0005124351.tif 000012
【図２】
0005124351.tif 000013
【図３】
0005124351.tif 000014
【図４】
0005124351.tif 000015
【図５】
0005124351.tif 000016
【図６】
0005124351.tif 000017
【図７】
0005124351.tif 000018
【図８】
0005124351.tif 000019
【図９】
0005124351.tif 000020
【図１０】
0005124351.tif 000021
【図１１】
0005124351.tif 000022
【図１２】
0005124351.tif 000023
【図１３】
0005124351.tif 000024
【図１４】
0005124351.tif 000025
【図１５】
0005124351.tif 000026
【図１６】
0005124351.tif 000027
【図１７】
0005124351.tif 000028
【図２１】
0005124351.tif 000029
【図１８】
0005124351.tif 000030
【図１９】
0005124351.tif 000031
【図２０】
0005124351.tif 000032