(57)【要約】      （修正有）【課題】乗車する人の状況に応じた、適切な車両の運転操作支援を可能にする画像処理装置および車載カメラシステムを提供する。【解決手段】画像処理装置１２は、移動体の周辺領域を撮像した撮像画像を取得する画像取得部２１と、移動体の乗員の着座に関する情報を受け取り、着座に関する情報に応じて撮像画像に重畳表示する走行支援ガイドを変える画像処理部２６と、を備える。画像処理部２６は、着座に関する情報に基づいて、乗員が着座していると判定される座席の近傍のドアからの乗降に必要なスペースを示す表示を、走行支援ガイドとして付加してもよい。【選択図】図１
2015162768.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周辺領域を撮像した撮像画像を取得する画像取得部と、
前記移動体の乗員の着座に関する情報を受け取り、前記着座に関する情報に応じて前記撮像画像に重畳表示する走行支援ガイドを変える画像処理部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、
前記着座に関する情報に基づいて、前記乗員が着座していると判定される座席の近傍のドアからの乗降に必要なスペースを示す表示を、前記走行支援ガイドとして生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記着座に関する情報は、着座席の位置、着座席にかかる重量、着座席のシートベルトの繰り出し量、チャイルドシート装着の有無、および車椅子の使用の有無のうち少なくとも１つの情報要素を含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像処理部は、
前記着座に関する情報に含まれる前記情報要素の種類または数値に応じて、前記走行支援ガイドの形態および表示量の少なくとも一方を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像処理部は、
前記走行支援ガイドの表示量を移動体からの距離に応じて異ならせることを特徴とする請求項１から４に記載の画像処理装置。
【請求項６】
前記撮像画像を生成する複数の撮像装置と、
請求項１から５のいずれか１項に記載の画像処理装置と、を備える
ことを特徴とする、車載カメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の走行支援ガイドを表示させる画像処理装置および車載カメラシステムに関する。
【背景技術】
【０００２】
車両などの移動体の運転操作を支援するシステムが知られている。例えば、特許文献１には、車両を駐車する際に、走行予想軌跡を撮像手段からの映像に重畳して表示することが記載されている。このとき、車両からの距離に応じてピッチが異なる破線もしくは点線で走行予想軌跡を描画するので、運転者は感覚的に距離感を得ることができる。また、特許文献１には、進行方向近傍に他車両等の障害物がある場合に走行予想軌跡の色や輝度の変化や破線や点線のピッチを変更して注意喚起を行なう技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２１１４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示される技術では、乗員の乗降スペース（乗降に必要なスペース）については考慮されず、また乗員がどの座席に乗っていても表示される走行予想軌跡は同じである。したがって、特許文献１の技術を用いて駐車した車両は、十分な乗降スペースを確保できなかった場合に駐車をやり直す可能性がある。
【０００５】
かかる事情に鑑みてなされた本発明の目的は、乗車する人の状況に応じた、適切な車両の運転操作支援を可能にする画像処理装置および車載カメラシステムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明に係る画像処理装置は、
移動体の周辺領域を撮像した撮像画像を取得する画像取得部と、
前記移動体の乗員の着座に関する情報を受け取り、前記着座に関する情報に応じて前記撮像画像に重畳表示する走行支援ガイドを変える画像処理部と、を備えることを特徴とする。
【０００７】
また、本発明に係る画像処理装置において、
前記画像処理部は、
前記着座に関する情報に基づいて、前記乗員が着座していると判定される座席の近傍のドアからの乗降に必要なスペースを示す表示を、前記走行支援ガイドとして生成することが好ましい。
【０００８】
また、本発明に係る画像処理装置において、
前記着座に関する情報は、着座席の位置、着座席にかかる重量、着座席のシートベルトの繰り出し量、チャイルドシート装着の有無、および車椅子の使用の有無のうち少なくとも１つの情報要素を含むことを特徴とすることが好ましい。
【０００９】
また、本発明に係る画像処理装置において、
前記画像処理部は、
前記着座に関する情報に含まれる前記情報要素の種類または数値に応じて、前記走行支援ガイドの形態および表示量の少なくとも一方を変更することを特徴とすることが好ましい。
【００１０】
また、本発明に係る画像処理装置において、
前記画像処理部は、
前記走行支援ガイドの表示量を移動体からの距離に応じて異ならせることが好ましい。
【００１１】
また、本発明に係る車載カメラシステムは、
前記撮像画像を生成する複数の撮像装置と、
前記のいずれかの画像処理装置と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明に係る画像処理装置および車載カメラシステムによれば、乗車する人の状況に応じた、適切な車両の運転操作支援を可能にする。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る画像処理装置および画像処理装置を備える車載カメラシステムの概略構成を示すブロック図である。
【図２】図１の車載カメラシステムの構成要素の配置を示す概略図である。
【図３】図１の車載カメラシステムを搭載した車両の駐車例を示す図である。
【図４】比較のための走行支援ガイドを付加しない走行予想軌跡の例を示す図である。
【図５】走行支援ガイドを付加した走行予想軌跡の例を示す図である。
【図６】走行支援ガイドを付加した走行予想軌跡の別の例を示す図である。
【図７】走行支援ガイドの多段階表示の例を示す図である。
【図８】走行支援ガイドの多段階表示の別の例を示す図である。
【図９】図１の画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照して説明する。
はじめに、本発明の一実施形態に係る画像処理装置１２および車載カメラシステム１０について説明する。図１は、画像処理装置１２を備える車載カメラシステム１０の概略構成を示す機能ブロック図である。
【００１５】
図１に示すように、車載カメラシステム１０は、複数の撮像装置（フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄ）、画像処理装置１２、表示装置１３およびセンサ部２７を備える。本実施形態において、車載カメラシステム１０の各構成要素は、専用線又はＣＡＮ（Controller Area Network）などの車載ネットワーク１４を介して情報を送受信可能である。なお、車載カメラシステム１０において、画像処理装置１２が、表示装置１３と同一の機能を有する表示部を備える構成であってもよい。
【００１６】
図２に示すように、フロントカメラ１１ａは、車両などの移動体１５の前方の周辺領域を撮像可能となるように配置される。リアカメラ１１ｂは、移動体１５の後方の周辺領域を撮像可能となるように配置される。左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、例えば左右のドアミラー１６において鉛直下向きに、移動体１５の側方の周辺領域をそれぞれ撮像可能となるように配置される。なお、図２では、右サイドカメラ１１ｄは移動体１５の車体に隠れているため図示されていない。また、左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、移動体１５の左右両側にそれぞれ対称に配置される。表示装置１３は、運転席から視認可能な位置に配置される。
【００１７】
フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、例えば魚眼レンズなどの画角の広いレンズを備えており、移動体１５の周辺領域を広角撮影可能である。一般に、広角撮影においては広範囲の被写体を撮像可能であって、画像周辺部における被写体は湾曲して撮像されるが、撮像装置自身または画像処理装置１２によって湾曲が修正されてから表示装置１３に表示される。
【００１８】
次に、再び図１を参照して、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの構成について説明する。フロントカメラ１１ａは、光学系１７ａと、撮像素子１８ａと、画像処理部１９ａと、カメラ制御部２０ａと、を備える。
【００１９】
光学系１７ａは、絞りおよびレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系１７ａは広い画角を有しており、上述のように移動体１５の周辺領域に含まれる被写体像を結像可能である。
【００２０】
撮像素子１８ａは、例えばＣＭＯＳ撮像素子であって、光学系１７ａによって結像する被写体像を撮像する。また、撮像素子１８ａは、撮像により生成した撮像画像を、画像信号として画像処理部１９ａに出力する。
【００２１】
画像処理部１９ａは、撮像素子１８ａから取得した画像信号に対して、ノイズ除去、色補間、明るさ補正、色補正、ガンマ補正、およびホワイトバランスなどの所定の画像処理を施す。画像処理部１９ａは、通常の画像処理を施した画像信号を画像処理装置１２に出力する。
【００２２】
カメラ制御部２０ａは、フロントカメラ１１ａの各部位の動作を制御する。例えば、カメラ制御部２０ａは、撮像素子１８ａおよび画像処理部１９ａの動作を制御して、周期的に、例えば３０ｆｐｓで画像信号を出力させる。
【００２３】
リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、フロントカメラ１１ａと同様に、光学系１７ｂ、１７ｃ、１７ｄ、撮像素子１８ｂ、１８ｃ、１８ｄ、画像処理部１９ｂ、１９ｃ、１９ｄ、およびカメラ制御部２０ｂ、２０ｃ、２０ｄをそれぞれ備える。光学系１７ｂ、１７ｃ、１７ｄ、撮像素子１８ｂ、１８ｃ、１８ｄ、画像処理部１９ｂ、１９ｃ、１９ｄ、およびカメラ制御部２０ｂ、２０ｃ、２０ｄの機能および構成は、フロントカメラ１１ａと同様である。
【００２４】
画像処理装置１２は、画像取得部２１と、制御情報取得部２２と、画像処理部２６とを備える。画像取得部２１は、車載ネットワーク１４を介して、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄからそれぞれの方向の周辺領域の撮像画像を取得する。なお、画像取得部２１は、前方、後方および側方（右方、左方）の周辺領域の撮像画像の全部を取得してもよいし、一部を取得してもよい。
【００２５】
制御情報取得部２２は、移動体１５の制御情報を取得する。制御情報は、移動体１５の状態に関する種々の情報、例えば、移動体１５の前進、後進、操舵角、および速度を示す情報である。制御情報取得部２２は、任意の方法により制御情報を取得可能であり、例えば車載ネットワーク１４を介して移動体１５から取得してもよく、あるいは移動体１５に備えられる他の構成要素が出力する制御情報を有線／無線を介して取得してもよい。
【００２６】
画像処理部２６は、例えばリアカメラ１１ｂが撮像して画像取得部２１が取得した撮像画像に、走行予想軌跡を重畳した画像を生成して表示装置１３に表示させる。走行予想軌跡は、移動体１５の進行方向の予想軌跡であって、駐車等の際に移動体１５の運転操作を支援するために表示される。画像処理部２６は、制御情報取得部２２が取得した操舵角を示す情報から車両走行予想軌跡を算出する。
【００２７】
また、画像処理部２６は、走行支援ガイドを生成する。走行支援ガイドは、移動体１５の運転操作を支援するために、走行予想軌跡に付加される画像である。画像処理部２６は、後述する「着座に関する情報」をセンサ部２７等から受け取る。そして、着座に関する情報に応じて走行支援ガイドを変えて、走行支援ガイドを付加した走行予想軌跡を生成する。なお、画像処理装置１２は画像処理部２６とは別に着座に関する情報の一部または全部を受け取る情報取得部を備えていてもよい。このとき、着座に関する情報を受け取る情報取得部は、制御情報取得部２２と異なるものであってもよいし、制御情報取得部２２がその機能を兼ねてもよい。着座に関する情報に応じた走行支援ガイドの変化については後述する。また、画像処理部２６は、表示装置１３の仕様に合わせた画像信号（例えば、ＮＴＳＣ（National Television System Committee）方式に従ったコンポジット映像信号）を出力する。
【００２８】
表示装置１３は、例えばＬＣＤを含んで構成され、リアルタイムの動画像を表示可能である。表示装置１３は、車載ネットワーク１４を介して、少なくとも画像処理装置１２が生成した画像（画像取得部２１が取得した撮像画像に走行支援ガイドを付加した走行予想軌跡を重畳させた画像）を表示する。なお、本実施形態において、表示装置１３は、タッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとしても機能する。そして、ユーザ操作により着座に関する情報（後述する事前指定情報）を画像処理装置１２に伝えることができる。
【００２９】
センサ部２７は、着座センサ２８、重量センサ２９を備え、これらのセンサが検出したセンサ情報に基づいて着座に関する情報を生成する。そして、車載ネットワーク１４を介して、着座に関する情報を画像処理装置１２に出力する。
【００３０】
着座センサ２８、重量センサ２９は１つのセンサで構成されていてもよいが、本実施形態では複数のセンサを含んで構成される。例えば、着座センサ２８は、座席および背もたれ部分の圧力を検出する圧力センサ、シートベルトの巻取装置（リトラクター）にあってベルトの引き出し状態を検出できる回転センサなどを含む。重量センサ２９は、トランクの荷物の重さを量る重量センサ、座席にかかる体重を量る重量センサ、車いす、ベビーカーを置く特定の場所の荷物の重さを量る重量センサなどを含む。
【００３１】
センサ部２７は、着座センサ２８、重量センサ２９が検出した物理量のデータ（以下、検出データとする）に基づいて、画像処理部２６が必要な個々の情報である「情報要素」を生成する。センサ部２７が画像処理部２６に出力する「着座に関する情報」は、１つ以上の「情報要素」の集まりで構成される。
【００３２】
「情報要素」の具体例としては「着座席の位置」、「着座席にかかる重量」、「着座席のシートベルトの繰り出し量」、「チャイルドシート装着の有無」、「車いす使用の有無」、「ベビーカー使用の有無」などが挙げられる。
【００３３】
センサ部２７は、「着座席の位置」の情報を圧力センサの検出データから得ることができる。ここで、着座席とは乗員が着座している座席であり、空席でない座席のことである。
【００３４】
また、センサ部２７は、「着座席にかかる重量」の情報を、圧力センサおよび座席にかかる体重を量る重量センサの検出データから得ることができる。「着座席にかかる重量」の重い、軽いは乗員の体型の推定に用いることができる。
【００３５】
また、センサ部２７は、「着座席のシートベルトの繰り出し量」および「チャイルドシート装着の有無」の情報を圧力センサおよび回転センサの検出データから得ることができる。例えば、圧力センサの検出データにあまり変化がなく、回転センサの検出データからベルトが常に引き出されている状態であれば、センサ部２７は「チャイルドシート装着の有無」は“有り”であると判定できる。なお、「着座席のシートベルトの繰り出し量」の多い、少ないは乗員の体型の推定に用いることができる。
【００３６】
また、センサ部２７は、「車いす使用の有無」の情報、「ベビーカー使用の有無」の情報、をそれぞれ車いす、ベビーカーを置く特定の場所の荷物の重さを量る重量センサの検出データから得ることができる。
【００３７】
着座に関する情報は、以上のように、「着座席の位置」の他、「着座席にかかる重量」等の様々な乗員に関する情報が含まれる。画像処理部２６は、「着座席の位置」の情報に応じて近傍のドアＤからの乗降に必要なスペースである走行支援ガイドを生成する。例えば、「着座席の位置」が運転席側と助手席側の両方にある場合には、両側のドアからの乗降に必要なスペースである走行支援ガイドがそれぞれ生成される。また、詳細については後述するが、「着座席にかかる重量」等の乗員に関する情報に応じて、画像処理部２６は走行支援ガイドの形態および表示量の少なくとも一方を変更する。
【００３８】
ここで、着座に関する情報に含まれる全ての情報要素は、ユーザによって設定することが可能である。上記の例では、「着座席の位置」、「着座席にかかる重量」といった情報要素は、センサ部２７で検出されて画像処理部２６に出力されるが、ユーザが事前指定情報として着座に関する情報を設定することが可能である。このとき、表示装置１３が、ユーザ操作を受け付けるインターフェースとなる。事前指定情報によって、センサでは検出できない細かい設定が可能であり、画像処理部２６にユーザの設定を優先させることが可能になる。例えば、現在の乗員には車いすの使用者がいないが、駐車後の次の乗車で車いすを使用する乗員が含まれる場合には、その乗員の乗降スペースを考慮して駐車する必要がある。センサ部２７では現在の乗員の状態しか把握することができない。しかし、事前指定情報によって、ユーザによる細かい設定が可能になる。なお、以下では「着座に関する情報」にはユーザが設定する「事前指定情報」が含まれるとして説明する。
【００３９】
なお、上記の具体例以外の「情報要素」が「着座に関する情報」に含まれていてもよい。また、逆に「着座に関する情報」は、上記の具体例の一部だけを含んでいてもよい。また、上記の例では「チャイルドシート装着の有無」、「車いす使用の有無」、「ベビーカー使用の有無」についてもセンサ部２７から出力されるとしているが、画像処理部２６がこれらの有無を判定してもよい。つまり、画像処理部２６がセンサ部２７の圧力センサ、回転センサ、重量センサの検出データを取得して、これらの検出データに基づく判定を行ってもよい。
【００４０】
以下では、表示装置１３に表示される撮像画像に走行支援ガイドを付加した走行予想軌跡を重畳した画像の例を示し、その後に画像処理装置１２の処理について述べる。ここで、図３に示されるように、画像処理装置１２を備える車載カメラシステム１０を搭載した車両（移動体１５の一例）が、所定の駐車スペースＰＳに後方から進入して駐車する例を適宜用いて説明する。
【００４１】
図３の例では、車両である移動体１５は、３つある駐車スペースＰＳの真ん中に駐車する。センターラインＣＬは駐車スペースＰＳの左右の幅が等しくなる仮想的な線である。また、障害物Ｂが紙面左側の駐車スペースＰＳとの境界部分に存在する。
【００４２】
このとき、移動体１５の乗員Ｐ１、Ｐ２、Ｐ３の着座席が全て運転席側（紙面左方）であるため、乗員Ｐ１、Ｐ２、Ｐ３は近くのドアＤ（紙面左方）から降りる。移動体１５を駐車スペースＰＳの内側に駐車しても、障害物ＢによってドアＤを十分に開くことができずに乗員Ｐ１、Ｐ２、Ｐ３の乗降スペースを確保できない場合には、運転者は駐車をやり直す可能性がある。
【００４３】
特に、例えば乗員Ｐ１、Ｐ２、Ｐ３のうちの少なくとも一人がベビーカーや車いすを使用する場合には、より広い乗降スペースを確保することが必要になる。つまり、ドアＤを通常よりも広く開閉しなければ、ベビーカーや車いすを使用する者は降車できないからである。このように、乗車する人の状況（着座席、ベビーカーや車いすの使用）によって、要求される乗降スペースは変化するが、従来の画像処理装置、車載カメラシステム１０では、乗車する人の状況によらず表示される走行予想軌跡は同じであった。以下に説明するように、本実施形態の画像処理装置１２は、表示装置１３に走行予想軌跡に加えて乗車する人の状況に応じて走行支援ガイドを表示させる。
【００４４】
まず、比較のために、図４を参照して、表示装置１３に走行支援ガイドを付加しない走行予想軌跡が表示される例を示す。図４の走行予想軌跡ＰＬＲ、ＰＬＬは、従来の画像処理装置が表示する走行予想軌跡に対応する。図４のように走行予想軌跡ＰＬＲ、ＰＬＬが移動体１５の操舵角に応じて表示装置１３に表示される。この例で、走行予想軌跡ＰＬＲ、ＰＬＬは、リアカメラ１１ｂが撮像した撮像画像に重畳して表示装置１３に表示されている。走行予想軌跡ＰＬＲと走行予想軌跡ＰＬＬの間隔は移動体１５の幅（車幅）に対応し、運転者は駐車の際に移動体１５の障害物回避などに役立てることができる。しかし、図４の表示では、乗員Ｐ１、Ｐ２、Ｐ３が降車する際に、ドアＤと障害物Ｂとを接触させることなく乗降できるかは明らかではない。なお、図４の駐車スペースＰＳの枠線、障害物Ｂは撮像画像であり、走行予想軌跡ＰＬＲ、ＰＬＬは撮像画像に重畳表示されるものである。また、センターラインＣＬは説明のための仮想線である。
【００４５】
次に、図５を参照して、表示装置１３に走行支援ガイドを付加した走行予想軌跡ＰＬＲ、ＰＬＬが表示される例を示す。走行支援ガイドは、移動体１５の運転操作を支援するために、走行予想軌跡ＰＬＲ、ＰＬＬに付加される画像である。図５に示されるように、走行予想軌跡ＰＬＲ、ＰＬＬには、走行支援ガイドとして乗降スペースＤＡ１、ＤＡ２が付加されている。この乗降スペースＤＡ１は、乗員Ｐ１、Ｐ２、Ｐ３がドアＤ（紙面左方）から降りるために必要なスペースである。ここで、さらに乗員Ｐ３は車いすを利用する者とする。乗降スペースＤＡ２は、車いすを後部トランクから降ろすために必要なスペースである。図５の例では、乗降スペースＤＡ２は、移動体１５の端部であるリアバンパー（図５における車両バンパー）から後方に所定の表示量で示され、移動体１５とともに移動する。
【００４６】
画像処理装置１２の画像処理部２６は、センサ部２７から着座に関する情報を受け取る。そして、画像処理部２６は、乗員Ｐ１、Ｐ２、Ｐ３の「着座席の位置」が運転席側であることを把握する。また、画像処理部２６は、事前指定情報、すなわち表示装置１３からユーザが入力した着座に関する情報を受け取る。そして、画像処理部２６は、「車いす使用の有無」は“有り”であると判定する。
【００４７】
そして、画像処理装置１２は、後部トランクから車いすを降ろすことができるように、走行支援ガイドとして乗降スペースＤＡ２を走行予想軌跡ＰＬＲ、ＰＬＬに付加して表示装置１３に表示させる。また、移動体１５の運転席側で乗員Ｐ１、Ｐ２、Ｐ３が降車でき、かつ乗員Ｐ３が車いすで移動できるように、走行支援ガイドとして乗降スペースＤＡ１を走行予想軌跡ＰＬＲに付加して表示装置１３に表示させる。このとき、運転者は、表示装置１３に表示される走行支援ガイド（乗降スペースＤＡ１、ＤＡ２）を見ることで、障害物Ｂが妨げになることなく乗員Ｐ１、Ｐ２、Ｐ３が降車でき、かつ車いすも降ろすことができることを確認しながら駐車することができる。
【００４８】
なお、図５の例では、表示装置１３に、乗降スペースＤＡ１だけでなく走行予想軌跡ＰＬＲも表示されているが、走行予想軌跡ＰＬＲの表示は省略されてもよい。図５の例において、乗降スペースＤＡ１の移動体１５の側の外枠は走行予想軌跡ＰＬＲと重なっている。そのため、乗降スペースＤＡ１の移動体１５の側の外枠が走行予想軌跡ＰＬＲに相当することを把握していれば、運転者は走行予想軌跡ＰＬＲの表示がなくても支障なく駐車可能である。また、走行予想軌跡ＰＬＲの表示を省略することで、人によっては画面が見やすいと感じる可能性がある。このような場合、例えば運転者が表示装置１３の表示設定を行うことで、走行予想軌跡ＰＬＲの表示が省略されてもよい。一方、図５の例では乗員Ｐ１、Ｐ２、Ｐ３の乗降する側（紙面左方）でない走行予想軌跡ＰＬＬ（紙面右方）には乗降スペースＤＡ１が表示されない。そのため、走行予想軌跡ＰＬＬの表示がないと運転者は移動体１５の幅が把握できず、駐車に支障を生じる可能性がある。よって、図５の例において、走行予想軌跡ＰＬＬの表示は省略されない。
【００４９】
ここで、走行支援ガイドである乗降スペースＤＡ１、ＤＡ２は他の映像とは明確に区別できる色（例えば黄色や赤色）で表示されてもよい。また、乗降スペースＤＡ１、ＤＡ２は図５のように四角形といった形状だけでなく円、四角形以外の多角形で表示されてもよいし、特定の形状ではなくドット表示やグラデーション表示などで示されてもよい。画像処理装置１２は、表示装置１３に走行支援ガイドである乗降スペースＤＡ１、ＤＡ２を表示することで、乗員Ｐ１、Ｐ２、Ｐ３の乗降スペースを考慮した運転操作の支援を行うことができる。
【００５０】
また、奥行きを運転者に示して、移動体１５の運転操作をしやすくするために、走行支援ガイドの形態や表示量（例えば、表示の大きさ）を移動体１５からの距離に応じて異ならせることが好ましい。図５の例では、乗降スペースＤＡ１の表示量は移動体１５から遠くなるにつれて小さくなっており、運転操作がしやすいように配慮されている。また、移動体１５からより遠くにある乗降スペースＤＡ２の表示量は、乗降スペースＤＡ１よりも小さい。なお、乗降スペースＤＡ１、ＤＡ２の枠線が点線で示されて、その間隔が移動体１５からの距離に応じて変化（例えば遠いほど高密度）してもよい。
【００５１】
走行支援ガイドの形態や表示量が移動体１５からの距離に応じて異なっていることにより、運転者は撮像画像における距離（例えば駐車スペースＰＳの幅）と走行支援ガイドによって示される距離（例えば乗降スペースＤＡ１を含めた移動体１５の幅）とを視覚的に比較できる。そのため、運転者は、例えば乗員が乗降可能なように移動体１５を駐車できるか否かを早くに判断することが可能である。例えば図６は、車両である移動体１５が駐車スペースＰＳに後方から進入し始める際の、表示装置１３に表示される乗降スペースＤＡ１の例を示している。ここでは、図３の例とは異なり、運転席側にも助手席側にも乗員が着座しているとして説明する。
【００５２】
図６の例では、走行予想軌跡ＰＬＲ、ＰＬＬに付加されている乗降スペースＤＡ１は、移動体１５から離れるに従って撮像画像に合わせた適切な縮尺で幅が狭くなっている。そのため、運転者は駐車スペースＰＳの幅と、乗降スペースＤＡ１を含めた移動体１５の幅とを容易に比較でき、移動体１５が駐車スペースＰＳに進入する前に駐車可能か否かの判断ができる。
【００５３】
ここで、上記のように、着座に関する情報は、着座席の位置、車椅子の使用の有無以外にも、着座席にかかる重量、着座席のシートベルトの繰り出し量、チャイルドシート装着の有無といった情報要素を含み得る。画像処理部２６は、センサ部２７からの「着座席にかかる重量」の情報に基づいて、乗員Ｐ１、Ｐ２、Ｐ３の体型を推定することができる。仮に、画像処理部２６が、乗員Ｐ１は重量が標準体重よりも大きいために肥満体形であり、他の２人は標準体重であるため通常体型であると推定したとする。このとき、画像処理部２６は、乗員Ｐ１の近傍のドアＤの外側に表示量の大きい乗降スペースを表示させ、他の２人の近傍のドアＤの外側に通常の大きさの乗降スペースを表示させる。
【００５４】
また、画像処理部２６は、センサ部２７からの「着座席のシートベルトの繰り出し量」の情報に基づいて、乗員Ｐ１、Ｐ２、Ｐ３の体型を推定することができる。仮に、画像処理部２６が、乗員Ｐ１はシートベルトの繰り出し量が標準より長いために肥満体形であり、他の２人は標準の繰り出し量であるため通常体型であると推定したとする。このとき、画像処理部２６は、乗員Ｐ１の近傍のドアＤの外側に大きな乗降スペースを表示させ、他の２人の近傍のドアＤの外側に通常の大きさの乗降スペースを表示させる。
【００５５】
また、画像処理部２６は、センサ部２７からの「チャイルドシート装着の有無」の情報に基づいて、子供の乗る位置を把握できる。画像処理部２６は、「チャイルドシート装着の有無」が“有り”であるとの情報を得た場合には、親が子供を降ろすことを想定して、また、子供がドアＤを全開にしても障害物Ｂにぶつかることが無いように、チャイルドシートのある座席の近傍のドアＤの外側に大きな乗降スペースを表示させる。
【００５６】
また、着座に関する情報に含まれる情報要素の種類、数値に応じて、このような走行支援ガイドの形態および表示量の少なくとも一方を変更してもよい。具体例としては、「着座席にかかる重量」の数値に基づいて乗員の体格を推定して走行支援ガイド（図５の例では乗降スペースＤＡ１、ＤＡ２）を表示する場合には黄色表示にし、「車いす使用の有無」が“有り”である場合には赤色表示にしてもよい。また、情報要素として「チャイルドシート装着の有無」が含まれており、画像処理装置１２がチャイルドシート装着を“有り”と判定する場合には、注意を喚起するように走行支援ガイド（図５の例では乗降スペースＤＡ１、ＤＡ２）は通常より表示量を増やして表示されてもよい。
【００５７】
次に、図７を参照して、走行予想軌跡に走行支援ガイドが多段階に付加される別の例を示す。上記のように、図３の例では乗員Ｐ１、Ｐ２、Ｐ３は近くのドアＤ（紙面左方）から降りる。ここでは、乗員Ｐ１、Ｐ２、Ｐ３の誰も特別な事情（ベビーカーや車いすを使用すること）がないが、将来的に車いすを利用する者が乗車することを想定する。
【００５８】
画像処理装置１２の画像処理部２６は、表示装置１３、センサ部２７から着座に関する情報を受け取る。画像処理部２６は、センサ部２７からの「着座席の位置」の情報に基づいて、乗員Ｐ１、Ｐ２、Ｐ３が運転席側に座っていることを把握する。また、画像処理部２６は、表示装置１３からユーザが入力した着座に関する情報（事前指定情報）を受け取る。画像処理部２６は、事前指定情報によって「車いす使用の有無」が現在は“無し”であるが、次の乗車時に“有り”となることを把握する。そして、画像処理装置１２は、図７のように、多段階の走行支援ガイド（乗降ガイドＧＲ０、ＧＬ０、ＧＲ１、ＧＬ１）が付加された走行予想軌跡ＰＬＲ、ＰＬＬを表示装置１３に表示させる。
【００５９】
図７の例では、特別な事情のない乗員の乗降スペースの外の枠線を示す乗降ガイドＧＲ０、ＧＬ０と、車いす利用者のための乗降スペースの外の枠線を示す乗降ガイドＧＲ１、ＧＬ１が、走行予想軌跡ＰＬＲ、ＰＬＬに付加されて多段階に表示されている。よって、運転者が適切な駐車位置を選択可能である。なお、図７の例では、乗降ガイドＧＲ０と走行予想軌跡ＰＬＲとで挟まれる領域、および乗降ガイドＧＬ０と走行予想軌跡ＰＬＬとで挟まれる領域が、車いす利用者ではない乗員の乗降スペースに対応する。また、乗降ガイドＧＲ１と走行予想軌跡ＰＬＲとで挟まれる領域、および乗降ガイドＧＬ１と走行予想軌跡ＰＬＬとで挟まれる領域が、車いす利用者のための乗降スペースに対応する。
【００６０】
ここで、図７の例では、多段階の走行支援ガイド（乗降ガイドＧＲ０、ＧＬ０、ＧＲ１、ＧＬ１）が同時に表示されている。しかし、着座に関する情報に応じて、現在有効である走行支援ガイドのみが示されてもよいし、多段階の走行支援ガイドが同時に表示されるときには、着座に関する情報に応じて、どの走行支援ガイドが現在有効であるのかを色付けやハッチング等で表してもよい。つまり、画像処理装置１２の画像処理部２６は、現在参照すべき走行支援ガイドをわかりやすく示すことで、運転者が判断しやすいようにしてもよい。
【００６１】
例えば図８は、図７と同じように走行支援ガイドの多段階表示が行われているが、同時にハッチング処理がされている。このとき、運転席側にも助手席側にも乗員が着座しており、運転席側（紙面左側）には体格の大きい乗員が、助手席側（紙面右側）には通常の体格の乗員が着座しているとする。図８の例では、画像処理部２６は、ハッチング処理によって運転席側（紙面左側）に広い乗降スペース、助手席側（紙面右側）に通常の乗降スペースが必要であることを示し、運転者にわかりやすく走行支援ガイドを示すことができる。
【００６２】
以下に、画像処理装置１２の処理について図９のフローチャートを用いて説明する。はじめに、画像処理装置１２は、複数の撮像装置（フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄ）から撮像画像をそれぞれ取得する（ステップＳ２）。
【００６３】
そして、画像処理装置１２の画像処理部２６は、制御情報取得部２２が取得した制御情報のうち特に操舵角に基づいて、走行予想軌跡ＰＬＲ、ＰＬＬを計算する（ステップＳ４）。さらに、画像処理装置１２の画像処理部２６は、着座に関する情報をセンサ部２７等から受け取る（ステップＳ６）。上記の通り、着座に関する情報には、タッチパネルである表示装置１３を用いてユーザが入力する事前指定情報も含まれる。例えば、ユーザは、事前指定情報によって「ベビーカー使用の有無」について“有り”にしておくことができる。このとき、画像処理部２６は、センサ部２７からの着座に関する情報も受け取るが、優先的に事前指定情報に基づいた判定を行う。事前指定情報によって、ユーザは画像処理部２６の判定について制御することが可能になる。
【００６４】
このとき、画像処理装置１２の画像処理部２６は、センサ部２７からの着座に関する情報によって、例えば「ベビーカー使用の有無」以外の「着座席の位置」、「着座席にかかる重量」、「着座席のシートベルトの繰り出し量」等についても把握する。
【００６５】
そして、画像処理装置１２は着座に関する情報に基づいて走行予想軌跡ＰＬＲ、ＰＬＬに付加する走行支援ガイドを計算する（ステップＳ８）。先の例では、「ベビーカー使用の有無」が“有り”なので、後部トランクからベビーカーを降ろすことができるような乗降スペース、および乗員がベビーカー移動できるような乗降スペースについて計算する。
【００６６】
その後、画像処理装置１２は、計算した乗降スペースを走行支援ガイドとして走行予想軌跡ＰＬＲ、ＰＬＬに付加して撮像画像に重畳表示して（ステップＳ１０）、一連の処理を終える。
【００６７】
以上のように、本実施形態に係る画像処理装置１２および車載カメラシステム１０は、移動体１５の乗員の着座に関する情報に応じて撮像画像に重畳表示する走行支援ガイドを変える。例えば、着座席が運転席側、または助手席側だけである場合、乗員に車いすの使用者が含まれる場合、ベビーカーを使用する場合などでも、その乗降まで考慮した走行支援ガイドを付加した走行予想軌跡を表示装置１３に表示する。そのため、乗車する人の状況に応じた、適切な車両の運転操作支援を可能にする。
【００６８】
本発明を図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【００６９】
また、上述の実施形態において、多段階の走行支援ガイド（乗降ガイドＧＲ０、ＧＬ０、ＧＲ１、ＧＬ１）は太さや実線、破線の別で区別できるように示されているが（図７参照）、色分けやグラデーションなどで区別できるように示されてもよい。また、走行支援ガイドが付加される場合に、標準的な走行予想軌跡ＰＬＲ、ＰＬＬの表示を省略してもよい。また、走行支援ガイドが乗降スペース（図５の例では乗降スペースＤＡ１、ＤＡ２）である場合、色つき表示だけでなく、ハッチングや領域の点滅等で表示されてもよい。
【符号の説明】
【００７０】
１０    車載カメラシステム
１１ａ  フロントカメラ
１１ｂ  リアカメラ
１１ｃ  左サイドカメラ
１１ｄ  右サイドカメラ
１２    画像処理装置
１３    表示装置
１４    車載ネットワーク
１５    移動体
１６    ドアミラー
１７ａ、１７ｂ、１７ｃ、１７ｄ    光学系
１８ａ、１８ｂ、１８ｃ、１８ｄ    撮像素子
１９ａ、１９ｂ、１９ｃ、１９ｄ    画像処理部
２０ａ、２０ｂ、２０ｃ、２０ｄ    カメラ制御部
２１    画像取得部
２６    画像処理部
２７    センサ部
２８    着座センサ
２９    重量センサ
Ｂ      障害物
ＣＬ    センターライン
Ｄ      ドア
ＤＡ１、ＤＡ２    乗降スペース
ＰＬＲ、ＰＬＬ    走行予想軌跡
ＧＲ０、ＧＲ１、ＧＬ０、ＧＬ１    乗降ガイド
Ｐ１、Ｐ２、Ｐ３    乗員
ＰＳ    駐車スペース
【図１】
2015162768.tif 000003
【図２】
2015162768.tif 000004
【図３】
2015162768.tif 000005
【図４】
2015162768.tif 000006
【図５】
2015162768.tif 000007
【図６】
2015162768.tif 000008
【図７】
2015162768.tif 000009
【図８】
2015162768.tif 000010
【図９】
2015162768.tif 000011