(57)【要約】  車載表示装置１は、車両内に設置された複数のディスプレイ９−１〜９−ｍと、複数のディスプレイ９−１〜９−ｍのそれぞれに対応した複数の操作受付部（例えば、タッチパネル）と、車両の周辺を撮影する複数の車外カメラから複数のカメラ画像を選択する画像取得ユニット３と、複数のカメラ画像の中からディスプレイ９−１〜９−ｍに表示するカメラ画像を選択する乗員の操作を操作受付部が受け付けた場合、当該操作受付部に対応したディスプレイに表示する画像データを生成するための画像処理命令を指示する画像処理制御部２ａと、複数のディスプレイ９−１〜９−ｍのそれぞれについて、画像処理制御部２ａの画像処理命令に従い複数のカメラ画像の中から当該ディスプレイに表示するカメラ画像を選択して画像データを生成する画像統合処理部４とを備える。
2015159407.tif 000002
【特許請求の範囲】
【請求項１】
車両内に設置された複数のディスプレイと、
前記複数のディスプレイのそれぞれに対応した複数の操作受付部と、
前記車両の周辺を撮影する複数の車外カメラから複数のカメラ画像を取得する画像取得ユニットと、
前記複数のカメラ画像の中から前記ディスプレイに表示するカメラ画像を選択する乗員の操作を前記操作受付部が受け付けた場合、当該操作受付部に対応した前記ディスプレイに表示する画像データを生成するための画像処理命令を指示する画像処理制御部と、
前記複数のディスプレイのそれぞれについて、前記画像処理制御部の前記画像処理命令に従い前記複数のカメラ画像の中から当該ディスプレイに表示するカメラ画像を選択して前記画像データを生成する画像統合処理部とを備える車載表示装置。
【請求項２】
前記画像処理制御部は、前記ディスプレイに表示した第１の画像データの一部分を選択する前記乗員の操作を前記操作受付部が受け付けた場合、当該一部分を拡大する画像処理命令を指示し、
前記画像統合処理部は、前記複数のカメラ画像を合成して前記第１の画像データを生成し、前記画像処理命令に従い前記第１の画像データの前記一部分を拡大した第２の画像データを生成することを特徴とする請求項１記載の車載表示装置。
【請求項３】
前記第２の画像データは、少なくとも２枚以上の前記カメラ画像を含むことを特徴とする請求項２記載の車載表示装置。
【請求項４】
前記画像統合処理部は、前記複数のカメラ画像を用いて前記車両に接近する物体を検出し、当該物体の接近を警告する情報を前記画像データに重畳することを特徴とする請求項１記載の車載表示装置。
【請求項５】
前記物体の接近を警告する情報は強調表示であることを特徴とする請求項４記載の車載表示装置。
【請求項６】
前記画像処理制御部は、前記ディスプレイに表示した第１の画像データの一部分を選択する前記乗員の操作を前記操作受付部が受け付けた場合、当該一部分を前記ディスプレイの画面中央部で拡大表示する画像処理命令を指示し、
前記画像統合処理部は、前記複数のカメラ画像を並べて配置した前記第１の画像データを生成し、前記画像処理命令に従い前記第１の画像データの前記一部分を拡大して前記ディスプレイの画面中央部に表示されるよう配置した第２の画像データを生成することを特徴とする請求項１記載の車載表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両周辺を撮影したカメラ画像を、車内に設置したディスプレイに表示する車載表示装置に関するものである。
【背景技術】
【０００２】
車両周辺を撮影したカメラ画像を車内に設置したディスプレイに表示することで、乗員が車両の前後左右の障害物および接近物体（他車両、バイク、自転車、歩行者等）をディスプレイ上で視認することが可能となる。助手席または後部座席の乗員がディスプレイ上で車両周辺の状況を確認して運転者に伝えたり、自身が降車するときの安全確認に使用したりすることで、運転者への運転支援につながる。【０００３】
例えば特許文献１に係る車載用電子機器では、後席着座検出センサによる後席着座が検出され、後席ドア開放動作検出センサによる後席ドア開放動作が検出され、移動物体接近検出センサによる移動物体接近が検出された時に、制御部が後席用ディスプレイに指示して後席ドアの開放に対する警報を表示させる。警報は、文字情報だけを表示したもの、文字情報と接近する移動物体の種類とを表示したものであった。【０００４】
また、例えば特許文献２に係る車両周辺監視システムでは、停車した状態の車両のドアが開放される前に、車両のドアの少なくとも周辺領域の画像を撮像手段により撮像して車両内に設けられた表示装置に表示したり、接近物検知手段がドアの少なくとも周辺領域に接近物を検知した場合にその接近物の画像を表示装置に表示したりする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１８０６３４号公報
【特許文献２】特開２００７−１４８６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１では、センサの反応範囲にある全ての障害物および移動物体の情報が、画面上にテキストベースで表示されるため、乗員にとって直感的に分かりづらく、混乱を招く恐れがあった。また、上記特許文献１，２では、車両周辺のどの部分を撮影したカメラ画像を画面上に表示するか、同乗者が自由に選択することができず、それらに基づいた運転者への運転支援ができないという課題があった。【０００７】
この発明は、上記のような課題を解決するためになされたもので、車両周辺を撮影したカメラ画像を同乗者が自由に選択してディスプレイに表示させることが可能な車載表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る車載表示装置は、車両内に設置された複数のディスプレイと、複数のディスプレイのそれぞれに対応した複数の操作受付部と、車両の周辺を撮影する複数の車外カメラからの複数のカメラ画像を取得する画像取得ユニットと、複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択する乗員の操作を操作受付部が受け付けた場合、当該操作受付部に対応したディスプレイに表示する画像データを生成するための画像処理命令を指示する画像処理制御部と、複数のディスプレイのそれぞれについて、画像処理制御部の画像処理命令に従い複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択して画像データを生成する画像統合処理部とを備えるものである。
【発明の効果】
【０００９】
この発明によれば、複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択する乗員の操作を受け付けると、複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択して画像データを生成するようにしたので、同乗者がカメラ画像を自由に選択してディスプレイに表示させることが可能な車載表示装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１に係る車載表示装置の構成を示すブロック図である。
【図２】実施の形態１の画像取得ユニットに接続される車外カメラと、車外カメラが撮影した画像を表示するディスプレイの設置例を示す図である。
【図３】図２のディスプレイの設置状況を車内後席から見た様子を示す図である。
【図４】実施の形態１の画像受信部の接続方法の例を示す図である。
【図５】実施の形態１の各画像受信部に接続された各ディスプレイの画面構成例を示す図である。
【図６】実施の形態１の画像受信部に接続されたディスプレイの画面遷移例を示す図である。
【図７】実施の形態１の画像受信部に接続されたディスプレイの画面遷移例を示す図である。
【図８】実施の形態１の画像受信部に接続されたディスプレイの画面遷移例を示す図である。
【図９】実施の形態１の画像受信部に接続されたディスプレイの画面遷移例を示す図である。
【図１０】実施の形態１に係る車載表示装置の動作を示すフローチャートである。
【図１１】実施の形態１に係る車載表示装置を搭載した車両内外の状況を説明する図である。
【図１２】図１１に示す状況において同乗者が行うディスプレイの画面操作と画面遷移例を示す図である。
【図１３】実施の形態１の画像統合処理部による画像取り込みおよび画像統合処理を行うためのバッファの設定例を示す図である。
【図１４】実施の形態１の画像統合処理部と画像伝送処理部のフレーム単位およびライン単位での動作を示したタイミングチャートである。
【発明を実施するための形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１に示すように、実施の形態１に係る車載表示装置１は、全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２と、複数の画像取得部３−１〜３−ｎからなる画像取得ユニット３と、複数画像の合成および統合等する画像統合処理部４と、画像受信部８−１〜８−ｍへ画像データを伝送する画像伝送処理部５と、画像伝送処理部５が伝送した画像データを受信する画像受信部８−１〜８−ｍと、受信した画像データを表示するディスプレイ９−１〜９−ｍとを備える。また、車両に搭載された車載機器の制御を行う車両制御部１０と車載表示装置１とは、車内ネットワークにより接続されている。
【００１２】
ＣＰＵ２は、車載表示装置１の画像処理全体の制御を行う画像処理制御部２ａと、車内ネットワークを通じて車両制御部１０へ指示を出す車両制御指示部２ｂとを備える。また、図示は省略するが、このＣＰＵ２は、内部メモリ、周辺機器との間で情報をやり取りする入出力ポート、ネットワークインタフェース等を備える。
【００１３】
画像処理制御部２ａは、画像伝送処理部５と内部バス７を経由して、メモリ６ｂに格納された画像受信部８−１〜８−ｍのステータス情報のうち、画像受信部８−１〜８−ｍの個数、表示サイズ、通信状態、およびエラー情報を取得する。また、画像処理制御部２ａは、画像受信部８−１〜８−ｍと画像伝送処理部５と内部バス７を経由して、ディスプレイ９−１〜９−ｍから同乗者の操作情報を取得する。画像処理制御部２ａは、取得した情報に基づいて、画像統合処理部４と画像伝送処理部５を制御する。
【００１４】
車両制御指示部２ｂは、内部バス７を経由して、画像統合処理部４が検出した車両周辺の障害物または接近物体の検出情報を取得する。車両制御指示部２ｂはこの検出情報に基づいて、ドアの施錠、解錠など車両の動作を制御する指示を車内ネットワークを通じて車両制御部１０に出力する。車両制御部１０は、車両制御指示部２ｂの指示に従って車両のドアロック制御システムなどを制御し、ドアの施錠、解錠などを行う。
【００１５】
画像取得ユニット３は、ｎ個（ｎ≧２）の画像取得部３−１〜３−ｎを備える。画像取得部３−１〜３−ｎは、入力される画像の色変換、フォーマット変換等の前処理を行って、画像統合処理部４へ出力する。入力される画像として、車外カメラが撮影する車両周辺（前後左右等）の画像がある。また、例えば車載表示装置１をＲＳＥ（Ｒｅａｒ  Ｓｅａｔ  Ｅｎｔｅｒｔａｉｎｍｅｎｔ）と兼用し、車両に搭載されたディスク装置が出力するＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）またはＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ；登録商標、以下では登録商標の記載を省略する）等のディスク画像、ナビゲーション装置が出力するナビ画像、車載表示装置１の外部入力端子に接続されたスマートフォンが出力するスマホ画像等を、入力画像として用いることも可能である。
【００１６】
図２は、画像取得ユニット３に接続される車外カメラと、車外カメラが撮影した画像を表示するディスプレイの設置例を示す。車両のフロントには車両前方を撮影する前方カメラ１１−１、リアには車両後方を撮影する後方カメラ１１−２、左側のドアミラーには車両左側を撮影する左側カメラ１１−３と車両左後方を撮影する左後方カメラ１１−４、右側のドアミラーには車両右側を撮影する右側カメラ１１−５と車両右後方を撮影する右後方カメラ１１−６がそれぞれ設置されている。また、画像受信部８−１〜８−ｍに接続されるディスプレイとして、運転席と助手席の前方中央に前席ディスプレイ９−１、運転席と助手席の各背面に左後席ディスプレイ９−２と右後席ディスプレイ９−３がそれぞれ設置されている。図３は、前席ディスプレイ９−１、左後席ディスプレイ９−２および右後席ディスプレイ９−３の設置状況を車内後席から見た様子を示す。
なお、使用するカメラの数およびその設置位置は、使用するカメラの画角および解像度等に応じて変更してもよい。
【００１７】
画像統合処理部４は、画像取得部３−１〜３−ｎが取得した複数の画像を統合または合成する処理、画像から移動物体および障害物を検出する画像処理、移動物体および障害物をマーキング（色付け、強調等）するためのグラフィックス描画処理等を行う。画像統合処理部４は、内部バス７を経由して画像処理制御部２ａから画像処理命令を受けて各処理を実行し、画像統合処理の処理結果（画像データ）をメモリ６ａへ格納する。また、画像統合処理部４は、各処理を施した画像データをメモリ６ａから読出し、画像伝送処理部５へ出力する。画像統合処理部４で使用する画像取込用バッファおよび画像統合処理・表示用バッファは、メモリ６ａ内に配置される。なお、メモリ６ａは、図１に示す通り、画像統合処理部４の外部に設けてもよいし、画像統合処理部４の内部に内蔵してもよい。
【００１８】
画像伝送処理部５は、画像統合処理部４から受信した画像データをディスプレイ９−１〜９−ｍに表示する画像としてパケット化し、ヘッダ情報を付加して送信する。また、画像伝送処理部５は、画像受信部８−１〜８−ｍのステータス情報およびディスプレイ９−１〜９−ｍの操作情報を受信して、メモリ６ｂに保持する。画像処理制御部２ａは、メモリ６ｂが保持する情報を読み出すことで、画像受信部８−１〜８−ｍのステータス情報および操作情報を認識できる。
【００１９】
ｍ個（ｍ≧２）の画像受信部８−１〜８−ｍには、ｍ個のディスプレイ９−１〜９−ｍが接続される。また、画像受信部８−１〜８−ｍは互いにカスケード接続され、画像伝送処理部５が送信したパケットデータの中から自分宛てのパケットデータを選択して受信すると共に、下位接続された画像受信部にパケットデータを転送する。画像受信部８−１〜８−ｍは、受信したパケットデータに含まれている画像データをディスプレイ９−１〜９−ｍへ出力して表示させる。なお、画像受信部８−１〜８−ｍにディスプレイ９−１〜９−ｍを接続する構成としてもよいし、画像受信部８−１〜８−ｍとディスプレイ９−１〜９−ｍとを一体に構成してもよい。
【００２０】
図１のように画像受信部８−１〜８−ｍをカスケード接続した場合、画像受信部の接続数を容易に変更できる利点がある。
なお、接続方法はカスケード接続に限定されるものではない。図４（ａ）の例では、バス１２により画像伝送処理部５と画像受信部８−１〜８−ｍのそれぞれとが接続されている。図４（ｂ）の例では、画像受信部８−１〜８−ｍそれぞれが個別に画像伝送処理部５に接続されている。なお、図４では画像伝送処理部５と画像受信部８−１〜８−ｍ以外の構成は図示を省略している。
【００２１】
ディスプレイ９−１〜９−ｍは、画面とタッチパネルとが一体に構成されている。ディスプレイ９−１〜９−ｍは、画像受信部８−１〜８−ｍが出力した画像データを受け付けて画面表示すると共に、タッチパネルが受け付けた同乗者の操作入力を操作情報として画像受信部８−１〜８−ｍに出力する。
実施の形態１では、ディスプレイ９−１〜９−ｍのタッチパネルを、同乗者の操作入力を受け付ける操作受付部として使用するが、スイッチ、ボタン、音声認識装置等の入力デバイスを操作受付部として使用してもよい。
【００２２】
図５は、画像受信部８−１〜８−３に接続されたディスプレイ９−１〜９−３の画面構成例を示す。図５に示す通り、複数の画像が入力される場合に、１画面に１つの入力画像を表示する、複数の入力画像を並べて配置して同時に１つの統合画面として表示するなど、自由に画面を構成することが可能である。
【００２３】
例えば、図５（ａ）では前席ディスプレイ９−１はナビ画像のみ、左後席ディスプレイ９−２はディスク画像（例えば、ＤＶＤの映画）のみ、右後席ディスプレイ９−３は右後方カメラ１１−６が撮影した右後方画像のみ表示している。図５（ｂ）の前席ディスプレイ９−１は、ディスク画像と、スマホ画像と、左後方カメラ１１−４が撮影した左後方画像と、右後方カメラ１１−６が撮影した右後方画像とを統合した画面を表示している。図５（ｃ）では左後席ディスプレイ９−２と右後席ディスプレイ９−３が統合画面を表示しているが、各画像の表示面積が異なっている。図５（ｄ）の左後席ディスプレイ９−２は、車両を上から見た画像のまわりに車外カメラの画像を並べて配置した統合画面を表示している。なお、合成後方画像は、車両後方の死角を無くすために、後方カメラ１１−２と左後方カメラ１１−４と右後方カメラ１１−６の３つの画像を合成した画像である。
【００２４】
図６〜図９は、画像受信部８−２に接続された左後席ディスプレイ９−２の画面遷移例を示す。図６〜図９に示す通り、同乗者が左後席ディスプレイ９−２のメニュー画面上のタッチボタンの操作または画面のタッチ操作により画像を選択すると、その画像が画面全体に表示される。なお、画像選択については、メニュー画面のタッチボタン操作および画面のタッチ操作以外に、スイッチ、ボタン、音声等による操作方法でもよい。
【００２５】
例えば、図６では左後席ディスプレイ９−２にメニュー画面Ｍが表示されている。同乗者がメニュー画面Ｍ上の「ナビ」ボタンＮを操作すると、左後席ディスプレイ９−２がナビ画像を全画面表示する。同乗者が「ＤＶＤ」ボタンＯを操作すると、左後席ディスプレイ９−２がディスク画像を全画面表示する。同乗者が「外部」ボタンＰを操作すると、左後席ディスプレイ９−２がスマホ画像を全画面表示する。同乗者が「左後」ボタンＱを操作すると、左後席ディスプレイ９−２が左後方画像を全画面表示する。なお、図６ではメニュー画面Mを見やすくするためにボタン操作前の左後席ディスプレイ９−２を大きく図示したが、実際にはボタン操作の前後で左後席ディスプレイ９−２の大きさは同じである。
【００２６】
図７では、左後席ディスプレイ９−２にナビ画像Ｎとディスク画像Ｏとスマホ画像Ｐと左後方画像Ｑとの統合画面が表示されている。同乗者がナビ画像Ｎをタッチ操作すると、左後席ディスプレイ９−２がナビ画像を全画面表示する。同乗者がディスク画像Ｏをタッチ操作すると、左後席ディスプレイ９−２がディスク画像を全画面表示する。同乗者がスマホ画像Ｐをタッチ操作すると、左後席ディスプレイ９−２がスマホ画像を全画面表示する。同乗者が左後方画像Ｑをタッチ操作すると、左後席ディスプレイ９−２が左後方画像を全画面表示する。
【００２７】
図８および図９では、左後席ディスプレイ９−２の左部分に、車両を上から見た画像のまわりに車外カメラの画像を配置した画面が表示されている。図８の場合、同乗者がタッチ操作により画面上のポイントＲから下方向のポイントＳまでなぞると、左後席ディスプレイ９−２がタッチ操作により選択された左方画像と合成後方画像を１つの画面として拡大表示する。図９の場合、同乗者がタッチ操作により画面上のポイントＲから斜め下方向のポイントＳまでなぞると、左後席ディスプレイ９−２がタッチ操作の軌跡を対角線とした四角形枠内の画像を１つの画面として拡大表示する。画像の選択方法としては、例えば画面上のポイントＲからポイントＳまでなぞるようにタッチしたり、所定の時間内にポイントＲとポイントＳにタッチしたりする方法がある。
また、同乗者が画面上をダブルタップ、ピンチアウトなど、指で領域を指定した場合には、指定領域が画面中央部に位置するように拡大表示してもよい。
【００２８】
以上のように、同乗者は、車載表示装置１に入力される画像とその合成画像との中から、見たい画像を自由に選択してディスプレイに表示させることができる。例えば、駐車または車線変更等の際に、同乗者がディスプレイ上で車両周辺を確認して運転者をサポートできる。また、同乗者が降車する際にディスプレイ上で安全確認できるので、運転者を煩わせることもない。
【００２９】
次に、車載表示装置１の動作を説明する。
図１０は、車載表示装置１の動作を示すフローチャートである。図１１は、車載表示装置１を搭載した車両内外の状況を説明する図であり、運転席に運転者２１、後席の左側に子供の左後席同乗者２２、後席の右側に大人の右後席同乗者２３が座っている。また、車両左側には自転車に乗った人（以下、接近物体２４と呼ぶ）がいる。右後席同乗者２３が運転者２１へ車両左側の接近物体２４および障害物について安全確認等を伝える場合、右後席から目視確認にて状況を伝えることは難しい。そこで、右後席同乗者２３は、右後席ディスプレイ９−３で車両周囲のカメラ画像を視認して運転支援を行う。
この状況において右後席同乗者２３が行う右後席ディスプレイ９−３の画面操作と画面遷移を、図１２に示す。
【００３０】
車両のイグニッションキーがオンになると（ＩＧ−ＯＮ）、車載表示装置１が起動し、画像処理制御部２ａが図１０のフローチャートに沿って各部を制御する。まず、画像処理制御部２ａが初期画面表示の処理命令を画像統合処理部４へ出力し、ディスプレイ９−１〜９−ｍに初期画面を表示させる（ステップＳＴ１）。図１２（ａ）に示すように、右後席ディスプレイ９−３には、初期画面として車両周囲を撮影したカメラ画像と、ディスク画像と、スマホ画像とが表示される。このとき、画像統合処理部４は、画像取得部３−１〜３−ｎが取得するカメラ画像とディスク画像とスマホ画像とを統合して初期画面用の画像データを生成し、画像伝送処理部５から画像受信部８−１〜８−ｍに送信する。画像受信部８−１〜８−ｍは画像データを受信し、ディスプレイ９−１〜９−ｍに表示する。
【００３１】
図１２（ｂ）で右後席同乗者２３が初期画面の中からディスク画像を選択操作すると、右後席ディスプレイ９−３がこの操作入力を受け付けて操作情報を画像伝送処理部５へ送信する（ステップＳＴ２“ＹＥＳ”）。ここでは、右後席同乗者２３の操作を分かりやすくするため、カーソルを用いて選択操作を表現している。
画像処理制御部２ａはこの操作情報の内容を判定して、ディスク画像の画像データを生成するよう画像統合処理部４に命令する（ステップＳＴ３）。画像統合処理部４は、画像取得部３−１が取得するディスク画像上に「戻る」ボタンをグラフィックス描画処理した画像データを生成する。画像受信部８−３は、この画像データを画像伝送処理部５を経由して受信し、右後席ディスプレイ９−３に表示する（ステップＳＴ４）。なお、初期画面に戻る用に画面上に「戻る」ボタンをグラフィックス表示してもよいし、スイッチ、音声認識等を用いてもよい。
【００３２】
画像処理制御部２ａは、イグニッションキーがオフになると、画面表示を終了する（ステップＳＴ６“ＹＥＳ”）。一方、イグニッションキーがオンなら（ステップＳＴ６“ＮＯ”、ステップＳＴ２に戻って新しい操作情報の入力があるか確認する（ステップＳＴ２）。画像処理制御部２ａは、新しい操作情報がなければ（ステップＳＴ２“ＹＥＳ”）、現在の画面（ここでは、ディスク画像）の表示を継続するよう画像統合処理部４等を制御する（ステップＳＴ５）。
【００３３】
右後席同乗者２３がディスク画像の鑑賞中に運転者２１の運転支援のために車両左方の接近物体２４等の確認を行う場合、まず、右後席ディスプレイ９−３のディスク画像に重畳表示されている「戻る」ボタンを選択操作する（図１２（ｄ））。画像処理制御部２ａは、初期画面選択の操作情報を受け付けると（ステップＳＴ２“ＹＥＳ”）、画像統合処理部４へ初期画面表示の処理命令を出力し（ステップＳＴ３）、図１２（ｅ）のように右後席ディスプレイ９−３に初期画面を表示させる（ステップＳＴ４）。
【００３４】
続いて、右後席同乗者２３は初期画面の中から左方画像を選択操作する（図１２（ｆ））。画像処理制御部２ａは、左方画像選択の操作情報を受け付けると（ステップＳＴ２“ＹＥＳ”）、画像統合処理部４へ左方画像表示の処理命令を出力し（ステップＳＴ３）、図１２（ｇ）のように右後席ディスプレイ９−３に左方画像を画面表示させる（ステップＳＴ４）。このとき、画像統合処理部４は、左方画像から接近物体２４を検出した場合にその接近物体２４を枠線２５で囲んで強調したり、アイコン２６を描画して強調したりしてもよい。右後席同乗者２３は、右後席ディスプレイ９−３に表示された左方画像を見ながら、運転者２１へ誘導、助言、危険の有無の通知等を行うことによって運転を支援する。
【００３５】
さらに詳細な情報を得たい（詳細な画像を見たい）場合には、右後席同乗者２３が右後席ディスプレイ９−３の画面を図１２（ｈ）のようにタッチ操作して、ポイントＲ，Ｓを頂点にした注視領域を選択する。画像処理制御部２ａは、注視領域選択の操作情報を受け付けると（ステップＳＴ２“ＹＥＳ”）、画像統合処理部４へ注視領域を拡大する処理命令を出力し（ステップＳＴ３）、図１２（ｉ）のように右後席ディスプレイ９−３に左方画像中の注視領域を拡大して表示させる（ステップＳＴ４）。これにより、右後席同乗者２３は、より詳細な情報をもとに運転支援を行うことが可能となる。また、車両周囲に障害物または接近物体２４が存在する場合には画面内に強調表示されるため、右後席同乗者２３はより危険を回避した支援を行うことが可能となる。さらに、車両周囲に障害物または接近物体２４らしき物体が存在する場合に、右後席同乗者２３が左方画像上のその物体を右後席ディスプレイ９−３に拡大表示させることにより、走行の障害になり得るか判断して運転者２１に伝えることが可能となる。
【００３６】
また、子供の左後席同乗者２２が降車する際に、大人の右後席同乗者２３が左方画像を右後席ディスプレイ９−３に表示させて安全確認することが可能となる。さらに、降車時に車両周辺に障害物または接近物体２４が存在する場合に、車載表示装置１が車両のドアを施錠して降車できないようにしてもよい。具体的には、画像統合処理部４が車両周囲を撮影したカメラ画像から車両に接近してくる接近物体２４を検出した場合に、車両制御指示部２ｂが画像統合処理部４からその検出情報を取得し、接近物体２４を検出した側のドアの施錠指示を車両制御部１０へ送信する。車両制御部１０は、車内ネットワークを通じて車両制御指示部２ｂからドア施錠指示を受信すると、指示されたドアを施錠する。
【００３７】
次に、車載表示装置１の詳細な動作を説明する。
ここでは、画像入力数を４入力（ｎ＝４）、画像出力を３出力（ｍ＝３）とした場合について説明する。画像取得部３−１がディスク画像を取得し、画像取得部３−２がナビ画像を取得し、画像取得部３−３が左後方カメラ１１−４の左後方画像を取得し、画像取得部３−４が後方カメラ１１−２の後方画像を取得する。説明を簡単にするため、各入力画像の解像度とフレームレートを各々７２０×４８０ピクセル、３０ｆｐｓとする。
【００３８】
画像受信部８−１は前席ディスプレイ９−１に画像データを出力し、画像受信部８−２は左後席ディスプレイ９−２に画像データを出力し、画像受信部８−３は右後席ディスプレイ９−３に画像データを出力する。画像受信部８−１〜８−３に接続されるディスプレイの解像度をＷＶＧＡ（８００×４８０ピクセル）とする。
【００３９】
画像取得部３−１〜３−４は、入力された画像に対してＡ／Ｄ変換およびフォーマット変換等を行い、画像統合処理部４へ出力する。画像取得部３−１〜３−４は、例えば、入力された画像がアナログ信号の場合にはデジタル信号へ変換する。輝度／色差（ＹＵＶ／ＹＣｂＣｒ系）フォーマットの場合には色フォーマットをＲＧＢフォーマットへ変換する。
なお、色変換およびフォーマット変換は、画像取得部３−１〜３−４ではなく画像統合処理部４が実施してもよい。
【００４０】
図１３は、画像統合処理部４の画像取り込み、画像統合処理を行うためのバッファの設定例を示したものである。画像統合処理部４は、まず、メモリ６ａ内に画像取得部３−１〜３−４が出力した画像を取り込むためのバッファ設定を行う。各バッファは、ダブルバッファ（Ａバッファ、Ｂバッファ）で構成される。画像統合処理部４は、ディスク画像用バッファをダブルバッファ（Ａバッファ、Ｂバッファ）で構成し、バッファ領域（ｃａｐ＿０＿Ａ、ｃａｐ＿０＿Ｂ）を確保する。同様に、ナビ画像用バッファ（ｃａｐ＿１＿Ａ、ｃａｐ＿１＿Ｂ）、左後方画像用バッファ（ｃａｐ＿２＿Ａ、ｃａｐ＿２＿Ｂ）、後方画像用バッファ（ｃａｐ＿３＿Ａ、ｃａｐ＿３＿Ｂ）を確保する。
このとき、各バッファサイズは、Ａバッファ、Ｂバッファともに入力画像の解像度×階調数×画像入力数分となる。
【００４１】
画像統合処理部４は続いて、メモリ６ａ内に画像統合処理および表示用のバッファの設定を行う。ここでは、ＷＶＧＡの３画面を表示するため、Ａバッファ、Ｂバッファともに、出力画像の解像度×階調数×画像出力数分のサイズとなる。画像統合処理部４は、画像統合処理・表示用のバッファとして、Ａバッファ（ｄｉｓｔ＿ｃｅｌｌ＿０＿Ａ、ｄｉｓｔ＿ｃｅｌｌ＿１＿Ａ、ｄｉｓｔ＿ｃｅｌｌ＿２＿Ａ）、Ｂバッファ（ｄｉｓｔ＿ｃｅｌｌ＿０＿Ｂ、ｄｉｓｔ＿ｃｅｌｌ＿１＿Ｂ、ｄｉｓｔ＿ｃｅｌｌ＿２＿Ｂ）を設定する。
【００４２】
画像統合処理部４は続いて、ディスク画像用バッファの画像取込用バッファにＡバッファ（ｃａｐ＿０＿Ａ）を、画像読出用バッファにＢバッファ（ｃａｐ＿０＿Ｂ）を設定する。画像統合処理部４は、入力画像の取り込み動作として、まず、バッファＡがディスク画像を取り込み動作中か否かを判定する。取り込み中ならバッファを変更せず、各バッファの設定も変更しない。取り込み完了なら画像取込用バッファをＡバッファからＢバッファに切り替え、画像読出用バッファをＢバッファからＡバッファに切り替え、取り込み動作を起動する。取り込み動作の起動後、７２０×４８０ピクセルの１画面分の画像取り込みが終了したら、取り込み動作を停止する。以降、画像取り込み動作を起動、１フレーム分取得、取り込み動作停止の各処理を繰り返す。画像統合処理部４は同様の処理をナビ画像、左後方画像、および後方画像についても行う。
【００４３】
画像統合処理部４は続いて、画像統合処理を行う。画像統合処理部４は、各画像読出用バッファにあるディスク画像、ナビ画像、左後方画像および後方画像を使用して、画像処理制御部２ａが指定する画像変換処理（拡大、縮小、回転、鏡面変換等）および合成処理を実施し、画像統合処理・表示用バッファに格納する。ここでは左後方画像入力が７２０×４８０ピクセルで、画像表示出力が８００×４８０ピクセルであるため、横幅８０ピクセル分を黒とし、等倍で表示する。もしくは、解像度変換を行い、横長の画像として表示してもよい。また、４系統の入力画像を、上下左右にタイル状に並べて表示してもよい（例えば、図５（ｂ）の左後席ディスプレイ９−２の表示画面）。その場合、８００×４８０ピクセルの画面サイズの１／４は、４００×２４０ピクセルであるため、それぞれの入力画像に対して７２０×４８０ピクセルから４００×２４０ピクセルへの解像度変換を行い、４系統分の画像データをタイル状に統合する。なお、図５に示したように、統合画面は、各入力画像を任意のサイズ、任意の数で１つの画面に統合することができる。また、画像統合処理部４は、画像統合処理時に各入力画像の取り込みが完了していない場合には前フレームのデータを使用し、取り込みが完了している場合には取り込みが完了した現フレームのデータを使用して統合処理を行う。
【００４４】
また、画像統合処理部４は、メニュー画面作成、障害物と接近物体の強調表示、画像加工等を行い、入力画像に重畳するためのグラフィックス処理の機能を持つ。グラフィックス処理とは、例えば、点描画、線描画、多角形描画、矩形描画、塗りつぶし、グラデーション、テクスチャマッピング、ブレンディング、アンチエリアシング、アニメーション、フォント、ディスプレイリストによる描画、３Ｄ描画などである。
【００４５】
また、画像統合処理部４は、入力画像内から接近物体および障害物を検出し、検出結果を元に前記グラフィックス機能を用いて、接近物体および障害物に表示効果（強調表示、囲み線、色付け等）、アイコン、警告メッセージ等を重畳する。
【００４６】
画像統合処理部４は一連の画像統合処理を完了後、表示用の垂直同期信号を待ち、画像統合処理・表示用バッファをバッファＡからバッファＢへ切り替える。垂直同期信号は例えば画像処理制御部２ａが出力する。ディスプレイのフレームレートが６０ｆｐｓならば垂直同期信号は１／６０秒に１回の周期となる。画像統合処理部４は、画像統合処理が１フレーム期間内で完了しない場合には次の垂直同期信号を待ってバッファを切り替える。
この場合、画像更新のフレームレートは３０ｆｐｓとなる。
その後、画像統合処理部４から画像伝送処理部５へ、前席ディスプレイ９−１、左後席ディスプレイ９−２および右後席ディスプレイ９−３に表示する画像データを出力する。
【００４７】
図１４は、画像統合処理部４と画像伝送処理部５のフレーム単位（垂直同期）およびライン単位（水平同期）での動作を示したタイミングチャートであり、横軸が時間である。
画像統合処理部４がＡバッファを使用して画像統合処理を実施している間は、Ｂバッファの画像データを画像伝送処理部５へ出力する。反対に、Ｂバッファを使用して画像統合処理を実施している間は、Ａバッファの画像データを画像伝送処理部５へ出力する。ここでは、３つのディスプレイ９−１〜９−３へ表示を行うため、画像伝送処理部５が３つ分の画像データを水平ライン単位で多重して、多重信号として画像受信部８−１〜８−ｍへ伝送する。
【００４８】
つぎに、画像伝送処理部５の動作を説明する。画像伝送処理部５と画像受信部８−１〜８−ｍのデータ転送は、双方向で行われる。ここで、画像伝送処理部５から画像受信部８−１〜８−ｍへの転送を下り転送と呼び、画像受信部８−１〜８−ｍから画像伝送処理部５への転送を上り転送と呼ぶこととする。下り転送時、画像伝送処理部５は、画像統合処理部４より受信した各ライン単位の画像データの多重信号をパケットデータにし、ヘッダ情報（パケットヘッダ）を付加して、画像受信部８−１〜８−ｍへ送出する。ヘッダ情報には、パケットＩＤ、ライン番号、データ送付先（画像受信部８−１〜８−ｍの識別情報）、画像データサイズ等が含まれる。
【００４９】
画像伝送処理部５は、上り転送において画像受信部８−１〜８−ｍからヘッダとパケットデータを受信し、画像受信部８−１〜８−ｍのステータス情報を取得する。ヘッダ情報には、パケットＩＤ、ライン番号、データ送付元（画像受信部８−１〜８−ｍの識別情報）等が含まれる。パケットデータには、画像データではなく、各画像受信部８−１〜８−ｍの状態（通信状態、エラー情報、ディスプレイ９−１〜９−ｍの接続情報）を表したステータス情報、および操作情報が含まれる。画像伝送処理部５は、受信・取得したステータス情報および操作情報をメモリ６ｂに格納する。
【００５０】
次に、画像受信部８−１〜８−ｍの動作を説明する。
図１のようにカスケード接続された画像受信部８−１〜８−ｍのうち、最上位の画像受信部８−１は、下り転送において、画像伝送処理部５よりパケットヘッダおよびパケットデータを受信し、パケットヘッダに含まれるヘッダ情報から、自分宛てのパケットデータか否かを判定し、自分宛てのパケットデータのみを受信しその中に含まれる画像データをディスプレイ９−１に表示する。画像受信部８−１は、自分宛て以外のパケットデータは受信せず、そのまま、後段に接続された画像受信部８−２へパケットヘッダおよびパケットデータを送出する。また、画像受信部８−１は、上り転送として、自分のステータス情報および操作情報を画像伝送処理部５へ送出する。
【００５１】
同様に、画像受信部８−２も、上位側の画像受信部８−１から送信されるパケットデータのうち、自分宛てのパケットデータのみを受信して、その中に含まれる画像データをディスプレイ９−２に表示すると共に、自分のステータス情報および操作情報を、画像受信部８−１経由で画像伝送処理部５へ送出する。
以降、画像受信部８−３〜８−ｍも同様の処理を行う。
【００５２】
以上より、実施の形態１によれば、車載表示装置１は、車両内に設置された複数のディスプレイ９−１〜９−ｍと、複数のディスプレイ９−１〜９−ｍのそれぞれに対応した複数の操作受付部（例えば、タッチパネル）と、車両の周辺を撮影する複数の車外カメラから複数のカメラ画像を選択する画像取得ユニット３と、複数のカメラ画像の中からディスプレイ９−１〜９−ｍに表示するカメラ画像を選択する乗員の操作を操作受付部が受け付けた場合、当該操作受付部に対応したディスプレイに表示する画像データを生成するための画像処理命令を指示する画像処理制御部２ａと、複数のディスプレイ９−１〜９−ｍのそれぞれについて、画像処理制御部２ａの画像処理命令に従い複数のカメラ画像の中から当該ディスプレイに表示するカメラ画像を選択して画像データを生成する画像統合処理部４とを備える構成にした。このため、助手席または後席にいる同乗者が、各席に設置されたディスプレイ上で、車両周辺のカメラ画像を自由に選択して表示させることができる。
よって、運転初心者、高齢者、ペーパードライバ等の運転に不慣れな人をはじめとする運転者に対して、同乗者が車内のどの席からも誘導、助言、危険の有無の通知等の運転支援を行うことが可能となり、より安全な運転環境を提供することが可能となる。
【００５３】
また、実施の形態１によれば、画像処理制御部２ａは、ディスプレイ９−１〜９−ｍに表示した第１の画像データの一部分を選択する乗員の操作を操作受付部（例えば、タッチパネル）が受け付けた場合、当該一部分を拡大する画像処理命令を指示し、画像統合処理部４は、複数のカメラ画像を合成して第１の画像データ（例えば、図８の合成後方画像）を生成し、画像処理命令に従い第１の画像データの一部分を拡大した第２の画像データを生成する構成にした。このため、複数のカメラ画像の合成画像から同乗者が見たい注視領域を選択して全画面表示させることができる。また、複数のカメラ画像を合成することにより、車外カメラの死角を無くすことができる。
【００５４】
また、実施の形態１によれば、図８および図９のように、前記第１の画像データの一部分を拡大した第２の画像データが、少なくとも２枚以上のカメラ画像を含むようにすることで、同乗者が一度に見たい画像を複数表示させることができる。
【００５５】
また、実施の形態１によれば、画像統合処理部４は、複数のカメラ画像を用いて車両に接近する接近物体２４を検出し、当該接近物体２４の接近を警告する情報を画像データに重畳するようにしたので、同乗者が車両に接近する物体（例えば、他車両、バイク、自転車、歩行者等）に気付きやすくなる。
【００５６】
また、実施の形態１によれば、物体の接近を警告する情報は強調表示であるので、同乗者が画面表示を見て直感的に接近物体を認識できる。なお、強調表示としては、接近物体を枠線で囲む方法等のほかに、文字で警告する方法等であってもよい。
【００５７】
また、実施の形態１によれば、画像処理制御部２ａは、ディスプレイ９−１〜９−ｍに表示した第１の画像データの一部分を選択する乗員の操作を操作受付部（例えば、タッチパネル）が受け付けた場合、当該一部分をディスプレイ９−１〜９−ｍの画面中央部で拡大表示する画像処理命令を指示し、画像統合処理部４は、複数のカメラ画像を並べて配置した第１の画像データ（例えば、図８の左方画像と合成後方画像とを並べて配置した統合画面）を生成し、画像処理命令に従い第１の画像データの一部分を拡大したディスプレイの画面中央部に表示されるよう配置した第２の画像データを生成する構成にした。このため、複数のカメラ画像の統合画像から同乗者が見たい注視領域を指で囲む、ダブルタップする、ピンチアウトする等の簡単な操作で拡大表示でき、直感的な分かりやすい操作を実現できる。また、選択した注視領域を画面中央部に拡大表示するので、接近物体等を拡大表示しても画面から消えないようにできる。
【００５８】
なお、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００５９】
以上のように、この発明に係る車載表示装置は、同乗者の操作に応じてディスプレイに表示する画像を変更するので、同乗者がディスプレイで車両周辺の安全確認をして運転者に伝える等の運転支援に用いるのに適している。
【符号の説明】
【００６０】
１  車載表示装置、２  ＣＰＵ、２ａ  画像処理制御部、２ｂ  車両制御指示部、３  画像取得ユニット、３−１〜３−ｎ  画像取得部、４  画像統合処理部、５  画像伝送処理部、６ａ，６ｂ  メモリ、７  内部バス、８−１〜８−ｍ  画像受信部、９−１〜９−ｍ  ディスプレイ、１０  車両制御部、１２  バス、１１−１〜１１−６  カメラ、２１  運転者、２２  左後席同乗者、２３  右後席同乗者、２４  接近物体、２５  枠線、２６  アイコン。
【図１】
2015159407.tif 000003
【図２】
2015159407.tif 000004
【図３】
2015159407.tif 000005
【図４】
2015159407.tif 000006
【図５】
2015159407.tif 000007
【図６】
2015159407.tif 000008
【図７】
2015159407.tif 000009
【図８】
2015159407.tif 000010
【図９】
2015159407.tif 000011
【図１０】
2015159407.tif 000012
【図１１】
2015159407.tif 000013
【図１２】
2015159407.tif 000014
【図１３】
2015159407.tif 000015
【図１４】
2015159407.tif 000016
【手続補正書】
【提出日】平成28年4月19日(2016.4.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
この発明に係る車載表示装置は、車両内に、後部座席を含む複数の座席に対応して設置された複数のディスプレイと、複数のディスプレイのそれぞれに対応した複数の操作受付部と、車両の周辺を撮影する複数の車外カメラからの複数のカメラ画像を取得する画像取得ユニットと、複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択する、後部座席の乗員の操作を操作受付部が受け付けた場合、当該操作受付部に対応したディスプレイに表示する画像データを生成するための画像処理命令を指示する画像処理制御部と、複数のディスプレイのそれぞれについて、画像処理制御部の画像処理命令に従い複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択して画像データを生成する画像統合処理部とを備えるものである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
この発明によれば、複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択する、後部座席の乗員の操作を受け付けると、複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択して画像データを生成するようにしたので、同乗者がカメラ画像を自由に選択してディスプレイに表示させることが可能な車載表示装置を提供することができる。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両内に、後部座席を含む複数の座席に対応して設置された複数のディスプレイと、
前記複数のディスプレイのそれぞれに対応した複数の操作受付部と、
前記車両の周辺を撮影する複数の車外カメラから複数のカメラ画像を取得する画像取得ユニットと、
前記複数のカメラ画像の中から前記ディスプレイに表示するカメラ画像を選択する、前記後部座席の乗員の操作を前記操作受付部が受け付けた場合、当該操作受付部に対応した前記ディスプレイに表示する画像データを生成するための画像処理命令を指示する画像処理制御部と、
前記複数のディスプレイのそれぞれについて、前記画像処理制御部の前記画像処理命令に従い前記複数のカメラ画像の中から当該ディスプレイに表示するカメラ画像を選択して前記画像データを生成する画像統合処理部とを備える車載表示装置。
【請求項２】
前記画像処理制御部は、前記ディスプレイに表示した第１の画像データの一部分を選択する、前記後部座席の乗員の操作を前記操作受付部が受け付けた場合、当該一部分を拡大する画像処理命令を指示し、
前記画像統合処理部は、前記複数のカメラ画像を合成して前記第１の画像データを生成し、前記画像処理命令に従い前記第１の画像データの前記一部分を拡大した第２の画像データを生成することを特徴とする請求項１記載の車載表示装置。
【請求項３】
前記第２の画像データは、少なくとも２枚以上の前記カメラ画像を含むことを特徴とする請求項２記載の車載表示装置。
【請求項４】
前記画像統合処理部は、前記複数のカメラ画像を用いて前記車両に接近する物体を検出し、当該物体の接近を警告する情報を前記画像データに重畳することを特徴とする請求項１記載の車載表示装置。
【請求項５】
前記物体の接近を警告する情報は強調表示であることを特徴とする請求項４記載の車載表示装置。
【請求項６】
前記画像処理制御部は、前記ディスプレイに表示した第１の画像データの一部分を選択する、前記後部座席の乗員の操作を前記操作受付部が受け付けた場合、当該一部分を前記ディスプレイの画面中央部で拡大表示する画像処理命令を指示し、
前記画像統合処理部は、前記複数のカメラ画像を並べて配置した前記第１の画像データを生成し、前記画像処理命令に従い前記第１の画像データの前記一部分を拡大して前記ディスプレイの画面中央部に表示されるよう配置した第２の画像データを生成することを特徴とする請求項１記載の車載表示装置。
【国際調査報告】
2015159407.tif 000017
2015159407.tif 000018