(57)【要約】  表示制御装置は、車両周囲を撮像するカメラからカメラ画像を取得する画像取得部と、車両周囲の風景の良否を判定する風景判定部と、風景判定部により車両周囲の風景が良いと判定された場合に画像取得部が取得するカメラ画像を後部座席用に配置されたディスプレイが表示する画像データに割り込ませる画像統合処理部とを備える。
2016147387.tif 000002
【特許請求の範囲】
【請求項１】
車両周囲を撮像するカメラからカメラ画像を取得する画像取得部と、
前記車両周囲の風景の良否を判定する風景判定部と、
前記風景判定部により前記車両周囲の風景が良いと判定された場合、前記画像取得部が取得するカメラ画像を、前記車両の後部座席用に配置されたディスプレイが表示する画像データに割り込ませる画像統合処理部とを備える表示制御装置。
【請求項２】
前記風景判定部は、風景の良い地点を示す風景情報と前記車両の走行環境とに基づいて、前記車両周囲の風景の良否を判定することを特徴とする請求項１記載の表示制御装置。
【請求項３】
前記風景判定部は、風景の良い地点を示す風景情報と当該風景の見え方に影響する環境条件とに基づいて、前記車両周囲の風景の良否を判定することを特徴とする請求項１記載の表示制御装置。
【請求項４】
前記風景判定部は、前記画像取得部が取得するカメラ画像を解析して前記車両周囲の風景の良否を判定することを特徴とする請求項１記載の表示制御装置。
【請求項５】
前記風景判定部は、前記画像取得部が取得するカメラ画像と予め定められた推奨パターンとを照合して前記車両周囲の風景の良否を判定することを特徴とする請求項４記載の表示制御装置。
【請求項６】
車両の後部座席用に配置されたディスプレイと、
車両周囲を撮像するカメラからカメラ画像を取得する画像取得部と、
前記車両周囲の風景の良否を判定する風景判定部と、
前記風景判定部により前記車両周囲の風景が良いと判定された場合、前記画像取得部が取得するカメラ画像を、前記ディスプレイが表示する画像データに割り込ませる画像統合処理部とを備える車載表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の後部座席用ディスプレイに表示する内容を制御する表示制御装置および車載表示システムに関するものである。
【背景技術】
【０００２】
近年、ナビゲーションシステムおよび車速メータ等の計器類を統合した計器パネル、車載カメラを用いた後方モニタリングシステム、車両周辺監視および運転支援システム、ならびにＲＳＥ（Ｒｅａｒ  Ｓｅａｔ  Ｅｎｔｅｒｔａｉｎｍｅｎｔ）など、表示装置を搭載した車両が増えている。特にＲＳＥにより、車内でデジタル放送、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）およびＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ；登録商標、以下では登録商標の記載を省略する）などを楽しむことができるため、長時間の移動または渋滞などの退屈しがちな状況でも、同乗者は車内にいる時間を快適に過ごすことができるようになった。その一方で、同乗者がＲＳＥでの視聴に夢中になるあまり、移動途中に存在する絶景地点、観光地名所およびランドマークなどに気づかず見逃してしまい、旅行の楽しみが減ってしまうことがあった。仮に運転者が声をかけても、ヘッドホンをしていて聞こえない、また、子供もしくは高齢者の場合には視聴を優先するあまり聞こえていても反応しないこともあり、同乗者が後々に絶景地点などを見逃したことを後悔することがあった。【０００３】
絶景地点などの見逃しを防止するために、例えば特許文献１に係る画面設計支援装置のようにイベント発生時に割り込み画面をポップアップ表示することで、ＲＳＥ視聴中の同乗者に通知することが考えられる。
また、例えば特許文献２に係るナビゲーション装置のように、観光地点に設置されたカメラ映像をネットワーク経由で受信して表示することが考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−４０６６６号公報
【特許文献２】特開２００７−１０８１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１では、予め登録された文字等の単なるポップアップ表示による臨場感のない通知であるため、同乗者がＤＶＤ等の視聴を中断してまで、車両周囲に目線を変えるほどのインパクトを与えることができないという課題があった。【０００６】
上記特許文献２では、観光地点に設置されたカメラのライブ映像を無線ネットワークで車両に伝送するため、無線干渉により表示映像が途中で切れる、画質が悪いなど、臨場感のある映像を継続して提供できないという課題があった。
また、カメラの設置されていない観光地点には対応することができないという課題もあった。【０００７】
この発明は、上記のような課題を解決するためになされたもので、ＲＳＥを視聴中の同乗者に対して、車両周囲の風景を見逃さないよう注意喚起することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る表示制御装置は、車両周囲を撮像するカメラからカメラ画像を取得する画像取得部と、車両周囲の風景の良否を判定する風景判定部と、風景判定部により車両周囲の風景が良いと判定された場合、画像取得部が取得するカメラ画像を、車両の後部座席用に配置されたディスプレイが表示する画像データに割り込ませる画像統合処理部とを備えるものである。
【発明の効果】
【０００９】
この発明によれば、車両周囲の風景が良い場合に後部座席用のディスプレイにカメラ画像を割り込み表示するようにしたので、後部座席の同乗者に対して現在の車両周囲の風景を提供でき、当該風景を見逃さないよう注意喚起することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１に係る表示制御装置を適用した車載表示システムの構成例を示すブロック図である。
【図２】実施の形態１の画像取得ユニットに接続されるカメラと、カメラが撮影した画像を表示するディスプレイの設置例を示す図である。
【図３】図２のディスプレイの設置状況を車内後部座席から見た様子を示す図である。
【図４】風景情報をリストテーブルにした例を示す図である。
【図５】実施の形態１の画像伝送処理部と画像受信部の接続方法の例を示す図である。
【図６】実施の形態１においてディスプレイの表示構成例を示す図である。
【図７】実施の形態１において車両が視点地点を通過するときのディスプレイの割り込み表示の例を示す図である。
【図８】実施の形態１の画像統合処理部による画像取り込みおよび画像統合処理を行うためのバッファの設定例を示す図である。
【図９】実施の形態１の画像統合処理部と画像伝送処理部のフレーム単位およびライン単位での動作を示したタイミングチャートである。
【図１０】実施の形態１においてナビ画像上の自車両Ｚと名所地点Ａと視点地点ＫＡ１，ＫＡ２との位置関係を示す図である。
【図１１】実施の形態１に係る画像統合処理部の動作を示すフローチャートである。
【図１２】実施の形態１に係る風景判定部の動作を示すフローチャートである。
【図１３】図１２のステップＳＴ２６における名所地点Ａの視点地点内判定処理を示すフローチャートである。
【図１４】この発明の実施の形態２に係る風景判定部の動作を示すフローチャートである。
【図１５】この発明の実施の形態３に係る風景判定部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る表示制御装置１０を適用した車載表示システムの構成例を示すブロック図である。車載表示システムは、車両に搭載されるものであり、表示制御装置１０と、複数の画像受信部８−１〜８−ｍと、複数のディスプレイ９−１〜９−ｍとを備えている。
【００１２】
表示制御装置１０は、全体の動作を制御する画像処理制御部１と、複数の画像取得部３−１〜３−ｎからなる画像取得ユニット３と、複数画像の統合処理を行う画像統合処理部４と、画像受信部８−１〜８−ｍへ画像データを伝送する画像伝送処理部５と、メモリ６ａ，６ｂ，６ｃと、風景の良否を判定する風景判定部７とを備えている。
【００１３】
画像処理制御部１は、本装置全体の制御を行うものであり、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、周辺機器との間で情報をやり取りする入出力ポート、ネットワークインタフェースなどを備えている。
画像取得部３−１〜３−ｎ、画像統合処理部４、画像伝送処理部５、および風景判定部７は、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路である。メモリ６ａ，６ｂ，６ｃは、不揮発性メモリ、揮発性メモリ、またはＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等である。
【００１４】
画像処理制御部１は、内部バス２を経由して、画像取得部３−１〜３−ｎ、画像統合処理部４、画像伝送処理部５、および風景判定部７のそれぞれと情報のやり取りが可能である。画像処理制御部１は、画像取得部３−１〜３−ｎに対して、画像のフォーマットおよび動作モード等のパラメータを設定したり、画像取得の開始および停止を指示したりする。また、画像処理制御部１は、画像統合処理部４に対して、画像の選択、選択した画像の加工、合成、グラフィックス重畳、処理開始および処理停止など、動作に必要な指示を統合処理パラメータとして与え、画像統合処理を制御する。また、画像処理制御部１は、画像伝送処理部５と内部バス２を経由して、メモリ６ｂに格納された画像受信部８−１〜８−ｍおよびディスプレイ９−１〜９−ｍのステータス情報のうち、表示制御装置１０に接続されているディスプレイの個数、表示サイズ、通信状態、およびエラー情報を取得する。また、画像処理制御部１は、画像受信部８−１〜８−ｍと内部バス２を経由して、ディスプレイ９−１〜９−ｍの操作手段が同乗者等から受け付けた操作情報を取得する。
【００１５】
また、画像処理制御部１は車内ネットワークを経由して車両から車両情報を取得可能である。車両情報は、例えば、自車位置、進行方向、車速、加速度、日時、ワイパの作動状態、ライトの点灯状態、シフトレバーのポジションなどの情報である。車内ネットワークは、例えばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）である。
さらに、画像処理制御部１は車外ネットワークを経由して車外の情報源から風景情報を取得可能である。風景情報の詳細は、後述の図４で説明する。車外ネットワークは、例えば無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）である。
画像処理制御部１は、車内ネットワークおよび車外ネットワークを経由して取得した車両情報および風景情報を、内部バス２を経由して風景判定部７へ出力する。風景情報は、メモリ６ｃに格納される。
【００１６】
なお、実施の形態１は画像処理制御部１が車内ネットワーク経由で自車位置の情報を取得する構成にしたが、この構成に限定されるものではなく、例えば表示制御装置１０が内部にＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）、ジャイロセンサおよび加速度センサ等を用いたデッドレコニング（自律航法）機能を備えて自車位置の情報を生成してもよい。また、画像処理制御部１がスマートフォン等の携帯情報端末から位置情報を取得して自車位置として用いてもよい。
【００１７】
画像取得ユニット３は、ｎ個（ｎ≧２）の画像取得部３−１〜３−ｎを備える。画像取得部３−１〜３−ｎは、取得した入力画像の色変換、フォーマット変換、およびフィルタ処理等の前処理を行って、画像統合処理部４へ出力する。入力画像として、車両に搭載されたカメラが車両周囲を撮像したカメラ画像がある。また、例えば車載表示システムをＲＳＥに適用し、車両に搭載されたディスク装置が出力するＤＶＤまたはＢＤ等のディスク画像、ナビゲーション装置が出力するナビ画像、表示制御装置１０の外部入力端子に接続されたスマートフォンが出力するスマホ画像等を、入力画像として用いることも可能である。
【００１８】
図２は、表示制御装置１０に接続されるカメラとディスプレイの車両設置例を示す。図２に示す通り、車両の前後左右には、車両周囲の風景画像を撮像するカメラ１１−１〜１１−４が設置されている。カメラ１１−１〜１１−４は、画像取得部３−３〜３−６に接続される。また、画像受信部８−１〜８−ｍに接続されるディスプレイとして、センタコンソールに前部座席用のディスプレイ９−１、左右前部座席の各背面に左側後部座席用のディスプレイ９−２と右側後部座席用のディスプレイ９−３がそれぞれ設置されている。図３は、図２に示したディスプレイ９−１〜９−３の設置状況を、車内後部座席から見た様子を示す。
なお、車両の前後左右の周囲の風景を撮像できるものであれば、カメラの数およびその設置位置は上記に限定されるものではなく、カメラの画角および解像度等に応じて変更してもよい。
【００１９】
左右の後部座席用のディスプレイ９−２，９−３はＲＳＥとして利用される。本発明に係る表示制御装置１０は、このディスプレイ９−２，９−３を視聴している後部座席の同乗者が車両周囲の風景を見逃すことがないよう、風景の良い地点を走行しているときにカメラ画像をディスプレイ９−２，９−３に割り込み表示することによって同乗者に通知する。本発明の対象となるディスプレイは、図２および図３に示したディスプレイ９−２，９−３に限定されるものではなく、運転席と助手席より後ろ側の座席用であればよい。また、車両の他、鉄道、船舶および航空機などの移動体における、運転者または操縦者用の座席を除いた残りの座席用のディスプレイであってもよい。
【００２０】
画像統合処理部４は、画像処理制御部１から受け取る統合処理パラメータに従い、画像取得部３−１〜３−ｎが取得した複数の画像の中から選択した画像を、ディスプレイ９−１〜９−ｍのいずれかに表示する画像データとして画像伝送処理部５へ出力する。また、画像統合処理部４は、必要に応じて、取得した複数の画像の画像処理および画像合成を行ったり、メニュー画面およびワーニング画面等のグラフィックス生成とグラフィックス重畳を行ったりする。また、画像統合処理部４は、風景判定部７の割り込み信号が有効な場合には、ディスプレイ９−１〜９−ｍに表示中の画像データに対して、車両周囲の風景を撮像したカメラ画像を割り込ませる。画像統合処理部４は、これらの処理を行った最終的な画像データを、画像伝送処理部５へ出力する。
【００２１】
風景判定部７は、画像処理制御部１から受け取った車両情報とメモリ６ｃに格納されている風景情報とを用いて車両周囲の風景の良否を判定し、風景が良いと判定した場合に割り込み信号を有効にする。また、風景判定部７は、車両情報と風景情報とを用いて、自車のどの方向に風景が良い地点があるかを算出して、カメラ１１−１〜１１−４の中からその方向を撮像可能なカメラを決定し、カメラ位置情報として画像統合処理部４へ通知する。
【００２２】
ここで、図４に、風景情報の一例を示す。この例では、風景情報がリストテーブルにされてメモリ６ｃに格納されている。
以下では、観光地などの風景の良い地点を「名所地点」、名所地点が絶景に見える地点を「視点地点」、名所地点の見え方に影響を及ぼす環境要因を「環境条件」と呼ぶ。
「名所地点」は、名古屋城などの「地点名」と、緯度経度などの「位置情報」と、車両が名所地点に近づいたか否かの判定を開始する「対象エリア」とを含む。
名所地点の対象エリア内に存在する「視点地点」は、名所地点が絶景に見える「地点名」と「エリア情報」を含む。
【００２３】
「環境条件」は、名所地点における「夜景」、「天候」、「季節」といった環境要因の効果の有無と、「名所種別」等の情報を含む。リストテーブルに「○」が記された環境要因は風景の見え方が良くなる効果を与えることを示し、「×」が記された環境要因は風景の見え方が悪くなる効果を与えることを示す。
例えば、夜間または悪天候時であっても、名所地点によっては風景を楽しむことができる。また、横浜港および神戸港等の港町、スカイツリー、東京タワー、レインボーブリッジおよびベイブリッジ等のようにライトアップされた夜景を楽しむ名所地点がある。また、雨の京都、霧の摩周湖、雲海に浮かぶ城跡等、天候により風情が増す名所地点もある。また、春の桜、夏の海、秋の紅葉、冬の雪景色等、各季節に応じた旬な風景を楽しむ名所地点もある。
【００２４】
なお、本発明において風景の良い地点を示す風景情報として「名所地点」と「視点地点」の情報は必須であるが、「環境条件」は必須ではなく付加的な情報である。実施の形態１，２では図４に示したリストテーブルのうち「名所地点」と「視点地点」の情報を用いた例を説明し、「環境条件」の情報を用いた例は実施の形態３で説明する。
【００２５】
メモリ６ｃに格納しておく風景情報は、例えば、画像処理制御部１が車外ネットワークを通じてインターネット上の情報源から取得してもよいし、風景判定部７がナビゲーション装置の地図データに含まれるＰＯＩ（Ｐｏｉｎｔ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）等に基づいて作成してもよいし、同乗者が入力デバイスを操作して風景情報を登録してもよい。
【００２６】
画像伝送処理部５は、画像統合処理部４から受け取った画像データをディスプレイ９−１〜９−ｍに表示する画像としてパケット化し、ヘッダ情報を付加して送信する。また、画像伝送処理部５は、画像受信部８−１〜８−ｍおよびディスプレイ９−１〜９−ｍのステータス情報および操作情報を受信して、メモリ６ｂに格納させる。画像処理制御部１は、メモリ６ｂに格納された情報を読み出すことで、画像受信部８−１〜８−ｍおよびディスプレイ９−１〜９−ｍのステータス情報および操作情報を認識できる。
【００２７】
ｍ個（ｍ≧２）の画像受信部８−１〜８−ｍには、ｍ個のディスプレイ９−１〜９−ｍが接続される。また、画像受信部８−１〜８−ｍは互いにカスケード接続され、画像伝送処理部５が送信したパケットデータの中から自分宛てのパケットデータを選択して受信すると共に、下位接続された画像受信部にパケットデータを転送する。画像受信部８−１〜８−ｍは、受信したパケットデータに含まれている画像データをディスプレイ９−１〜９−ｍへ出力して表示させる。なお、画像受信部８−１〜８−ｍとディスプレイ９−１〜９−ｍとを別々の装置として構成したものを接続してもよいし、画像受信部８−１〜８−ｍとディスプレイ９−１〜９−ｍとを一体に構成してもよい。
【００２８】
図１のように画像受信部８−１〜８−ｍをカスケード接続した場合、画像受信部の接続数を容易に変更できる利点がある。
なお、接続方法はカスケード接続に限定されるものではない。図５（ａ）の例では、バス１２により画像伝送処理部５と画像受信部８−１〜８−ｍのそれぞれとが接続されている。図５（ｂ）の例では、画像受信部８−１〜８−ｍそれぞれが個別に画像伝送処理部５に接続されている。なお、図５では画像伝送処理部５と画像受信部８−１〜８−ｍ以外の構成は図示を省略している。
【００２９】
ディスプレイ９−１〜９−ｍは、画面とタッチパネルとが一体に構成され、入力デバイスとしても機能する。ディスプレイ９−１〜９−ｍは、画像受信部８−１〜８−ｍが出力した画像データを受け付けて画面表示すると共に、タッチパネルが受け付けた同乗者等の操作入力を操作情報として画像受信部８−１〜８−ｍに出力する。
なお、入力デバイスは、タッチパネルに限定されるものではなく、スイッチ、ボタン、音声認識装置等であってもよい。
【００３０】
図６は、ディスプレイ９−１〜９−３の画面構成例を示す。図６に示す通り、表示制御装置１０に対して複数の画像が入力される場合に、１画面に１つの入力画像を表示する、１画面に複数の入力画像を並べて配置して同時に１つの統合画面として表示するなど、自由に画面を構成することが可能である。
【００３１】
例えば、図６（ａ）では前部座席用のディスプレイ９−１はナビ画像のみ、左後部座席用のディスプレイ９−２はディスク画像（例えば、ＤＶＤの映画）のみ、右後部座席用のディスプレイ９−３は、右方用のカメラ１１−３と後方用のカメラ１１−４が撮像したカメラ画像が合成された右後方画像のみ表示している。図６（ｂ）の前部座席用のディスプレイ９−１は、ディスク画像と、スマホ画像と、左方用のカメラ１１−２と後方用のカメラ１１−４が撮像したカメラ画像が合成された左後方画像と、右方用のカメラ１１−３と後方用のカメラ１１−４が撮像したカメラ画像が合成された右後方画像とを統合した画面を表示している。図６（ｃ）では左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３が統合画面を表示しているが、各画像の表示面積が異なっている。図６（ｄ）の左後部座席用のディスプレイ９−２は、上から見た車両の形をした画像のまわりにカメラ１１−１〜１１−４が撮像したカメラ画像を並べて配置した統合画面を表示している。
【００３２】
なお、詳細は後述するが、ディスプレイ画面上のどこに何の画像を表示するかは、同乗者等が入力デバイスを介して表示制御装置１０へ指示することが可能である。この指示を受けた画像処理制御部１が画像統合処理部４を制御して、同乗者等の指示に応じた画像の統合処理を行い、ディスプレイに表示させる画像データを生成する。
【００３３】
図７は、車両が視点地点を通過するときのディスプレイ９−１〜９−３の割り込み表示の例を示す。図７（ａ）に示すように、前部座席用のディスプレイ９−１にはナビ画像が表示され、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３にはディスク画像が表示されている。このときの自車両Ｚと名所地点Ｂと視点地点ＫＢ１の位置関係を、前部座席用のディスプレイ９−１のナビ画像上に示す。図７（ａ）では自車両Ｚが視点地点ＫＢ１から遠く、名所地点Ｂが見えない位置にいるため、同乗者用のディスプレイ９−２，９−３にはディスク画像（例えば、ＤＶＤの映画）が表示されている。
【００３４】
図７（ｂ）に示すように、自車両Ｚが視点地点ＫＢ１に到達すると、ディスプレイ９−２，９−３に前方用のカメラ１１−１が撮像したカメラ画像が割り込み表示される。図７の例では、名所地点Ｂである山を撮像したカメラ画像が割り込み表示されている。
または、図７（ｃ）に示すように、ディスプレイ９−２，９−３の画面上に、前方用のカメラ１１−１が撮像したカメラ画像用の子画面２１が割り込み表示される、いわゆるピクチャ・イン・ピクチャの構成であってもよい。
名所地点Ｂが絶景に見える視点地点ＫＢ１において、自動的にディスプレイ９−２，９−３にカメラ画像が表示されるので、後部座席にいる同乗者は各席用に設置されたディスプレイでＤＶＤ等の視聴に夢中になっていても、車両が名所地点Ｂ付近を走行中であることを認識できる。さらに、現在カメラが撮像しているカメラ画像を用いて同乗者へ注意喚起を行うことで、印象強く訴求することができる。よって、後部座席の同乗者が名所地点Ｂを見逃すことなく、旅行中の車移動を楽しむことができる。
【００３５】
次に、表示制御装置１０の動作を説明する。
ここでは、画像入力数を７入力（ｎ＝７）、画像出力を３出力（ｍ＝３）とした場合について説明する。
画像処理制御部１は、車両のイグニッションキーがオンになる等して電源が投入されると、表示制御装置１０の各部を初期化する。例えば、画像処理制御部１が画像統合処理部４と画像伝送処理部５を制御して、初期画面として前部座席用のディスプレイ９−１にナビ画像を表示させ、後部座席用のディスプレイ９−２，９−３にＤＶＤ等のディスク画像を表示させる。
また、画像処理制御部１から風景判定部７へ、車両情報および風景情報を出力する。風景判定部７は、風景情報を受け取ると、図４に示したようなリストテーブルを生成し、メモリ６ｃに格納する。なお、風景情報は、予めリストテーブルとして作成された状態で、車外ネットワーク経由でダウンロードされ、メモリ６ｃに格納されてもよい。
【００３６】
画像取得ユニット３において、画像取得部３−１がディスク画像を取得し、画像取得部３−２がナビ画像を取得し、画像取得部３−３が車両前方カメラ画像を取得し、画像取得部３−４が車両左方カメラ画像を取得し、画像取得部３−５が車両右方カメラ画像を取得し、画像取得部３−６が車両後方カメラ画像を取得し、画像取得部３−７がスマホ画像を取得する。ここで、説明を簡単にするため、各入力画像の解像度とフレームレートを各々７２０×４８０ピクセル、３０ｆｐｓとする。
【００３７】
画像受信部８−１は前部座席用のディスプレイ９−１と接続され、画像受信部８−２は左後部座席用のディスプレイ９−２と接続され、画像受信部８−３は右後部座席用のディスプレイ９−３と接続されている。ここでは、各ディスプレイ９−１〜９−３の解像度をＷＶＧＡ（８００×４８０ピクセル）とする。
【００３８】
画像取得部３−１〜３−７は、入力された画像に対してＡ／Ｄ変換およびフォーマット変換を行い、画像統合処理部４へ出力する。画像取得部３−１〜３−７は、例えば、入力された画像がアナログ信号の場合にはデジタル信号へ変換する。輝度／色差（ＹＵＶ／ＹＣｂＣｒ系）フォーマットの場合には色フォーマットをＲＧＢフォーマットへ変換する。
なお、色変換およびフォーマット変換は、画像取得部３−１〜３−７ではなく画像統合処理部４が実施してもよい。また、画像取得部３−１〜３−７でＲＧＢフォーマットへの変換を行わず、画像統合処理部４が輝度／色差（ＹＵＶ／ＹＣｂＣｒ系）フォーマットのまま画像処理を行ってもよい。
【００３９】
次に、画像統合処理部４の動作を説明する。
図８は、画像統合処理部４の画像取り込み、画像統合処理を行うためのバッファの設定例を示したものである。画像統合処理部４は、まず、メモリ６ａ内に画像取得部３−１〜３−７が出力した画像を取り込むためのバッファ設定を行う。各バッファは、ダブルバッファ（Ａバッファ、Ｂバッファ）で構成される。画像統合処理部４は、ディスク画像用バッファをダブルバッファ（Ａバッファ、Ｂバッファ）で構成し、バッファ領域（ｃａｐ＿０＿Ａ、ｃａｐ＿０＿Ｂ）を確保する。同様に、ナビ画像用バッファ（ｃａｐ＿１＿Ａ、ｃａｐ＿１＿Ｂ）、左方画像用バッファ（ｃａｐ＿２＿Ａ、ｃａｐ＿２＿Ｂ）、後方画像用バッファ（ｃａｐ＿３＿Ａ、ｃａｐ＿３＿Ｂ）など、７系統分のバッファ領域を確保する。
このとき、各バッファサイズは、Ａバッファ、Ｂバッファともに入力画像の解像度×階調数×画像入力数分となる。
【００４０】
画像統合処理部４は続いて、メモリ６ａ内に画像統合処理および表示用のバッファの設定を行う。ここでは、ＷＶＧＡの３画面を表示するため、Ａバッファ、Ｂバッファともに、出力画像の解像度×階調数×画像出力数分のサイズとなる。画像統合処理部４は、画像統合処理・表示用のバッファとして、Ａバッファ（ｄｉｓｔ＿ｃｅｌｌ＿０＿Ａ、ｄｉｓｔ＿ｃｅｌｌ＿１＿Ａ、ｄｉｓｔ＿ｃｅｌｌ＿２＿Ａ）、Ｂバッファ（ｄｉｓｔ＿ｃｅｌｌ＿０＿Ｂ、ｄｉｓｔ＿ｃｅｌｌ＿１＿Ｂ、ｄｉｓｔ＿ｃｅｌｌ＿２＿Ｂ）を設定する。
【００４１】
画像統合処理部４は続いて、ディスク画像用バッファの画像取込用バッファにＡバッファ（ｃａｐ＿０＿Ａ）を、画像読出用バッファにＢバッファ（ｃａｐ＿０＿Ｂ）を設定する。画像統合処理部４は、入力画像の取り込み動作として、まず、バッファＡがディスク画像を取り込み動作中か否かを判定する。取り込み中ならバッファを変更せず、各バッファの設定も変更しない。取り込み完了なら画像取込用バッファをＡバッファからＢバッファに切り替え、画像読出用バッファをＢバッファからＡバッファに切り替え、取り込み動作を起動する。取り込み動作の起動後、７２０×４８０ピクセルの１画面分の画像取り込みが終了したら、取り込み動作を停止する。以降、画像取り込み動作を起動、１フレーム分取得、取り込み動作停止の各処理を繰り返す。画像統合処理部４は同様の処理を入力画像それぞれについて行う。
【００４２】
画像統合処理部４は続いて、画像統合処理を行う。画像統合処理部４は、各画像読出用バッファにある各入力画像を使用して、画像処理制御部１が統合処理パラメータにより指定する画像変換処理および合成処理を実施し、画像統合処理・表示用バッファに格納する。画像処理制御部１が指定する画像変換処理とは、例えば拡大、縮小、回転、鏡面変換等である。この例では、左方画像入力が７２０×４８０ピクセルで、画像表示出力が８００×４８０ピクセルであるため、横幅８０ピクセル分を黒とし、等倍で表示する。もしくは、解像度変換を行い、横長の画像として表示してもよい。また、７系統の入力画像のうちの画像処理制御部１が指定する画像を、図６（ｂ）に示したディスプレイ９−１の表示画面のように、上下左右にタイル状に並べて統合してもよい。その場合、８００×４８０ピクセルの画面サイズの１／４は、４００×２４０ピクセルであるため、それぞれの入力画像に対して７２０×４８０ピクセルから４００×２４０ピクセルへの解像度変換を行い、４系統分の画像をタイル状に統合する。なお、図６に示したように、統合画面は、各入力画像を任意のサイズ、任意の数で１つの画面に統合することができる。また、画像統合処理部４は、画像統合処理時に各入力画像の取り込みが完了していない場合には前フレームのデータを使用し、取り込みが完了している場合には取り込みが完了した現フレームのデータを使用して統合処理を行う。
【００４３】
また、画像統合処理部４は、メニュー画面作成、カメラ画像に写った障害物等の強調表示および画像加工等を行い、それを入力画像に重畳するためのグラフィックス処理の機能を持つ。グラフィックス処理とは、例えば、点描画、線描画、多角形描画、矩形描画、塗りつぶし、グラデーション、テクスチャマッピング、ブレンディング、アンチエリアシング、アニメーション、フォント、ディスプレイリストによる描画、３Ｄ描画などである。
【００４４】
画像統合処理部４は一連の画像統合処理を完了後、表示用の垂直同期信号を待ち、画像統合処理・表示用バッファをバッファＡからバッファＢへ切り替える。垂直同期信号は例えば画像処理制御部１が出力する。ディスプレイのフレームレートが６０ｆｐｓならば垂直同期信号は１／６０秒に１回の周期となる。画像統合処理部４は、画像統合処理が１フレーム期間内で完了しない場合には次の垂直同期信号を待ってバッファを切り替える。
この場合、画像更新のフレームレートは３０ｆｐｓとなる。
その後、画像統合処理部４から画像伝送処理部５へ、前部座席用のディスプレイ９−１、左後部座席用のディスプレイ９−２、および右後部座席用のディスプレイ９−３に表示する画像データを出力する。
【００４５】
図９は、画像統合処理部４と画像伝送処理部５のフレーム単位（垂直同期）およびライン単位（水平同期）での動作を示したタイミングチャートであり、横軸が時間である。
画像統合処理部４がＡバッファを使用して画像統合処理を実施している間は、Ｂバッファの画像データを画像伝送処理部５へ出力する。反対に、Ｂバッファを使用して画像統合処理を実施している間は、Ａバッファの画像データを画像伝送処理部５へ出力する。ここでは、３つのディスプレイ９−１〜９−３へ表示を行うため、画像伝送処理部５が３つ分の画像データを水平ライン単位で多重して、多重信号として画像受信部８−１〜８−３へ伝送する。
【００４６】
次に、画像伝送処理部５の動作を説明する。
画像伝送処理部５と画像受信部８−１〜８−３のデータ転送は、双方向で行われる。ここで、画像伝送処理部５から画像受信部８−１〜８−３への転送を下り転送と呼び、画像受信部８−１〜８−３から画像伝送処理部５への転送を上り転送と呼ぶこととする。下り転送時、画像伝送処理部５は、画像統合処理部４より受信した各ライン単位の画像データの多重信号をパケットデータにし、ヘッダ情報を内包したパケットヘッダを付加して、画像受信部８−１〜８−３へ送出する。ヘッダ情報には、パケットＩＤ、ライン番号、データ送付先となる画像受信部８−１〜８−３の識別情報、画像データサイズ等が含まれる。
【００４７】
画像伝送処理部５は、上り転送において画像受信部８−１〜８−３からヘッダとパケットデータを受信し、画像受信部８−１〜８−３およびディスプレイ９−１〜９−３のステータス情報を取得する。ヘッダ情報には、パケットＩＤ、ライン番号、データ送付元となる画像受信部８−１〜８−３の識別情報等が含まれる。パケットデータには、画像データではなく、各画像受信部８−１〜８−３およびディスプレイ９−１〜９−３の状態を表したステータス情報、および操作情報が含まれる。ステータス情報は、通信状態、エラー情報、ディスプレイ９−１〜９−３の接続情報等である。操作情報は、ディスプレイ９−１〜９−３と一体に構成されたタッチパネル等の入力デバイスが受け付けた同乗者等の操作入力を示す情報であり、例えば画面変更要求などである。画像伝送処理部５は、取得したステータス情報および操作情報をメモリ６ｂに格納する。
【００４８】
次に、画像受信部８−１〜８−３の動作を説明する。
図１のようにカスケード接続された画像受信部８−１〜８−３のうち、最上位の画像受信部８−１は、下り転送において、画像伝送処理部５よりパケットヘッダおよびパケットデータを受信し、パケットヘッダに含まれるヘッダ情報から、自分宛てのパケットデータか否かを判定し、自分宛てのパケットデータのみを取得しその中に含まれる画像データをディスプレイ９−１に表示する。画像受信部８−１は、自分宛て以外のパケットデータは受信せず、そのまま、後段に接続された画像受信部８−２へパケットヘッダおよびパケットデータを送出する。また、画像受信部８−１は、上り転送として、自分のステータス情報および操作情報を画像伝送処理部５へ送出する。
【００４９】
同様に、画像受信部８−２も、上位側の画像受信部８−１から送信されるパケットデータのうち、自分宛てのパケットデータのみを受信して、その中に含まれる画像データをディスプレイ９−２に表示すると共に、自分のステータス情報および操作情報を、画像受信部８−１経由で画像伝送処理部５へ送出する。
これより下位の画像受信部８−３も、画像受信部８−２と同様の処理を行う。
【００５０】
次に、風景判定部７の動作を説明する。
風景判定部７は、表示制御装置１０の動作中、画像処理制御部１から受け取る車両情報を常時監視し、図４に示した風景情報のリストテーブルと照らし合わせて、自車両が名所地点周辺の視点地点にいるか否かを判定する。
【００５１】
図１０は、ナビ画像上の自車両Ｚと名所地点Ａと視点地点ＫＡ１，ＫＡ２との位置関係を示している。図１１は、実施の形態１に係る画像統合処理部４の動作を示すフローチャートである。図１２は、実施の形態１に係る風景判定部７の動作を示すフローチャートである。図１１に示す画像統合処理部４の動作と、図１２に示す風景判定部７の動作は、並行して行われるものとする。
以下、自車両Ｚが時間経過に伴い位置（Ｚｘ０，Ｚｙ０）、（Ｚｘ１，Ｚｙ１）、（Ｚｘ２，Ｚｙ２）へ移動する流れに沿って、図１１と図１２のフローチャートを説明する。
【００５２】
図１１に示す通り、表示制御装置１０が起動するとまず、画像統合処理部４は画像処理制御部１から指示された統合処理パラメータを受け取り（ステップＳＴ１）、ディスプレイ９−１〜９−３それぞれの統合処理パラメータとして設定する（ステップＳＴ２）。例えば初期設定用の統合処理パラメータには、前部座席用のディスプレイ９−１の初期画面としてナビ画像を選択することを示すパラメータ、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３の初期画面としてディスク画像（例えば、ＤＶＤの映画）を選択することを示すパラメータなどが含まれている。
【００５３】
図１０に示す通り、（Ｚｘ０，Ｚｙ０）の位置において、自車両Ｚは名所地点Ａの周辺を走行しており、名所地点Ａが見える視点地点ＫＡ１に向かって進行中である。自車両Ｚが視点地点ＫＡ１に到達するまでの道程Ｗ１では、左後部座席用のディスプレイ９−２と右後座席用のディスプレイ９−３には初期画面であるディスク画像が表示されている。
【００５４】
図１２に示す通り、風景判定部７はまず割り込み信号を無効に設定する。続いて風景判定部７は、画像処理制御部１から風景情報を受け取り（ステップＳＴ２２）、図４に示すようなリストテーブルを生成してメモリ６ｃに格納する（ステップＳＴ２３）。続いて風景判定部７は、画像処理制御部１から車両情報を受け取り（ステップＳＴ２４）、この車両情報に含まれる自車位置とメモリ６ｃに格納されている風景情報のリストテーブルとを照らし合わせて、自車位置が名所地点Ａの対象エリア内か否かを判定する（ステップＳＴ２５）。
【００５５】
例えば、図４に示す通り名所地点Ａの対象エリアが０．５ｋｍである場合、風景判定部７は名所地点Ａの位置（Ａｘ，Ａｙ）を中心とした半径０．５ｋｍ圏内を対象エリアに設定し、この対象エリア内に自車位置が入ったか否かを判定する。風景判定部７は、自車位置が名所地点Ａの対象エリア内であると判定した場合（ステップＳＴ２５“ＹＥＳ”）、ステップＳＴ２６において名所地点Ａの視点地点内判定処理を行う。一方、自車位置が名所地点Ａの対象エリア外であると判定した場合（ステップＳＴ２５“ＮＯ”）、風景判定部７はステップＳＴ２７へ進み、次の名所地点Ｂの対象エリア内に自車位置が入ったか否かを判定する。
【００５６】
このように、風景判定部７は、名所地点Ａ〜Ｇの対象エリア内に自車両Ｚが入ったか否かを判定し、対象エリア内に自車両Ｚが入った場合は対応する名所地点の視点地点内判定処理（ステップＳＴ２６，ＳＴ２８，ＳＴ３０）を行う。一方、自車両Ｚが名所地点Ａ〜Ｇのいずれの対象エリア内にも入っていない場合（ステップＳＴ２９“ＮＯ”）、風景判定部７は、割り込み信号を無効にする（ステップＳＴ３１）。その後、風景判定部７は、表示制御装置１０が動作を終了するか否かを判定し（ステップＳＴ３２）、動作が終了しない間（ステップＳＴ３２“ＮＯ”）はステップＳＴ２４〜ＳＴ３１の処理を繰り返し、動作が終了した場合（ステップＳＴ３２“ＹＥＳ”）は処理を終了する。
【００５７】
ここで、図１２のステップＳＴ２６で行う名所地点Ａの視点地点内判定処理を、図１３のフローチャートに示す。なお、ステップＳＴ２８，ＳＴ３０で行う名所地点Ｂ〜Ｇの視点地点内判定処理も、図１３に示されたフローチャートと同様である。
図１３に示す通り、風景判定部７はまず、名所地点Ａに対応する視点地点数の最大値ＫＡｍａｘを設定する（ステップＳＴ４１）。図４の例では名所地点Ａが見える視点地点ＫＡはＫＡ１，ＫＡ２の２個であるため、ＫＡｍａｘ＝２が設定される。また、風景判定部７は、視点地点ＫＡをカウントするカウント値ｈを１に設定する（ステップＳＴ４２）。
【００５８】
続いて風景判定部７は、自車位置が視点地点ＫＡ１内か否かを判定する（ステップＳＴ４３）。視点地点ＫＡ１を示す領域は、図４に示したエリア情報ＫＡ１＿００〜ＫＡ１＿０１で規定される。図１０に示す通り、視点地点ＫＡ１においてＫＡ１＿００とＫＡ１＿０１は向かい合う角の位置を緯度経度などで示しており、これらＫＡ１＿００とＫＡ１＿０１とで視点地点ＫＡ１の矩形領域が規定されている。
【００５９】
現在、自車両Ｚが位置（Ｚｘ０，Ｚｙ０）を走行中であるため、風景判定部７は自車位置が視点地点ＫＡ１内ではないと判定する（ステップＳＴ４３“ＮＯ”）。そして、風景判定部７は、割り込み信号を無効に設定し（ステップＳＴ４４）、視点地点ＫＡのカウント値ｈをインクリメントし（ステップＳＴ４５）、ｈ＞ＫＡｍａｘではない場合に（ステップＳＴ４６“ＮＯ”）、ステップＳＴ４３へ戻って次の視点地点ＫＡ２と自車位置とを比較する。風景判定部７は、名所地点Ａに対応する視点地点ＫＡ１，ＫＡ２の判定処理を終え、ｈ＞ＫＡｍａｘになった場合（ステップＳＴ４６“ＹＥＳ”）、図１３に示す動作を終了して、図１２のステップＳＴ３２へ進む。
【００６０】
説明を図１１に戻す。ステップＳＴ３において、画像統合処理部４は風景判定部７から割り込み信号を受信する。位置（Ｚｘ０，Ｚｙ０）では、自車両Ｚが名所地点の対象エリア内を走行していないため、風景判定部７の割り込み信号は無効に設定されている。従って、画像統合処理部４は、割り込み信号が有効でないと判定し（ステップＳＴ４“ＮＯ”）、ステップＳＴ１３へ進む。同乗者がディスプレイ９−２，９−３の入力デバイスを操作して画面変更要求を入力した場合などに、画像処理制御部１が画像統合処理部４に対して画面変更要求の指示と、変更後画面を生成するための統合処理パラメータとを出力する。ステップＳＴ１３において画像統合処理部４は、画像処理制御部１から画面変更要求を受け取った場合（ステップＳＴ１３“ＹＥＳ”）、続けて統合処理パラメータを受け取り（ステップＳＴ１４）、既に設定されている統合処理パラメータから受け取った統合処理パラメータへ切り替える（ステップＳＴ９）。画像統合処理部４は、切り替えた統合処理パラメータを用いて画像統合処理を実行し、画面変更要求に応じた画像データを生成し（ステップＳＴ１０）、生成した画像データを画像伝送処理部５へ出力する（ステップＳＴ１１）。
【００６１】
一方、画像処理制御部１から画面変更要求を受け取らなかった場合（ステップＳＴ１３“ＮＯ”）、画像統合処理部４は、メモリ６ａに統合処理パラメータが格納されているか否かを判定し（ステップＳＴ１５）、格納されている場合にはその統合処理パラメータをメモリ６ａから取得し（ステップＳＴ１６）、既に設定されている統合処理パラメータから切り替える（ステップＳＴ９）。メモリ６ａに格納されている統合処理パラメータとは、カメラ画像が割り込み表示される前の画像データを生成するための情報であり、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３においてカメラ画像の割り込み表示が終了したときに元の表示画面に戻すために用いられる。従って、画像統合処理部４は、カメラ画像割り込み表示前と同じ統合処理パラメータを用いて画面データを生成し（ステップＳＴ１０）、生成した画像データを画像伝送処理部５へ出力することになる（ステップＳＴ１１）。
【００６２】
なお、画面変更要求がなく（ステップＳＴ１３“ＮＯ”）、メモリ６ａに統合処理パラメータも格納されていない場合（ステップＳＴ１５“ＮＯ”）、画像統合処理部４は既に設定されている統合処理パラメータのまま変更せず、ステップＳＴ１０へ進む。
【００６３】
ステップＳＴ１１の後、画像統合処理部４は、表示制御装置１０が動作を終了するか否かを判定し（ステップＳＴ１２）、動作が終了しない間（ステップＳＴ１２“ＮＯ”）はステップＳＴ３〜ＳＴ１１の処理を繰り返し、動作が終了した場合（ステップＳＴ１２“ＹＥＳ”）は処理を終了する。
【００６４】
図１０に示す通り、位置（Ｚｘ０，Ｚｙ０）の自車両Ｚが走行を継続した結果、視点地点ＫＡ１に到達する。この場合、風景判定部７は、図１３に示すステップＳＴ４３において自車位置が視点地点ＫＡ１内であると判定する（ステップＳＴ４３“ＹＥＳ”）。続いて風景判定部７は、自車両の現在位置と進行方向を含む車両情報を画像処理制御部１から受け取ると共に、メモリ６ｃのリストテーブルから名所地点Ａの位置情報を取得し（ステップＳＴ４７）、名所地点Ａを撮像可能なカメラ位置を算出し（ステップＳＴ４８）、カメラ１１−１〜１１−４の中から撮像に用いるカメラを決定する（ステップＳＴ４９）。そして、風景判定部７は、割り込み信号を有効に設定して（ステップＳＴ５０）、ステップＳＴ４９で決定したカメラを示すカメラ位置情報を画像統合処理部４へ通知する（ステップＳＴ５１）。
【００６５】
ここで、ステップＳＴ４８，ＳＴ４９におけるカメラ決定方法の一例を説明する。
車両の進行方向とカメラ１１−１〜１１−４の撮像方向とが、図２に示した通りであるものとする。この場合、図１０の位置（Ｚｘ１，Ｚｙ１）にいる自車両Ｚにおいては、左方用のカメラ１１−２の撮像方向に名所地点Ａが存在するため、左方用のカメラ１１−２が決定される。
【００６６】
図１１に戻り、ステップＳＴ３において、画像統合処理部４は風景判定部７から割り込み信号を受信する。位置（Ｚｘ１，Ｚｙ１）では、自車両Ｚが名所地点Ａの視点地点ＫＡ１内を走行しているため、風景判定部７の割り込み信号は有効に設定されている。従って、画像統合処理部４は、割り込み信号が有効であると判定し（ステップＳＴ４“ＹＥＳ”）、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３の初期画面であるディスク画像の統合処理パラメータを、一時的にメモリ６ａに格納する（ステップＳＴ５）。続いて画像統合処理部４は、名所地点Ａを撮像するカメラ位置情報の通知を風景判定部７から受け取り（ステップＳＴ６）、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３の画像データ生成用の統合処理パラメータとして、左方用のカメラ１１−２を選択し（ステップＳＴ８）、画像取得部３−１が取得するディスク画像から画像取得部３−５が取得する左方用のカメラ１１−２のカメラ画像へ切り替えるよう設定する（ステップＳＴ９）。
【００６７】
なお、ステップＳＴ９において画像統合処理部４は、図７（ｂ）のように画面全体をカメラ画像に切り替えるよう統合処理パラメータを設定してもよいし、図７（ｃ）のように子画面２１を表示するよう統合処理パラメータを設定してもよい。
また、図１０の例では、左方用のカメラ１１−２の撮像範囲内に名所地点Ａが位置しているため、画像統合処理部４は１台のカメラで撮像したカメラ画像をそのまま使用しているが、例えば名所地点Ａが１台のカメラの撮像範囲の端に位置しており複数台のカメラの撮像範囲にまたがっている場合には複数台のカメラで撮像したカメラ画像を合成してもよい。
【００６８】
続いて画像統合処理部４は、既に設定されている統合処理パラメータから、ステップＳＴ７，ＳＴ８で設定した統合処理パラメータに切り替え（ステップＳＴ９）、切り替えた統合処理パラメータを用いて画像統合処理を実行し、カメラ画像を割り込ませた画像データを画像伝送処理部５へ出力する。これにより、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３は、自車両Ｚが道程Ｗ１から道程Ｗ２へ進入したとき、ディスク画像の表示画面から、左方用のカメラ１１−２で撮像されたカメラ画像の表示画面に切り替わる。
【００６９】
自車両Ｚがさらに走行を継続した結果、視点地点ＫＡ１内の道程Ｗ２を通過すると、視点地点ＫＡ１から外れた道程Ｗ３へ入る。例えば、名所地点Ａと自車両Ｚとの間に遮蔽物Ｖが存在し、道程Ｗ３を走行中の車両からは名所地点Ａが見えないため、道程Ｗ３には視点地点が設定されていない。この場合、風景判定部７は、図１３に示すステップＳＴ４３において自車位置が視点地点ＫＡ１内ではないと判定し（ステップＳＴ４３“ＮＯ”）、割り込み信号を無効に設定する（ステップＳＴ４４）。すると、画像統合処理部４は、メモリ６ａに格納されているカメラ画像割り込み前の画像データに関する統合処理パラメータを用いて、画像統合処理を実行することになる。これにより、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３は、自車両Ｚが道程Ｗ２から道程Ｗ３へ進入したとき、カメラ画像の表示画面からディスク画像の表示画面に戻る。
【００７０】
その後、自車両Ｚがさらに走行を継続した結果、視点地点ＫＡ２に到達する。この場合、風景判定部７は、図１３に示すステップＳＴ４３において自車位置が視点地点ＫＡ２内であると判定し（ステップＳＴ４３“ＹＥＳ”）、自車位置と進行方向とリストテーブルの名所地点Ａの位置情報とから撮像に用いるカメラを決定する（ステップＳＴ４７〜ＳＴ４９）。図１０に示す通り、位置（Ｚｘ２，Ｚｙ２）にいる自車両Ｚにおいては、後方用のカメラ１１−４の撮像方向に名所地点Ａが存在するため、後方用のカメラ１１−４が決定される。そして、風景判定部７は、割り込み信号を有効に設定して（ステップＳＴ５０）、ステップＳＴ４９で決定したカメラ位置情報を画像統合処理部４へ通知する（ステップＳＴ５１）。
【００７１】
図１１に戻り、画像統合処理部４は、視点地点ＫＡ１のときと同様に視点地点ＫＡ２においても、風景判定部７から通知された後方用のカメラ１１−４が撮像するカメラ画像を割り込ませた画像データを生成して、画像伝送処理部５を経由して左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３とに出力する。これにより、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３は、自車両Ｚが道程Ｗ３から道程Ｗ４へ進入したとき、ディスク画像の表示画面から後方用のカメラ１１−４で撮像されたカメラ画像の表示画面に切り替わる。
【００７２】
自車両Ｚがさらに走行を継続した結果、視点地点ＫＡ２内の道程Ｗ４を通過して続く道程Ｗ５へ進入すると、この道程Ｗ５は視点地点内ではないので、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３は後方用のカメラ１１−４で撮像されたカメラ画像の表示画面からディスク画像の表示画面へ戻る。
【００７３】
なお、上記説明では、風景判定部７が、図１２に示したフローチャートにおいて先ず自車両が名所地点の対象エリア内に入ったか否かを判定し、対象エリア内に入った場合に図１３に示したフローチャートにおいて当該名所地点の視点地点内に入ったか否かを判定する構成にしたが、対象エリア内に入ったか否かの判定を行わずに、直接、視点地点内に入ったか否かの判定を行う構成にしてもよい。
【００７４】
以上より、実施の形態１によれば、表示制御装置１０は、車両周囲を撮像するカメラ１１−１〜１１−４からカメラ画像を取得する画像取得部３−３〜３−６と、車両周囲の風景の良否を判定する風景判定部７と、風景判定部７により車両周囲の風景が良いと判定された場合、画像取得部３−３〜３−６のいずれかが取得するカメラ画像を、車両の後部座席用に配置されたディスプレイ９−２，９−３が表示する画像データに割り込ませる画像統合処理部４とを備える構成にしたので、風景が良い地点を走行しているときに自動的にディスプレイに当該風景が良い地点を撮像したカメラ画像を割り込み表示させ、後部座席の同乗者に対して車外風景を見逃すことがないよう注意喚起することができる。よって、後部座席にいる同乗者は、各席に配置されたディスプレイにおいてＤＶＤ等の視聴に夢中になっていても、車外の絶景風景を見逃すことがない。
【００７５】
実施の形態２．
夜間、または降雨もしくは降雪といった悪天候では、名所地点が絶景に見える視点地点を走行していたとしてもその名所地点が見えない、または見えても期待した風景ではないことがある。そこで、本実施の形態２に係る表示制御装置１０は、風景判定部７が、図４に示したような風景情報に加えて、夜間および悪天候といった車両の走行環境を考慮して、車両周囲の風景の良否を判定する構成とする。なお、実施の形態２に係る表示制御装置１０は、図１に示した実施の形態１に係る表示制御装置１０と図面上は同じ構成であるため、以下では図１を援用する。
【００７６】
実施の形態２の風景判定部７は、実施の形態１の図１３に示したフローチャートの代わりに、図１４に示すフローチャートに従って動作する。なお、図１４に示すステップＳＴ４１〜ＳＴ５１は、図１３に示したステップＳＴ４１〜ＳＴ５１と同様の処理である。
【００７７】
図１４に示すステップＳＴ４３において、風景判定部７は、自車位置が視点地点ＫＡｈ内であると判定した場合（ステップＳＴＳＴ４３“ＹＥＳ”）、画像処理制御部１から通知される車両情報に含まれる日時情報に基づいて、現在が夜であるか否かを判定する（ステップＳＴ６１）。風景判定部７は、現在が夜である場合（ステップＳＴ６１“ＹＥＳ”）、自車両が視点地点ＫＡｈ内を通過中であっても夜間では名所地点Ａが見えない、つまり風景が良くないと判定し、割り込み信号を無効に設定する（ステップＳＴ４４）。
【００７８】
続くステップＳＴ６２において、風景判定部７は、画像処理制御部１から通知される車両情報に含まれるワイパ作動状態の情報に基づいて、降雨または降雪といった悪天候か否かを判定する（ステップＳＴ６２）。風景判定部７は、現在悪天候である場合（ステップＳＴ６２“ＹＥＳ”）、自車両が視点地点ＫＡｈ内を通過中であって降雨または降雪の影響で名所地点Ａが見えないか期待した絶景には見えない、つまり風景が良くないと判定し、割り込み信号を無効に設定する（ステップＳＴ４４）。
【００７９】
現在が夜の場合、または悪天候である場合、風景判定部７がステップＳＴ４４において割り込み信号を無効に設定するため、自車両が視点地点ＫＡｈを通過中であっても、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３に対して名所地点Ａを撮像したカメラ画像の割り込み表示は行われない。
一方、現在が夜ではなく、なおかつ悪天候でもない場合、風景判定部７がステップＳＴ４７〜ＳＴ５１へ進み割り込み信号を有効に設定するため、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３に対して名所地点Ａを撮像したカメラ画像の割り込み表示が行われる。
【００８０】
なお、上記説明では、風景判定部７が日時情報に基づいて夜か否かを判定しているが、ライトの点灯状態を示す情報に基づいて夜か否かを判定してもよい。また、カメラ画像の輝度分布等に基づいて夜か否かを判定してもよい。
また、風景判定部７がワイパ作動状態の情報に基づいて悪天候か否かを判定しているが、雨検知センサ、気圧センサ等の各種センサの検出結果に基づいて悪天候か否かを判定してもよい。また、車外ネットワーク経由でインターネット上の天気情報を取得して悪天候か否かを判定してもよい。
【００８１】
以上より、実施の形態２によれば、風景判定部７は、風景の良い地点を示す風景情報と車両の走行環境とに基づいて、車両周囲の風景の良否を判定する構成にしたので、車外の絶景風景が見えない、または期待した風景ではない場合には後部座席用に配置されたディスプレイの無駄な表示切替を行わないようになる。よって、後部座席にいる同乗者は、走行環境が悪く絶景風景が見えない場合に、ＤＶＤ等の視聴を妨害されずに車移動を楽しむことができる。
【００８２】
実施の形態３．
上記実施の形態２では、車両の走行環境が夜間または悪天候であった場合には、それらの環境要因が風景の見え方に及ぼす影響を考慮せず、カメラ画像の割り込み表示を行わない構成であった。しかし、夜間または悪天候であっても、名所地点によっては風景を楽しむことができる。また、名所地点によっては季節に応じた風景を楽しむことも多い。そこで、本実施の形態３に係る表示制御装置１０は、風景判定部７が、風景の良い地点を示す風景情報と当該風景の見え方に影響する環境条件とに基づいて、車両周囲の風景の良否を判定する構成とする。なお、実施の形態３に係る表示制御装置１０は、図１に示した実施の形態１に係る表示制御装置１０と図面上は同じ構成であるため、以下では図１を援用する。また、風景の見え方に影響する環境条件として、図４に示したリストテーブルのうちの「環境条件」を使用する。
【００８３】
実施の形態３の風景判定部７は、実施の形態１の図１３に示したフローチャートの代わりに、図１５に示すフローチャートに従って動作する。なお、図１５に示すステップＳＴ４１〜ＳＴ５１は、図１３に示したステップＳＴ４１〜ＳＴ５１と同様の処理である。
【００８４】
図１５に示すステップＳＴ４３において、風景判定部７は、自車位置が視点地点ＫＡｈ内であると判定した場合（ステップＳＴ４３“ＹＥＳ”）、画像処理制御部１から通知される車両情報に含まれる日時情報に基づいて、現在が夜であるか否かを判定する（ステップＳＴ７１）。現在が夜でない場合（ステップＳＴ７１“ＮＯ”）、風景判定部７はステップＳＴ７３へ進む。
【００８５】
現在が夜である場合（ステップＳＴ７１“ＹＥＳ”）、風景判定部７は、図４に示したリストテーブルを参照して、視点地点ＫＡｈの環境条件として夜景の有無が設定されているか否かを判定する（ステップＳＴ７２）。例えば自車位置が視点地点ＫＡ１内である場合、図４のリストテーブルにおいて視点地点ＫＡ１の環境条件として夜景に「○」が設定されているので、風景判定部７は夜景効果ありと判定し（ステップＳＴ７２“ＹＥＳ”）、ステップＳＴ７３へ進む。一方、視点地点ＫＡｈに夜景が設定されていない場合（ステップＳＴ７２“ＮＯ”）、風景判定部７は、夜間は暗くて名所地点Ａが見えない、つまり風景が良くないと判定し、割り込み信号を無効に設定する（ステップＳＴ４４）。この例では、夜間に夜景効果のない名所地点は見えないと判定して、天候および季節の環境条件の判定（ステップＳＴ７３〜ＳＴ７５）をスキップしている。
【００８６】
ステップＳＴ７３において、風景判定部７は、画像処理制御部１から通知される車両情報に含まれるワイパ作動状態の情報に基づいて、降雨または降雪の天候に当てはまるか否かを判定する。現在、車両の走行環境が降雨または降雪ではない場合（ステップＳＴ７３“ＮＯ”）、風景判定部７はステップＳＴ７５へ進む。
【００８７】
車両の走行環境が降雨または降雪である場合（ステップＳＴ７３“ＹＥＳ”）、風景判定部７は、図４に示したリストテーブルを参照して、視点地点ＫＡｈの環境条件として天候の有無が設定されているか否かを判定する（ステップＳＴ７４）。例えば自車位置が視点地点ＫＡ１内である場合、図４のリストテーブルにおいて視点地点ＫＡ１の環境条件として天候の雨効果に「×」が、雪効果にも「×」が設定されているので、風景判定部７は天候効果なし、つまり降雨または降雪の影響により名所地点Ａの風景の見え方が良くないと判定し（ステップＳＴ７４“ＮＯ”）、割り込み信号を無効に設定する（ステップＳＴ４４）。一方、雨効果または雪効果の少なくとも一方に「○」が設定されている場合（ステップＳＴ７４“ＹＥＳ”）、風景判定部７は雨効果または雪効果により名所地点Ａが絶景に見える、つまり風景が良いと判定して、ステップＳＴ７５へ進む。
【００８８】
なお、この説明では、天候効果として降雨と降雪を例に挙げたが、これ以外にも例えば霧、雲などの効果を考慮してもよい。
【００８９】
ステップＳＴ７５において、風景判定部７は、画像処理制御部１から通知される車両情報に含まれる日時情報に基づいて現在の季節を判定し、図４に示したリストテーブルを参照して、視点地点ＫＡｈの環境条件として現在の季節に対応する季節効果が設定されているか否かを判定する（ステップＳＴ７５）。例えば自車位置が視点地点ＫＡ１内である場合、図４のリストテーブルにおいて視点地点ＫＡ１の環境条件として春のみに「○」が設定されており、名所地点Ａは春の桜のみが見所であると考えられる。そのため、風景判定部７は、現在の季節が春である場合、名所地点Ａの風景が良いと判定し（ステップＳＴ７５“ＹＥＳ”）、ステップＳＴ４７へ進む。一方、現在の季節が春以外である場合、風景判定部７は、風景が良くないと判定し、割り込み信号を無効に設定する（ステップＳＴ４４）。
【００９０】
夜景効果、天候効果、または季節効果により風景が良いと判定された場合、風景判定部７がステップＳＴ４７〜ＳＴ５１へ進み割り込み信号を有効に設定するため、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３に対して名所地点Ａを撮像したカメラ画像の割り込み表示が行われる。
一方、夜景効果、天候効果、または季節効果がなく風景が良くないと判定された場合、風景判定部７がステップＳＴ４４において割り込み信号を無効に設定するため、自車両が視点地点ＫＡｈを通過中であっても、左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３に対して名所地点Ａを撮像したカメラ画像の割り込み表示は行われない。
【００９１】
このように、風景情報に対して季節、月日、時間帯等に応じた環境条件を設定しておくことで、最適な見どころ時間または時期を判定して、カメラ画像の割り込み表示を行うか否かを判定することができる。なお、上記例では、夜景効果、天候効果および季節効果の全てについて判定を行ったが、どの効果の判定を行うかは自由とする。
【００９２】
なお、上記実施の形態２と同様、本実施の形態３においても風景判定部７は日時情報およびワイパ作動状態の情報以外の情報に基づいて環境条件を判定することが可能である。
【００９３】
以上より、実施の形態３によれば、風景判定部７は、風景の良い地点を示す風景情報と当該風景の見え方に影響する環境条件とに基づいて、車両周囲の風景の良否を判定する構成にしたので、車外環境に応じて見え方が変わる風景について見え方が良いときのみ選択的に割り込み表示を行うことができる。よって、後部座席にいる同乗者は、各席に配置されたディスプレイにおいてＤＶＤ等の視聴に夢中になっていても、車外の絶景風景を見逃すことがない。車外の絶景風景が見えない、または期待した風景ではない場合には無駄な割り込み表示は行わないので、後部座席にいる同乗者は、走行環境が悪く絶景風景が見えない場合に、ＤＶＤ等の視聴を妨害されずに車移動を楽しむことができる。
【００９４】
実施の形態４．
上記実施の形態１〜３では、風景情報を用いて風景の良否を判定する構成であったが、本実施の形態４では、車外風景を撮像したカメラ画像を解析して風景の良否を判定する構成とする。なお、実施の形態４に係る表示制御装置１０は、図１に示した実施の形態１に係る表示制御装置１０と図面上は同じ構成であるため、以下では図１を援用する。
【００９５】
実施の形態４のメモリ６ｃには、風景の良否を判定するための推奨パターンを予め格納しておく。推奨パターンとしては、風景が良い構図の画像がある。また、タワー、城およびブリッジ等のランドマークとなる建物、山、海、ならびに湖などの画像でもよい。
風景判定部７は、画像取得部３−３〜３−６が取得したカメラ１１−１〜１１−４のカメラ画像と推奨パターンとをパターンマッチング等の方法で照合し、マッチング度合いが予め定められた閾値以上の場合に車両周囲の風景が良いと判定して割り込み信号を有効に設定する。また、風景判定部７は、画像取得部３−３〜３−６が取得したカメラ１１−１〜１１−４のカメラ画像のうち、例えば左方用のカメラ１１−２が撮像したカメラ画像が閾値以上のマッチング度合いであった場合、この左方用のカメラ１１−２が撮像したカメラ画像を左後部座席用のディスプレイ９−２と右後部座席用のディスプレイ９−３に割り込み表示させるカメラとして決定する。
【００９６】
さらに、推奨パターンは、風景が良い画像の色の分布を示す色情報、または輝度分布を示す輝度情報であってもよい。
例えば、風景判定部７は、カメラ画像において赤色または黄色の少なくとも一方が予め定められた割合以上を占めていた場合、紅葉を含んだ風景、つまり風景が良いと判定する。また例えば、風景判定部７は、カメラ画像において様々な色が一様に分布していたら花畑、カメラ画像の左右領域に桃色の分布が多ければ桜並木、カメラ画像の上領域に青色の分布が多ければ快晴、カメラ画像の下領域に青色の分布が多ければ海と判定してもよい。また例えば、風景判定部７は、カメラ画像の輝度分布を検出し、予め定められた値より輝度が低い領域、つまり暗い領域と、当該予め定められた値より輝度が高い領域、つまり明るい領域の双方にピークを検出した場合に、ライトアップされた夜景と判定してもよい。
【００９７】
以上より、実施の形態４によれば、風景判定部７は、画像取得部３−３〜３−６が取得するカメラ画像を解析して車両周囲の風景の良否を判定する構成にしたので、ガイドブック、ナビゲーション装置の地図データまたはインターネット等にない名所地点についても、絶景風景を見逃すことがないよう注意喚起することができる。
【００９８】
また、実施の形態４によれば、風景判定部７は、カメラ画像と予め定められた推奨パターンとを照合して風景の良否を判定する構成にしたので、後部座席の同乗者は、ガイドブック等にない新しい名所地点を発見および観賞しながら、車移動を楽しむことができる。
【００９９】
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１００】
この発明に係る表示制御装置は、風景の良い地点を通過するときに車外風景を撮像したカメラ画像を後部座席用ディスプレイに割り込み表示させるようにしたので、ＲＳＥなどの車載表示システムに用いるのに適している。
【符号の説明】
【０１０１】
１  画像処理制御部、２  内部バス、３−１〜３−ｎ  画像取得部、４  画像統合処理部、５  画像伝送処理部、６ａ，６ｂ，６ｃ  メモリ、７  風景判定部、８−１〜８−ｍ  画像受信部、９−１〜９−ｍ  ディスプレイ、１０  表示制御装置、１１−１〜１１−４  カメラ、２１  子画面、Ａ，Ｂ  名所地点、ＫＡ１，ＫＡ２，ＫＢ１  視点地点、Ｖ  遮蔽物、Ｗ１〜Ｗ５  道程、Ｚ  自車両。
【図１】
2016147387.tif 000003
【図２】
2016147387.tif 000004
【図３】
2016147387.tif 000005
【図４】
2016147387.tif 000006
【図５】
2016147387.tif 000007
【図６】
2016147387.tif 000008
【図７】
2016147387.tif 000009
【図８】
2016147387.tif 000010
【図９】
2016147387.tif 000011
【図１０】
2016147387.tif 000012
【図１１】
2016147387.tif 000013
【図１２】
2016147387.tif 000014
【図１３】
2016147387.tif 000015
【図１４】
2016147387.tif 000016
【図１５】
2016147387.tif 000017
【手続補正書】
【提出日】平成29年2月10日(2017.2.10)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
この発明に係る表示制御装置は、車両周囲を撮像するカメラからカメラ画像を取得する画像取得部と、車両周囲の風景の良否を判定する風景判定部と、風景判定部により車両周囲の風景が良いと判定された場合、画像取得部が取得するカメラ画像を、車両の後部座席用に配置されたディスプレイが表示する画像データに割り込ませる画像統合処理部とを備え、風景判定部は、画像取得部が取得するカメラ画像を解析して車両周囲の風景の良否を判定するものである。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両周囲を撮像するカメラからカメラ画像を取得する画像取得部と、
前記車両周囲の風景の良否を判定する風景判定部と、
前記風景判定部により前記車両周囲の風景が良いと判定された場合、前記画像取得部が取得するカメラ画像を、前記車両の後部座席用に配置されたディスプレイが表示する画像データに割り込ませる画像統合処理部とを備え、
前記風景判定部は、前記画像取得部が取得するカメラ画像を解析して前記車両周囲の風景の良否を判定することを特徴とする表示制御装置。
【請求項２】
前記風景判定部は、風景の良い地点を示す風景情報と前記車両の走行環境とに基づいて、前記車両周囲の風景の良否を判定することを特徴とする請求項１記載の表示制御装置。
【請求項３】
前記風景判定部は、風景の良い地点を示す風景情報と当該風景の見え方に影響する環境条件とに基づいて、前記車両周囲の風景の良否を判定することを特徴とする請求項１記載の表示制御装置。
【請求項４】
前記風景判定部は、前記画像取得部が取得するカメラ画像と予め定められた推奨パターンとを照合して前記車両周囲の風景の良否を判定することを特徴とする請求項１記載の表示制御装置。
【請求項５】
車両の後部座席用に配置されたディスプレイと、
車両周囲を撮像するカメラからカメラ画像を取得する画像取得部と、
前記車両周囲の風景の良否を判定する風景判定部と、
前記風景判定部により前記車両周囲の風景が良いと判定された場合、前記画像取得部が取得するカメラ画像を、前記ディスプレイが表示する画像データに割り込ませる画像統合処理部とを備え、
前記風景判定部は、前記画像取得部が取得するカメラ画像を解析して前記車両周囲の風景の良否を判定することを特徴とする車載表示システム。
【国際調査報告】
2016147387.tif 000018
2016147387.tif 000019