(57)【要約】【課題】広角レンズを有する撮像装置を用いて運転席側及び助手席側の乗員を一括して撮像する場合に、後席の乗員に対して違和感のない前席の乗員の画像を、後席用の画像表示装置に表示することができる画像表示方法、車載用画像表示システム及び画像処理装置を提供する。【解決手段】撮像装置１が撮像した画像を左右反転し、左右に２つの領域に分割し、各領域をそれぞれ左右反転する画像処理をＥＣＵ２の画像処理部２２で行って、画像表示装置３に表示する。撮像装置１が撮像した画像を左右に２つの領域に分割し、２つの領域の配置を左右に置換する画像処理を行ってもよい。また、元の画像と置換後の画像との各画素の位置の対応を予め変換テーブルなどに記憶しておき、記憶した対応を基に撮像により得られた画像の各画素を移動する画像処理を行ってもよい。【選択図】図１
2009083791.tif 000002
【特許請求の範囲】
【請求項１】
広角レンズを有する撮像装置で車輌の運転席側及び助手席側の乗員を一括して撮像し、撮像した画像を前記車輌の後席へ向けた画像表示装置に表示する画像表示方法において、
前記撮像装置が撮像した画像の各画素を左右反転した位置へ移動し、
左右反転した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割し、
前記第１領域の各画素を前記第１領域内で左右反転した位置へ移動すると共に、前記第２領域の各画素を前記第２領域内で左右反転した位置へ移動し、
各領域を左右反転した画像を前記画像表示装置に表示すること
を特徴とする画像表示方法。
【請求項２】
広角レンズを有する撮像装置で車輌の運転席側及び助手席側の乗員を一括して撮像し、撮像した画像を前記車輌の後席へ向けた画像表示装置に表示する画像表示方法において、
前記撮像装置が撮像した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割し、
前記第１領域及び第２領域を左右に置換した位置へ前記画像の各画素を移動し、
各領域を左右置換した画像を前記画像表示装置に表示すること
を特徴とする画像表示方法。
【請求項３】
広角レンズを有する撮像装置で車輌の運転席側及び助手席側の乗員を一括して撮像し、撮像した画像を前記車輌の後席へ向けた画像表示装置に表示する画像表示方法において、
前記撮像装置が撮像した画像と、前記画像の運転席側及び助手席側が左右に置換された画像とについて、各画素の位置の対応を予め記憶しておき、
前記撮像装置が撮像した画像の各画素を前記対応に応じて移動し、
前記対応に応じて各画素を移動した画像を前記画像表示装置に表示すること
を特徴とする画像表示方法。
【請求項４】
車輌に搭載され、前記車輌の運転席側及び助手席側の乗員を一括して撮像する広角レンズを有する撮像装置と、前記車輌の後席へ向けて画像を表示する画像表示装置と、前記撮像装置が撮像した画像に画像処理を施して前記画像表示装置に表示させる処理を行う画像処理装置とを備える車載用画像表示システムにおいて、
前記画像処理装置は、
前記撮像装置が撮像した画像の各画素を左右反転した位置へ移動する手段と、
左右反転した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割する手段と、
前記第１領域の各画素を前記第１領域内で左右反転した位置へ移動すると共に、前記第２領域の各画素を前記第２領域内で左右反転した位置へ移動する手段と
を有すること
を特徴とする車載用画像表示システム。
【請求項５】
車輌に搭載され、前記車輌の運転席側及び助手席側の乗員を一括して撮像する広角レンズを有する撮像装置と、前記車輌の後席へ向けて画像を表示する画像表示装置と、前記撮像装置が撮像した画像に画像処理を施して前記画像表示装置に表示させる処理を行う画像処理装置とを備える車載用画像表示システムにおいて、
前記画像処理装置は、
前記撮像装置が撮像した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割する手段と、
前記第１領域及び第２領域を左右に置換した位置へ前記画像の各画素を移動する手段と
を有すること
を特徴とする車載用画像表示システム。
【請求項６】
車輌に搭載され、前記車輌の運転席側及び助手席側の乗員を一括して撮像する広角レンズを有する撮像装置と、前記車輌の後席へ向けて画像を表示する画像表示装置と、前記撮像装置が撮像した画像に画像処理を施して前記画像表示装置に表示させる処理を行う画像処理装置とを備える車載用画像表示システムにおいて、
前記画像処理装置は、
前記撮像装置が撮像した画像と、前記画像の運転席側及び助手席側が左右に置換された画像とについて、各画素の位置の対応を予め記憶した記憶手段と、
前記撮像装置が撮像した画像の各画素を前記記憶手段が記憶した前記対応に応じて移動する手段と
を有すること
を特徴とする車載用画像表示システム。
【請求項７】
前記画像処理装置は、
他の装置から画像の入力を受け付ける画像入力受付手段と、
前記撮像装置が撮像した画像に画像処理を施した画像又は前記画像入力受付手段が受け付けた画像の前記画像表示装置における表示を切替える画像切替手段と
を更に有すること
を特徴とする請求項４乃至請求項６のいずれか１つに記載の車載用画像表示システム。
【請求項８】
前記画像処理装置は、
前記撮像装置が撮像した画像から運転席乗員及び助手席乗員の口の形状を検出する口形状検出手段を更に有し、
前記画像切替手段が、前記口形状検出部が検出した口の形状に基づいて表示画像を切替えるようにしてあること
を特徴とする請求項７に記載の車載用画像表示システム。
【請求項９】
前記車輌の前席乗員の音声を検出する音声検出手段を更に備え、
前記画像切替手段は、前記音声検出手段の検出結果に基づいて表示画像を切り替えるようにしてあること
を特徴とする請求項７又は請求項８に記載の車載用画像表示システム。
【請求項１０】
車輌に搭載され、広角レンズを有する撮像装置が前記車輌の運転席側及び助手席側の乗員を一括して撮像した画像に画像処理を施して、前記車輌の後席へ向けた画像表示装置に表示させる処理を行う画像処理装置において、
前記撮像装置が撮像した画像の各画素を左右反転した位置へ移動する手段と、
左右反転した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割する手段と、
前記第１領域の各画素を前記第１領域内で左右反転した位置へ移動すると共に、前記第２領域の各画素を前記第２領域内で左右反転した位置へ移動する手段と
を備えること
を特徴とする画像処理装置。
【請求項１１】
車輌に搭載され、広角レンズを有する撮像装置が前記車輌の運転席側及び助手席側の乗員を一括して撮像した画像に画像処理を施して、前記車輌の後席へ向けた画像表示装置に表示させる処理を行う画像処理装置において、
前記撮像装置が撮像した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割する手段と、
前記第１領域及び第２領域を左右に置換した位置へ前記画像の各画素を移動する手段と
を備えること
を特徴とする画像処理装置。
【請求項１２】
車輌に搭載され、広角レンズを有する撮像装置が前記車輌の運転席側及び助手席側の乗員を一括して撮像した画像に画像処理を施して、前記車輌の後席へ向けた画像表示装置に表示させる処理を行う画像処理装置において、
前記撮像装置が撮像した画像と、前記画像の運転席側及び助手席側が左右に置換された画像とについて、各画素の位置の対応を予め記憶した記憶手段と、
前記撮像装置が撮像した画像の各画素を前記記憶手段が記憶した前記対応に応じて移動する手段と
を備えること
を特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車輌の後部座席の乗員に対し、快適な車内環境を提供する画像表示方法、車載用画像表示システム及び画像処理装置に関する。
【背景技術】
【０００２】
近年、車輌にはカーナビゲーション装置又はテレビジョン装置等が搭載され、走行に係る案内画像又はテレビ番組等を液晶ディスプレイなどの画像表示装置に表示することによって、車輛走行中の乗員の快適性改善が図られている。
【０００３】
車輌の走行中に乗員は画像表示装置に表示された画像を視聴するのみでなく、他の乗員と会話を楽しむ機会がしばしばある。車輌後席の乗員が運転席及び助手席の乗員と会話を行う場合、後席の乗員からは運転席及び助手席の乗員の表情を直接見ることができないため、会話の真意を履き違えるなど、円滑な会話を行うことが困難な状況になる虜がある。そこで、前席の乗員をカメラなどの撮像装置で撮像し、撮像した前席乗員の画像を画像表示装置に表示することで、前席の乗員及び後席の乗員の会話を改善する方法が提案されている。
【０００４】
特許文献１においては、後席用映像カメラが撮像した後席乗員の画像を、前席乗員に見える位置に配置された前席用ディスプレイに表示し、また、前席用映像カメラが撮像した前席乗員の画像を、後席乗員に見える位置に配置された後席用ディスプレイに表示する車載用映像表示装置が提案されている。この車載用映像表示装置は、例えば、車輌の運転中に前席の親が後席の子供の状態を容易に確認することができ、後席の子供が前席の親の顔を見ることができるため、前席の親が後席の子供を容易且つ安全にあやすことができる。
【０００５】
特許文献２においては、後方撮影用カメラにて車輌後席の様子を撮影すると共に、車輌が急カーブを走行している期間を検出して、車輌が急カーブを走行していない場合には運転者用モニターにカーナビゲーションの画像を表示し、車輌が急カーブを走行している場合には運転者用モニターに後席の画像を運転者用モニターに表示する車載用画像情報処理装置が提案されている。この車載用画像情報処理装置は、車輌が急カーブを走行している期間などで後席の子供を監視する必要がある場合に、後席の様子を自動的に運転者用モニターに表示することができるため、運転中の運転者が後席の状況を把握したいとき又は把握すべきときに、能率的にこれを把握させることができる。
【特許文献１】特開２００３−２５９１１号公報
【特許文献２】特開２００５−２４９５８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
車輌の後席の乗員に運転席及び助手席の乗員の表情を表示するために、車輌内の前部には運転席及び助手席を撮像する撮像装置を搭載する必要がある。撮像装置は運転席用と助手席用とを個別に搭載することができるが、コストが高くなるという問題から、１つの撮像装置を車輌前部のセンタークラスタ付近に搭載し、１つの撮像装置が運転席及び助手席を一括して撮像する構成とすることが望ましい。しかし、１つの撮像装置が運転席及び助手席を一括して撮像した画像を後席用の画像表示装置に表示した場合、後席の乗員から見た運転席乗員と助手席乗員との位置関係と比べて左右反対に表示された画像になるという問題があった。
【０００７】
また、車輌内は狭く、撮像装置と運転席及び助手席との距離が近いため、１つの撮像装置が運転席及び助手席を一括して撮像するためには、焦点距離が短く広い範囲を写すことができる広角レンズを撮像装置に用いる必要がある。しかし、撮像装置に広角レンズを用いた場合、広角レンズの特徴として被写界深度が深く画角が広い反面、画面の周辺部における像に歪曲が生じるため、運転席及び助手席の乗員がお互いに外向きの視線で撮像され、後席乗員に違和感を与える画像になるという問題があった。
【０００８】
特許文献１に記載の車載用映像表示装置及び特許文献２に記載の車載用画像情報処理装置についても、上述の問題が生じる可能性がある。また、特許文献１に記載の車載用映像表示装置及び特許文献２に記載の車載用画像情報処理装置は、車輌の前席の乗員と後席の乗員との会話を目的としたものではなく、後席の子供の様子を前席の親が確認することを目的としたものである。このため、特許文献２の車載用画像情報処理装置には、車輌の走行状態を検出して、例えば車輌が急カーブを走行している場合などに後席の様子を自動的にモニターに表示する機能が備えられている。しかし、前席の乗員及び後席の乗員の会話を目的とした場合には、このような表示の自動切替え機能は会話の妨げとなるという問題がある。
【０００９】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、広角レンズを有する撮像装置を用いて運転席側及び助手席側の乗員を一括して撮像した画像に、所定の画像処理を施して後席へ向けた画像表示装置に表示することにより、後席の乗員に対して違和感のない前席乗員の画像を表示することができる画像表示方法、車載用画像表示システム及び画像処理装置を提供することにある。
【００１０】
また本発明の他の目的とするところは、カーナビゲーション装置又はテレビチューナ等の他の装置から入力された画像と、撮像装置が撮像した前席の乗員の画像とを、後席へ向けた画像表示装置に切替えて表示することにより、画像表示装置を多目的に利用することができる車載用画像表示システムを提供することにある。
【００１１】
また本発明の他の目的とするところは、撮像装置が撮像した画像から乗員の口の形状を検出し、及び／又は、前席の乗員が発する音声を検出し、検出結果に基づいて画像表示装置に表示する画像を切替えることにより、他の装置からの画像を画像表示装置に表示している場合であっても、前席の乗員の会話時に撮像装置が撮像した画像を後席の乗員に表示することができる車載用画像表示システムを提供することにある。
【課題を解決するための手段】
【００１２】
第１発明に係る画像表示方法は、広角レンズを有する撮像装置で車輌の運転席側及び助手席側の乗員を一括して撮像し、撮像した画像を前記車輌の後席へ向けた画像表示装置に表示する画像表示方法において、前記撮像装置が撮像した画像の各画素を左右反転した位置へ移動し、左右反転した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割し、前記第１領域の各画素を前記第１領域内で左右反転した位置へ移動すると共に、前記第２領域の各画素を前記第２領域内で左右反転した位置へ移動し、各領域を左右反転した画像を前記画像表示装置に表示することを特徴とする。
【００１３】
また、第２発明に係る画像表示方法は、広角レンズを有する撮像装置で車輌の運転席側及び助手席側の乗員を一括して撮像し、撮像した画像を前記車輌の後席へ向けた画像表示装置に表示する画像表示方法において、前記撮像装置が撮像した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割し、前記第１領域及び第２領域を左右に置換した位置へ前記画像の各画素を移動し、各領域を左右置換した画像を前記画像表示装置に表示することを特徴とする。
【００１４】
また、第３発明に係る画像表示方法は、広角レンズを有する撮像装置で車輌の運転席側及び助手席側の乗員を一括して撮像し、撮像した画像を前記車輌の後席へ向けた画像表示装置に表示する画像表示方法において、前記撮像装置が撮像した画像と、前記画像の運転席側及び助手席側が左右に置換された画像とについて、各画素の位置の対応を予め記憶しておき、前記撮像装置が撮像した画像の各画素を前記対応に応じて移動し、前記対応に応じて各画素を移動した画像を前記画像表示装置に表示することを特徴とする。
【００１５】
また、第４発明に係る車載用画像表示システムは、車輌に搭載され、前記車輌の運転席側及び助手席側の乗員を一括して撮像する広角レンズを有する撮像装置と、前記車輌の後席へ向けて画像を表示する画像表示装置と、前記撮像装置が撮像した画像に画像処理を施して前記画像表示装置に表示させる処理を行う画像処理装置とを備える車載用画像表示システムにおいて、前記画像処理装置は、前記撮像装置が撮像した画像の各画素を左右反転した位置へ移動する手段と、左右反転した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割する手段と、前記第１領域の各画素を前記第１領域内で左右反転した位置へ移動すると共に、前記第２領域の各画素を前記第２領域内で左右反転した位置へ移動する手段とを有することを特徴とする。
【００１６】
また、第５発明に係る車載用画像表示システムは、車輌に搭載され、前記車輌の運転席側及び助手席側の乗員を一括して撮像する広角レンズを有する撮像装置と、前記車輌の後席へ向けて画像を表示する画像表示装置と、前記撮像装置が撮像した画像に画像処理を施して前記画像表示装置に表示させる処理を行う画像処理装置とを備える車載用画像表示システムにおいて、前記画像処理装置は、前記撮像装置が撮像した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割する手段と、前記第１領域及び第２領域を左右に置換した位置へ前記画像の各画素を移動する手段とを有することを特徴とする。
【００１７】
また、第６発明に係る車載用画像表示システムは、車輌に搭載され、前記車輌の運転席側及び助手席側の乗員を一括して撮像する広角レンズを有する撮像装置と、前記車輌の後席へ向けて画像を表示する画像表示装置と、前記撮像装置が撮像した画像に画像処理を施して前記画像表示装置に表示させる処理を行う画像処理装置とを備える車載用画像表示システムにおいて、前記画像処理装置は、前記撮像装置が撮像した画像と、前記画像の運転席側及び助手席側が左右に置換された画像とについて、各画素の位置の対応を予め記憶した記憶手段と、前記撮像装置が撮像した画像の各画素を前記記憶手段が記憶した前記対応に応じて移動する手段とを有することを特徴とする。
【００１８】
また、第７発明に係る車載用画像表示システムは、前記画像処理装置が、他の装置から画像の入力を受け付ける画像入力受付手段と、前記撮像装置が撮像した画像に画像処理を施した画像又は前記画像入力受付手段が受け付けた画像の前記画像表示装置における表示を切替える画像切替手段とを更に有することを特徴とする。
【００１９】
また、第８発明に係る車載用画像表示システムは、前記画像処理装置が、前記撮像装置が撮像した画像から運転席乗員及び助手席乗員の口の形状を検出する口形状検出手段を更に有し、前記画像切替手段が、前記口形状検出部が検出した口の形状に基づいて表示画像を切替えるようにしてあることを特徴とする。
【００２０】
また、第９発明に係る車載用画像表示システムは、前記車輌の前席乗員の音声を検出する音声検出手段を更に備え、前記画像切替手段は、前記音声検出手段の検出結果に基づいて表示画像を切替えるようにしてあることを特徴とする。
【００２１】
また、第１０発明に係る画像処理装置は、車輌に搭載され、広角レンズを有する撮像装置が前記車輌の運転席側及び助手席側の乗員を一括して撮像した画像に画像処理を施して、前記車輌の後席へ向けた画像表示装置に表示させる処理を行う画像処理装置において、前記撮像装置が撮像した画像の各画素を左右反転した位置へ移動する手段と、左右反転した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割する手段と、前記第１領域の各画素を前記第１領域内で左右反転した位置へ移動すると共に、前記第２領域の各画素を前記第２領域内で左右反転した位置へ移動する手段とを備えることを特徴とする。
【００２２】
また、第１１発明に係る画像処理装置は、車輌に搭載され、広角レンズを有する撮像装置が前記車輌の運転席側及び助手席側の乗員を一括して撮像した画像に画像処理を施して、前記車輌の後席へ向けた画像表示装置に表示させる処理を行う画像処理装置において、前記撮像装置が撮像した画像を運転席側に該当する第１領域及び助手席側に該当する第２領域に分割する手段と、前記第１領域及び第２領域を左右に置換した位置へ前記画像の各画素を移動する手段とを備えることを特徴とする。
【００２３】
また、第１２発明に係る画像処理装置は、車輌に搭載され、広角レンズを有する撮像装置が前記車輌の運転席側及び助手席側の乗員を一括して撮像した画像に画像処理を施して、前記車輌の後席へ向けた画像表示装置に表示させる処理を行う画像処理装置において、前記撮像装置が撮像した画像と、前記画像の運転席側及び助手席側が左右に置換された画像とについて、各画素の位置の対応を予め記憶した記憶手段と、前記撮像装置が撮像した画像の各画素を前記記憶手段が記憶した前記対応に応じて移動する手段とを備えることを特徴とする。
【００２４】
本発明においては、広角レンズを有する撮像装置にて一括して撮像した運転席側及び助手席側の乗員の画像に、後席の乗員のための種々の画像処理を施して、後席へ向けた画像表示装置に表示する。このとき行う画像処理は、まず撮像により得られた画像を左右反転し、次いでこの画像を左右に２つの領域に分割して、各領域をそれぞれ左右反転する画像処理とすることができる。これにより、後席用の画像表示装置に表示される画像は、運転席及び助手席の乗員の位置関係が、後席の乗員から見た運転席及び助手席の乗員の位置関係に対応すると共に、運転席及び助手席の乗員の外向きの視線が内向きに補正される。
【００２５】
また、本発明においては、まず撮像により得られた画像を左右に２つの領域に分割し、次いで分割した２つの領域の配置を左右に置換する画像処理を行ってもよい。この画像処理の場合であっても、上述の場合と同様に、後席用の画像表示装置に表示される画像は、運転席及び助手席の乗員の位置関係が、後席の乗員から見た運転席及び助手席の乗員の位置関係に対応すると共に、運転席及び助手席の乗員の外向きの視線が内向きに補正される。
【００２６】
また、本発明においては、撮像装置が撮像した画像の運転席側及び助手席側を左右に置換する場合、元の画像と置換後の画像との各画素の位置の対応を予め変換テーブルなどに記憶しておき、記憶した対応を基に撮像により得られた画像の各画素を移動する画像処理を行ってもよい。これにより、簡単な画素の移動のみで画像処理を行うことができ、上述の場合と同様に、後席用の画像表示装置に表示される画像は、運転席及び助手席の乗員の位置関係が、後席の乗員から見た運転席及び助手席の乗員の位置関係に対応すると共に、運転席及び助手席の乗員の外向きの視線が内向きに補正される。
【００２７】
また、本発明においては、カーナビゲーション装置又はテレビチューナ等の他の装置から入力された画像と、撮像装置が撮像した前席の乗員の画像とを、後席へ向けた画像表示装置に切替えて表示する。表示する画像の切替えは、乗員の手動操作に基づく方法であってもよく、乗員の会話の有無を判断して自動的に行う方法であってもよい。これにより、後席用に設けた画像表示装置を他の目的に利用することができると共に、会話を行う際には前席乗員を撮像した画像を表示することができる。
【００２８】
また、本発明においては、撮像装置が撮像した画像から前席の乗員の口の形状を検出する。例えば口の形状の検出は、まず撮像により得られた画像から乗員の顔に相当する領域を抽出する処理（所謂、顔認識処理）を行い、顔領域から更に上唇及び下唇を抽出する処理を行って、上唇及び下唇の湾曲度、又は上唇の頂点及び下唇の頂点の距離等を算出することで行うことができる。検出した口の形状から乗員の口の開き度合い（以下、口の開度という）を算出することができ、口の開度が所定量を超えた場合に前席の乗員の画像を画像表示装置に表示することで、会話の有無に応じた表示画像の自動切替えが実現できる。
【００２９】
また、本発明においては、車輌にマイクなどを搭載して前席乗員が発する音声を検出する。これにより、例えば検出した音声の音量が所定量を超えた場合に乗員の会話が発生したと判断して、前席の乗員の画像を画像表示装置に表示することができる。又は、音声認識処理を行って検出した音声が会話に係るものであるか否かを判断し、会話の音声の場合に前席の乗員の画像を画像表示装置に表示することができる。いずれの方法であっても、検出した音声により会話の有無を判断することができ、会話の有無に応じた表示画像の自動切替えが実現できる。
【発明の効果】
【００３０】
本発明による場合は、運転席側及び助手席側の乗員を一括して撮像した画像に所定の画像処理を施して、運転席及び助手席の乗員の位置関係が後席の乗員から見た運転席及び助手席の乗員の位置関係に対応すると共に、運転席及び助手席の乗員の外向きの視線が内向きに補正された画像を、後席へ向けた画像表示装置に表示することにより、後席の乗員が前席の乗員の表情などを確認しながら、違和感なく車輌内で会話を行うことができる。
【００３１】
また、本発明による場合は、他の装置から入力された画像又は撮像装置が撮像した画像を、画像表示装置に手動又は自動で切替えて表示することにより、後席用に設けた画像表示装置を多目的に利用することができるため、車載用画像表示システムの利便性を向上することができる。
【００３２】
また、本発明による場合は、撮像装置が撮像した画像から乗員の口の形状を検出し、及び／又は、前席の乗員が発する音声を検出し、検出結果に基づいて画像表示装置に表示する画像を切替えることにより、他の装置からの画像を画像表示装置に表示している場合であっても、前席の乗員の有無に応じて表示画像の自動切替えを行うことができるため、車載用画像表示システムの利便性をより向上することができる。
【発明を実施するための最良の形態】
【００３３】
（実施の形態１）
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明の実施の形態１に係る車載用画像表示システムの構成を示すブロック図である。図において１は車輌のインストルメントパネルの中央（センタークラスタ）などに搭載されて、車輌の運転席及び助手席（の乗員）を撮像する撮像装置である。撮像装置１が撮像した画像は、車輌の適所に搭載されたＥＣＵ（Electronic Control Unit）２にて種々の画像処理が施されて、車輌の後席用の画像表示装置３に表示されるようにしてある。なお、撮像装置１及びＥＣＵ２、並びにＥＣＵ２及び画像表示装置３は、専用の通信線、汎用の車内ＬＡＮ（Local Area Network）用ケーブル又は無線にて接続されている。
【００３４】
撮像装置１は、広角レンズ１１及び撮像素子１２を用いて撮像を行うビデオカメラである。広角レンズ１１は、例えば９０°以上の広い画角を有するレンズであり、車輌のセンタークラスタに搭載された撮像装置１の撮像範囲に車輌の運転席及び助手席を含むことができ、運転席の乗員及び助手席の乗員を一括して撮像することができるようにしてある。撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）などにより１秒間に６０回程度の頻度で撮像を行うことができ、広角レンズ１１によって集められた光に応じた電気信号をＥＣＵ２へ出力するようにしてある。
【００３５】
ＥＣＵ２は、Ａ／Ｄ変換部２１、画像処理部２２、Ｄ／Ａ変換部２３、画像メモリ２４及びテーブル用メモリ２５等を備えている。撮像装置１の撮像素子１２が出力した電気信号はＥＣＵ２のＡ／Ｄ変換部２１へ与えられ、アナログの電気信号からデジタルデータの画像に変換される。Ａ／Ｄ変換部２１は、変換したデジタルデータの画像を画像処理部２２へ与えるようにしてある。
【００３６】
画像処理部２２は、Ａ／Ｄ変換部２１から与えられた画像に種々の画像処理を施してＤ／Ａ変換部２３へ出力するようにしてある。画像処理部２２が行う画像処理は、例えば歪補正、拡大／縮小、一部の切り出し及び他の画像の重畳等の処理であり、更に本発明の車載用画像表示システムにおけるＥＣＵ２の画像処理部２２では、車輌の前席の乗員と後席の乗員との会話に適した画像を画像表示装置３に表示するための画像処理を行うようにしてある（この画像処理の詳細は後述する）。
【００３７】
画像処理部２２は、Ａ／Ｄ変換部２１から与えられた画像、画像処理の過程で発生する一時的な画像又は画像処理後の画像等を画像メモリ２４に記憶して処理を行うようにしてある。画像メモリ２４は、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等のデータ書き換え可能な大容量のメモリ素子で構成されている。また、テーブル用メモリ２５には、画像処理部２２が上述の画像処理を行う際に用いる変換テーブルなど（例えば、歪補正テーブルなど）が予め記憶してあり、画像処理部２２がテーブル用メモリ２５から変換テーブルを読み出して画像処理を行うようにしてある。テーブル用メモリ２５は、例えばマスクＲＯＭ（Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の不揮発性のメモリ素子で構成されている。
【００３８】
Ｄ／Ａ変換部２３は、画像処理部２２から画像処理が施された画像を与えられており、与えられたデジタルデータの画像を画像表示装置３の表示に適したアナログ信号に変換して、画像表示装置３へ出力するようにしてある。画像表示装置３は、例えば液晶ディスプレイであり、ＥＣＵ２のＤ／Ａ変換部２３から与えられる信号に基づいて表示を行うようにしてある。また、画像表示装置は、車輌の運転席若しくは助手席の背面、又は車輌の天井等に配設されて、後席の乗員に対して画像を表示することができるようにしてある。
【００３９】
図２は、本発明の実施の形態１に係る車載用画像表示システムの画像処理部２２が行う画像処理を説明するための模式図であり、（ａ）に撮像装置１が撮像した画像を示し、その後（ａ）から（ｄ）までアルファベット順に処理を時系列で示してある。なお、図示の画像例は、車輌の右側に運転席が設けられた所謂右ハンドル車の場合である。車輌のセンタークラスタに搭載された撮像装置１が広角レンズ１１を用いて車内を撮像した場合、広角レンズ１１は被写界深度が深く画角が広く、画像の周辺部分でゆがみが生じるため、撮像により得られる画像（元画像５１）は運転席及び助手席の乗員の視線が互いに外向きとなる（図２（ａ）参照）。
【００４０】
まず、画像処理部２２は、撮像装置１から与えられた元画像５１を、左右反転した画像（鏡像画像５２）となるように各画素の位置を移動させる画像処理を行う（図２（ｂ）参照）。次いで、画像処理部２２は、画像処理により得られた鏡像画像５２を、運転席側の第１領域５３ａ及び助手席側の第２領域５３ｂに分割し（図２（ｃ）参照）、第１領域５３ａ及び第２領域５３ｂがそれぞれ左右反転した２つの鏡像画像となるように、第１領域５３ａ及び第２領域５３ｂのそれぞれの画素位置を移動させる画像処理を行って、表示画像５４を取得する（図２（ｄ）参照）。
【００４１】
図３は、画像表示装置３に表示される画像の表示例であり、（Ａ）に車輌の後席から見た車内及び画像表示装置３の様子を示し、（Ｂ）に画像表示装置３に表示される画像を示してある。図示の車輌６０は運転席６１が右側に設けられ右ハンドル車であり、インストルメントパネルの略中央に設けられたセンタークラスタに撮像装置１が配設されている。画像表示装置３は、車輌６０の運転席６１及び助手席６２の間の位置に、車輌６０の天井から吊り下げられる態様で配設してあり、車輌の後席の乗員が視認できるようにしてある。後席の乗員から見た場合、右側が運転席６１の運転者７１であり、左側が助手席６２の乗員７２である。
【００４２】
運転席６１が右側に設けられた車輌６０内のセンタークラスタに配された撮像装置１が撮像した元画像５１は、図２（ａ）に示すように左側に運転席６１の運転者７１が写され、右側に助手席６２の乗員７２が写された画像である。この元画像５１を直接に画像表示装置３に表示した場合、表示される運転者７１及び助手席６２の乗員７２の位置関係と、後席の乗員から見た運転者７１及び乗員７２の実際の位置関係とが左右逆になる。
【００４３】
これに対して、図２に示した画像処理を画像処理部２２にて行った表示画像５４を画像表示装置３に表示した場合、表示される画像の位置関係と後席の乗員から見た実際の位置関係とが一致し、右側が運転席６１の運転者７１であり、左側が助手席６２の乗員７２である（図３参照）。また、鏡像画像５２と表示画像５４とを比較すると、鏡像画像５２では運転席６１の運転者７１及び助手席６２の乗員７２の視線がそれぞれ反対方向の外向きであり、会話には不自然な画像であるが、表示画像５４では内向きであり、会話に適した画像である。
【００４４】
図４は、本発明の実施の形態１に係る車載用画像表示システムのＥＣＵ２が行う処理の手順を示すフローチャートである。ＥＣＵ２は、まず、撮像装置１から与えられる電気信号をＡ／Ｄ変換部２１にてデジタルデータの画像に変換することによって、撮像装置１にて撮像された画像（元画像５１）を取得する（ステップＳ１、図２（ａ）参照）。次いでＥＣＵ２は、画像処理部２２にて元画像５１を左右反転する画像処理を行い（ステップＳ２）、鏡像画像５２を取得する（図２（ｂ）参照）。なお、画像処理部２２による元画像５１の左右反転は、元画像５１を構成する各画素を予め定められた位置に移動させることで行うことができる。
【００４５】
次いで、ＥＣＵ２は、鏡像画像５２を運転席６１側の第１領域５３ａと助手席６２側の第２領域５３ｂとに左右に分割し（ステップＳ３、図２（ｃ）参照）、第１領域５３ａ及び第２領域５３ｂをそれぞれ左右反転する画像処理を行って（ステップＳ４）、表示画像５４を取得する（図２（ｄ）参照）。なお、画像処理部２２による第１領域５３ａ及び第２領域５３ｂの左右反転は、第１領域５３ａ及び第２領域５３ｂを構成する各画素を予め定められた位置にそれぞれ移動させることで行うことができる。その後、ＥＣＵ２は、デジタルデータの表示画像５４をＤ／Ａ変換部２３にてアナログの信号に変換して画像表示装置３へ出力することにより、画像の表示を行って（ステップＳ５）、処理を終了する。
【００４６】
なお、図示の処理は、撮像装置１が撮像を行う都度、１秒間に６０回程度の頻度で繰り返し行われる。また、ステップＳ３に示した画像の分割は、実際に画像のデータを２つに分割する必要はなく、ステップＳ４の左右反転を運転席側と助手席側とでそれぞれ別に行うことができれば十分である。
【００４７】
以上の構成の実施の形態１に係る車載用画像表示システムは、撮像装置１が撮像した画像を左右反転し、左右に２つの領域に分割し、各領域をそれぞれ左右反転して画像表示装置３に表示する構成とすることにより、後席の乗員から見た運転席６１の運転者７１及び助手席６２の乗員７２の位置関係と、画像表示装置３に表示された運転者７１および乗員７２の位置関係とを一致させることができると共に、運転者７１及び乗員７２の視線が内向きに補正されるため、後席の乗員が画像表示装置３に表示された画像を見ながら違和感なく会話を行うことができる。
【００４８】
なお、本実施の形態においては、車載用画像表示システムの撮像装置１、ＥＣＵ２及び画像表示装置３がそれぞれ別体で車輌に搭載される構成としたが、これに限るものではなく、撮像装置１及びＥＣＵ２を一体としてもよく、又はＥＣＵ２及び画像表示装置３を一体としてもよい。また、撮像装置１が撮像した画像をアナログの電気信号として出力する構成としたが、これに限るものではなく、撮像装置１がデジタルデータの画像をＥＣＵ２へ出力する構成としてもよい。また、ＥＣＵ２は画像処理を施した画像をアナログの信号に変換して画像表示装置３へ出力する構成としたが、これに限るものではなく、画像処理を施した画像をデジタルデータとして出力する構成としてもよい。
【００４９】
また、図３に示した画像の表示例は車輌６０の運転席６１及び助手席６２にそれぞれ運転者７１及び乗員７２が乗車している場合であり、例えば運転席６１に運転者７１が乗車しているが、助手席６２には乗員７２が乗車していない場合には、以下の例のように異なる表示を行う構成としてもよい。図５は、画像表示装置３に表示される画像の別の表示例であり、（Ａ）に車輌の後席から見た車内及び画像表示装置３の様子を示し、（Ｂ）に画像表示装置３に表示される表示画像１５４を示してある。
【００５０】
車輌６０の運転席６１に運転者７１が乗車し、助手席６２には乗員７２が乗車していない場合、ＥＣＵ２は撮像装置１が撮像した画像から運転席６１側の半分の画像を切り出して拡大する画像処理を行って、画像表示装置３に表示するようにしてある。このとき、ＥＣＵ２は切り出した運転席６１側の画像を左右反転して表示してもよく、左右反転せずに表示してもよい（図５には左右反転した画像を示してある）。また、ＥＣＵ２は切り出した運転席６１側の画像を拡大せずに表示してもよい。
【００５１】
（実施の形態２）
実施の形態１に係る車載用画像表示システムは、撮像装置１が撮像した元画像５１を左右反転し、第１領域５３ａ及び第２領域５３ｂに左右分割し、各領域を左右反転する画像処理をＥＣＵ２の画像処理部２２が行う構成であるが、画像処理部２２が行う画像処理はこれに限らない。実施の形態２に係る車載用画像表示システムは、画像処理部２２がこれとは異なる画像処理を行う構成である。図６は、本発明の実施の形態２に係る車載用画像表示システムの画像処理部２２が行う画像処理を説明するための模式図であり、（ａ）に撮像装置１が撮像した画像を示し、その後（ａ）から（ｃ）までアルファベット順に処理を時系列で示してある。
【００５２】
まず、画像処理部２２は、撮像装置１から与えられた元画像５１（図６（ａ）参照）を、運転席側の第１領域２５２ａ及び助手席側の第２領域２５２ｂに左右に分割する（図６（ｂ）参照）。次いで、画像処理部２２は、第１領域２５２ａ及び第２領域２５２ｂの位置を左右に置換するように、各領域の画素位置を移動させる画像処理を行って、表示画像５４を取得する。
【００５３】
図６に示した画像処理で得られる表示画像５４と、図２に示した画像処理で得られる表示画像５４とは同じ画像であり、実施の形態２に係る車載用画像表示システムがこの表示画像５４を画像表示装置３に表示することによって、実施の形態１に係る車載用画像表示システムと同様の効果を得ることができる。
【００５４】
図７は、本発明の実施の形態２に係る車載用画像表示システムのＥＣＵ２が行う処理の手順を示すフローチャートである。ＥＣＵ２は、まず、撮像装置１から与えられる電気信号をＡ／Ｄ変換部２１にてデジタルデータの画像に変換することによって、撮像装置１にて撮像された画像（元画像５１）を取得する（ステップＳ１１、図６（ａ）参照）。次いでＥＣＵ２は、元画像５１を運転席側の第１領域２５２ａと助手席側の第２領域２５２ｂとに左右に分割し（ステップＳ１２、図６（ｂ）参照）、第１領域２５２ａ及び第２領域２５２ｂの位置を左右に置換する画像処理を行って（ステップＳ１３）、表示画像５４を取得する（図６（ｃ）参照）。その後、ＥＣＵ２は、デジタルデータの表示画像５４をＤ／Ａ変換部２３にてアナログの信号に変換して画像表示装置３へ出力することにより、画像の表示を行い（ステップＳ１４）、処理を終了する。
【００５５】
なお、図示の処理は、撮像装置１が撮像を行う都度、１秒間に６０回程度の頻度で繰り返し行われる。また、ステップＳ１２に示した画像の分割は、実際に画像のデータを２つに分割する必要はなく、ステップＳ１３の左右置換を運転席側と助手席側とでそれぞれ別に行うことができれば十分である。
【００５６】
以上の構成の実施の形態２に係る車載用画像表示システムは、撮像装置１が撮像した画像を左右に２つの領域に分割し、各領域の位置を左右に置換して画像表示装置３に表示する構成とすることにより、後席の乗員から見た運転席の運転者及び助手席の乗員の位置関係と、画像表示装置３に表示された運転者及び乗員の位置関係とを一致させることができると共に、運転者及び乗員の視線が内向きに補正されるため、後席の乗員が画像表示装置３に表示された画像を見ながら違和感なく会話を行うことができる。
【００５７】
なお、実施の形態２に係る車載用画像表示システムのその他の構成は、実施の形態１に係る車載用画像表示システムの構成と同様であるため、対応する箇所には同じ符号を付して説明を省略する。
【００５８】
（実施の形態３）
実施の形態３に係る車載用画像表示システムは、上述の画像処理とは更に異なる画像処理を画像処理部２２が行う構成である。図８は、本発明の実施の形態３に係る車載用画像表示システムの画像処理部２２が行う画像処理を説明するための模式図であり、（ａ）に撮像装置１が撮像した画像を示し、（ｂ）に画像表示装置３に表示される画像を示してある。
【００５９】
実施の形態１にて図２に示した元画像５１及び表示画像５４、又は実施の形態２にて図６に示した元画像５１及び表示画像５４を比較すると、表示画像５４は、元画像５１の運転席側と助手席側とを左右に入れ替えた画像であることがわかる。そこで、実施の形態３に係る車載用画像表示システムでは、元画像５１の各画素の位置に対して、対応する表示画像５４での各画素の位置を予め記憶した変換テーブル２５ａをテーブル用メモリ３５に予め記憶しておく。
【００６０】
変換テーブル２５ａは、入力された画素の位置に対して移動先の位置を出力するようにしてあり、元画像５１の全画素についての移動先の位置が記憶してある。ＥＣＵ２の画像処理部２２は、テーブル用メモリ２５から変換テーブル２５ａを読み出して、撮像装置１から与えられた元画像５１の各画素の位置を移動することによって、表示画像５４を取得し、画像表示装置３に表示するようにしてある。
【００６１】
図９は、変換テーブル２５ａによる画素の移動を説明するための模式図であり、（ａ）に元画像５１の８つの画素Ａ〜Ｈを示し、（ｂ）に表示画像５４での各画素Ａ〜Ｈの移動先を示してある。また、図１０は、変換テーブル２５ａの一構成例を示す模式図であり、図９に示した画素の移動を実現するための変換テーブル２５ａの構成を示してある。なお、図９及び図１０においては、画像の各画素は（ｘ、ｙ）の座標で位置を示してある。また、図中の”ｍ”及び”ｎ”は画像のサイズにより決定される偶数の定数であり、”ｉ”はｉ＝ｍ−ｉを満たす定数（即ち、（ｉ、ｙ）及び（ｉ＋１、ｙ）がｘ方向の中央の画素となる定数）である。
【００６２】
例えば、元画像５１の左上の画素Ａ（０、０）は、表示画像５４のｘ方向の中央右側の画素Ａ（ｉ＋１、０）に移動され、元画像５１の中央左側の画素Ｂ（ｉ、０）は、表示画像５４の右上の画素Ｂ（ｍ、０）に移動される。また、元画像５１の中央右側の画素Ｃ（ｉ＋１、０）は、表示画像５４の左上の画素Ｃ（０、０）に移動され、元画像５１の右上の画素Ｄ（ｍ、０）は、表示画像５４の中央左側の画素Ｄ（ｉ、０）に移動される。これらの各画素の元画像５１での位置と、表示画像５４での位置とは、変換テーブル２５ａに入力座標及び出力座標として一対一に予め定められて記憶されている。
【００６３】
図１１は、本発明の実施の形態３に係る車載用画像表示システムのＥＣＵ２が行う処理の手順を示すフローチャートである。ＥＣＵ２は、まず、撮像装置１から与えられる電気信号をＡ／Ｄ変換部２１にてデジタルデータの画像に変換することによって、撮像装置１にて撮像された画像（元画像５１）を取得する（ステップＳ２１、図８（ａ）参照）。次いで、ＥＣＵ２は、テーブル用メモリ２５から予め記憶された変換テーブル２５ａを読み出し（ステップＳ２２）、変換テーブル２５ａに従って元画像５１の各画素の位置を移動し（ステップＳ２３）、表示画像５４を取得する（図８（ｂ）参照）。その後、ＥＣＵ２は、デジタルデータの表示画像５４をＤ／Ａ変換部２３にてアナログの信号に変換して画像表示装置３へ出力することにより、画像の表示を行い（ステップＳ２４）、処理を終了する。
【００６４】
以上の構成の実施の形態３に係る車載用画像表示システムは、撮像装置１が撮像した画像の各画素を移動させる位置を変換テーブル２５ａに予め記憶しておき、変換テーブル２５ａを用いて各画素を移動させて取得した表示画像５４を画像表示装置３に表示する構成とすることにより、実施の形態１及び実施の形態２の場合と比較して簡単な画像処理で表示画像５４を取得することができ、後席の乗員が画像を見ながら違和感なく会話を行うことができる画像を画像表示装置３に表示することができる。
【００６５】
なお、実施の形態３に係る車載用画像表示システムのその他の構成は、実施の形態１に係る車載用画像表示システムの構成と同様であるため、対応する箇所には同じ符号を付して説明を省略する。
【００６６】
（実施の形態４）
実施の形態１〜３に係る車載用画像表示システムは、撮像装置１が撮像した画像を画像表示装置３に表示するのみであるが、実施の形態４に係る車載用画像表示システムは、撮像装置１が撮像した画像と他の装置から与えられた画像とを画像表示装置３に切替えて表示する構成である。図１２は、本発明の実施の形態４に係る車載用画像表示システムの構成を示すブロック図である。実施の形態４に係る車載用画像表示システムは、撮像装置１が運転席及び助手席を一括して撮像した画像をＥＣＵ２０２へ与えると共に、カーナビゲーション装置２０４が案内用の地図画像などをＥＣＵ２０２へ与えるようにしてある。ＥＣＵ２０２は、撮像装置１から与えられた画像又はカーナビゲーション装置２０４から与えられた画像のいずれかを選択して、画像表示装置３に表示するようにしてある。
【００６７】
ＥＣＵ２０２は、ユーザによる操作を受け付ける操作部２２７と、撮像装置１及びカーナビゲーション装置２０４から与えられる画像のいずれを表示するかの選択に係る制御を行う制御部２２６とを備えている。操作部２２７は、一又は複数のボタン又はスイッチ等を有しており、ユーザから受け付けた操作内容を制御部２２６へ通知するようにしてある。例えば、ユーザは操作部２２７を操作することによって、画像表示装置３に表示する画像の設定を（１）撮像装置１が撮像した画像に固定、（２）カーナビゲーション装置２０４の画像に固定又は（３）ＥＣＵ２０２による自動切換の３つの設定から選択することができるようにしてある。
【００６８】
制御部２２６は、操作部２２７から通知された操作内容を基に、ユーザによる画像表示の設定が上記（１）〜（３）のいずれであるかを判断し、この設定に応じて画像処理部２２２の動作を制御するようにしてある。画像処理部２２２には、Ａ／Ｄ変換部２１から撮像装置１が撮像した画像が与えられると共に、カーナビゲーション装置２０４から案内用の地図画像などが与えられている。画像処理部２２２は、これらの画像から制御部２２６の制御に応じて１つを選択し、種々の画像処理を施してＤ／Ａ変換部２３へ与えることにより画像表示装置３に選択した画像を表示するようにしてある。
【００６９】
ユーザによって（１）撮像装置１が撮像した画像に固定の設定が選択された場合、制御部２２６は、撮像装置１が撮像した画像を画像表示装置３に表示するように、画像処理部２２２の選択を制御するようにしてある。また、ユーザによって（２）カーナビゲーション装置２０４の画像に固定の設定が選択された場合、制御部２２６は、カーナビゲーション装置２０４からの画像を画像表示装置３に表示するように、画像処理部２２２の選択を制御するようにしてある。
【００７０】
また、ユーザによって（３）ＥＣＵ２０２による自動切換の設定が選択された場合、制御部２２６は、撮像装置１が撮像した画像を基に、車輌の前席（運転席及び助手席）の乗員が会話したか否かを判定するようにしてある。前席の乗員が会話したと判定した場合、制御部２２６は撮像装置１が撮像した画像を画像表示装置３に表示するように、画像処理部２２２の選択を制御し、前席の乗員が会話していないと判定した場合には、カーナビゲーション装置２０４からの画像を画像表示装置３に表示するように、画像処理部２２２の選択を制御するようにしてある。
【００７１】
このとき、制御部２２６は撮像装置１が撮像した画像から前席の乗員の顔を検出し、乗員の顔の口の形状を検出することによって、乗員の会話の有無を判定するようにしてある。撮像装置１が撮像した画像からの乗員の顔の検出は、既存の顔認識技術などで行われているものであるため詳細な説明は省略するが、例えば画像のコントラストなどを基に２つの目に相当する部分を探し出して、この２つの目を含む領域が顔の構造を有するか否かを判断することで行うことができる。また、口の形状の検出は、顔部分の画像にフィルタ処理及び閾値処理等を行うことによって上唇及び下唇の輪郭などを抽出することで行うことができ、制御部２２６は検出した口の形状から上唇及び下唇の湾曲度、又は上唇の頂点及び下唇の頂点の距離等に基づいて口の開度を算出するようにしてある。制御部２２６は、算出した口の開度が所定量を超えるか否かを判定し、口の開度が所定量を超えた場合に乗員が会話を行ったと判断することができる。
【００７２】
図１３は、本発明の実施の形態４に係る車載用画像表示システムのＥＣＵ２０２が行う画像切替処理の手順を示すフローチャートであり、ＥＣＵ２０２の制御部２２６が行う処理を示してある。まず、制御部２２６は、画像処理部２２２から撮像装置１が撮像した画像を取得し（ステップＳ３１）、画像のコントラストなどを基に２つの目に相当する部分を探し出して、この２つの目を含む領域が顔の構造を有するか否かを判断することによって乗員の顔検出を行う（ステップＳ３２）。次いで制御部２２６は、検出した画像中の乗員の顔部分から上唇及び下唇の輪郭などを抽出することで口の形状を検出し（ステップＳ３３）、検出した口の形状から上唇及び下唇の湾曲度、又は上唇の頂点及び下唇の頂点の距離等に基づいて口の開度を算出する（ステップＳ３４）。
【００７３】
次いで、制御部２２６は、算出した口の開度が予め決定された所定量を超えるか否かを判定する（ステップＳ３５）。口の開度が所定量を超える場合（Ｓ３５：ＹＥＳ）、制御部２２６は撮像装置１が撮像した画像を画像表示装置３に表示するように画像処理部２２２の選択を制御し（ステップＳ３６）、画像切替処理を終了する。また、口の開度が所定量を超えない場合（Ｓ３５：ＮＯ）、制御部２２６はカーナビゲーション装置２０４からの画像を表示するように画像処理部２２２の選択を制御し（ステップＳ３７）、画像切替処理を終了する。
【００７４】
以上の構成の実施の形態４に係る車載用画像表示システムは、ユーザによる表示の設定を操作部２２７にて受け付け、受け付けた設定に応じてＥＣＵ２が撮像装置１からの画像又はカーナビゲーション装置２０４からの画像のいずれかを選択して画像表示装置３に表示する構成とすることにより、後席用の画像表示装置を多目的に利用することができる。また、撮像装置１が撮像した画像を基にＥＣＵ２が前席の乗員の口の形状を検出し、口の開度に応じて表示する画像を切替える構成とすることにより、前席の乗員による会話の有無に応じた表示画像の自動切替えを行うことができ、車載用画像表示システムの利便性をより向上することができる。
【００７５】
なお、実施の形態４においては、制御部２２６が画像処理部２２２から画像を取得して顔検出、口の形状検出、口の開度の算出及び開度の判定等の処理を行う構成としたが、これに限るものではなく、これらの処理の一部を画像処理部２２２にて行う構成としてもよい。また、操作部２２７をＥＣＵ２に設ける構成としたが、これに限るものではなく、画像表示装置３に設ける構成としてもよく、この場合には画像表示装置３からＥＣＵ２へユーザの操作内容を通知する構成とすればよい。また、操作部２２７をリモートコントローラなどの別体とする構成としてもよい。
【００７６】
また、図１３に示したフローチャートでは、口の開度が所定量を超えない場合にはカーナビゲーション装置２０４の画像を画像表示装置３に表示するため、前席の乗員が会話を終了した直後に画像の切替えが行われる虞があるため、撮像装置１からの画像を表示するように切替えを行った場合には、所定時間が経過するまでカーナビゲーション装置２０４の画像に切替えを行わずに、撮像装置１の画像を継続して表示する構成としてもよい。
【００７７】
また、画像表示装置３には撮像装置１の画像又はカーナビゲーション装置２０４の画像のいずれかを表示する構成としたが、これに限るものではなく、例えば車輌の助手席に乗員が乗車していない場合などには、画像表示装置３の表示領域を二分して両方の画像を表示する構成としてもよい。図１４は、画像表示装置３に表示される画像の別の表示例であり、（Ａ）に車輌の後席から見た車内及び画像表示装置３の様子を示し、（Ｂ）に画像表示装置３に表示される表示画像２５４を示してある。本図に示す表示例では、画像表示装置３の表示領域を左右に二分し、左側にカーナビゲーション装置２０４からの地図画像を表示し、右側に撮像装置１が撮像した画像を表示している。このように、ＥＣＵ２にて前席の運転手７１による会話を検出した場合には両方の画像を表示し、会話を検出しない場合にはカーナビゲーション装置２０４からの画像のみを表示する構成としてもよい。
【００７８】
なお、実施の形態４に係る車載用画像表示システムのその他の構成は、実施の形態１に係る車載用画像表示システムの構成と同様であるため、対応する箇所には同じ符号を付して説明を省略する。
【００７９】
（実施の形態５）
実施の形態４に係る車載用画像表示システムは、撮像装置１が撮像した画像を基に前席の乗員による会話の有無を判定する構成であるが、実施の形態５に係る車載画像表示システムは音声検出により会話の有無を判定する構成である。図１５は、本発明の実施の形態５に係る車載用画像表示システムの構成を示すブロック図である。実施の形態４に係る車載用画像表示システムは、マイク３０５を備えており、マイク３０５が集音した音は電気信号又はデジタルデータとしてＥＣＵ３０２の制御部３２６へ与えられる。マイク３０５は、車輌のインストルメントパネルなど前席の乗員が発する音声を検出することができる位置に配設してある。制御部３２６は、操作部２２７が受け付けたユーザの操作及びマイク３０５が検出した音声に応じて画像処理部３２２の制御を行って、画像表示装置３に表示する画像の切替えを行うようにしてある。
【００８０】
画像表示装置３に表示する画像に係る設定としてユーザが自動切換を選択した場合、制御部３２６はマイク３０５が集音した音が乗員の会話によるものであるか否かを判定し、判定結果に基づいて表示画像の切替えを行うようにしてある。集音した音が会話によるものであるか否かの判定は、集音された音から波形又は音響分析の結果等の特徴量データを取得し、予め記憶した音声及び非音声（環境音）の特徴量テンプレートと比較することによって行うことができる。ただし、判定方法は上記のものに限らず、一般的な音声認識技術に用いられる方法であってよい。また、マイク３０５の指向性が高く、高精度に前席の乗員が発する音声を検出できる構成であれば、上記のように音の特徴量データなどを取得することなく、マイク３０５が検出した音声の音量が所定量を超えるか否かの簡単な判定のみで会話の有無を判定する構成としてもよい。
【００８１】
制御部３２６は、マイク３０５が検出した音声から前席の乗員が会話したと判定した場合、撮像装置１が撮像した画像を画像表示装置３に表示するように画像処理部３２２の選択を制御し、前席の乗員が会話していないと判定した場合には、カーナビゲーション装置２０４からの画像を画像表示装置３に表示するように画像処理部３２２の選択を制御するようにしてある。画像処理部３２２は、制御部３２６による制御に基づいて、撮像装置１から与えられてＡ／Ｄ変換部２１にて変換された画像、又はカーナビゲーション装置２０４から与えられた画像のいずれかを選択し、Ｄ／Ａ変換部２３へ与えることによって、画像表示装置３に選択した画像を表示するようにしてある。
【００８２】
図１６は、本発明の実施の形態５に係る車載用画像表示システムのＥＣＵ３０２が行う画像切替処理の手順を示すフローチャートであり、ＥＣＵ３０２の制御部３２６が行う処理を示してある。まず、制御部３２６は、マイク３０５による集音を行って車輌の前席の音声を検出し（ステップＳ４１）、検出した音声から乗員の会話の有無を判定する（ステップＳ４２）。判定の結果、乗員の会話がある場合（Ｓ４３：ＹＥＳ）、制御部３２６は撮像装置１が撮像した画像を画像表示装置３に表示するように画像処理部３２２の選択を制御し（ステップＳ４４）、画像切替処理を終了する。また、乗員の会話がない場合（Ｓ４３：ＮＯ）、制御部３２６はカーナビゲーション装置２０４からの画像を表示するように画像処理部３２２の選択を制御し（ステップＳ４５）、画像切替処理を終了する。
【００８３】
以上の構成の実施の形態５に係る車載用画像表示システムは、マイク３０５が検出した音声を基に前席の乗員による会話の有無を判定し、判定結果に応じて画像表示装置３に表示する画像を切替える構成とすることにより、前席の乗員による会話の有無に応じた表示画像の自動切替えを行うことができ、車載用画像表示システムの利便性をより向上することができる。
【００８４】
なお、本実施の形態にて図１５に示したマイク３０５は１つのみであるが、これに限るものではなく、運転席側及び助手席側にそれぞれマイク３０５を設ける構成としてもよく、車輌内に３つ以上のマイク３０５を搭載する構成としてもよい。また、ＥＣＵ３０２がマイク３０５の音声検出に基づく切替えのみでなく、撮像装置１が撮像した画像からの乗員の口形状の検出結果に基づく切替え（実施の形態４参照）を併用してもよい。
【００８５】
なお、実施の形態５に係る車載用画像表示システムのその他の構成は、実施の形態４に係る車載用画像表示システムの構成と同様であるため、対応する箇所には同じ符号を付して説明を省略する。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施の形態１に係る車載用画像表示システムの構成を示すブロック図である。
【図２】本発明の実施の形態１に係る車載用画像表示システムの画像処理部が行う画像処理を説明するための模式図である。
【図３】画像表示装置に表示される画像の表示例である。
【図４】本発明の実施の形態１に係る車載用画像表示システムのＥＣＵが行う処理の手順を示すフローチャートである。
【図５】画像表示装置に表示される画像の別の表示例である。
【図６】本発明の実施の形態２に係る車載用画像表示システムの画像処理部が行う画像処理を説明するための模式図である。
【図７】本発明の実施の形態２に係る車載用画像表示システムのＥＣＵが行う処理の手順を示すフローチャートである。
【図８】本発明の実施の形態３に係る車載用画像表示システムの画像処理部が行う画像処理を説明するための模式図である。
【図９】変換テーブルによる画素の移動を説明するための模式図である。
【図１０】変換テーブルの一構成例を示す模式図である。
【図１１】本発明の実施の形態３に係る車載用画像表示システムのＥＣＵが行う処理の手順を示すフローチャートである。
【図１２】本発明の実施の形態４に係る車載用画像表示システムの構成を示すブロック図である。
【図１３】本発明の実施の形態４に係る車載用画像表示システムのＥＣＵが行う画像切替処理の手順を示すフローチャートである。
【図１４】画像表示装置に表示される画像の別の表示例である。
【図１５】本発明の実施の形態５に係る車載用画像表示システムの構成を示すブロック図である。
【図１６】本発明の実施の形態５に係る車載用画像表示システムのＥＣＵが行う画像切替処理の手順を示すフローチャートである。
【符号の説明】
【００８７】
１  撮像装置
２  ＥＣＵ（画像処理装置）
３  画像表示装置
１１  広角レンズ
１２  撮像素子
２１  Ａ／Ｄ変換部
２２  画像処理部（移動する手段、分割する手段）
２３  Ｄ／Ａ変換部
２４  画像メモリ
２５  テーブル用メモリ（記憶手段）
２５ａ  変換テーブル
５１  元画像
５２  鏡像画像
５３ａ  第１領域
５３ｂ  第２領域
５４  表示画像
６０  車輌
６１  運転席
６２  助手席
１５４  表示画像
２０２  ＥＣＵ（画像処理装置）
２０４  カーナビゲーション装置（他の装置）
２２２  画像処理部（移動する手段、分割する手段、画像入力手段、画像切替手段）
２２６  制御部（口形状検出手段）
２２７  操作部
３０２  ＥＣＵ（画像処理装置）
３０５  マイク（音声検出手段）
３２２  画像処理部（移動する手段、分割する手段、画像入力手段、画像切替手段）
３２６  制御部
３２７  操作部
【図１】
2009083791.tif 000003
【図２】
2009083791.tif 000004
【図３】
2009083791.tif 000005
【図４】
2009083791.tif 000006
【図５】
2009083791.tif 000007
【図６】
2009083791.tif 000008
【図７】
2009083791.tif 000009
【図８】
2009083791.tif 000010
【図９】
2009083791.tif 000011
【図１０】
2009083791.tif 000012
【図１１】
2009083791.tif 000013
【図１２】
2009083791.tif 000014
【図１３】
2009083791.tif 000015
【図１４】
2009083791.tif 000016
【図１５】
2009083791.tif 000017
【図１６】
2009083791.tif 000018