(57)【要約】【課題】車外から車内を視認した場合に車内に位置する装飾対象物の見た目の違和感を低減可能とする。【解決手段】制御部は、サイドウィンドウ７に疑似化粧画像２１を表示することで車内の乗員を車外から見たときに仮想的に修飾（デコレーション）したり、隠ぺい（見えづらく）したり、強調表示したりして、車外からの見え方を変える。これにより、周囲（車外）を気にする必要がなくなったり気にする度合が低下したりするので、運転等の重要な作業に集中することが可能となる。【選択図】図８
2020042569.tif 000002
【特許請求の範囲】
【請求項１】
車両（１）の車内に位置する装飾対象物（１７）の位置及び姿勢を検出する第１検出部（１５）と、
車外の人が前記装飾対象物を視認した際の視線方向を検出する第２検出部（１９）と、
車外の人が視認する前記装飾対象物に所定の装飾画像を合成する装飾画像合成部（２０）と、
を備えた車両用装飾画像合成装置。
【請求項２】
前記装飾画像合成部は、車外の人が前記装飾対象物を視認する際に介在する車両のウィンドウに前記装飾画像を表示する透過ディスプレイ（９）である請求項１に記載の車両用装飾画像合成装置。
【請求項３】
前記装飾画像合成部は、前記装飾対象物に前記装飾画像を直接投影する投影部（２６）である請求項１に記載の車両用装飾画像合成装置。
【請求項４】
前記装飾画像合成部は、前記装飾対象物の一部の視認態様を変化させるように前記装飾画像を作成する請求項１から３のいずれか一項に記載の車両用装飾画像合成装置。
【請求項５】
前記装飾画像合成部は、前記装飾対象物を横断する領域の視認態様を変化させるように前記装飾画像を作成する請求項１から３のいずれか一項に記載の車両用装飾画像合成装置。
【請求項６】
車内の明るさを検出する明るさ検出部（１６）を備え、
前記装飾画像合成部は、前記明るさ検出部が検出した明るさに応じて前記装飾画像の明るさを調整する請求項１から５のいずれか一項に記載の車両用装飾画像合成装置。
【請求項７】
前記装飾対象物は、乗員の顔であり、
前記装飾画像合成部は、乗員の顔に前記装飾画像を合成する請求項１から６のいずれか一項に記載の車両用装飾画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車両用装飾画像合成装置に関する。
【背景技術】
【０００２】
例えば女性の運転者が化粧をせずにスッピンのまま運転した場合に、周囲からスッピンを見られると恥ずかしいと感じる場合がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６３−８０６９２号公報
【特許文献２】特開２００６−１１３２３０号公報
【特許文献３】特開２００８−２１３６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１は、カメラで撮影された画像に対して画像処理を行うメイクアップシミュレーション装置を開示している。
特許文献２は、車外に広告など映像を表示する方法を開示している。
特許文献３は、車内から見て、車外の風景に映像を重ね合わせ表示することを開示している。
【０００５】
ところで、女性の運転者が化粧をせず（スッピン）に運転している場合に、周囲からスッピンを見られると恥ずかしいと感じる場合がある。このような状況において、あたかも化粧をしているように見せることができれば、化粧をしていないことを気にすることなく運転に集中することができる。
【０００６】
また、髪の毛が乱れている場合には、あたかもきれいに整った髪形であるように見せたり、帽子をかぶっているように見せたりすることでも同様の効果が期待できる。
また、派手な服装で乗車している場合には、色等の見た目を変えることで地味に見えるようにすることで、周囲（車外）からの注目（好奇の目）を防ぐこともできる。
【０００７】
このように、車内の事物や搭乗者を車外から見た時に仮想的に修飾（デコレーション）したり隠ぺい（見えづらく）したり、強調表示したりして、車外からの見え方を変えることで、周囲（車外）を気にする必要がなくなったり、気にする度合が低下することで、運転等の重要な作業に集中することが可能となることを期待することができる。
【０００８】
しかしながら、特許文献１のものは、カメラで撮影された画像に対してメイクアップ画像を同一のディスプレイに表示するもので、自身の顔を他人が見ているとしても、自身の顔はメイクアップされていないままであり、あくまでディスプレイに表示されている画像に作用するものでしかない。
【０００９】
特許文献２のものは、車外に広告などの映像を表示する方法が示されているが、車内の乗員などの事物と映像を重ね合わせ表示することには言及していない。
特許文献３のものは、車内から見て、車外の風景に映像を重ね合わせ表示するものであり、車外から車内を見た場合の映像表示には言及されていない。
【００１０】
本発明は上記事情に鑑みてなされたもので、その目的は、車外から車内を視認した場合に車内に位置する装飾対象物の見た目の違和感を低減可能となる車両用装飾画像合成装置を提供することにある。
【課題を解決するための手段】
【００１１】
請求項１の発明によれば、第１検出部（１５）が車内に位置する装飾対象物（１７）の位置及び姿勢を検出する一方、第２検出部（１９）が車外の人から装飾対象物（１７）を視認した際の視線方向を検出する。装飾画像合成部（２０）は、車外の人が視認する装飾対象物（１７）に所定の装飾画像を合成する。これにより、車外の人は、装飾画像が合成された装飾対象物を視認するようになるので、車外から視認した車内に位置する装飾対象物の見た目の違和感を低減可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態における装飾画像合成装置の構成を概略的に示すブロック図
【図２】車両の平面図
【図３】車両の斜視図
【図４】人の顔の斜視図
【図５】車外の人の視線方向を示す図
【図６】車両の人の視線方向を示す図
【図７】制御部の動作を示すフローチャート
【図８】人の顔と疑似化粧画像との合成結果を示す図
【図９】疑似化粧画像の表示パーツを示す図
【図１０】視線方向と疑似化粧画像と人の顔との関係を示す図（その１）
【図１１】視線方向と疑似化粧画像と人の顔との関係を示す図（その２）
【図１２】第２実施形態における人の顔と疑似化粧画像との合成結果を示す図
【図１３】第３実施形態における車両を示す斜視図
【図１４】第４実施形態におけるプロジェクタの投射領域を示す図
【発明を実施するための形態】
【００１３】
以下、複数の実施形態について図面を参照して説明する。複数の実施形態において、機能的に及び／又は構造的に対応する部分には同一の参照符号を付与する。
【００１４】
（第１実施形態）
第１実施形態について図１から図１１を参照して説明する。
図２に示すように車両１には運転席２、助手席３、後席４が配置されており、運転席２及び助手席３の側方には運転席ドア５及び助手席ドア６がそれぞれ設けられている。図３に示すように、運転席ドア５及び助手席ドア６の各サイドウィンドウ７，８の所定領域（または全面）には透過ディスプレイ９（図中に斜線で示す）が設けられている。
【００１５】
透過ディスプレイ９はカラー液晶ディスプレイから構成されており、カラーの画像を表示可能である。画像を表示していない場合には透明である一方、画像を表示している場合には画像を通して背景が透けて見える。
【００１６】
画像を表示する場合には、安全法令で定められた可視光透過率を満足した状態で可視光透過率（色濃度）が調整されると共に周辺の明るさに応じて可視光透過率が変更される。つまり、周辺が明るい場合には可視光透過率が高められ、周辺が暗い場合には低められる。これは、車外の人が透過ディスプレイ９を介して車内の乗員を視認した際に、視認する乗員の明るさに応じて画像の明るさを適切に調整するためである。
【００１７】
図２に示すように、運転席ドア５及び助手席ドア６にはドアミラー１０，１１が装着されており、それらのドアミラー１０，１１の端部に車両側方カメラ１２がそれぞれ設けられている。この車両側方カメラ１２は、車両１の左右方向に存在する事物（人、２輪車、車両、建物等）を画像認識により特定するためのものである。
【００１８】
運転席２及び助手席３の上方となる天井部にはＬｉＤＡＲ（Light Detection and Ranging）１３が設置されている。このＬｉＤＡＲ１３は、車両側方をレーザスキャンすることで車両側方に位置する物体の種類とその距離を検出するためのものである。
【００１９】
運転席２及び助手席３の前方にはダッシュボード１４が設けられており、そのダッシュボード１４において運転席２の前方となる位置にＤＳＭ（Driver Status Monitor）１５（第１検出部に相当）が配置されている。また、助手席３の前方となる位置に日射センサ１６（明るさ検出部に相当）が配置されている。
【００２０】
ＤＳＭ１５はステレオカメラを主体として構成されており、ステレオカメラにより図４に示す運転者の顔１７（装飾対象物に相当）の位置を検出するのに加えて、車両鉛直方向に対する顔の前後方向の傾き角度α、車両前方に対する顔の左右向き角度β、車両鉛直方向に対する顔の傾げ角度γを検出する。ＤＳＭ１５をステレオカメラから構成しているのは、乗員の頭部の位置とその姿勢を３次元空間で検出するためであるが、単眼カメラと運転者の顔１７までの距離を検出する距離センサとを組み合わせて構成しても良い。日射センサ１６は、車内の明るさを検出するためのものである。
【００２１】
図１に示すように、装飾画像合成装置１８は、ＤＳＭ１５、車両側方カメラ１２、ＬｉＤＡＲ１３、周辺物体特定部１９（第２検出部に相当）、日射センサ１６、透過ディスプレイ９、制御部２０（装飾画像合成部に相当）から構成されている。
【００２２】
周辺物体特定部１９は、車両側方カメラ１２からの画像データと、ＬｉＤＡＲ１３からの測距データとに基づいて車両１の周辺に存在する周辺物体を特定し、その位置データを制御部２０に送信する。制御部２０は、ＤＳＭ１５、周辺物体特定部１９、日射センサ１６からの信号に基づいて後述するように透過ディスプレイ９に装飾画像を表示する。
【００２３】
さて、例えば女性の運転者が化粧をせずスッピンで運転している場合、周囲からスッピンを見られると恥ずかしいと感じる場合がある。このような状況において、画像を表示可能な透過ディスプレイ９を組み込んだサイドウィンドウ７，８に疑似的な化粧画像（以下、疑似化粧画像と称する）を女性の運転者の顔１７に重なるように合成表示することで、車外からは化粧をしているように見せることが可能となる。
【００２４】
このように疑似化粧画像を運転者の顔１７に重なるようにサイドウィンドウ７，８に表示するには、運転者の顔１７の位置及び姿勢と車外からの視線位置とを検出し、車外の人がサイドウィンドウ７，８を介して視認する顔とサイドウィンドウ７，８に表示された疑似化粧画像とが車外からの視線位置から見て重なるようにすることで、あたかも化粧をしているように視認させることができる。
【００２５】
このように視認させる場合、サイドウィンドウ７，８に疑似化粧画像を表示する位置の精度が重要となることから、車外の視線位置と運転者の顔１７との関係を精度良く特定する必要がある。
【００２６】
そこで、図５に示すように周辺物体が人（２輪車の乗員を含む）である場合は、その人の顔の位置を検出し、両目の中心位置や眉間の中心位置を視線位置として特定する。例えばマスクで顔を覆っていたり、オートバイに乗車している人がヘルメットを被っていたりするために顔を検出できない場合には、頭部やヘルメット全体の中心位置を視線位置として代用する。
【００２７】
図６に示すように周辺物体が車両である場合は、乗車している人の顔を検出することは困難であることから、車両のウィンドウ枠２２を検出し、その中心位置（ウィンドウ枠２２の対角線の交点）を視線位置として代用する。複数のウィンドウ枠２２を検出した場合には、自車両の乗員に最も近い位置に存在するウィンドウ枠２２の中心位置を視線位置とする。
【００２８】
次に、制御部２０の動作について説明する。
図７に示すように、ＤＳＭ画像から乗員（運転者）の頭部の位置・傾き・向きを取得してから（Ｓ１）、周辺物体特定部１９から車両周辺に存在する人（２輪車の乗員を含む）または車両等の周辺物体の位置を取得する（Ｓ２）。
【００２９】
次に、周辺物体から最も近くに存在する対象物を特定する（Ｓ３）。つまり、上述したように周辺物体特定部１９から取得した車外の人の顔や車両のウィンドウ等の周辺物体のうちから、自車両の乗員に最も近い位置に存在する対象物を選択する。このように選択した対象物が複数存在していた場合は、優先度（人の顔の優先度が最も高い）に応じて特定する。
【００３０】
次に、特定した対象物からＤＳＭ１５で判定した乗員の頭部位置に向かう方向（以下、視線方向と称する）を算出する（Ｓ４）。つまり、車外の人の顔の位置と乗員（運転者または同乗者）の頭部の位置とにより車外の人の視線方向が決まるので、この視線方向から透過ディスプレイ９に画像を表示する位置を決定する（Ｓ５）。
【００３１】
次に、ＤＳＭ１５から取得した乗員の顔の位置とその姿勢から乗員の顔に重畳する疑似化粧画像を生成してから（Ｓ６）、その疑似化粧画像を所定の表示位置に表示する（Ｓ７）。
【００３２】
図８に示すように疑似化粧画像２１（装飾画像に相当）は、頬から顎にかけてのベース色の部分Ａ＋頬紅部分Ｂ＋口紅部分Ｃから構成されている。疑似化粧画像２１を構成する各部位及びその色は乗員が任意に設定可能である。例えば、図示しないセンターコンソールに装着された車両情報画面（例えばナビゲーション画面）から所定のメニューを呼び出すことで設定することができる。また、図９に示すように例えば頬紅は表示しないとか口紅は表示しないなど、各部分を表示する／しないの選択や色の選択も可能である。
【００３３】
以上のようにして、図１０に示すように、車外の人は、疑似化粧画像２１を介して車内の乗員を視認することになるので、乗員の顔を疑似化粧画像２１が重なった合成画像で視認することになり、あたかも化粧した顔を視認するようになる。
【００３４】
制御部２０は、ＤＳＭ１５により乗員の顔の位置や姿勢が変化したり、周辺物体特定部１９により車外の人の顔の位置（視認位置）が移動したことを検出したりすることで視線方向が変化した場合は、その変化に追従してサイドウィンドウ７，８における疑似化粧画像２１の表示位置を変更する。つまり、図１１に示すように、視線方向の変化に応じて透過ディスプレイ９上での疑似化粧画像２１の表示位置や大きさを変更する。
【００３５】
ここで、疑似化粧画像２１の表示中に乗員が顔を激しく動かした場合は、制御部２０の処理時間が間に合わず、疑似化粧画像２１が乗員の顔からずれてしまうことが想定できる。このような不具合を回避するために、ヘッドアップディスプレイやメータ内の情報表示画面に、例えば「疑似化粧画像を表示中なので、顔を激しく動かさないで下さい」という注意喚起表示や疑似化粧画像の表示中を表すアイコンの表示を行うのが望ましい。
【００３６】
上記説明では、視線方向が運転席側の車外に位置している場合を説明したが、視線方向が助手席側の車外に位置している場合は、助手席側のサイドウィンドウ８に運転者の顔１７に対応した疑似化粧画像２１を表示する。
【００３７】
このような実施形態によれば、次のような効果を奏することができる。
装飾画像合成装置１８は、サイドウィンドウ７、８に疑似化粧画像２１を表示することで車内の乗員を車外から見たときに仮想的に修飾（デコレーション）したり、隠ぺい（見えづらく）したり、強調表示したりして、車外からの見え方を変えるので、周囲（車外）を気にする必要がなくなったり気にする度合が低下したりすることで、運転等の重要な作業に集中することが可能となる。
【００３８】
特に、車外から見られたくない状態を仮想的に修飾（デコレーション）表示したり隠ぺい（見えづらく）したりするので、プライバシーや見られたくない状態や容姿などを保護することができる。
【００３９】
（第２実施形態）
第２実施形態について図１２を参照して説明する。この第２実施形態は、複数の視線方向に対応したことを特徴とする。
第１実施形態では、車外の１方向の視線方向には対応できるのであるが、車外に複数方向の視線方向が存在した場合には最も近い視線方向しか対応することができない。
【００４０】
ここで、複数の視線方向の高さがほぼ同じであるとみなした場合、高さ方向の視認方向の変動を無視することができるので、左右方向の複数の視線方向のみに対応すればよいことになる。
【００４１】
そこで、左右方向の視線方向に対応するために、図１２に示すように、サイドウィンドウ７，８に例えば肌色の帯状画像２３（装飾画像に相当）を簡略化して表示する。この場合、透過ディスプレイ９にタッチパネル機能を付加しておけば、透過ディスプレイ９をタッチやドラッグすることで帯状画像２３の位置指定を再設定したり、ピンチイン・アウトしたりすることで帯状画像２３の表示幅の調整を簡単に再設定することができる。
【００４２】
このような実施形態によれば、次のような効果を奏することができる。
装飾画像合成装置１８は、人の顔１７を横断する帯状画像２３を装飾画像として乗員の顔に合成するので、自車両の周辺に複数の人が存在した場合であっても対応可能となり、乗員の化粧（顔）の状態を車外から気づかれにくくする効果を期待できる。
【００４３】
横方向への表示位置を更新する必要がないので、処理の負担を軽減することができる。
帯状画像２３が少々ずれても視認態様に大きな影響を与えることはないので、帯状画像２３の表示ずれの影響を抑制することができる。
【００４４】
（第３実施形態）
第３実施形態について図１３を参照して説明する。この第３実施形態は、助手席３の乗員の顔に対応した疑似化粧画像２１や帯状画像２３を助手席ドア６のサイドウィンドウ８に表示することを特徴とする。
【００４５】
上記各実施形態では、助手席ドア６のサイドウィンドウ８に運転者の顔に対応した疑似化粧画像２１や帯状画像２３を表示するようにしたが、乗員が助手席３に着座している場合は、サイドウィンドウ８に助手席の乗員の顔に対応した疑似化粧画像２１や帯状画像２３を表示する。この場合、助手席の乗員に対応してＤＳＭ１５を設置する。
【００４６】
また、後席ドア２４のサイドウィンドウ２５に透過ディスプレイ９を設け、後席の乗員の顔に対応した疑似化粧画像２１を表示するようにしても良い。この場合、後席の乗員に対応してＤＳＭ１５を設置する。
【００４７】
このような実施形態によれば、装飾画像合成装置１８は、各乗員席に対応したドアのサイドウィンドウに透過ディスプレイ９を設け、各乗員に対応した疑似化粧画像２１や帯状画像２３を表示するので、各乗員がスッピンを見られてしまう心配を解消することができる。
【００４８】
（第４実施形態）
第４実施形態について図１４を参照して説明する。この第４実施形態は、乗員の顔にプロジェクタから疑似化粧画像２１や帯状画像２３を直接投影することを特徴とする。
【００４９】
車内における運転席の前方となる部位にはプロジェクタ２６（投影部に相当）が設置されている。このプロジェクタ２６は運転者に疑似化粧画像２１や帯状画像２３を直接投影するものである。
【００５０】
制御部２０は、ＤＳＭ１５により顔の位置を検出し、運転者の顔にプロジェクタ２６からにより疑似化粧画像２１や帯状画像２３をプロジェクション投影する。
ここで、プロジェクタ２６からは運転者の目を避けて疑似化粧画像２１や帯状画像２３を投射することになるが、運転者の目に光が誤って投射されると、運転者が幻惑されるおそれがあることから、サングラス（保護メガネ・ゴーグル等）が装着されていることを条件として投射するのが望ましい。
【００５１】
制御部２０は、日射センサ１６が検出した車内の明るさに応じて投射する疑似化粧画像２１や帯状画像２３の明るさを調整する。また、夜間においては車外から車内の乗員を視認することは困難であることから、疑似化粧画像２１や帯状画像２３の投射を実施することはない。この場合、車内灯が点灯することで車内が明るくなった場合には疑似化粧画像２１や帯状画像２３の投射を実施するようにしても良い。
【００５２】
このような実施形態によれば、装飾画像合成装置１８は、プロジェクタ２６から運転者の顔に疑似化粧画像２１や帯状画像２３を直接投射するので、車外からの視線方向を検出する必要がなくなり、周辺物体を検出する構成を省略することができる。
【００５３】
（その他の実施形態）
車両のフロントウィンドウに透過ディスプレイ９を設け、前方からの視線に対応した疑似化粧画像２１や帯状画像２３を表示するようにしても良い。
サイドウィンドウ７，８にプロジェクタから疑似化粧画像２１や帯状画像２３を投射するようにしても良い。
【００５４】
乗員の髪の毛が乱れている場合には、あたかもきれいに整った髪形であるように見せたり、帽子をかぶっているように見せたりする疑似化粧画像２１を表示するようにしても良い。
乗員が派手な服装で乗車している場合には、服装の色等の見た目を変えることで地味に見えるようにしても良く、周囲（車外）からの注目や好奇の目を防ぐこともできる。
【００５５】
本開示は、実施形態に準拠して記述されたが、本開示は当該実施形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
【符号の説明】
【００５６】
図面中、１は車両、９は透過ディスプレイ、１５はＤＳＭ（第１検出部）、１６は日射センサ（明るさ検出部）、１７は運転者の顔（装飾対象物）、１８は装飾画像合成装置、１９は周辺物体特定部（第２検出部）、２０は制御部（装飾画像合成部）、２１は疑似化粧画像（装飾画像）、２３は帯状画像（装飾画像）、２６はプロジェクタ（投影部）である。
【図１】
2020042569.tif 000003
【図２】
2020042569.tif 000004
【図３】
2020042569.tif 000005
【図４】
2020042569.tif 000006
【図５】
2020042569.tif 000007
【図６】
2020042569.tif 000008
【図７】
2020042569.tif 000009
【図８】
2020042569.tif 000010
【図９】
2020042569.tif 000011
【図１０】
2020042569.tif 000012
【図１１】
2020042569.tif 000013
【図１２】
2020042569.tif 000014
【図１３】
2020042569.tif 000015
【図１４】
2020042569.tif 000016